CN101263721A

CN101263721A - 颜色修正方法和颜色修正设备

Info

Publication number: CN101263721A
Application number: CNA2006800337409A
Authority: CN
Inventors: 塚田正人
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-07-13
Filing date: 2006-07-12
Publication date: 2008-09-10
Anticipated expiration: 2026-07-12
Also published as: CN101263721B; EP1906674A1; JP4288530B2; WO2007007788A1; JPWO2007007788A1; US8023736B2; EP1906674A4; US20090141976A1

Abstract

一种颜色修正方法，其中修正输入图像以产生具有不同于输入图像中的照明条件的照明条件的输出图像，所述方法包括：根据输入图像检测特定主题区域，并提取与所述区域有关的彩色信息；通过使用所提取的与特定主题区域有关的彩色信息和提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；通过使用所恢复的输入图像中的照明的频谱分布和指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及基于与输入图像的每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

Description

颜色修正方法和颜色修正设备

技术领域

本发明涉及一种用于对彩色图像做出颜色修正的方法和设备，更具体地，涉及一种包括基于从彩色图像中的主题区域获得颜色信息的对彩色图像做出白平衡修正的颜色修正方法和颜色修正设备。

背景技术

提出了针对图像的颜色修正方法，以提高数字图像的图像质量。在对数字彩色图像做出颜色修正的过程中，尤其是白平衡的调整很重要。已经提出了各种技术作为包括白平衡调整的颜色修正方法。例如，JP-A-2001-148863描述了一种方法，其中将通过使用针对图像的直方图提前计算的白平衡参数作用于图像中的皮肤颜色区域，并基于是否产生了优选皮肤颜色结果来确定该参数。在所产生的皮肤颜色不是优选的情况下，选择保持未处理状态，即颜色修正未执行。JP-A-11-289548、JP-A-3-148989和JP-A-62-265885也描述了一种通过使用图像的直方图实现白平衡修正的方法。

JP-A-2003-224867描述了这样一种方法，其中通过使用图像直方图，仅提取图像中的灰色或皮肤颜色区域、或图像中的灰色和皮肤颜色区域，通过使用与所提取的区域有关的颜色信息来估计光源的色温，并使用以下修正方程，基于所估计的色温来修正针对彩色图像的图像信号的白平衡：

R′＝αR ...(A1)，

G′＝βG ...(A2)，

B′＝γB ...(A3)。

其中，R、G和B表示输入图像像素的RGB值，R′、G′和B′表示输出图像像素的RGB值，以及α、β和γ是用于修正的系数。

JP-A-2003-333616也描述了一种方法，其中通过针对图像的直方图分析，获得诸如皮肤颜色之类的彩色区域和被认为是图像中的原始白色区域，通过使用一个彩色信息项目或每个区域上彩色信息项目的组合来估计光源的色温以实现白平衡修正。

在上述现有技术中，将注意力放在诸如皮肤颜色之类的彩色区域和诸如图像中的灰色或白色之类的非彩色区域上，通过针对图像的直方图分析，获得需要确定在做出白平衡修正时使用的参数的图像中的对象区域。

提出了一种通过检测人脸区域作为图像中的对象区域来修正图像质量的方法。例如，JP-A-2004-320275描述了一种根据图像中人脸区域的大小和数量来控制数码相机的快门速度和自动聚焦(AF)操作以提高使用数码静态相机所拍摄图像的图像质量的方法。JP-A-2004-320275提及了针对人脸区域的轮廓增强处理和皮肤颜色处理，但是没有具体描述被认为是重要的针对皮肤颜色处理的处理方法。

JP-A-2004-180114描述了一种用于仅基于彩色图像中的彩色信息所检测到的人脸区域中的皮肤颜色的颜色修正方法。JP-A-2003-216936描述了一种用于检测人类图像的人脸部分和输入图像中的这些位置、设置人类图像区域与其他区域之间的边界、以及执行适于每个区域的白平衡和色彩修正的技术。JP-A-2003-189325描述了一种在白平衡计算中不使用针对人脸区域的彩色信息的方法。

JP-A-2005-027277描述了一种方法，其中确定图像中人的人脸区域的位置；确定用于改变从图像中获得的皮肤颜色的修正系数，从而从所确定的皮肤区域中获得的皮肤颜色通常与已知的皮肤颜色范围一致；并通过使用修正系数来执行针对图像的白平衡调整。JP-A-2005-027277描述了将灰色世界假设和白点估计用作被认为是重要的修正方法，但是没有描述相应的具体技术。

JP-A-2003-317084描述了一种用于从图像中检测眼睛的方法。JP-B-3264273描述了一种使用直方图确定皮肤颜色的方法。

以下列出了本说明书中所引用的参考文件。

[专利文献1]日本专利待审公开No.2001-148863(JP-A-2001-148863)，

[专利文献2]日本专利待审公开No.11-289548(JP-A-11-289548)，

[专利文献3]日本专利待审公开No.3-148989(JP-A-3-148989)，

[专利文献4]日本专利待审公开No.62-265885(JP-A-62-265885)，

[专利文献5]日本专利待审公开No.2003-224867(JP-A-2003-224867)，

[专利文献6]日本专利待审公开No.2003-333616(JP-A-2003-333616)，

[专利文献7]日本专利待审公开No.2004-320285(JP-A-2004-320285)，

[专利文献8]日本专利待审公开No.2004-180114(JP-A-2004-180114)，

[专利文献9]日本专利待审公开No.2003-216936(JP-A-2003-216936)，

[专利文献10]日本专利待审公开No.2003-189325(JP-A-2003-189325)，

[专利文献11]日本专利待审公开No.2005-27277(JP-A-2005-027277)，

[专利文献12]日本专利待审公开No.2003-317084(JP-A-2003-317084)，

[专利文献13]日本专利No.3264273(JP-B-3264273)，

[非专利文献1]Toshinori HOSOI，Tetsuaki SUZUKI，Atsushi SATO，″Face detection based on Generalized Learning Vector Quantization，″Technical Report of The Institute of Electronics，Information andCommunication Engineers，2003，Vol.102，No.651，pp.47-52，

[非专利文献2]Johji TAJIMA，″Image engineering series 10：Color image replication theory，fundamentals of color management，″MARUZEN Co.Ltd.，September 30，1996，pp.33-39，

[非专利文献3]The Color Science Association of Japan，″Colorscience handbook，new edition，″Second Edition，University of TokyoPress，June 10，1998，pp.69-71。

发明内容

要解决的技术问题

在对图像做出白平衡以提高图像质量的过程中，需要掌握与图像中的对象区域有关的彩色信息，以确定用于白平衡修正的参数。为了实现上述过程，现有技术使用了通过直方图分析获得诸如皮肤颜色之类的彩色区域和诸如图像中的灰色或白色之类的非彩色区域。

然而，通过直方图分析获得诸如皮肤颜色之类的彩色区域和诸如图像中的灰色或白色之类的非彩色区域的方法具有精度问题。在检测图像中皮肤颜色的区域的过程中，需要通过考虑照明颜色和其他因素中的变化来允许特定宽区域的皮肤颜色区域。因此，如果由具有与皮肤颜色而非人像(human figure)相类似的颜色的对象在图像中所占据的区域很大，则将与从图像中实际人类轮廓的人脸区域中获得的彩色信息不同的、从该对象的区域中获得的彩色信息错误地检测为人像皮肤颜色，这导致了做出所期望的颜色修正的失败。此外，仅使用图像数据作为线索，难以使用严重的偏色从图像中检测到原始白色或灰色的区域。此外，由于在拍摄图像时超出了相机的动态范围而导致有可能出现爆破的高亮。为了从存在爆破(blown-out)高亮的图像中检测到被认为是原始的白色或灰色的区域，在直方图分析时引入用于消除爆破高亮区域的阈值处理。然而，难以自动设置阈值来消除爆破高亮区域。因此，难以在出现了爆破高亮的任何图像中自动实现良好的白平衡修正。

因此，存在以下问题：当通过使用直方图分析来识别图像中的对象区域时，由于未能正确地抓住白平衡修正必需的修正参数计算所需的图像中的对象区域有关的彩色信息，而导致无法执行所期望的白平衡修正函数。

此外，在现有技术的白平衡修正中，为了调整通过三个基本颜色R、G和B所表达的图像中的R、G和B分量中的平衡，使用通过方程(A1)至(A3)彼此独立地修正R、G和B分量比例的处理。然而，在这种情况下，存在以下问题：由于存在对修正自由度的限制，所以无法做出令人满意的白平衡修正。

因此，本发明的目的是提供一种颜色修正方法，用于同时解决上述问题，并基于输入图像的一帧来实现对于输入图像的有效自动颜色修正。

本发明的另一目的是提供一种颜色修正设备，用于基于输入图像的一帧来实现对于输入图像的有效自动颜色修正。

即，本发明提供了一种颜色修正方法和一种设备，用于通过使用所述方法解决上述问题来实现在包括白平衡修正的颜色修正精度的提高，在所述方法中，通过图像直方图分析获得与图像中的对象区域有关的彩色信息以做出白平衡修正，并通过使用现有技术中的白平衡修正方法来解决由于修正自由度的限制而导致无法做出令人满意的白平衡修正的问题以确保期望功能。

解决问题的方案

通过颜色修正方法来实现本发明的第一目的，其中对输入图像进行修正，以产生具有不同于输入图像中的照明条件的照明条件的输出图像，所述方法包括：从输入图像中检测特定主题区域，并提取与该区域有关的彩色信息；通过使用所提取的与特定主题区域有关的彩色信息以及提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；通过使用所恢复的输入图像中的照明的频谱分布、以及被指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及基于与输入图像每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

通过颜色修正设备来实现本发明的第二目的，其中所述颜色修正设备对输入图像进行修正，以产生具有不同于输入图像中的照明条件的照明条件的输出图像，所述设备包括：主题区域彩色信息提取装置，用于从输入图像中检测特定主题区域，并提取与该区域有关的彩色信息；频谱分布恢复装置，用于通过使用由主题区域彩色信息提取装置所提取的与特定主题区域有关的彩色信息、以及提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；频谱分布计算装置，用于通过使用由频谱分布恢复装置所恢复的输入图像中的照明的频谱分布、以及被指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及输出图像产生装置，用于基于与输入图像每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

本发明的范围包括用于使计算机执行根据本发明的上述图像标识方法中每一个的程序、由这种程序形成的程序产品、将这种程序存储在其上的记录介质和传输这种程序的传输介质。

根据本发明，提高了包括白平衡修正的颜色修正所必需的修正参数的计算精度。以这种方式，获得了颜色修正精度的提高以及对颜色修正自由度的限制的放松，从而实现了具有期望效果的颜色修正。

附图说明

图1是示出了根据本发明的第一示例性实施例的颜色修正方法的流程图；

图2是示出了日本人的人脸区域的平均频谱特性(表面反射率)；

图3是示出了用于自动检测主题区域并获得彩色信息的处理概况的图示；

图4是示出了CIE日光的平均和第一和第二主要分量矢量的图示；

图5是示出了通过收集对象的表面反射率并执行针对该表面反射率的主要分量分析所获得的基本矢量的图示；

图6是示出了根据本发明的第二示例性实施例的颜色修正方法的流程图；

图7是示出了根据本发明的颜色修正设备的第一示例的框图；

图8是示出了根据本发明的颜色修正设备的第二示例的框图；

图9是示出了用于设置由控制器所显示的值adj的GUI示例的图示；

图10是示出了用于设置由控制器显示的函数adjw(λ)的GUI示例的图示；以及

图11是示出了根据本发明的颜色修正设备的第三示例的框图。

参考数字的描述：

1输入图像；

2输出图像；

3主题区域检测器；

4主题区域彩色信息提取器；

5频谱分布恢复单元；

6主题表面反射率存储器；

7主题表面反射率恢复单元；

8频谱分布计算器；

9频谱分布存储器；

10图像修正单元；

11控制器；

12矩阵变换图像修正单元；

20滑动条；

21控制点；

100至102颜色修正设备。

具体实施方式

图1示出了根据本发明的第一示例性实施例的颜色修正方法的流程图。在本描述中，为了解释的方便，假设图像的彩色系统是RGB彩色系统。即，通过表示为彩色信息RGB的R(红)、G(绿)和B(蓝)的组合来表示图像的颜色。

在本示例性实施例中的颜色修正方法是以下方法：在给出了输入图像时从输入图像自动提取特定区域、基于所提取的特定区域的彩色信息和所指定的目标照明，对输入图像进行修正，产生具有不同于输入图像中的照明条件的照明条件的输出图像，并输出该输出图像。

提高颜色修正精度需要确定具有精度的颜色修正的参数。根据本示例性实施例中的方法，在步骤S1，首先从任意给定的输入图像中自动检测到可以粗略识别其颜色的主题的区域。作为可以粗略识别其颜色的主题，优选是在颜色上没有或略有变化、并具有人类可见光区域(波长为400至700nm)中的频谱信息的主题。此外，优选具有性质和样式特征以及颜色特征的主题。在以下所做出的解释中，被检测为主题区域的区域按照场合需求被简单称为“主题区域”。

作为具有这种特征的主题，例如可以使用人脸。图2是示出了日本人的人脸区域的平均频谱特性(表面反射率)。如图2所示，人脸区域中的频谱特性具有整个可见光区域上的频谱信息。人脸区域的颜色随个体而改变，但是可以看出它是相当稳定的。

不用说，人脸区域具有诸如眼睛、鼻子和嘴巴之类的形状特征。在JP-A-2003-317084中，提出了检测图像中眼睛的方法，作为从输入图像中检测人脸区域的方法。如果检测到眼睛的位置，则可以容易地大概确定人脸区域。作为人脸检测方法，也可以使用在ToshinoriHOSOI，Tetsuaki SUZUKI，Atsushi SATO，″Face detection based onGeneralized Learning Vector Quantization，″Technical Report of TheInstitute of Electronics，Information and Communication Engineers，2003，Vol.102，No.651，pp.47-52中描述的方法，该方法是使用通用学习矢量量化的基于图像的方法和检测眼睛的基于特征的方法的组合。

在上述两种技术中的每种技术中，可以通过使用单色信息执行人脸检测、并添加与作为检测结果的人脸区域是否是皮肤颜色有关的确定，来提高人脸区域的检测精度。作为确定皮肤颜色的方法，可以使用在JP-B-3264273中描述的图像直方图的方法。在本示例性实施例中可用的人脸检测方法并不限于以上描述的两种技术。在本示例性实施例中可以使用其他技术。

尽管可以针对从任意给定的输入图像中自动检测到的主题是人脸的情况做出解释，但是主题也可以不同于人脸。例如，对于不同于人脸的主题的自动检测，可以使用通过将与提前存储的主题有关的可视特征信息与图像数据中的可视特征信息进行比较来自动检测主题的方法。

接下来，在步骤S2，获得与从输入图像自动检测到的主题区域有关的彩色信息。图3示出了用于自动检测主题区域并获得彩色信息的处理概况的图示。在该图示中，示出了从输入图像提取人脸部分并从所提取的区域获得彩色信息的情况。作为与主题区域有关的彩色信息，可以使用在主题所占据的区域中存在的平均颜色、中间颜色(中间)、最频繁的颜色(模式)。

在步骤S2，获得主题区域上的彩色信息RGB，并基于所获得的RGB获得XYZ彩色系统中的三色值XYZ。可以通过RGB值表示输入图像的每个像素。然而，通过假设提前指定用于显示输入图像的RGB荧光体的色度和白色色度、以及RGB值数据与从显示设备发射的光强度之间的关系是线性的，来做出解释。在这种情况下，输入图像与三色值XYZ之间的关系通过以下方程(1)来表示：

(\begin{matrix} X \\ Y \\ Z \end{matrix}) = RX (\begin{matrix} R \\ G \\ B \end{matrix}) \cdot \cdot \cdot (1) .

其中，RX是3×3变换矩阵。如果确定了RGB荧光体的色度和白色色度，则可以唯一地计算该变换矩阵。例如，作为计算变换矩阵RX的方法，可以使用在Johji TAJIMA，″Image engineering series 10：Color image replication theory，fundamentals of color management，″MARUZEN Co.Ltd.，September 30，1996，pp.33-39中公开的方法。在该文献中，描述了以输入图像的RGB和三色值XYZ的相关表示计算变换矩阵RX的方法。

接下来，在步骤S3，从与输入图像中的主题区域有关的彩色信息(即在步骤S2中计算的三色值)、以及主题区域通常具有的彩色信息中恢复图像场景中的照明的频谱特性。作为主题区域通常具有的彩色信息，使用相对于特定主题提前指定的表面反射率。图像场景中的照明是照亮图像中对象的照明(光源)。根据对象的表面反射率、照亮了对象的照明的频谱分布和相对于人类视觉的颜色匹配函数，通过以下方程(2)至(4)表示基于XYZ彩色系统的对象颜色的三色值XYZ。

X＝∫I(λ)R(λ)x(λ)dλ …(2)，

Y＝∫I(λ)R(λ)y(λ)dλ …(3)，

Z＝∫I(λ)R(λ)z(λ)dλ …(4).

其中λ是波长，I(λ)是输入图像中的照明频谱分布；R(λ)是对象的表面反射率；以及x(λ)、y(λ)和z(λ)是颜色匹配函数(它们是已知函数)。通过可见光的波长范围进行积分。

将步骤S2中已经计算出的三色值XYZ代入方程(2)至(4)的左侧。然后方程(2)至(4)成为与未知特性I(λ)和R(λ)有关的观测方程。然而在这一阶段，无法根据方程(3)计算未知特性I(λ)和R(λ)。

如果甚至在包括特定差错的状态下也可以提前限制或确定表示主题颜色的表面反射率R(λ)，则R(λ)是已知值，方程(2)至(4)成为仅有I(λ)的观测方程。例如，如果主题是日本人的脸，则作为示例的图2所示的具有平均皮肤颜色的日本人的人脸区域的表面反射率R′(λ)可以被用作方程(2)至(4)中的R(λ)。即使在主题是不同于人脸的对象时，也可以提前获得对象的平均或典型表面反射率，并代入方程(2)至(4)中的R(λ)。

实质上，无法从方程(2)至(4)中解析地计算频谱分布I(λ)，因为它以可见光区域中的无限空间(dimensional)的波形来表达。

顺带提及，CIE日光是针对由CIE(国际照明委员会)的相对频谱分布所规定的色度测量的光源，已知CIE日光很好地逼近平均及两个主要分量的线性和。图4是示出了CIE日光的平均和第一和第二主要分量矢量的图示。可以将照明的频谱分布I(λ)表示如下：

I(λ)＝I₀(λ)+a₁I₁(λ)+a₂I₂(λ) …(5).

方程(5)中示出的I_i(λ)(i＝0至2)表示图4中示出的照明的平均和基本矢量，a_i(i＝1至2)表示基本矢量的权重系数，该权重系数是表示照明颜色的特征参数。

将方程(5)中示出的I(λ)代入方程(2)至(4)，以获得具有两个未知量(表示照明颜色的未知特征参数a₁和a₂)的线性联立方程，通过该方程可以容易地计算出a₁和a₂。将所获得的特征参数a₁和a₂代入方程(5)以获得图像场景中的照明的频谱分布。假设通过上述过程获得的图像场景中的照明的频谱分布是I_org(λ)。

接下来，在步骤S4，根据提前设置为修正目标的目标照明的频谱分布I_target(λ)和估计为图像场景中的照明的频谱分布I_org(λ)，来计算在图像颜色修正时实际使用的照明的频谱分布I_adj(λ)。作为提前设置为修正目标的目标照明的频谱分布I_target(λ)，可以使用利用其在经验上确认了良好的修正效果的标准光源D65或D55的频谱分布、具有不是用于白平衡而是用于改变整个图像颜色效果的照明光的频谱分布等。也可以使用不同于这些的任何频谱分布。用户可以根据他或她的偏好，将目标照明的频谱分布确定为频谱分布。

可以将目标照明的频谱分布I_target(λ)直接用作I_adj(λ)。此外，可以通过将估计为图像场景中的照明的频谱分布I_org(λ)与目标照明的频谱分布I_target(λ)混合，来计算在图像颜色修正时实际使用的照明的频谱分布I_adj(λ)，如以下方程(6)所示：

I_adj(λ)＝(1-adj)×I_org(λ)+adj×I_target(λ) …(6).

在方程(6)中，adj是用于控制I_org(λ)和I_target(λ)的混合比的实系数。此外，为了能够在为图像场景中的照明的频谱分布I_org(λ)与目标照明的频谱分布I_target(λ)混合比的每个波长进行控制，可以使用以下方程：

I_adj(λ)＝(F(λ)-adjw(λ))×I_org(λ)+adjw(λ)×I_target(λ)…(7)

在该方程中，F(λ)是在可见光区域中为1.0的恒定波形，adjw(λ)是具有用于控制每个波长的I_org(λ)和I_target(λ)的混合比的实数值的可见光区域中的函数。

接下来，在步骤S5中，获得输入图像每个像素中的对象的表面反射率。根据方程(1)计算通过图像的每个像素的RGB值计算的三色值XYZ，并代入方程(2)至(4)的左侧。也将在步骤S3中计算的图像场景中的照明的频谱分布I_org(λ)代入方程(2)至(4)的右侧。然后，方程(2)至(4)成为与表面反射率R(λ)有关的观测方程。

也以可见光区域中无限空间波形来表示对象的理想表面反射率R″(λ)，如在照明的频谱反射中。因此，无法根据方程(2)至(4)解析地计算理想表面反射率R″(λ)。通过使用由较低阶基本矢量的加权和表示的有限空间线性模型，如以下示出对理想表面反射率R″(λ)进行建模：

R″(λ)＝r₀(λ)+b₁r₁(λ)+b₂r₂(λ)+b₃r₃(λ)…(8).

图5是示出了通过收集对象的表面反射率并执行针对该表面反射率的主要分量分析所获得的基本矢量的图示。方程(8)中示出的符号r_i(λ)(i＝0至3)表示通过收集多个对象的反射率并针对其执行主要分量分析所获得的基本矢量。这些矢量r_i(λ)分别是平均和第一至第三主要分量矢量，并且全部已知。符号b_i(i＝0至3)表示基本矢量的权重系数，它们是表示对象颜色的未知特征参数。

将方程(8)所示的R″(λ)代入与表面反射率R(λ)有关的观测方程，以获得具有三个未知量(与表示对象颜色的未知特征参数b₁至b₃有关)的线性联立方程(9)：

(\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \end{matrix}) = {(\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z, r_{2}) & M (z, r_{3}) \end{matrix})}^{- 1} (\begin{matrix} X - M (x, r_{0}) \\ Y - M (y, r_{0}) \\ Z - M (z, r_{0}) \end{matrix}) \cdot \cdot \cdot (9) .

其中，M(x，r_i)(i＝0至3)表示积分项∫I_orgr_i(λ)X(λ)dλ。同样作用于y和z。针对图像中的所有像素执行上述处理，以获得图像场景中所有对象的表面反射率。

接下来在步骤S6，计算修正后的输入图像像素的颜色。将提前用于修正时的在步骤S4中计算的照明的频谱分布I_adj(λ)代入方程(2)至(4)，以获得与修正后的三色值X′Y′Z′和在步骤S5中计算的对象的理想表面反射率R″(λ)有关的方程(10)至(12)。

X′＝∫I_adj(λ)R″(λ)x(λ)dλ …(10)，

Y′＝∫I_adj(λ)R″(λ)y(λ)dλ …(11)，

Z′＝∫I_adj(λ)R″(λ)z(λ)dλ …(12).

如果方程(1)中的变换矩阵RX的逆矩阵是RX^-1，则可以将修正之后的三色值X′Y′Z′如下转换为与彩色图像有关的彩色信息R′G′B′：

(\begin{matrix} R^{'} \\ G^{'} \\ B^{'} \end{matrix}) = {RX}^{- 1} (\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) \cdot \cdot \cdot (13) .

针对输入图像中的所有像素执行上述过程，以获得具有如期望而修正的颜色的输出图像。

第二示例性实施例：

接下来，将参照图6描述根据本发明第二示例性实施例的颜色修正方法。第二示例性实施例中的颜色修正方法是通过利用步骤S7中所示的矩阵变换来替换在第一示例性实施例中的步骤S5和S6中执行的从三色值XYZ至X′Y′Z′的修正处理(变换处理)而获得与第一示例性实施例中的颜色修正方法相同的修正结果的方法。图6中步骤S1至S4中的处理与第一示例性实施例中的那些相同。将不会重复针对相同处理的解释。将对步骤S7进行描述。

在步骤S7，在步骤S4完成之后，首先通过使用由较低阶基本矢量的加权和表示的有限空间线性模型来对对象的表面反射率R″(λ)进行建模。从而获得以上示出的方程(8)。

将通过方程(8)示出的R″(λ)代入与表面反射率R(λ)有关的观测方程，以获得具有三个未知量(表示对象颜色的未知特征参数b₁至b₃)的线性联立方程(上述方程(9))。可以从线性联立方程中获得参数b₁至b₃。

接下来，将已经在步骤S4计算的要在修正时使用的照明的频谱分布I_adj(λ)代入方程(2)至(4)以获得与修正后的三色值X′Y′Z′和对象的理想表面反射率R″(λ)有关的方程(10)至(12)。将方程(8)示出的R″(λ)代入方程(10)至(12)以获得方程(14)：

(\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) = (\begin{matrix} N (x, r_{1}) & N (x, r_{2}) & N (x, r_{3}) \\ N (y, r_{1}) & N (y, r_{2}) & N (y, r_{3}) \\ N (z, r_{1}) & N (z, r_{2}) & N (z, r_{3}) \end{matrix}) (\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \end{matrix}) + (\begin{matrix} N (x, r_{0}) \\ N (y, r_{0}) \\ N (z, r_{0}) \end{matrix}) \cdot \cdot \cdot (14) .

其中，N(x，r_i)(i＝0至3)表示积分项∫I_adjr_i(λ)X(λ)dλ。同样作用于y和z。此外，将方程(9)代入方程(14)以获得方程(15)：

(\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) = (\begin{matrix} N (x, r_{1}) & N (x, r_{2}) & N (x, r_{3}) \\ N (y, r_{1}) & N (y, r_{2}) & N (y, r_{3}) \\ N (z, r_{1}) & N (z, r_{2}) & N (z, r_{3}) \end{matrix}) {(\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z, r_{2}) & M (z, r_{3}) \end{matrix})}^{- 1} (\begin{matrix} X - M (x, r_{0}) \\ Y - M (y, r_{0}) \\ Z - M (z, r_{0}) \end{matrix}) + (\begin{matrix} N (x, r_{0}) \\ N (y, r_{0}) \\ N (z, r_{0}) \end{matrix}) \cdot \cdot \cdot (15) .

方程(15)可以简化为以下方程(16)：

(\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) = A (\begin{matrix} X \\ Y \\ Z \end{matrix}) + B \cdot \cdot \cdot (16) .

其中，矩阵A是以下示出的方程(17)表示的3×3矩阵，矩阵B是由以下示出的方程(18)表示的3×1矩阵。这些矩阵中的每个是常数矩阵。

A = (\begin{matrix} N (x, r_{1}) & N (x, r_{2}) & N (x, r_{3}) \\ N (y, r_{1}) & N (y, r_{2}) & N (y, r_{3}) \\ N (z, r_{1}) & N (z, r_{2}) & N (z, r_{3}) \end{matrix}) {(\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z, r_{2}) & M (z, r_{3}) \end{matrix})}^{- 1} \cdot \cdot \cdot (17) .

B = (\begin{matrix} N (x, r_{0}) \\ N (y, r_{0}) \\ N (z, r_{0}) \end{matrix}) - A (\begin{matrix} M (x, r_{0}) \\ M (y, r_{0}) \\ M (z, r_{0}) \end{matrix}) \cdot \cdot \cdot (18)

在步骤S7，针对输入图像中的所有像素执行等式(16)的颜色修正处理，之后转换为设备相关颜色。将所产生的图像提供为输出图像。“设备相关颜色”表示与输出目的地设备相关的颜色空间。

尽管已经对于输入图像和输出图像的设备相关颜色是RGB的情况进行了解释，但是如果甚至在设备相关颜色是不同于RGB的设备相关颜色(例如CMY或CMYK)的情况下，获得设备相关颜色的颜色和设备无关颜色的三色XYZ之间的相应关系，则根据本发明的颜色修正方法可以应用于不同于RGB图像的图像。

颜色修正设备：

接下来将对根据本发明的颜色修正设备进行描述。图7示出了根据本发明的颜色修正设备的第一示例。图中示出的颜色修正设备100是基于上述第一示例性实施例中的颜色修正方法对输入图像1做出颜色修正并将输出图像2输出的设备。更具体地，颜色修正设备100对输入图像1进行修正以产生具有不同于输入图像1中的照明条件的照明条件的输出图像2，并将输出图像2输出。

颜色修正设备100具有：主题区域检测器3，用于根据输入图像1检测特定主题区域；主题区域彩色信息提取器4，用于提取与所检测的区域有关的彩色信息；频谱分布恢复单元5，用于通过使用所提取的彩色信息和提取指定的特定主题的表面反射率来恢复输入图像1中的照明的频谱分布；主题表面反射率存储器6；表面反射率恢复单元7，用于通过使用与输入图像的每个像素有关的彩色信息和通过频谱分布恢复单元5所恢复的照明的频谱分布来恢复每个像素中的表面反射率；频谱分布计算器8，用于通过使用由频谱分布恢复单元5所恢复的照明的频谱分布和被指定为目标照明的照明的频谱分布，计算输出图像2中的照明的频谱分布；频谱分布存储器9，其中提前存储了目标照明的频谱分布；以及图像修正单元10，用于通过使用通过表面反射恢复单元7所恢复的每个像素中的表面反射率和通过频谱分布计算器8所计算的输出图像2中的照明的频谱分布，计算与输出图像2的每个像素有关的彩色信息。作为输入图像1中的特定主题，如上所述，使用诸如其颜色被确定为特定度的人脸之类的主题。提前向颜色修正设备100给定特定对象的表面反射率。将所给出的表面反射率存储在主题表面反射率存储器6中。

接下来将描述该颜色修正设备100的操作。

当给出了输入图像1时，主题区域检测器3分析输入图像1，检测提前假设的特定主题，并输出指示了图像中的主题区域的信息。作为检测方法，可以使用上述技术。如果没有从图像1中检测到要被检测的主题，则该颜色修正设备100输出输入图像1作为输出图像2，而不改变输入图像1。

接下来，通过上述方法，主题区域颜色区域提取器4提取由主题区域检测器3检测到的主题区域有关的彩色信息。

频谱分布恢复单元5通过使用与通过主题区域彩色信息提取器4所获得的主题区域有关的彩色信息、在主题表面反射率存储器6中存储的主题区域中的典型或代表性的表面反射率、以及使用其对照明的频谱分布建模的基本矢量，将输入图像中场景中的照明频谱分布恢复为输入图像1中的照明频谱分布。

接下来，频谱分布计算器8计算输出图像中的照明的频谱分布，这是在修正图像形成过程中所必需的。频谱分布计算器8通过等式(6)和(7)并通过使用由频谱分布恢复单元5所恢复的输入图像中的照明的频谱分布和提前存储在频谱分布存储器9中的目标照明的频谱分布，计算输出图像中的照明的频谱分布。

另一方面，表面反射率恢复单元7根据所恢复的输入图像中的照明的频谱分布和输入图像数据中的像素值，恢复图像上每个像素中对象的表面反射率。作为恢复频谱分布恢复单元5和表面反射率恢复单元7中频谱特性的方法，可以使用在第一示例性实施例中解释的技术。

图像修正单元10通过等式(10)至(12)并通过使用图像中每个像素中对象的表面反射率以及输出图像中的照明的频谱分布，计算三色值XYZ。图像修正单元10将输出图像转换至设备相关颜色(例如，RGB)并将转换后的图像作为输出图像2输出。

在该颜色修正设备中，可以分别提供主题区域检测器3、主题区域彩色信息提取器4、频谱分布恢复单元5、主题表面反射率存储器6、表面反射率恢复单元7、频谱分布计算器8、频谱分布存储器9和图像修正单元10作为独立单元，或者可以通过根据程序操作的CPU来实现。在这种情况下，可以将程序存储在与CPU连接的存储设备中。即，可以通过使用具有存储设备的计算机来配置该颜色修正设备。

图8示出了根据本发明的颜色修正设备的第二示例。

在图8示出的颜色修正设备101中，将控制器11添加至图7所示的颜色修正设备100中。控制器11执行使用户能够指定值adj或函数adjw(λ)的控制，并向频谱分布计算器8输出用户所指定的值adj或函数adjw(λ)。值adj或函数adjw(λ)是用于在频谱分布计算器8计算输出图像中的照明频谱分布时，控制输入图像中的照明的频谱分布和期望目标照明的频谱分布的混合比的值或函数。

图9示出了由控制器10显示给用户的GUI(图形用户界面)以使用户能够设置值adj的示例。用户可以通过使用诸如鼠标之类的定点设备移动所显示的滑动条20来调整值adj。

类似地，图10示出了由控制器11显示给用户的GUI(图形用户界面)以使用户能够设置函数adjw(λ)的示例。用户可以通过鼠标操作等上下移动所显示的控制点21，调整通过该控制点21的adjw(λ)的波形。对于通过控制点21的adjw(λ)，易于通过使用样条内插或拉格朗日内插来计算不同于控制点的波长处的函数值。尽管在图10中的示例中提供了五个控制点21，但是控制点的个数是任意的，并且可以允许控制点21的添加或删除。

尽管在图9和10所示的示例中，可以将adj和adjw(λ)指定在1至1.0的范围内，但是设置范围并不限于0至1.0。能够设置实数值。控制器11反映由频谱分布计算器8中用户设置的adj或adjw(λ)。

此外，控制器11具有使用户能够根据用户偏好将照明颜色指定为目标照明的功能。当指定了目标照明的颜色时，可以使用例如修正后的色温。根据CIE日光的修正后色温，可以计算相应的频谱分布。在The Color Science Association of Japan，″Color science handbook，newedition″，Second Edition，University of Tokyo Press，June 10，1998，pp.69-71中描述了根据修正后的色温计算频谱分布。由于根据在CIE日光的频谱分布计算过程中的修正后的色温来临时计算色度，所以控制器11可以给出针对目标色度颜色的色度。此外，控制器11可以给出针对目标照明的频谱分布的每个波长的文件指定功率。

图8所示的颜色修正设备还可以通过由程序控制的计算机来构成，如图7所示的颜色修正设备。

图11示出了根据本发明的颜色修正设备的第三示例。图中示出的颜色修正设备102是基于上述第二实施例的颜色修正方法对输入图像1做出颜色修正、并对输出图像2进行输出的设备。颜色修正设备102(代替了图7所示的表面反射恢复单元7和颜色修正设备100中的图像修正单元10)具有矩阵变换图像修正单元12，用于通过使用根据在每个像素中的表面反射率的建模时使用的基本矢量计算的常数矩阵、所恢复的输入图像1中的照明的频谱分布和输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

接下来将描述该颜色修正设备102的操作。

以与图7所示的颜色修正设备100中相同的方式执行通过频谱分布恢复单元5恢复输入图像中的照明的频谱分布、以及通过频谱分布计算器8计算输出图像中的照明的频谱分布。接下来，当给予矩阵变换图像修正单元12通过频谱分布恢复单元5所恢复的数图像中的照明的频谱分布、通过频谱分布计算器8所计算的输出图像中的照明的频谱分布以及输入图像1时，执行图6所示的步骤S5来计算方程(16)。矩阵变换图像修正单元12通过方程(16)执行针对输入图像1的所有像素的颜色修正处理、执行至设备相关颜色的转换并对输出图像2进行输出。

此外在该颜色修正设备102中，可以分别提供主题区域检测器3、主题区域颜色信息提取器4、频谱分布恢复单元5、主题表面反射率存储器6、频谱分布计算器8、频谱分布存储器9和矩阵变换图像修正单元12作为独立单元、或可以通过根据程序进行操作的CPU实现。因此，可以通过使用计算机配置该颜色修正设备。

此外，作为根据本发明的颜色修正设备的第四示例，替换了图8所示的表面反射率恢复单元7和图像修正单元10的、具有矩阵变换图像修正单元12的颜色修正设备也可以容易地实现。可以通过由程序控制的计算机构成该颜色修正设备。

工业实用性：

本发明可以在针对彩色图像的输入/输出设备中执行包括白平衡的颜色修正的过程中使用。本发明也可以通过以在计算机系统上运行的程序的形式，用作对于任何颜色图像的颜色修正软件或颜色修正应用。

Claims

1、一种颜色修正方法，其中修正输入图像以产生具有与输入图像中的照明条件不同的照明条件的输出图像，所述方法包括：

从输入图像中检测特定主题区域，并提取与所述区域有关的彩色信息；

通过使用所提取的与特定主题区域有关的彩色信息和提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；

通过使用所恢复的输入图像中的照明的频谱分布和被指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及

基于与输入图像的每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

2、如权利要求1所述的方法，其中计算彩色信息包括：

通过使用与输入图像的每个像素有关的彩色信息和所恢复的输入图像中的照明的频谱分布，恢复每个像素中的表面反射率；以及

通过使用所恢复的每个像素中的表面反射率和所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

3、如权利要求1所述的方法，其中计算彩色信息包括：

通过使用根据在对每个像素中的表面反射率进行建模时所使用的基本矢量而计算出的常数矩阵、所恢复的输入图像中的照明的频谱分布和输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

4、如权利要求1至3之一所述的方法，其中在计算频谱分布的过程中，通过将所恢复的输入图像中的照明的频谱分布与目标照明的频谱分布以与可见光区域内的波长无关的恒定比例进行混合，计算输出图像中的照明的频谱分布。

5、如权利要求1至3之一所述的方法，其中在计算频谱分布的过程中，通过基于与可见光区域内的波长有关的函数来将所恢复的输入图像中的照明的频谱分布与目标照明的频谱分布进行混合，计算输出图像中的照明的频谱分布。

6、如权利要求4所述的方法，其中所述恒定比例由用户设置。

7、如权利要求5所述的方法，其中所述与波长有关的函数由用户设置。

8、一种颜色修正设备，用于对输入图像进行修正以产生具有与输入图像中的照明条件不同的照明条件的输出图像，所述设备包括：

主题区域彩色信息提取装置，用于从输入图像中检测特定主题区域，并提取与该区域有关的彩色信息；

频谱分布恢复装置，用于通过使用由主题区域彩色信息提取装置所提取的与特定主题区域有关的彩色信息、以及提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；

频谱分布计算装置，用于通过使用由频谱分布恢复装置所恢复的输入图像中的照明的频谱分布、以及被指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及

输出图像产生装置，用于基于与输入图像每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

9、如权利要求8所述的颜色修正设备，其中所述输出图像产生装置包括：

表面反射率恢复装置，用于通过使用与由频谱分布恢复装置所恢复的输入图像的每个像素有关的彩色信息和输入图像中的照明的频谱分布，恢复每个像素的表面反射率；以及

图像修正装置，用于通过使用由所述表面反射率恢复装置所恢复的每个像素中的表面反射率和由所述频谱分布计算装置所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

10、如权利要求8所述的设备，其中所述输出图像产生装置包括：

矩阵变换图像修正装置，用于通过使用根据在对每个像素中的表面反射率进行建模时所使用的基本矢量而计算出的常数矩阵、所恢复的输入图像中的照明的频谱分布和输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

11、如权利要求8至10之一所述的设备，其中所述频谱分布计算装置通过将由频谱分布恢复装置所恢复的输入图像中的照明的频谱分布与目标照明的频谱分布以与可见光区域内的波长无关的恒定比例进行混合，计算输出图像中的照明的频谱分布。

12、如权利要求8至10之一所述的设备，其中所述频谱分布计算装置通过基于与可见光区域内的波长有关的函数来将由所述频谱分布恢复装置所恢复的输入图像中的照明的频谱分布与目标照明的频谱分布进行混合，计算输出图像中的照明的频谱分布。

13、如权利要求11所述的设备，还包括控制器，用于使用户能够设置所述恒定比例，并将所述恒定比例输出至所述频谱分布计算装置。

14、如权利要求12所述的设备，还包括控制器，用于使用户能够设置所述与波长有关的函数，并将所述与波长有关的函数输出至所述频谱分布计算装置。

15、一种颜色修正程序，用于使计算机执行处理，以修正输入图像，从而产生具有与输入图像中的照明条件不同的照明条件的输出图像，所述程序使计算机执行：

处理，用于从输入图像中检测特定主题区域，并提取与所述区域有关的彩色信息；

处理，用于通过使用所提取的与特定主题区域有关的彩色信息和提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；

处理，用于通过使用所恢复的输入图像中的照明的频谱分布和被指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及

处理，用于基于与输入图像的每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

16、如权利要求15所述的程序，其中所述用于计算彩色信息的处理包括：

处理，用于通过使用与输入图像的每个像素有关的彩色信息和所恢复的输入图像中的照明的频谱分布，恢复每个像素中的表面反射率；以及

处理，用于通过使用所恢复的每个像素中的表面反射率和所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

17、如权利要求15所述的程序，其中用于计算彩色信息的处理包括：

处理，用于通过使用根据在对每个像素中的表面反射率进行建模时所使用的基本矢量而计算出的常数矩阵、所恢复的输入图像中的照明的频谱分布和输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。

18、如权利要求15至17之一所述的程序，其中在所述用于计算频谱分布的处理中，通过将所恢复的输入图像中的照明的频谱分布与目标照明的频谱分布以与可见光区域内的波长无关的恒定比例进行混合，计算输出图像中的照明的频谱分布。

19、如权利要求15至17之一所述的程序，其中在所述计算频谱分布的处理中，通过基于与可见光区域内的波长有关的函数来将所恢复的输入图像中的照明的频谱分布与目标照明的频谱分布进行混合，计算输出图像中的照明的频谱分布。

20、一种记录介质，可由计算机读取，所述计算机能够执行处理以修正输入图像，从而产生具有与输入图像中的照明条件不同的照明条件的输出图像，所述记录介质存储了用于使计算机执行以下处理的颜色修正程序：