CN101953148B

CN101953148B - 彩色图像处理方法、装置及程序

Info

Publication number: CN101953148B
Application number: CN2009801058064A
Authority: CN
Inventors: 塚田正人
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-02-22
Filing date: 2009-02-23
Publication date: 2013-05-08
Anticipated expiration: 2029-02-23
Also published as: JPWO2009104787A1; US9485391B2; US20100328740A1; CN101953148A; WO2009104787A1; JP5158100B2

Abstract

一种彩色图像处理方法、彩色图像处理装置及彩色图像处理程序，其目的在于，针对由彩色图像机器所拍摄到的彩色图像中的特定对象物，实现该特定对象物的希望的颜色再现，提高质感。利用输入图像中的特定对象物区域中的颜色信息和预先指定的所述特定对象物的代表表面反射率，来还原照明的光谱分布，根据所述颜色信息和所述照明的光谱分布来还原所述特定对象物区域中的表面反射率，利用预先指定的所述特定对象物的3个以上的参照表面反射率来校正所述表面反射率，根据所述照明的光谱分布和所述校正后的表面反射率来算出所述特定对象物区域中的颜色。

Description

彩色图像处理方法、装置及程序

技术领域

本发明基于日本国专利申请：特愿2008-041605号(2008年2月22日申请)主张优先权，该申请的全部记载内容通过引用编入本说明书中而被记载。

本发明涉及彩色图像的图像处理，特别是涉及一种彩色图像处理方法、彩色图像处理装置、以及彩色图像处理程序，实际地用于实现由彩色图像机器所拍摄到的彩色图像中的物体的颜色校正和该物体的希望的颜色再现，并提高质感。

背景技术

作为使由彩色图像装置所拍摄到的彩色图像高画质化的手法，提案一种手法：通过使彩色图像中的特定对象物(肤色、绿草绿树、蓝天等)的颜色接近该对象物的记忆色，来再现令人满意的颜色。

例如，在专利文献1中，提案了一种手法：从图像中的对象区域中提取代表色，通过将此代表色与预先设定的校正的中心色比较以决定RGB校正参数，各像素的校正是根据与中心色的距离来控制该校正参数的应用强度以进行校正。具体地说，通过将彩色图像的各像素的颜色信息，即RGB值变换为色调、彩色饱和度、亮度，计算该颜色与校正的中心色在颜色空间中的距离，并根据该距离调整校正强度，从而实现对对象物的颜色有重点地校正。

在这种手法中，在RGB颜色空间中进行了基于校正参数加减运算的颜色校正。以脸的肤色为例，RGB的校正量，在每个像素中根据与校正中心色的距离计算。若想使脸区域整体变亮，对于脸区域的几乎整体区域的各像素的RGB值，对与校正中心色的上述距离相应的校正参数进行加减运算。

此外，在专利文献3中，公布了一种颜色校正装置、方法：对光谱色(spectral color)的图像数据进行颜色校正时，将光谱色变换到比原维数低的维数的颜色空间，在低维颜色空间内进行颜色校正，从低维生成适当维数的光谱色。另外，在专利文献4中，公布了一种构成：根据源颜色空间的基准白色，即源基准白色的色温还原源基准白色的光谱分布(spectral distribution)特性，根据目的颜色空间的基准白色，即目的基准白色的色温还原目的基准白色的光谱分布特性，利用任意颜色的三刺激值、源基准白色的光分布特性、和人类的颜色匹配函数(color matching function)来还原源颜色空间中任意颜色的表面反射率，根据还原后的表面反射率、还原后的目的基准白色的光谱分布特性、和人类的颜色匹配函数求出目的颜色空间中颜色的三刺激值。在专利文献5中，公布了一种构成：提取特定对象物的体表色，通过设定与被提取的代表色最适合的颜色校正参数，可以对各种照明环境下所拍摄到的自然图像中的重要拍照对象自动地实施颜色校正。(专利文献3、4、5的发明与后述的本发明是完全不同的构成。)

专利文献1：JP专利第3264273号公报(第0036-0045段)

专利文献2：JP特开2003-317084号公报(第0019-0021段)

专利文献3：JP特开2004-45189号公报

专利文献4：JP特开平10-229499号公报

专利文献5：JP特开2001-92956号公报

非专利文献1：细井等，“一般化学习向量量子化的脸检测”，信学技法，社团法人电子信息通信学会，2003年，Vol.102，No.651，p.47-52(細井ら，「一般

学習ベクトル量子

にょる颜検出」，信学技法，社団法人電子情報通信学会，2003年，Vol.102，No.651，p.47-52)

非专利文献2：田岛让二著，“图像工学系列10彩色图像复制论彩色处理的基础”，丸善株式会社，1996年9月30日，p.33-39(田島譲二著，「画像工学シリ一ズ10カラ一画像複製論カラ一マネジメントの基礎」，丸善株式会社，平成8年9月30日，p.33-39)

以上的专利文献1-5以及非专利文献1、2的公开事项被本书引用编入记载。以下给出本发明的关联技术的分析。

如专利文献1，在利用了彩色图像数据的RGB和色调、彩色饱和度、亮度这样的颜色3属性的彩色图像处理手法中，有这样的问题：使本来的物体的质感降低。

其理由在于，当对图像中的某对象物的颜色进行变亮校正时，通常有以下现象发生：原本具有高像素值的颜色成分(例如：红)饱和，而针对其以外的颜色成分(绿、蓝)，对校正参数进行加减运算。若对对象物区域整体进行这种处理，则对象物区域中的颜色信息或者像素值的方差将变小，对象物区域中的外观的质感将降低。

因此，抑制彩色图像中的对象物区域的质感降低的彩色图像处理是必要的。

发明内容

本发明的目的在于，提供一种彩色图像处理方法、彩色图像处理装置、彩色图像处理系统、以及彩色图像处理程序，针对由彩色图像机器所拍摄到的彩色图像中的规定对象物，实现该对象物的希望的颜色再现，维持或者提高质感。

本申请公开的发明为解决所述课题，其概略由以下构成。

在本发明涉及的彩色图像处理方法中，根据输入图像中的特定对象物的颜色信息还原照明的光谱分布；

根据所述特定对象物的颜色信息和所述照明的光谱分布还原所述特定对象物区域中的表面反射率；

校正所述表面反射率，利用校正后的表面反射率和所述照明的光谱分布，计算输入图像中的特定对象物的颜色，生成输出图像。

本发明的彩色图像处理方法，是一种校正输入图像来生成输出图像的彩色图像处理方法，包括：

利用输入图像中的特定对象物区域中的颜色信息和预先指定的所述特定对象物的代表表面反射率，还原照明的光谱分布的步骤；

根据所述颜色信息和所述照明的光谱分布还原所述特定对象物区域中的表面反射率的步骤；

利用预先指定的所述特定对象物的规定个数(3个以上)的参照表面反射率，校正所述表面反射率的步骤；和

根据所述照明的光谱分布和所述校正后的表面反射率算出所述特定对象物区域中的颜色的步骤。

进一步地，本发明的彩色图像处理方法，是一种校正输入图像来生成输出图像的彩色图像处理方法，包括：

利用预先指定的所述特定对象物的3个以上的参照表面反射率，计算用于对输入图像中的对象物中的表面反射率进行校正的矩阵的步骤；和，

求出基于对输入图像中的对象物中的颜色信息进行校正的线性计算的校正公式，校正对象物中的颜色信息的步骤。

进一步地，在本发明的彩色图像处理方法中，从输入图像中检测特定对象物区域，提取颜色信息。

进一步地，在本发明的彩色图像处理方法中，当校正后的对象物中的颜色信息在图像输出装置的色域(color gamut)外时，将该颜色信息校正为图像输出装置的色域内的颜色。

根据本发明的其他侧面，是一种校正输入图像来生成输出图像的彩色图像处理装置，包括：

对象物的代表表面反射率存储单元，其用于存储预先指定的特定对象物的代表表面反射率；

照明的光谱分布还原单元，其用于利用输入图像中的所述特定对象物区域中的颜色信息和所述特定对象物的代表表面反射率，还原照明的光谱分布；

对象物区域的表面反射率还原单元，其用于根据所述颜色信息和所述照明的光谱分布还原所述特定对象物区域中的表面反射率；

对象物的参照表面反射率存储单元，其用于存储预先指定的特定对象物的3个以上的参照表面反射率；

对象物区域的表面反射率校正单元，其用于利用所述预先指定的特定对象物的3个以上的参照表面反射率，校正所述表面反射率；和

对象物区域的再现颜色算出单元，其用于根据所述照明的光谱分布和所述校正后的表面反射率算出所述特定对象物区域中的颜色。

另外，本发明的彩色图像处理装置是一种校正输入图像来生成输出图像的彩色图像处理装置，包括：

对象物区域的表面反射率校正矩阵算出单元，其用于利用所述预先指定的特定对象物的3个以上的参照表面反射率，计算用于对输入图像中的对象物中的表面反射率进行校正的矩阵；和

对象物区域的再现颜色校正单元，其用于求出基于对输入图像中的对象物中的颜色信息进行校正的线性计算的校正公式，校正对象物中的颜色信息。

进一步地，本发明的彩色图像处理装置，还包括：对象物区域检测单元，其用于从输入图像中检测特定对象物区域，提取颜色信息。

进一步地，本发明的彩色图像处理装置，包括：

输出图像装置的颜色信息存储单元，其用于存储输出图像装置的颜色信息；和

面向输出图像装置的颜色校正单元，其用于当校正后的对象物中的颜色信息在所述图像输出装置的色域外时，将该颜色信息校正为所述图像输出装置的色域内的颜色。

另外，本发明的彩色图像处理程序，是一种校正输入图像来生成输出图像的彩色图像处理程序，由使计算机执行以下处理的程序构成：

利用输入图像中的特定对象物区域中的颜色信息和预先指定的所述特定对象物的代表表面反射率，还原照明的光谱分布；根据所述颜色信息和所述照明的光谱分布还原所述特定对象物区域中的表面反射率；利用预先指定的所述特定对象物的3个以上的参照表面反射率，校正所述表面反射率；根据所述照明的光谱分布和所述校正后的表面反射率算出所述特定对象物区域中的颜色。

利用输入图像中的特定对象物区域中的颜色信息和预先指定的所述特定对象物的代表表面反射率，还原照明的光谱分布；利用预先指定的所述特定对象物的3个以上的参照表面反射率，计算用于对输入图像中的对象物中的表面反射率进行校正的矩阵；求出基于对输入图像中的对象物中的颜色信息进行校正的线性计算的校正公式，校正对象物中的颜色信息。

进一步地，本发明的彩色图像处理程序，包括使计算机执行以下处理的程序：从输入图像中检测特定对象物区域，提取颜色信息的处理。

进一步地，本发明的彩色图像处理程序，包括使计算机执行以下处理的程序：当校正后的对象物中的颜色信息在图像输出装置的色域外时，将该颜色信息校正为图像输出装置的色域内的颜色。

根据本发明，针对由彩色图像机器所拍摄到的彩色图像中的规定的对象物，能实现该对象物的希望的颜色再现，维持或者提高质感。

附图说明

图1是说明本发明的彩色图像处理方法的第1实施例步骤的流程图。

图2是说明自动检测输入图像中的对象物区域、求出颜色信息的处理的图。

图3是说明自动检测对象物区域、求出颜色信息的处理的概略图。

图4是表示CIE昼光的均值以及第1、第2主成分向量的曲线图。

图5是表示集中物体的表面反射率、对其进行主成分分析(principal component analysis)得到的基底向量的例子的曲线图。

图6是表示关于对象物区域中的颜色的特性参数bi(i＝1～3)空间上的校正的图。

图7是说明本发明的彩色图像处理方法的第2实施例步骤的流程图。

图8是表示本发明的彩色图像处理装置的第1实施例的构成的图。

图9是表示本发明的彩色图像处理装置的第2实施例的构成的图。

图10是表示本发明的彩色图像处理装置的第3实施例的构成的图。

图中：1-输入图像

2-输出图像

3-对象物区域检测单元

4-照明的光谱分布还原单元

5-对象物的代表表面反射率存储单元

6-对象物区域的表面反射率还原单元

7-对象物区域的表面反射率校正单元

8-对象物的参照表面反射率存储单元

9-对象物区域的再现颜色算出单元

10-对象物区域的表面反射率校正矩阵算出单元

11-对象物区域的再现颜色校正单元

12-面向输出图像装置的颜色校正单元

13-输出图像装置的颜色信息存储单元

100、101、102-彩色图像处理装置

具体实施方式

以下关于本发明的实施方式进行说明。在本发明中，校正特定对象物的颜色时，不利用构成图像数据的RGB和颜色的三属性进行校正，而通过使表现该特定对象物的颜色的表面反射率的分布向预先设定的对象物的参照表面反射率的分布接近的校正方法，算出再现颜色，从而可以抑制颜色校正后的再现颜色的方差减小。

根据本发明，可以解决当用彩色图像数据的RGB和色调、彩色饱和度、亮度这样的颜色的3属性进行图像处理时本来的物体质感降低的课题，针对由彩色图像机器所拍摄到的彩色图像中的特定对象物，能够不降低质感，实现对象物的希望的颜色再现。以下就实施例进行说明。

实施例

图1是说明本发明一个实施例的彩色图像处理方法的流程图。在此，为了说明方便，令图像的表色系(color specification system)为RGB表色系。即，令图像的颜色由R(红)、G(绿)、B(蓝)的组合表示，用颜色信息RGB标记。当然，本发明对于RGB以外的表色系也同样适用。

为了提高任意给出的彩色图像中的特定对象物的质感，要进行彩色图像中对象物的各像素中的再现颜色的再计算。

这里的特定对象物，即使个体不同，即存在个体差，由于大致的颜色信息、纹理是普遍的，所以只要根据从彩色图像中得到的特征就能确定是假定的对象物，就不做特别限定。

首先，从输入图像中自动检测特定的对象物(步骤S1)。

利用颜色信息、纹理等，从输入的彩色图像中检测特定对象物。以下，针对特定对象物是人脸的情况进行说明。在特定对象物是人脸时，利用眼、鼻、口等的形状特征来检测脸区域。

作为脸区域的检测手法，例如，可以利用非专利文献2中揭示的脸检测方法。这种手法，是一种利用一般化学习向量量子化、组合了Image-based(基于图像)型和进行眼检测的Feature-based(基于特征)型的脸检测方法。

另外，作为从输入图像中检测脸区域的检测方法，也可以利用专利文献2记载的从图像中检测眼的方法。也就是说，若眼的位置从输入图像中检测出来，则推定脸区域就变得容易。

在此，上述的两种手法一般是利用单色信息进行脸检测，但进一步地，通过追加判定作为其检测结果的脸区域是否为肤色，可以使脸区域的检测精度提高。

关于肤色判定方法，可以利用专利文献1中记载的利用图像直方图的手法。脸检测方法，不局限于上述的两种手法，也可以利用其它的手法。

上述的说明讲述了从任意给出的输入图像中自动检测的对象物是脸的情况，但也可以对应脸以外的物体。为了自动检测脸以外的对象物，例如，可以利用以下方法：通过将预先登录的对象物的视觉的特征信息与图像数据的视觉的特征信息进行比较，来自动检测对象物。

接下来，从输入图像中的对象物中的颜色信息还原拍摄输入图像时的照明的颜色信息(步骤S2)。

在此，利用彩色图像中的对象物的颜色信息、对象物具有的表面反射特性，还原拍摄输入图像时用到的照明的颜色信息，即照明的光谱分布特性。

首先，求出从输入图像中自动检测出的对象物区域的颜色信息。

图2是说明自动检测输入图像中的对象物区域、求出颜色信息的处理的概略的图。作为对象物区域的颜色信息，可以将对象物占据区域内存在的像素的平均色、中央色(中位数：median)、最频色(众数：mode)等中的任意一种颜色作为对象物区域的颜色信息来加以利用。

在步骤S2中，取得对象物区域的颜色信息RGB，基于取得的颜色信息RGB，求出XYZ表色系的三刺激值XYZ。

关于输入图像的RGB，令该RGB的RGB荧光体的色度以及白色的色度被预先指定，且RGB数据与显示机器的发光强度之间是线性关系。以此为前提进行以下说明。

这种情况下，输入图像的RGB与三刺激值XYZ之间的关系由以下的式(1)表示。

(\begin{matrix} X \\ Y \\ Z \end{matrix}) = RX (\begin{matrix} R \\ G \\ B \end{matrix}) \cdot \cdot \cdot (1)

在此，RX为3×3的变换矩阵。

该变换矩阵RX，只要能决定RGB的荧光体的色度和白色的色度，就可以唯一地计算。

作为变换矩阵RX的算出方法，例如，可以利用非专利文献2中记载的手法等。另外，现在使用的彩色图像显示装置，只要是sRGB显示，就可以用国际电工委员会IEC规定的变换矩阵。进一步地，对式(1)，还可以将黑色的XYZ值作为偏移项追加。

从由式(1)得到的图像中的对象区域的三刺激值XYZ和对象物具有的表面反射率，生成观测方程式，该观测方程式用于还原拍摄输入图像时的照明的颜色信息，即光谱分布。

另外，拍摄输入图像时的照明，指的是照射输入图像中的对象物的照明(光源)。

表示基于XYZ表色系的对象物的颜色的三刺激值XYZ，从对象物的表面反射率、照射该对象物的照明的光谱分布、以及人类视觉的颜色匹配函数得出，由以下的式(2)表现。

X＝∫I(λ)R(λ)x(λ)dλ

Y＝∫I(λ)R(λ)y(λ)dλ

Z ＝∫(λ)R(λ)z(λ)dλ

…(2)

在此，λ是波长，I(λ)是照明的光谱分布，R(λ)是对象物的表面反射率。x(λ)、y(λ)、z(λ)是颜色匹配函数因此是已知函数。积分在可见光的波长区域中进行。

现在，将由式(1)计算的三刺激值XYZ代入式(2)的左边，式(2)则成为未知的照明的光谱分布I(λ)以及R(λ)的观测方程式。

但是，现状是，从式(2)无法计算关于波长的连续函数I(λ)以及R(λ)。

在此，即使是包含一定程度误差的状态，只要能预先限定或者决定表示对象物的颜色的表面反射率R(λ)，就可以将R(λ)看作已知的值，式(2)成为I(λ)单独的观测方程式。

例如，当对象物是日本人的脸的情况下，可以将图3中举例所示的具有平均肤色的日本人的脸区域的表面反射率作为式(2)的R(λ)使用。

即使对象物为脸以外的情况，也可以预先求出：将该对象物多次测定得到的表面反射率的均值或者作为具有代表性的颜色而被选出的对象物的表面反射率，将其代入式(2)的R(λ)。

对于照明的光谱分布I(λ)的观测方程式，即式(2)，由于照明的光谱分布I(λ)在可见光区域本来是用无限维数的波形表示，因此从式(2)不能解析地计算出I(λ)。

另外，作为本技术领域的公知常识，CIE昼光，是CIE(国际照明委员会)根据相对光谱分布规定的测定颜色用的光源，并常被均值与两个主成分的线性和近似。

图4，是表示CIE昼光的均值以及第1、第2主成分向量的曲线图。

据此，照明的光谱分布I(λ)可以由下式表示。

I(λ)＝I₀(λ)+a₁I₁(λ)+a₂I₂(λ)

…(3)

式(3)中的I_i(λ)(i＝1～2)是图4所示的照明的均值以及基底向量。

a_i(i＝1～2)是各基底向量的加权系数，是表现照明颜色的特性参数。

若将式(3)的I(λ)代入式(2)，则成为关于表现照明颜色的未知特性参数a₁及a₂的2元一次联立方程组，可以容易地计算出a₁、a₂。

通过将得到的表现照明颜色的特性参数a₁、a₂代入公式(3)，可以得到照明的光谱分布I(λ)。

将以上步骤得到的照明的光谱分布作为拍摄输入图像时的照明的光谱分布I(λ)。

下一步，针对输入图像中的特定对象物中的各像素，还原特定对象物的表面反射率(步骤S3)。

从特定对象物区域的任意像素中的RGB值，遵从式(1)，计算三刺激值XYZ，代入式(2)的左边。

而且，当将由步骤S2计算出的拍摄输入图像时的照明的光谱分布Iorg(λ)代入式(2)的右边，式(2)则成为与特定对象物区域的某像素中的表面反射率R(λ)有关的观测工程式。

在此，针对特定对象物的表面反射率，由于其与照明的光谱分布一样，在可见光区域中也是由无限维数的波形表示，因此其不能由观测方程式(2)解析地计算。

因此，针对特定对象物的表面反射率，也利用由低维的基底向量的加权和表示的有限维数线性模型来进行模型化。

R(λ)＝r₀(λ)+b₁r₁(λ)+b₂r₂(λ)+b₃r₃(λ)

…(4)

在此，r_i(λ)(i＝1～3)是集中多个物体的表面反射率、对其进行主成分分析得出的基底向量，分别表示均值、第1主成分向量～第3主成分向量，全部为已知。

b_i(i＝1～3)是各基底向量的加权系数，是表现物体颜色的未知的特性参数。

图5是对物体的表面反射率进行主成分分析得到的基底向量的例。另外，也可以使用集中特定对象物的多个表面反射率并对其进行主成分分析得到的基底向量。

现在，若特定对象物的表面反射率由式(4)表示，则未知的特性参数b₁～b₃，可以由通过将式(4)代入观测方程式式(2)而得到的3元一次联立方程组即式(5)求出。

在此，M(x，r_i)(i＝1～3)表示积分项∫I(λ)r_i(λ)x(λ)dλ，y、z的情况也相同。

通过将式(5)得到的表现物体颜色的特性参数b_i(i＝1～3)代入式(4)，求出对象物区域中的任意像素中的表面反射率。

下一步，利用对象物的参照表面反射率，校正输入图像中的对象物中的各像素的表面反射率(步骤S4)。

以为了使该对象物的所希望的颜色能够再现而设定的参照表面反射率为基础，对步骤S3算出的输入图像中的对象物中的各像素的表面反射率进行校正。

在此，所说的对象物的参照表面反射率，指的是能满足以下条件的表面反射率：在标准照明下拍摄该对象物而得到的彩色图像中，该对象物是优质，且令人满意的颜色(亮度、彩色饱和度、色调)。

虽然该参照表面反射率，因为依赖于人类的主观，不能唯一地定义，但可以通过实施主观评价实验而事先求出。例如，可以用图像处理工具使图像中的对象物的颜色发生各种各样的变化，然后评价其画质，针对其中被判断为最满意时的图像，应用上述的步骤S2以及步骤S3，求出对象物区域中的各像素的参照表面反射率。

在此，作为参照表面反射率，令从该对象物区域中事先选出3个以上。例如，可以针对相当于对象物区域内存在的平均色、中央色(median)、最频色(mode)的像素的颜色，将其表面反射率作为对象物的参照表面反射率Rref(i，λ)(i＝1～n，n≥3)。

另外，也可以解析对象物区域内的最亮的颜色、最暗的颜色、彩色饱和度最高的颜色、彩色饱和度最低的颜色、和对象物区域内的颜色分布，针对位于色调两端的颜色等，将其作为该对象物的参照表面反射率Rref(i，λ)(i＝1～n，n≥3)。

进一步地，在输入图像中的对象物中，形状特征能够利用时，也可以将对应其区域中的颜色的表面反射率作为该对象物的参照表面反射率Rref(i，λ)(i＝1～n，n≥3)。例如，对象物是脸的情况下，脸颊、眼角、额头等作为特征区域被给出。

也可以求出这些特征区域中某种程度范围内存在的像素的平均色，算出对应其平均色的表面反射率，将其作为该对象物的参照表面反射率Rref(i，λ)(i＝1～n，n≥3)。

通过以上手法，从该对象物的区域中可以得到3个以上的参照表面反射率。

以用于很好地再现对象物的颜色的参照表面反射率即Rref(i，λ)(i＝1～n，n≥3)为基础，对输入图像中的对象物中的各像素的表面反射率进行校正。

在此，作为对对象物区域中的表面反射率校正的结果，通过校正为1个表面反射率，使对象物区域内的再现颜色的方差不再变小。

因为一旦对象物区域内的颜色的方差变小，有时就会造成质感的降低。

在本实施例中，通过对构成表面反射率的特性参数b_i(i＝1～3)进行校正，来校正图像中对象物的颜色，其中，该表面反射率是针对对象物区域中的各像素而算出的。

下面表示了对特性参数b_i(i＝1～3)的校正公式的一例。

(\begin{matrix} {b_{1}}^{'} \\ {b_{2}}^{'} \\ {b_{3}}^{'} \end{matrix}) = (\begin{matrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \end{matrix}) (\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \end{matrix}) \cdot \cdot \cdot (6)

在此，特性参数b′_i(i＝1～3)是校正后的特性参数。

3×3矩阵是校正矩阵，其要素m_ij(i，j＝1～3)由以下算出。

对于上述预先得到的对象物所对应的3个以上的参照表面反射率Rref(i，λ)(i＝1～n，n≥3)中的每一个，求出在输入图像中的对象物区域中有相同性质的颜色，关于这些颜色求出表面反射率。

即，在第1个参照表面反射率Rref(1，λ)是上述的被判断为最令人满意图像中的对象区域的平均色所对应的表面反射率的情况下，求出输入图像中的对象物区域中的平均色所对应的表面反射率R(1，λ)。

在此，令Rref(1，λ)的特性参数为b_r1，i(i＝1～3)，R(1，λ)的特性参数为b_1，i(i＝1～3)。

现在，将输入图像中的对象物区域中的平均色校正为被判断为令人满意时的图像中的对象物区域中的中心色。将Rref(1，λ)的特性参数即b_r1，i(i＝1～3)代入式(6)的左边的特性参数b′_i(i＝1～3)中，将R(1，λ)的特性参数即b_1，i(i＝1～3)代入式(6)的右边的特性参数中b_i(i＝1～3)中。

h[0165] 这样，式(6)成为关于未知的要素m_ij(i，j＝1～3)的联立方程组。

h

若针对对象物中3个以上的颜色同样进行，则根据方程式和未知数的数目的关系，可以解出未知的要素m_ij(i，j＝1～3)，得到式(6)的校正矩阵。

图6表示了针对对象物区域中的3种颜色，在特性参数b_i(i＝1～3)的空间中的上述的校正关系。

由图6可知，将输入图像中的特定对象物区域中的特性参数的分布维持为能够实现最理想的颜色再现的参照表面反射率中的特性参数的分布，从而可以抑制颜色的方差的变化(偏向或者减低)，校正后的颜色的质感不会受到损害。

另外，相反地，当输入图像中的特定对象物区域中的特性参数的分布很分散时，通过调整为参照表面反射率中的特性参数的分布的方差，可以改善颜色的方差过大造成的质感降低。

通过对构成输入图像中的对象物中的各像素的表面反射率的特性参数b_i(i＝1～3)应用式(6)的校正矩阵，算出校正后的特性参数，并代入式(4)，可以得到输入图像中的对象物中的各像素的校正后的表面反射率。

下一步，利用输入图像中的对象物中的各像素校正后的表面反射率和拍摄输入图像时的照明的光谱分布I(λ)，算出输入图像中的对象物中的各像素校正后的颜色(步骤S5)。

关于输入图像中的对象物中的各像素的校正后颜色的算出，通过先利用式(2)计算三刺激值X′Y′Z′，进而计算式(1)的矩阵RX的逆矩阵即矩阵XR，从而得到校正后的R′G′B′。

(\begin{matrix} R^{'} \\ G^{'} \\ B^{'} \end{matrix}) = XR (\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) \cdot \cdot \cdot (7)

依照上述方法，将对输入图像中的对象物区域的颜色进行了校正后的图像作为输出图像输出。

以上虽然对输入图像以及输出图像的设备依存彩色为RGB的情况进行了说明，但是即使为CMY、CMYK等RGB以外的设备依存彩色时，若该设备依存彩色与设备非依存彩色的三刺激值XYZ之间的对应关系能被得到，则对于RGB以外的图像也可以应用本发明的颜色校正方法。在此，所说的设备依存彩色，指的是依存于输出端设备的颜色空间。

接下来，关于本发明的第2实施例的彩色图像处理方法进行说明。图7是为了说明本发明的第2实施例的彩色图像处理方法的流程图。第2实施例将第1实施例中的步骤S3、步骤S4、步骤S5所进行的处理即还原输入图像中对象物中的各像素的表面反射率、校正还原后的表面反射率、算出校正后的再现颜色，置换为基于线性计算的校正公式，从而可以得到与第1实施例同等的校正结果。

由于图7中从步骤S1到步骤S2的处理与图1的步骤S1、S2相同，省略其说明，下面关于步骤S6和步骤S7进行说明。

首先，在步骤S6中，利用步骤S3中记载的对象物区域中的表面反射率的算出方法，计算用于对由步骤S4的式(6)中的3行3列的要素m_ij(i，j＝1～3)构成的对象物区域中的表面反射率进行校正的矩阵。

在步骤S7中，构筑计算式，该计算式基于给出与由步骤S5进行的校正后的再现颜色的计算结果相同结果的线性变换。

现在，假设在步骤S2中，拍摄输入图像时的照明的光谱分布I(λ)，以及在步骤S3中，输入图像中的对象物区域中的某像素的表面反射率R(λ)被还原。

即，得到表示物体颜色的特性参数b_i(i＝1～3)。

而且，在上述步骤S6中，得到用于校正表面反射率的3×3矩阵的校正矩阵，并由式(6)算出校正后的对象物的表面反射率R′(λ)的特性参数b′_i(i＝1～3)。

接下来，校正后的表面反射率R′(λ)，是将特性参数b′_i(i＝1～3)代入式(4)中计算得出，如下式(8)所示。

R′(λ)＝r₀(λ)+b₁′r₁(λ)+b₂′r₂(λ)+b₃′r₃(λ)

…(8)

校正后的对象物的颜色的三刺激值X′Y′Z′，由下式(9)表示。

X′＝∫I(λ)R′(λ)x(λ)dλ

y′＝∫I(λ)R′(λ)y(λ)dλ

Z′＝∫I(λ)R′(λ)z(λ)dλ

…(9)

将式(8)代入式(9)的右边，若用线性变换的形式表示，即为下式(10)。

(\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) = (\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z 2 r_{1}) & M (z, r_{3}) \end{matrix}) (\begin{matrix} {b_{1}}^{'} \\ {b_{2}}^{'} \\ {b_{3}}^{'} \end{matrix}) \cdot \cdot \cdot (10)

在此，M(x，r_i)(i＝1～3)表示积分项∫I(λ)r_i(λ)x(λ)dλ，y、z的情况也相同

式(10)，根据式(5)以及式(6)，如下式(11)所表现。

(\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) = (\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z 2 r_{1}) & M (z, r_{3}) \end{matrix}) (\begin{matrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \end{matrix}) {(\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z 2 r_{1}) & M (z, r_{3}) \end{matrix})}^{- 1} (\begin{matrix} X - M (x, r_{0}) \\ Y - M (y, r_{0}) \\ Z - M (z, r_{0}) \end{matrix}) (\begin{matrix} M (x, r_{0}) \\ M (y, r_{0}) \\ M (z, r_{0}) \end{matrix}) \cdot \cdot \cdot (11)

式(11)，可以归纳为下式(12)。

(\begin{matrix} X^{'} \\ Y^{'} \\ Z^{'} \end{matrix}) = A (\begin{matrix} X \\ Y \\ Z \end{matrix}) + B \cdot \cdot \cdot (12)

在此，矩阵A为由下式(13)表示的3×3矩阵，矩阵B为由下式(14)表示的3×1矩阵，其均为常数矩阵。

A = (\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z 2 r_{1}) & M (z, r_{3}) \end{matrix}) (\begin{matrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \end{matrix}) {(\begin{matrix} M (x, r_{1}) & M (x, r_{2}) & M (x, r_{3}) \\ M (y, r_{1}) & M (y, r_{2}) & M (y, r_{3}) \\ M (z, r_{1}) & M (z 2 r_{1}) & M (z, r_{3}) \end{matrix})}^{- 1} \cdot \cdot \cdot (13)

B = (\begin{matrix} M (x, r_{0}) \\ M (y, r_{0}) \\ M (z, r_{0}) \end{matrix}) - A (\begin{matrix} M (x, r_{0}) \\ M (y, r_{0}) \\ M (z, r_{0}) \end{matrix})

若得到用于校正颜色信息的数学式即式(12)，则针对输入图像中的对象物区域中的全部像素算出三刺激值XYZ，用式(12)计算校正后的三刺激值X′Y′Z′。

而且，用式(7)得到校正后的R′G′B′。

接下来，针对本发明的一个实施例的颜色校正装置进行说明。图8是表示本发明第1实施例的构成的图。

彩色图像处理装置100是对输入图像1实施颜色校正并输出输出图像2的装置。彩色图像处理装置100具有：对象物区域检测单元3、照明的光谱分布还原单元4、对象物的代表表面反射率存储单元5、对象物区域的表面反射率还原单元6、对象物区域的表面反射率校正单元7、对象物的参照表面反射率存储单元8、和对象物区域的再现颜色算出单元9。

对象物区域检测单元3，当被给予输入图像1时，解析输入图像1，检测预先假设的特定对象物，输出表示图像中的对象物区域的信息。在此，从输入图像1中检测的对象物，如上所述，是如人脸等这样其对象物的颜色和形状特征在一定程度上能够限定的东西。关于检测方法，依照上述手法即可。此外，从输入图像1中不能检测目的对象物时，输入图像1将作为输出图像2输出。

照明的光谱分布还原单元4，利用由对象物区域检测单元3检测出的对象区域中的颜色信息、和保存于对象物的代表表面反射率存储单元5中的对象物的有代表性的表面反射率，依照上述方法，还原输入图像中的照明的光谱分布。在照明的光谱分布还原单元4中，执行相当于前述图1的步骤S2的处理。

对象物区域的表面反射率还原单元6，根据还原后的照明的光谱分布和输入图像的像素值，依照上述方法，对对象物区域中的各像素的表面反射率进行还原。在对象物区域的表面反射率还原单元6中，执行相当于前述图1的步骤S3的处理。

对象物区域的表面反射率校正单元7，利用保存于对象物的参照表面反射率存储单元8中的3个以上的对象物的参照表面反射率，依照上述方法，对还原后的对象物区域中的各像素的表面反射率进行校正。在对象物区域的表面反射率校正单元7中，执行相当于前述图1的步骤S4的处理。

对象物区域的再现颜色单元9，利用校正后的对象物区域中的各像素的表面反射率、和还原后的照明的光谱分布，计算三刺激值XYZ，进而将输出图像变换为设备依存彩色(例如，RGB等)，并作为输出图像输出。在对象物区域的再现颜色单元9中，执行相当于前述图1的步骤S5的处理。

另外，彩色图像处理装置可以由计算机实现，构成彩色图像处理装置的各构成要素，即对象物区域检测单元3、照明的光谱分布还原单元4、对象物的代表表面反射率存储单元5、对象物区域的表面反射率还原单元6、对象物区域的表面反射率校正单元7、对象物的参照表面反射率存储单元8、和对象物区域的再现颜色算出单元9，可以作为用于使计算机的处理装置(CPU)实现上述功能的程序来实现。构成彩色图像处理装置的各构成要素可以由计算机实现、以及可以作为程序来实现的事实，不局限于第1实施方式，也同样适用于其他的实施方式。

图9是表示本发明的彩色图像处理装置的第2实施例的构成的方框图。本实施例的彩色图像处理装置101，是对输入图像1实施颜色校正、并输出输出图像2的装置。参照图9，彩色图像处理装置101具有：对象物区域检测单元3、照明的光谱分布还原单元4、对象物的代表表面反射率存储单元5、对象物区域的表面反射率校正矩阵算出单元10、对象物的参照表面反射率存储单元8、和对象物区域的再现颜色校正单元11。对象物区域检测单元3和照明的光谱分布还原单元4，与图8的对象物区域检测单元3和照明的光谱分布还原单元4相同。

在对象物区域的表面反射率校正矩阵算出单元10中，执行相当于上述图7的步骤S6的处理。

即，算出式(6)中的由3行3列的要素m_ij(i，j＝1～3)构成的对象物区域中的表面反射率的校正矩阵。

在对象物区域的再现颜色校正单元11中，执行相当于图7的步骤S7的处理。即，作成由式(11)表示的用于校正对象物颜色的校正公式，针对对象物区域的像素实施基于式(11)的颜色校正，生成输出图像后输出。

图10是表示本发明的彩色图像处理装置的第3实施方式的方框图。参照图10，在本发明的第3实施例中，彩色图像处理装置102，是对输入图像1实施颜色校正、并输出输出图像2的装置。

彩色图像处理装置102具有：对象物区域检测单元3、照明的光谱分布还原单元4、对象物的代表表面反射率存储单元5、对象物区域的表面反射率校正矩阵算出单元10、对象物的参照表面反射率存储单元8、对象物区域的再现颜色校正单元11、面向输出图像装置的颜色校正单元12、和输出图像装置的颜色信息存储单元13。

对象物区域的再现颜色校正单元11，利用校正后的对象物区域中的各像素的表面反射率和还原后的照明的光谱分布，计算由三刺激值XYZ表现的对象物区域的再现颜色。

面向输出图像装置的颜色校正单元12，利用保存于输出图像装置的颜色信息存储单元13中的输出图像装置的颜色信息，判断被算出的对象物区域的再现颜色是否为该输出图像装置的色域内的颜色，当其是色域外的颜色时，将该颜色校正为输出图像装置的色域内的颜色，并作为输出图像输出。

本发明，适用于实现彩色图像输入输出装置中颜色校正的功能。另外，本发明通过作为在计算机系统中动作的程序的方式，可以适用于作为针对任意的彩色图像的颜色校正软件或者应用。

此外，在本发明的所有公开(包括权利要求)的范围内，进一步地，基于其基本技术思想，可以对其实施方式或者实施例进行改变、调整。另外，在本发明的权利要求的范围内，也可以对各种公开要素的进行多种组合或者选择。即，本发明理应包含：包含权利要求的所有公开，以及本领域的技术人员依照其技术思想能够得到的各种变形、改正。

Claims

1.一种彩色图像处理方法，是一种校正输入图像来生成输出图像的彩色图像处理方法，其中，该彩色图像处理方法包括：

利用所述输入图像中的特定对象物区域中的颜色信息和预先指定的所述特定对象物的代表表面反射率，还原照明的光谱分布的步骤；

基于所述颜色信息和所述照明的光谱分布，还原所述特定对象物区域中的表面反射率的步骤；

利用预先指定的所述特定对象物的规定个数的参照表面反射率，校正所述表面反射率的步骤；和

根据所述照明的光谱分布和所述校正后的表面反射率算出所述特定对象物区域中的颜色的步骤，

在校正所述表面反射率的步骤中，按照使表现所述特定对象物区域中的表面反射率的特性参数的分布，向表现所述参照表面反射率的特性参数的分布接近的方式，校正所述表面反射率。

2.如权利要求1所述的彩色图像处理方法，其特征在于，

在校正所述表面反射率的步骤中，预先指定的所述特定对象物的参照表面反射率为3个以上。

3.一种彩色图像处理方法，是一种校正输入图像来生成输出图像的彩色图像处理方法，其中，该彩色图像处理方法包括：

利用预先指定的所述特定对象物的参照表面反射率，计算用于对所述输入图像中的对象物中的表面反射率进行校正的矩阵的步骤；和

求出基于对所述输入图像中的对象物中的颜色信息进行校正的线性计算的校正公式，以校正对象物中的颜色信息的步骤，

在计算用于校正所述表面反射率的矩阵的步骤中，进行如下校正：使表现所述特定对象物区域中的表面反射率的特性参数的分布，向表现所述参照表面反射率的特性参数的分布接近。

4.如权利要求3所述的彩色图像处理方法，其特征在于，

在计算用于校正所述表面反射率的矩阵的步骤中，预先指定的所述特定对象物的参照表面反射率为3个以上。

5.如权利要求1至4的任意一项所述的彩色图像处理方法，其特征在于，

该彩色图像处理方法还包括：

从所述输入图像中检测特定对象物区域，以提取颜色信息的步骤。

6.如权利要求5所述的彩色图像处理方法，其特征在于，

该彩色图像处理方法还包括：

当校正后的对象物中的颜色信息在图像输出装置的色域外时，将该颜色信息校正为所述图像输出装置的色域内的颜色的步骤。

7.一种彩色图像处理装置，是一种校正输入图像来生成输出图像的彩色图像处理装置，其中，该彩色图像处理装置包括：

照明的光谱分布还原单元，其用于利用所述输入图像中的特定对象物区域中的颜色信息和所述特定对象物的代表表面反射率，还原照明的光谱分布；

对象物的参照表面反射率存储单元，其用于存储预先指定的特定对象物的参照表面反射率；

对象物区域的表面反射率校正单元，其用于利用所述预先指定的特定对象物的参照表面反射率，校正所述表面反射率；和

对象物区域的再现颜色算出单元，其用于根据所述照明的光谱分布和所述校正后的表面反射率算出所述特定对象物区域中的颜色，

在所述对象物区域的表面反射率校正单元中，按照使表现所述表面反射率的特性参数的分布，向表现所述参照表面反射率的特性参数的分布接近的方式，校正所述表面反射率。

8.如权利要求7所述的彩色图像处理装置，其特征在于，

存储于所述对象物的参照表面反射率存储单元中的、所述预先指定的特定对象物的参照表面反射率为3个以上。

9.一种彩色图像处理装置，是一种校正输入图像来生成输出图像的彩色图像处理装置，其中，该彩色图像处理装置包括：

对象物区域的表面反射率校正矩阵算出单元，其用于利用所述预先指定的特定对象物的参照表面反射率，计算用于对所述输入图像中的对象物中的表面反射率进行校正的矩阵；和

对象物区域的再现颜色校正单元，其用于求出基于对所述输入图像中的对象物中的颜色信息进行校正的线性计算的校正公式，以校正对象物中的颜色信息，

在所述表面反射率校正矩阵算出单元中，校正所述表面反射率的矩阵实现以下校正：使表现所述特定对象物区域中的表面反射率的特性参数的分布，向表现所述参照表面反射率的特性参数的分布接近。

10.如权利要求7所述的彩色图像处理装置，其特征在于，

11.如权利要求7至10的任意一项所述的彩色图像处理装置，其特征在于，

该彩色图像处理装置还包括：

对象物区域检测单元，其用于从所述输入图像中检测特定对象物区域，提取颜色信息。

12.如权利要求11所述的彩色图像处理装置，其特征在于，

该彩色图像处理装置还包括：

面向输出图像装置的颜色校正单元，其用于当校正后的对象物中的颜色信息在所述输出图像装置的色域外时，将该颜色信息校正为所述输出图像装置的色域内的颜色。