CN109218698A - 一种高容错性的彩色数码相机颜色校正方法 - Google Patents

Abstract

本发明公开了一种对于彩色数码相机中自动白平衡模块光源色品估计结果具有高容错性的颜色校正方法。本发明通过计算相机光谱灵敏度函数与CIE1931色匹配函数之间的光谱变换关系，将相机原始RGB响应信号转换至设备无关的CIE1931 XYZ空间中，并利用CAT02色适应变换模型计算其在参考光源下色适应后的对应色响应值，从而实现不依赖于事先标定参数的颜色校正流程。

Description

一种高容错性的彩色数码相机颜色校正方法

技术领域

本发明涉及利用光谱灵敏度函数变换矩阵及CAT02色适应变换模型实现彩色数码相机颜色校正的方法，该方法能够使彩色数码相机实现不依赖于光源相关标定参数的颜色校正流程。

背景技术

颜色校正模块(color correction module)是彩色数码相机图像信号处理流程中的重要环节之一，其通过将设备相关的颜色信号转换至标准光源下设备无关的参考响应值，从而实现符合人眼视觉感知的数字图像颜色复现。

目前彩色数码相机中的颜色校正模块通常使用预先标定的若干组颜色校正矩阵参数作为校正依据。在标定阶段，对于几种典型光源，计算标准色卡各色块在该光源下的原始RGB响应值与在参考光源(例如CIE D65)下的CIE1931XYZ值之间的转换关系，并将相应的参数存储于图像信号处理器内置的存储空间中。在使用阶段，颜色校正模块将根据自动白平衡模块中的光源色估计结果，从预先标定的若干组参数中选取一组作为当前图像的校正参数。由于从图像内容中进行光源色估计是一个非适定(ill-posed)问题，其估计准确性很容易受到被摄场景内容的影响，因此使用该方法时，一旦所估计的光源色与真实值之间存在较大差异，则颜色校正模块极有可能选取一组错误的标定参数，从而造成颜色校正后的图像出现严重的颜色劣化。

同时，对于现有的基于若干组校正矩阵参数的颜色校正方法，如何确定合适的标定光源数量也是一大难题。若标定光源过少，则无法保证颜色校正结果的连贯性，此时一旦光源色品估计结果出现波动，则颜色校正后的图像外貌也将呈现出明显的跳变；若标定光源过多，则选取错误的标定参数的概率也相应增大，同时也更容易受到同色异谱问题的干扰。

发明内容

为了使彩色数码相机的颜色校正模块对于光源色估计结果具有更高的容错性，本发明通过计算相机光谱灵敏度函数与CIE1931色匹配函数之间的光谱变换关系，将相机原始RGB响应信号转换至设备无关的CIE1931XYZ空间中，并利用CAT02色适应变换模型计算其在参考光源下色适应后的对应色(corresponding color)响应值，从而实现不依赖于预先标定参数的颜色校正流程，提高了彩色数码相机颜色复现的鲁棒性。

本发明所采用的具体技术方案如下：

一种高容错性的彩色数码相机颜色校正方法，步骤如下：

S1：以p参数为目标函数，计算相机光谱灵敏度函数至CIE1931XYZ色匹配函数的最佳光谱变换矩阵，且需满足理想反射表面在若干典型光源下的色差约束；

S2：对于待进行颜色校正的原始图像，将S1中得到的光谱变换矩阵直接作用于各个像素的原始RGB响应值，将其转换至CIE1931XYZ颜色空间中；同时，将S1中得到的光谱变换矩阵直接作用于自动白平衡模块估计出的光源色响应值，将其转换至CIE1931XYZ颜色空间中；

S3：使用CIECAM02色貌模型中的CAT02色适应变换模型计算物体色经色适应后在标准光源下的对应色；

S4：将各个像素经色适应后的CIE1931XYZ三刺激值转换至相机最终输出或进行文件存储的目标颜色空间中，完成颜色校正流程。

作为优选，所述的S1具体为：

S101：对于光谱灵敏度函数为S^(k)(λ),k∈{r,g,b}的待标定相机，采用伪逆法计算其与CIE1931XYZ色匹配函数间的光谱变换矩阵初始值M₀：

M₀＝X^T·(S^T)⁺＝X^T·S·(S^T·S)^-1,

式中X为CIE1931色匹配函数的矩阵形式，每一列对应中一个通道，分别表示CIE1931色匹配函数中对应于长波、中波、短波的三个通道；S为相机光谱灵敏度函数S^(k)(λ)的矩阵形式，每一列对应r、g、b中一个通道；上标⁺表示计算伪逆(Moore–Penrose inverse)矩阵；CIE1931XYZ色匹配函数的采样点及波长范围应与相机光谱灵敏度函数完全对应；

S102：使用p参数定义关于波长λ的一对灵敏度函数s₁(λ)与s₂(λ)之间的近似程度，s₂(λ)作为参考：

S103：以M₀为初始值，优化最佳的光谱变换矩阵M，使其最小化各通道p参数之和：

式中(·)^(k)表示提取矩阵的第k列向量，||·||₁表示计算向量中各元素的绝对值之和；若有必要，也可使用高阶非线性映射的方式实现相机光谱灵敏度函数至CIE1931XYZ色匹配函数间的光谱变换；

在计算最佳光谱变换矩阵M的过程中，还应使在若干典型光源下的理想反射表面经变换后的CIE1931XYZ三刺激值与参考值之间的色差小于等于阈值，以保证对于中性色物体的颜色复现准确性，即应对优化过程加入约束：

式中表示由理想反射表面在若干典型光源下的光谱辐射照度函数构成的集合，R为一个光谱辐射照度函数，且是集合中的一个元素；f_cd(·,·)表示计算两组CIE1931XYZ三刺激值之间的色差，T_cd为预先指定的色差阈值。

作为优选，所述的S2具体为：

S201：对于待进行颜色校正图像中的每一像素，将S1中计算得到的最佳光谱变换矩阵M直接作用于其原始RGB响应值，得到其经变换后的CIE1931XYZ三刺激值：

式中p＝[R,G,B]^T为待变换像素原始RGB响应值向量，为经变换后的CIE1931XYZ三刺激值向量。

S202：将S1中计算得到的最佳光谱变换矩阵M直接作用于自动白平衡模块估计出的光源色原始RGB响应值，得到其经变换后的CIE1931XYZ三刺激值：

式中p_w＝[R_w,G_w,B_w]^T为自动白平衡模块估计出的光源色响应值向量，为经变换后的光源色CIE1931XYZ三刺激值向量。

作为优选，所述的S3具体为：

对变换后图像的每个像素使用CIECAM02色貌模型中的CAT02色适应变换模型计算色适应后标准光源下的对应色：

式中色适应变换模型f_CAT02的四组输入参数依次是目标像素经M变换后的CIE1931XYZ三刺激值该图像中光源色经M变换后的CIE1931XYZ三刺激值参考光源下白点的CIE1931XYZ三刺激值q_w,ref以及色适应程度因子D。

作为优选，所述的S4具体为：

对于图像中每个像素经CAT02色适应变换后的三刺激值，计算其在相机最终输出或进行文件存储的目标颜色空间中的响应值

式中M_XYZ2RGB为从CIE1931XYZ颜色空间至目标颜色空间的变换矩阵。

本发明的有益效果是：通过计算相机光谱灵敏度函数与CIE1931色匹配函数之间的光谱变换关系，将相机原始RGB响应信号转换至设备无关的CIE1931XYZ空间中，并利用CAT02色适应变换模型计算其在参考光源下色适应后的对应色响应值，从而实现不依赖于事先标定参数的颜色校正流程。

附图说明

图1是本发明中计算待标定相机的光谱灵敏度函数变换矩阵的流程图。

图2是对某一型号彩色数码相机进行光谱变换前后其光谱灵敏度函数示意图。

图3是本发明中利用CAT02色适应变换模型进行颜色校正的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。

目前大多数彩色数码相机的颜色校正模块预先存储若干组标定光源对应的校正参数，并根据自动白平衡模块中的光源色估计结果从中选取最为合适的一组参数对图像进行颜色校正。该方法使得颜色校正的准确性高度依赖于光源色估计结果，一旦光源色估计出现误差，则有可能选取一组错误的颜色校正参数对图像进行校正。本发明提出一种将相机光谱灵敏度函数变换至CIE1931XYZ色匹配函数，再利用CIECAM02色貌模型中的CAT02色适应变换对图像进行颜色校正的方法，从而使颜色校正模块对于光源色估计结果具有更高的容错性。

本实施例使用3×3线性矩阵实现相机光谱灵敏度函数至CIE1931XYZ色匹配函数间的光谱变换。在计算光谱变换矩阵的过程中，以两者的p参数作为目标函数，且需满足一定的色差约束。

1.本实施例的标定过程包含以下步骤：

将待标定相机的光谱灵敏度函数S与CIE1931XYZ色匹配函数X插值或重采样至完全相同的波长范围内，并确保两者的采样点完全一致。对于光谱灵敏度函数为S^(k)(λ),k∈{r,g,b}的待标定相机，本实施例采用伪逆法(Moore–Penrose inverse)计算待标定相机的光谱灵敏度函数与CIE1931XYZ色匹配函数间的3×3线性光谱变换矩阵初始值M₀：

M₀＝X^T·(S^T)⁺＝X^T·S·(S^T·S)^-1.

式中X为CIE1931色匹配函数的矩阵形式，每一列对应中一个通道，分别表示CIE1931色匹配函数中对应于长波、中波、短波的三个通道；S为相机光谱灵敏度函数S^(k)(λ)的矩阵形式，每一列对应r、g、b中一个通道。上标⁺表示计算伪逆(Moore–Penrose inverse)矩阵。CIE1931XYZ色匹配函数的采样点及波长范围应与相机光谱灵敏度函数完全对应。

类似于LED光谱匹配研究中对一组光谱功率分布函数近似程度的定义，本发明中使用p参数定义关于波长λ的一对灵敏度函数s₁(λ)与s₂(λ)之间的近似程度(以s₂(λ)作为参考)：

以M₀为初始值，使用内点法(Interior-point algorithm)等非线性优化算法计算最佳的光谱变换矩阵M，使相机光谱灵敏度函数与CIE1931XYZ色匹配函数间各通道p参数之和最小化：

式中(·)^(k)表示提取矩阵的第k列向量，||·||₁表示计算向量中各元素的绝对值之和。

本步骤若有必要，也可使用高阶非线性映射的方式实现相机光谱灵敏度函数至CIE1931XYZ色匹配函数间的光谱变换。

为保证对中性物体的颜色复现准确性，在计算最佳光谱变换矩阵M的过程中，还应添加若干约束，使在典型光源下的理想反射表面经变换后的CIE1931XYZ三刺激值与其参考值之间的色差小于等于预先定义的阈值：

式中表示理想反射表面(在任意波长处反射比均为1的假想表面)在若干典型光源下的光谱辐射照度函数构成的集合，R为一个光谱辐射照度函数，且是集合中的一个元素。本实施例中使用CIE D65、CIE D50、CIE A、CWF以及TL84五种典型光源，即f_cd(·,·)表示计算两组CIE1931XYZ三刺激值之间的色差，T_cd为事先指定的色差阈值。本实施例中使用CIEDE2000色差公式计算色差，并设定T_cd＝3。

完成最佳光谱变换矩阵M的计算后，将其参数存储于相机图像信号处理器中内置的存储空间中。

图1展示了本发明中计算待标定相机的光谱变换矩阵的流程图。

图2展示了针对某一型号的彩色数码相机使用最佳光谱变换矩阵M进行变换前后的光谱灵敏度函数。

2.本实施例对输入图像进行基于CAT02色适应变换模型的颜色校正的过程如下：

将计算得到的最佳光谱变换矩阵M直接作用于输入图像中的每一像素RGB响应值p＝[R,G,B]^T，得到经变换后的CIE1931XYZ三刺激值：

式中p＝[R,G,B]^T为待变换像素原始RGB响应值向量，为经变换后的CIE1931XYZ三刺激值向量。

同时，将计算得到的最佳光谱变换矩阵M直接作用于自动白平衡模块估计得到的光源色RGB响应值向量p_w＝[R_w,G_w,B_w]^T，得到其经变换后的CIE1931XYZ三刺激值：

式中为经变换后的光源色CIE1931XYZ三刺激值向量。

使用CIECAM02色貌模型中的CAT02色适应变换模型遍历图像的每一像素，计算其经色适应后在标准光源下的对应色：

式中色适应变换模型f_CAT02的四组输入参数依次是目标像素经M变换后的CIE1931XYZ三刺激值该图像中光源色经M变换后的CIE1931XYZ三刺激值参考光源下白点的CIE1931XYZ三刺激值q_w,ref以及色适应程度因子D。本实施例中使用CIE D65作为参考光源，且仅考虑完全色适应的情况，故有q_w,ref＝[95.047,100.00,108.883]^T，D＝1。

对于经CAT02色适应变换后的图像中的每一像素，计算其在相机最终输出或进行文件存储的目标颜色空间中的响应值

式中M_XYZ2RGB为从CIE1931XYZ颜色空间至目标颜色空间的变换矩阵。例如，若选取sRGB为目标颜色空间，则有

对经最佳光谱变换矩阵M作用后的图像利用CAT02色适应变换模型进行颜色校正的流程如图3所示。

本发明通过计算相机光谱灵敏度函数与CIE1931色匹配函数之间的光谱变换关系，将相机原始RGB响应信号转换至设备无关的CIE1931XYZ空间中，并利用CAT02色适应变换模型计算其在参考光源下色适应后的对应色(corresponding color)响应值，从而实现不依赖于预先标定参数的颜色校正流程，提高了彩色数码相机颜色复现的鲁棒性。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种高容错性的彩色数码相机颜色校正方法，其特征在于，步骤如下：

S1：以p参数为目标函数，计算相机光谱灵敏度函数至CIE1931 XYZ色匹配函数的最佳光谱变换矩阵，且需满足理想反射表面在若干典型光源下的色差约束；

S2：对于待进行颜色校正的原始图像，将S1中得到的光谱变换矩阵直接作用于各个像素的原始RGB响应值，将其转换至CIE1931 XYZ颜色空间中；同时，将S1中得到的光谱变换矩阵直接作用于自动白平衡模块估计出的光源色响应值，将其转换至CIE1931 XYZ颜色空间中；

S3：使用CIECAM02色貌模型中的CAT02色适应变换模型计算物体色经色适应后在标准光源下的对应色；

S4：将各个像素经色适应后的CIE1931 XYZ三刺激值转换至相机最终输出或进行文件存储的目标颜色空间中，完成颜色校正流程。

2.如权利要求1所述的高容错性的彩色数码相机颜色校正方法，其特征在于，所述的S1具体为：

S101：对于光谱灵敏度函数为S^(k)(λ),k∈{r,g,b}的待标定相机，采用伪逆法计算其与CIE1931XYZ色匹配函数间的光谱变换矩阵初始值M₀：

M₀＝X^T·(S^T)⁺＝X^T·S·(S^T·S)^-1,

式中X为CIE1931色匹配函数的矩阵形式，每一列对应中一个通道，S为相机光谱灵敏度函数S^(k)(λ)的矩阵形式，每一列对应r、g、b中一个通道；CIE1931 XYZ色匹配函数的采样点及波长范围应与相机光谱灵敏度函数完全对应；

S102：使用p参数定义关于波长λ的一对灵敏度函数s₁(λ)与s₂(λ)之间的近似程度，s₂(λ)作为参考：

S103：以M₀为初始值，优化最佳的光谱变换矩阵M，使其最小化各通道p参数之和：

式中(·)^(k)表示提取矩阵的第k列向量，||·||₁表示计算向量中各元素的绝对值之和；若有必要，也可使用高阶非线性映射的方式实现相机光谱灵敏度函数至CIE1931 XYZ色匹配函数间的光谱变换；

在计算最佳光谱变换矩阵M的过程中，还应使在若干典型光源下的理想反射表面经变换后的CIE1931 XYZ三刺激值与参考值之间的色差小于等于阈值，以保证对于中性色物体的颜色复现准确性，即应对优化过程加入约束：

式中表示由理想反射表面在若干典型光源下的光谱辐射照度函数构成的集合，R为一个光谱辐射照度函数的向量形式，且是集合中的一个元素；f_cd(·,·)表示计算两组CIE1931 XYZ三刺激值之间的色差，T_cd为预先指定的色差阈值。

3.如权利要求1所述的高容错性的彩色数码相机颜色校正方法，其特征在于，所述的S2具体为：

S201：对于待进行颜色校正图像中的每一像素，将S1中计算得到的最佳光谱变换矩阵M直接作用于其原始RGB响应值，得到其经变换后的CIE1931 XYZ三刺激值：

式中p＝[R,G,B]^T为待变换像素原始RGB响应值向量，为经变换后的CIE1931 XYZ三刺激值向量。

S202：将S1中计算得到的最佳光谱变换矩阵M直接作用于自动白平衡模块估计出的光源色原始RGB响应值，得到其经变换后的CIE1931 XYZ三刺激值：

式中p_w＝[R_w,G_w,B_w]^T为自动白平衡模块估计出的光源色响应值向量，为经变换后的光源色CIE1931 XYZ三刺激值向量。

4.如权利要求1所述的高容错性的彩色数码相机颜色校正方法，其特征在于，所述的S3具体为：

对变换后图像的每个像素使用CIECAM02色貌模型中的CAT02色适应变换模型计算色适应后标准光源下的对应色：

式中色适应变换模型f_CAT02的四组输入参数依次是目标像素经M变换后的CIE1931 XYZ三刺激值该图像中光源色经M变换后的CIE1931 XYZ三刺激值参考光源下白点的CIE1931 XYZ三刺激值q_w,ref以及色适应程度因子D。

5.如权利要求1所述的高容错性的彩色数码相机颜色校正方法，其特征在于，所述的S4具体为：

对于图像中每个像素经CAT02色适应变换后的三刺激值，计算其在相机最终输出或进行文件存储的目标颜色空间中的响应值

式中M_XYZ2RGB为从CIE1931 XYZ颜色空间至目标颜色空间的变换矩阵。