CN101489022B - 色彩恢复方法和系统 - Google Patents

Abstract

本发明涉及色彩恢复方法和系统，更具体地，涉及通过使用基于人类视觉系统的遵循色彩一致性的原理来恢复由于照明而畸变的数字图像色彩的色彩恢复方法和系统。包括：a)根据需要恢复的图像的每个色彩通道的变化值来确定标准区域；b)计算确定后的标准区域的相对表面反射率，并根据计算出的相对表面反射率来计算调节系数，用于排除由光源产生的畸变影响；以及c)通过使用调节系数来恢复图像的色彩。通过本发明，当且仅当数字图像中存在包含了足够数量的不同反射率的表面元素的子区域时，由于光源的光谱偏差引起的数字图像的畸变色彩才可以在非常迅速的单个步骤的操作中轻松恢复，而不会有唯一色彩问题，这是目前已知的难以解决的色彩校正技术领域中的一个最糟糕的问题。

Description

色彩恢复方法和系统

技术领域

本发明涉及一种色彩恢复方法，该方法通过应用实现色彩一致性的原理来恢复由于照明而失真的数字图像。

背景技术

当由于照明而发生图像失真时，理论上，任何系统都不可能恢复精确的图像无失真色彩值(即，在平衡的标准光线条件下获得的色彩值，或由光谱表面反射率所定义的色彩值)。这是因为，图像仅包含从物体表面反射而来的光线信息，而不包括光源本身。然而，通过公知的“色彩一致性(constancy)”功能，人类视觉系统可以通过消除或最小化照明的失真效应来很好地对图像的真实色彩值进行近似。

尽管需要将这种色彩一致性的原理应用至图像处理技术，但仍然尚未有令人满意的尝试。大多数已有的数字图像处理装置和软件采用了与上述原理极为不同的非常复杂的色彩校正技术：使用了主要来自光学或工程观点，有时甚至利用一些反复试验的手工操作而获得的多种启示的技术。因此，所有的这些途径都具有应用范围有限的问题；当它们的操作参数在特定范围内时，现有的系统似乎都能很好的工作，但是，一旦参数超出范围，它们的性能就突然下降。在某些情况下，甚至使用手工操作来改善这些问题，但是这通常是费力费时的。

为了解决这些已有技术的问题，KR专利注册NO.0442320披露了一种通过使用通道内比例尺度(适应型(adaptation-like)或Land’s Retinex型尺度函数，其原理来源于人类色彩一致性)和等-大(equi-max)算法来解决唯一色彩(unique color)问题的数字图像的色彩恢复方法。然而，本发明的问题在于，等-大算法不在稳定的标准基础上工作，因而需要根据唯一色彩问题的严重性来再次调节其修正参数。唯一色彩问题是在失真的数字图像包含了由相对唯一的色彩来主要覆盖的大区域(比如蓝色为主色的海边景象)时发生的。这个问题也在我们对具有相对唯一的均匀色彩的物体进行放大拍摄时发生。

发明内容

本发明用于解决上述问题。本发明的目标在于提供色彩恢复方法和系统，该方法和系统可恢复由于在标准照明之下的照明对色彩的影响而失真的数字图像的色彩，并克服了在数字图像中发生的单纯色彩问题。

为了实现此目标，本发明采用的色彩恢复方法包括以下步骤：a)根据将要恢复的图像的每个色彩通道的变化值来确定标准区域；b)计算所确定的标准区域的相对表面反射率，并使用算得的相对表面反射率来计算用于排除光源失真效应的调整系数；以及c)通过使用调整系数来恢复图像的色彩。

为了实现此目标，本发明提出的系统包括以下计算单元：标准区域确定单元，将将要恢复的图像的每个色彩通道的变化值总和为最大的区域确定为标准区域；调整系数计算单元，计算用于排除在标准区域内的光源的失真效应的调整系数；以及图像恢复单元，通过使用调整系数来恢复图像的色彩。

通过本发明，当且仅当数字图像中存在包含了足够数量的不同反射率的表面元素的子图像时，由于光源光谱偏差引起的数字图像的失真色彩才可以在非常迅速的单个步骤操作中轻松恢复，而不会有唯一色彩问题，这是目前已知的难以解决的色彩校正技术领域中的一个最糟糕的问题。

附图说明

图1是根据本发明的示例性实施例的色彩恢复系统的框图；

图2是根据本发明的示例性实施例的色彩恢复系统的流程图；

图3是根据本发明的示例性实施例的用于恢复每个通道中的数字图像的唯一色彩的步骤的参考图；

图4是根据本发明的示例性实施例的偏差至红色系统的图像的参考图；

图5是根据本发明的示例性实施例的偏差至绿色系统的图像的参考图；以及

图6是根据本发明的示例性实施例的偏差至蓝色系统的图像的参考图。

具体实施方式

在下文中将参考附图详细说明本发明的优选实施例。在每幅图中部件的参考数字被提及为相同的参考数字，从而简单地说明附图。在本文描述该发明时，如果认为关于相关已知结构或功能的详细说明使得本发明的方面不清晰时，则详细的说明可以被忽略。此外，下文中描述了本发明的优选实施例，但是对本领域中那些技术 人员很明显的是：在不离开本发明的范围和精神的情况下，可以对其进行各种修改和改变。

图1是根据本发明示例性实施例的色彩恢复系统的框图。

色彩恢复系统10通过使用基于人类视觉系统的实现色彩一致性的原理来恢复由照明而引起失真的数字图像的色彩，并在以下三个基本假设之下进行操作。

首先，由于色彩一致性的问题不能由反函数来解决，色彩一致性实际上是不需要准确解而只需要近似解的问题。人类视觉系统采取光线适应(light adaptation)的方法来进行这种近似，并且与此相类似的方法被应用在本发明中。

第二，光源的影响被均匀地施加在单个图像的所有部分。这意味着，如果我们找出了一个区域的色彩修正近似，则我们可以将其应用于整个图像区域。

第三，自然场景最可能包括具有不同光线反射光谱的物体表面。如果整个场景或图像由均匀的色彩或非常有限数量的不同色彩表面构成，则系统就不能区分所显现的色彩是来自于物体的固有表面特性(即，表面反射)还是由于光源产出的失真。本发明假设，被拍摄的图像总是包含足以克服此问题的不同色彩的物体表面。

如图1中所示，色彩恢复系统10包括标准区域确定单元20，比例尺度计算单元30，表面反射率计算单元40，色彩恢复单元50，调整系数计算单元60，图像恢复单元70，第一修正单元73，以及第二修正单元75。

标准区域确定单元20通过寻找出输入的图像区域中三个通道内色散值的总和最大(即，在每个色彩通道之内的光强度变化总和)的区域来搜索并选择用于色彩修正的标准区域。这部分的操作是基于前述第三假设而执行的。

比例尺度计算单元30计算通道内比例尺度(Intra-channel ratioscale)(IR)，它是形成标准区域的每个像素的每个通道的色彩值与整个标准区域的每个通道的色彩值的比例。这部分的计算是遵循前述第一和第二假设来进行的。

表面反射率计算单元40接收通道内比例尺度，以计算相对表面反射率，使其作为标准区域中的每个像素的真实表面反射率的近似值。

色彩恢复单元50通过将标准区域的每个像素的亮度乘以相对表面反射率，来计算所估计出的标准区域的每个像素的无偏差表面色彩。

调整系数计算单元60通过使用恢复后的标准区域的每个色彩通道的原始表面色彩和标准区域的每个色彩通道的色彩值来计算调整系数，从而排除光源的影响。

图像恢复单元70通过使用输入的每个像素的色彩值和调整系数来恢复无偏差的色彩。

当恢复后图像的每个像素的色彩值超过了设置为0至255的阈值时，第一修正单元73执行溢出控制以修正已恢复的图像的每个像素的色彩直。

第二修正单元75根据输出增益因子来再次修正(re-correct)已经修正的色彩值以及已经修正的每个像素的色彩值。

图2是根据本发明的示例性实施例的色彩恢复方法的流程图。如图2中所示，色彩恢复方法包括在色彩恢复系统10中相继执行的以下步骤。

在步骤S10，标准区域确定单元10确定输入图像的标准区域以恢复色彩。标准区域是输入图像中每个色彩通道的色散(dispersion)值总和为最大的子区域。从统计学特征来看，此变化最大区域最有可能比任何其它的子区域包含更多的不同色彩表面。如上所述，此方法可以通过在计算色彩调整系数的处理中使覆盖相对较大区域的主色影响最小化，来有效地解决唯一色彩问题。

基于下列等式1执行标准区域的计算。

[等式1]

σ²＝σ² _R+σ² _G+σ² _B，

这里，σ²表示三个通道的色散值总和，σ² _R表示R通道的色散值，σ² _G表示G通道的色散值，而σ² _B表示B通道的色散值。

确定标准区域的方法如下。

首先，将需要恢复的图像分割为多个子图像。并且，计算多个分割后子图像的每一个子图像的每个色彩通道的色散值的总和，并将色散值的总和为最大的子图像确定为第一子图像。

然后，将第一子图像再次分割为多个子图像。并且，计算重分割后的子图像的每个通道的色散值总和，并将色散值总和为最大的子图像确定为第二子图像。

最后，当通过比较第一子图像和第二子图像，而确定了第一子图像的色散值总和大于第二子图像的色散值总和时，将第一子图像确定为标准区域。

如果第二子图像的色散值总和大于第一子图像的色散值总和，则将子图像重新再次分割为多个子图像，且随后重复分割，直到再次分割的子图像中的每个色彩通道的色散值总和为最大的子图像的每个色彩通道的色散值总和小于或等于再次分割之前的子图像的每个色彩通道的色散值总和，从而可以确定标准区域。

并且，确定标准区域的另一个方法是通过将每个不同大小的窗口施加至需要恢复的图像，来提取子图像，计算每个提取出的子图像的每个色彩通道的色散值总和，并随后，将每个色彩通道的色散值总和为最大的子图像确定为标准区域。

在步骤S20，比例尺度计算单元30计算通道内比例尺度(IR)；每个图像像素的三通道色彩值可转化为三套不同的比例尺度，其中的每一个都表示了每个色彩通道中像素的相对强度。因此，该比例值相当于每个像素的正常的三色彩通道。

基于下列等式2执行通道内比例尺度的计算。

[等式2]

${\mathrm{IR}}_K=\frac{V_K}{\mathrm{\Σ}{V}_K}=\frac{{I^{\′}}_K{S}_K}{\mathrm{\Σ}{I^{\′}}_K{S}_K}=\frac{{I^{\′}}_K{S}_K}{{I^{\′}}_K\mathrm{\Σ}{S}_K}=\frac{S_K}{\mathrm{\Σ}{S}_K}$

这里，V_K表示了标准区域的单个像素的K色彩通道的色彩值，∑V_K表示整个标准区域的K色彩通道的色彩值，并且IR_K表示标准区域的每个像素的K色彩通道的通道内比例尺度。

等式2计算通道内比例尺度，它是根据本发明的色彩恢复方法中的核心算子(computation unit)，并且将形成标准区域的每个像素的色彩值转换为基于等式2的比例值。

在步骤30，表面反射率计算单元40计算相对表面反射率，以代替用于确定物体表面的单纯色彩的表面反射率。

基于以下等式3来执行相对表面反射率的计算。

[等式3]

$P_K\≅\frac{\frac{S_K}{\mathrm{\Σ}{S}_K}}{\frac{S_R}{\mathrm{\Σ}{S}_R}+\frac{S_G}{\mathrm{\Σ}{S}_G}+\frac{S_B}{\mathrm{\Σ}{S}_B}}$

这里，P_K表示标准区域的每个像素的K色彩通道中的相对表面反射率，S_K表示表面反射率，其确定了标准区域的每个像素的K色彩通道中的物体表面的唯一色彩， 

表示K色彩通道中的通道内比例尺度，并且K表示R，G，和B色彩通道。

此时，因为不可能计算出作为表面固有特性的表面反射率(即Sk)，所以计算相对表面反射率，等式3利用 

来估计相对表面反射率， 

可以通过等式2获得，并且用此近似值来替代表面反射率。

在步骤40，色彩恢复单元50通过将标准区域的每个像素的亮度乘以每个像素的每个色彩通道的相对表面反射率来恢复标准区域的每个像素的唯一表面色彩。

在标准区域中的每个像素的亮度就是如等式4中出现的三通道色彩值的总和。

[等式4]

L＝V_R+V_G+V_B

这里，V_R，V_G，和V_B表示RGB通道的色彩值。

由下面等式5获得的标准区域中每个像素的恢复后表面色彩就是由等式4获得的亮度和表面反射率的乘积。

[等式5]

C_K＝L×P_K

这里，对于标准区域中的每个像素，C_K表示K色彩通道的恢复后表面色彩，L表示亮度，并且P_K表示相对表面反射率。

在步骤50，调整系数计算单元60通过计算标准区域中像素的C_K的总和与V_k的总和的比例来计算每个色彩通道的调整系数，从而消除光源对整个输入图像的失真效应。

[等式6]

$m_K=\frac{\mathrm{\Σ}{C}_K}{\mathrm{\Σ}{V}_K}$

这里，m_K表示K色彩通道的调整系数，∑C_K表示恢复后K通道色彩值的总和，并且∑V_K表示原始K通道色彩值的总和。

在步骤60，如下面的等式7，图像恢复单元70通过将原始色彩值乘以从等式6中获得的系数m_K，来恢复输入图像的色彩。

[等式7]

RC_K＝V_K×m_K

这里，对于整个输入图像中的每个像素，RC_K表示恢复后的K通道色彩值，V_K表示原始K通道色彩值，而m_K表示由等式6获取的K通道的色彩调整系数。

在步骤S70，第一修正单元73确定恢复后的色彩值是否超过了设置为0至255的阈值，并且如果恢复后的色彩值没有超过阈值则修正结束。

在步骤S73，如果恢复后的色彩值超过了阈值，则第一修正单元73执行溢出控制以将恢复后的色彩值修正至阈值或更低。

由以下等式8来执行溢出控制。

[等式8]

${R{C}^{\′}}_K={\mathrm{RC}}_K\×\frac{{\max }_{\mathrm{original}}}{{\max }_{\mathrm{received}}}$

这里，RC’_K表示形成恢复后图像的每个像素的K色彩通道中的修正后色彩值，max_original表示在恢复输入图像之前的最大色彩值，并且max_received表示在恢复输入图像之后的最大色彩值。

因为可以在监视器上显示的每个色彩通道的输出值是从0到255的256阶，如果恢复后的色彩值超过了阈值255，可使用上面的等式8来调节在色彩恢复系统10中恢复的色彩值的输出值，从而可以将恢复后的色彩值修正至阈值或更低。

在步骤75，第二修正单元75通过将输出增益因子乘以在步骤73中的唯一表面色彩来再次修正已修正后的色彩值。

由下列等式9执行对修正后的色彩值的再次修正。

[等式9]

${{\mathrm{RC}}^{\′\′}}_K=G\×{{\mathrm{RC}}^{\′}}_K(\mathrm{if},G\×{{\mathrm{RC}}^{\′}}_K\≤{\mathrm{Max}}_{{{\mathrm{RC}}^{\′\′}}_K})$

$={\mathrm{Max}}_{{{\mathrm{RC}}^{\′\′}}_K}=(\mathrm{if},G\×{{\mathrm{RC}}^{\′}}_K>{\mathrm{Max}}_{{{\mathrm{RC}}^{\′\′}}_K})$

$(G_K=\frac{\mathrm{\Σ}{\mathrm{RC}}_K}{\mathrm{\Σ}{{\mathrm{RC}}^{\′}}_K})$

这里，RC”_K表示在每个像素的K色彩通道中的再次修正后色彩值，G_K表示K色彩通道中的输出增益因子，∑RC_K表示恢复后图像的K色彩通道中每个像素的色彩值的总和，∑RC_K表示修正后图像的K色彩通道中的每个像素的色彩值总和，并且 

是作为阈值的K色彩通道中的最大阈值。

如等式9中，如果修正后色彩值和输出增益因子的乘积没有超过阈值，并且如果修正后色彩值和输出增益因子的乘积超过了阈值，则再次修正后的色彩值是可以阈值。

图3是以简明的方法示出了根据本发明提出的系统的色彩恢复处理如何工作的参考图。如图3中所示，对输入图像的色彩恢复处理可以被认为是将每个像素的亮度再次分配或者分裂为三个无失真色彩分量的处理，这个处理是通过将亮度与主要基于通道内比例尺度的近似处理而获取的表面反射率相乘来进行的，这非常类似于人类色彩一致性的处理。图4是示出了作为本发明的示例性实施例的在红光照明下严重失真的图像的恢复。图4中的图像(a)是在中午附近的标准照明条件下拍摄的，并且被模拟的红色照明影响而改变为严重失真的图像(b)，用于本色彩恢复系统(10)的性能测试。图像(c)示出了使用色彩恢复系统10恢复的图像(b)的结果，而图像(d)以“标杆(bench marking)”的方式示出了通过已有的其它的色彩恢复程序-已知最流行并为人瞩目的程序(AdobePhotoshop)来恢复同一图像(b)的结果。图像(c)和(d)的比较告诉我们，在此严重失真的照明条件下，本发明所提出的色彩修正系统可实现更好的效果。

图5和图6是示出了分别由绿色光线和蓝色光线所引起失真的图像的恢复结果的参考图。如已经在图4中所示，在图5和6中所示的图像(c)中示出，由本发明所提出的色彩恢复系统(10)对图像(b)的处理有令人满意的性能。对于由蓝色和绿色产生的失真光线引起的失真，本发明所提出的色彩恢复系统(10)再次表现出比已有系统更好的性能。

尽管没有示出，但本发明所提出的色彩恢复系统提供了在计算机中可读的记录介质，其记录以计算机可执行的指令语言进行编码的信息。

计算机可读取的记录介质的示例可以是ROM，RAM，CD-ROM，磁带，软盘，光存储装置等。本发明所属技术领域的程序员可以轻 松地推知可以实现每个功能的程序、代码和分割，以使存储介质生效。

因为本发明可以解决单纯色彩问题，在输入图像中相对大的区域被单纯色彩均匀地覆盖而引起的问题，例如浅蓝色的海边照片或具有均匀色彩的物体的放大图像，由本发明所提出的色彩恢复系统可以按照自动和单步的方法而应用至大多数由数字照相机、拍照设备、以及图像处理程序所处理的数字图像。

如上所述，尽管本发明已经参考限定的实施例和附图来进行描述，但本发明不仅限于此实施例，并且本领域中的技术人员可以进行各种改变和修改可。因此，本发明的范围不应当仅被限于上述实施例，而应当被附加权利要求及其等同要求而定义。

如上所述，尽管已经示出并描述了本发明的优选实施例，但是本领域的技术人员应该理解，在不背离本发明总体概念的原理和精神的情况下，可以对这些实施例做出替换、修改以及改变，本发明的范围由所附权利要求及其等效物限定。

Claims (15)

1.一种色彩恢复方法，包括以下步骤：

a)根据将要恢复的图像的每个色彩通道的变化值来确定标准区域；

b)计算所确定的标准区域的相对表面反射率，并使用算得的相对表面反射率来计算用于排除光源失真效应的调整系数；以及

c)通过使用所述调整系数来恢复所述图像的色彩，其中，所述步骤b)包括：

b1)计算所述标准区域的每个像素的通道内比例尺度(IR)；

b2)通过使用所述通道内比例尺度(IR)来计算所述标准区域的反射表面反射率(P)；

b3)通过使用所述标准区域的亮度(L)和相对表面反射率来恢复唯一表面色彩(C)；以及

b4)通过使用所述标准区域的唯一表面色彩(C)以及在所述标准区域中的每个通道的色彩值来计算调整系数，以排除光源的影响。

2.根据权利要求1所述的色彩恢复方法，其中，在步骤a)中，所述标准区域是将要恢复的图像的每个色彩通道的变化值总和为最大的区域。

3.根据权利要求1所述的色彩恢复方法，其中，步骤a)包括：

a1)将将要恢复的图像分割为多个子图像； 

a2)计算每个经分割的子图像的每个色彩通道中的变化值总和，并将变化值总和为最大的子图像确定为第一子图像；

a3)将所述第一子图像再次分割为多个子图像；

a4)计算每个经分割的子图像的每个色彩通道中的变化值总和，并将变化值总和为最大的子图像确定为第二子图像；

a5)比较根据所述第一子图像的变化值总和与根据所述第二子图像的变化值总和；以及

a6)根据所述的比较结果来将所述第一子图像确定为所述标准区域，或进一步对所述第二子图像重复执行对应于所述步骤a3)至所述步骤a5)的步骤。

4.根据权利要求3所述的色彩恢复方法，其中，在步骤a6)中，通过重复执行对应于所述步骤a3)至所述步骤a5)的步骤，直到所述再次分割的子图像之间的每个图像通道的变化值总和的最大值小于或等于在所述再次分割之前的子图像的每个图像通道的变化值总和，

所述标准区域将所述再次分割之前的子图像确定为所述标准区域。

5.根据权利要求1所述的色彩恢复方法，其中，所述步骤a)包括：

a11)通过将不同大小的窗口应用至将要恢复的每个图像来提取子图像；

a22)计算每个所提取出的子图像的每个色彩通道的变化值总和；以及

a33)将每个色彩通道的变化值总和为最大的子图像确定为所述标准区域。 

6.根据权利要求1所述的色彩恢复方法，其中，所述通道内比例尺度(IR)是，形成所述标准区域的每个像素的每个色彩通道的色彩值与所述标准区域的每个色彩通道的色彩值的比。

7.根据权利要求1所述的色彩恢复方法，其中，在步骤b2)中，所述相对表面反射率由下列等式表示，

[等式]

其中，P_K表示所述标准区域的每个像素的K色彩通道中的相对表面反射率， 

表示K色彩通道中的通道内比例尺度，而K表示R，G，和B色彩通道。

8.根据权利要求1所述的色彩恢复方法，其中，在步骤b3)中，所述亮度是根据下列等式获得的，

[等式]

L＝V_R+V_G+V_B

这里，L表示每个像素的亮度，V_R表示形成标准区域的每个像素的R色彩通道的色彩值，V_G表示形成标准区域的每个像素的G色彩通道的色彩值，而V_B表示形成标准区域的每个像素的B色彩通道的色彩值。

9.根据权利要求1所述的色彩恢复方法，其中，在步骤b4)中，所述调整系数由下列等式表示，

这里，m_K代表所述标准区域的K色彩通道的调整系数，∑C_K表示属于所述标准区域的像素所拥有的K色彩通道的唯一表面色彩的总和，而∑V_K表示属于所述标准区域的像素所拥有的K色彩通道的色彩值V_K的总和。

10.根据权利要求1所述的色彩恢复方法，其中，在步骤c)之后，还包括：

d1)当所恢复的图像的每个像素的每个色彩通道的色彩值超过阈值时，通过执行溢出控制而将色彩值修正至所述阈值或更低；以及

d2)通过使用输出增益因子来再次修正每个所修正的像素的每个色彩通道的色彩值。

11.根据权利要求10所述的色彩恢复方法，其中，在步骤d1)中，所述的执行所述溢出控制使用在恢复图像之前的最大色彩值和所述的恢复所述图像之后的最大色彩值的比例值。

12.根据权利要求10所述的色彩恢复方法，其中，在步骤d2)中，所述的再次修正的色彩值是所述输出增益因子和每个经修正的色彩通道的唯一表面色彩的乘积。

13.一种色彩恢复系统，包括：

标准区域确定单元，将将要恢复的图像的每个色彩通道的变化值总和为最大的区域确定为标准区域；

调整系数计算单元，计算用于排除在所述标准区域内的光源的失真效应的调整系数；以及

图像恢复单元，通过使用所述调整系数来恢复所述图像的色彩， 

所述色彩恢复系统还包括：

比例尺度计算单元，用于计算所述标准区域的通道内比例尺度(IR)；

表面反射率计算单元，用于通过使用所述通道内比例尺度(IR)来计算所述标准区域的反射表面反射率(P)；

色彩恢复单元，用于通过使用所述标准区域的亮度(L)和相对表面反射率来恢复每个像素的唯一表面色彩(C)；以及

调整系数计算单元，用于通过使用所述标准区域的唯一表面色彩(C)以及在所述标准区域中的每个通道的色彩值来计算调整系数，以排除光源的失真效应。

14.根据权利要求13所述的色彩恢复系统，还包括第一修正单元，当通过所述图像恢复单元恢复的图像的每个色彩通道的色彩值超过预定阈值时，所述第一修正单元通过溢出控制而将每个通道的色彩值修正至所述预定阈值或更低。

15.根据权利要求14所述的色彩恢复系统，还包括第二修正单元，所述第二修正单元通过将在所述第一修正单元中修正的每个色彩通道的色彩值与输出增益因子相乘，来再次修正每个修正后的色彩通道的色彩值。 

Images