CN104488255A - 用于图像的色彩调和的装置和方法 - Google Patents

Abstract

本发明涉及图像的色彩调和，具体涉及根据按照视觉注意模型得出的显著图的图像分割所标识的图像区域来选择调和色彩模板。具体地，本发明涉及一种用于处理图像的方法，包括：确定(10)所述图像中的关注区域；确定(12)所述关注区域的色彩直方图；在模板集合中选择(12)匹配所述色彩直方图的第一模板，每个模板定义调和色彩值的一部分；以及处理所述图像，其中，处理所述图像包括将所述图像的色彩映射到最终模板，所述最终模板是所述第一模板。

Description

用于图像的色彩调和的装置和方法

技术领域

本发明涉及用于处理图像的方法和装置。更精确地，图像处理的方法包括将图像的色彩映射到调和色彩的模板。

背景技术

已知校正图像或图像的一些部分中的色彩以改善感知体验。作为示例，有利地，处理具有饱和色的图像以去除这些饱和色，并且因此改善感知体验。

来自Cohen-Or的标题为“Color Harmonization”的文档教导了基于相同的调和模板使图像调和的方法。通过图1图示了这些模板。该方法具有若干缺点。首先，算法不是完全自动的，而是需要手工批注“敏感”区(典型地，皮肤或天空，如果它们失去它们的原始色彩，则看上去不自然)。其次，色彩映射是非常基础的。其通过在模板中应用高斯滤波器约束来映射原始图像的调色板。

发明内容

本发明针对减轻现有技术的缺点中的至少一个。为此目的，本发明涉及一种用于处理图像的方法，包括：

-确定所述图像中的关注区域；

-确定所述关注区域的色彩直方图；

-在模板集合中选择匹配所述色彩直方图的第一模板，每个模板定义调和色彩值的一部分；以及

-处理所述图像，其中，处理所述图像包括将所述图像的色彩映射到最终模板中，所述最终模板是所述第一模板。

根据本发明的方法将图像感知质量提高到现有技术方案以上。此外，该方法是完全自动的。

根据本发明的另一方面，所述方法还包括：确定所述图像的色彩直方图；选择匹配所述图像的色彩直方图的第二模板；将第一和第二模板组合成组合模板；以及，在模板集合中选择匹配所述组合模板的模板，其中，最终模板是所选择的匹配所述组合模板的模板。

有利地，模板由不同的部分构成，所述方法还包括将所述图像分割成相似色彩的区域，并且其中，在处理所述图像时，在相同的分割的区域中的像素被映射到所述最终模板的同一个部分中。

根据具体实施例，选择匹配色彩直方图的模板包括：计算所述模板的概率分布与所述色彩直方图之间的库勒巴克-莱布勒(Kullback-Leibler)散度。

根据本发明的具体特征，在HSV色彩空间中如下计算色彩直方图：

$M_i=\frac{1}{{\mathrm{\Σ}}_{(x,y)}S[x,y]*V[x,y]}*\underset{(x,y)\∈\{(u,v)\backslash H[u,v]=i\}}{\mathrm{\Σ}}S[x,y]*V[x,y]$

其中，Mi是对应的色彩直方图的第i个槽(bin)；

H[u,v]是像素[u,v]的色相值；

S[x,y]是像素[x,y]的饱和度值；

V[x,y]是像素[x,y]的明度(Value)值。

有利地，所述关注区域通过对显著图进行二值化来确定。

有利地，将所述图像的色彩映射到最终模板中是根据S形函数完成的。

根据另一方面，该方法还包括使位于边界上的像素模糊。

本发明还涉及一种用于处理图像的装置，包括：

-用于确定所述图像中的关注区域的部件；

-用于确定所述关注区域的色彩直方图的部件；

-用于在模板集合中选择匹配所述色彩直方图的第一模板的部件，每个模板定义调和色彩值的一部分；以及

-用于处理所述图像的部件，其中，处理所述图像包括将所述图像的色彩映射到最终模板中，所述最终模板是所述第一模板。

有益地，所述装置适用于执行所述用于处理的方法的步骤。

附图说明

本发明的其它特征和优点将通过下面对本发明的一些实施例的描述来呈现，该描述结合附图进行，在附图中：

-图1表示色彩模板；

-图2图示根据本发明的图像处理方法的流程图；

-图3表示两个像素A和B的色相轮(hue wheel)和映射方向；以及

-图4图示根据本发明的图像处理装置。

具体实施方式

本发明针对通过以更调和的方式呈现色彩来改善视觉体验。实际上，当图像具有一个带有“奇怪”色彩(与图像的全局色相不同)的不关注的对象时，存在校正该色彩的需要。

首先，确定图像中的关注区域。然后，计算这些关注区域的色彩直方图。然后，该方法通过感性地选取最有吸引力的像素来发现最接近的调和模板。模板是被认为当同时存在时呈现/反映全局调和效果的HSV值(色相、饱和度和明度)的集合。每个模板由不同的部分/扇区构成，如图1所示。一旦例如经由能量最小化估计了最接近的调和模板，被认为不调和的色彩(即，其色彩值在模板的扇区之外)就借助于色调映射函数被映射到该模板中(或非常接近于该最后的模板)。

在图2中图示了本发明的完整实现。该方法的一些步骤是可选的。下面描述该方法的四个有关步骤。可以注意到，通过将相同的处理应用于连续的帧，可以将下面的方法扩展到视频源。在步骤10，确定关注区域。本发明不限于确定关注区域的方式。根据具体实施例，构建表示具有从0至255的值的在视觉上最吸引人的像素的显著图(saliency map)。通过对显著图进行二值化，能够确定关注区域，即，其显著值高于阈值的区域。构建显著图基于视觉系统的建模。这种视觉注意模型在2005年6月30日公布的编号为1695288的欧洲专利申请04804828.4中受专利权保护。

在步骤12，如图1所示的并且在Cohen-Or的“Color Harmonization”中定义的模板T_m(m∈{i，I，L，T，V，X，Y，J，O})之一被选择受到旋转α。因此，不仅选择了模板T，而且选择了具有取向的模板。N类型的模板未被使用。为了清楚起见，模板也用于表示具有取向的模板类型。在HSV空间中计算关注区域或图像的显著部分的色彩直方图M，例如下面定义的那样，以便帮助选取一个模板。这是通过饱和度和明度加权的经归一化的色相分布：

$M_i=\frac{1}{{\mathrm{\Σ}}_{(x,y)}S[x,y]*V[x,y]}*\underset{(x,y)\∈\{(u,v)\backslash H[u,v]=i\}}{\mathrm{\Σ}}S[x,y]*V[x,y]$

i通常(但未必)是从0到360而不同。

然后，通过最小化针对每个模板和每个取向计算的Kullback-Leibler散度来选择最佳地拟合色相分布M的适当的模板T_m0和相关联的取向α0：

$\underset{m,\mathrm{\α}}{\min }\underset{i}{\mathrm{\Σ}}{M}_i*\ln \left(\frac{M_i}{P_i(m,\mathrm{\α})}\right)$

其中，P(m，α)是针对取向α的模板m的分布。这里，P(m，α)典型地表示M的经调和的模型、描述或近似。P_i表示分布的一个槽，并且M_i是直方图的一个槽。根据变型，选择模板T_m0和关联的取向α0，使得其与色相分布M相匹配，即，使得Kullback-Leibler散度低于阈值。在此情况下，模板不一定是最佳地拟合色相分布M的模板，但是其接近于色相分布M。

根据另一实施例，对整个图像另一次执行步骤12，以便找到最佳地拟合该图像的模板。例如下面定义的那样，在HSV空间中计算原始图像的色彩直方图M’，以便帮助选取一个模板。这是通过饱和度和明度加权的经归一化的色相分布：

${M^{\′}}_i=\frac{1}{{\mathrm{\Σ}}_{(x,y)}S[x,y]*V[x,y]}*\underset{(x,y)\∈\{(u,v)\backslash H[u,v]=i\}}{\mathrm{\Σ}}S[x,y]*V[x,y]$

然后，通过最小化针对每个模板和每个取向计算的Kullback-Leibler散度来选择最佳地拟合色相分布M’的适当的模板T_m1以及相关联的取向α1：

$\underset{m,\mathrm{\α}}{\min }\underset{i}{\mathrm{\Σ}}{M^{\′}}_i*\ln \left(\frac{{M^{\′}}_i}{P_i(m,\mathrm{\α})}\right)$

其中，P(m，α)是针对取向α的模板m的分布。这里，P(m，α)典型地表示M’的经调和的模型、描述或近似。分布P(m，α)可以在HVS值的每个扇区/部分中是均匀的，或者可以是冲击函数。本发明不限于该分布被定义的方式。根据变型，选择模板T_m1和相关联的取向α1，使得其匹配色相分布M，即，使得Kullback-Leibler散度低于阈值。在此情况下，模板不一定是最佳地拟合色相分布M’的模板，但是其接近于色相分布M’。

然后，组合模板T_m0和T_m1，并且通过最小化针对每个模板和每个取向计算的分布与组合之间的Kullback-Leibler散度来选择九个调和模板之中的最相似于该组合的模板。根据变型，选择模板，使得针对所选择的模板计算的分布与模板组合之间的Kullback-Leibler散度低于阈值。首先，组合两个模板以形成新的分布P′。该组合包括对于每个槽采取在对整个图像计算的模板的直方图中以及在对显著像素计算的模板中的最大值。对于每个槽i，P′_i＝max(P_i(m₀，α₀)，P_i(m₁，α₁))。

其次，通过最小化针对每个模板和每个取向计算的分布与该组合之间的Kullback-Leibler散度，发现在九个调和模板之中最相似于该组合的模板T_m3和取向α3，即，使得下式最小化的模板和取向：

$\underset{m,\mathrm{\α}}{\min }\underset{i}{\mathrm{\Σ}}{P^{\′}}_i*\ln \left(\frac{{P^{\′}}_i}{P_i(m,\mathrm{\α})}\right)$

根据变型，比较具有取向α3的最相似的模板T_m3和整个图像直方图。为此，计算下面的Kullback-Leibler散度：

$d3=\underset{i}{\mathrm{\Σ}}{M^{\′}}_i*\ln \left(\frac{{M^{\′}}_i}{P_i(m3,\mathrm{\α}3)}\right)$

如果该散度d3高于整个图像直方图与具有相关联的取向α1的模板T_m1之间的Kullback-Leibler散度d1的k倍，其中k例如等于2，则通过最小化针对每个模板和每个取向计算的分布与该组合之间的Kullback-Leibler散度，来选择八个剩余的调和模板(模板T_m3和取向α3从集合中被去除)之中的下一个最相似于该组合的具有取向α4的模板T_m4，即，使得下式最小化的模板和取向：

$\underset{m,\mathrm{\α}}{\min }\underset{i}{\mathrm{\Σ}}{P^{\′}}_i*\ln \left(\frac{{P^{\′}}_i}{P_i(m,\mathrm{\α})}\right)$

迭代该处理，直至找到最相似于该组合并且在整个图像直方图的情况下的Kullback-Leibler散度低于原始图像直方图与具有相关联的取向α1的模板T_m1之间的Kullback-Leibler散度的k倍的模板和取向为止。

根据变型，选择模板T_m3和取向α3，使得针对所选择的模板计算的分布与模板组合之间的Kullback-Leibler散度低于阈值。在此情况下，模板(T_m3,α3)不一定是最佳地拟合色相分布M’的模板，但是其接近于色相分布M’。

在步骤16处，原始图像的像素被映射到所确定的模板中。该模板或者是仅基于显著区确定的，或者是所组合的模板。更精确地，通过应用复杂的色调映射函数将离群值(outlier)(意思是它们在所选择的模板之外)映射到(多个)调和扇区中，或者接近于调和扇区。

因此使用S形函数来映射每个像素p的色相：

$H^{\′}\left(p\right)=C\left(p\right)+\mathrm{Sgn}*\frac{w}{2}*\tanh \left(\frac{2*\left|\right|H\left(p\right)-C\left(p\right)\left|\right|}{w}\right)$

其中，C(p)是与p相关联的扇区的中心色相，w是模板扇区的弧宽度，||||表示色相轮上的弧长度距离，并且Sgn是与映射的方向相关联的符号。像素例如被映射在最接近的扇区侧上。如图3所示，像素A例如被映射在扇区的右侧上，因为其为最接近侧，而像素B被映射在扇区的左侧上。色相轮有取向的，当映射方向和轮的取向处于相反方向时(像素A的情况)Sgn是正的，否则Sgn是负的(像素B的情况)。根据本发明，对于给定像素的映射方向不一定被确定为使得该像素被映射在扇区的最接近侧。该S形具有用于像素映射的良好属性。其在极值中的渐近线自动夹住模板中的像素，并且其中间扇区(正常行为)接近于线性的，因此在扇区的中心处，色相不改变。所提出的映射函数保证了调和扇区的中心处的原始色相值，并且更强地压缩了在模板外部的色相值。调和色彩被保护，并且仅修改不调和的色相。

然而，皮肤和天空区域在在上述的像素映射步骤16中被修改时是不自然的。实际上，因为具有相似色彩的两个相邻的像素可以被映射在相反的方向上，并且随后被映射在同一扇区的相对侧或在不同的扇区中，所以在该步骤期间可能产生一些伪像。根据另一实施例，为了去除这些伪像，原始图像的色彩量化图CM或分割图在可选的步骤14中被确定，并且在步骤16期间被使用，以确保CM图或分割图的相同的分割区中的所有像素被映射在相同的映射方向上，并且随后被映射在相同的扇区中。该映射方向例如是最可能分配给给定分割区中的像素的映射方向。该映射方向被存储在例如将每个像素与其分割区的映射方向相关联的方向映射图中。色彩量化图CM或分割图定义了在原始图像中具有接近的色彩的不同区域。可以使用任何提供这种图的方法。作为示例，由J.van de Weijer等人在“IEEE Transactions in ImageProcessing 2009”中公布的“Learning Color Names for Real-world Application”中描述的方法是一种解决方案。对于色彩调和，色彩分割的空间方面不是强制的。因此，直方图分割技术在这里就足够了，例如流行的K-means方法。然而，这种直方图分割应当遵从以下约束：

-其应当是无人监督的，这意味着色彩簇的最终数量不应当是参数。事实上，色彩调和对于数量不正确的有意义的色彩将非常敏感。

-直方图分割技术应当能够分割直方图的小模式。换言之，可以被看作色彩离群值的小区域应当被检测为单独的模式。

为了满足这些需求，公开了一种色彩分割方法，其建立在Delon等人的工作上，被称为ACoPa(自动调色板)，并且在“IEEE Transactions on ImageProcessing,16(1):253-261,2007”中公布的标题为“A nonparametric approachfor histogram segmentation”的论文中公开。该色彩分割技术基于对色彩直方图模式的反向(contrario)分析。对有意义的直方图模式执行统计估计。独立地执行每个分量的直方图分解，而不是在H空间、然后在S空间、然后在V空间中的模式的分级估计。所获得的模式是从获得的所有模式组合的，并且具有像素的非常有限的分组的片段被丢弃。最终，基于这些直方图模式，K-means后处理(post-processing)用于使用Lab色彩空间中表示的字典对在感知上相似的模式进行分组。

该分割技术比原始的版本快大约10倍。此外，其更有效地处理无色像素。使用非空间算法允许处理具有相同色彩的所有像素，而不用对它们的位置的先验。

该分割不是完美的，并且如果每个区具有不同的映射方向，同时它们的色彩原本接近，则可能在分割区的边缘处出现一些伪像。这些伪像仅仅在经历在相反方向上的色相映射的分割区的边缘上出现。

因此，根据另一实施例，应用由于平均滤波器而使边界处的像素模糊的后处理步骤，以克服上述问题。由于应用在方向映射图上以得到标识要被模糊的像素的掩模(mask)的梯度滤波器，检测到所关心的边缘。该掩模用于使在步骤16处获得的修改的色相图片中的对应像素模糊。要被模糊的像素的数量取决于源图片中的该位置处的模糊的量。实际上，不必使原本锐利的区域模糊，这可能是令人烦扰的。例如基于在来自H.Tong、M.Li等人的标题为“Blur detection for digital images using wavelet transform”(IEEEInternational Conference on Multimedia&Expo，IEEE出版社，第17-20页，20014年)的文档中公开的方法来计算模糊的量。

图4表示根据具体且非限定性的实施例的处理装置2的示例性架构。该处理装置可以是例如平板、PDA或手机。处理装置2包括通过数据和地址总线24链接在一起的以下元件：

-微处理器21(或CPU)，其例如是DSP(数字信号处理器)；

-ROM(或只读存储器)22；

-RAM(或随机存取存储器)23；

-一个或若干输入/输出接口25，例如键盘、鼠标；以及

-电池26。

图3的这些元件中的每一个都是本领域的技术人员所公知的，将不进一步地公开。处理装置2可以包括显示装置，例如用于显示经处理的图像的屏幕。在每个所提及的存储器中，在本说明书中使用的单词《寄存器》可以对应于小容量(一些比特)的区或非常大的区(例如整个程序或大量的接收到的或经解码的数据)。根据具体的实施例，根据本发明的处理方法的算法被存储在ROM 22中。RAM 23在寄存器中包括由CPU 21执行并在处理装置2接通之后被上载的程序。当接通时，CPU 21将程序上载在RAM中，并执行对应的指令。通过输入/输出接口25之一接收要处理的图像。输入/输出接口25之一适用于传送根据本发明被处理的图像。

根据变型，根据纯硬件实现方式来实现与本发明相适合的处理装置2，例如以专用组件的形式(例如以ASIC(专用集成电路)或FPGA(现场可编程门阵列)或VLSI(超大规模集成电路))或者以集成到装置中的若干电子组件的形式，甚至以硬件元件和软件元件的混合的形式。

Claims (10)

1.一种用于处理图像的方法，包括：

-确定(10)所述图像中的关注区域；

-确定(12)所述关注区域的色彩直方图；

-在模板集合中选择(12)匹配所述色彩直方图的第一模板，每个模板定义调和色彩值的一部分；以及

-处理所述图像，其中，处理图像包括将图像的色彩映射到最终模板中，所述最终模板是所述第一模板。

2.根据权利要求1所述的方法，还包括：确定所述图像的色彩直方图；选择匹配所述图像的所述色彩直方图的第二模板；将所述第一模板和所述第二模板组合成组合模板；以及在模板集合中选择匹配所述组合模板的模板，其中，所述最终模板是所选择的匹配所述组合模板的模板。

3.根据权利要求1或2所述的方法，其中，模板由不同的部分构成，所述方法还包括将图像分割成相似色彩的区域，并且其中，在处理图像时，在相同的分割的区域中的像素被映射到最终模板的同一个部分中。

4.根据权利要求1至3中的任一项所述的方法，其中，选择匹配色彩直方图的模板包括计算所述模板的概率分布与所述色彩直方图之间的库勒巴克-莱布勒散度。

5.根据权利要求2至4中的任一项所述的方法，其中，在HSV色彩空间中如下计算关注区域的色彩直方图和所述图像的色彩直方图：

$M_i=\frac{1}{{\mathrm{\Σ}}_{(x,y)}S[x,y]*V[x,y]}*\underset{(x,y)\∈\{(u,v)\backslash H[u,v]=i\}}{\mathrm{\Σ}}S[x,y]*V[x,y]$

其中，Mi是对应的色彩直方图的第i个槽；

H[u,v]是像素[u,v]的色相值；

S[x,y]是像素[x,y]的饱和度值；

V[x,y]是像素[x,y]的明度值。

6.根据权利要求1至5中的任一项所述的方法，其中，关注区域通过对显著图进行二值化来确定。

7.根据权利要求1至6中的任一项所述的方法，其中，将图像的色彩映射到最终模板中根据S形函数来完成。

8.根据权利要求1至7中的任一项所述的方法，还包括使位于边界上的像素模糊。

9.一种用于处理图像的装置，包括：

-用于确定所述图像中的关注区域的部件；

-用于确定所述关注区域的色彩直方图的部件；

-用于在模板集合中选择匹配所述色彩直方图的第一模板的部件，每个模板定义调和色彩值的一部分；以及

-用于处理图像的部件，其中，处理图像包括将图像的色彩映射到最终模板中，所述最终模板是所述第一模板。

10.根据权利要求9所述的装置，其中，所述装置适用于执行根据权利要求1至8中的任一项所述的用于处理的方法的步骤。