CN112950461A - 全局与超像素分割相融合的色彩迁移方法 - Google Patents

Abstract

本发明首先对源图像及目标图像采用梯度下降简单线性迭代聚类法进行分割处理，然后为源图像中的每一个超像素在目标图像中搜索最相似超像素，之后在匹配的超像素对之间进行色彩迁移，最后消除由于过分割处理所产生的误匹配而导致的色彩的错误迁移及亮度过渡不自然问题，首先在第一次匹配迁移过程中引入模糊矩阵，然后用初次获得的迁移结果的全局统计信息来对源图像进行二次色彩迁移，获得较自然的色彩迁移效果；一方面纠正由于过度分割产生的某些区域的色彩的错误迁移而导致的迁移结果不自然问题；另一方面也能提高算法的应用范围，提高了方法的健壮性、鲁棒性和泛化能力，在改进效率的同时提高了色彩迁移效果。

Description

全局与超像素分割相融合的色彩迁移方法

技术领域

本发明涉及一种图像间色彩迁移方法，特别涉及一种全局与超像素分割相融合的色彩迁移方法，属于色彩迁移方法技术领域。

背景技术

色彩是图像的一个很重要的属性，改变图像的色彩分布及类型有很多种方式，但图像像素RGB空间的三个通道间有很大的关联性，要改变图像的色彩信息，就必须同时改变图像像素的三通道分量，才能保持图像本身视觉效果的自然感。为消除图像通道之间的较强的相关性，现有技术通过对大量自然图像感知的统计研究，通过对这些图像的色彩信息分布规律的统计分析，提出一个正交的独立的色彩空间Lαβ空间理论，Lαβ空间理论中L通道代表色彩的亮度信息，α、β通道代表的是色彩的彩色信息，Lαβ色彩空间更符合人眼的视觉感知特性，并且通道间的关联性降到了最低，Lαβ色彩空间理论奠定了色彩迁移方法的理论基础。

图像间的色彩迁移是指一张图像在保持自身结构内容信息的同时，学习另一张或者多张图像的色彩信息，从而获得一张新的图像，色彩迁移既能实现彩色图像间的色彩互相转换，又能用来对灰度图像进行彩色化处理，因此在影视编辑，医学影像处理，图像色彩渲染等领域有重要应用。

现有技术的全局色彩迁移方法都是统计意义上的全局自适应色彩迁移方法，当处理复杂色彩信息的自然图像时容易出现色彩的错误迁移，导致色彩迁移的效果不符合预期目标，现有技术提出了一种基于图像全局统计信息的彩色图像间的色彩迁移算法，这种算法的成功应用推动了色彩迁移技术的发展进程，理论依据是具有相同或者相似统计信息的图像应具有相同或者相似的视觉效果，这个观点是对大量自然图像进行统计分析而得出的规律。因此，通过修改形状图像的像素均值方差信息，使其与色彩图像的这些统计特征对齐，就能将色彩图像的色彩信息迁移给形状图像，也即形状图像通过学习色彩图像的基本统计信息就可以获得色彩图像的色彩信息，该色彩迁移算法提出之后，色彩迁移技术引起了广泛关注，从多种角度对其进行发展和改进。

目前，现有技术的色彩迁移算法大体上可归为三大类，包括：基于图像全局统计特征的迁移技术、基于勾画交互式的迁移技术和基于图像分割理论的分区域自动迁移技术。

第一，基于全局统计特征的色彩迁移，这类色彩迁移算法起始于全局色彩迁移算法，具体而言就是分别统计源图像与目标图像各通道像素的均值和方差，然后把目标图像的均值、方差统计信息迁移给形状图像，从而使源图像具备目标图像的色彩分布特征，基于全局统计信息的色彩迁移算法实现过程简单迅速，对色彩阶调比较单一的图像间色彩迁移能获得较好的迁移效果，但对于色彩细节较丰富图像间色彩迁移，容易出现过度学习，导致形状图像学习到的图像色彩过度不够自然。仅仅迁移低阶统计信息是不够的，图像的边缘轮廓等边界处像素的分布存在一定的非高斯性，为了改善全局图像间色彩迁移的鲁棒性，现有技术又将图像的高阶矩斜度和峰度也进行了迁移，具体来说就是通过幂变换、模变换对调整源图像像素数据的三阶矩及四阶矩，使其与目标图像的高阶统计信息对齐，结果实现将色彩图像的高阶矩信息迁移给形状图像，使图像的色彩迁移效果更好；或者在色彩迁移中引入图像金字塔，通过对形状图像和色彩图像进行卷积运算获得图像多尺度不同方向子带成分，然后根据各子带的局部统计信息选择相应子带间进行统计信息迁移，根据不同的选择获得不同的色彩迁移效果，总的来说，基于全局统计信息的色彩迁移算法比较简单，在形状图像与色彩图像的比较相似并且结构内容比较单一的情况下能取得比较好的效果，反之，就会出现色彩过度迁移的问题。

第二，基于用户交互式的色彩迁移算法，在色彩迁移中先对源图像的部分像素点进行色彩迁移，具体做法是由用户自己添加一些彩色线条作为初始种子点，再根据图像的邻域相似性进行色彩扩散迁移，通过引入人工交互对形状图像色彩迁移的类型进行选择干涉，能够给图像选择合适的色彩，避免全局色彩迁移算法的色彩迁移效果不确定性，但这类方法在区域的边界容易导致色彩的过度扩散，同基于全局统计信息的色彩迁移算法相比，这类交互式方法能增加色彩迁移结果的可控性，并且能取得较好的色彩迁移效果，但这种交互式的迁移方法需要人工参与，并且要求使用者具备较高的专业和知识背景，这显然不符合图像处理工作要求的自动化批量化处理的发展趋势要求。

第三，基于图像分割的色彩迁移算法，在人眼视觉系统的色彩感知特性的基础上，现有技术通过对大量自然图像色彩感知统计分析将人眼感知明显的色彩粗略归为11类，通过将形状图像和色彩图像根据这11类色彩进行分类，然后在这11类色彩区域进行分区色彩迁移，获得较理想的色彩迁移结果，基于图像分割的色彩迁移算法考虑了图像结构的差异性，更多地关注图像的局部结构信息，以局部统计信息迁移代替全局统计信息，从效果上来说，能取得比全局迁移方法更加稳定的迁移效果，但在分割匹配的过程中算法的效率低，容易出现过分割问题，并且增加了系统开销。

现有技术依然没有很好的解决图像间色彩迁移的难题，现有技术的难点和本发明解决的问题主要集中在以下方面：

第一，现有技术的色彩迁移方法中全局方法和基于图像局部相似方法较多，其中基于全局的方法应用简单，但当图像的色彩阶调较复杂时易出现色彩的过度渲染，而基于局部相似的方法主要有人工干预的交互式局部迁移和局部相似自适应匹配方法，人工干预的交互式迁移方法能取得比全局方法更好的迁移效果，但这种方法增加了用户的工作量并且不适宜图像的批量处理，因此局部相似自适应匹配方法尤为重要，现有技术还没有一种性能优异、色彩迁移效果稳定，泛化能力强的色彩迁移方法；

第二，现有技术的全局色彩迁移方法都是统计意义上的全局自适应色彩迁移方法，当处理复杂色彩信息的自然图像时容易出现色彩的错误迁移，导致色彩迁移的效果不符合预期目标，容易出现过度学习，导致形状图像学习到的图像色彩过度不够自然，基于全局统计信息的色彩迁移算法比较简单，在形状图像与色彩图像的比较相似并且结构内容比较单一的情况下能取得比较好的效果，反之，就会出现色彩过度迁移的问题，在某些情况下，现有技术全局色彩迁移方法会变得非常不稳定，无法达到理论效果；

第三，现有技术的方法对于图像阶调及纹理较复杂的图像间的色彩迁移效果不理想，在图像处理领域对图像进行的处理运算大多是以单个图像像素为单位，不考虑像素间的空间信息，这导致了算法的处理效果不理想且效率较低。对匹配的超像素间进行分区域色彩迁移过程中，现有技术先给源图像中每个超像素的种子点进行上色，然后超像素中的其它像素点根据相似性进行扩散迁移，但这种方法复杂并且容易出现边缘过度扩散问题，而源图像和目标图像过分割后的区域每个区域的纹理结构和色彩比较单一，源图像和目标图像结构上的差异过大而导致的色彩迁移不自然的问题；

第四，现有技术基于用户交互式的色彩迁移算法，在区域的边界容易导致色彩的过度扩散，同基于全局统计信息的色彩迁移算法相比，这类交互式方法能增加色彩迁移结果的可控性，并且能取得较好的色彩迁移效果，但这种交互式的迁移方法需要人工参与，并且要求使用者具备较高的专业和知识背景，这显然不符合图像处理工作要求的自动化批量化处理的发展趋势要求。

第五，现有技术基于图像分割的色彩迁移算法，能取得比全局迁移方法更加稳定的迁移效果，但在分割匹配的过程中算法的效率低，容易出现过分割问题，色彩迁移结果不够理想，并且增加了系统开销。

发明内容

针对现有技术的不足，本发明在深入分析经典色彩迁移方法及相应改进算法的基础上，通过实验测试分析并验证了这些算法的优点及不足，从图像局部相似性的角度，在对图像超像素理论进行深入的理论分析的基础上提出将基于图像分割匹配的局部色彩迁移方法与全局色彩迁移方法进行融合的改进方案，提高了算法的普适性和运行效率，在实际应用中可行性强，是一种简洁高效、实用性强的全局与超像素分割相融合的色彩迁移方法。

为达到以上技术效果，本发明所采用的技术方案如下：

全局与超像素分割相融合的色彩迁移方法，基于图像的局部相似性，将基于局部色彩迁移和全局色彩迁移进行分阶段的融合，当图像的色彩复杂时，通过对图像进行分割，使每一个区域的色彩纹理单一，在这样的小区域内应用局部色彩迁移能改善图像色彩的迁移效果，图像分割按照相似性规则将图像分成若干部分，每一部分的像素满足某种相似性，而类间差异较大，当图像的色彩阶调复杂时，通过对图像按照某种标准进行分割使得每一部分的色彩阶调比较单一，然后对每一部分应用全局色彩迁移方法；

融合全局算法与超像素分割的色彩迁移：首先对源图像及目标图像采用梯度下降简单线性迭代聚类法进行分割处理，然后为源图像中的每一个超像素在目标图像中搜索最相似超像素，之后在匹配的超像素对之间进行色彩迁移，最后消除由于过分割处理所产生的误匹配而导致的色彩的错误迁移及亮度过渡不自然问题，本发明首先在第一次匹配迁移过程中引入模糊矩阵，然后用初次获得的迁移结果的全局统计信息来对源图像进行二次色彩迁移，获得自然的色彩迁移效果，具体过程为：

第1步，变换色彩空间：首先将RGB空间中的源图像和目标图像像素数据信息变换到lαβ空间，保持通道间的独立性；

第2步，利用梯度下降简单线性迭代聚类法分别对源图像和目标图像进行分割处理，具体分割的数目根据两图像的结构相似性进行自适应确定，然后提取这些超像素的特征构建特征向量空间，为源图像中的所有超像素在目标图像中寻找其最匹配的超像素，允许多对一匹配，为源图像的每个超像素区域在目标图像中寻找一个相对应的纹理相近的区域；

第3步，在超像素对的匹配完成后，遍历源图像的每个超像素，将与其匹配的目标图像中的超像素的色彩信息迁移过去，源图像获取到和目标图像相近的色彩信息，在色彩迁移过程中，对源图像的每个像素计算对源图像中每个超像素的模糊隶属度矩阵，得到迁移后结果图像的边缘更加平滑，对单个超像素内非种子像素对该超像素隶属度的计算考虑其与该超像素中心的色彩和距离关系，而对其它超像素隶属度的计算仅考虑它与其它超像素中心的色彩距离关系；对种子像素对其所在超像素区域的隶属度为1，对于其它超像素的隶属度为0；

第4步，将已获取到所需要的目标图像色彩信息的源图像当作目标图像对初始的源图像进行全局色彩迁移；

第5步，将改变后的源图像数据变换回RGB空间，实现源图像的色彩迁移过程。

全局与超像素分割相融合的色彩迁移方法，进一步的，图像的局部相似度度量：色彩迁移预处理阶段采用分割方法将图像进行分割，然后为源图像的每一个分割区域寻找相应的匹配区域时采用局部相似自适应匹配方法，局部相似自适应匹配方法根据图像局部区域的相似性特征进行匹配，图像的局部相似度主要衡量图像分割后局部区域的纹理相似性，本发明采用计算统计量的方法，从图像像素的空间分布，边界分布及图像像素的灰度依赖关系方面分析纹理，从图像的灰度信息分析提取图像的纹理特征，具体采用灰度共生矩，它在描述纹理时考虑像素灰度数据的空间位置关系，是邻近像素间的空间位置和角度函数，灰度共生矩阵表示某个像素灰度在某个方向上偏离一定的位置变为另一个灰度级的概率，反之该灰度级只需沿相反的方向移动同样的距离就能恢复原来的灰度级，灰度共生矩阵数据对称分布，选定一个方向和距离关系就能计算得到图像的一个灰度共生矩阵，根据灰度共生矩阵分析计算图像的各种统计量来度量表征，提取图像的若干个纹理特征，其中能量、对比度、逆差距、熵和自相关特征描述图像的纹理特征参数，根据灰度共生矩提取的这些特征用一个特征向量来综合表征，这个特征向量共包括四个方向的五方面特征共计20维，图像局部的相似性根据局部区域的灰度共生矩特征来度量纹理特征，局部区域越相似其特征向量间的欧氏距离越小；

对图像进行局部特征提取以后，计算这些特征向量的相似性，对于图像局部的特征相似性度量，本发明采用余弦相似性，在同一特征空间中，图像的局部特征向量认为都是从原点出发的一个有向线段，两个区域的特征向量越相似，它们的终点越接近，相反越不相似，它们的终点距离越远，当两向量同向时距离最近，反向时距离最远，而这两向量夹角的余弦值刚好反映这种距离关系，并且余弦值的大小范围刚好在0-1之间，用两向量夹角的余弦值作为度量两特征向量相似度的指标，两向量的余弦值越接近0，表明它们越不相似，反之越接近1，表明它们越相似。

全局与超像素分割相融合的色彩迁移方法，进一步的，超像素图像分割匹配：本发明基于图像局部相似性特征及图像分割方法，提出在图像色彩迁移过程中对图像进行过分割处理，利用超像素对图像进行有效过分割处理；

超像素图像分割：在图像处理中将超像素作为基本处理单元，图像中若干具有相近纹理结构，相近色彩信息，相近亮度信息特征的邻近像素组成一个集合当作超像素，这些小区域能够保留图像的有效信息，利用像素间特征的相似性对图像像素进行组合，减小图像像素间的冗余度；

本发明采用梯度下降简单线性迭代聚类法，依据基于色彩和距离相似性，产生大小均匀、形状规则的超像素，对图像进行超像素分割很好的提取图像的局部特征；

首先将图像数据由RGB空间变换得到Lαβ空间，然后融合相应的三通道数据及XY坐标构成每个像素点的五维特征空间，再对该五维特征向量根据度量尺度对图像像素进行局部聚类，对图像进行超像素分割的分割结果依赖于用户事先输入的需生成的超像素数量，也即分割精度，具体的生成步骤为：

第一步，种子点的初始化处理，如果待处理的图像像素个数共有M个，将图像分割为W个均匀的超像素，则平均每个超像素所含像素的数量为M/W，超像素中心之间的间距近似等于

为防止出现种子点位于超像素的边界处时对后续的超像素分割过程带来干扰，将种子点移动到它的3×3邻域范围内像素梯度值最小位置，然后给这些种子点分别贴一个标签，以表示其类别归属；

第二步，计算像素相似性，遍历整个图像的所有像素并通过分别统计比较它与W个种子点的距离，并赋予与其最接近的种子点标签类别，

其中a_Lαβ表示像素的色彩之间距离关系，a_xy度量的是像素之间的位置关系，A_i衡量的是两像素点之间的接近程度，A_i的值是两像素色彩距离和空间距离的加权和，通过其值大小表明这两个像素相近程度，c表示任意两种子点的平均空间距离，n是调节色彩值差异与位置差异在相似程度度量中的权重调节因子；

第三步，不断迭代更新直到最终约束函数收敛，为加速搜索过程，在给所有种子点寻找相近像素点完成区域划分时，只在各个种子像素点的2c×2c邻域范围内搜索寻找与该种子点相近的像素点。

全局与超像素分割相融合的色彩迁移方法，进一步的，提取超像素特征：基于图像结构及纹理特征，首先选择对亮度变化不敏感且具有稳定性的Gabor特征和SURF特征，然后采用灰度图像上色方法图像低阶统计特征的亮度特征与方差特征。

全局与超像素分割相融合的色彩迁移方法，进一步的，超像素亮度特征提取：本发明提取的超像素亮度特征不仅统计每个超像素内的种子点的邻域亮度均值信息，而且考虑超像素的空间关系，即与该超像素相邻的超像素区域的种子点邻域亮度的均值，邻域取的是相应种子点的3×3窗口区域，假设c_pi是图像的第i个超像素，并且c_pi的中心邻域由n＝9个像素点所组成，c_pi亮度的第一维特征即组成该超像素的种子点邻域像素点的亮度均值，计算式为：

式中J(x,y)代表(x,y)处像素点的亮度值，c_pi的第二维亮度特征即c_pi的邻域超像素中心及邻域像素亮度的一维特征均值，计算式表示为：

式中

代表c_pi的邻域超像素组成的区域，w代表该区域中超像素的数目；

本发明提取的超像素亮度特征是这两方面特征的综合，即第一维超像素特征和第二维超像素特征组成单个超像素亮度的二维特征，这个特征不仅度量超像素本身的亮度特征，而且还考虑它所处的环境。

全局与超像素分割相融合的色彩迁移方法，进一步的，超像素标准差特征提取：超像素标准差特征是该超像素及其相邻超像素内像素的方差均值，本发明提取的图像超像素第一维标准差特征是超像素内所有像素的三通道标准差均值，用c_pi表示图像的第i个超像素，c_pi的标准差即c_pi区域内所有像素点的三通道标准差的均值，具体计算式为：

其中J_i(x,y)是(x,y)处的单通道值，m为c_pi中所包含的像素数量，c_pi标准差的第二维特征表示式为：

其中ω是c_pi的邻域超像素的所组成的集合，M代表ω内超像素的数量，这二维特征构成单个超像素的二维特征向量。

全局与超像素分割相融合的色彩迁移方法，进一步的，超像素Gabor特征提取：超像素Gabor特征分离图像的方向特征和尺度特征，局域化的频率表述要求在空域中有一个特定大小的窗口，频域带宽就被限定在一个定量尺寸上，针对图像不同尺度下的局部特征要不同尺度的一组滤波器来检测，Gabor变换能很好的确定时域和频域不确定关系下界的函数，针对二维测不准的情况能很好的表述图像空间域和频率域特征，将得到的不同滤波器与待处理图像卷积运算获得像素相应Gabor特征值，首先遍历整个图像计算所有像素的Gabor特征，共包括五个尺度，其中每个尺度选择8个方向(0,π/8，…,7/8π)，得到一个40维的特征向量，接着取每个超像素中所包含的所有像素点Gabor特征的均值或者以每个超像素的迭代后的种子点的Gabor特征作为每个超像素整体Gabor特征向量，本发明提取的是每个种子点的Gabor特征。

全局与超像素分割相融合的色彩迁移方法，进一步的，超像素SURF特征提取：SURF算子首先会搜索图像的兴趣点，本发明不直接检测图像的兴趣点而是直接将每个超像素的中心作为图像的兴趣点，然后构造它的特征描述符来作为整个超像素的特征描述，基于SURF提取图像的SURF特征的过程为：

步骤一，确定像素特征的主方向，首先以该像素为圆心画圆，然后统计其中的每一个像素在水平和竖直方向的harr小波特征，分配给这些特征值相应的高斯权重值，保证距离当前像素的大小与这些像素的harr特征权重大小呈正相关分布，再在该圆内统计所有以该像素为中心的60°区域内所有像素两个方向的harr特征分别加总运算得到一个区域的矢量，比较这些矢量，选取模最大的确定为中心像素特征主方向；

步骤二，生成像素特征描述符，为保证特征的旋转稳定性，调整坐标轴的方向与当前像素特征的主方向保持相同，然后在图像中以当前像素为中心选取一方形窗口，再对该窗口进行4×4的均匀分割，计算其中每个小区域内的像素点的harr特征a_x、a_y，并对a_x、a_y分配不同的高斯权值，然后累加统计每个区域所有像素的a_x和a_y值，a_x绝对值、a_y绝对值的和，这些值构成各个区域的特征描述，对于每个小的方形区域有一个四维特征，图像中每个像素的邻域有4×4个小区域构成64维特征描述符；

步骤三，扩展上述过程得到的特征描述向量，得到更精确的像素特征描述，这一步是对上一步统计结果的拓展，根据harr小波特征进行特征统计时分别统计两个方向上相应特征大于0和小于0的特征和，每个小区域的特征向量变成了八维，4×4个小区域形成当前像素的128维特征向量。

全局与超像素分割相融合的色彩迁移方法，进一步的，快速匹配超像素：首先遍历源图像的所有超像素，对它的任意一个超像素在目标图像中寻找和它最相似的超像素，本发明采用快速多级超像素匹配的过程为：

过程一，依据Gabor特征为源图中所有超像素在目标图像中寻找最接近的超像素，其中超像素间的相近性根据它们的Gabor特征向量的余弦值度量，余弦值越小表示越不相似，而反之越相似，然后对源图像中的每个超像素根据其与目标图像中各超像素的Gabor特征的余弦值寻找与其余弦值最大的W个超像素；

过程二，遍历源图像的所有超像素，在过程一比较搜索得到的每个超像素的W个最相似超像素集合中，再次利用超像素的SURF特征搜寻W/2个最相似超像素；

过程三，再次遍历源图像的所有超像素，在每个超像素的W/2个最相似超像素中根据超像素的直方图m阶矩的余弦相似性寻找W/2×1/2个最相似的超像素，其中m阶矩中的第一维亮度特征和第二维标准差特征均是二维向量；再根据每个超像素的灰度共生矩特征再次选择W/2×1/2×1/2个较接近的超像素，最后将这些超像素的集合用ε_i表示，于是与Q_i最相似的超像素满足：

ε_a＝arg min G(ε_b，r_i)，ε_b∈ε_i

式中：

G(ε_b，r_i)＝k₁S₁(ε_b，r_i)+k₂S₂(ε_b，r_i)+k₃S₃(ε_b，r_i)+k₄S₄(ε_b，r_i)

式中S₁(ε_b，r_i)、S₂(ε_br_i)、S₃(ε_br_i)和S₄(ε_b，r_i)依次表示ε_b和r_i的Gabor、SURF、灰度直方图m阶矩和灰度共生矩特征的欧氏距离，k₁、k₂、k₃和k₄为这些距离对应的权重系数；

以在特征提取中首先根据Gabor特征和SURF特征进行匹配，然后再根据亮度和方差特征进行匹配。

全局与超像素分割相融合的色彩迁移方法，进一步的，确定超像素分割数量：对于最优超像素分割数目的粗略确定，本发明根据源图像本身的结构复杂度和两张图像的结构相似性自适应的确定，源图像和目标图像结构相似性的度量指标采用结构相似度，主要由亮度差异、对比度差异和两信号的相关度差异三部分相似性统计综合度量；

(1)亮度相似性，亮度相似性主要从两图像亮度均值的统计计算进行比较，具体计算式为：

其中S₁为调整因子，避免计算h(x，y)的过程中出现除0的情况引入；

(2)对比度差异，通过两图像的亮度信息方差进行对比，方差的计算式为：

亮度的对比度函数计算式为：

S₂也是调整因子，M代表超像素的数量；

(3)两信号的结构相似度计算：

其中：

结构相似度的度量公式是：

JGXSD＝h(x，y)*c(x，y)*s(x，y)

本发明对图像超像素分割的较优数量的确定根据结构相似性的大小，计算结构相似性时首先对源图像的亮度分布进行调整与目标图像对齐，如果源图像和目标图像的结构相似性在65％以下，就认为相似性较差需要精细分割，此时分割数量设置为1000；如果结构相似性在65％以上，就认为结构相似性好，不需要过度精细分割，此时分割数量设置为200。

与现有技术相比，本发明的贡献和创新点在于：

第一，本发明改进局部迁移算法，基于图像的局部相似性，将基于局部色彩迁移和全局色彩迁移进行分阶段的融合，获得了较好的色彩迁移效果，同时也明显提高了方法的泛化能力，当图像的色彩复杂时，通过对图像进行分割，使每一个区域的色彩纹理单一，从而在这样的小区域内应用局部色彩迁移能改善图像色彩的迁移效果，图像分割即按照相似性规则将图像分成若干部分，每一部分的像素满足某种相似性，而类间差异较大，当图像的色彩阶调复杂时，通过对图像按照某种标准进行分割使得每一部分的色彩阶调比较单一，然后对每一部分应用全局色彩迁移方法，取得较好的色彩迁移结果；

第二，本发明在深入分析经典色彩迁移方法及相应改进算法的基础上，通过实验测试分析并验证了这些算法的优点及不足，从图像局部相似性的角度，在对图像超像素理论进行深入的理论分析的基础上提出将基于图像分割匹配的局部色彩迁移方法与全局色彩迁移方法进行融合的改进方案，提高了算法的普适性和运行效率，在实际应用中可行性强，是一种简洁高效、实用性强的全局与超像素分割相融合的色彩迁移方法；

第三，本发明在图像处理中将超像素作为基本处理单元，图像中若干具有相近纹理结构，相近色彩信息，相近亮度信息特征的邻近像素组成一个集合当作超像素，这些小区域能够保留图像的有效信息，利用像素间特征的相似性对图像像素进行组合，减小图像像素间的冗余度，方便图像处理的后续工作，加速运算效率；本发明在总结传统基于全局统计信息的色彩迁移算法及传统聚类分割算法的基础上，提出了一种分过程融合这两种色彩迁移思路的迁移算法，提高了色彩迁移的准确性和算法的泛化能力；

第四，本发明首先对源图像及目标图像采用梯度下降简单线性迭代聚类法进行分割处理，然后为源图像中的每一个超像素在目标图像中搜索最相似超像素，之后在匹配的超像素对之间进行色彩迁移，最后消除由于过分割处理所产生的误匹配而导致的色彩的错误迁移及亮度过渡不自然问题，本发明首先在第一次匹配迁移过程中引入模糊矩阵，然后用初次获得的迁移结果的全局统计信息来对源图像进行二次色彩迁移，获得较自然的色彩迁移效果；

第五，本发明在区域分割匹配的基础上融合全局迁移方法，通过区域分割充分考虑源图像和目标图像的局部区域的相似性，获得更适宜的色彩迁移方向，通过使用基于全局的色彩迁移方法，一方面纠正由于前面过度分割产生的某些区域的色彩的错误迁移而导致的迁移结果不自然问题；另一方面也能提高算法的应用范围，提高算法的泛化能力，能取得较为理想的色彩迁移效果，基本能够在保持源图像自身结构内容的基础上迁移目标图像的色彩信息，明显提高了方法的健壮性和鲁棒性，在改进效率的同时提高了色彩迁移效果。

附图说明

图1是采用梯度下降线性迭代聚类法超像素分割效果示意图。

图2是本发明的当前像素主方向确定方法示意图。

图3是本发明方法与超像素分割的效果对比示意图。

图4是本发明的色彩迁移方法的效果示意图。

具体实施方式

下面融合附图，对本发明提供的全局与超像素分割相融合的色彩迁移方法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本发明并能予以实施。

图像间的色彩迁移是指一张图像在保持自身结构内容信息的同时，学习另一张或者多张图像的色彩信息，从而获得一张新的图像，色彩迁移既能实现彩色图像间的色彩互相转换，又能用来对灰度图像进行彩色化处理，因此在影视编辑，医学影像处理，图像色彩渲染等领域有重要应用。现有技术的色彩迁移方法中全局方法和基于图像局部相似方法较多，其中基于全局的方法应用简单，但当图像的色彩阶调较复杂时易出现色彩的过度渲染，而基于局部相似的方法主要有人工干预的交互式局部迁移和局部相似自适应匹配方法，人工干预的交互式迁移方法能取得比全局方法更好的迁移效果，但这种方法增加了用户的工作量并且不适宜图像的批量处理，因此局部相似自适应匹配方法尤为重要，本发明改进局部迁移算法：基于图像的局部相似性，将基于局部色彩迁移和全局色彩迁移进行分阶段的融合，获得了较好的色彩迁移效果，同时也明显提高了方法的泛化能力。

现有技术的全局色彩迁移方法都是统计意义上的全局自适应色彩迁移方法，当处理复杂色彩信息的自然图像时容易出现色彩的错误迁移，导致色彩迁移的效果不符合预期目标，当图像的色彩复杂时，通过对图像进行分割，使每一个区域的色彩纹理单一，从而在这样的小区域内应用局部色彩迁移能改善图像色彩的迁移效果，图像分割即按照相似性规则将图像分成若干部分，每一部分的像素满足某种相似性，而类间差异较大，全局迁移方法在进行色彩阶调简单的图像的色彩迁移时能取得较好的结果，当图像的色彩阶调复杂时，可以通过对图像按照某种标准进行分割使得每一部分的色彩阶调比较单一，然后对每一部分应用全局色彩迁移方法，取得较好的色彩迁移结果。

一、图像的局部相似度度量

色彩迁移预处理阶段采用分割方法将图像进行分割，然后为源图像的每一个分割区域寻找相应的匹配区域时采用局部相似自适应匹配方法，局部相似自适应匹配方法根据图像局部区域的相似性特征进行匹配，而图像区域特征主要表现为纹理特征和色彩特征，色彩迁移就是要改变图像的颜色视觉效果，在区域匹配过程中主要考虑图像的纹理特征，因此图像的局部相似度主要衡量图像分割后局部区域的纹理相似性，纹理是图像中局部区域像素的变化，通过像素间的对比变化来表现，它与单个像素所处的环境密切相关，纹理的粗细分布、方向性及变化周期是图像结构最显著的特征，是纹理间互相区分的主要依据，由于纹理的复杂性和多样性，本发明采用计算统计量的方法，从图像像素的空间分布，边界分布及图像像素的灰度依赖关系方面分析纹理，从图像的灰度信息分析提取图像的纹理特征，具体采用灰度共生矩，它在描述纹理时考虑像素灰度数据的空间位置关系，是邻近像素间的空间位置和角度函数，灰度共生矩阵表示某个像素灰度在某个方向上偏离一定的位置变为另一个灰度级的概率，反之该灰度级只需沿相反的方向移动同样的距离就能恢复原来的灰度级，灰度共生矩阵数据对称分布，选定一个方向和距离关系就能计算得到图像的一个灰度共生矩阵，实施例距离选为一个像素单位，方向角主要有0°、45°、90°和135°四种，根据灰度共生矩阵分析计算图像的各种统计量来度量表征，提取图像的若干个纹理特征，其中能量、对比度、逆差距、熵和自相关特征描述图像的纹理特征参数。根据灰度共生矩提取的这些特征用一个特征向量来综合表征，这个特征向量共包括四个方向的五方面特征共计20维，图像局部的相似性根据局部区域的灰度共生矩特征来度量纹理特征，局部区域越相似其特征向量间的欧氏距离越小。

对图像进行局部特征提取以后，接下来计算这些特征向量的相似性，对于图像局部的特征相似性度量，本发明采用余弦相似性，在同一特征空间中，图像的局部特征向量认为都是从原点出发的一个有向线段，两个区域的特征向量越相似，它们的终点越接近，相反越不相似，它们的终点距离越远，当两向量同向时距离最近，反向时距离最远，而这两向量夹角的余弦值刚好反映这种距离关系，并且余弦值的大小范围刚好在0-1之间，用两向量夹角的余弦值作为度量两特征向量相似度的指标，两向量的余弦值越接近0，表明它们越不相似，反之越接近1，表明它们越相似。

二、超像素图像分割匹配

现有技术的方法对于图像阶调及纹理较复杂的图像间的色彩迁移效果不理想，本发明基于图像局部相似性特征及图像分割方法，提出在图像色彩迁移过程中对图像进行过分割处理，为避免分割的盲目性并且能够很好的利用图像的局部特征，本发明利用超像素对图像进行有效过分割处理。

(一)超像素图像分割

在图像处理领域对图像进行的处理运算大多是以单个图像像素为单位，不考虑像素间的空间信息，这导致了算法的处理效果不理想且效率较低。而人眼在观察图像以获取图像信息时大部分信息是来自多个像素组成的区域块，人眼对单个像素点并不敏感且单个像素也不能提供有意义的视觉信息，只有多个像素的集合才有特定的意义。在图像处理中将超像素作为基本处理单元，图像中若干具有相近纹理结构，相近色彩信息，相近亮度信息特征的邻近像素组成一个集合当作超像素，这些小区域能够保留图像的有效信息，利用像素间特征的相似性对图像像素进行组合，减小图像像素间的冗余度，方便图像处理的后续工作，加速运算效率。

本发明采用梯度下降简单线性迭代聚类法，依据基于色彩和距离相似性，产生大小均匀、形状规则的超像素，而且这些生成的超像素能很好的保持图像的边缘，对图像进行超像素分割很好的提取图像的局部特征；

首先将图像数据由RGB空间变换得到Lαβ空间，然后融合相应的三通道数据及XY坐标构成每个像素点的五维特征空间，再对该五维特征向量根据度量尺度对图像像素进行局部聚类，对图像进行超像素分割的分割结果依赖于用户事先输入的需生成的超像素数量，也即分割精度，具体的生成步骤为：

第一步，种子点的初始化处理，如果待处理的图像像素个数共有M个，将图像分割为W个均匀的超像素，则平均每个超像素所含像素的数量为M/W，超像素中心之间的间距近似等于

为防止出现种子点位于超像素的边界处时对后续的超像素分割过程带来干扰，将种子点移动到它的3×3邻域范围内像素梯度值最小位置，然后给这些种子点分别贴一个标签，以表示其类别归属；

第二步，计算像素相似性，遍历整个图像的所有像素并通过分别统计比较它与W个种子点的距离，并赋予与其最接近的种子点标签类别，

其中a_Lαβ表示像素的色彩之间距离关系，a_xy度量的是像素之间的位置关系，A_i衡量的是两像素点之间的接近程度，A_i的值是两像素色彩距离和空间距离的加权和，通过其值大小表明这两个像素相近程度，c表示任意两种子点的平均空间距离，n是调节色彩值差异与位置差异在相似程度度量中的权重调节因子；

第三步，不断迭代更新直到最终约束函数收敛，为加速搜索过程，在给所有种子点寻找相近像素点完成区域划分时，只在各个种子像素点的2c×2c邻域范围内搜索寻找与该种子点相近的像素点。

(二)超像素图像分割结果

采用梯度下降简单线性迭代聚类法方法对待处理图像分割处理，获得由W个超像素区域组成的结果图像，W值大小的不同控制图像分割的精度，W值越大，分割越精细并且图像的边缘细节保持的越好，但W值大小的选取会影响超像素分割的速度，分割的数目越多，分割过程的计算量越大所用的时间也越长，并且分割的过细时不利用区域特征的提取。图1超像素的分割效果，是对图像应用梯度下降线性迭代聚类法分割的结果图。

三、提取超像素特征

色彩迁移预处理阶段对源图像和目标图像实行细分割处理，然后提取单个超像素点的特征进行匹配，而特征的选择会影响匹配结果，进而影响后续色彩迁移的准确性，因此特征选择事关色彩迁移的成败，本发明基于图像结构及纹理特征，首先选择对亮度变化不敏感且具有稳定性的Gabor特征和SURF特征，然后采用灰度图像上色方法图像低阶统计特征的亮度特征与方差特征。

(一)超像素亮度特征提取

本发明提取的超像素亮度特征不仅统计每个超像素内的种子点的邻域亮度均值信息，而且考虑超像素的空间关系，即与该超像素相邻的超像素区域的种子点邻域亮度的均值，邻域取的是相应种子点的3×3窗口区域，假设c_pi是图像的第i个超像素，并且c_pi的中心邻域由n＝9个像素点所组成，c_pi亮度的第一维特征即组成该超像素的种子点邻域像素点的亮度均值，计算式为：

式中J(x,y)代表(x,y)处像素点的亮度值，c_pi的第二维亮度特征即c_pi的邻域超像素中心及邻域像素亮度的一维特征均值，计算式表示为：

式中

代表c_pi的邻域超像素组成的区域，w代表该区域中超像素的数目；

本发明提取的超像素亮度特征是这两方面特征的综合，即第一维超像素特征和第二维超像素特征组成单个超像素亮度的二维特征，这个特征不仅度量超像素本身的亮度特征，而且还考虑它所处的环境。

(二)超像素标准差特征提取

超像素标准差特征是该超像素及其相邻超像素内像素的方差均值，本发明提取的图像超像素第一维标准差特征是超像素内所有像素的三通道标准差均值，用c_pi表示图像的第i个超像素，c_pi的标准差即c_pi区域内所有像素点的三通道标准差的均值，具体计算式为：

其中J_i(x,y)是(x,y)处的单通道值，m为c_pi中所包含的像素数量，c_pi标准差的第二维特征表示式为：

其中ω是c_pi的邻域超像素的所组成的集合，M代表ω内超像素的数量，这二维特征构成单个超像素的二维特征向量。

(三)超像素Gabor特征提取

超像素Gabor特征分离图像的方向特征和尺度特征，并且对亮度的改变不敏感，局域化的频率表述要求在空域中有一个特定大小的窗口，频域带宽就被限定在一个定量尺寸上，然而局域化的频率描述不能充分描述图像的所有局部特征，针对图像不同尺度下的局部特征要不同尺度的一组滤波器来检测，Gabor变换能很好的确定时域和频域不确定关系下界的函数，针对二维测不准的情况能很好的表述图像空间域和频率域特征，将得到的不同滤波器与待处理图像卷积运算获得像素相应Gabor特征值，首先遍历整个图像计算所有像素的Gabor特征，共包括五个尺度，其中每个尺度选择8个方向(0,π/8，…,7/8π)，得到一个40维的特征向量，接着取每个超像素中所包含的所有像素点Gabor特征的均值或者以每个超像素的迭代后的种子点的Gabor特征作为每个超像素整体Gabor特征向量，本发明提取的是每个种子点的Gabor特征。

(四)超像素SURF特征提取

SURF运算速度快并能在多张图像进行特征点匹配时保持更好的鲁棒性，更适应图像亮度的变化，SURF特征是加速且包含一定稳定性的特征，SURF算子首先会搜索图像的兴趣点，本发明不直接检测图像的兴趣点而是直接将每个超像素的中心作为图像的兴趣点，然后构造它的特征描述符来作为整个超像素的特征描述，基于SURF提取图像的SURF特征的过程为：

步骤一，确定像素特征的主方向，首先以该像素为圆心画圆，然后统计其中的每一个像素在水平和竖直方向的harr小波特征，分配给这些特征值相应的高斯权重值，保证距离当前像素的大小与这些像素的harr特征权重大小呈正相关分布，再在该圆内统计所有以该像素为中心的60°区域内所有像素两个方向的harr特征分别加总运算得到一个区域的矢量，比较这些矢量，选取模最大的确定为中心像素特征主方向；图2为当前像素主方向确定方法。

步骤二，生成像素特征描述符，为保证特征的旋转稳定性，调整坐标轴的方向与当前像素特征的主方向保持相同，然后在图像中以当前像素为中心选取一方形窗口，再对该窗口进行4×4的均匀分割，计算其中每个小区域内的像素点的harr特征a_x、a_y，并对a_x、a_y分配不同的高斯权值，然后累加统计每个区域所有像素的a_x和a_y值，a_x绝对值、a_y绝对值的和，这些值构成各个区域的特征描述，对于每个小的方形区域有一个四维特征，图像中每个像素的邻域有4×4个小区域构成64维特征描述符；

步骤三，扩展上述过程得到的特征描述向量，得到更精确的像素特征描述，这一步是对上一步统计结果的拓展，根据harr小波特征进行特征统计时分别统计两个方向上相应特征大于0和小于0的特征和，每个小区域的特征向量变成了八维，4×4个小区域形成当前像素的128维特征向量。

四、快速匹配超像素

首先遍历源图像的所有超像素，对它的任意一个超像素在目标图像中寻找和它最相似的超像素。由于超像素的特征数量及维数较高，直接逐一比较计算量大速度慢，为减少匹配搜素的计算量，本发明采用快速多级超像素匹配的过程为：

过程一，依据Gabor特征为源图中所有超像素在目标图像中寻找最接近的超像素，其中超像素间的相近性根据它们的Gabor特征向量的余弦值度量，余弦值越小表示越不相似，而反之越相似，然后对源图像中的每个超像素根据其与目标图像中各超像素的Gabor特征的余弦值寻找与其余弦值最大的W个超像素，实施例取W＝20；

过程二，遍历源图像的所有超像素，在过程一比较搜索得到的每个超像素的W个最相似超像素集合中，再次利用超像素的SURF特征搜寻W/2个最相似超像素；

过程三，再次遍历源图像的所有超像素，在每个超像素的W/2个最相似超像素中根据超像素的直方图m阶矩的余弦相似性寻找W/2×1/2个最相似的超像素，其中m阶矩中的第一维亮度特征和第二维标准差特征均是二维向量；再根据每个超像素的灰度共生矩特征再次选择W/2×1/2×1/2个较接近的超像素，最后将这些超像素的集合用ε_i表示，于是与Q_i最相似的超像素满足：

ε_a＝arg min G(ε_b，r_i)，ε_b∈ε_i

式中：

G(ε_br_i)＝k₁S₁(ε_b，r_i)+k₂S₂(ε_b，r_i)+k₃S₃(ε_b，r_i)+k₄S₄(ε_b，r_i)

式中S₁(ε_b，r_i)、S₂(ε_b，r_i)、S₃(ε_b，r_i)和S₄(ε_b，r_i)依次表示ε_b和r_i的Gabor、SURF、灰度直方图m阶矩和灰度共生矩特征的欧氏距离，k₁、k₂、k₃和k₄为这些距离对应的权重系数，实施例计算过程中其赋值为0.3、0.4、0.2和0.1；

灰度图像上色算法中，当图像分割数量较少时使用灰度均值和方差进行匹配能够取得较好的效果，但对图像进行过分割时分割数量较多时，仅使用这两个特征进行匹配容易出现较多的误匹配，原因就在于图像中存在较多亮度相近而色彩不同的区域，而Gabor特征和SURF特征对亮度的变化不敏感，并且能够提取不同尺度不同方向的更精细特征，所以在特征提取中首先根据Gabor特征和SURF特征进行匹配，然后再根据亮度和方差特征进行匹配。

五、融合全局算法与超像素分割的色彩迁移

首先对源图像及目标图像采用梯度下降简单线性迭代聚类法进行分割处理，然后为源图像中的每一个超像素在目标图像中搜索最相似超像素，之后在匹配的超像素对之间进行色彩迁移，最后消除由于过分割处理所产生的误匹配而导致的色彩的错误迁移及亮度过渡不自然问题，本发明首先在第一次匹配迁移过程中引入模糊矩阵，然后用初次获得的迁移结果的全局统计信息来对源图像进行二次色彩迁移，获得较自然的色彩迁移效果，具体过程为：

第1步，变换色彩空间：首先将RGB空间中的源图像和目标图像像素数据信息变换到lαβ空间，保持通道间的独立性；

第2步，利用梯度下降简单线性迭代聚类法分别对源图像和目标图像进行分割处理，具体分割的数目根据两图像的结构相似性进行自适应确定，然后提取这些超像素的特征构建特征向量空间，为源图像中的所有超像素在目标图像中寻找其最匹配的超像素，允许多对一匹配，为源图像的每个超像素区域在目标图像中寻找一个相对应的纹理相近的区域；

第3步，在超像素对的匹配完成后，遍历源图像的每个超像素，将与其匹配的目标图像中的超像素的色彩信息迁移过去，源图像获取到和目标图像相近的色彩信息，在色彩迁移过程中，对源图像的每个像素计算对源图像中每个超像素的模糊隶属度矩阵，得到迁移后结果图像的边缘更加平滑，对单个超像素内非种子像素对该超像素隶属度的计算考虑其与该超像素中心的色彩和距离关系，而对其它超像素隶属度的计算仅考虑它与其它超像素中心的色彩距离关系；对种子像素对其所在超像素区域的隶属度为1，对于其它超像素的隶属度为0；

第4步，将已获取到所需要的目标图像色彩信息的源图像当作目标图像对初始的源图像进行全局色彩迁移；

第5步，将改变后的源图像数据变换回RGB空间，实现源图像的色彩迁移过程。

图3为本发明方法与超像素分割的效果对比图。

(一)确定超像素分割数量

对于在对图像进行梯度下降简单线性迭代聚类法分割预处理阶段最优超像素分割数目的确定，图像分割的超像素数量跟图像大小有直接关联，针对同一图像确定一个最优的分割数量。通过观察结果图像，超像素的数量过少时，超像素分割方法对图像边缘的保持性不好，图像的色彩迁移效果不好，说明图像进行超像素分割时分割数量过少时提取的特征不准确，因此为取得更好的分割效果应进行更精细的分割处理，但分割数量也不能过多，分割数目过多时图像被切分的过细，每个过小的分割区域较相似不利于特征的有效提取并且增加相关计算量，影响算法的运行效率。

对于最优超像素分割数目的粗略确定，本发明根据源图像本身的结构复杂度和两张图像的结构相似性自适应的确定，源图像和目标图像结构相似性的度量指标采用结构相似度SSIM，主要由亮度差异、对比度差异和两信号的相关度差异三部分相似性统计综合度量；

(1)亮度相似性，亮度相似性主要从两图像亮度均值的统计计算进行比较，具体计算式为：

其中S₁为调整因子，避免计算h(x,y)的过程中出现除0的情况引入，实施例中取S₁＝0.01；

(2)对比度差异，通过两图像的亮度信息方差进行对比，方差的计算式为：

亮度的对比度函数计算式为：

S₂也是调整因子，实施例取S₂＝0.02；

(3)两信号的结构相似度计算：

其中：

结构相似度的度量公式是：

JGXSD＝h(x，y)*c(x，y)*s(x，y)

对结构复杂度较大或者两图像结构相似性较差的图像进行更精细分割，提高超像素匹配的准确率，提高色彩迁移的准确性，对源图像本身结构复杂性的度量根据其灰度共生矩信息统计其能量、对比度、逆差矩和熵，然后与相应的经验临界值比较，而对于两图像的结构相似性方面，两图像越不相似越需要更加精细的分割。因此本发明对图像超像素分割的较优数量的确定根据结构相似性的大小，为消除两图像亮度的过大差异对相似性结果的影响，计算结构相似性时首先对源图像的亮度分布进行调整与目标图像对齐，如果源图像和目标图像的结构相似性在65％以下，就认为相似性较差需要精细分割，此时分割数量设置为1000；如果结构相似性在65％以上，就认为结构相似性好，不需要过度精细分割，此时分割数量设置为200。

(二)纠正错误匹配区域

对匹配的超像素间进行分区域色彩迁移过程中色彩迁移的选择，先给源图像中每个超像素的种子点进行上色，然后超像素中的其它像素点根据相似性进行扩散迁移，但这种方法复杂并且容易出现边缘过度扩散问题，而源图像和目标图像过分割后的区域每个区域的纹理结构和色彩比较单一，因此本发明色彩迁移处理方法为：首先使用超像素进行过分割处理，由于特征提取不全面会产生局部超像素的匹配错误，导致根据特征匹配而分区域迁移色彩的局部色彩迁移错误，为获得色彩过度较自然的迁移结果，对结果图像进行后续校正处理来消除色彩迁移的不自然问题，解决该问题依据源图像中在迁移前后色彩相同的区域在迁移之后也应该获得一致的色彩视觉效果，根据图像的主色进行聚类迁移，具体做法是先根据图像的主色直方图自适应获取图像的主色数量，然后利用k-means聚类处理统计出源图像中每个像素所属的类别并打上相应的标签，然后将源图像应用超像素分割匹配算法初次获得的迁移结果中原标签类的色彩统计均值和方差，迁移给源图像对应的标签区域，获得理想自然的色彩迁移效果，但这种方法只能用来纠正源图像中只有少量区域匹配错误产生的错误迁移，而纠正局部区域色彩的错误迁移的另外一种思路就是本发明的方法，即将初次获得的源图像色彩迁移结果的统计信息直接迁移给源图像，这种方法较简单且能获得理想的实验效果。

与基于聚类的色彩迁移算法相比较，基于超像素的图像分割是一种过度分割，源图像和目标图像中每个超像素都可视为一个特征点，超像素的度量匹配过程是特征点的匹配过程，目标图像的这些特征点是使用超像素自动自适应获取避免人工随机选取的任意性和主观性，与全局迁移方法相比较，基于超像素分割的色彩迁移算法在进行匹配时是根据纹理信息进行相似性选择，不要求一一匹配，在应用全局色彩迁移算法时利用的只是目标图像的部分色彩信息，而不是全部的色彩信息，并且基于超像素匹配的色彩迁移算法的色彩迁移过程是一种间接色彩迁移方式，在一定程度上避免了应用全局色彩迁移算法时，由于源图像和目标图像结构上的差异过大而导致的色彩迁移不自然的问题。

本发明在区域分割匹配的基础上融合全局迁移方法，通过区域分割充分考虑源图像和目标图像的局部区域的相似性，获得更适宜的色彩迁移方向，通过使用基于全局的色彩迁移方法，一方面纠正由于前面过度分割产生的某些区域的色彩的错误迁移而导致的迁移结果不自然问题；另一方面也能提高算法的应用范围，提高算法的泛化能力。

(三)本发明方法的实验结果

图4为图像色彩迁移效果展示，通过测试结果图可以发现，本发明能取得较为理想的色彩迁移效果，基本能够在保持源图像自身结构内容的基础上迁移目标图像的色彩信息。本发明通过对色彩迁移算法原理的分析与测试，针对现有算法的不足，从图像局部相似性的角度出发进行了改进优化，明显提高了方法的健壮性和鲁棒性。本发明致力自适应的自动化的色彩迁移方法，提出全局与超像素分割相融合的色彩迁移方法，针对现有技术色彩迁移算法容易出现较多的色彩过度渲染问题，及基于分割匹配算法的低效率且适用范围较窄等问题，提出一种融合局部过分割迁移和全局迁移方法相融合的算法，在改进效率的同时提高了色彩迁移效果，并且泛化能力明显增强。

Claims (10)

1.全局与超像素分割相融合的色彩迁移方法，其特征在于，基于图像的局部相似性，将基于局部色彩迁移和全局色彩迁移进行分阶段的融合，当图像的色彩复杂时，通过对图像进行分割，使每一个区域的色彩纹理单一，在这样的小区域内应用局部色彩迁移能改善图像色彩的迁移效果，图像分割按照相似性规则将图像分成若干部分，每一部分的像素满足某种相似性，而类间差异较大，当图像的色彩阶调复杂时，通过对图像按照某种标准进行分割使得每一部分的色彩阶调比较单一，然后对每一部分应用全局色彩迁移方法；

融合全局算法与超像素分割的色彩迁移：首先对源图像及目标图像采用梯度下降简单线性迭代聚类法进行分割处理，然后为源图像中的每一个超像素在目标图像中搜索最相似超像素，之后在匹配的超像素对之间进行色彩迁移，最后消除由于过分割处理所产生的误匹配而导致的色彩的错误迁移及亮度过渡不自然问题，本发明首先在第一次匹配迁移过程中引入模糊矩阵，然后用初次获得的迁移结果的全局统计信息来对源图像进行二次色彩迁移，获得自然的色彩迁移效果，具体过程为：

第1步，变换色彩空间：首先将RGB空间中的源图像和目标图像像素数据信息变换到lαβ空间，保持通道间的独立性；

第2步，利用梯度下降简单线性迭代聚类法分别对源图像和目标图像进行分割处理，具体分割的数目根据两图像的结构相似性进行自适应确定，然后提取这些超像素的特征构建特征向量空间，为源图像中的所有超像素在目标图像中寻找其最匹配的超像素，允许多对一匹配，为源图像的每个超像素区域在目标图像中寻找一个相对应的纹理相近的区域；

第3步，在超像素对的匹配完成后，遍历源图像的每个超像素，将与其匹配的目标图像中的超像素的色彩信息迁移过去，源图像获取到和目标图像相近的色彩信息，在色彩迁移过程中，对源图像的每个像素计算对源图像中每个超像素的模糊隶属度矩阵，得到迁移后结果图像的边缘更加平滑，对单个超像素内非种子像素对该超像素隶属度的计算考虑其与该超像素中心的色彩和距离关系，而对其它超像素隶属度的计算仅考虑它与其它超像素中心的色彩距离关系；对种子像素对其所在超像素区域的隶属度为1，对于其它超像素的隶属度为0；

第4步，将已获取到所需要的目标图像色彩信息的源图像当作目标图像对初始的源图像进行全局色彩迁移；

第5步，将改变后的源图像数据变换回RGB空间，实现源图像的色彩迁移过程。

2.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，图像的局部相似度度量：色彩迁移预处理阶段采用分割方法将图像进行分割，然后为源图像的每一个分割区域寻找相应的匹配区域时采用局部相似自适应匹配方法，局部相似自适应匹配方法根据图像局部区域的相似性特征进行匹配，图像的局部相似度主要衡量图像分割后局部区域的纹理相似性，本发明采用计算统计量的方法，从图像像素的空间分布，边界分布及图像像素的灰度依赖关系方面分析纹理，从图像的灰度信息分析提取图像的纹理特征，具体采用灰度共生矩，它在描述纹理时考虑像素灰度数据的空间位置关系，是邻近像素间的空间位置和角度函数，灰度共生矩阵表示某个像素灰度在某个方向上偏离一定的位置变为另一个灰度级的概率，反之该灰度级只需沿相反的方向移动同样的距离就能恢复原来的灰度级，灰度共生矩阵数据对称分布，选定一个方向和距离关系就能计算得到图像的一个灰度共生矩阵，根据灰度共生矩阵分析计算图像的各种统计量来度量表征，提取图像的若干个纹理特征，其中能量、对比度、逆差距、熵和自相关特征描述图像的纹理特征参数，根据灰度共生矩提取的这些特征用一个特征向量来综合表征，这个特征向量共包括四个方向的五方面特征共计20维，图像局部的相似性根据局部区域的灰度共生矩特征来度量纹理特征，局部区域越相似其特征向量间的欧氏距离越小；

对图像进行局部特征提取以后，计算这些特征向量的相似性，对于图像局部的特征相似性度量，本发明采用余弦相似性，在同一特征空间中，图像的局部特征向量认为都是从原点出发的一个有向线段，两个区域的特征向量越相似，它们的终点越接近，相反越不相似，它们的终点距离越远，当两向量同向时距离最近，反向时距离最远，而这两向量夹角的余弦值刚好反映这种距离关系，并且余弦值的大小范围刚好在0-1之间，用两向量夹角的余弦值作为度量两特征向量相似度的指标，两向量的余弦值越接近0，表明它们越不相似，反之越接近1，表明它们越相似。

3.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，超像素图像分割匹配：本发明基于图像局部相似性特征及图像分割方法，提出在图像色彩迁移过程中对图像进行过分割处理，利用超像素对图像进行有效过分割处理；

超像素图像分割：在图像处理中将超像素作为基本处理单元，图像中若干具有相近纹理结构，相近色彩信息，相近亮度信息特征的邻近像素组成一个集合当作超像素，这些小区域能够保留图像的有效信息，利用像素间特征的相似性对图像像素进行组合，减小图像像素间的冗余度；

本发明采用梯度下降简单线性迭代聚类法，依据基于色彩和距离相似性，产生大小均匀、形状规则的超像素，对图像进行超像素分割很好的提取图像的局部特征；

首先将图像数据由RGB空间变换得到Lαβ空间，然后融合相应的三通道数据及XY坐标构成每个像素点的五维特征空间，再对该五维特征向量根据度量尺度对图像像素进行局部聚类，对图像进行超像素分割的分割结果依赖于用户事先输入的需生成的超像素数量，也即分割精度，具体的生成步骤为：

第一步，种子点的初始化处理，如果待处理的图像像素个数共有M个，将图像分割为W个均匀的超像素，则平均每个超像素所含像素的数量为M/W，超像素中心之间的间距近似等于

为防止出现种子点位于超像素的边界处时对后续的超像素分割过程带来干扰，将种子点移动到它的3×3邻域范围内像素梯度值最小位置，然后给这些种子点分别贴一个标签，以表示其类别归属；

第二步，计算像素相似性，遍历整个图像的所有像素并通过分别统计比较它与W个种子点的距离，并赋予与其最接近的种子点标签类别，

其中a_Lαβ表示像素的色彩之间距离关系，a_xy度量的是像素之间的位置关系，A_i衡量的是两像素点之间的接近程度，A_i的值是两像素色彩距离和空间距离的加权和，通过其值大小表明这两个像素相近程度，c表示任意两种子点的平均空间距离，n是调节色彩值差异与位置差异在相似程度度量中的权重调节因子；

第三步，不断迭代更新直到最终约束函数收敛，为加速搜索过程，在给所有种子点寻找相近像素点完成区域划分时，只在各个种子像素点的2c×2c邻域范围内搜索寻找与该种子点相近的像素点。

4.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，提取超像素特征：基于图像结构及纹理特征，首先选择对亮度变化不敏感且具有稳定性的Gabor特征和SURF特征，然后采用灰度图像上色方法图像低阶统计特征的亮度特征与方差特征。

5.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，超像素亮度特征提取：本发明提取的超像素亮度特征不仅统计每个超像素内的种子点的邻域亮度均值信息，而且考虑超像素的空间关系，即与该超像素相邻的超像素区域的种子点邻域亮度的均值，邻域取的是相应种子点的3×3窗口区域，假设c_pi是图像的第i个超像素，并且c_pi的中心邻域由n＝9个像素点所组成，c_pi亮度的第一维特征即组成该超像素的种子点邻域像素点的亮度均值，计算式为：

式中J(x,y)代表(x,y)处像素点的亮度值，c_pi的第二维亮度特征即c_pi的邻域超像素中心及邻域像素亮度的一维特征均值，计算式表示为：

式中

代表c_pi的邻域超像素组成的区域，w代表该区域中超像素的数目；

本发明提取的超像素亮度特征是这两方面特征的综合，即第一维超像素特征和第二维超像素特征组成单个超像素亮度的二维特征，这个特征不仅度量超像素本身的亮度特征，而且还考虑它所处的环境。

6.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，超像素标准差特征提取：超像素标准差特征是该超像素及其相邻超像素内像素的方差均值，本发明提取的图像超像素第一维标准差特征是超像素内所有像素的三通道标准差均值，用c_pi表示图像的第i个超像素，c_pi的标准差即c_pi区域内所有像素点的三通道标准差的均值，具体计算式为：

其中J_i(x,y)是(x,y)处的单通道值，m为c_pi中所包含的像素数量，c_pi标准差的第二维特征表示式为：

其中ω是c_pi的邻域超像素的所组成的集合，M代表ω内超像素的数量，这二维特征构成单个超像素的二维特征向量。

7.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，超像素Gabor特征提取：超像素Gabor特征分离图像的方向特征和尺度特征，局域化的频率表述要求在空域中有一个特定大小的窗口，频域带宽就被限定在一个定量尺寸上，针对图像不同尺度下的局部特征要不同尺度的一组滤波器来检测，Gabor变换能很好的确定时域和频域不确定关系下界的函数，针对二维测不准的情况能很好的表述图像空间域和频率域特征，将得到的不同滤波器与待处理图像卷积运算获得像素相应Gabor特征值，首先遍历整个图像计算所有像素的Gabor特征，共包括五个尺度，其中每个尺度选择8个方向(0,π/8，…,7/8π)，得到一个40维的特征向量，接着取每个超像素中所包含的所有像素点Gabor特征的均值或者以每个超像素的迭代后的种子点的Gabor特征作为每个超像素整体Gabor特征向量，本发明提取的是每个种子点的Gabor特征。

8.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，超像素SURF特征提取：SURF算子首先会搜索图像的兴趣点，本发明不直接检测图像的兴趣点而是直接将每个超像素的中心作为图像的兴趣点，然后构造它的特征描述符来作为整个超像素的特征描述，基于SURF提取图像的SURF特征的过程为：

步骤一，确定像素特征的主方向，首先以该像素为圆心画圆，然后统计其中的每一个像素在水平和竖直方向的harr小波特征，分配给这些特征值相应的高斯权重值，保证距离当前像素的大小与这些像素的harr特征权重大小呈正相关分布，再在该圆内统计所有以该像素为中心的60°区域内所有像素两个方向的harr特征分别加总运算得到一个区域的矢量，比较这些矢量，选取模最大的确定为中心像素特征主方向；

步骤二，生成像素特征描述符，为保证特征的旋转稳定性，调整坐标轴的方向与当前像素特征的主方向保持相同，然后在图像中以当前像素为中心选取一方形窗口，再对该窗口进行4×4的均匀分割，计算其中每个小区域内的像素点的harr特征a_x、a_y，并对a_x、a_y分配不同的高斯权值，然后累加统计每个区域所有像素的a_x和a_y值，a_x绝对值、a_y绝对值的和，这些值构成各个区域的特征描述，对于每个小的方形区域有一个四维特征，图像中每个像素的邻域有4×4个小区域构成64维特征描述符；

步骤三，扩展上述过程得到的特征描述向量，得到更精确的像素特征描述，这一步是对上一步统计结果的拓展，根据harr小波特征进行特征统计时分别统计两个方向上相应特征大于0和小于0的特征和，每个小区域的特征向量变成了八维，4×4个小区域形成当前像素的128维特征向量。

9.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，快速匹配超像素：首先遍历源图像的所有超像素，对它的任意一个超像素在目标图像中寻找和它最相似的超像素，本发明采用快速多级超像素匹配的过程为：

过程一，依据Gabor特征为源图中所有超像素在目标图像中寻找最接近的超像素，其中超像素间的相近性根据它们的Gabor特征向量的余弦值度量，余弦值越小表示越不相似，而反之越相似，然后对源图像中的每个超像素根据其与目标图像中各超像素的Gabor特征的余弦值寻找与其余弦值最大的W个超像素；

过程二，遍历源图像的所有超像素，在过程一比较搜索得到的每个超像素的W个最相似超像素集合中，再次利用超像素的SURF特征搜寻W/2个最相似超像素；

过程三，再次遍历源图像的所有超像素，在每个超像素的W/2个最相似超像素中根据超像素的直方图m阶矩的余弦相似性寻找W/2×1/2个最相似的超像素，其中m阶矩中的第一维亮度特征和第二维标准差特征均是二维向量；再根据每个超像素的灰度共生矩特征再次选择W/2×1/2×1/2个较接近的超像素，最后将这些超像素的集合用ε_i表示，于是与Q_i最相似的超像素满足：

ε_a＝argminG(ε_b，r_i)，ε_b∈ε_i

式中：

G(ε_b，r_i)＝k₁S₁(ε_b，r_i)+k₂S₂(ε_b，r_i)+k₃S₃(ε_b，r_i)+k₄S₄(ε_b，r_i)

式中S₁(ε_b，r_i)、S₂(ε_b，r_i)、S₃(ε_b，r_i)和S₄(ε_b，r_i)依次表示ε_b和r_i的Gabor、SURF、灰度直方图m阶矩和灰度共生矩特征的欧氏距离，k₁、k₂、k₃和k₄为这些距离对应的权重系数；

以在特征提取中首先根据Gabor特征和SURF特征进行匹配，然后再根据亮度和方差特征进行匹配。

10.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法，其特征在于，确定超像素分割数量：对于最优超像素分割数目的粗略确定，本发明根据源图像本身的结构复杂度和两张图像的结构相似性自适应的确定，源图像和目标图像结构相似性的度量指标采用结构相似度，主要由亮度差异、对比度差异和两信号的相关度差异三部分相似性统计综合度量；

(1)亮度相似性，主要从两图像亮度均值的统计计算进行比较，具体计算式为：

其中S₁为调整因子，避免计算h(x,y)的过程中出现除0的情况引入；

(2)对比度差异，通过两图像的亮度信息方差进行对比，方差的计算式为：

亮度的对比度函数计算式为：

S₂也是调整因子，M代表超像素的数量；

(3)两信号的结构相似度计算：

其中：

结构相似度的度量公式是：

JGXSD＝h(x，y)*c(x，y)*s(x，y)

本发明对图像超像素分割的较优数量的确定根据结构相似性的大小，计算结构相似性时首先对源图像的亮度分布进行调整与目标图像对齐，如果源图像和目标图像的结构相似性在65％以下，就认为相似性较差需要精细分割，此时分割数量设置为1000；如果结构相似性在65％以上，就认为结构相似性好，不需要过度精细分割，此时分割数量设置为200。

Images