CN104504734A - 一种基于语义的图像颜色传输方法 - Google Patents

Abstract

基于语义的图像颜色传输方法，输入为一张参考图像R和一张目标图像T，输出为和参考图像具有相似色彩风格的图O；本发明主要分为三个步骤：图像分割；训练区域语义标记分类器；基于语义的颜色传输；改进原有的Normalized Cut方法对目标图像和参考图像进行分割，得到图像区域子块；根据预先定义好的语义层次结构，建立图像区域级别的训练集，基于MPEG-7描述符提取区域的颜色、纹理和形状特征，训练得到分类器；根据训练得到的区域语义分类器，对目标图像和参考图像的区域子块标记，从而将图像区域归入相应的语义概念类别，然后在具有相似语义的区域间传输颜色，得到结果图像。

Description

一种基于语义的图像颜色传输方法

技术领域

本发明属于数字图像处理领域。

背景技术

图像的颜色传输能将参考图像的颜色传输给目标图像，使得目标图像与参考图像具有相似的色彩风格，即在目标图像不改变它自身所表达的形状信息的前提下，学习和继承了参考图像的颜色基调。

颜色传输方法大致可分为基于统计的、基于交互的和基于内容的传输三大类。

自动的颜色传输方法通过匹配参考图像和目标图像间的颜色统计信息来实现。Reinhard等人提出的全局颜色传输方法(Reinhard E,Adhikhmin M,Gooch B,et al.Color transfer between images.Computer Graphics and Applications,2001,21(5):34-41.)利用图像的全局统计信息将源图像的颜色传输给目标图像。由于全局颜色传输方法对于目标图像和参考图像较为相似、颜色统计信息较为简单的图像取得了较好的效果，但不适用于场景复杂的图像。Tai等人提出的基于区域的传输方法(Tai Y W,Jia J,Tang C K.Local color transfer via probabilistic segmentation by expectation-maximization[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,1:747-754.)采用自动的图像分割技术将图像分为不同的区域，找到区域间的映射，在对应的区域间传输颜色。Normalized Cut(Ncut)方法(Shi J,Malik J.Normalized cuts and image segmentation.IEEE  Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):888-905.)是一种基于图论的分割方法。Ncut的分割结果需要对正则化的权值矩阵进行谱分解求到，若图像的像素点较多，需要求解大权值矩阵的特征值与特征向量，计算非常费时。由于自动计算得到的区域间映射关系可能不准确，基于交互的颜色传输方法通过让用户绘制swatches或画笔来标记出参考图像和目标图像区域间的关联，对于每个关联对传输颜色。基于交互的方法利用用户定义的颜色画笔来确保不同图像区域间映射的正确性，但普通用户如何正确放置合适的画笔是一个比较棘手的问题。

上述两类方法只考虑了图像底层的颜色统计信息，而忽略了图像本身的内容。Wu等人提出了基于内容的颜色传输(Fuzhang Wu,Weiming Dong,Yan Kong,Xing Mei,Jean-Claude Paul,Xiaopeng Zhang.Content-Based Color Transfer.Computer Graphics Forum,2013,32(1),190-203.)，通过分析图像高层次的场景内容，自动抽取前景物体和背景场景，建立参考图像和目标图像区域间的关联，然后对目标图像重新着色，对于不同区域具有明显不同的颜色模式的目标图像有较好的传输效果。但是该方法仅将图像分割成主题区和背景区，背景区包括天、地、天和地中间的区域三个部分，对图像内容的分析较为简单，如果地面区域、天和地中间的区域中同时包含多个具有独立语义的小区域，该方法只能大致的根据区域的位置分布传输颜色，而无法针对小区域的语义进行精确的颜色传输。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于语义的图像颜色传输方法，对图像场景进行更为细致的分析，根据训练得到的区域语义分类器对参考图像和目标图像的子区域进行标记，得到子区域的语义，在具有相似语义的区域间传输颜色，生成更精确的颜色传输结果。

一种基于语义的图像颜色传输方法，输入为一张参考图像R和一张目标图像T，输出为和参考图像具有相似色彩风格的图O；本发明主要分为三个步骤：图像分割；训练区域语义标记分类器；基于语义的颜色传输；改进原有的Normalized Cut方法对目标图像和参考图像进行分割，得到图像区域子块；根据预先定义好的语义层次结构，建立图像区域级别的训练集，基于MPEG-7描述符提取区域的颜色、纹理和形状特征，训练得到分类器；根据训练得到的区域语义分类器，对目标图像和参考图像的区域子块标记，从而将图像区域归入相应的语义概念类别，然后在具有相似语义的区域间传输颜色，得到结果图像；

具体步骤是： 

步骤1，为了更精确地分割图像子区域，本发明对Normalized Cut方法进行改进；首先提取出图像的超像素，以超像素作为节点表示图结构，然后采用Ncut方法对超像素进行分割，最后根据分割子块的颜色直方图属性对相似区域合并，得到分割区域；超像素的图结构表示不但包含节点较少，而且捕获了图像的冗余信息；基于超像素 的分割不仅能降低计算复杂度，而且能降低分割结果对噪声的敏感程度，比直接对图像的像素点分割鲁棒性更强；采用改进后的方法分割目标图像和参考图像；

改进的Ncut方法包括以下四个步骤：

步骤1.1：采用简单线性迭代聚类方法聚类得到图像的超像素，SLIC在分割时能保持图像中物体的边界，分割速度快、内存占用少，生成的超像素具有较好的紧凑性和边界贴合度；然后计算每个超像素包含的所有像素点在CIELAB空间中的颜色均值和质心，用于表示该超像素；

步骤1.2：以超像素为节点，建立带权的无向图G＝{S,E}；

其中S表示图中所有超像素点的集合，E为连接两个超像素边的集合；计算超像素间的权重矩阵W；矩阵W的每一项w(i,j)定义为：

$w(i,j)=\left\{\begin{array}{cc}\exp (-{\left|\right|x_i-x_j\left|\right|}_2^2/2\mathrm{\&sigma;}{r}^2),& \mathrm{dist}(i,j)<\mathrm{threshold}\\ 0,& \mathrm{else}\end{array}\right.$

w(i,j)度量了两个超像素i，j间可信的局部相似性；x_i表示超像素i在CIELAB空间的颜色均值特征向量，dist(i,j)为两个超像素x_i和x_j质心之间的距离，当超像素i和j的质心距离大于给定阈值时threshold时，权重赋值为0，认为它们不相似；threshold通常取70，σr为一个常数，一般取σr∈[0.1,0.3]；

步骤1.3：采用Normalized Cut方法对超像素聚类，图的归一化割Ncut(As,Bs)定义为：

$\mathrm{Ncut}(\mathrm{As},\mathrm{Bs})=\frac{\mathrm{cut}(\mathrm{As},\mathrm{Bs})}{\mathrm{assoc}(\mathrm{As},S)}+\frac{\mathrm{cut}(\mathrm{As},\mathrm{Bs})}{\mathrm{assoc}(\mathrm{Bs},S)};$

cut(As,Bs)＝∑_{i∈As,j∈Bs}w(i,j)；

assoc(As,S)＝∑_i∈As,j∈Sw(i,j)；assoc(Bs,S)＝∑_i∈Bs,j∈Sw(i,j)；

其中As，Bs表示整个超像素集合S中的一个子集，且满足Bs＝S-As；assoc(As,S)表示超像素子集As与整个超像素集合S的权重和，assoc(Bs,S)表示超像素子集Bs与整个超像素集合S的权重和，cut(As,Bs)计算了超像素集合As和Bs之间所有边的权值之和；计算得到使Ncut值最小的最优的分割方案；

步骤1.4：计算分割后区域的颜色直方图，根据区域直方图的相似性及相邻关系对分割区域进行合并，对两个相邻的且颜色直方图距离小于给定阈值的区域进行合并；

步骤2，对于训练区域语义标记分类器步骤：

首先定义一个语义层次结构图，将自然场景分为不同的类别；层次性的词汇组织对图像区域的语义进行了自顶向下的划分，能减少在标记相似区域时的歧义，提高标记的准确性；深色的框表示父类别，每个父类别下有相应的子类别；属于同一父类别的区域具有相似的语义，可以进行颜色传输；从包含各类别场景的图片中，分割出相应的区域，进行人工语义标记，构建得到训练集；

采用MPEG-7描述子中的颜色、纹理和形状描述子来表征图像区域的色彩、纹理、形状特征，将组合后的特征用于训练分类器；

其中采用可伸缩颜色描述子(Scalable Color Descriptor，SCD)、颜色布局描述子(Color Layout Descriptor，CLD)和颜色结构描述子(Color Structure Descriptor，CSD)来表征色彩特征；可伸缩颜色描述子SCD测量了图像的全局颜色分布情况，用SCD_x(i)表示区域x的第i个SCD特征，系数个数取64；颜色结构描述子CSD利用结构元素来描述图像颜色内容在空间中的结构关系，在反映图像色彩信息的同时描绘了颜色的空间分布，用CSD_x(i)表示区域x的第i个CSD特征，颜色量化等级参数取64；颜色布局描述子CLD可以描述任意形状区域的颜色空间分布，分别取Y，Cb，Cr三个分量系数为6，3，3，得到描述子CLD＝{Y_x(i),Cb_x(i),Cr_x(i)}，Y_x(i),Cb_x(i),Cr_x(i)表示区域 x各颜色分量的第i个DCT系数，每个分量的第一个值为直流系数，剩余为交流系数；综合三种描述子定义颜色特征的度量准则Dcolor＝D_SCD+D_CLD+D_CSD，用欧式距离来度量SCD、CSD特征的相似性，相应的距离计算公式用D_SCD和D_CSD表示：

$\begin{array}{c}{D}_{\mathrm{SCD}}=\sqrt{\underset{i}{\overset{64}{\mathrm{\&Sigma;}}}{({\mathrm{SCD}}_1\left(i\right)-{\mathrm{SCD}}_2\left(i\right))}^2}\\ D_{\mathrm{CSD}}=\sqrt{\underset{i}{\overset{64}{\mathrm{\&Sigma;}}}{({\mathrm{CSD}}_1\left(i\right)-{\mathrm{CSD}}_2\left(i\right))}^2}\end{array}$

CLD特征的相似性D_CLD定义如下，其中W_i ^y，W_i ^Cb，W_i ^Cr为DCT系数的权重：

$D_{\mathrm{CLD}}=\sqrt{\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}{W_i}^y{(Y_1\left(i\right)-Y_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{W_i}^{\mathrm{Cb}}{({\mathrm{Cb}}_1\left(i\right)-{\mathrm{Cb}}_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{W_i}^{\mathrm{Cr}}{({\mathrm{Cr}}_1\left(i\right)-{\mathrm{Cr}}_2\left(i\right))}^2}$

采用同质纹理描述子(Homogeneous Texture descriptor，HTD)和边缘直方图描述子(Edge Histogram descriptor，EHD)来提取图像区域的纹理特征；HTD描述子通过在频域中计算能量和能量方差来提供对纹理的量化描述，用HTD_x(i)表示区域x的第i个HTD特征，得到62个特征；EHD描述子捕获了边界的空间分布，当纹理不均匀时，仍然可以提供有效的边界描述，用EHD_x(i)表示区域x的第i个EHD特征，得到一个具有80个bin的代表区域边界的直方图；纹理特征的相似性度量准则定义为：

$\mathrm{Dtexture}=\sqrt{\underset{i=1}{\overset{62}{\mathrm{\&Sigma;}}}{({\mathrm{HTD}}_1\left(i\right)-{\mathrm{HTD}}_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{80}{\mathrm{\&Sigma;}}}{({\mathrm{EHD}}_1\left(i\right)-{\mathrm{EHD}}_2\left(i\right))}^2}$

采用区域形状描述子(Region Shape Descriptor，RSD)计算图像区域的形状特征；RSD描述子既可以表示单个区域，也可以描述多个不相连的区域，用RSD_x(i)表示区域x的第i个RSD特征，可得35个系 数；形状特征的相似性度量准则定义为：

$\mathrm{Dshape}=\sqrt{\underset{i=1}{\overset{35}{\mathrm{\&Sigma;}}}{({\mathrm{RSD}}_1\left(i\right)-{\mathrm{RSD}}_2\left(i\right))}^2}$

对于训练集中的每个图像区域，计算得到它们的颜色、纹理和形状特征，从而计算图像区域间的总相似度 并基于此相似度采用支持向量机训练得到区域级别的语义标注分类器；

步骤3，对于基于语义的颜色传输步骤：

将分割得到的参考图像和目标图像的子区域作为输入，采用训练得到的语义标注分类器将每个区域归类到语义层次结构中的一个类别，从而得到区域的语义标记词；然后基于图2中的语义层次结构图来传输颜色，即若参考图像和目标图像中两个区域的语义相同，则建立区域映射关联，若语义不相同，但属于语义层次结构中同一个深色节点，则表示它们有相似的语义，也建立区域映射关联，在有映射关联的区域间进行颜色传输；若目标图像中的待处理区域找不到相关联的参考区域，则保持其颜色不变；

在传输颜色时，对每个像素点计算其属于目标图像中各个区域的概率，根据概率加权求和后得到最终的颜色值，防止在不同区域连接处出现颜色突变；

令N(x,y)表示点(x,y)邻域所包含的区域集合，I(x,y)表示点(x,y)的颜色值，T_i表示目标图像中的一个区域i，则点(x,y)属于T_i区域的概率_iP_xy为：

_iP_xy＝d(I(x,y),T_i)/Z

其中，Z＝∑_i∈N(x,y)d(I(x,y),T_i)是归一化因子，d(I(x,y),T_i)度量了点(x,y)和区域T_i之间的距离；

根据(x,y)点和区域T_i之间的颜色差异和相邻程度来定义其距离：

$d(I(x,y),T_i)=\exp \left(\frac{-\left|\right|I(x,y)-{\mathrm{\&mu;}}_i\left|\right|}{\mathrm{\&delta;c}}\right)+\exp \left(\frac{-\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}}{\mathrm{\&delta;s}}\right)$

其中μ_i表示区域T_i的颜色均值，(x_i,y_i)表示区域T_i的质心，δc＝0.05，δs＝4，用于保证区域边界处的平滑；

在计算得到每个像素点所属邻域区域的概率后，根据由相似语义定义的映射关联来计算传输后的颜色值：

$I^o(x,y)=\underset{i\&Element;N(x,y)}{\mathrm{\&Sigma;}}P_{\mathrm{xy}}^i(\frac{{\mathrm{\&sigma;}}_{\mathrm{\&phi;}\left(i\right)}^R}{{\mathrm{\&sigma;}}_i^T}(I^T(x,y)-{\mathrm{\&mu;}}_i^T)+{\mathrm{\&mu;}}_{\mathrm{\&phi;}\left(i\right)}^R)$

其中I^o(x,y)、I^T(x,y)分别表示输出图O和目标图T中像素点(x,y)的颜色值，分别表示参考图像R和目标图像T中第i个区域的颜色均值和方差；φ(·)代表区域间的映射关联，即φ(i)表示将目标图像中的第i个区域与参考图像第φ(i)个区域相关联。

本发明的优点是：本发明方法的特色和创新在于，改进的图像分割方法能更快速准确地分割得到图像中的同质纹理区域，采用训练学习的方法对图像区域进行了细致的语义标记，并根据区域语义间的相似程度来定义区域间的映射关联，将参考图像区域的颜色传递给目标图像区域，得到更精确的颜色传输结果。

附图说明

图1为本发明的方法流程图

图2为本发明的语义层次结构图

图3为基于语义的图像颜色传输例子，图3a、图3c为参考图像和目标图像，图3b、图3d为相应的图像分割及语义标记结果，图3e为本发明方法得到的颜色传输结果。

具体实施方式

参照附图1-3：

本发明提出了一种基于语义的图像颜色传输方法，输入为一张参考图像R和一张目标图像T，输出为和参考图像具有相似色彩风格的图O。本发明主要分为三个步骤：图像分割；训练区域语义标记分类器；基于语义的颜色传输。改进原有的Normalized Cut方法对目标图像和参考图像进行分割，得到图像区域子块；根据预先定义好的语义层次结构，建立图像区域级别的训练集，基于MPEG-7描述符提取区域的颜色、纹理和形状特征，训练得到分类器；根据训练得到的区域语义分类器，对目标图像和参考图像的区域子块标记，从而将图像区域归入相应的语义概念类别，然后在具有相似语义的区域间传输颜色，得到结果图像。

针对每个步骤的具体算法以下将详细说明。

步骤1，为了更精确地分割图像子区域，本发明对Normalized Cut方法进行改进。首先提取出图像的超像素，以超像素作为节点表示图结构，然后采用Ncut方法对超像素进行分割，最后根据分割子块的颜色直方图属性对相似区域合并，得到分割区域。超像素的图结构表示不但包含节点较少，而且捕获了图像的冗余信息。基于超像素的分割不仅能降低计算复杂度，而且能降低分割结果对噪声的敏感程度，比直接对图像的像素点分割鲁棒性更强。采用改进后的方法分割目标图像和参考图像。

改进的Ncut方法包括以下四个步骤：

步骤1.1：采用简单线性迭代聚类得到图像的超像素，SLIC在分割时能保持图像中物体的边界，分割速度快、内存占用少，生成的超像素具有较好的紧凑性和边界贴合度。然后计算每个超像素包含的所有像素点在CIELAB空间中的颜色均值和质心，用于表示该超像素。

步骤1.2：以超像素为节点，建立带权的无向图G＝{S,E}。

其中S表示图中所有超像素点的集合，E为连接两个超像素边的集合。计算超像素间的权重矩阵W。矩阵W的每一项w(i,j)定义为：

$w(i,j)=\left\{\begin{array}{cc}\exp (-{\left|\right|x_i-x_j\left|\right|}_2^2/2\mathrm{\&sigma;}{r}^2),& \mathrm{dist}(i,j)<\mathrm{threshold}\\ 0,& \mathrm{else}\end{array}\right.$

w(i,j)度量了两个超像素i，j间可信的局部相似性。x_i表示超像素i在CIELAB空间的颜色均值特征向量，dist(i,j)为两个超像素x_i和x_j质心之间的距离，当超像素i和j的质心距离大于给定阈值时threshold时，权重赋值为0，认为它们不相似。threshold通常取70，σr为一个常数，一般取σr∈[0.1,0.3]。

步骤1.3：采用Normalized Cut方法对超像素聚类，图的归一化割Ncut(As,Bs)定义为：

$\mathrm{Ncut}(\mathrm{As},\mathrm{Bs})=\frac{\mathrm{cut}(\mathrm{As},\mathrm{Bs})}{\mathrm{assoc}(\mathrm{As},S)}+\frac{\mathrm{cut}(\mathrm{As},\mathrm{Bs})}{\mathrm{assoc}(\mathrm{Bs},S)};$

cut(As,Bs)＝∑_{i∈As,j∈Bs}w(i,j)；

assoc(As,S)＝∑_i∈As,j∈Sw(i,j)；assoc(Bs,S)＝∑_i∈Bs,j∈Sw(i,j)；

其中As，Bs表示整个超像素集合S中的一个子集，且满足Bs＝S-As。assoc(As,S)表示超像素子集As与整个超像素集合S的权重和，assoc(Bs,S)表示超像素子集Bs与整个超像素集合S的权重和，cut(As,Bs)计算了超像素集合As和Bs之间所有边的权值之和。计算得到使Ncut值最小的最优的分割方案。

步骤1.4：计算分割后区域的颜色直方图，根据区域直方图的相似性及相邻关系对分割区域进行合并，对两个相邻的且颜色直方图距离小于给定阈值的区域进行合并。

步骤2，对于训练区域语义标记分类器步骤：

首先定义一个语义层次结构图(图2)，将自然场景分为不同的类别。层次性的词汇组织对图像区域的语义进行了自顶向下的划分，能减少在标记相似区域时的歧义，提高标记的准确性。在图2中，深色的框表示父类别，每个父类别下有相应的子类别。属于同一父类别的区域具有相似的语义，可以进行颜色传输。本发明从包含各类别场景的图片中，分割出相应的区域，进行人工语义标记，构建得到训练集。

本发明采用MPEG-7描述子(Sikora T.The MPEG-7visual standard for content description-an overview.IEEE Transactions on Circuits and Systems for Video Technology,2001,11(6):696-702.)中的颜色、纹理和形状描述子来表征图像区域的色彩、纹理、形状特征，将组合后的特征用于训练分类器。

其中采用可伸缩颜色描述子(Scalable Color Descriptor，SCD)、颜色布局描述子(Color Layout Descriptor，CLD)和颜色结构描述子(Color Structure Descriptor，CSD)来表征色彩特征。可伸缩颜色描述子SCD测量了图像的全局颜色分布情况，用SCD_x(i)表示区域x的第i个SCD特征，系数个数取64；颜色结构描述子CSD利用结构元素来描述图像颜色内容在空间中的结构关系，在反映图像色彩信息的同时描绘了颜色的空间分布，用CSD_x(i)表示区域x的第i个CSD特征，颜色量化等级参数取64；颜色布局描述子CLD可以描述任意形状区域的颜色空间分布，分别取Y，Cb，Cr三个分量系数为6，3，3，得到描述子CLD＝{Y_x(i),Cb_x(i),Cr_x(i)}，Y_x(i),Cb_x(i),Cr_x(i)表示区域x各颜色分量的第i个DCT系数，每个分量的第一个值为直流系数，剩余为交流系数。综合三种描述子定义颜色特征的度量准则Dcolor＝D_SCD+D_CLD+D_CSD，用欧式距离来度量SCD、CSD特征的相似性，相应的距离计算公式用D_SCD和D_CSD表示：

$\begin{array}{c}{D}_{\mathrm{SCD}}=\sqrt{\underset{i}{\overset{64}{\mathrm{\&Sigma;}}}{({\mathrm{SCD}}_1\left(i\right)-{\mathrm{SCD}}_2\left(i\right))}^2}\\ D_{\mathrm{CSD}}=\sqrt{\underset{i}{\overset{64}{\mathrm{\&Sigma;}}}{({\mathrm{CSD}}_1\left(i\right)-{\mathrm{CSD}}_2\left(i\right))}^2}\end{array}$

CLD特征的相似性D_CLD定义如下，其中W_i ^y，W_i ^Cb，W_i ^Cr为DCT系数的权重：

$D_{\mathrm{CLD}}=\sqrt{\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}{W_i}^y{(Y_1\left(i\right)-Y_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{W_i}^{\mathrm{Cb}}{({\mathrm{Cb}}_1\left(i\right)-{\mathrm{Cb}}_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{W_i}^{\mathrm{Cr}}{({\mathrm{Cr}}_1\left(i\right)-{\mathrm{Cr}}_2\left(i\right))}^2}$

本发明采用同质纹理描述子(Homogeneous Texture descriptor，HTD)和边缘直方图描述子(Edge Histogram descriptor，EHD)来提取图像区域的纹理特征。HTD描述子通过在频域中计算能量和能量方差来提供对纹理的量化描述，用HTD_x(i)表示区域x的第i个HTD特征，得到62个特征；EHD描述子捕获了边界的空间分布，当纹理不均匀时，仍然可以提供有效的边界描述，用EHD_x(i)表示区域x的第i个EHD特征，得到一个具有80个bin的代表区域边界的直方图。纹理特征的相似性度量准则定义为：

$\mathrm{Dtexture}=\sqrt{\underset{i=1}{\overset{62}{\mathrm{\&Sigma;}}}{({\mathrm{HTD}}_1\left(i\right)-{\mathrm{HTD}}_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{80}{\mathrm{\&Sigma;}}}{({\mathrm{EHD}}_1\left(i\right)-{\mathrm{EHD}}_2\left(i\right))}^2}$

本发明采用区域形状描述子(Region Shape Descriptor，RSD)计算图像区域的形状特征。RSD描述子既可以表示单个区域，也可以描述多个不相连的区域，用RSD_x(i)表示区域x的第i个RSD特征，可得35个系数。形状特征的相似性度量准则定义为：

$\mathrm{Dshape}=\sqrt{\underset{i=1}{\overset{35}{\mathrm{\&Sigma;}}}{({\mathrm{RSD}}_1\left(i\right)-{\mathrm{RSD}}_2\left(i\right))}^2}$

对于训练集中的每个图像区域，计算得到它们的颜色、纹理和形状特征，从而计算图像区域间的总相似度 并基于此相似度采用支持向量机训练得到区域级别的语义标注分类器。

步骤3，对于基于语义的颜色传输步骤：

将分割得到的参考图像和目标图像的子区域作为输入，采用训练 得到的语义标注分类器将每个区域归类到语义层次结构中的一个类别，从而得到区域的语义标记词。然后基于图2中的语义层次结构图来传输颜色，即若参考图像和目标图像中两个区域的语义相同，则建立区域映射关联，若语义不相同，但属于语义层次结构中同一个深色节点，则表示它们有相似的语义，也建立区域映射关联，在有映射关联的区域间进行颜色传输。若目标图像中的待处理区域找不到相关联的参考区域，则保持其颜色不变。

在传输颜色时，对每个像素点计算其属于目标图像中各个区域的概率，根据概率加权求和后得到最终的颜色值，防止在不同区域连接处出现颜色突变。

令N(x,y)表示点(x,y)邻域所包含的区域集合，I(x,y)表示点(x,y)的颜色值，T_i表示目标图像中的一个区域i，则点(x,y)属于T_i区域的概率_iP_xy为：

_iP_xy＝d(I(x,y),T_i)/Z

其中，Z＝∑_i∈N(x,y)d(I(x,y),T_i)是归一化因子，d(I(x,y),T_i)度量了点(x,y)和区域T_i之间的距离。

根据(x,y)点和区域T_i之间的颜色差异和相邻程度来定义其距离：

$d(I(x,y),T_i)=\exp \left(\frac{-\left|\right|I(x,y)-{\mathrm{\&mu;}}_i\left|\right|}{\mathrm{\&delta;c}}\right)+\exp \left(\frac{-\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}}{\mathrm{\&delta;s}}\right)$

其中μ_i表示区域T_i的颜色均值，(x_i,y_i)表示区域T_i的质心，δc＝0.05，δs＝4，用于保证区域边界处的平滑。

在计算得到每个像素点所属邻域区域的概率后，根据由相似语义定义的映射关联来计算传输后的颜色值：

$I^o(x,y)=\underset{i\&Element;N(x,y)}{\mathrm{\&Sigma;}}P_{\mathrm{xy}}^i(\frac{{\mathrm{\&sigma;}}_{\mathrm{\&phi;}\left(i\right)}^R}{{\mathrm{\&sigma;}}_i^T}(I^T(x,y)-{\mathrm{\&mu;}}_i^T)+{\mathrm{\&mu;}}_{\mathrm{\&phi;}\left(i\right)}^R)$

其中I^o(x,y)、I^T(x,y)分别表示输出图O和目标图T中像素点(x,y)的颜色值，分别表示参考图像R和目标图像T中第i个区域的颜色均值和方差。φ(·)代表区域间的映射关联，即φ(i)表示将目标图像中的第i个区域与参考图像第φ(i)个区域相关联。

从图3中可以看出，本发明能够较好地分割出图像中的同质纹理区域，精确地传输颜色。

本发明所述的简单线性迭代聚类方法参见：(Simple Linear Iterative Clustering，SLIC)(Radhakrishna Achanta,Appu Shaji,Kevin Smith,Aurelien Lucchi,Pascal Fua,Sabine Susstrunk,SLIC Superpixels Compared to State-of-the-art Superpixel Methods.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.) 

本发明所述的MPEG-7描述子参见：(Sikora T.The MPEG-7 visual standard for content description-an overview.IEEE Transactions on Circuits and Systems for Video Technology,2001,11(6):696-702.) 

本发明所述的可伸缩颜色描述子(Scalable Color Descriptor，SCD)、颜色布局描述子(Color Layout Descriptor，CLD)和颜色结构描述子(Color Structure Descriptor，CSD)、同质纹理描述子(Homogeneous Texture descriptor，HTD)和边缘直方图描述子(Edge Histogram descriptor，EHD)、区域形状描述子(Region Shape Descriptor，RSD)均具有本技术领域常规的含义。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于语义的图像颜色传输方法，输入为一张参考图像R和一张目标图像T，输出为和参考图像具有相似色彩风格的图O；本发明主要分为三个步骤：图像分割；训练区域语义标记分类器；基于语义的颜色传输；改进原有的Normalized Cut方法对目标图像和参考图像进行分割，得到图像区域子块；根据预先定义好的语义层次结构，建立图像区域级别的训练集，基于MPEG-7描述符提取区域的颜色、纹理和形状特征，训练得到分类器；根据训练得到的区域语义分类器，对目标图像和参考图像的区域子块标记，从而将图像区域归入相应的语义概念类别，然后在具有相似语义的区域间传输颜色，得到结果图像；

具体步骤是：

步骤1，为了更精确地分割图像子区域，对Normalized Cut方法进行改进；首先提取出图像的超像素，以超像素作为节点表示图结构，然后采用Ncut方法对超像素进行分割，最后根据分割子块的颜色直方图属性对相似区域合并，得到分割区域；超像素的图结构表示不但包含节点较少，而且捕获了图像的冗余信息；基于超像素的分割不仅能降低计算复杂度，而且能降低分割结果对噪声的敏感程度，比直接对图像的像素点分割鲁棒性更强；采用改进后的方法分割目标图像和参考图像；

改进的Ncut方法包括以下四个步骤：

步骤1.1：采用简单线性迭代聚类方法聚类得到图像的超像素，SLIC在分割时能保持图像中物体的边界，分割速度快、内存占用少，生成的超像素具有较好的紧凑性和边界贴合度；然后计算每个超像素包含的所有像素点在CIELAB空间中的颜色均值和质心，用于表示该超像素；

步骤1.2：以超像素为节点，建立带权的无向图G＝{S,E}；

其中S表示图中所有超像素点的集合，E为连接两个超像素边的集合；计算超像素间的权重矩阵W；矩阵W的每一项w(i,j)定义为：

$w(i,j)=\left\{\begin{array}{cc}\exp (-{\left|\right|x_i-x_j\left|\right|}_2^2/2\mathrm{\&sigma;}{r}^2),& \mathrm{dist}(i,j)<\mathrm{threshold}\\ 0,& \mathrm{else}\end{array}\right.$

w(i,j)度量了两个超像素i，j间可信的局部相似性；x_i表示超像素i在CIELAB空间的颜色均值特征向量，dist(i,j)为两个超像素x_i和x_j质心之间的距离，当超像素i和j的质心距离大于给定阈值时threshold时，权重赋值为0，认为它们不相似；threshold通常取70，σr为一个常数，一般取σr∈[0.1,0.3]；

步骤1.3：采用Normalized Cut方法对超像素聚类，图的归一化割Ncut(As,Bs)定义为：

$\mathrm{Ncut}(\mathrm{As},\mathrm{Bs})=\frac{\mathrm{cut}(\mathrm{As},\mathrm{Bs})}{\mathrm{assoc}(\mathrm{As},S)}+\frac{\mathrm{cut}(\mathrm{As},\mathrm{Bs})}{\mathrm{assoc}(\mathrm{Bs},S)};$

cut(As,Bs)＝∑_{i∈As,j∈Bs}w(i,j)；

assoc(As,S)＝∑_i∈As,j∈Sw(i,j)；assoc(Bs,S)＝∑_i∈Bs,j∈Sw(i,j)；

其中As，Bs表示整个超像素集合S中的一个子集，且满足Bs＝S-As；assoc(As,S)表示超像素子集As与整个超像素集合S的权重和，assoc(Bs,S)表示超像素子集Bs与整个超像素集合S的权重和，cut(As,Bs)计算了超像素集合As和Bs之间所有边的权值之和；计算得到使Ncut值最小的最优的分割方案；

步骤1.4：计算分割后区域的颜色直方图，根据区域直方图的相似性及相邻关系对分割区域进行合并，对两个相邻的且颜色直方图距离小于给定阈值的区域进行合并；

步骤2，对于训练区域语义标记分类器步骤：

首先定义一个语义层次结构图，将自然场景分为不同的类别；层次性的词汇组织对图像区域的语义进行了自顶向下的划分，能减少在标记相似区域时的歧义，提高标记的准确性；深色的框表示父类别，每个父类别下有相应的子类别；属于同一父类别的区域具有相似的语义，可以进行颜色传输；从包含各类别场景的图片中，分割出相应的区域，进行人工语义标记，构建得到训练集；

采用MPEG-7描述子中的颜色、纹理和形状描述子来表征图像区域的色彩、纹理、形状特征，将组合后的特征用于训练分类器；

其中采用可伸缩颜色描述子(Scalable Color Descriptor，SCD)、颜色布局描述子(Color Layout Descriptor，CLD)和颜色结构描述子(Color Structure Descriptor，CSD)来表征色彩特征；可伸缩颜色描述子SCD测量了图像的全局颜色分布情况，用SCD_x(i)表示区域x的第i个SCD特征，系数个数取64；颜色结构描述子CSD利用结构元素来描述图像颜色内容在空间中的结构关系，在反映图像色彩信息的同时描绘了颜色的空间分布，用CSD_x(i)表示区域x的第i个CSD特征，颜色量化等级参数取64；颜色布局描述子CLD可以描述任意形状区域的颜色空间分布，分别取Y，Cb，Cr三个分量系数为6，3，3，得到描述子CLD＝{Y_x(i),Cb_x(i),Cr_x(i)}，Y_x(i),Cb_x(i),Cr_x(i)表示区域x各颜色分量的第i个DCT系数，每个分量的第一个值为直流系数，剩余为交流系数；综合三种描述子定义颜色特征的度量准则Dcolor＝D_SCD+D_CLD+D_CSD，用欧式距离来度量SCD、CSD特征的相似性，相应的距离计算公式用D_SCD和D_CSD表示：

$\begin{array}{c}{D}_{\mathrm{SCD}}=\sqrt{\underset{i}{\overset{64}{\mathrm{\&Sigma;}}}{({\mathrm{SCD}}_1\left(i\right)-{\mathrm{SCD}}_2\left(i\right))}^2}\\ D_{\mathrm{CSD}}=\sqrt{\underset{i}{\overset{64}{\mathrm{\&Sigma;}}}{({\mathrm{CSD}}_1\left(i\right)-{\mathrm{CSD}}_2\left(i\right))}^2}\end{array}$

CLD特征的相似性D_CLD定义如下，其中W_i ^y，W_i ^Cb，W_i ^Cr为DCT系数的权重：

$D_{\mathrm{CLD}}=\sqrt{\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}{W_i}^y{(Y_1\left(i\right)-Y_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{W_i}^{\mathrm{Cb}}{({\mathrm{Cb}}_1\left(i\right)-{\mathrm{Cb}}_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{W_i}^{\mathrm{Cr}}{({\mathrm{Cr}}_1\left(i\right)-{\mathrm{Cr}}_2\left(i\right))}^2}$

采用同质纹理描述子(Homogeneous Texture descriptor，HTD)和边缘直方图描述子(Edge Histogram descriptor，EHD)来提取图像区域的纹理特征；HTD描述子通过在频域中计算能量和能量方差来提供对纹理的量化描述，用HTD_x(i)表示区域x的第i个HTD特征，得到62个特征；EHD描述子捕获了边界的空间分布，当纹理不均匀时，仍然可以提供有效的边界描述，用EHD_x(i)表示区域x的第i个EHD特征，得到一个具有80个bin的代表区域边界的直方图；纹理特征的相似性度量准则定义为：

$\mathrm{Dtexture}=\sqrt{\underset{i=1}{\overset{62}{\mathrm{\&Sigma;}}}{({\mathrm{HTD}}_1\left(i\right)-{\mathrm{HTD}}_2\left(i\right))}^2}+\sqrt{\underset{i=1}{\overset{80}{\mathrm{\&Sigma;}}}{({\mathrm{EHD}}_1\left(i\right)-{\mathrm{EHD}}_2\left(i\right))}^2}$

采用区域形状描述子(Region Shape Descriptor，RSD)计算图像区域的形状特征；RSD描述子既可以表示单个区域，也可以描述多个不相连的区域，用RSD_x(i)表示区域x的第i个RSD特征，可得35个系数；形状特征的相似性度量准则定义为：

$\mathrm{Dshape}=\sqrt{\underset{i=1}{\overset{35}{\mathrm{\&Sigma;}}}{({\mathrm{RSD}}_1\left(i\right)-{\mathrm{RSD}}_2\left(i\right))}^2}$

对于训练集中的每个图像区域，计算得到它们的颜色、纹理和形状特征，从而计算图像区域间的总相似度并基于此相似度采用支持向量机训练得到区域级别的语义标注分类器；

步骤3，对于基于语义的颜色传输步骤：

将分割得到的参考图像和目标图像的子区域作为输入，采用训练得到的语义标注分类器将每个区域归类到语义层次结构中的一个类别，从而得到区域的语义标记词；然后基于图2中的语义层次结构图来传输颜色，即若参考图像和目标图像中两个区域的语义相同，则建立区域映射关联，若语义不相同，但属于语义层次结构中同一个深色节点，则表示它们有相似的语义，也建立区域映射关联，在有映射关联的区域间进行颜色传输；若目标图像中的待处理区域找不到相关联的参考区域，则保持其颜色不变；

在传输颜色时，对每个像素点计算其属于目标图像中各个区域的概率，根据概率加权求和后得到最终的颜色值，防止在不同区域连接处出现颜色突变；

令N(x,y)表示点(x,y)邻域所包含的区域集合，I(x,y)表示点(x,y)的颜色值，T_i表示目标图像中的一个区域i，则点(x,y)属于T_i区域的概率_iP_xy为：

_iP_xy＝d(I(x,y),T_i)/Z

其中，Z＝∑_i∈N(x,y)d(I(x,y),T_i)是归一化因子，d(I(x,y),T_i)度量了点(x,y)和区域T_i之间的距离；

根据(x,y)点和区域T_i之间的颜色差异和相邻程度来定义其距离：

$d(I(x,y),T_i)=\exp \left(\frac{-\left|\right|I(x,y)-{\mathrm{\&mu;}}_i\left|\right|}{\mathrm{\&delta;c}}\right)+\exp \left(\frac{-\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}}{\mathrm{\&delta;s}}\right)$

其中μ_i表示区域T_i的颜色均值，(x_i,y_i)表示区域T_i的质心，δc＝0.05，δs＝4，用于保证区域边界处的平滑；

在计算得到每个像素点所属邻域区域的概率后，根据由相似语义定义的映射关联来计算传输后的颜色值：

$I^o(x,y)=\underset{i\&Element;N(x,y)}{\mathrm{\&Sigma;}}P_{\mathrm{xy}}^i(\frac{{\mathrm{\&sigma;}}_{\mathrm{\&phi;}\left(i\right)}^R}{{\mathrm{\&sigma;}}_i^T}(I^T(x,y)-{\mathrm{\&mu;}}_i^T)+{\mathrm{\&mu;}}_{\mathrm{\&phi;}\left(i\right)}^R)$

其中I^o(x,y)、I^T(x,y)分别表示输出图O和目标图T中像素点(x,y)的颜色值，分别表示参考图像R和目标图像T中第i个区域的颜色均值和方差；φ(·)代表区域间的映射关联，即φ(i)表示将目标图像中的第i个区域与参考图像第φ(i)个区域相关联。