CN103617596A - 一种基于流型转换的图像色彩风格变换方法 - Google Patents

Abstract

本发明涉及数字图像颜色变换领域，公开了一种基于流型转换的图像色彩风格变换方法，包括：对输入图像和参考图像进行预处理，通过用户交互式图像区域分割方法获得两幅图像对应的语义区域；对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合；利用带有约束的流型学习算法实现输入图像在色彩空间的颜色转变，其中约束条件是建立在输入图像与参考图像对应语义区域的主色上；输出图像：利用输入图像的灰度信息，对变换后图像的色彩进行空间平滑和修正，进而将重构后的图像作为最终的输出图像。采用该方法能够解决现有颜色变换方法无法在色彩分布与空间内容上保持一致性与合理性的问题。

Description

一种基于流型转换的图像色彩风格变换方法

技术领域

本发明涉及数字图像颜色变换领域，更具体地，涉及一种基于流型转换的图像色彩风格变换方法。

背景技术

数字图像颜色风格变换技术是近年来计算机视觉、数字图像处理以及非真实渲染领域被广泛研究的课题，颜色作为图像最为重要的组成元素之一，其组成和分布特点往往直接影响图像所传达出的信息。通过对图像的颜色信息加以转换，可以使得相同场景内容的图像表达出不同的意义。例如在一幅自然图片中，通过将森林的颜色由原有的绿色转换成黄色，可以将一幅原本描绘夏天景色的图片转变为一幅描绘秋天景色的风景图片。自动的颜色转换算法能够应用于图像处理，视频处理和影视后期制作等领域，一个有效的颜色转换算法能够极大的减少原本手工处理的工作量，大大降低图像视频处理的时间和成本。

具体的描述如图1所示：彩色图像间的色彩风格变换，将图像(b)的色彩风格信息转移到图像(a)上，同时不丢失图像(a)的内容信息。其中图像(a)称为输入图像，图像(b)称为参考图像。通过色彩风格变换算法，使得图像(a)获得了图像(b)的颜色基调，进而产生了图像(c)。

目前已经有很多专利申请公开的方法可以相对有效的进行图像色彩风格之间的转换，但是仍然存在一些难以解决的问题。这主要是因为自然图像的复杂性和多样性。不同的自然图像在颜色信息和空间信息上存在着巨大差异。同时就多数自然图像自身而言，不同内容区域间的边界分布也不够明显，往往包含有大片的过度区域。如果色彩风格变换算法不能够在色彩分布与空间内容上保持一致性与合理性，将直接影响变换后图像的逼真程度。

现有的图像颜色变换方法主要可以分为两大类：一类是基于图像色彩分布匹配的方法；另一类是基于特征点匹配的方法。

基于图像色彩分布匹配的颜色转换算法是较为早期且有效的颜色转换算法。该算法首先将输入图像和参考图像从RGB颜色空间转换到LAB颜色空间。利用颜色分布直方图匹配的方法对输入图像和参考图像相对应通道的色彩分布进行匹配，进而完成图像间的色彩转换。由于该类算法在颜色转换的过程中，同时对图像上的所有像素点进行匹配，故这类方法也称为全局颜色转换算法。全局颜色转换算法的主要不足是没有考虑到图像色彩与图像内容的一致性，在变换过程中容易产生颜色混淆或者对图像进行过饱和的渲染，大大降低了结果的真实度。

相关算法还包括基于N维概率密度函数的颜色转换算法，该方法将图像的颜色概率密度函数分布投影到不同通道上，然后在各通道上实施一维的直方图匹配，从而达到图像的颜色变换。该算法缺陷在于，不同颜色分布在直方图匹配的过程处理不够平滑，故输入图像中本来颜色相似的像素点在转换以后可能会被赋予差异巨大的像素值，从而导致输出图像中出现色彩断层的现象。

基于特征点提取的颜色转换算法是借助了基于特征点的图像重构方法来进行图像色彩变换。基于特征点的图像重构方法利用输入图像的灰度图，及输入图像上少量的特征点，称之为标记点(Landmark Point)，来重构出彩色的图像，并使重构出的图像与输入图像尽可能的一致。通过对标记点颜色信息进行替换（将输入图像标记点的颜色值替换为参考图像的标记点的颜色值）来实现图像间颜色的转换。由于该类算法很难保证输入图像和参考图像标记点匹配的准确性，因而会出现颜色渲染混乱的现象。

发明内容

为了克服现有技术的不足，本发明提出一种基于流型转换的图像色彩风格变换方法，利用用户交互式的图像分割信息与带有约束的流型学习算法，实现输入图像与参考图像不同语义区域间的对应色彩变化，采用该方法能够解决现有颜色变换方法无法在色彩分布与空间内容上保持一致性与合理性的问题。

为了实现上述目的，本发明的技术方案为：

一种基于流型转换的图像色彩风格变换方法，包括以下步骤：

S1.预处理：对输入图像和参考图像进行预处理，通过用户交互式图像区域分割方法获得两幅图像对应的语义区域；

S2.语义区域色彩聚类：对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合；

S3.色彩变换：利用带有约束的流型学习算法实现输入图像在色彩空间的颜色转变，其中约束条件是建立在输入图像与参考图像对应语义区域的主色上；

S4.输出图像：利用输入图像的灰度信息，对由步骤S3进行颜色变换以后图像的色彩进行空间平滑和修正，进而将重构后的图像作为最终的输出图像。

本发明方法是利用用户交互式的图像分割信息与带有约束的流型学习算法，实现输入图像与参考图像不同语义区域间的对应色彩变化。其能解决现有颜色变换方法无法在色彩分布与空间内容上保持一致性与合理性的问题。

优选的，所述步骤S1中所述的用户交互式图像区域分割方法具体为：通过交互式的风格算法将输入图像和参考图像分别分割成若干有对应关系的、语义信息相异的区域，不同的区域对象对应于不同的语义标签。

上述用户交互图像区域分割方法可以为现有的任意有效的分割方法，其中交互式的防暑强调的是用户通过鼠标或者数位板等外部设备，在图像上以涂鸦的方式标出不同的语义区域。

优选的，所述步骤S2的具体实现方式为：通过提取每个像素点的RGB数值，将其做为颜色空间中的一点，使用聚类算法对颜色空间中的所有点进行自动的类别划分，同时根据色彩点的分布计算其质心，该质心作为具体类别中最有代表性的主色。

优选的，所述步骤S2中的色彩聚类算法是K-means聚类算法、ISOdata聚类算法或谱聚类算法中的任意一种。

由于不同的色彩空间对图像的视觉描述有着不同的侧重点，为了使得颜色风格变换算法更为有效。所述步骤S2前还包括将输入图像和参考图像颜色空间从RGB色彩空间转换到LAB色彩空间。

本发明方法的核心是在于利用输入图像和参考图像之间对应语义区域的主色，带有约束的流型学习算法。现有的流型学习算法为LLE（Locally linearembedding），传统的LLE算法可以归结为三步：1）寻找每个样本点的k个近邻点；2）由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；3）由该样本点的局部重建权值矩阵和其近邻点计算出该样本点在低维空间的输出值。传统的LLE算法针对的是数据降维问题。为了在最大程度的保持流型结构的条件下，改变其在色彩空间中的位置

优选的，所述带有约束的流型学习算法的实现方式为：

将色彩空间的每个彩色点通过其附近的若干个近邻进行线性重构，并记录每个参与重构的近邻所对应的重构系数；将所有点用于重构其自身的重构系数组成重构权重矩阵；利用主色所期望的转换结果作为约束条件，结合重构权重矩阵，共同实现带有约束的流型转换。

优选的，所述带有约束的流型学习算法的具体包括以下步骤：

（1）将输入图像的每个像素点转换为LAB色彩空间下彩色点，计算出每个彩色点的k个近邻点，把相对于所求彩色点距离最近的k个彩色点规定为所求彩色点的k个近邻点；其中k是一个预先给出的定值；其中k个近邻点的选取可以使用欧氏距离、测地线距离等多种距离度量方式；

（2）计算出彩色点的局部重建权值矩阵W，通过步骤（1）中k个近邻来对彩色点进行线性重构，每个近邻对应一个重构系数w，为了使重构的误差最小，每个彩色点的k个近邻点的重构系数之和为1；

（3）利用步骤（2）中的重构矩阵W，将输入图像的所有彩色点在主色对的约束下实现输入图像在色彩空间的颜色转变。

由于LLE算法固有的计算复杂度较高，不适合高清图像的处理，本发明还可以针对以上问题做如下改进：

在步骤（1）之前首先进行图像下采样，获得分辨率较低的图像。然后利用步骤（2）和步骤（3）的方法对低分辨率的图像进行色彩风格变换。将变化后的结果进行上采样，同时结合步骤S4对上采样的图像进行空间的修正，从而将重构后的图像作为最终的输出图像。

优选的，所述步骤（2）的局部重建权值矩阵W是通过每个彩色点的近邻对其重建所获得的重建系数共同组合而成的，满足：

$W^{\′}=\arg \min \underset{i}{\mathrm{\Σ}}|x_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}*x_j|$

约束条件：∑_jW_ij=1

W'是局部重建权重矩阵W在优化求解以后的结果。W_ij表示元素j对于元素i的权重；利用每个彩色点的k个近邻对其进行重构，使用线性重构的方法；x_i,x_j表示输入图像上统计出所有的去重后的彩色点，或者是输入图像先前分割的语义区域上利用聚类算法获得的主色；下标i,j的下界是1，上界是去重后彩色点的个数，或输入图像先前分割的语义区域上利用聚类算法获得主色的个数之和。

优选的，所述步骤（3）中输入图像的所有彩色点在主色对的约束下实现输入图像在色彩空间的颜色转变，涉及以下转换内容：

$Y^{\′}=\arg \min \underset{i}{\mathrm{\Σ}}|y_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}*y_j|$

约束条件：y(N+1)=r⁽¹⁾，…，y(N+k)=r^(k)

其中Y'表示在约束条件的约束下，所有经过变化后彩色点所组成矩阵，Y'的每一行对应色彩空间的一个通道，Y'的每一列对应一个彩色点；y_i,y_j分别是x_i,x_j在约束条件的约束下，经过变化后彩色点；r^(k)表示在参考图像先前分割的语义区域上，利用聚类算法获得主色；N表示去重后彩色点的个数；k表示参考图像先前分割的语义区域上，利用聚类算法获得主色的个数。

与现有技术相比，本发明的有益效果为：

1、本发明是一种基于流型转换的图像色彩风格变换方法，通过人机交互的方式，获得了更加精准的语义区域分割信息。从而在输入图像与参考图像之间的对应语义区域建立起主色约束，克服了全局色彩变换算法在每个色彩通道进行匹配后，色彩信息与图像语义信息冲突的问题。

2、本发明是一种基于流型转换的图像色彩风格变换方法，在进行流型的转换过程中，强调的不同颜色点在三维色彩空间中的相互关系，颜色变化的过程也是实施在整个流型之上，不会对色彩空间的不同通道分别进行转换。因而转换的结果最大程度保持了颜色点在色彩空间的空间近邻关系。

3、本发明是一种基于流型转换的图像色彩风格变换方法，在色彩空间通过约束进行流型转换之后，将利用输入图像的亮度信息最变换后的图像进行修复，保证最终的结果能够很好的保持输入图像的纹理、形状、结构、边缘等信息。

附图说明

图1为颜色风格变换的基本原理图。

图2为本发明的颜色风格变换方法的系统框架图

图3为本发明的颜色风格变换方法的原理流程图

图4为本发明的颜色风格变换方法中用户交互式图像分割示例图

图5为本发明的基于带约束的流型转换方法的原理图。

图6为本发明的基于带约束的流型转换方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。实施例1

如图2、3所示，一种基于流型转换的图像色彩风格变换方法，其包括以下步骤：

一种基于流型转换的图像色彩风格变换方法，包括以下步骤：

预处理：对输入图像和参考图像进行预处理，通过用户交互式图像区域分割方法获得两幅图像对应的语义区域；

语义区域色彩聚类：对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合；

色彩变换：利用带有约束的流型学习算法实现输入图像在色彩空间的颜色转变，其中约束条件是建立在输入图像与参考图像对应语义区域的主色上；

输出图像：利用输入图像的灰度信息，对进行颜色变换以后图像的色彩进行空间平滑和修正，进而将重构后的图像作为最终的输出图像。

上述步骤具体为：

步骤A：将输入图像和参考图像分别分割成一系列语义信息相异的区域。基于语义的图像自动分割算法，目前仍是计算机视觉领域中没有完美解决的问题之一，很多的分割算法需要依赖于大量的先验信息。本发明中针对图像的语义区域分割问题使用交互式的分割算法。假设I为源图像，目标是把它分割成K个相互不关联的语义区域R_i，其中i=1,2,...,k。这些不同的区域对象对应于不同的语义标签，例如天空，草地，建筑物等。本发明所涉及的软件系统中，用户只需要用不同颜色的线条大致的标定出区域范围，就可以利用交互式分割算法将源图像同时分割成K个区域，如图4。在本实施例中，分割算法参考了“YuriBoykov等人在论文“Markov random fields with efficient approximations”中提出的α-扩展算法进行图像交互式分割。但交互式的图像分割算法并不局限于此。

步骤B：为了保证算法的时效性，在对色彩空间中的流型进行带有约束的重构之前，对输入图像S下采样，得到S’，通常将较高分辨率的图像下采样到100*120分辨率大小。下采样的过程并不影响输入图像的语义区域分割结果。对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合。在本实施例中使用了K-means聚类算法，但并不局限于此。

具体实现如下：在输入图像上统计出所有的颜色，将其去重后加入集合X1；同理，对于参考图像，也使用相同的方法建立颜色集合R1。

X1={x₁,x₂,...,x_n}，x_i∈R³

R1={r₁,r₂,....r_n}，r_i∈R³

随后，在步骤A中的所有语义分区上，利用聚类算法获得主色，其中输入图像的主色集合记作Cx，参考图像R的主色集合记作Cr。

Cx={x⁽¹⁾,x⁽²⁾,....,x^(k)}

Cr={r⁽¹⁾,r⁽²⁾,....,r^(k)}

X=X1∪Cx，|X|=N+K

其中Cx和Cr作为线性局部嵌入的约束条件，此处的Cx和Cr中的元素是一一对应的。如何利用其关系对图像色彩风格进行变化将在步骤D中进行具体介绍。

步骤C：对X集合中的每个元素，求出每个元素在色彩空间中的k个近邻点。在本实施例中使用了欧氏距离计算色彩点直接的距离，但是距离计算的具体方法并不局限于此。然后对于每个在X中的元素和它们的k近邻，构建出它们的权重矩阵，如图5。

$W^{\′}=\arg \min \underset{i}{\mathrm{\Σ}}|x_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}*x_j|$

约束条件：∑_jW_ij=1

其中W'是局部重建权重矩阵W在优化求解以后的结果；W_ij表示元素j对于元素i的权重；利用每个彩色点的k个近邻对其进行重构，使用线性重构的方法；x_i,x_j表示输入图像上统计出所有的去重后的彩色点，或者是输入图像先前分割的语义区域上利用聚类算法获得的主色；下标i,j的下界是1，上界是去重后彩色点的个数，或输入图像先前分割的语义区域上利用聚类算法获得主色的个数之和。要求重构的误差最小，同时每个彩色点的k个近邻点的重构系数之和为1。

得到权重矩阵W后，计算出在流型约束条件下新的颜色集合Y’。其过程要求两方面的内容：首先，要求重构的误差最小，即重构后的流型在色彩空间新的位置上能够尽可能保持其原有的流型结构；其次，要求重构以后，步骤C中Cx集合中的元素能够对应变化为Cr集合中的元素，即通过主色的约束将原有流型在空间中的位置进行改变。将其表示为：

$Y^{\′}=\arg \min \underset{i}{\mathrm{\Σ}}|y_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}*y_j|$

约束条件：y(N+1)=r⁽¹⁾，…，y(N+k)=r^(k)

其中Y'表示在约束条件的约束下，所有经过变化后彩色点所组成矩阵，Y'的每一行对应色彩空间的一个通道，Y'的每一列对应一个彩色点；y_i,y_j分别是x_i,x_j在约束条件的约束下，经过变化后彩色点；r^(k)表示在参考图像先前分割的语义区域上，利用聚类算法获得主色；N表示去重后彩色点的个数；k表示参考图像先前分割的语义区域上，利用聚类算法获得主色的个数。

通过以上方法，就获得了S’上彩色点变换以后的RGB值。将这个RGB值的对应关系作用在S’的每个像素上，就还原出了变化后的图像O’。

步骤E：将变化后的彩色图像O’上采样到与输入图像S的分辨率一致，此时将得到较为模糊的重构图像。将输入图像S的灰度图像和上采样图像一起，作为灰度图彩色化算法的输入，进行亮度重构，得到最终的结果图像O。在本实施例中，亮度重构算法使用了Anat Levin，等人在论文“Colorization UsingOptimization”中提出的相关算法，但亮度重构的过程并不局限于此算法。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于流型转换的图像色彩风格变换方法，其特征在于，包括以下步骤：

S1.预处理：对输入图像和参考图像进行预处理，通过用户交互式图像区域分割方法获得两幅图像对应的语义区域；

S2.语义区域色彩聚类：对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合；

S3.色彩变换：利用带有约束的流型学习算法实现输入图像在色彩空间的颜色转变，其中约束条件是建立在输入图像与参考图像对应语义区域的主色上；

S4.输出图像：利用输入图像的灰度信息，对由步骤S3进行颜色变换以后图像的色彩进行空间平滑和修正，进而将重构后的图像作为最终的输出图像。

2.根据权利要求1所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S1中所述的用户交互式图像区域分割方法具体为：通过交互式的风格算法将输入图像和参考图像分别分割成若干有对应关系的、语义信息相异的区域，不同的区域对象对应于不同的语义标签。

3.根据权利要求1所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S2的具体实现方式为：通过提取每个像素点的RGB数值，将其做为颜色空间中的一点，使用聚类算法对颜色空间中的所有点进行自动的类别划分，同时根据色彩点的分布计算其质心，该质心作为具体类别中最有代表性的主色。

4.根据权利要求1或3所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S2中的色彩聚类算法是K-means聚类算法、ISOdata聚类算法或谱聚类算法中的任意一种。

5.根据权利要求1所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S2前还包括将输入图像和参考图像的颜色空间从RGB色彩空间转换到LAB色彩空间。

6.根据权利要求1、2、3或5任一项所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述带有约束的流型学习算法的实现方式为：

将色彩空间的每个彩色点通过其附近的若干个近邻进行线性重构，并记录每个参与重构的近邻所对应的重构系数；将所有点用于重构其自身的重构系数组成重构权重矩阵；利用主色所期望的转换结果作为约束条件，结合重构权重矩阵，共同实现带有约束的流型转换。

7.根据权利要求6所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述带有约束的流型学习算法的具体包括以下步骤：

（1）将输入图像的每个像素点转换为LAB色彩空间下彩色点，计算每个彩色点的k个近邻点，把相对于所求彩色点距离最近的k个彩色点规定为所求彩色点的k个近邻点；其中k是一个预先给出的定值；

（2）计算出彩色点的局部重建权值矩阵W，通过步骤（1）中k个近邻来对彩色点进行线性重构，每个近邻对应一个重构系数w，每个彩色点的k个近邻点的重构系数之和为1；

（3）利用步骤（2）中的重构矩阵W，将输入图像的所有彩色点在主色对的约束下实现输入图像在色彩空间的颜色转变。

8.根据权利要求7所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤（2）的局部重建权值矩阵W是通过每个彩色点的近邻对其重建所获得的重建系数共同组合而成的，满足：

$W^{\′}=\arg \min \underset{i}{\mathrm{\Σ}}|x_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}*x_j|$

约束条件：∑_jW_ij=1

其中W'是局部重建权重矩阵W在优化求解以后的结果；W_ij表示元素j对于元素i的权重；利用每个彩色点的k个近邻对其进行重构，使用线性重构的方法；x_i,x_j表示输入图像上统计出所有的去重后的彩色点，或者是输入图像先前分割的语义区域上利用聚类算法获得的主色；下标i,j的下界是1，上界是去重后彩色点的个数，或输入图像先前分割的语义区域上利用聚类算法获得主色的个数之和。

9.根据权利要求7所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤（3）中输入图像的所有彩色点在主色对的约束下实现输入图像在色彩空间的颜色转变，涉及以下转换内容：

$Y^{\′}=\arg \min \underset{i}{\mathrm{\Σ}}|y_i-\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}*y_j|$

约束条件：y(N+1)=r⁽¹⁾，…，y(N+k)=r^(k)

其中Y'表示在约束条件的约束下，所有经过变化后彩色点所组成矩阵，Y'的每一行对应色彩空间的一个通道，Y'的每一列对应一个彩色点；y_i,y_j分别是x_i,x_j在约束条件的约束下，经过变化后彩色点；r^(k)表示在参考图像先前分割的语义区域上，利用聚类算法获得主色；N表示去重后彩色点的个数；k表示在参考图像先前分割的语义区域上，利用聚类算法获得主色的个数。

10.根据权利要求1、2、3或5任一项所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S4所述的对变换以后图像的色彩进行空间平滑和修正，是利用输入图像的灰度图像和色彩转变后的图像作为输入，利用亮度重构算法对色彩转变后的图像进行部分区域的亮度矫正。

Images