CN102360490B - 基于颜色转换和编辑传播的图像季节特征增强方法 - Google Patents

Abstract

本发明属于计算机视觉领域，是一种基于颜色转换和编辑传播的图像季节特征增强方法，包括：输入一张目标图像，从场景库中选择一张特定季节图像作为参考图像，对目标图像进行颜色转换；对目标图像进行前景提取，获取前景对象的轮廓信息；选取一个特定的前景对象作为模板，在目标图像中提取与模板相似的重复前景对象；从对象库中选取符合特定季节特征的插入对象，并在目标场景中指定一个插入位置，对该对象旋转和缩放以保证视觉合理；将插入对象自动地进行编辑传播；最后，对所有插入的对象与场景图像进行融合，形成最终的具有指定季节特征的场景。本发明可广泛应用推广到影视制作、城市规划等领域。

Description

基于颜色转换和编辑传播的图像季节特征增强方法

技术领域

本发明涉及图像处理、计算机视觉和增强现实领域，具体地说是一种基于颜色转换和编辑传播的图像季节特征增强方法。

背景技术

数字图像领域中，最常见的图像处理方法之一是改变图像的视觉效果。对于艺术设计者或者摄影爱好者来说，为了得到同一个场景不同季节的场景图像，将进行大量的手工编辑或者耗费大量的时间定点拍摄。事实上，同一个场景在不同的季节有很多的特点，举例来说，夏季里场景颜色一般为碧绿色而秋季一般以金黄色为主；花儿在春天开放秋季凋谢等等。这些不同季节里具有很强可区分的特点为我们设计一个场景季节特点增强系统提供了可行条件。一个具有明显季节特点的场景，不仅在颜色信息上可以很容易的区分，而且在场景内容上的各种对象也标志了一个季节的特色。

目前，一些科研工作者在相关技术上开展了研究。在颜色风格一致化方面，2001年，布里斯托大学的E.Reinhard等人是利用颜色空间的转换，将目标图像和参考图像首先从RGB颜色空间转换到lαβ颜色空间，然后在这三个通道上分别求取二阶统计量期望方差，再针对目标图像的每一个像素，进行缩放旋转，求得的最终结果转换为RGB颜色空间即为结果图像的像素颜色值。该方法简单有效，但是针对复杂的图像，需要用户指定样本进行颜色转换。针对这个问题，2005年，日本的Chang等人提出了一种基于颜色分类的方法实现颜色转换。首先将目标图像和参考图像按照颜色差异，分成多个颜色类，然后在对应的颜色类之间进行颜色转换。Pitie.F等人以一种全新的思路，在证明了N维概率密度函数转移的可行性并将它运用到颜色迁移领域。在灰度图像中，利用直方图规定化实现图像灰度变换使其具有特定的直方图形式。直方图是概率分布密度的体现，而直方图规定化是目标图像概率分布密度映射到期望概率分布密度的过程，也就一维概率密度函数转移。而N维概率密度函数转移是基于一维展开的。设f(x)和g(x)是源图像和目标图像的颜色概率密度分布，x_i＝(r_i，g_i，b_i)，r_i、g_i、b_i分别代表红绿蓝三色，选择任意一个旋转矩阵尺，旋转后对N维分别作一维概率密度函数转移，重复多次，直到收敛，得到迁移后的新图像。该方法生成的结果图像颜色过渡不平滑，有很多块状，需要通过二次处理对图像进行平滑。但是，上述自动方法容易产生一些不自然的着色效果，因此，针对自动颜色转换方法中的这些问题，出现了一些基于交互式的颜色转换方法。从2001年Welsh提出了灰阶影像着色，开启了灰度图像着色的简单、省时的道路，推动了该领域的研究的进展。该算法需要由用户从目标图像和目标图像中分别选出适当大小、位置与数量的样本快，并指定目标图像样本块与目标图像中样本块的对应关系。Welsh算法不是使用L型或者Box型邻域进行最佳匹配邻域搜索方法进行综合的算法，而是直接匹配图像的亮度数值和邻域的标准方差。它也是使用lαβ颜色空间先将目标图像进行亮度和颜色的分离，从目标图像中等间隔的提取一定的样本点，然后使用匹配算法搜索出处理图像每一个点所对应的目标图像像素点，最后使用这种索引信息构建处理图像的

和β，将彩色图像中的颜色转移到灰度图像中，并变换回RGB颜色空间。这就是Welsh算法的颜色迁移过程。该方法不能保证处理后图像颜色在空间上的连续性，即本来相邻的、颜色相近的区域可能由于亮度差异而被分配了截然不同的颜色。Takahiko将概率松弛法引入颜色迁移，以选取最优的颜色信息迁移给目标图像素。2003年Takahiko等人又提出种子像素的概念，由用户选取一些彩色像素作为灰度图像的种子，利用颜色繁殖完成颜色迁移。Tomohisa等人改进了颜色繁殖算法，引入图像分割防止错误繁殖边缘像素颜色，并提出了新的基于CIELAB颜色空间的彩色化算法。上述的这些方法，不能保证结果图像既能在颜色视觉上逼近参考图像的颜色的同时，保持目标图像的颜色流形线性结构。

在图像编辑方面，大量的研究工作已经对此进行了探讨。而场景重复元素检测是图像编辑领域中的一个重要研究方向。1996年，Malik等人提出了一种基于图结构模型的方法来检测场景重复元素。在这个图结构模型中，以所有场景元素作为图节点而以节点间的仿射变换作为图结构模型中的边。通过自增长和匹配的方式，来检测出场景中所有的重复元素；2007年，Ahuja等人通过在场景分割树中寻找结构相似的子树的方式来检测场景中的所有重复元素；Cheng等人在2010年提出了一种基于BBM(Boundary Band Map)的交互式方式来检测和提取场景中的重复元素。这些方法通常需要大量的计算时间，同时在复杂场景中准确率不能给出保证。场景合成方面在近些年也取得了很大的进展。2007年，Lalonde等人提出了一个基于网络对象库的场景合成系统PhotoClipArt，该系统通过在库中指定对象，然后结合场景地平线的位置，根据对象插入的位置，自动的调整对象大小；同时，对插入的兑现在光照、颜色等方面进行融合。但是，该系统只能将对象一个一个的插入到场景中，当需要插入的对象较多时，用户手工交互较多。2007年Hays等人通过利用网络中海量的对象来对场景中缺失的对象进行修复。2009年Mathias等人设计了一个基于结构图的图像检索系统来进行图像合成。总而言之，这些方法都是基于大量手工标注的基础上来实现场景合成，代价较大。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种基于颜色转换和编辑传播的图像季节特征增强方法。

本发明采用的技术方案是：基于颜色转换和编辑传播的图像季节特征增强方法，主要包括将输入目标图像和从场景库中选取的参考图像从RGB颜色空间转换到Lab颜色空间；利用11基本色，对目标图像和参考图像进行颜色分类，分别求出目标图像和参考图像中每个颜色类的颜色均值，形成目标图像和参考图像的主色调；利用局部线性嵌入，为目标图像中所有像素颜色值构建局部线性关系，克服空洞颜色转换过程中出现颜色偏差而造成效果不佳问题，保证填补后图像场景在视觉上的合理性；利用约束优化罚函数法，通过能量最小化，求出结果图像中每个像素点的颜色值，并转换会RGB颜色空间；使用Grabcut算法对目标图像进行前景提取，去掉目标图像中无关的背景图像；利用Active Contour算法对提取出的前景图像进行轮廓检验，获取前景图像的完整轮廓信息；在检测出轮廓图像的中，交互式的指定一个完整的对象轮廓，并将它作为轮廓模板，扫描整个轮廓图像，检测出所有的其他同类型对象；从对象库中选定一个符合指定季节特征的对象，插入到场景中，根据场景中检测出来的对象尺寸，进行放缩、旋转；以已经插入的对象为参考模板，结合场景图像中已找出来的重复元素的位置信息，自动地进行编辑传播，生成同类型不同大小、方向的具有季节特征的场景对象；将生成的对象与颜色转换后的场景进行融合，生成最终的具有指定季节特征的场景。

利用11基本色对图像进行颜色分类，一方面11基本色标准，符合人类视觉对颜色区分的特征，能够正确的对颜色进行归类；另一方面通过颜色分类，能够尽可能保持目标图像颜色类的丰富性，使得生成的结果图像的颜色类不丢失。同时，考虑到参考图像的颜色类会比较少，不能够和目标图像的颜色类建立起一一对应的映射关系。因此，对参考图像采取了缺失颜色类主色调估计的方法，保证了最终的结果图像在视觉上的合理性。

局部线性关系的保持主要是为保持目标图像颜色空间的线性关系。目标图像颜色空间的线性关系，反映出了目标图像中整个颜色分布的趋势及其颜色值之间的关系。因此，K近邻的数量越多，则整个颜色空间的颜色分布结构在颜色转换过程中会保持的越好；颜色转换通过约束优化罚函数法实现，通过加大目标图像与参考图像的主色调差值之间的权重，使得生成的结果图像的色调极大限度的逼近参考图像。

使用Grabcut算法对目标图像进行前景提取并去掉目标图像中无关的背景图像是为了为重复元素检测去除无关的区域。重复元素通常集中出现在场景中的前景部分，因此，背景部分可以去除。这样处理有如下有点：首先，提高了检测的速度。通过去除场景中没有重复元素的部分，进一步集中了检测的区域，只需要在提取出来的区域进行匹配检验，在一定程度上提高了检测的速度；其次，提高了检测准确率。背景部分的颜色、边界等因素会为重复元素检测带来一定程度的干扰，影响匹配检测的结果。通过去除背景，去除了大部分的影响因素，检测准确率自然就得到了一定的提高。

利用Active Contour算法对提取出的前景图像进行轮廓检验获取前景图像的完整轮廓信息是为了进一步去除颜色前景颜色、纹理、光照等因素的影响。本发明在重复元素检测时采用的是就轮廓的匹配方法而忽略颜色纹理等方面的因素。因此，一方面，若直接在图像上进行匹配，会因为颜色、纹理、光照等因素的影响，造成错误的检测；另一方面，采用轮廓，而不是图像所有前景的边界来进行检测，就是进一步去除因颜色、光照等产生边界而对结果造成影响。

在检测出轮廓图像的中，检测出所有的其他同类型对象是通过交互式的指定场景中的一个对象的轮廓作为模板，然后在整个图像中进行匹配检索出其他的同类型对象。在检索的过程中，由于对象的角度、尺寸等可能不一样，需要对模板进行缩放、旋转，以尽可能多的找到场景中重复元素。同时，考虑到匹配过程中的误差，对模板边缘进行加粗处理，检索匹配过程的因轮廓检测带来的影响。在匹配过程中，记录与模板匹配时旋转的角度，放缩的大小，以便于在插入其他具有季节特征的对象时自动进行大小和方向的调整。

从对象库中选定一个符合指定季节特征的对象插入到场景中，根据场景中检测出来的对象尺寸大小和方向，对插入对象进行缩放、旋转。为了保证生成的结果在视觉上的合理性，用户从库中选取一个特定季节的对象后，需要根据场景中已存在的对象，对插入的对象进行尺寸、方向、颜色、光照等方面进行调整。首先，用户对从库中指定的对象手动进行调整；然后根据用户手动调整的对象为样本，生成其他同类型对象，自动进行大小、方向调整，保证在比例、方向上一致协调。为了保证在光照、颜色和场景保持一致，采用泊松无缝融合来达到与场景亮度、颜色一致。

本发明与现有的技术相比，其有益的特点是：1、本发明根据目标场景中重复元素集中分布于前景的特点，通过前景提取、轮廓检测等分离出前景轮廓，减少重复元素检测过程中的匹配区域，去除了检测过程中不必要因素的影响。因此，相对于整个图像全局检测匹配而言计算开销减少了很多，节约了大量的系统资源。2、本发明采用符合人类视觉特征的11基本色对输入图像进行颜色分割，避免了在颜色过程为了达到结果的逼真性而进行手动交互，提高了程序的自动性能，减少了用户不必要的交互。3、本发明首先根据真实具有特定季节特色的场景进行颜色转换，然后基于该季节的具有特色的场景对象，这种对象本就具有了一定的季节特色，避免了不必要的对象编辑计算，同时又使合成的场景与真实的自然场景十分相似。4、本发明场景对象按照季节、语义特点予以分类，没有必要进行大量的人工标注，在插入对象时，系统会自动的给出一些推荐的对象，因此节省了大量的对象检索时间，提高了计算效率。5、本发明给出的自动编辑传播方法，会根据目标场景中检测出的对象特征及用工第一次给出的样本，自动进行对象编辑，在确保生成的场景与真实的自然场景十分近似的同时，大大的减少了人工交互。

附图说明：

图1是本发明的整体流程图；

图2是本发明的主色调映射的流程图；

图3是本发明局部线性关系的获取流程图；

图4是本发明颜色风格转换流程图；

图5是本发明的编辑传播流程图。

具体实施方式：

下面结合附图对本发明作详细说明。

参阅图1本发明的系统总体流程图，本发明的总体架构主要包括4大部分：该场景季节特点增强系统总体上要做到以下内容：(1)设计并实现一个场景颜色风格化处理软件，通过使用11标准色，对目标场景的颜色进行转换；(2)对颜色转换后的场景，通过前景提取、图像轮廓提取、交互式指定模板、场景重复元素匹配等步骤，检测场景中的重复元素；(3)从对象库中选取一个符合指定季节特色的对象，通过交互式指定插入位置、编辑大小、方向、光照、颜色等将对象插入到场景；(4)根据已经插入的对象，自动的生成同类型的对象并进行编辑传播，生成最终的场景。

参阅图2本发明的主色调映射示意图，图像的主色调主要指能代表给定图像颜色风格的几种颜色值。对一堆杂乱无章的数据，通常通过求取期望、方差等统计属性来表示这堆数据的统计性能。在一类性质近似的颜色类中，我们同样采用统计属性期望来表示某一类颜色的主色调。主色调的求取方法是：首先，根据颜色分类的结果，求取每一类中像素的个数；其次，对每一类像素在RGB三个通道上分别求取三个通道的颜色值和；最后，在三个通道上求取均值，得到该类的主色调颜色值。而对于一副给定的图像，一个颜色类中像素个数的多少，反应了这幅图像颜色分布趋势。因此，一个颜色类中的包含的像素个数越多，则该颜色类的主色调越能够反映该图像的颜色色调。所以，在进行颜色映射时，目标像素数最多的颜色类的主色调应该和参考图像中像素数最多的颜色类的主色调建立直接映射关系。

参阅图3本发明局部线性关系的获取流程图，局部线性关系反应了给定像素点的颜色值和其K近邻之间的权值约束关系。其主要目的是为了解决场景颜色风格化过程中出现的伪边界的问题。首先找到图像中所有的具有不同的颜色值的像素点。主要的原因在于消除在求解能量最小化过程中出现伪逆的情况。因此，具有不同颜色值的像素点的获取在本发明的设计过程中显得较为重要。具有不同颜色值的像素点的获取的原理如下：对于给定目标图像中的每一个像素点，通过比较该像素点和其他已经获得的具有不同颜色值的像素点的值，如果不存在与其具有相同颜色值的像素，则将其标志为一个新的颜色值，其比较公式为：

d_ij＝(p_i-p_j)^T(p_i-p_j)

其中，P_i和P_j分别为第i个和第j个像素的三个通道的颜色值，即P_i＝(r_i，g_i，b_i)。

我们假设Q_d＝{q₁，q₂，...，q_k}和R_d＝{r₁，r₂，...，r_k}分别代表目标图像和参考图像的主色调，集合Q_s＝{q_k+1，q_k+2，...，q_k+n}代表目标图像中所有具有各种不同颜色值的像素点集合，同时，假设结果图像的所有像素点的颜色值的集合为Z_r＝{z₁，z₂，...，z_n}。在此假设的条件下，局部线性关系可以这样构建。对于任何一个Q集合中的像素点q_i，它的颜色值能够被它的K近邻和一组待求解的权值关系这样表示：q_i≈w_j+1q_j+1+w_j+2q_j+2+...+w_j+kq_j+k，确保q_i的颜色值尽可能的接近w_j+1q_j+1+w_j+2q_j+2+...+w_j+kq_j+k。那么权值集合如何求解呢？通过最小化如下方程，可以得出权值集合的解。

$W^{*}=\underset{w_{\mathrm{ij}}}{\arg }\min |q_i-\underset{q_j\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{q}_j|$

在上述方程中，必须保证

并且如果

那么，w_ij＝0。其中，w_ij是权值，表示q_j对q_i的影响程度；N_i是第i个像素的邻居点集合。

参考图4本发明颜色风格转换流程图，目的是在保持局部线性关系的前提下，实现目标图像到参考图像的颜色风格一致化的变换。那么，为了使得结果图像的颜色风格尽可能的逼近参考图像，实际上则是使得结果图像的主色调的颜色值尽可能的逼近参考图像，基于此，颜色转换的公式如下面能量最小化公式：

$\underset{\mathrm{Zr}}{\arg }\mathrm{Min}(Z_r^T{(I-W)}^T(I-W)Z_r+{(Z_r-\tilde{Y})}^T\mathrm{\Λ}(Z_r-\tilde{Y}))$

其中，I是一个单位矩阵，Λ为对角矩阵，W是权值矩阵，

如果

那么Λ_jj＞＞0(本发明中设置为1000000)，否则，Λ_jj＝0。上述方程可以变换成如下线性方程：

$[{(I-W)}^T(I-W)+\mathrm{\Λ}]Z_r=\mathrm{\Λ}\tilde{Y}$

参考图5本本发明的编辑传播流程图，在检测出重复元素的基础上，首先检测出一个完整的对象(树叶)的轮廓。因为如果要把从库中选取的对象(花)插入到对象上，如果插入的位置超出了边界，则很容易导致结果不合理。在此基础之上，计算出包含对象的最小长方形，然后对此长方形，根据插入用户交互式插入的样本对象的大小以及该对象本身的大小，进行划分；同时，结合重复元素查找时计算出来的旋转角度，对插入对象进行仿射变换，得出一个最合适的旋转角度后，插入到每个小方框的中心。以此为例，对场景中检测的所有重复对象，进行编辑传播，直到所有的场景重复元素都完成上述操作。然后，利用泊松无缝融合操作，对插入的对象，与场景进行融合。在融合的过程中，由于插入的对象本身具有季节特点，所有其本身的颜色没有必要进行很大的改变，只要对插入的对象的边界与场景进行无缝融合，基本与场景的梯度达到一致即可。

本发明保证基于颜色转换和编辑传播的图像季节特征增强的效果尽可能的逼真，设计并实现了用分类的方法获取目标图像和参考图像的主色调，尽可能的包含给定图像中的颜色信息，并建立起他们之间的映射关系，消除了传统的颜色风格一致化方法容易产生伪边界的现象，设计并实现了基于局部线性关系保持的颜色映射的方法，把参考图像的颜色风格迁移到目标图像上去，达到场景风格一致化的效果。采用基于前景提取和轮廓检测的方法，减少了匹配范围，去除了其他因素的影响，提高了计算效率。通过参考用户手动插入、编辑的对象，自动生成同类型对象并进行编辑传播。通过采用无缝融合，保证了插入对象与场景风格一致化，效果逼真。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (7)

1.基于颜色转换和编辑传播的图像季节特征增强方法，其特征在于包含以下步骤：

（1）将输入目标图像和从场景库中选取的参考图像从RGB颜色空间转换到Lab颜色空间；

（2）在Lab颜色空间中，利用11基本色，对转换到Lab颜色空间后的目标图像和参考图像进行颜色分类，分别求出目标图像和参考图像中每个颜色类的颜色均值，形成目标图像和参考图像的主色调；

（3）利用局部线性嵌入，为目标图像中所有像素颜色值构建局部线性关系，克服空洞颜色转换过程中出现颜色偏差而造成效果不佳问题，保证填补后图像场景在视觉上的合理性；

（4）利用约束优化罚函数法，通过能量最小化，求出将目标图像颜色迁移后的结果图像中每个像素点的颜色值，并从Lab颜色空间转换回RGB颜色空间；

（5）使用Grabcut算法对目标图像进行前景提取，去掉目标图像中与对象提取无关的背景图像；

（6）利用Active Contour算法对提取出的前景图像进行轮廓检验，获取前景图像的完整轮廓信息；

（7）在检测出轮廓图像的中，交互式地指定一个完整的对象轮廓，并将它作为轮廓模板，扫描整个轮廓图像，检测出所有的其他同类型对象；

（8）从对象库中选定一个符合指定季节特征的对象，插入到场景中，根据场景中检测出来的重复元素的尺寸，进行放缩、旋转；

（9）以已经插入的对象为参考模板，结合场景图像中已找出来的重复元素的位置信息，自动地进行编辑传播，生成同类型不同大小、方向的具有季节特征的场景对象；

（10）将生成的对象与颜色转换后的场景进行融合，生成最终的具有指定季节特征的场景；

在步骤（3）中，目前场景图像中的每个像素都求得了各自K近邻，通过求得最优的每组K近邻的线性组合系数，使得当前像素颜色值与它的K近邻线性组合值尽可能的接近；其中，为求得最优的每组K近邻的线性组合系数，通过构建当前像素颜色值与其K近邻的线性组合值的平方差之和，采用最小二乘法求解方程，得到最优每组K近邻的线性组合系数。

2.根据权利要求1所述的基于颜色转换和编辑传播的图像季节特征增强方法，其特征在于：步骤（2）中的利用11基本色对目标图像和参考图像进行颜色分类采取以下步骤：

（2.1）求出11基本色的颜色值，并从RGB转换到Lab颜色空间；

（2.2）以11基本色的颜色值作为中心点，对目标图像和参考图像的所有像素点的颜色值进行维诺划分，得出11个颜色类；

（2.3）求出每个颜色类中的所有颜色值的均值，作为该类的颜色主色调。

3.根据权利要求1所述的基于颜色转换和编辑传播的图像季节特征增强方法，其特征在于：步骤（7）中的在检测出轮廓图像的中，交互式的指定一个完整的对象轮廓，并将它作为轮廓模板，扫描整个轮廓图像，检测出所有的其他同类型对象采用的步骤为：

（7.1）交互式的在检测出的轮廓图像上指定一个对象，并将这个对象的轮廓提取出来，加粗边缘，形成形状模板；

（7.2）用这个加粗的形状模板，以不同的尺寸，不同的方向，在轮廓图像上扫描，匹配；

（7.3）当模板与轮廓图像的某一个区域的距离在一个给定的阈值范围里，则在该区域中匹配出一个对象。

4.根据权利要求1所述的基于颜色转换和编辑传播的图像季节特征增强方法，其特征在于：步骤（8）从对象库中选定一个符合指定季节特征的对象插入到场景中，根据场景中检测出来的对象尺寸，进行放缩、旋转，采用的步骤为：

（8.1）计算插入对象的目标场景中最邻近的一个对象的面积；

（8.2）在目标场景上指定一个区域，用均值漂移算法提取边界；

（8.3）调整插入对象的大小，方向，使之在视觉上合理；

（8.4）根据这个区域的大小和插入对象的大小比例，对区域进行划分多个子区域；

（8.5）在每个子区域里均生成一个同类型、方向随机变化的插入对象。

5.根据权利要求1所述的基于颜色转换和编辑传播的图像季节特征增强方法，其特征在于：步骤（9）以已经插入的对象为参考模板，结合场景图像中已找出来的重复元素的位置信息，自动地进行编辑传播采用的步骤为：

（9.1）计算出场景中其他重复元素和作为模板的对象的大小比例；

（9.2）根据步骤（8）中已插入的对象的大小和模板的比例，计算出新插入的对象的合适尺寸；

（9.3）对场景中找出的重复元素，根据将要插入的对象的大小，划分成子区域；

（9.4）将调整后的对象，插入到每一个子区域中。

6.根据权利要求1所述的基于颜色转换和编辑传播的图像季节特征增强方法，其特征在于：步骤（10）将插入的对象与目标场景图像进行颜色融合时，仅对插入对象的边界像素进行融合，避免整个插入对象的颜色发生大的改变。

7.根据权利要求1所述基于颜色转换和编辑传播的图像季节特征增强方法，其特征在于：对所有插入的对象，都进行了标定，避免了在插入到目标场景时，出现插入对象与目标场景位置、颜色等不一致的现象。

Images