CN101799931B - 基于颜色特征学习的绘画渲染方法 - Google Patents

Abstract

本发明提供了一种基于颜色特征学习的绘画渲染方法。该方法首先从数学上明确定义了一些决定参考模板颜色感情和颜色风格的颜色特征。然后针对这些特征提供了一种基于优化的学习机制，并将此优化问题抽象为一个二分图匹配模型，进而采用经典KM算法解决该问题。针对结果中可能出现的一些伪边界效应，本发明提出了一种基于图像分割的后处理技术以保证空间上连续的结果。最后在绘制过程中，本发明在传统的框架上提出了一种新的颜色混合模型，能更好的控制绘制的准确性而不用选择大量的参数。

Description

基于颜色特征学习的绘画渲染方法

技术领域

本发明是涉及一种基于参考的绘画渲染方法，具体涉及一种基于颜色特征学习的绘画渲染方法。

背景技术

随着数字娱乐越来越得到大众的青睐，计算机风格化渲染技术日益成为研究热点。然而为了将目标图像渲染为希望的风格，用户通常需要掌握并调整大量的参数，这对他们的使用是非常不便的。基于模板的计算机绘制技术一定程度上缓解了这个问题，它允许用户提供一幅额外的艺术作品作为参考模板，并按照参考模板的某些特征渲染目标图像以获得希望的风格和特征。

传统的基于模板的计算机绘制技术常致力于学习参考图像的纹理特征，并取得了一些不错的结果。而模板图像的颜色特征却很少得到关注，而颜色对某艺术作品而言，却是其非常关键的特征之一。

一些传统的颜色迁移技术可以用来将一幅图像的颜色迁移到另一幅图像中，然而这些技术仅仅强调颜色的简单迁移而从未明确定义哪些特征决定了一幅参考模板的颜色风格和感情，因此参考模板的颜色感情通常不能得到充分的表达，同时目标图像本身一些非常重要的性质，例如光影关系等也往往会遭到破坏，从而使图像失真。

发明内容

本发明的目的在于提供一种从数学上明确定义参考模板颜色特征，并在绘画渲染过程中能较好学习这种特征，没有伪边界效应，能方便的控制绘画准确性的基于参考的绘画风格渲染方法。

为达到上述目的，本发明采用的技术方案是：

1)首先对绘画作品关键的颜色特征通过数学语言对其进行明确定义；

2)然后对输入图像和参考模板的色调直方图进行块划分，将颜色特征的学习问题抽象为一个优化问题，并以二分图匹配的数学模型解决该优化问题；

3)其次通过基于分割的块融合技术处理结果中可能出现的伪边界；

4)最后通过颜色混合模型控制绘画的真实度。

其具体步骤如下：

1)将绘制作品中关键的颜色特征定义为：A.色调的分布方式，B.图像的冷暖调子，其中色调的分布方式通过色调域直方图直接获得，而图像的冷暖调子由下式定义：

$I.\mathrm{tone}=\left\{\begin{array}{cc}\frac{{M\left(I\right)}_{\mathrm{warm}}}{{M\left(I\right)}_{\mathrm{cold}}}& M{\left(I\right)}_{\mathrm{warm}}>{M\left(I\right)}_{\mathrm{cold}}\\ -\frac{{M\left(I\right)}_{\mathrm{cold}}}{{M\left(I\right)}_{\mathrm{warm}}}& {M\left(I\right)}_{\mathrm{warm}}<{M\left(I\right)}_{\mathrm{cold}}\end{array}\right.$

I.tone代表图像I的冷暖调子，而度量M(I)由下式计算：

${M\left(I\right)}_{\mathrm{cold}/\mathrm{warm}}=\underset{h\&Element;H\left(I\right)}{\mathrm{\&Sigma;}}{\mathrm{sat}}_h*\frac{{\mathrm{area}}_h}{\left|\right|h-h_{\mathrm{cold}/\mathrm{warm}}\left|\right|}$

其中M(I)_cold/warm代表图像I的冷/暖程度，h_cold/warm表示冷极或暖极的色调值，H(I)表示图像I的色调定义域，而sat_h表示具有色调值h的所有像素的平均饱和度；

2)对输入图像和参考绘画模板进行块划分的色调直方图进行块划分，并将每个块作为一个对象定义如下性质：.gravity表示本块的各分量按面积加权平均后的平均色调值；相似的，.sat表示本块的平均饱和度值；.area表示本块的归一化面积；.category表示本块在分割图像中所属的类别；.tone表示本块的冷暖调子；

3)分别对输入图像和参考模板进行步骤(2)的处理得到两个块集合：以及并将其各个节点相连构成一个图G，然后通过二分图匹配模型优化下面的能量函数来完成颜色特征的学习：

$\arg \underset{M}{\min }\underset{e_{\mathrm{uv}}\&Element;M}{\mathrm{\&Sigma;}}{C}_{e_{\mathrm{uv}}}$

其中M代表从S(I)到S(T)的一个匹配，e_uv代表这个匹配中的边，

代表每条边的权值，具体写作：

$C_{e_{\mathrm{uv}}}=b_{i_u}.\mathrm{area}*\left|\right|b_{i_u}.\mathrm{gravity}-b_{t_v}.\mathrm{gravity}\left|\right|+\mathrm{\&lambda;}*\mathrm{\&delta;}(b_{i_u}.\mathrm{tone},T.\mathrm{tone})*\left|\right|b_{i_u}.\mathrm{tone}-b_{t_v}.\mathrm{tone}\left|\right|*b_{i_u}.\mathrm{area}$

其中每个分块被当作一个对象，并使用步骤(2)中计算的性质构建能量函数。其中δ函数在

符号相同时等于-1，在它们符号不同时等于1，而λ为一个调节因子，控制色调或冷暖能量项所占权重，由用户指定；

4)通过基于分割的块融合技术处理结果中可能出现的伪边界现象：首先通过下式判断中心不连续块：

$\left|\right|b_{i_u}.\mathrm{gravity}-b_{i_{u-1}}.\mathrm{gravity}\left|\right|<t_1\mathrm{and}$

$\left|\right|M\left(b_{i_u}\right).\mathrm{gravity}-M\left(b_{i_{u-1}}\right).\mathrm{gravity}\left|\right|>K*t_1$

其中为通过步骤(3)得到的的匹配块，t₁和K为两个指定参数，然后以找到的不连续块为中心进行扩展进而得到整个不连续区域，扩展的终止条件如下：

(a)当前块与扩展块的category属性不同时；

(b)达到一个预设的阈值t₂时；

(c)扩展块碰到上一个区域的边界时；

其中各块的category属性是它们的一个标签，标示了它们在分割后的色调通道图像中所属的区域，而t₂为一个预设的参数；

5)通过颜色混合模型控制绘画的真实度：具体可由下式表示：

$C_{\mathrm{new}}\left(p\right)=(1-W)*C_{c_{\mathrm{old}}}\left(p\right)+W*C_s$

其中

为绘制前点p的颜色，C_new(p)为绘制后点p的颜色，C_s为笔画颜色，权函数W写作：

$\left\{\begin{array}{cc}(1-\mathrm{\&alpha;})*G_{\mathrm{\&sigma;}}\left(\right||d_c\left(p\right)-d_s\left(p\right)|\left|\right)& \mathrm{if}{d}_c\left(p\right)<=d_s\left(p\right)\\ 1-(1-\mathrm{\&alpha;})*G_{\mathrm{\&sigma;}}\left(\right||d_c\left(p\right)-d_s\left(p\right)|\left|\right)& \mathrm{if}{d}_c\left(p\right)>d_s\left(p\right)\end{array}\right.$

其中α为输入参数由用户指定，G_σ代表0均值，标准差为σ的归一化高斯算子，d_c(p)为与参考图像该点颜色C_r(p)的距离，而d_s(p)为C_s与C_r(p)的距离。

本发明提出了一种基于颜色特征学习的绘画渲染方法。该方法首先从数学上明确定义了一些决定参考模板颜色感情和颜色风格的颜色特征。然后针对这些特征提供了一种基于优化的学习机制，并将此优化问题抽象为一个二分图匹配模型，进而采用经典KM算法解决该问题。针对结果中可能出现的一些伪边界效应，本发明提出了一种基于图像分割的后处理技术以保证空间上连续的结果。最后在绘制过程中，本发明在传统的框架上提出了一种新的颜色混合模型，能更好的控制绘制的准确性而不用选择大量的参数。

附图说明

图1是本发明基于颜色特征学习的绘画渲染算法的流程图；

图2是显示冷暖极在色调域中位置的示意图；

图3是经过前7个步骤之后，说明伪边界效果的效果图；

图4(a)，4(b)，4(c)，是本发明提出的新颜色混合模型与文献[2]提出方法的效果对比图。

具体实施方式

下面将根据附图对本发明进行详细说明。

传统的基于参考的计算机绘制技术通常致力于模仿模板的纹理特征，而忽略了其颜色特征。然而对于一些艺术作品，其颜色特征是非常引人注目的，并对其他作品有很强的指导意义，因此对参考作品颜色方面的模拟是有必要进行的。

最近出现的一些颜色迁移的方法仅注重从一幅图像到另一幅图像的简单颜色迁移，而并未定义哪些颜色特征决定了参考作品的整体风格。因此这些方法常常会导致模板作品的感情不能得到充分表达，而一些属于输入图像本身的关键视觉特征，如光影关系等却遭到破坏。另一方面，画家作画时也并非简单拷贝真实世界的颜色，而是根据自己的需要选择合适的颜色，因此作品的感情常常由一些关键的能表现其整体的颜色风格的颜色特征表达，这些颜色特征应该被定义并学习。

针对以上情况，本发明首先从数学上明确定义了对绘画作品比较关键的颜色特征；然后提出了一种学习机制来学习参考模板的颜色特征；最后在绘制时，本发明在以前工作框架的基础上提出了一种新的颜色会和模型，从而能更方便的控制绘制过程的准确度而不用调节各种繁复的参数。

图1是本发明的流程图。如图1所示，本发明主要分为12个步骤：

步骤1：首先，输入真实图像和欲模枋模板图像，在得到用户输入的待渲染图像和参考模板图像后，分别计算其色调直方图即创建输入和参考图像的色调直方图。该直方图横轴为色调的值域，纵轴表示具有该色调值的像素数量。由色调直方图表示的色调分布被定义为需要学习的第一种颜色特征。

步骤2：对输入图像的色调通道进行分割。本步骤对输入图像的色调通道进行提取并进行分割以区分不同的物体。具体的分割方法分为两步：首先对色调图像进行meanshift滤波，具体见文献[1]：

[1]Comaniciu D，Meer P(2002)Mean shift：A robust approach toward feature space analysis.IEEE Transactions on pattern analysis and machine intelligence(5)：603-619

滤除一些较小的细节；然后采用经典的金字塔分割法对其进行图像分割，并存储所得的分割结果。

步骤3：计算两幅输入图像的冷暖调子。冷暖调子是需要学习的第二种特征，其定义如下式所示：

[式1]

$I.\mathrm{tone}=\left\{\begin{array}{cc}\frac{{M\left(I\right)}_{\mathrm{warm}}}{{M\left(I\right)}_{\mathrm{cold}}}& M{\left(I\right)}_{\mathrm{warm}}>{M\left(I\right)}_{\mathrm{cold}}\\ -\frac{{M\left(I\right)}_{\mathrm{cold}}}{{M\left(I\right)}_{\mathrm{warm}}}& {M\left(I\right)}_{\mathrm{cold}}>{M\left(I\right)}_{\mathrm{warm}}\end{array}\right.$

其中I.tone表示图像I的冷暖调子：M(I)表示图像I的冷暖程度，具体可通过下式计算：

[式2]

${M\left(I\right)}_{\mathrm{cold}/\mathrm{warm}}=\underset{h\&Element;H\left(I\right)}{\mathrm{\&Sigma;}}{\mathrm{sat}}_h*\frac{{\mathrm{area}}_h}{\left|\right|h-h_{\mathrm{cold}/\mathrm{warm}}\left|\right|}$

其中h表示图像I的色调定义域H(I)中的某一色调值；h_cold/warm表示冷极或暖极的色调值；area_h表示具有色调值h的像素在整幅图像中所占的百分比；sat_h表示具有色调值h的像素点的平均饱和度。

图2是一个示意图，它显示了本发明定义的冷极和暖极在整个色调域中的位置。

步骤4：对步骤1获得的两幅输入的直方图进行分块。为了防止后续的空间连续性处理过于复杂，需要对两幅输入直方图进行初始的分块。首先，在直方图中包含像素点数量不超过总像素点数量％0.2的色调值将被滤去，这是为了避免这些所占比重很小的颜色值对后面的结果产生不正确的影响。

然后在一个窗口中寻找最小值点。在本发明中，窗口尺寸选作1，也就是说如果一个色调值包含的像素点数量同时小于与其相邻的色调值包含的像素点数量，那么它被认为是一个极小值点。在找到所有的极小值点之后，每两个极小值点之间的部分被认为是一块。对步骤1获得的两个直方图同时做此操作完成分块。

步骤5：创建块集合，并计算每一块的5个属性。在完成了步骤4的分块之后，所有块本分为两个集合

以及

其中S(I)代表由输入图像直方图划分所得的块，S(T)代表由参考图像划分所得的块。对每个块需要计算其以下5个属性：(1).gravity。表示该块所有色调值按面积加权平均后所得的平均色调值。(2).sat。与(1)类似，表示该块的平均饱和度值。(3).area。表示该块的归一化面积。(4).category。表示该块在由步骤2所得分割图像中的类别。(4).tone。表示该块的冷暖调子。

步骤6：创建图结构，并定义边的能量。将两个块集合中的每个块当作一个节点，并两两相连，形成一个图。其中每两条边的能量由下式定义：

[式3]

$C_{e_{\mathrm{uv}}}=E_1(b_{i_u},b_{t_v})+\mathrm{\&lambda;}*E_2(b_{i_u},b_{t_v})$

其中能量项E₁表示两个块

和

之间的距离并以面积属性加权，具体的如下式所示：

[式4]

$E_1(b_{i_u},b_{t_v})=b_{i_u}.\mathrm{area}*\left|\right|b_{i_u}.\mathrm{gravity}-b_{t_v}.\mathrm{gravity}\left|\right|$

其中，

和

表示步骤5中定义的两种性质，

可以通过步骤1中的直方图方便的获得，

可以通过下式算得：

[式5]

$b_{i_u}.\mathrm{gravity}=\frac{{\mathrm{\&Sigma;}}_{h_k\&Element;H\left(b_{i_u}\right)}{h}_k*{\mathrm{area}}_{h_k}}{{\mathrm{\&Sigma;}}_{h_k\&Element;H\left(b_{i_u}\right)}{\mathrm{area}}_{h_k}}$

其中h_k表示块

中的第k个色调值。块的饱和度属性

可以通过与上式相似的方式获得，唯一的不同是将h_k换做

能量项E₂是为了鼓励输入图像的冷暖调子I.tone向着参考图像T.tone的方向靠近，具体来说可以由下式表示：

[式6]

$E_2(b_{i_u},b_{t_v})=\mathrm{\&delta;}(b_{t_v}.\mathrm{tone},T.\mathrm{tone})*\left|\right|b_{i_u}.\mathrm{tone}-b_{t_v}.\mathrm{tone}\left|\right|*b_{i_u}.\mathrm{area}$

其中T.tone可由[式2]算得，和

可通过相似的方式获得，而唯一的不同是它们定义在一个块的色调定义域内，并且[式2]中的各变量：sat_h，area_h和h由

以及

代替。函数

在

和T.tone具有相同的符号时等于-1，反之等于1。

步骤7：寻找一个能量最小的匹配。一个匹配是指某一图结构的子图，在这一子图中没有两条边共享一个顶点。这一步骤中，需要寻找步骤6所获得的图结构的一个匹配，使得该匹配中所有边的能量和最小，这意味着通过最小的代价完成了对模板颜色特征的模拟。本发明采用经典KM算法寻找这一能量最小匹配。

图3是一个中间效果图。经过以上7个步骤之后，已经能基本完成颜色特征的学习，但对部分图像可能会出现空间上的不连续效果，即伪边界，如图3所示。造成这种现象的原因是原来距离相近的两个块经过匹配后距离拉远，从而在一些渐变区域会出现突变的边界。因此需要步骤8，步骤9和步骤10阐述的后处理技术来改善这种效果。

步骤8：检测不连续区域的中心块。伪边界主要由各不连续区域构成，为了检测各不连续区域，首先需要检测它们各自的中心块。具体的，当块

和

满足下式所示条件时，被认为是一对中心块：

[式7]

$\left|\right|b_{i_u}.\mathrm{gravity}-b_{i_{u-1}}.\mathrm{gravity}\left|\right|<t_1\mathrm{and}$

$\left|\right|M\left(b_{i_u}\right).\mathrm{gravity}-M\left(b_{i_{u-1}}\right).\mathrm{gravity}>K*t_1\left|\right|$

其中K和t₁为两个用户输入的参数，在本发明中通常将它们设置为t₁＝5，K＝2。

步骤9：向中心块的两侧扩展以检测整个不连续区域。通过步骤8获得一些中心块后，对每一对中心块向两侧扩展以得到整个不连续区域。

步骤10：每进行一次扩展，判断其是否满足本步骤给出的扩展终止策略，如果满足，那么扩展终止，进行步骤11；如果不满足，返回步骤9。当扩展过程满足下列条件之一时扩展终止：

1.当前块和扩展块的category属性不同时；

2.当达到一个预设的阈值t₂时；

3.当碰到上一个不连续区域的边界时；

一个块的category属性表示，在步骤2获得的分割图像中，该块属于哪一个部分。

步骤11：得到最终匹配并修改输入图像每个像素点的色调值。根据步骤10获得的各个不连续区域的组成块后，将这些块进行合并形成一个新的块，该新块的所有5个属性被重新计算，其匹配块被分配为组成块中面积属性最大的块的匹配块。对输入图像的个像素点，它们的色调值依据其所属块到匹配块的移动距离进行相应的变化，从而完成整个学习过程。

步骤12：在以前的绘制框架下采用新的颜色混合模型进行绘制。本步骤主要是绘制过程，并沿用了前人提出的绘制框架，具体参见文献：

[2]Hertzmann A(1998)Painterly rendering with curved brush strokes of multiple sizes.In：Proceedings of SIGGRAPH 1998，pp 453-460.

[3]Hertzmann A(2002)Fast paint texture.In：Proceedings of the international symposium onNon-Photorealistic Animation and Rendering 2002，pp 91-96.

[4]Hays J，Essa I(2004)Image and video based painterly animation.In：Proceedings of theinternational symposium on Non-Photorealistic Animation and Rendering 2004，pp 113-120

本发明在此基础上提出了一种新的颜色混合模型能更好的控制绘制过程的真实度和准确度。具体来说，如下式所示：

[式8]

C_new(p)＝(1-W)*C_old(p)+W*C_s

其中C_new(p)表示待渲染像素点的新颜色，C_old(p)表示其渲染前的颜色，C_s为笔画颜色，W为一个权值，可通过下式计算：

[式9]

$\left\{\begin{array}{cc}(1-\mathrm{\&alpha;})*G_{\mathrm{\&sigma;}}\left(\right||d_c\left(p\right)-d_s\left(p\right)|\left|\right)& \mathrm{if}{d}_c\left(p\right)\&le;d_s\left(p\right)\\ 1-(1-\mathrm{\&alpha;})*G_{\mathrm{\&sigma;}}\left(\right||d_c\left(p\right)-d_s\left(p\right)|\left|\right)& \mathrm{if}{d}_c\left(p\right)>d_s\left(p\right)\end{array}\right.$

其中d_c(p)和d_s(p)分别表示C_old(p)和C_s与待渲染图像该点的颜色距离。参数α为用户指定参数，用来控制绘画渲染的真实程度。越大的α值意味着越真实的结果。G_σ代表0均值，标准差为σ的归一化高斯算子。严格的说，σ应该取作max(||d_c(p)-d_s(p)||)/2，本发明采用一种近似的方案

$\mathrm{\&sigma;}=\sqrt{{255}^2+{255}^2+{255}^2}/2.$

图4是一张效果图，显示了采用本发明与文献[2]的优势。其中图4(a)是采用文献[2]的方法得到的结果，若想获得更真实的绘制结果，需要调整大量参数。图4(b)和图4(c)是本发明提出的新颜色模型在不同参数σ下的结果，对图4(b)σ＝0.95，对图4(c)σ＝0.99。

如上所述，本发明提出了一种基于颜色特征学习的绘画渲染方法，它从数学上明确定义参考模板颜色特征，并在绘画渲染过程中能较好学习这种特征，没有伪边界效应，从而模拟参考模板希望表达的颜色感情，而在此过程中，输入图像本身的一些较关键的视觉特征可以得到良好的保持。在绘制时，本发明提供了一种新的颜色模型能更方便的控制绘画准确性，而不用调整大量复杂的参数。

尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解，在不脱离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变，增删。

Claims (1)

1.一种基于颜色特征学习的绘画渲染方法，包括以下步骤：

1)首先对绘画作品关键的颜色特征通过数学语言对其进行明确定义；

将绘制作品中关键的颜色特征定义为：A.色调的分布方式，B.图像的冷暖调子，其中色调的分布方式通过色调域直方图直接获得，而图像的冷暖调子由下式定义：

I.tone代表图像I的冷暖调子，而度量M(I)由下式计算：

其中M(I)_cold/warm代表图像I的冷/暖程度，h_cold/warm表示冷极或暖极的色调值，H(I)表示图像I的色调定义域，而sat_h表示具有色调值h的所有像素的平均饱和度；

2)然后对输入图像和参考模板的色调直方图进行块划分，将颜色特征的学习问题抽象为一个优化问题，并以二分图匹配的数学模型解决该优化问题；

2-1)对输入图像和参考绘画模板进行块划分的色调直方图进行块划分，并将每个块作为一个对象定义如下性质：.gravity表示本块的各分量按面积加权平均后的平均色调值；相似的，.sat表示本块的平均饱和度值；.area表示本块的归一化面积；.category表示本块在分割图像中所属的类别；.tone表示本块的冷暖调子；

2-2)分别对输入图像和参考绘画模板进行步骤2-1)的处理得到两个块集合： 

以及 

并将其各个节点相连构成一个图G， 然后通过二分图匹配模型优化下面的能量函数来完成颜色特征的学习：

其中M代表从S(I)到S(T)的一个匹配，e_uv代表这个匹配中的边， 

代表每条边的权值，具体写作：

其中每个分块 被当作一个对象，并使用步骤(2)中计算的性质构建能量函数；其中δ函数在 

T.tone符号相同时等于-1，在它们符号不同时等于1，而λ为一个调节因子，控制色调或冷暖能量项所占权重，由用户指定；

3)其次通过基于分割的块融合技术处理结果中可能出现的伪边界；

首先通过下式判断中心不连续块：

and

其中M 

为通过步骤2-2)得到的 

的匹配块，t₁和K为两个指定参数，然后以找到的不连续块为中心进行扩展进而得到整个不连续区域，扩展的终止条件如下：

(a)当前块与扩展块的category属性不同时；

(b)达到一个预设的阈值t₂时；

(c)扩展块碰到上一个区域的边界时；

其中各块的category属性是它们的一个标签，标示了它们在分割后的色调通道图像中所属的区域，而t₂为一个预设的参数；

4)最后通过颜色混合模型控制绘画的真实度：具体可由下式表示：

其中 

(p)为绘制前点p的颜色，C_new(p)为绘制后点p的颜色，C_s为笔画颜色，权函数W写作： 

其中α为输入参数由用户指定，G_σ代表0均值，标准差为σ的归一化高斯算子，d_c(p)为 

(p)与参考图像该点颜色C_r(p)的距离，而d_s(p)为C_s与C_r(p)的距离。 

Images