CN105719327A - 一种艺术风格化图像处理方法 - Google Patents

Abstract

本发明公开了一种艺术风格化图像处理方法，包括：对输入的真实图像，进行简约图表达生成处理；对简约图表达生成处理的结果，进行与或图表达生成处理；对与或图表达生成处理的结果，进行笔触分布图生成处理，得到所需图像。本发明所述艺术风格化图像处理方法，可以克服现有技术中分层效果差、渲染不灵活性和人工交互操作复杂等缺陷，以实现分层效果好、渲染灵活和人工交互操作简单的优点。

Description

一种艺术风格化图像处理方法

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种艺术风格化图像处理方法。

背景技术

非真实感绘制指的是利用计算机生成不具有照片般真实感，而是具有手绘风格的图形的技术。其目标不在于图形的真实性，而主要在于表现图形的艺术特质、模拟艺术作品(甚至包括作品中的缺陷)或作为真实感图形的有效补充。非真实感绘制主要模拟画种有油画、水彩画、钢笔画、铅笔画、水墨画和卡通动画。采用这种基于计算机模拟绘制的手段，可以极大减少人工的参与，降低绘制成本，提高艺术风格作品的普及程度。

目前非真实感绘制的主要技术是基于真实图像的艺术风格转化，从而使结果看起来类似于艺术家的手绘效果。由于油画在绘画领域中的重要地位，多种真实图像转换为油画艺术风格的方法被提出来，其中的大多数方法均适用于采用油彩颜料为原料的绘画种类，如水粉、水彩、丙烯画等。目前油画艺术风格的模拟多为基于笔触方法的模拟，在笔触建模方面，主要考虑的是笔触长度、宽度、位置、角度、笔触颜色等基本信息，这些参数最早由Haeberli提出，个别算法又添加了笔触高度信息；在笔触绘制顺序方面，主要采用的有高斯金字塔分层、用户交互式分层以及根据笔触面积决定绘制优先级等方法；在笔触生成方面，现在主要的方法均为基于笔触纹理的图像变形(ImageWarping)算法。基于笔触模拟方法的核心问题在于笔触的摆放位置，根据笔触摆放位置参考依据的不同可以将现有笔触类算法分为两类：基于图像梯度方向场的艺术风格化算法和基于图像矩的艺术风格化算法。

1.基于图像梯度方向场的笔触类艺术风格化算法总结

Litwinowicz提出了一种印象主义风格的图像处理方法；Hertzmann提出了一种由粗到精的图像多层高斯模糊叠加方法，每层应用不同的高斯核半径和不同的笔触半径，较小笔触半径生成的图片叠加到较大半径的图片上，从而模拟油画的层层绘制效果，在笔触模拟方面，Hertzmann根据图像梯度方向场和样条线技术实现了图像绘制的弯曲笔触模拟；另外，Hertzmann还提出了基于图像高度图的光照模型渲染方法，来模拟油画的凹凸纹理效果；本课题组成员朱松纯等在Hertzmann研究成果的基础上，提出了基于图像内容理解的油画模拟方法，通过人工交互，标注图像不同区域内容，例如天空、山石、布料等，并根据图像内容采用不同的纹理笔刷，该方法借鉴了徐迎庆在山水画模拟中的基于纹理的笔刷生成算法，并结合了Hertzmann的光照渲染模拟油画凹凸效果的方法，在人工交互模拟油画绘制方面取得了极大的进步，但是自动绘制部分增加了像素分布密度、像素聚合程度、笔触排列规律性、笔刷粗细、笔触尺寸对比度、笔触颜色对比(HSV三通道分别对比)等8个参数，对于不同输入图像其参数调节过于复杂，输出结果往往与预期不符，灵活性不够；黄华等基本沿用了Hertzmann的算法，但是对每个高斯模糊层使用单一笔触尺寸等方法做了改进，其根据图像画面的疏密特征在每个图层上进行了图像分块，每块采用不同的笔触大小，从而使笔触大小更为随机，此外黄华对于光照模型也做了一定改进。

综上，基于图像梯度方向场的笔触模拟算法一般采用了图像分层、笔触模拟、高度图渲染三个步骤：

1.图像分层

主要采用的有高斯金字塔分层和基于GrabCut的交互分层两种方法。

高斯金字塔分层方法为，由原始图像与不同卷积尺度高斯核做卷积产生一系列高斯金字塔参考图像，作为绘制油画过程中进行多层绘制的各层参考，其中高斯核卷积尺度与油画笔划半径大小成正比，典型的油画笔划半径大小依次为8、4、2个像素距离，图1为不同半径的高斯分层结果。(a1)、(a2)、(a3)为高斯模糊参考层，(b1)、(b2)、(b3)为笔触绘制层。

图1为高斯分层结果。左侧为高斯模糊后的参考图像，对于参考图像求梯度方向来得到笔触位置等信息，进而可进行笔触的绘制，笔触半径(高斯核半径)从上到下依次为8，4，2。

另一种常见的分层方法为基于GrabCut的交互分层。GraphCut是一种十分有用和流行的能量优化算法，在计算机视觉领域普遍应用于前背景分割(ImageSegmentation)、立体视觉(stereovision)、抠图(Imagematting)等，GrabCut是对其的改进版，是迭代的GraphCut。该算法通过用户的简单标注，就可以快速实现目标图像的分割，可以将一张图像拆分为背景层、人物层、树木层等，图2为GrabCut交互分层结果。

2.笔触模型参数确定

笔触模型的核心参数为笔触宽度、笔触长度、笔触位置、笔触纹理和笔触方向等参数。在笔触方向上的典型做法是基于图像梯度方向图来获得的。可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导。图像梯度计算公式为：

G(x，y)＝dx(i，j)+dy(i，j)；

dx(i，j)＝I(i+1，j)-I(i，j)；

dy(i，j)＝I(i，j+1)-I(i，j)

其中，I是图像像素的值(如：RGB值)，(i,j)为像素的坐标。图像梯度一般也可以用中值差分：

以某个像素为起点，沿垂直于该点梯度的方向，可以形成满足约束条件的笔触路径，而后对于笔触路径进行样条化处理，即可得到弯曲笔触，如图3所示。

图3弯曲笔触绘制轨迹的确定。(a)高斯模糊后得到的图像某个像素点；(b)计算该点的梯度方向，沿垂直于梯度方向添加笔触路径；(c)重复这一过程。

图4、图5、图6为已有的弯曲笔触模拟效果。图4为Herzman的弯曲笔触模拟效果：(a)为源图像(b)为模拟图像。图5为弯曲笔触模拟效果(a)Litwinowicz(b)HaysandEssa(c)黄华。图6为朱松纯、赵明天等的弯曲笔触模拟效果。图7为朱松纯等所制作的单笔笔触纹理。

在笔触大小方面，主要根据像素分布密度来决定，一般像素分布稀疏的区域，笔触较大，像素分布密集的区域，笔触较小。在笔触纹理方面，目前的主要做法为纹理采样，预先定义好笔刷库模型，利用样条曲线变化，对预先定义的笔刷进行变形，从而实现油画笔刷效果模拟。单笔笔触纹理如图7所示。

3.高度图渲染

由于油画材料的特殊性，人工绘制的油画一般都有一定的笔触厚度，为了模拟这种效果，可以在现有图像结果上生成图像高度图，而后利用光照计算模型模拟高度信息，典型的光照模型有Phong模型、Cook-Torrance模型等。

Phong着色模型是将物体表面的光反射看成是环境光的反射之和与光源直接有关的漫反射及镜面反射的组合。从数学上讲就是将反射的总能量看做是光环境的强度，点光源的强度乘以三个不同的系数后相加的和。这三个系数分别是代表物体表面反射环境光、产生漫反射和产生镜面反射的能力。镜面反射公式为：

k_s为材质的镜面反射系数，n_s是高光指数，V表示从顶点到视点的观察方向，R代表反射光方向。

高光指数反映了物体表面的光泽程度。n_s越大，反射光越集中，当偏离反射方向时，光线衰减的越厉害，只有当视线方向与反射光线方向非常接近时才能看到镜面反射的高光现象，此时，镜面反射光将会在反射方向附近形成亮且小的光斑；n_s越小，表示物体越粗糙，反射光分散，观察到的光斑区域小，强度弱。将镜面反射与漫反射，环境光一起使用，就能使得物体更具有真实感。Hertzmann应用Phong模型的渲染效果如图8所示。图8为应用Phong光照模型的渲染效果，(a)源图像，(b)高度场，(c)凹凸纹理效果。

2.基于图像矩的笔触类艺术风格化算法总结

基于图像矩的艺术风格化算法由MichioShiraishi首先提出，将图像艺术风格化模拟分为两个步骤：预处理及笔触组合。在预处理部分，通过颜色差分图的零阶矩、一阶矩和二阶矩来计算笔触的尺寸和方向，通过计算以某个像素点为中心的大小为s的图像子区域的零阶矩来生成笔触面积图，从而估计笔触分布，并按笔触尺寸大小排序，以决定笔触的绘制顺序；在笔触组合部分，采用了Alpha混合来进行笔触的叠加模拟。Nehab等采用对该算法进行了一定改进，采用多尺度图像矩叠加的形式，来生成不同大小的笔触，从而增加画面笔触的随机效果。该方法步骤归纳如下：

1.预处理阶段

该阶段的指导思想为让不同的笔触遍布整块画布，细节由小的笔触去表现，平滑的区域由大的笔触去表现。在预处理阶段，通过颜色差分图来决定笔触位置、方向、尺寸，并按尺寸大小生成笔触绘制列表，此外，通过笔触面积图来估计笔触分布情况。

颜色差分图生成过程为：1)用户指定图像的子区域尺寸s(子区域为以某个像素点为中心的正方形)；2)求该子区域与预设的笔触颜色之间的距离，并将该距离由一张灰度图像表示；3)灰度图像某个像素的值越大，则表示该像素越接近笔触颜色，反之，则表示该像素远离笔触颜色，如图9所示。图9为假设笔触颜色为白色，则颜色差分图中前景物体的亮度值高，代表前景物体接近预设值的颜色，背景的亮度值地，代表背景与预设笔触颜色差距较大，图片来源；(a)图像子区域，(b)颜色差分图。

继续对颜色差分图求矩，通过如下公式可以计算得到该区域的笔触位置(x_c，y_c),笔触大小(w，l)和方向θ，生成结果如图10所示。图10为求得的笔触大小和方向。

其中a,b,c定义如下：

笔触面积图的生成是通过遍历图像中的每个像素，计算以该像素为中心的大小为s的图像子区域w和该像素的颜色值为参数的颜色差分图D(C_w，C_p)，并计算该颜色差分图的零阶矩，由此，笔触面积图为图像尺寸w·h大小的矩阵，其中，某个像素P(x,y)的值如下式所示，笔触面积图结果如图11(a)所示。

V_P(x，y)＝m₀₀(D(C_w，C_p)_xy)

在笔触面积图的基础上，可通过图像抖动算法来初始化笔触位置采样点，在中，通过空间填充Murray多边形的方法的方法实现了笔触位置采样点的设置，如图11(b)所示。图11(a)为笔触面积分布图，高亮区域表示平滑笔触，深色区域表示细节笔触，(b)笔触位置分布图，平滑的区域笔触较少，细节区域笔触较多，图片来源。在得到笔触分布后，针对每个采样点，用颜色差分图求矩的方法，即可得到笔触大小、颜色、方向、位置，从而按笔触大小生成笔触绘制列表。

2.绘制阶段

在绘制阶段，主要是笔触的混合模拟，一般采用Alpha混合方式，混合公式为：

I_dst＝α·I₁+(1-α)·I₂

最终生成结果如图12所示。图12为基于图像矩的艺术风格化算法结果，(a)原图，(b)s＝25结果，(c)s＝15结果，(d)和(e)多尺度图像矩的艺术风格化算法结果。

在真实图像油画艺术风格模拟中，一般有两种典型模拟方法，分别为基于物理模拟的方法和基于笔触模拟的方法，以上各种方法基本采用了基于笔触模拟的方法，其中图像梯度方向或图像的矩是笔触摆放的主要参考依据，由于图像梯度方向对于图像噪声比较敏感，而且图像梯度方向忽略了彩色图像的颜色信息，这种模拟效果还是过于规则化，人眼很容易区分是手绘的还是计算机模拟的，如图1至图3所示。此外，即使增加了高度信息来模拟油画凹凸纹理，如图5所示，其和油画颜料堆积而形成的纹理效果还是有很大差别的，肉眼可以轻易分辨出来，采用图像矩方法过于注重图像的局部区域信息，笔触尺寸基本小于25个像素，否则笔触将无法铺满整个画布，所以以上计算机模拟的效果和手绘油画效果均有较大差别，尚不能完全替代手工油画绘制过程，即使有产品面世，目前也尚未有较大的影响力。

在实现本发明的过程中，发明人发现现有技术中至少存在分层效果差、渲染不灵活性和人工交互操作复杂等缺陷。

发明内容

本发明的目的在于，针对上述问题，提出一种艺术风格化图像处理方法，以实现分层效果好、渲染灵活和人工交互操作简单的优点。

为实现上述目的，本发明采用的技术方案是：一种艺术风格化图像处理方法，包括：

a、对输入的真实图像，进行简约图表达生成处理；

b、对简约图表达生成处理的结果，进行与或图表达生成处理；

c、对与或图表达生成处理的结果，进行笔触分布图生成处理，得到所需图像。

进一步地，所述步骤a，具体包括：

a1、应用基于颜色的均值漂移聚类算法，对输入的真实图像进行颜色聚类；

a2、考虑图像的颜色信息，将颜色聚类处理后的图像，从RGB空间转换到HSV空间；

a3、在HSV空间，采用二值化分割方法对颜色聚类处理后的图像进行图像分割处理；

a4、将图像分割的结果与预先定义的绘画纹理进行合成，再扫描到计算机中形成纹理图库，在合成中根据画面内容能够自适应选取合适的纹理，然后将分割结果与绘画纹理进行叠加，设A为绘画纹理图层，B为分割图像层，生成结果为C，叠加公式为：

纹理合成。

进一步地，在步骤a1中，所述对输入的真实图像进行颜色聚类的操作，具体包括：

根据空间变量设定一个空间半径，根据颜色变量设定一个颜色半径；当均值漂移窗口移动时，经过窗口变换后收敛到数据峰值的所有点都会连通起来，并且属于该峰值；

计算点x的概率密度：以x为圆心，以h为半径，落在球内的点为x_i，定义二个模式规则：

(1)x像素点的颜色与x_i像素点颜色越相近，定义概率密度越高；

(2)离x的位置越近的像素点x_i，定义概率密度越高；

定义总的概率密度，是二个规则概率密度乘积的结果，用下式表示：

其中代表空间位置的信息，离远点越近，其值就越大表示颜色信息，颜色越相似，其值越大。

进一步地，在步骤a2中，所述从RGB空间转换到HSV空间的公式为：

max＝max(R，G，B)；min＝min(R，G，B)

V＝max。

进一步地，所述步骤b，具体包括：

b1、对简约图表达生成处理的结果，通过根据目标物体属性不断分解节点和选择节点，搜索的过程是不断逼近目标物体属性的过程，最终得到一系列与目标物体属性匹配的子模板，将这些子模板按照分解过程中建立的关系组合起来，构成目标物体的组合式模板；

b2、不断求解最优迭代阈值，将以迭代最优的区域设置为与节点，尚未迭代最优的区域设置为或节点，得到最优化的绘画细节层次表现效果。

进一步地，所述步骤b2，具体包括：

对应待处理的图像子区域，设输入图像矩阵为R，上层聚类结果集为P，本层聚类结果集为Q，设颜色空间半径为cr,像素空间半径为pr，金字塔层级为pyr，均值漂移聚类函数为M，对应步骤如下：

1)求上层聚类结果P＝M(R，cr₁，pr₁，pyr₁)；

2)求本层聚类结果Q＝M(R，cr₂，pr₂，pyr₂)；

3)对两层聚类结果求聚类距离d＝||Q-P||；

4)通过深度学习算法来判断d是否为最优值，若为最优解则该区域加入与节点；

5)否则，求聚类结果差s＝Q-P，并将该子区域设置为或节点，继续参与迭代计算。

进一步地，所述步骤c，具体包括：

对与或图表达生成处理的结果进行轮廓检测；

在轮廓检测结果基础上，应用基于笔刷样本的方法，将笔刷图像根据轮廓路径变形，在前两层图像上覆盖一层绘画笔触效果。

本发明各实施例的艺术风格化图像处理方法，由于包括：对输入的真实图像，进行简约图表达生成处理；对简约图表达生成处理的结果，进行与或图表达生成处理；对与或图表达生成处理的结果，进行笔触分布图生成处理，得到所需图像；从而可以克服现有技术中分层效果差、渲染不灵活性和人工交互操作复杂的缺陷，以实现分层效果好、渲染灵活和人工交互操作简单的优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明艺术风格化图像处理方法示意图。

图2(a)人脸、胳膊，(b)头发，(c)衣服，(d)树木，(e)背景。

图3为弯曲笔触绘制轨迹的确定图，(a)高斯模糊后得到的图像某个像素点；(b)计算该点的梯度方向，沿垂直于梯度方向添加笔触路径；(c)重复这一过程；

图4为Herzman的弯曲笔触模拟效果，(a)为源图像，(b)为模拟图像；

图5为弯曲笔触模拟效果；(a)Litwinowicz，(b)HaysandEssa，(c)黄华；

图6为朱松纯、赵明天等的弯曲笔触模拟效果；

图7为朱松纯等所制作的单笔笔触纹理；

图8为应用Phong光照模型的渲染效果，(a)源图像，(b)高度场，(c)凹凸纹理效果；

图9为假设笔触颜色为白色，则颜色差分图中前景物体的亮度值高，代表前景物体接近预设值的颜色，背景的亮度值地，代表背景与预设笔触颜色差距较大，图片来源；(a)图像子区域，(b)颜色差分图；

图10(a)为求得的笔触大小示意图，图10(b)为求得的笔触方向示意图；

图11(a)为笔触面积分布图，高亮区域表示平滑笔触，深色区域表示细节笔触，(b)笔触位置分布图，平滑的区域笔触较少，细节区域笔触较多，图片来源；

图12为基于图像矩的艺术风格化算法结果，(a)原图，(b)s＝25结果，(c)s＝15结果，(d)和(e)多尺度图像矩的艺术风格化算法结果；

图13为本发明中发明人手绘的一些艺术作品；

图14为本发明中基于心理认知模型的艺术风格化绘制3G框架图，(a)为简约图表达示例图，(b)、(c)为与或图表达示例图，(d)、(e)为笔触分布图表达示例图；

图15为本发明中简约图中的颜色关系表达示例图，(a)为输入图像，(b)为图像的颜色关系聚类；

图16为本发明中图像简约图生成结果示例图；

图17为本发明中图像细节层次不断细化为图像细节解析树图；

图18为本发明中简约图与与或图生成结果的叠加示例图；

图19为本发明中长直线轮廓检测结果图；

图20为本发明中长直线笔触叠加效果图；

图21为本发明中短轮廓线检测结果图；

图22为本发明中短笔触添加效果图；

图23为本发明中笔触分布示意图；

图24为本发明中细节深入刻画操作界面；

图25为本发明中细节刻画后的艺术风格化处理结果；

图26为本发明中基于Three-Graph统一框架的仿古典油画风格全自动绘制处理结果；

图27为本发明中Three-Graph艺术风格处理流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

根据本发明实施例，如图13-图27所示，提供了一种艺术风格化图像处理方法，具体涉及一种真实图像自动转换为油彩颜料类画种(包括油画、丙烯画、水粉、水彩)艺术风格的技术，属于图形图像处理技术领域，具体细分为非真实感绘制技术领域。

针对目前真实图像油彩颜料类艺术风格转换的方法，本发明主要解决的技术问题有：

1.图像分层算法过于强调图像局部处理而忽略图像整体关系的问题

现有算法一般是以像素为单位，一般考虑某个像素点周围的一个小区域来确定笔触模型及其参数，在某些算法中，虽然对图像进行了全局考虑，例如Hertzmann提出的由粗到精分层绘制方法，本课题组成员朱松纯提出的图像前后背景分层与内容理解等，但是这些图像整体关系仍然局限在技术领域，和进行图像模式识别、视频监控等领域的分析方法并无二致，没有深入分析艺术行业的独有分析规律，例如图像色彩关系、物体明暗关系、物体空间关系等，从软件工程角度来讲，现有算法均过于注重代码实现而忽略了实现与需求分析的一致性。所以本发明将更关注绘画认知心理过程的建模与艺术风格化处理统一框架的建立，在处理好图像整体关系的基础上再应用现有的图像局部处理成果。

2.油画等绘画笔触在图像渲染过程中的排列组合过于单调呆板的问题

在已有方法中，对于绘画笔触效果的模拟，关注重点均为单一笔触效果的逼真程度，而在这些笔触组合方面，一般采用了图像梯度方向场作为指导依据，即使单一笔触效果再逼真，组合在一起的规律性也很难令人信服地认为这是一副手工绘制的艺术作品。因此，本发明将更关注模拟绘画笔触组合后的效果，即多个笔触反复叠加、罩染而形成的颜料纹理生成算法，及其与真实图像的合成。

3.艺术风格化处理处理参数较多，人工交互操作复杂的问题

目前，在油彩颜料类艺术风格化自动转换算法中，采用了较多参数，这些参数的排列组合产生了无数可能结果，导致的问题是，对于一副图像，调整参数的时间超过了用户能承受的心理预期，若对输出结果不满意，重新调整仍旧较为费时，对用户本身的艺术修养要求较高。在生活节奏明显加快的今天，过于繁琐的操作方法和转换效率导致了已有方法很难为大众所接收，成为真正的消费产品，从而不利于产品开发和产业化推广。本发明定位为艺术风格化系统研发、成果转化及产业化推广，因此算法目标为力争做到最少交互，快速将图像转换为多种绘画艺术风格，从而方便产品的多平台移植和市场推广。

本发明的技术方案：

如前所述，现有的艺术风格化处理方法其经验来源一般都是视频监控、目标跟踪等传统处理方法，忽略了对艺术行业本身的深度分析，为此，本发明在实地调研、艺术家访谈等常规分析方法的基础上，进一步亲身学习和实践艺术创作过程，图13为发明人手绘的一些艺术作品，相对于只是从美学书籍或美术展中去感受艺术作品，我们的实践方法更利于深度理解艺术规律。

通过对艺术规律的分析，我们建立了绘画过程的心理认知模型，并根据该模型提出了一种新的油彩颜料类艺术风格化处理框架，包括油画、水彩、水粉和丙烯画等，如图14所示。其中简约图表达层主要用于标识图像总体关系，包括图像色彩、空间、明暗等关系；与或图表达层处理图像细节迭代优化，通过内容理解与神经网络的深度学习等算法，对图像的不同内容产生不同的细节优化结果；笔触分布图表达层主要利用笔触算法深入刻画图像，以往的算法基本都是直接处理本层次的内容，因此本框架兼容并蓄，既包含了已有算法成果，又可以在本框架下指导新的算法研发过程。图14为基于心理认知模型的艺术风格化绘制3G(ThreeGraph)框架：

1.简约图表达

图像简约图主要生成图像的色彩关系、物体空间关系、物体明暗关系，对于油彩颜料类的绘画画种，色彩关系是首要考虑的参数，这是以往研究算法中所忽视的一个重要参数，因此可以考虑颜色聚类(K-MeansMeanShift)、基于色调的图像分割等算法来形成图像的色彩关系，对于物体空间关系及明暗关系，可以采用纹理合成算法来进行表现，而图像抖动和图像解译算法则可以从整体上更好地生成图像的简约图模型。

一种典型的图像简约图表达算法生成步骤为颜色聚类，HSV空间转换，图像分割，纹理合成等。

步骤1、颜色聚类

在图像色彩关系简约图生成过程中，本发明首先应用了基于颜色的均值漂移(MeanShift)聚类算法，该算法最早由Fukunaga等人于1975年在一篇关于概率密度梯度函数的估计中提出，Comaniciu等人把MeanShift成功的运用的特征空间的分析中，在图像平滑和图像分割中MeanShift都得到了很好的应用。

通过给出一组多维数据点，其维数是(x,y,r,g,b)，其中(x,y)为像素坐标，(r,g,b)为某像素点的颜色值，均值漂移可以用一个窗口扫描空间来找到密度最高的“聚块”。由于空间变量(x,y)的变化范围与颜色变化范围有极大的不同，所以，均值漂移对不同的维度要用不同的窗口半径。在这种情况下，我们要根据空间变量设定一个空间半径(spatialRadius)，根据颜色变量设定一个颜色半径(colorRadius)。当均值漂移窗口移动时，经过窗口变换后收敛到数据峰值的所有点都会连通起来，并且属于该峰值。这种所属关系，在比例金字塔的调解下，可以形成不同程度的颜色蔟，类似画家绘画时首先铺设的画面颜色大体关系。

MeanShift算法在运图像上的聚类应用如下：

一般一个图像就是个矩阵，像素点均匀的分布在图像上，就没有点的稠密性，所以怎样来定义点的概率密度，这才是最关键的。

如果我们计算点x的概率密度，采用的方法如下：

以x为圆心，以h为半径，落在球内的点为x_i，定义二个模式规则：

(1)x像素点的颜色与x_i像素点颜色越相近，定义概率密度越高；

(2)离x的位置越近的像素点x_i，定义概率密度越高。

所以定义总的概率密度，是二个规则概率密度乘积的结果，可用下式表示：

其中代表空间位置的信息，离远点越近，其值就越大表示颜色信息，颜色越相似，其值越大。

在这里，我们选取空间半径(spatialRadius)为40，颜色半径(colorRadius)为40，金字塔层数为5，得到的颜色聚类效果如图15所示。图15为简约图中的颜色关系表达，(a)输入图像，(b)图像的颜色关系聚类。

步骤2、HSV空间转换

本算法与之前工作的最大不同在于考虑了图像的颜色信息，而非灰度信息，因此相比于RGB空间，HSV空间的色调更适合于进行图像的分割。HSV即色相、饱和度、明度，色相(H)是色彩的基本属性，就是平常所说的颜色名称，如红色、黄色等；饱和度(S)是指色彩的纯度，越高色彩越纯，低则逐渐变灰，取0-100％的数值；明度(V)，取0-100％。RGB到HSV空间的转换公式为：

max＝max(R，G，B)；min＝min(R，G，B)

V＝max

步骤3、图像分割

以上的颜色聚块，最终是为图像分割服务，进行颜色分割的目的是为了防止绘画纹理与图像叠加时，不同物体之间采用同一纹理而导致生成结果过于单调，对于分割后的图像块采用不同绘画纹理，可以增加绘画效果的随机性，并且各个物体的边缘也得以区分。

在图像分割中，我们尝试了自动分水岭分割算法、水漫算法等，结合过分割的约束控制，对于H通道进行分割，均取得了不错的效果。针对嵌入式芯片和移动操作系统，以上分割算法过于占用CPU负载和内存空间，因此采用二值化分割，实验证明也能取得不错的画面效果。

步骤4、纹理合成

图16图像简约图生成结果，我们将图像分割的结果与预先定义的绘画纹理进行合成，这些绘画纹理可以由画家事先通过画笔、画刀等各种工具在画布、纸张、木板等材料上制作完成，然后扫描到计算机中形成纹理图库，在合成中根据画面内容可自适应选取合适的纹理，例如平滑背景选择大块纹理，绿色树木区域选择细腻笔触纹理，而后将分割结果与绘画纹理进行叠加，设A为绘画纹理图层，B为分割图像层，生成结果为C，叠加公式为：

纹理合成后的图像简约图处理结果如图16所示。

2.与或图表达

与或图模型是一种层状组合式模型，被广泛用于AI搜索，与或图中每个叶子(Leafnode)节点代表了一个子模板，不同的叶子节点代表不同类别的子模板，它们继承了父节点的属性和相互关系，并具有自身的特点，是与或图自上而下搜索的终点。叶子节点以外的节点被分为与节点(Andnode)和或节点(Ornode)，其中与节点是一种组合式节点，代表一种组合式模板，基于分解的思想与节点被分解为一系列具有“与”关系的子节点，这些子节点必须同时存在，与节点的存在使得与或图的结构得到扩展；或节点的每个子节点对应一种选择性分支，各子节点之间存在“或”关系，每次只有一个分支被选中。通过自上而下对与节点进行扩展，对或节点的分支进行选择，我们得到物体的一个实例，称为解析树。与或图可以被看做一个母模板，通过根据目标物体属性不断分解节点和选择节点，搜索的过程是不断逼近目标物体属性的过程，最终得到一系列与目标物体属性匹配的子模板，将这些子模板按照分解过程中建立的关系组合起来，构成目标物体的组合式模板，这个过程也是建立解析树的过程。

以此为指导，我们不断求解最优迭代阈值，将以迭代最优的区域设置为与节点，尚未迭代最优的区域设置为或节点，从而得到最优化的绘画细节层次表现效果，具体如下：

对应某个图像子区域，设输入图像矩阵为R，上层聚类结果集为P，本层聚类结果集为Q，设颜色空间半径为cr,像素空间半径为pr，金字塔层级为pyr，均值漂移聚类函数为M,对应步骤如下：

1)求上层聚类结果P＝M(R，cr₁，pr₁，pyr₁)；

2)求本层聚类结果Q＝M(R，cr₂，pr₂，pyr₂)；

3)对两层聚类结果求聚类距离d＝||Q-P||；

4)通过深度学习算法来判断d是否为最优值，若为最优解则该区域加入与节点；

5)否则，求聚类结果差s＝Q-P，并将该子区域设置为或节点，继续参与迭代计算，迭代过程如图17所示。图17图像细节层次不断细化为图像细节解析树图。

根据图像细节解析树应用纹理合成算法及笔触生成算法后，得到最终的画面细节表现层，再将细节表现层覆盖到简约图上，两层叠加结果如图18所示。图18简约图与与或图生成结果的叠加。

3.笔触分布图表达

笔触分布图的生成方法可以采用背景技术中所提到的方法，如前所述，本框架兼容现有方法。这里采用一种图像轮廓检测为主的笔触分布图生成算法，包括长直线轮廓检测、短直线轮廓检测及短曲线检测三种轮廓线的检测。在轮廓线检测结果基础上，应用基于笔刷样本的方法，将笔刷图像根据轮廓路径变形，在前两层图像上覆盖一层绘画笔触效果。

此外，用户可以交互选取任意形状的图像区域，自定义笔触尺寸，或者直接手动添加笔触，进行更加细微的细节刻画。

1)长直线轮廓检测

长直线轮廓检测主要针对画面中比较大的形体寻找其轮廓边缘，例如树干、房屋、船身等，利用长直线可以很好描绘这些物体轮廓，从而使画面更加生动，本算法中应用了Hough变换算法。Hough变换是一种使用表决原理的参数估计技术，其原理是利用图像空间和Hough参数空间的点－线对偶性，把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计，然后在Hough参数空间寻找累加器峰值的方法检测直线，Hough变换的实质是将图像空间内具有一定关系的像元进行聚类，寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点，在参数空间不超过二维的情况下，这种变换有着理想的效果。为了提高系统处理的实时性，算法中采用了随机Hough变换，长直线轮廓检测结果如图19所示，图19为长直线轮廓检测结果图。添加了长直线笔触效果后结果如图20所示，图20长直线笔触叠加效果图。

2)短直线轮廓检测或短曲线轮廓检测

在添加长直线轮廓效果后，为了进一步细化结果，可进一步添加短曲线或短直线效果，例如可以采用LSD直线检测算法来添加短直线边缘，采用轮廓检测算法添加曲线边缘等，如图21所示。添加笔触后效果如图22所示。此外，还可以用轮廓检测算法，得到的曲线基于样条变化，也可以得到不错的笔触效果。生成的笔触分布图如图23所示。图21短轮廓线检测结果图，图22短笔触添加效果图，图23笔触分布示意图。

3)图像细节交互调整

在以上自动检测步骤中，所有的操作基本是基于算法自动计算的，得到的笔触尺寸或者图像细节表现有一定概率达不到预期效果，为此本方法采用了两种模式进行最终的细节刻画调整，一种为手动添加笔触，类似Photoshop、Painter等软件，利用手绘板，由手工直接在图像上一笔笔绘制笔刷，这种方法较为耗时；另外一种方法则是用户选择一个遮罩区域，指定细节参数，在本算法中针对图层细化概括了6个细化层级，针对笔触，只需要设定笔触尺寸，其余仍由轮廓检测或与或图表达层生成算法自动完成，对应遮罩操作如图24所示。进行图像细节刻画后的结果如图25、图26所示。图24细节深入刻画操作界面，可选取修改区域，指定修改参数不同的微调参数可以得到不同的效果；图25细节刻画后的艺术风格化处理结果；图26基于Three-Graph统一框架的仿古典油画风格全自动绘制处理结果。

本发明的处理流程如图27所示，图27Three-Graph艺术风格处理流程图。

本发明技术方案的效果和优点：本发明的主要研究发现在于提出了一种新的艺术风格化处理方法，基于绘画心理认知模型，设计了简约图表达(图像物体关系)、与或图表达(图像细节迭代优化)、笔触邻接图表达(图像笔触刻画)的3G(Three-Graph)框架。该框架衔接了理论算法与工程实现，让算法开发人员、系统开发人员和艺术产品加工人员可以更好协同工作，从而为产品的消费电子化、移动化及工业化普通道路，具体作用如下：

1.新的艺术风格化处理方法更关注画家绘画过程建模，使得算法具有良好的稳定性和可扩展性。本方法的理论模型还可以进一步扩展到水彩画、水粉画、丙烯画等不同画种。与现有方法过多从图像中寻找特征不同，本方法更关注画家进行绘画的创作过程，由绘画过程抽象出了三个层次模型，在这个统一层次模型

框架下，对于不同层次采用不同的生成算法，各个层次模型的算法在未来还可以进一步调整，但是基本框架则稳定不变，这是现有算法所忽略的。

2.强调笔触的混合效果而非单一笔触的简单模拟，从而是画面效果更接近真实物理材质而非一根根线条的简单排列

由于画家在实际绘画过程中，在铺大调子时笔触随意变化，很难有一种统一的笔触规律，即使印象主义画派，其笔触在大调子时的体现也是比较随机的，只是在细节刻画表现时才显露出笔触的走势。现有算法基于梯度方向模拟的笔触摆放，导致画面过于呆板或者无法控制，因此，在本算法中，采用了笔触的混合效果模拟，先由画家在纸板、木板或画布上用画刀、画笔等工具创作绘画纹理，最终通过纹理采样与合成，融合到不同的图像颜色块面中，画面具有生动的物理材质和凹凸纹理效果，其拟真度远超Phong等光照模型效果，而且极大减少了CPU的计算符合，可方便算法移植到平板、手机以及嵌入式等各种平台。

3.算法人机交互过程简单，需要用户输入的参数数量，最复杂的也仅有2个，算法具有较高的易用性

已有算法基本也需要人机交互设置参数，复杂的算法需要设置的基本参数就有8个，最简单的也需要4个以上，而本算法在图像细节表现层需要的参数仅有2个，分别为细腻程度和纹理编号，在笔触刻画上，只需要输入笔触尺寸一个参数，其余均由算法自动计算完成，大大方面了用户的使用，在实际应用中，即使没有经过专业美术训练的人员，也可以快速掌握根据本算法所开发的软件产品，可应用到移动互联网的消费电子领域，增强手机、平板拍照后的图像体验。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种艺术风格化图像处理方法，其特征在于，包括：

a、对输入的真实图像，进行简约图表达生成处理；

b、对简约图表达生成处理的结果，进行与或图表达生成处理；

c、对与或图表达生成处理的结果，进行笔触分布图生成处理，得到所需图像。

2.根据权利要求1所述的艺术风格化图像处理方法，其特征在于，所述步骤a，具体包括：

a1、应用基于颜色的均值漂移聚类算法，对输入的真实图像进行颜色聚类；

a2、考虑图像的颜色信息，将颜色聚类处理后的图像，从RGB空间转换到HSV空间；

a3、在HSV空间，采用二值化分割方法对颜色聚类处理后的图像进行图像分割处理；

a4、将图像分割的结果与预先定义的绘画纹理进行合成，再扫描到计算机中形成纹理图库，在合成中根据画面内容能够自适应选取合适的纹理，然后将分割结果与绘画纹理进行叠加，设A为绘画纹理图层，B为分割图像层，生成结果为C，叠加公式为：

$C=\left\{\begin{array}{cc}\frac{2\&CenterDot;A\&CenterDot;B}{255},& B<128\\ \frac{255-2\&CenterDot;(255-A)\&CenterDot;(255-B)}{255},& B\&GreaterEqual;128\end{array}\right.$ 纹理合成。

3.根据权利要求2所述的艺术风格化图像处理方法，其特征在于，在步骤a1中，所述对输入的真实图像进行颜色聚类的操作，具体包括：

根据空间变量设定一个空间半径，根据颜色变量设定一个颜色半径；当均值漂移窗口移动时，经过窗口变换后收敛到数据峰值的所有点都会连通起来，并且属于该峰值；

计算点x的概率密度：以x为圆心，以h为半径，落在球内的点为x_i，定义二个模式规则：

(1)x像素点的颜色与x_i像素点颜色越相近，定义概率密度越高；

(2)离x的位置越近的像素点x_i，定义概率密度越高；

定义总的概率密度，是二个规则概率密度乘积的结果，用下式表示：

$K_{h_s,h_r}\left(x\right)=\frac{C}{h_s^2{h}_r^2}K\left(\right|\left|\frac{x^s-x_i^s}{h_s}\right|{|}^2)K\left(\right|\left|\frac{x^r-x_i^r}{h_r}\right|{|}^2)$

其中代表空间位置的信息，离远点越近，其值就越大表示颜色信息，颜色越相似，其值越大。

4.根据权利要求2所述的艺术风格化图像处理方法，其特征在于，在步骤a2中，所述从RGB空间转换到HSV空间的公式为：

5.根据权利要求1-4中任一项所述的艺术风格化图像处理方法，其特征在于，所述步骤b，具体包括：

b1、对简约图表达生成处理的结果，通过根据目标物体属性不断分解节点和选择节点，搜索的过程是不断逼近目标物体属性的过程，最终得到一系列与目标物体属性匹配的子模板，将这些子模板按照分解过程中建立的关系组合起来，构成目标物体的组合式模板；

b2、不断求解最优迭代阈值，将以迭代最优的区域设置为与节点，尚未迭代最优的区域设置为或节点，得到最优化的绘画细节层次表现效果。

6.根据权利要求5所述的艺术风格化图像处理方法，其特征在于，所述步骤b2，具体包括：

对应待处理的图像子区域，设输入图像矩阵为R，上层聚类结果集为P，本层聚类结果集为Q，设颜色空间半径为cr,像素空间半径为pr，金字塔层级为pyr，均值漂移聚类函数为M，对应步骤如下：

1)求上层聚类结果P＝M(R，cr₁，pr₁，pyr₁)；

2)求本层聚类结果Q＝M(R，cr₂，pr₂，pyr₂)；

3)对两层聚类结果求聚类距离d＝||Q-P||；

4)通过深度学习算法来判断d是否为最优值，若为最优解则该区域加入与节点；

5)否则，求聚类结果差s＝Q-P，并将该子区域设置为或节点，继续参与迭代计算。

7.根据权利要求1-4中任一项所述的艺术风格化图像处理方法，其特征在于，所述步骤c，具体包括：

对与或图表达生成处理的结果进行轮廓检测；

在轮廓检测结果基础上，应用基于笔刷样本的方法，将笔刷图像根据轮廓路径变形，在前两层图像上覆盖一层绘画笔触效果。