CN102013107B - 一种基于非线性滤波的选择性图像风格化方法 - Google Patents

Abstract

本发明公开了一种基于非线性滤波的选择性图像风格化方法，其特征在于该方法包括以下步骤：(1)简单用户交互；(2)非线性滤波；(3)线条抽取；最后，将真实感与非真实感和谐融合的图像输出。本发明对非线性扩散滤波进行了以下改进：(1)与双向滤波相结合、(2)在方程中加入了风格化程度控制项、(3)各项同性滤波与各项异性滤波相结合；使其更加适合于选择性风格化这个应用。本发明同时还具有以下有益效果：1.提供了一种全新的艺术化风格：真实对象与风格化场景和谐融合的艺术效果。2.使得前景与背景之间形成更大的对比度，突出照片所要表达的主题思想；并且可以模拟改变照相机景深范围的效果。

Description

一种基于非线性滤波的选择性图像风格化方法

技术领域

本发明涉及一种基于非线性滤波的选择性图像风格化方法。

背景技术

基于非线性滤波的选择性图像风格化方法，属于非真实感图像处理领域，目前有较多的方法研究针对图像的风格化，但是极少有对于选择性风格化方法的研究，特别是真实感对象与风格化场景融合的这种风格，尚未有算法涉及；在电影业中，经常有演员在绿屏前拍摄，然后将其加入其他场景，但是这种制作方式需要花费大量的人力物力以及财力。

发明内容

本发明所要解决的技术问题是提供一种基于非线性滤波的选择性图像风格化方法，它能够生成真实感对象与非真实感场景融合的艺术效果（选择性风格化）。为此本发明采用以下技术方案，该方法包括以下步骤：

1、一种基于非线性滤波的选择性图像风格化方法，其特征在于该方法包括以下步骤：

（1）简单用户交互：用户选取图像中需要保持真实感的对象作为前景，剩下的即为需要风格化的背景；系统自动调整优化前景对象的遮罩，并且以此为基础生成在前景内容与背景内容间平滑过渡的重要性图IM，指导选择性风格化；重要性图IM和输入图像大小相同，表示每一个像素的相对重要性值，值为1表示最重要，0表示最不重要，中间值表示过渡区域；

（2）非线性滤波：根据上一个步骤得到的重要性图IM，使用以下公式的非线性扩散滤波方法，根据重要性图IM，对输入图像进行迭代处理，简化图像背景部分的冗余信息，得到滤波后的图像；

$\frac{\∂u}{\∂t}=s\left(x\right)g\left(\right|\▿B\left(u\right)\left|\right)\×((1-h\left(\right|\▿u\left|\right))\mathrm{\Δu}+h\left(\right|\▿u\left|\right)|\▿u|\▿\·\left(\frac{\▿u}{|\▿u|}\right))$

s(x)=1-IM(x)

$g\left(\right|\▿B\left(u\right)\left|\right)=(1-w)+\frac{w}{(1+\frac{{|\▿B\left(u\right)|}^2}{{\mathrm{\μ}}^2})}$

u(x,0)=u₀(x)

$h\left(x\right)=\left\{\begin{array}{ccc}0& \mathrm{if}& x\≤\mathrm{\δ}\\ 1& \mathrm{if}& x\≥\mathrm{\δ}\end{array}\right\}$

式中，u(x)表示位置x的颜色值，u(x,0)表示第0步迭代时x位置的颜色值，u₀(x)表示原始图像值，▽和▽·分别表示梯度和散度运算符，表示在垂直梯度方向上扩散颜色，在梯度方向上保持颜色，g是一个单调递减函数，B为双向滤波，W为风格化程度系数，δ为设定的阈值，s(x)为风格化程度控制项；

（3）线条抽取：对滤波后的图像，使用线条抽取算法，提取线条，加入图像中重要性值小于1的部分；

最后，将真实感与非真实感和谐融合的图像输出。

非线性扩散滤波方法被广泛应用于图像去噪降噪等领域，但其尚未被应用于图像风格化领域；本方法对非线性扩散滤波进行了以下改进：(1)与双向滤波相结合、(2)在方程中加入了风格化程度控制项、(3)各项同性滤波与各项异性滤波相结合；使其更加适合于选择性风格化这个应用。

本发明以一张图像以及简单的用户交互作为输入，得到一张真实对象与风格化场景和谐融合的输出图片，本发明同时还具有以下有益效果：

1.提供了一种全新的艺术化风格：真实对象与风格化场景和谐融合的艺术效果。

2.使得前景与背景之间形成更大的对比度，突出照片所要表达的主题思想；并且可以模拟改变照相机景深范围的效果(Change depth of field)。

本发明的基于非线性滤波的选择性图像风格化方法，需要根据一定的用户交互进行前景对象提取，目前有许多的前景提取算法，比如硬抠图方法grabcut，以及各种软抠图方法比如levin matting,poisson matting等等；一般硬抠图的方法相对不精确，软抠图的方法速度较慢，无法满足实时交互的需求。作为本发明的进一步改进，使用经过改进的利用本地信息的grabcut方法，具有较高精确性，同时也有比较好的运行效率。这种简单易用的交互方式，使得制作该类场景的工作相当简单，制作方法速度较快，不需要花费过多的人力物力去进行绿屏拍摄，整个制作过程简单高效。

在边缘提取方面，也有众多可供选择的算法，Canny算子就是其中之一，但是Canny算子得到的结果容易出现不连续的线段，相比之下，DOG(Difference ofGaussian)算法提取的线条较为连续，而且更有艺术化效果。作为本发明的再进一步的改进，采用DOG方法进行线条抽取。

附图说明

图1为本发明所提供的方法的总体流程图。

图2为本发明所提供的方法制作的一个例子，(a)为原始图像，(b)为方法的输出。

图3为本发明所提供的方法制作的一个例子，(a)为原始图像，(b)为方法的输出。

具体实施方式

首先定义在接下来说明中要用到的缩写：重要性图(Importance Map)缩写为IM，高斯偏差边缘检测方法(Difference of Gaussian)，缩写为DOG。

图1是本发明的基本流程图，发明以一张图像以及简单的用户交互作为输入，得到一张真实对象与风格化场景和谐融合的输出图片，下面对本发明的各个流程进行详细说明：

1.简单用户交互

用户交互步骤以一张真实感图像为输入，辅以简洁的用户交互，目的在于输出标记每个像素重要性的重要性图。本发明为用户提供了简单易用的交互界面，用户使用画笔，粗略选取图像中需要保持真实感的对象作为前景，剩下的即为需要风格化的背景；本发明改进了传统的前景提取算法grabucut，自动调整优化用户的粗略选择，智能的形成较为精确的前景对象遮罩；改进主要体现在以下几点：

(1)以粗略笔画选取代替拉方框选取的方式，使得选择更加灵活方便，而且能够更加精确；

(2)将算法的运行范围改在选取笔画的包围盒内，这样不但可以更加充分的利用本地信息，而且能够加快算法速度；

自动优化结束后，将前景部分像素重要性赋值为1，然后对前景遮罩进行几步膨胀操作，对每步膨胀到达的像素点赋予递减的重要性值，直到重要性值降为0，其余背景像素的重要性值均置为0，由此得到平滑过渡的重要性图IM。

2.非线性滤波

非线性滤波阶段，以原始图像和图像的重要性图作为输入，输出滤波后的图像（选择性风格化后的图像）。

传统的非线性扩散滤波方法的迭代模型如下：

$\frac{\∂u}{\∂t}-g\left(\right|G*\▿u\left|\right)|\▿u|\▿\·\left(\frac{\▿u}{|\▿u|}\right)=0$

u(x，0)＝u₀(x)

其中，u(x)表示位置x的颜色值，则u(x,0)表示第0步迭代时x位置的颜色值，u₀(x)表示原始图像值；▽和▽·分别表示梯度和散度运算符，

在垂直梯度方向上扩散颜色，在梯度方向上保持颜色，g(|G*▽u|)用于强化边缘，g是一个单调递减函数，G是高斯核，用于减少噪声干扰；经过数次迭代，该模型可以简化区域内部的细节并且保证主要边缘结构不被弱化。

本发明对该模型进行了改进，新的迭代模型如下：

$\frac{\∂u}{\∂t}=s\left(x\right)g\left(\right|\▿B\left(u\right)\left|\right)\×((1-h\left(\right|\▿u\left|\right))\mathrm{\Δu}+h\left(\right|\▿u\left|\right)|\▿u|\▿\·\left(\frac{\▿u}{|\▿u|}\right))$

s(x)=1-IM(x)

$g\left(\right|\▿B\left(u\right)\left|\right)=(1-w)+\frac{w}{(1+\frac{{|\▿B\left(u\right)|}^2}{{\mathrm{\μ}}^2})}$

u(x,0)=u₀(x)

$h\left(x\right)=\left\{\begin{array}{ccc}0& \mathrm{if}& x\≤\mathrm{\δ}\\ 1& \mathrm{if}& x\≥\mathrm{\δ}\end{array}\right.$

与原来模型相比较，本发明的新模型有以下三大改进：

(1)将传统的非线性扩散滤波方法与双向滤波进行了结合，将方程中原有的高斯滤波项G替换成了双向滤波B，使滤波结果能够更好的保证主要边界不被模糊化；

(2)在传统的非线性扩散方程中加入了风格化(抽象化)程度控制项s(x)，使方法可以根据重要性图调整每个像素的抽象化程度。s(x)的值由重要性图IM决定，s(x)值越大抽象化速度越快，它是关于重要性的递减函数，当重要性图为1的，该像素就不会被抽象化，从而保持真实感；

(3)在非线性扩散方程中采用了各项同性滤波与各项异性滤波相结合的策略，加入了h(x)函数，当像素梯度较小时（阈值δ定为1），h(x)为0，就进行各项同性滤波（速度较快），反之则进行各向异性的滤波；这样就使得图像内部区域可以更快的进行简化，同时保证了主要边界能够不被模糊，算法的整体运行速度有了较大的提高；另外，式中w为风格化程度系数，调整w的大小可以改变风格化程度，w越小风格化程度越高，简而言之可以用更少的迭代次数来达到较高的风格化程度，这同样是对算法性能的一种提升；

本发明使用改进后的模型，对RGB三个颜色通道分别迭代，简化图像背景部分的冗余信息，得到滤波后的图像；迭代次数可由用户指定，迭代次数越多风格化程度越高；

本阶段输出经过滤波之后的初步风格化图像。

3.线条抽取

在得到初步风格化图像之后，使用DOG边缘检测方法，提取线条，在本发明中，高斯边缘检测算法的两个σ值分别取1和使用该方法抽取的线条比Canny算子更具艺术化效果。

得到抽取线条之后，根据重要性图IM，将线条加到重要性小于1的图像区域中去；提高图像背景部分的风格化程度，增强图像的艺术化效果；

这样最终就得到了一张真实对象与风格化场景和谐融合的输出图像，图2和3展示了两个根据我们的发明制作的例子。

应该理解到的是：上述实施例只是对本发明的说明，而不是对本发明的限制，任何不超出本发明实质精神范围内的发明创造，均落入本发明的保护范围之内。

Claims (6)

1.一种基于非线性滤波的选择性图像风格化方法，其特征在于该方法包括以下步骤：

（1）简单用户交互：用户选取图像中需要保持真实感的对象作为前景，剩下的即为需要风格化的背景；系统自动调整优化前景对象的遮罩，并且以此为基础生成在前景内容与背景内容间平滑过渡的重要性图IM，指导选择性风格化，重要性图IM和输入图像大小相同，表示每一个像素的相对重要性值，值为1表示最重要，0表示最不重要，中间值表示过渡区域；所述系统自动调整优化前景对象的遮罩，将前景部分重要性赋值为1，然后对前景遮罩进行几步膨胀操作，对每步膨胀到达的像素点赋予递减的重要性值，直到重要性值降为0，其余背景像素的重要性值均置为0，由此得到平滑过渡的重要性图；

（2）非线性滤波：根据上一个步骤得到的重要性图IM，使用以下公式的非线性扩散滤波方法，根据重要性图IM，对输入图像进行迭代处理，简化图像背景部分的冗余信息，得到滤波后的图像；

$\frac{\∂u}{\∂t}=s\left(x\right)g\left(\right|\▿B\left(u\right)\left|\right)\×((1-h\left(\right|\▿u\left|\right))\mathrm{\Δu}+h\left(\right|\▿u\left|\right)|\▿u|\▿\·\left(\frac{\▿u}{|\▿u|}\right))---\left(1\right)$

s(x)=1-IM(x)                                      （2）

$g\left(\right|\▿B\left(u\right)\left|\right)=(1-w)+\frac{w}{(1+\frac{{|\▿B\left(u\right)|}^2}{{\mathrm{\μ}}^2})}---\left(3\right)$

u(x，0)=u₀(x)                                (4)

$h\left(x\right)=\left\{\begin{array}{ccc}0& \mathrm{if}& x\≤\mathrm{\δ}\\ 1& \mathrm{if}& x\≥\mathrm{\δ}\end{array}\right\}---\left(5\right)$

式中，u(x)表示位置x的颜色值，u(x,0)表示第0步迭代时x位置的颜色值，u₀(x)表示原始图像值，

和

·分别表示梯度和散度运算符，

表示在垂直梯度方向上扩散颜色，在梯度方向上保持颜色，g是一个单调递减函数，B为双向滤波，w为风格化程度系数，δ为设定的阈值，s(x)为风格化程度控制项；

（3）线条抽取：对滤波后的图像，使用线条抽取算法，提取线条，加入图像中重要性值小于1的部分；

最后，将真实感与非真实感和谐融合的图像输出。

2.如权利要求1所述的基于非线性滤波的选择性图像风格化方法，其特征在于在步骤（1）简单用户交互中，用户使用画笔，粗略选取图像中需要保持真实感的对象为前景。

3.如权利要求2所述的基于非线性滤波的选择性图像风格化方法，其特征在于在步骤（1）中，采用改进的grabcut方法进行前景遮罩优化：取得用户输入笔画的包围盒，在此包围盒内，用户笔画覆盖的像素为未知像素，笔画未覆盖部分为背景像素，以此作为grabcut算法输入；grabcut算法仅在包围盒内运算，利用本地信息得到优化前景遮罩。

4.如权利要求1所述的基于非线性滤波的选择性图像风格化方法，其特征在于风格化程度系数w取值范围为0-1。

5.如权利要求1所述的基于非线性滤波的选择性图像风格化方法，其特征在于步骤（3）线条抽取采用高斯偏差边缘检测方法提取线条。

6.如权利要求5所述的基于非线性滤波的选择性图像风格化方法，其特征在于高斯偏差边缘检测方法的两个σ值分别取1和

Images