CN117670654A - 一种自然图像炭笔画风格渲染方法及装置 - Google Patents

Abstract

本发明提供一种自然图像炭笔画风格渲染方法及装置，属于图像处理技术领域。该方法包括以下步骤：将输入的彩色图像灰度化得到灰度图像；选择一种均值滤波模板对灰度图像进行均值滤波并与原灰度图像进行加权差分得到差分图像；对差分图像分别进行三个阈值不同的阈值化得到三张阈值化图像，并对三个阈值化图像进行加权融合；对融合图像进行gamma变换得到并输出炭笔画。本发明突破相似渲染方法的轮廓图与边缘图融合的算法框架，创新性地使用阈值不同的三幅阈值化图像进行加权融合获得最终的炭笔画效果，使得生成的炭笔风格画线条力度感较强、画面整体有颗粒感，炭笔效果更加凸显。

Description

一种自然图像炭笔画风格渲染方法及装置

技术领域

本发明属于图像处理中的非真实感渲染(NPR)技术领域，具体涉及一种自然图像炭笔画风格渲染方法及装置。

背景技术

炭笔是以炭精作笔芯的木杆笔，它的特点是笔色黑浓，边缘线条粗重，与纸的摩擦力大，多用于速写和人物肖像，其所绘的图像栩栩如生，惟妙惟肖，视觉上给人粗重的颗粒感。但是人工创作一幅炭笔画不仅要考虑画笔、纸张等因素的影响，还对个人的艺术水平有很高的要求。在图像处理技术领域中，图像的非真实感渲染越来越受人们的青睐。

在现有的非真实感渲染方法中，绝大多数为素描风格画、卡通风格画的生成，极少涉及炭笔风格画的生成，且现有的艺术渲染方法需同时生成图像的轮廓与纹理，算法繁琐且复杂，无法满足高效生成的需求。如：【黄志勇，姚远，张晶晶，马凯，任东.改进的自然图像铅笔画效果生成[J].中国图象图形学报，2015，20(3):0437-0444.】，提出了一种改进的自然图像铅笔画效果生成方法，但是该方法生成的是铅笔画(素描风格画)，且最终铅笔画结果由铅笔画的笔画图与背景纹理图合并得到。

因此，借助计算机优质而高效的生成炭笔画，具有良好的应用前景。

发明内容

发明的目的是提供一种自然图像炭笔画风格渲染方法及装置，用以解决图像艺术渲染效果中炭笔画效果的缺失，以及生成艺术风格图像过程中生成轮廓图与纹理图的步骤过于冗杂的问题。

为实现上述目的，本发明第一方面提供了一种自然图像炭笔画风格渲染方法，该方法包括以下步骤：

1)输入原始自然图像；

2)对原始自然图像进行线性灰度化处理得到灰度图像；

3)对灰度图像进行均值滤波处理得到均值滤波图像；

4)将灰度图像与均值滤波图像进行加权差分处理得到差分图像；

5)利用三个阈值化公式对差分图像分别进行三个阈值方案不同的阈值处理得到三幅阈值化图像；

6)将三幅阈值化图像进行加权融合处理得到融合图像，再将融合图像进行gamma增强处理，即可输出炭笔画风格图像。

基于上述，得到灰度图像的方法为：对原始自然图像的R、G、B三通道进行加权融合，且三个权重值之和为1；以如下线性灰度变换公式表示：

f_gray(i,j)＝w_r·R(i,j)+w_g·G(i,j)+w_b·B(i,j)

式中，R(i,j),G(i,j),B(i,j)分别为RGB色彩空间中的红、绿、蓝三通道对应的像素值，w_r,w_g,w_b分别为红、绿、蓝三通道的权重系数，f_gray(i,j)为灰度图像对应的像素值。

基于上述，得到均值滤波图像的方法包括：

设灰度图像长、宽分别为M、N，从灰度图像像素矩阵的(1,1)位置开始遍历，以灰度图像像素矩阵的(1,1)位置为中心像素，取半径为r₁的r₁×r₁像素方阵的像素平均值，将该值赋予(1,1)直至遍历至灰度图像像素矩阵的(M,N)位置；对于边界之外的输入数组值假定为最近的数组边界值；

以如下均值滤波公式表示：

式中，f_gray(i,j)为灰度图像对应的像素值，f_average(i,j)为均值滤波图像对应像素值，S为以(i,j)为中心、r₁为半径的r₁×r₁均值模板。

基于上述，得到差分图像的方法包括：

对灰度图像中的每个像素都乘上某一权重系数；

对滤波图像中的每个像素都乘上另一权重系数；

将灰度图像与滤波图像利用差分公式进行加权差分，得到差分图像；

以如下差分公式表示：

f_difference(i,j)＝w_gray·f_gray(i,j)-w_average·f_average(i,j)

式中，f_difference(i,j)为差分图像对应的像素值,f_gray(i,j),f_average(i,j)分别为灰度图像对应像素值和均值滤波图像对应像素值，w_gray,w_average分别为灰度图像及均值滤波图像对应的权重系数。

基于上述，所述三个阈值化公式分别为：

式中，th₁,th₂,th₃分别为三个阈值方案对应的阈值，f_th1(i,j),f_th2(i,j),f_th3(i,j)分别为三个阈值化图像对应的像素值。

基于上述，步骤5)中，加权融合公式如下：

f_fusion(i,j)＝w_th1·f_th1(i,j)+w_th2·f_th2(i,j)+w_th3·f_th3(i,j)

式中，w_th1,w_th2,w_th3分别为阈值化图像的权重系数，f_fusion(i,j)为融合图像对应的像素，w_th2,w_th3为两个经验值，w_th1为一个由用户根据需要进行定义的常数；

gamma增强的公式为：

f_out(i,j)＝f_fusion(i,j)^γ

式中，f_out(i,j)为输出图像像素，γ为经验值。

本发明第二方面提供了一种自然图像炭笔画渲染系统，包括：

输入模块，用于输入原始自然图像；

灰度图像获得模块，用于对原始自然图像进行线性灰度化处理得到灰度图像；

均值滤波图像获得模块，用于对灰度图像进行均值滤波处理得到均值滤波图像；

差分图像获得模块，用于将灰度图像与均值滤波图像进行加权差分处理得到差分图像；

阈值化图像获得模块，用于利用三个阈值化公式对差分图像分别进行三个阈值方案不同的阈值处理得到三幅阈值化图像；

炭笔画风格图像获得模块，用于将三幅阈值化图像进行加权融合处理得到融合图像，再将融合图像进行gamma增强处理，即可获得炭笔画风格图像。

本发明第三方面提供了一种自然图像炭笔画渲染装置，包括存储器和处理器，所诉处理器用于运行存储在所述存储器中的程序指令，以实现所述的自然图像炭笔画风格渲染方法的步骤。

本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被计算机处理器执行时可实现所述的自然图像炭笔画风格渲染方法的步骤。

本发明的有益效果：

(1)本发明方法创新性地使用了阈值不同的三幅阈值化图像加权融合的方法，突破了艺术风格渲染算法中的纹理图与轮廓图结合的框架，使算法的复杂度大大降低，从而使渲染效率大大提高；而且本发明方法生成的炭笔风格画的艺术渲染风格弥补了现有艺术渲染风格中炭笔画风格的缺失，生成的炭笔画不仅有粗重的线条、有颗粒感的笔触还有渐浓渐淡的效果，使得炭笔画风格更加生动。

(2)本发明通过对图像高于阈值方案的像素进行双曲正切变换处理、对低于阈值方案的像素进行自然指数增强处理，产生的图像视觉效果比较符合炭笔风格的渐变艺术效果，且不同的权重组合不仅可控制炭笔风格画的浓淡效果，还可以由细腻到粗重的调节炭笔风格画的笔触。

(3)本发明方法通过对灰度图像与均值滤波图像进行加权差分处理，不仅可以凸显图像的边缘，且不同的权重组合还能控制线条的粗细。

附图说明

图1是本发明方法的流程图。

图2是10组自然图像处理结果，其中(a)原图像；(b)实施例2方法处理结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例对本发明进行进一步详细说明，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例。

实施例1

如图1所示，本实施例提供一种自然图像炭笔画风格渲染方法，包括以下步骤：

步骤1、输入原始自然图像。

步骤2、对原始自然图像进行处理得到灰度图像和均值滤波图像；

本实施例中，对原始自然图像进行线性灰度变换，得到灰度图像，对灰度图像进行模板为r₁×r₁均值滤波得到均值滤波图像。其中，得到灰度图像的具体过程为：

对原始自然图像的R、G、B三通道进行加权融合，且三个权重值之和为1；其中，线性灰度变换公式如下：

f_gray(i,j)＝w_r·R(i,j)+w_g·G(i,j)+w_b·B(i,j)

式中，R(i,j),G(i,j),B(i,j)分别为RGB色彩空间中的红、绿、蓝三通道对应的像素值，w_r,w_g,w_b分别为红、绿、蓝三通道的权重系数，f_gray(i,j)为灰度图像对应的像素值；

得到均值滤波图像的具体过程如下：

设灰度图像长、宽分别为M、N，从灰度图像像素矩阵的(1,1)位置开始遍历，以灰度图像像素矩阵的(1,1)位置为中心像素，取半径为r₁的r₁×r₁像素方阵的像素平均值，将该值赋予(1,1)直至遍历至灰度图像像素矩阵的(M,N)位置；对于边界之外的输入数组值假定为最近的数组边界值；其中，均值滤波公式如下：

式中，f_average(i,j)均值滤波图像对应像素值，S为以(i,j)为中心、r₁为半径的r₁×r₁均值模板；r₁为一个常数可由用户根据需要进行定义。

步骤3、将灰度图像与均值滤波图像进行加权差分处理得到差分图像。

本实施例中，得到差分图像的具体过程如下：

对灰度图像中的每个像素都乘以一个固定的权重，对均值滤波图像中的每个像素乘以另一个固定的权重，之后令乘以权重的灰度图像减去乘以权重的均值滤波图像。加权差分公式如下：

f_difference(i,j)＝w_gray·f_gray(i,j)-w_average·f_average(i,j)

式中，f_difference(i,j)为差分图像对应的像素值，w_gray,w_average分别为灰度图及均值滤波图像对应的权重系数；w_gray,w_average是两个经验值。

步骤4、利用三个阈值化公式对差分图像分别进行三个阈值方案不同的阈值处理得到三幅阈值化图像。

本实施例中，得到三幅阈值方案不同的阈值化图像的具体过程如下：

阈值方案1：设置阈值th₁，遍历差分图像的像素值与阈值th₁比较大小，若某点的像素值大于阈值th₁，则对该点进行双曲正切变换；若某点的像素值小于阈值th₁，则对该点进行自然指数变换；

阈值方案1的阈值化公式如下：

阈值方案2：设置阈值th₂，遍历差分图像的像素值与阈值th₂比较大小，若某点的像素值大于阈值th₂，则对该点进行双曲正切变换；若某点的像素值小于阈值th₂，则对该点进行自然指数变换；

阈值方案2的阈值化公式如下：

阈值方案3：设置阈值th₃，遍历差分图像的像素值与阈值th₃比较大小，若某点的像素值大于阈值th₃，则对该点进行双曲正切变换；若某点的像素值小于阈值th₃，则对该点进行自然指数变换；

阈值方案3的阈值化公式如下：

式中，th₁,th₂,th₃分别为三个阈值方案对应的阈值，f_th1(i,j),f_th2(i,j),f_th3(i,j)分别为三个阈值化图像对应的像素值；th₁,th₂,th₃为三个经验值。

步骤5、将三幅阈值化图像进行加权融合处理得到融合图像，再将融合图像进行gamma增强处理，即可输出炭笔画风格图像。

本实施例中，得到融合图像的具体过程如下：

根据预设的三个权重取值范围，对三幅阈值化图像中的每个像素分别乘以三个不同的权重，之后对三幅处理后的图像进行相加求和；其中，加权融合公式如下：

f_fusion(i,j)＝w_th1·f_th1(i,j)+w_th2·f_th2(i,j)+w_th3·f_th3(i,j)

gamma增强的公式为：

f_out(i,j)＝f_fusion(i,j)^γ

式中，w_th1,w_th2,w_th3分别为阈值化图像的权重系数，f_fusion(i,j)为融合图像对应的像素，f_out(i,j)为输出图像像素，γ为经验值，w_th2,w_th3为两个经验值，w_th1为一个由用户根据需要进行定义的常数。

实施例2

本实施例与实施例1的区别在于，提供了一种具体的自然图像炭笔画风格渲染方法，即：

红、绿、蓝三通道的权重系数w_r,w_g,w_b分别取值0.2989、0.5870、0.1140，则线性灰度变换公式为：

f_gray(i,j)＝0.2989·R(i,j)+0.5870·G(i,j)+0.1140·B(i,j)

本实施例进行线性灰度化处理中，利用线性加权融合，以接近3：6：1的通道权重比，使得到的效果更符合人类的视觉系统，且线性变换具有更高的效率。

进行均值滤波时，令r₁＝33。

获得差分图像时，令w_gray,w_average分别为0.215，0.196，则加权差分公式为：

f_difference(i,j)＝0.215·f_gray(i,j)-0.196·f_average(i,j)。

进行阈值处理时，设th₁,th₂,th₃分别为0.01，0.007，0.001，则三个阈值化公式分别为：

进行加权融合处理时，本实施例中令γ为1.1，w_th2为0.4，w_th3为0.3，w_th1为0.3，则加权融合公式为：

f_fusion(i,j)＝0.3·f_th1(i,j)+0.4·f_th2(i,j)+0.3·f_th3(i,j)

gamma增强的公式为：

f_out(i,j)＝f_fusion(i,j)^1.1。

本实施例中对三幅阈值化图像进行加权融合处理具有以下优点：

不同的权重组合不仅可控制炭笔风格画的浓淡效果，还可以由细腻到粗重的调节炭笔风格画的笔触。

本实施例中对差分图像分别进行三个阈值方案不同的阈值处理具有以下优点：

对图像高于阈值方案的像素进行双曲正切变换处理、对低于阈值方案的像素进行自然指数增强处理产生的图像视觉效果比较符合炭笔风格的渐变艺术效果。

本实施例中对三幅阈值化图像进行加权融合处理具有以下优点：

不同的权重组合不仅可控制炭笔风格画的浓淡效果，还可以由细腻到粗重的调节炭笔风格画的笔触。

如图2所示，本发明方法生成的炭笔风格画的艺术渲染风格弥补了现有艺术渲染风格中炭笔画风格的缺失，生成的炭笔画不仅有粗重的线条、有颗粒感的笔触还有渐浓渐淡的效果，使得炭笔画风格更加生动。

实施例3

本实施例提供一种自然图像炭笔画渲染系统，包括：

输入模块，用于输入原始自然图像；

灰度图像获得模块，用于对原始自然图像进行线性灰度化处理得到灰度图像；

均值滤波图像获得模块，用于对灰度图像进行均值滤波处理得到均值滤波图像；

差分图像获得模块，用于将灰度图像与均值滤波图像进行加权差分处理得到差分图像；

阈值化图像获得模块，用于利用三个阈值化公式对差分图像分别进行三个阈值方案不同的阈值处理得到三幅阈值化图像；

炭笔画风格图像获得模块，用于将三幅阈值化图像进行加权融合处理得到融合图像，再将融合图像进行gamma增强处理，即可获得炭笔画风格图像。

本实施例系统的具体实现方法步骤参见实施例1，在此不再赘述。

实施例4

与实施例1方法对应，本实施例还公开一种自然图像炭笔画渲染装置，用于执行实施例1所述的自然图像炭笔画风格渲染方法。本实施例提供一种自然图像炭笔画渲染装置，包括存储器和处理器，所诉处理器用于运行存储在所述存储器中的程序指令，以实现实施例1所述的自然图像炭笔画风格渲染方法的步骤。

实施例5

与实施例1方法对应，本实施例还公开一种计算机可读存储介质，用于执行实施例1所述的自然图像炭笔画风格渲染方法。本实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被计算机处理器执行时可实现实施例1所述的自然图像炭笔画风格渲染方法的步骤。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统及装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种自然图像炭笔画风格渲染方法，其特征在于，该方法包括以下步骤：

1)输入原始自然图像；

2)对原始自然图像进行线性灰度化处理得到灰度图像；

3)对灰度图像进行均值滤波处理得到均值滤波图像；

4)将灰度图像与均值滤波图像进行加权差分处理得到差分图像；

5)利用三个阈值化公式对差分图像分别进行三个阈值方案不同的阈值处理得到三幅阈值化图像；

6)将三幅阈值化图像进行加权融合处理得到融合图像，再将融合图像进行gamma增强处理，即可输出炭笔画风格图像。

2.根据权利要求1所述的自然图像炭笔画风格渲染方法，其特征在于，得到灰度图像的方法为：对原始自然图像的R、G、B三通道进行加权融合，且三个权重值之和为1；以如下线性灰度变换公式表示：

f_gray(i,j)＝w_r·R(i,j)+w_g·G(i,j)+w_b·B(i,j)

式中，R(i,j),G(i,j),B(i,j)分别为RGB色彩空间中的红、绿、蓝三通道对应的像素值，w_r,w_g,w_b分别为红、绿、蓝三通道的权重系数，f_gray(i,j)为灰度图像对应的像素值。

3.根据权利要求1所述的自然图像炭笔画风格渲染方法，其特征在于，得到均值滤波图像的方法包括：

设灰度图像长、宽分别为M、N，从灰度图像像素矩阵的(1,1)位置开始遍历，以灰度图像像素矩阵的(1,1)位置为中心像素，取半径为r₁的r₁×r₁像素方阵的像素平均值，将该值赋予(1,1)直至遍历至灰度图像像素矩阵的(M,N)位置；对于边界之外的输入数组值假定为最近的数组边界值；

以如下均值滤波公式表示：

式中，f_gray(i,j)为灰度图像对应的像素值，f_average(i,j)为均值滤波图像对应像素值，S为以(i,j)为中心、r₁为半径的r₁×r₁均值模板。

4.根据权利要求1所述的自然图像炭笔画风格渲染方法，其特征在于，得到差分图像的方法包括：

对灰度图像中的每个像素都乘上某一权重系数；

对滤波图像中的每个像素都乘上另一权重系数；

将灰度图像与滤波图像利用差分公式进行加权差分，得到差分图像；

以如下差分公式表示：

f_difference(i,j)＝w_gray·f_gray(i,j)-w_average·f_average(i,j)

式中，f_difference(i,j)为差分图像对应的像素值,f_gray(i,j),f_average(i,j)分别为灰度图像对应像素值和均值滤波图像对应像素值，w_gray,w_average分别为灰度图像及均值滤波图像对应的权重系数。

5.根据权利要求1所述的自然图像炭笔画风格渲染方法，其特征在于，得到融合图像的方法中，所述三个阈值化公式分别为：

式中，th₁,th₂,th₃分别为三个阈值方案对应的阈值，f_th1(i,j),f_th2(i,j),f_th3(i,j)分别为三个阈值化图像对应的像素值。

6.根据权利要求1所述的自然图像炭笔画风格渲染方法，其特征在于，步骤5)中，加权融合公式如下：

f_fusion(i,j)＝w_th1·f_th1(i,j)+w_th2·f_th2(i,j)+w_th3·f_th3(i,j)

式中，w_th1,w_th2,w_th3分别为阈值化图像的权重系数，f_fusion(i,j)为融合图像对应的像素，w_th2,w_th3为两个经验值，w_th1为一个由用户根据需要进行定义的常数；

gamma增强的公式为：

f_out(i,j)＝f_fusion(i,j)^γ

式中，f_out(i,j)为输出图像像素，γ为经验值。

7.一种自然图像炭笔画渲染系统，其特征在于，包括：

输入模块，用于输入原始自然图像；

灰度图像获得模块，用于对原始自然图像进行线性灰度化处理得到灰度图像；

均值滤波图像获得模块，用于对灰度图像进行均值滤波处理得到均值滤波图像；

差分图像获得模块，用于将灰度图像与均值滤波图像进行加权差分处理得到差分图像；

阈值化图像获得模块，用于利用三个阈值化公式对差分图像分别进行三个阈值方案不同的阈值处理得到三幅阈值化图像；

炭笔画风格图像获得模块，用于将三幅阈值化图像进行加权融合处理得到融合图像，再将融合图像进行gamma增强处理，即可获得炭笔画风格图像。

8.一种自然图像炭笔画渲染装置，其特征在于，包括存储器和处理器，所诉处理器用于运行存储在所述存储器中的程序指令，以实现权利要求1-5任一项所述的自然图像炭笔画风格渲染方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被计算机处理器执行时可实现权利要求1-5任一项所述的自然图像炭笔画风格渲染方法的步骤。