CN111815661B - 基于Retinex分解的铅笔画图像生成方法及装置 - Google Patents

Abstract

本发明公开了一种基于Retinex分解的铅笔画图像生成方法及装置，其中方法具体包括：S1：采用Retinex模型将输入图像分解，得到光照图及反射图；S2：对所述光照图进行处理得到纹理层；S3：对所述反射图通过多方向卷积方法生成对应的线条层；S4：将所述线条层及所述纹理层通过逐像素相乘的方式得到所述输入图像对应的灰度铅笔画图像；本发明可以有效解决图像暗光和逆光时生成线条和细节不清问题，确保各种类型图片生成的铅笔画的良好视觉效果。

Description

基于Retinex分解的铅笔画图像生成方法及装置

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种基于Retinex分解的铅笔画图像生成方法及装置。

背景技术

目前，日常生活中人们在拍照之后为了使照片具有一定的艺术风格，通常会对照片进行后期处理，将拍摄的照片风格化，生成具有艺术效果的图片，例如生成具有铅笔画风格的图片。

但是，绘画可以解决这一需求，但它需要专业知识和技能，且绘制非常耗时，无法像手机拍照一样随时随地获取。因此，基于图像处理技术将自然光成像的图片自动转换为铅笔画图像，具有重要的意义和价值。铅笔画图像的生成要兼顾两方面内容的生成，同样也是两个难点，一方面是铅笔画线条的生成，由于人类绘画铅笔画时，会从不同的方向勾勒线条，因此线条的生成要尽可能模拟人类的绘画习性；另一方面是铅笔纹理的生成，人类在绘画时会根据阴影和原始图像的色深来重复绘制不同的灰度纹理，因此，铅笔纹理的绘制也要也要尽可能模拟人类的绘画习性。以往的方法大都只考虑这两点，但是原始的图片通常不是完美的，这些包含着一些光照不足的区域，这部分的纹理信息是不可见的，因此在生成铅笔线条时这部分通常是没有纹理信息，大大影响生成的铅笔画的结构和视觉美感。

因此，如何提供一种能够解决上述问题的铅笔画图像生成方法及装置是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于Retinex分解的铅笔画图像生成方法及装置，可以有效解决图像暗光和逆光时生成线条和细节不清问题，确保各种类型图片生成的铅笔画的良好视觉效果。

为了实现上述目的，本发明采用如下技术方案：

基于Retinex分解的铅笔画图像生成方法及装置，包括：

S1：采用Retinex模型将输入图像分解，得到光照图及反射图；

S2：对所述光照图进行处理得到纹理层；

S3：对所述反射图通过多方向卷积方法生成对应的线条层；

S4：将所述线条层及所述纹理层通过逐像素相乘的方式得到所述输入图像对应的灰度铅笔画图像。

优选的，所述步骤S1中，所述Retinex模型表达式为：式中V为输入图像、I为所述光照图，R为反射图。

优选的，对所述Retinex模型利用L0-L1-L2混合范数进行分解处理。

优选的，所述步骤S2具体包括：采用现有纹理模板，将所述光照图与所述纹理模板通过逐个像素相乘的方式得到所述纹理层。

优选的，所述步骤S4还包括：将所述灰度铅笔画图像转换成对应的彩色铅笔画图像。

一种利用上述任一项所述的铅笔画图像生成方法的铅笔画图像生成装置，包括：

图像获取模块，所述图像获取模块用于获取所述输入图像；

分解模块，所述分解模块与所述图像获取模块连接，所述分解模块采用所述Retinex模型对所述输入图像进行分解以得到对应的所述线条层及所述线条层；

生成模块，所述生成模块与所述分解模块连接，所述生成模块生成铅笔画图像。

优选的，还包括：灰度图像转换模块，所述灰度图像转换模块的输入端与所述图像获取模块连接，输出端与所述分解模块连接，所述灰度图像转换模块用于对所述输入图像进行灰度处理，生成灰度图像。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于Retinex分解的铅笔画图像生成方法及装置，通过Retinex分解结果来获取更为清晰的边缘和纹理信息，以此来增强在暗处的铅笔画线条和纹理。通过分解结果生成铅笔画线条和铅笔画纹理，使得最终的铅笔画更具有结构感和良好的视觉效果，实现自然光成像图像到铅笔画图像的自动转换。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的铅笔画图像生成方法的流程图；

图2附图为本发明提供的铅笔画图像生成装置原理框图；

在图1-图2中：

1-图像获取模块，2-分解模块，3-生成模块，4-灰度图像转换模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见附图1所示，本发明实施例1公开了一种基于Retinex分解的铅笔画图像生成方法，包括：

S1：采用Retinex模型将输入图像分解，得到光照图及反射图；

其中，步骤S1中首先需要将输入图像进行灰度处理；

S2：对光照图进行处理得到纹理层；

S3：对反射图通过多方向卷积方法生成对应的线条层；

S4：将线条层及纹理层通过逐像素相乘的方式得到输入图像对应的灰度铅笔画图像。

在一个具体的实施例中，步骤S1中，Retinex模型表达式为：

式(1)中V为输入图像、I为光照图，R为反射图。

具体的，对式(1)两边同时进行对数变换，得到

设v＝log(V),i＝log(I),r＝log(R)，则式(2)可以表示为：

v＝i+r

(3)

在一个具体的实施例中，对Retinex模型利用L0-L1-L2混合范数进行分解处理。

具体的，对式(3)利用L0-L1-L2混合范数进行处理，其损失函数为：

式(4)共分四项，第一项表示r+i与v之间的相似度，用L2范数范数表示；第二项/>是针对i的L1范数正则化项，旨在获取分段平滑的i，其中Ω是尺寸为r*r的局部图像块(此处r＝3)，θ是尺度参数，用于控制分母的尺度变化；/>表示x和y方向上的梯度算子；/>表示高斯滤波器，核宽为σ；第三项/>表示最小化i与亮通道先验b之间的L2距离，根据暗通道先验的定义，亮通道先验可以定义为：

式(5)中Im^c是原始彩色图像，c是颜色通道，Ω是尺寸为r*r的局部图像块且r＝3。本实施例1使用Guided Filter(即导向滤波)来精细化I₀：

本实施例中设置正则化参数为10^-7，滤波半径为0.1*max(H,W)，其中H和W分别是原始图像的高和宽，然后b被定义为b＝log(I'₀)；第四项表示基于r的L0范数项，L0范数可以被定义为

此处对r施加L0正则化项，旨在保持反射图的主要结构，同时抑制其中突变的结构(如噪声)，从而对反射图形成一定的去噪效果；α，β，λ分别对应各自正则化项的权重参数。

基于上述Retinex模型，本实施例1采用ADMM方法(即交替方向乘子法)分别求解和，即求解一个变量的时候将其他变量看为常量，求解过程如下：

①将只包含i的项从式(4)中提取出来，并且将变量用向量的形式表示：

由于式(6)中含有含有L1范数项，为了方便求解，本实施例1添加作为约束，得到：

本实施例1引入拉格朗日乘数来解除上式中的约束，那么增广拉格朗日方程可以表示为：

本实施例1采用ADMM方法分别求解变量，具体的包括步骤1.1对i的求解，得到：

此处本实施例1采用FFT快速算法加速求解，得到：

式(10)中表示快速傅里叶变换运算符，/>表示逆傅里叶变换运算符，/>表示共轭傅里叶变换。

步骤1.2对约束条件c的求解：

可得(12)

步骤1.3对x的求解，可得：

②将只包含r的项从式(4)提取出来，并且将变量用向量的形式表示：

同样的，由于式(15)中含有L0范数项，为了方便求解，本实施例1添加作为约束，得到：

本实施例1引入拉格朗日乘数y来解除式(16)中的约束，那么增广拉格朗日方程可以表示为：

此处本实施例1仍然采用ADMM方法分别求解变量(2.1r)：

这里本实施例1采用FFT快速算法加速求解，求解过程如下：

其中式(20)可以采用元素管理的方式求解，本实施例1用

那么对于每一个像素p：

③将求解出的i和r转换为光照图I和反射图R，即I＝eⁱ,R＝e^r，其中本实施例1对求解出的I进行gamma矫正，获得重建后的光照图I'，即I'＝I^γ,γ＝1/2.2

在一个具体的实施例中，步骤S2具体包括：采用现有纹理模板，将光照图与纹理模板通过逐个像素相乘的方式得到纹理层。

具体的，由于光照图I是分段平滑的，I'同样是分段平滑的，其中包含了原始图片的主要结构信息。基于事先准备的纹理底板J(通过缩放确保和维度相同)，将底板上的铅笔纹理传递到之上，形成铅笔画纹理层。

由于I'具有分段线性平滑的特性，其强度在某个区域内可近似认为是常数。因此，将J和I'逐像素相乘，将铅笔纹理底版上的纹理传递至上，形成具有铅笔画纹理模式的图层：

(23)

具体的，步骤S3还包括：首先获取经过gamma矫正得到的光照图I'里的图像边缘信息，得到该边缘的待处理矩阵，

本工作选用16个间隔22.5度的方向线段{l_i},i∈{1...16]对矩阵G进行卷积，那么某个方向i的响应可以表示为：

G_i＝l_i*G (25)

此处

H和W分别是原始图像的宽和高，通过选择各个方向的最大值来进行分类：

最终的输出边缘为：

引入控制基元线条形态参数m和n，其中m控制基元线条的长短，n控制基元线条的粗细，将获取铅笔画线条的操作记作f(X，m，n)。对于仅含有图像场景主要结构的光照层I′，使其生成线条长且粗：edge_I′＝f(I′，40，4)；对于含有图像丰富细节的反射层R，使其生成线条短且细：edge_R＝f(R，80，8)。基于此，本实施例1铅笔画的边缘线条结构可以表示为：

表示逐像素相乘运算，基于此，生成的线条结构更接近于人的手绘笔画特点，即在绘制图像宏观结构时使用长粗笔触，在绘制图像微观细节时使用短细笔触。

在一个具体的实施例中，步骤S4还包括：将灰度铅笔画图像转换成对应的彩色铅笔画图像。

具体的，基于生成的线条层和纹理层，灰度铅笔画图像可以逐像素相乘的方式获得：

(29)

式(29)中得到的铅笔画结果只是在HSV空间中的灰度通道进行处理得到，是无色彩的铅笔画版本。为进一步获得彩色的铅笔画图像，可将原始图像的HSV颜色空间的V通道替换成上述的，最后再将HSV颜色空间转换回RGB颜色空间。

实施例2

一种利用实施例1中任一项的铅笔画图像生成方法的铅笔画图像生成装置，包括：

图像获取模块1，图像获取模块1用于获取输入图像；

分解模块2，分解模块2与图像获取模块1连接，分解模块2采用Retinex模型对输入图像进行分解以得到对应的线条层及线条层；

生成模块3，生成模块3与分解模块2连接，生成模块3生成铅笔画图像。

在一个具体的实施例中，还包括：灰度图像转换模块4，灰度图像转换模块4的输入端与图像获取模块1连接，输出端与分解模块2连接，灰度图像转换模块4用于对输入图像进行灰度处理，生成灰度图像。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于Retinex分解的铅笔画图像生成方法，其特征在于，包括：

S1：采用Retinex模型将输入图像分解，得到光照图及反射图，具体过程包括：

所述Retinex模型表达式为：

式中V为所述输入图像、I为所述光照图，R为所述反射图；

对式(1)两边同时进行对数变换，得到

设v＝log(V),i＝log(I),r＝log(R)，则式(2)表示为：

v＝i+r (3)

对所述Retinex模型利用L0-L1-L2混合范数进行分解处理，具体过程包括：

对式(3)利用L0-L1-L2混合范数进行处理，其损失函数为：

式(4)中第一项表示r+i与v之间的相似度，用L2范数范数表示；第二项/>是针对i的L1范数正则化项，旨在获取分段平滑的i，其中/>Ω是尺寸为r*r的局部图像块，θ是尺度参数，

表示x和y方向上的梯度算子；/>表示高斯滤波器，核宽为σ；第三项/>表示最小化i与亮通道先验b之间的L2距离，第四项/>表示基于r的L0范数项；

基于所述Retinex模型，采用ADMM方法分别求解和，具体过程包括：

①将只包含i的项从式(4)中提取出来，并且将变量用向量的形式表示；

②将只包含r的项从式(4)提取出来，并且将变量用向量的形式表示：

③将求解出的i和r转换为光照图I和反射图R，即I＝eⁱ，R＝e^r，对求解出的I进行gamma矫正，获得重建后的光照图I'；

S2：对所述光照图采用现有纹理模板进行处理得到纹理层，将所述光照图与所述纹理模板通过逐个像素相乘的方式得到所述纹理层，具体过程包括：

将纹理底板J上的铅笔纹理传递到之上，形成铅笔画纹理层；

S3：对所述反射图通过多方向卷积方法生成对应的线条层，具体过程包括：

根据重建后的光照图I'里的图像边缘信息，得到该边缘的待处理矩阵，

选用16个间隔22.5度的方向线段{l_i}，i∈{1...16}对矩阵G进行卷积，那么某个方向i的响应表示为：

G_i＝l_i*G (25)

此处

H和W分别是原始图像的宽和高，通过选择各个方向的最大值来进行分类：

最终的输出边缘为：

引入控制基元线条形态参数m和n，其中m控制基元线条的长短，n控制基元线条的粗细，将获取铅笔画线条的操作记作f(X，m，n)，对于仅含有图像场景主要结构的光照层I'，对应的表达式为：edge_I′＝f(I′，40，4)；对于含有图像丰富细节的反射层R，对应的表达式为：edge_R＝f(R，80，8)，铅笔画的边缘线条结构表示为：

表示逐像素相乘运算，

经过上述处理得到所述纹理层；

S4：将所述线条层及所述纹理层通过逐像素相乘的方式得到所述输入图像对应的灰度铅笔画图像。

2.根据权利要求1所述的一种基于Retinex分解的铅笔画图像生成方法，其特征在于，所述步骤S4还包括：将所述灰度铅笔画图像转换成对应的彩色铅笔画图像。

3.一利用权利要求1-2任一项所述的铅笔画图像生成方法的铅笔画图像生成装置，其特征在于，包括：

图像获取模块(1)，所述图像获取模块(1)用于获取所述输入图像；

分解模块(2)，所述分解模块(2)与所述图像获取模块(1)连接，所述分解模块(2)采用所述Retinex模型对所述输入图像进行分解以得到对应的所述线条层及所述线条层；

生成模块(3)，所述生成模块(3)与所述分解模块(2)连接，所述生成模块(3)生成铅笔画图像。

4.根据权利要求3所述的铅笔画图像生成装置，其特征在于，还包括：灰度图像转换模块(4)，所述灰度图像转换模块(4)的输入端与所述图像获取模块(1)连接，输出端与所述分解模块(2)连接，所述灰度图像转换模块(4)用于对所述输入图像进行灰度处理，生成灰度图像。