CN112508991A - 一种前后景分离的熊猫照片卡通化方法 - Google Patents

Abstract

本发明提供一种前后景分离的熊猫照片卡通化方法包括：获取熊猫照片数据集和卡通图像数据集并进行图像预处理：构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；步骤4，定义所述生成器的损失函数；利用定义的损失函数训练所述熊猫卡通图像生成模型；将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。相比于现有技术，本发明中(1)前后景分别处理的方法可以有效突出相对简洁的前景主体，(2)通过边缘增强和边缘模糊的处理能够得到边缘清晰的卡通化熊猫图像，(3)网络结构比较简单，在获得卡通效果的同时拥有较小的训练成本。

Description

一种前后景分离的熊猫照片卡通化方法

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种前后景分离的熊猫照片卡通化方法。

背景技术

近年来，人工智能算法逐渐被应用于图像生成领域，同时也为艺术作品的诠释带来了更大的可能性。对图像进行风格化时，图像在保留原图内容的同时，能够具备绘画作品的艺术风格，其创造性和艺术价值得到了人们的肯定。其中，基于生成对抗网络的方法(GAN)自2014年提出以来，越来越受到学术界和工业界的重视，不断在图像生成领域取得突破性进展，且仍然具有巨大潜力。它的对抗思想让生成器和判别器在博弈中互相进步，从而生成以假乱真的图片。卡通风格是动漫的一种，具有高度简化和抽象的特征，作为一种重要的艺术形式，无论是以漫画还是动画为载体，都具有独特的艺术效果，同时还体现角色本身的特点，深受人们的喜爱。若能结合生成对抗网络方法完成卡通图像的生成，则能大大降低人工成本。而卡通风格的图像生成效果一直不是很理想，这主要是因为现有方法大多没有针对卡通作品和其它艺术风格之间的显著区别进行探索：1、卡通风格的作品前景比背景更为简洁；2、卡通风格的作品具有平滑清晰且连贯的线条；3、卡通风格的作品色彩过渡平滑且纹理较为简单，而其它艺术风格大多拥有较为丰富的纹理和色彩变化。

现有方法虽然通过添加语义内容损失函数以及边缘损失函数实现了对纹理和色彩的部分简化，但均为全局的图像生成算法，并没有解决前景比背景更加简洁的问题。此外，现有算法虽然能够通驱使模型远离边缘模糊的负样本以生成比较清晰的边缘，但是对于熊猫等多毛发、边缘变化丰富的照片而言，生成的边缘线条不够平滑自然。

发明内容

本发明旨在提供一种前后景分离的熊猫照片卡通化方法，以解决前景不突出、边缘轮廓不清晰、色彩过渡不平滑以及纹理过多的问题。

本发明提供的一种前后景分离的熊猫照片卡通化方法，包括如下步骤：

步骤1，获取熊猫照片数据集和卡通图像数据集；

步骤2，对所述熊猫照片数据集和卡通图像数据集进行图像预处理：

步骤2.1，对所述熊猫照片数据集进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；

步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；

步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集；

步骤2.4，对所述卡通图像数据集进行边缘模糊得到边缘模糊的卡通图像数据集；

步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；

步骤4，定义所述生成器的损失函数；

步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：

步骤5.1，将所述前景图像集输入所述前景生成分支，输出前景图像特征；

步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；

步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；

步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；

步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。

进一步的，步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集的前景掩膜矩阵；将前景掩膜矩阵取反得到后景掩膜矩阵。

进一步的，所述使用基于空洞卷积的U型网络模型的处理过程包括：

(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层->卷积层->池化层->卷积层->卷积层->池化层->卷积层->卷积层->池化层；

(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积；

(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层；

(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。

进一步的，步骤2.3中对所述前景图像集进行边缘增强的过程如下：

步骤2.31，边缘检测：

(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；

(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：

其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；

(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：

选择算子

以及

计算水平和垂直方向的差分G_x和G_y；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；

然后计算梯度值

梯度方向θ＝a tan 2(G_y,G_x)；

(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；

(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；

(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；

步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；

步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集。

进一步的，步骤2.4中对所述卡通图像数据集进行边缘模糊的过程如下：

步骤2.41，边缘检测：

(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对后景图像集进行灰度化；

(2)高斯滤波：由一个二维高斯核一次卷积对灰度化后景图像集进行高斯滤波，表达式如下：

其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；

(3)计算高斯滤波后的灰度化后景图像集的梯度值和梯度方向：

选择算子

以及

计算水平和垂直方向的差分G_x和G_y；其中，A表示高斯滤波后的灰度化后景图像集中灰度化后景图像矩阵；

然后计算梯度值

梯度方向θ＝a tan 2(G_y,G_x)；

(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；

(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；

(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；

步骤2.42，对所述初始边缘的轮廓进行膨胀处理；

步骤2.43，对膨胀处理后的初始边缘使用高斯平滑，得到边缘模糊的卡通图像数据集。

进一步的，步骤3中生成器的网络结构包括：收缩路径、8个残差块和扩展路径；

所述收缩路径，用于对输入图像进行下采样实现空间压缩和编码；该收缩路径的网络结构为：首先是一个7*7的平坦卷积阶段，然后是两个3*3下卷积块，每个卷积块后接一个实例归一化层和一个线性整流函数层；

所述8个串联且布局相同的残差块，用于构造内容和流形特征；每个残差块的结构为依次连接的卷积层、实例归一化层、线性整流函数层、卷积层、实例归一化层和元素求和层；

所述扩展路径，用于通过上采样对输出图像进行重构；该扩展路径的网络结构为：首先是两个3*3的上卷积块，每个上卷积块后接一个实例归一化层和一个线性整流函数层，最后是一个7×7的卷积层；

所述前景生成分支的输入为边缘增强的前景图像集，经过收缩路径下采样和8个残差块后，输出为前景图像特征；所述后景生成分支的输入为后景图像集，经过收缩路径下采样和8个残差块后，输出为后景图像特征；所述前后景合成分支的输入为前景图像特征和后景图像特征，经过收缩路径下采样、8个残差块、以及扩展路径上采样后，输出为前后景聚合特征。

进一步的，步骤3中所述判别器D的网络结构为：首先是一个3*3的平坦卷积阶段，后接一个带泄露线性整流函数层；然后是两个跨行卷积块，每个跨行卷积块包括卷积层、带泄露线性整流函数层、卷积层、批归一化层和带泄露线性整流函数层；最后是一个特征构造块和一个3*3卷积用于获得分类响应，所述特征构造块包括卷积层、批归一化层和带泄露线性整流函数层。

进一步的，步骤4包括如下子步骤：

步骤4.1，定义前景生成分支的内容损失函数L_{con_fg}(G_fg，D)，计算公式如下：

其中，l指特定VGG层的特征映射，

表示边缘增强的前景图像集Q，

q_r表示边缘增强的前景图像集Q中的第r个前景图像，N表示前景图像集中的前景图像数量；

步骤4.2，定义后景生成分支的内容损失函数L_{con_bg}(G_bg，D)，计算公式如下：

其中，

表示原始的熊猫照片数据集P，

pk表示原始的熊猫照片数据集中的第k个熊猫照片，N表示熊猫照片数据集P中的熊猫照片数量；

步骤4.3，定义对抗损失函数L_adv(G_fu，D)，计算公式如下：

其中，

表示原始的卡通图像数据集C，

c_i表示原始的卡通图像数据集中的第i个卡通图像，M表示卡通图像数据集C中的卡通图像数量；

表示边缘模糊的卡通图像数据集E，

e_j表示边缘模糊的卡通图像数据集中的第i个卡通图像，M表示边缘模糊的卡通图像数据集E中的卡通图像数量；

表示前后景聚合特征；

步骤4.4，定义风格损失函数L_style(G_fu，D)，计算公式如下：

步骤4.5，所述生成器总损失函数为L(G，D)，计算公式如下：

L(G，D)＝ω₁L_{con_fg}(G_fg，D)+ω₂L_{con_bg}(G_bg，D)+L_adv(G_fu，D)+L_style(G_fu，D)

其中，ω₁、ω₂表示平衡前景生成分支和后景生成分支损失的权重。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

相比于现有技术，本发明中(1)前后景分别处理的方法可以有效突出相对简洁的前景主体，(2)通过边缘增强和边缘模糊的处理能够得到边缘清晰的卡通化熊猫图像，(3)网络结构比较简单，在获得卡通效果的同时拥有较小的训练成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的前后景分离的熊猫照片卡通化方法的原理图。

图2为本发明实施例的基于空洞卷积的U型网络模型的网路结构示意图。

图3为本发明实施例的熊猫卡通图像生成模型生成器的网络结构示意图。

图4为本发明实施例的熊猫卡通图像生成模型判别器的网络结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参见图1，本实施例提出一种前后景分离的熊猫照片卡通化方法，包括如下步骤：

步骤1，获取熊猫照片数据集P和卡通图像数据集C；

本实施例中，下载VGG19在ImageNet上预训练的权重模型文件，制作熊猫照片数据集P和卡通图像数据集C，将所述熊猫照片数据集P和卡通图像数据集C均裁剪成256*256大小，以便于处理。

步骤2，对所述熊猫照片数据集P和卡通图像数据集C进行图像预处理：

步骤2.1，对所述熊猫照片数据集P进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；

该步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集P的前景掩膜矩阵(前景255，背景0)，将前景掩膜矩阵取反得到后景掩膜矩阵。在本实施例中，参见图2，该基于空洞卷积的U型网络模型共有二十二个卷积层，包栝十三个普通卷积，三个转置卷积和六个空洞卷积，以及两种激活函数relu和sigmoid，并采用了两种合并技术add和concat，还加入了最大池化，以增强模型的平移旋转不变形。所述基于空洞卷积的U型网络模型的处理过程包括：

(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层->卷积层->池化层->卷积层->卷积层->池化层->卷积层->卷积层->池化层；

(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加，以此得到更为丰富的组合信息，有利于后续的训练；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积；

(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层；

(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。

步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；

步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集Q；

该步骤通过边缘增强以帮助后续熊猫卡通图像生成模型学习边缘特征。对所述前景图像集进行边缘增强的过程如下：

步骤2.31，边缘检测：

(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；

(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：

其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；

(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：

选择算子

以及

计算水平和垂直方向的差分G_x和G_y；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；

然后计算梯度值

梯度方向θ＝a tan 2(G_y,G_x)；

(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；

(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；

(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；

步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；该步骤能够去除、合并一些意义不明的像素点。

步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集Q。

步骤2.4，对所述卡通图像数据集C进行边缘模糊得到边缘模糊的卡通图像数据集E；

所述边缘模糊的卡通图像数据集E用于作为负例输入后续的熊猫卡通图像生成模型，以帮助模型捕捉在整个图像中占比很小的边缘特征。对所述卡通图像数据集C进行边缘模糊的过程如下：

步骤2.41，边缘检测(与步骤2.31使用相同的方法)：

(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对后景图像集进行灰度化；

(2)高斯滤波：由一个二维高斯核一次卷积对灰度化后景图像集进行高斯滤波，表达式如下：

其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；

(3)计算高斯滤波后的灰度化后景图像集的梯度值和梯度方向：

选择算子

以及

计算水平和垂直方向的差分G_x和G_y；其中，A表示高斯滤波后的灰度化后景图像集中灰度化后景图像矩阵；

然后计算梯度值

梯度方向θ＝a tan 2(G_y,G_x)；

(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；

(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；

(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；

步骤2.42，对所述初始边缘的轮廓进行膨胀处理；

步骤2.43，对膨胀处理后的初始边缘使用高斯平滑，得到边缘模糊的卡通图像数据集E。

步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；

本实施例中，所述熊猫卡通图像生成模型采用生成对抗网络(GAN)的基本思想，网络中包含一个生成器G、一个判别器D。生成器G用于产生以假乱真的图片，判别器D用于鉴别图像到底是生成的还是来自真实的目标流形。据此，设计一种将真实照片流形转换为卡通图像流形的映射过程。

(1)生成器G

参见图3，图中k为核尺寸、n为特征图数、s为各卷积层补偿、IN表示实例归一化层(Instance Normalization)、ReLu表示线性整流函数、ES表示元素求和；所述生成器G采用编码-译码架构，包括：

收缩路径，用于对输入图像进行下采样实现空间压缩和编码；该收缩路径的网络结构为：首先是一个7*7的平坦卷积阶段，然后是两个3*3下卷积块，每个卷积块后接一个实例归一化层(Instance Normalization)和一个线性整流函数层(ReLU)；

8个串联且布局相同的残差块，用于构造内容和流形特征；每个残差块的结构为依次连接的卷积层、实例归一化层(Instance Normalization)、线性整流函数层(ReLU)、卷积层、实例归一化层(Instance Normalization)和元素求和层。

扩展路径，用于通过上采样对输出图像进行重构；该扩展路径的网络结构为：首先是两个3*3的上卷积块，每个上卷积块后接一个实例归一化层(Instance Normalization)和一个线性整流函数层(ReLU)，最后是一个7×7的卷积层。

根据上述可知，所述生成器G包括前景生成分支、后景生成分支和前后景合成分支，三个分支共享生成器G的网络结构与参数：

所述前景生成分支的输入为边缘增强的前景图像集，经过收缩路径下采样和8个残差块后，输出为前景图像特征；所述后景生成分支的输入为后景图像集，经过收缩路径下采样和8个残差块后，输出为后景图像特征；所述前后景合成分支的输入为前景图像特征和后景图像特征，经过收缩路径下采样、8个残差块、以及扩展路径上采样后，输出为前后景聚合特征；所述前后景合成分支将前景图像特征和后景图像特征融合为前后景聚合特征的过程表示为：

其中，

表示前后景聚合特征，

表示前景图像特征，

表示后景图像特征。

(2)判别器D

由于动画风格鉴别依赖于局部特征，不同于目标识别，因而构建patch-level比较浅的网络作为判别器D。参见图4，图中k为核尺寸、n为特征图数、s为各卷积层补偿、BN表示批归一化层(Batch Normalization)、ReLu表示线性整流函数、LReLu表示带泄露线性整流函数(Leaky ReLu)；所述判别器D的网络结构为：首先是一个3*3的平坦卷积阶段，后接一个带泄露线性整流函数层；然后是两个跨行卷积块，用于降低分辨率、编码基本局部特征，每个跨行卷积块包括卷积层、带泄露线性整流函数层、卷积层、批归一化层和带泄露线性整流函数层；最后是一个特征构造块和一个3*3卷积用于获得分类响应，所述特征构造块包括卷积层、批归一化层和带泄露线性整流函数层；所述带泄露线性整流函数层的固定参数α取值范围为(1，+∞)，本实施例优选α＝0.2。判别器D的输入为前后景聚合特征，以及卡通图像数据集C和边缘模糊的卡通图像数据集E，判别器D的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，以进行对抗训练。

步骤4，定义所述生成器G的损失函数；

损失函数是用来评估预测值与参考值(ground truth)之间的不一致程度，损失函数越小，模型鲁棒性越强。该步骤4包括如下子步骤：

步骤4.1，定义前景生成分支的内容损失函数L_{con_fg}(G_fg，D)，使用L1稀疏正则化减少输入和输出之间的语义内容损失，具体使用conv4_4(即本实施例使用的VGG19网络的第四层卷积层的第四子层)来计算内容损失，计算公式如下：

其中，l指特定VGG层(即本实施例使用的VGG19网络的某一层)的特征映射，

表示边缘增强的前景图像集Q，

q_r表示边缘增强的前景图像集Q中的第r个前景图像，N表示前景图像集中的前景图像数量。

步骤4.2，定义后景生成分支的内容损失函数L_{con_bg}(G_bg，D)，同步骤4.1一样，使用conv4_4来计算内容损失，计算公式如下：

其中，

表示原始的熊猫照片数据集P，

p_k表示原始的熊猫照片数据集中的第k个熊猫照片，N表示熊猫照片数据集P中的熊猫照片数量，由于前景图像数据集是基于熊猫照片数据集P得到，所以两者的数量相同。

步骤4.3，定义对抗损失函数L_adv(G_fu，D)，计算公式如下：

其中，

表示原始的卡通图像数据集C，

c_i表示原始的卡通图像数据集中的第i个卡通图像，M表示卡通图像数据集C中的卡通图像数量；

表示边缘模糊的卡通图像数据集E，

e_j表示边缘模糊的卡通图像数据集中的第i个卡通图像，M表示边缘模糊的卡通图像数据集E中的卡通图像数量；

表示前后景聚合特征；由于边缘模糊的卡通图像数据集E是基于卡通图像数据集C得到的，所以两者的数量相同。

步骤4.4，定义风格损失函数L_style(G_fu，D)，计算公式如下：

步骤4.5，所述生成器总损失函数为L(G，D)，计算公式如下：

L(G，D)＝ω₁L_{con_fg}(G_fg，D)+ω₂L_{con_bg}(G_bg，D)+L_adv(G_fu，D)

+L_style(G_fu，D)

其中，ω₁、ω₂表示平衡前景生成分支和后景生成分支损失的权重。较大的ω₁、ω₂使得来自输入照片的更多内容信息被保留，因此带来更详细纹理的风格化图像，选择合适的权重参数ω₁、ω₂可以实现风格和内容保存的良好平衡。

步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：

步骤5.1，将所述前景图像集Q输入所述前景生成分支，输出前景图像特征；所述前景图像集Q在前景生成分支经过收缩路径下采样和8个残差块计算后得到前景图像特征；

步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；所述后景图像集在前景生成分支经过收缩路径下采样和8个残差块计算后得到后景图像特征；

步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；根据前述方式，前景图像特征和后景图像特征在前后景合成分支进行聚合，经过收缩路径下采样、8个残差块计算以及扩展路径上采样阶段输出前后景聚合特征；

步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；在一个实施例中，生成器G的每一层都使用Relu激活函数，判别器D的每一层都使用Leaky Relu激活函数，训练过程中，令ω₁＝ω₂＝10，采用了Adam优化算法，学习率初始值lrD＝lrG＝0.0002，Adam优化算法的自带参数beta1为0.5，beta2为0.999，batch size(一次训练所选取的样本数)为8，进行了200轮的迭代训练，损失函数趋于稳定(即损失函数达到较小值且变化幅度不大)时结束训练，得到训练好的熊猫卡通图像生成模型。

步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种前后景分离的熊猫照片卡通化方法，其特征在于，包括如下步骤：

步骤1，获取熊猫照片数据集和卡通图像数据集；

步骤2，对所述熊猫照片数据集和卡通图像数据集进行图像预处理：

步骤2.1，对所述熊猫照片数据集进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；

步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；

步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集；

步骤2.4，对所述卡通图像数据集进行边缘模糊得到边缘模糊的卡通图像数据集；

步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；

步骤4，定义所述生成器的损失函数；

步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：

步骤5.1，将所述前景图像集输入所述前景生成分支，输出前景图像特征；

步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；

步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；

步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；

步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。

2.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集的前景掩膜矩阵；将前景掩膜矩阵取反得到后景掩膜矩阵。

3.根据权利要求2所述的前后景分离的熊猫照片卡通化方法，其特征在于，所述使用基于空洞卷积的U型网络模型的处理过程包括：

(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层->卷积层->池化层->卷积层->卷积层->池化层->卷积层->卷积层->池化层；

(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积；

(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层；

(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。

4.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.3中对所述前景图像集进行边缘增强的过程如下：

步骤2.31，边缘检测：

(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；

(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：

其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；

(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：

选择算子

以及

计算水平和垂直方向的差分G_x和G_y；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；

然后计算梯度值

梯度方向θ＝a tan2(G_y,G_x)；

(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；

(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；

(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；

步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；

步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集。

5.根据权利要求4所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.4中对所述卡通图像数据集进行边缘模糊的过程如下：

步骤2.41，边缘检测：

(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对后景图像集进行灰度化；

(2)高斯滤波：由一个二维高斯核一次卷积对灰度化后景图像集进行高斯滤波，表达式如下：

其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；

(3)计算高斯滤波后的灰度化后景图像集的梯度值和梯度方向：

选择算子

以及

计算水平和垂直方向的差分G_x和G_y；其中，A表示高斯滤波后的灰度化后景图像集中灰度化后景图像矩阵；

然后计算梯度值

梯度方向θ＝a tan2(G_y,G_x)；

(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；

(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；

(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；

步骤2.42，对所述初始边缘的轮廓进行膨胀处理；

步骤2.43，对膨胀处理后的初始边缘使用高斯平滑，得到边缘模糊的卡通图像数据集。

6.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤3中生成器的网络结构包括：收缩路径、8个残差块和扩展路径；

所述收缩路径，用于对输入图像进行下采样实现空间压缩和编码；该收缩路径的网络结构为：首先是一个7*7的平坦卷积阶段，然后是两个3*3下卷积块，每个卷积块后接一个实例归一化层和一个线性整流函数层；

所述8个串联且布局相同的残差块，用于构造内容和流形特征；每个残差块的结构为依次连接的卷积层、实例归一化层、线性整流函数层、卷积层、实例归一化层和元素求和层；

所述扩展路径，用于通过上采样对输出图像进行重构；该扩展路径的网络结构为：首先是两个3*3的上卷积块，每个上卷积块后接一个实例归一化层和一个线性整流函数层，最后是一个7×7的卷积层；

所述前景生成分支的输入为边缘增强的前景图像集，经过收缩路径下采样和8个残差块后，输出为前景图像特征；所述后景生成分支的输入为后景图像集，经过收缩路径下采样和8个残差块后，输出为后景图像特征；所述前后景合成分支的输入为前景图像特征和后景图像特征，经过收缩路径下采样、8个残差块、以及扩展路径上采样后，输出为前后景聚合特征。

7.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤3中所述判别器D的网络结构为：首先是一个3*3的平坦卷积阶段，后接一个带泄露线性整流函数层；然后是两个跨行卷积块，每个跨行卷积块包括卷积层、带泄露线性整流函数层、卷积层、批归一化层和带泄露线性整流函数层；最后是一个特征构造块和一个3*3卷积用于获得分类响应，所述特征构造块包括卷积层、批归一化层和带泄露线性整流函数层。

8.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤4包括如下子步骤：

步骤4.1，定义前景生成分支的内容损失函数L_{con_fg}(G_fg,D)，计算公式如下：

其中，l指特定VGG层的特征映射，

表示边缘增强的前景图像集Q，

q_r表示边缘增强的前景图像集Q中的第r个前景图像，N表示前景图像集中的前景图像数量；

步骤4.2，定义后景生成分支的内容损失函数L_{con_bg}(G_bg,D)，计算公式如下：

其中，

表示原始的熊猫照片数据集P，

p_k表示原始的熊猫照片数据集中的第k个熊猫照片，N表示熊猫照片数据集P中的熊猫照片数量；

步骤4.3，定义对抗损失函数L_adv(G_fu,D)，计算公式如下：

其中，

表示原始的卡通图像数据集C，

c_i表示原始的卡通图像数据集中的第i个卡通图像，M表示卡通图像数据集C中的卡通图像数量；

表示边缘模糊的卡通图像数据集E，

e_j表示边缘模糊的卡通图像数据集中的第i个卡通图像，M表示边缘模糊的卡通图像数据集E中的卡通图像数量；

表示前后景聚合特征；

步骤4.4，定义风格损失函数L_style(G_fu,D)，计算公式如下：

步骤4.5，所述生成器总损失函数为L(G,D)，计算公式如下：

L(G,D)＝ω₁L_{con_fg}(G_fg,D)+ω₂L_{con_bg}(G_bg,D)+L_adv(G_fu,D)+L_style(G_fu,D)

其中，ω₁、ω₂表示平衡前景生成分支和后景生成分支损失的权重。

Images