CN112508991B - 一种前后景分离的熊猫照片卡通化方法 - Google Patents

一种前后景分离的熊猫照片卡通化方法 Download PDF

Info

Publication number
CN112508991B
CN112508991B CN202011318378.8A CN202011318378A CN112508991B CN 112508991 B CN112508991 B CN 112508991B CN 202011318378 A CN202011318378 A CN 202011318378A CN 112508991 B CN112508991 B CN 112508991B
Authority
CN
China
Prior art keywords
foreground
background
panda
edge
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011318378.8A
Other languages
English (en)
Other versions
CN112508991A (zh
Inventor
周祺钰
向城成
刘启和
程红蓉
周世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011318378.8A priority Critical patent/CN112508991B/zh
Publication of CN112508991A publication Critical patent/CN112508991A/zh
Application granted granted Critical
Publication of CN112508991B publication Critical patent/CN112508991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种前后景分离的熊猫照片卡通化方法包括：获取熊猫照片数据集和卡通图像数据集并进行图像预处理：构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；步骤4，定义所述生成器的损失函数；利用定义的损失函数训练所述熊猫卡通图像生成模型；将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。相比于现有技术，本发明中(1)前后景分别处理的方法可以有效突出相对简洁的前景主体，(2)通过边缘增强和边缘模糊的处理能够得到边缘清晰的卡通化熊猫图像，(3)网络结构比较简单，在获得卡通效果的同时拥有较小的训练成本。

Description

一种前后景分离的熊猫照片卡通化方法
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种前后景分离的熊猫照片卡通化方法。
背景技术
近年来，人工智能算法逐渐被应用于图像生成领域，同时也为艺术作品的诠释带来了更大的可能性。对图像进行风格化时，图像在保留原图内容的同时，能够具备绘画作品的艺术风格，其创造性和艺术价值得到了人们的肯定。其中，基于生成对抗网络的方法(GAN)自2014年提出以来，越来越受到学术界和工业界的重视，不断在图像生成领域取得突破性进展，且仍然具有巨大潜力。它的对抗思想让生成器和判别器在博弈中互相进步，从而生成以假乱真的图片。卡通风格是动漫的一种，具有高度简化和抽象的特征，作为一种重要的艺术形式，无论是以漫画还是动画为载体，都具有独特的艺术效果，同时还体现角色本身的特点，深受人们的喜爱。若能结合生成对抗网络方法完成卡通图像的生成，则能大大降低人工成本。而卡通风格的图像生成效果一直不是很理想，这主要是因为现有方法大多没有针对卡通作品和其它艺术风格之间的显著区别进行探索：1、卡通风格的作品前景比背景更为简洁；2、卡通风格的作品具有平滑清晰且连贯的线条；3、卡通风格的作品色彩过渡平滑且纹理较为简单，而其它艺术风格大多拥有较为丰富的纹理和色彩变化。
现有方法虽然通过添加语义内容损失函数以及边缘损失函数实现了对纹理和色彩的部分简化，但均为全局的图像生成算法，并没有解决前景比背景更加简洁的问题。此外，现有算法虽然能够通驱使模型远离边缘模糊的负样本以生成比较清晰的边缘，但是对于熊猫等多毛发、边缘变化丰富的照片而言，生成的边缘线条不够平滑自然。
发明内容
本发明旨在提供一种前后景分离的熊猫照片卡通化方法，以解决前景不突出、边缘轮廓不清晰、色彩过渡不平滑以及纹理过多的问题。
本发明提供的一种前后景分离的熊猫照片卡通化方法，包括如下步骤：
步骤1，获取熊猫照片数据集和卡通图像数据集；
步骤2，对所述熊猫照片数据集和卡通图像数据集进行图像预处理：
步骤2.1，对所述熊猫照片数据集进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；
步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；
步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集；
步骤2.4，对所述卡通图像数据集进行边缘模糊得到边缘模糊的卡通图像数据集；
步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；
步骤4，定义所述生成器的损失函数；
步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：
步骤5.1，将所述前景图像集输入所述前景生成分支，输出前景图像特征；
步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；
步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；
步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；
步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。
进一步的，步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集的前景掩膜矩阵；将前景掩膜矩阵取反得到后景掩膜矩阵。
进一步的，所述使用基于空洞卷积的U型网络模型的处理过程包括：
(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层->卷积层->池化层->卷积层->卷积层->池化层->卷积层->卷积层->池化层；
(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积；
(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层；
(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。
进一步的，步骤2.3中对所述前景图像集进行边缘增强的过程如下：
步骤2.31，边缘检测：
(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；
(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：
Figure GDA0003544585180000041
其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；
(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：
选择算子
Figure GDA0003544585180000042
以及
Figure GDA0003544585180000043
计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；
然后计算梯度值
Figure GDA0003544585180000044
梯度方向θ＝a tan 2(Gy,Gx)；
(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；
(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；
(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；
步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；
步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集。
进一步的，步骤2.4中对所述卡通图像数据集进行边缘模糊的过程如下：
步骤2.41，边缘检测：
(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对后景图像集进行灰度化；
(2)高斯滤波：由一个二维高斯核一次卷积对灰度化后景图像集进行高斯滤波，表达式如下：
Figure GDA0003544585180000051
其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；
(3)计算高斯滤波后的灰度化后景图像集的梯度值和梯度方向：
选择算子
Figure GDA0003544585180000061
以及
Figure GDA0003544585180000062
计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化后景图像集中灰度化后景图像矩阵；
然后计算梯度值
Figure GDA0003544585180000063
梯度方向θ＝a tan 2(Gy,Gx)；
(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；
(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；
(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；
步骤2.42，对所述初始边缘的轮廓进行膨胀处理；
步骤2.43，对膨胀处理后的初始边缘使用高斯平滑，得到边缘模糊的卡通图像数据集。
进一步的，步骤3中生成器的网络结构包括：收缩路径、8个残差块和扩展路径；
所述收缩路径，用于对输入图像进行下采样实现空间压缩和编码；该收缩路径的网络结构为：首先是一个7*7的平坦卷积阶段，然后是两个3*3下卷积块，每个卷积块后接一个实例归一化层和一个线性整流函数层；
所述8个串联且布局相同的残差块，用于构造内容和流形特征；每个残差块的结构为依次连接的卷积层、实例归一化层、线性整流函数层、卷积层、实例归一化层和元素求和层；
所述扩展路径，用于通过上采样对输出图像进行重构；该扩展路径的网络结构为：首先是两个3*3的上卷积块，每个上卷积块后接一个实例归一化层和一个线性整流函数层，最后是一个7×7的卷积层；
所述前景生成分支的输入为边缘增强的前景图像集，经过收缩路径下采样和8个残差块后，输出为前景图像特征；所述后景生成分支的输入为后景图像集，经过收缩路径下采样和8个残差块后，输出为后景图像特征；所述前后景合成分支的输入为前景图像特征和后景图像特征，经过收缩路径下采样、8个残差块、以及扩展路径上采样后，输出为前后景聚合特征。
进一步的，步骤3中所述判别器D的网络结构为：首先是一个3*3的平坦卷积阶段，后接一个带泄露线性整流函数层；然后是两个跨行卷积块，每个跨行卷积块包括卷积层、带泄露线性整流函数层、卷积层、批归一化层和带泄露线性整流函数层；最后是一个特征构造块和一个3*3卷积用于获得分类响应，所述特征构造块包括卷积层、批归一化层和带泄露线性整流函数层。
进一步的，步骤4包括如下子步骤：
步骤4.1，定义前景生成分支的内容损失函数Lcon_fg(Gfg,D)，计算公式如下：
Figure GDA0003544585180000071
其中，l指特定VGG层的特征映射，
Figure GDA0003544585180000081
表示边缘增强的前景图像集Q，
Figure GDA0003544585180000082
qr表示边缘增强的前景图像集Q中的第r个前景图像，N1表示前景图像集中的前景图像数量，Gfg(qr)表示qr经前景生成分支后的输出图像，VGGl(Gfg(qr))表示Gfg(qr)经VGG网络输出的前景特征图，VGGl(qr)表示qr经VGG网络输出的前景特征图；
步骤4.2，定义后景生成分支的内容损失函数Lcon_bg(Gbg，D)，计算公式如下：
Figure GDA0003544585180000083
其中，
Figure GDA0003544585180000084
表示原始的熊猫照片数据集P，
Figure GDA0003544585180000085
Figure GDA0003544585180000086
pk表示原始的熊猫照片数据集中的第k个熊猫照片，N2表示熊猫照片数据集P中的熊猫照片数量；Gbg(pk)表示pk经后景生成分支后的输出图像，VGGl(Gbg(pk))表示Gbg(pk)经VGG网络输出的后景特征图，VGGl(pk)表示pk经VGG网络输出的后景特征图；
步骤4.3，定义对抗损失函数Ladv(Gfu，D)，计算公式如下：
Figure GDA0003544585180000087
其中，
Figure GDA0003544585180000088
表示原始的卡通图像数据集C，
Figure GDA0003544585180000089
Figure GDA00035445851800000810
ci表示原始的卡通图像数据集中的第i个卡通图像，M1表示卡通图像数据集C中的卡通图像数量；
Figure GDA00035445851800000811
表示边缘模糊的卡通图像数据集E，
Figure GDA00035445851800000812
ej表示边缘模糊的卡通图像数据集中的第i个卡通图像，M2表示边缘模糊的卡通图像数据集E中的卡通图像数量；
Figure GDA00035445851800000813
表示前后景聚合特征；
步骤4.4，定义风格损失函数Lstyle(Gfu，D)，计算公式如下：
Figure GDA0003544585180000091
步骤4.5，所述生成器总损失函数为L(G，D)，计算公式如下：
L(G，D)＝ω1Lcon_fg(Gfg，D)+ω2Lcon_bg(Gbg，D)+Ladv(Gfu，D)+Lstyle(Gfu，D)
其中，ω1、ω2表示平衡前景生成分支和后景生成分支损失的权重。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
相比于现有技术，本发明中(1)前后景分别处理的方法可以有效突出相对简洁的前景主体，(2)通过边缘增强和边缘模糊的处理能够得到边缘清晰的卡通化熊猫图像，(3)网络结构比较简单，在获得卡通效果的同时拥有较小的训练成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的前后景分离的熊猫照片卡通化方法的原理图。
图2为本发明实施例的基于空洞卷积的U型网络模型的网路结构示意图。
图3为本发明实施例的熊猫卡通图像生成模型生成器的网络结构示意图。
图4为本发明实施例的熊猫卡通图像生成模型判别器的网络结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
参见图1，本实施例提出一种前后景分离的熊猫照片卡通化方法，包括如下步骤：
步骤1，获取熊猫照片数据集P和卡通图像数据集C；
本实施例中，下载VGG19在ImageNet上预训练的权重模型文件，制作熊猫照片数据集P和卡通图像数据集C，将所述熊猫照片数据集P和卡通图像数据集C均裁剪成256*256大小，以便于处理。
步骤2，对所述熊猫照片数据集P和卡通图像数据集C进行图像预处理：
步骤2.1，对所述熊猫照片数据集P进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；
该步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集P的前景掩膜矩阵(前景255，背景0)，将前景掩膜矩阵取反得到后景掩膜矩阵。在本实施例中，参见图2，该基于空洞卷积的U型网络模型共有二十二个卷积层，包栝十三个普通卷积，三个转置卷积和六个空洞卷积，以及两种激活函数relu和sigmoid，并采用了两种合并技术add和concat，还加入了最大池化，以增强模型的平移旋转不变形。所述基于空洞卷积的U型网络模型的处理过程包括：
(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层->卷积层->池化层->卷积层->卷积层->池化层->卷积层->卷积层->池化层；
(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加，以此得到更为丰富的组合信息，有利于后续的训练；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积->空洞卷积；
(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层->转置卷积->融合层->卷积层->卷积层；
(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。
步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；
步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集Q；
该步骤通过边缘增强以帮助后续熊猫卡通图像生成模型学习边缘特征。对所述前景图像集进行边缘增强的过程如下：
步骤2.31，边缘检测：
(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；
(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：
Figure GDA0003544585180000121
其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；
(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：
选择算子
Figure GDA0003544585180000122
以及
Figure GDA0003544585180000123
计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；
然后计算梯度值
Figure GDA0003544585180000124
梯度方向θ＝a tan2(Gy,Gx)；
(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；
(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；
(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；
步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；该步骤能够去除、合并一些意义不明的像素点。
步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集Q。
步骤2.4，对所述卡通图像数据集C进行边缘模糊得到边缘模糊的卡通图像数据集E；
所述边缘模糊的卡通图像数据集E用于作为负例输入后续的熊猫卡通图像生成模型，以帮助模型捕捉在整个图像中占比很小的边缘特征。对所述卡通图像数据集C进行边缘模糊的过程如下：
步骤2.41，边缘检测(与步骤2.31使用相同的方法)：
(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对后景图像集进行灰度化；
(2)高斯滤波：由一个二维高斯核一次卷积对灰度化后景图像集进行高斯滤波，表达式如下：
Figure GDA0003544585180000131
其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；
(3)计算高斯滤波后的灰度化后景图像集的梯度值和梯度方向：
选择算子
Figure GDA0003544585180000141
以及
Figure GDA0003544585180000142
计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化后景图像集中灰度化后景图像矩阵；
然后计算梯度值
Figure GDA0003544585180000143
梯度方向θ＝a tan 2(Gy,Gx)；
(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；
(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；
(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；
步骤2.42，对所述初始边缘的轮廓进行膨胀处理；
步骤2.43，对膨胀处理后的初始边缘使用高斯平滑，得到边缘模糊的卡通图像数据集E。
步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；
本实施例中，所述熊猫卡通图像生成模型采用生成对抗网络(GAN)的基本思想，网络中包含一个生成器G、一个判别器D。生成器G用于产生以假乱真的图片，判别器D用于鉴别图像到底是生成的还是来自真实的目标流形。据此，设计一种将真实照片流形转换为卡通图像流形的映射过程。
(1)生成器G
参见图3，图中k为核尺寸、n为特征图数、s为各卷积层补偿、IN表示实例归一化层(Instance Normalization)、ReLu表示线性整流函数、ES表示元素求和；所述生成器G采用编码-译码架构，包括：
收缩路径，用于对输入图像进行下采样实现空间压缩和编码；该收缩路径的网络结构为：首先是一个7*7的平坦卷积阶段，然后是两个3*3下卷积块，每个卷积块后接一个实例归一化层(Instance Normalization)和一个线性整流函数层(ReLU)；
8个串联且布局相同的残差块，用于构造内容和流形特征；每个残差块的结构为依次连接的卷积层、实例归一化层(Instance Normalization)、线性整流函数层(ReLU)、卷积层、实例归一化层(Instance Normalization)和元素求和层。
扩展路径，用于通过上采样对输出图像进行重构；该扩展路径的网络结构为：首先是两个3*3的上卷积块，每个上卷积块后接一个实例归一化层(Instance Normalization)和一个线性整流函数层(ReLU)，最后是一个7×7的卷积层。
根据上述可知，所述生成器G包括前景生成分支、后景生成分支和前后景合成分支，三个分支共享生成器G的网络结构与参数：
所述前景生成分支的输入为边缘增强的前景图像集，经过收缩路径下采样和8个残差块后，输出为前景图像特征；所述后景生成分支的输入为后景图像集，经过收缩路径下采样和8个残差块后，输出为后景图像特征；所述前后景合成分支的输入为前景图像特征和后景图像特征，经过收缩路径下采样、8个残差块、以及扩展路径上采样后，输出为前后景聚合特征；所述前后景合成分支将前景图像特征和后景图像特征融合为前后景聚合特征的过程表示为：
Figure GDA0003544585180000161
其中，
Figure GDA0003544585180000162
表示前后景聚合特征，
Figure GDA0003544585180000163
表示前景图像特征，
Figure GDA0003544585180000164
表示后景图像特征。
(2)判别器D
由于动画风格鉴别依赖于局部特征，不同于目标识别，因而构建patch-level比较浅的网络作为判别器D。参见图4，图中k为核尺寸、n为特征图数、s为各卷积层补偿、BN表示批归一化层(Batch Normalization)、ReLu表示线性整流函数、LReLu表示带泄露线性整流函数(Leaky ReLu)；所述判别器D的网络结构为：首先是一个3*3的平坦卷积阶段，后接一个带泄露线性整流函数层；然后是两个跨行卷积块，用于降低分辨率、编码基本局部特征，每个跨行卷积块包括卷积层、带泄露线性整流函数层、卷积层、批归一化层和带泄露线性整流函数层；最后是一个特征构造块和一个3*3卷积用于获得分类响应，所述特征构造块包括卷积层、批归一化层和带泄露线性整流函数层；所述带泄露线性整流函数层的固定参数α取值范围为(1,+∞)，本实施例优选α＝0.2。判别器D的输入为前后景聚合特征，以及卡通图像数据集C和边缘模糊的卡通图像数据集E，判别器D的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，以进行对抗训练。
步骤4，定义所述生成器G的损失函数；
损失函数是用来评估预测值与参考值(ground truth)之间的不一致程度，损失函数越小，模型鲁棒性越强。该步骤4包括如下子步骤：
步骤4.1，定义前景生成分支的内容损失函数Lcon_fg(Gfg，D)，使用L1稀疏正则化减少输入和输出之间的语义内容损失，具体使用conv4_4(即本实施例使用的VGG19网络的第四层卷积层的第四子层)来计算内容损失，计算公式如下：
Figure GDA0003544585180000171
其中，l指特定VGG层(即本实施例使用的VGG19网络的某一层)的特征映射，
Figure GDA0003544585180000172
表示边缘增强的前景图像集Q，
Figure GDA0003544585180000173
Figure GDA0003544585180000174
qr表示边缘增强的前景图像集Q中的第r个前景图像，N1表示前景图像集中的前景图像数量，Gfg(qr)表示qr经前景生成分支后的输出图像，VGGl(Gfg(qr))表示Gfg(qr)经VGG网络输出的前景特征图，VGGl(qr)表示qr经VGG网络输出的前景特征图。
步骤4.2，定义后景生成分支的内容损失函数Lcon_bg(Gbg，D)，同步骤4.1一样，使用conv4_4来计算内容损失，计算公式如下：
Figure GDA0003544585180000175
其中，
Figure GDA0003544585180000176
表示原始的熊猫照片数据集P，
Figure GDA0003544585180000177
Figure GDA0003544585180000178
pk表示原始的熊猫照片数据集中的第k个熊猫照片，N2表示熊猫照片数据集P中的熊猫照片数量，由于前景图像数据集是基于熊猫照片数据集P得到，所以两者的数量相同；Gbg(pk)表示pk经后景生成分支后的输出图像，VGGl(Gbg(pk))表示Gbg(pk)经VGG网络输出的后景特征图，VGGl(pk)表示pk经VGG网络输出的后景特征图；
步骤4.3，定义对抗损失函数Ladv(Gfu，D)，计算公式如下：
Figure GDA0003544585180000181
其中，
Figure GDA0003544585180000182
表示原始的卡通图像数据集C，
Figure GDA0003544585180000183
Figure GDA0003544585180000184
ci表示原始的卡通图像数据集中的第i个卡通图像，M1表示卡通图像数据集C中的卡通图像数量；
Figure GDA0003544585180000185
表示边缘模糊的卡通图像数据集E，
Figure GDA0003544585180000186
ej表示边缘模糊的卡通图像数据集中的第i个卡通图像，M2表示边缘模糊的卡通图像数据集E中的卡通图像数量；
Figure GDA0003544585180000187
表示前后景聚合特征；由于边缘模糊的卡通图像数据集E是基于卡通图像数据集C得到的，所以两者的数量相同。
步骤4.4，定义风格损失函数Lstyle(Gfu，D)，计算公式如下：
Figure GDA0003544585180000188
步骤4.5，所述生成器总损失函数为L(G，D)，计算公式如下：
Figure GDA0003544585180000189
其中，ω1、ω2表示平衡前景生成分支和后景生成分支损失的权重。较大的ω1、ω2使得来自输入照片的更多内容信息被保留，因此带来更详细纹理的风格化图像，选择合适的权重参数ω1、ω2可以实现风格和内容保存的良好平衡。
步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：
步骤5.1，将所述前景图像集Q输入所述前景生成分支，输出前景图像特征；所述前景图像集Q在前景生成分支经过收缩路径下采样和8个残差块计算后得到前景图像特征；
步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；所述后景图像集在前景生成分支经过收缩路径下采样和8个残差块计算后得到后景图像特征；
步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；根据前述方式，前景图像特征和后景图像特征在前后景合成分支进行聚合，经过收缩路径下采样、8个残差块计算以及扩展路径上采样阶段输出前后景聚合特征；
步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；在一个实施例中，生成器G的每一层都使用Relu激活函数，判别器D的每一层都使用Leaky Relu激活函数，训练过程中，令ω1＝ω2＝10，采用了Adam优化算法，学习率初始值lrD＝lrG＝0.0002，Adam优化算法的自带参数beta1为0.5，beta2为0.999，batch size(一次训练所选取的样本数)为8，进行了200轮的迭代训练，损失函数趋于稳定(即损失函数达到较小值且变化幅度不大)时结束训练，得到训练好的熊猫卡通图像生成模型。
步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种前后景分离的熊猫照片卡通化方法，其特征在于，包括如下步骤：
步骤1，获取熊猫照片数据集和卡通图像数据集；
步骤2，对所述熊猫照片数据集和卡通图像数据集进行图像预处理：
步骤2.1，对所述熊猫照片数据集进行图像分割得到前景掩膜矩阵和后景掩膜矩阵；
步骤2.2，将所述熊猫照片数据集分别与前景掩膜矩阵和后景掩膜矩阵做与运算得到前景图像集和后景图像集；
步骤2.3，对所述前景图像集进行边缘增强得到边缘增强的前景图像集；
步骤2.4，对所述卡通图像数据集进行边缘模糊得到边缘模糊的卡通图像数据集；
步骤3，构建熊猫卡通图像生成模型；所述熊猫卡通图像生成模型包括生成器和判别器，所述生成器包括前景生成分支、后景生成分支和前后景合成分支；
步骤4，定义所述生成器的损失函数：
步骤4.1，定义前景生成分支的内容损失函数Lcon_fg(Gfg，D)，计算公式如下：
Figure FDA0003550807290000011
其中，l指特定VGG层的特征映射，
Figure FDA0003550807290000012
表示边缘增强的前景图像集Q，
Figure FDA0003550807290000013
qr表示边缘增强的前景图像集Q中的第r个前景图像，N1表示前景图像集中的前景图像数量，Gfg(qr)表示qr经前景生成分支后的输出图像，VGGl(Gfg(qr))表示Gfg(qr)经VGG网络输出的前景特征图，VGGl(qr)表示qr经VGG网络输出的前景特征图；
步骤4.2，定义后景生成分支的内容损失函数Lcon_bg(Gbg，D)，计算公式如下：
Figure FDA0003550807290000021
其中，
Figure FDA0003550807290000022
表示原始的熊猫照片数据集P，
Figure FDA0003550807290000023
Figure FDA0003550807290000024
pk表示原始的熊猫照片数据集中的第k个熊猫照片，N2表示熊猫照片数据集P中的熊猫照片数量；Gbg(pk)表示pk经后景生成分支后的输出图像，VGGl(Gbg(pk))表示Gbg(pk)经VGG网络输出的后景特征图，VGGl(pk)表示pk经VGG网络输出的后景特征图；
步骤4.3，定义对抗损失函数Ladv(Gfu，D)，计算公式如下：
Figure FDA0003550807290000025
其中，
Figure FDA0003550807290000026
表示原始的卡通图像数据集C，
Figure FDA0003550807290000027
Figure FDA0003550807290000028
ci表示原始的卡通图像数据集中的第i个卡通图像，M1表示卡通图像数据集C中的卡通图像数量；
Figure FDA0003550807290000029
表示边缘模糊的卡通图像数据集E，
Figure FDA00035508072900000210
ej表示边缘模糊的卡通图像数据集中的第i个卡通图像，M2表示边缘模糊的卡通图像数据集E中的卡通图像数量；
Figure FDA00035508072900000211
表示前后景聚合特征；
步骤4.4，定义风格损失函数Lstyle(Gfu，D)，计算公式如下：
Figure FDA00035508072900000212
步骤4.5，所述生成器总损失函数为L(G，D)，计算公式如下：
L(G，D)＝ω1Lcon_fg(Gfg，D)+ω2Lcon_bg(Gbg，D)+Ladv(Gfu，D)+Lstyle(Gfu，D)
其中，ω1、ω2表示平衡前景生成分支和后景生成分支损失的权重；
步骤5，利用定义的损失函数训练所述熊猫卡通图像生成模型：
步骤5.1，将所述前景图像集输入所述前景生成分支，输出前景图像特征；
步骤5.2，将所述后景图像集输入所述后景生成分支，输出后景图像特征；
步骤5.3，将前景图像特征和后景图像特征输入所述前后景合成分支，输出前后景聚合特征；
步骤5.4，将所述前后景聚合特征，以及卡通图像数据集和边缘模糊的卡通图像数据集输入判别器，将所述判别器的输出反作用于所述前景生成分支、后景生成分支和前后景合成分支，再利用损失函数进行对抗训练，当损失函数趋于稳定时结束训练，得到训练好的熊猫卡通图像生成模型；
步骤6，将待卡通化的熊猫照片输入所述训练好的熊猫卡通图像生成模型，得到卡通化后的熊猫照片。
2.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.1中图像分割的方法为：使用基于空洞卷积的U型网络模型来创建所述熊猫照片数据集的前景掩膜矩阵；将前景掩膜矩阵取反得到后景掩膜矩阵。
3.根据权利要求2所述的前后景分离的熊猫照片卡通化方法，其特征在于，所述使用基于空洞卷积的U型网络模型的处理过程包括：
(1)编码阶段，用于提取输入的熊猫照片数据集的特征；该编码阶段的网络结构为：卷积层-＞卷积层-＞池化层-＞卷积层-＞卷积层-＞池化层-＞卷积层-＞卷积层-＞池化层；
(2)特征融合阶段，对编码阶段得到的特征进行不同尺度的再提取，然后进行融合叠加；该特征融合阶段的网络结构为串联的六次空洞卷积，即空洞卷积-＞空洞卷积-＞空洞卷积-＞空洞卷积-＞空洞卷积-＞空洞卷积；
(3)解码阶段，用于将再提取的特征恢复到原始大小；该解码阶段的网络结构为：转置卷积-＞融合层-＞卷积层-＞卷积层-＞转置卷积-＞融合层-＞卷积层-＞卷积层-＞转置卷积-＞融合层-＞卷积层-＞卷积层；
(4)像素分类阶段，使用卷积网络对恢复到原始大小的特征的响应进行分类，由此得到熊猫照片数据集的前景掩膜矩阵。
4.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.3中对所述前景图像集进行边缘增强的过程如下：
步骤2.31，边缘检测：
(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对前景图像集进行灰度化；
(2)高斯滤波：由一个二维高斯核一次卷积对灰度化前景图像集进行高斯滤波，表达式如下：
Figure FDA0003550807290000041
其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；
(3)计算高斯滤波后的灰度化前景图像集的梯度值和梯度方向：
选择算子
Figure FDA0003550807290000051
以及
Figure FDA0003550807290000052
计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化前景图像集中灰度化前景图像矩阵；
然后计算梯度值
Figure FDA0003550807290000053
梯度方向θ＝a tan 2(Gy，Gx)；
(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；
(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；
(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；
步骤2.32，对所述初始边缘的轮廓进行腐蚀和膨胀处理，得到优化边缘；
步骤2.33，在前景图像集上对优化边缘进行绘制，得到边缘增强的前景图像集。
5.根据权利要求4所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤2.4中对所述卡通图像数据集进行边缘模糊的过程如下：
步骤2.41，边缘检测：
(1)灰度化：采用公式Gray＝0.299R+0.587G+0.114B对后景图像集进行灰度化；
(2)高斯滤波：由一个二维高斯核一次卷积对灰度化后景图像集进行高斯滤波，表达式如下：
Figure FDA0003550807290000061
其中，x、y表示二维高斯核的两个维度的高斯函数，σ为x和y的协方差；
(3)计算高斯滤波后的灰度化后景图像集的梯度值和梯度方向：
选择算子
Figure FDA0003550807290000062
以及
Figure FDA0003550807290000063
计算水平和垂直方向的差分Gx和Gy；其中，A表示高斯滤波后的灰度化后景图像集中灰度化后景图像矩阵；
然后计算梯度值
Figure FDA0003550807290000064
梯度方向θ＝a tan 2(Gy，Gx)；
(4)非极大值抑制：寻找像素点局部最大梯度值，沿着梯度方向，比较它前面和后面的梯度值，将最大梯度值的像素点作为边缘像素点；
(5)双阈值选取：用一个高阈值和一个低阈值来区分边缘像素点；如果边缘像素点梯度值大于高阈值，则被认为是强边缘点；如果边缘像素点梯度值小于高阈值且大于低阈值，则标记为弱边缘点；如果边缘像素梯度值点小于低阈值的点则被抑制掉；
(6)滞后边界跟踪：检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，则将该弱边缘点作为初始边缘；
步骤2.42，对所述初始边缘的轮廓进行膨胀处理；
步骤2.43，对膨胀处理后的初始边缘使用高斯平滑，得到边缘模糊的卡通图像数据集。
6.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤3中生成器的网络结构包括：收缩路径、8个残差块和扩展路径；
所述收缩路径，用于对输入图像进行下采样实现空间压缩和编码；该收缩路径的网络结构为：首先是一个7*7的平坦卷积阶段，然后是两个3*3下卷积块，每个卷积块后接一个实例归一化层和一个线性整流函数层；
所述8个串联且布局相同的残差块，用于构造内容和流形特征；每个残差块的结构为依次连接的卷积层、实例归一化层、线性整流函数层、卷积层、实例归一化层和元素求和层；
所述扩展路径，用于通过上采样对输出图像进行重构；该扩展路径的网络结构为：首先是两个3*3的上卷积块，每个上卷积块后接一个实例归一化层和一个线性整流函数层，最后是一个7×7的卷积层；
所述前景生成分支的输入为边缘增强的前景图像集，经过收缩路径下采样和8个残差块后，输出为前景图像特征；所述后景生成分支的输入为后景图像集，经过收缩路径下采样和8个残差块后，输出为后景图像特征；所述前后景合成分支的输入为前景图像特征和后景图像特征，经过收缩路径下采样、8个残差块、以及扩展路径上采样后，输出为前后景聚合特征。
7.根据权利要求1所述的前后景分离的熊猫照片卡通化方法，其特征在于，步骤3中所述判别器D的网络结构为：首先是一个3*3的平坦卷积阶段，后接一个带泄露线性整流函数层；然后是两个跨行卷积块，每个跨行卷积块包括卷积层、带泄露线性整流函数层、卷积层、批归一化层和带泄露线性整流函数层；最后是一个特征构造块和一个3*3卷积用于获得分类响应，所述特征构造块包括卷积层、批归一化层和带泄露线性整流函数层。
CN202011318378.8A 2020-11-23 2020-11-23 一种前后景分离的熊猫照片卡通化方法 Active CN112508991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011318378.8A CN112508991B (zh) 2020-11-23 2020-11-23 一种前后景分离的熊猫照片卡通化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011318378.8A CN112508991B (zh) 2020-11-23 2020-11-23 一种前后景分离的熊猫照片卡通化方法

Publications (2)

Publication Number Publication Date
CN112508991A CN112508991A (zh) 2021-03-16
CN112508991B true CN112508991B (zh) 2022-05-10

Family

ID=74959382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318378.8A Active CN112508991B (zh) 2020-11-23 2020-11-23 一种前后景分离的熊猫照片卡通化方法

Country Status (1)

Country Link
CN (1) CN112508991B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221757B (zh) * 2021-05-14 2022-09-02 上海交通大学 一种改善行人属性识别准确率的方法、终端及介质
CN113838159B (zh) * 2021-09-14 2023-08-04 上海任意门科技有限公司 用于生成卡通图像的方法、计算设备和存储介质
CN117036658A (zh) * 2022-04-29 2023-11-10 华为技术有限公司 一种图像处理方法及相关设备
CN115578294B (zh) * 2022-11-11 2023-03-10 北京九辰智能医疗设备有限公司 图像增强方法、装置、设备及存储介质
CN116612263B (zh) * 2023-07-20 2023-10-10 北京天图万境科技有限公司 一种感知潜视觉合成一致性动态拟合的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035166A (zh) * 2018-07-16 2018-12-18 国网四川省电力公司巴中供电公司 基于非下采样剪切波变换的电气设备红外图像增强方法
CN110070483A (zh) * 2019-03-26 2019-07-30 中山大学 一种基于生成式对抗网络的人像卡通化方法
CN110634170A (zh) * 2019-08-30 2019-12-31 福建帝视信息科技有限公司 一种基于语义内容和快速图像检索的照片级图像生成方法
CN111489304A (zh) * 2020-03-27 2020-08-04 天津大学 一种基于注意机制的图像去模糊方法
CN111696028A (zh) * 2020-05-22 2020-09-22 华南理工大学 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529115B2 (en) * 2017-03-20 2020-01-07 Google Llc Generating cartoon images from photos
CN106886987B (zh) * 2017-03-23 2019-05-24 重庆大学 一种列车车牌二值化图像融合方法
CN108376387B (zh) * 2018-01-04 2021-09-17 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN110009556A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035166A (zh) * 2018-07-16 2018-12-18 国网四川省电力公司巴中供电公司 基于非下采样剪切波变换的电气设备红外图像增强方法
CN110070483A (zh) * 2019-03-26 2019-07-30 中山大学 一种基于生成式对抗网络的人像卡通化方法
CN110634170A (zh) * 2019-08-30 2019-12-31 福建帝视信息科技有限公司 一种基于语义内容和快速图像检索的照片级图像生成方法
CN111489304A (zh) * 2020-03-27 2020-08-04 天津大学 一种基于注意机制的图像去模糊方法
CN111696028A (zh) * 2020-05-22 2020-09-22 华南理工大学 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Deep Supervised Edge Optimization Algorithm for Salt Body Segmentation;Jiangtao Guo等;《 IEEE Geoscience and Remote Sensing Letters 》;20200721;第18卷(第10期);1746-1750 *
AR（增强现实）"活化"景点文化项目研究——以故宫角楼文化为例;远方;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20201015(第10期);I138-38 *
Automatic synthetic background defocus for a single portrait image;Weihai Chen等;《 IEEE Transactions on Consumer Electronics 》;20171113;第63卷(第3期);234-242 *
中医舌体图像自动分割算法的研究;郝连花;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20130115(第1期);I138-1687 *

Also Published As

Publication number Publication date
CN112508991A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112508991B (zh) 一种前后景分离的熊猫照片卡通化方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN109886881B (zh) 人脸妆容去除方法
CN112163498B (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN110866907A (zh) 基于注意力机制的全卷积网络织物疵点检测方法
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN110660020B (zh) 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN113781528A (zh) 一种基于光流计算的河流表面流速测算方法
Li et al. Line drawing guided progressive inpainting of mural damages
CN113221660B (zh) 一种基于特征融合的跨年龄人脸识别方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN113724273A (zh) 一种基于神经网络区域目标分割的边缘光影融合方法
Karungaru et al. Automatic human faces morphing using genetic algorithms based control points selection
CN114898021B (zh) 音乐舞台表演视频的智能卡通化方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
Zhang et al. Automatic genaration of sketch-like pencil drawing from image
CN115457568A (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN113487546A (zh) 一种特征-输出空间双对齐的变化检测方法
Zhu et al. Underwater object segmentation algorithm based on depth information
Deng et al. Skip attention GAN for remote sensing image synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant