CN114549288A - 一种基于深度学习的素描风景图生成方法 - Google Patents
一种基于深度学习的素描风景图生成方法 Download PDFInfo
- Publication number
- CN114549288A CN114549288A CN202210143672.2A CN202210143672A CN114549288A CN 114549288 A CN114549288 A CN 114549288A CN 202210143672 A CN202210143672 A CN 202210143672A CN 114549288 A CN114549288 A CN 114549288A
- Authority
- CN
- China
- Prior art keywords
- sketch
- image
- domain
- natural
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000002452 interceptive effect Effects 0.000 claims abstract description 7
- 230000003313 weakening effect Effects 0.000 claims abstract description 7
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 210000000746 body region Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 230000001172 regenerating effect Effects 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 2
- 238000005259 measurement Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010421 pencil drawing Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于深度学习的素描风景图生成方法，具体涉及基于深度学习的素描风景图生成网络，以及基于交互式分割的素描主次感增强算法。素描风景图生成网络的训练步骤如下：获取网上的非成对自然域图像和素描域图像作为训练数据；将自然实景图片‑素描风景数据集输入到非对称双循环生成对抗网络中进行训练；将自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图。素描主次感增强算法包括如下步骤：设计主体区域提取模块，自主选取合成素描风景图的主体部分；设计主次感增强模块，将合成素描图的主体部分进行增强、将背景部分进行弱化，获得具有主次感的素描图。本发明能够将自然实景图像自动转化为富有主次感的素描风景图。
Description
技术领域
本发明涉及深度学习在计算机视觉、图像风格化转换领域的应用，具体涉及一种基于深度学习的素描风景图生成方法。
背景技术
素描风景图生成是将给定自然实景图像通过计算机算法转换为对应素描图这一特殊艺术风格的技术。同传统手工素描相比，该技术具有成本低、易操作、耗时少的优势。作为图像风格化转换中一个重要的研究方向，该技术广泛应用于艺术创作、美术教学、影视娱乐等领域。
传统的素描风景图生成方法属于计算机图形学的图像非真实感绘制领域。Tong等人在2021年的AAAI上发表的“Sketch Generation with Drawing Process Guided byVector Flow and Grayscale”提出一种“边缘切线流指导笔画-量化灰度级决定笔画阴影-加强细节”的三分支结构，最终达到绘制素描图的效果。传统方法的不足之处在于，这类程序化的方法会使笔画线条表现得单一生硬，素描绘制效果不尽如人意。
随着深度学习网络在图像处理和分析中的快速发展，Li等人在2019年的CVPR上发表的“Im2pencil:Controllable pencil illustration from photographs”提出一种利用条件生成对抗网络的铅笔画生成方法，该方法构建成对的自然实景图像-铅笔画数据，通过铅笔画轮廓图生成分支和铅笔画阴影生成分支进行一一对应的训练，建立生成铅笔画的深度学习模型。此类方法受限于成对的训练数据，且没有考虑非真实感图像具有主次感的特点。
发明内容
针对现有技术的不足，本发明提出了一种基于深度学习的素描风景图生成方法，通过训练双循环生成对抗网络，以及素描主次感增强算法的设计，将自然实景图像生成为对应的富有主次感的素描图。
本发明通过以下技术方案实现：
步骤1，训练基于深度学习的素描风景图生成网络。
步骤1.1，获取用于训练的自然实景图像和素描风景图像，建立非成对的数据集。
步骤1.2，将自然实景图片-素描风景数据集输入到双循环生成对抗网络中，构建重构损失和对抗损失，进行学习。
步骤1.3，将待转换的自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图。
步骤2，设计素描主次感增强算法。
步骤2.1，设计主体区域提取模块，本发明自主地选择步骤1.1自然实景图像的主体区域并生成该区域的掩码信息。
步骤2.2，将步骤2.1得到的掩码信息与步骤1.3所述初步合成的素描风景图输入到主次感增强模块中。
进一步地，将掩码信息覆盖区域作为合成素描风景图的主体部分，其余区域作为合成素描风景图的背景部分。
步骤2.3，在主次感增强模块中，将对应素描风景图中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化
最终获得主次感增强后的素描风景图。
进一步地，步骤1.1中，将自然实景图像域定义为源域I域，将素描风景图像域定义为目标域S域。
进一步地，步骤1.2中双循环生成对抗网络包括两组生成对抗网络：一组为负责将自然图像转换为素描图像的生成器G和用于鉴别合成素描与真实素描的域判别器DS，另一组是负责将素描图映射回自然图像的逆生成器F和用于鉴别合成照片与真实照片的域判别器DI。
进一步地，将步骤1.2中的双循环生成对抗网络构建为非对称结构，A组循环为：将步骤1.1的自然实景图像输入生成器G，输出生成素描图；将生成素描图与步骤1.1的真实素描图输入到判别器DS中，计算对抗损失；继续将生成素描图输入逆生成器F，输出再生成自然实景图像，计算输入自然实景图像与再生成自然实景图像的松弛循环一致性损失。B组循环为：将步骤1.1的素描风景图像输入逆生成器F，输出生成实景图；将生成实景图与步骤1.1的真实实景图输入到判别器DI中，计算对抗损失；继续将生成实景图输入生成器G，输出再生成素描风景图像，计算输入素描风景图像与再生成素描风景图像的严格循环一致性损失。
进一步地，步骤2.3中的增强算法为将掩码信息所覆盖素描图区域的对比度扩大，步骤2.3中的弱化算法为将素描图背景部分像素点的灰度像素值提高。
本发明的有益结果：
本发明通过非对称结构的双循环生成对抗网络有效克服成对数据的限制，初步将自然实景图像自动转化为具有铅笔画素描风格的素描风景图，进而通过素描主次感增强算法模拟画家作画时所体现的图像主次感，得到能够区别图像主体部分与背景部分的素描风景图。
附图说明
图1为本发明中基于深度学习的素描风景图生成方法的流程图；
图2为基于深度学习的素描风景图生成网络框架；
图3为素描主次感增强算法流程；
图4为素描图生成结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清晰明了，下面结合附图详细说明本发明的具体实施方式。
如图1所示，本发明提出了一种基于深度学习的素描风景图生成方法，具体步骤如下：
步骤1，构建并训练基于深度学习的素描风景图生成网络。
步骤1.1，获取用于训练的自然实景图像和素描风景图像，构建非成对数据集。
从MSCOCO、Flickr15等公开数据集中选取非人物的、场景较为复杂的自然实景图像组成自然域数据集，将其定义为源域I域，I域中的训练数据表示为：
其中，S(·)表示集合，i表示在I域中的每一张图片，j表示对该数据集中每张图片的标号，共有N张。
在互联网上通过在线图片网站(比如，Pinterest)收集素描风景图像组成素描域数据集，将其为目标域S域，S域中的训练数据表示为：
其中，S(·)表示集合，s表示在S域中的每一张图片，k表示对该数据集中每张图片的标号，共有M张。
需要强调的是，两数据集中的图像没有一一对应关系且不属于同一分布。
步骤1.2，在缺乏成对训练数据的情况下，将自然实景图片-素描风景数据集输入到非对称的双循环生成对抗网络中，构建重构损失和对抗损失，训练学习从自然域I域到S域的映射，网络框架如图2所示。
该模型由两组生成对抗网络组成——一组为能够将自然图像转换为素描风景图的生成器G和用于判别合成素描与真实素描的域判别器DS，另一组为能够将素描图映射为自然图像的逆生成器F和用于判别合成自然图像与真实自然图像的域判别器DI。
本发明中的生成器G属于一个残差网络，该网络由3个下采样卷积层、9个残差块、3个上采样卷积层组成，逆生成器F与生成器G结构相同；本发明中的域判别器DS和域判别器DI均包括6层卷积层。
经观察发现，素描域的图像信息比自然域的图像信息少得多，素描图主要包含场景中物体的边缘信息和相对单调的纹理样式，故本发明只对从自然图像到素描风景图转换的单向映射感兴趣。因此，本发明的双循环生成对抗网络是非对称的，具体实施方式如下：
两组生成对抗网络构建为双循环结构。
A组循环为：将步骤1.1的自然实景图像i输入到生成器G中，生成器G从一个平面卷积和两个向下卷积块开始，对自然域图像i进行编码并提取有用的特征；接着使用由9个残差块组成的Resnet来构建内容特征，把步骤1.1的源域图像转换到目标域；最后通过两个上卷积块和一个final卷积层重构输出合成素描图G(i)；将合成素描图G(i)与步骤1.1的真实素描图s输入到判别器DS中，进行对抗学习，计算对抗损失，该损失函数定义如下：
其中，
表示分布函数的期望值，s∈S(s)为真实样本即素描图，G(i)为转化后的图片。训练时，通过计算交叉熵优化函数，生成器G不断生成逼真的图片想要最小化这个函数值，域判别器DS不断提高自身的判别能力想要最大化这个函数值，双方不断博弈，直到域判别器DS无法判别生成器G合成的图像是否属于素描域。
继续将合成素描图G(i)输入逆生成器F，输出再生成自然实景图像F(G(i))。由于本发明不期望A组循环中的逆生成器F完全按照输入图像i重建自然图像，即不期望F(G(i))与原输入i是像素级别的相似，所以本发明利用图像间语义级别相似的感知损失计算i与F(G(i))间的松弛循环一致性损失。
具体地，Zhang等人在2018年的CVPR上发表的“The Unreasonable Effectivenessof Deep Features as a Perceptual Metric”提出LPIPS感知度量，该感知度量可用来比较合成图片经过卷积神经网络的特征值与原输入图片经过卷积神经网络的特征值，使得合成图像与原输入图像在语义上更加相似。
进一步地，观察到本发明更期望再合成实景图像F(G(i))与原输入i的边缘信息相似，因此本发明使用Saining等人在2015年的ICCV上提出的HED模块提取边缘。进一步输出HED方法的不同层可视化结果并观察，本发明采用HED方法的第三层边缘提取结果，因为这一层的结果既不至于非边缘的内容过多，又可以检测到更多细节。
最终，如图2所示，本发明利用边缘提取模块HED-thr提取F(G(i))与i的边缘信息并利用LPIPS感知度量评估边缘的相似性，构造了本发明非对称结构中的松弛循环一致性损失，具体定义如下：
其中，H_3表示提取图像在HED方法中的第三层边缘输出结果，Llpips为LPIPS感知度量计算。
B组循环为：将步骤1.1的素描风景图像s输入到逆生成器F中，与A组循环进行相同的操作输出合成实景图F(s)；并将合成实景图F(s)与步骤1.1的真实实景图i输入到域判别器DI中，进行对抗学习，计算对抗损失，该损失函数具体定义如下：
其中，
表示分布函数的期望值，i∈S(i)为真实样本即自然实景图，F(s)为转化后的图片。训练时，与A组循环的判别过程类似，逆生成器F与域判别器DI不断博弈，直到域判别器DI无法判别逆生成器F合成的图像是否属于自然域。
继续将合成实景图F(s)输入生成器G，输出再合成素描风景图像G(F(s))。在B组循环中需要保证G(F(s))与原输入s是像素级别的相似，因为使用L1范数能够比L2范数产生更加清晰的图片，本发明使用L1距离计算严格循环一致性损失。
训练时，学习率固定为0.0002，训练200个epoch。
步骤1.3，将待转换的自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图。
步骤2，设计素描主次感增强算法。
如图3所示，该算法设计的基础是已初步通过步骤1合成了素描风景图，故本发明中该算法流程的设计集中于步骤1自然域到素描域的单向映射中。
步骤2.1，设计主体区域提取模块，利用交互式分割技术自主地选择步骤1.1自然实景图像的主体区域，提取主体区域掩码信息。
具体地，本发明通过一种通过反向传播优化方案进行的交互式图像分割方法来模拟画家自主选择自然实景图像的主体区域并生成该区域的掩码信息。该交互式图像分割方法是由Sofiiuk等人在2020年CVPR上发表的“f-BRS:Rethinking BackpropagatingRefinement for Interactive Segmentation”提出的。
步骤2.2，将步骤2.1通过主体区域提取模块得到的掩码信息m与步骤1.3所述初步合成的素描风景图G(i)输入到主次感增强模块中。
进一步地，将掩码信息m覆盖区域作为G(i)的主体部分，其余区域作为G(i)的背景部分。
步骤2.3，在主次感增强模块中，将G(i)中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化。
具体地，增强算法为利用图像增强函数，将掩码信息所覆盖区域素描图的对比度扩大至1.5倍。
具体地，素描风景图的像素信息均为0-255的灰度像素值，步骤2.3中的弱化算法将素描风景图背景部分像素点的灰度像素值提高50，若提高后大于255的像素点则调整其像素值为255。
最终，步骤1初步合成的素描风景图经过主次感增强算法后，得到视觉上主体部分与背景部分有所区分的素描风景图。
本发明在图4中进行了实验结果展示，第一列为输入的自然实景图像，第三列为本发明摆脱成对训练数据的限制，基于深度学习中的循环生成对抗网络初步得到的素描风景图，在保证图像内容的同时，其视觉上已具有铅笔画的风格。图4第二列的mask为图2主体区域提取模块生成的掩码信息，以此来表示图像的主体部分，第四列为对初步合成的素描风景图进行主次感增强后得到的效果图，观察到，第一行输入图像中近处的船作为主体部分被突出展示，远处的建筑作为背景部分被弱化；第二行输入图像中清晰的行人和一团杂草作为主体部分被突出展示，模糊的道路和树林被弱化。实验结果表明，本发明的素描图主次感增强方案有效。
Claims (3)
1.一种基于深度学习的素描风景图生成方法，其特征在于包括以下步骤：
步骤1，训练基于深度学习的素描风景图生成网络；
步骤1.1，获取用于训练的自然实景图像和素描风景图像，建立非成对的数据集；
步骤1.2，将自然实景图片-素描风景数据集输入到双循环生成对抗网络中，构建重构损失和对抗损失，进行学习；
步骤1.3，将待转换的自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图；
步骤2，设计素描主次感增强算法；
步骤2.1，设计主体区域提取模块，选择步骤1.1自然实景图像的主体区域并生成该区域的掩码信息；
步骤2.2，将步骤2.1得到的掩码信息与步骤1.3所述初步合成的素描风景图输入到主次感增强模块中；
将掩码信息覆盖区域作为合成素描风景图的主体部分，其余区域作为合成素描风景图的背景部分；
步骤2.3，在主次感增强模块中，将对应素描风景图中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化，最终获得主次感增强后的素描风景图。
2.根据权利要求1所述的方法，其特征在于：
步骤1.1中，将自然实景图像域定义为源域I域，将素描风景图像域定义为目标域S域；
步骤1.2中双循环生成对抗网络包括两组生成对抗网络：一组为负责将自然图像转换为素描图像的生成器G和用于鉴别合成素描与真实素描的域判别器DS，另一组是负责将素描图映射回自然图像的逆生成器F和用于鉴别合成照片与真实照片的域判别器DI；
将步骤1.2中的双循环生成对抗网络构建为非对称结构，A组循环为：将步骤1.1的自然实景图像输入生成器G，输出生成素描图；将生成素描图与步骤1.1的真实素描图输入到判别器DS中，计算对抗损失；继续将生成素描图输入逆生成器F，输出再生成自然实景图像，计算输入自然实景图像与再生成自然实景图像的松弛循环一致性损失；B组循环为：将步骤1.1的素描风景图像输入逆生成器F，输出生成实景图；将生成实景图与步骤1.1的真实实景图输入到判别器DI中，计算对抗损失；继续将生成实景图输入生成器G，输出再生成素描风景图像，计算输入素描风景图像与再生成素描风景图像的严格循环一致性损失；
步骤2.3中的增强算法为将掩码信息所覆盖素描图区域的对比度扩大，步骤2.3中的弱化算法为将素描图背景部分像素点的灰度像素值提高。
3.根据权利要求1所述的方法，其特征在于：
步骤1，构建并训练基于深度学习的素描风景图生成网络；
步骤1.1，获取用于训练的自然实景图像和素描风景图像，构建非成对数据集；
从公开数据集中选取自然实景图像组成自然域数据集，将其定义为源域I域，I域中的训练数据表示为：
其中，S(·)表示集合，i表示在I域中的每一张图片，j表示对该数据集中每张图片的标号，共有N张；
在互联网上通过在线图片网站收集素描风景图像组成素描域数据集，将其为目标域S域，S域中的训练数据表示为：
其中，S(·)表示集合，s表示在S域中的每一张图片，k表示对该数据集中每张图片的标号，共有M张；
两数据集中的图像没有一一对应关系且不属于同一分布；
步骤1.2，在缺乏成对训练数据的情况下，将自然实景图片-素描风景数据集输入到非对称的双循环生成对抗网络中，构建重构损失和对抗损失，训练学习从自然域I域到S域的映射，网络框架如图2所示；
该模型由两组生成对抗网络组成——一组为能够将自然图像转换为素描风景图的生成器G和用于判别合成素描与真实素描的域判别器DS，另一组为能够将素描图映射为自然图像的逆生成器F和用于判别合成自然图像与真实自然图像的域判别器DI；
生成器G属于一个残差网络，该网络由3个下采样卷积层、9个残差块、3个上采样卷积层组成，逆生成器F与生成器G结构相同；域判别器DS和域判别器DI均包括6层卷积层；
两组生成对抗网络构建为双循环结构；
A组循环为：将步骤1.1的自然实景图像i输入到生成器G中，生成器G从一个平面卷积和两个向下卷积块开始，对自然域图像i进行编码并提取有用的特征；接着使用由9个残差块组成的Resnet来构建内容特征，把步骤1.1的源域图像转换到目标域；最后通过两个上卷积块和一个final卷积层重构输出合成素描图G(i)；将合成素描图G(i)与步骤1.1的真实素描图s输入到判别器DS中，进行对抗学习，计算对抗损失，该损失函数定义如下：
其中，
表示分布函数的期望值，s∈S(s)为真实样本即素描图，G(i)为转化后的图片；训练时，通过计算交叉熵优化函数，生成器G不断生成逼真的图片想要最小化这个函数值，域判别器DS不断提高自身的判别能力想要最大化这个函数值，双方不断博弈，直到域判别器DS无法判别生成器G合成的图像是否属于素描域；
继续将合成素描图G(i)输入逆生成器F，输出再生成自然实景图像F(G(i))；利用图像间语义级别相似的感知损失计算i与F(G(i))间的松弛循环一致性损失；
利用边缘提取模块HED-thr提取F(G(i))与i的边缘信息并利用LPIPS感知度量评估边缘的相似性，构造了非对称结构中的松弛循环一致性损失，具体定义如下：
其中，H_3表示提取图像在HED方法中的第三层边缘输出结果，Llpips为LPIPS感知度量计算；
B组循环为：将步骤1.1的素描风景图像s输入到逆生成器F中，与A组循环进行相同的操作输出合成实景图F(s)；并将合成实景图F(s)与步骤1.1的真实实景图i输入到域判别器DI中，进行对抗学习，计算对抗损失，该损失函数具体定义如下：
其中，
表示分布函数的期望值，i∈S(i)为真实样本即自然实景图，F(s)为转化后的图片；训练时，与A组循环的判别过程类似，逆生成器F与域判别器DI不断博弈，直到域判别器DI无法判别逆生成器F合成的图像是否属于自然域；
继续将合成实景图F(s)输入生成器G，输出再合成素描风景图像G(F(s))；在B组循环中需要保证G(F(s))与原输入s是像素级别的相似，因为使用L1范数能够比L2范数产生更加清晰的图片，使用L1距离计算严格循环一致性损失；
训练时，学习率固定为0.0002，训练200个epoch；
步骤1.3，将待转换的自然实景图像输入到训练好的网络模型中，初步合成对应的素描风景图；
步骤2，设计素描主次感增强算法；
步骤2.1，设计主体区域提取模块，利用交互式分割技术自主地选择步骤1.1自然实景图像的主体区域，提取主体区域掩码信息；
通过反向传播优化方案进行的交互式图像分割方法来模拟画家自主选择自然实景图像的主体区域并生成该区域的掩码信息；
步骤2.2，将步骤2.1通过主体区域提取模块得到的掩码信息m与步骤1.3所述初步合成的素描风景图G(i)输入到主次感增强模块中；
将掩码信息m覆盖区域作为G(i)的主体部分，其余区域作为G(i)的背景部分；
步骤2.3，在主次感增强模块中，将G(i)中步骤2.2的主体部分进行增强，将对应素描风景图中步骤2.2的背景部分进行弱化；
增强算法为利用图像增强函数，将掩码信息所覆盖区域素描图的对比度扩大至1.5倍；
素描风景图的像素信息均为0-255的灰度像素值，步骤2.3中的弱化算法将素描风景图背景部分像素点的灰度像素值提高50，若提高后大于255的像素点则调整其像素值为255；
最终，步骤1初步合成的素描风景图经过主次感增强算法后，得到视觉上主体部分与背景部分有所区分的素描风景图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210143672.2A CN114549288A (zh) | 2022-02-16 | 2022-02-16 | 一种基于深度学习的素描风景图生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210143672.2A CN114549288A (zh) | 2022-02-16 | 2022-02-16 | 一种基于深度学习的素描风景图生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549288A true CN114549288A (zh) | 2022-05-27 |
Family
ID=81676515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210143672.2A Pending CN114549288A (zh) | 2022-02-16 | 2022-02-16 | 一种基于深度学习的素描风景图生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549288A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114881909A (zh) * | 2022-07-12 | 2022-08-09 | 安徽云森物联网科技有限公司 | 基于注意力机制与边缘约束的人脸素描合成照片方法 |
-
2022
- 2022-02-16 CN CN202210143672.2A patent/CN114549288A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114881909A (zh) * | 2022-07-12 | 2022-08-09 | 安徽云森物联网科技有限公司 | 基于注意力机制与边缘约束的人脸素描合成照片方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
| Rahim et al. | End-to-end trained CNN encoder-decoder networks for image steganography | |
| Aldausari et al. | Video generative adversarial networks: a review | |
| Liu et al. | Shadow removal by a lightness-guided network with training on unpaired data | |
| CN110111236B (zh) | 基于渐进式对抗生成网络的多目标草图生成图像的方法 | |
| Li et al. | Anigan: Style-guided generative adversarial networks for unsupervised anime face generation | |
| Liu et al. | Unsupervised sketch to photo synthesis | |
| CN111696028A (zh) | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 | |
| Liu et al. | Wdnet: Watermark-decomposition network for visible watermark removal | |
| CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
| CN111242238B (zh) | 一种rgb-d图像显著性目标获取的方法 | |
| CN109447137B (zh) | 一种基于分解因子的图像局部风格迁移方法 | |
| Zhao et al. | Depth-distilled multi-focus image fusion | |
| CN111861945B (zh) | 一种文本引导的图像修复方法和系统 | |
| CN109359527B (zh) | 基于神经网络的头发区域提取方法及系统 | |
| CN113724354B (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| CN111489405B (zh) | 基于条件增强生成对抗网络的人脸草图合成系统 | |
| CN114549288A (zh) | 一种基于深度学习的素描风景图生成方法 | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| Fu et al. | Multi‐style Chinese art painting generation of flowers | |
| Virtusio et al. | Enabling artistic control over pattern density and stroke strength | |
| CN112163605A (zh) | 一种基于生成注意力网络的多域图像翻译方法 | |
| Ye et al. | Interactive anime sketch colorization with style consistency via a deep residual neural network | |
| Khan et al. | Face recognition via multi-level 3D-GAN colorization | |
| Li et al. | Two‐stage Photograph Cartoonization via Line Tracing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |