CN110111236A - 基于渐进式对抗生成网络的多目标草图生成图像的方法 - Google Patents
基于渐进式对抗生成网络的多目标草图生成图像的方法 Download PDFInfo
- Publication number
- CN110111236A CN110111236A CN201910316843.5A CN201910316843A CN110111236A CN 110111236 A CN110111236 A CN 110111236A CN 201910316843 A CN201910316843 A CN 201910316843A CN 110111236 A CN110111236 A CN 110111236A
- Authority
- CN
- China
- Prior art keywords
- image
- sketch
- instance
- network
- multiple target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000009826 distribution Methods 0.000 claims abstract description 40
- 230000003321 amplification Effects 0.000 claims abstract description 20
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 32
- 230000011218 segmentation Effects 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 8
- 244000025254 Cannabis sativa Species 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 210000003462 vein Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- URYAFVKLYSEINW-UHFFFAOYSA-N Chlorfenethol Chemical compound C=1C=C(Cl)C=CC=1C(O)(C)C1=CC=C(Cl)C=C1 URYAFVKLYSEINW-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其通过将实例和整个图像的生成过程解耦，促进实例纹理颜色的生成，以及促进整体图像关系的生成。并且使用判别草图扩增技术，通过获取判别区域的草图信息使得图像生成过程中具有更加准确的结构约束。本发明提供的方法，解决了现存网络由于学习整个图像的分布而忽略了图像中实例部分的分布并由此导致的在不同的实例上产生相同的纹理和颜色的问题，在MS‑COCO数据集中获取了较高的Inception Score和较低的Fre′chet inception distance，即本发明的方法在生成数据的质量和多样性上都取得了很好的结果。
Description
技术领域
本发明属于计算机图像生成领域，涉及一种基于渐进式对抗生成网络的多目标草图生成图像的方法。
背景技术
绘画作品设计过程涉及大量创造性工作。这个过程通常以在纸上画草图开始，借此设计师和工程师分享他们的想法，以草图为基础创造出能够还原真实场景的艺术作品。描绘现实世界中的图像中通常包含多个目标实例，因此，从多实例的草图生成图像是一个有吸引力的研究课题。过去在多目标草图生成图像领域，利用每个草图的特征信息进行跨域检索是研究重点，利用检索获取的参考图像替换草图中的实例目标，然后通过融合各部分实例目标得到合成的真实图像。然而，利用草图特征检索不能够获取检索数据库中不存在的实例目标。
如今，随着图像生成技术的发展，使得草图生成图像有了实质的改进，生成对抗网络能够生成数据集中不存在的实例目标。随着基于数据驱动的智能时代的发展，获取含标注的仿真样本数据可有效弥补真实训练数据的不足，因此如何自动的获取含有标注的多目标草图图像是非常重要的。而且，现有的生成网络通常会在一张图像的不同实例上产生相似的纹理或颜色，这是由于这些方法主要是学习整个图像的分布而忽略了图像中实例部分的分布。对于多目标的草图生成方案，一方面，需要解决人工标注草图数据费时费力的难题，另一方面，需要解决如何利用生成网络生成多目标的真实图像，从而辅助艺术从业人员的创造性工作。
草图生成图像技术的相关研究现状如下：
Chen T等人首次提出由草图生成图像的方案(Chen T,Cheng M M,Shamir A,etal.Sketch2Photo:internet image montage.ACM SIGGRAPH Asia.ACM,2009)。其方案为每张草图赋予相应的文本描述，从而使用文本描述在网络中检索纹理和颜色空间一致的参考图像，利用参考图像中的目标内容替换草图中目标，通过融合各部分目标得到合成的真实图像。但是利用文本描述在网络中检索图像，这对与图像的标签信息是强依赖的，若出现网络中图像标签与图像不一致，会直接导致最终合成结果错误。除此之外，利用检索方案获取的实例目标，要求数据集中包含与草图图像对应的实例目标。
随着生成对抗网络的出现，使得生成数据集中没见过的实例图像成为可能，Pix2Pix(Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation withConditional Adversarial Networks.CVPR,2017)提出了直接利用生成对抗网络对草图跨域生成。方案使用条件对抗生成网络(Conditional Adversarial network)，以草图信息作为条件，生成真实图像。CycleGan(Zhu J,Park T,Isola P,et al.Unpaired image-to-image translation using cycle-consistent adversarial networks.CVPR,2017)解决了非成对数据下的草图生成图像任务，解决了成对数据集不充足的问题。Pix2PixHD(WangT C,Liu M Y,Zhu J Y,et al.High-Resolution Image Synthesis and SemanticManipulation with Conditional GANs.CVPR,2017)提出了利用生成对抗网络生成高清图像的任务。以上的生成网络通常会在一张多目标图像产生相似的纹理或者颜色，这是由于这些方法主要是学习整个图像的分布而忽略了图像中实例部分的分布。
发明内容
本发明的目的是提供一种基于渐进式对抗生成网络(MS-PGAN)模型的草图生成图像的方法，可以解决现有网络的对于多目标草图生成出现一致的纹理和颜色的缺点，通过将实例目标的生成和整个图像的生成解耦，能够渐进优化生成效果。此外，例如眼睛，耳朵等是动物整体中最显著的部分，准确的显著区域草图能够帮助生成更加合理的实例图像。因此，本发明提出了判别草图扩增技术，通过获取判别区域的草图信息使得图像生成过程中具有更加准确的结构约束。
本发明的技术方案：
一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其包括步骤：
1)通过判别性草图扩增方法获取多目标图像对应的多目标的精细草图，即获得多目标实例草图图像对<Iimage，Smsk>，为网络训练提供数据；
1.1)使用语义分割的Ground Truth或语义分割算法来获得语义掩码；
1.2)通过步骤1.1)获得的语义掩码获取不同类别的真实实例图像Iinstance；
1.3)对于步骤1.2)中获取的不同类别的实例图像，采用边缘检测算法提取粗略草图SHed；
1.4)使用预训练好的类激活映射网络，获得每个实例图像类别的最具辨别力的判别区域；
1.5)在步骤1.4)中得到的判别区域内应用OpenCV中的自适应阈值边缘检测算法，得到判别区域草图SCam；
1.6)通过将步骤1.3)中的粗略草图SHed和步骤1.5)中的判别区域草图SCa组合，获取不同实例的精细草图Sinstance，
Sinstance＝SHed+SCam (1)
进而获得<Iinstance，Sinstance>实例草图图像对；
1.7)采用判别性草图扩增方法产生额外的<Iinstance，Sinstance>实例草图图像对，获得n×<Iinstance，Sinstance>的扩增实例草图图像对；
1.8)对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对<Iimage，Smsk>，Iimage是真实的多目标真实图像，Smsk是多目标精细草图；
2)通过训练实例生成对抗网络得到训练好的实例生成器，使用实例生成器获得多实例图像
2.1)将步骤1.8)中获得的赋予颜色的多目标精细草图Smsk输入渐进式生成对抗网络，对于给定带颜色标注的多目标精细草图Smsk，使用分离块，根据多目标精细草图Smsk的颜色将图像分解为n个类别，其中每种颜色代表一个类别；
2.2)对于步骤2.1)中获得的每个颜色类别，为防止网络过拟合，使用步骤1.7)获得的n×<Iinstance，Sinstance>扩增实例草图图像对作为扩增训练数据，训练一个子生成器，子生成器为对应的类别生成基本实例纹理和颜色分布；
2.3)通过训练实例生成对抗网络得到训练好的实例生成器，采用该训练好的实例生成器根据赋予颜色的多目标精细草图Smsk，输出一组包含对应类别的多实例图像Min，
其中，实例生成对抗网络包含实例生成器Gin和实例判别器Din，实例生成对抗网络以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数和实例判别器损失函数来训练每一类别的子生成器和子判别器，
其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失使得生成图像多样，并且快速收敛；
其中，λ0是超参数，是对抗损失，是感知损失，衡量了真实图像和生成图像卷积特征图之间的差异，由于能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，
其中P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异；
3)通过训练图像生成对抗网络得到训练好的图像生成器，采用训练好的图像生成器获得最终完整图像。
以步骤2)中的实例生成器获得的多实例图像Min和步骤1.8)中获得的多目标精细草图Smsk为条件，通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，通过保留步骤2)中的实例生成器获取不同的多实例图像Min的颜色纹理信息，引入全局特征网络，为图像生成对抗网络提供高级语义信息，用以助于草图生成图像具有对应类别的实例图像；
其中，图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以步骤2)中获得的多实例图像Min和步骤1)中获得的多目标精细草图Smsk为条件，图像生成对抗网络通过优化图像生成器损失函数和图像判别器损失函数来训练图像生成器Gim和图像判别器Dim，
其中Min和Iimage服从真实分布Pdata，z是噪声信息；
其中能够学习到不同图像在某些特征图上的分布差异，λ1是超参数，是对抗损失。
在本发明的技术方案中，输入渐进式生成对抗网络MS-PGAN的是彩色草图，这个彩色多实例目标草图是由判别性草图扩增技术(DSA)方法获得的。通过获取判别性的多目标草图作为训练数据，具有判别性的草图信息能够为生成图像提供很好的结构约束，能够帮助网络生成结构合理的多目标图像。利用渐进式网络将实例目标和整个图像的生成过程分离，保证网络生成更高质量的多目标图像。并在MS-COCO数据集中获取了较高的InceptionScore(IS)和较低的Fre′chet inception distance(FID)，这意味着本发明的方案在生成数据的质量和多样性上都取得了很好的结果。
渐进式生成对抗网络由两部分组成：实例生成对抗网络和图像生成对抗网络，首先，第一阶段是实例生成对抗网络，它为每一类草图生成初始的颜色分布和细节纹理，然后，第二阶段将第一阶段生成的实例图像组合作为图像生成对抗网络的输入，从而生成了保留了实例细节纹理的完整图像。本发明的基于渐进式生成对抗网络的多草图图像的生成方案，其利用了生成对抗网络的创造能力，为多目标草图生成图像任务提出了一个渐进式对抗生成网络(MS-PGAN)，它能够根据草图信息学习到数据集中不同实例图像的分布，将实例生成过程与图像生成过程解耦，这既能够促进实例纹理颜色的生成，又促进了整体图像关系的生成，进而能够生成数据集中没有见过的多实例目标图像，保证生成数据的多样性。同时，本发明的方法采用了类激活映射(CAM)，它能够获取图像中最具有判别性的区域，进而获取多目标的判别性草图。
本发明的有益效果：本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法使用MS-PGAN解决多实例的草图生成图像任务，通过解耦整体图像和实例图像的拟合，从而可以保留生成图像中的纹理和颜色，并能够促进全局图像的生成。DSA技术可以防止网络过度拟合并生成更可靠的图像。并且，获取了一个包含44670个草图图像对的高质量数据集，这个数据集对草图相关的其他任务同样具有有帮助。本发明提供了多目标草图生成图像的一种新方法，可以有效提高多目标草图生成图像质量，为草图生成图像工作提供了一种新的解决方案。
附图说明
图1为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法的网络结构图，其中，网络结构中展示了实例生成器和图像生成器。
图2为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法收集的数据集样本<Iimage，Smsk>多目标实例草图图像对的样例图。
图3为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中判别性草图扩增方法的示意图。
图4为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中实例生成对抗网络结构示意图。
图5为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中的图像生成对抗网络结构示意图。
图6为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法生成图像示例的示意图。
图7为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中的判别性草图与原始草图的生成图像效果对比图。
图8为比较基于渐进式对抗生成网络的多目标草图生成图像的方法中的渐进式结构MS-PGAN和其他生成器的多目标草图生成结果。
图9为由Mask R-CNN可视化的生成图像和真实图像的语义分割结果对比示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面对本发明的具体实施方式作进一步的详细描述。
(1)判别性草图扩增方法
当观察一张图像时，通常会注意到图像中各个目标的最具有判别力的区域。然而，由于草图和照片之间固有差异，利用边缘检测算法(HED)(Xie S and Tu Z,Holistically-nested edge detection.IJCV,2017)获得的草图在复杂上下文中往往缺乏一些显著性边缘信息，例如：动物的眼睛，耳朵等对于动物而言具有判别力的区域。除此之外，复杂场景中，HED能够获取到场景的边缘信息，这些边缘信息对于多实例目标的生成是有抑制作用的，它使得网络去关注场景的生成而忽略了实例本身的生成。因此本发明提出一种判别性草图扩增方法获取多目标图像对应的合理草图，除此之外，通过对草图信息的扩增，增强了网络对噪声的鲁棒性。
类激活映射网络(CAM)(Zhou B,Khosla A,Lapedriza A,et al.Learning DeepFeatures for Discriminative Localization.CVPR,2015)获取的类激活图是能够将这张图像标注为某一类的最具有判别性的区域。基于对CAM的效果观察，由此可以通过CAM提取真实图像中具有判别力的区域。然而，在自然场景中的图像中存在很多干扰(复杂背景、无关物体)。为了避免这些干扰的影响，首先使用语义分割的Ground Truth或语义分割算法来获得语义掩码。理想情况下，通过语义掩码获取得到的是不同类别的实例图像。接下来，对于不同类别的实例图像，首先采用HED技术提取粗略草图SHed。然后，使用预训练好的CAM网络，获得每个实例类别的最具辨别力的区域。最后，在得到的判别区域内应用自适应阈值边缘检测算法，得到判别区域中的判别区域草图SCam。通过将粗略草图和判别区域草图组合来获取最终的精细草图Sinstance，
Sinstance＝SHed+SCam (1)。
由于训练数据量有限，这会导致网络过拟合。因此提出DSA技术通过产生额外的<Iinstance，Sinstance>图像对来缓解这个问题。然后，去除一定数量的单独分散的像素，并在判别区域中删除具有较小的连通分量的草图Sinstance，移除的小型连通分量的比率在设置为n个级别。通过增加判别区域草图SCam，判别性草图扩增方法将草图图像对的数量增加到n×<Iinstance，Sinstance>图像对为多实例草图到图像合成提供合理数据集。对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对<Iimage，Smsk>，Iimage是真实的多目标真实图像，Smsk是多目标精细草图。
(2)实例生成对抗网络
实例生成对抗网络细节如下：给定带颜色标注多目标精细草图Smsk，首先使用分离块，根据草图的颜色将图像分解为n个类别。将带彩色多目标精细草图Smsk多实例草图作为输入，其中每种颜色代表一个特定类别。对于每个类别，实例生成对抗网络为其训练一个子生成器以生成对应的实例图像。在模型中，实例生成对抗网络为n个的不同类别的草图训练了n个独立的子生成器。对于每类草图，相应的子生成器为其生成基本实例纹理和颜色分布。最后，实例生成器根据输入草图类别的不同，输出一组包含不同类别的实例图像，如图1中的实例生成器所示。
实例生成对抗网络包含实例生成器Gin和实例判别器Din，以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数和实例判别器损失函数来训练每一类别的子生成器和子判别器，
其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失能够使得生成图像多样，并且能够快速收敛。
其中，λ0是超参数，是对抗损失，是感知损失，衡量了真实图像和生成图像卷积特征图之间的差异，由于能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，
其中P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异。实例生成对抗网络结构如图4所示。
(3)图像生成对抗网络
实例生成器的输出定义实例的纹理，颜色，位置和类别信息。训练单个生成对抗网络直接应用于多实例草图图像生成任务，通常会导致在图像中的所有实例上生成一致的纹理或颜色。这是因为单个的生成网络通常是分布逼近与整个图像级的分布，对于多目标图像，利用单个网络结构会忽略不同实例目标之间的差异，但是同样，仅仅学习实例的分布是不够的，因此设计的图像生成对抗网络和实例生成对抗网络，互相补偿学习不同分布的缺失。图像生成对抗网络还解决了以下问题：数据集中的一些图像的分割结果包含重叠区域，这导致直接合成实例图像会出现的明显人工组合痕迹。此外，实例生成器生成的图像不包含背景。考虑到这些问题，提出了一个图像生成对抗网络，它以实例生成器结果和原始多实例草图为条件，可以通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，而且通过保留实例生成器获取不同实例的颜色纹理信息。此外，引入了一个全局特征网络，为图像生成对抗网络提供高级语义信息，这有助于生成具有对应类别的实例图像。
图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以多实例图像Min和多目标精细草图Smsk为条件，然后通过优化和来训练生成器Gim和判别器Dim，
其中Min和Iimage服从真实分布Pdata，z是噪声信息；
其中能够学习到不同图像在某些特征图上的分布差异，λ1是超参数，是对抗损失。图像生成对抗网络结构如图5所示。
实施例
在本实施例中，在GTX Titan X，12G显卡的服务器上，使用XShell,Xftp终端模拟器以及Jupyter notebook交互式界面,采用较为稳定的深度学习框架tensorflow-GPU版本1.8.0,cuda版本为9.0.176。采用本发明提出的渐进式对抗生成网络，结合草图判别性扩增技术获得的草图图像对，完成整个多目标草图生成图像的过程。
本实施例中，收集了21个类别的MS-COCO图像数据(包括背景)，这些图像类别是与Pascal VOC数据集中的图像类别重叠，为了统一网络的输入，将获取的包含这20类(不包含背景)的图像进行裁剪，获得尺寸大小为size＝256*256。通过语义掩码获取得到的是不同类别的实例图像，在本实施例中，使用了MS-COCO数据集的语义分割的Ground Truth作为不同类别的语义掩码。接下来，对于20个类别的实例图像，首先采用HED技术提取粗略草图SHed。然后，使用预训练好的CAM网络，获得每个实例类别的最具辨别力的区域。最后，在得到的判别区域内应用自适应阈值边缘检测算法，得到判别区域中的草图SCam。通过将粗略草图和判别区域草图组合来获取最终的精细草图Sinstance：
Sinstance＝SHed+SCam (1)。
对于不同类别的草图，对其赋予了指定的颜色，不同颜色表示不同类别的草图信息。由于训练数据量有限，这会导致网络过拟合。因此提出DSA技术通过产生额外的<Iinstance，Sinstance>图像对来缓解这个问题。然后，去除一定数量的单独分散的像素，并在判别区域中删除具有较小的连通分量的草图Sinstance，移除的小型连通分量的比率在设置为n＝5个级别。对于每一个草图类别，通过去除SCam连通区域的个数来调节训练数据的规模，在本实施例的实验中，OpenCV设置自适应阈值边缘检测方法的参数是b＝5，c＝7，其中是b用于计算阈值的像素邻域的数量，c是偏差。在本实施例中，设置去除的小连通分量的等级参数n＝5，con＝2，其中n表示按照5个等级调节联通区域的个数，con＝2表示以八连通模式获取连通分量，α是一个随机参数，选取范围从{0～0.7}，表示应删除小对象的比例，在本实施例中，选取5次来获得不同稀疏程度的草图。通过增加判别区域草图SCam，判别性草图扩增方法将草图图像对的数量增加到5×<Iinstance，Sinstance>图像对，为多实例草图到图像合成提供合理数据集。
输入渐进式生成对抗网络MS-PGAN的输入是彩色草图，这个彩色多实例目标草图是由前述的判别性草图扩增技术(DSA)方法获得的，如图3中判别性草图扩增方法所示。渐进式生成对抗网络由两部分组成，实例生成对抗网络和图像生成对抗网络所示，首先，第一阶段是图像生成对抗网络，它为每一类草图生成初始的颜色分布和细节纹理，然后，第二阶段将第一阶段生成的实例图像组合作为图像生成对抗网络的输入，从而生成了保留了实例细节纹理的完整图像。
具体的，在本实施例中，在MS-PGAN中，实例生成对抗网络训练得到了20个类别的子生成器，给定带标注多实例草图，首先使用分离块，根据草图的颜色将图像分解为20个类别。将彩色多实例草图作为输入，其中每种颜色代表一个特定类别。对于每个类别，为其训练一个子生成器以生成对应的实例图像。在本实施例中，为20个的不同类别的草图训练了20个独立的子生成器。对于每类草图，相应的子生成器为其生成基本实例纹理和颜色分布。最后，实例生成器根据输入草图类别的不同，输出一组包含不同类别的多实例图像Min，如图1中实例生成器所示。实例生成对抗网络包含实例生成器Gin和实例判别器Din，以每一个类别的精细草图Sinstance为条件，实例生成对抗网络通过优化实例生成器损失函数和实例判别器损失函数来训练每一类别的子生成器和子判别器，
其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失能够使得生成图像多样，并且能够快速收敛；
其中，λ0是超参数，是对抗损失，是感知损失，衡量了真实图像和生成图像卷积特征图之间的差异，由于能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，
其中P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异；使用了预先训练好的VGG19分类网络提取真实图像和生成图像在池化层的第五层提取特征，最小化两者差异。实例生成对抗网络的主要结构如图4所示。实例生成器Gin遵循U型结构。由于提供更多辅助信息以生成更多照片般逼真的图像。为了提供足够的草图细节，通过向编码器添加额外的辅助草图，输入草图的大小随卷积特征图的尺寸一起变化。例如，第一个卷积C0接收草图Ssketch，尺寸为w0＝256，h0＝256，将其作为网络输入并生成新的特征图F0(该特征图的大小是下采样到w0/2，h0/2)。同时，原始草图Sinstance同样下采样到w0/2，h0/2并与新特征映射F0连接。实例判别器Din可以看作为一个二分类网络，真实图像认为是正例，生成图像为负例。通过调节网络中卷积核的个数，使得在如图4所示的实例生成对抗网络中的卷积块的个数增多，也即深度增加，卷积块的个数从11到19，加深网络深度，使得生成效果更好。
图像生成对抗网络以实例生成器的结果多实例图像Min和多目标精细草图Smsk为条件，可以通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，而且通过保留实例生成器获取的不同多实例图像Min的颜色纹理信息。此外，引入了一个全局特征网络，为图像生成对抗网络提供高级语义信息，这有助于草图生成图像具有对应类别的实例图像。
其中，图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以多实例图像Min和多目标精细草图Smsk为条件，通过优化图像生成器损失函数和图像判别器损失函数来训练图像生成器Gim和图像判别器Dim，
其中Min和Iimage服从真实分布Pdata，z是噪声信息；
其中能够学习到不同图像在某些特征图上的分布差异，感知损失函数是使用预先训练好的VGG19分类网络提取真实图像和生成图像在池化层的第五层提取特征。λ1是超参数，本实施例中λ1＝10，是对抗损失。
图像生成对抗网络的主要结构如图5所示。通过在卷积块中添加辅助草图来修改图像生成对抗网络结构，这增强了对草图生成的约束能力。同样，卷积C0接收多目标草图Smsk，尺寸为w0＝256，h0＝256，将其作为输入并生成新的特征图F0。同时，原始草图Ssmk同样下采样到w0/2，h0/2并与新特征映射F0连接。图像判别器结构Dim可以看作为一个二分类网络，将真实图像标签设为真，生成图像标签设置为假。通过图像生成器和图像判别器之间的相互制约，从而达到生成图像的分布与真实图像的分布接近的效果。添加额外的全局辅助信息能够帮助图像生成上下文合理的图像，图像生成对抗网络通过引入全局特征网络以提取给定类别的语义信息从而约束所生成图像的类别信息，本实施例中所采用的全局辅助信息是VGG19分类网络获取全连接层的特征表示作为图像的特征表示。
现有图像质量和多样性指标通常包含以下几个标准，包含Inception Score(IS)(Salimans,T.,Goodfellow,I.,Zaremba,W.,Cheung,V.,Radford,A.,&Chen,X.(2016).Improved techniques for training gans.In Advances in Neural InformationProcessing Systems.)和FréchetInception distance(FID)(Heusel,M.,Ramsauer,H.,Unterthiner,T.,Nessler,B.,&Hochreiter,S.(2017).Gans trained by a two time-scale update rule converge to a local nash equilibrium.In Advances in NeuralInformation Processing Systems.)，以及用于语义分割的交并比分数(IOU)，以及定性评估图像质量。
表1为实例生成器在收集的猫实例图像数据集上使用不同技巧下的IS和FID评估。
表2为MS-COCO数据集不同生成方案的多实例草图生成图像的IS和FID评估表。
表3为20个不同类别的语义分割的IOU评估分数评测表。
参见表1至表3以及图7至图9，可见本发明的方案在生成数据的质量和多样性上都取得了很好的结果。
以上所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。
Claims (1)
1.一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其特征在于，所述的方法包括步骤：
1)通过判别性草图扩增方法获取多目标图像对应的多目标的精细草图，即获得多目标实例草图图像对＜Iimage，Smsk＞，为网络训练提供数据；
1.1)使用语义分割的Ground Truth或语义分割算法来获得语义掩码；
1.2)通过步骤1.1)获得的语义掩码获取不同类别的真实实例图像Iinstance；
1.3)对于步骤1.2)中获取的不同类别的真实实例图像，采用边缘检测算法提取粗略草图SHed；
1.4)使用预训练好的类激活映射网络，获得每个真实实例图像类别的最具辨别力的判别区域；
1.5)在步骤1.4)中得到的判别区域内应用OpenCV中的自适应阈值边缘检测算法，得到判别区域草图SCam；
1.6)通过将步骤1.3)中的粗略草图SHed和步骤1.5)中的判别区域草图SCam组合，获取不同实例的精细草图Sinstance，
Sinstance＝SHed+SCam (1)
进而获得＜Iinstance，Sinstance＞实例草图图像对；
1.7)采用判别性草图扩增方法产生额外的＜Iinstance，Sinstance＞实例草图图像对，获得n×＜Iinstance，Sinstance＞的扩增实例草图图像对；
1.8)对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对＜Iimage，Smsk＞，Iimage是真实的多目标真实图像，Smsk是多目标精细草图；
2)通过训练实例生成对抗网络得到训练好的实例生成器，使用实例生成器获得多实例图像；
2.1)将步骤1.8)中获得的赋予颜色的多目标精细草图Smsk输入渐进式生成对抗网络，对于给定带颜色标注的多目标精细草图Smsk，使用分离块，根据多目标精细草图Smsk的颜色将图像分解为n个类别，其中每种颜色代表一个类别；
2.2)对于步骤2.1)中获得的每个颜色类别，为防止网络过拟合，使用步骤1.7)获得的n×＜Iinstance，Sinstance＞扩增实例草图图像对作为扩增训练数据，训练一个子生成器，子生成器为对应的类别生成基本实例纹理和颜色分布；
2.3)通过训练实例生成对抗网络得到训练好的实例生成器，采用该训练好的实例生成器根据赋予颜色的多目标精细草图Smsk，输出一组包含对应类别的多实例图像Min，
其中，实例生成对抗网络包含实例生成器Gin和实例判别器Din，实例生成对抗网络以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数和实例判别器损失函数来训练每一类别的子生成器和子判别器，
其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失使得生成图像多样，并且快速收敛；
其中，λ0是超参数，是对抗损失，是感知损失，衡量了真实图像和生成图像卷积特征图之间的差异，由于能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，
其中，P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异；
3)通过训练图像生成对抗网络得到训练好的图像生成器，采用训练好的图像生成器获得最终完整图像；
以步骤2)中的实例生成器获得的多实例图像Min和步骤1.8)中获得的多目标精细草图Smsk为条件，通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，通过保留步骤2)中的实例生成器获取不同的多实例图像Min的颜色纹理信息，引入全局特征网络，为图像生成对抗网络提供高级语义信息，用以助于草图生成图像具有对应类别的实例图像；
其中，图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以步骤2)中获得的多实例图像Min和步骤1)中获得的多目标精细草图Smsk为条件，图像生成对抗网络通过优化图像生成器损失函数和图像判别器损失函数来训练图像生成器Gim和图像判别器Dim，
其中Min和Iimage服从真实分布Pdata，z是噪声信息；
其中能够学习到不同图像在某些特征图上的分布差异，λ1是超参数，是对抗损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910316843.5A CN110111236B (zh) | 2019-04-19 | 2019-04-19 | 基于渐进式对抗生成网络的多目标草图生成图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910316843.5A CN110111236B (zh) | 2019-04-19 | 2019-04-19 | 基于渐进式对抗生成网络的多目标草图生成图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110111236A true CN110111236A (zh) | 2019-08-09 |
| CN110111236B CN110111236B (zh) | 2022-11-18 |
Family
ID=67485932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910316843.5A Active CN110111236B (zh) | 2019-04-19 | 2019-04-19 | 基于渐进式对抗生成网络的多目标草图生成图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110111236B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| CN111292384A (zh) * | 2020-01-16 | 2020-06-16 | 西安交通大学 | 基于生成式对抗网络的跨域多样性图像生成方法及系统 |
| CN111488911A (zh) * | 2020-03-15 | 2020-08-04 | 北京理工大学 | 基于Mask R-CNN与GAN的图像实体抽取方法 |
| CN111489405A (zh) * | 2020-03-21 | 2020-08-04 | 复旦大学 | 基于条件增强生成对抗网络的人脸草图合成系统 |
| CN111724343A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种基于对抗式学习的甲状腺结节超声影像数据集增强方法 |
| CN111862253A (zh) * | 2020-07-14 | 2020-10-30 | 华中师范大学 | 一种基于深度卷积生成对抗网络的草图着色方法及系统 |
| CN111967533A (zh) * | 2020-09-03 | 2020-11-20 | 中山大学 | 一种基于场景识别的草图图像翻译方法 |
| CN111985528A (zh) * | 2020-07-06 | 2020-11-24 | 国网天津市电力公司 | 一种基于pdgan的电缆局放数据增强方法 |
| CN112260818A (zh) * | 2020-10-19 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 侧信道曲线的增强方法、侧信道攻击方法及装置 |
| CN112464578A (zh) * | 2021-01-28 | 2021-03-09 | 电子科技大学中山学院 | 一种用于剩余使用寿命预测退化数据的扩增方法 |
| CN112990239A (zh) * | 2019-12-13 | 2021-06-18 | 中移(成都)信息通信科技有限公司 | 识别模型训练方法、辣椒疮痂病识别方法及装置 |
| CN113034411A (zh) * | 2020-12-19 | 2021-06-25 | 北京工业大学 | 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 |
| CN114358144A (zh) * | 2021-12-16 | 2022-04-15 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN115359073A (zh) * | 2022-10-17 | 2022-11-18 | 湖南自兴智慧医疗科技有限公司 | 基于对抗生成网络的染色体拓扑结构分割方法及装置 |
| CN116933854A (zh) * | 2023-09-18 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 图像生成模型的处理方法、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767384A (zh) * | 2017-11-03 | 2018-03-06 | 电子科技大学 | 一种基于对抗训练的图像语义分割方法 |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
-
2019
- 2019-04-19 CN CN201910316843.5A patent/CN110111236B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767384A (zh) * | 2017-11-03 | 2018-03-06 | 电子科技大学 | 一种基于对抗训练的图像语义分割方法 |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| 余思泉等: "基于对抗生成网络的纹理合成方法", 《红外与激光工程》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675415B (zh) * | 2019-12-05 | 2020-05-15 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| CN112990239A (zh) * | 2019-12-13 | 2021-06-18 | 中移(成都)信息通信科技有限公司 | 识别模型训练方法、辣椒疮痂病识别方法及装置 |
| CN111292384A (zh) * | 2020-01-16 | 2020-06-16 | 西安交通大学 | 基于生成式对抗网络的跨域多样性图像生成方法及系统 |
| CN111292384B (zh) * | 2020-01-16 | 2022-05-20 | 西安交通大学 | 基于生成式对抗网络的跨域多样性图像生成方法及系统 |
| CN111488911A (zh) * | 2020-03-15 | 2020-08-04 | 北京理工大学 | 基于Mask R-CNN与GAN的图像实体抽取方法 |
| CN111489405A (zh) * | 2020-03-21 | 2020-08-04 | 复旦大学 | 基于条件增强生成对抗网络的人脸草图合成系统 |
| CN111489405B (zh) * | 2020-03-21 | 2022-09-16 | 复旦大学 | 基于条件增强生成对抗网络的人脸草图合成系统 |
| CN111724343A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种基于对抗式学习的甲状腺结节超声影像数据集增强方法 |
| CN111985528A (zh) * | 2020-07-06 | 2020-11-24 | 国网天津市电力公司 | 一种基于pdgan的电缆局放数据增强方法 |
| CN111985528B (zh) * | 2020-07-06 | 2024-04-23 | 国网天津市电力公司 | 一种基于pdgan的电缆局放数据增强方法 |
| CN111862253A (zh) * | 2020-07-14 | 2020-10-30 | 华中师范大学 | 一种基于深度卷积生成对抗网络的草图着色方法及系统 |
| CN111862253B (zh) * | 2020-07-14 | 2023-09-15 | 华中师范大学 | 一种基于深度卷积生成对抗网络的草图着色方法及系统 |
| CN111967533A (zh) * | 2020-09-03 | 2020-11-20 | 中山大学 | 一种基于场景识别的草图图像翻译方法 |
| CN111967533B (zh) * | 2020-09-03 | 2022-09-23 | 中山大学 | 一种基于场景识别的草图图像翻译方法 |
| CN112260818A (zh) * | 2020-10-19 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 侧信道曲线的增强方法、侧信道攻击方法及装置 |
| CN112260818B (zh) * | 2020-10-19 | 2022-09-20 | 中国人民解放军战略支援部队信息工程大学 | 侧信道曲线的增强方法、侧信道攻击方法及装置 |
| CN113034411A (zh) * | 2020-12-19 | 2021-06-25 | 北京工业大学 | 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 |
| CN113034411B (zh) * | 2020-12-19 | 2024-02-27 | 北京工业大学 | 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 |
| CN112464578A (zh) * | 2021-01-28 | 2021-03-09 | 电子科技大学中山学院 | 一种用于剩余使用寿命预测退化数据的扩增方法 |
| CN114358144A (zh) * | 2021-12-16 | 2022-04-15 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114358144B (zh) * | 2021-12-16 | 2023-09-26 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN115359073A (zh) * | 2022-10-17 | 2022-11-18 | 湖南自兴智慧医疗科技有限公司 | 基于对抗生成网络的染色体拓扑结构分割方法及装置 |
| CN116933854A (zh) * | 2023-09-18 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 图像生成模型的处理方法、装置、设备和存储介质 |
| CN116933854B (zh) * | 2023-09-18 | 2024-03-29 | 腾讯科技（深圳）有限公司 | 图像生成模型的处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110111236B (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110111236A (zh) | 基于渐进式对抗生成网络的多目标草图生成图像的方法 | |
| Chen et al. | Sketchygan: Towards diverse and realistic sketch to image synthesis | |
| CN106951872B (zh) | 一种基于无监督深度模型与层次属性的行人再识别方法 | |
| CN112950661B (zh) | 一种基于注意力生成对抗网络人脸卡通画生成方法 | |
| US11636639B2 (en) | Mobile application for object recognition, style transfer and image synthesis, and related systems, methods, and apparatuses | |
| US20210241500A1 (en) | Method and system for prov iding photorealistic changes for digital image | |
| CN111967533B (zh) | 一种基于场景识别的草图图像翻译方法 | |
| Eisank et al. | A generic procedure for semantics-oriented landform classification using object-based image analysis | |
| Chen et al. | Recognizing the style of visual arts via adaptive cross-layer correlation | |
| Qi et al. | Im2sketch: Sketch generation by unconflicted perceptual grouping | |
| CN109800768A (zh) | 半监督gan的散列特征表示学习方法 | |
| CN110490959A (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
| CN111462162A (zh) | 一种特定类别图片的前景分割算法 | |
| Hua et al. | Exploiting relationship for complex-scene image generation | |
| He et al. | VLMAE: Vision-language masked autoencoder | |
| Baraheem et al. | Image synthesis: a review of methods, datasets, evaluation metrics, and future outlook | |
| Li et al. | Multiscale generative adversarial network based on wavelet feature learning for sar-to-optical image translation | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| RU2710659C1 (ru) | Совместная неконтролируемая сегментация объектов и подрисовка | |
| Liu et al. | A3GAN: An attribute-aware attentive generative adversarial network for face aging | |
| Wei et al. | Segmentation and synthesis of embroidery art images based on deep learning convolutional neural networks | |
| CN116777738A (zh) | 基于服装区域对齐和风格保持调制的真实性虚拟试穿方法 | |
| Gonzalez-Soler et al. | Semi-synthetic data generation for tattoo segmentation | |
| CN116383419A (zh) | 一种本地相册儿童照片智能筛选和时间线整理方法及系统 | |
| Baraheem et al. | Text-to-image via mask anchor points |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |