CN112991495A - 一种基于草图的交互迭代式虚拟鞋印图像生成方法 - Google Patents

一种基于草图的交互迭代式虚拟鞋印图像生成方法 Download PDF

Info

Publication number
CN112991495A
CN112991495A CN202110257072.4A CN202110257072A CN112991495A CN 112991495 A CN112991495 A CN 112991495A CN 202110257072 A CN202110257072 A CN 202110257072A CN 112991495 A CN112991495 A CN 112991495A
Authority
CN
China
Prior art keywords
convolution
shoe print
print image
network
sketch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110257072.4A
Other languages
English (en)
Other versions
CN112991495B (zh
Inventor
王新年
姜浩
段硕古
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202110257072.4A priority Critical patent/CN112991495B/zh
Publication of CN112991495A publication Critical patent/CN112991495A/zh
Application granted granted Critical
Publication of CN112991495B publication Critical patent/CN112991495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于草图的交互迭代式虚拟鞋印图像生成方法，包括以下步骤：构建总体网络架构；所述总体网络构架包括：空洞残差多级融合全卷积鞋印图像生成网络、全卷积深浅层特征融合鞋印图像判别网络以及在ImageNet上预训练后的VGG19；对构建的所述总体网络进行离线模型训练；基于离线训练后的模型对在线虚拟鞋印图像生成。本发明在方法上使用鞋印草图实现了鞋印图像的生成，解决了现有传统图像修复算法与深度学习无法解决的背景复杂，现场鞋印图像难以提取的问题。协助刑侦人员尽可能多地利用案发现场信息进行案件侦破，提高破案效率。

Description

一种基于草图的交互迭代式虚拟鞋印图像生成方法
技术领域
本发明涉及技术领域，具体而言，尤其涉及一种基于草图的交互迭代式虚拟鞋印图像生成方法。
背景技术
目前基于草图的图像生成主要分为两大类。第一类为基于传统图像相关算法。第二类则是基于深度学习的图像生成算法。各方法具体内容如下：(1)传统图像的草图生成算法采用搜索融合的方法，先从大规模的图像数据库中搜索草图相关的图像块，再对图像块进行融合。(2)近年来随着深度学习的发展生成对抗网络越来越多地被应用到图像地生成中。Isola等人提出有监督训练的条件生成网络模型，但是这个模型只适用于稠密图像，对于输入草图这种稀疏图像的生成效果并不令人满意。
无论是传统的基于草图的图像生成算法还是深度学习的基于草图的图像生成算法，对于复杂且完整的草图具有较好的生成能力，但是过于简单与稀疏的草图，却不能产生较好的生成效果，主要的原因是在一张图片中可以利用的区域过少，内容信息与纹理信息严重不足，无法满足算法的推断能力与学习能力，所以就会出现生成图像过于平滑，不满足人眼主观感受，匹配不准确，纹理不符合，缺乏细节信息等各种各样的问题。尤其是对于鞋印图像而言，鞋底花纹具有丰富的线条与纹理信息，绘制起来尤为繁琐，所以急需给出一种能以最简单草图生成完整鞋印图像的算法。
在现场鞋印图像中，往往会出现背景过于复杂，鞋印图像难以提取的问题。这大大减少了该证据的利用价值。本发明提出了一种基于草图的交互迭代式虚拟鞋印图像生成系统及方法，可以通过人对鞋印花纹的主观感受，交互迭代式绘制鞋印草图，通过最简单的草图完成鞋印图像的生成。
发明内容
根据上述提出的技术问题，而提供一种基于草图的交互迭代式虚拟鞋印图像生成方法及系统。本发明主要利用一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，包括以下步骤：
步骤S1：构建总体网络架构；所述总体网络构架包括：空洞残差多级融合全卷积鞋印图像生成网络、全卷积深浅层特征融合鞋印图像判别网络以及在ImageNet上预训练后的VGG19；
步骤S2：对构建的所述总体网络进行离线模型训练；
步骤S3：基于离线训练后的模型对在线虚拟鞋印图像生成。
进一步地，所述空洞残差多级融合全卷积鞋印图像生成网络包括：多个多尺度空洞卷积融合模块及多个空洞卷积残差多级融合模块；
更进一步地，所述多尺度空洞卷积融合模块均包含一个膨胀系数为2且步长为1的空洞卷积、一个膨胀系数为3且步长为1的空洞卷积、一个步长为2的跨度卷积、一个步长为2的反卷积、一个多尺度空洞卷积特征融合单元和一个反卷积特征融合单元；
所述多尺度空洞卷积特征融合单元包括膨胀系数为2和膨胀系数为3的膨胀卷积所提取特征图的串联，反卷积特征融合单元包括反卷积后特征图与膨胀卷积前特征图的串联。
更进一步地，所述空洞卷积残差多级融合模块都包含一个膨胀系数为2且步长为1的空洞卷积、一个膨胀系数为3且步长为1的空洞卷积、一个步长为2的跨度卷积、一个步长为2的反卷积、一个多尺度空洞卷积特征相加单元、一个相加下采样卷积特征融合单元和一个反卷积相加下采样卷积特征融合单元；所述多尺度空洞卷积特征相加单元包括膨胀系数为2和膨胀系数为3的膨胀卷积所提取特征图的相加，相加下采样卷积特征融合单元包括相加后特征图与下采样之后特征图的串联，反卷积相加下采样卷积特征融合单元包括反卷积后特征图、相加后特征图和下采样之后特征图的串联。
进一步地，所述空洞残差多级融合全卷积鞋印图像生成网络的损失函数包括：对抗损失、感知损失以及内容损失；
在原始对抗损失的基础上加入均方误差损失，加入L1距离损失防止生成图像过于平滑，丢失高频信息，计算公式为：
Figure BDA0002967890650000031
其中，α，β，γ，
Figure BDA0002967890650000032
λ表示加权系数；lg表示生成网络总体损失函数；Ri表示真实鞋印图像集；Fi表示由生成网络生成的虚拟鞋印图像集；i表示下标；VGG表示VGG19网络；Mse表示均方误差；n表示鞋印图像集中的鞋印图像的个数。
所述对抗损失
Figure BDA0002967890650000033
的公式为：
Figure BDA0002967890650000034
所述内容损失
Figure BDA0002967890650000035
Figure BDA00029678906500000311
为Ri，i＝1，2，...，n与Fi，i＝1，2，...，n之间的内容损失，衡量方式为Ri，i＝1，2，...，n与Fi，i＝1，2，...，n之间的均方误差和L1距离，公式为：
Figure BDA0002967890650000036
Figure BDA0002967890650000037
其中c，W，H分别表示图像的通道数，宽度值，高度值，G表示经过生成网络；
所述感知损失
Figure BDA0002967890650000038
为Ri，i＝1，2，...，n与Fi，i＝1，2，...，n之间的感知损失，衡量方式为Ri，r＝1，2，...，n与Fi，i＝1，2，...，n经过VGG19提取的深层特征图之间的均方误差和L1距离，公式为：
Figure BDA0002967890650000039
Figure BDA00029678906500000310
其中，φ表示经过VGG19提取到的深层特征图。
进一步地，所述全卷积深浅层特征融合鞋印图像判别网络包括：深浅层膨胀卷积特征融合模块和跨度卷积下采样模块；
所述深浅层膨胀卷积特征融合模块包括：步长为1且膨胀系数为2的空洞卷积、步长为1且胀系数为1的普通卷积并将两次卷积结果的特征图串联起来；
所述跨度卷积下采样模块包括：步长为2的卷积对特征图进行下采样操作。
进一步地，所述全卷积深浅层特征融合鞋印图像判别网络的损失函数采用WGAN-GP的损失函数包括对抗损失和梯度惩罚；计算公式为：
Figure BDA0002967890650000041
其中，x＝εFi+(1-ε)Ri，i＝1，2，...，n，ε～uniform[0，1]，G表示经过生成网络，D表示经过判别网络，λ梯度惩罚参数。
更进一步地，所述对构建的所述总体网络进行离线模型训练包括以下步骤：
步骤S21：对图像进行扩充与增强；
步骤S211：将完整的鞋印图像集及其左右脚标记分别记为记为集合A和L，A＝{Ai|i＝1，2，...，n}，L＝{Li|i＝1，2，...n}。其中Li∈{0，1}，其中1表示左脚，0表示右脚；
步骤S212：将A中的每幅图像，在空白纸上人工描绘出其纸质素描图，然后扫描形成鞋印的数字素描图，按此方式形成的鞋印素描图的集合记为B，B＝{Bi|i＝1，2，...，n}；
步骤S213：将A中的每幅图像在空白图像上通过手写笔、鼠标输入设备直接绘制鞋印的素描图，按此方式形成的鞋印素描图的集合记为C，C＝{Ci|i＝1，2，...，n}；
步骤S214：遍历集合B、C中所有鞋印草图，如果是左脚就其放入BL中，
Figure BDA0002967890650000042
同时做水平翻转放入BR中，
Figure BDA0002967890650000043
如果是右脚就将其放入BR中，同时做水平翻转放入BL中，集合C中所有鞋印草图也做相同操作，左右脚鞋印图像相互补充，互相增强，将B、C及其扩增图的集合记为S，S＝{Si|i＝1，2，...，4n}；从集合A中取出与S＝{Si|i＝1，2，...，4n}对应的鞋印图像作为目标鞋印图像集合，记为R，R＝{Ri|i＝1，2，...，4n}；
步骤S22：输入所述总体网络；将S＝{Si|i＝1，2，...，4n}与R＝{Ri|i＝1，2，...，4n}输入到总统网络架构中进行训练；
步骤S23：对所述总体网络进行训练；在训练过程中生成网络与判别网络不断对抗，不断提升，直到判别网络无法判断输入为真还是假，判别网络的判别准确率为0.5，即达到纳什均衡状态，生成网络生成效果达到最佳，此时停止训练；
步骤S24：对所述总体网络进行保存；最后将空洞残差多级融合全卷积鞋印图像生成网络与全卷积深浅层特征融合鞋印图像判别网络训练好并保存。
进一步地，所述生成在线交互迭代式虚拟鞋印图像包括以下步骤：
步骤S31：在空白纸上，人工描绘出鞋印的素描图，然后扫描形成鞋印的数字素描图；或者在空白图像上，通过输入设备直接绘制鞋印的素描图；
步骤S32：载入训练后的模型；
步骤S33：生成虚拟鞋印图像；首先输入草图及预处理进而生成虚拟鞋印图像再通过人工判断是否符合期望；若符合期望，则直接输出结果；若不符合期望则采用输入设备补充修改草图转向步骤S33。
较现有技术相比，本发明具有以下优点：
本发明在方法上使用鞋印草图实现了鞋印图像的生成，解决了现有传统图像修复算法与深度学习无法解决的背景复杂，现场鞋印图像难以提取的问题。协助刑侦人员尽可能多地利用案发现场信息进行案件侦破，提高破案效率。
在算法上对生成对抗网络进行改进，提出了空洞残差多级融合全卷积鞋印图像生成网络和全卷积深浅层特征融合鞋印图像判别网络，在节省大量计算开销的基础上提高生成图像的质量，改进了网络的损失函数，使网络能从像素角度和特征角度最小化生成鞋印图片与真实完整鞋印图像的差异。
在空洞残差多级融合全卷积鞋印图像生成网络中采用残差多级融合的方式提高生成器拟合能力。在空洞卷积残差多级融合模块中，分别将膨胀系数为2和膨胀系数为3的膨胀卷积所得到的特征图进行像素级相加，在不因引入额外参数的情况下增强所提取的特征，并将相加后特征图与卷积前的特征图相串联后进行下采样，并且在反卷积进行上采样后，将反卷积所得到特征图，相加后特征图与膨胀卷积前特征图进行串联，充分利用深层与浅层与底层特征，大大提高了生成网络的拟合能力。
在全卷积深浅层特征融合鞋印图像判别网络中采用深浅层特征融合的方式提高判别器的判别能力。在每个深浅层膨胀卷积特征融合模块中，先使用膨胀系数为2的膨胀卷积提取特征，在提取到的特征的基础上再使用膨胀系数为1的普通卷积提取特征并将两次提取到的特征进行串联，充分利用深层与浅层的特征信息，提高判别网络的判别能力。
同时本发明实现了对鞋印图像的有效管理，使公安人员可以在线生成犯罪现场采集的背景复杂，难以提取的鞋印图像，及时获取犯罪人员的信息，缩短办案时间，提高刑事工作部门的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明训练整体流程示意图。
图2为本发明空洞残差多级融合全卷积鞋印图像生成网络示意图。
图3为本发明全卷积深浅层特征融合鞋印图像判别网络示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1-2所示，本发明提供了一种基于草图的交互迭代式虚拟鞋印图像生成方法，包括以下步骤：
步骤S1：构建总体网络架构；所述总体网络构架包括：空洞残差多级融合全卷积鞋印图像生成网络、全卷积深浅层特征融合鞋印图像判别网络以及在ImageNet上预训练后的VGG19。作为优选的实施方式，在本申请中，所述空洞残差多级融合全卷积鞋印图像生成网络包括：多个多尺度空洞卷积融合模块及多个空洞卷积残差多级融合模块。
同时，作为优选地，所述多尺度空洞卷积融合模块均包含一个膨胀系数为2且步长为1的空洞卷积、一个膨胀系数为3且步长为1的空洞卷积、一个步长为2的跨度卷积、一个步长为2的反卷积、一个多尺度空洞卷积特征融合单元和一个反卷积特征融合单元；
所述多尺度空洞卷积特征融合单元包括膨胀系数为2和膨胀系数为3的膨胀卷积所提取特征图的串联，反卷积特征融合单元包括反卷积后特征图与膨胀卷积前特征图的串联。
所述空洞卷积残差多级融合模块都包含一个膨胀系数为2且步长为1的空洞卷积、一个膨胀系数为3且步长为1的空洞卷积、一个步长为2的跨度卷积、一个步长为2的反卷积、一个多尺度空洞卷积特征相加单元、一个相加下采样卷积特征融合单元和一个反卷积相加下采样卷积特征融合单元；作为一种优选的实施方式，在本申请中，空洞残差多级融合全卷积鞋印图像生成网络如图2所示，由4个多尺度空洞卷积融合模块(虚线框所示)和3个空洞卷积残差多级融合模块(实线框所示)组成。
所述多尺度空洞卷积特征相加单元包括膨胀系数为2和膨胀系数为3的膨胀卷积所提取特征图的相加，相加下采样卷积特征融合单元包括相加后特征图与下采样之后特征图的串联，反卷积相加下采样卷积特征融合单元包括反卷积后特征图、相加后特征图和下采样之后特征图的串联。
所述空洞残差多级融合全卷积鞋印图像生成网络的损失函数包括：对抗损失、感知损失以及内容损失；
在原始对抗损失的基础上加入均方误差损失，加入L1距离损失防止生成图像过于平滑，丢失高频信息，计算公式为：
Figure BDA0002967890650000081
其中，α，β，γ，
Figure BDA0002967890650000082
λ表示加权系数；lg表示生成网络总体损失函数；Ri表示真实鞋印图像集；Fi表示由生成网络生成的虚拟鞋印图像集；i表示下标；VGG表示VGG19网络；Mse表示均方误差；n表示鞋印图像集中的鞋印图像的个数；
所述对抗损失
Figure BDA0002967890650000083
的公式为：
Figure BDA0002967890650000084
所述内容损失
Figure BDA0002967890650000085
Figure BDA0002967890650000086
为Ri，i＝1，2，...，n与Fi，i＝1，2，...，n之间的内容损失，衡量方式为Ri，i＝1，2，...，n与Fi，i＝1，2，...，n之间的均方误差和L1距离，公式为：
Figure BDA0002967890650000087
Figure BDA0002967890650000088
其中c，W，H分别表示图像的通道数，宽度值，高度值，G表示经过生成网络；
所述感知损失
Figure BDA0002967890650000089
Figure BDA00029678906500000810
为Ri，i＝1，2，...，n与Fi，i＝1，2，...，n之间的感知损失，衡量方式为Ri，r＝1，2，...，n与Fi，i＝1，2，...，n经过VGG19提取的深层特征图之间的均方误差和L1距离，公式为：
Figure BDA00029678906500000811
Figure BDA00029678906500000812
其中，φ表示经过VGG19提取到的深层特征图。
同时，所述全卷积深浅层特征融合鞋印图像判别网络包括：深浅层膨胀卷积特征融合模块和跨度卷积下采样模块；
所述深浅层膨胀卷积特征融合模块包括：步长为1且膨胀系数为2的空洞卷积、步长为1且胀系数为1的普通卷积并将两次卷积结果的特征图串联起来；所述跨度卷积下采样模块包括：步长为2的卷积对特征图进行下采样操作。
所述全卷积深浅层特征融合鞋印图像判别网络的损失函数采用WGAN-GP的损失函数包括对抗损失和梯度惩罚；计算公式为：
Figure BDA0002967890650000091
其中，x＝εFi+(1-ε)Ri，i＝1，2，...，n，ε～uniform[0，1]，G表示经过生成网络，D表示经过判别网络，λ梯度惩罚参数。
步骤S2：对构建的所述总体网络进行离线模型训练。所述对构建的所述总体网络进行离线模型训练包括以下步骤：
步骤S21：对图像进行扩充与增强；
步骤S211：将完整的鞋印图像集及其左右脚标记分别记为记为集合A和L，A＝{Ai|i＝1，2，...，n}，L＝{Li|i＝1，2，...n}。其中Li∈{0，1}，其中1表示左脚，0表示右脚；
步骤S212：将A中的每幅图像，在空白纸上人工描绘出其纸质素描图，然后扫描形成鞋印的数字素描图，按此方式形成的鞋印素描图的集合记为B，B＝{Bi|i＝1，2，...，n}；
步骤S213：将A中的每幅图像在空白图像上通过手写笔、鼠标输入设备直接绘制鞋印的素描图，按此方式形成的鞋印素描图的集合记为C，C＝{Ci|i＝1，2，...，n}；
步骤S214：遍历集合B、C中所有鞋印草图，如果是左脚就其放入BL中，
Figure BDA0002967890650000092
同时做水平翻转放入BR中，
Figure BDA0002967890650000093
如果是右脚就将其放入BR中，同时做水平翻转放入BL中，集合C中所有鞋印草图也做相同操作，左右脚鞋印图像相互补充，互相增强，将B、C及其扩增图的集合记为S，S＝{Si|i＝1，2，...，4n}；从集合A中取出与S＝{Si|i＝1，2，...，4n}对应的鞋印图像作为目标鞋印图像集合，记为R，R＝{Ri|i＝1，2，...，4n}；
步骤S22：输入所述总体网络；将S＝{Si|i＝1，2，...，4n}与R＝{Ri|i＝1，2，...，4n}输入到总统网络架构中进行训练；
步骤S23：对所述总体网络进行训练；在训练过程中生成网络与判别网络不断对抗，不断提升，直到判别网络无法判断输入为真还是假，判别网络的判别准确率为0.5，即达到纳什均衡状态，生成网络生成效果达到最佳，此时停止训练；
步骤S24：对所述总体网络进行保存；最后将空洞残差多级融合全卷积鞋印图像生成网络与全卷积深浅层特征融合鞋印图像判别网络训练好并保存。
最终执行步骤S3：基于离线训练后的模型对在线虚拟鞋印图像生成。所述生成在线交互迭代式虚拟鞋印图像包括以下步骤：
步骤S31：在空白纸上，人工描绘出鞋印的素描图，然后扫描形成鞋印的数字素描图；或者在空白图像上，通过输入设备直接绘制鞋印的素描图；
步骤S32：载入训练后的模型；
步骤S33：生成虚拟鞋印图像；首先输入草图及预处理进而生成虚拟鞋印图像再通过人工判断是否符合期望；若符合期望，则直接输出结果；若不符合期望则采用输入设备补充修改草图转向步骤S33。
实施例一：
图2为空洞残差多级融合全卷积鞋印图像生成网络，其中实线框部分为多尺度空洞卷积融合模块，虚线框部分为空洞卷积残差多级融合模块，实接线表示卷积，K表示跨度，d表示膨胀系数(dilation rate)，Conv3表示卷积核大小为3×3，Conv数字代表卷积核个数。例如图中Conv3，512，K＝1，d＝2，表示该卷积层的卷积核大小为3×3，卷积核的个数为512，跨度为1，膨胀系数为2。点连接线代表串联(Concat)，虚连接线表示反卷积，ConvT3表示卷积核大小为3×3的反卷积。
实施例二：
图3为全卷积深浅层特征融合鞋印图像判别网络，其中实线框部分表示深浅层膨胀卷积特征融合模块，虚线框部分为跨度卷积下采样模块。实连接线表示卷积，K表示跨度，d表示膨胀系数(dilation rate)，Conv3表示卷积核大小为3×3，Conv数字代表卷积核个数。例如图中Conv3，256，K＝1，d＝2，表示该卷积层的卷积核大小为3×3，卷积核的个数为256，跨度为1，膨胀系数为2。点连接线代表串联(Concat)。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，包括以下步骤：
S1：构建总体网络架构；所述总体网络构架包括：空洞残差多级融合全卷积鞋印图像生成网络、全卷积深浅层特征融合鞋印图像判别网络以及在ImageNet上预训练后的VGG19；
S2：对构建的所述总体网络进行离线模型训练；
S3：基于离线训练后的模型对在线虚拟鞋印图像生成。
2.根据权利要求1所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，
所述空洞残差多级融合全卷积鞋印图像生成网络包括：多个多尺度空洞卷积融合模块及多个空洞卷积残差多级融合模块。
3.根据权利要求2所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，
所述多尺度空洞卷积融合模块均包含一个膨胀系数为2且步长为1的空洞卷积、一个膨胀系数为3且步长为1的空洞卷积、一个步长为2的跨度卷积、一个步长为2的反卷积、一个多尺度空洞卷积特征融合单元和一个反卷积特征融合单元；
所述多尺度空洞卷积特征融合单元包括膨胀系数为2和膨胀系数为3的膨胀卷积所提取特征图的串联，反卷积特征融合单元包括反卷积后特征图与膨胀卷积前特征图的串联。
4.根据权利要求2所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，
所述空洞卷积残差多级融合模块都包含一个膨胀系数为2且步长为1的空洞卷积、一个膨胀系数为3且步长为1的空洞卷积、一个步长为2的跨度卷积、一个步长为2的反卷积、一个多尺度空洞卷积特征相加单元、一个相加下采样卷积特征融合单元和一个反卷积相加下采样卷积特征融合单元；所述多尺度空洞卷积特征相加单元包括膨胀系数为2和膨胀系数为3的膨胀卷积所提取特征图的相加，相加下采样卷积特征融合单元包括相加后特征图与下采样之后特征图的串联，反卷积相加下采样卷积特征融合单元包括反卷积后特征图、相加后特征图和下采样之后特征图的串联。
5.根据权利要求1所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，
所述空洞残差多级融合全卷积鞋印图像生成网络的损失函数包括：对抗损失、感知损失以及内容损失；
在原始对抗损失的基础上加入均方误差损失，加入L1距离损失防止生成图像过于平滑，丢失高频信息，计算公式为：
Figure FDA0002967890640000021
其中，α,β,γ,
Figure FDA0002967890640000022
λ表示加权系数；lg表示生成网络总体损失函数；Ri表示真实鞋印图像集；Fi表示由生成网络生成的虚拟鞋印图像集；i表示下标；VGG表示VGG19网络；Mse表示均方误差；n表示鞋印图像集中的鞋印图像的个数；
所述对抗损失
Figure FDA0002967890640000023
的公式为：
Figure FDA0002967890640000024
所述内容损失
Figure FDA0002967890640000025
Figure FDA0002967890640000026
为Ri,i＝1,2,…,n与Fi,i＝1,2,…,n之间的内容损失，衡量方式为Ri,i＝1,2,…,n与Fi,i＝1,2,…,n之间的均方误差和L1距离，公式为：
Figure FDA0002967890640000027
Figure FDA0002967890640000028
其中c,W,H分别表示图像的通道数，宽度值，高度值，G表示经过生成网络；
所述感知损失
Figure FDA0002967890640000029
Figure FDA00029678906400000210
为Ri,i＝1,2,…,n与Fi,i＝1,2,…,n之间的感知损失，衡量方式为Ri,r＝1,2,…,n与Fi,i＝1,2,…,n经过VGG19提取的深层特征图之间的均方误差和L1距离，公式为：
Figure FDA00029678906400000211
Figure FDA0002967890640000031
其中，φ表示经过VGG19提取到的深层特征图。
6.根据权利要求1所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，
所述全卷积深浅层特征融合鞋印图像判别网络包括：深浅层膨胀卷积特征融合模块和跨度卷积下采样模块；
所述深浅层膨胀卷积特征融合模块包括：步长为1且膨胀系数为2的空洞卷积、步长为1且胀系数为1的普通卷积并将两次卷积结果的特征图串联起来；
所述跨度卷积下采样模块包括：步长为2的卷积对特征图进行下采样操作。
7.根据权利要求1所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，
所述全卷积深浅层特征融合鞋印图像判别网络的损失函数采用WGAN-GP的损失函数包括对抗损失和梯度惩罚；计算公式为：
Figure FDA0002967890640000032
其中，x＝εFi+(1-ε)Ri,i＝1,2,…,n，ε～uniform[0,1]，G表示经过生成网络，D表示经过判别网络，λ梯度惩罚参数。
8.根据权利要求1所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，所述对构建的所述总体网络进行离线模型训练包括以下步骤：
S21：对图像进行扩充与增强；
S211：将完整的鞋印图像集及其左右脚标记分别记为记为集合A和L,A＝{Ai|i＝1,2,…,n},L＝{Li|i＝1,2,…n}。其中Li∈{0，1}，其中1表示左脚，0表示右脚；
S212：将A中的每幅图像，在空白纸上人工描绘出其纸质素描图，然后扫描形成鞋印的数字素描图，按此方式形成的鞋印素描图的集合记为B，B＝{Bi|i＝1,2,…,n}；
S213：将A中的每幅图像在空白图像上通过手写笔、鼠标输入设备直接绘制鞋印的素描图，按此方式形成的鞋印素描图的集合记为C,C＝{Ci|i＝1,2,…,n}；
S214：遍历集合B、C中所有鞋印草图，如果是左脚就其放入BL中,
Figure FDA0002967890640000041
同时做水平翻转放入BR中,
Figure FDA0002967890640000042
如果是右脚就将其放入BR中，同时做水平翻转放入BL中，集合C中所有鞋印草图也做相同操作，左右脚鞋印图像相互补充，互相增强，将B、C及其扩增图的集合记为S，S＝{Si|i＝1,2,…,4n}；从集合A中取出与S＝{Si|i＝1,2,…,4n}对应的鞋印图像作为目标鞋印图像集合，记为R，R＝{Ri|i＝1,2,…,4n}；
S22：输入所述总体网络；将S＝{Si|i＝1,2,…,4n}与R＝{Ri|i＝1,2,…,4n}输入到总统网络架构中进行训练；
S23：对所述总体网络进行训练；在训练过程中生成网络与判别网络不断对抗，不断提升，直到判别网络无法判断输入为真还是假，判别网络的判别准确率为0.5，即达到纳什均衡状态，生成网络生成效果达到最佳，此时停止训练；
S24：对所述总体网络进行保存；最后将空洞残差多级融合全卷积鞋印图像生成网络与全卷积深浅层特征融合鞋印图像判别网络训练好并保存。
9.根据权利要求1所述的一种基于草图的交互迭代式虚拟鞋印图像生成方法，其特征在于，
所述生成在线交互迭代式虚拟鞋印图像包括以下步骤：
S31：在空白纸上，人工描绘出鞋印的素描图，然后扫描形成鞋印的数字素描图；或者在空白图像上，通过输入设备直接绘制鞋印的素描图；
S32：载入训练后的模型；
S33：生成虚拟鞋印图像；首先输入草图及预处理进而生成虚拟鞋印图像再通过人工判断是否符合期望；若符合期望，则直接输出结果；若不符合期望则采用输入设备补充修改草图转向步骤S33。
CN202110257072.4A 2021-03-09 2021-03-09 一种基于草图的交互迭代式虚拟鞋印图像生成方法 Active CN112991495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110257072.4A CN112991495B (zh) 2021-03-09 2021-03-09 一种基于草图的交互迭代式虚拟鞋印图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110257072.4A CN112991495B (zh) 2021-03-09 2021-03-09 一种基于草图的交互迭代式虚拟鞋印图像生成方法

Publications (2)

Publication Number Publication Date
CN112991495A true CN112991495A (zh) 2021-06-18
CN112991495B CN112991495B (zh) 2023-10-27

Family

ID=76336193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110257072.4A Active CN112991495B (zh) 2021-03-09 2021-03-09 一种基于草图的交互迭代式虚拟鞋印图像生成方法

Country Status (1)

Country Link
CN (1) CN112991495B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130147911A1 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Automatic 2d-to-stereoscopic video conversion
CN110223259A (zh) * 2019-06-14 2019-09-10 华北电力大学（保定） 一种基于生成式对抗网络的道路交通模糊图像增强方法
CN110853039A (zh) * 2019-10-16 2020-02-28 深圳信息职业技术学院 一种多数据融合的草图图像分割方法、系统、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130147911A1 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Automatic 2d-to-stereoscopic video conversion
CN110223259A (zh) * 2019-06-14 2019-09-10 华北电力大学（保定） 一种基于生成式对抗网络的道路交通模糊图像增强方法
CN110853039A (zh) * 2019-10-16 2020-02-28 深圳信息职业技术学院 一种多数据融合的草图图像分割方法、系统、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李天成;何嘉;: "一种基于生成对抗网络的图像修复算法", 计算机应用与软件, no. 12 *

Also Published As

Publication number Publication date
CN112991495B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
Qian et al. Learning and transferring representations for image steganalysis using convolutional neural network
CN109919013A (zh) 视频图像中基于深度学习的人脸检测方法及装置
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN111489405B (zh) 基于条件增强生成对抗网络的人脸草图合成系统
Yin et al. Dynamic difference learning with spatio-temporal correlation for deepfake video detection
Iskakov Semi-parametric image inpainting
CN116935486A (zh) 基于骨骼关节点和图像模态融合的手语识别方法及系统
CN115482595A (zh) 一种基于语义分割的特定人物视觉伪造检测与鉴别方法
Parekh et al. A survey of image enhancement and object detection methods
Gao A method for face image inpainting based on generative adversarial networks
Liu et al. Superimposition-guided facial reconstruction from skull
CN111199199B (zh) 一种基于自适应上下文区域选取的动作识别方法
Jijina et al. Detection of recoloring and copy-move forgery in digital images
CN112232221A (zh) 用于人物图像处理的方法、系统和程序载体
Amin-Naji et al. Fully convolutional networks for multi-focus image fusion
Wang et al. Self-prior guided pixel adversarial networks for blind image inpainting
CN112991495A (zh) 一种基于草图的交互迭代式虚拟鞋印图像生成方法
CN116311434A (zh) 人脸伪造检测方法、装置、电子设备及存储介质
CN111709945B (zh) 一种基于深度局部特征的视频拷贝检测方法
CN108765384A (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN115358961A (zh) 一种基于深度学习的多焦点图像融合方法
CN114973364A (zh) 一种基于脸部区域注意力机制的深度图片鉴伪方法及系统
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及系统
Wyzykowski et al. A Universal Latent Fingerprint Enhancer Using Transformers
CN114373205A (zh) 一种基于卷积宽度网络的人脸检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant