CN110675311A - 一种素描序约束下的素描生成的方法、装置及存储介质 - Google Patents

一种素描序约束下的素描生成的方法、装置及存储介质 Download PDF

Info

Publication number
CN110675311A
CN110675311A CN201910866890.7A CN201910866890A CN110675311A CN 110675311 A CN110675311 A CN 110675311A CN 201910866890 A CN201910866890 A CN 201910866890A CN 110675311 A CN110675311 A CN 110675311A
Authority
CN
China
Prior art keywords
sketch
current
loss
map
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910866890.7A
Other languages
English (en)
Inventor
翁丽芬
谢晓琦
许华荣
万一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University of Technology
Original Assignee
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University of Technology filed Critical Xiamen University of Technology
Priority to CN201910866890.7A priority Critical patent/CN110675311A/zh
Publication of CN110675311A publication Critical patent/CN110675311A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种素描序约束下的素描生成方法、装置以及计算机存储介质，方法包括：重复以下步骤直至当前的素描图趋近于真值素描图；获取生成器生成的当前素描图；将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，当判断当前素描描图不趋近于真值素描时，将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图。本发明通过人脸素描中的次序约束自动合成人像素描的方法，能够使得生成的素描图像具有分辨率高和细节保持度高的优点，提高了生成素描质量。

Description

一种素描序约束下的素描生成的方法、装置及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种素描序约束下的素描生成的方法、装置、设备及存储介质。
背景技术
人脸素描具有丰富的阴影纹理和很强的立体质感，能生动逼真地表现人物的个性特征，因此被广泛应用于法律实施和生活领域。比如，最近发生在美国的福建籍学生被杀案的侦破，就是通过目击证人的描述然后画人脸素描，最后用画出的人脸素描，最终锁定犯罪的，目前，基于深度学习的素描生成受到越来越多学者的关注，现有技术中通过深度学习的人脸素描生成方法包括：
1、通过端到端完全卷积网络的照片草图合成方法，即使用一个分支的全卷积神经网络生成一个结构保留的素描和一个纹理保留的素描，然后将它们融合在一起。2、通过将卷积变分自动编码器和CGAN结合起来进行属性感知的人像素描生成。3、通过人脸特征和线积分卷机的肖像素描生成方法，首先进行人脸分割，然后根据分割结果使用线积分卷积算法绘制肖像素描。
上述方法都是关注如何能更好的学习到人脸到人像素描的映射，没有利用素描的中间结果来有效约束网络的特征学习过程，使得合成的人像素描非常模糊以及面部部位有很大的变形，从而到导致生成的素描质量差。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种素描序约束下的素描生成的方法、装置及存储介质，能够让生成的的素描图像具有高分辨率和高细节保持度。
本发明实施例提供了一种素描序约束下的素描生成的方法，包括如下步骤：
重复以下步骤直至当前的素描图趋近于真值素描图；
获取生成器生成的当前素描图；
将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图；
将当前素描图更新为下一素描图。
优选地，在获取经过判别器判别后的上一素描图之前，还包括：
将原始图像与空白图像输入至CGAN网络的生成器中，以生成当前素描图。
优选地，将原始图像与空白图像输入至CGAN网络的生成器中，以生成当前素描图，具体为：
将原始图像与空白图像进行组合，以得到组合图像；
将所述组合图像输入至解码器中，以得到第一特征图；
将所述特征图输入至循环神经网络中，以生成加强素描次序特征信息后的第二特征图；
将所述第二特征图输入至编码器中，以得到当前素描图。
优选地，还包括：
基于对抗损失函数，以计算当前素描和真值素描之间的对抗损失；
基于L1范数，以计算当前素描和真值素描之间的重构损失；
基于梯度损失函数，以计算当前素描图的边缘损失；
获取对抗损失函数的第一权重以及梯度损失函数的第二权重；
根据对抗损失、重构损失、边缘损失、第一权重以及第二权重，以获得总损失值；
当总损失值趋近于零时，当前素描图趋近于真值素描。
优选地，对抗损失函数的表达式为：像素级重构损失函数表达式为：L1＝||Si-Sgi||1；梯度损失函数表达式为： Ledge＝||K*Si-K*Sgi||1；总损失函数表达式为：
Figure BDA0002201521940000032
其中,LA为对抗性损失,Sgi为五个不同阶段生成的素描,P表示原始图像,Ledge为梯度损失,K为Sobel内核,L1是基于生成素描和真值素描之间的L1范数的损失函数,λ1,λ2是权重，L是总的损失之和。
本发明实施例还提供了一种素描序约束下的素描生成方法，包括：
获取单元，用于获取生成器生成的当前素描图；
输入单元，用于将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图。
更新单元，用于将当前素描图更新为下一素描图；
优选地，获取单元之前，还包括：
生成单元，用于将原始图像与空白图像输入至CGAN网络的生成器中，以生成当前素描图。
优选地，生成单元，具体包括：
组合图像获得模块，用于将原始图像与空白图像进行组合，以得到组合图像；
第一特征图获取模块，用于将所述组合图像输入至解码器中，以得到第一特征图；
第二特征图获取模块，用于将所述特征图输入至循环神经网络中，以生成加强素描次序特征信息后的第二特征图；
当前素描图获取模块，用于将所述第二特征图输入至编码器中，以得到当前素描图。
优选地，还包括：
对抗损失获取单元，用于基于对抗损失函数，以计算当前素描和真值素描之间的对抗损失；
重构损失获取单元，用于基于L1范数，以计算当前素描和真值素描之间的重构损失；
边缘损失获取单元，用于基于梯度损失函数，以计算当前素描图的边缘损失；
权重获取单元，用于获取对抗损失函数的第一权重以及梯度损失函数的第二权重；
总损失值获取单元，用于根据对抗损失、重构损失、边缘损失、第一权重以及第二权重，以获得总损失值；
判断单元，用于当判断总损失值趋近于零时，当前素描图趋近于真值素。
优选地，对抗损失函数的表达式为：像素级重构损失函数表达式为：L1＝||Si-Sgi||1；梯度损失函数表达式为： Ledge＝||K*Si-K*Sgi||1；总损失函数表达式为：
Figure BDA0002201521940000042
其中,LA为对抗性损失,Sgi为五个不同阶段生成的素描,P表示原始图像,Ledge为梯度损失,K为Sobel内核,L1是基于生成素描和真值素描之间的L1范数的损失函数,λ1,λ2是权重，L是总的损失之和。
本发明实施例还提供了一种素描序约束下的素描生成的设备，包括处理器及与所述处理器连接的运动传感器以及存储器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的素描序约束下的素描生成的方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的素描序约束下的素描生成的方法。
上述一个实施例中，重复以下步骤直至当前的素描图趋近于真值素描图；
通过获取生成器生成的当前素描图，并将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，当判断当前素描描图不趋近于真值素描时，将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图，重复以上步骤直至当前的素描图趋近于真值素描图，根据人脸素描中的次序约束，将人脸素描生成过程分为多个阶段，然后利用每个阶段生成的素描的中间结果有效约束网络的特征学习过程，最后通过判别器进行判别，以使得生成具有高分辨率高和高细节保持度的人脸素描，从而提高生成的素描质量。
附图说明
图1为本发明实施例一提供的素描序约束下的素描生成的方法的流程图。
图2为本发明实施例一提供的素描序约束下的素描生成的结构示意图。
图3为本发明实施例一提供的生成器网络模型的结构示意图。
图4为本发明实施例一提供的判别器网络模型的结构示意图。
图5为本发明实施例二素描序约束下的素描生成的装置的结构图。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
实施例一：
请参阅图1至图6，本发明第一实施例提供了一种素描序约束下的素描生成方法，按照画家作画的思路，将作画的次序约束分步输入到生成式对抗网络模型中(CGAN网络)，以分析人脸素描合成的质量，其可由素描生成设备来执行，特别的，由素描生成设备内的一个或多个处理器来执行，并至少包括如下步骤：
S101，获取生成器生成的当前素描图。
S102，将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，并将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图。
在本实施例中，CGAN网络包括生成器与判别器，其中，根据素描中的次序约束，将素描生成过程分为N阶段，每一个阶段的判别器和生成器是对抗关系，生成器的目的是使生成的素描和真值素描一样，判别器是对生成器生成的素描与真值素描进行比对判别。其中，每个阶段均含有相同结构的CNN编码器、解码器以及循环神经网络(ConvLSTM)，判别器采用了PatchGAN，但不限于此，PatchGAN的输出是一个N*N矩阵，每个元素如a[i,j]只有两个选择True或 False，结果通常通过卷积层来实现，patchGAN输出的矩阵大小为32*25。
参见图2至图4，需要说明的是，由于当前素描图是在上一素描图的基础上形成的，因此，首先需要计算第一素描图才能开始后续计算，即若上一层素描图为第一素描图，则当前素描图为第二素描图，依次类推。具体地，第一素描图是通过将原始图像与空白图像输入至CGAN网络的生成器中生成的：首先将原始图像与空白图像进行组合，以得到组合图像；将所述组合图像输入至解码器中，以得到第一特征图；将所述特征图输入至循环神经网络中，以生成加强素描次序特征信息后的第二特征图；将所述第二特征图输入至编码器中，以得到第一素描图。每个阶段的解码器的输出的特征图，首先通过ConvLSTM来强化“素描次序”特征信息，最后通过编码器生成素描图，这种设计模拟了人类素描过程，即先学习轮廓，之后逐步描写细节的过程，可以让网络逐步学习到更丰富的特征。其中，ConvLSTM的核心公式的表达式如下：
it＝σ(Wxi*Xt+Whi*Ht-1+bi) (1)
ft＝σ(Wxf*Xt+Whf*Ht-1+bf) (2)
ot＝σ(Wxo*Xt+Who*Ht-1+bo) (3)
Figure BDA0002201521940000071
Figure BDA0002201521940000072
其中，ht-1是上一步素描cell的输出，xt表示t 时刻的输入，Wxf,Whf,Wcf和bf是网络训练得到的遗忘门的权重和偏置；it,ft,ot表示输入、遗忘和输出门；ct,ct-1,ht,ht-1表示在t和t-1时刻的cell状态的输出；*表示卷积计算，
Figure BDA0002201521940000083
表示逐个元素相乘，σ是Sigmoid激活函数；网络模型的卷积层使用3*3的卷积核，池化层使用2*2的卷积核。
S103，将当前素描图更新为下一素描图
在本实施例中，当判断更新后的当前素描图不趋近于真值素描图时，则重复以上步骤直至当前层素描图趋近于真值素描图。
综上，通过获取生成器生成的当前素描图，并将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，当判断当前素描描图不趋近于真值素描时，将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图，重复以上步骤直至当前的素描图趋近于真值素描图，根据人脸素描中的次序约束，将人脸素描生成过程分为多个阶段，然后利用每个阶段生成的素描的中间结果有效约束网络的特征学习过程，最后通过判别器进行判别，以使得生成具有高分辨率高和高细节保持度的人脸素描，从而提高生成的素描质量。
在上述实施例的中，本发明一优选实施例中，还包括：
基于对抗损失函数，以计算当前素描和真值素描之间的对抗损失；基于L1 范数，以计算当前素描和真值素描之间的重构损失；基于梯度损失函数，以计算当前素描图的边缘损失；获取对抗损失函数的第一权重以及梯度损失函数的第二权重；根据对抗损失、重构损失、边缘损失、第一权重以及第二权重，以获得总损失值；当总损失值趋近于零时，当前素描图趋近于真值素描。其中，对抗损失函数的表达式为：
Figure BDA0002201521940000081
像素级重构损失函数表达式为：L1＝||Si-Sgi||1；梯度损失函数表达式为： Ledge＝||K*Si-K*Sgi||1；总损失函数表达式为：
Figure BDA0002201521940000091
LA为对抗性损失,Sgi为五个不同阶段生成的素描,P表示原始图像,Ledge为梯度损失,K为Sobel内核,L1是基于生成素描和真值素描之间的L1范数的损失函数,λ1,λ2是权重，L是总的损失之和。
本发明第二实施例：
参见图5，本发明第二实施例还提供了一种素描序约束下的素描生成装置，包括：
获取单元100，用于获取生成器生成的当前素描图；
输入单元200，用于将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，当判断当前素描描图不趋近于真值素描时，将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图；
更新单元300，用于将当前素描图更新为下一素描图
在上述实施例的基础上，本发明一优选实施例中，获取单元100之前，还包括：
生成单元，用于将原始图像与空白图像输入至CGAN网络的生成器中，以生成当前素描图。
在上述实施例的基础上，本发明一优选实施例中，生成单元，具体包括：
组合图像获得模块，用于将原始图像与空白图像进行组合，以得到组合图像；
第一特征图获取模块，用于将所述组合图像输入至解码器中，以得到第一特征图；
第二特征图获取模块，用于将所述特征图输入至循环神经网络中，以生成加强素描次序特征信息后的第二特征图；
当前素描图获取模块，用于将所述第二特征图输入至编码器中，以得到当前素描图。
在上述实施例的基础上，本发明一优选实施例中，还包括：
对抗损失获取单元，用于基于对抗损失函数，以计算当前素描和真值素描之间的对抗损失；
重构损失获取单元，用于基于L1范数，以计算当前素描和真值素描之间的重构损失；
边缘损失获取单元，用于基于梯度损失函数，以计算当前素描图的边缘损失；
权重获取单元，用于获取对抗损失函数的第一权重以及梯度损失函数的第二权重；
总损失值获取单元，用于根据对抗损失、重构损失、边缘损失、第一权重以及第二权重，以获得总损失值；
判断单元，用于当判断总损失值趋近于零时，当前素描图趋近于真值素。
在上述实施例的基础上，本发明一优选实施例中，对抗损失函数的表达式为：
Figure BDA0002201521940000101
像素级重构损失函数表达式为： L1＝||Si-Sgi||1；梯度损失函数表达式为：Ledge＝||K*Si-K*Sgi||1；总损失函数表达式为：
Figure BDA0002201521940000102
其中,LA为对抗性损失,Sgi为五个不同阶段生成的素描,P表示原始图像,Ledge为梯度损失,K为 Sobel内核,L1是基于生成素描和真值素描之间的L1范数的损失函数,λ1,λ2是权重，L是总的损失之和。
本发明第三实施例还提供了一种素描序约束下的素描生成的设备，包括处理器及与所述处理器连接的运动传感器以及存储器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述实施例及其优选实施例的素描序约束下的素描生成的方法。
本发明第四实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例及其优选实施例的素描序约束下的素描生成的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种素描序约束下的素描生成方法，其特征在于，包括：
重复以下步骤直至当前的素描图趋近于真值素描图；
获取生成器生成的当前素描图；
将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，并将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图；
将当前素描图更新为下一素描图。
2.根据权利要求1所述的素描序约束下的素描生成方法，其特征在于，在获取经过判别器判别后的上一素描图之前，还包括：
将原始图像与空白图像输入至CGAN网络的生成器中，以生成当前素描图。
3.根据权利要求1所述的素描序约束下的素描生成方法，其特征在于，将原始图像与空白图像输入至CGAN网络的生成器中，以生成当前素描图，具体为：
将原始图像与空白图像进行组合，以得到组合图像；
将所述组合图像输入至解码器中，以得到第一特征图；
将所述特征图输入至循环神经网络中，以生成加强素描次序特征信息后的第二特征图；
将所述第二特征图输入至编码器中，以得到当前素描图。
4.根据权利要求1所述的素描序约束下的素描生成方法，其特征在于，还包括：
基于对抗损失函数，以计算当前素描和真值素描之间的对抗损失；
基于L1范数，以计算当前素描和真值素描之间的重构损失；
基于梯度损失函数，以计算当前素描图的边缘损失；
获取对抗损失函数的第一权重以及梯度损失函数的第二权重；
根据对抗损失、重构损失、边缘损失、第一权重以及第二权重，以获得总损失值；
当总损失值趋近于零时，当前素描图趋近于真值素描。
5.根据权利要求4所述的素描序约束下的素描生成方法，其特征在于，对抗损失函数的表达式为：
Figure FDA0002201521930000021
像素级重构损失函数表达式为：L1＝||Si-Sgi||1；梯度损失函数表达式为：Ledge＝||K*Si-K*Sgi||1；总损失函数表达式为：
Figure FDA0002201521930000022
其中,LA为对抗性损失,Sgi为五个不同阶段生成的素描,P表示原始图像,Ledge为梯度损失,K为Sobel内核,L1是基于生成素描和真值素描之间的L1范数的损失函数,λ1,λ2是权重，L是总的损失之和。
6.一种素描序约束下的素描生成装置，其特征在于，包括：
获取单元，用于获取生成器生成的当前素描图；
输入单元，用于将当前素描图以及对应的真值素描图输入至CGAN网络的判别器中进行判别，将当前素描图与原始图像输入至CGAN网络的生成器中，以生成下一素描图；
更新单元，用于将当前素描图更新为下一素描图。
7.根据权利要求6所述的素描序约束下的素描生成装置，其特征在于，获取单元之前，还包括：
生成单元，用于将原始图像与空白图像输入至CGAN网络的生成器中，以生成当前素描图。
8.根据权利要求6所述的素描序约束下的素描生成装置，其特征在于，生成单元，具体包括：
组合图像获得模块，用于将原始图像与空白图像进行组合，以得到组合图像；
第一特征图获取模块，用于将所述组合图像输入至解码器中，以得到第一特征图；
第二特征图获取模块，用于将所述特征图输入至循环神经网络中，以生成加强素描次序特征信息后的第二特征图；
当前素描图获取模块，用于将所述第二特征图输入至编码器中，以得到当前素描图。
9.根据权利要求1所述的素描序约束下的素描生成装置，其特征在于，还包括：
对抗损失获取单元，用于基于对抗损失函数，以计算当前素描和真值素描之间的对抗损失；
重构损失获取单元，用于基于L1范数，以计算当前素描和真值素描之间的重构损失；
边缘损失获取单元，用于基于梯度损失函数，以计算当前素描图的边缘损失；
权重获取单元，用于获取对抗损失函数的第一权重以及梯度损失函数的第二权重；
总损失值获取单元，用于根据对抗损失、重构损失、边缘损失、第一权重以及第二权重，以获得总损失值；
判断单元，用于当判断总损失值趋近于零时，当前素描图趋近于真值素描。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5任意一项所述的素描序约束下的素描生成的方法。
CN201910866890.7A 2019-09-12 2019-09-12 一种素描序约束下的素描生成的方法、装置及存储介质 Withdrawn CN110675311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866890.7A CN110675311A (zh) 2019-09-12 2019-09-12 一种素描序约束下的素描生成的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866890.7A CN110675311A (zh) 2019-09-12 2019-09-12 一种素描序约束下的素描生成的方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110675311A true CN110675311A (zh) 2020-01-10

Family

ID=69076823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866890.7A Withdrawn CN110675311A (zh) 2019-09-12 2019-09-12 一种素描序约束下的素描生成的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110675311A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712460A (zh) * 2020-12-09 2021-04-27 杭州妙绘科技有限公司 肖像画生成的方法、装置、电子设备及介质
CN114881909A (zh) * 2022-07-12 2022-08-09 安徽云森物联网科技有限公司 基于注意力机制与边缘约束的人脸素描合成照片方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712460A (zh) * 2020-12-09 2021-04-27 杭州妙绘科技有限公司 肖像画生成的方法、装置、电子设备及介质
CN112712460B (zh) * 2020-12-09 2024-05-24 杭州妙绘科技有限公司 肖像画生成的方法、装置、电子设备及介质
CN114881909A (zh) * 2022-07-12 2022-08-09 安徽云森物联网科技有限公司 基于注意力机制与边缘约束的人脸素描合成照片方法

Similar Documents

Publication Publication Date Title
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
CN110728219B (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
Luus et al. Multiview deep learning for land-use classification
CN110378844A (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112132739B (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN111680573B (zh) 人脸识别方法、装置、电子设备和存储介质
CN110675311A (zh) 一种素描序约束下的素描生成的方法、装置及存储介质
CN117581232A (zh) 基于NeRF的机器学习模型的加速训练
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
Zhou et al. Personalized and occupational-aware age progression by generative adversarial networks
CN112862023B (zh) 对象密度确定方法、装置、计算机设备和存储介质
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN112634174A (zh) 一种图像表示学习方法及系统
Ruan et al. Dual-Path Residual “Shrinkage” Network for Side-Scan Sonar Image Classification
CN116665300A (zh) 基于时空自适应特征融合图卷积网络的骨架动作识别方法
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN114299590A (zh) 人脸补全模型的训练方法、人脸补全方法及系统
CN114820755A (zh) 一种深度图估计方法及系统
Li et al. Face mask removal based on generative adversarial network and texture network
CN109492579A (zh) 一种基于st-sin的视频物体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200110

WW01 Invention patent application withdrawn after publication