CN114841851A - 图像生成方法、装置、电子设备及存储介质 - Google Patents
图像生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114841851A CN114841851A CN202210313822.XA CN202210313822A CN114841851A CN 114841851 A CN114841851 A CN 114841851A CN 202210313822 A CN202210313822 A CN 202210313822A CN 114841851 A CN114841851 A CN 114841851A
- Authority
- CN
- China
- Prior art keywords
- face
- target
- image
- map
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 12
- 210000004209 hair Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 210000003128 head Anatomy 0.000 description 77
- 230000009466 transformation Effects 0.000 description 22
- 230000036544 posture Effects 0.000 description 20
- 230000002441 reversible effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010041247 Social fear Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开关于一种图像生成方法、装置、电子设备及存储介质，所述方法包括：对目标人脸图像进行特征提取，得到目标人脸关键点；将目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；根据目标贴图脸关键点，生成目标贴图脸图像；对目标贴图脸图像进行语义分割处理，得到目标头像区域；根据目标头像区域对目标贴图脸图像进行截取，得到目标头像区域对应的目标贴图头像；将目标贴图头像粘贴于目标人脸图像中，生成贴图图像。本公开根据目标人脸图像实时生成与该图像中人脸姿态一致的贴图头像，并粘贴于目标人脸图像中的人脸区域，实现图像中自然、协调的面部遮挡，更好地保护了用户隐私。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像生成方法、装置、电子设备及存储介质。
背景技术
贴图头像人脸遮挡是指使用贴图头像来对真实人脸进行遮挡，在呈现出美观的效果的同时，也保护了用户隐私的技术。相关技术中，使用预设的卡通图像素材遮挡图像中的人脸区域，素材固定且无法匹配用户的姿态，无法实现自然、协调的面部遮挡，往往会露出一些脸部等部位，无法很好地保护用户的隐私。
发明内容
本公开提供一种图像生成方法、装置、电子设备及存储介质，以至少解决相关技术中无法实时生成与人脸图像姿态一致的贴图头像的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像生成方法，包括：
对目标人脸图像进行特征提取，得到目标人脸关键点；
将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；
根据所述目标贴图脸关键点，生成目标贴图脸图像；
对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；
根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的目标贴图头像；
将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。
在一示例性的实施方式中，所述对目标人脸图像进行特征提取，得到目标人脸关键点，包括：
将所述目标人脸图像输入人脸关键点检测网络进行特征提取，得到初始人脸关键点集合；所述初始人脸关键点集合包括眼睛轮廓点集合和嘴唇轮廓点集合；
以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像；所述人脸提取操作包括旋转、裁剪或填充中的至少一种操作；
将所述初始人脸关键点集合中的关键点转换到所述脸部图像构建的坐标系中，得到目标人脸关键点集合。
在一示例性的实施方式中，所述以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像，包括：
根据所述眼睛轮廓点集合，确定眼睛中心点；所述眼睛中心点包括左眼中心点和右眼中心点；
根据所述嘴唇轮廓点集合，确定嘴唇中心点；
以所述眼睛中心点以及所述嘴唇中心点作为标定点，根据所述人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到所述脸部图像。
在一示例性的实施方式中，所述关键点预测模型的训练方法包括：
根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对；每组样本图像对包括一个样本人脸图像和一个样本贴图脸图像；每组样本图像对中的样本人脸图像和样本贴图脸图像的姿态相同；
根据人脸关键点检测器检测每组样本图像对中样本人脸图像的样本人脸关键点；
根据贴图脸关键点检测器检测每组样本图像对中样本贴图脸图像的样本贴图关键点；
将每组样本图像对中的样本贴图关键点标注到所述每组样本图像对中的样本人脸关键点上，得到所述每组样本图像对中的样本人脸关键点的第一贴图关键点标签；
将每组样本图像对中的样本人脸关键点输入预设模型，输出第二贴图关键点标签；
根据所述第一贴图关键点标签与所述第二贴图关键点标签之间的差异，对所述预设模型进行训练，得到所述关键点预测模型。
在一示例性的实施方式中，所述根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对，包括：
确定人脸生成模型和贴图脸生成模型；
将随机脸部特征集输入所述人脸生成模型进行人脸图像预测，得到所述样本人脸图像集；
将所述随机脸部特征集输入所述贴图脸生成模型进行贴图脸图像预测，得到所述样本贴图脸图像集；
将同一随机脸部特征对应的样本人脸图像以及样本贴图脸图像，作为一组样本图像对。
在一示例性的实施方式中，所述方法还包括：
将预设脸部特征作为当前脸部特征；所述当前脸部特征标注了当前贴图脸标签；
将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，输出当前贴图脸；
若输出的当前贴图脸与标注的当前贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；
将所述当前关键点信息重新作为所述当前脸部特征，并重复步骤所述将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，得到当前贴图脸；以及所述若所述当前贴图脸与标注的预设贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；直至所述贴图脸生成模型输出的当前贴图脸标签与标注的当前贴图脸标签相匹配；
将所述贴图脸生成模型输出的贴图脸标签与标注的当前贴图脸标签相匹配时的当前关键点信息确定为目标脸部特征。
在一示例性的实施方式中，所述根据所述目标贴图脸关键点，生成目标贴图脸图像，包括：
从所述目标贴图脸关键点中，筛选出与所述目标脸部特征相同类型的目标关键点；
将所述目标关键点输入所述贴图脸生成模型，生成所述目标贴图脸图像。
在一示例性的实施方式中，所述以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像之后，所述方法还包括：
获取所述人脸提取操作对应的图像处理参数；
对所述图像处理参数进行逆变换处理，得到反向变换参数；
所述将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像，包括：
根据所述反向变换参数对所述目标贴图头像进行反向变换处理，得到待粘贴图像；
将所述待粘贴图像粘贴在所述目标人脸图像的人脸头像区域，得到所述贴图图像。
根据本公开实施例的第二方面，提供一种图像生成装置，包括：
目标人脸关键点确定模块，被配置为执行对目标人脸图像进行特征提取，得到目标人脸关键点；
目标贴图脸关键点确定模块，被配置为执行将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；
目标贴图脸图像生成模块，被配置为执行根据所述目标贴图脸关键点，生成目标贴图脸图像；
目标头像区域确定模块，被配置为执行对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；
贴图头像生成模块，被配置为执行根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的贴图头像；
图像生成模块，被配置为执行将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。
在一示例性的实施方式中，所述目标人脸关键点确定模块包括：
特征提取单元，被配置为执行将所述目标人脸图像输入人脸关键点检测网络进行特征提取，得到初始人脸关键点集合；所述初始人脸关键点集合包括眼睛轮廓点集合和嘴唇轮廓点集合；
图像处理单元，被配置为执行以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像；所述人脸提取操作包括旋转、裁剪或填充中的至少一种操作；
目标人脸关键点集合确定单元，被配置为执行将所述初始人脸关键点集合中的关键点转换到所述脸部图像构建的坐标系中，得到目标人脸关键点集合。
在一示例性的实施方式中，所述图像处理单元包括：
眼睛中心点确定子单元，被配置为执行根据所述眼睛轮廓点集合，确定眼睛中心点；所述眼睛中心点包括左眼中心点和右眼中心点；
嘴唇中心点确定子单元，被配置为执行根据所述嘴唇轮廓点集合，确定嘴唇中心点；
图像处理子单元，被配置为执行以所述眼睛中心点以及所述嘴唇中心点作为标定点，根据所述人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到所述脸部图像。
在一示例性的实施方式中，所述装置还包括：
样本图像对构建模块，被配置为执行根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对；每组样本图像对包括一个样本人脸图像和一个样本贴图脸图像；每组样本图像对中的样本人脸图像和样本贴图脸图像的姿态相同；
样本人脸关键点检测模块，被配置为执行根据人脸关键点检测器检测每组样本图像对中样本人脸图像的样本人脸关键点；
样本贴图关键点检测模块，被配置为执行根据贴图脸关键点检测器检测每组样本图像对中样本贴图脸图像的样本贴图关键点；
贴图关键点标签标注模块，被配置为执行将每组样本图像对中的样本贴图关键点标注到所述每组样本图像对中的样本人脸关键点上，得到所述每组样本图像对中的样本人脸关键点的第一贴图关键点标签；
输出贴图关键点标签确定模块，被配置为执行将每组样本图像对中的样本人脸关键点输入预设模型，输出第二贴图关键点标签；
训练模块，被配置为执行根据所述第一贴图关键点标签与所述第二贴图关键点标签之间的差异，对所述预设模型进行训练，得到所述关键点预测模型。
在一示例性的实施方式中，所述样本图像对构建模块包括：
模型确定单元，被配置为执行确定人脸生成模型和贴图脸生成模型；
样本人脸图像集生成单元，被配置为执行将随机脸部特征集输入所述人脸生成模型进行人脸图像预测，得到所述样本人脸图像集；
样本贴图脸图像集确定单元，被配置为执行将所述随机脸部特征集输入所述贴图脸生成模型进行贴图脸图像预测，得到所述样本贴图脸图像集；
样本图像对构建单元，被配置为执行将同一随机脸部特征对应的样本人脸图像以及样本贴图脸图像，作为一组样本图像对。
在一示例性的实施方式中，所述装置还包括：
当前脸部特征确定模块，被配置为执行将预设脸部特征作为当前脸部特征；所述当前脸部特征标注了当前贴图脸标签；
当前贴图脸确定模块，被配置为执行将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，输出当前贴图脸；
当前贴图脸标签标注模块，被配置为执行若输出的当前贴图脸与标注的当前贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；
步骤重复模块，被配置为执行将所述当前关键点信息重新作为所述当前脸部特征，并重复步骤所述将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，得到当前贴图脸；以及所述若所述当前贴图脸与标注的预设贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；直至所述贴图脸生成模型输出的当前贴图脸标签与标注的当前贴图脸标签相匹配；
目标脸部特征确定模块，被配置为执行将所述贴图脸生成模型输出的贴图脸标签与标注的当前贴图脸标签相匹配时的当前关键点信息确定为目标脸部特征。
在一示例性的实施方式中，所述目标贴图脸图像生成模块包括：
目标关键点筛选单元，被配置为执行从所述目标贴图脸关键点中，筛选出与所述目标脸部特征相同类型的目标关键点；
目标贴图脸图像生成单元，被配置为执行将所述目标关键点输入所述贴图脸生成模型，生成所述目标贴图脸图像。
在一示例性的实施方式中，所述装置还包括：
图像处理参数获取模块，被配置为执行获取所述人脸提取操作对应的图像处理参数；
反向变换参数确定模块，被配置为执行对所述图像处理参数进行逆变换处理，得到反向变换参数；
所述图像生成模块包括：
待粘贴图像确定单元，被配置为执行根据所述反向变换参数对所述目标贴图头像进行反向变换处理，得到待粘贴图像；
贴图图像生成单元，被配置为执行将所述待粘贴图像粘贴在所述目标人脸图像的人脸头像区域，得到所述贴图图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上所述的图像生成方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备处理器执行时，使得所述电子设备能够执行如上所述的图像生成方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的图像生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开对目标人脸图像进行特征提取，得到目标人脸关键点；将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；根据所述目标贴图脸关键点，生成目标贴图脸图像；对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的目标贴图头像；将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。本公开根据目标人脸图像实时生成与该图像中人脸姿态一致的贴图头像，并粘贴于目标人脸图像中的人脸区域，实现图像中自然、协调的面部遮挡，更好地保护了用户隐私。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像生成方法的应用环境图。
图2是根据一示例性实施例示出的一种图像生成方法的流程图。
图3是根据一示例性实施例示出的一种确定目标人脸关键点集合的方法的流程图。
图4是根据一示例性实施例示出的一种训练得到关键点预测模型的方法的流程图。
图5是根据一示例性实施例示出的一种构建样本图像对的方法的流程图。
图6是根据一示例性实施例示出的一种确定目标脸部特征的方法的流程图。
图7是根据一示例性实施例示出的一种图像生成方法的算法流程图。
图8是根据一示例性实施例示出的一种图像生成装置的框图。
图9是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
贴图头像人脸遮挡是一种使用卡通化的效果来对人脸进行遮挡，在呈现出美观的效果的同时，也保护了用户隐私的技术。智能贴图头像生成是指一种利用计算机来自动化地生成贴图头像的技术。在日常拍摄图片的分享和修图APP的使用过程中，由于一些主观或客观因素，很多用户不愿露脸，因此，催生了该技术的诞生。
目前市面上各类修图APP同质化严重，核心功能雷同且过度专注于使用户变美变好看，忽略了社交恐惧、隐私保护等常见用户痛点和核心诉求。当前的APP往往使用的是固定的素材，缺乏多样性。
为了提供更自然、更协调和更多样的贴图头像遮挡方式，本公开提供了一种图像生成方法、装置、电子设备及存储介质。
请参阅图1，其所示为根据一示例性实施例示出的一种图像生成方法的应用环境图，该应用环境可以包括服务器01和客户端02。
具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以用于对目标人脸图像进行特征提取，得到目标人脸关键点；将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；以及根据所述目标贴图脸关键点，生成目标贴图脸图像；对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；以及根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的目标贴图头像；以及将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像；并向客户端02发送贴图图像。
具体的，本说明书实施例中，所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端02可以用于显示贴图图像。
图2是根据一示例性实施例示出的一种图像生成方法的流程图，如图2所示，该方法可以应用于图1所示的客户端02中，包括以下步骤。
在步骤S21中，对目标人脸图像进行特征提取，得到目标人脸关键点。
本公开实施例中，目标人脸图像可以为通过摄像装置或拍照装置等得到的人脸图像，目标人脸关键点可以包括但不限于目标人脸图像中的眼睛、嘴唇等关键点。
在一些实施例中，如图3所示，所述对目标人脸图像进行特征提取，得到目标人脸关键点，包括：
在步骤S211中，将所述目标人脸图像输入人脸关键点检测网络进行特征提取，得到初始人脸关键点集合；所述初始人脸关键点集合包括眼睛轮廓点集合和嘴唇轮廓点集合；
本公开实施例中，人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；人脸关键点检测方法大致分为三种，分别是基于ASM(Active Shape Model)和AAM(Active Appearnce Model)的传统方法；基于级联形状回归的方法以及基于深度学习的方法。人脸关键点检测网络(Netdetect_human_lmk)可以包括ASM、AAM等；ASM是一种基于点分布模型(Point Distribution Model,PDM)的算法；在PDM中，外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键特征点(landmarks)的坐标依次串联形成一个形状向量来表示。AAM是在ASM的基础上，进一步对纹理(将人脸图像变形到平均形状而得到的形状无关图像)进行统计建模，并将形状和纹理两个统计模型进一步融合为表观模型。
本公开实施例中，眼睛轮廓点可以包括左眼轮廓点和右眼轮廓点；可以将输入的目标人脸图像记作Ihuman，通过一个人脸关键点检测网络(记作Netdetect_human_lmk)检测图像中人脸区域对应的关键点坐标(相对于原图大小的相对坐标)，将得到的人脸关键点记为Lmkori_human。
在步骤S212中，以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像；所述人脸提取操作包括旋转、裁剪或填充中的至少一种操作；
本公开实施例中，人脸对齐(Face Alignment)算法为根据人脸关键点进行人脸特征提取的方法，在人脸提取操作过程中，可以按照预设比例进行特征提取，预设比例可以根据高清人脸(Flickr-Faces-High-Quality，FFHQ)数据集的裁剪标准来设置。人脸提取操作可以根据实际情况进行选择，通常是对目标人脸图像进行裁剪操作；若目标人脸图像中人脸具有倾斜角度，则需将其进行旋转，并根据需要进行图像填充，使得旋转后人脸倾斜角度为0；从而得到摆正的、非人脸区域比例较低的脸部图像。
在一些实施例中，所述以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像，包括：
根据所述眼睛轮廓点集合，确定眼睛中心点；所述眼睛中心点包括左眼中心点和右眼中心点；
本公开实施例中，眼睛轮廓点集合可以包括左眼轮廓点集合和右眼轮廓点集合，眼睛中心点可以包括左眼中心点和右眼中心点；可以使用该关键点中的左眼轮廓点集合，来计算得到人脸的左眼中心点Pleft_eye_center。可以使用该关键点中的右眼轮廓点集合，来计算得到人脸的右眼中心点Pright_eye_center。
根据所述嘴唇轮廓点集合，确定嘴唇中心点；
本公开实施例中，可以使用该关键点中嘴唇轮廓点集合来计算得到人脸的嘴唇中心点Pmout_h_center。
以所述眼睛中心点以及所述嘴唇中心点作为标定点，根据所述人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到所述脸部图像。
本公开实施例中，可以使用该关键点中的左眼轮廓点集合、右眼轮廓点集合以及嘴唇轮廓点集合来计算得到人脸的左眼中心点Pleft_eye_center、右眼中心点Pright_eye_center和嘴唇中心点Pmouth_center。
本公开实施例中，人脸提取操作可以包括旋转、裁剪和填充操作，可以通过左眼中心点、右眼中心点和嘴唇中心点这三个点作为标定点，对人脸区域按照一定的比例(根据FFHQ数据集的裁剪标准)进行旋转、裁剪和填充(记对应操作参数为Paramsaligned_human_i)。最终得到对齐后的人脸裁剪区域图片Ialigned_human_i，其中i代表图片Ihuman中的第i个人脸区域。例如，目标人脸图像中人脸具有倾斜角度，则需将其进行旋转，并根据需要进行图像填充，使得旋转后人脸倾斜角度为0；从而得到摆正的、非人脸区域比例低的脸部图像。
本公开实施例中，可以对目标人脸图像进行特征提取，得到两个眼睛中心点和一个嘴唇中心点，再以这三个点作为标定点，对目标人脸图像进行处理，从而得到处理后脸部图像；从而最大程度剔除了目标人脸图像中的非人脸区域，得到能够准确表征人脸区域的处理后脸部图像，提高后续确定目标人脸关键点的准确率。
在一些实施例中，所述以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像之后，所述方法还包括：
获取所述人脸提取操作对应的图像处理参数；
对所述图像处理参数进行逆变换处理，得到反向变换参数。
本公开实施例中，图像处理参数为人脸提取操作对应的图像处理参数，可以对图像处理参数进行逆变换处理；例如，图像处理参数为逆时针旋转30°，则逆变换为顺时针旋转30°。
本公开实施例中，可以对图像处理参数进行处理，得到反向变换参数，再根据反向变换参数对生成的目标贴图头像进行处理，从而实时生成与人脸图像姿态完全一致的目标贴图头像，提高了目标贴图头像与目标人脸图像的匹配度，从而实现自然、协调的面部遮挡。
在步骤S213中，将所述初始人脸关键点集合中的关键点转换到所述脸部图像构建的坐标系中，得到目标人脸关键点集合。
本公开实施例中，对检测到的人脸关键点坐标进行一个相对坐标系的变换，从原来以图片左上角为原点，高为x轴，宽为y轴。转换到以人脸裁剪区域Ialigned_human_i的左上角为原点，裁剪区域的高为x轴，裁剪区域的宽为y轴的坐标系中，记转换过后的关键点为Lmkcrop_human。
本公开实施例中，可以对目标人脸图像进行特征提取，得到人脸关键点；再以人脸关键点作为标定点，对目标人脸图像进行人脸提取操作，得到脸部图像；脸部图像可以为仅包括脸部区域的图像；根据该脸部图像构建坐标系，对人脸关键点进行更新，从而得到目标人脸关键点集合，根据更新后的目标人脸关键点集合，可以提高目标贴图脸关键点的预测准确率。
在步骤S22中，将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同。
本公开实施例中，关键点预测模型可以根据输入的目标人脸关键点，预测得到对应的目标贴图脸关键点。贴图脸可以包括但不限于卡通脸、素描脸、机器人脸、漫画脸、油画脸等。
在一些实施例中，如图4所示，所述关键点预测模型的训练方法包括：
在步骤S41中，根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对；每组样本图像对包括一个样本人脸图像和一个样本贴图脸图像；每组样本图像对中的样本人脸图像和样本贴图脸图像的姿态相同；
本公开实施例中，在关键点预测模型的训练过程中，可以先获取样本人脸图像集以及样本贴图脸图像集，并构建多组样本图像对；每组样本图像对包括一个样本人脸图像和一个对应的样本贴图脸图像。
在一些实施例中，如图5所示，所述根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对，包括：
在步骤S411中，确定人脸生成模型和贴图脸生成模型；
本公开实施例中，所述确定人脸生成模型和贴图脸生成模型包括：
将标注了人脸图像的脸部特征输入预训练模型，进行生成人脸图像的训练，以调整所述预训练模型的模型参数，至所述预训练模型输出的人脸图像与标注的人脸图像相匹配；
将输出的人脸图像与标注的人脸图像相匹配时的模型参数所对应的预训练模型，作为人脸生成模型；
将标注了贴图脸图像的所述脸部特征，输入所述人脸生成模型，进行生成贴图脸图像的训练，以调整所述人脸生成模型的模型参数，至所述人脸生成模型输出的贴图脸图像与标注的贴图脸图像相匹配；
将输出的贴图脸图像与标注的贴图脸图像相匹配时的模型参数，所对应的人脸生成模型，作为贴图脸生成模型。
本公开实施例中，首先通过网络搜集和整理所需要的贴图脸数据，构建一个贴图脸数据集Datasetsanime。接着利用该数据在一个已训练好的人脸StyleGANv2模型(记作Genhuman)上进行微调(finetune)训练，得到一个能生成贴图脸的StyleGANv2模型(记作Genfinetune_anime)，即贴图脸生成模型。StyleGANv2模型可以被替换为任意支持从噪声空间进行采样来生成的模型(包括但不限于StyleGAN、StyleGANv3等模型)。贴图脸生成模型可以包括但不限于CycleGAN、UGATIT等模型。生成对抗网络(Generative AdversarialNetworks，GAN)是一个十分有效的深度学习模型，由此衍生了CycleGAN。CycleGAN本质上是两个镜像对称的GAN，构成了一个环形网络。两个GAN共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器。UGATIT为具有用于图像到图像转换的自适应层实例标准化的无监督生成注意网络，是一种新的无监督图像到图像转换方法。
在步骤S412中，将随机脸部特征集输入所述人脸生成模型进行人脸图像预测，得到所述样本人脸图像集；
本公开实施例中，随机脸部特征集中可以包括多个随机脸部特征(随机数)；在机器学习中要用到随机数，为了把握随机数的生成特性，从随机数的随机、无序中获得确定和秩序；利用随机数种子(random seed)来实现这一目标，随机数种子可以使得引入了随机数的整个程序，在多次运行中得到确定的、一致的结果。
在步骤S413中，将所述随机脸部特征集输入所述贴图脸生成模型进行贴图脸图像预测，得到所述样本贴图脸图像集；
本公开实施例中，可以将随机脸部特征集分别输入人脸生成模型和贴图脸生成模型，分别得到样本人脸图像集和样本贴图脸图像集。
在步骤S414中，将同一随机脸部特征对应的样本人脸图像以及样本贴图脸图像，作为一组样本图像对。
本公开实施例中，通过固定的随机数种子，从微调前后的两个模型，人脸生成模型和贴图脸生成模型中分别采样5万组数据构成配对，将每组采样得到的配对数据对记作P_Ii＝(Isample_human_i，Isample_anime_i)(其中i代表每一组配对数据)。
本公开实施例中，可以在人脸生成模型的基础上进行微调训练，得到贴图脸生成模型；并基于人脸生成模型和贴图脸生成模型，构建多组样本图像对，采用随机数种子，保证将同一随机脸部特征输入两个模型得到的样本人脸图像以及样本贴图脸图像的脸部姿态相同，从而提高了关键点预测模型的预测准确率。
在步骤S42中，根据人脸关键点检测器检测每组样本图像对中样本人脸图像的样本人脸关键点；
本公开实施例中，可以通过人脸关键点检测器Netdetect_human_lmk对每组样本图像对中样本人脸图像进行检测，得到对应的样本人脸图像的关键点，即样本人脸关键点。
在步骤S43中，根据贴图脸关键点检测器检测每组样本图像对中样本贴图脸图像的样本贴图关键点；
本公开实施例中，可以通过贴图脸关键检测器确定样本贴图关键点；若贴图脸为卡通脸，则可以通过卡通关键点检测器(记作Netdetect_anime_lmk)对每组样本图像对中样本贴图脸图像进行检测，得到样本贴图脸图像的关键点。
在步骤S44中，将每组样本图像对中的样本贴图关键点标注到所述每组样本图像对中的样本人脸关键点上，得到所述每组样本图像对中的样本人脸关键点的第一贴图关键点标签；
本公开实施例中，可以将第一贴图关键点标注到对应的样本人脸关键点中，从而便于进行模型训练。
在步骤S45中，将每组样本图像对中的样本人脸关键点输入预设模型，输出第二贴图关键点标签；
在步骤S46中，根据所述第一贴图关键点标签与所述第二贴图关键点标签之间的差异，对所述预设模型进行训练，得到所述关键点预测模型。
本公开实施例中，可以根据多个样本人脸关键点训练预设模型，得到关键点预测模型。
本公开实施例中，可以分别提取样本人脸图像集以及样本贴图脸图像集中的关键点，然后根据这两种关键点对预设模型进行训练，得到所述关键点预测模型，从而可以根据目标人脸关键点，预测对应的目标贴图脸关键点。
在步骤S23中，根据所述目标贴图脸关键点，生成目标贴图脸图像。
在一些实施例中，如图6所示，所述方法还包括：
在步骤S61中，将预设脸部特征作为当前脸部特征；所述当前脸部特征标注了当前贴图脸标签；
本公开实施例中，可以根据采样点确定预设脸部特征，采样点可以为随机数发生器产生的点，一个采样点为一个向量；可以根据一个采样点得到一个预设脸部特征，并对预设脸部特征进行贴图脸的标注。
在步骤S62中，将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，输出当前贴图脸；
在步骤S63中，若输出的当前贴图脸与标注的当前贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；
在一些实施例中，所述确定所述当前贴图脸的当前关键点信息，包括：
根据贴图脸属性预测器，预测所述当前贴图脸的当前关键点属性信息；
本公开实施例中，关键点属性信息可以包括但不限于性别、器官大小、器官颜色、面部表情、面部附加信息；关键点属性信息可以根据实际需求进行设置；贴图脸属性预测器可以对贴图脸图像的属性进行预测，得到关键点属性属性。
根据所述贴图脸关键点检测器，检测所述当前贴图脸的当前关键点标识信息；
将所述当前贴图脸的当前关键点属性信息以及当前关键点标识信息，确定为所述当前贴图脸的当前关键点信息。
在一些实施例中，所述方法还包括：
若输出的当前贴图脸与标注的当前贴图脸标签匹配，将所述当前脸部特征确定为目标脸部特征。
在步骤S64中，将所述当前关键点信息重新作为所述当前脸部特征，并重复步骤所述将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，得到当前贴图脸；以及所述若所述当前贴图脸与标注的预设贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；直至所述贴图脸生成模型输出的当前贴图脸标签与标注的当前贴图脸标签相匹配；
在步骤S65中，将所述贴图脸生成模型输出的贴图脸标签与标注的当前贴图脸标签相匹配时的当前关键点信息，确定为目标脸部特征。
本公开实施例中，这个模型训练过程不改变模型参数，只改变输入的样本特征，逐步筛选出目标采样点(即目标脸部特征)，在模型训练过程中，先输入预设脸部特征，得到一次贴图脸；根据一次贴图脸确定对应的一次关键点信息；一次关键点信息与一次贴图脸匹配；再将一次关键点信息输入模型得到二次贴图脸；若二次贴图脸与一次贴图脸匹配，将该一次关键点确定为目标脸部特征；若二次贴图脸与一次贴图脸不匹配，重复根据二次贴图脸确定二次关键点信息，将二次关键点信息输入模型，得到三次贴图脸；继续判断三次贴图脸与二次贴图脸是否匹配，如此循环；直到模型输出的贴图脸与标注的贴图脸相匹配为止。
本公开实施例中，可以将样本贴图脸图像I以及对应的采样点Z、样本贴图脸属性A以及样本贴图关键点Lmk构建成样本数据对。记作P_datasample_anime_i＝(Isample_anime_i,Zsample_anime_i,Asample_anime_i,Lmksample_anime_i)。
本公开实施例中，可以根据10万张成对数据P_datasample_anime_i进行模型训练(记该模型为Genoptim_anime)。具体来说，以Zsample_anime_i为起始点，寻找到一个符合(Asample_anime_i,Lmksample_anime_i)性质的目标点Zoptim_anime_i。可以采用SGF(Surrogate Gradient Field)算法进行训练，可替换为任意支持以属性为引导的图像优化算法。
本公开实施例中，通过模型训练方法可以确定出目标脸部特征，通过该目标脸部特征可以提高生成的目标贴图脸图像的准确率。
在一些实施例中，所述根据所述目标贴图脸关键点，生成目标贴图脸图像，包括：
从所述目标贴图脸关键点中，筛选出与所述目标脸部特征相同类型的目标关键点；
将所述目标关键点输入所述贴图脸生成模型，生成所述目标贴图脸图像。
本公开实施例中，在确定出目标贴图脸关键点，可以对其进行进一步筛选，得到目标关键点；再根据目标关键点生成目标贴图脸图像，从而提高了目标贴图脸图像与目标人脸图像的匹配程度。
在步骤S24中，对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域。
在一些实施例中，所述对所述目标贴图脸图像进行语义分割处理，得到目标头像区域，包括：
获取标注了样本头像区域的样本贴图脸图像集；
本公开实施例中，可以获取样本贴图脸图像集，并对样本贴图脸图像集中每个样本贴图脸图像进行标注，得到每个样本贴图脸图像对应的样本头像区域。
根据标注后的样本贴图脸图像集训练得到贴图脸语义分割模型；
本公开实施例中，可以将样本贴图脸图像输入预设模型，调节模型参数直至模型输出的头像区域与标注的样本头像区域一致，将此时模型参数对应的预设模型确定为贴图脸语义分割模型。
根据所述贴图脸语义分割模型，对所述目标贴图脸图像进行语义分割处理，得到目标头像区域。
本公开实施例中，目标贴图脸图像可以包括头像区域和非头像区域，在实际应用中，通常仅需要使用目标贴图脸图像中的头像区域；可以将目标贴图脸图像输入贴图脸语义分割模型，得到目标头像区域，目标头像区域包括脸部区域和头发区域。
本公开实施例中，可以通过训练得到贴图脸语义分割模型，再根据贴图脸语义分割模型对目标贴图脸图像进行语义分割处理，快速确定目标头像区域，从而提高贴图脸图像的生成效率。
在步骤S25中，根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的目标贴图头像。
在一些实施例中，所述方法还包括：
基于所述目标头像区域确定前景遮罩层；
本公开实施例中，可以根据目标头像区域确定前景遮罩层，即通过截取脸部和头发区域，获得前景遮罩层，记作Mtarget_anime。
根据所述前景遮罩层对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的目标贴图头像。
本公开实施例中，利用该遮罩层对贴图脸图像结果Ioptim_anime进行截取，得到只包括脸部和头发区域的贴图头像Imasked_anime。
本公开实施例中，可以通过目标头像区域确定前景遮罩层，再根据遮罩层截图得到贴图头像，快速生成贴图头像，从而提高贴图脸图像的生成效率。
在步骤S26中，将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。
在一些实施例中，所述将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像，包括：
根据所述反向变换参数对所述目标贴图头像进行反向变换处理，得到待粘贴图像；
将所述待粘贴图像粘贴在所述目标人脸图像的人脸头像区域，得到所述贴图图像。
本公开实施例中，可以将生成的目标贴图头像，按照所述反向变换参数进行处理后，再粘贴在所述目标人脸图像的人脸头像区域，得到所述贴图图像，实现图像中自然、协调的面部遮挡。
本公开实施例中，可以采用PyTorch深度学习框架进行神经网络训练，并使用Python语言进行算法集成。例如，针对一张512x512分辨率的人脸图像，需要约0.7秒钟即可生成对应的贴图图像。PyTorch是一个开源的Python机器学习库，用于自然语言处理等应用程序。Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆于1990年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言。
在一个具体的实施例中，如图7所示，图7为本实施例提供的一种图像生成方法的算法流程图，贴图脸为卡通脸，输入的人脸图像为照片，然后进行人脸检测和提取，根据提取的人脸关键点预测卡通脸关键点；再根据卡通脸关键点生成卡通图像；对卡通图像进行分割得到卡通头像；之后将卡通头像按照图像处理参数进行姿态扭转等系列操作后，反贴于原人脸图像的脸部区域，从而生成对应的卡通脸图像。
本实施例提供了一种可以使用贴图脸自动化地对真人脸部进行遮挡的技术，基于给定的目标姿态对贴图脸进行调整和分割，产生一张和原图人像具有相应姿态的贴图脸结果，保证了可以多样性的产生和真人姿态一致，尺度一致且美观的贴图脸结果；在提供了丰富的选择空间的同时也很好地保护了用户的隐私权。相比于现有方案，本技术方案在结果的多样性、协调性等方面都带来了明显的效果提升。自适应地产生任意数量的具有多样性的贴图脸结果，支持单图多人遮挡，提供给用户丰富的选择空间。
本公开对目标人脸图像进行特征提取，得到目标人脸关键点；将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；根据所述目标贴图脸关键点，生成目标贴图脸图像；对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的目标贴图头像；将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。本公开根据目标人脸图像实时生成与该图像中人脸姿态一致的贴图头像，并粘贴于目标人脸图像中的人脸区域，实现图像中自然、协调的面部遮挡，更好地保护了用户隐私。
图8是根据一示例性实施例示出的一种图像生成装置框图。参照图8，该装置包括：
目标人脸关键点确定模块810，被配置为执行对目标人脸图像进行特征提取，得到目标人脸关键点；
目标贴图脸关键点确定模块820，被配置为执行将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；
目标贴图脸图像生成模块830，被配置为执行根据所述目标贴图脸关键点，生成目标贴图脸图像；
目标头像区域确定模块840，被配置为执行对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；
贴图头像生成模块850，被配置为执行根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的贴图头像；
图像生成模块860，被配置为执行将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。
在一些实施例中，所述目标人脸关键点确定模块包括：
特征提取单元，被配置为执行将所述目标人脸图像输入人脸关键点检测网络进行特征提取，得到初始人脸关键点集合；所述初始人脸关键点集合包括眼睛轮廓点集合和嘴唇轮廓点集合；
图像处理单元，被配置为执行以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像；所述人脸提取操作包括旋转、裁剪或填充中的至少一种操作；
目标人脸关键点集合确定单元，被配置为执行将所述初始人脸关键点集合中的关键点转换到所述脸部图像构建的坐标系中，得到目标人脸关键点集合。
在一些实施例中，所述图像处理单元包括：
眼睛中心点确定子单元，被配置为执行根据所述眼睛轮廓点集合，确定眼睛中心点；所述眼睛中心点包括左眼中心点和右眼中心点；
嘴唇中心点确定子单元，被配置为执行根据所述嘴唇轮廓点集合，确定嘴唇中心点；
图像处理子单元，被配置为执行以所述眼睛中心点以及所述嘴唇中心点作为标定点，根据所述人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到所述脸部图像。
在一些实施例中，所述装置还包括：
样本图像对构建模块，被配置为执行根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对；每组样本图像对包括一个样本人脸图像和一个样本贴图脸图像；每组样本图像对中的样本人脸图像和样本贴图脸图像的姿态相同；
样本人脸关键点检测模块，被配置为执行根据人脸关键点检测器检测每组样本图像对中样本人脸图像的样本人脸关键点；
样本贴图关键点检测模块，被配置为执行根据贴图脸关键点检测器检测每组样本图像对中样本贴图脸图像的样本贴图关键点；
贴图关键点标签标注模块，被配置为执行将每组样本图像对中的样本贴图关键点标注到所述每组样本图像对中的样本人脸关键点上，得到所述每组样本图像对中的样本人脸关键点的第一贴图关键点标签；
输出贴图关键点标签确定模块，被配置为执行将每组样本图像对中的样本人脸关键点输入预设模型，输出第二贴图关键点标签；
训练模块，被配置为执行根据所述第一贴图关键点标签与所述第二贴图关键点标签之间的差异，对所述预设模型进行训练，得到所述关键点预测模型。
在一些实施例中，所述样本图像对构建模块包括：
模型确定单元，被配置为执行确定人脸生成模型和贴图脸生成模型；
样本人脸图像集生成单元，被配置为执行将随机脸部特征集输入所述人脸生成模型进行人脸图像预测，得到所述样本人脸图像集；
样本贴图脸图像集确定单元，被配置为执行将所述随机脸部特征集输入所述贴图脸生成模型进行贴图脸图像预测，得到所述样本贴图脸图像集；
样本图像对构建单元，被配置为执行将同一随机脸部特征对应的样本人脸图像以及样本贴图脸图像，作为一组样本图像对。
在一些实施例中，所述装置还包括：
当前脸部特征确定模块，被配置为执行将预设脸部特征作为当前脸部特征；所述当前脸部特征标注了当前贴图脸标签；
当前贴图脸确定模块，被配置为执行将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，输出当前贴图脸；
当前贴图脸标签标注模块，被配置为执行若输出的当前贴图脸与标注的当前贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；
步骤重复模块，被配置为执行将所述当前关键点信息重新作为所述当前脸部特征，并重复步骤所述将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，得到当前贴图脸；以及所述若所述当前贴图脸与标注的预设贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；直至所述贴图脸生成模型输出的当前贴图脸标签与标注的当前贴图脸标签相匹配；
目标脸部特征确定模块，被配置为执行将所述贴图脸生成模型输出的贴图脸标签与标注的当前贴图脸标签相匹配时的当前关键点信息确定为目标脸部特征。
在一些实施例中，所述目标贴图脸图像生成模块包括：
目标关键点筛选单元，被配置为执行从所述目标贴图脸关键点中，筛选出与所述目标脸部特征相同类型的目标关键点；
目标贴图脸图像生成单元，被配置为执行将所述目标关键点输入所述贴图脸生成模型，生成所述目标贴图脸图像。
在一些实施例中，所述装置还包括：
图像处理参数获取模块，被配置为执行获取所述人脸提取操作对应的图像处理参数；
反向变换参数确定模块，被配置为执行对所述图像处理参数进行逆变换处理，得到反向变换参数；
所述图像生成模块包括：
待粘贴图像确定单元，被配置为执行根据所述反向变换参数对所述目标贴图头像进行反向变换处理，得到待粘贴图像；
贴图图像生成单元，被配置为执行将所述待粘贴图像粘贴在所述目标人脸图像的人脸头像区域，得到所述贴图图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
该电子设备可以是终端、服务器或者类似的运算装置，以该电子设备是服务器为例，图9是根据一示例性实施例示出的一种电子设备的框图，如图9所示，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(CentralProcessing Units，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
在一个示例性的实施方式中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器930，上述指令可由装置900的处理器910执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一个示例性的实施方式中，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式中提供的多业务数据预测模型的训练方法或多媒体信息推送方法。
在示例性实施例中，还提供了一种电子设备，包括：
处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述的图像生成方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述图像生成方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的图像生成方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像生成方法，其特征在于，包括：
对目标人脸图像进行特征提取，得到目标人脸关键点；
将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；
根据所述目标贴图脸关键点，生成目标贴图脸图像；
对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；
根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的目标贴图头像；
将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。
2.根据权利要求1所述的方法，其特征在于，所述对目标人脸图像进行特征提取，得到目标人脸关键点，包括：
将所述目标人脸图像输入人脸关键点检测网络进行特征提取，得到初始人脸关键点集合；所述初始人脸关键点集合包括眼睛轮廓点集合和嘴唇轮廓点集合；
以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像；所述人脸提取操作包括旋转、裁剪或填充中的至少一种操作；
将所述初始人脸关键点集合中的关键点转换到所述脸部图像构建的坐标系中，得到目标人脸关键点集合。
3.根据权利要求2所述的方法，其特征在于，所述以所述初始人脸关键点集合中关键点作为标定点，根据人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到脸部图像，包括：
根据所述眼睛轮廓点集合，确定眼睛中心点；所述眼睛中心点包括左眼中心点和右眼中心点；
根据所述嘴唇轮廓点集合，确定嘴唇中心点；
以所述眼睛中心点以及所述嘴唇中心点作为标定点，根据所述人脸对齐算法对所述目标人脸图像进行人脸提取操作，得到所述脸部图像。
4.根据权利要求1所述的方法，其特征在于，所述关键点预测模型的训练方法包括：
根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对；每组样本图像对包括一个样本人脸图像和一个样本贴图脸图像；每组样本图像对中的样本人脸图像和样本贴图脸图像的姿态相同；
根据人脸关键点检测器检测每组样本图像对中样本人脸图像的样本人脸关键点；
根据贴图脸关键点检测器检测每组样本图像对中样本贴图脸图像的样本贴图关键点；
将每组样本图像对中的样本贴图关键点标注到所述每组样本图像对中的样本人脸关键点上，得到所述每组样本图像对中的样本人脸关键点的第一贴图关键点标签；
将每组样本图像对中的样本人脸关键点输入预设模型，输出第二贴图关键点标签；
根据所述第一贴图关键点标签与所述第二贴图关键点标签之间的差异，对所述预设模型进行训练，得到所述关键点预测模型。
5.根据权利要求4所述的方法，其特征在于，所述根据样本人脸图像集以及样本贴图脸图像集，构建至少一组样本图像对，包括：
确定人脸生成模型和贴图脸生成模型；
将随机脸部特征集输入所述人脸生成模型进行人脸图像预测，得到所述样本人脸图像集；
将所述随机脸部特征集输入所述贴图脸生成模型进行贴图脸图像预测，得到所述样本贴图脸图像集；
将同一随机脸部特征对应的样本人脸图像以及样本贴图脸图像，作为一组样本图像对。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将预设脸部特征作为当前脸部特征；所述当前脸部特征标注了当前贴图脸标签；
将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，输出当前贴图脸；
当输出的当前贴图脸与标注的当前贴图脸标签不匹配时，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；
将所述当前关键点信息重新作为所述当前脸部特征，并重复步骤所述将所述当前脸部特征输入所述贴图脸生成模型进行贴图脸生成处理，得到当前贴图脸；以及所述若所述当前贴图脸与标注的预设贴图脸标签不匹配，确定所述当前贴图脸的当前关键点信息，并对所述当前关键点信息标注输出的当前贴图脸标签；直至所述贴图脸生成模型输出的当前贴图脸标签与标注的当前贴图脸标签相匹配；
将所述贴图脸生成模型输出的贴图脸标签与标注的当前贴图脸标签相匹配时的当前关键点信息确定为目标脸部特征。
7.一种图像生成装置，其特征在于，包括：
目标人脸关键点确定模块，被配置为执行对目标人脸图像进行特征提取，得到目标人脸关键点；
目标贴图脸关键点确定模块，被配置为执行将所述目标人脸关键点输入关键点预测模型进行贴图脸关键点预测，得到目标贴图脸关键点；所述目标人脸关键点对应的目标人脸与所述目标贴图脸关键点对应的目标贴图脸的姿态相同；
目标贴图脸图像生成模块，被配置为执行根据所述目标贴图脸关键点，生成目标贴图脸图像；
目标头像区域确定模块，被配置为执行对所述目标贴图脸图像进行语义分割处理，得到目标头像区域；所述目标头像区域包括脸部区域和头发区域；
贴图头像生成模块，被配置为执行根据所述目标头像区域对所述目标贴图脸图像进行截取，得到所述目标头像区域对应的贴图头像；
图像生成模块，被配置为执行将所述目标贴图头像粘贴于所述目标人脸图像中，生成贴图图像。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的图像生成方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的图像生成方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313822.XA CN114841851A (zh) | 2022-03-28 | 2022-03-28 | 图像生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313822.XA CN114841851A (zh) | 2022-03-28 | 2022-03-28 | 图像生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114841851A true CN114841851A (zh) | 2022-08-02 |
Family
ID=82563496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210313822.XA Pending CN114841851A (zh) | 2022-03-28 | 2022-03-28 | 图像生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114841851A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117041231A (zh) * | 2023-07-11 | 2023-11-10 | 启朔(深圳)科技有限公司 | 用于线上会议的视频传输方法、系统、存储介质及设备 |
-
2022
- 2022-03-28 CN CN202210313822.XA patent/CN114841851A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117041231A (zh) * | 2023-07-11 | 2023-11-10 | 启朔(深圳)科技有限公司 | 用于线上会议的视频传输方法、系统、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11869194B2 (en) | Image processing method and apparatus, computer-readable storage medium | |
| US10489683B1 (en) | Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks | |
| CN110662484B (zh) | 用于全身测量结果提取的系统和方法 | |
| CN110097606B (zh) | 面部合成 | |
| CN112330685B (zh) | 图像分割模型训练、图像分割方法、装置及电子设备 | |
| WO2021036059A1 (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
| CN110210393A (zh) | 人脸图像的检测方法和装置 | |
| CN112270686B (zh) | 图像分割模型训练、图像分割方法、装置及电子设备 | |
| CN110677598A (zh) | 视频生成方法、装置、电子设备和计算机存储介质 | |
| WO2020119458A1 (zh) | 脸部关键点检测方法、装置、计算机设备和存储介质 | |
| CN110956079A (zh) | 人脸识别模型构建方法、装置、计算机设备和存储介质 | |
| EP3271870A1 (en) | Emotion recognition in video conferencing | |
| WO2021159781A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| US11507781B2 (en) | Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks | |
| WO2020134436A1 (zh) | 生成动画表情的方法和电子设备 | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| WO2021027152A1 (zh) | 基于条件生成对抗网络合成图像的方法及相关设备 | |
| WO2021169556A1 (zh) | 人脸图像合成方法及装置 | |
| CN112818995A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN113469092A (zh) | 字符识别模型生成方法、装置、计算机设备和存储介质 | |
| CN115147261A (zh) | 图像处理方法、装置、存储介质、设备及产品 | |
| CN114841851A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| Kim et al. | K-hairstyle: A large-scale korean hairstyle dataset for virtual hair editing and hairstyle classification | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111507259B (zh) | 脸部特征提取方法、装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |