CN110555896A - 一种图像生成方法、装置以及存储介质 - Google Patents
一种图像生成方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN110555896A CN110555896A CN201910837251.8A CN201910837251A CN110555896A CN 110555896 A CN110555896 A CN 110555896A CN 201910837251 A CN201910837251 A CN 201910837251A CN 110555896 A CN110555896 A CN 110555896A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- style
- data
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Abstract
本申请实施例公开了一种图像生成方法、装置以及相关设备，本申请属于人工智能领域，方法包括：获取原始图像中的目标对象的关键数据；基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；获取图像风格信息，生成所述图像风格信息对应的风格特征；融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。采用本申请，可以提高图像处理的效率。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像生成方法、装置以及存储介质。
背景技术
随着社交平台的应用和普及，越来越多人喜欢在社交平台上分享自己的生活，晒旅游、晒自拍等，而在晒图片前，人们更倾向于在修图软件中修改、添加或删除图片中的某个部分，以此来让图片更符合自己的要求。
在现有技术中，当用户想对图像进行修图时，可以通过修图软件，采用各种修图工具对图像进行变形或添加特效，以得到用户所期望的图像，但整个修图过程都需要人工手动执行，进而导致修图过程比较久，效率低下。
申请内容
本申请实施例提供一种图像生成方法、装置以及存储介质，可以提高图像处理效率。
本申请实施例提供一种图像生成方法，包括：
获取原始图像中的目标对象的关键数据；
基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；
获取图像风格信息，生成所述图像风格信息对应的风格特征；
融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。其中，所述目标对象的关键数据包括关键点数据以及关键部位数据；
所述基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征，包括：
根据所述关键部位调整信息对所述关键部位数据进行遮掩，得到关键部位遮掩数据；所述关键部位遮掩数据中的遮掩区域至少包括所述关键部位调整信息中的待调整部位；
根据所述关键部位调整信息对所述关键部位数据中的待调整部位进行部位调整，得到关键部位调整数据；
将所述关键部位数据、所述关键部位遮掩数据以及所述关键部位调整数据确定为调整后的关键数据，根据调整后的关键数据生成调整对象特征。
其中，所述根据调整后的关键数据生成调整对象特征，包括：
生成所述关键点数据对应的第一辅助图像；
生成所述关键部位遮掩数据对应的第二辅助图像；
生成所述关键部位调整数据对应的第三辅助图像；
基于合成模型对所述第一辅助图像、第二辅助图像以及第三辅助图像进行编码融合；
在所述合成模型中对编码融合后的数据进行解码，得到对象调整图像，提取所述对象调整图像对应的调整对象特征。
其中，所述图像风格信息为风格图像，所述获取图像风格信息，生成所述图像风格信息对应的风格特征，包括：
获取所述风格图像，将所述风格图像输入风格提取模型；
基于所述风格提取模型从所述风格图像中提取所述风格特征。
其中，还包括：
获取噪声信息和图像风格信息，将所述图像风格信息和所述噪声信息输入风格映射模型；
在所述风格映射模型中将所述噪声映射为具有所述图像风格信息的风格特征。
其中，还包括：
获取第一样本图像，对所述第一样本图像的样本关键数据进行调整，得到调整后的样本关键数据，所述调整后的样本关键数据包括关键点样本数据、关键部位遮掩样本数据以及关键部位调整样本数据；
生成所述关键点样本数据对应的第一样本辅助图像，生成所述关键部位遮掩样本数据对应的第二辅助样本图像，生成所述关键部位调整样本数据对应的第三辅助样本图像；
基于样本合成模型将所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像进行编码融合，对编码融合后的样本数据进行解码，得到样本对象调整图像；
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，根据合成模型损失值训练所述样本合成模型，得到所述合成模型。
其中，所述合成模型损失值包括：第一损失值和第二损失值；
所述根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，包括：
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像，确定所述第一损失值；
根据所述第一样本图像和所述样本对象调整图像，确定所述第二损失值；
根据所述第一损失值和第二损失值，生成所述合成模型损失值。
其中，还包括：
获取第一样本风格信息和样本噪声，在样本风格映射模型中将所述样本噪声映射为具有所述第一样本风格类型的第一样本风格特征；
获取具有所述第一样本风格信息的样本风格图像，提取所述样本风格图像对应的真实风格特征；
基于判别器对所述第一样本风格特征和真实风格特征进行判别，得到判别结果，根据所述判别结果确定映射模型损失值；
根据所述映射模型损失值训练所述样本风格映射模型，得到所述风格映射模型。
其中，还包括：
获取第二样本图像和第二样本风格信息；
根据样本关键部位调整信息生成所述第二样本图像对应的样本调整对象特征，提取所述第二样本风格信息的第二样本风格特征；
融合所述样本调整对象特征和所述第二样本风格特征，得到样本目标特征，在样本图像生成模型中，基于所述样本目标特征输出样本目标图像；
提取所述样本目标图像的目标对象特征和目标风格特征；
根据所述第二样本图像、所述第二样本风格信息、所述目标对象特征以及所述目标风格特征生成图像生成模型损失值，根据所述图像生成模型损失值训练所述样本图像生成模型，得到所述图像生成模型。
本申请实施例一方面提供了一种图像生成的装置，包括：
第一获取模块，用于获取原始图像中的目标对象的关键数据；
其中，所述目标对象的关键数据包括关键点数据以及关键部位数据；
第一生成模块，用于基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；
第二生成模块，用于获取图像风格信息，生成所述图像风格信息对应的风格特征；
融合模块：用于融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。
其中，所述第一生成模块，包括：
遮掩单元，用于根据所述关键部位调整信息对所述关键部位数据进行遮掩，得到关键部位遮掩数据；所述关键部位遮掩数据中的遮掩区域至少包括所述关键部位调整信息中的待调整部位；
调整单元，用于根据所述关键部位调整信息对所述关键部位数据中的待调整部位进行部位调整，得到关键部位调整数据；
生成单元：用于将所述关键部位数据、所述关键部位遮掩数据以及所述关键部位调整数据确定为调整后的关键数据，根据调整后的关键数据生成调整对象特征。
其中，所述生成单元，包括：
第一生成子单元：用于生成所述关键点数据对应的第一辅助图像；
第二生成子单元：用于生成所述关键部位遮掩数据对应的第二辅助图像；
第三生成子单元：用于生成所述关键部位调整数据对应的第三辅助图像；
编码子单元：用于基于合成模型对所述第一辅助图像、第二辅助图像以及第三辅助图像进行编码融合；
解码子单元：用于在所述合成模型中对编码融合后的数据进行解码，得到对象调整图像，提取所述对象调整图像对应的调整对象特征。
其中，所述第二生成模块，包括：
输入单元：所述图像风格信息为风格图像，用于获取所述风格图像，将所述风格图像输入风格提取模型；
提取单元：用于基于所述风格提取模型从所述风格图像中提取所述风格特征。
其中，还包括：
第二获取模块，用于获取第一样本图像，对所述第一样本图像的样本关键数据进行调整，得到调整后的样本关键数据，所述调整后的样本关键数据包括关键点样本数据、关键部位遮掩样本数据以及关键部位调整样本数据；
所述第一生成模块，还用于生成所述关键点样本数据对应的第一样本辅助图像，生成所述关键部位遮掩样本数据对应的第二辅助样本图像，生成所述关键部位调整样本数据对应的第三辅助样本图像；基于样本合成模型将所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像进行编码融合，对编码融合后的样本数据进行解码，得到样本对象调整图像；
第三生成模块，用于根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，根据合成模型损失值训练所述样本合成模型，得到所述合成模型。
其中，所述合成模型损失值包括：第一损失值和第二损失值；
其中，所述第三生成模块，包括：
第一确定单元，用于根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像，确定所述第一损失值；
第二确定单元，用于根据所述第一样本图像和所述样本对象调整图像，确定所述第二损失值；
生成单元，用于根据所述第一损失值和第二损失值，生成所述合成模型损失值。
其中，还包括：
所述第二获取模块，还用于获取第一样本风格信息和样本噪声，在样本风格映射模型中将所述样本噪声映射为具有所述第一样本风格类型的第一样本风格特征；
提取模块，用于获取具有所述第一样本风格信息的样本风格图像，提取所述样本风格图像对应的真实风格特征；
判别模块：用于基于判别器对所述第一样本风格特征和真实风格特征进行判别，得到判别结果，根据所述判别结果确定映射模型损失值；
确定模块：用于根据所述映射模型损失值训练所述样本风格映射模型，得到所述风格映射模型。
其中，还包括：
所述第二获取模块，还用于获取第二样本图像和第二样本风格信息；
所述提取模块，还用于根据样本关键部位调整信息生成所述第二样本图像对应的样本调整对象特征，提取所述第二样本风格类型的第二样本风格特征；
输出模块，用于融合所述样本调整对象特征和所述第二样本风格特征，得到样本目标特征，在样本图像生成模型中，基于所述样本目标特征输出样本目标图像；
所述提取模块，还用于提取所述样本目标图像的目标对象特征和目标风格特征；
第四生成模块，用于根据所述第二样本图像、所述第二样本风格信息、所述目标对象特征以及所述目标风格特征生成图像生成模型损失值，根据所述图像生成模型损失值训练所述样本图像生成模型，得到所述图像生成模型。
本申请实施例一方面提供了一种计算机设备，包括：处理器和存储器；
所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本发明实施例中的方法。
本申请实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中的方法。
本申请实施例通过获取原始图像中目标对象的关键数据；基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；获取图像风格类型，生成所述图像风格类型对应的风格特征；融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。上述可知，通过提供关键部位调整信息，可以自动调整图像中的关键数据，即可以有目的得控制图像中的某一部位的变化，且同时通过提供图像风格信息，可以使图像自动化处理为部位被调整后且具有该图像风格类型的新图像，达到了自动化处理图像，避免了人工参与，因此可以提高图像处理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统架构图；
图2是本申请实施例提供的一种图像生成场景示意图；
图3是本申请实施例提供的一种图像生成方法的流程示意图；
图4是本申请实施例提供的一种生成调整对象特征的流程示意图；
图5是本申请实施例提供的另一种图像生成场景示意图；
图6是本申请实施例提供的一种训练合成模型的流程示意图；
图7是本申请实施例提供的一种计算合成模型损失值的流程示意图；
图8是本申请实施例提供的一种训练图像生成模型的流程示意图；
图9是本申请实施例提供的一种训练风格映射模型的流程示意图；
图10是本申请实施例提供的一种训练风格映射模型的流程示意图；
图11是本申请实施例提供的一种图像生成方法的装置示意图；
图12是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案属于人工智能领域下属的计算机视觉技术(ComputerVision,CV)和机器学习(Machine Learning,ML)。
计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。在本申请中，即是将视觉效果差的模糊图像去模糊化，得到视觉效果较好的清晰图像。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。在本申请中，具体的技术手段涉及机器学习中的人工神经网络、生成对抗网络等技术。
请参见图1，是本申请实施例提供的一种系统架构图。服务器50与用户终端集群进行通信，用户终端集群可以包括：用户终端40a、用户终端40b、…、用户终端40c。以用户终端40a为例，用户终端40a可以获取到原始图像和风格类型图像，原始图像为用户期望进行变形处理的图像，风格类型图像所具有的风格类型为用户期望原始图像变形处理后的图像所具有的风格类型，风格类型可以包括漫画风格、素描风格、油画风格、国画风格、彩铅风格等，因此，当想将风格类型图像里的风格类型融入到原始图像中得到具有该风格类型的新的图像时，可以将该原始图像和风格类型均发送至服务器50，用户终端40a还可以发送关键部位调整信息至服务器50，其中，关键部位调整信息可以包括用户期望修改的部位调整需求(例如，眼睛放大、眉毛上挑、嘴角上扬等)。例如，在用户终端40a中，用户可以点击终端屏幕中的调整按钮来选择自己所期望调整的部位和调整方式，进而可以生成关键部位调整信息，关键部位调整信息包含所期望调整的部位和调整方式。服务器50基于提前训练好的合成模型，在合成模型中基于上述关键部位调整信息调整原始图像，以此得到调整后的原始图像对应的调整对象特征(如调整后的人脸特征)，服务器再基于提前训练好的风格提取模型得到风格类型图像对应的风格特征，后续服务器50将调整对象特征与风格特征进行融合，得到目标特征(如带有风格类型的人脸特征)，将所述目标特征发送至提前训练好的图像生成模型中，通过图像生成模型可以输出一张带有上述风格特征且包含用户所期望的部位调整效果的新图像，服务器50可以将此新图像发送至用户终端，同时还可以将原始图像和生成的新图像关联存储在数据库中。用户终端接收到服务器发送的新图像后，可以在屏幕上显示该新图像。当然，若用户终端的本地存储了训练好的合成模型、风格提取模型以及图像生成模型，也可以在用户终端本地将原始图像转换成带有风格特征且包含用户所期望的部位调整效果的新图像，其中，由于训练合成模型和风格提取模型以及风格映射模型涉及到大量的离线计算，因此用户终端本地的合成模型、风格提取模型以及图像生成模型可以是由服务器50训练完成后发送至用户终端的。下述以一张原始图像为例(可以是在服务器50中识别，也可以是在用户终端中识别)，进行说明。
其中，用户终端可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID，mobile internet device)、可穿戴设备(例如智能手表、智能手环等)。
请参见图2，是本申请实施例提供的一种图像生成场景示意图。以在上述图1所对应实施例中的服务器50中识别为例，服务器50获取待处理的原始图像10a，将原始图像10a输入合成模型20a中，在合成模型20a中，确定出原始图像10a中的关键点，得到包含关键点的图像10b，根据关键点确定原始图像10a中的五官区域，基于五官区域即可生成图像10c，图像10c中的五官区域包括眉毛区域10d和眉毛区域10e、眼睛区域10f和眼睛区域10g、鼻子区域10h以及嘴巴区域10i；进一步的，可以基于图像10c中的五官区域进行遮掩(遮掩区域包括至少一个五官区域)，得到图像10j。在图像10c中，嘴巴区域10i为待调整的部位，即嘴巴为待调整部位，如可以调整嘴巴为张开状态、微笑状态、唇角向下状态等，当然也可以调整五官中其他部位的形态特征，如眼睛放大、眉毛挑起以及眉毛内皱等。基于关键部位调整信息对待调整部位进行调整后得到图像10k，其中，嘴巴区域10z是由嘴巴区域10i经调整得到，调整方式为张开嘴巴。
下面以五官区域10i为例，说明如何在合成模型20a中调整五官区域10i的特征，其余的五官区域在原始图像输入合成模型20a后都可以采用相同的方式调整原始图像的五官特征。将原始图像10a输入到合成模型20a中，在合成模型20a中根据关键点定位算法确定原始图像10a的人脸关键点，根据人脸关键点确定嘴巴区域10i所在的位置，按照关键部位调整信息将嘴巴区域10i调整为嘴巴张开大笑的表情特征，得到图像区域10z。进一步将上述图像10b、图像10j以及图像10k进行编码融合，得到一张新人脸图像10m，新人脸图像10m的嘴巴特征与嘴巴区域10z所具有的嘴巴特征相同，进而可以提取出新人脸图像10m中的调整对象特征，即图像10m的人脸特征。
服务器50获取待处理的图像风格信息10p，所述图像风格信息可以包括图像，也可以包括文字信息或程序段信息，在图2所对应实施例中，图像风格信息10p为图像。将图像风格信息10p输入到风格提取模型20b中，在风格提取模型20b中提取出图像风格信息10p的风格类型信息，生成对应的风格特征，将上述的调整对象特征和风格特征进行编码融合，生成一张带有该风格特征且包含用户所期望的部位调整效果的新图像。
进一步的，请参见图3，是本申请实施例提供的一种图像生成方法的流程示意图；如图3所示，所述图像生成方法可以包括：
步骤S101，获取原始图像中的目标对象的关键数据。
具体的，获取待处理的图像(如上述图2所对应实施例中的原始图像10a)，称为原始图像，将原始图像输入到合成模型中，运用关键点定位算法确定原始图像中的关键点，得到关键点集合，关键点集合包含了关键点的位置信息，根据关键点位置信息确定关键部位，得到关键部位数据。关键部位数据可以包括眉毛部位数据、眼睛部位数据、鼻子部位数据以及嘴巴部位数据。
其中，关键点定位算法可以包括：传统的关键点定位技术，如ASM(Active ShapeModel，主观形状模型)、基于深度卷积网络的关键点定位技术，如基于级联回归方法、基于多任务辅助定位方法等。
ASM算法，是一种基于统计模型的图像搜索方法，建立在点分布模型的基础上，通过训练样本图像获取训练样本的特征点分布的统计信息，并且获取特征点允许存在的变化方向，从而实现在目标图像上对应特征点的位置。在ASM训练中，基于点分布模型，对训练集中任意一幅人脸图像，标记68个关键特征点，并记录每个关键特征点的位置坐标信息，将人脸图像表示为形状向量，进行归一化处理，利用PCA(Principal Components Analysis，主成分分析)方法对形状向量进行分析和降维，得到统计形状模型，构建灰度模型得到每个特征点的灰度特征，最后采用ASM搜索，将初始模型覆盖到目标图像上，通过计算特征点灰度特征之间的最小马氏距离为特征点寻找新的位置，并利用统计形状模型对新位置进行约束，不断优化参数，最终模型匹配到新的目标图像上，实现特征点定位。
基于深度卷积网络的关键点定位技术，对于测试图片，随机给一个点的分布，然后根据当前关键点附近的纹理特征和结构特征进行一步步的优化，为了保证关键单的整体分布合理，对所有的关键点加上一个全局约束。基于级联回归方法可通过训练级联的回归树，对输入图片，能够直接回归出关键点；基于多任务辅助定位方法通过人脸的其他先验信息，辅助特征点定位。
步骤S102，基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征。
具体的，在合成模型中，调整原始图像中五官特征，五官特征包括眉毛、眼睛、鼻子、嘴巴以及面颊构成，因此调整是指调整眉毛、眼睛、鼻子、嘴巴以及面颊的形态特征，例如眼睛放大、眉毛上挑、嘴角下拉、鼻孔长大、面颊上抬等。可以知道，调整五官后，所得到的图像与原始图像相比具有较高的五官特征区分性。根据调整后的五官部位数据，将五官区域进行遮掩(遮掩区域包括至少一个调整后的五官部位)，得到遮掩后的图像；根据调整后的五官部位数据得到五官部位对应的图像；根据上述关键点数据，得到包括关键点集合的图像；将遮掩后的图像、五官部位对应的图像以及关键点集合的图像进行编码融合，得到特征数据，解码特征数据生成一张包含部位调整效果的新人脸图像，从新人脸图像中提取出调整对象特征。
步骤S103，获取图像风格信息，生成所述图像风格类型对应的风格特征。
具体的，获取图像风格信息(如漫画图像)，将图像风格信息输入到风格提取模型中，在风格提取模型中提取出风格类型信息(如漫画属性、油画属性等)，由风格类型信息生成风格特征。
步骤S104，融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。
进一步的，请参见图4，是本申请实施例提供的一种生成调整对象特征的流程示意图。如图4所示，生成调整对象特征的具体过程包括如下步骤S201-S203，步骤S201-步骤S203位图3所对应实施例中步骤S102的一个具体实施例：
步骤S201，根据关键调整信息对关键部位数据进行遮掩，得到关键部位遮掩数据；所述关键部位遮掩数据中的遮掩区域至少包括所述关键部位调整信息中的待调整部位。
具体的，将原始图像输入到合成模型中，在原始图像中，确定五官部位的区域以及人脸轮廓，将确定出来的五官部位区域提取出来；获取关键部位的调整信息(包括对眉毛、眼睛、鼻子、嘴巴、前额以及人脸轮廓的调整方案)，根据关键调整信息对五官部位区域进行遮掩。其中，五官部位区域是脸部中眼睛、眉毛、鼻子和嘴巴所在的区域；遮掩包括遮掩住五官区域中的至少一个部位区域，以此得到遮掩数据。
步骤S202，根据所述关键部位调整信息对所述关键部位数据中的待调整部位进行调整，得到关键部位调整数据。
在合成模型中，获取关键部位的调整信息，调整五官中的待调整部位，其中，调整包括眼睛放大、眉毛内皱、唇角上扬、鼻孔张大等，以此得到关键部位调整数据。
步骤S203，将所述关键部位数据、所述关键部位遮掩数据以及所述关键部位调整数据确定为调整后的关键数据，根据调整后的关键数据生成调整对象特征。
请参见图5，是本申请实施例提供的另一种图像生成场景示意图。如图5所示，以在上述图1所对应实施例中的服务器50中识别为例，服务器50获取一张原始图像30a，将原始图像30a输入到合成模型中，在合成模型中，对原始图像30a中图像的属性信息(包括关键点、关键部位)进行分类，运用关键点定位算法得到原始图像30a中的关键点集合，并得到关键点集合对应的关键点图像30c；基于关键点确定关键部位，将关键部位根据调整信息调整相应的关键部位，得到关键部位对应的关键部位图像30e，具体的调整过程请参见图4所对应的实施例中的步骤S202，在此不再进行赘述；将关键部位进行遮掩得到遮掩后的遮掩图像30d，具体的遮掩过程请参见图4所对应实施例中的步骤S201，在此不再进行赘述，；后续将上述关键点图像30c、遮掩图像30d以及关键部位图像30e输入到编码器EN中，编码器EN对关键点图像30c、遮掩图像30d以及关键部位图像30e进行编码融合，生成人脸特征数据；将该特征数据输入到解码器DN中，解码器DN对该人脸特征数据进行解码，生成一张新人脸图像，将该新人脸图像输入到固定网络Ev2中固定网络Ev2提取出新人脸图像的人脸特征；后续，获取图像风格信息30b，所述图像风格信息30b可以包括风格图像、文字信息以及程序段信息，将图像风格信息30b输入到风格提取模型中，在风格提取模型中，固定网络EV1提取出图像风格信息里的风格类型信息，基于风格类型信息生成风格特征；将该风格特征与上述人脸特征进行归一化处理后，融合归一化后的风格特征与人脸特征，输入到图像生成模型中，输出一张带有风格类型且包含用户期望的调整效果的目标图像30f。
可选的，获取到图像风格信息，这里的图像风格信息指文字信息或程序段信息，将该图像风格信息输入到风格映射模型中，基于该图像风格信息在风格映射模型中也可以生成风格特征。具体的，获取图像风格信息30b，将图像风格信息30b输入到风格映射模型EV4中，风格映射模型EV4再获取一段高斯噪声，将该高斯噪声映射为具有该图像风格信息的风格特征。
需要说明的是，图3或图4所对应实施例中的合成模型包括图5所对应实施例中的编码器EN、解码器DN以及固定网络EV2；风格提取模型包括图5所对应实施例中的固定网络EV1；风格映射模型包括图5所对应实施例中的固定网络EV1、编码器ECA、解码器DCA。其中，所述编码器EN、解码器DN还用于训练合成模型，LN为训练合成模型时的输出的损失值，具体的训练合成模型的过程请参见下述图6所对应实施例中的步骤S301-步骤S304；所述编码器ECA、解码器DCA用于训练风格映射模型，LCA为训练风格映射模型时输出的损失值，具体的训练风格映射模型的过程请参见下述图8所对应实施例中的步骤S401-步骤S404；LC与LS是训练图像生成模型的过程中输出的损失值，具体的训练图像生成模型的过程请参见下述图9所对应实施例中的步骤S501-步骤S504。
需要说明的是，图5所对应实施例中的LLA是在训练关键点定位算法中输出的损失值，训练过程为：通过编码器ELA编码关键点数据，通过解码器DLA解码关键点数据，基于解码器DLA输出的值确定损失函数LLA。
进一步地，请参见图6，是本申请实施例提供的一种训练合成模型的流程示意图，该训练合成模型的具体过程包括：
下述以一张第一样本图像为例进行说明。
步骤S301，获取第一样本图像，对所述第一样本图像的样本关键数据进行调整，得到调整后的样本关键数据，所述调整后的样本关键数据包括关键点样本数据、关键部位遮掩样本数据、关键部位调整样本数据。
具体的，获取一张第一样本图像，输入到样本合成模型中。所述样本合成模型中包括样本生成模型和样本判别模型，样本生成模型用于生成样本数据，此处的样本数据就是基于关键点样本数据、关键部位遮掩样本数据、关键部位调整样本数据生成的样本调整对象图像(新人脸图像)。样本生成模型对应于图5所对应实施例中的EN、DN以及固定网络EV2，初始化一个样本生成模型，基于样本生成模型调整关键数据，关键点样本数据、关键部位遮掩样本数据、关键部位调整样本数据，具体的调整过程可以参见图4所对应实施例中的步骤S201-S202，在此不再进行赘述。
步骤S302，生成所述关键点样本数据对应的第一样本辅助图像，生成所述关键部位遮掩样本数据对应的第二辅助样本图像，生成所述关键部位调整样本数据对应的第三辅助样本图像。
具体的，为了让生成的新人脸图像与真实图像匹配概率更高，需要将三种数据生成三种对应的辅助图像，后续再对三种辅助图像进行操作。
步骤S303，基于样本合成模型将所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像进行编码融合，对编码融合后的样本数据进行解码，得到样本对象调整图像。
步骤S304，根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，根据合成模型损失值训练所述样本合成模型，得到所述合成模型。
具体的，合成模型损失值包括生成模型损失值和判别模型损失值；在样本判别模型中基于第一样本图像、第一辅助样本图像、第二辅助样本图像、第三辅助样本图像和样本对象调整图像生成模型损失值和判别损失值。将生成模型损失值和判别损失值组合为合成模型损失值，根据模型损失值调整样本生成模型、样本判别模型中参数的权值。参数权值调整后采用上述方法再次生成新人脸图像，再次计算合成模型损失值，不断循环，直至当合成模型损失值小于目标阈值时，或者当合成模型损失值收敛时，或者当循环的次数达到目标次数时，此时样本生成模型、样本判别模型训练完毕，后续可以将样本合成模型确定为合成模型。上述可知，训练阶段是存在样本判别模型的，但在应用阶段，不需要样本判别模型。
可以理解为，样本生成模型要生成尽量真实的图像，样本判别模型要尽量识别出由样本生成模型生成的图像时模型的仿真图像，而不是真实采集的真实图像，这是一个对抗博弈的过程，因此训练过程就是在样本生成模型对应的真实性和样本判别模型对应的准确性之间寻找一个平衡。训练合成模型的损失函数可以包括为公式(1)：
其中，x表示原始图像关键点数据对应的关键点图像，l表示原始图像关键部位遮掩数据对应的遮掩图像，k表示关键部位调整数据对应的关键部位图像，y表示真实的图像，EN表示编码器，用于将关键点图像、遮掩图像和关键部位图像进行编码融合得到特征数据，DN表示解码器，用于将特征数据进行解码生成一张新的人脸图像，EN、DN用于生成一张新的具有调整特征的人脸图像。D表示样本判别模型，用于识别对象(此处的对象包括新的人脸图像)匹配真实图像的概率，此处的真实图像是指图像采集器采集的关于人脸的图像，与真实图像对应的是模拟图像，模拟图像是由模型生成的、虚构的图像。
训练合成模型的损失函数可以包括公式(2)：
训练合成模型的损失函数为公式(3)：
其中，公式(3)中的指公式(1)，公式(3)中的指公式(2)。
其中，最小化DN、EN表示当新的人脸图像输入的时候，希望识别出来的新人脸图像的图像识别标签是0(图像识别标签为0表示对应图像属于真实图像的概率为0，这是因为新人脸图像时由模型生成的图像而不是真实采集的图像)，也就是D(x,DN(x,l,k))越小越好，所以把第二项设置为1-D(x,DN(x,l,k))，这样合起来就是越大越好。
其中，最大化D表示对样本判别模型来说，当新人脸图像输入的时候，希望识别出来的特征识别标签为1(特征识别标签为1表示新人脸图像与真实图像的匹配概率为1，样本生成模型希望生成的新人脸图像足够逼真、真实)，所以D(x,y)越大越好。
进一步地，请参见图7，是本申请实施例提供的一种计算合成模型损失值的流程示意图。样本图像100a输入样本生成模型100b中，得到一张新的样本人脸图像100c。将新人脸图像100c输入样本判别模型100d中，计算新样本人脸图像100c与真实图像的匹配率。误差函数计算器100e根据新样本人脸图像100c、样本图像100a和公式(1)、公式(2)以及公式(3)计算生成损失值，根据损失值调整样本生成模型100b中参数的权值，根据损失值调整样本判别模型100c中参数的权值。参数的权值调整后采用上述方法再次生成新样本人脸图像，再计算模型损失值，不断循环，直至当模型损失值小于目标阈值，或者模型损失值收敛，或者循环的次数达到目标次数时，此时样本生成模型和样本判别模型就训练完毕，后续就可以将样本合成模型确定为合成模型。
请参见图8，是本申请实施例提供的一种训练图像生成模型的流程示意图。
步骤S401，获取第二样本图像和第二样本风格信息；根据样本关键部位调整信息生成所述第二样本图像对应的样本调整对象特征，提取所述样本风格图像的第二样本风格特征；
具体的，初始化一个图像生成模型，基于上述合成模型生成第二样本图像的样本调整对象特征，具体生成过程可以参见上述图4所对应实施例中的步骤S201-步骤S203；提取出第二样本风格信息对应的风格类型，由此生成第二样本风格特征。
步骤S402，融合所述样本调整对象特征和所述第二样本风格特征，得到样本目标特征，在样本图像生成模型中，基于所述样本目标特征输出样本目标图像；具体的，将样本调整对象特征和第二样本风格特征进行融合，得到样本目标特征，对样本目标特征进行编码得到样本目标特征数据，再解码该样本目标特征数据生成样本目标图像。
步骤S403，提取所述样本目标图像的样本目标对象特征和样本目标风格特征。
为了让目标图像里的风格更接近于更真实的风格类型，通过提取出目标图像的样本目标对象特征和样本目标风格特征，将样本目标对象特征与真实图像的调整对象特征进行匹配，将样本目标风格特征与风格类型图像的风格特征进行匹配。步骤S404，根据所述第二样本图像、所述第二样本风格信息、所述目标对象特征以及所述目标风格特征生成提取模型损失值，根据所述提取模型损失值训练所述样本图像生成模型，得到所述图像生成模型。
具体的，根据第二样本图像、第二样本风格信息、所述目标对象特征以及所述目标风格特征生成图像生成模型损失值，具体训练图像生成模型的方法请参见上述图6所对应实施例中的步骤S304，此处不再进行赘述。
可以理解为，图像生成模型可以对应于第二样本生成模型和第二样本判别模型，第二样本生成模型用于生成样本数据，此处就是生成样本目标图像，第二样本判别模型用于判别样本数据匹配真实图像特征和风格特征的概率。
图像生成模型的损失函数可以表示为公式(4)：
其中，表示公式(5)：
其中，表示公式(6)：
其中，IN(c，s)可以表示公式(7)：
其中，公式(7)包括公式(8)和公式(9)：
其中，c表示真实人脸图像，s表示图像风格信息，μ表示求均值，σ表示求标准差，H表示特征层的长，W表示特征层的宽，f表示特征。
请参见图9，是本申请实施例提供的一种训练风格映射模型的流程示意图。
步骤S501，获取第一样本风格信息和样本噪声，在样本风格映射模型中将所述样本噪声映射为具有所述第一样本风格类型的第一样本风格特征；
具体的，获取第一样本风格信息和样本噪声，将第一样本风格信息和样本噪声输入到样本风格映射模型中，将样本噪声映射成具有该第一样本风格信息的样本风格特征。
步骤S502，获取具有所述第一样本风格信息的样本风格图像，提取所述样本风格图像对应的真实风格特征。
步骤S503，基于判别器对所述样本风格特征和真实风格特征进行判别，得到判别结果，根据所述判别结果确定映射模型损失值。
步骤S504，根据所述映射模型损失值训练所述样本风格映射模型，得到所述风格映射模型。
具体的，根据上述图4所对应实施例中的步骤S304的训练方法对样本风格映射模型进行训练，得到风格映射模型。请一并参见图10，图10是本申请实施例提供的一种训练映射模型流程图，风格映射模型可以包括图10所对应实施例中的编码器Ev4，风格映射模型也可以包括上述图5所对应实施例中的风格映射模型EV4，可以理解为，为了让映射的风格特征更接近于真实的风格类型，通过图10所对应实施例中的判别器判别编码器EV4编码得到的风格特征与真实风格特征(可以通过编码器ECA输出得到)的匹配率。风格映射模型的损失函数表示为公式(10)：
其中，y是图像风格信息，EV1用于提取图像风格信息的风格类型信息，ECA是编码器，DCA是解码器。
需要说明的是，图10所对应实施例中的判别器只用于训练风格映射模型时使用。
进一步地，请参见图11，是本申请实施例提供的一种图像生成方法的图像生成装置示意图。如图11所示，图像生成的装置1可以包括：第一获取模块11、第一生成模块12、第二生成模块15以及融合模块19。
第一获取模块11，用于获取原始图像中的目标对象的关键数据；其中，所述目标对象的关键数据包括关键点数据以及关键部位数据；
第一生成模块12，用于基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；
第二生成模块15，用于获取图像风格信息，生成所述图像风格信息对应的风格特征；
融合模块19，用于融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。
其中，第一获取模块11、第一生成模块12、第二生成模块15以及融合模块19的具体功能实现方式可以参见上述图3所对应实施例中的步骤S101-步骤S104，在此不再进行赘述。
请参见图11，第一生成模块12可以包括：遮掩单元121、调整单元122以及生成单元123。
遮掩单元121，用于根据所述关键部位调整信息对所述关键部位数据进行遮掩，得到关键部位遮掩数据；所述关键部位遮掩数据中的遮掩区域至少包括所述关键部位调整信息中的待调整部位；
调整单元122，用于根据所述关键部位调整信息对所述关键部位数据中的待调整部位进行部位调整，得到关键部位调整数据；
生成单元123，用于将所述关键部位数据、所述关键部位遮掩数据以及所述关键部位调整数据确定为调整后的关键数据，根据调整后的关键数据生成调整对象特征。
其中，遮掩单元121、调整单元122以及生成单元123的具体功能实现方式可以参见上述图4所对应实施例中的步骤S201-步骤S203，在此不再进行赘述。
请参见图11，生成单元123可以包括：第一生成子单元1231、第二生成子单元1232、第三生成子单元1233、编码子单元1234以及解码子单元1235。
第一生成子单元1231，用于生成所述关键点数据对应的第一辅助图像；
第二生成子单元1232，用于生成所述关键部位遮掩数据对应的第二辅助图像；
第三生成子单元1233，用于生成所述关键部位调整数据对应的第三辅助图像；
编码子单元1234，用于基于合成模型对所述第一辅助图像、第二辅助图像以及第三辅助图像进行编码融合；
解码子单元1235，用于在所述合成模型中对编码融合后的数据进行解码，得到对象调整图像，提取所述对象调整图像对应的调整对象特征。
其中，第一生成子单元1231、第二生成子单元1232、第三生成子单元1233、编码子单元1234以及解码子单元1235的具体功能实现方式可以参见上述图4所对应实施例中的步骤S203，在此不再进行赘述。
请参见图11，第二生成模块15可以包括：输入单元151与提取单元152。
输入单元151，所述图像风格信息为风格图像，用于获取所述风格图像，将所述风格图像输入风格提取模型；
提取单元152，用于基于所述风格提取模型从所述风格图像中提取所述风格特征。
其中，输入单元151与提取单元152的具体功能实现方式可以参见上述图3所对应实施例中的步骤S103，在此不在进行赘述。
融合模块19，用于融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。
请参见图11，图像生成装置1可以包括：第一获取模块11、第一生成模块12、第二生成模块15以及融合模块19，还可以包括：第二获取模块13与第三生成模块14。
第二获取模块13，用于获取第一样本图像，对所述第一样本图像的样本关键数据进行调整，得到调整后的样本关键数据，所述调整后的样本关键数据包括关键点样本数据、关键部位遮掩样本数据以及关键部位调整样本数据；
所述第一生成模块12，还用于生成所述关键点样本数据对应的第一样本辅助图像，生成所述关键部位遮掩样本数据对应的第二辅助样本图像，生成所述关键部位调整样本数据对应的第三辅助样本图像；基于样本合成模型将所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像进行编码融合，对编码融合后的样本数据进行解码，得到样本对象调整图像；
第三生成模块14，用于根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，根据合成模型损失值训练所述样本合成模型，得到所述合成模型。
其中，第二获取模块13、第一生成模块12以及第三生成模块14的具体功能实现方式可以参见上述图6所对应实施例中的步骤S301-步骤S304，在此不再进行赘述。
请参见图11，第三生成模块14可以包括：第一确定单元141、第二确定单元142以及生成单元143。
第一确定单元141，用于根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像，确定所述第一损失值；
第二确定单元142，用于根据所述第一样本图像和所述样本对象调整图像，确定所述第二损失值；
生成单元143，用于根据所述第一损失值和第二损失值，生成所述合成模型损失值。
其中，第一确定单元141、第二确定单元142以及生成单元143具体的功能实现方式可以参见上述图6所对应实施中的步骤S304，在此不再进行赘述。
请参见图11，图像生成装置1可以包括：第一获取模块11、第一生成模块12、第二生成模块15、融合模块19、第二获取模块13以及第三生成模块14，还可以包括：提取模块16、判别模块17以及确定模块18。
所述第二获取模块，还用于获取第一样本风格信息和样本噪声，在样本风格映射模型中将所述样本噪声映射为具有所述第一样本风格信息的第一样本风格特征；
提取模块16，用于获取具有所述第一样本风格信息的样本风格图像，提取所述样本风格图像对应的真实风格特征；
判别模块17，用于基于判别器对所述第一样本风格特征和真实风格特征进行判别，得到判别结果，根据所述判别结果确定映射模型损失值；
确定模块18，用于根据所述映射模型损失值训练所述样本风格映射模型，得到所述风格映射模型。
其中，第二获取模块13、提取模块16、判别模块17以及确定模块18具体的功能实现方式可以参见上述图8所对应实施例中的步骤S501-步骤S504，在此不再进行赘述。
请参见图11，图像生成装置1可以包括：第一获取模块11、第一生成模块12、第二生成模块15、融合模块19、第二获取模块13、第三生成模块14、提取模块16、判别模块17以及确定模块18,还可以包括：输出模块20与第四生成模块21。
所述第二获取模块13，还用于获取第二样本图像和第二样本风格信息；
所述提取模块16，还用于根据样本关键部位调整信息生成所述第二样本图像对应的样本调整对象特征，提取所述第二样本风格信息的第二样本风格特征；
输出模块20，用于融合所述样本调整对象特征和所述第二样本风格特征，得到样本目标特征，在样本图像生成模型中，基于所述样本目标特征输出样本目标图像；
所述提取模块16，还用于提取所述样本目标图像的目标对象特征和目标风格特征；
第四生成模块21，用于根据所述第二样本图像、所述第二样本风格信息、所述目标对象特征以及所述目标风格特征生成图像生成模型损失值，根据所述图像生成模型损失值训练所述样本图像生成模型，得到所述图像生成模型。
其中，第二获取模块13、提取模块16、输出模块20以及第四生成模块21的具体功能实现方式可以参见上述图9所对应实施例中的步骤S401-步骤S404，在此不再进行赘述。
本申请实施例通过获取原始图像中的目标对象的关键数据；基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；获取图像风格类型，生成所述图像风格信息对应的风格特征；融合所述调整对象特征和所述风格特征，得到目标特征，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。上述可知，通过提供关键部位调整信息，可以自动调整图像中的关键数据，即可以有目的得控制图像中的某一部位的变化，且同时通过提供图像风格信息，可以使图像自动化处理为部位被调整后且具有该图像风格信息的新图像，达到了自动化处理图像，避免了人工参与，因此可以提高图像处理的效率。
进一步地，请参见图12，是本申请实施例提供的一种计算机设备的结构示意图。如图12所示，上述图11所对应实施例中的装置1可以应用于所述计算机设备1000，所述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，所述计算机设备1000还包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图12所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取原始图像中的目标对象的关键数据；
基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；
获取图像风格信息，生成所述图像风格信息对应的风格特征；
融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。
在一个实施例中，所述目标对象的关键数据包括关键点数据以及关键部位数据；
所述处理器1001在执行基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征时，具体执行以下步骤：
根据所述关键部位调整信息对所述关键部位数据进行遮掩，得到关键部位遮掩数据；所述关键部位遮掩数据中的遮掩区域至少包括所述关键部位调整信息中的待调整部位；
根据所述关键部位调整信息对所述关键部位数据中的待调整部位进行部位调整，得到关键部位调整数据；
将所述关键部位数据、所述关键部位遮掩数据以及所述关键部位调整数据确定为调整后的关键数据，根据调整后的关键数据生成调整对象特征。
在一个实施例中，所述处理器1001在执行所述根据调整后的关键数据生成调整对象特征时，具体执行以下步骤：
生成所述关键点数据对应的第一辅助图像；
生成所述关键部位遮掩数据对应的第二辅助图像；
生成所述关键部位调整数据对应的第三辅助图像；
基于合成模型对所述第一辅助图像、第二辅助图像以及第三辅助图像进行编码融合；
在所述合成模型中对编码融合后的数据进行解码，得到对象调整图像，提取所述对象调整图像对应的调整对象特征。
在一个实施例中，所述处理器1001执行所述获取具有风格类型的风格图像，生成所述风格图像对应的风格特征时，具体执行以下步骤：
获取图像风格信息，将所述图像风格信息输入风格提取模型；
基于所述风格提取模型从所述图像风格信息中提取所述图像风格信息对应的所述风格特征。
在一个实施例中，所述处理器1001还执行以下步骤：
获取第一样本图像，对所述第一样本图像的样本关键数据进行调整，得到调整后的样本关键数据，所述调整后的样本关键数据包括关键点样本数据、关键部位遮掩样本数据以及关键部位调整样本数据；
生成所述关键点样本数据对应的第一样本辅助图像，生成所述关键部位遮掩样本数据对应的第二辅助样本图像，生成所述关键部位调整样本数据对应的第三辅助样本图像；
基于样本合成模型将所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像进行编码融合，对编码融合后的样本数据进行解码，得到样本对象调整图像；
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，根据合成模型损失值训练所述样本合成模型，得到所述合成模型。
在一个实施例中，所述合成模型损失值包括：第一损失值和第二损失值；
所述处理器1001在执行根据所述样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值时，具体执行以下步骤：
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，包括：
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像，确定所述第一损失值；
根据所述第一样本图像和所述样本对象调整图像，确定所述第二损失值；
根据所述第一损失值和第二损失值，生成所述合成模型损失值。
上述可知，通过提供关键部位调整信息，可以自动调整图像中的关键数据，即可以有目的得控制图像中的某一部位的变化，且同时通过提供图像风格信息，可以使图像自动化处理为部位被调整后且具有该图像风格信息的新图像，达到了自动化处理图像，避免了人工参与，因此可以提高图像处理的效率。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3到图9所对应实施例中对所述数据处理方法的描述，也可执行前文图10所对应实施例中对所述数据处理的装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的数据处理的计算机设备1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3到图9所对应实施例中对所述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (11)
1.一种图像生成方法，其特征在于，包括：
获取原始图像中的目标对象的关键数据；
基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征；
获取图像风格信息，生成所述图像风格信息对应的风格特征；
融合所述调整对象特征和所述风格特征，得到目标特征，在图像生成模型中，基于所述目标特征输出与所述关键部位调整信息和所述图像风格信息相关联的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述目标对象的关键数据包括关键点数据以及关键部位数据；
所述基于关键部位调整信息调整所述关键数据，根据调整后的关键数据生成调整对象特征，包括：
根据所述关键部位调整信息对所述关键部位数据进行遮掩，得到关键部位遮掩数据；所述关键部位遮掩数据中的遮掩区域至少包括所述关键部位调整信息中的待调整部位；
根据所述关键部位调整信息对所述关键部位数据中的待调整部位进行部位调整，得到关键部位调整数据；
将所述关键部位数据、所述关键部位遮掩数据以及所述关键部位调整数据确定为调整后的关键数据，根据调整后的关键数据生成调整对象特征。
3.根据权利要求2所述的方法，其特征在于，所述根据调整后的关键数据生成调整对象特征，包括：
生成所述关键点数据对应的第一辅助图像；
生成所述关键部位遮掩数据对应的第二辅助图像；
生成所述关键部位调整数据对应的第三辅助图像；
基于合成模型对所述第一辅助图像、第二辅助图像以及第三辅助图像进行编码融合；
在所述合成模型中对编码融合后的数据进行解码，得到对象调整图像，提取所述对象调整图像对应的调整对象特征。
4.根据权利要求1所述的方法，其特征在于，所述图像风格信息为风格图像，所述获取图像风格信息，生成所述图像风格信息对应的风格特征，包括：
获取所述风格图像，将所述风格图像输入风格提取模型；
基于所述风格提取模型从所述风格图像中提取所述风格特征。
5.根据权利要求1所述的方法，其特征在于，所述获取图像风格类型，生成所述图像风格类型对应的风格特征，包括：
获取噪声信息和图像风格信息，将所述图像风格信息和所述噪声信息输入风格映射模型；
在所述风格映射模型中将所述噪声映射为具有所述图像风格信息的风格特征。
6.根据权利要求3所述的方法，其特征在于，还包括：
获取第一样本图像，对所述第一样本图像的样本关键数据进行调整，得到调整后的样本关键数据，所述调整后的样本关键数据包括关键点样本数据、关键部位遮掩样本数据以及关键部位调整样本数据；
生成所述关键点样本数据对应的第一样本辅助图像，生成所述关键部位遮掩样本数据对应的第二辅助样本图像，生成所述关键部位调整样本数据对应的第三辅助样本图像；
基于样本合成模型将所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像进行编码融合，对编码融合后的样本数据进行解码，得到样本对象调整图像；
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，根据合成模型损失值训练所述样本合成模型，得到所述合成模型。
7.根据权利要求6所述的方法，其特征在于，所述合成模型损失值包括：第一损失值和第二损失值；
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像、所述第三辅助样本图像以及所述样本对象调整图像生成合成模型损失值，包括：
根据所述第一样本图像、所述第一辅助样本图像、所述第二辅助样本图像以及所述第三辅助样本图像，确定所述第一损失值；
根据所述第一样本图像和所述样本对象调整图像，确定所述第二损失值；
根据所述第一损失值和第二损失值，生成所述合成模型损失值。
8.根据权利要求5所述的方法，其特征在于，还包括：
获取第一样本风格信息和样本噪声，在样本风格映射模型中将所述样本噪声映射为具有所述第一样本风格信息的第一样本风格特征；
获取具有所述第一样本风格信息的样本风格图像，提取所述样本风格图像对应的真实风格特征；
基于判别器对所述第一样本风格特征和真实风格特征进行判别，得到判别结果，根据所述判别结果确定映射模型损失值；
根据所述映射模型损失值训练所述样本风格映射模型，得到所述风格映射模型。
9.根据权利要求1所述的方法，其特征在于，还包括：
获取第二样本图像和第二样本风格信息；
根据样本关键部位调整信息生成所述第二样本图像对应的样本调整对象特征，提取所述第二样本风格信息的第二样本风格特征；
融合所述样本调整对象特征和所述第二样本风格特征，得到样本目标特征，在样本图像生成模型中，基于所述样本目标特征输出样本目标图像；
提取所述样本目标图像的目标对象特征和目标风格特征；
根据所述第二样本图像、所述第二样本风格信息、所述目标对象特征以及所述目标风格特征生成图像生成模型损失值，根据所述图像生成模型损失值训练所述样本图像生成模型，得到所述图像生成模型。
10.一种计算机设备，其特征在于，包括：处理器和存储器；
所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910837251.8A CN110555896B (zh) | 2019-09-05 | 2019-09-05 | 一种图像生成方法、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910837251.8A CN110555896B (zh) | 2019-09-05 | 2019-09-05 | 一种图像生成方法、装置以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555896A true CN110555896A (zh) | 2019-12-10 |
| CN110555896B CN110555896B (zh) | 2022-12-09 |
Family
ID=68739176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910837251.8A Active CN110555896B (zh) | 2019-09-05 | 2019-09-05 | 一种图像生成方法、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555896B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524207A (zh) * | 2020-04-21 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像生成方法、装置、电子设备 |
| CN111539903A (zh) * | 2020-04-16 | 2020-08-14 | 北京百度网讯科技有限公司 | 训练人脸图像合成模型的方法和装置 |
| CN112381707A (zh) * | 2020-11-02 | 2021-02-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、设备以及存储介质 |
| CN113559500A (zh) * | 2021-01-18 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 动作数据的生成方法、装置、电子设备及存储介质 |
| CN114004905A (zh) * | 2021-10-25 | 2022-02-01 | 北京字节跳动网络技术有限公司 | 人物风格形象图的生成方法、装置、设备及存储介质 |
| WO2022068487A1 (zh) * | 2020-09-30 | 2022-04-07 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN116664719A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060082579A1 (en) * | 2004-10-18 | 2006-04-20 | Reallusion Inc. | Caricature generating system and method |
| US20130170766A1 (en) * | 2011-12-28 | 2013-07-04 | HeHuan Xu | Method of performing eyebrow shaping on an image and related computing device |
| CN107767328A (zh) * | 2017-10-13 | 2018-03-06 | 上海交通大学 | 基于少量样本生成的任意风格和内容的迁移方法和系统 |
| US20180240257A1 (en) * | 2017-02-21 | 2018-08-23 | Adobe Systems Incorporated | Deep high-resolution style synthesis |
| CN108596094A (zh) * | 2018-04-24 | 2018-09-28 | 杭州数为科技有限公司 | 人物风格检测系统、方法、终端及介质 |
| CN108961349A (zh) * | 2018-06-29 | 2018-12-07 | 广东工业大学 | 一种风格化图像的生成方法、装置、设备及存储介质 |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| CN109949237A (zh) * | 2019-03-06 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
-
2019
- 2019-09-05 CN CN201910837251.8A patent/CN110555896B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060082579A1 (en) * | 2004-10-18 | 2006-04-20 | Reallusion Inc. | Caricature generating system and method |
| US20130170766A1 (en) * | 2011-12-28 | 2013-07-04 | HeHuan Xu | Method of performing eyebrow shaping on an image and related computing device |
| US20180240257A1 (en) * | 2017-02-21 | 2018-08-23 | Adobe Systems Incorporated | Deep high-resolution style synthesis |
| CN107767328A (zh) * | 2017-10-13 | 2018-03-06 | 上海交通大学 | 基于少量样本生成的任意风格和内容的迁移方法和系统 |
| CN108596094A (zh) * | 2018-04-24 | 2018-09-28 | 杭州数为科技有限公司 | 人物风格检测系统、方法、终端及介质 |
| CN108961349A (zh) * | 2018-06-29 | 2018-12-07 | 广东工业大学 | 一种风格化图像的生成方法、装置、设备及存储介质 |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| CN109949237A (zh) * | 2019-03-06 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JUSTIN JOHNSON 等: "Perceptual losses for real-Time Style Transfer and Super-Resolution", 《COMPUTER VISION-ECCV 2016》 * |
| XUN HUANG 等: "Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 卢丽稳 等: "云南重彩画人脸肖像生成算法", 《图学学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539903A (zh) * | 2020-04-16 | 2020-08-14 | 北京百度网讯科技有限公司 | 训练人脸图像合成模型的方法和装置 |
| CN111539903B (zh) * | 2020-04-16 | 2023-04-07 | 北京百度网讯科技有限公司 | 训练人脸图像合成模型的方法和装置 |
| CN111524207A (zh) * | 2020-04-21 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像生成方法、装置、电子设备 |
| WO2022068487A1 (zh) * | 2020-09-30 | 2022-04-07 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN112381707A (zh) * | 2020-11-02 | 2021-02-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、设备以及存储介质 |
| CN112381707B (zh) * | 2020-11-02 | 2023-06-20 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、设备以及存储介质 |
| CN113559500A (zh) * | 2021-01-18 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 动作数据的生成方法、装置、电子设备及存储介质 |
| CN113559500B (zh) * | 2021-01-18 | 2023-07-21 | 腾讯科技（深圳）有限公司 | 动作数据的生成方法、装置、电子设备及存储介质 |
| CN114004905A (zh) * | 2021-10-25 | 2022-02-01 | 北京字节跳动网络技术有限公司 | 人物风格形象图的生成方法、装置、设备及存储介质 |
| CN114004905B (zh) * | 2021-10-25 | 2024-03-29 | 北京字节跳动网络技术有限公司 | 人物风格形象图的生成方法、装置、设备及存储介质 |
| CN116664719A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
| CN116664719B (zh) * | 2023-07-28 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555896B (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555896B (zh) | 一种图像生成方法、装置以及存储介质 | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| CN110785767B (zh) | 紧凑的无语言面部表情嵌入和新颖三元组的训练方案 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN110675475B (zh) | 一种人脸模型生成方法、装置、设备及存储介质 | |
| CN112132197A (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
| CN115205949B (zh) | 图像生成方法以及相关设备 | |
| KR20200059993A (ko) | 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법 | |
| CN111432267A (zh) | 视频调整方法、装置、电子设备及存储介质 | |
| CN113705290A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111598979A (zh) | 虚拟角色的面部动画生成方法、装置、设备及存储介质 | |
| CN111598051B (zh) | 一种脸部验证方法、装置、设备及可读存储介质 | |
| CN111080746A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN113822953A (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN114973349A (zh) | 面部图像处理方法和面部图像处理模型的训练方法 | |
| CN114399424A (zh) | 模型训练方法及相关设备 | |
| CN115690276A (zh) | 虚拟形象的视频生成方法、装置、计算机设备和存储介质 | |
| CN117011449A (zh) | 三维面部模型的重构方法和装置、存储介质及电子设备 | |
| WO2024066549A1 (zh) | 一种数据处理方法及相关设备 | |
| CN113313020B (zh) | 一种基于虚拟人的无标记面部表情捕获方法及系统 | |
| KR102554442B1 (ko) | 얼굴 합성 방법 및 시스템 | |
| CN117011910A (zh) | 图像处理方法、装置及计算机设备、存储介质、程序产品 | |
| CN115409917A (zh) | 图像生成方法、装置、存储介质及计算机设备 | |
| CN117851625A (zh) | 一种图片描述方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40018669 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |