CN113744130A - 一种人脸图像生成方法、存储介质及终端设备 - Google Patents
一种人脸图像生成方法、存储介质及终端设备 Download PDFInfo
- Publication number
- CN113744130A CN113744130A CN202010479061.6A CN202010479061A CN113744130A CN 113744130 A CN113744130 A CN 113744130A CN 202010479061 A CN202010479061 A CN 202010479061A CN 113744130 A CN113744130 A CN 113744130A
- Authority
- CN
- China
- Prior art keywords
- face
- region
- image
- feature region
- face feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000001815 facial effect Effects 0.000 claims description 66
- 210000001508 eye Anatomy 0.000 claims description 39
- 210000004709 eyebrow Anatomy 0.000 claims description 17
- 210000000697 sensory organ Anatomy 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 10
- 230000004807 localization Effects 0.000 claims 3
- 238000012549 training Methods 0.000 description 31
- 210000000744 eyelid Anatomy 0.000 description 24
- 238000005070 sampling Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 238000013507 mapping Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸图像生成方法、存储介质及终端设备,所述人脸图像生成方法包括确定待处理图像中的目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域;根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。本发明以人脸特征区域为约束条件,并将约束条件生成人脸图像,这样通过采用人脸特征区域,并以人脸特征区域的细节约束区域作为人脸特征区域的约束条件,这样更加准确的获取人脸特征区域对应的图像细节,从而可以提高人脸图像的分辨率,进而可以扩宽人脸图像的使用范围。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种人脸图像生成方法、存储介质及终端设备。
背景技术
目前人脸生成网络普遍采用编解码结构的卷积神经网络,编码器负责采集信息并将信息浓缩后输入至解码器,通过解码器输出人脸图像。当待处理图像输入至卷积神经网络时,该卷积神经网络直接输出该待处理图像对应的人脸图像。然而,目前普遍使用的卷积神经网络生成的图像的分辨率有限(例如,普遍在512*512以下),这使得人脸图像无法满足对分辨率要求高的应用场景,从而限制了人脸图像的适用范围。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种人脸图像生成方法、存储介质及终端设备。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种人脸图像生成方法,所述方法包括:
获取待处理图像,其中,所述待处理图像包括目标人脸;
确定所述目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域;
根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。
所述人脸图像生成方法,其中,所述人脸重构图像的分辨率高于所述待处理图像的分辨率。
所述人脸图像生成方法,其中,所述人脸特征区域包括若干个人脸特征区域,其中,一个人脸特征区域对应一个人脸特征部位;所述人脸特征区域至少包括眼睛特征区域、鼻子特征区域、嘴部特征区域以及眉毛特征区域。
所述人脸图像生成方法,其中,所述确定所述目标人脸对应的人脸特征区域具体包括:
获取所述目标人脸的五官定位区域;
基于所述五官定位区域以及待处理图像,确定所述目标人脸对应的人脸特征区域,其中,所述人脸特征区域为所述五官定位区域的细节约束区域。
所述人脸图像生成方法,其中,所述获取所述目标人脸的五官定位区域具体包括:
获取目标人脸对应的人脸定位区域;
基于所述人脸定位区域以及待处理图像,确定所述目标人脸对应的五官定位区域,其中,所述五官定位区域为所述人脸定位区域的细节约束区域。
所述人脸图像生成方法,其中,确定所述人脸特征区域对应的细节约束区域具体包括:
对于每个人脸特征区域,根据人脸特征区域以及所述待处理图像确定该人脸特征区域对应的细节约束区域。
所述人脸图像生成方法,其中,所述对于每个人脸特征区域,根据人脸特征区域以及所述待处理图像确定该人脸特征区域对应的细节约束区域具体包括:
对于每个人脸特征区域,将该人脸特征区域以及待处理图像输入经过训练的第一网络模型,通过第一网络模型输出所述人脸特征区域对应的细节约束区域。
所述人脸图像生成方法,其中,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
针对每个人脸特征区域,根据该人脸特征区域对应的若干个细节约束区域,确定各个人脸特征区域各自分别对应的局部图像;
根据所述人脸特征区域各自分别对应的局部图像,确定所述目标人脸对应的人脸重构图像。
所述人脸图像生成方法,其中,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
根据人脸特征区域以及人脸特征区域对应的细节约束区域确定参考特征区域,其中,所述参考特征区域包括人脸特征区域以及人脸特征区域对应的细节约束区域;
根据所述参考特征区域以及所述待处理图像,确定所述待处理图像对应的人脸重构图像。
所述人脸图像生成方法,其中,所述参考特征区域包括人脸定位区域以及五官定位区域。
所述人脸图像生成方法,其中,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像之前,所述方法还包括:
接收调整指令,其中,所述调整指令用于对所述人脸特征区域中至少一个人脸特征的配置参数进行调整;
根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域;
采用调整后的人脸特征区域替换该人脸特征区域,以更新所述人脸特征区域。
所述人脸图像生成方法,其中,所述调整指令包括人脸特征区域尺寸、人脸特征区域位置以及配置颜色中的一种或多种。
所述人脸图像生成方法,其中,所述调整指令包含人脸特征区域尺寸和/或人脸特征区域位置;所述根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域具体为:
按照该人脸特征区域的人脸特征区域尺寸和/或人脸特征区域位置,调整所述调整指令包含的人脸特征区域尺寸和/或人脸特征区域位置,以得到该人脸特征区域对应的调整后的人脸特征区域。
所述人脸图像生成方法,其中,所述调整指令包含配置颜色;所述根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域具体为:
将所述人脸特征区域的配置颜色设置为调整指令包含的配置颜色配置于,以得到该人脸特征区域对应的调整后的人脸特征区域。
所述人脸图像生成方法,其中,所述人脸重构图像中与该人脸特征区域对应的人脸部位的颜色与所述调整指令包含的配置颜色相同。
一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的人脸图像生成方法中的步骤。
一种终端设备,其包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如上任一所述的人脸图像生成方法中的步骤。
有益效果:与现有技术相比,本发明提供了一种人脸图像生成方法、存储介质及终端设备,所述人脸图像生成方法包括确定待处理图像中的目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域;根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。本发明以人脸特征区域为约束条件,并将约束条件生成人脸图像,这样通过采用人脸特征区域,并以人脸特征区域的细节约束区域作为人脸特征区域的约束条件,这样更加准确的获取人脸特征区域对应的图像细节,从而可以提高人脸图像的分辨率,进而可以扩宽人脸图像的使用范围。
附图说明
图1为本发明提供的人脸图像生成方法的应用场景的示意图。
图2为本发明提供的人脸图像生成方法的流程图。
图3为本发明提供的人脸图像生成方法中带有人脸定位区域的待处理图像的示意图。
图4为本发明提供的人脸图像生成方法中五官定位区域的获取流程示意图。
图5为本发明提供的人脸图像生成方法中带有五官定位区域的待处理图像的示意图。
图6为本发明提供的人脸图像生成方法中左下眼睑定位框的获取流程示意图。
图7为本发明提供的人脸图像生成方法中左上眼睑定位框的获取流程示意图。
图8为本发明提供的人脸图像生成方法中左眼球定位框的获取流程示意图。
图9为本发明提供的人脸图像生成方法中根据左眼定位框生成左眼局部图像的流程示意图。
图10为本发明提供的人脸图像生成方法中生成的人脸图像的示意图。
图11为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种人脸图像生成方法、存储介质及终端设备,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现,为了提高生成人脸图像的速度以及精确度,深度学习网络被应用于人脸图像生成。其中,卷积神经网络被广泛应用于人脸图像生成过程中。目前人脸生成网络普遍采用编解码结构的卷积神经网络,编码器负责采集信息并将信息浓缩后输入至解码器,通过解码器输出人脸图像。当待处理图像输入至卷积神经网络时,该卷积神经网络直接输出该待处理图像对应的人脸图像。然而,目前普遍使用的卷积神经网络生成的图像的分辨率有限(例如,普遍在512*512以下),这使得人脸图像无法满足对分辨率要求高的应用场景,从而限制了人脸图像的适用范围。
为了解决上述问题,在本发明实施例中,通过确定待处理图像中的目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域;根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。本发明以人脸特征区域为约束条件,并将约束条件生成人脸图像,这样通过采用人脸特征区域,并以人脸特征区域的细节约束区域作为人脸特征区域的约束条件,这样更加准确的获取人脸特征区域对应的图像细节,从而可以提高人脸图像的分辨率,进而可以扩宽人脸图像的使用范围。
举例说明,本发明实施例可以应用到如图1所示的场景。在该场景中,首先,终端设备1可以采集待处理图像,并将所述待处理图像输入服务器2,以使得服务器2依据所述待处理图像获取该待处理图像对应的人脸图像。服务器2可以响应终端设备1的输入的待处理图像,确定所述目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域;根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。
可以理解的是,在上述应用场景中,虽然将本发明实施方式的动作描述为部分由终端设备2执行、部分由服务器1执行,但是这些动作也可以完全由服务器1执行,或者完全由终端设备2执行。本发明在执行主体方面不受限制,只要执行了本发明实施方式所公开的动作即可。
需要注意的是,上述应用场景仅是为了便于理解本发明而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
下面结合附图,通过对实施例的描述,对发明内容作进一步说明。
本实施提供了一种人脸图像生成方法,如图2所示,所述方法包括:
S10、获取待处理图像。
具体地,所述待处理图像可以是通过运行人脸图像生成方法的电子设备(例如,智能手机等)获取到的图像,也可以是外部设备发送,也可以是通过网络(如,百度等)。所述待处理图像携带人脸图像,其中,所述待处理图像可以携带一个张人脸图像,也可以携带多张人脸图像。当待处理图像携带一张人脸图像时,所述目标人脸图像为一个;当待处理图像携带多张人脸图像时,所述目标人脸图像为多个,其中,多个目标人脸图像与待处理图像中的多张人脸图像一一对应。
S20、确定所述目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域。
具体地,所述人脸特征区域为人脸特征部位在待处理图像中所处区域,用于表示该人脸特征部位在待处理图像中的位置信息。可以理解的是,人脸特征区域用于表示人脸特征区域对应的人脸特征部位的位置信息,根据所述人脸特征区域可以确定该人脸特征区域对应的人脸特征部位在待处理图像中的位置以及所占区域的大小。此外,人脸特征区域可以包括若干人脸特征区域,并且每个人脸特征区域对应一个人脸特征部位,各人脸特征区域各自对应的人脸特征部位互不相同。例如,人脸特征区域包括人脸特征区域A和人脸特征区域B;人脸特征区域A对应人脸特征部位为眼睛,人脸特征区域对应的人脸特征部位为鼻子等。在本实施例的一个实现方式中,所述人脸特征区域可以为该人脸特征区域对应的人脸特征部位对应的定位框,例如,人脸特征区域的边缘形成的特征区域,或者包括该人脸特征区域的矩形框等。
所述人脸特征区域对应的细节约束区域为该人脸特征区域对应的人脸特征部位的细节特征的定位框,用于表示该细节特征在所述待处理图像中的位置信息。其中,每个人脸特征区域可以对应一个或者多个细节约束区域,并且当对应多个细节约束区域时,各细节约束区域对应的细节特征互不相同。例如,人脸特征区域为左眼特征区域;左眼特征区域对应的细节约束区域可以包括左下眼睑特征区域,左上眼睑特征区域以及左眼球特征区域;再如,人脸特征区域为右眼特征区域;右眼特征区域对应的细节约束区域可以包括右下眼睑特征区域,右上眼睑特征区域以及右眼球特征区域。
进一步,在本实施例的一个实现方式中,所述人脸特征区域可以包括眼睛特征区域、鼻子特征区域、嘴部特征区域以及眉毛特征区域,其中,眼睛特征区域包括左眼特征区域和右眼特征区域,眉毛特征区域包括左眉毛特征区域和右眉毛特征区域。其中,所述左眼特征区域对应的细节约束区域可以包括左下眼睑定位区域,左上眼睑定位区域以及左眼球定位区域;右眼特征区域对应的细节约束区域可以包括右下眼睑定位区域,右上眼睑定位区域以及右左眼球定位区域;鼻子特征区域对应的细节约束区域可以包括鼻头定位区域以及鼻骨定位区域;所述嘴巴定位框对应的细节约束区域可以包括上嘴唇定位区域以及下嘴唇定位区域。当然,值得说明的是,本实施例仅是给出了人脸特征区域的一个例子,在实际应用中,人脸特征区域还可以根据使用的需要而进行调整,例如,所述人脸特征区域还可以包括额头定位区域,以及脸颊定位区域等,这里就不一一说明,只要涉及到人脸特征区域的均属于本申请的保护范围。
在本实施例的一个实现方式中,所述确定所述目标人脸对应的人脸特征区域具体包括:
A10、获取所述目标人脸的五官定位区域;
A20、基于所述五官定位区域以及待处理图像,确定所述目标人脸对应的人脸特征区域,其中,所述人脸特征区域为所述五官定位区域的细节约束区域。
具体地,所述五官定位区域用于表示人脸五官在目标人脸中所处位置信息,例如,人脸五官对应的五官定位框。人脸特征区域为五官定位区域的细节约束区域,并且人脸特征区域包含于所述五官定位区域内。可以理解的是,对于每个人脸特征区域,五官定位区域为该人脸特征区域的约束条件,并且该人脸特征区域包含在五官定位区域内。例如,五官定位区域为四个顶点分别为(10,200)、(200,200)、(200,10)以及(10,10)的正方形框,那么各人脸特征区域均在正方形框内,如,人脸特征区域A可以为四个顶点分别为(30,60)、(60,60)、(60,30)以及(30,30)的正方形框。此外,所述约束条件用于在基于待处理图像确定人脸特征区域时,对生成的人脸特征区域进行约束,以提高人脸特征区域的精确。例如,在确定人脸特征区域时,可以将五官定位区域映射至待处理图像,使得待处理图像上标记有五官定位区域,这样在确定人脸特征区域时需要在五官定位区域内确定,可以缩小人脸特征区域的确定范围。
进一步,在本实施例的一个实现方式中,所述获取所述目标人脸的五官定位区域具体包括:
A11、获取目标人脸对应的人脸定位区域;
A12、基于所述人脸定位区域以及待处理图像,确定所述目标人脸对应的五官定位区域,其中,所述五官定位区域为所述人脸定位区域的细节约束区域。
具体地,所述人脸定位区域用于表示目标人脸在待处理图像中所处位置信息,例如,目标人脸对应的人脸定位框。所述五官定位区域为人脸定位区域的细节约束区域,所述五官定位区域位于所述人脸定位区域内,并且在获取五官定位区域时,所述人脸定位区域为五官定位区域的约束条件,通过该约束条件以及待处理图像确定五官定位区域,可以提高五官定位区域获取的精确度。当然,在实际应用中,所述人脸定位区域可以通过经过训练的人脸识别模块获取到,其中,所述人脸识别模型的输入项可以为待处理图像,输出项可以为人脸定位区域。
进一步,在本实施例的一个实现方式中,所述确定所述人脸特征区域对应的细节约束区域为:
根据人脸特征区域以及所述待处理图像确定所述人脸特征区域对应的细节约束区域。
具体地,所述细节约束区域为该人脸特征区域对应的人脸部位的细节部位的定位框,基于所述细节约束区域可以确定该细节约束区域对应的细节特征在所述待处理图像中所处的位置信息。其中,所述细节约束区域包含于该细节约束区域对应的人脸特征区域内。例如,所述人脸特征区域为左眼定位区域,所述细节约束区域为左上眼睑定位区域,左上眼睑定位区域位于所述左眼定位区域内,即对于左上眼睑定位区域中的任一像素点A,该像素点A包含于所述左眼定位区域内。
进一步,由上所述可知,对于人脸特征区域或者每个细节约束区域,该人脸特征区域或者细节约束区域均是基于其对应的约束条件以及待处理图像生成,例如,对于人脸特征区域,该人脸特征区域对应的约束条件为五官定位区域;对于每个细节约束区域,该细节约束区域对应的约束条件为该细节约束区域对应的人脸特征区域,而对于五官定位区域,五官定位区域对应的约束条件为人脸特征区域。从而,在获取细节约束区域之前,需要确定该细节约束区域对应的人脸特征区域;在获取每个人脸特征区域之前,需要确定五官定位区域;在确定五官定位区域之前,需要确定人脸特征区域。故此,本实施例中的人脸定位区域、五官定位区域、人脸特征区域以及细节约束区域是按照人脸定位区域、五官定位区域、人脸特征区域以及细节约束区域的顺序逐步确定的,实现了人脸特征区域以及细节约束区域的逐步细化确定。
进一步,在逐步细化生成过程中,五官定位区域、人脸特征区域以及细节约束区域的生成过程可以相同,其不同是生成时采用的约束条件不同。在本实施例的一个实现方式中,五官定位区域、人脸特征区域以及细节约束区域均可以采用的生成过程可以包括:
获取参考特征区域,其中,所述参考特征区域为人脸定位区域、五官定位区域以及人脸特征区域中一个;
根据该参考特征区域以及待处理图像确定目标特征区域,其中,所述目标特征区域为参考特征区域的细节约束区域。
具体地,所述目标特征区域可以为五官定位区域、人脸特征区域以及各人脸特征区域对应的细节约束区域;并且当参考特征区域为人脸定位区域时,目标特征区域为五官定位区域;当参考特征区域为五官定位区域时,目标特征区域为人脸特征区域;当参考特征区域为人脸特征区域时,目标特征区域为该人脸特征区域对应的细节约束区域。此外,根据所述参考特征区域以及待处理图像确定目标特征区域时,可以将参考特征区域映射至待处理图像上,并将映射得到的待处理图像作为第一网络模型的输入项,通过第一网络模型输出目标特征区域;也可以根据参考特征区域在待处理图像中选取子图像,将子图像输入至第一网络模型,通过第一网络模型输出目标特征区域。其中,所述第一网络模型可以为经过训练的网络模型,用于基于参考特征区域以及待处理图像,确定参考特征区域对应的目标特征区域。
在本实施例的一个实现方式中,根据该参考特征区域以及待处理图像确定目标特征区域具体包括:
A121、根据所述参考特征区域在所述待处理图像中选取一子图像。
具体地,所述子图像为所述待处理图像的部分图像,所述子图像根据五官定位区域确定,并且该子图像的图像内容与待处理图中位于人脸定位区域内的图像内容相同。在本实施例的一个实现方式中,所述子图像的确定过程可以为:将人脸定位区域映射至待处理图像上,并将人脸定位区域外的图像区域去除,以得到该子图像。当然,在实际应用中,根据人脸定位区域在待处理图像中选取的子图像与该子图图像对应的人脸部位之间可存在差异信息,但该子图像与该人脸部位之间的差异信息需要满足预设条件,例如,该子图像包含的像素点的数量与第一数量的差小于预设阈值(例如,50等),其中,第一数量为该人脸部分在待处理图像中对应的图像区域包含的像素点的数量;再如,该子图像对应的图像区域的边缘与人脸部位在待处理图像中对应的图像区域的边缘的距离小于预定值(例如,5个像素点等)。
A122、基于选取到得到的子图像,通过已训练的第一网络模型生成所述参考特征区域对应的目标特征区域。
具体地,所述第一网络模型为预先训练的,用于根据输入的图像生成该图像对应的人脸特征区域的网络模型。所述第一网络模型可以包括下采样模块、上采用模块以及拟合模块,所述下采样模块与所述上采样模块相连接,所述下采样模块用于对输入图像进行下采样,以获取输入图像的图像特征,所述上采样模块用于根据图像特征生成输出图像,所述拟合模块用于对上采样模块生成的输出图像进行拟合以生成人脸特征区域。在本实施例的一个实现方式中,所述上采样模块可以包括六个级联残差卷积模块,通过六个残差卷积模块获取输入图像的特征图像,其中,各残差卷积模块按照级联顺序输出的特征图的图像通道数可以依次为64,128,256,512,512以及512,并且各残差卷积模块的下采样步长均为2。所述下采样模块包括六个级联卷积模块,通过六个卷积模块对输下采样模块输出的特征图上采样呈生成图,其中,各卷积模块按照级联顺序输出的特征图的图像通道数依次为512,512,256,128,64以及3,并且各卷积模块的下采样步长均为2。
进一步,在本实施例的一个实现方式中,所述第一网络模型为基于预设训练样本集训练得到,预设训练样本集包括多组训练样本,每组训练样本均包括带有人脸图像的训练图像、参考特征区域以及目标特征区域。所述第一网络模型的训练过程可以为:将训练图像以及参考特征区域输入至预设网络模型,通过预设网络模型输出训练图像对应的预测特征区域;基于目标特征区域与预测特征区域计算损失函,并基于损失函数对预设网络模型进行训练,以得到已训练的第一网络模型。此外,所述损失函数可以采用预测特征区域的对应的直线与目标特征区域对应的直线之间的距离差的绝对值。可以理解的是,目标特征区域采用真实直线标注,通过对该真实直线进行拟合可以生成真实人脸特征区域,而所述第一网络模型的下采样单元输入的为预测特征区域对应的预测直线,从而可以采用预测直线与真实直线计算损失函数,可以提高损失函数计算的方便性。当然,值得说明的是,所述预测特征区域通过第一网络模型生成的参考特征区域对应的预测细节约束区域。
进一步,在本实施的一个实现方式中,目标特征区域集中的各目标特征区域可以对应相同的第一网络模型,也可以每个参考特征区域对应一个第一网络模型,其中,所述目标特征区域集至少包括包括人脸特征区域、五官定位区域以及人脸特征区域对应给的细节约束区域。由此,第一网络模型可以为1个,也可以是为多个,并且当第一网络模型为多个时,每个第一网络模型与参考特征集中的一个参考特征区域对应,并且各第一网络模型对应的参考特征区域互不相同。此外,当第一网络模型为一个时,将子图像输入至该第一网络模型,通过该第一网络模型生成该目标特征区域;当第一网络模型为多个时,确定该目标特征区域对应的第一网络模型,并将子图像输入该目标特征区域对应的第一网络模型,以通过该子图像对应的第一网络模型生成该目标特征区域。此外,当第一网络模型为多个时,多个第一网络模型的模型结构均相同,并均采用如上所述的第一网络模型的模型结构。当第一网络模型为一个时,当参考特征区域为人脸特征区域,目标特征区域为该人脸特征宽对应的细节约束区域,在将基于该人脸特征区域确定子图像输入第一网络模型时,第一网络模型可以输出该人脸特框对应的各细节约束区域。
进一步,在本实施例的一个实现方式中,所述基于选取到得到的子图像,通过已训练的第一网络模型生成所述参考特征区域对应的目标特征区域具体包括:
B10、将选取到的子图像映射至第一图像,以得到第一输入图像,其中,所述第一图像中的每个像素点的像素值均为第一预设值;
B20、基于所述第一输入图像,通过已训练的第一网络模型生成目标特征区域。
具体地,在所述步骤B10中,所述第一图像的图像尺度与第一网络模型的输入图像的图像尺度一样,例如,所述第一网络模型的输入图像的图像尺度为3×256×256,那么所述第一图像的图像尺度为3×256×256,其中,所述图像尺度包括图像的宽、高以及通道数。此外,所述第一图像的图像尺度与第一网络模型的输入图像的图像尺度相同,从而所述第一图像可以作为第一网络模型的输入项,那么将子图像映射至第一图像后,映射得到的第一输入图像可以作为第一网络模型的输入项。由此,对于每个参考特征区域对应的子图像,均可以通过映射至第一图像而转换为第一网络模型的输入项,使得所述各参考特征区域对应的子图像可以共用第一网络模型,从而实现了一个第一网络模型可以获取各参考特征区域对应的目标特征区域。
进一步,为了避免第一图像携带的图像内容对第一网络模型产生影响,在本实施例的一个实现方式中,所述第一图像中各像素点的像素值可以均为第一预设值。可以理解的是,对于第一图像中的每个像素点,该像素点的像素值均为第一预设值,使得所述第一图像为纯色图像。在本实施例的一个可能实现方式中,所述第一预设值为0或255,也就是说,所述第一图像为白色图像或者黑色图像。当然,在实际应用中,所述第一预设值还可以为其他竖直,例如,120等。
进一步,在本实施例的一个实现方式中,所述将子图像映射至第一图像指的是将子图像叠加至第一图像上,以使得叠加得到第一输入图像包括子图像以及部分第一图像,其中,第一输入图像包括的子图像的图像尺寸与该子图像的图像尺寸相同。可以理解的是,在将子图像叠加至第一图像的过程中,该子图像的图像尺寸不变。此外,在将子图像叠加到第一图像的过程中,子图像可以叠加至第一图像的任意位置,例如,在叠加时将子图像的图像中心与第一图像的图像中心重叠等。
进一步,在所述步骤B20中,所述第一网络模型的网络结构与上述步骤A12中的第一网络模型的网络结构相同,其中,该第一网络模型的输入图像的图像尺度为3×256×256下采样,该第一网络模型的输出图像的图像尺度为512×4×4的特征图,其中,各联残差卷积模块按照级联顺序输出的特征图的图像尺度依次为64×128×128,128×64×64,256×32×32,512×16×16,512×8×8以及512×4×4。所述下采样模块中各卷积模块按照级联顺序输出的特征图的图像尺度依次为512×8×8,512×16×16,256×32×32,128×64×64,64×128×128以及3×256×256。
进一步,所述第一输入图像的图像尺度与第一图像的图像尺度相同,而第一图像的图像尺度与第一网络模型的图像尺度等。由此,第一输入图像可以作为第一网络模型的输入项,相应的,所述基于所述第一输入图像,通过已训练的第一网络模型生成该子图像对应的人脸特征区域可以为:将所述第一输入图像输入至已训练的第一网络模型,通过第一网络模型对第一输入图像进行下采样以及上采样,以输出所述第一输入图像对应的人脸特征区域。
进一步,在本实施例的一个实现方式中,所述第一网络模型包括若干第一网络模型,若干第一网络模型与目标特征区域集中的若干目标特征区域一一对应;所述基于选取到得到的子图像,通过已训练的第一网络模型生成所述参考特征区域对应的目标特征区域具体包括:
C10、对于每个参考特征区域,确定该参考特征区域对应的待获取的目标特征区域标识;
C20、基于该目标特征区域标识确定该子图像对应的第一网络模型,并通过确定得到的第一网络模型生成该参考特征区域对应的目标特征区域。
具体地,所述第一网络模型与各目标特征区域标识的对应关系为预先建立,该第一网络模型用于生成其对应的目标特征区域标识对应的目标特征区域。各目标特征区域标识对应的第一网络模型的网络结构均与步骤A12中的第一网络模型的网络结构相同,而各目标特征区域标识对应的第一网络模型的输入图像的图像尺寸不一样,这是由于在基于各目标特征区域标识对应的参考特征区域的尺寸不同,从而基于各参考特征区域在待处理图像中选取到子图像的图像尺寸不同。例如,人脸轮廓对应的子图像可以为待处理图像的目标人脸,而眼睛对应的子图像为待处理图像中目标人脸的眼睛部分图像,那么人脸轮廓对应的第一网络模型的输入图像的图像尺寸与眼睛对应的第一网络模型的输入图像的图像尺寸不同。
进一步,在本实施例的一个实现方式中,每个目标特征区域对应一个第一网络模型时,目标特征区域集中的各目标特征区域可以按照目标特征区域之间的约束关系逐步获取,对于对应于相同约束条件的目标特征区域的获取顺序可以随机确定。例如,对于五官定位区域和眼睛定位框,眼睛定位框位以及眉毛定位框,五官定位区域为眼睛定位框和眉毛定位框的约束条件,眼睛定位框和眉毛定位框为五官定位区域的细节约束区域,从而需要先获取五官定位宽,再获取眼睛定位框和眉毛定位框;而对于眼睛定位框和眉毛定位框,两者的约束条件均为五官定位区域,并且眼睛定位框和眉毛定位框均为五官定位区域的细节约束区域;从而眼睛定位框和眉毛定位框的获取顺序可以随机确定,如,先获取眼睛定位框,再获取眉毛定位框,或者向获取眉毛定位框,在获取眼睛定位框,再或者通过多任务网络模型,同时获取眉毛定位框和眼睛定位框等。
进一步,在本实施例的一个实现方式中,所述目标特征区域集中各目标特征区域的获取过程可以为:首先将所述待处理图像输入至人脸识别网络模型(其中,人脸识别网络模型也可以为第一网络模型),通过该人脸识别网络模型输出所述人脸定位区域;其次,将所述人脸定位区域绘制至所述待处理图像,以得到携带人脸定位区域的待处理图像,例如,携带人脸定位区域的待处理图像如图3所示;将所述携带人脸定位区域的待处理图像输入五官定位区域标识对应的第一网络模型,通过所述第一网络模型输出所述五官定位区域,其中,第一网络模型输出所述五官定位区域的过程可以如图4所述;再次,对于各人脸特征区域,分别将各人脸特征区域作为目标定位框,并通过目标定位框对应的第一网络模型确定目标定位框,其中,所述目标定位框的生成过程可以为:将所述五官定位区域绘制至所述待处理图像,以得到带五官定位区域的待处理图像,其中,带五官定位区域的待处理图像可以如图5所示;根据目标定位框以及所述待带五官定位区域的待处理图像确定目标局部图像;将所述目标局部图像输入至所述目标定位框对应的第一网络模型,通过所述第一网络模型输出所述目标定位框。
进一步,对于人脸特征区域对应的细节约束区域,可以将所述人脸特征区域绘制到待处理图像中,并通过各人脸特征区域对应的第一网络模型输出其对应的细节约束区域。例如,左眼定位区域对应的细节约束区域包括左上眼睑定位区域,左下眼睑定位区域以及左眼球定位区域,在获取到左眼定位区域后,可以根据眼睛定位区域获取眼部局部图像,如图6-8所示,将眼部局部图分别输入左上眼睑定位区域、左下眼睑定位区域以及左眼球定位框区域各自对应的第一网络模型,通过左上眼睑定位区域、左下眼睑定位区域以及左眼球定位区域各自对应的第一网络模型分别输出左上眼睑定位区域,左下眼睑定位区域以及左眼球定位区域,最后根据左上眼睑定位区域,左下眼睑定位区域以及左眼球定位区域以及左眼定位区域更新左眼定位区域。
S20、根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。
具体地,所述人脸重构图像为以人脸特征区域以及人脸特征区域对应的细节约束区域为约束条件,根据待处理图像生成的目标人脸对应的生成图像,其中,所述人脸重构图像的分辨率高于待处理图像的分辨率。此外,所述人脸重构图像可以是基于每个人脸特征区域以及该人脸特征区域对应的细节约束区域确定局部图像组装得到人脸,也可以是根据人脸特征区域以及人脸特征区域对应的细节约束区域形成形成的参考特征区域直接确定人脸图像。
在本实施例的一个实现方式中,所述人脸特征区域包括若干人脸特征区域,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
针对每个人脸特征区域,根据该人脸特征区域对应的若干个细节约束区域,确定各个人脸特征区域各自分别对应的局部图像;
根据所述人脸特征区域各自分别对应的局部图像,确定所述目标人脸对应的人脸重构图像。
具体地,所述局部图像为该人脸特征区域对应的人脸部位的图像,例如,该人脸特征区域为左眼定位框,该局部图像为左眼图像。由此,每个人脸特征区域对应一个局部图像,在获取到各人脸特征区域对应的局部图像后,可以将各局部图像按照该局部图像对应的人脸特征区域在待处理图像中所处位置进行组装,以得到人脸重构图像。例如,如图9所示,对于左眼定位框对应的局部图像,左眼定位框在待处理图像中所处位置的位置信息为四个顶点分别为(30,60)、(60,60)、(60,30)以及(30,30)的正方形框,那么将局部图像映射至待处理图像中该正方形框围成的区域内。当然,在实际应用中,也可以建立一空白图像层,将该局部图像按照其在待处理图像中的所处位置的位置信息映射至该空白图像层,以使得跟局部图像可以组装得到人脸图像,边将组装得到的人脸图像作为目标人脸对应的人脸重构图像,例如,如图10所示。
进一步,在本实施例的另一个实现方式中,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
根据人脸特征区域以及人脸特征区域对应的细节约束区域确定参考特征区域,其中,所述参考特征区域包括人脸特征区域以及人脸特征区域对应的细节约束区域;
根据所述参考特征区域以及所述待处理图像,确定所述待处理图像对应的人脸重构图像。
具体地,所述参考特征区域为将目标特征区域组中的各目标特征区域按照其携带的位置信息映射至待处理图像上形成的特征区域,其中,所述参考特征区域包括人脸特征区域以及人脸特征区域对应的细节约束区域,所述目标特征区域组包括人脸特征区域以及人脸特征区域对应的细节约束区域。可以理解的是,所述参考特征区域种的各目标特征区域均按照其对应的位置信息布置,例如,左上眼睑定位区域位于左眼定位区域内等。此外,为了提高人脸重构图像的分辨率,在基于目标特征区域组生成参考特征区域之后,可以将五官定位区域以及人脸定位区域添加至参考特征区域中,边将添加得到的参考特征区域作为参考特征区域。可以理解的是,参考特征区域为由人脸定位区域、五官定位区域、人脸特征区域以及人脸特征区域各自对应的细节约束区域组合而成的特征区域。
进一步,在本实施例的一个实现方式中,所述人脸重构图像可以通过经过训练的生成网络模型生成得到,其中,所述生成网络模型用于根据待处理图像确定人脸特征区域以及人脸特征区域对应的细节约束区域,生成该目标人脸对应的人脸重构图像。当然,值得说明的是,当待处理图像包括多张目标人脸时,每张目标人脸各自对应有人脸特征区域以及人脸特征区域对应的细节约束区域,并对于每张目标人脸均可以生成其对应的人脸重构图。
进一步,所述生成网络模型的模型结构与步骤A121中的第一网络模型的网络结构基本相同,其区别点在生成网络模型不包括拟合模块。可以理解的是,所述生成网络模型包括下采样模块以及上采样模块,下采用模块包括六个级联的残差卷模块,上采样模块包括六个级联的卷积模块,所述下采样模块用于对输入图像进行下采样,以获取输入图像的图像特征,所述上采样模块用于根据图像特征生成输出图像,以得到人脸图像。
进一步,在本实施例的一个实现方式中,所述生成网络模型为基于训练样本集训练得到,训练样本集包括多组训练样本,每组训练样本均包括目标人脸,以及目标人脸对应的人脸特征区域以及人脸特征区域对应的细节约束区域。当然,值得说明的是,所述人脸特征区域以及人脸特征区域对应的细节约束区域为通过上述第一网络模型生成的,所述目标人脸为用于生成人脸特征区域以及人脸特征区域对应的细节约束区域的训练图像中人脸图像。可以理解的是,生成网络模型在第一网络模型训练完成的基础上进行训练的,并采用基于第一网络模型输出的人脸特征区域以及人脸特征区域对应的细节约束区域作为训练样本,并且在生成网络模型的训练过程中,第一网络模型的模型参数固定不变。
在本实施例中,所述生成网络模型的训练过程可以为:将人脸特征区域以及人脸特征区域对应的细节约束区域以及携带该目标人脸的训练图像输入至预设网络模型,通过预设网络模型输出目标人脸对应的预测人脸图像;基于预测人脸图像与目标人脸计算损失函,并基于损失函数对预设的网络模型进行训练,以得到已训练的生成网络模型。此外,生成网络模型对应的损失函数可以采用预测人脸图像与目标人脸的L1损失作为损失函数。
进一步,在本实施例的一个实现方式中,所述第一网络模型和生成网络模型可以联动训练,用于联动训练的训练样本可以包括训练图像以及目标人脸以及目标特征区域组,其中,训练图像携带该目标人脸,所述目标特征区域组包括人脸特征区域以及人脸特征区域对应的细节约束区域。所述联动训练的训练过程可以为:将所述训练图像输入至第一网络模型,通过第一网络模型输出训练图像对应的预测目标特征区域组,其中,预测目标特征区域组包括若干预测人脸特征区域以及若干预测人脸特征区域各自分别对应的预测细节约束区域;将预测目标特征区域组输入至第二网络模型,通过第二网络模型输出预测目标特征区域组对应的预测人脸图像,基于预测人脸图像以及目标人脸对应第二网络模型进行训练,并基于预测目标特征区域组以及真实人脸特征区域对第一网络模型进行训练,直至第一网络模型以及第二网络模型均满足预设条件,以根据第一网络模型得到第一网络模型,根据第二网络模型得到生成网络模型。
进一步,在本实施例的一个实现方式中,在基于目标特征区域组(所述目标特征区域组包括人脸特征区域以及人脸特征区域对应的细节约束区域)生成人脸图像时,对于目标特征区域组中的各目标特征区域,各目标特征区域可以各自对应一个生成网络模型,各目标特征区域也可以对应同一生成网络模块。可以理解的是,目标特征区域组可以对应一个生成网络模型,也可以对应多个生成网络模型;当目标特征区域组对应一个生成网络模型时,目标特征区域组中的所有人脸特征区域均对应该生成网络模型;当目标特征区域组对应多个生成网络模型时,多个生成网络模型的数量与目标特征区域组集中特征区域的数量相等,并且目标特征区域组中的各目标特征区域对应的生成网络模型互不相同
进一步,在本实施例的一个实现方式中,所述目标特征区域组中的所有目标特征区域对应同一个生成网络模型。所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
D10、对于目标特征区域组中的每个目标特征区域,将该目标特征区域映射至第二图像以得到第二输入图像;并所述第二输入图像,通过已训练的生成网络模型生成该目标特征区域对应的局部图像,其中,所述第二图像中的每个像素点的像素值均为第二预设值;
D20、根据所述人脸特征区域各自分别对应的局部图像,确定所述目标人脸对应的人脸重构图像。
具体地,所述第二图像的图像尺度与生成网络模型的输入图像的图像尺度一样,例如,所述生成网络模型的输入图像的图像尺度为3×256×256,那么所述第二图像的图像尺度为3×256×256,其中,所述图像尺度包括图像的宽、高以及通道数。此外,所述第二图像的图像尺度与生成网络模型的输入图像的图像尺度,那么所述第二图像可以作为生成网络模型的输入项,那么将目标特征区域组中的目标特征区域映射至第二图像后,映射得到的第二输入图像可以作为生成网络模型的输入项。由此,对于目标特征区域组中的每个目标特征区域,均可以通过映射至第二图像而转换为生成网络模型的输入项,使得所述目标特征区域组中各目标特征区域可以共用一生成网络模型,从而实现了一个生成网络模型可以获取不同目标特征区域对应的局部图像。
进一步,为了避免第二图像携带的图像内容对生成网络模型产生影响,在本实施例的一个实现方式中,所述将所述第二图像中各像素点的像素值可以设置为预设值。可以理解的是,对于第二图像中的每个像素点,该像素点的像素值均为第二预设值,使得所述第二图像为纯色图像。在本实施例的一个可能实现方式中,所述第二预设值为0或255,也就是说,所述第二图像为白色图像或者黑色图像。此外,将人脸特征区域映射至第二图像的过程与将子图像映射至第一图像的过程相同,具体可以参数步骤B10的说明,这里就不在赘述。
进一步,在获取到所有局部图像后,将获取到所有局部图像按照其对应的目标特征区域在待训练图像中的位置信息进行组装,以得到人脸重构图像。可以理解的是,所述人脸重构图像是根据生成到若干局部图像组装得到。例如,在获取到右眼定位框对应的右眼局部图像以及左眼定位框对应的左眼局部图像后,根据右眼定位框在待处理图像中位置以及左眼定位框在待处理图像中的位置,将右眼局部图像与左眼局部图像进行组装,以得到人脸图像。
进一步,在本实施例的一个实现方式中,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
E10、将获取到的目标特征区域组中的各目标特征区域均映射至第三图像以得到第三输入图像,其中,所述第三图像中的每个像素点的像素值均为预设值,目标特征区域组包括人脸特征区域以及人脸特征区域各自对应的细节约束区域;
E20、基于所述第三输入图像,通过已训练的生成网络模型生成所述目标人脸对应的人脸重构图像。
具体地,所述第三图像的图像尺度与生成网络模型的输入图像的图像尺度一样,例如,所述生成网络模型的输入图像的图像尺度为3×256×256,那么所述第三图像的图像尺度为3×256×256,其中,所述图像尺度包括图像的宽、高以及通道数。所述将获取到的目标特征区域组中的各目标特征区域均映射至第三图像指的是将目标特征区域组中所有目标特征区域映射至第三图像,使得第三图像携带目标特征区域组中的所有目标特征区域。此外,值得说明的是,当将目标特征区域组中的所有目标特征区域映射至第三图像后,第三图像中各目标特征区域的位置关系与各目标特征区域在待处理图像中的位置关系一致。
进一步,为了避免第三图像携带的图像内容对生成网络模型产生影响,在本实施例的一个实现方式中,所述将所述第三图像中各像素点的像素值可以设置为预设值。可以理解的是,对于第三图像中的每个像素点,该像素点的像素值均为第三预设值,使得所述第三图像为纯色图像。在本实施例的一个可能实现方式中,所述第三预设值为0或255,也就是说,所述第二图像为白色图像或者黑色图像。
综上,本实施例提供了一种人脸图像生成方法、存储介质及终端设备,所述人脸图像生成方法包括确定待处理图像中的目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域;根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。本发明以人脸特征区域为约束条件,并将约束条件生成人脸图像,这样通过采用人脸特征区域,并以人脸特征区域的细节约束区域作为人脸特征区域的约束条件,这样更加准确的获取人脸特征区域对应的图像细节,从而可以提高人脸图像的分辨率,进而可以扩宽人脸图像的使用范围。
进一步,在申请的一个本实施例的中,在获取到人脸特征区域后,可以通过调整获取到人脸特征区域来对该人脸图像框对应的人脸部位进行调整。相应的,所述基于获取到的人脸特征区域,通过已训练的生成网络模型生成所述待处理图像对应的人脸重构图像之前,所述方法还包括:
接收调整指令,其中,所述调整指令用于对所述人脸特征区域中至少一个人脸特征的配置参数进行调整;
根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域;
采用调整后的人脸特征区域替换该人脸特征区域,以更新所述人脸特征区域。
具体地,所述调整指令可以是根据用户输入生成的指令,可以是外部设备传输的指令,也可以是预先配置的指令,其中,当调整指令为预先配置的指令时,调整指令的触发条件为获取到人脸特征区域以及人脸特征区域对应的细节约束区域。所述调整指令包含人脸特征区域尺寸、人脸特征区域位置以及配置颜色中的一种或多种,以便于根据调整指令对该调整指令对应的人脸特征区域进行修正。
进一步,在本实施例的一个实现方式中,所述调整指令包含人脸特征区域尺寸和/或人脸特征区域位置;所述根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域具体为:
按照该人脸特征区域的人脸特征区域尺寸和/或人脸特征区域位置,调整所述调整指令包含的人脸特征区域尺寸和/或人脸特征区域位置,以得到该人脸特征区域对应的调整后的人脸特征区域。
具体地,所述人脸特征区域尺寸用于表示人脸特征区域根据调整指令调整后的尺寸,所述人脸特征区域位置用于表示人脸特征区域根据调整指令调整后位置。在实际应用中,所述人脸特征区域尺寸和/或人脸特征区域位置可以通过修正系数方式表示,即所述调整指令中包含修正系数,其中,所述修正系数可以包括缩放系数、旋转系数以及平移系数中的一种或多种。这样可以通过缩放系数用于对调整指令对应的人脸特征区域或者细节约束区域的尺寸进行缩小或者放大,所述旋转系数用于对调整指令对应的人脸特征区域或者细节约束区域的尺寸进行旋转,所述平移系数用于对调整指令对应的人脸特征区域或者细节约束区域的尺寸进行平移。可以理解的是,在人脸特征区域以及人脸特征区域对应的细节约束区域后,可以对任一人脸特征区域或任一细节约束区域的大小以及位置进行调整,这样可以提高生成的人脸图像的美观性或者趣味性等。例如,通过对鼻子定位框进行调整,可以使得根据调整后的鼻子定位框生成长鼻子。这样在本申请的人脸生成方法可以生成高分辨率的人脸图像的基础上,还可以通过对人脸特征区域进行修改,使得通过本申请的人脸生成方法可以生成待处理图中的人脸图像的变形人脸图像,提高了本申请提供的人脸生成方法的适用范围。
进一步,在本申请的一个实施例中,在获取到人脸特征区域后,可以为该人脸特征区域配置颜色,以使得根据该人脸特征区域生成的人脸部分的颜色与配置颜色相同。相应的,所述基于获取到的人脸特征区域,通过已训练的生成网络模型生成所述待处理图像对应的人脸重构图像之前,所述方法还包括:
接收用于为人脸特征区域配置颜色的控制指令,其中,所述调整指令包含配置颜色;所述根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域具体为:
将所述人脸特征区域的配置颜色设置为调整指令包含的配置颜色配置于,以得到该人脸特征区域对应的调整后的人脸特征区域。
具体地,所述颜色信息可以包括任意颜色,例如,红色、绿色以及黄色等等。可以理解的是,在人脸特征区域以及人脸特征区域对应的细节约束区域后,通过为任一人脸特征区域配置颜色,使得根据人脸特征区域以及人脸特征区域各自对应的细节约束区域生成人脸重构图像中,所述人脸重构图像中与调整指令对应的人脸特征区域对应的人脸部位的颜色与所述调整指令包含的配置颜色相同,这样可以对在生成人脸图像时,可以对各人脸特征区域对应的人脸部位的颜色进行美化,提高生成的人脸图像的美感;或者可以使得人脸特征区域对应的人脸部位显示特定颜色,以提高生成的人脸图像的趣味性。例如,为对鼻子定位框配置绿色,可以使得配置颜色信息的鼻子定位框生成绿色鼻子。这样在本申请的人脸生成方法可以生成高分辨率的人脸图像的基础上,还可以通过为人脸特征区域配置颜色,使得通过本申请的人脸生成方法可以生成人脸图像携带该配置颜色,以满足不同用户需求。
基于上述人脸图像生成方法,本实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的人脸图像生成方法中的步骤。
基于上述人脸图像生成方法,本发明还提供了一种终端设备,如图11所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及移动终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (17)
1.一种人脸图像生成方法,其特征在于,所述方法包括:
获取待处理图像,其中,所述待处理图像包括目标人脸;
确定所述目标人脸对应的人脸特征区域,以及所述人脸特征区域对应的细节约束区域;
根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像。
2.根据权利要求1所述人脸图像生成方法,其特征在于,所述人脸重构图像的分辨率高于所述待处理图像的分辨率。
3.根据权利要求1所述人脸图像生成方法,其特征在于,所述人脸特征区域包括若干个人脸特征区域,其中,一个人脸特征区域对应一个人脸特征部位;所述人脸特征区域至少包括眼睛特征区域、鼻子特征区域、嘴部特征区域以及眉毛特征区域。
4.根据权利要求1所述人脸图像生成方法,其特征在于,所述确定所述目标人脸对应的人脸特征区域具体包括:
获取所述目标人脸的五官定位区域;
基于所述五官定位区域以及待处理图像,确定所述目标人脸对应的人脸特征区域,其中,所述人脸特征区域为所述五官定位区域的细节约束区域。
5.根据权利要求4所述人脸图像生成方法,其特征在于,所述获取所述目标人脸的五官定位区域具体包括:
获取目标人脸对应的人脸定位区域;
基于所述人脸定位区域以及待处理图像,确定所述目标人脸对应的五官定位区域,其中,所述五官定位区域为所述人脸定位区域的细节约束区域。
6.根据权利要求1所述人脸图像生成方法,其特征在于,确定所述人脸特征区域对应的细节约束区域具体包括:
根据所述人脸特征区域以及所述待处理图像,确定所述人脸特征区域对应的细节约束区域。
7.根据权利要求6所述人脸图像生成方法,其特征在于,所述根据所述人脸特征区域以及所述待处理图像,确定所述人脸特征区域对应的细节约束区域具体包括:
将所述人脸特征区域以及待处理图像输入经过训练的第一网络模型,通过第一网络模型输出所述人脸特征区域对应的细节约束区域。
8.根据权利要求1所述人脸图像生成方法,其特征在于,所述人脸特征区域包括若干人脸特征区域,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
针对每个人脸特征区域,根据该人脸特征区域对应的若干个细节约束区域,确定各个人脸特征区域各自分别对应的局部图像;
根据所述人脸特征区域各自分别对应的局部图像,确定所述目标人脸对应的人脸重构图像。
9.根据权利要求1所述人脸图像生成方法,其特征在于,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像具体包括:
根据人脸特征区域以及人脸特征区域对应的细节约束区域确定参考特征区域,其中,所述参考特征区域包括人脸特征区域以及人脸特征区域对应的细节约束区域;
根据所述参考特征区域以及所述待处理图像,确定所述待处理图像对应的人脸重构图像。
10.根据权利要求9所述人脸图像生成方法,其特征在于,所述参考特征区域包括人脸定位区域以及五官定位区域。
11.根据权利要求1所述人脸图像生成方法,其特征在于,所述根据所述人脸特征区域以及人脸特征区域对应的细节约束区域,确定所述目标人脸对应的人脸重构图像之前,所述方法还包括:
接收调整指令,其中,所述调整指令用于对所述人脸特征区域中至少一个人脸特征的配置参数进行调整;
根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域;
采用调整后的人脸特征区域替换该人脸特征区域,以更新所述人脸特征区域。
12.根据权利要求11所述人脸图像生成方法,其特征在于,所述调整指令包括人脸特征区域尺寸、人脸特征区域位置以及配置颜色中的一种或多种。
13.根据权利要求12所述人脸图像生成方法,其特征在于,所述调整指令包含人脸特征区域尺寸和/或人脸特征区域位置;所述根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域具体为:
按照该人脸特征区域的人脸特征区域尺寸和/或人脸特征区域位置,调整所述调整指令包含的人脸特征区域尺寸和/或人脸特征区域位置,以得到该人脸特征区域对应的调整后的人脸特征区域。
14.根据权利要求12所述人脸图像生成方法,其特征在于,所述调整指令包含配置颜色;所述根据所述调整指令对该人脸特征区域的配置参数进行调整,以得到该人脸特征区域对应的调整后的人脸特征区域具体为:
将所述人脸特征区域的配置颜色设置为调整指令包含的配置颜色配置于,以得到该人脸特征区域对应的调整后的人脸特征区域。
15.根据权利要求14所述人脸图像生成方法,其特征在于,所述人脸重构图像中与该人脸特征区域对应的人脸部位的颜色与所述调整指令包含的配置颜色相同。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-15任意一项所述的人脸图像生成方法中的步骤。
17.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-15任意一项所述的人脸图像生成方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010479061.6A CN113744130B (zh) | 2020-05-29 | 2020-05-29 | 一种人脸图像生成方法、存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010479061.6A CN113744130B (zh) | 2020-05-29 | 2020-05-29 | 一种人脸图像生成方法、存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744130A true CN113744130A (zh) | 2021-12-03 |
CN113744130B CN113744130B (zh) | 2023-12-26 |
Family
ID=78725077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010479061.6A Active CN113744130B (zh) | 2020-05-29 | 2020-05-29 | 一种人脸图像生成方法、存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744130B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160117544A1 (en) * | 2014-10-22 | 2016-04-28 | Hoyos Labs Ip Ltd. | Systems and methods for performing iris identification and verification using mobile devices |
CN106056562A (zh) * | 2016-05-19 | 2016-10-26 | 京东方科技集团股份有限公司 | 一种人脸图像处理方法、装置及电子设备 |
CN108921782A (zh) * | 2018-05-17 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
US20180374197A1 (en) * | 2016-11-30 | 2018-12-27 | Boe Technology Group Co., Ltd. | Human face resolution re-establishing method and re-establishing system, and readable medium |
-
2020
- 2020-05-29 CN CN202010479061.6A patent/CN113744130B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160117544A1 (en) * | 2014-10-22 | 2016-04-28 | Hoyos Labs Ip Ltd. | Systems and methods for performing iris identification and verification using mobile devices |
CN106056562A (zh) * | 2016-05-19 | 2016-10-26 | 京东方科技集团股份有限公司 | 一种人脸图像处理方法、装置及电子设备 |
US20180374197A1 (en) * | 2016-11-30 | 2018-12-27 | Boe Technology Group Co., Ltd. | Human face resolution re-establishing method and re-establishing system, and readable medium |
CN108921782A (zh) * | 2018-05-17 | 2018-11-30 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
HAGELIN, PM 等: "ARTIFICIAL NEURAL NETWORKS FOR LOCATING EYES IN FACIAL IMAGES", 《MECHATRONICS》 * |
曹杨;李晓光;卓力;沈兰荪;: "基于区域自适应学习的人脸图像超分辨率复原", 测控技术 * |
Also Published As
Publication number | Publication date |
---|---|
CN113744130B (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112989904B (zh) | 风格图像生成方法、模型训练方法、装置、设备和介质 | |
US20170243053A1 (en) | Real-time facial segmentation and performance capture from rgb input | |
CN111754415B (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
JPH09135447A (ja) | 知的符号化/復号方法、特徴点表示方法およびインタラクティブ知的符号化支援装置 | |
CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
CN111008927A (zh) | 一种人脸替换方法、存储介质及终端设备 | |
CN109993824B (zh) | 图像处理方法、智能终端及具有存储功能的装置 | |
CN110619334A (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
CN112991165B (zh) | 一种图像的处理方法及装置 | |
CN109255763A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
CN115908753B (zh) | 一种全身人体网格表面重建方法及相关装置 | |
CN116704084B (zh) | 人脸动画生成网络的训练方法、人脸动画生成方法及装置 | |
CN112507766B (zh) | 人脸图像提取方法、存储介质及终端设备 | |
CN110751026B (zh) | 视频处理方法及相关装置 | |
CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
CN113744130B (zh) | 一种人脸图像生成方法、存储介质及终端设备 | |
CN116342385A (zh) | 文本图像超分辨率网络的训练方法、装置以及存储介质 | |
US20220138906A1 (en) | Image Processing Method, Apparatus, and Device | |
CN115908712A (zh) | 基于图像的三维重建及模型训练方法、设备及存储介质 | |
CN115311145A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 | |
CN112150608A (zh) | 一种基于图卷积神经网络的三维人脸重建方法 | |
CN114596198A (zh) | 一种图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |