CN111754415B - 人脸图像处理方法及装置、图像设备及存储介质 - Google Patents

人脸图像处理方法及装置、图像设备及存储介质 Download PDF

Info

Publication number
CN111754415B
CN111754415B CN201910804179.9A CN201910804179A CN111754415B CN 111754415 B CN111754415 B CN 111754415B CN 201910804179 A CN201910804179 A CN 201910804179A CN 111754415 B CN111754415 B CN 111754415B
Authority
CN
China
Prior art keywords
face
face image
key point
point information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910804179.9A
Other languages
English (en)
Other versions
CN111754415A (zh
Inventor
吴文岩
钱晨
孙克强
吴潜溢
徐园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201910804179.9A priority Critical patent/CN111754415B/zh
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to PCT/CN2020/087231 priority patent/WO2021036314A1/zh
Priority to KR1020207037361A priority patent/KR102367909B1/ko
Priority to MYPI2021001457A priority patent/MY196307A/en
Priority to AU2020339292A priority patent/AU2020339292A1/en
Priority to JP2020572973A priority patent/JP7129502B2/ja
Priority to EP20859023.2A priority patent/EP3839879B1/en
Priority to SG11202102762VA priority patent/SG11202102762VA/en
Priority to TW109121629A priority patent/TWI770542B/zh
Publication of CN111754415A publication Critical patent/CN111754415A/zh
Priority to US17/203,171 priority patent/US11941854B2/en
Application granted granted Critical
Publication of CN111754415B publication Critical patent/CN111754415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开实施例公开一种人脸图像处理方法及装置、图像设备及存储介质。所述人脸图像处理方法，包括：获取第一人脸图像的第一关键点信息；对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息；所述第二人脸几何属性不同于所述第一关键点信息对应的第一人脸几何属性；利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像。

Description

人脸图像处理方法及装置、图像设备及存储介质
技术领域
本公开涉及信息技术领域，尤其涉及一种人脸图像处理方法及装置、图像设备及存储介质。
背景技术
在人脸图像处理过程中，用户可能需要将自己的人脸转变为自己喜欢的人脸。具体如，将年长的人脸图像转变为年轻的人脸图像。在相关技术中，会利用各种神经网络进行人脸图像从原始人脸到目标人脸的变换，但是实践表明这种变换往往伴随着用户不期望看到的变换，导致变换效果差的问题。
发明内容
有鉴于此，本公开实施例期望提供一种人脸图像处理方法及装置、图像设备及存储介质。
本公开的技术方案是这样实现的：
本公开实施例第一方面提供一种人脸图像处理方法，其特征在于，包括：获取第一人脸图像的第一关键点信息；对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息；所述第二人脸几何属性不同于所述第一关键点信息对应的第一人脸几何属性；利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像。
在本公开实施例中，基于第一关键点信息进行的人脸几何属性变形，和人脸纹理编码处理是分开的，而人脸几何属性变形和人脸纹理编码处理不再是统一利用神经网络执行，减少统一利用神经网络同时进行几何属性变形和人脸纹理编码，导致的几何属性的变形不受控导致的变形效果差的现象，提升了人脸图像的变形效果。
基于上述方案，在对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点之后，所述方法还包括：基于所述第二关键点信息，对所述第一人脸图像进行调整，得到第三人脸图像；在利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像之后，所述方法还包括：将所述第二人脸图像和所述第三人脸图像进行融合，得到第四人脸图像。
在本申请实施例中，通过第三人脸图像的生成，在生成第二人脸图像之后，通过第二人脸图像和第三人脸图像的融合，可以减少第二人脸图像在人脸纹理编码处理中的细节缺失，使得第四人脸图像相对于第二人脸图像具有更多的人脸细节，提升了人脸图像处理后的精细度。基于上述方案，所述方法还包括：将被展示的所述第一人脸图像替换为所述第四人脸图像。基于上述方案，所述方法还包括：将被展示的所述第一人脸图像替换为所述第二人脸图像。
在本申请实施例中可以将被展示的第一人脸图像直接替换为第二人脸图像或第四人脸图像，以便可以在调整后的图像中展示变形后的人脸图像，具有操作简单的优点。
基于上述方案，所述利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像包括：根据所述第二关键点信息，生成目标人脸的掩码图，其中，所述掩码图在由描述人脸轮廓的各第二关键点信息围成的人脸图像区域的像素点为第一设定值，在所述人脸图像区域以外的像素点为第二设定值；将所述掩码图与所述第一人脸图像融合，生成第五人脸图像，其中，所述第五人脸图像中保留所述第一人脸图像中由描述人脸轮廓的各第二关键点信息围成的人脸图像区域；根据所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述第五人脸图像和所述轮廓图输入至生成网络进行人脸纹理编码，得到所述第二人脸图像。
本公开实施例中通过第五人脸图像和轮廓图的生成，再进行人脸纹理编码处理得到第二人脸图像，具有实现简便及变形效果好的特点。
基于上述方案，所述方法还包括：根据所述第一关键点信息，确定所述第一人脸几何属性；获取所述第二人脸几何属性；所述对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息，包括：利用所述第一人脸几何属性和所述第二人脸几何属性共同对应的人脸几何属性变换参数，对所述第一关键点信息进行位置变换得到所述第二关键点信息。
本公开实施例给出了基于人脸几何属性变换参数进行第一关键点信息到第二关键点信息的变换，具有变换简单便捷且具有变形效果好的特点。
基于上述方案，不同的所述第一人脸几何属性对应的人脸几何属性变换参数不同；和/或，不同的所述第二人脸几何属性对应的人脸几何属性变换参数不同。
不同的第一人脸几何属性和第二人脸几何属性对应了不同的人脸几何属性变换参数，如此，可以有针对性的进行具有不同人脸几何属性之间的第一关键点信息到第二关键点信息的变换，从而提升了人脸几何属性的变形效果。
基于上述方案，所述利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像，包括：基于所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述轮廓图输入至生成网络，进行人脸纹理编码，得到所述第二人脸图像。
本公开实施例中通过轮廓图的生成，再进行人脸纹理编码处理得到第二人脸图像，具有实现简便及变形效果好的特点。
本公开实施例第二方面提供一种人脸图像处理装置，包括：第一获取模块，用于获取第一人脸图像的第一关键点信息；变换模块，用于对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息；所述第二人脸几何属性不同于所述第一关键点信息对应的第一人脸几何属性；编码模块，用于利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像。
在本公开实施例中，基于第一关键点信息进行的人脸几何属性变形，和人脸纹理编码处理是分开的，而不再是和人脸纹理编码处理统一利用神经网络执行，减少了统一利用神经网络指向导致的几何属性的变形不受控导致的变形效果差的现象，提升了人脸图像的变形效果。
基于上述方案，在对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点之后，所述变换模块，还用于基于所述第二关键点信息，对所述第一人脸图像进行调整，得到第三人脸图像；在利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像之后，所述装置还包括：融合模块，用于将所述第二人脸图像和所述第三人脸图像进行融合，得到第四人脸图像。
在本申请实施例中，通过第三人脸图像的生成，在生成第二人脸图像之后，通过第二人脸图像和第三人脸图像的融合，可以减少第二人脸图像在人脸纹理编码处理中的细节缺失，使得第四人脸图像相对于第二人脸图像具有更多的人脸细节，提升了人脸图像处理后的精细度。
基于上述方案，所述装置还包括：第一替换模块，用于将被展示的所述第一人脸图像替换为所述第四人脸图像。基于上述方案，所述装置还包括：第二替换模块，用于将被展示的所述第一人脸图像替换为所述第二人脸图像。
在本申请实施例中可以将被展示的第一人脸图像直接替换为第二人脸图像，具有操作简单的优点。
基于上述方案，所述编码模块，具体用于根据所述第二关键点信息，生成目标人脸的掩码图，其中，所述掩码图在由描述人脸轮廓的各第二关键点信息围成的人脸图像区域的像素点为第一设定值，在所述人脸图像区域以外的像素点为第二设定值；将所述掩码图与所述第一人脸图像融合，生成第五人脸图像，其中，所述第五人脸图像中保留所述第一人脸图像中由描述人脸轮廓的各第二关键点信息围成的人脸图像区域；根据所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述第五人脸图像和所述轮廓图输入至生成网络进行人脸纹理编码，得到所述第二人脸图像。
本公开实施例中通过掩码图和轮廓图的生成，再进行人脸纹理编码处理得到第二人脸图像，具有实现简便及变形效果好的特点。
基于上述方案，所述装置还包括：确定模块，用于根据所述第一关键点信息，确定所述第一人脸几何属性；第二获取模块，用于获取目标人脸的第二几何属性；所述变换模块，用于利用所述第一人脸几何属性和所述第二人脸几何属性共同对应的人脸几何属性变换参数，对所述第一关键点信息进行位置变换得到所述第二关键点信息。
本公开实施例给出了基于人脸几何属性变换参数进行第一关键点信息到第二关键点信息的变换，具有变换简单便捷且具有变形效果好的特点。
基于上述方案，不同的所述第一人脸几何属性对应的人脸几何属性变换参数不同；和/或，不同的所述第二人脸几何属性对应的人脸几何属性变换参数不同。
不同的第一人脸几何属性和第二人脸几何属性对应了不同的人脸几何属性变换参数，如此，可以有针对性的进行具有不同人脸几何属性之间的第一关键点信息到第二关键点信息的变换，从而提升了人脸几何属性的变形效果。
基于上述方案，所述编码模块，用于基于所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述轮廓图输入至生成网络，进行人脸纹理编码，得到所述第二人脸图像。
本公开实施例中通过轮廓图的生成，再进行人脸纹理编码处理得到第二人脸图像，具有实现简便及变形效果好的特点。
本公开实施例第三方面提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述第一方面任意技术方案提供的方法步骤。
本公开实施例第四方面提供一种图像设备，包括：
存储器；
处理器，分别与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，实现前述第一方面任意技术方案提供的方法步骤。
本公开实施例提供的技术方案，在进行第一人脸图像中原始人脸的变换时，将第一关键点信息通过位置变换得到第二关键点信息之后，就相当于将第一人脸图像中的人脸的第一人脸几何属性转变为了第二人脸几何属性。在完成人脸几何属性变换之后，再利用神经网络和第二关键点信息，进行人脸纹理编码，从而实现了纹理属性编码和几何属性变换的分离处理，相对采用深度学习模型统一进行几何属性变换和纹理属性变换，可以减少深度学习模型在进行几何变换时的随机性，提升人脸图像变换的质量及鲁棒性。
附图说明
图1为本公开实施例提供的一种人脸图像处理方法的流程示意图；
图2为本公开实施例提供的另一种人脸图像处理方法的流程示意图；
图3A为本公开实施例提供的一种掩码图的示意图；
图3B为本公开实施例提供的一种热力图的示意图；
图4为本公开实施例提供的再一种人脸图像处理方法的流程示意图；
图5A为本公开实施例提供一种人脸的人脸几何属性变换参数的转换示意图；
图5B为本公开实施例提供另一种人脸的人脸几何属性变换参数的转换示意图；
图5C为本公开实施例提供再一种人脸的人脸几何属性变换参数的转换示意图；
图6为本公开实施例提供的一种人脸图像处理装置的结构示意图；
图7为本公开实施例提供一种人脸图像处理方法的流程示意图；
图8为本公开实施例提供的图像设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本公开的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种人脸图像处理方法，包括：
步骤110：获取第一人脸图像的第一关键点信息；
步骤120：对第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息；第二人脸几何属性不同于第一关键点信息对应的第一人脸几何属性人脸几何属性；
步骤130：利用神经网络和第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像。
本公开实施例提供的人脸图像处理方法，可应用于各种图像设备中，该图像设备可包括各种具有信息处理能够的终端设备和服务器。终端设备可包括：手机、平板电脑或可穿戴式设备等；服务器可为进行图像处理的服务器。
第一人脸图像为原始人脸的图像，步骤110中获取第一人脸的第一关键点信息，可包括利用神经网络等检测第一人脸图像，会得到表示原始人脸的第一人脸几何属性的多个第一关键点信息。例如，可以得到原始人脸的106个第一关键点信息，并知道这些第一关键点信息在第一人脸图像中的位置信息。
不同的第一关键点信息，至少所包含的位置信息不同。
在一些实施例中，第一关键点信息包括：关键点在第一人脸图像中的位置信息；位置信息包括但不限于人脸的关键点在第一人脸图像中的坐标。
在一些实施例中，第一关键点信息还可包括：关键点标识。关键点标识，用于表征人脸不同结构关键点。例如，颧骨关键点信息所包含的关键点标识不同于下巴关键点信息所包含的关键点标识。该关键点标识包括但不限于关键点编号和/或关键点名称。
在步骤120中进行第一关键点信息的位置变换，得到第二关键点信息，变换后的第二关键点信息相对于第一关键点信息的位置信息可发生了变换。
在一些实施例中，位置信息可包括：像素级别的坐标，如此，基于第一关键点信息进行人脸变换得到的第二人脸图像，可以实现像素级别的人脸变化，基于像素级别的人脸变换，具有变换效果精细度高的特点。例如，一幅图像中，每一个像素都是编号的，像素级别的坐标，是关键点的位置信息以像素坐标进行表示。
第一关键点可包括以下至少之一：人脸轮廓关键点，脸部外轮廓关键点；五官关键点，例如，眼睛关键点、鼻子关键点、唇部关键点。
这些第一关键点自身的位置，及各第一关键点之间的相对位置，决定了第一人脸图像中原始人脸的形状，是原始人脸的一种人脸几何属性。
在本实施例中，在确定第一关键点信息之后会对原始人脸进行人脸几何属性变换，从而改变第一关键点信息得到位置变换后的第二关键点信息。
在本实施例中，进行原始人脸的人脸几何属性变换，可以基于人脸几何属性变换参数，对第一关键点信息进行位置变换。例如，利用变换矩阵等人脸几何属性变换参数，以第一关键点信息为已知量进行运算，得到运算更新的坐标，此时的坐标为第二关键点信息。
如此，在步骤120中得到第二关键点信息之后，就相当于完成了原始人脸到目标人脸变换的人脸几何属性的变换，而非利用神经网络进行变换；减少因为利用神经网络进行原始人脸的人脸几何属性变换的不可控因素，从而提升人脸图像的变化效果及鲁棒性。
在步骤130中，利用神经网络和第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像。
此处的人脸纹理编码包括但不限于：
人脸皮肤纹理编码；人脸褶皱纹理编码；毛发纹理编码。
在具体的实现过程中，不同的第二关键点信息之间的区域可是对应了人脸的不同部位，例如，颧骨关键点信息之间和鼻梁关键点信息之间的区域为苹果肌，嘴唇关键点信息和下巴关键点信息之间区域是下巴区域。
不同部位的皮肤区域的色泽和/或纹理不同；且不同皮肤区域的皮肤皱纹纹理不同。再例如，眉骨所在区域需要编码形成眉毛，如此，眉毛的纹理编码与人脸皮肤纹理编码是不同的。
如此，在本公开实施例中，从第一人脸图像中的原始人脸到第二人脸图像中目标人脸的人脸变换过程中，人脸的人脸几何属性和纹理属性的变换是采用不同的方式，减少了采用神经网络统一处理人脸几何属性和纹理属性导致的变换效果差的现象，提升了人脸变换的效果，并且确保了人脸变换的鲁棒性。例如，减少直接统一利用神经网络对原始人脸变换得到目标人脸所产生的脸部边缘及眼珠等位置出形状怪异的现象，从而提升了变换效果。
在一些实施例中，在步骤120之后，方法还可包括：
步骤121：基于第二关键点信息，对第一人脸图像进行调整，得到第三人脸图像。
在一些实施例中，图像设备可以将第一关键点信息从第一人脸图像提取之后进行变换得到第二关键点信息。
得到第二关键点信息之后，对第一人脸图像进行调整得到第三人脸图像。
例如，图像设备可以直接对第一人脸图像进行像素级别的变换处理，从而得到第一关键点信息的坐标位置变更后第三人脸图像。
本公开实施例中，第三人脸图像中的人脸相对于第一人脸图像中的原始人脸，人脸几何属性是发生了变换的。
例如，人脸几何属性可包括以下之一：五官的形状，例如，眼睛的形状、鼻子的形状或唇部的形状；五官之间的相对位置，例如，双眼之间间距；鼻头与唇部之间的间距；脸部轮廓线；发际线；头发形状等。
在一些实施例中，在将第一关键点信息位置变换后得到的第二关键点信息后，可以利用生成网络和第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像，从而实现第一人脸图像的纹理属性变换，从而得到编码后的目标人脸。
在一些实施例中，如图2所示，在步骤120之后，方法还包括：
步骤140：将第二人脸图像和第三人脸图像进行融合，得到第四人脸图像。
在本实施例中，若纹理编码生成第二人脸图像时可能会出现一些细节丢失，例如，人脸皮肤的细纹丢失等，为了提高人脸图像的变换效果，会进一步将第二人脸图像和第三人脸图像进行融合，融合后可以利用第三人脸图像中保留着的细节补充第二人脸图像丢失的至少部分细节，从而得到图像质量比第二人脸图像更好的第四人脸图像。
第二人脸图像和第三人脸图像的融合可包括以下至少之一：
方式一，将第二人脸图像和第三人脸图像进行逐个像素的加权平均，得到第四人脸图像中逐个像素的像素值；
方式二，确定将第二人脸图像中色彩值与预定色彩值差异范围大于范围阈值的特定区域，利用第三人脸图像中特定区域的色彩值替代第二人脸图像中特定区域的色彩值。
第二人脸图像和第三人脸图像的融合方式有多种，以上仅是两种可选方式。
在一些公开实施例中，会将被展示的第一人脸图像替换为第四人脸图像。如此，将展示的第一人脸图像被替换为第四人脸图像之后，用户将看到进行了人脸几何属性和纹理属性变换后的人脸图像。
在一些实施例中，第一人脸图像是从一张原始图像中抠图得到的，则人脸图像处理方法还包括：将预定图像中的第一人脸图像替换为第四人脸图像。
在一些实施例中，将第四人脸图像与预定图像中除了第一人脸图像以外的背景区域进行融合，生成更新后的图像。更新后的图像与预定图像相比包含的背景相同，但是人脸图像已经经过了变换。
在一些实施例中，方法还包括：将被展示的第一人脸图像替换为第二人脸图像。
如果在未生成第三人脸图像和/或第四人脸图像的情况下，可以直接将被展示的第一人脸图像替换为第二人脸图像即可。
在上述实施例中，被展示的可以是完整图像或视频帧，而第一人脸图像可以是完整图像或视频帧中的一部分图像区域。
在一些实施例中，在根据期望的目标人脸的第二人脸几何属性，基于人脸的人脸几何属性变换参数对第一关键点信息进行位置变换得到第二关键点信息之后，步骤130可包括：
根据第二关键点信息，生成目标人脸的掩码图，其中，掩码图在由描述人脸轮廓的各第二关键点信息围成的人脸图像区域的像素点为第一设定值，在人脸图像区域以外的像素点为第二设定值；
将掩码图与第一人脸图像融合，生成第五人脸图像，其中，第五人脸图像中保留第一人脸图像中由描述人脸轮廓的各第二关键点信息围成的人脸图像区域；
根据第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，轮廓图中部位轮廓线上的像素点为第三设定值，除部位轮廓线之外的像素点为第四设定值；部位轮廓线由描述各人脸部位的第二关键点信息围成；
将第五人脸图像和轮廓图输入至生成网络进行人脸纹理编码，得到第二人脸图像。
掩码图中人脸图像区域内像素点的像素值为：第一设定值；在人脸图像区域之外的像素值为第二设定值。第二设定值与第一设定值不同。例如，第一设定值为“1”，第二设定值为“0”。
在一些实施例中，可以直接将掩码图和轮廓图输入到神经网络，神经网络可以输出第二人脸图像。
在另一些实施例中，为了提升第二人脸图像的图像质量，会进一步将掩码图与第一人脸图像进行融合得到第五人脸图像。而第五人脸图像是：将第一人脸图像中人脸图像区域的像素值替换了掩码图像中人脸图像区域的像素值的图像。
例如，图3A为一种第五人脸图像的示意图。
第五人脸图像相对于掩码图而言，在人脸图像区域像素点的像素值不再是单一的第一设定值，而是第一人脸图像中人脸图像区域的像素值，可以为任意不为零的正数。
各部位轮廓线可包括以下至少一种：脸部轮廓线、眉毛轮廓线、眼睛轮廓线、鼻子轮廓线、嘴巴轮廓线。
轮廓图的形式有多种，以下提供另种可选轮廓图：
第一种：轮廓热力图；示例性的，在轮廓热力图中，各部位轮廓线的宽度可为预定个像素，预定个数可为1个或多个。例如，2至5个像素等预定个像素。目标人脸轮廓的人脸几何属性的轮廓热力图中，在轮廓线所在区域内，距离轮廓像素所在位置越近的像素值越大；且在轮廓线所在区域内，距离轮廓像素所在位置越远的像素值越小。在轮廓线所在区域外的像素值可为“0”。在轮廓热力图中第三设定值的取值有多个，具体取决于与轮廓像素之间的距离。
第二种：轮廓连线图。轮廓连线图为：基于第二关键点信息连线形成的图像。例如，在轮廓连线图中连线所经过的像素点的像素值为第三设定值，在连线未经过像素点的像素值为第四设定值。第三设定值不同于第四设定值。图3B为一种轮廓连线图的示意图。在图3B中第三设定值为可为白色像素的像素值，第四设定值为黑色像素的像素值。轮廓连线图中轮廓的宽度同样可为一个或多个像素。
在一些实施例中，如图4所示，方法还包括：
步骤101：根据第一关键点信息，确定第一人脸几何属性；
步骤102：获取第二人脸几何属性；
步骤120可包括：利用第一人脸几何属性和第二人脸几何属性共同对应的人脸几何属性变换参数，对第一关键点信息进行位置变换得到第二关键点信息。
原始人脸可能为一个方脸，但是用户期望的脸型是一个瓜子脸；则通过第一关键点信息的提取就能够知道原始的得第一人脸几何属性，基于用户输入或者当前所在变换场景，可以确定出第二人脸几何属性。例如，当前所在场景为人脸年轻化，则年轻人脸相对于年长的人脸可能脸型要圆一些。总之本公开确定目标人脸的第二人脸几何属性的方式有很多种，不局限于上述举例。
参考图5A至图5C所示，图5A所示为方脸可以通过人脸几何属性变换参数1变换为鹅蛋脸；图5B所示为方脸可以通过人脸几何属性变换参数2变换成瓜子脸；图5C所示为鹅蛋脸通过人脸几何属性变换参数3变换为瓜子脸。
人脸几何属性变换参数1不同于人脸几何属性变换参数2；人脸几何属性变换参数2不同于人脸几何属性变换参数3；人脸几何属性变换参数3不同于人脸几何属性变换参数1。
在确定出第一人脸几何属性和第二人脸几何属性之后，就能够确定出需要使用的几何属性变换关系了。
一旦确定了人脸几何属性变换参数，就可以利用该人脸几何属性变换参数，对第一关键点信息进行位置变换得到第二关键点信息。
在一些实施例中，不同的第一人脸几何属性对应的人脸几何属性变换参数不同。例如，圆脸和方脸需要变换为瓜子脸，采用的人脸几何属性变换参数是不同。
在另一些实施例中，不同的第二人脸几何属性对应的人脸几何属性变换参数不同。例如，圆脸需要分别变成瓜子脸或鹅蛋脸是需要不同的人脸几何属性变换参数的。
人脸图像在处理过程中，对应了不同的第一人脸几何属性和第二人脸几何属性，设置了不同的人脸几何属性变换参数，可以实现不同人脸几何属性的人脸之间的高质量变换。
在一些实施例中，步骤130可包括：基于第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，轮廓图中部位轮廓线上的像素点为第三设定值，除部位轮廓线之外的像素点为第四设定值；部位轮廓线由描述各人脸部位的第二关键点信息围成；
将轮廓图输入至生成网络进行人脸纹理编码，得到第二人脸图像。通过此方式生成的第二人脸图像，纹理可能不同于第一人脸图像，也可以作为人脸属性变换的一种方式。
如图6所示，本实施例提供一种人脸图像处理装置，包括：
第一获取模块110，用于获取第一人脸图像的第一关键点信息；
变换模块120，用于对第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息；第二人脸几何属性不同于第一关键点信息对应的第一人脸几何属性；
编码模块130，用于利用神经网络对和第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像。
在一些实施例中，第一获取模块110、变换模块120及编码模块130可为程序模块；程序模块被处理器执行后，能够实现前述的第一关键点信息的获取、第一关键点信息到第二关键点信息的变换及人脸纹理编码等操作。
在另一些实施例中，第一获取模块110、变换模块120及编码模块130可为软硬结合模块；软硬结合模块包括但不限于可编程阵列；可编程阵列包括但不限于复杂可编程阵列或现场可编程阵列。
在还有一些实施例中，第一获取模块110、变换模块120及编码模块130可为纯硬件模块；纯硬件模块包括但不限于专用集成电路。
在对第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点之后，变换模块，还用于基于第二关键点信息，对第一人脸图像进行调整，得到第三人脸图像；
在利用神经网络对和第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像之后，装置还包括：
融合模块，用于将第二人脸图像和第三人脸图像进行融合，得到第四人脸图像。
在一些实施例中，装置还包括：
第一替换模块，用于将被展示的第一人脸图像替换为第四人脸图像。
在一些实施例中，装置还包括：
第二替换模块，用于将被展示的第一人脸图像替换为第二人脸图像。
在一些实施例中，编码模块130，具体用于根据第二关键点信息，生成目标人脸的掩码图，其中，掩码图在由描述人脸轮廓的各第二关键点信息围成的人脸图像区域的像素点为第一设定值，在人脸区域的像素点为第二设定值；将掩码图与第一人脸图像融合，生成第五人脸图像，其中，第五人脸图像中保留第一人脸图像中由描述人脸轮廓的各第二关键点信息围成的人脸图像区域；根据第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，轮廓图轮廓图中部位轮廓线上的像素点为第三设定值，除部位轮廓线之外的像素点为第四设定值；部位轮廓线由描述各人脸部位的第二关键点信息围成；将掩码图和轮廓图输入至生成网络进行人脸纹理编码，得到第二人脸图像。
在一些实施例中，装置还包括：
确定模块，用于根据第一关键点信息，确定第一人脸几何属性；
第二获取模块，用于获取目标人脸的第二几何属性；
变换模块120，用于利用第一人脸几何属性和第二人脸几何属性共同对应的人脸几何属性变换参数，对第一关键点信息进行位置变换得到第二关键点信息。
在一些实施例中，不同的第一人脸几何属性对应的人脸几何属性变换参数不同；和/或，不同的第二人脸几何属性对应的人脸几何属性变换参数不同。
在一些实施例中，编码模块130，用于基于第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，轮廓图中部位轮廓线上的像素点为第三设定值，除部位轮廓线之外的像素点为第四设定值；部位轮廓线由描述各人脸部位的第二关键点信息围成；将轮廓图输入至生成网络，进行人脸纹理编码，得到第二人脸图像。
以下结合上述任意实施例提供几个具体示例：
示例1：
在进行人脸生成的过程中，通过定义或选取新的属性来引导人脸变换是实用性很强的应用，比如指定将一张成年女性的照片生成出其一张年轻化的照片。
针对人脸属性变化这个问题，提出了一种分别从人脸图像几何属性(脸部关键点信息)和人脸纹理属性两个角度，来完成对应的人脸属性生成方案。通过对几何属性和纹理属性的分开处理，可以更好地控制针对不同属性的人脸几何属性变换的模型，将第一关键点信息更加精确转换为第二关键点信息。再利用神经网络和第二关键点信息进行人脸纹理编码处理，从而得到进行人脸几何属性变换后的第二人脸图像。
示例2：
参考图7所示，本公开提供的人脸图像处理方法，可包括：
首先，一个用于获取当前人脸图像的形状信息并针对不同人脸几何属性提供的属性变换模块。对于输入的原图(此处的原图相当于所述第一人脸图像)，通过106个脸部关键点信息的提取，结合106个脸部关键点信息得到人脸的人脸几何属性。此处的人脸几何属性即为形状信息。再根据期望生成的人脸几何属性对当前关键点信息进行对应的位置变换。通过人脸几何属性变换参数提供人脸形状上变换的生成约束，此处通过关键点的位置变换得到的人脸图像可为前述的第三人脸图像。
其次，在拥有了变形之后的目标人脸几何属性的初步约束后，利用一个生成网络来完成纹理上的生成，从而生成出对应属性的人脸纹理编码处理，此处通过人脸纹理编码处理得到的图像可为前述的第二人脸图像。
再次，对生成的人脸图像进行进一步处理。针对生成的人脸在边缘、眼珠等处可能存在一定的不自然现象，利用图像处理的方式，融合了输入的第三人脸图像和网络的输出第二人脸图像来作为最后的输出结果。
参考图7所示，该人脸图像处理方法可具体包括：
构建脸部关键点信息检测网络，回归得到输入图像的106脸部关键点信息，进行关键点信息的位置变换，利用变换后的关键点信息对输入的人脸图像进行几何形变，输出为一个符合期望属性形状约束的一个人脸图像。此处输出的人脸图像可为前述的第三人脸图像。
根据106个脸部关键点信息进行人脸几何属性变换得到期待的人脸几何属性；该人脸几何属性可呈现在对原图变换的中间图像中；
对中间图像进行裁切操作，裁切出包含有变换后人脸的图像区域，从而得到裁切(crop)图像；
对裁切图像进行图像脸部的关键点信息检测，当前此处获取脸部关键点信息的方式还可以是直接基于变换得到的，无需重新检测；重新检测仅是为了进一步确保精确度。
基于裁切图像进行的脸部检测，会生成裁切图像的掩码图及生成裁切图像的热力图。
将掩码图和对应的热度图送入到一个生成网络中，利用一个编码器获得纹理编码，同时配合上关键点信息对应的热度图的形状编码，来生成一个既符合形状约束又符合纹理约束的属性生成结果，即得到生成图像，此处生成图像相当于前述的第二人脸图像。
将裁切图像和生成图像进行肤色融合，进行图像融合来弥补网络在生成时可能产生的细节上的不准确。再利用贴图的方式将背景信息和生成人脸整合起来作为最终的输出，得到融合后的人脸图像，该融合后的人脸图像相当于前述的第四人脸图像。
将融合后的人脸图像替换到原图，与原图中人脸图像区域以外的背景融合形成新的图像。
如图7所示，本实施例提供了一种图像设备，包括：
存储器；
处理器，与存储器连接，用于通过执行位于存储器上的计算机可执行指令，能够实现前述一个或多个实施例提供的人脸图像处理方法，例如，图1至图4及图7所示人脸图像处理方法中的一个或多个。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。存储器可用于信息存储，例如，存储计算机可执行指令等。计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
处理器可以通过总线与存储器连接。总线可为集成电路总线等。
在一些实施例中，图像设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。通信接口同样与处理器连接，能够用于信息收发。
在一些实施例中，电子设备还包括人机交互接口，例如，人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
本实施例提供一种计算机存储介质，计算机存储介质存储有计算机可执行指令；计算机可执行指令被执行后，能够实现前述一个或多个实施例提供的人脸图像处理方法，例如，图1至图4及图7所示人脸图像处理方法中的一个或多个。
计算机存储介质可为包括具有记录功能的各种记录介质，例如，CD、软盘、硬盘、磁带、光盘、U盘或移动硬盘等各种存储介质。可选的计算机存储介质可为非瞬间存储介质，该计算机存储介质可被处理器读取，从而使得存储在计算机存储机制上的计算机可执行指令被处理器获取并执行后，能够实现前述任意一个技术方案提供的信息处理方法，例如，执行应用于终端设备中的信息处理方法或应用服务器中的信息处理方法。
本实施例还提供一种计算机程序产品，计算机程序产品包括计算机可执行指令；计算机可执行指令被执行后，能够实现前述一个或多个实施例提供的人脸图像处理方法，例如，图1及图2所示人脸图像处理方法中的一个或多个。
包括有形地包含在计算机存储介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开实施例提供的方法步骤对应的指令。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本公开任意实施例公开的技术特征，在不冲突的情况下，可以任意组合形成新的方法实施例或设备实施例。
本公开任意实施例公开的方法实施例，在不冲突的情况下，可以任意组合形成新的方法实施例。
本公开任意实施例公开的设备实施例，在不冲突的情况下，可以任意组合形成新的设备实施例。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种人脸图像处理方法，其特征在于，包括：
获取第一人脸图像的第一关键点信息；
对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息；所述第二人脸几何属性不同于所述第一关键点信息对应的第一人脸几何属性；
利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像；
所述利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像，包括：
根据所述第二关键点信息，生成目标人脸的掩码图，其中，所述掩码图在由描述人脸轮廓的各第二关键点信息围成的人脸图像区域的像素点为第一设定值，在所述人脸图像区域以外的像素点为第二设定值；将所述掩码图与所述第一人脸图像融合，生成第五人脸图像，其中，所述第五人脸图像中保留所述第一人脸图像中由描述人脸轮廓的各第二关键点信息围成的人脸图像区域；根据所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述第五人脸图像和所述轮廓图输入至生成网络进行人脸纹理编码，得到所述第二人脸图像；
或者，
基于所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述轮廓图输入至生成网络，进行人脸纹理编码，得到所述第二人脸图像。
2.根据权利要求1所述的方法，其特征在于，在对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点之后，所述方法还包括：
基于所述第二关键点信息，对所述第一人脸图像进行调整，得到第三人脸图像；
在利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像之后，所述方法还包括：
将所述第二人脸图像和所述第三人脸图像进行融合，得到第四人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将被展示的所述第一人脸图像替换为所述第四人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将被展示的所述第一人脸图像替换为所述第二人脸图像。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
根据所述第一关键点信息，确定所述第一人脸几何属性；
获取所述第二人脸几何属性；
所述对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息，包括：
利用所述第一人脸几何属性和所述第二人脸几何属性共同对应的几何属性变换参数，对所述第一关键点信息进行位置变换得到所述第二关键点信息。
6.根据权利要求5所述的方法，其特征在于，不同的所述第一人脸几何属性对应的几何属性变换参数不同；和/或，不同的所述第二人脸几何属性对应的几何属性变换参数不同。
7.一种人脸图像处理装置，其特征在于，包括：
第一获取模块，用于获取第一人脸图像的第一关键点信息；
变换模块，用于对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点信息；所述第二人脸几何属性不同于所述第一关键点信息对应的第一人脸几何属性；
编码模块，用于利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像；
所述编码模块，具体用于根据所述第二关键点信息，生成目标人脸的掩码图，其中，所述掩码图在由描述人脸轮廓的各第二关键点信息围成的人脸图像区域的像素点为第一设定值，在所述人脸图像区域以外的像素点为第二设定值；将所述掩码图与所述第一人脸图像融合，生成第五人脸图像，其中，所述第五人脸图像中保留所述第一人脸图像中由描述人脸轮廓的各第二关键点信息围成的人脸图像区域；根据所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述第五人脸图像和所述轮廓图输入至生成网络进行人脸纹理编码，得到所述第二人脸图像；或者，
基于所述第二关键点信息，生成目标人脸的几何属性的轮廓图，其中，所述轮廓图中部位轮廓线上的像素点为第三设定值，除所述部位轮廓线之外的像素点为第四设定值；所述部位轮廓线由描述各人脸部位的第二关键点信息围成；将所述轮廓图输入至生成网络，进行人脸纹理编码，得到所述第二人脸图像。
8.根据权利要求7所述的装置，其特征在于，在对所述第一关键点信息进行位置变换得到符合第二人脸几何属性的第二关键点之后，所述变换模块，还用于基于所述第二关键点信息，对所述第一人脸图像进行调整，得到第三人脸图像；
在利用神经网络和所述第二关键点信息，进行人脸纹理编码处理，得到第二人脸图像之后，所述装置还包括：
融合模块，用于将所述第二人脸图像和所述第三人脸图像进行融合，得到第四人脸图像。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第一替换模块，用于将被展示的所述第一人脸图像替换为所述第四人脸图像。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二替换模块，用于将被展示的所述第一人脸图像替换为所述第二人脸图像。
11.根据权利要求7至10任一项所述的装置，其特征在于，所述装置还包括：
确定模块，用于根据所述第一关键点信息，确定所述第一人脸几何属性；
第二获取模块，用于获取目标人脸的第二几何属性；
所述变换模块，用于利用所述第一人脸几何属性和所述第二人脸几何属性共同对应的人脸几何属性变换参数，对所述第一关键点信息进行位置变换得到所述第二关键点信息。
12.根据权利要求11所述的装置，其特征在于，不同的所述第一人脸几何属性对应的人脸几何属性变换参数不同；和/或，不同的所述第二人脸几何属性对应的人脸几何属性变换参数不同。
13.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现权利要求1至6任一项提供方法的步骤。
14.一种图像设备，包括：
存储器；
处理器，分别与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，实现权利要求1至6任一项所述方法的步骤。
CN201910804179.9A 2019-08-28 2019-08-28 人脸图像处理方法及装置、图像设备及存储介质 Active CN111754415B (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201910804179.9A CN111754415B (zh) 2019-08-28 2019-08-28 人脸图像处理方法及装置、图像设备及存储介质
SG11202102762VA SG11202102762VA (en) 2019-08-28 2020-04-27 Facial image processing method and apparatus, image device, and storage medium
MYPI2021001457A MY196307A (en) 2019-08-28 2020-04-27 Face Image Processing Method and Apparatus, Image Device, and Storage Medium
AU2020339292A AU2020339292A1 (en) 2019-08-28 2020-04-27 Facial image processing method and apparatus, image device, and storage medium
JP2020572973A JP7129502B2 (ja) 2019-08-28 2020-04-27 顔画像処理方法及び装置、画像機器並びに記憶媒体
EP20859023.2A EP3839879B1 (en) 2019-08-28 2020-04-27 Facial image processing method and apparatus, image device, and storage medium
PCT/CN2020/087231 WO2021036314A1 (zh) 2019-08-28 2020-04-27 人脸图像处理方法及装置、图像设备及存储介质
KR1020207037361A KR102367909B1 (ko) 2019-08-28 2020-04-27 얼굴 이미지 처리 방법 및 장치, 이미징 기기 및 저장 매체
TW109121629A TWI770542B (zh) 2019-08-28 2020-06-24 人臉圖像處理方法、圖像設備及儲存介質
US17/203,171 US11941854B2 (en) 2019-08-28 2021-03-16 Face image processing method and apparatus, image device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804179.9A CN111754415B (zh) 2019-08-28 2019-08-28 人脸图像处理方法及装置、图像设备及存储介质

Publications (2)

Publication Number Publication Date
CN111754415A CN111754415A (zh) 2020-10-09
CN111754415B true CN111754415B (zh) 2022-09-27

Family

ID=72672870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804179.9A Active CN111754415B (zh) 2019-08-28 2019-08-28 人脸图像处理方法及装置、图像设备及存储介质

Country Status (10)

Country Link
US (1) US11941854B2 (zh)
EP (1) EP3839879B1 (zh)
JP (1) JP7129502B2 (zh)
KR (1) KR102367909B1 (zh)
CN (1) CN111754415B (zh)
AU (1) AU2020339292A1 (zh)
MY (1) MY196307A (zh)
SG (1) SG11202102762VA (zh)
TW (1) TWI770542B (zh)
WO (1) WO2021036314A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507890B (zh) * 2020-04-13 2022-04-19 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11704851B2 (en) * 2020-05-27 2023-07-18 Snap Inc. Personalized videos using selfies and stock videos
US11482041B2 (en) * 2020-10-21 2022-10-25 Adobe Inc. Identity obfuscation in images utilizing synthesized faces
CN112258619A (zh) * 2020-12-22 2021-01-22 北京沃东天骏信息技术有限公司 一种图像处理方法和装置
CN113706428B (zh) * 2021-07-02 2024-01-05 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN113255627B (zh) * 2021-07-15 2021-11-12 广州市图南软件科技有限公司 一种快速获取尾随人员信息方法及装置
CN113781293A (zh) * 2021-09-08 2021-12-10 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
TWI813181B (zh) * 2021-09-09 2023-08-21 大陸商星宸科技股份有限公司 影像處理電路與影像處理方法
US11900519B2 (en) * 2021-11-17 2024-02-13 Adobe Inc. Disentangling latent representations for image reenactment
KR102554442B1 (ko) * 2021-11-19 2023-07-11 ㈜플립션코리아 얼굴 합성 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550176A (zh) * 2018-04-19 2018-09-18 咪咕动漫有限公司 图像处理方法、设备及存储介质
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN109949237A (zh) * 2019-03-06 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN109960974A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 人脸关键点检测方法、装置、电子设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4577410B2 (ja) * 2008-06-18 2010-11-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
US10339685B2 (en) * 2014-02-23 2019-07-02 Northeastern University System for beauty, cosmetic, and fashion analysis
CN104036546B (zh) 2014-06-30 2017-01-11 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
KR101635730B1 (ko) * 2014-10-08 2016-07-20 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
CN104463777B (zh) * 2014-11-11 2018-11-06 厦门美图之家科技有限公司 一种基于人脸的实时景深的方法
EP3335195A2 (en) 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN105118024A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 人脸交换方法
US10535163B2 (en) 2016-12-01 2020-01-14 Pinscreen, Inc. Avatar digitization from a single image for real-time rendering
TW201828109A (zh) * 2017-01-19 2018-08-01 阿里巴巴集團服務有限公司 圖像檢索、獲取圖像資訊及圖像識別方法、裝置及系統
CN107123083B (zh) * 2017-05-02 2019-08-27 中国科学技术大学 人脸编辑方法
CN109325933B (zh) * 2017-07-28 2022-06-21 阿里巴巴集团控股有限公司 一种翻拍图像识别方法及装置
WO2019050808A1 (en) * 2017-09-08 2019-03-14 Pinscreen, Inc. SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION
CN107767335A (zh) * 2017-11-14 2018-03-06 上海易络客网络技术有限公司 一种基于人脸识别特征点定位的图像融合方法及系统
CN110210276A (zh) * 2018-05-15 2019-09-06 腾讯科技（深圳）有限公司 一种移动轨迹获取方法及其设备、存储介质、终端
CN108776983A (zh) * 2018-05-31 2018-11-09 北京市商汤科技开发有限公司 基于重建网络的人脸重建方法和装置、设备、介质、产品
CN108985241B (zh) 2018-07-23 2023-05-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109146774A (zh) * 2018-08-14 2019-01-04 河海大学常州校区 一种面向禁毒宣传的人脸图像处理方法
CN109272568B (zh) * 2018-10-10 2020-07-17 南京大学 一种采用基元发现的人脸风格图像处理方法
CN109492531B (zh) 2018-10-10 2021-04-23 达闼机器人有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109829930B (zh) * 2019-01-15 2021-05-04 深圳市云之梦科技有限公司 人脸图像处理方法、装置、计算机设备及可读存储介质
CN109859098B (zh) * 2019-01-15 2022-11-22 深圳市云之梦科技有限公司 人脸图像融合方法、装置、计算机设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN109960974A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN108550176A (zh) * 2018-04-19 2018-09-18 咪咕动漫有限公司 图像处理方法、设备及存储介质
CN109949237A (zh) * 2019-03-06 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质

Also Published As

Publication number Publication date
AU2020339292A1 (en) 2021-04-15
SG11202102762VA (en) 2021-04-29
TWI770542B (zh) 2022-07-11
TW202109359A (zh) 2021-03-01
US20210201458A1 (en) 2021-07-01
KR102367909B1 (ko) 2022-02-25
JP7129502B2 (ja) 2022-09-01
JP2022502726A (ja) 2022-01-11
US11941854B2 (en) 2024-03-26
CN111754415A (zh) 2020-10-09
EP3839879A4 (en) 2022-01-05
EP3839879B1 (en) 2023-07-26
KR20210027283A (ko) 2021-03-10
WO2021036314A1 (zh) 2021-03-04
EP3839879A1 (en) 2021-06-23
MY196307A (en) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111754415B (zh) 人脸图像处理方法及装置、图像设备及存储介质
CN107818305B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107808136B (zh) 图像处理方法、装置、可读存储介质和计算机设备
US11043011B2 (en) Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN108305312B (zh) 3d虚拟形象的生成方法和装置
CN107154030B (zh) 图像处理方法及装置、电子设备及存储介质
CN107730444B (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN112884637B (zh) 特效生成方法、装置、设备及存储介质
CN108447017A (zh) 人脸虚拟整容方法和装置
US11238569B2 (en) Image processing method and apparatus, image device, and storage medium
JP2022550948A (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN114821675B (zh) 对象的处理方法、系统和处理器
CN110769323A (zh) 一种视频通信方法、系统、装置和终端设备
CN111311733A (zh) 三维模型处理方法及装置、处理器、电子设备及存储介质
CN111028318A (zh) 一种虚拟人脸合成方法、系统、装置和存储介质
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
CN115564638A (zh) 网络训练方法、图像换脸方法、装置和电子设备
CN113421197B (zh) 一种美颜图像的处理方法及其处理系统
WO2024055379A1 (zh) 基于角色化身模型的视频处理方法、系统及相关设备
CN111556304B (zh) 一种全景影像处理方法、装置及系统
US20240078773A1 (en) Electronic device generating 3d model of human and its operation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40029334

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant