CN113065408A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113065408A
CN113065408A CN202110257401.5A CN202110257401A CN113065408A CN 113065408 A CN113065408 A CN 113065408A CN 202110257401 A CN202110257401 A CN 202110257401A CN 113065408 A CN113065408 A CN 113065408A
Authority
CN
China
Prior art keywords
face
image
key point
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110257401.5A
Other languages
English (en)
Inventor
马润欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110257401.5A priority Critical patent/CN113065408A/zh
Publication of CN113065408A publication Critical patent/CN113065408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，方法包括：在获取到待处理人脸图像后，对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量，将关键点特征向量输入图像处理模型，得到目标关键点特征向量后，将待处理图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。由于目标关键点特征向量表征美型后待处理人脸图像中人脸关键点的位置信息，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像，从而实现了自适应的对待处理人脸图像进行美型处理的目的。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着视频通信技术和移动设备的发展，以及近年来直播、短视频的盛行，移动终端上的人脸美型已成为用户的一种基本需求。
相关技术中，人脸美型方法主要是基于人脸关键点通过图像形变的方式调整脸部器官和外部轮廓。然而，即使针对不同性别等特征设置定制化的形变参数，人脸脸型千变万化，少量的定制化参数无法覆盖各种脸型，而较多的定制化参数会使程序变的非常复杂庞大。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中的人脸美型方法对脸部器官和外部轮廓进行调整时，定制化参数无法覆盖各种脸型，无法满足各种场景下对人脸美型的需求的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取待处理人脸图像；
对所述待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量；其中，所述关键点特征向量，包括所述待处理人脸图像中人脸关键点的位置信息；
将所述关键点特征向量输入图像处理模型，得到目标关键点特征向量；其中，所述目标关键点特征向量，包括美型后的所述待处理人脸图像中人脸关键点的位置信息；所述图像处理模型是根据所述关键点特征向量和所述目标关键点特征向量之间的映射关系训练得到的；
将所述待处理人脸图像中各所述人脸关键点，移动至所述目标关键点特征向量所表征的位置，得到目标美型图像。
作为本公开实施例的第一种可能的情况，所述对所述待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量，包括：
对所述待处理人脸图像进行归一化处理，得到设定尺寸的待处理人脸图像；
对所述设定尺寸的待处理人脸图像裁剪人脸区域，得到人脸区域图像；
对所述人脸区域图像进行关键点识别，得到各所述人脸关键点；
按照预设顺序对各所述人脸关键点的坐标进行排序，生成所述关键点特征向量。
作为本公开实施例的第二种可能的情况，所述将所述待处理图像中各所述人脸关键点，移动至所述目标关键点特征向量所表征的位置，得到目标美型图像，包括：
根据所述目标关键点特征向量中各所述人脸关键点的排序，确定所述目标美型图像中各人脸关键点的位置；
将所述待处理人脸图像中各所述人脸关键点，移动至所述目标美型图像中对应的人脸关键点的位置进行渲染，得到所述目标美型图像。
作为本公开实施例的第三种可能的情况，所述图像处理模型是通过以下方法训练得到的：
获取待处理人脸样本图像和目标美型样本图像；其中，所述目标美型样本图像是对所述待处理人脸样本图像美型后得到的；
对所述待处理人脸样本图像进行特征提取，得到所述待处理人脸样本图像中人脸区域的样本关键点特征向量；其中，所述样本关键点特征向量，包括所述待处理人脸样本图像中人脸关键点的位置信息；
对所述目标美型样本图像进行特征提取，得到所述目标美型样本图像中人脸区域的目标样本关键点特征向量；其中，所述目标样本关键点特征向量，包括所述目标美型样本图像中人脸关键点的位置信息；
将所述样本关键点特征向量输入初始图像处理模型，得到目标关键点特征向量；
根据所述目标关键点特征向量与所述目标样本关键点特征向量之间的差异，对所述初始图像处理模型进行训练，得到所述图像处理模型。
作为本公开实施例的第四种可能的情况，所述方法还包括：
对所述待处理人脸样本图像和所述目标美型样本图像进行归一化处理，得到设定尺寸的待处理人脸样本图像和所述设定尺寸的目标美型样本图像；
对所述设定尺寸的待处理人脸样本图像和所述设定尺寸的目标美型样本图像分别裁剪人脸区域，得到人脸区域样本图像和目标人脸区域图像；
对所述人脸区域样本图像和所述目标人脸区域图像分别进行关键点识别，得到对应的各所述人脸关键点；
按照预设顺序分别对所述人脸区域样本图像和目标人脸区域图像中各人脸关键点的坐标进行排序，生成所述样本关键点特征向量和所述目标样本关键点特征向量。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取模块，被配置为获取待处理人脸图像；
提取模块，被配置为对所述待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量；其中，所述关键点特征向量，包括所述待处理人脸图像中人脸关键点的位置信息；
处理模块，被配置为将所述关键点特征向量输入图像处理模型，得到目标关键点特征向量；其中，所述目标关键点特征向量，包括美型后所述待处理人脸图像中人脸关键点的位置信息和语义信息；所述图像处理模型是根据所述关键点特征向量和所述目标关键点特征向量之间的映射关系训练得到的；
移动模块，被配置为将所述待处理图像中各所述人脸关键点，移动至所述目标关键点特征向量所表征的位置，得到目标美型图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现第一方面的图像处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：由于图像处理模型输出的目标关键点特征向量包括美型后的待处理人脸图像中人脸关键点的位置信息，因此，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像，从而实现了自适应的对待处理人脸图像进行美型处理的目的。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程示意图；
图2是根据一示例性实施例示出的一种图像处理方法的流程示意图；
图3是根据一示例性实施例示出的一种图像处理模型的训练方法的流程示意图；
图4是根据一示例性实施例示出的一种图像处理装置框图；
图5是根据一示例性实施例示出的一种用于图像处理方法的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，图像处理方法主要是基于人脸关键点通过图像形变的方式调整脸部器官和外部轮廓。其中，图像形变方法主要分为两大类：液化变形、三角变形。液化变形方法是以像素为处理单元，对以某一点为圆形的某个半径范围内的区域进行坐标移动，越靠近圆心的位置坐标移动幅度越大，越靠近圆边缘的幅度越小，边缘处移动幅度减为零，这一原理保证了原有顶点的相对位置的固定性，同时移动幅度的渐变保证了形变的平滑性，然而以中心点向外辐射渐变导致效果控制不够灵活；三角变形方法是将人脸换分为多个三角形，通过移动三角形顶点位置坐标，将原纹理坐标组成的三角形纹理渲染到移动后的三角形区域，从而达到形变的目的，由于相邻三角形共用同一条边，同一条边上的纹理是固定的，因此该方法能够在三角形顶点相对位置(上下左右)不发生改变时保证图片的平滑性，为保证顶点相对位置固定的改变，避免类似折痕的问题产生，该方法强烈依赖对移动向量的设计。
为此，本公开提出了一种图像处理方法，在获取待处理人脸图像后，对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量；其中，关键点特征向量，包括待处理人脸图像中人脸关键点的位置信息；将关键点特征向量输入图像处理模型，得到目标关键点特征向量；其中，目标关键点特征向量，包括美型后待处理人脸图像中人脸关键点的位置信息；图像处理模型是根据关键点特征向量和目标关键点特征向量之间的映射关系训练得到的；将待处理图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法用于电子设备中，包括以下步骤。
在步骤S11中，获取待处理人脸图像。
本公开实施例中，待处理人脸图像，是指未经过任何处理的图像。例如为RAW格式的原始图像，原始图像中包含了更多了图像细节。待处理人脸图像可以为人脸图像，也可以为包含有人脸的人像图。
本公开实施例中，待处理人脸图像，可以为电子设备采集的未经过处理的图像，还可以为电子设备采集的视频中的视频帧图像，还可以为从服务器下载的预先存储的未经过美型处理的图像，等等。此处对待处理人脸图像的获取方式不做限定。
在步骤S12中，对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量。
其中，关键点特征向量，表征待处理人脸图像中人脸关键点的位置信息和语义信息。人脸关键点，可以包括眼睛、眉毛、嘴巴、鼻子以及人脸轮廓。人脸关键点的位置信息，可以指人脸关键点在待处理人脸图像中的坐标位置信息、相对位置信息、各人脸关键点坐标的排列组合方式，等等。人脸关键点的语义信息，可以指该关键点对应的人脸图像的颜色、纹理、形状等。如，某一人脸关键点的语义信息为鼻尖。
本公开实施例中，在获取到待处理人脸图像后，可以对待处理人脸图像进行特征提取，得到关键点特征向量。关键点特征向量可以包括待处理人脸图像中人脸关键点的位置信息和语义信息。
作为一种可能的实现方式，可以对获取到的待处理人脸图像进行关键点识别，以得到人脸关键点，根据各人脸关键点在待处理人脸图像中的位置信息和语义信息，确定关键点特征向量。
在步骤S13中，将关键点特征向量输入图像处理模型，得到目标关键点特征向量。
其中，目标关键点特征向量，包括美型后待处理人脸图像中人脸关键点的位置信息。
本公开实施例中的图像处理模型是根据关键点特征向量和目标关键点特征向量之间的映射关系训练得到的。该图像处理模型已经学习得到了关键点特征向量和目标关键点特征向量之间的映射关系，因此，将关键点特征向量输入经过训练的图像处理模型后，可以输出与关键点特征向量对应的目标关键点特征向量。
示例性地，图像处理模型可以为有较强泛化能力的支持向量回归方法(SupportVector Regression，简称SVR)，还可以为其他回归模型，如Lasso回归，等等。
需要解释的是，由于关键点特征向量和目标关键点特征向量包含人脸区域所有的关键点，使得特征向量的特征维度较大，这里使用特征维度大于样本数时依旧有较强泛化能力的较经典的回归方法SVR方法对美型前后的关键点特征向量进行训练，可以得到具有自适应形变的图像处理模型。
在步骤S14中，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。
本公开实施例中，获取到待处理人脸图像，可以对待处理人脸图像进行特征提取，以得到人脸区域的关键点特征向量。将人脸区域的关键点特征向量输入经过训练的图像模型，得到用于表征各人脸关键点在目标美型图像中的位置信息和语义信息的目标关键点特征向量后，可以待处理图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，以得到目标美型图像。
作为一种可能的实现方式，可以采用三角变形方法将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量表征的各人脸关键点的位置，以得到目标美型图像。由于使用了三角变形方法移动待处理人脸图像中各人脸关键点位置，通过固定非形变点的顶点坐标，能够在美型效果平滑的同时，准确地保护人脸区域。
其中，三角变形方法是将待处理人脸图像划分为多个三角形，通过移动三角形的顶点位置坐标，将原纹理坐标组成的三角形纹理渲染到移动后的三角形区域，从而达到形变的目的。由于相邻三角形共用同一条边，同一条边上的纹理是固定的，因此该方法能够在三角形顶点相对位置(上下左右)不发生改变时保证图片的平滑性。
本公开实施例的图像处理方法，在获取到待处理人脸图像后，对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量，将关键点特征向量输入图像处理模型，得到目标关键点特征向量后，将待处理图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。由于目标关键点特征向量包括了美型后待处理人脸图像中人脸关键点的位置信息，因此，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像，从而实现了自适应的对待处理人脸图像进行美型处理的目的。
在本公开一种可能的实现形式中，在对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量时，可以对待处理人脸图像中的人脸区域图像进行关键点识别，得到各人脸关键后，对各人脸关键点的坐标进行排序。
图2是根据一示例性实施例示出的另一种图像处理方法的流程示意图。
如图2所示，该方法可以包括以下步骤：
在步骤S21中，对待处理人脸图像进行归一化处理，得到设定尺寸的待处理人脸图像。
其中，设定尺寸，可以为预先设定的图像尺寸。
本公开实施例中，获取到待处理人脸图像后，可以对待处理人脸图像进行归一化处理，以得到设定尺寸的待处理人脸图像。
在一种可能的情况下，获取到待处理人脸图像后，可以对待处理人脸图像进行缩放处理，以得到设定尺寸的待处理人脸图像。
举例而言，假设设定尺寸为567*390，获取到的待处理人脸图像为的尺寸为1920*1440，则可以对该待处理人脸图像的尺寸缩小至567*390。
在另一种可能的情况下，获取到待处理人脸图像后，还可以对待处理人脸图像同时进行旋转和缩放处理，以得到设定尺寸的待处理人脸图像。
在步骤S22中，对设定尺寸的待处理人脸图像裁剪人脸区域，得到人脸区域图像。
由于在实际的图像采集过程中，可能存在采集得到的待处理人脸图像比较复杂，或者人脸区域在待处理人脸图像中所占像素比例较小等情况。此时，可以对设定尺寸的待处理人脸图像进行人脸区域的裁剪，以得到人脸区域图像。
举例而言，假设对待处理人脸图像进行归一化处理得到的设定尺寸的待处理人脸中包含有较复杂的背景图像，则可以对设定尺寸的待处理人脸图像裁剪人脸区域。
在步骤S23中，对人脸区域图像进行关键点识别，得到各人脸关键点。
本公开实施例中，可以采用人脸关键点检测方法对人脸区域图像进行关键点识别，以得到各人脸关键点。
其中，人脸关键点识别，是在人脸检测的基础上，对人脸上的特征点，例如眼睛、鼻子、嘴巴、脸部轮廓等进行定位。
例如，可以采用深度卷积网络(Deep Convolutional Network，简称DCNN)、调整后的卷积神经网络(Tweaked Convolutional Neural Networks，简称TCNN)等关键点检测方法，对人脸区域进行关键点识别，以得到各原始关键点。
由此，仅对裁剪得到的人脸区域图像进行关键点识别，实现了能够快速、准确的对图像进行人脸关键点识别，提高了后续关键点检测的效率。
在步骤S24中，按照预设顺序对各人脸关键点的坐标进行排序，生成关键点特征向量。
本公开实施例中，在对人脸区域图像进行关键点识别得到各人脸关键点后，可以按照预设顺序对各人脸关键点的坐标进行排序，以得到关键点特征向量。
示例性地，可以将各人脸关键点坐标按相同的顺序排列成一个向量(如，关键点1的横坐标、关键点1的纵坐标、关键点2的横坐标、关键点1的纵坐标，等等)，从而得到关键点特征向量。由于关键点特征向量中包含了所有人脸关键点在待处理人脸图像中的位置信息和语义信息，因此，能较全面的代表脸型轮廓及五官信息。
在步骤S25中，将关键点特征向量输入图像处理模型，得到目标关键点特征向量。
需要说明的是，步骤S25的实现过程，可以参见上述实施例中步骤S13的实现过程，在此不再赘述。
在步骤S26中，根据目标关键点特征向量中各人脸关键点的排序，确定目标美型图像中各人脸关键点的位置。
本公开实施例中，将关键点特征向量输入图像处理模型得到目标关键点特征向量后，可以根据目标关键点特征向量中各人脸关键点的排序，以得到目标美型图像中各人脸关键点的位置。
可选地，由于目标关键点特征向量中每一个元素包括各人脸关键点的位置信息，可以根据人脸图像的各人脸关键点与目标关键点特征向量的映射关系，确定目标美型图像中各人脸关键点的位置。
在步骤27中，将待处理人脸图像中各人脸关键点，移动至目标美型图像中对应的人脸关键点的位置进行渲染，得到目标美型图像。
本公开实施例中，可以采用普通三角形变方法，将待处理人脸图像中各人脸关键点的坐标移动至目标美型图像中对应的人脸关键点的坐标处，并进行渲染，从而得到目标美型图像。需要说明的是，也可以采用其他任意可以实现的方法将待处理人脸图像中各人脸关键点，移动至目标美型图像中对应的人脸关键点的位置，本公开实施例中对此不做限定。
由此，通过根据目标关键点特征向量中各人脸关键点的排序，确定目标美型图像中各人脸关键点的位置，进而，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置进行渲染，得到目标美型图像，从而实现了根据目标关键点特征向量和关键点特征向量中各关键点之间的位置关系，对待处理人脸图像进行美型处理。
在上述实施例的基础上，已经提及了图像处理模型是采用样本图像进行训练得到的，下面结合图3对图像处理模型的训练过程进行详细介绍，
图3是根据一示例性实施例示出的一种图像处理模型的训练方法的流程示意图。
如图3所示，该图像处理模型的训练方法，可以包括以下步骤：
在步骤S31中，获取待处理人脸样本图像和目标美型样本图像。
其中，目标美型样本图像是对待处理人脸样本图像美型后得到的。其中，待处理人脸样本图像，可以为包含有人脸的未经过美型处理的图像。
例如，可以采用美型工具对各待处理人脸样本图像进行美型处理，以得到对应的目标美型样本图像。其中，美型工具，可以为图像处理软件(Adobe Photoshop，简称PS)，等等。
本公开实施例中，待处理人脸样本练图像，可以为电子设备采集的未经过处理的图像，还可以为电子设备采集的视频中的视频帧图像，还可以为从服务器下载的预先存储的未经过美型处理的图像，等等。此处对原始训练图像的获取方式不做限定。
需要说明的是，待处理人脸样本图像和目标美型样本图像，可以包括各种脸型的图像，以提高训练后的图像处理模型的精确度。
在步骤S32中，对待处理人脸样本图像进行特征提取，得到待处理人脸样本图像中人脸区域的样本关键点特征向量。
其中，样本关键点特征向量，包括待处理人脸样本图像中人脸关键点的位置信息。
可以理解为，样本关键点特征向量为待处理人脸样本图像的各关键点特征向量，可以包含有多个设定的人脸关键在待处理人脸样本图像中的位置信息和语义信息。
作为一种可能的实现方式，可以采用关键点检测方法对待处理人脸样本图像进行关键点识别，以得到待处理人脸样本图像中所有的人脸关键点。
例如，可以采用DCNN、TCNN等关键点检测方法，对待处理人脸样本图像进行关键点识别，以得到各人脸关键点。
作为本公开实施例的一种可能的情况，在获取到待处理人脸样本图像后，可以对待处理人脸样本图像进行归一化处理，得到设定尺寸的待处理人脸样本图像，进一步地，对设定尺寸的待处理人脸样本图像裁剪人脸区域，得到人脸区域样本图像，再对人脸区域样本图像进行关键点识别，得到对应的人脸关键点。进而，按照预设顺序对人脸区域样本图像中各人脸关键点的坐标进行排序，生成样本关键点特征向量。具体的实现过程可以参见上述实施例中生成关键点特征向量的过程，在此不再赘述。
在步骤S33中，对目标美型样本图像进行特征提取，得到目标美型样本图像中人脸区域的目标样本关键点特征向量。
其中，目标样本关键点特征向量，包括目标美型样本图像中人脸关键点的位置信息。
作为一种可能的实现方式，可以对目标美型样本图像进行归一化处理，得到设定尺寸的目标美型样本图像；对设定尺寸的目标美型样本图像裁剪人脸区域，得到目标人脸区域图像，进一步地，对目标人脸区域图像进行关键点识别，得到对应的人脸关键点；按照预设顺序对目标人脸区域图像中各人脸关键点的坐标进行排序，生成目标样本关键点特征向量。具体的实现过程可以参见上述实施例中生成关键点特征向量的过程，在此不再赘述。
由此，通过待处理人脸样本图像和目标美型样本图像进行处理，得到对应的样本关键点特征向量和目标样本关键点特征向量后，根据样本关键点特征向量和目标样本关键点特征向量对图像处理模型进行训练，以提高图像处理模型的模型准确度。
需要解释的是，本实施例中对上述步骤S32和步骤S33的执行顺序不做限定，可以先执行步骤S32，再执行步骤S33；还可以先执行步骤S33，再执行步骤S32；还可以同时执行步骤S32和步骤S33。
在步骤S34中，将样本关键点特征向量输入初始图像处理模型，得到目标关键点特征向量。
其中，初始图像处理模型，可以未采用训练样本进行训练的图像处理模型。
在步骤S35中，根据目标关键点特征向量与目标样本关键点特征向量之间的差异，对初始图像处理模型进行训练，得到图像处理模型。
作为一种可能的实现方式，可以根据目标关键点特征向量中包括的待处理人脸样本图像中人脸关键点的位置信息，与目标样本关键点特征向量包括的目标美型样本图像中人脸关键点的位置信息之间的差异，调整初始图像处理模型的模型参数，以使得调整后的图像处理模型输出的目标关键点特征向量与目标样本关键点特征向量之间的差异最小。
由于待处理人脸样本图像和目标美型样本图像包含了各种脸型，采用大量的待处理人脸样本图像和目标美型样本图像对图像处理模型进行训练后，使得经过训练的图像处理模型学习得到关键点特征向量和目标关键点特征向量之间的映射关系，解决了现有的美型技术中形变参数覆盖不全无法适应各种场景的技术问题。
为了实现上述实施例，本公开实施例提供了一种图像处理装置。
图4是根据一示例性实施例示出的一种图像处理装置框图。参照图4，该图像处理装置400，可以包括获取模块410，提取模块420，处理模块430和移动模块440。
其中，获取模块410，被配置为获取待处理人脸图像。
提取模块420，被配置为对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量；其中，关键点特征向量，包括待处理人脸图像中人脸关键点的位置信息。
处理模块430，被配置为将关键点特征向量输入图像处理模型，得到目标关键点特征向量；其中，目标关键点特征向量，包括美型后待处理人脸图像中人脸关键点的位置信息；图像处理模型是根据关键点特征向量和目标关键点特征向量之间的映射关系训练得到的。
移动模块440，被配置为将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。
在本公开实施例的一种可能的实现形式中，提取模块420，还可以被配置为：
对待处理人脸图像进行归一化处理，得到设定尺寸的待处理人脸图像；对设定尺寸的待处理人脸图像裁剪人脸区域，得到人脸区域图像；对人脸区域图像进行关键点识别，得到各人脸关键点；按照预设顺序对各人脸关键点的坐标进行排序，生成关键点特征向量。
在本公开实施例的另一种可能的实现形式中，移动模块440，还可以被配置为：
根据目标关键点特性向量中各人脸关键点的排序，确定目标美型图像中各人脸关键点的位置；将待处理人脸图像中各人脸关键点，移动至目标美型图像中对应的人脸关键点的位置进行渲染，得到目标美型图像。
在本公开实施例的另一种可能的实现形式中，该图像处理装置400，还可以包括：
训练模块，可以被配置为训练图像处理模型，其中，训练模块，可以具体被配置为：
获取待处理人脸样本图像和目标美型样本图像；其中，目标美型样本图像是对待处理人脸样本图像美型后得到的；对待处理人脸样本图像进行特征提取，得到待处理人脸样本图像中人脸区域的样本关键点特征向量；其中，样本关键点特征向量，包括待处理人脸样本图像中人脸关键点的位置信息；对目标美型样本图像进行特征提取，得到目标美型样本图像中人脸区域的目标样本关键点特征向量；其中，目标样本关键点特征向量，包括目标美型样本图像中人脸关键点的位置信息；将样本关键点特征向量输入初始图像处理模型，得到目标关键点特征向量；根据目标关键点特征向量与目标样本关键点特征向量之间的差异，对初始图像处理模型进行训练，得到图像处理模型。
在本公开实施例的另一种可能的实现形式中，训练模块，还可以被配置为：
对待处理人脸样本图像和目标美型样本图像进行归一化处理，得到设定尺寸的待处理人脸样本图像和设定尺寸的目标美型样本图像；对设定尺寸的待处理人脸样本图像和设定尺寸的目标美型样本图像分别裁剪人脸区域，得到人脸区域样本图像和目标人脸区域图像；对人脸区域样本图像和目标人脸区域图像分别进行关键点识别，得到对应的各人脸关键点；按照预设顺序分别对人脸区域样本图像和目标人脸区域图像中各人脸关键点的坐标进行排序，生成样本关键点特征向量和目标样本关键点特征向量。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例的图像处理装置，在获取到待处理人脸图像后，对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量，将关键点特征向量输入图像处理模型，得到目标关键点特征向量后，将待处理图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。
由于目标关键点特征向量表征人脸关键点在美型后的目标美型图像中的位置信息和语义信息，因此，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像，从而实现了自适应的对待处理人脸图像进行美型处理的目的。
为了实现上述实施例，本公开实施例还提出了一种电子设备。
其中，电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如前所述的图像处理方法。
作为一种示例，图5是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，如图5所示，上述电子设备200，还可以包括：
存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本公开实施例所述的图像处理方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。服务器200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本公开所描述的实施例中的功能和/或方法。
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。
需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的图像处理方法的解释说明，此处不再赘述。
本公开实施例提供的电子设备，在获取到待处理人脸图像后，对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量，将关键点特征向量输入图像处理模型，得到目标关键点特征向量后，将待处理图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。由于目标关键点特征向量表征人脸关键点在美型后的目标美型图像中的位置信息和语义信息，因此，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像，从而实现了自适应的对待处理人脸图像进行美型处理的目的。
为了实现上述实施例，本公开实施例还提出了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例中所述的图像处理方法。
本公开实施例的计算机可读存储介质，在获取到待处理人脸图像后，对待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量，将关键点特征向量输入图像处理模型，得到目标关键点特征向量后，将待处理图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像。由于目标关键点特征向量包括人脸关键点在美型后的目标美型图像中的位置信息和语义信息，因此，将待处理人脸图像中各人脸关键点，移动至目标关键点特征向量所表征的位置，得到目标美型图像，从而实现了自适应的对待处理人脸图像进行美型处理的目的。
为了实现上述实施例，本公开实施例还提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述实施例中的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括以下步骤：
获取待处理人脸图像；
对所述待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量；其中，所述关键点特征向量，包括所述待处理人脸图像中人脸关键点的位置信息；
将所述关键点特征向量输入图像处理模型，得到目标关键点特征向量；其中，所述目标关键点特征向量，包括美型后的所述待处理人脸图像中人脸关键点的位置信息；所述图像处理模型是根据所述关键点特征向量和所述目标关键点特征向量之间的映射关系训练得到的；
将所述待处理人脸图像中各所述人脸关键点，移动至所述目标关键点特征向量所表征的位置，得到目标美型图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量，包括：
对所述待处理人脸图像进行归一化处理，得到设定尺寸的待处理人脸图像；
对所述设定尺寸的待处理人脸图像裁剪人脸区域，得到人脸区域图像；
对所述人脸区域图像进行关键点识别，得到各所述人脸关键点；
按照预设顺序对各所述人脸关键点的坐标进行排序，生成所述关键点特征向量。
3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述待处理图像中各所述人脸关键点，移动至所述目标关键点特征向量所表征的位置，得到目标美型图像，包括：
根据所述目标关键点特征向量中各所述人脸关键点的排序，确定所述目标美型图像中各人脸关键点的位置；
将所述待处理人脸图像中各所述人脸关键点，移动至所述目标美型图像中对应的人脸关键点的位置进行渲染，得到所述目标美型图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理模型是通过以下方法训练得到的：
获取待处理人脸样本图像和目标美型样本图像；其中，所述目标美型样本图像是对所述待处理人脸样本图像美型后得到的；
对所述待处理人脸样本图像进行特征提取，得到所述待处理人脸样本图像中人脸区域的样本关键点特征向量；其中，所述样本关键点特征向量，包括所述待处理人脸样本图像中人脸关键点的位置信息；
对所述目标美型样本图像进行特征提取，得到所述目标美型样本图像中人脸区域的目标样本关键点特征向量；其中，所述目标样本关键点特征向量，包括所述目标美型样本图像中人脸关键点的位置信息；
将所述样本关键点特征向量输入初始图像处理模型，得到目标关键点特征向量；
根据所述目标关键点特征向量与所述目标样本关键点特征向量之间的差异，对所述初始图像处理模型进行训练，得到所述图像处理模型。
5.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：
对所述待处理人脸样本图像和所述目标美型样本图像进行归一化处理，得到设定尺寸的待处理人脸样本图像和所述设定尺寸的目标美型样本图像；
对所述设定尺寸的待处理人脸样本图像和所述设定尺寸的目标美型样本图像分别裁剪人脸区域，得到人脸区域样本图像和目标人脸区域图像；
对所述人脸区域样本图像和所述目标人脸区域图像分别进行关键点识别，得到对应的各所述人脸关键点；
按照预设顺序分别对所述人脸区域样本图像和目标人脸区域图像中各人脸关键点的坐标进行排序，生成所述样本关键点特征向量和所述目标样本关键点特征向量。
6.一种图像处理装置，其特征在于，包括：
获取模块，被配置为获取待处理人脸图像；
提取模块，被配置为对所述待处理人脸图像进行特征提取，得到人脸区域的关键点特征向量；其中，所述关键点特征向量，包括所述待处理人脸图像中人脸关键点的位置信息；
处理模块，被配置为将所述关键点特征向量输入图像处理模型，得到目标关键点特征向量；其中，所述目标关键点特征向量，包括美型后所述待处理人脸图像中人脸关键点的位置信息和语义信息；所述图像处理模型是根据所述关键点特征向量和所述目标关键点特征向量之间的映射关系训练得到的；
移动模块，被配置为将所述待处理人脸图像中各所述人脸关键点，移动至所述目标关键点特征向量所表征的位置，得到目标美型图像。
7.根据权利要求6所述的图像处理装置，其特征在于，所述提取模块，还被配置为：
对所述待处理人脸图像进行归一化处理，得到设定尺寸的待处理人脸图像；
对所述设定尺寸的待处理人脸图像裁剪人脸区域，得到人脸区域图像；
对所述人脸区域图像进行关键点识别，得到各所述人脸关键点；
按照预设顺序对各所述人脸关键点的坐标进行排序，生成所述关键点特征向量。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的图像处理方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的图像处理方法。
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法。
CN202110257401.5A 2021-03-09 2021-03-09 图像处理方法、装置、电子设备及存储介质 Pending CN113065408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110257401.5A CN113065408A (zh) 2021-03-09 2021-03-09 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110257401.5A CN113065408A (zh) 2021-03-09 2021-03-09 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113065408A true CN113065408A (zh) 2021-07-02

Family

ID=76560018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110257401.5A Pending CN113065408A (zh) 2021-03-09 2021-03-09 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113065408A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN103761536A (zh) * 2014-01-28 2014-04-30 五邑大学 基于无监督最优美丽特征和深度评价模型的人脸美化方法
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN110390223A (zh) * 2018-04-16 2019-10-29 北京陌陌信息技术有限公司 调整人脸图像的方法、装置、设备和计算机存储介质
CN110782408A (zh) * 2019-10-18 2020-02-11 杭州趣维科技有限公司 一种基于卷积神经网络的智能美型方法及系统
CN111369427A (zh) * 2020-03-06 2020-07-03 北京字节跳动网络技术有限公司 图像处理方法、装置、可读介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN103761536A (zh) * 2014-01-28 2014-04-30 五邑大学 基于无监督最优美丽特征和深度评价模型的人脸美化方法
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN110390223A (zh) * 2018-04-16 2019-10-29 北京陌陌信息技术有限公司 调整人脸图像的方法、装置、设备和计算机存储介质
CN110782408A (zh) * 2019-10-18 2020-02-11 杭州趣维科技有限公司 一种基于卷积神经网络的智能美型方法及系统
CN111369427A (zh) * 2020-03-06 2020-07-03 北京字节跳动网络技术有限公司 图像处理方法、装置、可读介质和电子设备

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
US11741940B2 (en) Text and audio-based real-time face reenactment
US8593452B2 (en) Face feature vector construction
US20190279393A1 (en) Facial features tracker with advanced training for natural rendering of human faces in real-time
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
KR101525133B1 (ko) 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체
EP3912159B1 (en) Text and audio-based real-time face reenactment
US20120183238A1 (en) Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
CN102486868A (zh) 一种基于平均脸的美丽人脸合成方法
US20180373946A1 (en) Multi-stage tattoo matching techniques
CN114359517A (zh) 虚拟形象生成方法、虚拟形象生成系统和计算设备
CN113870401A (zh) 表情生成方法、装置、设备、介质和计算机程序产品
Ghimire et al. Recognition of facial expressions based on tracking and selection of discriminative geometric features
CN116012913A (zh) 模型训练方法、人脸关键点检测方法、介质及装置
CN112598591B (zh) 图像处理方法、装置、电子设备及存储介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN111353493A (zh) 文本图像方向校正方法及装置
CN113065408A (zh) 图像处理方法、装置、电子设备及存储介质
CN111507139A (zh) 图像效果生成方法、装置和电子设备
US11481940B2 (en) Structural facial modifications in images
CN115714888B (zh) 视频生成方法、装置、设备与计算机可读存储介质
US20230148112A1 (en) Sports Neural Network Codec
US20230073940A1 (en) Body Pose Tracking of Players from Sports Broadcast Video Feed

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination