CN110390223A - 调整人脸图像的方法、装置、设备和计算机存储介质 - Google Patents

调整人脸图像的方法、装置、设备和计算机存储介质 Download PDF

Info

Publication number
CN110390223A
CN110390223A CN201810338032.0A CN201810338032A CN110390223A CN 110390223 A CN110390223 A CN 110390223A CN 201810338032 A CN201810338032 A CN 201810338032A CN 110390223 A CN110390223 A CN 110390223A
Authority
CN
China
Prior art keywords
face
image
key point
adjustment
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810338032.0A
Other languages
English (en)
Inventor
付彧
张涛
余傲
张彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Unfamiliar Information Technology Co Ltd
Original Assignee
Beijing Unfamiliar Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Unfamiliar Information Technology Co Ltd filed Critical Beijing Unfamiliar Information Technology Co Ltd
Priority to CN201810338032.0A priority Critical patent/CN110390223A/zh
Publication of CN110390223A publication Critical patent/CN110390223A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种调整人脸图像的方法、装置、设备和计算机存储介质。该方法包括：在预设样本库的样本图像中，标定样本图像中的人脸关键点，人脸关键点包括样本图像中的人脸在调整前的原始关键点和调整后的调整关键点；利用已标定的样本图像，训练用于自适应调整人脸图像的深度学习网络模型；获取目标图像，并根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点；根据目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，确定目标图像中人脸的调整图像。本发明实施例提供的调整人脸图像的方法、装置、设备和计算机存储介质，实现了对不同人脸图像的个性化调整。

Description

调整人脸图像的方法、装置、设备和计算机存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种调整人脸图像的方法、装置、设备和计算机存储介质。
背景技术
随着科学技术的发展，拍照或是视频已经贯穿人们的生活。基于对美好事物的喜爱，调整人脸图像的技术已经非常普遍应用于拍照、视频等方面，例如移动终端上安装的美颜相机、美颜软件或视频过程中的美颜功能等等。
但是在目前的调整人脸图像技术中，人脸调整效果大多都是通过开发调整人脸技术的程序员的审美所决定的。例如，人们经常使用的包括瘦脸和放大眼睛等功能。对于瘦脸功能，不论需要瘦脸的人脸脸型如何，均是按照程序员所设定的瘦脸轮廓进行瘦脸，而不能针对不同的用户的脸型提供合适的瘦脸程度，因此存在无法个性化调整人脸图像的问题。
发明内容
本发明实施例提供了一种调整人脸图像的方法、装置、设备和计算机存储介质，实现了对不同的人脸图像进行个性化调整。
根据本发明实施例的一方面，提高一种调整人脸图像的方法，该方法包括：
在预设样本库的样本图像中，标定样本图像中的人脸关键点，人脸关键点包括样本图像中的人脸在调整前的原始关键点和调整后的调整关键点；
利用已标定的样本图像，训练用于自适应调整人脸图像的深度学习网络模型；
获取目标图像，并根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点；
根据目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，确定目标图像中人脸的调整图像。
在一个实施例中，在预设样本库的样本图像中，标定样本图像中的人脸关键点，包括：
对预设样本库中的每张样本图像进行人脸检测，获得样本图像中的人脸区域；
利用人脸关键点标定算法，对人脸区域进行人脸关键点标定。
在一个实施例中，利用已标定的样本图像，训练用于自适应调整人脸图像美颜的深度学习网络模型，包括：
对已标定的样本图像进行预处理，获取具有预设大小的人脸标定图像；
将具有预设大小的人脸标定图像输入卷积神经网络进行训练，使卷积神经网络的模型收敛，以得到能够识别目标图像中人脸的原始关键点，以及反映目标图像中人脸的原始关键点与目标图像中人脸的调整关键点之间映射关系的深度学习网络模型。
在一个实施例中，获取目标图像，并根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，包括：
获取目标图像；
对目标图像进行预处理，使得深度学习网络模型正常工作；
根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点。
在一个实施例中，根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，包括：
将目标图像输入深度学习网络模型，获取目标图像中人脸的原始关键点；
根据目标图像中人脸的原始关键点和深度学习网络模型，得到目标图像中人脸的调整关键点。
在一个实施例中，根据目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，确定目标图像中人脸的调整图像，包括：
对目标图像中人脸的原始关键点进行三角剖分得到原始三角面片，并对目标图像中人脸的调整关键点进行三角剖分得到调整三角面片；
将原始三角面片贴入调整三角面片，确定目标图像中人脸的调整图像。
在一个实施例中，调整人脸图像包括调整人脸图像中的人脸轮廓和/或调整人脸图像中的眼睛。
根据本发明实施例的另一方面，提供一种调整人脸图像的装置，该装置包括：
关键点标定模块，用于在预设样本库的样本图像中，标定样本图像中的人脸关键点，人脸关键点包括样本图像中的人脸在调整前的原始关键点和调整后的调整关键点；
训练模块，用于利用已标定的样本图像，训练用于自适应调整人脸图像的深度学习网络模型；
关键点确定模块，用于获取目标图像，并根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点；
人脸调整图像确定模块，用于根据目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，确定目标图像中人脸的调整图像。
根据本发明实施例的再一方面，提供一种调整人脸图像的设备，该设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现本发明实施例提供的调整人脸图像的方法。
根据本发明实施例的再一方面，提供一种计算机存储介质，该计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现本发明实施例提供的调整人脸图像的方法。
根据本发明实施例中的调整人脸图像的方法、装置、设备和计算机存储介质，首先利用标定人脸原始关键点和人脸调整关键点的样本图像，训练用于自适应调整人脸图像的深度学习网络模型，然后利用该深度学习网络模型确定待调整的目标图像中人脸的原始关键点和调整关键点，进而得出目标图像中人脸的调整图像，实现了对不同的人脸图像进行个性化的调整。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明一实施例提供的调整人脸图像的方法的流程示意图；
图2示出本发明一实施例提供的调整人脸图像的装置的结构示意图；
图3示出本发明一实施例提供的调整人脸图像的设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
基于现有的无法个性化调整人脸图像的问题，本发明实施例提供的调整人脸图像的方法，通过利用标定了人脸关键点的样本图像，训练用于自适应调整人脸图像的深度学习网络模型，并根据该深度学习网络模型确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，进而根据目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，确定目标图像中人脸的调整图像，实现了对不同的人脸图像进行个性化的调整。
下面结合附图对本发明实施例提供的调整人脸图像的方法进行详细说明。
图1示出根据本发明实施例提供的调整人脸图像的方法的流程示意图。如图1所示，本发明实施例中的调整人脸图像的方法100包括以下步骤：
S110，在预设样本库的样本图像中，标定样本图像中的人脸关键点，人脸关键点包括样本图像中的人脸在调整前的原始关键点和调整后的调整关键点。
在本发明的实施例中，步骤S110包括以下步骤：
S1101，对预设样本库中的每张样本图像进行人脸检测，获得样本图像中的人脸区域。
在本发明的实施例中，人脸检测是指对于任意一幅给定的图像，采用一定的策略对给定的图像进行搜索，以确定给定的图像中是否包含人脸，如果给定的图像中包含人脸，则给出人脸的位置、大小及面部特征等参数。
人脸检测算法包括基于知识的方法、基于特征的方法和基于统计的方法。其中，基于知识的方法主要是利用人脸器官之间的几何关系等先验知识对待检测的人脸图像进行人脸检测；基于特征的方法主要利用面部的肤色特征、几何特征及纹理特征等对人脸进行人脸检测；基于统计的方法主要依靠统计分析和机器学习技术对人脸进行人脸检测。
作为一个示例，通过训练级联分类器实现对样本图像中的人脸进行检测，以得到每个样本图像中的人脸区域。可选地，通过对包含人脸区域的样本图像截取人脸框，进而得到人脸图片。
S1102，利用人脸关键点标定算法，对人脸区域进行人脸关键点标定。
在本发明的实施例中，人脸关键点包括人脸图像在调整前的原始关键点和调整后的调整关键点。原始关键点和调整关键点均是指人脸特征点，包括人脸轮廓、眼睛、眉毛、嘴唇以及鼻子等位置的特征点。其中，原始关键点是人脸图像调整前的人脸面部的关键点，调整关键点是指调整后的人脸图像中人脸面部的关键点。
在本发明的实施例中，原始关键点和调整关键点可以均包括96个关键点。
在本发明的实施例中，为了实现个性化调整人脸图像，需要获取人脸图像调整前的原始关键点和调整后的调整关键点之间的映射关系，因此需要预先标记样本图像中的人脸调整前的原始关键点和调整后的调整关键点。
在本发明的实施例中，样本图像中的人脸图像为调整前的人脸图像。通过人脸关键点标定算法，可以实现对样本图像中人脸的原始关键点进行标注。然后根据样本图像中人脸的原始关键点与调整关键点的对应关系，可以在该样本图像中标定人脸调整后的调整关键点。其中，样本图像中人脸的原始关键点与调整关键点之间的对应关系，可以从包含人脸图像调整前数据和调整后数据的数据库中进行获取。其中，人脸关键点标定算法包括主动形状模型算法和主动表观模型算法等算法。
S120，利用已标定的样本图像，训练用于自适应调整人脸图像的深度学习网络模型。
在本发明的实施例中，步骤S120包括以下步骤：
S1201，对已标定的样本图像进行预处理，获取具有预设大小的人脸标定图像。
在本发明的实施例中，在利用已标定人脸关键点的样本图像进行训练深度学习网络模型之前，需要将样本图像处理成具有相同尺寸的人脸标定图像。其中，对于人脸标定图像的尺寸大小，不做具体限制，可视具体应用场景而定。作为一个具体示例，人脸标定图像的尺寸为224像素×224像素。
S1202，将具有预设大小的人脸标定图像输入卷积神经网络进行训练，使卷积神经网络的模型收敛，以得到能够识别目标图像中人脸的原始关键点，以及反映目标图像中人脸的原始关键点与目标图像中人脸的调整关键点之间映射关系的深度学习网络模型。
在本发明的实施例中，人脸关键点为包含坐标信息的点，将这些人脸关键点的坐标依次串联成一个向量即为该人脸的特征向量。其中，将人脸标定图像中人脸的原始关键点的坐标依次串联成一个向量，即为该人脸的原始特征向量。将人脸标定图像中人脸的调整关键的坐标依次串联形成一个向量，即为该人脸的调整特征向量。
作为一个示例，一个样本图像中人脸的96个原始关键点的坐标分别为(x1,y1)，(x2,y2)，(x3,y3)……..(x96,y96)，则该样本图像中人脸的原始特征向量n1为(x1,x2…x96,y1,y2…y96)。该示例中样本图像中人脸的96个调整关键点的坐标分别为(x1’,y1’)，(x2’,y2’)，(x3’,y3’)……..(x96’,y96’)，则该样本图像中人脸的调整特征向量n2为(x1’,x2’…x96’,y1’,y2’…y96’)。
在本发明的实施例中，人脸标定图像中包含该人脸标定图像中人脸的原始特征向量信息和调整特征向量信息。
在本发明的实施例中，卷积神经网络一般包括数据层、卷积层、池化层、全连接层和输出结果层。卷积神经网络的训练主要分为前向传播和反向传播，卷积层和池化层交替进行。前向传播完成数据输入到结果输出。上一层的输出就是当前层的输入，然后通过激活函数计算当前层的输出。反向传播是将从前向传播计算出的结果和给定的预测值进行均方差误差运算，并进行误差的反向传递，以更新神经元的权重和偏置。
在本发明的实施例中，将人脸标定图像输入卷积神经网络后，首先借助于多个卷积层和池化层对人脸标定图像中的输入值进行计算，并获取输出结果；然后将输出结果和给定的预测值进行对比后计算残差；接着利用反向传播将计算出的残差往后传递，用于更新神经元的权重和偏置；最后进行调优迭代，得到收敛且满足精度需求的深度学习网络模型。
在本发明的实施例中，为了加速卷积神经网络的收敛，并加深卷积神经网络的层数，引入了残差网络进行优化。
为了克服神经网络层数加深，收敛速度变慢，导致梯度消失或梯度爆炸的问题，通过在训练过程中引入批标准化(Batch Normalization，BN)来规范所有层的输入，从而固定每层输入信号的均值与方差。一般BN层用在激活函数之前，以使每一层的输入具有稳定的分布，以有利于卷积神经网络的训练。
在本发明的实施例中，将人脸标定图像中的人脸图像输入卷积神经网络进行训练可以使该卷积神经网络具有识别目标图像中人脸原始关键点的功能。而利用人脸标定图像、以及该人脸标定图像中人脸的原始特征向量和调整特征向量进行训练，可以得出反映目标图像中人脸的原始关键点与目标图像中人脸的调整关键点之间映射关系的深度学习网络模型。也就是说，本发明实施例提供的深度学习网络模型具有多种功能。
对于深度学习网络模型，本发明实施例不限于卷积神经网络模型，只要能够自适应调节人脸图像即可。
S130，获取目标图像，并根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点。
在本发明的实施例中，步骤S130包括以下步骤：
S1301，获取目标图像。
在本发明的实施例中，当用于自适应调整人脸图像的深度学习网络模型训练完成以后，则可以对需要调整人脸的图像，即目标图像进行调整。其中，对于目标图像的获取方式，本发明实施例不做具体限制。
S1302，对目标图像进行预处理，使得深度学习网络模型正常工作。
在本发明的实施例中，在将目标图像输入深度学习网络模型之前，需要对该目标图像进行预处理，即将该目标图像的尺寸大小处理成能够使该深度学习网络正常工作的尺寸。作为一个示例，将目标图像的尺寸处理为224像素×224像素。
S1303，根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点。
在本发明的实施例中，步骤S1303包括以下步骤：
A，将目标图像输入深度学习网络模型，获取目标图像中人脸的原始关键点。
在本发明的实施例中，由于深度学习网络模型具有能够识别目标图像的原始关键点的功能，因此将目标图像输入深度学习网络模型后，可以获取目标图像的原始关键点。
B，根据目标图像中人脸的原始关键点和深度学习网络模型，得到目标图像中人脸的调整关键点。
在本发明的实施例中，由于深度学习网络模型反映了人脸图像中人脸的原始关键点与人脸图像中的调整关键点之间的映射关系，根据该映射关系以及已经获取的目标图像中人脸的原始关键点，可以得出该目标图像的调整关键点。也就是说，将目标图像输入深度学习网络模型后，最后得到的是一个特征向量，该向量中包含了目标图像中人脸的原始关键点和调整关键点的坐标信息。
作为一个示例，通过深度学习网络模型检测出目标图像中人脸的96个原始关键点的坐标分别为(x1”,y1”)，(x2”,y2”)……..(x96”,y96”)。根据深度学习网络模型和目标图像中人脸的96个原始关键点的坐标信息，得到目标图像中人脸的96个调整关键点的坐标信息为(x1”’,y1”’)，(x2”’,y2”’)……..(x96”’,y96”’)。则目标图像通过深度学习神经网络模型后，输出人脸的特征向量n为(x1”,x2”…..x96”,y1”,y2”…..y96”,x1”’,x2”’…..x96”’,y1”’,y2”’…..y96”’)。
S140，根据目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，确定目标图像中人脸的调整图像。
在本发明的实施例中，步骤S140包括以下步骤：
S1401，对目标图像中人脸的原始关键点进行三角剖分得到原始三角面片，并对目标图像中人脸的调整关键点进行三角剖分得到调整三角面片。
在本发明的实施例中，利用三角剖分技术，按照一定的顺序将所有的目标图像中人脸的原始关键点相连，将人脸转化为由多个原始三角面片组成的多边形平面图形。类似的，利用三角剖分技术，按照一定的顺序将所有的目标图像中人脸的调整关键点相连，将人脸转化为由多个调整三角面片组成的多边形平面图形。作为一个示例，三角剖分技术可以为Delaunay三角剖分。对于三角剖分的方式，本发明实施例不做具体限制。
S1401，将原始三角面片贴入调整三角面片，确定目标图像中人脸的调整图像。
在本发明的实施例中，通过opengl或metal等渲染工具，将原始三角面片贴入对应的调整三角面片，可以直接渲染出目标图像中人脸的调整图像。
在本发明的实施例中，调整人脸图像包括调整人脸图像包括调整人脸图像中的人脸轮廓和/或调整人脸图像中的眼睛。作为一个示例，调整人脸轮廓使人脸变瘦，或调整眼睛使眼睛变大。对于人脸图像中的具体调节部位，本发明实施例不做具体限制，只要利用人脸关键点可以实现即可。
本发明实施例提供的调整人脸图像的方法，利用样本图像中人脸调整前的原始关键点和调整后的调整关键点训练深度学习网络模型，并利用该深度学习网络模型可以实现人脸图像的个性化调整，而不是将所有的人脸图像都进行一个固定程度的调整。也就是说，本发明实施例提供的调整人脸图像的方法，具有因人脸图像而异的特性，可以为不同的人脸图像提供最优的调整图像。
下面结合具体的实施例，对本发明实施例提供的调整人脸图像的装置进行说明。图2示出本发明一实施例的调整人脸图像装置200的结构示意图，该装置包括：
关键点标定模块210，用于在预设样本库的样本图像中，标定样本图像中的人脸关键点，人脸关键点包括样本图像中的人脸在调整前的原始关键点和调整后的调整关键点。
训练模块220，用于利用已标定的样本图像，训练用于自适应调整人脸图像的深度学习网络模型。
关键点确定模块230，用于获取目标图像，并根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点。
人脸调整图像确定模块240，用于根据目标图像中人脸的原始关键点和目标图像中人脸的调整关键点，确定目标图像中人脸的调整图像。
在本发明的实施例中，关键点标定模块210，具体用于：
对预设样本库中的每张样本图像进行人脸检测，获得样本图像中的人脸区域；
利用人脸关键点标定算法，对人脸区域进行人脸关键点标定。
在本发明的实施例中，训练模块220，具体用于：
对已标定的样本图像进行预处理，获取具有预设大小的人脸标定图像；
将具有预设大小的人脸标定图像输入卷积神经网络进行训练，使卷积神经网络的模型收敛，以得到能够识别目标图像中人脸的原始关键点，以及反映目标图像中人脸的原始关键点与目标图像中人脸的调整关键点之间映射关系的深度学习网络模型。
在本发明的实施例中，关键点确定模块230，具体用于：
获取目标图像；
对目标图像进行预处理，使得深度学习网络模型正常工作；
根据深度学习网络模型，确定目标图像中人脸的原始关键点和目标图像中人脸的调整关键点。
在本发明的实施例中，关键点确定模块230，还可以具体用于：
将目标图像输入深度学习网络模型，获取目标图像中人脸的原始关键点；
根据目标图像中人脸的原始关键点和深度学习网络模型，得到目标图像中人脸的调整关键点。
在本发明的实施例中，人脸调整图像确定模块240，具体用于：
对目标图像中人脸的原始关键点进行三角剖分得到原始三角面片，并对目标图像中人脸的调整关键点进行三角剖分得到调整三角面片；
将原始三角面片贴入调整三角面片，确定目标图像中人脸的调整图像。
在本发明的实施例中，调整人脸图像包括调整人脸图像中的人脸轮廓和/或调整人脸图像中的眼睛。
通过本发明实施例提供的调整人脸图像的装置，可以实现对不同的人脸图像进行个性化的调整，提高了用户的良好体验。
根据本发明实施例的调整人脸图像的装置的其他细节与以上结合图1至图2描述的根据本发明实施例的调整人脸图像的方法类似，在此不再赘述。
结合图1至图2描述的根据本发明实施例的调整人脸图像的方法和装置可以由调整人脸图像的设备来实现。图3是示出根据发明实施例的调整人脸图像的设备的硬件结构300示意图。
如图3所示，本实施例中的调整人脸图像的设备300包括：处理器301、存储器302、通信接口303和总线310，其中，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在调整人脸图像的设备300的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者，将调整人脸图像的设备300的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
也就是说，图3所示的调整人脸图像的设备300可以被实现为包括：处理器301、存储器302、通信接口303和总线310。处理器301、存储器302和通信接口303通过总线310连接并完成相互间的通信。存储器302用于存储程序代码；处理器301通过读取存储器302中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明任一实施例中的调整人脸图像的方法，从而实现结合图1至图2描述的调整人脸图像的方法和装置。
本发明实施例还提供一种计算机存储介质，该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的调整人脸图像的方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种调整人脸图像的方法，其特征在于，所述方法包括：
在预设样本库的样本图像中，标定所述样本图像中的人脸关键点，所述人脸关键点包括所述样本图像中的人脸在调整前的原始关键点和调整后的调整关键点；
利用所述已标定的样本图像，训练用于自适应调整人脸图像的深度学习网络模型；
获取目标图像，并根据所述深度学习网络模型，确定所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点；
根据所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点，确定所述目标图像中人脸的调整图像。
2.根据权利要求1所述的方法，其特征在于，在预设样本库的样本图像中，标定所述样本图像中的人脸关键点，包括：
对所述预设样本库中的每张样本图像进行人脸检测，获得所述样本图像中的人脸区域；
利用人脸关键点标定算法，对所述人脸区域进行人脸关键点标定。
3.根据权利要求1所述的方法，其特征在于，所述利用所述已标定的样本图像，训练用于自适应调整人脸图像美颜的深度学习网络模型，包括：
对所述已标定的样本图像进行预处理，获取具有预设大小的人脸标定图像；
将所述具有预设大小的人脸标定图像输入卷积神经网络进行训练，使所述卷积神经网络的模型收敛，以得到能够识别所述目标图像中人脸的原始关键点，以及反映所述目标图像中人脸的原始关键点与所述目标图像中人脸的调整关键点之间映射关系的深度学习网络模型。
4.根据权利要求1所述的方法，其特征在于，所述获取目标图像，并根据所述深度学习网络模型，确定所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点，包括：
获取目标图像；
对所述目标图像进行预处理，使得所述深度学习网络模型正常工作；
根据所述深度学习网络模型，确定所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点。
5.根据权利要求4所述的方法，其特征在于，所述根据所述深度学习网络模型，确定所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点，包括：
将所述目标图像输入所述深度学习网络模型，获取所述目标图像中人脸的原始关键点；
根据所述目标图像中人脸的原始关键点和所述深度学习网络模型，得到所述目标图像中人脸的调整关键点。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点，确定所述目标图像中人脸的调整图像，包括：
对所述目标图像中人脸的原始关键点进行三角剖分得到原始三角面片，并对所述目标图像中人脸的调整关键点进行三角剖分得到调整三角面片；
将所述原始三角面片贴入所述调整三角面片，确定所述目标图像中人脸的调整图像。
7.根据权利要求1所述的方法，其特征在于，所述调整人脸图像包括调整人脸图像中的人脸轮廓和/或调整人脸图像中的眼睛。
8.一种调整人脸图像的装置，其特征在于，所述装置包括：
关键点标定模块，用于在预设样本库的样本图像中，标定所述样本图像中的人脸关键点，所述人脸关键点包括所述样本图像中的人脸在调整前的原始关键点和调整后的调整关键点；
训练模块，用于利用所述已标定的样本图像，训练用于自适应调整人脸图像的深度学习网络模型；
关键点确定模块，用于获取目标图像，并根据所述深度学习网络模型，确定所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点；
人脸调整图像确定模块，用于根据所述目标图像中人脸的原始关键点和所述目标图像中人脸的调整关键点，确定所述目标图像中人脸的调整图像。
9.一种调整人脸图像的设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的调整人脸图像的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的调整人脸图像的方法。
CN201810338032.0A 2018-04-16 2018-04-16 调整人脸图像的方法、装置、设备和计算机存储介质 Pending CN110390223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810338032.0A CN110390223A (zh) 2018-04-16 2018-04-16 调整人脸图像的方法、装置、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810338032.0A CN110390223A (zh) 2018-04-16 2018-04-16 调整人脸图像的方法、装置、设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN110390223A true CN110390223A (zh) 2019-10-29

Family

ID=68282974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810338032.0A Pending CN110390223A (zh) 2018-04-16 2018-04-16 调整人脸图像的方法、装置、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN110390223A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507259A (zh) * 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 脸部特征提取方法、装置、电子设备
CN112837213A (zh) * 2021-02-07 2021-05-25 北京字跳网络技术有限公司 脸型调整图像生成方法、模型训练方法、装置和设备
CN113065408A (zh) * 2021-03-09 2021-07-02 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN106339680A (zh) * 2016-08-25 2017-01-18 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN107862673A (zh) * 2017-10-31 2018-03-30 北京小米移动软件有限公司 图像处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN106339680A (zh) * 2016-08-25 2017-01-18 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN107862673A (zh) * 2017-10-31 2018-03-30 北京小米移动软件有限公司 图像处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507259A (zh) * 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 脸部特征提取方法、装置、电子设备
CN111507259B (zh) * 2020-04-17 2023-03-24 腾讯科技（深圳）有限公司 脸部特征提取方法、装置、电子设备
CN112837213A (zh) * 2021-02-07 2021-05-25 北京字跳网络技术有限公司 脸型调整图像生成方法、模型训练方法、装置和设备
CN113065408A (zh) * 2021-03-09 2021-07-02 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9547908B1 (en) Feature mask determination for images
CN113424223B (zh) 彩色图像帧序列中的基于多个神经网络的对象分割
CN109886997A (zh) 基于目标检测的识别框确定方法、装置及终端设备
US20190102603A1 (en) Method and apparatus for determining image quality
CN110390223A (zh) 调整人脸图像的方法、装置、设备和计算机存储介质
CN110874594A (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
US20170076142A1 (en) Feature detection and masking in images based on color distributions
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
US20140185924A1 (en) Face Alignment by Explicit Shape Regression
CN110570383B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110348352B (zh) 一种人脸图像年龄迁移网络的训练方法、终端和存储介质
CN107578459A (zh) 表情嵌入输入法候选项的方法及装置
CN110909654A (zh) 训练图像的生成方法及装置、电子设备和存储介质
CN110533639A (zh) 一种关键点定位方法及装置
CN108573192B (zh) 匹配人脸的眼镜试戴方法和装置
CN108734078A (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN111860044A (zh) 人脸换脸方法、装置、设备及计算机存储介质
CN111260667A (zh) 一种结合空间引导的神经纤维瘤分割方法
CN110059579A (zh) 用于活体检验的方法和装置，电子设备和存储介质
CN108648280A (zh) 虚拟角色驱动方法及装置、电子设备和存储介质
CN110503068A (zh) 视线估计方法、终端及存储介质
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
CN114663397A (zh) 可行驶区域的检测方法、装置、设备及存储介质
CN113781324A (zh) 一种老照片修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191029