CN107123083B - 人脸编辑方法 - Google Patents
人脸编辑方法 Download PDFInfo
- Publication number
- CN107123083B CN107123083B CN201710301176.4A CN201710301176A CN107123083B CN 107123083 B CN107123083 B CN 107123083B CN 201710301176 A CN201710301176 A CN 201710301176A CN 107123083 B CN107123083 B CN 107123083B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- images
- facial
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims abstract description 60
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims description 20
- 210000000887 face Anatomy 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 8
- 210000004209 hair Anatomy 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 4
- 210000000214 mouth Anatomy 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸编辑方法，包括：对初始的人脸图像数据集合进行预处理，对图像进行关键点检测，并通过关键点对齐人脸，获得预处理后的人脸图像数据集合S；对人脸图像数据集合S构造人脸形状先验P；利用人脸图像数据集合S与人脸形状先验P训练深度神经网络模型；利用训练好的深度神经网络模型，对获取到的人脸图像及对应的人脸形状先验，来预测人脸分割标签，进而完成人脸编辑操作。
Description
技术领域
本发明涉及人脸图像处理技术领域，尤其涉及一种人脸编辑方法。
背景技术
自1837年达盖尔发明了摄影术起，图像就开始逐渐走进我们的生活。随着计算机技术和通信技术的快速发展，图像作为一种便捷的信息传递方式，成为了人们获取信息的重要手段。由于包含人的图像在很多领域，例如身份验证、人机交互、监控、取证、医疗诊断和治疗等都有着广泛的应用，促使其成为机器识别和计算机视觉的主要课题之一。更进一步，人脸作为身体中最有代表性的部分，人们能够仅凭面部信息就能够获得极为丰富的含义，如人的性别，种族、年龄、健康、情绪，甚至职业等等。
在过去，只有少数训练有素的人可以自由地使用图像处理软件，如使用AdobePhotoshop来编辑脸部图像。然而，它需要一段时间的专业培训，即使对于专业人士，仍然费力和费时。现在，有部分软件公司，基于手机这类便携式移动工具，开发了功能简单的程序，例如，美图秀秀、天天P图等。这类软件虽然上手比较容易，但一键式美化是对整张图像操作，存在调整过度和损失细节的问题，若是用户手工调整，则仍是一个费时的过程。大多数用户需要用最少数量的操作，进行高质量的人脸编辑操作。因此，有效、方便和灵活的人脸图像编辑技术将有广泛的应用市场。
现有人脸分割算法存在以下几个问题：1)过度依赖人脸关键点信息，可能存在人脸关键点位置不正确或者不能检测的问题；2)现有基于学习的方法需要对图像分块处理，没有端对端的学习过程，这样不仅增加原始图片预处理的时间，还会导致最终测试时间的增加。
到目前为止，涉及人脸编辑的理论研究以及算法已有很多，但主要研究以下四种类型。
人脸美化。指对面部皮肤进行光滑、遮瑕处理。这种修饰通常在时尚行业和广告行业中需求较多，个人用户的需求也在增加。虽然目前存在一些商业应用来帮助完成这项任务，但是它们中的大多数仍然以半自动模式操作，需要用户手工参与部分操作。
人脸转换。指将脸部的部分五官或者整张脸转换到另一个人的脸部。现代社会，不少人为了追求美丽而选择接受整形美容手术，对于某些意外受伤或者天生面部受损的人，这种需求也是必要的。然而，对于大多数人来说，执行相关手术不仅昂贵，且存在排斥性的问题，所以最好在实际进行手术之前“预览”结果。
人脸融合。是指将两张或者多张脸进行融合，以到达平均脸的效果。研究表明，平均脸或者大众脸往往更加有吸引力。现有的人脸融合技术借助人脸关键点将脸部融合，而不考虑背景、头发等区域，使融合后的图像看起来非常不真实。
人脸化妆。指将脸部的妆容转移到另一个人的脸部。现有的化妆软件需要用户的输入来调整脸部关键点定位，这将给用户带来一些十分繁琐的体验。而且，某些软件并不能像真正的化妆品一样，消除皮肤上的瑕疵问题。
发明内容
本发明的目的是提供一种人脸编辑方法，可以直接对人脸分区域处理，不需要手工标记关键点或者划定编辑的区域范围。
本发明的目的是通过以下技术方案实现的：
一种人脸编辑方法，包括：
对初始的人脸图像数据集合进行预处理，对图像进行关键点检测，并通过关键点对齐人脸，获得预处理后的人脸图像数据集合S；
对人脸图像数据集合S构造人脸形状先验P；
利用人脸图像数据集合S与人脸形状先验P训练深度神经网络模型；
利用训练好的深度神经网络模型，对输入的人脸图像及对应的人脸形状先验，进行人脸分割标签预测，进而完成人脸编辑操作。
所述人脸图像数据集合S中包括：若干彩色人脸图像以及对应的人脸标签图像；
每一彩色人脸图像均为RGB三通道图像；人脸标签图像为单通道图像，分为11类：背景、头发、脸部皮肤、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、口腔与下嘴唇。
将人脸图像数据集合S划分为三个集合：训练集、测试集以及验证集；每一集合中均包含一定数量的彩色人脸图像及对应的人脸标签图像。
所述对人脸图像数据集合S构造人脸形状先验P包括：
给定人脸图像k，利用人脸关键点检测技术，检测人脸图像k和验证集中所有图像的关键点；将验证集中所有图像通过相似变换对齐到人脸图像k，得到转换后的人脸图像数据集合；比较验证集中每一张图像与人脸图像k关于人脸关键点的欧几里得距离li，选择出距离最近的n张图像对应的人脸标签图像；提取每一张人脸标签图像中的8类标签，并将每一类转换为0-1标签，单独作为一个通道，组成新的多通道标签图φi；对多通道标签图φi加权αi，最终获得人脸形状先验P，相关计算公式如下：
上式中，lk为人脸图像k的人脸关键点，lj为距离最近的n张图像中的第j张人脸图像的人脸关键点，dj为距离最近的n张图像中的第j张与人脸图像k的欧氏距离。
所述深度神经网络模型为全卷积深度神经网络模型，依次包括，输入层，卷积层，非线性层，池化层，去卷积层，剪裁层，融合层与损失层。
所述的人脸编辑操作包括人脸美化、人脸转换、人脸融合、人脸化妆中的一种或多种。
人脸美化包括：确定脸部皮肤对应的人脸标签图像，并对其进行SD滤波处理；
人脸转换包括：将原始人脸图像与样例人脸图像进行人脸关键点检测；通过关键点计算相似变换，将样例人脸图像对齐到原始人脸图像上；再将对齐后的样例人脸图像中的相关区域与原始图像做泊松融合；
人脸融合包括：假设需要将原始图像I，与样例融合图像Y融合，则相应的操作步骤如下：首先，检测两张图像的人脸关键点，每张图像得到80个人脸关键点；其中68个为脸部区域的人脸关键点，剩余的关键点取自每张图的边界：4个顶点和每条边的2个三等分点；然后，将样例融合图像Y上的每一个三角形通过仿射变换对应到原始图像I上，借助alpha-blended算法，将两个对应三角形的每个像素融合在一起，相关公式如下：
C(p)＝(1-γ)I(p)+γY(p)
其中，原始图像I与样例融合图像Y中的每一三角形均由各自图像中的3个人脸关键点组成，借由80个人脸关键点组成的所有三角形正好平铺整张图像；C表示最终的结果图像，p表示三角形中的每个像素，γ表示两张图像的融合比率，0≤γ≤1；
人脸化妆包括：在人脸融合操作的基础上，通过改变γ的值，从而获得自动化妆的效果。
由上述本发明提供的技术方案可以看出，1)由深度神经网络端到端训练得到人脸分割标签，避免了人脸图像的分块预处理操作，加快获得人脸分割标签的速度；同时，能支持任意大小彩色图片的输入，并能获得高质量的人脸分割标签，而传统方法只能针对固定大小的人脸图片。2)基于人脸分割完成人脸编辑操作，保留眼睛、头发、背景等人眼较为关注的细节，增强编辑后人脸图片的真实感，拓宽了人脸编辑的思路，基于人脸分割算法，不仅可以应用于现有的人脸编辑算法，还可以将大量图像编辑的算法应用于人脸图像上。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种人脸编辑方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
在人脸美化、人脸转换等应用领域，往往需要对某一特定区域作处理或是保留某一区域的细节，而现有软件的做法是借助人脸关键点信息或是以用户手工划分区域，这就需要用户有较多的时间和耐心选择特定的区域。同时，人脸关键点检测可能会由于不同的姿态、光照和皮肤颜色等的区别而得到不同的结果。在许多应用中，用户往往需要较高真实感的图像，现有的许多方法细节的处理远远不能达到要求。为此，本发明实施例提供一种人脸编辑方法，如图1所示，其主要包括如下步骤：
步骤11、对初始的人脸图像数据集合进行预处理，对图像进行关键点检测，并通过关键点对齐人脸，获得预处理后的人脸图像数据集合S。
本发明实施例中，初始的人脸图像数据集合可以采用现有的人脸数据集HELEN，其中标注了人脸分割标签。人脸图像数据集合主要包括：若干彩色人脸图像以及对应的人脸标签图像；每一彩色人脸图像均为RGB三通道图像；人脸标签图像为单通道图像，分为11类：背景、头发、脸部皮肤、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、口腔与下嘴唇。
在预处理时，利用人脸关键点检测方法，对人脸图像数据集合中的人脸图片检测人脸关键点(例如，检测5个关键点即可)，然后通过相似变换的方法，将人脸图像对齐到图片中的相同位置，并剪裁成相同大小。
本发明实施例中，将人脸图像数据集合S划分为三个集合：训练集、测试集以及验证集；每一集合中均包含一定数量的彩色人脸图像及对应的人脸标签图像。
步骤12、对人脸图像数据集合S构造人脸形状先验P。
给定人脸图像k，利用人脸关键点检测技术，检测人脸图像k和验证集中所有图像的关键点；将验证集中所有图像通过相似变换对齐到人脸图像k，得到转换后的人脸图像数据集合；比较验证集中每一张图像与人脸图像k关于人脸关键点的欧氏距离，选择出距离最近的n张图像对应的人脸标签图像；提取每一张人脸标签图像中的8类标签各标签，并将每一类转换为0-1标签，单独作为一个通道，组成新的多通道标签图φi；对多通道标签图φi加权αi，最终获得人脸形状先验P，相关计算公式如下：
上式中，lk为人脸图像k的人脸关键点，lj为距离最近的n张图像中的第j张人脸图像的人脸关键点，dj为距离最近的n张图像中的第j张与人脸图像k的欧氏距离。
上述人脸形状先验P是对每一张数据集合中的人脸图像而言，为8通道表示。8通道对应8类标签，示例性的，这8类标签可以为左眉、右眉、左眼、右眼、鼻子、上嘴唇、口腔与下嘴唇。
同时，上述方法主要是为了说明如何构造人脸形状先验P，所涉及的人脸图像k可以是任意给定的人脸图像，也可以是人脸图像数据集合S中的图像。
步骤13、利用人脸图像数据集合S与人脸形状先验P训练深度神经网络模型。
本发明实施例中，深度神经网络模型输入数据为11通道图像，即人脸图像数据集合的人脸图像(3个通道)和人脸形状先验(8个通道)。
所述深度神经网络模型为全卷积深度神经网络模型，依次包括，输入层，卷积层，非线性层，池化层，去卷积层，剪裁层，融合层与损失层。
本发明实施例中，利用人脸图像数据集合S中的训练集与人脸形状先验P对深度神经网络模型进行训练；人脸图像数据集合S中的验证集用于调整神经网络模型的参数，以选出最优的模型；人脸图像数据集合S中的测试集可以对训练后的深度神经网络模型进行测试，以评估训练效果。
步骤14、利用训练好的深度神经网络模型，对输入的人脸图像及对应的人脸形状先验，进行人脸分割标签预测，进而完成人脸编辑操作。
本发明实施例中，由深度神经网络模型可以得到的高质量人脸分割结果图。
人脸编辑操作主要指人脸美化、人脸转换、人脸融合、人脸化妆中的一种或多种。具体来说，人脸美化，是指对脸部皮肤进行光滑或者去瑕疵处理；人脸转换，是指对将目标人脸的某个五官或者整张脸转换到原始图像上，并保持整体的一致性，视觉上较为自然；人脸融合，是指融合两张或者多张人脸的面部特征；人脸化妆，是指将目标人脸的妆容转移到原始图像上，并保持原始图像的脸部特征。
本发明实施例中，上述人脸编辑操作可以如下方式来实现：
人脸美化包括：确定脸部皮肤对应的人脸标签图像，并对其进行SD滤波处理。SD滤波能够在保留边缘细节的情况下，最大程度的去除人脸皮肤上的缺陷，从而获得更佳的视觉效果。
人脸转换包括：将原始人脸图像与样例人脸图像进行人脸关键点检测；通过关键点计算相似变换(即进行旋转、平移和尺度的相应变换)，将样例人脸图像对齐到原始人脸图像上；再将对齐后的样例人脸图像中的相关区域与原始图像做泊松融合；泊松融合可以使得人脸转换达到一个自然过渡的效果。
人脸融合包括：假设需要将原始图像I，与样例融合图像Y融合，则相应的操作步骤如下：首先，检测两张图像的人脸关键点，每张图像得到80个人脸关键点；其中68个为脸部区域的人脸关键点，剩余的关键点取自每张图的边界：4个顶点和每条边的2个三等分点；然后，将样例融合图像Y上的每一个三角形通过仿射变换对应到原始图像I上，借助alpha-blended算法，将两个对应三角形的每个像素融合在一起，相关公式如下：
C(p)＝(1-γ)I(p)+γY(p)
其中，原始图像I与样例融合图像Y中的每一三角形均由各自图像中的3个人脸关键点组成，借由80个人脸关键点组成的所有三角形正好平铺整张图像；C表示最终的结果图像，p表示三角形中的每个像素，γ表示两张图像的融合比率，0≤γ≤1。现存的方法大多不能处理背景和头发区域，所以最终获得的图像总会有融合后的重影。本发明避免了上述的问题，完整保留了原始人脸图像的背景和头发区域，同时也避免了人脸图像中的刘海区域对于结果图像的影响。
人脸化妆包括：在人脸融合操作的基础上，通过改变γ的值，从而获得自动化妆的效果。本发明实施例在保持原始图像人脸特征的基础上，完成了样例图像妆容的自动转移，主要的化妆部位为：眉毛、眼睛、脸颊、还有嘴唇。同时，由于人脸图像融合的特性，会将样例图像与原始图像的肤色相融合，其在一定程度上完成了真实化妆中的遮瑕和提亮肤色的步骤。
本发明实施例中上述方案在人脸分割的基础上获得人脸编辑的效果，同时能很好的保留眼睛、头发和背景等细节，对不同的人脸图片鲁棒以及能较快得到最终的结果。
相比传统人脸分割方法，本发明具有以下优点：
1)由深度神经网络端到端训练得到人脸分割标签，避免了人脸图像的分块预处理操作，加快获得人脸分割标签的速度。
2)能支持任意大小彩色图片的输入，并能获得高质量的人脸分割标签，而传统方法只能针对固定大小的人脸图片。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种人脸编辑方法，其特征在于，包括：
对初始的人脸图像数据集合进行预处理，对图像进行关键点检测，并通过关键点对齐人脸，获得预处理后的人脸图像数据集合S；
对人脸图像数据集合S构造人脸形状先验P；
利用人脸图像数据集合S与人脸形状先验P训练深度神经网络模型；
利用训练好的深度神经网络模型，对输入的人脸图像及对应的人脸形状先验，进行人脸分割标签预测，进而完成人脸编辑操作；
其中，所述对人脸图像数据集合S构造人脸形状先验P包括：
给定人脸图像k，利用人脸关键点检测技术，检测人脸图像k和验证集中所有图像的关键点；将验证集中所有图像通过相似变换对齐到人脸图像k，得到转换后的人脸图像数据集合；比较验证集中每一张图像与人脸图像k关于人脸关键点的欧几里得距离li，选择出距离最近的n张图像对应的人脸标签图像；提取每一张人脸标签图像中的8类标签，并将每一类转换为0-1标签，单独作为一个通道，组成新的多通道标签图φi；对多通道标签图φi加权αi，最终获得人脸形状先验P，相关计算公式如下：
上式中，lk为人脸图像k的人脸关键点，lj为距离最近的n张图像中的第j张人脸图像的人脸关键点，dj为距离最近的n张图像中的第j张与人脸图像k的欧氏距离。
2.根据权利要求1所述的一种人脸编辑方法，其特征在于，所述人脸图像数据集合S中包括：若干彩色人脸图像以及对应的人脸标签图像；
每一彩色人脸图像均为RGB三通道图像；人脸标签图像为单通道图像，分为11类：背景、头发、脸部皮肤、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、口腔与下嘴唇。
3.根据权利要求1或2所述的一种人脸编辑方法，其特征在于，将人脸图像数据集合S划分为三个集合：训练集、测试集以及验证集；每一集合中均包含一定数量的彩色人脸图像及对应的人脸标签图像。
4.根据权利要求1所述的一种人脸编辑方法，其特征在于，所述深度神经网络模型为全卷积深度神经网络模型，依次包括，输入层，卷积层，非线性层，池化层，去卷积层，剪裁层，融合层与损失层。
5.根据权利要求1所述的一种人脸编辑方法，其特征在于，所述的人脸编辑操作包括人脸美化、人脸转换、人脸融合、人脸化妆中的一种或多种。
6.根据权利要求5所述的一种人脸编辑方法，其特征在于，
人脸美化包括：确定脸部皮肤对应的人脸标签图像，并对其进行SD滤波处理；
人脸转换包括：将原始人脸图像与样例人脸图像进行人脸关键点检测；通过关键点计算相似变换，将样例人脸图像对齐到原始人脸图像上；再将对齐后的样例人脸图像中的相关区域与原始图像做泊松融合；
人脸融合包括：假设需要将原始图像I，与样例融合图像Y融合，则相应的操作步骤如下：首先，检测两张图像的人脸关键点，每张图像得到80个人脸关键点；其中68个为脸部区域的人脸关键点，剩余的关键点取自每张图的边界：4个顶点和每条边的2个三等分点；然后，将样例融合图像Y上的每一个三角形通过仿射变换对应到原始图像I上，借助alpha-blended算法，将两个对应三角形的每个像素融合在一起，相关公式如下：
C(p)＝(1-γ)I(p)+γY(p)
其中，原始图像I与样例融合图像Y中的每一三角形均由各自图像中的3个人脸关键点组成，借由80个人脸关键点组成的所有三角形正好平铺整张图像；C表示最终的结果图像，p表示三角形中的每个像素，γ表示两张图像的融合比率，0≤γ≤1；
人脸化妆包括：在人脸融合操作的基础上，通过改变γ的值，从而获得自动化妆的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710301176.4A CN107123083B (zh) | 2017-05-02 | 2017-05-02 | 人脸编辑方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710301176.4A CN107123083B (zh) | 2017-05-02 | 2017-05-02 | 人脸编辑方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107123083A CN107123083A (zh) | 2017-09-01 |
| CN107123083B true CN107123083B (zh) | 2019-08-27 |
Family
ID=59726576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710301176.4A Active CN107123083B (zh) | 2017-05-02 | 2017-05-02 | 人脸编辑方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107123083B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3839879A4 (en) * | 2019-08-28 | 2022-01-05 | Beijing Sensetime Technology Development Co., Ltd. | FACIAL IMAGE PROCESSING PROCESS AND APPARATUS, IMAGING DEVICE AND INFORMATION CARRIER |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945188A (zh) * | 2017-11-20 | 2018-04-20 | 北京奇虎科技有限公司 | 基于场景分割的人物装扮方法及装置、计算设备 |
| CN108171716B (zh) * | 2017-12-25 | 2021-11-26 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的视频人物装扮方法及装置 |
| CN108596992B (zh) * | 2017-12-31 | 2021-01-01 | 广州二元科技有限公司 | 一种快速实时的唇彩化妆方法 |
| CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
| CN108764039B (zh) * | 2018-04-24 | 2020-12-01 | 中国科学院遥感与数字地球研究所 | 神经网络、遥感影像的建筑物提取方法、介质及计算设备 |
| CN108932693B (zh) * | 2018-06-15 | 2020-09-22 | 中国科学院自动化研究所 | 基于人脸几何信息的人脸编辑补全方法及装置 |
| CN109409979A (zh) * | 2018-09-04 | 2019-03-01 | 阿里巴巴集团控股有限公司 | 虚拟化妆方法、装置及设备 |
| CN109344752B (zh) * | 2018-09-20 | 2019-12-10 | 北京字节跳动网络技术有限公司 | 用于处理嘴部图像的方法和装置 |
| CN109886881B (zh) * | 2019-01-10 | 2021-03-09 | 中国科学院自动化研究所 | 人脸妆容去除方法 |
| CN110414437A (zh) * | 2019-07-30 | 2019-11-05 | 上海交通大学 | 基于卷积神经网络模型融合篡改人脸检测分析方法和系统 |
| CN112330526B (zh) * | 2019-08-05 | 2024-02-09 | 深圳Tcl新技术有限公司 | 一种人脸转换模型的训练方法、存储介质及终端设备 |
| CN111462007B (zh) * | 2020-03-31 | 2023-06-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备及计算机存储介质 |
| CN111861954A (zh) * | 2020-06-22 | 2020-10-30 | 北京百度网讯科技有限公司 | 编辑人脸的方法、装置、电子设备和可读存储介质 |
| CN113536991B (zh) * | 2021-06-29 | 2023-06-23 | 北京百度网讯科技有限公司 | 训练集生成、人脸图像处理方法、装置及电子设备 |
| CN113743243A (zh) * | 2021-08-13 | 2021-12-03 | 厦门大学 | 一种基于深度学习的人脸美颜方法 |
| CN116363263B (zh) * | 2023-06-01 | 2023-10-27 | 北京邃芒科技有限公司 | 图像编辑方法、系统、电子设备、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
| CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
| CN105187810A (zh) * | 2014-11-11 | 2015-12-23 | 怀效宁 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
-
2017
- 2017-05-02 CN CN201710301176.4A patent/CN107123083B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105187810A (zh) * | 2014-11-11 | 2015-12-23 | 怀效宁 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
| CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
| CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3839879A4 (en) * | 2019-08-28 | 2022-01-05 | Beijing Sensetime Technology Development Co., Ltd. | FACIAL IMAGE PROCESSING PROCESS AND APPARATUS, IMAGING DEVICE AND INFORMATION CARRIER |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107123083A (zh) | 2017-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123083B (zh) | 人脸编辑方法 | |
| US10163230B2 (en) | System and method for applying a reflectance modifying agent to change a person's appearance based on a digital image | |
| CN105787878A (zh) | 一种美颜处理方法及装置 | |
| US9760935B2 (en) | Method, system and computer program product for generating recommendations for products and treatments | |
| CN101779218B (zh) | 化妆模拟系统及其化妆模拟方法 | |
| CN108986132B (zh) | 一种使用全卷积神经网络生成证件照Trimap图的方法 | |
| JP2020526809A5 (zh) | ||
| CN109903257A (zh) | 一种基于图像语义分割的虚拟头发染色方法 | |
| CN107820591A (zh) | 控制方法、控制器、智能镜子和计算机可读存储介质 | |
| KR20080084933A (ko) | 얼굴 분류 방법, 얼굴 분류 장치, 분류맵, 얼굴 분류프로그램, 및 상기 프로그램이 기록된 기록매체 | |
| CN107153805A (zh) | 定制化美妆辅助装置和方法 | |
| CN109584153A (zh) | 修饰眼部的方法、装置和系统 | |
| CN110390632A (zh) | 基于妆容模板的图像处理方法、装置、存储介质及终端 | |
| Nguyen et al. | Smart mirror: Intelligent makeup recommendation and synthesis | |
| CN108875462A (zh) | 眉毛造型指引装置及其方法 | |
| CN113569732B (zh) | 基于并行共享多任务网络的人脸属性识别方法及系统 | |
| Park et al. | An automatic virtual makeup scheme based on personal color analysis | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| Guo | Digital anti-aging in face images | |
| CN107692701A (zh) | 一种智能镜子的显示方法及装置 | |
| WO2020085922A1 (en) | Digital character blending and generation system and method | |
| Jin et al. | Facial makeup transfer combining illumination transfer | |
| CN110413818A (zh) | 贴纸推荐方法、装置、计算机可读存储介质和计算机设备 | |
| Varshovi | Facial makeup detection using HSV color space and texture analysis | |
| JP4893968B2 (ja) | 顔画像の合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |