CN107527034B - 一种面部轮廓调整方法及移动终端 - Google Patents
一种面部轮廓调整方法及移动终端 Download PDFInfo
- Publication number
- CN107527034B CN107527034B CN201710749789.4A CN201710749789A CN107527034B CN 107527034 B CN107527034 B CN 107527034B CN 201710749789 A CN201710749789 A CN 201710749789A CN 107527034 B CN107527034 B CN 107527034B
- Authority
- CN
- China
- Prior art keywords
- point
- primitive character
- original
- triangle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000001815 facial effect Effects 0.000 abstract description 4
- 238000010295 mobile communication Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241001396014 Priacanthus arenatus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G06T3/18—
Abstract
本发明提供了一种面部轮廓调整方法及移动终端，涉及移动通信技术领域，所述方法包括：获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点；通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的；利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像。本发明解决了目前的人脸轮廓调整方法，调整效果较差以及用户工作量较大的问题。
Description
技术领域
本发明涉及移动通信技术领域，尤其涉及一种面部轮廓调整方法及移动终端。
背景技术
随着移动终端的摄像头的分辨率和拍照质量的提升，用户通过移动终端拍摄的照片的数量呈现爆炸性增长，对美颜的要求也越来越高。而人脸轮廓的调整，对美颜效果起了至关重要的作用。
现有技术通常对面部轮廓进行针对性的调整，比如，大眼，瘦脸，高鼻梁等，用户根据自身情况去调整相应的强度。以瘦脸为例，在同样的强度下，较瘦的人可能会觉得效果太强，而较胖的人会觉得效果不够，不够智能化。并且目前的轮廓调整在处理正面人脸的时效果较好，而对于人脸有自然角度的情况下，调整结果不佳。比如，人脸有侧脸角度的情况下，两边脸颊做同样程度的瘦脸，调整结果不自然。此外，不同的脸型，需要的瘦脸区域不一样，采用目前的人脸轮廓调整方法，调整效果较差，且用户工作量较大。
发明内容
本发明提供了一种面部轮廓调整方法及移动终端，其目的是为了解决目前的人脸轮廓调整方法，调整效果较差以及用户工作量较大的问题。
一方面，本发明的实施例提供了一种面部轮廓调整方法，所述方法包括：
获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点；
通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的；
利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像。
另一方面，本发明的实施例还提供了一种移动终端，包括：
特征提取模块，用于获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点；
数据处理模块，用于通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的；
三角剖分模块，用于利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像。
又一方面，本发明的实施例还提供了一种移动终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述面部轮廓调整方法中的步骤。
再一方面，本发明的实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述面部轮廓调整方法中的步骤。
这样，本发明的实施例根据原始特征点以及通过回归深度网络处理得到的目标特征点，进行三角剖分，得到的目标图像的变形效果较为均匀，能够提升轮廓调整的效果，且调整过程不需人工参与，耗时较短，效率较高，适用于侧脸等各种角度的面部图像。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1表示本发明实施例提供的面部轮廓调整方法的流程图之一；
图2表示本发明实施例提供的具体示例的示意图；
图3表示本发明实施例提供的面部轮廓调整方法的流程图之二；
图4表示本发明的实施例提供的移动终端的框图之一；
图5表示本发明的实施例提供的移动终端的框图之二；
图6表示本发明的实施例提供的移动终端的框图之三；
图7表示本发明的实施例提供的移动终端的框图之四。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参见图1，本发明的实施例提供了一种面部轮廓调整方法，包括：
步骤101，获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点。
其中，获取用户的原始图像，原始图像应包括用户的面部轮廓；根据预设的提取规则，提取用户的特征点。
步骤102，通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的。
可选地，本发明实施例中的回归深度网络即卷积神经网络(ConvolutionalNeural Network，CNN)，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
本发明的具体实施例中，回归深度网络为经过预先训练得到的，将原始图像输入至CNN中，并预标记好原始特征点，经过回归深度网络处理后得出的是调整后的目标特征点。并且对原始图像预先进行三角剖分，三角剖分的过程中，以原始特征点作为三角剖分网络中各个三角形的顶点。
作为具体示例，参见图2，对原始图像进行特征提取后，提取到多个特征点如图中P点(图中箭头所指向的点为P点)所示，将多个P点分别作为各个三角形的顶点，则得到了原始三角形形成的三角剖分网络。将多个特征点利用回归深度网络调整后，得到各自对应的目标特征点。
步骤103，利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像。
其中，对于一个原始三角形，根据该原始三角形三个顶点的原始特征点以及对应的目标特征点，可确定该原始三角形的位置变化情况；根据位置变化情况，对该原始三角形包括的每个像素点均做出同样的位置变化，可重新获得该原始三角形对应的目标三角形。继续参见图2，任意特征点的变动,将导致这些特征点的关联三角形发生变形，比如P点经过回归深度网络调整后，包括P点的原始三角形在三角变形的过程中，均会产生变化。
本发明的上述实施例中，根据原始特征点以及通过回归深度网络处理得到的目标特征点，进行三角剖分，得到的目标图像的变形效果较为均匀，能够提升轮廓调整的效果，且调整过程不需人工参与，耗时较短，效率较高，适用于侧脸等各种角度的面部图像。本发明解决了目前的人脸轮廓调整方法，调整效果较差以及用户工作量较大的问题。
参见图3，本发明的实施例提供了一种面部轮廓调整方法，包括：
步骤301，获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点。
其中，获取用户的原始图像，原始图像应包括用户的面部轮廓；根据预设的提取规则，提取用户的特征点。
步骤302，通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的。
本发明的具体实施例中，回归深度网络为经过预先训练得到的，将原始图像输入至CNN中，并预标记好原始特征点，经过回归深度网络处理后得出的是调整后的目标特征点。并且对原始图像预先进行三角剖分，三角剖分的过程中，以原始特征点作为三角剖分网络中各个三角形的顶点。
步骤303，根据所述原始特征点以及所述目标特征点，确定位置变化向量方程。
其中，对于一个原始三角形，根据该原始三角形至少两个顶点的原始特征点以及对应的目标特征点，可确定该原始三角形的位置向量方程。
具体地，步骤303包括：
确定第一位置向量以及第二位置向量，所述第一位置向量为所述特征点的原始位置的位置向量，所述第二位置向量为所述特征点的目标位置的位置向量；
根据所述第一位置向量以及第二位置向量，确定位置变化向量方程。
本步骤中，对每个原始三角变形,可以用一个简单的线性方程：
其中，为原始三角形内部的任意一像素点的位置向量，即第一位置向量；
为原始三角形三角变形之后的该点的位置向量，即第二位置向量，M为2*2的矩阵；为偏移向量。
通过原始三角形三个顶点的原始位置和目标位置，即第一位置向量以及第二位置向量，即可确定M以及所包括的参数，从而完全确定这个三角变形的位置变化向量方程。
具体地，比如原始三角形△ABC中，A点的坐标为(x0，y0)，则其齐次坐标为(x0，y0，1)；对于三角形变形来说，△ABC的目标三角形为△A'B'C'，矩阵的变换相当于将△ABC中的每个点映射到△A'B'C'，由于已经存在了三个顶点的对应关系，即A对应A'，B对应B'，C对应C'，则可以定义一个2×3的矩阵M1，即一共六个未知数,从而把任意的齐次坐标转为二维向量，则有M1·(A，B，C)＝(A'，B'，C')，由于三角形的三个顶点不共线，因此(A，B，C)组成的矩阵存在逆矩阵，从而得到矩阵M1＝(A'，B'，C')·(A，B，C)-1，该矩阵M1决定了△ABC到△A'B'C'的映射关系。
由于一共有六个未知数，三个对应的顶点，一共有六个方程(一个顶点有两个坐标)，只要的三个点不重合,则必然可以求解出这六个未知数，因此，可求解上述线性方程。
步骤304，根据所述位置变化向量方程，确定所述原始三角形中的每个像素点的目标像素位置。
其中，当位置变化向量方程确定之后，对于原始三角形内的每个像素点，均可通过位置变化向量方程确定目标像素位置，即变形后的像素位置。
步骤305，根据所述每个像素点的目标像素位置，得到变形后的三角形，获得目标图像。
其中，将原始三角形的每个像素点均执行变形之后，即实现了原始三角形的三角变形；对位置发生变化的特征点对应的所有三角形均实现三角变形之后，便得到的目标图像。
可选地，所述获取包括面部轮廓的原始图像的步骤之前，所述方法还包括：
通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述回归深度网络。
其中，可采集了各种场景和各种姿势的待调整的样本图像，自动检测样本图像的和特征点,然后人工调整特征点并进行三角剖分变形,得到符合审美要求的图片后,保存所有调整后的第一目标特征点；通过第一目标特征点训练回归深度网络。
可选地，所述通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述回归深度网络的步骤，包括：
第一步，获取样本用户图像的样本原始特征点经过调整后的第一目标特征点；
第二步，将所述样本原始特征点输入至所述回归深度网络，获得所述样本原始特征点对应的第二目标特征点；
第三步，确定所述第一目标特征点与所述第二目标特征点之间的偏离数据；
第四步，根据所述偏离数据，反向调整所述回归深度网络。
其中，训练回归深度网络的过程主要包括：获取样本图像的原始特征点以及经过人工调整后的符合审美或者接近某个目标调整对象(比如某个明星)的第一目标特征点；再将原始特征点输入至所述回归深度网络，得到第二目标特征点，确定第一目标特征点与所述第二目标特征点之间的偏离数据，再根据偏离数据反向去优化回归深度网络，从而使得回归深度网络所调整的目标特征点更符合用户的审美。
本发明的上述实施例中，根据原始特征点以及通过回归深度网络处理得到的目标特征点，进行三角剖分，得到的目标图像的变形效果较为均匀，能够提升轮廓调整的效果，且调整过程不需人工参与，耗时较短，效率较高，适用于侧脸等各种角度的面部图像。
参见图4，本发明的实施例提供了一种移动终端400，包括：
特征提取模块401，用于获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点。
其中，获取用户的原始图像，原始图像应包括用户的面部轮廓；根据预设的提取规则，提取用户的特征点。
数据处理模块402，用于通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的。
本发明的具体实施例中，回归深度网络为经过预先训练得到的，将原始图像输入至CNN中，并预标记好原始特征点，经过回归深度网络处理后得出的是调整后的目标特征点。并且对原始图像预先进行三角剖分，三角剖分的过程中，以原始特征点作为三角剖分网络中各个三角形的顶点。
三角剖分模块403，用于利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像。
其中，对于一个原始三角形，根据该原始三角形三个顶点的原始特征点以及对应的目标特征点，可确定该原始三角形的位置变化情况；根据位置变化情况，对该原始三角形包括的每个像素点均做出同样的位置变化，可重新获得该原始三角形对应的目标三角形。继续参见图2，任意特征点的变动,将导致这些特征点的关联三角形发生变形，比如P点经过回归深度网络调整后，包括P点的原始三角形在三角变形的过程中，均会产生变化。
可选地，参见图5，移动终端400包括：
网络训练模块404，用于在所述特征提取模块401获取包括有面部轮廓的用户图像之前，
通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述回归深度网络。
可选地，参见图5，所述网络训练模块404包括：
训练子模块4041，用于获取样本用户图像的样本原始特征点经过调整后的第一目标特征点；
将所述样本原始特征点输入至所述回归深度网络，获得所述样本原始特征点对应的第二目标特征点；
确定所述第一目标特征点与所述第二目标特征点之间的偏离数据；
根据所述偏离数据，反向调整所述回归深度网络。
可选地，参见图5，所述三角剖分模块403包括：
向量确定子模块4031，用于根据所述原始特征点以及所述目标特征点，确定位置变化向量方程；
位置确定子模块4032，用于根据所述位置变化向量方程，确定所述原始三角形中的每个像素点的目标像素位置；
变形子模块4033，用于根据所述每个像素点的目标像素位置，得到变形后的三角形。
可选地，所述向量确定子模块4031用于：
确定第一位置向量以及第二位置向量，所述第一位置向量为所述特征点的原始位置的位置向量，所述第二位置向量为所述特征点的目标位置的位置向量；
根据所述第一位置向量以及第二位置向量，确定位置变化向量方程。
本发明的上述实施例中，根据原始特征点以及通过回归深度网络处理得到的目标特征点，进行三角剖分，得到的目标图像的变形效果较为均匀，能够提升轮廓调整的效果，且调整过程不需人工参与，耗时较短，效率较高，适用于侧脸等各种角度的面部图像。
另一方面，本发明的实施例还提供了一种移动终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述面部轮廓调整方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
再一方面，本发明的实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述面部轮廓调整方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
参见图6，本发明的又一实施例提供了一种移动终端600。图6所示的移动终端600包括：至少一个处理器601、存储器602、至少一个网络接口604以及其他用户接口603。移动终端600中的各个组件通过总线系统605耦合在一起。可理解，总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统605。
其中，用户接口603可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRam bus RAM，DRRAM)。本文描述的系统和方法的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器602存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统6021和应用程序6022。
其中，操作系统6021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序6022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务，实现本发明实施例方法的程序可以包含在应用程序6022中。
在本发明实施例中，移动终端600还包括：存储在存储器上602并可在处理器601上运行的计算机程序，计算机程序被处理器601执行时实现如下步骤：获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点；通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的；利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像。
上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601实现。处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，计算机程序被处理器601执行时还可实现如下步骤：通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述回归深度网络。
可选地，作为另一个实施例，计算机程序被处理器601执行时还可实现如下步骤：获取样本用户图像的样本原始特征点经过调整后的第一目标特征点；
将所述样本原始特征点输入至所述回归深度网络，获得所述样本原始特征点对应的第二目标特征点；
确定所述第一目标特征点与所述第二目标特征点之间的偏离数据；
根据所述偏离数据，反向调整所述回归深度网络。
可选地，作为另一个实施例，计算机程序被处理器601执行时还可实现如下步骤：根据所述原始特征点以及所述目标特征点，确定位置变化向量方程；根据所述位置变化向量方程，确定所述原始三角形中的每个像素点的目标像素位置；根据所述每个像素点的目标像素位置，得到变形后的三角形。
可选地，作为另一个实施例，计算机程序被处理器601执行时还可实现如下步骤：确定第一位置向量以及第二位置向量，所述第一位置向量为所述特征点的原始位置的位置向量，所述第二位置向量为所述特征点的目标位置的位置向量；
根据所述第一位置向量以及第二位置向量，确定位置变化向量方程。
移动终端600能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
本发明实施例的移动终端600，通过处理器601根据原始特征点以及通过回归深度网络处理得到的目标特征点，进行三角剖分，得到的目标图像的变形效果较为均匀，能够提升轮廓调整的效果，且调整过程不需人工参与，耗时较短，效率较高，适用于侧脸等各种角度的面部图像。
参见图7，本发明的又一实施例提供了一种移动终端700。具体地，图7中的移动终端700可以为手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、或车载电脑等。
图7中的移动终端700包括射频(Radio Frequency，RF)电路710、存储器720、输入单元730、显示单元740、处理器750、Wi-Fi(Wireless Fidelity)模块760、音频电路770、电源780。
其中，输入单元730可用于接收用户输入的数字或字符信息，以及产生与移动终端700的用户设置以及功能控制有关的信号输入。
具体地，本发明实施例中，该输入单元730可以包括触控面板731。触控面板731，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器750，并能接收处理器750发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731，输入单元730还可以包括其他输入设备732，其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中，显示单元740可用于显示由用户输入的信息或提供给用户的信息以及移动终端700的各种菜单界面。显示单元740可包括显示面板741，可选的，可以采用LCD或有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板741。
应注意，触控面板731可以覆盖显示面板741，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器750以确定触摸事件的类型，随后处理器750根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
在本发明实施例中，移动终端700还包括：存储在存储器上720并可在处理器750上运行的计算机程序，计算机程序被处理器750执行时实现如下步骤：获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点；通过预先训练得到的回归深度网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的；利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像。
可选地，作为另一个实施例，计算机程序被处理器750执行时还可实现如下步骤：通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述回归深度网络。
可选地，作为另一个实施例，计算机程序被处理器750执行时还可实现如下步骤：获取样本用户图像的样本原始特征点经过调整后的第一目标特征点；
将所述样本原始特征点输入至所述回归深度网络，获得所述样本原始特征点对应的第二目标特征点；
确定所述第一目标特征点与所述第二目标特征点之间的偏离数据；
根据所述偏离数据，反向调整所述回归深度网络。
可选地，作为另一个实施例，计算机程序被处理器750执行时还可实现如下步骤：根据所述原始特征点以及所述目标特征点，确定位置变化向量方程；根据所述位置变化向量方程，确定所述原始三角形中的每个像素点的目标像素位置；根据所述每个像素点的目标像素位置，得到变形后的三角形。
可选地，作为另一个实施例，计算机程序被处理器750执行时还可实现如下步骤：确定第一位置向量以及第二位置向量，所述第一位置向量为所述特征点的原始位置的位置向量，所述第二位置向量为所述特征点的目标位置的位置向量；
根据所述第一位置向量以及第二位置向量，确定位置变化向量方程。
移动终端700能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
本发明实施例的移动终端700，通过处理器750根据原始特征点以及通过回归深度网络处理得到的目标特征点，进行三角剖分，得到的目标图像的变形效果较为均匀，能够提升轮廓调整的效果，且调整过程不需人工参与，耗时较短，效率较高，适用于侧脸等各种角度的面部图像。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟、光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种面部轮廓调整方法，其特征在于，包括：
获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点；
通过预先训练得到的卷积神经网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的；
利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像；
所述利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理的步骤，包括：
根据所述原始特征点以及所述目标特征点，确定位置变化向量方程；
根据所述位置变化向量方程，确定所述原始三角形中的每个像素点的目标像素位置；
根据所述每个像素点的目标像素位置，得到变形后的三角形。
2.根据权利要求1所述的方法，其特征在于，所述获取包括面部轮廓的原始图像的步骤之前，包括：
通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述卷积神经网络。
3.根据权利要求2所述的方法，其特征在于，所述通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述卷积神经网络的步骤，包括：
获取样本用户图像的样本原始特征点经过调整后的第一目标特征点；
将所述样本原始特征点输入至所述卷积神经网络，获得所述样本原始特征点对应的第二目标特征点；
确定所述第一目标特征点与所述第二目标特征点之间的偏离数据；
根据所述偏离数据，反向调整所述卷积神经网络。
4.根据权利要求1所述的方法，其特征在于，所述根据所述原始特征点以及所述目标特征点，确定位置变化向量方程的步骤，包括：
确定第一位置向量以及第二位置向量，所述第一位置向量为所述特征点的原始位置的位置向量，所述第二位置向量为所述特征点的目标位置的位置向量；
根据所述第一位置向量以及第二位置向量，确定位置变化向量方程。
5.一种移动终端，其特征在于，包括：
特征提取模块，用于获取包括面部轮廓的原始图像，从所述原始图像中提取原始特征点；
数据处理模块，用于通过预先训练得到的卷积神经网络对所述原始图像和所述原始特征点进行处理，得到与所述原始特征点对应的目标特征点，以及所述原始图像的各个原始三角形；所述原始三角形为将所述原始特征点作为三角形的顶点，对所述原始图像进行三角剖分得到的；
三角剖分模块，用于利用所述原始特征点以及所述目标特征点，对所述原始图像中的原始三角形进行三角剖分变形处理，获得目标图像；
所述三角剖分模块包括：
向量确定子模块，用于根据所述原始特征点以及所述目标特征点，确定位置变化向量方程；
位置确定子模块，用于根据所述位置变化向量方程，确定所述原始三角形中的每个像素点的目标像素位置；
变形子模块，用于根据所述每个像素点的目标像素位置，得到变形后的三角形。
6.根据权利要求5所述的移动终端，其特征在于，包括：
网络训练模块，用于在所述特征提取模块获取包括有面部轮廓的用户图像之前，
通过样本图像、所述样本图像的原始特征点，以及与所述原始特征点对应的调整后的第一目标特征点，训练所述卷积神经网络。
7.根据权利要求6所述的移动终端，其特征在于，所述网络训练模块包括：
训练子模块，用于获取样本用户图像的样本原始特征点经过调整后的第一目标特征点；
将所述样本原始特征点输入至所述卷积神经网络，获得所述样本原始特征点对应的第二目标特征点；
确定所述第一目标特征点与所述第二目标特征点之间的偏离数据；
根据所述偏离数据，反向调整所述卷积神经网络。
8.根据权利要求5所述的移动终端，其特征在于，所述向量确定子模块用于：
确定第一位置向量以及第二位置向量，所述第一位置向量为所述特征点的原始位置的位置向量，所述第二位置向量为所述特征点的目标位置的位置向量；
根据所述第一位置向量以及第二位置向量，确定位置变化向量方程。
9.一种移动终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的面部轮廓调整方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的面部轮廓调整方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710749789.4A CN107527034B (zh) | 2017-08-28 | 2017-08-28 | 一种面部轮廓调整方法及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710749789.4A CN107527034B (zh) | 2017-08-28 | 2017-08-28 | 一种面部轮廓调整方法及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107527034A CN107527034A (zh) | 2017-12-29 |
| CN107527034B true CN107527034B (zh) | 2019-07-26 |
Family
ID=60682313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710749789.4A Active CN107527034B (zh) | 2017-08-28 | 2017-08-28 | 一种面部轮廓调整方法及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107527034B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446653B (zh) * | 2018-03-27 | 2022-08-16 | 百度在线网络技术（北京）有限公司 | 用于处理面部图像的方法和装置 |
| CN110390223A (zh) * | 2018-04-16 | 2019-10-29 | 北京陌陌信息技术有限公司 | 调整人脸图像的方法、装置、设备和计算机存储介质 |
| CN110633599B (zh) * | 2018-06-21 | 2022-06-24 | 北京陌陌信息技术有限公司 | 处理人体图像的方法、装置、设备和计算机存储介质 |
| CN109359618B (zh) * | 2018-10-30 | 2022-02-22 | 北京市商汤科技开发有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| CN109472753B (zh) * | 2018-10-30 | 2021-09-07 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备和计算机存储介质 |
| CN110119457B (zh) * | 2019-05-17 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN110555812A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置和计算机设备 |
| CN111031234B (zh) * | 2019-11-20 | 2021-09-03 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN110910308B (zh) * | 2019-12-03 | 2024-03-05 | 广州虎牙科技有限公司 | 图像处理方法、装置、设备和介质 |
| CN113706369A (zh) * | 2020-05-21 | 2021-11-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113744124A (zh) * | 2020-05-29 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
| CN113065408A (zh) * | 2021-03-09 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102486868A (zh) * | 2010-12-06 | 2012-06-06 | 华南理工大学 | 一种基于平均脸的美丽人脸合成方法 |
| CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
| CN103761536A (zh) * | 2014-01-28 | 2014-04-30 | 五邑大学 | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 |
| CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
| CN105654420A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
-
2017
- 2017-08-28 CN CN201710749789.4A patent/CN107527034B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102486868A (zh) * | 2010-12-06 | 2012-06-06 | 华南理工大学 | 一种基于平均脸的美丽人脸合成方法 |
| CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
| CN103761536A (zh) * | 2014-01-28 | 2014-04-30 | 五邑大学 | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 |
| CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
| CN105654420A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| Spatial Transformer Networks空间变换神经网络博客园;Physcalの大魔導書;《博客园https://www.cnblogs.com/neopenx/p/4851806.html》;20151021;第1页正文第13-16行 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107527034A (zh) | 2017-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107527034B (zh) | 一种面部轮廓调整方法及移动终端 | |
| CN105872148B (zh) | 一种高动态范围图像的生成方法及移动终端 | |
| CN105847674B (zh) | 一种基于移动终端的预览图像处理方法及移动终端 | |
| CN106408290B (zh) | 一种支付界面启动方法和移动终端 | |
| CN105825544B (zh) | 一种图像处理方法及移动终端 | |
| CN107492067B (zh) | 一种图像美化方法及移动终端 | |
| CN106791400B (zh) | 一种图像显示方法及移动终端 | |
| CN106791393B (zh) | 一种拍摄方法及移动终端 | |
| CN106126108B (zh) | 一种缩略图的生成方法及移动终端 | |
| CN108701352A (zh) | 使用基于三维对象模型的识别的图像修改与增强 | |
| CN106780401B (zh) | 一种图片处理的方法及移动终端 | |
| CN106791364A (zh) | 一种多人拍照的方法及移动终端 | |
| CN107368150A (zh) | 一种拍照方法及移动终端 | |
| CN109740571A (zh) | 图像采集的方法、图像处理的方法、装置和电子设备 | |
| CN107277481A (zh) | 一种图像处理方法及移动终端 | |
| CN107302655B (zh) | 一种拍摄取景的调节方法及移动终端 | |
| CN107610042B (zh) | 一种图像美化方法及移动终端 | |
| CN107172346A (zh) | 一种虚化方法及移动终端 | |
| CN106855744B (zh) | 一种屏幕显示方法及移动终端 | |
| CN106097398B (zh) | 一种运动对象的检测方法及移动终端 | |
| CN105827963B (zh) | 一种拍照过程中场景变化检测方法及移动终端 | |
| CN107026982B (zh) | 一种移动终端的拍照方法及移动终端 | |
| CN107492079A (zh) | 一种图像磨皮方法及移动终端 | |
| CN106408628B (zh) | 一种图片处理方法及装置 | |
| CN106161933B (zh) | 一种图像处理方法及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |