CN103761536A - 基于无监督最优美丽特征和深度评价模型的人脸美化方法 - Google Patents
基于无监督最优美丽特征和深度评价模型的人脸美化方法 Download PDFInfo
- Publication number
- CN103761536A CN103761536A CN201410042209.4A CN201410042209A CN103761536A CN 103761536 A CN103761536 A CN 103761536A CN 201410042209 A CN201410042209 A CN 201410042209A CN 103761536 A CN103761536 A CN 103761536A
- Authority
- CN
- China
- Prior art keywords
- face
- beauty
- beautified
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003796 beauty Effects 0.000 title claims abstract description 121
- 238000013210 evaluation model Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims description 52
- 230000001815 facial effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 241000228740 Procrustes Species 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000011176 pooling Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于无监督最优美丽特征和深度评价模型的人脸美化方法,利用CDBN所提取的表观特征建立人脸美丽深度评价模型,并通过无监督聚类和美丽逼近函数学习出最优人脸美丽特征,进而采用该特征和几何形变的方式,在人脸美丽深度评价模型的指导下对人脸样本图像进行美化。本发明对不同的待美化样本进行美化后,可以得到不同美丽风格的人脸,使人脸美感不至过于单一,体现了美丽的多样性,也满足了不同人有不同审美观的要求。同时通过合理的美丽吸引力逼近函数,可保证人脸图像不会美化成其他类型的人脸,并能保留自身的基本特征。
Description
技术领域
本发明涉及一种基于无监督最优美丽特征和深度评价模型的人脸美化方法。
背景技术
随着时代的进步和科技的日新月异,人们逐渐开始关注自己的外在形象。美丽能给人带来心灵的愉悦,激起人感情上的强烈波动。美丽的外貌会让自己获得充分的自信,给对方留下很好的印象,同时还能获得比普通人更多的关注。亚里士多德说:“美丽的面孔是更好的推荐书”。人脸美丽研究是近年来兴起的关于人类认知本质与规律研究的前沿课题,探索如何更好地创造美,并用美丽特征进行人脸美化,将有助于人脸美丽密码这一人类永恒的主题得到科学、客观及可量化的描述,使人脸美丽研究这一跨学科领域得到长足的发展。
人脸美化是指在保留原始人脸图像基本特征的前提下对人脸图像进行变形、修饰等,使人脸图像更接近美丽人脸所具有的美丽特征,从而达到美化目的。为达到人脸图像美化效果,Photoshop和美图秀秀等图像编辑软件成为了很多人的选择,但这依赖于精湛的人工操作,过程繁琐而费时,且不同的人有不同的审美观,使美化出来的人脸图像没有普适性。机器智能的终极目标是让计算机具有与人一样的智能,让计算机模拟人类美丽感知功能并通过数字图像处理等技术实现对人脸图像的自动美化,无疑是一种更好的方法。
目前,研究者主要通过改变人脸图像上感兴趣特征点之间的几何距离,并利用人脸变形技术来达到人脸美化。决定人脸美化成功的关键在于,如何提取有效的人脸美丽特征和建立合理的人脸美丽评价模型。虽然平均脸被很多研究者用来作为美丽人脸特征模板的标准,但是合成平均脸的原始人脸图像选择没有标准,通常是任意选择部分人脸图像进行像素点平均而得到一张美化后的人脸图像,失去了原始图像固有的基本特征。而且,美化后人脸图像的美感太单一,不具备美丽的多样性,其到底是否达到美丽预期要求,没有权威的评价模型。其它如对称脸、黄金比例、三庭五眼等人脸美丽定量描述方法,其研究结果均存在各种争议。总之,目前很少有非常全面的人脸美化方法来提取有效的人脸美丽特征和利用合理的人脸美丽评价模型来指导人脸美丽吸引力的调整和完成美化过程。
发明内容
为克服现有技术存在的上述不足,本发明的目的在于提供一种基于无监督最优美丽特征和深度评价模型的人脸美化方法。
本发明采用的技术方案是:
一种基于无监督最优美丽特征和深度评价模型的人脸美化方法,包括以下步骤:
(1)建立人脸美丽深度评价模型,所述人脸美丽深度评价模型用于输出代表人脸图像美丽程度的美丽吸引力值;
(2)利用人脸美丽深度评价模型选出美丽的人脸图像,组成美丽人脸样本集,将美丽人脸样本集和待美化人脸图像归一化处理,并利用主动表观模型提取出美丽人脸样本集和待美化人脸图像的几何特征,得到美丽样本特征模版集和待美化人脸特征;
(3)采用无监督最优美丽特征逼近流程,通过设定的美丽吸引力逼近函数和美化系数,从美丽样本特征模版集中提取出用作美化标准的美丽特征模版;
(4)根据美丽特征模版,对待美化人脸图像进行变形,得到美化的人脸图像;
(5)通过人脸美丽深度评价模型对美化后的人脸图像进行评价,得到人脸图像美化后的美丽吸引力值,并判断是否达到预期的美丽吸引力值,若是,美化过程结束;若否,则回到步骤(3),调整美化系数,对人脸图像进一步变形,直至达到预期的美丽吸引力值。
进一步,步骤(1)所述的建立人脸美丽深度评价模型具体包括以下步骤:
(1.1)建立人脸样本训练集、自然图像训练集;
(1.2)提取人脸样本训练集和自然图像训练集中所有图像的LBP纹理特征;
(1.3)基于CDBN学习模型,将自然图像训练集中自然图像的LBP纹理特征作为输入,对CDBN第一层进行无监督预训练;
(1.4)将人脸样本训练集中人脸样本图像的LBP纹理特征作为输入,对CDBN进行逐层贪婪无监督训练,学习表征人脸美丽信息的表观特征;
(1.5)利用已完成训练的CDBN提取人脸样本训练集中人脸样本图像的表观特征;
(1.6)人脸样本训练集中的每张人脸样本图像由多人进行人工打分并取平均值,以作为该图像的人工打分值,利用人脸样本训练集中人脸样本图像的表观特征和对应的人工打分值,监督训练SVM回归分类器,利用SVM回归分类器可对人脸图像的美丽吸引力进行评价,从而得到人脸图像的美丽吸引力值。
再进一步,步骤(1.6)中所述的利用SVM回归分类器对人脸图像的美丽吸引力进行评价的具体方法为:
提取人脸图像的LBP纹理特征,将该LBP纹理特征作为输入,经CDBN学习模型输出人脸图像的表观特征,将表观特征输入已完成监督训练的SVM回归分类器,从而输出人脸图像的美丽吸引力值。
进一步,步骤(2)中所述的利用主动表观模型提取出美丽人脸样本集和待美化人脸图像的几何特征是对每一幅人脸图像的眉毛、眼睛、鼻子、嘴唇以及人脸轮廓提取共77个人脸特征点坐标。
进一步,步骤(3)中所述的无监督最优美丽特征逼近流程具体包括以下步骤:
(3.1)通过K均值聚类算法对美丽样本特征模版集进行聚类,一个美丽聚类特征模板对应一种美丽人脸模型,不同的美丽聚类特征模板代表了人脸图像不同的美丽风格;
(3.2)利用相似性度量从美丽聚类特征模板集中筛选出与待美化人脸特征最相似的美丽聚类特征模板,即为最优美丽聚类特征模板;
(3.3)对给定的最优美丽聚类特征模板和待美化人脸特征,通过设定的美丽吸引力逼近函数和美化系数,求得用作美化标准的美丽特征模板。
进一步,步骤(4)中所述的对待美化人脸图像进行变形的具体步骤包括:
(4.1)通过Procrustes分析对美丽特征模板和待美化人脸特征进行形状对准,实现变形前的归一化处理;
(4.2)对美丽特征模板和待美化人脸特征进行Delaunay三角剖分;
(4.3)通过分段线性仿射变换对待美化人脸图像进行变形,使经过仿射变换后待美化人脸图像的特征点与美丽特征模板的特征点位置相同,从而得到初步美化的人脸图像。
本发明的有益效果是:本发明利用CDBN(卷积深度信念网络)所提取的表观特征建立人脸美丽深度评价模型,并通过无监督聚类和美丽逼近函数学习出最优人脸美丽特征,进而采用该特征和几何形变的方式,在人脸美丽深度评价模型的指导下对人脸图像进行美化。本发明所建立的深度评价模型能以不依赖人工的特征选择方式去自动学习人脸图像美丽信息和组合低层特征而形成更加抽象和结构性的高层分布式表观特征,并利用SVM回归方法实现机器打分与人工打分的高度一致性。该模型能有效地筛选出人脸图像集中的美丽人脸图像,并对接下来的人脸美化过程起到很好的指导作用。同时,本发明通过K均值聚类算法获得有效的美丽聚类特征模板集,不同的美丽聚类特征模板代表了美丽人脸图像不同的美丽风格,当对不同的待美化样本进行美化后可以得到不同美丽风格的人脸,使人脸美感不至过于单一,体现了美丽的多样性,也满足了不同人有不同审美观的要求。通过合理的美丽吸引力逼近函数,可保证人脸图像不会美化成其他类型的人脸,并能保留自身的基本特征。
附图说明
图1是本发明的CRBM模型的结构示意图;
图2是本发明的建立人脸美丽深度评价模型的流程示意图;
图3是本发明的获取美丽样本特征模版集和待美化人脸特征的流程示意图;
图4是本发明的提取美丽特征模版的流程示意图;
图5是本发明的人脸图像变形的流程示意图;
图6是本发明的人脸图像美化调整的流程示意图;
图7是本发明的人脸图像77个人脸特征点分布图。
具体实施方式
参照图1至图7,本发明的一种基于无监督最优美丽特征和深度评价模型的人脸美化方法,其核心思想是利用CDBN(卷积深度信念网络)所提取的表观特征建立人脸美丽深度评价模型,并通过无监督聚类和美丽逼近函数学习出最优人脸美丽特征,进而采用该特征和几何形变的方式,在人脸美丽深度评价模型的指导下对人脸样本图像进行美化。以下结合附图和实例对本发明作进一步说明。
第一步,建立人脸美丽深度评价模型
1.1建立人脸样本训练集、自然图像训练集,其中人脸样本训练集来源于网上收集的大量人脸样本图像,自然图像训练集来源为Kyoto自然图像库;
1.2提取人脸样本训练集和自然图像训练集中所有图像的LBP纹理特征,用于训练人脸美丽深度评价模型,本实施例采用分块LBP直方图特征作为图像LBP纹理特征,LBP纹理特征用如下公式表示:
H=[H1,1,H2,1,…,Hi,j,…,Hn-1,m-1],i=0,1,…n-1,j=0,1,…,m-1
其中,n为LBP编码模式;m为分块数;Hi,j为每块子直方图的直方图特征,由下式所得:
其中,fl(x,y)为LBP特征编码图像;
所组成的直方图序列表示给定的LBP纹理特征,从而得到人脸样本图像的LBP纹理特征vf0和自然图像的LBP纹理特征vn0;
1.3基于CDBN学习模型,将自然图像训练集中自然图像的LBP纹理特征作为输入,对CDBN第一层进行无监督预训练,目的在于提高CDBN下一步学习人脸美丽特征的精度;其中CDBN(卷积深信度网络)学习模型由若干个CRBM(卷积受限玻尔兹曼机)层叠加而成,每一层CRBM由下至上依次为可见层v、隐藏层h、池化层p;结合图1,对可见层v和隐藏层h训练过程满足如下条件分布:
1.4将人脸样本训练集中人脸样本图像的LBP纹理特征作为输入,对CDBN进行逐层贪婪无监督训练,学习表征人脸美丽信息的表观特征,其对池化层p的训练满足如下条件分布:
对CDBN第一层池化层的条件分布函数进行采样可得到第一层池化层p特征,并将其作为CDBN第二层可见层v的输入,并采用相同的方法对进行无监督训练,得到第二层池化层p的特征,并将其作为CDBN下一层可见层v的输入,下一层采用与上一层相同的方法,进而完成对多层CDBN逐层贪婪无监督训练,图2显示了由n个CRBM堆叠而成的CDBN模型;
1.5利用已完成训练的CDBN提取人脸样本训练集中人脸样本图像的表观特征,具体方法是将人脸样本训练集中人脸样本图像的LBP纹理特征vf0作为CDBN输入,通过池化层p的分布函数P(p/v)分别提取CDBN各层的池化层特征,并将各层特征组合,形成用于监督训练分类器的表观特征;
1.6人脸样本训练集中的每张人脸样本图像由多人进行人工打分并取平均值,以作为该图像的人工打分值,利用人脸样本训练集中人脸样本图像的表观特征和对应的人工打分值,监督训练SVM回归分类器,由此建立起人脸美丽深度评价模型;利用人脸美丽深度评价模型中的SVM回归分类器可对人脸图像的美丽吸引力进行评价,具体方法为:提取人脸图像的LBP纹理特征,将该LBP纹理特征作为输入,经CDBN学习模型输出美化人脸样本的表观特征,将表观特征输入已完成监督训练的SVM回归分类器,从而输出待美化人脸图像的美丽吸引力值,指导人脸图像美化过程。
第二步,获取美丽样本特征模版集和待美化人脸特征
2.1利用人脸美丽深度评价模型从网上收集的大量明星图像和人脸样本训练集中的部分人脸样本图像中选出代表不同美感、各具风格的美丽的人脸图像,组成美丽人脸样本集;
2.2由于美丽人脸样本集和待美化人脸图像的特征提取会受旋转、尺度等影响,所以本发明将美丽人脸样本集和待美化人脸图像归一化处理,本发明以过人脸图像双眼中心的水平线为水平轴,过双眼连线中点的垂直线为垂直轴,将该水平-垂直轴作为标准对所有人脸样本图像进行旋转、平移处理,并将人脸图像的长和宽除以双眼中心水平距离来消除尺度影响,使得所有人脸图像都归一化到统一的标准上;
2.3利用主动表观模型(AAM)提取出美丽人脸样本集和待美化人脸图像的几何特征,参照图7,所述几何特征包括每一幅人脸图像中眉毛、眼睛、鼻子、嘴唇以及人脸轮廓共77个人脸特征点坐标,从而得到美丽样本特征模版集和待美化人脸特征。
第三步,提取出用作美化标准的美丽特征模版
3.1通过K均值聚类算法对美丽样本特征模版集进行聚类,K均值聚类算法通过迭代过程把数据集划分为不同的类别,使得评价聚类性能的准则函数达到最优,从而使生成的每个聚类类内类间间距比尽可能小,本发明采用欧式距离作为衡量数据间相似性度量的指标:
其中,d为xi的属性个数;
本发明采用误差平方和准则作为评价误差性能的准则函数,其准则函数为:
其中,k为聚类子集数,φi为第i个聚类子集,mi为第i个聚类子集中各样本的均值,即mi由下式所得:
其中,bi为聚类子集φi中样本的数量;
由于没有先验类别数,无法确定准确的聚类中心数,本发明给出如下聚类指标,来评价不同的聚类中心数所产生的聚类结果的有效性:
其中,n为聚类中心数,此处为美丽吸引力等级数目,一般选为2至10的整数。ci和cj分别为第i、j个聚类中心,d(ci,cj)为聚类中心ci和cj的距离,为聚类子集φi中所有样本到聚类中心ci的距离,为聚类子集φj中所有样本到聚类中心cj的距离;聚类指标ψ越小,由该聚类中心数所产生的聚类效果越好;调整聚类中心数范围,最终的聚类中心数n由最小的聚类指标ψ所对应的聚类中心数决定;
通过K均值聚类算法对美丽人脸样本特征集进行聚类,从而求得美丽聚类特征模板集{c1,…cn},从c1到cn每一个美丽聚类特征模板对应一种美丽人脸模型,不同的美丽聚类特征模板代表了美丽人脸样本图像不同的美丽风格;
3.2利用欧式距离作为相似度度量准则,从美丽聚类特征模板集{c1,…cn}中寻找与待美化人脸特征xt最相似的美丽聚类特征模板,从而求得最优美丽聚类特征模版ct;
3.3给定最优美丽聚类特征模板ct和待美化人脸特征xt,为求得用作美化标准的美丽特征模板,本发明给出一种美丽吸引力逼近函数:
p=(1-λ)xt+λct
其中,λ为美化系数,p为所求的美丽特征模板。
通过美化系数λ调整ct和xt在美化过程所占的比重,可以保证待美化人脸特征xt借助ct逐渐向美丽特征靠近,同时又能保留自身的基本特征,防止人脸图像美化成其他类型人脸。给定λ,利用ct和xt即可求得美丽特征模板p。
第四步,根据美丽特征模版,对待美化人脸图像进行变形,得到美化的人脸图像
4.1美丽特征模板p和待美化样本特征xt可能具有不同的大小、位置及不同的特征点分布,导致人脸图像缺少仿射不变性,因而本发明通过Procrustes分析对美丽特征模板和待美化人脸特征进行形状对准,具体方法是对p和xt进行旋转和大小进行归一化,然后将其重心平移到相同的位置,使得p和xt对应的特征点之间距离的平方和最小,实现变形前的归一化处理;
4.2对美丽特征模板p和待美化人脸特征xt进行Delaunay三角剖分,将人脸分割为不同的有序区域,为后续分段线性仿射变换建立映射关系;
4.3完成三角剖分和形状对准后,就可以对待美化样本进行变形,使xt具有与p一致的特征点位置,本发明利用分段线性仿射变换来对图像进行变形,分段线性仿射变换可以通过平移、缩放、旋转实现在两个二维坐标系之间的线性变换,其描述如下:
其中,(ap,bp)为美丽人脸特征模板p在坐标系中的点,(ax,bx)为待美化样本特征点xt在坐标系中的点,θ为旋转角度,gx为水平方向缩放尺度,gy为垂直方向缩放尺度,t=(tx,tx)为平移量;
仿射变换完成后,人脸变形步骤也就完成,从而得到初步美化的人脸图像xb。
第五步,通过人脸美丽深度评价模型对美化后的人脸图像进行评价,得到人脸图像美化后的美丽吸引力值,并判断是否达到预期的美丽吸引力值,若是,美化过程结束;若否,则回到第三步,调整美化系数,对人脸图像进一步变形,直至达到预期的美丽吸引力值。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (6)
1.基于无监督最优美丽特征和深度评价模型的人脸美化方法,其特征在于,包括以下步骤:
(1)建立人脸美丽深度评价模型,所述人脸美丽深度评价模型用于输出代表人脸图像美丽程度的美丽吸引力值;
(2)利用人脸美丽深度评价模型选出美丽的人脸图像,组成美丽人脸样本集,将美丽人脸样本集和待美化人脸图像归一化处理,并利用主动表观模型提取出美丽人脸样本集和待美化人脸图像的几何特征,得到美丽样本特征模版集和待美化人脸特征;
(3)采用无监督最优美丽特征逼近流程,通过设定的美丽吸引力逼近函数和美化系数,从美丽样本特征模版集中提取出用作美化标准的美丽特征模版;
(4)根据美丽特征模版,对待美化人脸图像进行变形,得到美化的人脸样本图像;
(5)通过人脸美丽深度评价模型对美化后的人脸样本图像进行评价,得到人脸样本图像美化后的美丽吸引力值,并判断是否达到预期的美丽吸引力值,若是,美化过程结束;若否,则回到步骤(3),调整美化系数,对人脸样本图像进一步变形,直至达到预期的美丽吸引力值。
2.根据权利要求1所述的基于无监督最优美丽特征和深度评价模型的人脸美化方法,其特征在于,步骤(1)所述的建立人脸美丽深度评价模型具体包括以下步骤:
(1.1)建立人脸样本训练集、自然图像训练集;
(1.2)提取人脸样本训练集和自然图像训练集中所有图像的LBP纹理特征;
(1.3)基于CDBN学习模型,将自然图像训练集中自然图像的LBP纹理特征作为输入,对CDBN第一层进行无监督预训练;
(1.4)将人脸样本训练集中人脸样本图像的LBP纹理特征作为输入,对CDBN进行逐层贪婪无监督训练,学习表征人脸美丽信息的表观特征;
(1.5)利用已完成训练的CDBN提取人脸样本训练集中人脸样本图像的表观特征;
(1.6)人脸样本训练集中的每张人脸样本图像由多人进行人工打分并取平均值,以作为该图像的人工打分值,利用人脸样本训练集中人脸样本图像的表观特征和对应的人工打分值,监督训练SVM回归分类器,利用SVM回归分类器可对人脸图像的美丽吸引力进行评价,从而得到人脸图像的美丽吸引力值。
3.根据权利要求2所述的基于无监督最优美丽特征和深度评价模型的人脸美化方法,其特征在于,步骤(1.6)中所述的利用SVM回归分类器对人脸图像的美丽吸引力进行评价的具体方法为:
提取人脸图像的LBP纹理特征,将该LBP纹理特征作为输入,经CDBN学习模型输出人脸图像的表观特征,将表观特征输入已完成监督训练的SVM回归分类器,从而输出人脸图像的美丽吸引力值。
4.根据权利要求1所述的基于无监督最优美丽特征和深度评价模型的人脸美化方法,其特征在于,步骤(2)中所述的利用主动表观模型提取出美丽人脸样本集和待美化人脸图像的几何特征是对每一幅人脸图像的眉毛、眼睛、鼻子、嘴唇以及人脸轮廓提取共77个人脸特征点坐标。
5.根据权利要求1所述的基于无监督最优美丽特征和深度评价模型的人脸美化方法,其特征在于,步骤(3)中所述的无监督最优美丽特征逼近流程具体包括以下步骤:
(3.1)通过K均值聚类算法对美丽样本特征模版集进行聚类,一个美丽聚类特征模板对应一种美丽人脸模型,不同的美丽聚类特征模板代表了人脸图像不同的美丽风格;
(3.2)利用相似性度量从美丽聚类特征模板集中筛选出与待美化人脸特征最相似的美丽聚类特征模板,即为最优美丽聚类特征模板;
(3.3)对给定的最优美丽聚类特征模板和待美化人脸特征,通过设定的美丽吸引力逼近函数和美化系数,求得用作美化标准的美丽特征模板。
6.根据权利要求1所述的基于无监督最优美丽特征和深度评价模型的人脸美化方法,其特征在于,步骤(4)中所述的对待美化人脸图像进行变形的具体步骤包括:
(4.1)通过Procrustes分析对美丽特征模板和待美化人脸特征进行形状对准,实现变形前的归一化处理;
(4.2)对美丽特征模板和待美化人脸特征进行Delaunay三角剖分;
(4.3)通过分段线性仿射变换对待美化人脸图像进行变形,使经过仿射变换后待美化人脸图像的特征点与美丽特征模板的特征点位置相同,从而得到初步美化的人脸图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410042209.4A CN103761536B (zh) | 2014-01-28 | 2014-01-28 | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410042209.4A CN103761536B (zh) | 2014-01-28 | 2014-01-28 | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103761536A true CN103761536A (zh) | 2014-04-30 |
CN103761536B CN103761536B (zh) | 2017-03-22 |
Family
ID=50528771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410042209.4A Active CN103761536B (zh) | 2014-01-28 | 2014-01-28 | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103761536B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574299A (zh) * | 2014-12-25 | 2015-04-29 | 小米科技有限责任公司 | 人脸图片处理方法及装置 |
CN106296701A (zh) * | 2016-08-15 | 2017-01-04 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN106780315A (zh) * | 2016-12-30 | 2017-05-31 | 李聪 | 虚拟整容软件方法 |
CN106815803A (zh) * | 2016-12-30 | 2017-06-09 | 广东欧珀移动通信有限公司 | 图片的处理方法及装置 |
CN107093163A (zh) * | 2017-03-29 | 2017-08-25 | 广州市顺潮广告有限公司 | 基于深度学习的图像融合方法与计算机存储介质 |
CN107169051A (zh) * | 2017-04-26 | 2017-09-15 | 山东师范大学 | 基于本体间语义相关的三维模型检索方法及系统 |
CN107392110A (zh) * | 2017-06-27 | 2017-11-24 | 五邑大学 | 基于互联网的人脸美化系统 |
CN107527034A (zh) * | 2017-08-28 | 2017-12-29 | 维沃移动通信有限公司 | 一种面部轮廓调整方法及移动终端 |
CN107680033A (zh) * | 2017-09-08 | 2018-02-09 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
CN107818319A (zh) * | 2017-12-06 | 2018-03-20 | 成都睿码科技有限责任公司 | 一种自动判别人脸美丽程度的方法 |
CN109034122A (zh) * | 2018-08-29 | 2018-12-18 | 吴伟锋 | 声控式鼻部分析平台 |
CN110051530A (zh) * | 2019-04-30 | 2019-07-26 | 西华大学 | 一种基于分段线性函数的脚掌反射区定位方法 |
CN110782408A (zh) * | 2019-10-18 | 2020-02-11 | 杭州趣维科技有限公司 | 一种基于卷积神经网络的智能美型方法及系统 |
CN110913263A (zh) * | 2019-11-29 | 2020-03-24 | 联想(北京)有限公司 | 视频处理方法、装置及电子设备 |
CN111291623A (zh) * | 2020-01-15 | 2020-06-16 | 浙江连信科技有限公司 | 基于人脸信息的心生理特征预测方法及装置 |
CN112182892A (zh) * | 2020-09-30 | 2021-01-05 | 西安空间无线电技术研究所 | 一种基于分段仿射的功率放大器行为建模方法及装置 |
CN113065408A (zh) * | 2021-03-09 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101299267A (zh) * | 2008-07-02 | 2008-11-05 | 北京中星微电子有限公司 | 一种人脸图像处理方法及装置 |
CN101778188A (zh) * | 2009-01-14 | 2010-07-14 | 华晶科技股份有限公司 | 数字图像中的人脸美化方法 |
CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
CN103337085A (zh) * | 2013-06-17 | 2013-10-02 | 大连理工大学 | 一种高效的人像面部变形方法 |
CN103413270A (zh) * | 2013-08-15 | 2013-11-27 | 北京小米科技有限责任公司 | 一种图像的处理方法、装置和终端设备 |
-
2014
- 2014-01-28 CN CN201410042209.4A patent/CN103761536B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101299267A (zh) * | 2008-07-02 | 2008-11-05 | 北京中星微电子有限公司 | 一种人脸图像处理方法及装置 |
CN101778188A (zh) * | 2009-01-14 | 2010-07-14 | 华晶科技股份有限公司 | 数字图像中的人脸美化方法 |
CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
CN103337085A (zh) * | 2013-06-17 | 2013-10-02 | 大连理工大学 | 一种高效的人像面部变形方法 |
CN103413270A (zh) * | 2013-08-15 | 2013-11-27 | 北京小米科技有限责任公司 | 一种图像的处理方法、装置和终端设备 |
Non-Patent Citations (2)
Title |
---|
廖文鑫: "《基于数据驱动的人脸美化技术及应用开发》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
毛慧芸: "《人脸美丽吸引力的特征分析与机器学习》", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574299A (zh) * | 2014-12-25 | 2015-04-29 | 小米科技有限责任公司 | 人脸图片处理方法及装置 |
CN106296701A (zh) * | 2016-08-15 | 2017-01-04 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN106780315A (zh) * | 2016-12-30 | 2017-05-31 | 李聪 | 虚拟整容软件方法 |
CN106815803A (zh) * | 2016-12-30 | 2017-06-09 | 广东欧珀移动通信有限公司 | 图片的处理方法及装置 |
CN106815803B (zh) * | 2016-12-30 | 2020-06-16 | Oppo广东移动通信有限公司 | 图片的处理方法及装置 |
CN107093163A (zh) * | 2017-03-29 | 2017-08-25 | 广州市顺潮广告有限公司 | 基于深度学习的图像融合方法与计算机存储介质 |
CN107093163B (zh) * | 2017-03-29 | 2020-06-09 | 广州市顺潮广告有限公司 | 基于深度学习的图像融合方法与计算机存储介质 |
CN107169051A (zh) * | 2017-04-26 | 2017-09-15 | 山东师范大学 | 基于本体间语义相关的三维模型检索方法及系统 |
CN107169051B (zh) * | 2017-04-26 | 2019-09-24 | 山东师范大学 | 基于本体间语义相关的三维模型检索方法及系统 |
CN107392110A (zh) * | 2017-06-27 | 2017-11-24 | 五邑大学 | 基于互联网的人脸美化系统 |
CN107527034A (zh) * | 2017-08-28 | 2017-12-29 | 维沃移动通信有限公司 | 一种面部轮廓调整方法及移动终端 |
CN107527034B (zh) * | 2017-08-28 | 2019-07-26 | 维沃移动通信有限公司 | 一种面部轮廓调整方法及移动终端 |
CN107680033A (zh) * | 2017-09-08 | 2018-02-09 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
CN107680033B (zh) * | 2017-09-08 | 2021-02-19 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
CN107818319A (zh) * | 2017-12-06 | 2018-03-20 | 成都睿码科技有限责任公司 | 一种自动判别人脸美丽程度的方法 |
CN109034122A (zh) * | 2018-08-29 | 2018-12-18 | 吴伟锋 | 声控式鼻部分析平台 |
CN110051530A (zh) * | 2019-04-30 | 2019-07-26 | 西华大学 | 一种基于分段线性函数的脚掌反射区定位方法 |
CN110782408A (zh) * | 2019-10-18 | 2020-02-11 | 杭州趣维科技有限公司 | 一种基于卷积神经网络的智能美型方法及系统 |
CN110913263A (zh) * | 2019-11-29 | 2020-03-24 | 联想(北京)有限公司 | 视频处理方法、装置及电子设备 |
CN110913263B (zh) * | 2019-11-29 | 2021-05-18 | 联想(北京)有限公司 | 视频处理方法、装置及电子设备 |
CN111291623A (zh) * | 2020-01-15 | 2020-06-16 | 浙江连信科技有限公司 | 基于人脸信息的心生理特征预测方法及装置 |
CN112182892A (zh) * | 2020-09-30 | 2021-01-05 | 西安空间无线电技术研究所 | 一种基于分段仿射的功率放大器行为建模方法及装置 |
CN112182892B (zh) * | 2020-09-30 | 2024-01-02 | 西安空间无线电技术研究所 | 一种基于分段仿射的功率放大器行为建模方法及装置 |
CN113065408A (zh) * | 2021-03-09 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103761536B (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103761536B (zh) | 基于无监督最优美丽特征和深度评价模型的人脸美化方法 | |
CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
CN108182441B (zh) | 平行多通道卷积神经网络、构建方法及图像特征提取方法 | |
Zhang et al. | Computer models for facial beauty analysis | |
Liao et al. | Automatic caricature generation by analyzing facial features | |
CN108288072A (zh) | 一种基于生成对抗网络的面部表情合成方法 | |
CN102254180B (zh) | 一种基于几何特征的人脸美感分析方法 | |
CN111291604A (zh) | 面部属性识别方法、装置、存储介质及处理器 | |
CN101751689A (zh) | 一种三维人脸重建方法 | |
CN103996056A (zh) | 一种基于深度学习的纹身图像分类方法 | |
CN105404861A (zh) | 人脸关键特征点检测模型的训练、检测方法及系统 | |
CN105512624A (zh) | 一种人脸图像的笑脸识别方法及其装置 | |
WO2021140510A2 (en) | Large-scale generation of photorealistic 3d models | |
CN105787974A (zh) | 仿生人脸衰老模型建立方法 | |
CN106897669A (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
CN102867191A (zh) | 一种基于流形子空间学习的降维方法 | |
CN108564120A (zh) | 基于深度神经网络的特征点提取方法 | |
CN111028319A (zh) | 一种基于面部运动单元的三维非真实感表情生成方法 | |
CN111524226B (zh) | 讽刺肖像画的关键点检测与三维重建方法 | |
Zhai et al. | Asian female facial beauty prediction using deep neural networks via transfer learning and multi-channel feature fusion | |
CN103984920A (zh) | 一种基于稀疏表示与多特征点的三维人脸识别方法 | |
CN103927554A (zh) | 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法 | |
CN103310208B (zh) | 基于局部几何视觉短语描述的鉴别性人脸姿态识别方法 | |
CN110610138A (zh) | 一种基于卷积神经网络的面部情感分析方法 | |
CN116386102A (zh) | 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |