CN1835019A - 一种基于带参数图像的个性化肖像自动生成方法 - Google Patents
一种基于带参数图像的个性化肖像自动生成方法 Download PDFInfo
- Publication number
- CN1835019A CN1835019A CN 200510054984 CN200510054984A CN1835019A CN 1835019 A CN1835019 A CN 1835019A CN 200510054984 CN200510054984 CN 200510054984 CN 200510054984 A CN200510054984 A CN 200510054984A CN 1835019 A CN1835019 A CN 1835019A
- Authority
- CN
- China
- Prior art keywords
- face
- lip
- average
- composograph
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种基于带参数图像的个性化肖像自动生成方法。发明采用将带参数图像与输入图像进行自动合成的方法生成个性化的肖像，其特征是：首先对输入图像进行人脸检测，进而求得瞳孔位置：然后结合带参数图像及其脸部区域、瞳孔位置参数，将输入图像中脸部区域映射到带参数图像的脸部区域，从而生成合成图像；最后根据自动提取的合成图像脸部区域亮度均值、肤色均值和唇色均值，并结合带参数图像的亮度均值参数、肤色均值参数和唇色均值参数，对合成图像的脸部区域进行亮度、肤色和唇色的调整。采用本发明所述的方法，肖像生成过程简便，并且生成的肖像具有多样性和真实感。
Description
技术领域
本发明与一种虚拟肖像的生成方法有关，特别地，与一种根据输入图像和自定义的带参数图像自动生成个性化肖像的方法有关。通过把输入图像与带参数图像进行自动合成从而生成个性化的肖像，可以应用于Avatar系统、个性化动画、手机彩信、游戏娱乐等方面。
背景技术
近年来，随着数字娱乐需求的快速发展，虚拟肖像开始受到人们的喜爱和关注，一些虚拟肖像的生成方法也被公开出来。
台湾春水堂科技娱乐公司提出的虚拟肖像生成方法，采用对输入图像进行人工标注提取脸部几何特征的方法生成虚拟肖像，该方法需要较多的人工操作并且生成的肖像风格单一、真实感不足。
韩国微裘媒体公司提出的虚拟肖像生成方法，采用对输入图像进行手工标注提出脸部质感信息和几何信息并结合面部模型数据库等图像数据库而生成具有一定漫画风格的虚拟肖像，该方法生成的效果真实细腻，但仍需要手工干预，并且生成的肖像风格单一。
微软亚洲研究院提出的肖像画自动生成方法，采用基于样本学习的非参数采样方法自动生成漫画风格的虚拟肖像，该方法的生成过程简便、生成的漫画效果贴近画家风格，但生成的肖像多样性不足。
日本的Michael Lyons提出的虚拟肖像生成方法，采用将输入图像与一个模板图像自动合成的方法生成虚拟肖像，该方法的生成过程简便、生成效果多样化，但真实感不足。
发明内容
为解决上述问题，本发明旨在提供一种生成过程简便、生成效果多样化且具有真实感的虚拟肖像生成方法。
为实现上述目的，基于带参数图像的个性化肖像自动生成方法包括如下步骤：
1)检测输入图像中人脸及对应瞳孔的位置。
2)将输入图像中脸部区域映射到带参数图像的脸部区域，从而生成合成图像。
3)计算合成图像的脸部亮度均值、肤色均值和唇色均值。
4)调整合成图像的脸部亮度、肤色和唇色。
本发明的虚拟肖像生成方法，不仅适用于计算机，还可以应用在手机、PDA上。
附图说明
图1为本发明的算法框架图。
图2为一幅带参数图像。
图3(a)为输入图像，图3(b)为对输入图像进行人脸检测的结果。
图4为合成图像。
图5为经过亮度、肤色、唇色调整后的个性化肖像。
具体实施方式
基于带参数图像的个性化肖像自动生成方法的算法框架如图1所示，首先对输入图像进行人脸检测和瞳孔定位，根据瞳孔定位结果和带参数图像的脸部区域参数、瞳孔位置参数，将输入图像与带参数图像进行合成；然后根据带参数图像的脸部中部区域参数和脸部下部区域参数，计算合成图像的脸部亮度均值、肤色均值、唇色均值；最后根据前一步的计算结果并结合带参数图像的脸部亮度均值参数、肤色均值参数、唇色均值参数，对合成图像的脸部进行亮度、肤色、唇色的调整，从而生成个性化肖像。
在具体介绍每一步骤之前，首先说明带参数图像及其参数。图2是一幅带参数图像，其参数包括脸部区域参数、脸部中部区域参数、脸部下部区域参数、瞳孔位置参数、脸部亮度均值参数、肤色均值参数、唇色均值参数。脸部区域参数定义了带参数图像中脸部区域的范围；脸部中部区域参数定义了带参数图像脸部区域内眼睛与嘴唇之间的区域范围；脸部下部区域参数定义了带参数图像脸部区域内脸部中部区域以下的区域范围；瞳孔位置参数定义了带参数图像中左右眼睛瞳孔的位置；脸部亮度均值参数定义了带参数图像中脸部的亮度平均值；肤色均值参数定义了带参数图像中不包括嘴唇部分的皮肤色度平均值；唇色均值参数定义了带参数图像中嘴唇色度平均值。明确了带参数图像及其参数后，下面具体说明基于带参数图像的个性化肖像自动生成方法的实施过程。
首先对用户输入的图像进行人脸检测。本发明采用基于AdaBoost的人脸检测方法。2001年，Paul Viola实现了一种基于AdaBoost(AdaptiveBoosting，自适应的Boosting方法)的人脸检测系统，系统先由积分图像快速、容易地计算出大量的简单特征，再用AdaBoost学习算法挑选一些重要的特征，并构造一系列的弱分类器，多个弱分类器通过线性组合构造出一个强分类器，这种多分类器级联结构大大提高了检测速度。本发明利用4916幅规格化后的24×24像素的人脸图像和9544幅不包括人脸的图像作为训练集，采用Paul Viola提出的方法训练出一个级联结构的分类器，进而实现人脸检测功能。如图3所示，检测结果由矩形face_rectangle(p1，p2)表示，p1为矩形左上角点，p2为矩形右下角点。本发明在人脸检测结果的基础上定义出人眼窗口范围，然后在人眼窗口内进行瞳孔定位。
左眼窗口由矩形left_eye_rectangle(p3，p4)表示，p3、p4分别为窗口矩形的左上、右下角点：
p3.x＝p1.x+(p2.x-p1.x)/6
p3.y＝p1.y+(p2.y-p1.y)/4
p4.x＝p1.x+(p2.x-p1.x)/2
p4.y＝p1.y+(p2.y-p1.y)/2
右眼窗口由矩形right_eye_rectangle(p5，p6)表示，p5、p6分别为窗口矩形的左上、右下角点：
p5.x＝p1.x+(p2.x-p1.x)/2
p5.y＝p1.y+(p2.y-p1.y)/4
p6.x＝p2.x-(p2.x-p1.x)/6
p6.y＝p1.y+(p2.y-p1.y)/2
其中，p1.x、p1.y为p1点的横、纵坐标；p2.x、p2.y为p2点的横、纵坐标；p3.x、p3.y为p3点的横、纵坐标；p4.x、p4.y为p4点的横、纵坐标；p5.x、p5.y为p5点的横、纵坐标；p6.x、p6.y为p6点的横、纵坐标。
对每个眼睛窗口区域进行梯度图积分投影，并对积分投影的直方图进行归一化，再根据水平投影的谷点确定出眼睛在y方向的大致位置，然后让x在眼睛窗口范围内变化，寻找此区域内的谷点，检测到的点即为瞳孔位置，分别记为lp(x，y)和rp(x，y)。
得到输入图像的瞳孔位置后，根据带参数图像的脸部区域参数和瞳孔位置参数，将输入图像中脸部区域映射到带参数图像的脸部区域，从而生成合成图像。这个过程包括两个步骤：首先是寻找输入图像中脸部每一点与带参数图像脸部每一点的坐标对应关系，然后是根据坐标对应关系，采用插值的方法进行颜色赋值，下面详细说明这两个过程。
寻找输入图像中脸部每一点与带参数图像脸部每一点的坐标对应关系问题，本发明采用向后映射算法解决。即，遍历带参数图像的脸部区域中的每一点，寻找其在输入图像中的对应点。设带参数图像的瞳孔位置参数为mlp(x，y)和mrp(x，y)，过点lp和rp的直线记为L1，过点mlp和mrp的直线记为L2。计算点lp与rp的距离，记为D1；计算点mlp与mrp的距离，记为D2；计算D1与D2的比值，记为k；直线L2到直线L1的角记为θ；则带参数图像的脸部区域中的任一点p(x，y)在输入图像中的对应点p′(x′，y′)的坐标可以由下面的复合矩阵运算得到：
其中，lp.x和lp.y为点lp的横坐标和纵坐标；mlp.x和mlp.y为点mlp的横坐标和纵坐标。
映射得到的p′(x′，y′)通常为非整数坐标，因此为了决定与该位置相对应的颜色值，必须进行插值运算，本发明采用双线性插值的方法。设x′＝i+u，y′＝j+v，其中i、j为x′、y′的整数部分，u、v为x′、y′的小数部分。则p′点的颜色值f(x′，y′)为；
f(x′，y′)＝(1-u)(1-v)f(i，j)+(1-u)vf(i，j+1)+u(1-v)f(i+1，j)+uvf(i+1，j+1)
其中，f(i，j)、f(i+1，j)、f(i，j+1)、f(i+1，j+1)为输入图像上点(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)处的颜色值。
将输入图像上p′点的颜色值赋给带参数图像上点p，从而生成合成图像。为了进一步增强合成图像的真实感，需要对合成图像脸部进行亮度、肤色和唇色调整。本发明对合成图像脸部亮度、肤色和唇色的调整是在YIQ颜色空间进行的，首先计算合成图像脸部的亮度均值、肤色均值和唇色均值，然后结合带参数图像的脸部亮度均值参数、肤色均值参数和唇色均值参数对合成图像脸部进行调整，下面详细进行说明。
YIQ颜色空间中，Y代表亮度，I和Q为正交的两个颜色分量。RGB颜色空间到YIQ颜色空间的转换公式为：
YIQ颜色空间到RGB颜色空间的转换公式为：
首先根据带参数图像的脸部中部区域参数，在YIQ颜色空间计算合成图像的脸部中部区域的亮度均值aY和肤色均值aI、aQ，并计算该区域中Q′值的最大值maxQ。由于肤色与唇色在Q分量上有很强的可分性，所以发明利用Q分量作为肤色与唇色区分的量度。根据带参数图像的脸部下部区域参数，在YIQ颜色空间求得合成图像的脸部下部区域的唇部，求解方法为在脸部下部区域内寻找所有Q值大于maxQ的点。得到唇部区域后，计算唇部区域的唇色均值caI、caQ。设带参数图像的脸部亮度均值参数为maY，肤色均值参数为maI、maQ，唇色均值参数为mcaI、mcaQ，则针对合成图像脸部每一点进行如下亮度调整：
Y′＝Y+(maY-aY)
其中，Y为调整前该点的YIQ颜色空间的Y值，Y′为调整后该点的YIQ颜色空间的Y值。
针对合成图像脸部不包括唇部的每一点进行如下肤色调整：
I′＝I+(maI-aI)
Q′＝Q+(maQ-aQ)
其中，I为调整前该点的YIQ颜色空间的I值，I′为调整后该点的YIQ颜色空间的I值；Q为调整前该点的YIQ颜色空间的Q值，g′为调整后该点的YIQ颜色空间的Q值。
针对合成图像脸部内唇部的每一点进行如下调整：
I′＝I+(mcaI-caI)
Q′＝Q+(mcaQ-caQ)
其中，I为调整前该点的YIQ颜色空间的I值，I′为调整后该点的YIQ颜色空间的I值；Q为调整前该点的YIQ颜色空间的Q值，Q′为调整后该点的YIQ颜色空间的Q值。
需要补充说明的是，由于合成图像脸部包括瞳孔、牙齿和有可能出现的头发、眼镜边框等，所以在进行亮度调整、肤色调整和唇色调整时都是针对亮度值在区间[60，230]内的像素进行处理的。
最后应当说明的是，以上实施例仅用以说明本发明而非限制本发明所描述的技术方案，因此本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同替换，而一切不脱离本发明精神和范围的技术方案或改进，其均应涵盖在本发明的权利要求范围中。
Claims (7)
1、一种基于带参数图像的个性化肖像自动生成方法，其特征在于，它是一种将带参数图像与输入图像进行自动合成的肖像生成方法，它至少包括以下步骤：
1)检测输入图像中人脸及对应瞳孔的位置。
2)将输入图像中脸部区域映射到带参数图像的脸部区域，从而生成合成图像。
3)计算合成图像的脸部亮度均值、肤色均值和唇色均值。
4)调整合成图像的脸部亮度、肤色和唇色。
2、如权利要求1所述的方法，其特征在于，所说的带参数图像是指定义了脸部区域、脸部中部区域、脸部下部区域、瞳孔位置、脸部亮度均值、肤色均值和唇色均值的图像。
3、如权利要求1所述的方法，其特征在于，检测输入图像中人脸及对应瞳孔的位置包括如下步骤：
1)采用基于AdaBoost的人脸检测算法对输入图像进行人脸区域检测，得到人脸区域。
2)在检测到的人脸区域内定义人眼窗口，在窗口区域内进行瞳孔定位。
4、如权利要求1所述的方法，其特征在于，根据带参数图像的脸部区域参数、瞳孔位置参数，将输入图像中脸部区域映射到带参数图像的脸部区域，从而生成合成图像，其包括如下步骤：
1)根据检测到的输入图像中瞳孔位置和带参数图像的瞳孔位置参数，计算输入图像中瞳孔间距离与带参数图像的瞳孔间距离的比值k，并计算带参数图像的瞳孔连线所在直线到输入图像中瞳孔连线所在直线的角θ。
2)根据计算得到的k和θ，找到带参数图像的脸部区域参数所定义的区域内每一点p(x，y)在输入图像中的对应点p′(x′，y′)。
3)采用双线性插值方法求得输入图像中点p′(x′，y′)的颜色值，并将它赋给带参数图像中的点p(x，y)。
5、如权利要求1所述的方法，其特征在于，计算合成图像的脸部亮度均值、肤色均值和唇色均值是在亮度、色度的颜色空间进行的，并且脸部亮度均值和肤色均值是在带参数图像的脸部中部区域内求得，而唇色均值是在带参数图像的脸部下部区域内求得。
6、如权利要求5所述的方法，其特征在于，计算合成图像的唇色均值包括如下步骤：
1)在合成图像的脸部中部区域内，计算YIQ颜色空间中Q分量的最大值maxQ。
2)在合成图像的脸部下部区域内，计算所有YIQ颜色空间中Q分量大于maxQ的点，得到唇部。
3)计算唇部区域I、Q的均值，即为唇色均值。
7、如权利要求1所述的方法，其特征在于，调整合成图像的脸部亮度、肤色和唇色包括如下步骤：
1)计算带参数图像的脸部亮度均值参数、肤色均值参数、唇色均值参数与合成图像的脸部亮度均值、肤色均值、唇色均值的差值，分别记为dY、(skin_dI、skin_dQ)、(lip_dI、lip_dQ)。
2)对合成图像的脸部区域内所有点，亮度增加dY。
3)对合成图像的脸部区域内不包括唇部的所有点，I、Q值分别增加skin_dI、skin_dQ。
4)对合成图像的唇部区域的所有点，I、Q值分别增加lip_dI、lip_dQ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510054984 CN1835019A (zh) | 2005-03-19 | 2005-03-19 | 一种基于带参数图像的个性化肖像自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510054984 CN1835019A (zh) | 2005-03-19 | 2005-03-19 | 一种基于带参数图像的个性化肖像自动生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1835019A true CN1835019A (zh) | 2006-09-20 |
Family
ID=37002745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200510054984 Pending CN1835019A (zh) | 2005-03-19 | 2005-03-19 | 一种基于带参数图像的个性化肖像自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1835019A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383907B (zh) * | 2007-09-04 | 2011-05-04 | 奥林巴斯映像株式会社 | 图像处理装置和图像处理方法 |
| CN101216881B (zh) * | 2007-12-28 | 2011-07-06 | 北京中星微电子有限公司 | 一种图像自动获取方法和装置 |
| CN102214361A (zh) * | 2010-04-09 | 2011-10-12 | 索尼公司 | 信息处理设备、方法和程序 |
| CN103810687A (zh) * | 2014-02-28 | 2014-05-21 | 北京京东尚科信息技术有限公司 | 一种图像处理方法及装置 |
| CN105187721A (zh) * | 2015-08-31 | 2015-12-23 | 广州市幸福网络技术有限公司 | 一种快速提取人像特征的证照相机及方法 |
| US9560268B2 (en) | 2011-03-10 | 2017-01-31 | Alcatel Lucent | Method for obtaining video content from cameras which relates to a user of a communication device, and associated apparatus |
-
2005
- 2005-03-19 CN CN 200510054984 patent/CN1835019A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383907B (zh) * | 2007-09-04 | 2011-05-04 | 奥林巴斯映像株式会社 | 图像处理装置和图像处理方法 |
| CN101216881B (zh) * | 2007-12-28 | 2011-07-06 | 北京中星微电子有限公司 | 一种图像自动获取方法和装置 |
| CN102214361A (zh) * | 2010-04-09 | 2011-10-12 | 索尼公司 | 信息处理设备、方法和程序 |
| US9560268B2 (en) | 2011-03-10 | 2017-01-31 | Alcatel Lucent | Method for obtaining video content from cameras which relates to a user of a communication device, and associated apparatus |
| CN103810687A (zh) * | 2014-02-28 | 2014-05-21 | 北京京东尚科信息技术有限公司 | 一种图像处理方法及装置 |
| CN103810687B (zh) * | 2014-02-28 | 2017-02-15 | 北京京东尚科信息技术有限公司 | 一种图像处理方法及装置 |
| CN105187721A (zh) * | 2015-08-31 | 2015-12-23 | 广州市幸福网络技术有限公司 | 一种快速提取人像特征的证照相机及方法 |
| CN105187721B (zh) * | 2015-08-31 | 2018-09-21 | 广州市幸福网络技术有限公司 | 一种快速提取人像特征的证照相机及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102449664B (zh) | 一种渐变动画的生成方法和装置 | |
| CN1835019A (zh) | 一种基于带参数图像的个性化肖像自动生成方法 | |
| CN101673338B (zh) | 基于多角度投影的模糊车牌识别方法 | |
| Lei et al. | Depth-preserving stereo image retargeting based on pixel fusion | |
| CN112132058B (zh) | 一种头部姿态估计方法及其实现系统、存储介质 | |
| Ward et al. | Depth director: A system for adding depth to movies | |
| CN107730573A (zh) | 一种基于特征提取的人物肖像漫画风格化生成方法 | |
| CN1462416A (zh) | 图像变换和编码技术 | |
| CN103021002A (zh) | 彩色素描图像生成方法 | |
| CN105574814A (zh) | 一种肖像剪纸特效的生成方法 | |
| CN111179193B (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
| CN1870047A (zh) | 基于平均脸和衰老比例图的人脸图像年龄变换方法 | |
| CN112801896B (zh) | 基于前景提取的逆光图像增强方法 | |
| CN116583878A (zh) | 用于个性化3d头部模型变形的方法和系统 | |
| CN106023276A (zh) | 基于图像处理的铅笔画绘制方法及装置 | |
| CN108596992B (zh) | 一种快速实时的唇彩化妆方法 | |
| CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
| CN1308897C (zh) | 利用一组二维照片与三维模型库生成新的三维模型的方法 | |
| CN1834984A (zh) | 利用人脸检测技术自动生成趣味大头照的方法 | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| CN108924528A (zh) | 一种基于深度学习的双目风格化实时渲染方法 | |
| EP3878658A1 (en) | Moire formation pattern generation method, moire formation pattern generation device, and moire formation pattern generation system | |
| CN100337472C (zh) | 一种具有运动前景的视频合成方法 | |
| CN1256706C (zh) | 基于多样图的纹理转移方法 | |
| Nealen et al. | Fast and high quality overlap repair for patch-based texture synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C57 | Notification of unclear or unknown address | ||
| DD01 | Delivery of document by public notice |
Addressee: Zhang Guofeng Document name: Notification before expiration of term |
|
| C57 | Notification of unclear or unknown address | ||
| DD01 | Delivery of document by public notice |
Addressee: Zhang Guofeng Document name: Notification that Application Deemed to be Withdrawn |
|
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |