CN104537372A - 一种具备区域感知特性的人脸图像蒙板自动生成方法 - Google Patents
一种具备区域感知特性的人脸图像蒙板自动生成方法 Download PDFInfo
- Publication number
- CN104537372A CN104537372A CN201410614893.9A CN201410614893A CN104537372A CN 104537372 A CN104537372 A CN 104537372A CN 201410614893 A CN201410614893 A CN 201410614893A CN 104537372 A CN104537372 A CN 104537372A
- Authority
- CN
- China
- Prior art keywords
- facial image
- face
- region
- generation method
- plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种具备区域感知特性的人脸图像蒙板自动生成方法，其包含步骤：（1）对原始人脸图像进行人脸检测；（2）在步骤（1）检测的人脸区域内提取人脸图像的形状特征；（3）提取人脸图像的亮度特征和边缘特征；（4）以提取的形状特征和边缘特征作为蒙板生成的初始值，以提取的亮度特征作为蒙板生成的导向特征，通过求解加权最小二乘公式实现蒙板的生成，所述公式为本发明克服了一般自动蒙板生成方法无法准确拟合区域边界和产生自然过渡的缺点，能在提高人脸图像编辑效率的同时保证自然的编辑效果。
Description
技术领域
本发明属于人脸图像识别及优化处理领域，特别是涉及一种具备区域感知特性的人脸图像蒙板自动生成方法。
背景技术
蒙板生成是人脸图像编辑中的关键技术，它的主要作用是实现图像编辑区域的选择和对不同的局部区域设置调节参数，在许多人脸图像特效处理中有广泛的应用，如人脸数字化妆，人脸卡通化特效和人脸皮肤修饰等。
蒙板生成主要有两种方法，一种是手工绘制，一种是自动生成。手工绘制蒙板需要对相关的图像编辑工具和操作有一定的了解，对于非专业用户来说比较困难；即使用户具备一定的专业技能，手绘蒙板要涉及大量繁复的人工调节操作，十分费时；对于不同区域的边界，尤其是具有复杂纹理的区域，手绘蒙板边界的过渡设置会受人眼视觉感知能力的限制。与之相比，自动的蒙板生成技术能有效提高图像编辑的效率。
目前的人脸蒙板自动生成技术的主要思路是把其视为一个特殊的图像分割问题来建模，并在分割模型中加入相应的人脸先验（如皮肤颜色和形状）。但是，这种思路生成的蒙板一般不能很好地拟合不同区域间的边缘，导致处理痕迹的产生，降低了输出结果的整体效果。同时，这种方法生成的人脸蒙板一般是二值蒙板，无法对具有模糊边界的区域（如头发和胡子）生成自然的过渡，导致这些局部的编辑效果比较生硬。
发明内容
本发明的目的是提出一种具备区域感知特性的人脸蒙板的自动生成方法，该方法能根据人脸图像的表观特征，自动地使蒙板对区域边界进行拟合以及产生平滑的边界过渡，以克服一般自动蒙板生成方法无法准确拟合区域边界和产生自然过渡的缺点，能在提高人脸图像编辑效率的同时保证自然的编辑效果。
为了实现上述发明目的，采用的技术方案如下：
（1）原始人脸图像进行人脸检测；
（2）在步骤（1）检测的人脸区域内提取人脸图像的形状特征；
（3）提取人脸图像的亮度特征和边缘特征；
（4）以提取的形状特征和边缘特征作为蒙板生成的初始值 ，以提取的亮度特征作为蒙板生成的导向特征，通过求解加权最小二乘公式实现蒙板的生成，所述公式为
其中，符号 代表M为使泛函取得最小值时的函数，z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的生成蒙板，代表输入的蒙板初始值，符号和分别代表函数M对x和对y方向的偏导数，符号和分别代表函数G对x和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数为正数，用来平衡光滑项与数据项的比例，参数的取值范围为[1.2, 2.0],参数z代表空间域。
上述技术方案中，所述步骤（2）提取人脸图像的形状特征的具体步骤如下：
（2-1）在步骤（1）检测的人脸区域内对人脸部件（人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴）进行特征点定位；
（2-2）通过对人脸部件相应特征点的连接，对不同的人脸部件区域进行粗略划分，得到人脸的形状特征。
所述步骤（3）中提取人脸图像的亮度特征与边缘特征的具体步骤如下：
（3-1）把原始人脸图像从RGB颜色空间转换到CIELAB颜色空间，在该颜色空间中，图像由一个亮度通道和两个颜色通道和组成；
（3-2）用边缘保持平滑滤波器（如双边滤波器）对亮度通道进行平滑处理，平滑结果为人脸图像的亮度特征；
（3-3）用边缘检测器（如Canny边缘检测器）对人脸图像进行边缘提取，得到人脸图像的边缘特征。
本发明的有益效果如下：
1.本发明可广泛应用在各种人脸图像编辑中，如人脸亮度调节、人脸皮肤修饰、人脸肤色调节、人脸数字化妆和人脸卡通化特效等；
2.区域感知蒙板实现了自动的皮肤区域选择和自动的设置非均匀的局部编辑程度，提高了人脸图像编辑的效率性和准确性；
3.区域感知蒙板能准确地拟合复杂的区域边界与产生自然的区域过渡，提高了人脸图像编辑的效果；
4.该方法具有很好的健壮性，能在一定程度上克服不同姿态、发型、性别和年龄等人脸变化对蒙板准确性带来的影响；
5.利用区域感知蒙板，用户无需具备专业知识也能获得良好的人脸图像编辑效果，提高了人脸图像编辑工具使用的便利性和广泛性；
6.蒙板生成算法最后能转化为一个稀疏矩阵方程的求解问题，不仅能节省数据的存储，而且能利用现有的数值计算方法快速求解，具有较高的运行速度。
附图说明
图1是本发明的系统结构框图；
图2是本发明中系统输入的原始图像与提取的人脸形状特征，亮度特征和边缘特征的效果图；
图3是本发明在人脸亮度编辑与皮肤光滑度编辑两种不同情况下，区域感知蒙板初始值与最终生成的区域感知蒙板的效果图。
具体实施方式
下面结合附图对本发明做进一步的说明。
本发明的系统结构图如附图1所示，其具体步骤如下：
（1）利用基于类Haar特征的级联分类器（如开源计算机视觉库OpenCV中的Viola-Jones人脸检测器）对原始人脸图像进行人脸检测；
（2）根据检测的人脸，提取人脸图像的形状特征（Fs）；
（3）提取人脸图像的亮度特征与边缘特征（F）；
（4）根据具体图像编辑的要求，利用提取的人脸图像的形状特征，边缘特征和亮度特征，通过求解一个加权最小二乘公式实现区域感知蒙板的生成（M）。
本发明提取人脸图像形状特征（Fs）的具体步骤如下：
（Fs-1）在步骤（1）检测的人脸区域内,利用主动轮廓模型(Active Shape Model)对人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴进行特征点定位；
（Fs-2）通过对人脸部件相应特征点的连接，对不同的人脸部件区域进行粗略划分，得到人脸的形状特征（如附图2b所示）。
本发明提取人脸图像亮度特征与边缘特征（F）的具体步骤如下：
（F-1）把原始人脸图像从RGB颜色空间转换到CIELAB颜色空间，在该颜色空间中，图像由一个亮度通道和两个颜色通道和组成；
（F-2）用边缘保持平滑滤波器对亮度通道进行平滑处理，平滑结果为人脸图像的亮度特征（如附图2c所示），即,以双边滤波器为例，有：
，
其中，滤波核为，为图像中像素点的领域像素点，参数()用来控制滤波核中相应的高斯核大小；
（F-3）用Canny边缘检测器对人脸图像进行边缘提取，得到人脸图像的边缘特征（如附图2d所示）。
本发明区域感知蒙板生成（M）的具体步骤如下：
（M-1）对人脸的形状特征与边缘特征进行组合，得到区域感知蒙板的初始值（如附图3a与附图3c所示）；
（M-2）以提取的人脸图像的亮度特征作为区域感知蒙板生成的导向特征，以控制蒙板在不同人脸区域边界的过渡特点；
（M-3）通过求解以下的加权最小二乘问题，获得区域感知蒙板：
其中，符号 代表M为使泛函取得最小值时的函数，z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的生成蒙板，代表输入的蒙板初始值，符号和分别代表函数M对x和对y方向的偏导数，符号和分别代表函数G对对和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数为正数，用来平衡光滑项与数据项的比例，参数的取值范围为[1.2, 2.0]。例如在进行亮度编辑的蒙板生成时，可取。
（M-4）对于步骤（M-3）的加权最小二乘问题，根据模型的数学特性，可把转化为一个矩阵方程的求解问题，其中：
且。在这里，下标代表图像中的第和第个像素，代表像素的4邻域；
（M-5）对于步骤（M-4）中的矩阵方程，可用常用的数值计算方法求解，如利用共轭梯度下降法进行多次迭代来求解。
Claims (4)
1.一种具备区域感知特性的人脸图像蒙板自动生成方法，其特征在于包含以下步骤：
（1）对原始人脸图像进行人脸检测；
（2）在步骤（1）检测的人脸区域内提取人脸图像的形状特征；
（3）提取人脸图像的亮度特征和边缘特征；
（4）以提取的形状特征和边缘特征作为蒙板生成的初始值 ，以提取的亮度特征作为蒙板生成的导向特征，通过求解加权最小二乘公式实现蒙板的生成，所述公式为
其中，符号 代表M为使泛函取得最小值时的函数，z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的生成蒙板，代表输入的蒙板初始值，符号和分别代表函数M对x和对y方向的偏导数，符号和分别代表函数G对和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数为正数，用来平衡光滑项与数据项的比例，参数的取值范围为[1.2, 2.0]。
2.根据权利要求1所述的具备区域感知特性的人脸图像蒙板自动生成方法，其特征在于所述提取人脸图像的形状特征的具体步骤如下：
（2-1）在人脸检测的人脸区域内对人脸部件进行特征点定位，所述人脸部件包括人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴；
（2-2）通过对人脸部件相应特征点的连接，对不同的人脸部件区域进行粗略划分，得到人脸图像的形状特征。
3.根据权利要求1所述的具备区域感知特性的人脸图像蒙板自动生成方法，其特征在于所述提取人脸图像的亮度特征的具体步骤如下：
（3-1）把原始人脸图像从RGB颜色空间转换到CIELAB颜色空间，在该颜色空间中，图像由一个亮度通道和两个颜色通道和组成；
（3-2）采用边缘保持平滑滤波器对亮度通道进行平滑处理，平滑结果为人脸图像的亮度特征。
4. 根据权利要求1所述的具备区域感知特性的人脸图像蒙板自动生成方法，其特征在于所述采用边缘检测器对人脸图像进行边缘提取，得到人脸图像的边缘特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410614893.9A CN104537372A (zh) | 2014-08-05 | 2014-11-05 | 一种具备区域感知特性的人脸图像蒙板自动生成方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2014103811183 | 2014-08-05 | ||
| CN201410381118 | 2014-08-05 | ||
| CN201410614893.9A CN104537372A (zh) | 2014-08-05 | 2014-11-05 | 一种具备区域感知特性的人脸图像蒙板自动生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104537372A true CN104537372A (zh) | 2015-04-22 |
Family
ID=52852892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410614893.9A Pending CN104537372A (zh) | 2014-08-05 | 2014-11-05 | 一种具备区域感知特性的人脸图像蒙板自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104537372A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469407A (zh) * | 2015-11-30 | 2016-04-06 | 华南理工大学 | 一种基于改进的引导滤波器的人脸图像图层分解方法 |
| CN105528763A (zh) * | 2015-11-30 | 2016-04-27 | 华南理工大学 | 一种基于多重网格近似算法的自适应区域感知蒙板生成方法 |
| CN107093168A (zh) * | 2017-03-10 | 2017-08-25 | 厦门美图之家科技有限公司 | 皮肤区域图像的处理方法、装置和系统 |
| CN107578393A (zh) * | 2017-09-26 | 2018-01-12 | 成都国翼电子技术有限公司 | 一种基于人工交互的航拍图像亮度调节方法 |
| CN109639960A (zh) * | 2017-10-05 | 2019-04-16 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法及记录介质 |
| CN109784191A (zh) * | 2018-12-20 | 2019-05-21 | 华南理工大学 | 一种基于商图像的多任务人脸光照编辑方法 |
| CN110287796A (zh) * | 2019-05-24 | 2019-09-27 | 北京爱诺斯科技有限公司 | 一种基于手机与外部设备的屈光筛查方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916370A (zh) * | 2010-08-31 | 2010-12-15 | 上海交通大学 | 人脸检测中非特征区域图像处理的方法 |
| CN103824087A (zh) * | 2012-11-16 | 2014-05-28 | 广州三星通信技术研究有限公司 | 人脸特征点的检测定位方法以及系统 |
-
2014
- 2014-11-05 CN CN201410614893.9A patent/CN104537372A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916370A (zh) * | 2010-08-31 | 2010-12-15 | 上海交通大学 | 人脸检测中非特征区域图像处理的方法 |
| CN103824087A (zh) * | 2012-11-16 | 2014-05-28 | 广州三星通信技术研究有限公司 | 人脸特征点的检测定位方法以及系统 |
Non-Patent Citations (1)
| Title |
|---|
| LINGYU LIANG等: "Facial Skin Beautification using Region-Aware Mask", 《2013 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS,MAN,AND CYBERNETICS》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469407A (zh) * | 2015-11-30 | 2016-04-06 | 华南理工大学 | 一种基于改进的引导滤波器的人脸图像图层分解方法 |
| CN105528763A (zh) * | 2015-11-30 | 2016-04-27 | 华南理工大学 | 一种基于多重网格近似算法的自适应区域感知蒙板生成方法 |
| CN105469407B (zh) * | 2015-11-30 | 2018-06-22 | 华南理工大学 | 一种基于改进的引导滤波器的人脸图像图层分解方法 |
| CN105528763B (zh) * | 2015-11-30 | 2019-01-29 | 华南理工大学 | 一种基于多重网格近似算法的自适应区域感知蒙板生成方法 |
| CN107093168A (zh) * | 2017-03-10 | 2017-08-25 | 厦门美图之家科技有限公司 | 皮肤区域图像的处理方法、装置和系统 |
| CN107578393A (zh) * | 2017-09-26 | 2018-01-12 | 成都国翼电子技术有限公司 | 一种基于人工交互的航拍图像亮度调节方法 |
| CN107578393B (zh) * | 2017-09-26 | 2021-12-10 | 成都国翼电子技术有限公司 | 一种基于人工交互的航拍图像亮度调节方法 |
| CN109639960A (zh) * | 2017-10-05 | 2019-04-16 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法及记录介质 |
| CN109639960B (zh) * | 2017-10-05 | 2020-12-29 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法及记录介质 |
| CN109784191A (zh) * | 2018-12-20 | 2019-05-21 | 华南理工大学 | 一种基于商图像的多任务人脸光照编辑方法 |
| CN110287796A (zh) * | 2019-05-24 | 2019-09-27 | 北京爱诺斯科技有限公司 | 一种基于手机与外部设备的屈光筛查方法 |
| CN110287796B (zh) * | 2019-05-24 | 2020-06-12 | 北京爱诺斯科技有限公司 | 一种基于手机与外部设备的屈光筛查方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104537372A (zh) | 一种具备区域感知特性的人脸图像蒙板自动生成方法 | |
| CN104537612A (zh) | 一种自动的人脸图像皮肤美化方法 | |
| CN111066060B (zh) | 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪 | |
| CN107123083B (zh) | 人脸编辑方法 | |
| EP3338217B1 (en) | Feature detection and masking in images based on color distributions | |
| US9754153B2 (en) | Method and apparatus for facial image processing | |
| CN103456010B (zh) | 一种基于特征点定位的人脸卡通画生成方法 | |
| CN103268475A (zh) | 一种基于人脸、肤色检测的皮肤美容方法 | |
| TWI544426B (zh) | 影像處理方法以及電子裝置 | |
| WO2020133863A1 (zh) | 人脸模型的生成方法、装置、存储介质及终端 | |
| US20140198234A1 (en) | Image processing apparatus, program, image processing method, and imaging apparatus | |
| JP2020526809A5 (zh) | ||
| CN111046763B (zh) | 一种人像卡通化的方法和装置 | |
| US20100189357A1 (en) | Method and device for the virtual simulation of a sequence of video images | |
| CN103325089B (zh) | 图像中的肤色处理方法及装置 | |
| CN108053366A (zh) | 一种图像处理方法及电子设备 | |
| CN106326823B (zh) | 一种获取图片中头像的方法和系统 | |
| CN110969631B (zh) | 一种精细化照片染发方法及系统 | |
| CN104992402A (zh) | 一种美颜处理方法及装置 | |
| CN113344836B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN107545536A (zh) | 一种智能终端的图像处理方法及图像处理系统 | |
| Xu et al. | An automatic framework for example-based virtual makeup | |
| CN103236066A (zh) | 一种基于人脸特征分析的虚拟试妆方法 | |
| CN101477696A (zh) | 一种人物漫画图像生成方法及装置 | |
| CN108230297B (zh) | 一种基于服装替换的色彩搭配评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150422 |
|
| RJ01 | Rejection of invention patent application after publication |