CN1710595A - 嘴角定位方法 - Google Patents

嘴角定位方法 Download PDF

Info

Publication number
CN1710595A
CN1710595A CN 200510026811 CN200510026811A CN1710595A CN 1710595 A CN1710595 A CN 1710595A CN 200510026811 CN200510026811 CN 200510026811 CN 200510026811 A CN200510026811 A CN 200510026811A CN 1710595 A CN1710595 A CN 1710595A
Authority
CN
China
Prior art keywords
carried out
image
mouth
matrix
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200510026811
Other languages
English (en)
Inventor
杜春华
杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN 200510026811 priority Critical patent/CN1710595A/zh
Publication of CN1710595A publication Critical patent/CN1710595A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种属于数字图像处理和模式识别技术领域的嘴角定位方法，本发明根据嘴唇的颜色分布，首先获得嘴巴区域的大概位置，然后分析该区域的直方图并对该区域进行阈值化处理得到二值图像，接着对该二值图像进行两次腐蚀运算，并对腐蚀后的图像进行连通区域分析并找到最大的连通区域，然后对这个最大的连通区域进行两次膨胀运算，最后分析膨胀后得图像即可精确地定位出嘴角的位置。本发明精确地给出嘴角的位置，大大提高人脸识别、表情识别的精度。

Description

嘴角定位方法
技术领域
本发明涉及的是一种属于数字图像处理和模式识别技术领域的方法，具体地说，是一种嘴角定位方法。
背景技术
人脸特征点检测是人脸识别、表情识别、性别识别，年龄估计等应用中的关键技术，其特征点位置定位的准确性直接影响到识别的精度，而在人脸特征中嘴角特征很重要。因此，准确地定位嘴角的位置可以大大地提高识别的精度。当前嘴角的定位主要依据对不同颜色空间嘴唇颜色的分布，图像灰度、图像边缘的分析。但在大多数情况下，由于复杂背景和光照的影响，仅仪依赖某个颜色空间，灰度和边缘来定位嘴角是一件非常困难的工作。
经对现有技术文献的检索发现，Rein-Lien Hsu等(Rein-Lien Hsu，MohamedAbdel-Mottaleb，Anil K.Jain彩色图像中的人脸检测  电气与电子工程师协会学报  模式分析与机器学习VOL 24，NO.5.MAY 2002)曾通过大量样本的统计给出了嘴巴区域在YCbCr颜色空间的各个分量的分布，并根据这些分量的分布粗略地定位嘴的位置，但却不能给出嘴角的精确定位。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种嘴角定位方法，使其精确地给出嘴角的位置，大大提高人脸识别、表情识别的精度。
本发明是通过以下技术方案实现的，本发明根据嘴唇的颜色分布，首先获得嘴巴区域的大概位置，然后分析该区域的直方图并对该区域进行阈值化处理得到二值图像，接着对该二值图像进行两次腐蚀运算，并对腐蚀后的图像进行连通区域分析并找到最大的连通区域，然后对这个最大的连通区域进行两次膨胀运算，最后分析膨胀后的图像即可精确地定位出嘴角的位置。
本发明具体步骤如下：
(1)把原始人脸图像从RGB空间转换到YCbCr空间并进行相应的处理，对图像中的每个像素计算Cr分量除以Cb分量的结果，记为Cr_div_Cb，同时计算Cr分量的平方，记为Cr_mul_Cr，对每个像素都进行这样的操作后得到了两个矩阵：Cr_div_Cb，Cr_mul_Cr，然后对该这两个矩阵进行归一化处理，得到矩阵：Cr_div_Cb，Cr_mul_Cr；计算一个常数K，K＝0.95*mean(Cr_mul_Cr)/mean(Cr-_div_Cb)，其中mean表示求矩阵的平均值，然后初始化一个和人脸图像一样大小的矩阵，矩阵中每个元素都赋值后，对这个矩阵进行归一化处理得到一个新的矩阵，在这个新的矩阵上利用模板匹配的方法找到使模板内平均灰度最大的位置即为嘴巴区域的位置，而且该嘴巴是在该模板内，且记嘴巴区域为MouthMap。
(2)分析嘴巴区域的直方图找到对应的像素点最多的灰度级并以该灰度级为阈值对嘴巴区域图像进行二值化处理得到一个二值图像。
(3)对上一步得到的二值图像进行两次腐蚀运算。进行腐蚀运算是为了去除一些零星分布的小的区域，同时尽可能地把嘴巴区域和非嘴巴区域分开。
(4)对上一步腐蚀运算后的结果进行连通区域分析，并找到最大的连通区域。对腐蚀后的图像进行连通区域分析，因为嘴巴区域里最主要的是嘴唇区域，且其在嘴巴区域中占很大比例，因此最大的连通区域即为嘴唇对应的区域。
(5)对上一步找到的最大的连通区域进行两次膨胀运算，以恢复在第3步中腐蚀掉的边界像素点。
(6)搜索经过膨胀运算后的二值图像中最左边的灰度值为1的像素点，该像素即为左嘴角点，同理找到二值图像中最右边的灰度值为1的像素点，该像素即为右嘴角点。
所述的归一化处理，是指：计算矩阵的最大值，然后矩阵中的每个元素都除以这个最大值。
所述的赋值，是指：每个像素的灰度值赋值为Cr_mul_Cr*(Cr_mul_Cr-k*Cr_div_Cb)^2。
本发明的工作原理是：首先根据嘴唇的颜色分布找到嘴巴区域的大概位置，该区域用一矩形表示，在该区域中嘴唇所占的面积比例较大，把该区域内的彩色图像转换为灰度图像并分析灰度图像对应的直方图，由于嘴唇在嘴巴区域中占很大比例，分析该直方图，用对应像素点最多的灰度级对灰度图像进行二值化处理得到一二值图像，该二值图像中嘴唇对应的像素为白色，非嘴唇对应的位置为黑色，由于在该二值图像中也有一些非常小的区域被判定为嘴唇的区域，因此用两次腐蚀运算可以去除一些非嘴唇区域并得到少数几个备选嘴唇区域，因为嘴唇在嘴巴区域中占很大比例，所以在剩下的备选嘴唇区域中面积最大的区域即为真正的嘴唇区域，由于前面的腐蚀运算已经腐蚀掉真正的嘴唇区域的一些边界像素，为了提高定位精度还要进行两次与腐蚀运算对应的膨胀运算以恢复被腐蚀掉的像素，最后找到嘴唇区域最左边的像素点即为左嘴角点，嘴唇区域最右边的像素点极为右嘴角点。
由于现有技术只能给出嘴巴的大概位置，这就严重影响了后续工作，如人脸检测，人脸识别，表情识别的精度，而本发明所描述的技术能精确地给出嘴角的位置，这可以大大提高人脸识别，表情识别的精度。
附图说明
图1：找到的嘴巴的大概位置。
图2：嘴巴区域的直方图和嘴巴区域图像经过二值化处理后的二值图像。
图3：二值化后的图像和对二值图像进行两次腐蚀运算后得到的图像。
图4：对腐蚀后的图像进行连通区域分析并找到最大的连通区域。
图5：对最大的连通区域进行两次膨胀运算后的图像。
图6：左嘴角和右嘴角的定位。
具体实施方式
实施例
本实施例采用的人脸图像来自上海交通大学和复旦大学医学院共同拍摄的人脸图像库，实现过程如下：
(1)把原始图像转换到YCbCr空间并进行相应的处理，对图像中的每个像素计算Cr分量除以Cb分量的结果，记为Cr_div_Cb，同时计算Cr分量的平方，记为Cr_mul_Cr，对每个像素都进行这样的操作后得到了两个矩阵：Cr_div_Cb，Cr_mul_Cr，然后对该这两个矩阵进行归一化处理，即计算矩阵的最大值，然后矩阵中的每个元素都除以这个最大值，这样得到了两个归一化的矩阵，Cr-_div_Cb，Cr_mul_Cr。然后计算一个常数K，K＝0.95*mean(Cr_mul_Cr)/mean(Cr-_div_Cb)，其中mean表示求矩阵的平均值，然后初始化一个和人脸图像一样大小的矩阵，其中每个像素的灰度值赋值为为Cr_mul_Cr*(Cr_mul_Cr-k*Cr_div_Cb)^2，矩阵中每个元素都赋值后对这个矩阵进行归一化处理得到一个新的矩阵。在这个新的矩阵上利用模板匹配的方法找到使模板内平均灰度最大的位置即为嘴巴区域的大概位置，而且该嘴巴是在该模板内，且记嘴巴区域为MouthMap。如图1所示。
(2)分析由上一步得到的嘴巴区域的直方图并设定像素点最多的灰度级为阈值，用该阈值对嘴巴区域做二值化处理得到一个二致图像，直方图和二值图像如图2所示。
(3)对上一步得到的二值图像进行两次腐蚀运算。进行腐蚀运算是为了去除一些零星分布的小的区域，同时尽可能地把嘴巴区域和非嘴巴区域分开，腐蚀前和腐蚀后的图像如图3所示。
(4)对腐蚀后的图像进行连通区域分析并找到最大的连通区域使其灰度值为1而图像上其他区域里的像素的灰度值为0，因为嘴巴区域里最主要的是嘴唇区域，且其在嘴巴区域中占很大比例，因此最大的连通区域即为嘴唇对应的区域，嘴唇连通区域如图4所示。
(5)对最大的连通区域进行两次膨胀运算。进行膨胀运算是为了恢复在第3步中腐蚀掉的边缘像素。膨胀后图像如图5所示。
(6)对膨胀后的图像进行分析并找到左嘴角和右嘴角。找到经过膨胀运算后的二值图像中最左边的灰度值为1的像素点，该像素即为左嘴角点，同理找到二值图像中最右边的灰度值为1的像素点，该像素即为右嘴角点。如图6所示。

Claims (5)

1.一种嘴角定位方法，其特征在于，根据嘴唇的颜色分布，首先获得嘴巴区域的大概位置，然后分析该区域的直方图并对该区域进行阈值化处理得到二值图像，接着对该二值图像进行两次腐蚀运算，并对腐蚀后的图像进行连通区域分析并找到最大的连通区域，然后对这个最大的连通区域进行两次膨胀运算，最后分析膨胀后得图像即可精确地定位出嘴角的位置。
2.根据权利要求1所述的嘴角定位方法，其特征是，具体步骤如下：
(1)把原始人脸图像从RGB空间转换到YCbCr空间并进行相应的处理，得到矩阵：Cr_div_Cb，Cr_mul_Cr，然后再对这两个矩阵进行归一化处理，再计算常数K，K＝0.95*mean(Cr_mul_Cr)/mean(Cr_div_Cb)，其中mean表示求矩阵的平均值，然后初始化一个和人脸图像一样大小的矩阵，矩阵中每个元素都赋值后，对这个矩阵进行归一化处理得到一个新的矩阵，在这个新的矩阵上利用模板匹配的方法，找到使模板内平均灰度最大的位置即为嘴巴区域的位置，而且该嘴巴是在该模板内，且记嘴巴区域为MouthMap；
(2)分析嘴巴区域的直方图找到对应的像素点最多的灰度级，并以该灰度级为阈值对嘴巴区域图像进行二值化处理得到一个二值图像；
(3)对上一步得到的二值图像进行两次腐蚀运算；
(4)对上一步腐蚀运算后的结果进行连通区域分析，并找到最大的连通区域；
(5)对上一步找到的最大的连通区域进行两次膨胀运算，以恢复在第3步中腐蚀掉的边界像素点；
(6)搜索经过膨胀运算后的二值图像中最左边的灰度值为1的像素点，该像素即为左嘴角点，同理找到二值图像中最右边的灰度值为1的像素点，该像素即为右嘴角点。
3.根据权利要求2所述的嘴角定位方法，其特征是，所述的把原始人脸图像从RGB空间转换到YCbCr空间并进行相应的处理，其方法是：对图像中的每个像素计算Cr分量除以Cb分量的结果，记为Cr_div_Cb，同时计算Cr分量的平方，记为Cr_mul_Cr，对每个像素都进行这样的操作后得到了两个矩阵：Cr-_div_Cb，Cr_mul_Cr，然后对该这两个矩阵进行归一化处理，得到矩阵：Cr-_div_Cb，Cr_mul_Cr。
4.根据权利要求2所述的嘴角定位方法，其特征是，所述的归一化处理，是指：计算矩阵的最大值，然后矩阵中的每个元素都除以这个最大值。
5.根据权利要求2所述的嘴角定位方法，其特征是，所述的赋值，是指：每个像素的灰度值赋值为Cr_mul_Cr*(Cr_mul_Cr-k*Cr_div_Cb)^2。
CN 200510026811 2005-06-16 2005-06-16 嘴角定位方法 Pending CN1710595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200510026811 CN1710595A (zh) 2005-06-16 2005-06-16 嘴角定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200510026811 CN1710595A (zh) 2005-06-16 2005-06-16 嘴角定位方法

Publications (1)

Publication Number Publication Date
CN1710595A true CN1710595A (zh) 2005-12-21

Family

ID=35706836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200510026811 Pending CN1710595A (zh) 2005-06-16 2005-06-16 嘴角定位方法

Country Status (1)

Country Link
CN (1) CN1710595A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604446B (zh) * 2009-07-03 2011-08-31 清华大学深圳研究生院 用于疲劳检测的嘴唇图像分割方法及系统
CN102799885A (zh) * 2012-07-16 2012-11-28 上海大学 嘴唇外轮廓提取方法
CN102841676A (zh) * 2011-06-23 2012-12-26 鸿富锦精密工业（深圳）有限公司 网页浏览控制系统及方法
CN103020608A (zh) * 2012-12-28 2013-04-03 南京荣飞科技有限公司 一种监狱视频监控图像中的囚服识别方法
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
CN107852533A (zh) * 2015-07-14 2018-03-27 三星电子株式会社 三维内容生成装置及其三维内容生成方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604446B (zh) * 2009-07-03 2011-08-31 清华大学深圳研究生院 用于疲劳检测的嘴唇图像分割方法及系统
CN102841676A (zh) * 2011-06-23 2012-12-26 鸿富锦精密工业（深圳）有限公司 网页浏览控制系统及方法
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
CN102799885A (zh) * 2012-07-16 2012-11-28 上海大学 嘴唇外轮廓提取方法
CN102799885B (zh) * 2012-07-16 2015-07-01 上海大学 嘴唇外轮廓提取方法
CN103020608A (zh) * 2012-12-28 2013-04-03 南京荣飞科技有限公司 一种监狱视频监控图像中的囚服识别方法
CN107852533A (zh) * 2015-07-14 2018-03-27 三星电子株式会社 三维内容生成装置及其三维内容生成方法
CN107852533B (zh) * 2015-07-14 2022-09-09 三星电子株式会社 三维内容生成装置及其三维内容生成方法

Similar Documents

Publication Publication Date Title
Singh et al. A new local adaptive thresholding technique in binarization
Huynh-Thu et al. Skin-color extraction in images with complex background and varying illumination
CN109961016B (zh) 面向智能家居场景的多手势精准分割方法
CN1710595A (zh) 嘴角定位方法
Li et al. Face detection in complex background based on skin color features and improved AdaBoost algorithms
CN108171201B (zh) 基于灰度形态学的睫毛快速检测方法
Skodras et al. An unconstrained method for lip detection in color images
CN107480585B (zh) 基于dpm算法的目标检测方法
CN108171102A (zh) 一种基于视觉的零件快速识别方法
CN106097368A (zh) 一种单板裂缝的识别方法
CN111310768A (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN112101108A (zh) 一种基于图形极点位置特征的左右转交通标志识别方法
Zhang et al. Hand gesture detection and segmentation based on difference background image with complex background
CN111414938A (zh) 一种板式换热器内气泡的目标检测方法
CN113344047A (zh) 基于改进K-means算法的压板状态识别方法
Tan et al. Gesture segmentation based on YCb'Cr'color space ellipse fitting skin color modeling
CN111047646A (zh) 基于fpga的多目标透镜定位方法及系统
CN116188826A (zh) 一种复杂光照条件下的模板匹配方法及装置
Tao et al. Automatic localization of human eyes in complex background
CN112581487B (zh) 自动提取检测区域及定位核的方法
CN110956095A (zh) 一种基于角点肤色检测的多尺度人脸检测方法
Wang et al. Character extraction and recognition in natural scene images
Chen et al. Study of Sub-pixel Level Edge Extraction for Graphics Under Different Environmental Conditions
CN107742104A (zh) 一种基于肤色模型的人脸检测的方法
Wang et al. Image enhancement for hand sign detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication