CN107038401B - 一种嘴唇轮廓的分割及特征提取方法 - Google Patents
一种嘴唇轮廓的分割及特征提取方法 Download PDFInfo
- Publication number
- CN107038401B CN107038401B CN201610087730.9A CN201610087730A CN107038401B CN 107038401 B CN107038401 B CN 107038401B CN 201610087730 A CN201610087730 A CN 201610087730A CN 107038401 B CN107038401 B CN 107038401B
- Authority
- CN
- China
- Prior art keywords
- lip
- point
- abscissa
- mouth
- marginal point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 14
- 238000000605 extraction Methods 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种嘴唇轮廓的分割及特征提取方法。该方法包括:从视频图像中进行人脸检测,获取人脸区域,将人脸垂直区域的下半区域初步确定为嘴唇区域;对嘴唇区域进行粗分割;查找左、右嘴角点;以两个嘴角点为基础,提取上、下嘴唇轮廓边缘点,从而完成对嘴唇轮廓的定位。该方法能够较为高效、准确的分割定位,使之能够更精确的提取出嘴唇轮廓特征,以便更好的应用于视觉语言识别系统。
Description
技术领域
本发明涉及图像处理与模式识别领域,尤其涉及一种嘴唇轮廓的分割及特征提取方法。
背景技术
人脸特征点检测是人脸识别中的关键技术,其特征点位置定位的准确性直接影响到识别的精度,而在人脸特征中嘴唇轮廓的定位尤其重要,因此,准确的定位嘴唇轮廓位置可以大大地提高识别精度。
在提取嘴唇轮廓时,一般有如下方法:一是基于肤色方法,该方法受光照影响大,鲁棒性低;二是基于嘴唇模型方法,该方法易受不同说话人口型影响,导致所得嘴唇外轮廓结果不理想以及算法复杂、实时性低。在嘴唇区域分割方面,目前已有的较好的方法有Snake、神经网络、基于色彩空间的唇色模型分割法和经典轮廓提取方法等。Snake方法由于效率较低,不适合应用在实时系统中;神经网络由于需要进行大量训练,效率较低;基于色彩空间的分割法和轮廓提取算法对图像质量要求较高,适应性较差。
由于现有技术中,在嘴唇轮廓定位、提取方面缺乏高效和准确性,使得对嘴唇信息的特征提取效能大打折扣,导致最终的识别结果始终不尽如人意,识别率无法得到保障。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种嘴唇轮廓的分割及特征提取方法。
基于上述问题,本发明实施例提供了一种嘴唇轮廓的分割方法,包括下述步骤:
从视频图像中进行人脸检测,获取人脸区域,将人脸垂直区域的下半区域初步确定为嘴唇区域;
对嘴唇区域进行粗分割:对嘴唇区域的原始彩色图像转换为灰度图像,对灰度图像进行直方图均衡后再进行二值化处理;将原始彩色图像转换为另两种彩色图像,对第一种彩色图像进行直方图均衡后再进行二值化处理,对第二种彩色图像进行图像分割后再进行二值化处理;对上述三次二值化处理结果进行逻辑与运算得到二值图像;
查找左、右嘴角点;以两个嘴角点为基础,提取上、下嘴唇轮廓边缘点,从而完成对嘴唇轮廓的定位。
在一些可选的实施例中,将原始彩色图像转换为另两种彩色图像及其处理过程可通过下述方式实现:
将原始彩色图像转换为HSV彩色图像和Chromatic彩色图像;
对HSV彩色图像中的H和S分量进行直方图均衡后再进行二值化处理;
根据Chromatic彩色图像中r分量的不同,对图像进行二值化处理
在一些可选的实施例中,查找左、右嘴角点,可通过下述方式实现:
在二值图像中找出横坐标最小和最大两个黑色像素点作为左、右嘴角的基准点,并记录两个基准点的坐标;
在灰度图像中,以两个基准点为中心分别构建左、右两个像素区域,计算每个像素点四邻域灰度值之和,取四邻域灰度值之和最小的像素点作为左、右嘴角点。
在一些可选的实施例中,以两个嘴角点为基础,提取上、下嘴唇轮廓边缘点,可通过下述方式实现:
查找上、下嘴唇外轮廓边缘点;
根据嘴唇的开合状态,判断是否需要提取上、下嘴唇内轮廓边缘点;当嘴唇处于闭合状态,则结束边缘点查找,当嘴唇处于张开状态,则继续查找上、下嘴唇内轮廓边缘点。
在一些可选的实施例中,查找上、下嘴唇外轮廓边缘点,可通过下述方式实现:
选取左、右嘴角点之间的横坐标,该横坐标所在列即为下嘴唇外轮廓边缘点所在列;
以横坐标所在列对二值图像从下向上进行列扫描,找到的第一个黑色像素点即为下嘴唇外轮廓边缘点;
以下嘴唇外轮廓边缘点所在列对灰度图像从上向下进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为上嘴唇外轮廓边缘点。
在一些可选的实施例中,在查找上、下嘴唇外轮廓边缘点时,选取左、右嘴角点之间的横坐标,可通过下述方式实现:
取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标,在该横坐标与左、右嘴角点之间分别选取至少两个等距离分布的横坐标。
在一些可选的实施例中,查找上、下嘴唇内轮廓边缘点,可通过下述方式实现:
选取左、右嘴角点之间的横坐标,该横坐标所在列即为上、下嘴唇内轮廓边缘点所在列;
以横坐标所在列对灰度图像从图像高度的1/2处向上进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为上嘴唇内轮廓边缘点;
以横坐标所在列对灰度图像从图像高度的1/2处向下进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为下嘴唇内轮廓边缘点。
在一些可选的实施例中,在查找上、下嘴唇内轮廓边缘点时,选取左、右嘴角点之间的横坐标,可通过下述方式实现:
取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标;或者
取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标,并且在该横坐标与左、右嘴角点之间分别选取至少一个等距离分布的横坐标。
在一些可选的实施例中,在完成对嘴唇轮廓的定位之后,还可通过下述步骤进行拟合:
基于左、右嘴角点和上嘴唇外轮廓边缘点,以左、右嘴角点之间的横坐标中点为对称轴,分别向左和向右对上嘴唇进行三次曲线拟合,得到两条共同表示上嘴唇轮廓的三次拟合曲线Y1和Y2,如下式:
Y1=a1X3+b1X2+c1X+d1;
Y2=a2X3+b2X2+c2X+d2;
基于左、右嘴角点和下嘴唇外轮廓边缘点,采用二次曲线进行拟合,得到一条表示下嘴唇外轮廓的二次拟合曲线Y3,如下式:
Y3=a3X2+b3X+c3;
基于左、右嘴角点和上、下嘴唇内轮廓边缘点,分别采用二次曲线进行拟合,得到两条分别表示上、下嘴唇内轮廓的二次拟合曲线Y4和Y5,如下式:
Y4=a4X2+b4X+c4;
Y5=a5X2+b5X+c5;
上式中,a1—d1、a2—d2、a3—c3、a4—c4、a5—c5为拟合曲线参数,为任意实数。
本发明实施例还提供一种嘴唇轮廓的特征提取方法,该方法包括上述嘴唇轮廓的提取方法,还包括:
拟合后,通过如下向量表示嘴唇边缘轮廓特征:
(a1-a2,b1-b2,c1-c2,a1-a3,b1-b3,c1-c3,a2-a3,b2-b3,c2-c3)
上式中,a1-a2、b1-b2、c1-c2共同表示嘴巴收缩程度,即左、右两个嘴角点之间的宽度;a1-a3、b1-b3、c1-c3、a2-a3、b2-b3、c2-c3共同表示嘴巴张开程度,即上下嘴唇边缘的最大距离。
本发明实施例的有益效果包括:
本发明实施例提供的嘴唇轮廓的分割及特征提取方法,能够较为高效、准确的分割定位,从而能够更精确的提取出嘴唇轮廓特征,以便更好的应用于视觉语言识别系统。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的嘴唇轮廓分割方法的流程图;
图2为本发明实施例提供的嘴唇区域粗分割的流程图;
图3为本发明实施例中查找左、右嘴角点的流程图;
图4为本发明实施例中查找上、下嘴唇轮廓边缘点的流程图;
图5为本发明实施例中查找上、下嘴唇外轮廓边缘点的流程图;
图6为本发明实施例中查找上、下嘴唇内轮廓边缘点的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
下面分别结合附图,对本发明实施例提供的嘴唇轮廓的分割及特征提取方法分别进行说明。
本发明实施例提供的嘴唇轮廓的分割方法,其流程如图1所示,包括如下步骤:
S101、从视频图像中进行人脸检测,获取人脸区域,将人脸垂直区域的下半区域初步确定为嘴唇区域;
获取人脸区域可以从视频中获取图像序列,作为输入图像;从图像中检测人脸,应用OpenCV人脸检测技术对人脸区域进行了定位;
S102、对嘴唇区域进行粗分割:
对嘴唇区域的原始彩色图像转换为灰度图像,对灰度图像进行直方图均衡后再进行二值化处理;将原始彩色图像转换为另两种彩色图像,对第一种彩色图像进行直方图均衡后再进行二值化处理,对第二种彩色图像进行图像分割后再进行二值化处理;对上述三次二值化处理结果进行逻辑与运算得到二值图像;
S103、查找左、右嘴角点;以两个嘴角点为基础,提取上、下嘴唇的边缘点,从而完成对嘴唇轮廓的定位。
进一步地,上述步骤S102可通过下述方法具体实现,其流程图如图2所示:
S201、将嘴唇区域的原始RGB彩色图像转换为灰度图像,对灰度图像进行直方图均衡后再进行二值化处理;
S202、将嘴唇区域的原始RGB彩色图像转换为HSV彩色图像,对HSV彩色图像中的H和S分量进行直方图均衡,通过自适应算法确定的阈值对H和S分量进行二值化处理;
S203、将嘴唇区域的原始RGB彩色图像转换为Chromatic彩色图像,根据Chromatic彩色图像中r分量的不同,对Chromatic彩色图像进行二值化处理;
具体处理过程为:
a.通过式计算出每个像素点r分量的比例值r′;
b.通过式计算出全局的r分量的比例均值x;
c.通过fisher变换计算出分割阈值θ,利用此阈值对图像进行二值化;
式中,r、g、b分别是Chromatic彩色图像中的红、绿、蓝分量;M、N分别是Chromatic彩色图像中的行数和列数。
S204、对上述三次二值化处理结果进行逻辑与运算得到二值图像。
上述步骤S201、S202和S203无先后顺序,可以同时进行,也可以按顺序进行。
进一步地,上述步骤S103中查找左、右嘴角点可通过下述方法具体实现,其流程图如图3所示:
S301、在二值图像中找出横坐标最小和最大两个黑色像素点作为左、右嘴角的基准点,并记录两个基准点的坐标;
S302、在灰度图像中,以两个基准点为中心分别构建左、右两个8*8的像素区域,计算每个像素点四邻域灰度值之和;
本实施例中,8*8的像素区域是以基准点所在行为基准行,向上扩展3行向下扩展4行,同时以该基准点所在列为基准列,向左扩展3列向右4列,所构成的8行8列像素区域;也可以根据实际需求,向上4行向下扩展3行以及向左扩展4列向右扩展3列,或者是其他排列组合方式;本实施例中,每个像素点四邻域灰度值之和指的是该像素点连同其上下左右4个像素点(共5个像素点)的灰度值的和。
S303、取左侧像素区域中四邻域灰度值之和最小的像素点作为左嘴角点,取右侧像素区域中四邻域灰度值之和最小的像素点作为右嘴角点。
进一步地,上述步骤S103中以两个嘴角点为基础,提取上、下嘴唇轮廓边缘点可通过下述方法具体实现,其流程图如图4所示:
S401、查找上、下嘴唇外轮廓边缘点;
S402、根据嘴唇的开合状态,判断是否需要提取上、下嘴唇内轮廓边缘点;当嘴唇处于闭合状态,则执行步骤S404,当嘴唇处于张开状态,则执行步骤S403;
S403、继续查找上、下嘴唇内轮廓边缘点;
S404、结束边缘点查找。
进一步地,上述步骤S401可通过下述方法具体实现,其流程图如图5所示:
S501、选取左、右嘴角点之间的横坐标,该横坐标所在列即为下嘴唇外轮廓边缘点所在列;
取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标,在该横坐标与左、右嘴角点之间分别选取至少两个等距离分布的横坐标;本实施例中,以提取5个上嘴唇外轮廓边缘点为例,即:在左、右嘴角点的横坐标中点与左、右嘴角点之间分别选取两个横坐标,也可以使每个横坐标之间以及横坐标与左、右嘴角点之间的距离相等或不等。
S502、以横坐标所在列对二值图像从下向上进行列扫描,找到的第一个黑色像素点即为下嘴唇外轮廓边缘点,最终找到5个下嘴唇外轮廓边缘点;
S503、以5个下嘴唇外轮廓边缘点所在列对灰度图像从上向下进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为上嘴唇外轮廓边缘点,最终找到5个上嘴唇外轮廓边缘点。
在说话过程中,嘴唇会出现两种状态,即闭合状态和张开状态;闭合状态是不需要提取其内轮廓的,而在张开状态下,为了提高话语内容识别的准确率,需要精确提取嘴唇的轮廓特征,所以提取其内轮廓就成为必要步骤,在这一步中,利用与提取上嘴唇外轮廓边缘点相似的方法提取上、下嘴唇内轮廓边缘点。上述步骤S403可通过下述方法具体实现,其流程图如图6所示:
S601、选取左、右嘴角点之间的横坐标,该横坐标所在列即为上、下嘴唇内轮廓边缘点所在列;
由于嘴唇内轮廓在说话过程中的变化幅度较小,所以在上、下嘴唇的内轮廓可以各提取一个边缘点即可,当然为了提高精确度,也可以根据实际需求提取多个;最简单快速的方法,是只取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标即可;但为了提高精度;当需要提取多个时,则取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标,并且在该横坐标与左、右嘴角点之间分别选取至少一个等距离分布的横坐标,也可以使每个横坐标之间以及横坐标与左、右嘴角点之间的距离相等或不等。
S602、以横坐标所在列对灰度图像从图像高度的1/2处向上进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为上嘴唇内轮廓边缘点;
S603、以横坐标所在列对灰度图像从图像高度的1/2处向下进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为下嘴唇内轮廓边缘点。
本发明实施例还提供了另一种嘴唇轮廓的提取方法,该方法包括上述任一项的嘴唇轮廓分割方法,还包括对嘴唇轮廓进行三次曲线拟合的过程,可采用如下方法具体实现:
S101′、从视频图像中进行人脸检测,获取人脸区域,将人脸垂直区域的下半区域初步确定为嘴唇区域;该步骤的具体过程同上述步骤S101,此处不再赘述;
S102′、对嘴唇区域进行粗分割;该步骤的具体过程同上述步骤S102,此处不再赘述;
S103′、查找左、右嘴角点;以两个嘴角点为基础,提取上、下嘴唇的边缘点,从而完成对嘴唇轮廓的定位;该步骤的具体过程同上述步骤S103,此处不再赘述;
S104′、对嘴唇轮廓进行三次曲线拟合。
在研究嘴唇轮廓曲线时,曲线上的点的横坐标和纵坐标可以视为研究变量,即变量(x,y),根据嘴唇轮廓线可以得到一系列成对的数据(x1,y1.x2,y2...xm,ym);将这些数据描绘在x-y直角坐标系中,若发现这些点在一条曲线附近,可以令这条曲线方程如
Y0=a0X3+b0X2+c0X+d0 (1)
其中a0、b0、c0、d0是待定的曲线参数,可为任意实数。为了建立曲线方程,就要确定四个参数,根据最小二乘法的原理,将实际像素坐标信息Yi与利用公式(1)的计算值Yj的离差(Yi-Yj)的平方和∑(Yi-Yj)2最小为最优判断标准。
令φ=∑(Yi-Yj)2,把式(1)带入,当求得∑(Yi-Yj)2最小时,可用函数φ对四个参数求偏导数,令各偏导数等于零。得到的四个关于a0,b0,c0,d0为未知数的四个方程,解方程组得出四个参数的表达式,把这四个参数带入式(1),此时得到的方程就是所需的三次方程。
步骤S104′的具体步骤如下:
基于左、右嘴角点和上嘴唇外轮廓边缘点,以左、右嘴角点之间的横坐标中点为对称轴,分别向左和向右对上嘴唇进行三次曲线拟合,得到两条共同表示上嘴唇轮廓的三次拟合曲线Y1和Y2,如下式:
Y1=a1X3+b1X2+c1X+d1;
Y2=a2X3+b2X2+c2X+d2;
基于左、右嘴角点和下嘴唇外轮廓边缘点,采用二次曲线进行拟合,得到一条表示下嘴唇外轮廓的二次拟合曲线Y3,如下式:
Y3=a3X2+b3X+c3;
基于左、右嘴角点和上、下嘴唇内轮廓边缘点,分别采用二次曲线进行拟合,得到两条分别表示上、下嘴唇内轮廓的二次拟合曲线Y4和Y5,如下式:
Y4=a4X2+b4X+c4;
Y5=a5X2+b5X+c5;
上式中,a1—d1、a2—d2、a3—c3、a4—c4、a5—c5为拟合曲线参数,为任意实数。
本发明实施例还提供了嘴唇轮廓的特征提取方法,该方法包括上述嘴唇轮廓提取方法,拟合后提取嘴唇轮廓特征,可采用如下方法具体实现:
S101″、从视频图像中进行人脸检测,获取人脸区域,将人脸垂直区域的下半区域初步确定为嘴唇区域;
该步骤的具体过程同上述步骤S101,此处不再赘述;
S102″、对嘴唇区域进行粗分割;
该步骤的具体过程同上述步骤S102,此处不再赘述;
S103″、查找左、右嘴角点;以两个嘴角点为基础,提取上、下嘴唇的边缘点,从而完成对嘴唇轮廓的定位;
该步骤的具体过程同上述步骤S103,此处不再赘述;
S104″、对嘴唇轮廓进行三次曲线拟合;
该步骤的具体过程同上述步骤S104′,此处不再赘述
S105″、提取嘴唇轮廓特征,包括曲线参数特征和几何特征
拟合后以两个嘴角之间的以及嘴巴张开的宽度(上下嘴唇边缘的最大距离)来表示嘴唇的特征向量。如下式的向量表示嘴唇的边缘轮廓特征:
(a1-a2,b1-b2,c1-c2,a1-a3,b1-b3,c1-c3,a2-a3,b2-b3,c2-c3)
上式中,曲线参数特征为三条曲线的方程系数,即(a1,a2,a3,b1,b2,b3,c1,c2,c3);(a1-a2,b1-b2,c1-c2,a1-a3,b1-b3,c1-c3,a2-a3,b2-b3,c2-c3)表示嘴唇轮廓的几何特征;a1-a2、b1-b2、c1-c2共同表示嘴巴收缩程度,即左、右两个嘴角点之间的宽度;a1-a3、b1-b3、c1-c3、a2-a3、b2-b3、c2-c3共同表示嘴巴张开程度(也就是嘴巴张开宽度),即上下嘴唇边缘的最大距离
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案而非限制,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神范围,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种嘴唇轮廓的分割方法,其特征在于,该方法包括如下步骤:
从视频图像中进行人脸检测,获取人脸区域,将人脸垂直区域的下半区域初步确定为嘴唇区域;
对嘴唇区域进行粗分割:对嘴唇区域的原始彩色图像转换为灰度图像,对灰度图像进行直方图均衡后再进行二值化处理;将原始彩色图像转换为另两种彩色图像,对第一种彩色图像进行直方图均衡后再进行二值化处理,对第二种彩色图像进行图像分割后再进行二值化处理;对上述三次二值化处理结果进行逻辑与运算得到二值图像;
查找左、右嘴角点;以两个嘴角点为基础,提取上、下嘴唇轮廓边缘点,从而完成对嘴唇轮廓的定位;
将原始彩色图像转换为HSV彩色图像和Chromatic彩色图像;
对HSV彩色图像中的H和S分量进行直方图均衡后再进行二值化处理;
根据Chromatic彩色图像中r分量的不同,对图像进行二值化处理;
在完成对嘴唇轮廓的定位之后,还包括如下步骤:
基于左、右嘴角点和上嘴唇外轮廓边缘点,以左、右嘴角点之间的横坐标中点为对称轴,分别向左和向右对上嘴唇进行三次曲线拟合,得到两条共同表示上嘴唇轮廓的三次拟合曲线Y1和Y2,如下式:
Y1=a1X3+b1X2+c1X+d1;
Y2=a2X3+b2X2+c2X+d2;
基于左、右嘴角点和下嘴唇外轮廓边缘点,采用二次曲线进行拟合,得到一条表示下嘴唇外轮廓的二次拟合曲线Y3,如下式:
Y3=a3X2+b3X+c3;
基于左、右嘴角点和上、下嘴唇内轮廓边缘点,分别采用二次曲线进行拟合,得到两条分别表示上、下嘴唇内轮廓的二次拟合曲线Y4和Y5,如下式:
Y4=a4X2+b4X+c4;
Y5=a5X2+b5X+c5;
上式中,a1—d1、a2—d2、a3—c3、a4—c4、a5—c5为拟合曲线参数,为任意实数;
所述的嘴唇轮廓提取方法,还包括:
拟合后,通过如下向量表示嘴唇边缘轮廓特征:
(a1-a2,b1-b2,c1-c2,a1-a3,b1-b3,c1-c3,a2-a3,b2-b3,c2-c3)
上式中,a1-a2、b1-b2、c1-c2共同表示嘴巴收缩程度,即左、右两个嘴角点之间的宽度;a1-a3、b1-b3、c1-c3、a2-a3、b2-b3、c2-c3共同表示嘴巴张开程度,即上、下嘴唇边缘的最大距离;
以两个嘴角点为基础,提取上、下嘴唇轮廓边缘点,通过下述方式实现:
查找上、下嘴唇外轮廓边缘点;
根据嘴唇的开合状态,判断是否需要提取上、下嘴唇内轮廓边缘点;当嘴唇处于闭合状态,则结束边缘点查找,当嘴唇处于张开状态,则继续查找上、下嘴唇内轮廓边缘点;
查找上、下嘴唇外轮廓边缘点,通过下述方式实现:
选取左、右嘴角点之间的横坐标,该横坐标所在列即为下嘴唇外轮廓边缘点所在列;
以横坐标所在列对二值图像从下向上进行列扫描,找到的第一个黑色像素点即为下嘴唇外轮廓边缘点;
以下嘴唇外轮廓边缘点所在列对灰度图像从上向下进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为上嘴唇外轮廓边缘点;
在查找上、下嘴唇外轮廓边缘点时,选取左、右嘴角点之间的横坐标,通过下述方式实现:
取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标,在该横坐标与左、右嘴角点之间分别选取至少两个等距离分布的横坐标。
2.根据权利要求1所述的方法,其特征在于,查找左、右嘴角点,通过下述方式实现:
在二值图像中找出横坐标最小和最大两个黑色像素点作为左、右嘴角的基准点,并记录两个基准点的坐标;
在灰度图像中,以两个基准点为中心分别构建左、右两个像素区域,计算每个像素点四邻域灰度值之和,取四邻域灰度值之和最小的像素点作为左、右嘴角点。
3.根据权利要求1所述的方法,其特征在于,查找上、下嘴唇内轮廓边缘点,通过下述方式实现:
选取左、右嘴角点之间的横坐标,该横坐标所在列即为上、下嘴唇内轮廓边缘点所在列;
以横坐标所在列对灰度图像从图像高度的1/2处向上进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为上嘴唇内轮廓边缘点;
以横坐标所在列对灰度图像从图像高度的1/2处向下进行列扫描,找到的第一个灰度值小于该列灰度平均值的像素点即为下嘴唇内轮廓边缘点。
4.根据权利要求3所述的方法,其特征在于,在查找上、下嘴唇内轮廓边缘点时,选取左、右嘴角点之间的横坐标,通过下述方式实现:
取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标;或者
取左、右嘴角点的横坐标中点作为嘴唇外轮廓边缘点的横坐标,并且在该横坐标与左、右嘴角点之间分别选取至少一个等距离分布的横坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610087730.9A CN107038401B (zh) | 2016-02-03 | 2016-02-03 | 一种嘴唇轮廓的分割及特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610087730.9A CN107038401B (zh) | 2016-02-03 | 2016-02-03 | 一种嘴唇轮廓的分割及特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107038401A CN107038401A (zh) | 2017-08-11 |
CN107038401B true CN107038401B (zh) | 2018-10-30 |
Family
ID=59532843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610087730.9A Active CN107038401B (zh) | 2016-02-03 | 2016-02-03 | 一种嘴唇轮廓的分割及特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107038401B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934834A (zh) * | 2017-12-19 | 2019-06-25 | 北京京东尚科信息技术有限公司 | 图像轮廓提取方法和系统 |
CN110288621A (zh) * | 2019-05-17 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 基于b样条的唇线补全方法、装置、电子设备及存储介质 |
CN110222599B (zh) * | 2019-05-21 | 2021-09-10 | 西安理工大学 | 一种基于高斯映射的步态识别方法 |
CN112184623A (zh) * | 2020-09-01 | 2021-01-05 | 联影智能医疗科技(北京)有限公司 | 脊柱椎体的椎间隙分析方法、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197793A (ja) * | 1992-01-23 | 1993-08-06 | Matsushita Electric Ind Co Ltd | 顔画像特徴点抽出装置 |
CN101510255A (zh) * | 2009-03-30 | 2009-08-19 | 北京中星微电子有限公司 | 一种识别定位人脸器官的方法、装置和视频处理芯片 |
CN104268539A (zh) * | 2014-10-17 | 2015-01-07 | 中国科学技术大学 | 一种高性能的人脸识别方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030212552A1 (en) * | 2002-05-09 | 2003-11-13 | Liang Lu Hong | Face recognition procedure useful for audiovisual speech recognition |
CN101604446B (zh) * | 2009-07-03 | 2011-08-31 | 清华大学深圳研究生院 | 用于疲劳检测的嘴唇图像分割方法及系统 |
CN104217218B (zh) * | 2014-09-11 | 2018-09-11 | 广州市香港科大霍英东研究院 | 一种唇语识别方法及系统 |
-
2016
- 2016-02-03 CN CN201610087730.9A patent/CN107038401B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197793A (ja) * | 1992-01-23 | 1993-08-06 | Matsushita Electric Ind Co Ltd | 顔画像特徴点抽出装置 |
CN101510255A (zh) * | 2009-03-30 | 2009-08-19 | 北京中星微电子有限公司 | 一种识别定位人脸器官的方法、装置和视频处理芯片 |
CN104268539A (zh) * | 2014-10-17 | 2015-01-07 | 中国科学技术大学 | 一种高性能的人脸识别方法及系统 |
Non-Patent Citations (1)
Title |
---|
"基于唇部视觉特征的语言识别技术研究";卢开宏;《中国优秀硕士论文全文数据库信息科技辑》;20150831;第11页以及21-30页附图3-8 * |
Also Published As
Publication number | Publication date |
---|---|
CN107038401A (zh) | 2017-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105631880B (zh) | 车道线分割方法和装置 | |
CN107038401B (zh) | 一种嘴唇轮廓的分割及特征提取方法 | |
CN103186904B (zh) | 图片轮廓提取方法及装置 | |
CN102426649B (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
CN106056155B (zh) | 基于边界信息融合的超像素分割方法 | |
CN106778676B (zh) | 一种基于人脸识别及图像处理的注意力评估方法 | |
CN103971126B (zh) | 一种交通标志识别方法和装置 | |
CN105354599B (zh) | 一种基于改进的slic超像素分割算法的颜色识别方法 | |
CN107578035A (zh) | 基于超像素‑多色彩空间的人体轮廓提取方法 | |
CN107610114A (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
CN108181316B (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
CN105493141B (zh) | 非结构化道路边界检测 | |
CN105913421A (zh) | 基于自适应形状暗通道的遥感图像云检测方法 | |
CN105139404A (zh) | 一种可检测拍摄质量的证照相机及拍摄质量检测方法 | |
CN101510255A (zh) | 一种识别定位人脸器官的方法、装置和视频处理芯片 | |
CN106651837B (zh) | 白玻璃板表面崩边缺陷检测方法 | |
CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
CN105426825B (zh) | 一种基于航拍图像识别的电网地理接线图绘制方法 | |
CN107122713B (zh) | 一种基于深度学习的似物性检测方法 | |
CN112906550A (zh) | 一种基于分水岭变换的静态手势识别方法 | |
CN104268509B (zh) | 泥头车车牌检测的方法及系统 | |
CN106558044A (zh) | 影像模组的解像力测量方法 | |
Utaminingrum et al. | Alphabet Sign Language Recognition Using K-Nearest Neighbor Optimization. | |
CN106997451A (zh) | 嘴唇轮廓的定位方法 | |
CN109741337A (zh) | 基于Lab色彩空间的区域合并分水岭彩色遥感影像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |