CN105787427A - 嘴唇区域定位方法 - Google Patents

Abstract

本发明提供了一种嘴唇区域定位方法，包括：步骤1：通过摄像机采集人脸正面讲话序列，并进行人脸检测和肤色过滤；步骤2：通过肤色像素点重心的计算和对鼻孔区域的检索找到嘴唇区域的上边界；步骤3：通过形态学图像处理和二值图像的逻辑运算操作“溶解”脸部的五官，滤除背景中的“伪肤色”点；步骤4：通过横向的肤色像素点比对获得嘴唇区域的下边界；步骤5：通过纵向的肤色像素点比对获得嘴唇区域的左右边界。本发明能够摆脱经验化的参数设置(具有更好的通用性和鲁棒性)，准确定位嘴唇区域，并对同一个讲话者的嘴唇定位能实现较高的稳定性。

Description

嘴唇区域定位方法

技术领域

本发明涉及图像处理和模式识别技术领域，具体地，涉及一种嘴唇区域定位方法。

背景技术

近年来，生物特征识别技术(biometricauthentication)已经越来越多地应用于人们的日常工作与生活之中。基于生物特征识别技术的考勤系统、门禁系统、安防系统的发展日趋成熟。生物特征的抗遗忘、抗丢失特性是密码技术所不具备的，且其具有更低的盗用和复制风险。相对于指纹、虹膜等传统的生物特征，嘴唇特征，或者说唇语特征，仍属一个方兴未艾的研究热点，人们以期通过合理地组织构建唇语特征来达到对讲话人身份的准确识别。这需要倚赖于前期一系列的图像处理操作，其中最关键的便是准确的嘴唇分割(lipsegmentation)结果，而现有的嘴唇分割研究都是在不外露人脸其他五官(除了一点点鼻头区域)和仅有极少量背景的图片上进行讨论的。类似人脸检测技术是从复杂的背景中框出人脸的区域位置，为了获得符合要求的样本图片，人们亟需要找寻一种鲁邦可靠的嘴唇区域定位方法，以从人脸图像中框出嘴唇区域。

经过对现有技术文献的检索发现，人们对嘴唇区域的定位往往采取经验化的估计方法，例如BehroozZali-Vargahan等人在第21届伊朗电子工程会议(201321stIranianConferenceonElectricalEngineering(ICEE),page1-4)上发表的“彩色人脸图像中的高效嘴唇检测算法”(AnEfficientAlgorithmforLipDetectioninColorFaceImages)，该文即取一张人脸图片的下三分之一，认为可获得符合后续图像处理要求的嘴唇样本。该方法的不足之处在于：1)、这种经验化的嘴唇区域定位方法对原始的人脸图像样本有较高的精确度要求，要求人脸图像中不能出现过多的背景区域，否则取得的下三分之一图片会由于背景像素所占比例过大而影响到后续的嘴唇分割结果；2)、从嘴唇区域定位的鲁棒性角度而言，人们总希望对于同一个讲话者，每次定位的嘴唇区域不会有明显的偏移，而讲话者的头部运动、不同的录制环境都会造成同一个人的人脸样本存在位移偏差，使得经验化的嘴唇定位方法难以收获稳定的结果。基于以上两点，对于嘴唇区域定位的准确性和鲁棒性有待提高。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种嘴唇区域定位方法。

根据本发明提供的嘴唇区域定位方法，包括如下步骤：

步骤1：通过数码摄像机拍摄讲话人的正面讲话视频，并通过人脸检测技术获得每一帧的人脸图像样本，并对样本图像进行肤色过滤；

步骤2：计算肤色像素点的重心位置，从重心位置开始向下检索鼻孔位置，定位嘴唇区域的上边界；

步骤3：滤去不与图像边界连通的非肤色像素点；

步骤4：滤去包含在背景区域中的伪肤色像素点；

步骤5：统计经过步骤3、步骤4过滤的图像的每行肤色像素点的数目，定位嘴唇区域的下边界；

步骤6：在嘴唇区域的上下边界内，对经过步骤3、步骤4过滤的图像从左至右逐列扫描，定位嘴唇区域的左边界；再对该图像从右至左逐列扫描，定位嘴唇区域的右边界。

优选地，所述步骤1包括：

步骤1.1：将数字图像由原先的RGB颜色空间转换到YUV色彩空间：

$\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.147& -0.289& 0.436\\ 0.615& -0.515& -0.100\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right);$

式中：R表示图像的红色分量、G表示图像的绿色分量、B表示图像的蓝色分量；Y表示图像的亮度信息，U表示蓝色分量和一个参考值的差，V表示红色分量和一个参考值的差；

步骤1.2：对位于区间[0,0.001)的U分量，全部置为0.001，对位于区间(-0.001,0)的U分量全部置为-0.001；

步骤1.3：计算V分量和U分量的倾角

步骤1.4：将满足-80≤θ≤-30且U<0的像素点置1，其余像素点置0，得到二值图像Ⅰ；

步骤1.5：将数字图像由原先的RGB颜色空间转换到YIQ色彩空间：

$\left(\begin{array}{c}Y\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& -0.312\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right);$

式中：Y表示图像的亮度信息，I表示从橙色到青色的颜色变化，Q表示从紫色到黄绿色的颜色变化；

步骤1.6：将满足20≤I≤90的像素点置1，其余像素点置0，得到二值图像Ⅱ；

步骤1.7：对二值图像Ⅰ和二值图像Ⅱ中对应的像素点做逻辑与操作，并在3×3的邻域中进行中值滤波，最终得到的二值图像即为肤色过滤的结果，其中1值为肤色像素点，0值为非肤色像素点。

优选地，所述步骤2包括：计算肤色像素点的重心位置，从重心位置开始向下检索鼻孔位置，检索宽度为重心位置左右各10％的全图宽度，若在抵达肤色区域下三分之一的边界之前检索成功，则该处即为嘴唇区域的上边界；若检索不成功，则令肤色区域的下三分之一边界为嘴唇区域的上边界。

优选地，所述步骤3包括：滤去不与图像边界连通的非肤色像素点，所述非肤色像素点主要包括：眼睛、眼镜、鼻孔、嘴唇位置的像素点，即将眼睛、眼镜、鼻孔、嘴唇位置的像素点设置为与肤色同值；

具体地包括：

步骤3.1：记肤色过滤后得到的二值图像为BW，其中肤色点的像素值为1，非素色点的像素值为0；对BW按位取反，并将所有与边界连通的1值像素点置0，得到新的二值图像CLEAR_BORDER.；

步骤3.2：将BW与CLEAR_BORDER按位进行逻辑或运算，得到的新的二值图像BW即为过滤后的结果，即不与图像边界连通的非肤色像素点均置为1。

优选地，所述步骤4包括：将步骤3.2中得到的二值图像BW中所有与边界连通的1值像素点置为0，并按位取反，得到二值图像TMP，将BW与TMP按位进行逻辑与运算得到新的BW，用以滤除包含在背景区域中的伪肤色像素点，将所述为肤色像素点置为0，更新后的BW即为滤除掉背景区域中伪肤色像素点的结果。

优选地，所述步骤5包括：对步骤4中更新后的二值图像BW进行从下向上逐行扫描，统计每行肤色像素点的数目，若某行的肤色像素点的数目不小于嘴唇区域上边界所在行的肤色像素点数目的85％，即认为该行为嘴唇区域的下边界。

优选地，所述步骤6包括：在嘴唇区域的上下边界内，对步骤4中更新后的二值图像BW从左至右逐列扫描，直至扫描到某一列的像素值全为1，则将该列作为嘴唇区域的左边界；并对步骤4中更新后的二值图像BW进行从右至左逐列扫描，直至扫描到某一列的像素值全为1，则将该列作为嘴唇区域的右边界。

与现有技术相比，本发明具有如下的有益效果：

1、本发明依据肤色过滤的结果对嘴唇区域的边界进行定位，相比传统的经验化参数设置方法，本发明的定位方法具有更好的准确性和鲁棒性。

2、本发明提供的嘴唇区域定位方法不受人脸在图像中的位置偏移的影响，对于同一个讲话者的嘴唇定位具有更高的稳定性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的嘴唇区域定位方法的流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

具体地，如图1所示，本实施例包括如下步骤：

步骤S1：通过数码摄像机拍摄讲话人的正面讲话视频，并通过人脸检测技术获得每一帧的人脸图像样本，并对样本图像进行肤色过滤，去除背景、头发、眼睛、眼镜、鼻孔等非皮肤信息。具体方法如下：

步骤S101：将数字图像由原先的RGB颜色空间转换到YUV色彩空间：

$\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.147& -0.289& 0.436\\ 0.615& -0.515& -0.100\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right);$

式中：R表示图像的红色分量、G表示图像的绿色分量、B表示图像的蓝色分量；Y表示图像的亮度信息，U表示蓝色分量和一个参考值的差，V表示红色分量和一个参考值的差；

步骤S102：对位于区间[0,0.001)的U分量，全部置0.001，对位于区间(-0.001,0)的U分量全部置-0.001；

步骤S103：计算V分量和U分量的倾角

步骤S104：将满足-80≤θ≤-30且U<0的像素点置1，其余像素点置0，得到二值图像Ⅰ；

步骤S105：将数字图像由原先的RGB颜色空间转换到YIQ色彩空间：

$\left(\begin{array}{c}Y\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& 0.322\\ 0.211& -0.523& -0.312\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right);$

式中：Y表示图像的亮度信息，I表示从橙色到青色的颜色变化，Q表示从紫色到黄绿色的颜色变化；

步骤S106：将满足20≤I≤90的像素点置1，其余像素点置0，得到二值图像Ⅱ；

步骤S107：对二值图像Ⅰ和二值图像Ⅱ中对应的像素点做逻辑与操作，并在3×3的邻域中进行中值滤波，最终得到的二值图像即为肤色过滤的结果，其中1值为肤色像素点，0值为非肤色像素点。

步骤S2：计算肤色像素点的重心位置，从重心位置开始向下检索鼻孔位置，检索宽度为重心位置左右各10％的全图宽度，若在抵达肤色区域下三分之一的边界之前检索成功，则此处即为嘴唇区域的上边界，否则令肤色区域的下三分之一边界为嘴唇区域的上边界。

步骤S3：滤去非与图像边界连通的非肤色像素点，主要是眼睛、眼镜、鼻孔、嘴唇等位置的像素点，将它们与肤色置同值。

具体方法如下：

步骤S301：记肤色过滤后得到的二值图像为BW，其中肤色点的像素值为1，非素色点的像素值为0；对BW按位取反，并将所有与边界连通的1值像素点置0，得到新的二值图像CLEAR_BORDER.；

步骤S302：将BW与CLEAR_BORDER按位进行逻辑或运算，得到的新的二值图像BW即为过滤后的结果，即不与图像边界连通的非肤色像素点均置为1。

步骤S4：将BW中所有与边界连通的1值像素点置0，并按位取反，得到二值图TMP，将BW与TMP按位进行逻辑与运算得到新的BW，用以滤除包含在背景区域中的“伪肤色”点，将它们置为0。

步骤S5：对BW从下向上逐行扫描，统计每行肤色像素点的数目，若该行的肤色像素点的数目不小于嘴唇区域上边界所在行的肤色像素点数目的85％，即认为该行为嘴唇区域的下边界。

步骤S6：在嘴唇区域的上下边界内，对BW从左至右逐列扫描，直至扫描到某一列的像素值全为1(即全为肤色像素点)，则将该列作为嘴唇区域的左边界；再对BW从右至左逐列扫描，直至扫描到某一列的像素值全为1，则将该列作为嘴唇区域的右边界。

本实施例方法通过对12个讲话人的60个讲话序列进行测试，本实施例对嘴唇区域进行正确定位的同时，同时能保证对同一个讲话者的嘴唇区域定位具有稳定性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种嘴唇区域定位方法，其特征在于，包括如下步骤：

步骤1：通过数码摄像机拍摄讲话人的正面讲话视频，并通过人脸检测技术获得每一帧的人脸图像样本，并对样本图像进行肤色过滤；

步骤2：计算肤色像素点的重心位置，从重心位置开始向下检索鼻孔位置，定位嘴唇区域的上边界；

步骤3：滤去不与图像边界连通的非肤色像素点；

步骤4：滤去包含在背景区域中的伪肤色像素点；

步骤5：统计经过步骤3、步骤4过滤的图像的每行肤色像素点的数目，定位嘴唇区域的下边界；

步骤6：在嘴唇区域的上下边界内，对经过步骤3、步骤4过滤的图像从左至右逐列扫描，定位嘴唇区域的左边界；再对该图像从右至左逐列扫描，定位嘴唇区域的右边界。

2.根据权利要求1所述的嘴唇区域定位方法，其特征在于，所述步骤1包括：

步骤1.1：将数字图像由原先的RGB颜色空间转换到YUV色彩空间：

$\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.147& -0.289& 0.436\\ 0.615& -0.515& -0.100\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right);$

式中：R表示图像的红色分量、G表示图像的绿色分量、B表示图像的蓝色分量；Y表示图像的亮度信息，U表示蓝色分量和一个参考值的差，V表示红色分量和一个参考值的差；

步骤1.2：对位于区间[0,0.001)的U分量，全部置为0.001，对位于区间(-0.001,0)的U分量全部置为-0.001；

步骤1.3：计算V分量和U分量的倾角

步骤1.4：将满足-80≤θ≤-30且U<0的像素点置1，其余像素点置0，得到二值图像Ⅰ；

步骤1.5：将数字图像由原先的RGB颜色空间转换到YIQ色彩空间：

$\left(\begin{array}{c}Y\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& -0.312\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right);$

式中：Y表示图像的亮度信息，I表示从橙色到青色的颜色变化，Q表示从紫色到黄绿色的颜色变化；

步骤1.6：将满足20≤I≤90的像素点置1，其余像素点置0，得到二值图像Ⅱ；

步骤1.7：对二值图像Ⅰ和二值图像Ⅱ中对应的像素点做逻辑与操作，并在3×3的邻域中进行中值滤波，最终得到的二值图像即为肤色过滤的结果，其中1值为肤色像素点，0值为非肤色像素点。

3.根据权利要求1所述的嘴唇区域定位方法，其特征在于，所述步骤2包括：计算肤色像素点的重心位置，从重心位置开始向下检索鼻孔位置，检索宽度为重心位置左右各10％的全图宽度，若在抵达肤色区域下三分之一的边界之前检索成功，则该处即为嘴唇区域的上边界；若检索不成功，则令肤色区域的下三分之一边界为嘴唇区域的上边界。

4.根据权利要求1所述的嘴唇区域定位方法，其特征在于，所述步骤3包括：滤去不与图像边界连通的非肤色像素点，所述非肤色像素点主要包括：眼睛、眼镜、鼻孔、嘴唇位置的像素点，即将眼睛、眼镜、鼻孔、嘴唇位置的像素点设置为与肤色同值；

具体地包括：

步骤3.1：记肤色过滤后得到的二值图像为BW，其中肤色点的像素值为1，非素色点的像素值为0；对BW按位取反，并将所有与边界连通的1值像素点置0，得到新的二值图像CLEAR_BORDER.；

步骤3.2：将BW与CLEAR_BORDER按位进行逻辑或运算，得到的新的二值图像BW即为过滤后的结果，即不与图像边界连通的非肤色像素点均置为1。

5.根据权利要求4所述的嘴唇区域定位方法，其特征在于，所述步骤4包括：将步骤3.2中得到的二值图像BW中所有与边界连通的1值像素点置为0，并按位取反，得到二值图像TMP，将BW与TMP按位进行逻辑与运算得到新的BW，用以滤除包含在背景区域中的伪肤色像素点，将所述为肤色像素点置为0，更新后的BW即为滤除掉背景区域中伪肤色像素点的结果。

6.根据权利要求5所述的嘴唇区域定位方法，其特征在于，所述步骤5包括：对步骤4中更新后的二值图像BW进行从下向上逐行扫描，统计每行肤色像素点的数目，若某行的肤色像素点的数目不小于嘴唇区域上边界所在行的肤色像素点数目的85％，即认为该行为嘴唇区域的下边界。

7.根据权利要求6所述的嘴唇区域定位方法，其特征在于，所述步骤6包括：在嘴唇区域的上下边界内，对步骤4中更新后的二值图像BW从左至右逐列扫描，直至扫描到某一列的像素值全为1，则将该列作为嘴唇区域的左边界；并对步骤4中更新后的二值图像BW进行从右至左逐列扫描，直至扫描到某一列的像素值全为1，则将该列作为嘴唇区域的右边界。