CN115035573A - 一种基于融合策略的唇部分割方法 - Google Patents

Abstract

本发明公开了一种基于融合策略的唇部分割方法。首先分别实现基于阈值分割算法的唇部分割、基于LAB颜色空间的唇部分割、基于HSV颜色空间的唇部分割，然后对分割结果进行降噪处理，再对降噪后的结果进行选优，淘汰效果差的分割结果，最后对每个像素进行投票产生融合的分割结果。通过对分割结果的选优与融合，避免了某一种方法受到干扰的情况，同时也细化唇部边缘的分割，从而得到更加准确的分割结果。本发明使用3种分割算法融合的方式对唇部进行分割，与基于手工特征的唇部分割方法相比，在不同肤色、唇色以及其他因素的干扰下，分割结果的稳定性更好，准确率也更高。

Description

一种基于融合策略的唇部分割方法

技术领域

本发明属于图像处理与图像分割领域，具体涉及一种基于融合策略的唇部分割方法。

背景技术

唇部分割近几年受到了国内外研究学者的广泛关注，并应用于面部特征提取、唇读等多个领域。到目前为止，唇部区域提取与分割的方法主要分为两大类：一类是基于手工特征的方法如基于颜色信息的唇部分割方法、基于边缘信息的唇部分割方法、基于空间信息的唇部分割方法等；第二类是基于深度学习的方法如基于全卷积网络的嘴唇区域分割算法、使用Mask-RCNN模型进行唇部分割等。基于手工特征的唇部分割方法中，基于颜色信息的唇部分割方法有一定的局限性，主要原因在于其受肤色信息与唇色信息的影响很大，在肤色与唇色跨度比较大的场景下应用效果不好；基于边缘信息的唇部分割方法与基于空间信息的唇部分割方法在分割过程中虽然能在一定程度上规避了肤色与唇色的影响，但是轮廓边缘信息极易受到牙齿、胡须、疤痕等背景区域的干扰。基于深度学的唇部分割方法依然存在着问题，首先方法需要一定规模的训练数据，而在人工手动标注训练数据的过程中常会出现肉眼难以区分的唇部区域，训练数据不准确必然会导致分割结果不准确；同时通过对像素分类的方式进行唇部分割，面临着唇部边缘像素分类不准确而导致分割效果不佳的问题。因此，单一的分割方法在进行唇部分割时的效果往往不尽如人意。

发明内容

本发明的目的在于提供一种基于融合策略的唇部分割方法。

本发明的目的通过如下技术方案来实现：

本发明一种基于融合策略的唇部分割方法，步骤如下：

步骤1：阈值分割算法实现唇部分割；

步骤2：基于LAB颜色空间分割算法实现唇部分割；

步骤3：基于HSV颜色空间分割算法实现唇部分割；

步骤4：在步骤1、2和3的分割结果中提取唇部轮廓；

步骤5：根据步骤4，融合分割结果。

进一步地，步骤1首先输入面部RGB图像，将RGB图像转化为灰度图像，根据图像像素的灰度值绘制直方图并进行均衡化，然后进行小波尺度变换操作，最终选取到合适的阈值并进行唇部分割。

进一步地，步骤2的具体步骤如下：

步骤2.1：将RGB图像转换为LAB空间，公式如下：

其中，X、Y、Z、L、A、B、R、G、B分别表示图像对应各个通道的值；

步骤2.2：通过OTSU算法对图像的L、A、B分量依次进行分割，然后选取分割效果最佳的二值图，得到高质量的分割结果；

步骤2.3：对步骤2.2中唇部内部有空洞及唇部外部出现噪声的二值图像进行孔洞填充与除去噪声。

进一步地，步骤3的具体步骤如下：

步骤3.1：将RGB图像转化为HSV空间，公式如下：

其中，H、S、V、R、G、B分别表示图像对应各个通道的值；

步骤3.2：设定S通道与V通道的值，将H通道作为检测条件，调节H通道值的范围得到相应颜色的分割结果；

步骤3.3：根据步骤3.2，提取目标颜色的相应区域，并消除其他颜色，进行降噪处理。

进一步地，步骤4用形态学运算腐蚀与膨胀操作去除噪声，再通过轮廓的宽高比以及平滑度确定唇部轮廓。

进一步地，步骤5在融合前先对3种唇部分割算法的分割结果进行选优；经过降噪与选优的分割结果逐个像素点进行投票，前景为1，背景为0；同时设置阈值，投票数高于阈值的像素点即被认定为分割前景，否则为背景，得到融合的分割结果。

本发明的有益效果在于：

本发明克服了目前唇部分割方法在进行唇部分割时效果不理想的情况。本发明基于融合策略实现唇部分割：首先分别实现基于阈值分割算法的唇部分割、基于LAB颜色空间的唇部分割、基于HSV颜色空间的唇部分割，然后对分割结果进行降噪处理，再对降噪后的结果进行选优，淘汰效果差的分割结果，最后对每个像素进行投票产生融合的分割结果。通过对分割结果的选优与融合，避免了某一种方法受到干扰的情况，同时也细化唇部边缘的分割，从而得到更加准确的分割结果。

本发明使用3种分割算法融合的方式对唇部进行分割，与基于手工特征的唇部分割方法相比，本方法在不同肤色、唇色以及其他因素的干扰下，分割结果的稳定性更好，准确率也更高；与基于深度学的唇部分割方法相比，本方法的实现过程中避免了人为标注图像所产生的误差，对唇部边缘的分割效果更好，而且计算量小、易于实现。本方法可以很好地解决面部图像中唇部分割的问题。

附图说明

图1为本发明阈值算法分割唇部流程图；

图2为本发明基于LAB颜色空间分割唇部流程图；

图3为本发明基于HSV颜色空间分割唇部流程图；

图4为本发明唇部分割效果图；

图5为本发明于融合策略的唇部分割方法流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明一种基于融合策略的唇部分割方法，具体步骤为：

1.阈值算法进行唇部分割，阈值分割算法是一种非常经典而且常用的图像分割算法，很多算法都是参照着阈值分割的思想进行图像分割操作。阈值分割算法对于一些前景与背景的灰度相差较多的图像极其适用，比较适用于对面部图像的唇部以及唇周疤痕进行检测分割。为了能确定出更好的阈值，在本文中选用直方图选择法来选定阈值。具体的步骤是：首先输入面部RGB图像，将RGB图像转化为灰度图像，根据图像像素的灰度值绘制直方图并进行均衡化，然后进行小波尺度变换操作，最终选取到合适的阈值并进行唇部分割。

2.基于LAB颜色空间的唇部分割，RGB模式是图像默认的存储模式，要实现基于LAB颜色空间的唇部分割必须将图像从RGB空间转换为LAB空间，转换公式如下：

其中X、Y、Z、L、A、B、R、G、B分别表示图像对应各个通道的值。本方法利用唇部与面部的颜色差异进行分割，通过OTSU算法对图像的L、A、B分量依次进行分割，然后选取分割效果最佳的二值图，得到高质量的分割结果。在将面部图像处理为二值图像后，可能会出现唇部内部有一些空洞，唇部外部出现噪声的现象。为了解决这一问题，在实现的过程中用到了一些腐蚀、膨胀、形态学滤波等操作对处理有的二值图像进行孔洞填充与除去噪声。

3.基于HSV颜色空间的唇部分割，通过设定相应颜色的H限值，提取出图像中相应颜色阈值内的像素点来实现分割。与RGB空间不同的是，HSV颜色空间的三个通道的相关性不大，在限定了S通道与V通道的值之后，将H通道作为检测条件，通过调节H通道的范围即可得到相应颜色的分割结果。经过H通道分割后的图像，可以成功的提取目标颜色的相应区域，同时消除其他颜色。可见，在HSV空间经过H通道分割提取相应颜色区域有较高的成功率。传统的基于HSV颜色空间的分割算法的原理很简单，但是分割结果因为噪声等因素的影响，分割出的结果往往差强人意。所以在要求实验结果精度较高的情况下，需要通过后续处理来完成降噪的目的，从而得到更好的分割区域。

RGB图像转化为HSV空间的转换公式如下：

其中H、S、V、R、G、B分别表示图像对应各个通道的值。

4.分割结果中提取唇部轮廓。而由于疤痕的存在，使用以上3种算法进行唇部分割之后，唇部分割结果中的轮廓个数是不确定的，需要从中找到唇部轮廓并且除去其他轮廓。常用的最大轮廓检测的方式除去噪声在这种情况下是不适用的，在此处引入常规的形态学运算腐蚀与膨胀操作完成去除噪声的任务。腐蚀与膨胀操作都是针对图像的前景进行操作，从效果上讲腐蚀操作可以将前景高亮部分变小，经过腐蚀操作可以除去图像中的一些噪声。降噪之后，通过轮廓的宽高比以及平滑度确定唇部轮廓。主要通过两种方法去确定唇部轮廓：第一种方法是利用轮廓的宽高比，在实验过程中发现经过降噪后剩余的轮廓普遍较大，同时唇部轮廓的宽高比要大于其他轮廓的宽高比，所以可以选择宽高比最大的轮廓作为唇部轮廓；第二种方法是利用轮廓的平滑度，唇部轮廓的平滑度要好于其他轮廓的平滑度，选择平滑度最好的轮廓作为唇部轮廓。

5.提取出唇部轮廓之后，对分割结果进行融合。此时3种算法的分割结果均为尺寸相同的二值图像，其中分割前景为白色高亮部分，背景为黑色。对图像的像素点进行遍历，对于每一个像素点来说，若一种算法的分割结果中对应位置的像素点不为0，则此像素点的像素值加1，否则像素值不变。将阈值设置为2，即如果3个分割结果中的2个或以上对其进行了投票，则认定此像素点属于前景，将其像素值修改为255，若不足2个结果对其投票，则此像素点属于背景。遍历结束即可得出基于融合策略的唇部分割的结果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于融合策略的唇部分割方法，其特征在于：步骤如下：

步骤1：阈值分割算法实现唇部分割；

步骤2：基于LAB颜色空间分割算法实现唇部分割；

步骤3：基于HSV颜色空间分割算法实现唇部分割；

步骤4：在步骤1、2和3的分割结果中提取唇部轮廓；

步骤5：根据步骤4，融合分割结果。

2.根据权利要求1所述的一种基于融合策略的唇部分割方法，其特征在于：步骤1首先输入面部RGB图像，将RGB图像转化为灰度图像，根据图像像素的灰度值绘制直方图并进行均衡化，然后进行小波尺度变换操作，最终选取到合适的阈值并进行唇部分割。

3.根据权利要求1所述的一种基于融合策略的唇部分割方法，其特征在于：步骤2的具体步骤如下：

步骤2.1：将RGB图像转换为LAB空间，公式如下：

其中，X、Y、Z、L、A、B、R、G、B分别表示图像对应各个通道的值；

步骤2.2：通过OTSU算法对图像的L、A、B分量依次进行分割，然后选取分割效果最佳的二值图，得到高质量的分割结果；

步骤2.3：对步骤2.2中唇部内部有空洞及唇部外部出现噪声的二值图像进行孔洞填充与除去噪声。

4.根据权利要求1所述的一种基于融合策略的唇部分割方法，其特征在于：步骤3的具体步骤如下：

步骤3.1：将RGB图像转化为HSV空间，公式如下：

其中，H、S、V、R、G、B分别表示图像对应各个通道的值；

步骤3.2：设定S通道与V通道的值，将H通道作为检测条件，调节H通道值的范围得到相应颜色的分割结果；

步骤3.3：根据步骤3.2，提取目标颜色的相应区域，并消除其他颜色，进行降噪处理。

5.根据权利要求1所述的一种基于融合策略的唇部分割方法，其特征在于：步骤4用形态学运算腐蚀与膨胀操作去除噪声，再通过轮廓的宽高比以及平滑度确定唇部轮廓。

6.根据权利要求1所述的一种基于融合策略的唇部分割方法，其特征在于：步骤5在融合前先对3种唇部分割算法的分割结果进行选优；经过降噪与选优的分割结果逐个像素点进行投票，前景为1，背景为0；同时设置阈值，投票数高于阈值的像素点即被认定为分割前景，否则为背景，得到融合的分割结果。

Images