CN113592880A - 一种基于高斯混合模型的唇部分割方法 - Google Patents

一种基于高斯混合模型的唇部分割方法 Download PDF

Info

Publication number
CN113592880A
CN113592880A CN202110870992.3A CN202110870992A CN113592880A CN 113592880 A CN113592880 A CN 113592880A CN 202110870992 A CN202110870992 A CN 202110870992A CN 113592880 A CN113592880 A CN 113592880A
Authority
CN
China
Prior art keywords
lip
mixture model
gaussian mixture
lip region
skin color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110870992.3A
Other languages
English (en)
Inventor
阎韶琦
张文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110870992.3A priority Critical patent/CN113592880A/zh
Publication of CN113592880A publication Critical patent/CN113592880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于高斯混合模型的唇部分割方法，包括以下步骤：步骤1，对输入图像进行人脸检测，获取人脸上半部分区域，将该区域的像素颜色作为训练数据建立肤色高斯混合模型并计算下半脸中每个像素的肤色概率值，得到人脸下部肤色概率图；步骤2，根据嘴唇的先验知识，在人脸下部肤色概率图中迭代检测得到唇部区域；步骤3，将唇部区域和非唇部区域的像素作为训练数据建立唇部区域和非唇部区域的高斯混合模型并计算唇部区域中各像素的概率值，得到背景概率图；步骤4，对背景概率图进行OSTU二值化处理并通过区域生长法和中值滤波进行优化，最后通过k‑points方法处理得到最佳唇部区域；步骤5，根据最佳唇部区域在输入图像中对应提取嘴唇轮廓图像。

Description

一种基于高斯混合模型的唇部分割方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于高斯混合模型的唇部分割方法。
背景技术
随着计算机技术的不断完善，科学技术不断发展进步，唇部的提取分割被越来越多的应用于实际生活中，包括语音识别、唇读、面部表情分类、音频交互等。比如在现如今的中医诊断中，需要准确的自动分割技术来提取唇部区域，唇部区域提取的越准确，唇彩分析的结果越准确。所以，如何自动获得准确的唇部区域是目前比较重要的。并且在传统的嘴唇检测方法中，通常使用固定的阈值进行估计唇部区域的像素，但是因为嘴唇和唇部周围的面部皮肤背景之间的颜色差异因人而异，当颜色差异偏大时可以使用固定阈值进行分割，但是在某些情况下，当嘴唇和唇部周围的面部皮肤背景之间的颜色差异较小时，使用固定的阈值不能准确区分得到唇部区域。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于高斯混合模型的唇部分割方法。
本发明提供了一种基于高斯混合模型的唇部分割方法，具有这样的特征，包括以下步骤：步骤1，对输入图像进行人脸检测，获取人脸上半部分区域，并将人脸上半部分区域的像素颜色作为训练数据，在Lab颜色空间中建立肤色高斯混合模型，再通过肤色高斯混合模型计算下半脸中每个像素的肤色概率值，得到人脸下部肤色概率图；
步骤2，根据嘴唇的先验知识，通过迭代在人脸下部肤色概率图中检测得到唇部区域；
步骤3，将唇部区域的像素与非唇部区域的像素作为训练数据，分别建立唇部区域高斯混合模型与非唇部区域高斯混合模型，通过唇部区域高斯混合模型与非唇部区域高斯混合模型计算唇部区域中的各像素的概率值，得到背景概率图；
步骤4，对背景概率图进行OSTU二值化处理得到二值化图像，通过区域生长法对二值化图像中的唇部区域进行图形增长，去除杂质，再通过中值滤波进行优化，最后通过k-points方法来平滑唇部轮廓，得到最佳唇部区域；
步骤5，根据最佳唇部区域在输入图像中对应提取得到嘴唇轮廓图像。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤1中，对输入图像进行人脸检测时，将输入图像采用Haar分类器进行人脸检测，并确保唇部区域在检测框内，并且在人脸检测时根据输入图像的大小动态进行等比例缩小来加快人脸检测的速度。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤1中，在Lab颜色空间中建立肤色高斯混合模型的过程如下：
单高斯分布公式为：
Figure BDA0003189139170000031
公式(1)中，μ为数据均值，σ为数据标准差，P(x|θ)为单高斯分布的概率密度函数，在Lab颜色空间中，l代表亮度，a代表从红色至绿色的范围，b代表从黄色至蓝色的范围，设x＝(l，a，b)T
求出均值：
Figure BDA0003189139170000032
协方差矩阵计算方式如下：
Figure BDA0003189139170000033
肤色高斯混合模型使用K个子高斯模型，混合高斯分布公式为：
Figure BDA0003189139170000034
求出训练数据xj的概率p(xj)：
Figure BDA0003189139170000035
公式(4)和公式(5)中，xj表示第j个训练数据，j＝1，2，...，N；K是肤色高斯混合模型中子高斯模型的数量，k＝1，2，...，K；wk为训练数据属于第k个子高斯模型的概率，
Figure BDA0003189139170000041
N(x|θk)为第k个子高斯模型的高斯分布密度函数，θk＝(μk，σk)；对于肤色高斯混合模型，参数
Figure BDA0003189139170000042
为每个子高斯模型的期望、协方差在肤色高斯混合模型中发生的概率。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤1中，利用肤色高斯混合模型计算下半脸中每个像素x的概率值Pdown(x)，概率值越大表示该像素越接近肤色，反之远离肤色，基于Lab颜色空间进行计算得到人脸下部肤色概率图。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤2中，通过迭代在人脸下部肤色概率图中检测得到唇部区域的过程如下：
步骤2-1，设定阈值的迭代数组it[i]，进行初始化，设置i＝0使阀值的初始迭代值为0；
步骤2-2，对于人脸下部肤色概率图中的每个像素j，如果p(xj)≥it[i]，表示该像素类似于面部肤色，将该像素的灰度值设置为0，否则保留该像素，将该像素的灰度值设置为255，来将人脸下部肤色概率图根据阈值划分为候选唇部区域和背景；
步骤2-3，根据嘴唇的先验知识，在候选唇部区域中检测疑似嘴唇个数，并用lipcnt表示；
步骤2-4，如果lipcnt＝1，则表示找到唇部区域，设置it＝1，获取候选唇部区域的感兴趣区域，在进行迭代优化后得到唇部区域，如果lipcnt≠1，且迭代数组并未迭代完成，则增加i的值并回到步骤2-2，当迭代数组迭代完成，且没有找到唇部区域时，结束迭代。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤2中，嘴唇的先验知识如下：
嘴唇外接矩形的宽高比：
ratioWH＝W/H ratioWH∈[1,6] (6)
目标填充率：
ratiofill＝area(Ω)/(W*H) ratiofill∈[0.3，1) (7)
嘴唇面积与下半脸面积比：
ratioarsa＝area(Ω)/area(Idown) ratioarsa∈[0.03,0.15] (8)
嘴唇中心点位置信息：
lipcsnter(x)∈[Idown(width)/3，2Idown(width)/3] (9)
lipcenter(y)≥Idown(height)/3 (10)
公式(6)-公式(7)中，W为嘴唇外接矩形的宽度，H为嘴唇外接矩形的高度。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤3中，通过唇部区域高斯混合模型和非唇部区域高斯混合模型来计算唇部区域中的各像素的概率值，得到背景概率图pB(x)，计算公式如下：
Figure BDA0003189139170000051
公式(11)中，p(x|non_lip)，p(x|lip)分别对应非唇部区域高斯混合模型和唇部区域高斯混合模型计算出唇部区域中的各像素的概率值。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤4中，对背景概率图进行OSTU二值化处理的过程如下：
将背景概率图从[0，1]映射到灰度值[0，225]，通过OTSU二值化计算公式，将每个灰度值作为二值化阈值并进行重复循环计算得到相应的类内方差，再取最小的类内方差所对应的灰度值作为二值化阈值来进行图像的二值化。
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤4中，通过k-points方法来平滑唇部轮廓的过程为：
去除唇部区域中的突出物的计算方式如下：
Figure BDA0003189139170000061
公式(12)中，∧表示AND运算，k设定为5～15，
进一步填充内凹图像，以获得最佳唇部区域，最佳唇部区域的计算如下：
Figure BDA0003189139170000062
公式(12)中，∨表示OR运算，k设定为
Figure BDA0003189139170000063
k-points方法通过沿着唇部轮廓从左到右为每个k选择一个采样点，并将采样点以直线相连的方式来平滑唇部轮廓。
发明的作用与效果
根据本发明所涉及的一种基于高斯混合模型的唇部分割方法，通过建立肤色高斯混合模型得到人脸下部肤色概率图，在迭代得到唇部区域后再通过建立唇部区域高斯混合模型与非唇部区域高斯混合模型来优化处理唇部区域，能够保证精确分割得到唇部区域，并且还通过k-points方法来平滑唇部轮廓，得到最佳唇部区域，能够得到更为准确和平滑的嘴唇；并且本发明通过通过迭代并根据嘴唇先验知识来获取唇部区域，能够在嘴唇和唇部周围的面部皮肤背景之间的颜色差异很小的情况下依旧准确获取唇部区域。
附图说明
图1是本发明的实施例中一种基于高斯混合模型的唇部分割方法的流程图；
图2是本发明的实施例中一种基于高斯混合模型的唇部分割方法进行唇部分割时的整体流程图；
图3是本发明的实施例中肤色高斯混合模型的建立结构示意图；
图4是本发明的实施例中进行粗略迭代获取唇部区域的流程示意图；
图5是本发明的实施例中进行精确迭代获取唇部区域的流程示意图。
具体实施方式
为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
＜实施例＞
图1是本发明的实施例中一种基于高斯混合模型的唇部分割方法的流程图，图2是本发明的实施例中一种基于高斯混合模型的唇部分割方法进行唇部分割时的整体流程图。
如图1和图2所示，本实施例的一种基于高斯混合模型的唇部分割方法，包括以下步骤：
步骤1，对输入图像进行人脸检测，获取人脸上半部分区域，并将人脸上半部分区域的像素颜色作为训练数据，在Lab颜色空间中建立肤色高斯混合模型，再通过肤色高斯混合模型计算下半脸中每个像素的肤色概率值，得到人脸下部肤色概率图。
步骤1中，对输入图像进行人脸检测时，将输入图像采用Haar分类器进行人脸检测，并确保唇部区域在检测框内，并且在人脸检测时根据输入图像的大小动态进行等比例缩小来加快人脸检测的速度。
步骤1中，在Lab颜色空间中建立肤色高斯混合模型的过程如下：
单高斯分布公式为：
Figure BDA0003189139170000081
公式(1)中，μ为数据均值，σ为数据标准差，P(x|θ)为单高斯分布的概率密度函数，在Lab颜色空间中，l代表亮度，a代表从红色至绿色的范围，b代表从黄色至蓝色的范围，设x＝(l，a，b)T
求出均值：
Figure BDA0003189139170000082
协方差矩阵计算方式如下：
Figure BDA0003189139170000091
肤色高斯混合模型使用K个子高斯模型，混合高斯分布公式为：
Figure BDA0003189139170000092
求出训练数据xj的概率p(xj)：
Figure BDA0003189139170000093
公式(4)和公式(5)中，xj表示第j个训练数据，j＝1，2，...，N；K是肤色高斯混合模型中子高斯模型的数量，k＝1，2，...，K；wk为训练数据属于第k个子高斯模型的概率，
Figure BDA0003189139170000094
N(x|θk)为第k个子高斯模型的高斯分布密度函数，θk＝(μk，σk)；对于肤色高斯混合模型，参数
Figure BDA0003189139170000095
为每个子高斯模型的期望、协方差在肤色高斯混合模型中发生的概率。
图3是本发明的实施例中肤色高斯混合模型的建立结构示意图。
如图3所示，该肤色高斯混合模型具有三个子高斯模型C1，C2，C3，每个子高斯模型均具有对应的高斯分布密度函数，wk为训练数据属于第k个子高斯模型的概率。
步骤1中，利用肤色高斯混合模型计算下半脸中每个像素x的概率值Pdown(x)，概率值越大表示该像素越接近肤色，反之远离肤色，基于Lab颜色空间进行计算得到人脸下部肤色概率图。
步骤2，根据嘴唇的先验知识，通过迭代在人脸下部肤色概率图中检测得到唇部区域。
步骤2中，嘴唇的先验知识如下：
嘴唇外接矩形的宽高比：
ratioWH＝W/H ratioWE∈[1,6] (6)
目标填充率：
ratiofill＝area(Ω)/(W*H) ratiofill∈[0.3，1) (7)
嘴唇面积与下半脸面积比：
ratioarea＝area(Ω)/area(Idown) ratioarea∈[0.03,0.15] (8)
嘴唇中心点位置信息：
lipcenter(x)∈[Idown(width)/3，2Idown(width)/3] (9)
lipcenter(y)≥Idown(height)/3 (10)
公式(6)-公式(7)中，W为嘴唇外接矩形的宽度，H为嘴唇外接矩形的高度。
本实施例中，在传统的嘴唇检测方法中，通常使用固定的阈值进行估计唇部区域的像素，具体过程如下：在求出图像中灰度的最大值和最小值，根据阈值划分图像为唇部区域和背景，并分别将其灰度值求和，计算唇部区域和背景的平均灰度，并判断阈值是否等于唇部区域和背景平均灰度的和的平均，若相等，则阈值即为其平均，否则，将阈值设置为唇部区域和背景灰度平均值的和的一半，继续迭代，直至计算出阈值。
这种通过计算固定阈值来划分唇部区域和背景的方法，在嘴唇和唇部周围的面部皮肤背景之间的颜色差异很小的情况下不能保证准确划分出唇部区域。本发明通过迭代检测的方法来解决这个问题，通过多次迭代检测唇部区域，具体过程如下：
步骤2中，通过迭代在人脸下部肤色概率图中检测得到唇部区域的过程如下：
步骤2-1，设定阈值的迭代数组it[i]，进行初始化，设置i＝0使阀值的初始迭代值为0；
步骤2-2，对于人脸下部肤色概率图中的每个像素j，如果p(xj)≥it[i]，表示该像素类似于面部肤色，将该像素的灰度值设置为0，否则保留该像素，将该像素的灰度值设置为255，来将人脸下部肤色概率图根据阈值划分为候选唇部区域和背景；
步骤2-3，根据嘴唇的先验知识，在候选唇部区域中检测疑似嘴唇个数，并用lipcnt表示；
步骤2-4，如果lipcnt＝1，则表示找到唇部区域，设置it＝1，获取候选唇部区域的感兴趣区域，在进行迭代优化后得到唇部区域，如果lipcnt≠1，且迭代数组并未迭代完成，则增加i的值并回到步骤2-2，当迭代数组迭代完成，且没有找到唇部区域时，结束迭代。
本实施例中，通过实验验证，设定一个迭代阈值数组为14，it[14]＝{0.6，0.5,0.4,0.3，0.2，0.1,0.05,0.01,0.005,0.001,0.0005,0.0001,0.00005,0.00001}，在进行迭代检测还能选择粗略迭代和精确迭代，图4是本发明的实施例中进行粗略迭代获取唇部区域的流程示意图，图5是本发明的实施例中进行精确迭代获取唇部区域的流程示意图。
如图4所示，当进行粗略迭代时，选择从i＝6开始进行迭代，当迭代至i＜15依旧未能检测到唇部区域时，再依次使用剩余的阈值进行迭代检测。
如图5所示，当进行精确迭代时，设置i＝0来从头开始进行迭代。
步骤3，将唇部区域的像素与非唇部区域的像素作为训练数据，分别建立唇部区域高斯混合模型与非唇部区域高斯混合模型，通过唇部区域高斯混合模型与非唇部区域高斯混合模型计算唇部区域中的各像素的概率值，得到背景概率图。
本实施例中，唇部区域高斯混合模型与非唇部区域高斯混合模型的建立过程与肤色高斯混合模型的建立过程一致。
步骤3中，通过唇部区域高斯混合模型和非唇部区域高斯混合模型来计算唇部区域中的各像素的概率值，得到背景概率图pB(x)，计算公式如下：
Figure BDA0003189139170000121
公式(11)中，p(x|non_lip)，p(x|lip)分别对应非唇部区域高斯混合模型和唇部区域高斯混合模型计算出唇部区域中的各像素的概率值。
步骤4，对背景概率图进行OSTU二值化处理得到二值化图像，通过区域生长法对二值化图像中的唇部区域进行图形增长，去除杂质，再通过中值滤波进行优化，最后通过k-points方法来平滑唇部轮廓，得到最佳唇部区域。
本实施例中，通过区域生长法对二值化图像中的唇部区域进行图形增长，去除杂质，再通过中值滤波进行优化的过程如下：从种子点的集合开始，将图像中与每个种子点相似属性的相邻像素都合并到此区域，再采用中值滤波对得到的唇部轮廓进行处理，平滑原始边缘并减少凸起，获得平滑的边缘。
步骤4中，对背景概率图进行OSTU二值化处理的过程如下：
将背景概率图从[0，1]映射到灰度值[0，225]，通过OTSU二值化计算公式，将每个灰度值作为二值化阈值并进行重复循环计算得到相应的类内方差，再取最小的类内方差所对应的灰度值作为二值化阈值来进行图像的二值化。
步骤4中，通过k-points方法来平滑唇部轮廓的过程为：
去除唇部区域中的突出物的计算方式如下：
Figure BDA0003189139170000131
公式(12)中，∧表示AND运算，k设定为5～15，
进一步填充内凹图像，以获得最佳唇部区域，最佳唇部区域的计算如下：
Figure BDA0003189139170000132
公式(12)中，∨表示OR运算，k设定为
Figure BDA0003189139170000133
k-points方法通过沿着唇部轮廓从左到右为每个k选择一个采样点，并将采样点以直线相连的方式来平滑唇部轮廓。
步骤5，根据最佳唇部区域在输入图像中对应提取得到嘴唇轮廓图像。
本实施例中，还对本发明的一种基于高斯混合模型的唇部分割方法的分割准确性进行实验评估，具体过程如下:
从数据库中随机抽选1000张人脸图像，尺寸为2816x2112，并进行图像手动注释，将该1000张人脸图像通过本发明的一种基于高斯混合模型的唇部分割方法分割得到唇部区域，并与手动注释进行比对，对试验结果采用OL和SE双重标准进行评估，OL表示检测结果与实际真实性的区域重叠，OL数值越高，表示分割效果越准确，性能越好；SE表示为分割误差，SE数值越低，表示误差越小，性能越好，实验结果如表1所示。
表1 实验结果表
Result
Average OL(％) 96.76
Average SE(％) 3.29
如表1所示，评估结果中，OL为96.76％，本发明方法具有较高的分割准确性，且SE只有3.29％，本发明方法的分割误差较小，因此，通过本发明的一种基于高斯混合模型的唇部分割方法能够准确的对唇部区域进行分割。
实施例的作用与效果
根据本实施例所涉及的一种基于高斯混合模型的唇部分割方法，通过建立肤色高斯混合模型得到人脸下部肤色概率图，在迭代得到唇部区域后再通过建立唇部区域高斯混合模型与非唇部区域高斯混合模型来优化处理唇部区域，能够保证精确分割得到唇部区域，并且还通过k-points方法来平滑唇部轮廓，得到最佳唇部区域，能够得到更为准确和平滑的嘴唇；并且本实施例通过通过迭代并根据嘴唇先验知识来获取唇部区域，能够在嘴唇和唇部周围的面部皮肤背景之间的颜色差异很小的情况下依旧准确获取唇部区域。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (9)

1.一种基于高斯混合模型的唇部分割方法，其特征在于，包括以下步骤：
步骤1，对输入图像进行人脸检测，获取人脸上半部分区域，并将所述人脸上半部分区域的像素颜色作为训练数据，在Lab颜色空间中建立肤色高斯混合模型，再通过所述肤色高斯混合模型计算下半脸中每个像素的肤色概率值，得到人脸下部肤色概率图；
步骤2，根据嘴唇的先验知识，通过迭代在所述人脸下部肤色概率图中检测得到唇部区域；
步骤3，将所述唇部区域的像素与非唇部区域的像素作为训练数据，分别建立唇部区域高斯混合模型与非唇部区域高斯混合模型，通过所述唇部区域高斯混合模型与所述非唇部区域高斯混合模型计算所述唇部区域中的各像素的概率值，得到背景概率图；
步骤4，对所述背景概率图进行OSTU二值化处理得到二值化图像，通过区域生长法对所述二值化图像中的所述唇部区域进行图形增长，去除杂质，再通过中值滤波进行优化，最后通过k-points方法来平滑唇部轮廓，得到最佳唇部区域；
步骤5，根据所述最佳唇部区域在所述输入图像中对应提取得到嘴唇轮廓图像。
2.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤1中，对所述输入图像进行人脸检测时，将所述输入图像采用Haar分类器进行人脸检测，并确保所述唇部区域在检测框内，并且在人脸检测时根据所述输入图像的大小动态进行等比例缩小来加快人脸检测的速度。
3.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤1中，在所述Lab颜色空间中建立所述肤色高斯混合模型的过程如下：
单高斯分布公式为：
Figure FDA0003189139160000021
公式(1)中，μ为数据均值，σ为数据标准差，P(x|θ)为单高斯分布的概率密度函数，在所述Lab颜色空间中，l代表亮度，a代表从红色至绿色的范围，b代表从黄色至蓝色的范围，设x＝(l，a，b)T
求出均值：
Figure FDA0003189139160000022
协方差矩阵计算方式如下：
Figure FDA0003189139160000023
所述肤色高斯混合模型使用K个子高斯模型，混合高斯分布公式为：
Figure FDA0003189139160000031
求出训练数据xj的概率p(xj)：
Figure FDA0003189139160000032
公式(4)和公式(5)中，xj表示第j个训练数据，j＝1，2，...，N；K是所述肤色高斯混合模型中所述子高斯模型的数量，k＝1，2，...，K；wk为训练数据属于第k个子高斯模型的概率，
Figure FDA0003189139160000033
N(x|θkx为第k个子高斯模型的高斯分布密度函数，θk＝(μk，σk)；对于所述肤色高斯混合模型，参数
Figure FDA0003189139160000034
为每个所述子高斯模型的期望、协方差在所述肤色高斯混合模型中发生的概率。
4.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤1中，利用所述肤色高斯混合模型计算下半脸中每个像素x的概率值Pdown(x)，概率值越大表示该像素越接近肤色，反之远离肤色，基于所述Lab颜色空间进行计算得到所述人脸下部肤色概率图。
5.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤2中，通过迭代在所述人脸下部肤色概率图中检测得到唇部区域的过程如下：
步骤2-1，设定阈值的迭代数组it[i]，进行初始化，设置i＝0使所述阀值的初始迭代值为0；
步骤2-2，对于所述人脸下部肤色概率图中的每个像素j，如果p(xj)≥it[i]，表示该像素类似于面部肤色，将该像素的灰度值设置为0，否则保留该像素，将该像素的灰度值设置为255，来将所述人脸下部肤色概率图根据所述阈值划分为候选唇部区域和背景；
步骤2-3，根据所述嘴唇的先验知识，在所述候选唇部区域中检测疑似嘴唇个数，并用lipcnt表示；
步骤2-4，如果lipcnt＝1，则表示找到所述唇部区域，设置it＝1，获取所述候选唇部区域的感兴趣区域，在进行迭代优化后得到所述唇部区域，如果lipcnt≠1，且所述迭代数组并未迭代完成，则增加i的值并回到步骤2-2，当所述迭代数组迭代完成，且没有找到所述唇部区域时，结束迭代。
6.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤2中，所述嘴唇的先验知识如下：
嘴唇外接矩形的宽高比：
ratioWH＝W/H ratioWH∈[1,6] (6)
目标填充率：
ratiofill＝area(Ω)/(W*H)ratiofill∈[0.3，1) (7)
嘴唇面积与下半脸面积比：
ratioarea＝area(Ω)/area(Idown)ratioarea∈[0.03,0.15] (8)
嘴唇中心点位置信息：
lipcenter(x)∈[Idown(width)/3，2Idown(width)/3] (9)
lipcenter(y)≥Idown(height)/3 (10)
公式(6)-公式(7)中，W为嘴唇外接矩形的宽度，H为嘴唇外接矩形的高度。
7.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤3中，通过所述唇部区域高斯混合模型和所述非唇部区域高斯混合模型来计算所述唇部区域中的各像素的概率值，得到背景概率图pB(x)，计算公式如下：
Figure FDA0003189139160000051
公式(11)中，p(x|non_lip)，p(x|lip)分别对应所述非唇部区域高斯混合模型和所述唇部区域高斯混合模型计算出所述唇部区域中的各像素的概率值。
8.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤4中，对所述背景概率图进行OSTU二值化处理的过程如下：
将所述背景概率图从[0，1]映射到灰度值[0，225]，通过OTSU二值化计算公式，将每个灰度值作为二值化阈值并进行重复循环计算得到相应的类内方差，再取最小的类内方差所对应的灰度值作为所述二值化阈值来进行图像的二值化。
9.根据权利要求1所述的基于高斯混合模型的唇部分割方法，其特征在于：
其中，所述步骤4中，通过k-points方法来平滑唇部轮廓的过程为：
去除所述唇部区域中的突出物的计算方式如下：
Figure FDA0003189139160000061
公式(12)中，∧表示AND运算，k设定为5～15，
进一步填充内凹图像，以获得所述最佳唇部区域，所述最佳唇部区域的计算如下：
Figure FDA0003189139160000062
公式(12)中，∨表示OR运算，k设定为
Figure FDA0003189139160000063
所述k-points方法通过沿着唇部轮廓从左到右为每个k选择一个采样点，并将采样点以直线相连的方式来平滑唇部轮廓。
CN202110870992.3A 2021-07-30 2021-07-30 一种基于高斯混合模型的唇部分割方法 Pending CN113592880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110870992.3A CN113592880A (zh) 2021-07-30 2021-07-30 一种基于高斯混合模型的唇部分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110870992.3A CN113592880A (zh) 2021-07-30 2021-07-30 一种基于高斯混合模型的唇部分割方法

Publications (1)

Publication Number Publication Date
CN113592880A true CN113592880A (zh) 2021-11-02

Family

ID=78252613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110870992.3A Pending CN113592880A (zh) 2021-07-30 2021-07-30 一种基于高斯混合模型的唇部分割方法

Country Status (1)

Country Link
CN (1) CN113592880A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766316A (zh) * 2015-03-31 2015-07-08 复旦大学 中医望诊中新型嘴唇分割算法
CN111066060A (zh) * 2017-07-13 2020-04-24 资生堂美洲公司 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766316A (zh) * 2015-03-31 2015-07-08 复旦大学 中医望诊中新型嘴唇分割算法
CN111066060A (zh) * 2017-07-13 2020-04-24 资生堂美洲公司 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邱晓欣，张文强: "基于肤色和唇色的自适应面部皮肤区域提取研究", 《微型电脑应用》, vol. 31, no. 8, 31 December 2015 (2015-12-31), pages 1 - 3 *

Similar Documents

Publication Publication Date Title
EP3455782B1 (en) System and method for detecting plant diseases
CN110334706B (zh) 一种图像目标识别方法及装置
CN109522908B (zh) 基于区域标签融合的图像显著性检测方法
CN110751655B (zh) 一种基于语义分割和显著性分析的自动抠图方法
CN113781402A (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN111340824B (zh) 一种基于数据挖掘的图像特征分割方法
EP3175389B1 (en) Automatic glandular and tubule detection in histological grading of breast cancer
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
WO2007148284A2 (en) A method, a system and a computer program for determining a threshold in an image comprising image values
Shaker et al. Automatic detection and segmentation of sperm head, acrosome and nucleus in microscopic images of human semen smears
CN110598030A (zh) 一种基于局部cnn框架的甲骨拓片分类方法
US11037299B2 (en) Region merging image segmentation algorithm based on boundary extraction
CN111640128A (zh) 一种基于U-Net网络的细胞图像分割方法
CN110880177A (zh) 一种图像识别方法及装置
CN104766316A (zh) 中医望诊中新型嘴唇分割算法
WO2018176319A1 (zh) 超声图像的分析方法及装置
CN113743421B (zh) 一种水稻叶片花青素显色区域分割及定量分析的方法
CN113850792A (zh) 一种基于计算机视觉的细胞分类计数方法及系统
CN108171683B (zh) 一种采用软件自动识别的细胞计数方法
CN112927182A (zh) 一种数字pcr微阵列图像分析方法
CN109460768B (zh) 一种用于组织病理学显微图像的文本检测与去除方法
CN113592880A (zh) 一种基于高斯混合模型的唇部分割方法
CN112581487B (zh) 自动提取检测区域及定位核的方法
CN115170956A (zh) 基于多尺度熵率超像素的后验概率高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination