CN111210452A

CN111210452A - 一种基于图割和均值偏移的证件照人像分割方法

Info

Publication number: CN111210452A
Application number: CN201911396763.1A
Authority: CN
Inventors: 彭博; 盛凯
Original assignee: Southwest Jiaotong University
Current assignee: Southwest Jiaotong University
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-29
Anticipated expiration: 2039-12-30
Also published as: CN111210452B

Abstract

本发明基于图割和均值偏移的证件照人像分割方法，步骤如下：1、建立人像图像训练数据集，搜集正面人像原始图像，标记半身人像外轮廓区域，计算人像外轮廓区域概率图；2、获取轮廓分布图的内外轮廓，使用255分别填充此内外轮廓，沿外轮廓向内侧腐蚀W1像素得图像A，沿内轮廓向外膨胀W2像素得图像B，二者差值C为未知区域。将B和C分别映射到模板M中，作为最终分割模板。3、基于人像模板图M使用图割方法得人像分割结果label_a；4、通过均值偏移方法对图像进行区域分割，得到分割区域图像label_b；5、根据图割结果和均值偏移结果建立分割的概率图layer；6、根据概率图layer的分布，优化label_a的分割结果，获取最终结果R。本发明能有效提高人像分割的准确率。

Description

一种基于图割和均值偏移的证件照人像分割方法

技术领域

本发明涉及图像分割领域，具体涉及一种基于图割和均值偏移的证件照人像分割方法。

背景技术

图像分割是把图像分成若干个具有独特性质和鲜明特征的区域并提取出有价值目标的过程，而目标划分的标准由具体任务来确定。它是图像处理和计算机视觉领域中一个重要研究问题。在分割算法中，可以利用的特征信息有很多，比如颜色信息、位置信息和纹理信息，也可以利用深度学习方法提取出图像的深层信息来获取语义信息。获取多样化的信息有助于得到更加准确的图像分割结果，是计算机视觉技术实现市场应用的重要保证。半身人像的分割方法在生产生活中有广泛地应用，比如实现人像证件照等针对人像的图像处理任务。

通常的交互式图像分割方法，需要用户提供种子点标记目标候选区域，或者大致绘制出待分割目标包含的区域。作为一种经典的交互式分割方法，图割方法能灵活地根据用户提供的种子点实现目标分割，但可能忽略图像的局部信息分布，且较依赖种子点的划分，在具体应用中仍有缺陷。对于人像分割任务，需要根据人像的分布特征，准确估计图像中人像的候选区域，提高计算精度。近年来深度学习方法被广泛应用在图像分割问题中，虽然在大规模自然图像上能达到比较高的人像分割准确度，但需要较大的计算开销，且算法模型庞大，很难直接部署到手机移动端，在实际应用中有很大限制。在手机移动端应用中，图像分割方法一般不是单独的存在，而是作为某个功能实现的前提。因此需要分割算法做到精简而高效地完成分割任务，进而能方便扩展到各个框架的功能应用上。

发明内容

针对现有技术中的不足，本发明提供了一种基于图割和均值偏移的证件照人像分割方法，避免了基于深度学习的依赖大规模数据训练和GPU计算，同时能提高现有图像分割方法的精度，得到更加准确的半身人像分割结果。

为达到上述发明目的，本方法采用的技术方案为：

一种基于图割和均值偏移的证件照人像分割方法，其包括以下步骤：

S1、建立原始人像图像数据集，在人像原始图像中截取包含头部和上半身的局部图像，规范人像在图像中的比例和位置；标注半身人像数据集中的人像轮廓，其中人像轮廓区域设定像素值为1，其余区域设定为0；在图层中累加上述标注区域，获取像素值分布哈希表，将哈希表的值归一化到0-1之间，获取每个像素被标记为人像轮廓的概率值，以这个概率值作为图像像素，得到人像轮廓概率模板图P；

S2、根据人像轮廓概率模板图P，使用0、128、255三个值创建分割掩膜图像M，M的长宽与半身人像图像的长宽一致；

S3、对任意一幅原始图像I，利用步骤S1中的方法截取半身人像图像I’，结合S2中获取的人像分割模板图M，利用图割(Graph cuts)方法计算I’的人像分割结果label_a，label_a中人像前景像素值为255，背景像素值为0；

S4、对S3中半身人像图像I’，利用均值偏移方法进行分割，得到包含若干个分割区域的图像label_b；

S5、对label_b中每个区域计算其包含的像素在label_a中对应位置被标记成人像前景的比例，即计算每个区域被标记成人像的像素个数占该区域像素总数的比值，作为该区域的人像分布概率值，所有概率值区域的集合，组成layer图，layer的长宽与laber_b一致；

S6、根据人像区域分布概率layer，优化label_b对应的分割结果，作为最终结果R，R的长宽与label_b的长宽一致。

进一步地，规范人像在图像中的比例和位置，具体的方法为：对一幅原始图像I采用人脸检测算法，得到人脸检测结果，其中人脸检测框的宽度为W。从原始图像中截取400*300大小的半身人像图像I’，满足图像I’高为2.5*W，宽为1.875*W，人脸检测框左边缘距离I’左边缘0.4375*W，检测框上边缘距离I’上边缘0.75*W。

进一步地，所述步骤S2中，利用数据集图像分布来设定图割算法的掩模图像M，具体的方法为：获取轮廓分布图的外轮廓，使用255填充此轮廓内部，沿此轮廓向内测腐蚀W1像素，作为像最大前景图像A；获取轮廓分布图的内轮廓，使用255填充此轮廓内部区域，沿此轮廓向外测腐蚀W2像素，作为M的最小人像前景图像B；将图像A与图像B相减，获取位置区域C；将C区域按坐标映射到模板M中，映射像素值为128，将B映射到模板M中，映射像素值为0；模板M中其余区域像素值设定为255。

进一步地，W1取值范围为0≤W1≤30，W2取值范围为0≤W2≤30。

进一步地，所述步骤的S6的具体方法为：Layer中人像分布概率值大于阈值α的区域的所有像素在R中设为255；人像分布概率值小于阈值β的区域块的所有像素在R中设为0。R作为最终的分割结果保存。

进一步地、上述阈值α的取值范围为：α≤0.5。

进一步地、上述阈值β的取值范围为：β≥0.6。

本发明的有益效果为：

1、本发明充分利用人像位置的先验信息，使用三值模板来标注待分割区域，提高了图割方法所需的标注信息的精度，将人像边界对应到过渡计算区域进行优化，有利于提升整体分割准确度。

2、本发明利用均值偏移方法作为图割方法的补充，能准确获取待分割区域的局部信息，弥补图割方法全局优化的不足，提升图像分割在局部细节区域的准确度和鲁棒性。

3、本发明提出了将两种图像分割方法结果进行合并的方法，有效地融合每种方法的优势，可以提高图像整体目标的分割质量。

附图说明

图1为本发明的流程示意图；

图2三值模板生成过程；

图3为传统图割方法与本发明方法对比图；

图4为《最美证件照》app与本发明方法对比图；

图5为IOU计算方法示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，本发明实施例提供的一种基于图割和均值偏移的证件照人像分割方法，包括以下步骤：

S1、建立原始人像图像数据集，在人像原始图像中截取包含头部和上半身的局部图像，规范人像在图像中的比例和位置。标注半身人像数据集中的人像轮廓，其中人像轮廓区域设定像素值为1，其余区域设定为0。在图层中累加上述标注区域，获取像素值分布哈希表，将哈希表的值归一化到0-1之间，获取每个像素被标记为人像轮廓的概率值，以这个概率值作为图像像素，得到人像轮廓概率模板图P。

S2、根据人像概率模板图P，使用0、128、255三个值创建分割掩膜图像M，M的长宽与半身人像图像的长宽一致。

S3、对任意一幅原始图像I，利用步骤S1中的方法截取半身人像图像I’；结合S2中获取的人像分割模板图M，利用图割(Graph cuts)方法计算I’的人像分割结果label_a。label_a中人像前景像素值为255，背景像素值为0；

步骤S1中的规范人像在图像中的比例和位置，具体的方法为：对一幅原始图像I采用人脸检测算法，得到人脸检测结果，其中人脸检测框的宽度为W。从原始图像中截取400*300大小的半身人像图像I’，满足图像I’高为2.5*W，宽为1.875*W，人脸检测框左边缘距离I’左边缘0.4375*W，检测框上边缘距离I’上边缘0.75*W。

步骤S2中，利用数据集图像分布来设定图割算法的掩模图像M。具体的方法为：利用数据集图像分布来设定图割算法的掩模图像M。具体的方法为：获取轮廓分布图的外轮廓，使用255填充此轮廓内部，沿此轮廓向内测腐蚀W1像素，作为像最大前景图像A；获取轮廓分布图的内轮廓，使用255填充此轮廓内部区域，沿此轮廓向外测腐蚀W2像素，作为M的最小人像前景图像B。将图像A与图像B相减，获取位置区域C。将C区域按坐标映射到模板M中，映射像素值为128。将B区域按坐标映射到模板M中，映射像素值为0。模板M中其余区域像素值设定为255。

步骤S6的具体方法为：利用步骤S5中分割概率图layer，Layer中人像分布概率值大于阈值α的区域的所有像素在R中设为255；人像分布概率值小于阈值β的区域块的所有像素在R中设为0。R作为最终的分割结果保存。其中阈值α的取值范围为0≤α≤0.5，β的取值范围为0.6≤β≤1。

如图2所示，给出了获取轮廓叠加图和三元区域获取方法。

如图3所示，从左往右，依次是：原图、单一图割方法分割、均值偏移结果、本方法结果。即图3中的a、e、i表示半身人像原图；图3中的b、f、j表示使用传统图割方法分割结果；图3中的c、g、k表示使用均值偏移分块图；图3中的d、h、i表示本发明方法分割结果。如图4所示，从左往右，分别是原图、本方法处理结果、《最美证件照》app分割结果。从图3和图4的分割结果可以看出，采用本发明的分割方法较传统分割方法的分割效果得到了大幅提高。

在本发明的一个实例中，本发明可以预先根据人脸位置，较精确地估计出人像所处范围，进而根据这个范围去设定三元模板区域，能够为图割算法提供准确地先验得到图像分割结果label_a；另一方面，利用彩色图片色彩分布信息，获取彩色图片均值偏移的结果label_b。为了将图割方法的全局优化的特点和均值偏移方法的局部分割的准确性结合起来，利用“拼图”思想，统计label_b中每一色彩块占label_a的人像前景的比例，以此作为彩色均值块分布的概率值。计算label_b中所有色彩块分布概率值，建立分割概率图layer；对于既在label_a中的像素，又在label_b中的像素，或者二者重合度大于阈值α的像素，对此部分像素予以保留；对于只有重合度小于或着等于β的像素，对此部分像素予以删除。对layer中所有的像素采用这种“分块”拼图的思想，直到所有像素都被正确分类为止，分割的结果保存在R中，作为最终结果存在。针对人像分割背景复杂的特点，本方法与原始方法在分割模板和分割结果选取上均不相同。

在对本方法进行评价时，使用了交并比(IOU)方法对分割结果进行了评价。Intersection over Union(IOU)是一种测量在特定数据集中检测相应物体准确度的一个标准。IOU是一个简单的测量标准，只要是在输出中得出一个预测范围(bounding boxes)的任务都可以用IOU来进行测量。

如图5所示，(area1+area)表示的是预测区域，(area2+area)表示的是真实区域，那么IOU就可以利用下面的公式去计算：

它的取值范围为[0,1]值越接近1，说明分割越接近真实值，分割越相似，也就是说分割效果越好。上述评价指标兼顾了像素和区域两个粒度计算分割的好坏，基于这个指标，可以对比图割进行对比实现。

PA(pixel accuracy)也是一种经典的计算图像分割准确度的指标，它表示为分割正确的像素，占据总像素的比例。其中，P_i,i表示被正确分割的数量，它的计算公式如下：

F1，是一个综合指标，是查准率和查全率的调和平均数，因为在一般情况下，查准率和查全率是两个互补关系的指标，二者不可兼得，因此通过F1测度来综合进行评估。F1的计算方法如下：

其中，TP是正确地预测为正例数量，TN是正确地预测为反例数量，FP是错误地预测为正例数量，FN是错误地预测为反例数量。

上述三种评价指标分别从像素与区域两个粒度来计算图像分割结果的好坏，基于这些指标在1000个样本的测试集中，对本发明方法与原始的图割方法进行了对比实验，其实验结果如表1所示。

表1.实验结果

	原始图割方法	本发明方法
			IOU	61.1720％	91.0093％
F1	56.9480％	67.7158％
			PA	78.5711％	95.0126％

从表1中可以看出本发明方法较原始方法有着较好的性能。总的来说，本发明通过建立三值模板分割结构以及使用均值偏移方法弥补局部信息缺失，实现了一种半身人像分割方法。通过均值偏移建立图像分割的区域块索引，然后在图割基础上进行融合，进而优化分割质量。图像分割的准确度方面，在现有评价指标上，本分割较原来方法有着较好的分割结果。

Claims

1.一种基于图割和均值偏移的证件照人像分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图割和均值偏移的证件照人像分割方法，其特征在于，在步骤S1中，规范人像在图像中的比例和位置，具体的方法为：对一幅原始图像I采用人脸检测算法，得到人脸检测结果，其中人脸检测框的宽度为W，从原始图像中截取400*300大小的半身人像图像I’，满足图像I’高为2.5*W，宽为1.875*W，人脸检测框左边缘距离I’左边缘0.4375*W，检测框上边缘距离I’上边缘0.75*W。

3.根据权利要求1所述的一种基于图割和均值偏移的证件照人像分割方法，其特征在于，所述步骤S2中，利用数据集图像分布来设定图割算法的掩模图像M，具体的方法为：获取轮廓分布图的外轮廓，使用255填充此轮廓内部，沿此轮廓向内测腐蚀W1像素，作为像最大前景图像A；获取轮廓分布图的内轮廓，使用255填充此轮廓内部区域，沿此轮廓向外测腐蚀W2像素，作为M的最小人像前景图像B；将图像A与图像B相减，获取位置区域C；将C区域按坐标映射到模板M中，映射像素值为128，将B映射到模板M中，映射像素值为0；模板M中其余区域像素值设定为255。

4.根据权利要求1或3所述的一种基于图割和均值偏移的证件照人像分割方法，其特征在于，步骤S2中W1取值范围为0≤W1≤30，W2取值范围为0≤W2≤30。

5.根据权利要求1所述的一种基于图割和均值偏移的证件照人像分割方法，其特征在于，所述步骤的S6的具体方法为：

Layer中人像分布概率值大于阈值α的区域的所有像素在R中设为255；人像分布概率值小于阈值β的区域块的所有像素在R中设为0，R作为最终的分割结果保存。

6.根据权利要求5所述的一种基于图割和均值偏移的证件照人像分割方法，其特征在于，阈值α的取值范围为：α≤0.5。

7.根据权利要求5所述的一种基于图割和均值偏移的证件照人像分割方法，其特征在于，阈值β的取值范围为：β≥0.6。