CN112101370B - 一种纯色背景图像自动抠像方法、计算机可读存储介质及设备 - Google Patents

Abstract

本发明属于图像处理技术领域，特别涉及一种纯色背景图像自动抠像方法、计算机可读存储介质及设备，通过k‑means聚类方法，对原始图像进行分割，将图像划分为前景背景数据集，标识出图像的前景和背景已知区域。通过边缘检测和轮廓提取，使用128灰色标识出未知区域。通过图像当前像素点和背景像素点之间的颜色距离，空间距离、LAB色差计算出未知区域像素点，最后通过未知区域邻域采样前背景点α _p 估算方法，计算出未知区域的透明度α _p 。区别于传统的方法在于，不依赖输入参数，不限定背景色，对图像光照要求和背景均匀底低。

Description

一种纯色背景图像自动抠像方法、计算机可读存储介质及 设备

技术领域

本发明属于图像处理技术领域，特别涉及一种纯色背景图像自动抠像方法、计算机可读存储介质及设备。

背景技术

传统抠像方法中，通常使用蓝或绿色作为背景关键色进行抠像，方法依赖输入参数，关键色、高频色差、低频色差。通过三个参数，以确定图像的背景和前景。

该方法对毛发、半透明区域、阴影区域处理欠佳。方法对图像背景均匀度、亮度要求较高，依赖输入参数，需要用户通过参数调整才能达到最佳效果，背景色仅限定于蓝或绿色，适应性较低。

发明内容

为解决上述技术问题，本发明提供一种纯色背景图像自动抠像方法。

本发明通过以下技术方案实现：

一种纯色背景图像自动抠像方法，其包括如下步骤：

S1、采集原始图像，并对原始图像作 K-means聚类处理，对所述原始图像进行分割，获取所述图像的已知区域，即人像区域和背景区域；

S2、将步骤S1中聚类后的图像进行数据转换，生成和原始图像相同大小的初始遮罩图，并标识出已知区域；

S3、对所述初始遮罩图进行图像腐蚀形态学操作，获取并输出腐蚀图；

S4、使用Canny方法，对所述腐蚀图行边缘检测，对结果图进行膨胀操作，获得增强图像后的轮廓图；

S5、对所述轮廓图进行轮廓查找，根据轮廓点的最小外接矩形区域的相邻轮廓的最小外接矩形的空间距离，统计出属于人像边缘的所有轮廓点集合；

S6、遍历所述的所有轮廓点集合，在当前轮廓与人像边缘轮廓点集合不相交时，直接在所述腐蚀图上将其填白，表示该区域的当前轮廓为人像，使其不透明，输出修正后图像；

S7、对所述修正后图像进行边缘检测和轮廓提取，获取所有未知区域的轮廓点图。

S8、遍历所有轮廓点，将原始图像该像素点的RGB值转换为lab 色彩空间；使用lab色彩空间差值统计方法，计算出该像素点和背景平均色彩的差值，使用该差值作为填充半径，在所述未知区域的轮廓点图上使用128填充该轮廓点，标识出未知区域；

S9、对未知区域邻域采样前景点、背景点及透明度α _p 进行估算；

S10、对原始图像进行人脸检测，提取人脸特征点，定位人脸范围；

S11、遍历所述原始图像，通过该点的RGB像素值，判断该点是否属于人脸区域、肤色，修正α _p 值，确保人脸区域的透明度为非0，输出最终遮罩图Alpha；

S12、使用 Alpha 混合公式 P(dst) = (1 -α _p ) * P(d) + P(s) * α _p ，替换原背景，输出最终图像，其中，P(dst)表示输出值，P(d)表示需要替换的像素值，P(s)表示原像素值。

进一步地，所述原始图像的像素值只有三个，即0、128、255，其中0表示背景区域，128表示待计算的像素点，255表示前景区域即人像区域。

进一步地， 在步骤S3中，所述图像腐蚀形态学操作，使用3x3卷积核对所述初始遮罩图进行逐行扫描，对卷积核中的所有像素点进行“或”操作，若计算结果为0，则该点值为0，否则为1。

进一步地，在步骤S4中，所述的膨胀操作使用3x3卷积核对所述结果图进行逐行扫描，对卷积核中的所有像素点进行“与”操作，若计算结果为1，则该点值为1，否则为0。

进一步地，在步骤S8中，所述差值越小，表示越接近背景色，差值越大，表示和背景相差越大。

进一步地，在步骤S9中，所述对未知区域邻域采样前景点、背景点及透明度α _p 进行估算，包括步骤：

9.1、对所述已知区域进行扩展，减小所述未知区域像素点；

9.2、对所述未知区域内的每个像素点，按照预定的规则取样，并选择出最佳的一对前景点和背景点；

9.3、重新计算前景，背景，透明度及可信度，在颜色失真最小化状态下获得最优采样点。

进一步地，所述预定的规则为：设定参数k，表示一个未知像素点最多可能取样的前景点和背景点的个数，取样点可以组成的点对数目最多为k * k；对于每个未知点，从该点出发，引出k条路径，每个路径之间成2π/k 的夹角, 记录下每条路径经过的路线中首次遇到的前景点或背景点, 直到超出图像的边缘；根据得到的前景点，背景点以及当前点的颜色值，估算出当前点的α _p ；α _p 计算公式：

α _p = ((Cr – Br) * (Fr – Br) + (Cg – Bg) * (Fg – Bg) + (Cb – Bb) * (Fb– Bb))/( (Fr – Br) * (Fr – Br) +(Fg – Bg) * (Fg – Bg)+(Fb – Bb) * (Fb – Bb))

其中C为当前点，F为前景点，B为背景点，基于α _p 值选择出最佳的一对前景点和背景点。

进一步地，所述颜色失真的计算公式为：

M_p(F_i,B_j)=||Cp−(α _p *F_i+(1−α _p )*B_j) ||，

其中C_p为p点颜色值，α _p 是p点的不透明度估算值；

计算像素点p邻域内所有点的最优采样点对, 每个像素点p都可以得到一组 (F、B、α _p )使得其对应的M_p最小, 然后选择使M_p最小的k组(F、B、α _p ), 使用这k组数据的平均值来计算新的前景、背景、透明度及可信度；对前景和背景对以及透明值进行局部平滑，减少噪声，确定最终每个点的α _p 值。

进一步地，在步骤S10中，所述人脸特征点为68个。

进一步地，在步骤S11中，分别通过HSB色彩空间、Ycbcr色彩估算肤色范围，将RGB色彩转换到HSB和 Ycbcr，

HSB肤色判断公式：(h >7) &&（h < 30）&& (s >= 15) && (s < 256) && (b >50) && (b < 256)；

Ycbcr肤色判断公式: (cr >= 134.5) && (cr <= 173) && (cb >= 77) && (cb<= 127)。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现纯色背景图像自动抠像方法的步骤。

本发明提出了一种纯色背景图像自动抠像方法，其优点在于：

1、不依赖于输入参数、背景颜色，对背景均匀度要求不高。

2、最大可能的保留了人像边缘区域，换底后边缘损失较小，保留了发丝等细节。

可将背景换成任意颜色。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1(a)-1(j)为本发明纯色背景图像自动抠像各步骤处理效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

抠像就是要计算图像中每个像素点的透明度，识别出图像的前景背景像素点。图像换背景的计算，可用方程式 C _p = α _p .F _p + (1−α _p ).B _p 表示。

其中C _p 是观察到的图像颜色，F _p 、B _p 、α _p 均为未知量，分别表示前景，背景以及透明度。要求解该方程，必须给其增加一些附加约束，如创建和待分割图像同等大小的初始图，其像素值只有三个，即0、128、255，其中0表示背景，128表示待计算的像素点，255表示前景。方法的主要目的就是利用图像相邻像素之间的相似性、空间距离、色彩距离计算出未知区域的透明度α _p 。

在具体实施例中，通过 k-means 聚类方法，对原始图像进行分割，将图像划分为前景背景数据集，标识出图像的前景和背景已知区域。通过边缘检测和轮廓提取，使用128灰色标识出未知区域。通过图像当前像素点和背景像素点之间的颜色距离，空间距离、LAB色差计算出未知区域像素点，最后通过未知区域邻域采样前背景点α _p 估算方法，计算出未知区域的透明度α _p 。区别于传统的方法在于，不依赖输入参数，不限定背景色，对图像光照要求和背景均匀底低。方法涉及RGB-Lab色彩转换、图像聚类、图像形态学操作、边缘检测、轮廓提取、人像边缘定位、Lab色彩距离计算、肤色判断、人脸检测。

纯色背景图像自动抠像方法处理流程，包括步骤：

S1、对输入图像1(a)作 K-means聚类处理，对原始图像进行分割，获取图像的已知区域，即人像区域（255）和背景区域（0）。该方法采用距离作为相似性评价指标，认为两个对象的距离越近，其相似度越大。

S2、将聚类后的图像数据转换，生成和原图相同大小的初始遮罩图Mask图1(b)，标识出了已知区域。

对图1(b)进行图像腐蚀形态学操作，尽可能保留图像边缘细节，输出腐蚀图图1(c)。腐蚀使用3x3卷积核对图像进行逐行扫描，对卷积核中的所有像素点进行“或”操作，若计算结果为0，则该点值为0，否则为1。

S4、使用Canny方法，对图1(c)进行边缘检测，对结果图进行膨胀操作，增强图像轮廓图1(d)。膨胀使用3x3卷积核对图像进行逐行扫描，对卷积核中的所有像素点进行“与”操作，若计算结果为1，则该点值为1，否则为0；

S5、对图1(d)进行轮廓查找，根据轮廓点的最小外接矩形区域的相邻轮廓的最小外接矩形的空间距离，统计出属于人像边缘的所有轮廓点集合。

S6、由于存在人像区域像素点和背景像素点相似的情况，需要统计出人像边缘轮廓。遍历所有轮廓集合，当轮廓与人像边缘轮廓集合不相交时，直接在图1(c)上将其填白，表示该区域的轮廓为人像，使其不透明，输出修正后图像图1(e)。

S7、对图1(e)边缘检测，轮廓提取，获取所有未知区域的轮廓点图1(f)。

S8、遍历所有轮廓点，将原图该像素点的RGB值转换为lab 色彩空间。使用lab色彩空间差值统计方法，计算出该像素点和背景平均色彩的差值。差值越小，表示越接近背景色，差值越大，表示和背景相差越大，使用该差值作为填充半径，在图1（f）上使用128填充该轮廓点，标识出未知区域图1 (g)。

S9、未知区域邻域采样前背景点α _p 估算，可分为3个步骤：

9.1、对已知区域进行扩展，减小未知区域像素点。对一个未知点p，如果在其一定的领域半径内，存在已知的前景点或背景点q，则计算p和q的RGB空间欧氏距离，当其值小于5 / 256并且最靠近该点，则把p点归属于q所在的区域，减小未知区域像素点，减少计算量。

9.2、对未知区域内的每个点，按照一定的规则取样，并选择出最佳的一对前景和背景点。取样规则为设定参数k，表示一个未知像素点最多可能取样的前景点和背景点的个数。取样点可以组成的点对数目最多为k * k。对于每个未知点，从该点出发，引出k条路径，每个路径之间成2π/k 的夹角, 记录下每条路径经过的路线中首次遇到的前景或背景点,直到超出图像的边缘。根据得到的前景点，背景点以及当前点的颜色值，估算出当前点的α _p ；α _p 计算公式：

α _p = ((Cr – Br) * (Fr – Br) + (Cg – Bg) * (Fg – Bg) + (Cb – Bb) * (Fb– Bb))/((Fr – Br) * (Fr – Br) +(Fg – Bg) * (Fg – Bg)+(Fb – Bb) * (Fb – Bb))

其中C为当前点，F为前景点，B为背景点。假设上式中计算出的α _p 值合理，则使用α _p 结合F/B重新计算出的颜色应该和原始颜色的差距很小，同时在一定邻域内，由于像素一般不会有突变，差值的平均值也应该很小。最终在该点对集合中取出最佳的前背景点对和该未知点对应的α _p 。

9.3、重新计算前景，背景，透明度及可信度，最优的采样点对应该使色彩失真最小化。颜色失真可用表达式 M_p(F_i,B_j)=||Cp−(α _p *F_i+(1−α _p )*B_j) ||表示。其中Cp为p点颜色值，α _p 是p点的不透明度估算值。计算像素点p邻域内所有点的最优采样点对, 每个像素点p都可以得到一组 (F、B、α _p )使得其对应的M_p最小, 然后选择使M_p最小的k组(F、B、α _p ), 使用这k组数据的平均值来计算新的前景、背景、透明度及可信度。对前景和背景对以及透明值进行局部平滑，减少噪声，确定最终每个点的α _p 值。

S10、对原图进行人脸检测，提取人脸68个特征点，定位人脸范围。

S11、遍历原始图像，通过该点的RGB像素值，判断该点是否属于人脸区域、肤色，修正α _p 值，确保人脸区域的透明度为非0，输出最终遮罩图1(i) Alpha。肤色计算方式，可分别通过HSB色彩空间、Ycbcr色彩估算肤色范围，将RGB色彩转换到HSB和 Ycbcr。

HSB肤色判断公式：(h >7) &&（h < 30）&& (s >= 15) && (s < 256) && (b >50) && (b < 256)

Ycbcr肤色判断公式: (cr >= 134.5) && (cr <= 173) && (cb >= 77) && (cb<= 127)

S12、使用 alpha 混合公式 P(dst) = (1 -α _p ) * P(d) + P(s) * α _p ，替换原背景，输出最终图像图1(j)。其中，P(dst)表示输出值，P(d)表示需要替换的像素值，P(s)表示原像素值。附图中，使用白色（R：255，G：255，B：255）替换原图底色。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现纯色背景图像自动抠像方法的步骤。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现纯色背景图像自动抠像方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (7)

1.一种纯色背景图像自动抠像方法，其特征在于，包括如下步骤：

S1、采集原始图像，并对原始图像作K-means聚类处理，对所述原始图像进行分割，获取所述图像的已知区域，即人像区域和背景区域；

S2、将步骤S1中聚类后的图像进行数据转换，生成和原始图像相同大小的初始遮罩图，并标识出已知区域；

S3、对所述初始遮罩图进行图像腐蚀形态学操作，获取并输出腐蚀图；其中，所述图像腐蚀形态学操作，使用3x3卷积核对所述初始遮罩图进行逐行扫描，对卷积核中的所有像素点进行“或”操作，若计算结果为0，则该点值为0，否则为1；

S4、使用Canny方法，对所述腐蚀图进行边缘检测，对结果图进行膨胀操作，获得增强图像后的轮廓图；所述的膨胀操作使用3x3卷积核对所述结果图进行逐行扫描，对卷积核中的所有像素点进行“与”操作，若计算结果为1，则该点值为1，否则为0；

S5、对所述轮廓图进行轮廓查找，根据轮廓点的最小外接矩形区域的相邻轮廓的最小外接矩形的空间距离，统计出属于人像边缘的所有轮廓点集合；

S6、遍历所述的所有轮廓点集合，在当前轮廓点与人像边缘轮廓点集合不相交时，直接在所述腐蚀图上将其填白，表示该当前轮廓点的最小外接矩形区域为人像，使其不透明，输出修正后图像；

S7、对所述修正后图像进行边缘检测和轮廓提取，获取所有未知区域的轮廓点图；

S8、遍历所有轮廓点，将原始图像该轮廓点对应的像素点的RGB值转换为lab色彩空间；使用lab色彩空间差值统计方法，计算出原始图像该轮廓点对应的像素点和背景平均色彩的差值，使用该差值作为填充半径，在所述未知区域的轮廓点图上使用128灰色填充该轮廓点，标识出未知区域；

S9、对未知区域邻域采样前景点、背景点及透明度α_p进行估算；

其中步骤S9具体包括：9.1、对所述已知区域进行扩展，减小所述未知区域像素点；

9.2、对所述未知区域内的每个像素点，按照预定的规则取样，并选择出最佳的一对前景点和背景点；

9.3、重新计算前景，背景，透明度及可信度，在颜色失真最小化状态下获得最优采样点；

所述预定的规则为：设定参数k，表示一个未知像素点最多可能取样的前景点和背景点的个数，取样点可以组成的点对数目最多为k*k；对于每个未知点，从该点出发，引出k条路径，每个路径之间成2π/k的夹角,记录下每条路径经过的路线中首次遇到的前景点或背景点,直到超出图像的边缘；根据得到的前景点，背景点以及当前点的颜色值，估算出当前点的α_p；α_p计算公式：

α_p＝((Cr–Br)*(Fr–Br)+(Cg–Bg)*(Fg–Bg)+(Cb–Bb)*(Fb–Bb))/((Fr–Br)*(Fr–Br)+(Fg–Bg)*(Fg–Bg)+(Fb–Bb)*(Fb–Bb))

其中C为当前点，F为前景点，B为背景点，基于α_p值选择出最佳的一对前景点和背景点；Cr、Br、Fr分别表示当前点C、背景点B、前景点F对应RGB颜色的r分量；Cg、Bg、Fg分别表示当前点C、背景点B、前景点F对应RGB颜色的g分量；Cb、Bb、Fb分别表示当前点C、背景点B、前景点F对应RGB颜色的b分量；

S10、对原始图像进行人脸检测，提取人脸特征点，定位人脸范围；

S11、遍历所述原始图像，通过该原始图像上的像素点的RGB像素值，判断该原始图像上的像素点是否属于人脸区域、肤色，修正α_p值，确保人脸区域的透明度为非0，输出最终遮罩图Alpha；

具体的，分别通过HSB色彩空间、Ycbcr色彩估算肤色范围，将RGB色彩转换到HSB和Ycbcr，

HSB肤色判断公式：(h>7)&&(h<30)&&(s>＝15)&&(s<256)&&(b>50)&&(b<256)；

Ycbcr肤色判断公式:(cr>＝134.5)&&(cr<＝173)&&(cb>＝77)&&(cb<＝127)；

S12、使用Alpha混合公式P(dst)＝(1-α_p)*P(d)+P(s)*α_p，替换原背景，输出最终图像，其中，P(dst)表示输出值，P(d)表示需要替换的像素值，P(s)表示原像素值。

2.根据权利要求1所述的纯色背景图像自动抠像方法，其特征在于，所述原始图像的像素值只有三个，即0、128、255，其中0表示背景区域，128表示待计算的像素点，255表示前景区域即人像区域。

3.根据权利要求1所述的纯色背景图像自动抠像方法，其特征在于，在步骤S8中，所述差值越小，表示越接近背景色，差值越大，表示和背景相差越大。

4.根据权利要求1所述的纯色背景图像自动抠像方法，其特征在于，所述颜色失真的计算公式为：

M_p(F_i,B_j)＝||Cp-(α_p*F_i+(1-α_p)*B_j)||，

其中C_p为p点颜色值，α_p是p点的不透明度估算值，Fi、Bj表示任意一组(F、B、α_p)中的F、B；

计算像素点p邻域内所有点的最优采样点对,每个像素点p都可以得到一组(F、B、α_p)使得其对应的M_p最小,然后选择使M_p最小的k组(F、B、α_p),使用这k组数据的平均值来计算新的前景、背景、透明度及可信度；对前景和背景对以及透明值进行局部平滑，减少噪声，确定最终每个点的α_p值。

5.根据权利要求1所述的纯色背景图像自动抠像方法，其特征在于，在步骤S10中，所述人脸特征点为68个。

6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-5任一所述的方法的步骤。

7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现权利要求1-5任一所述的方法的步骤。

Images