CN103578113A - 前景图像提取方法 - Google Patents

Abstract

本发明公开了一种前景图像提取方法，包括图像景深分类及色彩信息切割，图像景深分类采用Kinect设备找出前景图像的景深区域、背景图像的景深区域以及未侦测到景深的判断区域，所述色彩信息切割的方法包括：S1.将图像由RGB颜色空间转为L*a*b*颜色空间；S2.对图像进行sobel边缘检测；S3.对S2取得的边缘梯度值进行分水岭切割；S4.将L*、a*、b*色彩信息分别对应到分水岭切割后的区块中进行平均值与标准差的计算；S5.将前景图像区域的特征值与判断区域的特征值做比较，相似的区域加入前景图像区域中，不相近似的加入背景图像中。本发明采用结合图像的色彩特征对Kinect分类区域进行补充修正，改善了Kinect提取前景图像的准确率，同时缩短了提取的运算时间，提高计算效率。

Description

前景图像提取方法

技术领域

本发明涉及一种图像获取及处理领域，尤其涉及一种对获取的图像进行前景提取的方法。

背景技术

在近年来流行的智慧型装置中，非常强调人机互动，让人与机器之间能以简单、正确、迅速的方式进行沟通，为让人机互动形式更丰富、细腻，可以增加人脸识别、手势识别及体感识别等功能，其中，体感识别目前经常应用与商业及娱乐中，是一种较为热门的技术。这项技术的关键在于图像处理，在图像处理的技术领域中，对于任意场景环境中有效的对前景图像进行切割是个复杂的问题，尽管有许多学者提出各种方式来解决，如针对低景深图像进行显著物件的切割、图像颜色特征使用粒子群演算法来分类物体群、透过光度立体技术来达到基于形状的图像切割以及利用三角测量的方式找出图像中人的肢体进行切割等方式，这些方式都需要图像特征符合指定的条件才能进行，因此具有很大的挑战性。

在一个场景的图像中大致可以分为前景和背景，而显著物体大多会位于前景之中，而当一个场景图像结合了3D的深度信息，借由物体所对应的深度位置，就可以快速的分类出前景和背景的物体区域，也能在任意的场景环境中进行动态人像的切割。Microsoft推出的Kinect体感设备可以取得图像的色彩信息、景深信息、提供人像辨识和人体骨架等丰富的信息。其是使用红外线投影的方式计算图像景深，由于红外线在整个投影的过程中可能被光滑物体所折射或者被较黑的物体所吸收，会造成无法接收到信息的问题，让深度的信息流失，最后造成前景图像切割在边缘产生不规则的锯齿状或破洞的结果。

发明内容

本发明所要解决的技术问题在于，提供一种前景图像提取方法，包括图像景深分类及色彩信息切割，其中图像景深分类采用Kinect设备追踪校准找出前景图像的景深区域、背景图像的景深区域以及未侦测到景深的判断区域，为了让不确定的区域能产生在前景图像的周围，在对图像景深分类时对前景图像的区域进行扩张。

所述色彩信息切割的方法包括：

S1将图像由RGB颜色空间转为L*a*b*颜色空间，在色彩信息切割的时候，由于L*a*b*的设计较为接近人类的视觉，因此选择这种色彩空间进行处理。

S2对对图像L*值进行sobel边缘检测。

进一步地，步骤S2进行边缘检测之前针对L*进行平滑滤波去除杂讯。

S3对S2取得的边缘梯度值进行分水岭切割。

分水岭算法的分割概念是假设图像中像素点的值代表高度，而当一个局部区域中找到最低点，该点所影响到的范围就成为蓄水盆，在多个蓄水盆之间的所交接的边界就称为分水岭。

进一步地，由于Sobel的梯度图中有些微弱的梯度值用来表示人眼难以察觉的边缘特征，这些值会影响分水岭算法的判断，从而造成图像的过度切割，因此在进行分水岭切割前还对S2检测到的边缘梯度值进行削弱，让一些区块能够合并起来，排除过度切割的问题。

在本发明中，特征值是指在一个区块内特征数值化所代表的值，我们使用区块的平均值表示该区块整体的数值倾向，使用区块的标准差表示区块中数值的浮动程度，在步骤S4中，将L*、a*、b*色彩信息分别对应到分水岭切割后的区块中进行平均值与标准差的计算。

S5将前景图像区域的特征值与判断区域的特征值做比较，相似的区域加入前景图像区域中，不相近似的加入背景图像中。

进一步地，步骤S5中对与所述判断区域距离为D以内的前景区域进行特征值进行比较。

需要说明的是，在前景图像为人像的图像中，所述距离D为人像头部骨架点到颈部骨架点之间的半颗头骨架的距离。

进一步地，在距离所述判断区域为D以内的前景区域选取3个区块进行特征值比较。

实施本发明，具有如下有益效果：

本发明采用结合图像的色彩特征对Kinect分类区域进行补充修正，改善了Kinect提取前景图像的准确率，同时缩短了提取的运算时间，提高计算效率。

附图说明

图1是本发明流程示意图；

图2是采用Kinect设备对图像进行图像景深分类示意图；

图3是本发明判断区域产生过程的示意图；

图4是本发明分水岭切割的示意图；

图5是Sobel边缘检测示意图；

图6是分水岭过度切割的示意图；

图7是本发明分水岭切割的示意图；

图8是本发明寻找比较区块的示意图；

图9是本发明实验数据与结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，本发明的识别方法的步骤包括

采用Kinect设备追踪校准找出前景图像的景深区域、背景图像的景深区域以及未侦测到景深的判断区域;

采用色彩信息切割的方法在判断区域中进行切割区块的筛选；

去除为连接的区块从而形成新的前景图像。

色彩信息切割方法包括以下步骤：

S1将图像由RGB颜色空间转为L*a*b*颜色空间；

S2对图像进行sobel边缘检测；

S3对S2取得的边缘梯度值进行分水岭切割；

S4将L*、a*、b*色彩信息分别对应到分水岭切割后的区块中进行平均值与标准差的计算；

S5将前景图像区域的特征值与判断区域的特征值做比较，相似的区域加入前景图像区域中，不相近似的加入背景图像中。

采用Kinect找出的图像景深分类参照图2所示，其中图2（a）为实验采用的图像，图2（b）为图像的色彩信息，图2（c）为图像的景深分类，图2（d）为通过对图像的景深分类后提取的前景图像。

Kinect进行追踪校准时对图像景深的分类如图2（c）所示，其中区域Ⅰ为背景图像的景深区域，Ⅱ为前景图像的景深区域，图2（c）中空白的区域Ⅲ为判断区域。

本发明实施例的目的在于找出判断区域Ⅲ中所流失的前景图像区域。

图3是本发明判断区域产生过程的示意图，在实际操作中发现，由现有的Kinect设备实现的图像景深分类，不但有未检测到的前景图像区域的流失，还有一部分背景图像的区域被误归到前景图像的区域中。

图中图3（a）和图3（b）分别是经过分类后所产生的前景图像区域和背景图像区域，图3（c）为图3（a）侵蚀之后的结果，除去了部分背景图像被归类为前景的问题，图3（d）是图3（b）扩张后的结果，为一个包含完整人像的区域，图3（e）为人像的范围去掉背景图像区域所产生的可能区域，图3（f）则为图3（b）侵蚀后的结果，去掉前景图像中所掺杂到背景图像的问题，图3（g）是图3（e）可能区域去掉确定的人像区域后产生的判断区域，是本发明用来判断前景图像区域和背景图像区域的重要区域，图3（h）为判断区域对应到色彩信息的结果，从图中可以看出，判断区域能同时包含前景图像和背景图像。

在本实施例中，要生成判断区域，首先以[5×5]的圆侵蚀背景图像区域和前景图像区域，用来消除被错误分类到背景图像区域的前景图像，接着为了让判断区域能产生在前景图像区域附近，因此对前景图像区域进行[odd（D）×odd（D）]的圆进行扩张。

其中odd表示让数值无条件进位为奇数，D则表示在平面图像上人体头部的骨架点到颈部骨架点之间的欧几里得距离，这个参数可以直接从设备上获得，用骨架是因为在前景区域人像所失去的信息中以头部最为严重，有时候会严重到失去半个头，所以D用来作为扩张范围，让扩张的结果能保住整个人像，针对人像的可能区域转换公式如（1）所示：

Hu^possible(i)=max(Fg^expansion(i)-Bg^erosion(i),0)        (1)

其中i为当前的像素点，max（）为取最大值，而取出的最小值为0，Fg^expansion代表扩张后的前景图像区域，Bg^erosion代表侵蚀后的背景图像区域，Hu^possible代表人像的可能区域。为了进一步缩小可能区域的范围，需要减去信息没有分类错误的前景图像区域来形成判断区域，转换公式如（2）所示：

Judge^area(i)=max(Hu^possible(i)-Hu^identified(i),0)     (2)

Hu^identified代表侵蚀后的前景图像区域，这个区域也代表在本实施例中不会变动的已确定的人像区域，Judge^area代表判断区域，作为用来选取加入人像区域的重要区域。

如图4所示是本发明分水岭切割的示意图，分水岭算法的分割概念是假设图像中像素点的值代表高度，而当一个局部区域中找到最低点，该点所影响到的范围就成为蓄水盆，在多个蓄水盆之间的所交接的边界就称为分水岭。

如图所示，假设图4（a）为Gradient梯度图的梯度值，在图4（b）中梯度剪头的指向将由像素点周围8个方位的梯度值所决定，箭头指向较小的值也就是较低的点，而当周围的梯度值都大于目前像素点的梯度值时，就产生了这个区域的最低点，最后在影响范围内划分出区块，进而形成分水岭的切割。

优选地，由于Sobel的梯度图中有些微弱的梯度值用来表示人眼难以察觉的边缘特征，这些值会影响分水岭算法的判断，从而造成图像的过度切割，因此在进行分水岭切割前还对S2检测到的边缘梯度值进行削弱，让一些区块能够合并起来，排除过度切割的问题。对微弱梯度值削弱的公式如（3）（4）（5）所示：

e=(max(Gradient)-min(Gradient))×t+min(Gradient)      （3）

NewGradient(i)=max(Gradient(i)-e,0)         （4）

S=watershed(NewGradient)            （5）

在公式（3）中max（）表示为取最大值，min（）为取最小值，t表示在最大梯度值和最小的梯度值之间要削弱的程度范围，而e代表阈值，i为目前的像素位置，在公式（4）里，Gradient为sobel所产生的梯度图，NewGradient表示为被削弱过后的梯度图，过程中表示当像素中梯度值小于e时，则新的梯度值设为0，watershed（）为进行分水岭的切割，最后公式（5）的D代表NewGradient经由分水岭切割后的切割图。以上过程的结果如图5～图7所示，图5为经过Sobel边缘检测后所产生的梯度图，图6为分水岭切割后，由于微小梯度的干扰太多造成的过度切割，图7是经过本发明方法将梯度图削弱后经过分水岭切割后的呈现的物体的区块示意图。

在本发明中，特征值是指在一个区块内特征数值化所代表的值，我们使用区块的平均值表示该区块整体的数值倾向，使用区块的标准差表示区块中数值的浮动程度，在计算的过程4中，将L*、a*、b*色彩信息分别对应到分水岭切割后的区块中进行平均值与标准差的计算。以j代表目前在S的区块位置，Sj代表分水岭切割后的区块，而L(S_j)、a(S_j)、b(S_j)代表区块S_j所对应色彩信息的平均值特征，Lσ(S_j)、aσ(S_j)、bσ(S_j)即为区块Sj所对应色彩信息的标准差特征。

图8是本发明寻找比较区块的示意图，其中Ⅳ为已确定前景图像区域，Ⅴ为前景图像边缘区域，Ⅵ为判断区域，Ⅶ为以确定的背景图像区域。本发明方法是利用在前景图像边界区块中特征值与判断区域里区块的特征值做比较。首先需找到在人像边缘的区域后，对映到S的边缘区块Ⅷ，称之为前景边界区块，对映到S的判断区域，则称之为判断区块，其公式表达如（6）（7）（8）所示：

$\mathrm{FB}=\left[\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right]$

Hu^boundry=filter(Hu^identified,FB)     （6）

${\mathrm{HB}}_m^{\mathrm{region}}=S_j,\mathrm{if}({\mathrm{Hu}}_i^{\mathrm{boundry}}\∈S_j^p)---\left(7\right)$

${\mathrm{Judge}}_n^{\mathrm{region}}=S_j,\mathrm{if}({\mathrm{Judge}}_i^{\mathrm{area}}\∈S_j^p)---\left(8\right)$

FB代表边缘检测的遮罩，在公式（6）中filter（）代表滤波器，代表已确定前景区域Hu^identified的边缘；在公式（7）中代表边缘经过切割图S中的区块，称为前景图像边界区块；而公式（8）里的代表判断区域

所涉及到切割图S中的区块，称为判断区块；而m，n则代表各自独立的区块位置。

接着让判断区块跟人像边界区块进行不相似的比较，而找出符合比较条件区域的规则如公式（9）所示：

$\stackrel{\&OverBar;}{{\mathrm{Judge}}_n^{\mathrm{region}},{\mathrm{HB}}_m^{\mathrm{eregion}}}<D---\left(9\right)$

其中

表示各个区块间最短的欧几里得距离；D为头部骨架点到颈部骨架点之间半颗头骨架的距离。该方法主要是以判断区域

为中心，然后找出前景图像边界区块群

中两区块距离在D范围内的区块，在这些被选中的区块里，优选最近的3个区块作为比较区块，而只要其中一段的区块有符合比较条件，

这个区块则进一步成为所需要的结果，在这里是一对多的关系，而这3段距离还必须要符合小于D的限制，以达到缩小判断的搜寻范围，才不会让在不可能位置上的区块因近似而被加入进来。

通过上述方式取得待比较的区块，再通过区块间的差异性，将找到的前景图像边界区域减去判断区域的特征值，而表示两区块间的平均值的差值；则表示两区块间的标准差的差值，其中k表示由最短距离选中3个区块中的其中一个区块的位置，这3个区块之后都将独自进行各自的运算。最后利用整体区块间的平均值的差减去整体区块间标准差的差，可以计算出各区块间的不相似程度，值越大表示切割品值越好，因此参考这个特性来比较两区块间的不相似程度，所设计方法的公式如（10）（11）所示

$L_{n,k}^{\mathrm{Not}\_\mathrm{similar}}=\mathrm{abs}({\stackrel{\&OverBar;}{L}}_{n,k}^{\mathrm{different}}-L{\mathrm{\&sigma;}}_{n,k}^{\mathrm{different}}),$

$a_{n,k}^{\mathrm{Not}\_\mathrm{similar}}=\mathrm{abs}({\stackrel{\&OverBar;}{a}}_{n,k}^{\mathrm{different}}-a{\mathrm{\&sigma;}}_{n,k}^{\mathrm{different}}),---\left(10\right)$

$b_{n,k}^{\mathrm{Not}\_\mathrm{similar}}=\mathrm{abs}({\stackrel{\&OverBar;}{b}}_{n,k}^{\mathrm{different}}-b{\mathrm{\&sigma;}}_{n,k}^{\mathrm{different}})$

${\mathrm{pass}}_j=S_j\mathrm{if}(S_j\&Element;{\mathrm{Hu}}_i^{\mathrm{identified}})$

$\mathrm{orif}\left(\begin{array}{c}{L}_{n,k}^{\mathrm{Not}\_\mathrm{similar}}<T_1\\ \mathrm{and}{a}_{n,k}^{\mathrm{Not}\_\mathrm{similar}}<T_2\\ \mathrm{and}{b}_{n,k}^{\mathrm{Not}\_\mathrm{similar}}<T_2\\ \mathrm{and}{\mathrm{Judge}}_n^{\mathrm{region}}\&Element;S_j\end{array}\right)---\left(11\right)$

在公式（10）中abs（）代表取绝对值，使用的原因是因为a*、b*的信息中含有负值，而在（11）中

代表计算出来的不相似程度；T1、T2则表示入选的阈值，由于L*属于亮度信息，a*、b*则为色彩信息，因此采用2个阈值。在pass_j的部分是用来统计结合有被通过的前景图像区块。首先，以确定的前景图像所涉及的区块通过pass_j，接着经由k的变化最多进行3次不相似运算，若其中一次结果符合条件，则把这个区块所对映到的S_j加进到pass_j中。当pass结果出来时会有一些小区块因特征相似而被选进来，但却没有和前景图像相连接起来，所以，本实施例的优选方案中，在计算时比较区域间的面积，选择较大的面积而将小的区块排除。

图9是本发明实验数据与结果示意图，实验在光线充足的环境下进行，采取5组不同的图像数据，分别以不同的衣服、姿势、背景来做实验，将梯度的阈值e设定为0.01，亮度阈值T1为25，色彩阈值T2为15，实验结果如图所示。

本实验采用统计切割错误率的方法来测量实验的结果，其方法的公式如（12）所示：

$\mathrm{error}(M_{\mathrm{seg}},M_{\mathrm{gt}})=\frac{\mathrm{\&Sigma;}(x,y)\mathrm{Mseg}(x,y)\&CircleTimes;\mathrm{Mgt}(x,y)}{\mathrm{\&Sigma;}(x,y)\mathrm{Mgt}(x,y)}---\left(12\right)$

其中，error为结果的错误率，M_seg则代表输入Kinect的切割结果或本发明方法的切割结果，Mgt表示为手动切割的图，

为XOR布林运算，所以输入的切割资料离手动切割的差距越大，错误率越高，表1为根据图9所示的5张实验数据所计算出的错误率和运算时间。

在错误率方面，从Kinect分割结果中可以发现，人像的头部有很大的信息流失，而人脸是人像最为重要的地方。从表中数据可以看出本发明方法可以把人像头部更为完整地呈现出来。

在运算时间方面，本文方法使用MATLAB来进行单张图像处理，运算时间大约为0.35秒，由于Carlo Dal Mutto等人所提出方法所花的0.5秒。

整体的实验结果表明本发明方法可以把人像较为完整的提取出来，而错误率基本控制在10%以内，改善了Kinect的切割。

错误率和运算时间

编号	Kinect错误率	本文方法错误率	运算时间(秒)
				(a)	24.47%	9.39%	0.354476
(b)	14.26%	8.53%	0.347745
				(c)	14.05%	7.79%	0.343879
(d)	16.28%	6.12%	0.342203
				(e)	13.05%	7.09%	0.345199

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种前景图像提取方法，包括图像景深分类及色彩信息切割，其中图像景深分类采用Kinect设备追踪校准找出前景图像的景深区域、背景图像的景深区域以及未侦测到景深的判断区域，其特征在于，所述色彩信息切割的方法包括：

S1将图像由RGB颜色空间转为L*a*b*颜色空间；

S2对图像进行sobel边缘检测；

S3对S2取得的边缘梯度值进行分水岭切割；

S4将L*、a*、b*色彩信息分别对应到分水岭切割后的区块中进行平均值与标准差的计算；

S5将前景图像区域的特征值与判断区域的特征值做比较，相似的区域加入前景图像区域中，不相近似的加入背景图像中。

2.根据权利要求1所述的前景图像提取方法，其特征在于，在对图像景深分类时对前景图像的区域进行扩张。

3.根据权利要求1所述的前景图像提取方法，其特征在于，步骤S2中对L*值进行边缘检测。

4.根据权利要求3所述的识别方法，其特征在于，步骤S2进行边缘检测之前针对L*进行平滑滤波去除杂讯。

5.根据权利要求1所述的前景图像提取方法，其特征在于，步骤S3进行分水岭切割S2检测到的边缘梯度值进行削弱。

6.根据权利要求1所述的前景图像提取方法，其特征在于，步骤S5中对与所述判断区域距离为D以内的前景区域进行特征值进行比较。

7.根据权利要求6所述的前景图像提取方法，其特征在于，在距离所述判断区域为D以内的前景区域选取3个区块进行特征值比较。

8.根据权利要求1～7任意一项所述的前景图像提取方法，其特征在于，所述前景图像为人像。

Images