CN105787938A - 一种基于深度图的人物分割方法 - Google Patents

Abstract

本发明公开了一种，其具体步骤如下：(1)、利用Kinect传感器采集同一时间的骨骼图、彩色图像和深度图像，并找到人体骨骼区域；(2)、将骨骼图区域节点坐标映射到深度图像中，找到一个最小的包含所有骨骼节点的矩形区域，以此确定深度图像中初始的人物区域；(3)、基于深度信息对初始的人物区域进行区域的迭代扩展，得到最终的包含完整人物对象的矩形区域；(4)、将包含完整人物对象的矩形区域作为种子区域，根据图像像素的深度信息和颜色信息设计能量函数，采用修改后的GrabCut算法得到最终的人物对象分割结果。本发明利用深度信息得到完整的包含人物对象的矩形区域，得到了较为准确和完整的人物对象分割结果。

Description

一种基于深度图的人物分割方法

技术领域

本发明涉及图像人物分割领域，具体地说是涉及一种基于深度图的人物分割方法。

背景技术

近年来，随着科学技术的迅猛发展，人物对象分割技术取得了迅速的发展，国内外一些研究机构和专家学者在此方面做了大量的理论研究和实际应用方面的工作，并取得了很多优秀的成果。

Hou、Zhang和Harel等人从频域、信息论、图论的角度研究图像显著性。Cheng等人先利用图像分割技术将图像分成几个区域，然后利用区域间颜色全局对比度计算出的图像显著性图具有精准度高，速度快等优点。Liu等人利用SLIC预分割算法，将图像预分割成若干个区域；然后利用颜色、空间的全局对比度、集中度、相似性计算得到的显著性模型，该方法速度快、并能点亮整个区域。

然而，这些模型都是根据颜色、方向、纹理等视觉信息来计算的，当这些信息并不突出时，其效果就会变差。深度信息在人类视觉系统中扮演重要角色，它能使人们分辨出具有相似外表属性的对象。利用立体相机或者Kinect传感器得到的深度信息可以在一定程度上解决这个问题，提升显著性性能。

发明内容

本发明的目的在于针对已有技术中的分割算法，提出一种基于深度图的人物分割方法，首先利用深度信息得到完整的包含人物对象的矩形区域，将其作为种子区域输入改进的GrabCut算法中得到最终的人物分割结果。该方法能够较为准确、完整地检测出人物对象区域。

为了达到上述目的，本发明采用的技术方案如下：

一种基于深度图的人物分割方法，具体步骤如下：

(1)、利用Kinect传感器采集同一时间的骨骼图像，彩色图像和深度图像，并找到人体骨骼区域；

(2)、基于骨骼图区域节点坐标，确定深度图像中初始的人物区域；

(3)、基于深度信息对初始的人物区域进行区域的迭代扩展，得到最终的包含完整人物对象的矩形区域；

(4)、将包含完整人物对象的矩形区域作为种子区域，根据图像像素的深度信息和颜色信息设计能量函数，采用修改后的GrabCut算法得到最终的人物对象分割结果。

所述步骤(1)中的找到人体骨骼区域的方法，具体步骤如下：

(1-1)、将原始骨骼图像分成L个连通区域后，找到面积最大的区域即为人体骨骼图区域，此方法能够消除骨骼图像存在少量的噪声干扰；

(1-2)、找到步骤(1-1)得到的人物骨骼的连通区域内像素最小的横坐标、最大的横坐标、最小的纵坐标和最大的纵坐标，以此确定一个最小的包含所有人物骨骼节点的初始矩形区域。

所述步骤(2)中的确定深度图像中初始的人物区域方法，具体步骤如下：将骨骼图区域节点坐标映射到深度图像中，找到一个最小的包含所有骨骼节点的矩形区域，以此确定深度图像中初始的人物区域。

所述步骤(3)中的深度图像人物区域扩展方法，具体步骤如下：

(3-1)、首先对深度图像进行三次中值滤波，有效去除原始深度图像中大部分的椒盐噪声，从而有利于下一步准确地利用深度信息；

(3-2)、将初始的包含人物对象的大矩形区域分为4*4块状矩形小区域，取出内部4个不与该大矩形区域边界接触的4个小矩形区域，求出这4个小矩形区域内像素的平均深度mDepth作为估计的人物对象所处深度，此方法能够有效消除初始人物对象矩形区域内背景像素的干扰；

(3-3)、以步骤(3-2)获取到的估计的人物对象所处深度作为基准，误差范围设为10％，以此作为区域扩展的准则对初始矩形区域的四条边在四个方向上分别进行区域扩展，以下以向上扩展为例进行说明，另外三个方向扩展同理；

(3-4)、对原始矩形区域向上进行区域扩展：取出所有与矩形区域上边界接触的像素，考察这些像素内是否有像素的深度包含[0.9*mDepth,1.1*mDepth]，若有，则将这些与矩形区域上边界接触的像素组成的边更新为矩形的上边界；若没有或者扩展到了整幅图像的上边界，则停止扩展，当前的矩形上边界即为最终的矩形上边界；

(3-5)、迭代重复(3-4)步骤，直至达到(3-4)中停止扩展的条件或者迭代次数达到10次，则停止迭代，得到最终的矩形上边界；

(3-6)、在左、下和右三个方向上进行与步骤(3-4)、(3-5)同理边界扩展之后，得到最终的包含完整人物对象的矩形区域。

所述步骤(4)中的人物分割方法，具体步骤如下：

(4-1)、取其步骤(3)中得到的包含完整人物对象的矩形区域作为包含对象种子区域，矩形区域以外的区域作为背景种子区域，并映射至彩色图像中；

(4-2)、利用图像像素的颜色信息定义，结合图像像素的深度信息，修改GrabCut算法中的能量函数：

E(L)＝R(L)+λB(L)

其中R(L)为区域项，B(L)为边界项，λ为平衡因子；令P＝{p₁,p₂,...,p_N}为图像中像素的集合，L＝{L₁,L₂,...,L_M}为一个标记的集合，L_p是L中的一项；对于前景/背景分割，区域项表示为：

$R_p\left(1\right)=-InPr\left(L_p\right|o_{\′}{\mathrm{bj}}^{\′})=-In\left(\frac{D\left(p\right)}{U_D}\right);R_p\left(0\right)=-InPr\left(L_p\right|b_{\′}{\mathrm{kg}}^{\′})=-In\left(\frac{1-D\left(p\right)}{U_D}\right)$

其中R_p(1)代表像素p分配给前景的可能性，R_p(0)代表像素p分配给背景的可能性；边界项表示为：

$B\left(L\right)=\underset{\{p,q\}\∈N}{\Σ}dist{(p,q)}^{-1}\·\left|e^{\frac{-{\left(\right||c_p-c_q||+||D_p-D_q|\left|\right)}^2}{2{\mathrm{\σ}}^2}}\right|$

其中，dist(p,q)表示两个像素点p和q位置的欧式距离，||c_p-c_q||为像素p和q之间的颜色欧式距离，σ²为所有像素对的颜色距离平方的均值，平衡因子λ在这里设置为7，来施加适度的标记平滑作用；将修改后的能量函数用GrabCut算法求解得到最终的人物分割结果。

本发明的基于深度图像的人物分割方法与现有的技术相比，具有以下二个创新点：

(1)、利用图像的深度信息，修正由骨骼图像得到的包含不完整人物对象的矩形区域，使其包含相对完整的人物对象。

(2)、将图像的深度信息与颜色信息相结合重新设计GrabCut算法的能量项，提高了对象分割的性能。

附图说明

图1是本发明的基于深度图的人物分割方法的流程图。

图2、图3、图4是本发明步骤(1)输入Kinect同一时间取得的同一时间的一帧彩色图像、一帧深度图像和一帧骨骼图像。

图5是本发明步骤(2)对一帧骨骼图像人体骨骼区域分割后的输出结果。

图6是本发明步骤(2)对骨骼图像区域坐标映射到深度图像示意图。

图7是本发明步骤(3)对一帧深度图像做中值滤波后的输出结果。

图8是本发明步骤(3)对一帧深度图像做向上的区域扩散示意图。

图9是本发明步骤(3)迭代计算深度图像后的最终结果。

图10是本发明步骤(4)根据深度图像映射到彩色图像人物区域的结果。

图11是本发明步骤(4)根据修改后的GrabCut分割的人物结果。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为2.6GHz、内存为8G的PC测试平台上编程实现。

如图1所示，本发明的基于深度图的人物分割方法，其具体步骤如下：

(1)、利用Kinect传感器采集同一时间颜色图像，深度图像和骨骼图像，如图2、图3、图4所示，并找到人体骨骼区域：

(1-1)、将原始骨骼图像分成L个连通区域后，找到面积最大的区域即为人体骨骼图区域，此方法可以消除骨骼图像存在少量的噪声干扰；

(1-2)、找到1-1得到的人物骨骼的连通区域内像素最小的横坐标、最大的横坐标、最小的纵坐标和最大的纵坐标，以此确定一个最小的包含所有人物骨骼节点的初始矩形区域。如图5所示。

(2)、基于骨骼图区域节点坐标，确定深度图像中初始的人物区域，如图6所示；将骨骼图区域节点坐标映射到深度图像中，找到一个最小的包含所有骨骼节点的矩形区域，以此确定深度图像中初始的人物区域。

(3)、利用深度信息和迭代的方法对初始的人物区域进行区域扩展，得到最终的包含完整人物对象的矩形区域：

(3-1)、首先对深度图像进行三次中值滤波，可有效地去除原始深度图像中大部分的椒盐噪声，从而有利于下一步准确地利用深度信息，如图7所示。

(3-2)、将初始的包含人物对象的大矩形区域分为4*4块状矩形小区域，取出内部4个不与该大矩形区域边界接触的4个小矩形区域，求出这4个小矩形区域内像素的平均深度mDepth作为估计的人物对象所处深度。此方法可以有效消除初始人物对象矩形区域内背景像素的干扰。

(3-3)、以(3-2)获取到的估计的人物对象所处深度作为基准，误差范围设为10％，以此作为区域扩展的准则对初始矩形区域的四条边在四个方向上分别进行区域扩展。以下以向上扩展为例进行说明，另外三个方向扩展同理。

(3-4)、对原始矩形区域向上进行区域扩展。取出所有与矩形区域上边界接触的像素，考察这些像素内是否有像素的深度包含[0.9*mDepth,1.1*mDepth]，若有，则将这些与矩形区域上边界接触的像素组成的边更新为矩形的上边界；若没有或者扩展到了整幅图像的上边界，则停止扩展，当前的矩形上边界即为最终的矩形上边界。

(3-5)、迭代重复(3-4)步骤，直至达到(3-4)中停止扩展的条件或者迭代次数达到10次，则停止迭代，得到最终的矩形上边界，如图8所示。

(3-6)、在右、下和左三个方向上进行和(3-4)与(3-5)同理边界扩展之后，得到最终的包含完整人物对象的矩形区域，如图9所示。

(4)、将包含完整人物对象的矩形区域作为种子区域，根据图像像素的深度信息和颜色信息设计能量函数，采用修改后的GrabCut算法得到最终的人物对象分割结果。

(4-1)、取其步骤(3)中得到的包含完整人物对象的矩形区域作为包含对象种子区域，矩形区域以外的区域作为背景种子区域。并映射至彩色图像中，如图10所示。

(4-2)、利用图像像素的颜色信息定义，结合图像像素的深度信息，修改GrabCut算法中的能量函数:

E(L)＝R(L)+λB(L)

其中R(L)为区域项,B(L)为边界项，λ为平衡因子。令P＝{p₁,p₂,...,p_N}为图像中像素的集合，L＝{L₁,L₂,...,L_M}为一个标记的集合，L_p是L中的一项。对于前景/背景分割，区域项可表示为：

$R_p\left(1\right)=-InPr\left(L_p\right|o_{\′}{\mathrm{bj}}^{\′})=-In\left(\frac{D\left(p\right)}{U_D}\right);R_p\left(0\right)=-InPr\left(L_p\right|b_{\′}{\mathrm{kg}}^{\′})=-In\left(\frac{1-D\left(p\right)}{U_D}\right)$

其中R_p(1)代表像素p分配给前景的可能性，R_p(0)代表像素p分配给背景的可能性。边界项可表示为：

$B\left(L\right)=\underset{\{p,q\}\∈N}{\Σ}dist{(p,q)}^{-1}\·\left|e^{\frac{-{\left(\right||c_p-c_q||+||D_p-D_q|\left|\right)}^2}{2{\mathrm{\σ}}^2}}\right|$

其中，dist(p,q)表示两个像素点p和q位置的欧式距离，||c_p-c_q||为像素p和q之间的颜色欧式距离，σ²为所有像素对的颜色距离平方的均值，平衡因子λ在这里设置为7，来施加适度的标记平滑作用。将修改后的能量函数用GrabCut算法求解得到最终的人物分割结果。得到最终的人物分割结果，如图11所示。

从图11仿真实验结果可以看出，本发明的方法利用的基于深度图作为人物分割方法，可以有效地分割出准确的人物结果。

Claims (5)

1.一种基于深度图的人物分割方法，其特征在于，具体步骤如下：

(1)、利用Kinect传感器采集同一时间的骨骼图像，彩色图像和深度图像，并找到人体骨骼区域；

(2)、基于骨骼图区域节点坐标，确定深度图像中初始的人物区域；

(3)、基于深度信息对初始的人物区域进行区域的迭代扩展，得到最终的包含完整人物对象的矩形区域；

(4)、将包含完整人物对象的矩形区域作为种子区域，根据图像像素的深度信息和颜色信息设计能量函数，采用修改后的GrabCut算法得到最终的人物对象分割结果。

2.根据权利要求1所述的基于深度图的人物分割方法，其特征在于，所述步骤(1)中的找到人体骨骼区域的方法，具体步骤如下：

(1-1)、将原始骨骼图像分成L个连通区域后，找到面积最大的区域即为人体骨骼图区域，此方法能够消除骨骼图像存在少量的噪声干扰；

(1-2)、找到步骤(1-1)得到的人物骨骼的连通区域内像素最小的横坐标、最大的横坐标、最小的纵坐标和最大的纵坐标，以此确定一个最小的包含所有人物骨骼节点的初始矩形区域。

3.根据权利要求1所述的基于深度图的人物分割方法，其特征在于，所述步骤(2)中的确定深度图像中初始的人物区域方法，具体步骤如下：将骨骼图区域节点坐标映射到深度图像中，找到一个最小的包含所有骨骼节点的矩形区域，以此确定深度图像中初始的人物区域。

4.根据权利要求1所述的基于深度图的人物分割方法，其特征在于，所述步骤(3)中的深度图像人物区域扩展方法，具体步骤如下：

(3-1)、首先对深度图像进行三次中值滤波，有效去除原始深度图像中大部分的椒盐噪声，从而有利于下一步准确地利用深度信息；

(3-2)、将初始的包含人物对象的大矩形区域分为4*4块状矩形小区域，取出内部4个不与该大矩形区域边界接触的4个小矩形区域，求出这4个小矩形区域内像素的平均深度mDepth作为估计的人物对象所处深度，此方法能够有效消除初始人物对象矩形区域内背景像素的干扰；

(3-3)、以步骤(3-2)获取到的估计的人物对象所处深度作为基准，误差范围设为10％，以此作为区域扩展的准则对初始矩形区域的四条边在四个方向上分别进行区域扩展，以下以向上扩展为例进行说明，另外三个方向扩展同理；

(3-4)、对原始矩形区域向上进行区域扩展：取出所有与矩形区域上边界接触的像素，考察这些像素内是否有像素的深度包含[0.9*mDepth,1.1*mDepth]，若有，则将这些与矩形区域上边界接触的像素组成的边更新为矩形的上边界；若没有或者扩展到了整幅图像的上边界，则停止扩展，当前的矩形上边界即为最终的矩形上边界；

(3-5)、迭代重复(3-4)步骤，直至达到(3-4)中停止扩展的条件或者迭代次数达到10次，则停止迭代，得到最终的矩形上边界；

(3-6)、在左、下和右三个方向上进行与步骤(3-4)、(3-5)同理边界扩展之后，得到最终的包含完整人物对象的矩形区域。

5.根据权利要求1所述的基于深度图的人物分割方法，其特征在于，所述步骤(4)中的人物分割方法，具体步骤如下：

(4-1)、取其步骤(3)中得到的包含完整人物对象的矩形区域作为包含对象种子区域，矩形区域以外的区域作为背景种子区域，并映射至彩色图像中；

(4-2)、利用图像像素的颜色信息定义，结合图像像素的深度信息，修改GrabCut算法中的能量函数：

E(L)＝R(L)+λB(L)

其中R(L)为区域项，B(L)为边界项，λ为平衡因子；令P＝{p₁,p₂,...,p_N}为图像中像素的集合，L＝{L₁,L₂,...,L_M}为一个标记的集合，L_p是L中的一项；对于前景/背景分割，区域项表示为：

$R_p\left(1\right)=-InPr\left(L_p{|}^{\′}{\mathrm{obj}}^{\′}\right)=-In\left(\frac{D\left(p\right)}{U_D}\right);R_p\left(0\right)=-InPr\left(L_p{|}^{\′}{\mathrm{bkg}}^{\′}\right)=-In\left(\frac{1-D\left(p\right)}{U_D}\right)$

其中R_p(1)代表像素p分配给前景的可能性，R_p(0)代表像素p分配给背景的可能性；边界项表示为：

$B\left(L\right)=\underset{\{p,q\}\∈N}{\Σ}dist{(p,q)}^{-1}\·\left|e^{\frac{-{\left(\right||c_p-c_q||+||D_p-D_q|\left|\right)}^2}{2{\mathrm{\σ}}^2}}\right|$

其中，dist(p,q)表示两个像素点p和q位置的欧式距离，||c_p-c_q||为像素p和q之间的颜色欧式距离，σ²为所有像素对的颜色距离平方的均值，平衡因子λ在这里设置为7，来施加适度的标记平滑作用；将修改后的能量函数用GrabCut算法求解得到最终的人物分割结果。