CN103164858A - 基于超像素和图模型的粘连人群分割与跟踪方法 - Google Patents

Abstract

本发明实施例公开了一种基于超像素和图模型的粘连人群分割与跟踪方法，用于拥挤人群的目标分割和跟踪，鲁棒性好，适应性强，能够精准地提取每个目标的轮廓，能为后续数据处理提供干净的数据。其包括以下步骤：对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景；对运动前景进行超像素预分割获取前景超像素分割图；根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界。

Description

基于超像素和图模型的粘连人群分割与跟踪方法

技术领域

本发明属于图像数字处理技术领域，特别地涉及一种基于超像素和图模型的粘连人群分割与跟踪方法。

背景技术

近年来，随着国民经济的快速增长、社会的迅速进步和综合国力的不断增强，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，要求越来越高，视频监控在生产生活各方面得到了非常广泛的应用。需要人工值守的视频监控系统在许多方面已经显示出它的不适应性，如果想要在海量的视频数据中快速找出想要的内容，需要浪费大量的人力资源，而且当操作人员连续监视屏幕超过20分钟时，他的注意力将会下降到一个很低的水平，容易遗漏大部分的视频信息。因此，视频监控的“智能化”就显得尤为重要。智能视频监控是在数字化、网络化基础上发展起来的一种更高端的监控技术，它利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，实现内容分析、事件侦测，能在异常情况发生时及时产生警报或控制信号，同时系统也能记录视频数据，并对记录进行智能搜索，生成结果分析报告。

例如对于一个监控行人的智能系统，其任务是分析被监控对象的行为信息或是身份信息。通常该类系统采用的方案是：首先将目标从背景中提取出来；然后根据目标的四肢、躯干、纹理等特征综合地分析人的行为。将目标从背景中提取出来就是一个分割的过程。

视频对象分割是图像处理技术的难题之一，也是图像分析、模式识别和计算机视觉等高级图像操作的关键步骤，图像分割的结果在很大程度上影响着后期图像处理效果和质量。在实际场景中，由于拍摄角度、阴影、以及人体目标之间的相互接触，会造成一个运动块对应多个人，这对于单个目标的准确分割是一个严峻的挑战。近年来，学者们对此进行了大量的研究并提出许多可行的方法，但都存在着一些弊端。常见的粘连人群分割方法有以下几种：

(1)基于投影的分割方法

该方法将运动前景向垂直方向投影，根据人体的形状特征，分割人体目标，但该方法将人体当成一个矩形来分割，无法有效获得目标的完整轮廓，而且当多个人处在同一垂直线上时，由于投影的峰谷特征不明显，难以实现准确分割。

(2)基于人体模型的分割方法

该方法一般要先构造多个人体姿态模型模拟人的行走姿态，通过对身体部分进行分级匹配获得较精确的目标姿态模型。该方法设计的目标模型个数多，导致模型匹配的计算量大，算法复杂。而且仅能依据所匹配的目标姿态模型对人体目标进行粗略的分割，无法提取精确的目标轮廓。

(3)基于多摄像机协作拍摄的分割方法

该方法使用多个相互远离的同步监控摄像机，采用宽基线区域立体视觉算法和区域特征匹配算法，从多个二维图像中恢复出目标的姿态信息。这种方法在实际应用中存在费用高、安装调试繁琐等缺点。

故，针对目前现有技术中存在的上述缺陷，实有必要进行研究，以提供一种方案，解决现有技术中存在的缺陷，避免造成人体目标无法准确分割，对后续数据处理提供的数据不准确。

发明内容

为解决上述问题，本发明的目的在于提供一种基于超像素和图模型的粘连人群分割与跟踪方法，该方法用于拥挤人群的目标分割和跟踪，鲁棒性好，适应性强，能够精准地提取每个目标的轮廓，能为后续数据处理提供干净的数据。

为实现上述目的，本发明的技术方案为：

一种基于超像素和图模型的粘连人群分割与跟踪方法，包括以下步骤：

S11，对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景；

S12，对运动前景进行超像素预分割获取前景超像素分割图；

S13，根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界，具体步骤为：S131，构建一个人体形状模型，并对人体目标进行模板匹配；S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重；S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重；S134，确定一个分割起始点和结束点，在加权图上找到代价最小的路径，即为粘连人体的最佳分割边界。

优选地，步骤S11具体包括以下步骤：S111，对原始输入视频序列图像进行背景建模，通过背景差分法，获得运动目标，此时得到目标前景为1背景为0的二值图像，对二值图像进行区域投影，并对投影进行平滑处理，筛选出符合条件的波峰点，并将这些波峰点与前一帧的目标头顶预测点的位置进行匹配，获得当前图像新出现的头顶候选点；S112，对新出现的头顶候选点周围区域进行头部检测，剔除误检测点，获得真实的头顶点；S113，对目标头部进行跟踪，并对目标头部顶点在下一帧的位置进行预测。

优选地，步骤S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重具体包括以下步骤：S1321，根据头顶点的位置，寻找目标的脚底点的位置，当脚底点被遮挡时，对目标的身高进行估计，从而获得目标脚底点的估计位置，通过脚底点的位置估计目标间的前后位置关系；S1322，对目标进行模板匹配；S1323，计算超像素分割图上的每条边和目标先验形状的差异程度，具体算法实现采用了基于形状上下文方法对两段曲线进行差异性度量，并加入欧氏距离算法对分割图上的边和目标先验形状的空间距离进行衡量。

优选地，步骤S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重具体包括以下步骤：S1331，将RGB三个颜色通道的每个颜色通道均匀量化为n个等级，三个通道总共可以量化为n³个区间；S1332，计算每个区间的直方图；S1333，采用巴氏系数测量相邻区域的相似度。

与现有技术相比，本发明的有益效果如下：

(1)本发明实施例将检测和跟踪联合起来，可以避免漏检、错检等情况，提高头部检测的准确性，可以检测出每个目标的头部区域，实现目标的精确定位；

(2)本发明实施例利用人体先验形状和相邻区域的颜色信息，在超像素分割图上找到粘连目标的最优分割边界，在超像素分割图上每一条边都有两块与之相邻的像素块，这两块区域的颜色越相似那么它们之间的共同边界越不可能成为分割边界，同时，边的形状和人体先验模型越接近越有可能成为分割边界。根据上述的颜色信息和形状信息对每条边进行权重计算，构建一个加权图模型，通过最短路径算法，得到粘连目标的最佳分割边界。使用该方法找到的分割线贴合人体轮廓，具有较好的分割结果，能为后续处理提供干净的数据。

附图说明

图1为本发明实施例的基于超像素和图模型的粘连人群分割与跟踪方法的流程图；

图2为本发明实施例的基于超像素和图模型的粘连人群分割与跟踪方法的S13的子流程图；

图3为一具体应用实例中的原始图像；

图4为图3经检测后得到的运动前景图像；

图5为图4所示的目标头部检测的结果图；

图6为运动前景超像素分割结果图；

图7为人体模型图；

图8为目标头顶点、分割起始点以及结束点的位置示意图；

图9为模板匹配的结果图；

图10为图4所示的粘连人体分割线的结果图；

图11为图4的最终分割结果图；

图12a为现有技术中的投影法的分割效果图；

图12b为现有技术中的基于人体模型的分割效果图；

图12c为利用本发明实施例的方法的分割效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，所示为本发明实施例的基于超像素和图模型的粘连人群分割与跟踪方法的流程图，其包括以下步骤：

S11，对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景，其中图3所示为一具体应用实例中的原始图像，图4所示为经检测后得到的运动前景图像；

其中步骤S11具体包括以下步骤：

S111，对原始输入视频序列图像进行背景建模，通过背景差分法，获得运动目标，此时得到目标前景为1背景为0的二值图像，对二值图像进行区域投影，并对投影进行平滑处理，筛选出符合条件的波峰点，将大于阈值T1的点选择为波峰点，并将这些波峰点与前一帧的目标头顶预测点的位置进行匹配，获得当前图像新出现的头顶候选点；在具体应该实例中，在背景建模中可选用高斯背景建模法。

S112，对新出现的头顶候选点周围区域进行头部检测，剔除误检测点，获得真实的头顶点，在具体应用实例中，头部检测的方法可以选用Hough霍夫圆检测法。

S113，对目标头部进行跟踪，并对目标头部顶点在下一帧的位置进行预测，具体应用实例中，采用卡尔曼滤波算法，图5所示为图4所示的目标头部检测的结果图。

S12，对运动前景进行超像素预分割获取前景超像素分割图，效果如图6所示；

具体应用实例中，采用Turbopixels超像素分割算法对目标前景进行预分割，目标前景图像被分割为多个颜色相近，大小均匀，边缘描述性较好的区域。图6所示为对运动前景进行预分割后得到的超像素分割图。

S13，根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界。

参见图2，其中S13进一步包括以下步骤，

S131，构建一个人体形状模型，并对人体目标进行模板匹配；

(1)构建人体形状模型(也可称为先验形状模型)

利用三个椭圆分别代表头、躯干和腿来描述人体的粗略形状，如图7所示，本发明实施例模型中三个椭圆各部分的比例如表1所示，若已知目标的头顶点和身高，即可确定模型中各个椭圆的尺寸。

表1  人体模型各部分比例

在S11中已获得各目标的头顶位置，对于其脚部未被遮挡的目标可以通过寻找目标的最低点来估计其身高，对于其脚部被遮挡的目标可以通过下式估算得到：

height′＝g(x，y)

其中，(x，y)为目标头顶点在图像中的坐标，g(·)为目标头顶所在平面的射影变换函数，此处估计的身高为一个正常成年人的平均身高。

(2)对人体目标进行模板匹配

本发明实施例采用在限定的小范围区域内滑动模板图像进行相似性计算的方法对目标实现模板匹配。模板匹配是指在一幅图像中使用已知的模板通过某种准则检测出目标物图像的一个过程。本发明中的模板指的是上述所说的人体形状模型。设已知模板图像T大小为M×N，待检测的图像为I，匹配的过程就是把模板T叠加在图像I上，比较T与它覆盖下子图像I_x，y的差别。其中，(x，y)为模板T左上角在图像I上的坐标，根据每个目标头顶点的位置选择(x，y)。作为优选，可以使用平方差匹配法来衡量图像T与I_x，y的相似度，计算公式如下：

$R(x,y)=\underset{x^{\′},j^{\′}}{\mathrm{\Σ}}{(I(x+x^{\′},y+y^{\′})-T(x^{\′},y^{\′}))}^2$

S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重；

在具体应用实例中，S132包括以下步骤：

S1321，根据头顶点的位置，寻找目标的脚底点的位置，当脚底点被遮挡时，对目标的身高进行估计，从而获得目标脚底点的估计位置，通过脚底点的位置估计目标间的前后位置关系，图8所示为目标头顶点、分割起始点以及结束点的位置示意图；

S1322，对目标进行模板匹配，图9所示为模板匹配的结果图；

S1323，计算超像素分割图上的每条边和目标先验形状的差异程度，具体算法实现采用了基于形状上下文方法对两段曲线进行差异性度量，并加入欧氏距离算法对分割图上的边和目标先验形状的空间距离进行衡量。

具体地，假设加权图上边e＝(x_i，x_j)的点集为V＝{v₁，v₂，…，v_N}，对应先验形状轮廓的点集为U＝{u₁，u₂，…，u_M}。函数f(·)表示V→U刚体映射关系，形状权重可以表示为：

w_s(e)＝λDissimilarityCost(v_n，f(v_n))+γDistCost(v_n，f(v_n))

其中，第一项表示两条曲线经变换后的特征向量之间的距离，本文选用基于形状上下文方法进行曲线相似性度量；第二项表示两条曲线的平均位移。边的形状与目标先验轮廓差异越大和边的位置与目标先验轮廓的位置差异越大，说明该边成为分割边界的代价越大。

综合考虑上述两项权重，边e＝(x_i，x_j)总的权重可以表示为：

$w\left(e\right)=\∂w_c\left(e\right)+\mathrm{\β}{w}_s\left(e\right)$

由于，粘连的目标之间有可能会出现衣服颜色相近的情况，仅凭颜色信息并不能对所有粘连人体进行准确地分割，因此，需要加入人体先验形状信息对分割线的形状进行约束。综合考虑颜色和形状信息，根据上述计算得到每一条边的权重，即该边成为分割边界的所需花费的代价，代价越小，越有可能成为分边界。

S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重；

在具体应用实例中，S133具体包括以下步骤：

S1331，将RGB三个颜色通道的每个颜色通道均匀量化为n个等级，三个通道总共可以量化为n³个区间；

S1332，计算每个区间的直方图；

S1333，采用巴氏系数测量相邻区域的相似度。

具体地，假设图上的边e＝(x_i，x_j)的颜色权重为w_c(e)，它表示相邻像素块x_i，x_j之间的颜色差异度。本发明实施例采用RGB颜色空间来统计每个像素块的直方图。首先将每个颜色通道均匀量化为n个等级，三个通道总共可以量化为n³个区间，然后计算每个区间的直方图，最后采用巴氏系数测量相邻区域x_i和x_j的相似度：

$\mathrm{\ρ}(x_i,x_j)=\underset{u=1}{\overset{n^3}{\mathrm{\Σ}}}\sqrt{{\mathrm{Hist}}_{x_i}^u\·{\mathrm{Hist}}_{x_j}^u}u$

其中，

和

分别表示区域x_i和x_j的直方图。上标u表示直方图的第u个区间。ρ越大表示两个像素块的颜色差异越小。那么，w_c(e)最终可以表示为：

w_c(e)＝1-ρ(x_i，x_j)(0≤ρ≤1)。

S134，确定一个分割起始点和结束点，在加权图上找到代价最小的路径，即为粘连人体的最佳分割边界。

通过以上描述已经得到了各个目标头顶点的精确位置和脚底点的估计位置，在像平面内根据脚底点的位置可以估计图像中目标间的遮挡关系。在目标外轮廓线上，找到两目标头顶点之间的最低波谷作为分割的起始点，并根据遮挡的位置关系，在粘连的区域内找到两目标最低点之间的一个波峰作为分割的结束点。

图10所示为在确定分割起始点后，在加权图上，找到的花费代价最小的路径作为粘连人体分割线的结果图。图11为在找到粘连人体直接的分割线的基础上，结合运动前景的轮廓信息得到的最终粘连人群分割效果图。在图12a至图12c中，显示了一组对比仿真实验结果，使用了三种不同的分割方法。现有技术中的投影法的分割效果如图12a所示，是用一条直线来描绘粘连人体的分割边界，当粘连人体在图像中呈上下位置关系时，投影的峰谷并不明显，容易出现分割不准确的情况。另一种现有技术中的基于人体模型的分割效果如图12b所示，该方法通过模板匹配的方法解决粘连人体的分割问题，对人体模型的精确度要求比较高。上述两种方法都无法得到贴合人体轮廓线的分割结果。由于发明实施例的方法综合了超像素分割、相邻区域的颜色特征和人体形状特征，具有比其他两种更好的分割效果，能够获提取每个目标的精细区域，分割效果如图12c所示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，包括以下步骤：

S11，对原始输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息，其中包括运动前景；

S12，对运动前景进行超像素预分割获取前景超像素分割图；

S13，根据人体先验形状信息和颜色信息在前景超像素分割图上构建一个加权图模型，通过寻找最优路径的方法找到粘连目标之间的最佳分割边界，具体步骤为：S131，构建一个人体形状模型，并对人体目标进行模板匹配；S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重；S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重；S134，确定一个分割起始点和结束点，在加权图上找到代价最小的路径，即为粘连人体的最佳分割边界。

2.根据权利要求1所述的基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，步骤S11具体包括以下步骤：S111，对原始输入视频序列图像进行背景建模，通过背景差分法，获得运动目标，此时得到目标前景为1背景为0的二值图像，对二值图像进行区域投影，并对投影进行平滑处理，筛选出符合条件的波峰点，并将这些波峰点与前一帧的目标头顶预测点的位置进行匹配，获得当前图像新出现的头顶候选点；S112，对新出现的头顶候选点周围区域进行头部检测，剔除误检测点，获得真实的头顶点；S113，对目标头部进行跟踪，并对目标头部顶点在下一帧的位置进行预测。

3.根据权利要求1或2所述的基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，S132，根据前景超像素分割图上的边与目标模型的形状差异性构建边界的形状权重具体包括以下步骤：S1321，根据头顶点的位置，寻找目标的脚底点的位置，当脚底点被遮挡时，对目标的身高进行估计，从而获得目标脚底点的估计位置，通过脚底点的位置估计目标间的前后位置关系；S1322，对目标进行模板匹配；S1323，计算超像素分割图上的每条边和目标先验形状的差异程度，具体算法实现采用了基于形状上下文方法对两段曲线进行差异性度量，并加入欧氏距离算法对分割图上的边和目标先验形状的空间距离进行衡量。

4.根据权利要求1或2所述的基于超像素和图模型的粘连人群分割与跟踪方法，其特征在于，S133，根据前景超像素分割图上每条边相邻区域像素块之间的颜色差异构建边界的颜色权重具体包括以下步骤：S1331，将RGB三个颜色通道的每个颜色通道均匀量化为n个等级，三个通道总共可以量化为n³个区间；S1332，计算每个区间的直方图；S1333，采用巴氏系数测量相邻区域的相似度。

Images