CN103793715B - 基于场景信息挖掘的井下人员目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于场景信息挖掘的井下人员目标跟踪方法，对井下灰度图像采用自适应多高斯背景建模得到背景估计图像，根据背景估计图像对井下灰度图像进行背景减除得到运动目标区域，通过判断光斑填充前后运动目标区域与背景估计图像的互相关系数的上升程度是否大于预设阈值，排除光斑运动区域，对人员运动区域进行粒子滤波跟踪，得到目标跟踪结果，再采用阴影腌膜去除目标跟踪结果中的阴影像素，最后采用竖直投影方法对前景框大小进行优化，得到最终目标跟踪结果。本发明根据背景估计图像，对包括光斑、阴影的场景信息进行处理，从而提高井下恶劣视频条件下人员目标跟踪的准确性和鲁棒性。

Description

基于场景信息挖掘的井下人员目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于场景信息挖掘的井下人员目标跟踪方法。

背景技术

随着煤矿等矿井区域安全生产管理水平的提高，井下智能视频监控的应用越来越广泛。智能视频监控系统的目标是通过一定的算法，克服煤矿井下视频图像色彩、纹理信息少、光线不足、对比度低、存在光斑噪声干扰等问题，对目标进行跟踪，并对目标的越界、停留等违规行为进行识别和预警。

目前针对井下人员目标跟踪，大多采用结合多特征的连续自适应均值漂移（Continuously Adaptive Meanshift，Camshift）算法，Kalman滤波，Meanshift跟踪等跟踪算法，具体算法可以参考文献[1]：蔡利梅,基于视频的煤矿井下人员目标检测与跟踪研究.江苏:中国矿业大学,2010.以及文献[2]：厉丹,视频目标检测与跟踪算法及其在煤矿中应用的研究.江苏:中国矿业大学,2011。这几种跟踪算法都是通过迭代计算搜索窗质心，估计方向和尺度实现跟踪的。但是迭代式跟踪算法容易陷入局部最优解，并且这一类方法只针对目标本身特征信息，并没有融合背景特征信息。另一类跟踪方法将目标跟踪看成是两类分类问题，其中基于统计学习理论的支持向量机方法（Support Vector Machine,SVM）作为一种判别式跟踪方法得到了广泛应用。

上述方法虽然能在一定程度上实现井下人员目标的检测和跟踪，然而在实际井下视频条件中，由于光线昏暗等客观条件，计算机只能得到对比度较低的灰度图像，导致可用于提取的特征判别性较低，跟踪效果较差，并且也没有考虑井下目标跟踪中的有可能影响跟踪结果的光斑和阴影干扰等问题的处理。

粒子滤波又称为顺序的蒙特卡洛方法(Sequential Monte Carlo Methods)，该方法提供了一种方便有效的从非高斯、非线性、高维的观测数据中计算后验概率的方法。采用粒子滤波，目标的跟踪可以转化成一个在动态系统中根据一系列观测值求解最大化后验概率的问题，即已知目标的历史观测值O^1:t-1，求解目标当前时刻t可能存在的状态x_t，使得状态x_t的后验状态最大化。根据粒子滤波的思想，上述后验概率可以表示成一组带有权重的粒子集最后目标的状态则可由所有粒子的加权和或者选择具有最大权重的粒子近似逼近。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于场景信息挖掘的井下人员目标跟踪方法，采用粒子滤波跟踪框架，通过挖掘和分析井下场景信息，实现在井下恶劣视频条件下进行较为准确的人员目标跟踪。

为实现上述发明目的，本发明基于场景信息挖掘的井下人员目标跟踪方法，包括以下步骤：

S1：对井下灰度图像通过自适应多高斯背景建模得到背景估计图像，根据背景估计图像对井下灰度图像进行背景减除得到运动目标区域；

S2：采用背景估计图像对井下灰度图像中运动目标区域中的光斑进行填充，填充处理方法为：

其中，I(x,y)表示井下灰度图像中运动目标区域内像素(x,y)的灰度值，I'(x,y)表示经光斑填充后像素(x,y)的灰度值，B(x,y)表示运动目标区域对应的背景估计图像中像素(x,y)的灰度值，T_ls为预设的相对亮度阈值，T_l为预设的绝对亮度阈值；

计算光斑填充前后井下灰度图像与背景估计图像中运动目标区域的互相关系数，并计算光斑填充后互相关系数的上升程度，如果上升程度大于预设阈值，则该运动目标区域不是人员目标区域，结束对该运动目标区域的跟踪；否则该运动目标区域是人员目标区域，进入步骤S3；

S3：在人员目标区域质心周围区域均匀采样粒子，得到采样粒子集其中n表示粒子数量，O_i表示第i个粒子的特征向量，采用核密度估计方法计算粒子属于正样本库的概率P(O_i|obj)与粒子属于负样本库的概率P(O_i|bac)，正样本库表示目标粒子样本库，负样本库表示背景粒子样本库，计算每个粒子的权重ω_i，计算公式为：

${\mathrm{\ω}}_i=\frac{P\left(O_i\right|\mathrm{obj})}{P\left(O_i\right|\mathrm{bac})}$

对粒子权重进行归一化，根据归一化后的粒子权重确定最终人员目标区域，得到跟踪结果前景框；

S4：将井下灰度图像中跟踪结果前景框下半部分与背景估计图像中对应的背景作差，得到跟踪结果前景框下半部分各像素(p,q)的阴影灰度掩膜S₁(p,q)：

其中，I(p,q)表示井下灰度图像中像素(p,q)的灰度值，B(p,q)表示背景估计图像中像素(p,q)的灰度值，T_low和T_high为预设的差值范围阈值；

将以像素(p,q)为中心、边长为2d+1的正方形区域作为像素(p,q)的邻域，d为大于0的整数，计算井下灰度图像中各像素(p,q)的邻域与背景估计图像中对应区域的互相关系数C_s(p,q)，得到各像素(p,q)处的阴影互相关掩膜S₂(p,q)：

其中，T_c为互相关系数阈值；

根据阴影灰度掩膜和阴影互相关掩膜得到最终的阴影掩膜S(p,q)＝S₁(p,q)·S₂(p,q)，根据井下灰度图像和背景估计图像得到跟踪结果前景框对应的二值图像，将最终阴影掩膜S(p,q)与跟踪结果前景框下半部分对应的二值图像进行与运算消除阴影像素，再根据阴影消除后的跟踪结果前景框二值图像得到前景像素的竖直方向投影直方图，并根据预设的阈值提取前景像素峰值区域对应的前景区域从而优化跟踪结果前景框的大小，得到本帧井下灰度图像的最终人员目标跟踪结果。

进一步地，步骤S1还包括预先对井下灰度图像进行去噪处理。

进一步地，步骤S3中粒子的特征向量为HOG特征向量。

进一步地，步骤S3中的核密度估计方法中采用的核函数为高斯核函数。

进一步地，步骤S3中粒子属于正样本库的概率P(O_i|obj)与粒子属于负样本库的概率P(O_i|bac)采用正/负样本库中采用KNN近邻算法得到的近邻样本进行估计。

进一步地，步骤S4中，根据得到的人员目标跟踪结果进行粒子采集，得到正样本和负样本，对正/负样本库进行在线更新。

本发明基于场景信息挖掘的井下人员目标跟踪方法，对井下灰度图像采用自适应多高斯背景建模得到背景估计图像，根据背景估计图像对井下灰度图像进行背景减除得到运动目标区域，通过判断光斑填充前后运动目标区域与背景估计图像的互相关系数的上升程度是否大于预设阈值，排除光斑运动区域，对人员运动区域进行粒子滤波跟踪，得到目标跟踪结果，再采用阴影腌膜去除目标跟踪结果中的阴影像素，最后采用竖直投影方法对前景框大小进行优化，得到最终目标跟踪结果。

本发明具有以下有益效果：

（1）采用自适应多高斯背景建模得到背景估计图像，利用背景与前景的像素相关性，来去除光斑和阴影，提高人员目标跟踪的准确性和鲁棒性；

（2）在粒子滤波中采用HOG（梯度方向直方图，Histogram of OrientedGradients)特征向量来表示粒子特征，从而更好地适应图像色彩、纹理信息缺失、光线变化剧烈的井下场景。

附图说明

图1是本发明基于场景信息挖掘的井下人员目标跟踪方法的一种具体实施方式流程图；

图2是运动目标区域示例图；

图3是图2中运动目标区域1的光斑填充示意图；

图4是图2中运动目标区域2的光斑填充示意图；

图5是阴影去除前后目标跟踪结果前景框对比图；

图6是阴影去除前跟踪结果前景框中图像的二值图；

图7是阴影掩膜处理后跟踪结果前景框中图像的二值图；

图8是图7所示二值图的前景像素竖直投影直方图；

图9是竖直投影处理后精简前景框中图像的二值图。

图10是三种跟踪方法对序列1的跟踪结果示意图；

图11是三种跟踪方法对序列2的跟踪结果示意图；

图12是三种跟踪方法对序列3的跟踪结果示意图；

图13三种跟踪方法对序列1的跟踪精度曲线对比图；

图14三种跟踪方法对序列2的跟踪精度曲线对比图；

图15三种跟踪方法对序列3的跟踪精度曲线对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

本发明针对井下视频监控条件的特点，利用对自适应学习得到的场景信息的挖掘和分析，去除光斑、阴影等噪音的干扰，从而实现对井下场景中人员目标进行较为准确鲁棒的跟踪。图1是本发明基于场景信息挖掘的井下人员目标跟踪方法的一种具体实施方式流程图。如图1所示，本发明基于场景信息挖掘的井下人员目标跟踪方法包括以下步骤：

S101：井下灰度图像预处理：

本实施例中，为了使井下灰度图像跟踪结果更准确，预先对采集的井下灰度图像进行去噪预处理。

S102：高斯背景建模：

通过自适应多高斯背景建模得到井下灰度图像的背景估计图像。在本发明中，该背景估计图像将用于背景剪除、光斑填充、阴影去除。

S103：背景剪除：

根据背景估计图像对井下灰度图像进行背景减除得到运动目标区域。图2是运动目标区域示例图。如图2所示，本实施例中运动目标区域采用外切矩形，从该井下灰度图像中得到的运动目标区域有两个，运动目标区域1为人员运动目标区域，运动目标区域2为人员手持照明工具所形成的光斑运动目标区域。

S104：光斑去除：

由于井下人员会携带矿灯等照明工具，会在矿道中形成运动的光斑，对人员运动目标区域的检测和处理造成干扰，因此需要对这些光斑进行去除。如图2所示的运动目标区域中，应该将运动目标区域2去除。本发明提出了一种从局部到整体，分层融合场景先验知识的光斑去除算法，通过在初步筛选的光斑运动目标区域填充背景像素的方式，提高光斑运动目标区域与对应背景区域的相似程度，最后通过互相关系数衡量填充后区域与背景相似程度，筛选并去除光斑。具体方法包括以下步骤：

S4.1：采用背景估计图像对运动目标区域中的光斑进行填充：

其中，I(x,y)表示井下灰度图像中运动目标区域内像素(x,y)的灰度值，I'(x,y)表示经光斑填充后像素(x,y)的灰度值，B(x,y)表示运动目标区域对应的背景估计图像中像素(x,y)的灰度值，T_ls为预设的相对亮度阈值，T_l为预设的绝对亮度阈值，相对亮度阈值T_ls和绝对亮度阈值T_l可以通过对一组井下灰度图像进行训练得到。

图3是图2中运动目标区域1的光斑填充示意图。如图3所示，图3中（左）图为井下灰度图像中运动目标区域1内图像，（右）图为运动目标区域1对应的背景估计图像，（中）图是光斑填充后的运动目标区域1内图像。

图4是图2中运动目标区域2的光斑填充示意图。如图4所示，图4中（左）图为井下灰度图像中运动目标区域2内图像，（右）图为运动目标区域2对应的背景估计图像，（中）图是光斑填充后的运动目标区域2内图像。

从图3和图4可以看出，运动目标区域2，即光斑运动目标区域内图像在进行光斑填充后，与其对应的背景估计图像非常接近。虽然运动目标区域1，即人员运动目标区域中也有光源、金属物品反光造成的光斑，但是这些光斑区域较小，人员运动目标区域在光斑填充后整体图像变动较小。因此可以利用光斑填充前后井下灰度图像与背景估计图像中运动目标区域的相似程度来排除光斑运动区域。本发明中，采用互相关系数来评价相似程度。

S4.2：计算光斑填充前井下灰度图像中运动目标区域内图像与背景估计图像中运动目标区域内图像的互相关系数。由于本实施例中运动目标区域为外切矩形，因此互相关系数的计算公式为：

$C_l=\frac{{\mathrm{\Σ}}_{x^{\′}=a}^{x^{\′}=a+w}{\mathrm{\Σ}}_{y^{\′}=b}^{y^{\′}=b+h}B(x^{\′},y^{\′})*I(x^{\′},y^{\′})}{\sqrt{{\mathrm{\Σ}}_{x^{\′}=a}^{x^{\′}=a+w}{\mathrm{\Σ}}_{y^{\′}=b}^{y^{\′}=b+h}B(x^{\′},y^{\′})*{\mathrm{\Σ}}_{x^{\′}=a}^{x^{\′}=a+w}{\mathrm{\Σ}}_{y^{\′}=b}^{y^{\′}=b+h}I(x^{\′},y^{\′})}}---\left(2\right)$

其中，(a,b)为运动目标区域的起点坐标，w为运动目标区域的宽度，h为前运动目标区域的高度，I(x′,y′)为光斑填充前井下灰度图像中运动目标区域内(x′,y′)处的灰度值，B(x′,y′)为背景估计图像中运动目标区域内像素(x,y)处的灰度值。

相应地，光斑填充后井下灰度图像中运动目标区域内图像与背景估计图像中运动目标区域内图像的互相关系数的计算公式为：

$C_l^{\′}=\frac{{\mathrm{\Σ}}_{x^{\′}=a}^{x^{\′}=a+w}{\mathrm{\Σ}}_{y^{\′}=b}^{y^{\′}=b+h}B(x^{\′},y^{\′})*I^{\′}(x^{\′},y^{\′})}{\sqrt{{\mathrm{\Σ}}_{x^{\′}=a}^{x^{\′}=a+w}{\mathrm{\Σ}}_{y^{\′}=b}^{y^{\′}=b+h}B(x^{\′},y^{\′})*{\mathrm{\Σ}}_{x^{\′}=a}^{x^{\′}=a+w}{\mathrm{\Σ}}_{y^{\′}=b}^{y^{\′}=b+h}{I}^{\′}(x^{\′},y^{\′})}}---\left(3\right)$

其中，I′(x′,y′)为光斑填充后井下灰度图像中运动目标区域内(x′,y′)处的灰度值。

S4.3：根据光斑填充前后的互相关系数即可计算得到互相关系数的上升程度K＝(C_l′-C_l)/C_l。一般来说，光斑运动目标区域比人员运动目标区域在光斑填充后互相关系数上升程度大得多，因此根据预设的上升程度阈值可以很容易将光斑运动区域去除，即上升程度大于预设阈值，则该运动目标区域不是人员目标区域，结束对该运动目标区域的跟踪；否则该运动目标区域是人员目标区域，进入步骤S105进行下一步处理。

S105：粒子滤波处理：

本发明基于粒子滤波跟踪框架，采用判别式的粒子权重计算方法实现人员目标的跟踪，具体方法包括以下步骤：

S5.1：在人员目标区域质心周围区域均匀采样粒子，得到采样粒子集其中n表示粒子数量，O_i表示第i个粒子的特征向量。

以本实施例中外切矩形的人员目标区域为例，原人员目标区域的初始状态参数为(X₀,Y₀,L₀,H₀)，其中(X₀,Y₀)为人员目标区域质心的坐标，L₀、H₀分别表示外切矩形的宽度和高度，可以自行设定动态模型，例如设定质心的平移距离和尺度大小，来得到各个采样粒子的状态参数(X_i,Y_i,L_i,H_i)，提取各采样粒子的特征向量O_i。

由于井下光线昏暗，图像对比度较低，造成目标的颜色或纹理等信息缺失，但目标边缘的轮廓信息较为明显，因此在本实施例中采用HOG（Histogram ofOriented Gradients，梯度方向直方图）特征向量作为粒子特征向量。这种特征表达的是像素灰度之间的梯度关系而非像素本身的灰度关系，因此减弱了由于光线变化所产生的人体对象的特征变化，有利于提取井下低照度场景中的人体特征。

S5.2：采用核密度估计方法计算粒子属于正样本库的概率P(O_i|obj)与粒子属于负样本库的概率P(O_i|bac)，正样本库表示目标粒子样本库，负样本库表示背景粒子样本库。

与采样粒子一样，本实施例中正负样本库中的粒子特征向量也是HOG特征向量。正负样本库是通过一组井下灰度图像进行训练得到的。采用核密度估计方法计算粒子属于正样本库的概率P(O_iobj)与粒子属于负样本库的概率P(O_i|bac)的公式为：

$P\left(O_i\right|\mathrm{obj})=\frac{1}{T_{\mathrm{obj}}}\underset{j_1=1}{\overset{T_{\mathrm{obj}}}{\mathrm{\Σ}}}K(O_i-O_{j_1})---\left(4\right)$

$P\left(O_i\right|\mathrm{bac})=\frac{1}{T_{\mathrm{bac}}}\underset{j_2=1}{\overset{T_{\mathrm{bac}}}{\mathrm{\Σ}}}K(O_i-O_{j_2})---\left(5\right)$

其中，表示正样本库中第j₁个样本粒子的HOG特征向量，表示负样本库中第j₂个样本粒子的HOG特征向量。T_obj和T_bac分别为正样本库和负样本库的容量。K(·)和为核密度估计采用的核函数，本实施例中采用高斯核函数，即：

$K(O_i-O_{j_1})=\exp (-\frac{D^2(O_i-O_{j_1})}{2{\mathrm{\σ}}^2})---\left(6\right)$

其中，表示向量的二范数，σ为高斯核函数的方差。

为了提高计算效率，本实施例中在计算概率P(O_i|obj)和P(O_i|bac)时，只考虑前K个最近邻样本来进行概率的估计。设和为KNN近邻算法在正负样本库中得到的近邻样本数。则似然概率计算公式为：

$\hat{P}\left(O_i\right|\mathrm{obj})=\frac{1}{T_{\mathrm{obj}}^{\mathrm{Knn}}}\underset{j_1^{\′}=1}{\overset{T_{\mathrm{obj}}^{\mathrm{Knn}}}{\mathrm{\Σ}}}K(O_i-O_{j_1^{\′}})---\left(7\right)$

$\hat{P}\left(O_i\right|\mathrm{bac})=\frac{1}{T_{\mathrm{bac}}^{\mathrm{Knn}}}\underset{j_2^{\′}=1}{\overset{T_{\mathrm{bac}}^{\mathrm{Knn}}}{\mathrm{\Σ}}}K(O_i-O_{j_2^{\′}})---\left(8\right)$

其中，表示正样本库个近邻样本中第j₁′个样本粒子的HOG特征向量，表示负样本库个近邻样本中第j₂′个样本粒子的HOG特征向量。

S5.3：每个粒子的权重ω_i，计算公式为：

${\mathrm{\ω}}_i=\frac{P\left(O_i\right|\mathrm{obj})}{P\left(O_i\right|\mathrm{bac})}---\left(9\right)$

由于本实施例中采用基于前K个近邻样本得到的似然概率，因此：

${\mathrm{\ω}}_i\≈\frac{\hat{P}\left(O_i\right|\mathrm{obj})}{\hat{P}\left(O_i\right|\mathrm{bac})}---\left(9\right)$

对粒子权重进行归一化处理，根据归一化后的粒子权重确定最终人员目标区域，得到跟踪结果前景框。最终人员目标区域的确定通常采用全部或部分粒子根据权重进行加权求和得到，本实施例中直接采用归一化后权重最大的粒子作为最终人员目标区域。

S106：阴影去除：

在井下场景中，照明设施会使视频图像的人员目标区域中含有多余的阴影。为了克服阴影对检测跟踪带来的干扰，本发明结合了文献[3]张笑微,王月琴.基于灰度图像的阴影检测算法[J].网络与信息技术,2007,26(7),45-47.以及文献[4]李庆忠,陈显华,王立红.视频监视中运动目标影子去除方法[J].计算机工程与应用,2005,59-61.中两种阴影去除的方法，融合前景与背景信息，对跟踪结果前景框中的阴影进行处理。具体方法包括以下步骤：

S6.1：在一般情况下，阴影区域像素值比背景稍暗，且阴影区域集中于前景框下半部分。根据以上分析，选择跟踪结果框下半部分与背景估计图像中对应的背景作差，可以得到跟踪结果前景框下半部分各像素(p,q)的阴影灰度掩膜S₁(p,q)：

其中，I(p,q)表示井下灰度图像中像素(p,q)的灰度值，B(p,q)表示背景估计图像中像素(p,q)的灰度值，T_low和T_high为预设的差值范围阈值，T_low为最小值，T_high为最大值。

S6.2：为了进一步确定该像素是否为阴影，将像素邻域作为一个整体，采用互相关系数衡量其与对应背景区域的相关性。如果高于给定阈值，则表明该像素可能为阴影覆盖点。像素邻域定义为：以像素(p,q)为中心、边长为2d+1的正方形区域，d为大于0的整数。计算井下灰度图像中各像素(p,q)的邻域与背景估计图像中对应区域的互相关系数C_s(p,q)：

$C_s(p,q)=\frac{\underset{p^{\′}=-d,q^{\′}=-d}{\overset{p^{\′}=d,q^{\′}=d}{\mathrm{\Σ}}}B(p^{\′}+p,q^{\′}+q)\·I(p^{\′}+p,q^{\′}+q)}{\sqrt{\underset{p^{\′}=-d,q^{\′}=-d}{\overset{p^{\′}=d,q^{\′}=d}{\mathrm{\Σ}}}B{(p^{\′}+p,q^{\′}+q)}^2\·\underset{p^{\′}=-d,q^{\′}=-d}{\overset{p^{\′}=d,q^{\′}=d}{\mathrm{\Σ}}}I{(p^{\′}+p,q^{\′}+q)}^2}}---\left(11\right)$

得到各像素(p,q)处的阴影互相关掩膜S₂(p,q)：

其中，T_c为预设的互相关系数阈值。

S6.3：根据（10）式、（12）式得到最终的阴影掩膜：

S(p,q)＝S₁(p,q)·S₂(p,q) （13）

根据井下灰度图像和背景估计图像得到跟踪结果前景框对应的二值图像，将最终阴影掩膜S(p,q)与跟踪结果前景框下半部分对应的二值图像进行与运算消除阴影像素，再根据阴影消除后的跟踪结果前景框二值图像得到前景像素的竖直方向投影直方图，并根据预设的阈值提取前景像素峰值区域对应的前景区域从而优化跟踪结果前景框的大小，得到本帧井下灰度图像的最终人员目标跟踪结果。

图5是阴影去除前后目标跟踪结果前景框对比图。如图5所示，阴影去除后的跟踪结果前景框相比于之前的跟踪结果前景框更加准确。图6是阴影去除前跟踪结果前景框中图像的二值图像。图7是阴影掩膜处理后跟踪结果前景框中图像的二值图像。从图6和图7对比可以看出，阴影掩膜处理可以去除大部分阴影像素点，但是依然会残留部分无法被消除的阴影点。图8是图7所示二值图的前景像素竖直方向投影直方图。从图8可以看出，由于残留的阴影像素点在竖直方向上投影值与前景像素，即人员目标像素点投影值相比较小，因此可以基于竖直方向投影直方图所反映的前景像素的竖直方向投影值（即每列前景像素点数量的归一化数值）来进一步去除多余的阴影像素，即根据预设的阈值提取前景像素峰值区域对应的前景区域。如图8所示的前景像素竖直方向投影直方图，此处设置前景像素的竖直方向投影值阈值为8%，提取投影值大于8%的区域，该区域即为优化后的跟踪结果前景框。图9是竖直投影处理后精简前景框中图像的二值图。如图9所示，竖直投影处理后得到的跟踪结果前景基本排除了阴影的干扰，准确地跟踪了人员目标。

S107：跟踪结果更新样本库：

由于计算粒子权重时需要采用正负样本库内粒子特征作为核密度估计的计算参数，因此一般情况下，需要实时更新样本库防止跟踪漂移。因此在本实施例中，样本库不是保持不变的，而是基于跟踪结果在线更新的，正样本即为跟踪结果，以及跟踪结果粒子周围预设范围内的采样粒子，其余背景图像为负样本。本实施例中采用固定容量的样本库，在更新时以最新的样本来替代样本库中最先进入的样本，以实现样本内容的实时更新。

为了验证提出方法的有效性，在真实的井下视频序列上进行了一系列的仿真与对比。为了方便进行比较，定义各帧井下灰度图像的跟踪精度Acc计算公式如下：

$\mathrm{Acc}=\frac{\mathrm{area}\left(\mathrm{gt}\right)\∩\mathrm{area}\left(\mathrm{cal}\right)}{\mathrm{area}\left(\mathrm{gt}\right)\∪\mathrm{area}\left(\mathrm{cal}\right)}---\left(14\right)$

其中，area(gt)代表图像的ground truth（标准）区域，area(cal)代表图像跟踪算法的跟踪结果区域。

此处采用了两种跟踪方法与本发明进行对比，一种是以边缘直方图为特征，结合Kalman滤波与Camshift算法的跟踪算法，用Kalman+Camshift表示，另一种是以HOG为特征，基于SVM分类器的跟踪算法，用SVM表示。图10是三种跟踪方法对序列1的跟踪结果示意图。图11是三种跟踪方法对序列2的跟踪结果示意图。图12是三种跟踪方法对序列3的跟踪结果示意图。根据图9、图11和图12的跟踪结果对比，可见本发明的跟踪结果与另外两种跟踪方法相比更加准确。图13是三种跟踪方法对序列1的跟踪精度曲线对比图。图14是三种跟踪方法对序列2的跟踪精度曲线对比图。图15是三种跟踪方法对序列3的跟踪精度曲线对比图。根据图13、图14、图15的跟踪精度曲线对比，可以看出本发明的跟踪精度相对于另外两种跟踪方法更高，并且鲁棒性也较好。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于场景信息挖掘的井下人员目标跟踪方法，其特征在于包括以下步骤：

S1：对井下灰度图像通过自适应多高斯背景建模得到背景估计图像，根据背景估计图像对井下灰度图像进行背景减除得到运动目标区域；

S2：采用背景估计图像对井下灰度图像中运动目标区域中的光斑进行填充，填充处理方法为：

其中，I(x,y)表示井下灰度图像中运动目标区域内像素(x,y)的灰度值，I'(x,y)表示经光斑填充后像素(x,y)的灰度值，B(x,y)表示运动目标区域对应的背景估计图像中像素(x,y)的灰度值，T_ls为预设的相对亮度阈值，T_l为预设的绝对亮度阈值；

计算光斑填充前后井下灰度图像与背景估计图像中运动目标区域的互相关系数，并计算光斑填充后互相关系数的上升程度，如果上升程度大于预设阈值，则该运动目标区域不是人员目标区域，结束对该运动目标区域的跟踪；否则该运动目标区域是人员目标区域，进入步骤S3；

S3：在人员目标区域质心周围区域均匀采样粒子，得到采样粒子集其中n表示粒子数量，O_i表示第i个粒子的特征向量，采用核密度估计方法计算粒子属于正样本库的概率P(O_i|obj)与粒子属于负样本库的概率P(O_i|bac)，正样本库表示目标粒子样本库，负样本库表示背景粒子样本库，计算每个粒子的权重ω_i，计算公式为：

${\mathrm{\ω}}_i=\frac{P\left(O_i\right|obj)}{P\left(O_i\right|bac)}$

对粒子权重进行归一化，根据归一化后的粒子权重确定最终人员目标区域，得到跟踪结果前景框；

S4：将井下灰度图像中跟踪结果前景框下半部分与背景估计图像中对应的背景作差，得到跟踪结果前景框下半部分各像素(p,q)的阴影灰度掩膜S₁(p,q)：

其中，I(p,q)表示井下灰度图像中像素(p,q)的灰度值，B(p,q)表示背景估计图像中像素(p,q)的灰度值，T_low和T_high为预设的差值范围阈值；

将以像素(p,q)为中心、边长为2d+1的正方形区域作为像素(p,q)的邻域，d为大于0的整数，计算井下灰度图像中各像素(p,q)的邻域与背景估计图像中对应区域的互相关系数C_s(p,q)，得到各像素(p,q)处的阴影互相关掩膜S₂(p,q)：

其中，T_c为预设的互相关系数阈值；

根据阴影灰度掩膜和阴影互相关掩膜得到最终的阴影掩膜S(p,q)＝S₁(p,q)·S₂(p,q)，根据井下灰度图像和背景估计图像得到跟踪结果前景框对应的二值图像，将最终阴影掩膜S(p,q)与跟踪结果前景框下半部分对应的二值图像进行与运算消除阴影像素，再根据阴影消除后的跟踪结果前景框二值图像得到前景像素的竖直方向投影直方图，并根据预设的阈值提取前景像素峰值区域对应的前景区域从而优化跟踪结果前景框的大小，得到本帧井下灰度图像的最终人员目标跟踪结果。

2.根据权利要求1所述的基于场景信息挖掘的井下人员目标跟踪方法，其特征在于，所述步骤S1还包括预先对井下灰度图像进行去噪处理。

3.根据权利要求1所述的基于场景信息挖掘的井下人员目标跟踪方法，其特征在于，所述步骤S3中粒子的特征向量为HOG特征向量。

4.根据权利要求1所述的基于场景信息挖掘的井下人员目标跟踪方法，其特征在于，所述步骤S3中的核密度估计方法中采用的核函数为高斯核函数。

5.根据权利要求1所述的基于场景信息挖掘的井下人员目标跟踪方法，其特征在于，所述步骤S3中粒子属于正样本库的概率P(O_i|obj)与粒子属于负样本库的概率P(O_i|bac)采用正/负样本库中采用KNN近邻算法得到的近邻样本进行估计。

6.根据权利要求1所述的基于场景信息挖掘的井下人员目标跟踪方法，其特征在于，所述步骤S4中，根据得到的人员目标跟踪结果进行粒子采集，得到正样本和负样本，对正/负样本库进行在线更新。