CN102136076A - 基于安全帽检测的煤矿井下人员定位与跟踪方法 - Google Patents

Abstract

本发明提出一种基于安全帽检测的井下监控视频中人员定位与跟踪方法。本发明以安全帽检测为基础，通过对安全帽的检测与跟踪实现对煤矿井下人员的定位和跟踪。结合煤矿实际，井下人员均佩戴安全帽，如果能够检测到安全帽的存在，相应的代表检测到人员目标。由于安全帽的材质原因，一般会发生反光现象，由于光源一般位于巷道的上方，因此，即使视频质量很差，图像中安全帽区域至少顶部部分亮度与背景差别较大，且从不同的角度去观察，均呈现圆形或类圆形，这些特点使得安全帽的检测可行；本发明中基于安全帽检测的煤矿井下人员定位与跟踪的方法分为两个部分，即安全帽的检测和安全帽的跟踪。

Description

基于安全帽检测的煤矿井下人员定位与跟踪方法

技术领域

本发明涉及煤矿信息化领域，具体为基于安全帽的煤矿井下人员检测与跟踪方法。

背景技术

我国是煤炭生产和消费的大国，煤矿的安全生产一直备受关注。目前，由于国家对煤矿安全日益重视，监管力度不断加大，大中型煤矿均已大量装备了煤矿安全监控系统，在一定程度上遏制了重特大事故的发生。但是，由于缺乏对井下人员位置信息的监控，目前还普遍存在入井人员管理困难，井上人员难以及时准确掌握井下人员的分布和作业的情况。煤矿井下还存在着一些危险区域，如有害气体超标的区域、绞车运行中的斜巷、设备重地等，这些区域一般禁止工人进入，但井下巷道交错，环境复杂，普通的告示牌或警铃通知方式警示效果不佳。实现入井人员的有效管理、检测、跟踪、定位对于煤矿的安全生产、调度指挥以及事故后的抢险救援都具有重要意义。目前，煤矿井下人员检测方法有如下几种：(1).矿用人员定位跟踪系统。这种系统一般由标识卡、读卡器、人员检测分站、通信接口、服务器等组成，多采用无线射频识别(RFID)或无线传感网(WSN)技术实现实时数据采集与存储、井下人员考勤、定位、数据联网、报警提示等一系列功能。但人员定位跟踪系统存在着一些问题，如需实现低功耗、高效率的标识卡技术，提高高速条件下定位的准确性，克服井下无线传播信道的复杂性对定位精度的影响，还有标识卡、读卡器价格昂贵等。(2).红外检测技术。可将矿井人员红外探测计数装置安装于井口及开采现场，对出入矿人员进行探测和计数。但只能对在列队行走情况下的人员如数识别，在并排或无序行走情况下难以正确识别。采用红外技术实现人员检测如需进一步确定人员的身份及其具体位置，还需要融合身份确认系统和人员定位系统等技术，增加了监控系统的复杂性，限制了系统的应用。(3).视频检测技术。目前很多煤矿都配备了视频监控系统，地面调度指挥中心监控人员可以直接对井下情况进行实时监控，不仅能直观的监视和记录井下工作现场的安全生产情况，及时发现事故苗子，防患于未然，也能为事后分析事故提供有效的资料，在安全生产、调度指挥、抢险救援中都起到了积极的作用。但目前的煤矿视频监控仍主要停留在人工监视阶段，由人工来监视场景、判断危险情况并做出相应的反应。和普通图像监控系统一样，虽然在功能和性能上取得了长足的进步，但仍存在不足。这些不足使得图像监控系统不同程度地存在报警准确度不高、误报漏报情况时有发生、报警响应慢等缺陷，从而影响系统性能。

如果能在煤矿实现智能视频监控，实现人员自动检测、跟踪、定位，则具有一系列的优点，如(1).能充分利用煤矿现有设备资源，不需要额外的设备投入；(2).可以和现有的自动控制系统结合，实现实时报警和联动控制；(3).利用视频处理技术，提取高层次有用信息，如身份、行为、状态等；(4).备份视觉资料，以备查证。虽然智能视频技术在一般场景下已经取得了较大进展，但是目前煤矿井下智能视频技术严重滞后，主要是由于井下环境特殊，全天候人工照明，煤灰、粉尘、潮湿等因素的影响，视频质量较差，对于视频处理技术提出了严峻考验。

智能视频监控系统中人员目标的检测方法可以分为两大类，即基于运动的人体检测方法和基于人体特征的检测方法。运动目标检测是指从视频序列中提取出运动目标，为高层的视频理解提供分析依据，是计算机视觉研究的基础任务和关键技术之一。作为人员检测的手段，这种方法只能应用于人员与背景之间有相对运动的情况。常用的方法有背景消减法、帧差法、光流法等。基于运动目标检测人员的方法很多，各有利弊，性能不一，但共同的一个不足是只能对运动的人员进行检测，若人员目标处于静止状态时，运动特征消失，导致这些方法的失效，因此产生了基于人体特征的检测方法。如基于人体形状的检测方法和基于人体部位的检测方法等。

对于煤矿井下危险区域的智能监控来讲，需要对检测到的目标进行识别，判断是否是人，进而决定是否报警。能否根据检测到的信息判断目标为人员目标，也是一个需要注意的问题。由于以下两点，导致了识别井下人员目标的不可靠性：(1)煤矿井下环境特殊，煤矿井下的视频，具有照度低、光照不均匀、缺乏色彩信息、目标和背景灰度过于接近等特点，加大了目标的检测的难度，同时，也导致检测到的目标的不完整或形状的畸变。(2)由于巷道空间有限，摄像器材一般不是平行拍摄，而是以一定的角度俯视摄像；且有一些特定的监视区域，如监视皮带是否乘坐人员。所摄图像中人员一般不是全身图像，可能是半身，甚至不是直立状态，即使检测到的目标完整，也不利于判断目标是否为人员目标。由于客观现状或检测方法导致人员目标信息的不完整，无疑加大了目标识别的难度，如果在检测目标的同时，探测到相应的表明目标是人的信息，将便于后续处理、识别。要实现这个目标，需要在检测时，根据人员目标的特点来设计检测方法。文献中已有检测人体部位的方法，其中，以人脸检测、头部检测较多。但是，对于在煤矿井下工作的人员，佩戴安全帽，为防尘一般佩戴防尘面罩，长时间的工作导致面部覆盖煤尘，再加上视频质量较差，所以，视频中的井下人员一般面容不清，人脸检测不实际；无头发、肤色外露，更谈不上采用基于发色、肤色的检测方法。因此，解决上述现有技术中存在的问题，提供一种更高效、准确的定位和跟踪方法，是亟待解决的问题。

发明内容

为了解决上述现有技术中的不足，克服井下监控视频照度低、光照不均匀、人员目标和背景灰度过于相似等问题，有效地对井下人员进行定位和跟踪，本发明提出一种基于安全帽检测的井下监控视频中人员定位与跟踪方法。本发明以安全帽检测为基础，通过对安全帽的检测与跟踪实现对煤矿井下人员的定位和跟踪。结合煤矿实际，井下人员均佩戴安全帽，如果能够检测到安全帽的存在，相应的代表检测到人员目标。由于安全帽的材质原因，一般会发生反光现象，由于光源一般位于巷道的上方，因此，即使视频质量很差，图像中安全帽区域至少顶部部分亮度与背景差别较大，且从不同的角度去观察，均呈现圆形或类圆形，这些特点使得安全帽的检测可行。

本发明中基于安全帽检测的煤矿井下人员定位与跟踪的方法分为两个部分，即安全帽的检测和安全帽的跟踪。

安全帽检测过程如下：

(1)获得样本图像：对安全帽进行建模，对安全帽图像进行不同角度的旋转，来模拟实际环境中各个角度的图像，构成安全帽图像训练集；同时，选取井下视频中人员肩部区域和矿灯照射的区域作为非安全帽图像训练集；

(2)分类特征提取：选取训练图像的四方向边界图像作为特征量；

(3)分类器设计：选择分段线性判别函数，采用统计模式识别方法，把视频帧中的安全帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器进行训练，为检测做准备；

(4)安全帽检测。利用训练好的分类器对井下视频进行安全帽检测；

安全帽跟踪过程如下：

(I)确定跟踪目标：由检测算法检测到某帧中有安全帽的存在，将该帧定为跟踪初始帧，检测到的安全帽区域为初始跟踪窗口；

(II)选择跟踪特征。将边缘方向和方位信息相融合，将联合直方图作为跟踪安全帽的特征量；

(III)结合Kalman滤波和Mean-shift对安全帽进行跟踪。

1)利用Kalman滤波器预测下一帧跟踪窗口起点y₀；

2)计算候选目标的特征{p_u(y₀)}_{u＝0，1，…，39}；

3)计算候选目标与目标的相似度

4)计算权值{w_i}_{i＝0，1，…，39}；

5)利用Mean-shift算法，计算目标新位置；

6)更新{p(y₁)}_{u＝0，1，…，39}，计算

7)若ρ[p(y₁)，q]＜ρ[p(y₀)，q]，那么直到ρ[p(y₁)，q]＞ρ[p(y₀)，q]；

8)若||y₁-y₀||＜ε(ε是一个很小的常数)，则定位，转(9)；否则y₀←y₁，转(3)；

9)若间隔帧已满，计算核函数带宽更新量，否则转1)。

其中，安全帽检测过程(1)中所述的图像样本由10个安全帽区域和3个非安全帽局域组成。

安全帽检测过程(2)中所述选取训练图像的四方向边界图像作为特征量，按如下步骤进行：对安全帽图像利用Prewitt算子进行四方向边缘提取，并进行高斯滤波。减小尺寸为8×8大小，并去掉外边缘像素值，去掉四角像点，转换为直径为6的圆形，构成共24×4维的特征向量。

安全帽检测过程(3)中所述选择分段线性判别函数，采用统计模式识别方法，把视频帧中的安全帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器进行训练，其中，利用高斯模型拟合安全帽轮廓和非安全帽区域，并按如下步骤进行：

(3-a)任意选择10个高斯模型拟合安全帽区域和3个高斯模型拟合主要包括人员肩部和矿灯干扰区的非安全帽区域，分别采用欧氏距离进行K均值聚类，其聚类结果分别作为上述两类初始聚类中心；

(3-b)采用马氏距离对所有的样本进行K均值聚类，算法收敛后，计算出每类的聚类中心和协方差矩阵；

(3-c)得到安全帽区域和非安全帽区域两大类的共13个子类的聚集中心和离散矩阵。

安全帽跟踪过程(II)中所述将边缘方向和方位信息相融合，将联合直方图作为跟踪安全帽的特征量，按如下步骤进行：

(A)边缘方向直方图：边缘方向直方图是对目标物体中边缘点的边缘方向分布的统计，一幅边缘图像的方向空间被分为m个不同的方向，统计每个方向上边缘点的数目，计算其出现的概率，即可得出m维边缘方向直方图：

E_i＝P[O(p)＝i]，i＝1，2，…m

其中，p代表每一个边缘点，O(p)表示点p的边缘方向，E_i表示边缘方向i的概率；其中，采用的边缘算子为：

$\left[\begin{array}{ccccccc}-1& -4& -5& 0& 5& 4& 1\\ -6& -24& -30& 0& 30& 24& 6\\ -15& -60& -75& 0& 75& 60& 15\\ -20& -80& -100& 0& 100& 80& 20\\ -15& -60& -75& 0& 75& 60& 15\\ -6& -24& -30& 0& 30& 24& 6\\ -1& -4& -5& 0& 5& 4& 1\end{array}\right]/1280$ $\left[\begin{array}{ccccccc}1& 6& 15& 20& 15& 6& 1\\ 4& 24& 60& 80& 60& 24& 4\\ 2& 30& 75& 100& 75& 30& 5\\ 0& 0& 0& 0& 0& 0& 0\\ -5& -30& -75& -100& -75& -30& -5\\ -4& -24& -60& -80& -60& -24& -4\\ -1& -6& -15& -20& -15& -6& -1\end{array}\right]/1280$

计算时把方向空间以π/8为单位，平分为16级；

(B)方位直方图：安全帽边缘在跟踪窗口中的方位信息，采用边缘点A(x，y)的方位角α和半径r两个量来联合表示；

(B-a)方位角α：定义边缘的方位角为边缘点到跟踪窗口中心的向量OA和水平x轴的夹角α，把方位角空间按π/8的步长离散化为16级，统计边缘点的方位角，获取方位角直方图；

$\mathrm{\α}=\frac{{\tan }^{-1}\left(\frac{y-\mathrm{hy}}{x-\mathrm{hx}}\right)}{\mathrm{\π}/8}$

(B-b)半径r：定义边缘的半径为边缘点到跟踪窗口中心的距离r，根据跟踪窗口的对角线长度的一半，把r归一化，之后等分为8个级别。

$r=\frac{\sqrt{{(x-\mathrm{hx})}^2+{(y-\mathrm{hy})}^2}}{\sqrt{{\mathrm{hx}}^2+{\mathrm{hy}}^2}}\×8$

(C)联合直方图。

边缘方向和方位信息相结合的特征量，即联合直方图，如下：

$q_u\left(x_0\right)=\left\{\begin{array}{cc}C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_1\left(y_i\right)-u]& 0\&le;u<16\\ C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_2\left(y_i\right)-u]& 16\&le;u<32\\ C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_3\left(y_i\right)-u]& 32\&le;u<40\end{array}\right.$

其中，b₁(y_i)表示边缘方向空间均分为16级后像素y_i的边缘方向，b₂(y_i)表示边缘方位角空间均分为16级后像素y_i的方位角，b₃(y_i)表示方位半径归一化后均分为8级后像素y_i的半径。

安全帽跟踪过程(III)所述对安全帽跟踪时，自适应地调整核函数带宽，按如下步骤进行：(i).对于初始跟踪的帧进行以下操作：

i-1)统计每个圆环内边缘点的个数，实际上就是前面计算的半径直方图；

i-2)计算圆环内边缘点的平均数；

i-3)从最外环起，找到第一个边缘点数大于平均数的第一个圆环，并记录该圆环编号A；

(ii).间隔两帧后，对定位后的新帧重复以上工作，记录圆环编号B；

(iii).判断跟踪窗口大小是否需要更新：

iii-1)若A和B一致，清除新记录的圆环编号B，跟踪窗口大小不变，继续下一帧的跟踪、寻找圆环和判断；

iii-2)若A和B不一致，计算A和B的间隔C，并换算到以像素为单位，统计两帧之间间隔的帧数D，得出D帧平均尺寸变化为C/D，核函数带宽h更改为h+C/D，继续下一帧的跟踪，记录A，并转到(ii)。

该方法通过检测视频中的安全帽区域进行人员定位与跟踪。在安全帽检测时，将视频帧区域分为安全帽和非安全帽区域，通过对安全帽建模，设计适当的分类器实现安全帽检测。对检测到的安全帽，采用基于Kalman滤波、Mean-shift跟踪的方案，选择联合边缘方向和方位信息的直方图作为特征量，利用安全帽呈现类圆形的特性选择核函数带宽，实现视频中安全帽的实时准确跟踪。本发明中的方法能有效克服煤矿井下的视频照度低、光照不均匀、缺乏色彩信息、目标和背景灰度过于接近等现实困难，对煤矿井下人员进行有效的检测与跟踪，提高煤矿安全装备的水平。

附图说明

图1为本发明中安全帽分类器采用的部分训练图像。图中：第一行为安全帽训练图像样本，第二行为非安全帽训练图像样本。

图2为本发明中安全帽检测过程中的特征提取流程。

图3为本发明中安全帽图像及其四方向边缘图像。

图4为本发明中安全帽检测流程图。

图5为本发明中安全帽跟踪流程图。

图6为本发明中所采用的边缘检测算子。图中：(a)为x方向的算子，(b)为y方向的算子。

图7为本发明中边缘点在跟踪窗口中方位。

图8为本发明中边缘点位置与跟踪窗口大小的关系。

图9为本发明中安全帽检测与跟踪的效果。

具体实施方式

以下参照附图对本发明作进一步详细的描述，本发明主要包括安全帽的检测过程和安全帽跟踪过程。

参照图1、图2、图3、图4，本发明的安全帽检测步骤如下：

第一步：采集样本图像。

图1为本发明中安全帽分类器采用的部分训练图像，给出了本发明中所采用的部分样本图像。训练分类器需要大量的样本，所以，首先要采集样本图像。实际工作场所不同，可能会造成摄像角度的多变，所设计的分类器要能够检测任意角度的安全帽。由于无法对实际工作场所所有角度的安全帽图像收集齐全，所以，采用对安全帽建模，模拟各个角度图像的方法。目前，煤矿常用的安全帽主要有两种形状：有前帽沿和无前帽沿。对两种形态的安全帽分别进行建模，视点分别为正面0°，各向两侧移动10°、20°、30°、90°，从平视以3°为步长到俯视；各种情况下的安全帽各倾斜5°、10°、15°，从平视以3°为步长到俯视，模拟了实际环境中各种可能的对安全帽的摄像角度。获取标准安全帽图像，调整为32×32像素大小。同时，选取井下视频中人员肩部区域和矿灯照射的区域作为非安全帽图像训练集。图1中第一行为安全帽图像样本。图1中第二行为非安全帽训练图像样本，其作用是对非安全帽特征进行训练。

第二步：安全帽分类特征提取。

由于实际井下视频中，光源一般位于巷道顶端，安全帽的上方发生反光现象，视频中安全帽区域的顶端与背景区别较大，反映到图像中，即安全帽的部分边缘比较清晰，因此，本发明中采用四方向边界图像作为特征量，特征提取的过程如附图2所示。对安全帽图像利用Prewitt算子进行四方向边缘提取，并进行高斯滤波。为降低特征维数，减小尺寸为8×8像素大小，并去掉外边缘像素值，去掉四角像点，转换为直径为6像素的圆形，构成共24×4维的特征向量。附图3中，第一行和第二行所示的分别为经过训练后得到的两幅安全帽不同角度的标准图像及其四方向边缘图像；第三行显示的依次是按照上述提取方法进行处理后，实际视频中的安全帽图像及其四方向边缘图像。

第三步：安全帽分类器设计。

选择分段线性判别函数，采用统计模式识别方法，把视频帧中的安全帽和非安全帽分别视为一个模式类，根据所采集的安全帽样本图像对分类器进行设计，并用样本图像对分类器进行训练，为检测做准备。

考虑到安全帽的形状固定的特点，根据视点不同，两种形状的安全帽大致有如图1所示的10种不同形状的外形轮廓，因此用10个高斯模型去拟合，非安全帽区域主要包括人员肩部和矿灯干扰区，用3个高斯模型拟合，采用K均值法利用Mahalanobis距离进行聚类，简称为马氏距离。

M(x，μ)＝(x-μ)^T∑^-1(x-μ)

上式中x是特征量，μ是每个类别的聚类中心，这里T表示矩阵转置。

具体的聚类过程如下：

(1)任意选择10个安全帽外形轮廓和3个非安全帽区域作为聚类中心，分别采用欧氏距离进行K均值聚类，其聚类结果分别作为上述两类初始聚类中心。这是为了使基于马氏距离聚类快速收敛，减少部分协方差矩阵的相关运算。

(2)采用马氏距离对所有的样本进行K均值聚类，算法收敛后，计算出每类的聚类中心和协方差矩阵。

最后得到安全帽区域和非安全帽区域两大类的共13个子类的聚集中心和离散矩阵。

第四步：安全帽检测。

利用训练好的分类器进行井下视频安全帽检测，算法流程框图如附图4所示，主要包括以下几个分步骤。

(1)背景减和滤波。由于煤矿井下全天候的人工照明，每个场景的光照随时间变化不大，因此，取一段视频的初始帧作为背景，通过背景减获取人员出现的大致区域，避免全帧搜索，降低计算量。

为简化运算和去除图像中一些小干扰，通过设定一个阈值的方法，把差值图像转化为二值图像。由于井下视频中人员灰度与背景相似，阈值的选择不能太大，考虑到灰度相差十多级以上才能被区分出来，本发明中把阈值Th设为15。

${\mathrm{BW}}_1(x,y)=\left\{\begin{array}{cc}1& |f_k(x,y)-f_b(x,y)|\&GreaterEqual;\mathrm{Th}\\ 0& |f_k(x,y)-f_b(x,y)|<\mathrm{Th}\end{array}\right.$

(x，y)是帧图像中某个像素点的坐标值，f_b是背景帧，f_k是当前帧，BW₁是去除小干扰后的二值图像。二值图像BW₁中包含很多噪声，一般是随机噪声和由于摄像机抖动所引起噪声，在检测前，采用3×3结构元素进行数学形态学滤波。

(2)确定搜索区域。分别对二值图像BW₁进行水平和垂直投影的方法，确定搜索区域，目的是为了减小搜索范围，降低计算量。

(3)子图像尺寸调整。为了降低特征维数，将图像尺寸调整为8×8像素大小。

(4)特征提取。利用第二步中的方法对安全帽进行特征提取。

(5)最小马氏距离检测。对于搜索区域中的每个子图像提取的特征，利用最小马氏距离归类，方法如下：

M(x，μ_i)＝(x-μ_i)^T∑_i ^-1(x-μ_i)

若

则该子图像归为相应类别。这里T表示矩阵转置，j表示子图像的序号，i表示类别序号。如果得到的类别序号属于第三步聚类过程(1)中所述的10个安全帽的聚类序号，则表示该帧中的图像为安全帽，相反，如果得到的类别序号属于第三步聚类过程(1)中所述的3个非安全帽区域的聚类序号，则表示该帧中的图像不是安全帽。最后将该结果输出。

参照图5，图中背景模型、安全帽检测、以及判断是否检测到安全帽属于上述安全帽检测过程。如果上述安全帽检测步骤第四步的检测结果为安全帽图像，则进入安全帽跟踪步骤，即当前帧加1、Kalman滤波、Mean-shift跟踪等步骤；否则将返回检测步骤，对下一帧画面重新判断。

参照图6、图7、图8本发明安全帽跟踪部分采用基于Kalman滤波、Mean-shift跟踪的方案，选择联合边缘方向和方位信息的直方图作为特征量，利用安全帽呈现类圆形的特性选择核函数带宽，实现视频中安全帽的实时准确跟踪。

实现安全帽跟踪的具体步骤如下：

第一步：确定跟踪目标。

对于待处理的视频序列，首先采用本发明中的安全帽检测算法对安全帽进行检测，检测到某帧中有安全帽的存在，将该帧定为跟踪初始帧，检测到的安全帽区域为初始跟踪窗口；并将检测到的安全帽作为待跟踪的目标。

第二步：跟踪特征的选择。

在跟踪的过程中，寻找目标的不变特征或缓变特征至关重要。基于单个特征量的跟踪算法往往不能取得较为准确、鲁棒的跟踪结果。如果能在实际场景中将目标的多个特征量融合在一起，可以利用特征之间的互补性更好地解决真实场景下跟踪的精度和鲁棒性问题，对于井下视频跟踪尤其如此。安全帽由于材质原因，一般上边缘会反光，造成的边缘亮度大，所以，可以考虑采用边缘方向直方图作为跟踪量。但随着人员目标的行进，与光源的距离或位置的变化，反光也会随之而变，即边缘方向会有变化；同时，背景中也可能有类似的边缘方向分布；在这些情况下，有可能导致跟踪失败。安全帽的边缘一般位于跟踪窗口的上部，是一条弧线，为提高定位的准确性，可以考虑边缘在跟踪窗口中的方位信息作为辅助跟踪特征量。本发明中将边缘方向和方位信息相融合，将联合直方图作为跟踪安全帽的特征量。

(1)边缘方向直方图。边缘方向直方图，是对目标物体中边缘点的边缘方向分布的统计，一幅边缘图像的方向空间被分为m个不同的方向，统计每个方向上边缘点的数目，计算其出现的概率，即可得出m维边缘方向直方图：

E_i＝P[O(p)＝i]，i＝1，2，…m

其中，p代表每一个边缘点，O(p)表示点p的边缘方向，E_i表示边缘方向i的概率。综合考虑边缘定位的准确性、方向估计的准确性和计算量的问题，本发明中所采用的边缘算子如附图6所示，具体计算时把方向空间以π/8为单位，平分为16级。

(2)方位直方图。安全帽边缘在跟踪窗口中的方位信息，采用边缘点A(x，y)的方位角α和半径r两个量来联合表示，如附图7所示。

(a)方位角。定义边缘的方位角为边缘点到跟踪窗口中心的向量OA和水平x轴的夹角α，把方位角空间按π/8的步长离散化为16级，统计边缘点的方位角，获取方位角直方图。其中(x，y)表示纵坐标，(hx，hy)表示跟踪窗口中心坐标。

$\mathrm{\&alpha;}=\frac{{\tan }^{-1}\left(\frac{y-\mathrm{hy}}{x-\mathrm{hx}}\right)}{\mathrm{\&pi;}/8}$

(b)半径。定义边缘的半径为边缘点到跟踪窗口中心的距离r，根据跟踪窗口的对角线长度的一半，把r归一化，之后等分为8个级别。

$r=\frac{\sqrt{{(x-\mathrm{hx})}^2+{(y-\mathrm{hy})}^2}}{\sqrt{{\mathrm{hx}}^2+{\mathrm{hy}}^2}}\&times;8$

(3)联合直方图。

本发明中采用边缘方向和方位信息相结合的特征量，即联合直方图，如下：

$q_u\left(x_0\right)=\left\{\begin{array}{cc}C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_1\left(y_i\right)-u]& 0\&le;u<16\\ C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_2\left(y_i\right)-u]& 16\&le;u<32\\ C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_3\left(y_i\right)-u]& 32\&le;u<40\end{array}\right.$

其中，b₁(y_i)表示边缘方向空间均分为16级后像素y_i的边缘方向，b₂(y_i)表示边缘方位角空间均分为16级后像素y_i的方位角，b₃(y_i)表示方位半径归一化后均分为8级后像素y_i的半径。

第三步，结合Kalman滤波和Mean-shift对安全帽进行跟踪。

在Mean-shift跟踪算法中，核函数带宽h的大小起着非常重要的作用，因为它不但决定了参与Mean-shift迭代的样本数量，而且也反映了跟踪窗口的大小，从而决定了Mean-shift算法目标定位的准确性。对于安全帽跟踪来讲，由于边缘呈现弧状，且是采用边缘方向信息和方位信息来实现跟踪，本发明中直接在这些信息的基础上，计算相应的窗口变化量，实现核函数带宽的自适应更新。实际跟踪中，计算边缘点方位信息时，统计了边缘点到窗口中心的半径，利用跟踪窗口对角线一半的长度，把该半径归一化后分为8个级别，实际上相当于以跟踪窗口中心为原点，以对角线长度的1/16为单位，把窗口等分为8个圆环，如附图8所示。具体方法如下：

1.对于初始跟踪的帧进行以下操作：

(1)统计每个圆环内边缘点的个数，实际上就是前面计算的半径直方图；

(2)计算圆环内边缘点的平均数；

(3)从最外环起，找到第一个边缘点数大于平均数的第一个圆环，并记录该圆环编号A。

2.间隔两帧后，对定位后的新帧重复以上工作，记录圆环编号B；

3.判断跟踪窗口大小是否需要更新：

(1)若A和B一致，清除新记录的圆环编号B，跟踪窗口大小不变，继续下一帧的跟踪、寻找圆环和判断；

(2)若A和B不一致，计算A和B的间隔C，并换算到以像素为单位，统计两帧之间间隔的帧数D，得出D帧平均尺寸变化为C/D，核函数带宽h更改为h+C/D，继续下一帧的跟踪，记录A，并转到2。

综上所述，完整的安全帽跟踪可总结如下：

1.由检测算法检测到某帧中有安全帽的存在，该帧定为跟踪初始帧，检测到的安全帽区域为初始跟踪窗口；

2.对初始帧按附图6所示边缘检测算子进行边缘检测，通过分割阈值Th将图像转换为二值图像；

3.统计初始跟踪窗口特征{q_u}_{u＝0，1，2，…，39}，即边缘方向、方位角、半径联合直方图；

4.重复以下步骤：

(1)利用Kalman滤波器预测下一帧跟踪窗口起点y₀；

(2)计算候选目标的特征{p_u(y₀)}_{u＝0，1，2，…，39}；

(3)计算候选目标与目标的相似度

(4)计算权值{w_i}_{i＝0，1，…，39}；

(5)利用Mean-shift算法，计算目标新位置；

(6)更新{p(y₁)}_{u＝0，1，…，39}，计算

(7)若ρ[p(y₁)，q]＜ρ[p(y₀)，q]，那么

直到ρ[p(y₁)，q]＞ρ[(y₀)，q]；

(8)若||y₁-y₀||＜ε，则定位，转(9)；否则y₀←y₁，转(3)；ε是一个很小的常量。

(9)若间隔帧已满，计算核函数带宽更新量，否则转(1)。

附图9为利用本发明的方法进行安全帽检测与跟踪的效果。可以看出，本发明采用基于Kalman滤波、Mean-shift跟踪的方案实现对安全帽的跟踪，选择联合边缘方向和方位信息的直方图作为特征量，利用安全帽呈现类圆形的特性选择核函数带宽，有效克服了井下监控视频色彩单一、照度低、目标与背景相似、很多情况下无法得到完整的人体轮廓等现实问题，实现了视频中安全帽的实时准确跟踪。

Claims (6)

1.一种基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，包括安全帽的检测过程和安全帽跟踪过程；

安全帽检测过程如下：

(1)获得样本图像：对安全帽进行建模，对安全帽图像进行不同角度的旋转，来模拟实际环境中各个角度的图像，构成安全帽图像训练集；同时，选取井下视频中人员肩部区域和矿灯照射的区域作为非安全帽图像训练集；

(2)分类特征提取：选取训练图像的四方向边界图像作为特征量；

(3)分类器设计：选择分段线性判别函数，采用统计模式识别方法，把视频帧中的安全帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器进行训练，为检测做准备；

(4)安全帽检测。利用训练好的分类器对井下视频进行安全帽检测；安全帽跟踪过程如下：

(I)确定跟踪目标：由检测算法检测到某帧中有安全帽的存在，将该帧定为跟踪初始帧，检测到的安全帽区域为初始跟踪窗口；

(II)选择跟踪特征。将边缘方向和方位信息相融合，将联合直方图作为跟踪安全帽的特征量；

(III)结合Kalman滤波和Mean-shift对安全帽进行跟踪。

1)利用Kalman滤波器预测下一帧跟踪窗口起点y₀；

2)计算候选目标的特征{p_u(y₀)}_{u＝0，1，…，39}；

3)计算候选目标与目标的相似度

4)计算权值{w_i}_{i＝0，1，…，39}；

5)利用Mean-shift算法，计算目标新位置；

6)更新{p(y₁)}_{u＝0，1，…，39}，计算

7)若ρ[p(y₁)，q]＜ρ[p(y₀)，q]，那么

直到ρ[p(y₁)，q]＞ρ[p(y₀)，q]；

8)若||y₁-y₀||＜ε(ε是一个很小的常数)，则定位，转(9)；否则y₀←y₁，转(3)；

9)若间隔帧已满，计算核函数带宽更新量，否则转1)。

2.根据权利要求1所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，安全帽检测过程(1)中所述的图像样本由10个安全帽区域和3个非安全帽局域组成。

3.根据权利要求1所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，安全帽检测过程(2)中所述选取训练图像的四方向边界图像作为特征量，按如下步骤进行：

对安全帽图像利用Prewitt算子进行四方向边缘提取，并进行高斯滤波。减小尺寸为8×8大小，并去掉外边缘像素值，去掉四角像点，转换为直径为6的圆形，构成共24×4维的特征向量。

4.根据权利要求1所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，安全帽检测过程(3)中所述选择分段线性判别函数，采用统计模式识别方法，把视频帧中的安全帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器进行训练，其中，利用高斯模型拟合安全帽轮廓和非安全帽区域，并按如下步骤进行：

(3-a)任意选择10个高斯模型拟合安全帽区域和3个高斯模型拟合主要包括人员肩部和矿灯干扰区的非安全帽区域，分别采用欧氏距离进行K均值聚类，其聚类结果分别作为上述两类初始聚类中心；

(3-b)采用马氏距离对所有的样本进行K均值聚类，算法收敛后，计算出每类的聚类中心和协方差矩阵；

(3-c)得到安全帽区域和非安全帽区域两大类的共13个子类的聚集中心和离散矩阵。

5.根据权利要求1所述的根据权利要求1所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，安全帽跟踪过程(II)中所述将边缘方向和方位信息相融合，将联合直方图作为跟踪安全帽的特征量，按如下步骤进行：

(A)边缘方向直方图：边缘方向直方图是对目标物体中边缘点的边缘方向分布的统计，一幅边缘图像的方向空间被分为m个不同的方向，统计每个方向上边缘点的数目，计算其出现的概率，即可得出m维边缘方向直方图：

E_i＝P[O(p)＝i]，i＝1，2，…m

其中，p代表每一个边缘点，O(p)表示点p的边缘方向，E_i表示边缘方向i的概率；其中，采用的边缘算子为：

$\left[\begin{array}{ccccccc}-1& -4& -5& 0& 5& 4& 1\\ -6& -24& -30& 0& 30& 24& 6\\ -15& -60& -75& 0& 75& 60& 15\\ -20& -80& -100& 0& 100& 80& 20\\ -15& -60& -75& 0& 75& 60& 15\\ -6& -24& -30& 0& 30& 24& 6\\ -1& -4& -5& 0& 5& 4& 1\end{array}\right]/1280$ $\left[\begin{array}{ccccccc}1& 6& 15& 20& 15& 6& 1\\ 4& 24& 60& 80& 60& 24& 4\\ 2& 30& 75& 100& 75& 30& 5\\ 0& 0& 0& 0& 0& 0& 0\\ -5& -30& -75& -100& -75& -30& -5\\ -4& -24& -60& -80& -60& -24& -4\\ -1& -6& -15& -20& -15& -6& -1\end{array}\right]/1280$

计算时把方向空间以π/8为单位，平分为16级；

(B)方位直方图：安全帽边缘在跟踪窗口中的方位信息，采用边缘点A(x，y)的方位角α和半径r两个量来联合表示；

(B-a)方位角α：定义边缘的方位角为边缘点到跟踪窗口中心的向量OA和水平x轴的夹角α，把方位角空间按π/8的步长离散化为16级，统计边缘点的方位角，获取方位角直方图；

$\mathrm{\&alpha;}=\frac{{\tan }^{-1}\left(\frac{y-\mathrm{hy}}{x-\mathrm{hx}}\right)}{\mathrm{\&pi;}/8}$

(B-b)半径r：定义边缘的半径为边缘点到跟踪窗口中心的距离r，根据跟踪窗口的对角线长度的一半，把r归一化，之后等分为8个级别。

$r=\frac{\sqrt{{(x-\mathrm{hx})}^2+{(y-\mathrm{hy})}^2}}{\sqrt{{\mathrm{hx}}^2+{\mathrm{hy}}^2}}\&times;8$

(C)联合直方图。

边缘方向和方位信息相结合的特征量，即联合直方图，如下：

$q_u\left(x_0\right)=\left\{\begin{array}{cc}C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_1\left(y_i\right)-u]& 0\&le;u<16\\ C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_2\left(y_i\right)-u]& 16\&le;u<32\\ C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}G\left({\left|\right|\frac{y_i-x_0}{h}\left|\right|}^2\right)\mathrm{\&delta;}[b_3\left(y_i\right)-u]& 32\&le;u<40\end{array}\right.$

其中，b₁(y_i)表示边缘方向空间均分为16级后像素y_i的边缘方向，b₂(y_i)表示边缘方位角空间均分为16级后像素y_i的方位角，b₃(y_i)表示方位半径归一化后均分为8级后像素y_i的半径。

6.根据权利要求1-5所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，安全帽跟踪过程(III)所述对安全帽跟踪时，自适应地调整核函数带宽，按如下步骤进行：

(i).对于初始跟踪的帧进行以下操作：

i-1)统计每个圆环内边缘点的个数，实际上就是前面计算的半径直方图；

i-2)计算圆环内边缘点的平均数；

i-3)从最外环起，找到第一个边缘点数大于平均数的第一个圆环，并记录该圆环编号A；

(ii).间隔两帧后，对定位后的新帧重复以上工作，记录圆环编号B；

(iii).判断跟踪窗口大小是否需要更新：

iii-1)若A和B一致，清除新记录的圆环编号B，跟踪窗口大小不变，继续下一帧的跟踪、寻找圆环和判断；

iii-2)若A和B不一致，计算A和B的间隔C，并换算到以像素为单位，统计两帧之间间隔的帧数D，得出D帧平均尺寸变化为C/D，核函数带宽h更改为h+C/D，继续下一帧的跟踪，记录A，并转到(ii)。

Images