CN103400117B - 一种基于计算机视觉的井下人员定位跟踪方法 - Google Patents

Abstract

本发明提供了一种基于计算机视觉的井下人员定位跟踪方法，利用计算机视觉技术，通过视频图像处理，能够快速地完成运动目标即井下人员的检测及跟踪，具有实时性，同时，能有效克服煤矿井下的视频照度低，光照不均匀，手电筒光照的干扰，目标和背景高度相似等显示困难，对煤矿井下人员进行有效地检测与跟踪，从而自动识别所监控区域的井下人员活动状态，准确地识别井下人员所在区域及所处状态，并进行跟踪，可以实现机器24小时监控，提高了煤矿的安全监控的自动化水平，减轻了监控人员的工作强度，提高工作效率，同时能够有效利用现有的视频监控设施，进行区部改造，工程量低，造价低廉。

Description

一种基于计算机视觉的井下人员定位跟踪方法

技术领域

本发明属于井下人员定位及跟踪技术领域，更为具体地讲，涉及一种基于计算机视觉的井下人员定位跟踪方法。

背景技术

我国是煤炭生产和消费的大国，煤矿的安全生产一直备受关注。井下人员的活动状态以及活动区域是煤矿安全生产重点关注的一个主要问题。目前，国内大多数采用基于RFID技术或基于小灵通系统的井下人员定位跟踪方法。但是这两种方法都有各自的弊端：

1、基于RFID的井下人员定位跟踪方法是利用射频识别技术进行非接触双向通信，以达到识别目的并交换数据。然而基于RFID技术识别距离有限，最主要的是识别精度不高，误差范围大致在2～5米，因此定位达不到所要求的精度范围。

2、基于小灵通系统的井下人员定位跟踪方法是通过小灵通基站间实现精确的三点定位，能够将定位精度控制在50米范围。同RFID技术一样，小灵通定位系统的精度同样不高，而且基站设备和终端设备比较昂贵。

目前，国内许多大中型煤矿均已大量装备了安全监控系统，从而对井下工作人员及重要生产设备进行安全状态监控。传统的视频监测都是采用人工监测，对井下人员定位跟踪，既枯燥又浪费劳力，并且很难实现24小时监测。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于计算机视觉的井下人员定位跟踪方法，以提高井下人员定位跟踪的精度。

为实现以上目的，本发明基于计算机视觉的井下人员定位跟踪方法，包括以下步骤：

（1）、图像预处理

图像预处理完成图像的剪裁：根据井下人员的活动区域，剔除采集的每帧视频图像中井下人员不可能出现的位置，以缩小图像检测的区域大小，提高目标检测的速度；

（2）、背景建模

采用单高斯对背景进行建模：将预处理后的采集视频图像中没有井下人员时的初始多帧图像进行单高斯建模，得到一幅没有人员目标的背景图像；

（3）、前景检测

得到背景图像后，将预处理后的一帧采集视频图像作为当前帧视频采集图像和背景图像进行相减，当像素点差值大于阈值时，则将该像素点设为前景像素点，否则设为背景像素点，得到前景检测图，采集视频图像中的所有前景像素点构成前景图像，利用形态学滤波方法，对前景检测图进行离散前景图像的滤除，如果滤除后，还有前景图像，则滤除后的前景图像为前景目标，前景目标所在区域为目标区域；如果滤除后，没有前景图像，则对下一帧预处理后的采集视频图像进行前景检测，直到获得前景目标；

（4）、目标检测

目标检测主要完成光斑检测和人影检测，将前景检测得到的前景检测图中的光斑和人影剔除，得到待跟踪的人员目标区域；

光斑检测：提取当前帧视频采集图像中各目标区域的HOG（HistogramofOrientedGradient,即方向梯度直方图）特征，检测对应的前景目标否是人体目标，如果不是，则将对应的目标区域删除，如果剩下至少一个前景目标，则进行人影检测，否则返回步骤（3），对下一帧预处理后的采集视频图像进行前景检测；

人影检测：提取当前帧视频采集图像中各目标区域的灰度图像，进行人影检测，将灰度图像中的人影消除，消除人影后的灰度图像对应的区域为待跟踪的人员目标区域，从而消除人影的影响，准确确定井下人员目标；

（5）、目标跟踪

根据目标检测确定的待跟踪的人员目标区域，确定下一帧预处理后的采集视频图像的跟踪区域，利用Mean-shifts算法确定下一帧井下人员目标的活动区域，然后提取该活动区域的HOG特征进行人体目标检测，如果检测是人体目标，则该获得区域为人员目标区域，跟踪到人员目标，如果不是，提取下下一帧预处理后的采集视频图像的进行跟踪；

在跟踪到人员目标后，将跟踪到的人员目标区域作为下下一帧预处理后的采集视频图像人员目标跟踪的待跟踪的人员目标区域进行目标跟踪；

这样不断重复，直到Mean-shifts算法无法确定下一帧井下人员目标的活动区域为止，得到的活动区域组成井下人员完整的活动轨迹图，完成一次井下人员定位跟踪，并返回步骤（3）进行下一次的井下人员定位跟踪。

本发明的目的是这样实现的：

本发明基于计算机视觉的井下人员定位跟踪方法，利用计算机视觉技术，通过视频图像处理，能够快速地完成运动目标即井下人员的检测及跟踪，具有实时性，同时，能有效克服煤矿井下的视频照度低，光照不均匀，手电筒光照的干扰，目标和背景高度相似等显示困难，对煤矿井下人员进行有效地检测与跟踪，从而自动识别所监控区域的井下人员活动状态，准确地识别井下人员所在区域及所处状态，并进行跟踪，可以实现机器24小时监控，提高了煤矿的安全监控的自动化水平，减轻了监控人员的工作强度，提高工作效率，同时能够有效利用现有的视频监控设施，进行区部改造，工程量低，造价低廉。

附图说明

图1是本发明基于计算机视觉的井下人员定位跟踪方法应用的硬件系统一种具体实施方式原理框图；

图2是本发明基于计算机视觉的井下人员定位跟踪方法一种具体实施方式流程图；

图3是光照干扰导致的检测错误的三种情形视频图像；

图4是人影消除前后的对比图；

图5是图4所示视频图像的前景检测图；

图6是图4中的较大框对应的灰度图；

图7是图4中的较大框对应的前景检测图；

图8是图6所示的灰度图进行边缘检测后得到边缘检测图；

图9是跟踪效果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

在本实施例中，本发明基于计算机视觉的井下人员定位跟踪方法应用的硬件系统如图1所示，采用DM6446作为核心芯片，整个嵌入式系统由电源供电模块101、网络接口模块102、视频输入模块103，视频输出模块104、外扩存储器模块105组成。

电源供电模块101采用电源芯片TPS54310提供1.2V核心电压和1.8V外围电压两种电压供电。

视频输入模块103采用TI公司的超低功耗解码芯片TVP5150对视频信号A/D解码，由DSP通过I²C总线控制，预留地址数据等接口，作为后续数字信号处理之用。

视频输出模块104采用SAA7121编码芯片完成视频编码功能，将数字视频流输出为PAL制视频CVBS信号。

外扩存储器模块102主要包括SDRAM和FLASH，其中SDRAM存储器的存取速度较高，主要用它来存放系统运行时的代码以及临时图像数据；FLASH存储器具有可在系统进行电擦写、掉电后信息不丢失的功能，主要用它来保存系统自启动代码以及系统程序代码。

网络接口模块105主要用来支持物理层的网络器件与DSP的连接，由EMAC(10/100M以太网口)与MDIO(控制数据流输入输出)两部分组成的。其中EMAC为网络的数据通路，MDIO为EMAC的状态及控制接口。

在本实施例中，如图2所示，本发明基于计算机视觉的井下人员定位跟踪方法主要包括图像预处理、背景建模、前景检测、目标检测以及目标跟踪五个步骤。

第一步：图像预处理

图像预处理是要完成图像的剪裁：根据井下人员的活动区域，剔除采集的每帧视频图像中井下人员不可能出现的位置，以缩小图像检测的区域大小，提高目标检测的速度。

在本实施例中，从采集的视频图像来看，图像的上部为照明灯光，图像的两侧是墙壁，井下人员不可能出现在这些区域，因此，将采集视频图像上边缘区域，左右边界区域进行裁剪，使得处理的图像大小由原来的352*288变成320*240。

第二步：背景建模

在本实施例中，提取预处理后的采集视频图像中没有井下人员时的初始30帧图像建立背景的单高斯模型，得到一幅没有人员目标的背景图像I_back。

第三步：前景检测

得到背景图像I_back后，将预处理后的一帧采集视频图像即当前帧视频采集图像I与背景图像I_back进行相减，差值大于一定阈值ε的像素点即为变化的前景部分，这些像素点构成前景图像进行后续的处理，包括光斑、人影的检测及消除，其中ε是一个阈值。具体的计算方法可表示为： $I_{\mathrm{front}}(x,y)=\left\{\begin{array}{cc}1& |I(x,y)-I_{\mathrm{back}}(x,y)|\&GreaterEqual;\mathrm{\&epsiv;}\\ 0& |I(x,y)-I_{\mathrm{back}}(x,y)|<\mathrm{\&epsiv;}\end{array}\right.$

式中，I_front(x,y)表示前景检测图I_front中位于坐标(x,y)的像素点值，I(x,y)表示当前帧视频采集图像I位于坐标(x,y)的像素点值，I_back(x,y)表示背景检测图I_back中位于坐标(x,y)的像素点值。前景检测图I_front像素点I_front(x,y)为1的像素点为前景像素点，为0的像素点为背景像素点。

经过上一步处理，前景检测图中会有很多离散的前景图像，利用形态学滤波方法，滤除离散的前景图像。

第四步：目标检测

本步骤主要完成光斑、人影的检测和消除，从前景检测图中准确地定位出待跟踪的人员目标区域。

井下监控视频中，由于光照或者井下人员手持的手电筒灯光会对视频检测结果造成很大的影响，造成目标检测错误，因此要对这些情况下的光斑进行检测。

因人为光照而导致目标即井下人员检测错误，主要有以下三种情况，如图3所示：

（1）、手电筒照射到摄像头，导致整幅图像素发生变化（像素值增大），整幅图被检测为前景，图3(a)所示。

（2）、手电筒照射到机器上，导致机器像素变化，形成光斑，机器被检测为前景图像，图3(b)所示。

（3）、手电筒照射到墙上或地上，形成大片光斑，继而地面或墙壁被检测为前景图像，如图3(c)所示。

针对第（1）情况，在本实施例中，在前景检测中当前帧视频采集图像I和背景图像I_back进行相减前，需要对当前帧视频采集图像I做出相应处理：

判断当前帧视频采集图像I是否是因人为光照（如手电筒照射到摄像头而导致整幅图光线发生变化）而导致井下人员检测错误的图像帧，步骤如下：

Step1：计算出当前帧视频采集图像I所有像素点的均值All_Mean；

Step2：计算出背景图像I_back所有像素点的方差back_Mean；

Step3:：计算差值Difference=All_Mean-back_Mean，如果差值Difference大于阈值threshold，表示当前帧视频采集图像I由于光照的影响不可用，选择下一帧预处理后的采集视频图像，重复步骤Step1～3直到差值Difference不大于阈值threshold为止，阈值threshold的选取可根据已有的视频图像，根据经验值进行确定。

对应第（2）、（3）中情况，计算目标区域内的HOG特征，进行人体目标检测，如果相应的前景目标不是人体目标，则删除该目标区域。

人影的检测与消除

根据祛除光照影响以后得到的目标区域，提取当前帧视频采集图像中各目标区域的灰度图像，进行人影检测。在本实施例中，人影检测为对目标区域的灰度图像中进行边缘检测，利用人体边缘的灰度和影子边缘的灰度有差异的特性，将人影检测出来。如图4所示为人影消除前后对比图，其中较大框是未做人影消除处理的目标区域，白色框是做了人影消除后的目标区域。从图4明显可以看出经过处理以后目标区域中的人影区域被消除了。

图5是图4所示视频图像的前景检测图。白色区域为待检测的前景目标。从此图5中可以看到利用前景检测会把人体以及人影都作为活动的前景检测出来。

图6是图4中的较大框对应的灰度图，图7是该区域的前景检测图。

利用Canny算子对图6即前景检测图中目标区域对应的灰度图像进行边缘检测，得到边缘检测结果的二值图像，如图8所示，边缘检测以后人影的边缘由于小于阈值被滤掉，图像中就留下了人体目标的边缘。利用图8中检测边缘图的下边界，即可确定井下人员目标区域。

其中Canny算子的阈值选择很重要，阈值太大时，检测的边缘较少，有可能丢失目标的边缘信息；阈值太小，检测的边缘较多，有可能会混入背景的边缘信息。经过调试，确定最适合的Canny算子阈值。

由于人影主要是对目标区域的下边界有较大的影响，因此Canny算子检测得到的边界只修改下边界的结果，上边界直接采用原区域上边界。

当检测到的前景太小时，检测到的前景基本没有影子的影响，因而不进行边缘检测。

第五步：目标跟踪

在前面的步骤中系统已检测出感兴趣的待跟踪的人员目标区域，然后进行利用Mean-shift（均值漂移）方法对目标进行跟踪。

确定跟踪目标区域：目标检测确定的人员所在区域定为初始跟踪窗口。将该帧定为初始帧进行跟踪。

跟踪目标的检测：根据初始帧的目标区域，利用Mean-shifts算法确定下一帧目标的活动区域，然后提取该区域的HOG特征进行人体目标检测，如果检测是人体目标，则将此帧的目标区域结果作为最新目标区域，提取下一帧图像进行跟踪，否则沿用上一帧的检测结果。

对图像进行上述处理后，将得到一条目标的跟踪轨迹，通过观察轨迹分析判断井下人员是否有异常行为，从而进行相应报警处理。图9所示就是本发明中视频目标检测及跟踪的最终效果图。从图9中可以看出，本发明基于计算机视觉的井下人员定位跟踪方法可以准确的检测出井下人员并进行跟踪，有效地消除光照形成的光斑及人影对检测结果的影响。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于计算机视觉的井下人员定位跟踪方法，包括以下步骤：

(1)、图像预处理

图像预处理完成图像的剪裁：根据井下人员的活动区域，剔除采集的每帧视频图像中井下人员不可能出现的位置，以缩小图像检测的区域大小，提高目标检测的速度；

(2)、背景建模

采用单高斯对背景进行建模：将预处理后的采集视频图像中没有井下人员时的初始多帧图像进行单高斯建模，得到一幅没有人员目标的背景图像；

(3)、前景检测

得到背景图像后，将预处理后的一帧采集视频图像作为当前帧视频采集图像和背景图像进行相减，当像素点差值大于阈值时，则将该像素点设为前景像素点，否则设为背景像素点，得到前景检测图，采集视频图像中的所有前景像素点构成前景图像，利用形态学滤波方法，对前景检测图进行离散前景图像的滤除，如果滤除后，还有前景图像，则滤除后的前景图像为前景目标，前景目标所在区域为目标区域；如果滤除后，没有前景图像，则对下一帧预处理后的采集视频图像进行前景检测，直到获得前景目标；

(4)、目标检测

目标检测主要完成光斑检测和人影检测，将前景检测得到的前景检测图中的光斑和人影剔除，得到待跟踪的人员目标区域；

光斑检测：提取当前帧视频采集图像中各目标区域的HOG特征即方向梯度直方图特征，检测对应的前景目标否是人体目标，如果不是，则将对应的目标区域删除，如果剩下至少一个前景目标，则进行人影检测，否则返回步骤(3)，对下一帧预处理后的采集视频图像进行前景检测；

人影检测：提取当前帧视频采集图像中各目标区域的灰度图像，进行人影检测，将灰度图像中的人影消除，消除人影后的灰度图像对应的区域为待跟踪的人员目标区域，从而消除人影的影响，准确确定井下人员目标；

所述的人影检测为：利用Canny算子对灰度图像进行边缘检测，得到边缘检测结果的二值图像即边缘图；边缘检测以后人影的边缘由于小于阈值被滤掉，边缘图中就留下了人体目标的边缘，根据检测得到的边缘图的下边界，确定井下人员目标区域；

(5)、目标跟踪

根据目标检测确定的待跟踪的人员目标区域，确定下一帧预处理后的采集视频图像的跟踪区域，利用Mean-shifts算法确定下一帧井下人员目标的活动区域，然后提取该活动区域的HOG特征进行人体目标检测，如果检测是人体目标，则该获得区域为人员目标区域，跟踪到人员目标，如果不是，提取下下一帧预处理后的采集视频图像的进行跟踪；

在跟踪到人员目标后，将跟踪到的人员目标区域作为下下一帧预处理后的采集视频图像人员目标跟踪的待跟踪的人员目标区域进行目标跟踪；

这样不断重复，直到Mean-shifts算法无法确定下一帧井下人员目标的活动区域为止，得到的活动区域组成井下人员完整的活动轨迹图，完成一次井下人员定位跟踪，并返回步骤(3)进行下一次的井下人员定位跟踪。

2.根据权利要求1所述的定位跟踪方法，其特征在于，在前景检测中当前帧视频采集图像I和背景图像I_back进行相减前，需要对当前帧视频采集图像I做出相应处理，判断当前帧视频采集图像I是否是因人为光照而导致井下人员检测错误的图像帧，步骤如下：

Step1：计算出当前帧视频采集图像I所有像素点的均值All_Mean；

Step2：计算出背景图像I_back所有像素点的方差back_Mean；

Step3：计算差值Difference＝All_Mean-back_Mean，如果差值Difference大于阈值threshold，表示当前帧视频采集图像I由于光照的影响不可用，选择下一帧预处理后的采集视频图像，重复步骤Step1～3直到差值Difference不大于阈值threshold为止，阈值threshold的选取可根据已有的视频图像，根据经验值进行确定。