CN110210447A - 一种井下危险区域运动目标检测方法及装置 - Google Patents

Abstract

本发明公开一种井下危险区域运动目标检测方法及装置，包括视频采集模块，用于采集井下区域的视频信息；目标检测模块,用于读取图像数据，将视频图像数据转换为灰度图像序列，并对灰度图像序列去躁、平滑预处理，再通过LOG边缘检测和几何曲率的纹理信息检测得到准确的运动目标的完整轮廓和结构；PC端控制模块，用于控制目标检测模块的运行；显示模块，用于实时显示检测到的运动目标位置信息；所述视频采集模块的一端与显示模块连接，所述视频采集模块的另一端与PC端控制模块连接，所述PC端控制模块的另一端与目标检测模块连接；本发明对光照变化有很好的鲁棒性,能够针对矿井危险区域人员进行准确、完整的提取。

Description

一种井下危险区域运动目标检测方法及装置

技术领域

本发明涉及矿井安全监控技术领域，特别是涉及一种井下危险区域运动目标检测方法及装置。

背景技术

近年来随着科技的飞速发展和煤炭工业体系的完善，煤炭开采逐步向安全、高效、自动化的方向发展，我国煤矿的主要形式是井下矿，其开采条件极其复杂，尤其是井下大型移动采掘装备工作区域，由于工况复杂、移动开采、人员相对集中，安全事故频繁发生，自动检测和监控井下危险区域的工作人员，不仅可以准确定位井下人员的准确位置，还对煤矿的自动化安全开采、报警及联动处理起着至关重要的作用，因此井下危险区域运动目标的检测对煤矿安全高效开采具有重要意义。

煤矿井下视频图像在特殊的工矿环境下，采集到的图像照度低、变化大，背景噪声大且噪声分布不均匀，此外，部分煤矿井下视频既包含固定摄像机拍摄的视频图像也包括车载摄像机(摄像机移动)摄录的视频图像，煤矿井下全天候人工照明环境以及粉尘和潮湿等因素影响使得图像采集质量较差，都极大地影响了现场情景的呈现质量和远程主动预警联动效果，限制了矿井视频高质量采集和目标识别应用，传统的煤矿视频监控系统只能对监控场景进行记录，这样就需要工作人员认真、连续的观察，不仅对其注意力要求高度集中，且在事故发生时不能快速的对事故进行报警及联动处理。在井下视频图像的人员检测和识别过程中，矿工工作服一般为深灰色、深蓝色，再加上沾染煤灰的可能性很大，在低照度下和背景灰度非常接近，所记录的图像以黑、灰、白颜色为主，处理时没有色彩信息可利用，而目前的检测方法中，颜色是采用的主要特征，因此现有的检测方法对运动目标的检测效果差。并且，移动装备的视频采集装置由于拍摄角度以及井下照明设备不同于自然光，光照分布不均匀的影响，就会产生部分人体进入视角的现象发生，煤矿井下视频的这种特殊性给人员自动检测带来很大困难，也使得现有的检测方法在井下视频人员检测的应用中受到限制。

发明内容

本发明的目的是提供一种井下危险区域运动目标检测方法及装置，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了如下方案：本发明提供了一种井下危险区域运动目标检测装置，包括视频采集模块，用于采集井下区域的视频信息；目标检测模块,用于读取图像数据，将视频图像数据转换为灰度图像序列，并对灰度图像序列去躁、平滑预处理，再通过LOG边缘检测和几何曲率的纹理信息检测得到准确的运动目标的完整轮廓和结构；PC端控制模块，用于控制目标检测模块的运行；显示模块，用于实时显示检测到的运动目标位置信息；所述视频采集模块的一端与显示模块连接，所述视频采集模块的另一端与PC端控制模块连接，所述PC端控制模块的另一端与目标检测模块连接。

一种井下危险区域运动目标检测方法，包括如下步骤：

S1、采集井下区域的视频信息，对视频信息预处理

将视频图像序列转换为灰度图像序列，并记录灰度图像各像素点的灰度值及此灰度图所对应的原始视频帧的帧号，使用直方图均衡化方法对转换后的灰度图像进行低照度图像增强，并对增强后的图像进行椒盐去噪处理，然后选取预处理后的视频图像序列的第一帧作为初始背景帧；

S2、提取S1中的视频图像序列，使用高斯型平滑函数卷积对视频图像对进行平滑处理，然后使用高斯型拉普拉斯算子对图像进行边缘检测对其进行边缘检测；

S3、采用几何曲率的方法提取步骤S1中图像表面的纹理信息

S31、检测在相应尺度的背景帧纹理和当前帧纹理；

S32、对S31中的两个纹理检测结果进行“与”运算，得到图像中非运动目标区域的纹理结构；

S33、将当前帧的η算子检测结果和上一步得到的非运动目标区域纹理结构做差分，从而准确地得到运动目标的纹理结构信息

S4、采用基于类内类间方差的OTSU方法对检测结果信息进行二值化处理；

S5、将步骤S2中与步骤S3中得到的数据进行“或”运算数据融合，得到图像中的非运动目标区域的边缘；

S6、对S5中的图像进行形态学处理，去除运动区域内多余的噪声，填充运动目标检测结果中小的孔洞和去除一些面积较小的不相关的区域块，将运动目标的轮廓补充的更加完整。

优选的，所述步骤S2具体为：S21、检测在相应尺度上的背景帧边缘和当前帧边缘；

S22、然后对两个边缘检测结果进行“与”运算，得到图像中非运动目标区域的边缘；

S23、最后将当前帧的边缘检测结果和上一步得到的非运动目标区域边缘做差分，从而准确地得到运动目标的边缘轮廓信息

优选的，所述步骤S4具体为：类内方差结合类间方差通过使类内类间距离的可分离性判据最大来确定图像的阈值，设图像有L阶灰度，n_i是灰度为i的像素数，图像总像素数N＝n₁+n₂+...+n_L。灰度为i的像素概率为：设二值化图像的阈值为k，定义类间方差为：

定义两类问题的类内方差为：

式中：p_i为第i类像素的概率，m_i为第i类像素的均值，X_i为第i类像素集合；可分离性判据定义为：

根据类间离散度尽量大，类内离散度尽量小的原则，使得H最大的阈值为图像二值化处理的最佳阈值。

本发明公开了以下技术效果：

首先利用直方图均衡和中值滤波对视频图像序列进行预处理：由于视频中的井下人员矿服颜色与背景灰度非常接近，采用直方图均衡的方法可以实现使井下人员的图像细节的增强显示，增强图像局部的对比度而不影响整体的对比度，再使用中值滤波处理方法，对脉冲干扰级椒盐噪声的抑制效果好，在抑制随机噪声的同时能有效保护图像边缘信息，提高边缘检测的效果；将微分几何中的图像几何表面曲率结构信息用于对灰度图像下的运动目标检测，利用其对光照不敏感的特性对纹理信息进行检测时，可以有效地抵抗光照变化所带来的干扰，能够很好的定位运动目标的位置和轮廓，从而提高运动目标的检测精度和效果，且计算复杂度低；使用高斯型平滑函数卷积该图像对其进行平滑处理，再通过一幅用零交叉确定边缘位置的图像，就可以在图像的平滑处理过程中减少噪声的影响，还可以抵消由Laplacian算子的二阶导数引起的逐渐增加的噪声影响，因此其能精确定位所检测图像的边缘点，且边缘连续性很好；利用将LOG边缘检测算子与图像表面的几何曲率结构相结合的方法精确、完整提取运动目标；本发明不仅可以准确定位井下人员的位置，还对煤矿的自动化安全开采、报警及联动处理起到了至关重要的作用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明装置结构示意图；

图2为目标检测模块的结构示意图；

图3为本发明的流程图；

图4为图像处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1-4本发明提供一种井下危险区域运动目标检测方法及装置，所述运动目标检测装置包括视频采集模块，用于采集井下区域的视频信息；目标检测模块,用于读取图像数据，对图像数据进行处理从而得到准确的运动目标的纹理结构；PC端控制模块，用于控制目标检测模块的运行；显示模块，用于实时显示检测到的运动目标位置信息；所述视频采集模块的一端与显示模块连接，所述视频采集模块的另一端与PC端控制模块连接，所述PC端控制模块的另一端与目标检测模块连接。其中目标检测模块又包含XC7K325D型号的FPGA和TMS320C6678的DSP两个模块。

所述运动目标检测方法包括图像预处理并对所述预处理图像进行背景帧选取；对确定背景帧后的预处理图像进行LOG边缘检测以及利用微分几何中的图像几何表面曲率对预处理图像进行运动目标的纹理信息提取，并将所提取的信息分别用基于类内类间方差的OTSU方法进行二值化处理；根据二值化处理后的运动目标信息融合生成完整的运动目标，对所提取的运动目标进行数学形态学处理得到精确的运动目标信息。

图像预处理：首先将预处理视频图像序列转换为灰度图像序列，并记录灰度图像各像素点的灰度值及此灰度图所对应的原始视频帧的帧号；然后利用直方图均衡化对转换后的灰度图像进行低照度图像增强，并对增强后的图像进行中值滤波以去除椒盐噪声，选取预处理后的视频图像序列的第一帧作为初始背景帧。

目标检测：在煤矿井下视频图像在特殊的工矿环境下，采集到的图像照度低、变化大，背景噪声大且噪声分布不均匀。现有的检测方法虽然也能对目标进行检测，但是井下照明设备不同于自然光，光照分布不均匀，物体轮廓仅隐约可见；对于井下视频图像的人员检测和识别中，矿工工作服一般为深灰色、深蓝色，再加上沾染煤灰的可能性很大，在低照度下和背景灰度非常接近，所记录的图像以黑、灰、白颜色为主，处理时没有色彩信息可利用；而目前的检测方法中，颜色是采用的主要特征，因此现有的检测方法对运动目标的检测效果比较差。

因此本申请中采用LOG边缘检测的方法，对于上述情况下采集到的视频图像序列进行处理。若直接使用一阶导数的边缘检测算子对图像进行检测会出现找不到边界或者边界效果很差的情况发生，而基于二阶导数的边缘检测算子就能检测到很有用的边缘信息。不过二阶导数对噪声也比较敏感，需要先对图像进行平滑滤波，消除部分噪声，再进行边缘检测，因此本发明选择高斯型拉普拉斯算子(Laplacian of Gaussian,LOG)对图像进行边缘检测。由于二阶导数是线性运算，首先使用高斯型平滑函数卷积该图像对其进行平滑处理，然后通过提供一幅用零交叉确定边缘位置的图像，就可以在图像的平滑处理减少噪声的影响，还可以抵消由Laplacian算子的二阶导数引起的逐渐增加的噪声影响，因此本方法能精确定位所检测图像的边缘点，且边缘连续性很好。具体过程如下：

原图像记为f(x,y),通过卷积运算和拉普拉斯算子的作用，得到输出图像为：

h(x,y)＝▽²(G(x,y)*f(x,y))，其中G(x,y)为高斯函数为f(x,y)为原图像，h(x,y)为输出图像，▽²为拉普拉斯算子，

高斯函数：

拉普拉斯算子：

最终的LOG算子为：

其中σ为高斯标准偏差，x,y分别为像素点坐标；

利用LOG边缘检测算子检测在相应尺度上的背景帧边缘和当前帧边缘；对两个边缘检测结果进行“与”运算，得到图像中的非运动目标区域的边缘；将当前帧的边缘检测结果和上一步得到的非运动目标区域边缘做差分，从而得到准确的运动目标边缘。

几何曲率的纹理检测：为提高煤矿井下低照度背景下的运动目标的识别率，图像表面几何曲率代表了在图像局部表面某一点在不同方向上的弯曲程度。本发明采用曲率中的主曲率来提取图像表面的纹理信息,主曲率包含有极大值曲率和极小值曲率，所以它们不仅能够提取图像表面的宏观结构的纹理信息，同时也能够提取微观结构的纹理信息。此外，主曲率还对运动目标的旋转、光照、和视点变化具有很强的鲁棒性，其通常可以通过求解hessian矩阵的特征值来获得。对于一个灰度图像I(x,y)，hessian矩阵定义如下：

其中，*为卷积符号，G_xx，G_yy和G_xy分别为沿着x,y和xy方向上的三个高斯二阶导数滤波器。通过求解hessian矩阵，求得的特征值如下：

特征值λ₁和λ₂分别对应于主曲率信息中的极大值和极小值曲率，对曲率中的这两个极值进行量化如下：

其中，η即为最终检测出的矿井下危险区域运动目标的纹理结构信息。

基于几何曲率的运动目标检测流程如下：

利用η算子检测在相应尺度上的背景帧纹理和当前帧纹理；对两个纹理检测结果进行“与”运算，得到图像中的非运动目标区域的纹理结构；将当前帧的η算子检测结果和上一步得到的非运动目标区域纹理结构做差分，从而得到准确的运动目标纹理结构；此方法能够利用图像纹理结构的图像表面几何曲率特征来补充单一的梯度特征，其对光照变化具有很好的鲁棒性，使定位运动目标的位置准确性强和轮廓清晰，且计算复杂度低。

二值化处理：本发明引入类内方差结合类间方差通过使类内类间距离的可分离性判据最大来确定图像的阈值。设图像有L阶灰度，n_i是灰度为i的像素数，图像总像素数N＝n₁+n₂+...+n_L。

灰度为i的像素概率为：

设二值化图像的阈值为k，定义类间方差为：

定义两类问题的类内方差为：

其中，p_i为第i类像素的概率，m_i为第i类像素的均值，X_i为第i类像素集合。可分离性判据定义为：

根据类间离散度尽量大，类内离散度尽量小的原则，使得H最大的阈值为图像二值化处理的最佳阈值。采用基于类内类间方差的OTSU方法对运动目标的边缘检测结果信息进行二值化处理。

数据融合模块：将LOG边缘检测结果信息与基于几何曲率的纹理结构信息通过“或”运算进行融合。如下所示：

其中，G_c(i,j)表示数据融合后的图像，S_LOG(i,j)表示运动目标边缘检测结果二值化后的信息，L_η(i,j)表示运动目标纹理检测结果二值化后的信息，(i,j)为图像的像素点坐标。

最后对上述计算进行形态学处理：采用先腐蚀再连续膨胀的方法使得检测的运动目标轮廓信息更加的完整和准确，形态学处理是由膨胀、腐蚀组合而成的开闭运算，可以去除运动区域内多余的噪声，填充运动目标检测结果中小的孔洞和去除一些面积较小的不相关的区域块，将运动目标的轮廓补充的更加完整。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (4)

1.一种井下危险区域运动目标检测装置，其特征在于：包括视频采集模块，用于采集井下区域的视频信息；目标检测模块，用于读取图像数据，将视频图像数据转换为灰度图像序列，并对灰度图像序列去躁、平滑预处理，进而提取运动目标的边缘信息和纹理信息，再通过LOG边缘检测和几何曲率的纹理信息检测得到准确的运动目标的完整轮廓和结构；PC端控制模块，用于控制目标检测模块的运行；显示模块，用于实时显示检测到的运动目标位置信息；所述视频采集模块的一端与显示模块连接，所述视频采集模块的另一端与PC端控制模块连接，所述PC端控制模块的另一端与目标检测模块连接。

2.一种井下危险区域运动目标检测方法，其特征在于：包括如下步骤：

S1、采集井下区域的视频信息，对视频信息预处理

将视频图像序列转换为灰度图像序列，并记录灰度图像各像素点的灰度值及此灰度图所对应的原始视频帧的帧号，使用直方图均衡化方法对转换后的灰度图像进行低照度图像增强，并对增强后的图像进行椒盐去噪处理，然后选取预处理后的视频图像序列的第一帧作为初始背景帧；

S2、提取S1中的视频图像序列，使用高斯型平滑函数卷积对视频图像对进行平滑处理；

S3、采用几何曲率的方法提取步骤S1中图像表面的纹理信息

S31、检测在相应尺度的背景帧纹理和当前帧纹理；

S32、对S31中的两个纹理检测结果进行“与”运算，得到图像中非运动目标区域的纹理结构；

S33、将当前帧的η算子检测结果和上一步得到的非运动目标区域纹理结构做差分，从而得到准确的运动目标纹理结构；

S4、采用基于类内类间方差的OTSU方法对检测结果信息进行二值化处理；

S5、将步骤S2中与步骤S3中得到的数据进行“或”运算数据融合，得到图像中非运动目标区域的边缘；

S6、对S5中的图像进行形态学处理，去除运动区域内多余的噪声，填充运动目标检测结果中小的孔洞和去除一些面积较小的不相关的区域块，将运动目标的轮廓补充的更加完整。

3.根据权利要求2所述的井下危险区域运动目标检测方法，其特征在于：所述步骤S2具体为：

S21、检测在相应尺度上的背景帧边缘和当前帧边缘；

S22、然后对两个边缘检测结果进行“与”运算，得到图像中非运动目标区域的边缘；

S23、最后将当前帧的边缘检测结果和上一步得到的非运动目标区域边缘做差分，从而得到准确地得到运动目标的边缘轮廓信息。

4.根据权利要求3所述的井下危险区域运动目标检测方法，其特征在于：所述步骤S4具体为：类内方差结合类间方差通过使类内类间距离的可分离性判据最大来确定图像的阈值，设图像有L阶灰度，n_i是灰度为i的像素数，图像总像素数N＝n₁+n₂+...+n_L，灰度为i的像素概率为

设二值化图像的阈值为k，定义类间方差σ_A为：

定义两类问题的类内方差σ_B为：

式中：pi为第i类像素的概率，mi为第i类像素的均值，Xi为第i类像素集合；可分离性判据H定义为：

根据类间离散度尽量大，类内离散度尽量小的原则，使得H最大的阈值为图像二值化处理的最佳阈值。