CN101519981A - 基于单目视觉的矿井机车防撞预警系统和预警方法 - Google Patents

Abstract

本发明涉及矿井安全技术领域，具体涉及保证矿井机车运输安全的防撞预警系统和预警方法；其中预警系统包括：摄像装置、主控制系统以及报警器；预警方法包括如下步骤：1)采集矿井机车前方图像；2)对图像进行预处理；3)在预处理后的图像中提取轨道特征，判断轨道是否为弯道；若判断出轨道为弯道，则发出警报并返回步骤1)；若判断出轨道不为弯道，则执行步骤4)；4)确定预处理后的图像中的感兴趣区域，从感兴趣区域中识别目标物；若存在目标物，则计算目标物与本矿井机车的距离，若距离小于预设值，则发出警报并返回步骤1)；若不存在目标物，则返回步骤1)。

Description

基于单目视觉的矿井机车防撞预警系统和预警方法

技术领域

本发明涉及矿井安全技术领域，具体涉及保证矿井机车运输安全的防撞预警系统和预警方法。

背景技术

近年来，煤矿机车运输的伤亡事故呈现不断上升的趋势。煤矿机车运输监控系统在煤矿生产综合监控中占有重要地位，在矿井运输轨道上采取有针对性的监控措施，能有效的防止矿井下轨道运输事故，从而促进煤矿安全生产。

目前，我国已有许多研究成果应用于现场，取得了一定的效果，从一定程度上减少了机车运行事故的发生。但是，这些研究成果大多采用基于轨道电路探测仪和压力传感器等手段对机车本身的监控来发现造成停车或事故的故障，不是系统的扩展性、适应性差，就是投资高、稳定性不够，如监控者只能看到一些数字化的指标，监测不具可视化，监测效果差；更重要的是这些监控主要是针对机车本身的运行状况进行检测，而对车辆行驶过程中前方人员安全和防止与前方运行机车相碰撞不能有效地监测，这些都影响了系统的使用和推广。

当前研究较多的是采用智能传感器并基于现场总路线技术及组态软件技术的全矿井综合监测监控系统。如公开号为CN101222399A的中国发明专利公布说明书公开的一种井下监控系统及井下监控方法，通过在矿井中设置基站，采用外接于基站的传感器来检测矿井中的各种环境参数，在井下的移动目标上设置收发机，与基站进行无线双向通讯，这些基站通过LonWorks现场总线技术将移动目标的位置及状态信息发送到地面控制中心，以实现对井下移动目标的定位、跟踪以及考勤，但是该方法仍存在系统成本高、维护量大的问题，而且并未对机车与人、机车与机车相撞进行有效的监控。如公开号为CN1818345A的中国发明专利公布说明书公开的一种矿井斜巷运输人车安全监控防护系统，采用红外探测器来监测斜巷内的矿工情况，并通过预警和绞车控制系统来保障矿工人身安全，虽然该方法有涉及到矿工人身安全的监测，但该方法采用的红外探测器容易受各种热源，被动红外穿透力差，人体的红外辐射容易被遮挡，不易被探测器接收，也易受射频辐射的干扰，会产生虚报与漏报的情况，可靠性不高。

在基于视觉的研究领域，大多数都是针对高速公路交通的研究。如公开号为CN101016053A的中国发明专利公布说明书公开的一种高等级公路上车辆防追尾碰撞预警方法和系统，对汽车运行过程中产生的车体阴影来识别本车前方出现的目标物是汽车还是非汽车以外的物体，结合本车车速等信息来判断车距大小，并将实际测得的车间距离与安全车距进行比较，以决定发出警告信号与否。该方法对于路面交通确实能起到预警作用，而对于矿井轨道运输，由于井下巷道光线昏暗，光源是后方机车发出而且巷道路面阴暗，机车下方阴影不明显。所以根据车体阴影来判断前方是否有机车不可行。公开号为CN101281022A的中国发明专利公布说明书公开的一种基于单目机器视觉的车辆距离测量方法所述，采用单目的图像摄取系统采集图像信息，提取图像信息中前方车辆车牌大小，根据车牌边缘尺寸与预先标定值进行比较，从而实现车辆距离的大致估计。在矿井下，机车没有类似于汽车车牌的标志物可以参考，并且机车的种类繁多，不能以一个标准的标志物作为参考。

发明内容

有鉴于此，为了解决上述问题，本发明提供一种可靠性较高的基于单目视觉的矿井机车防撞预警系统。

本发明的目的是这样实现的，基于单目视觉的矿井机车防撞预警系统，包括

摄像装置，用于采集矿井机车前方图像；

主控制系统，用于接收摄像装置获取的图像信息，判断矿井机车前方轨道是否为弯道，以及判断矿井机车前方是否有目标物，根据判断结果，发出报警命令；以及

报警器，接收主控制系统的报警命令，发出警报。

进一步，所述摄像装置为红外CCD摄像机；

进一步，所述基于单目视觉的矿井机车防撞预警系统还包括：

液晶显示器，与主控制系统连接，实时显示摄像装置获取的图像；以及

视频存储器，与主控制系统连接，存储显示摄像装置获取的图像；

本发明还提供一种基于单目视觉的矿井机车防撞预警方法，包括如下步骤：

1)采集矿井机车前方图像；

2)对图像进行预处理；

3)在预处理后的图像中提取轨道特征，判断轨道是否为弯道；若判断出轨道为弯道，则发出警报并返回步骤1)；若判断出轨道不为弯道，则执行步骤4)；

4)确定预处理后的图像中的感兴趣区域，从感兴趣区域中识别目标物；若存在目标物，则计算目标物与本矿井机车的距离，若距离小于预设值，则发出警报并返回步骤1)；若不存在目标物，则返回步骤1)。

进一步，所述步骤2)具体包括如下步骤：

21)对图像进行增强处理；

22)对图像进行平滑滤波处理；

23)对图像进行二值化处理；

24)对二值图像进行形态学闭运算处理；

进一步，所述步骤3)具体包括如下步骤：

31)在预处理后的图像中提取轨道特征；

32)检测轨道是否分岔，如是，则判定轨道为弯道，执行步骤34)，如否，则执行步骤33)

33)检测轨道是否为弯道，如是，执行步骤34)，如否，执行步骤4)

34)发出警报，返回步骤1)；

进一步，所述步骤4)具体包括：

41)在预处理后的图像中确定感兴趣的区域；

42)在感兴趣的区域中，进行边缘检测，获得连通区域；

43)对连通区域进行目标物识别，若存在目标物，则执行步骤44)，若不存在目标物，则返回步骤1)；

44)计算目标物与本矿井机车的距离，若距离小于预设值，则发出警报并返回步骤1)；

进一步，所述步骤44)中，计算目标物与本矿井机车的距离公式模型如下：

$d=\frac{a_1}{w_p+a_2};$

式中，d为目标物与本矿井机车的距离，w_p为图像中目标物底端所在像素行的轨道宽度值；将得到的不同摄像高度h下的大量实验数据经过拟合得到测距公式参数a₁、a₂的计算模型，分别为：

$\left\{\begin{array}{c}{a}_1=p_{11}\×h^3+p_{12}\×h^2+p_{13}\×h+p_{14}\\ a_2=p_{21}\×h^3+p_{22}\×h^2+p_{23}\×h+p_{24}\end{array}\right.;$

式中，h为摄像装置安装高度，p₁₁、p₁₂、p₁₃、p₁₄、p₂₁、p₂₂、p₂₃、p₂₄为常量；

进一步，p₁₁、p₁₂、p₁₃、p₁₄、p₂₁、p₂₂、p₂₃、p₂₄的取值分别为-7901、2.342e+004、-2.251e+004、8362、-253、726.7、-671.7、200.9；

进一步，所述步骤33)检测轨道是否为弯道的具体方法为：检测弯道方法：以图像最低点轨道的起始点作为参考点，再由近及远选取前方轨道上的多个点，计算各点与参考点所在直线的斜率，如果各直线斜率呈逐渐增大或减小的变化趋势，则说明轨道发生弯曲。

本预警系统及预警方法，通过安装在矿井机车头部的摄像装置，在矿井机车行驶过程中实时采集图像，经过相应测距算法处理判断是否有弯道，以及安全区域内是否有人与机车，如有，则计算其距离，根据距离值进行相应预警，根据报警信号，提醒驾驶员采取相应措施，同时也提醒井下作业人员注意安全，有效地防止井下运输事故发生，保障运输环境的畅通；本发明基于单目视觉实现，硬件结构及相应算法简单，易于实现。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述：

图1示出了基于单目视觉的矿井机车防撞预警系统的结构示意图；

图2示出了基于单目视觉的矿井机车防撞预警方法的流程示意图。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述。

参见图1，本优选实施例的基于单目视觉的矿井机车防撞预警系统，包括摄像装置1、主控制系统2、声光报警器3、显示装置4和存储装置5，由于矿井下阴暗潮湿、能见度低等特点，摄像装置1选用有效焦距为16mm的单目红外CCD摄像机，摄像装置1安装于矿井机车头部，用于在矿井机车行进过程中采集矿井机车前方的图像信息并发送到主控制系统2，主控制系统2处理摄像装置获取的图像信息，判断矿井机车前方轨道是否弯曲，以及判断矿井机车前方是否有目标物，根据判断结果，通过声光报警器3发出报警命令，并根据需要，对图像信息进行存储或显示。

参见图2，本实施例基于单目视觉的矿井机车防撞预警方法包括以下步骤：

(1)图像数据采集：由摄像装置1采集机车前方的图像信息，转换为数字信号，并发送到主控制系统2；

(2)主控制系统2对接收的图像进行以下预处理，图像预处理的目的是获得二值图像，并对图像进行优化，并不限于使用以下预处理步骤：

21)从采集的图像数据(YCbCr)中提取Y分量，即灰度图像数据，以便进行下一步的图像处理；

22)对图像进行增强处理；

23)对图像进行平滑滤波处理；

24)由于背景在图像中的灰度级比较小，而目标物等的灰度级比较大，可利用图像灰度级分布特征自动确定阈值，对图像进行二值化处理，从而得到二值图像；

25)对二值图像进行由先膨胀、再腐蚀的形态学闭运算处理，以消去二值化图像中的杂散点，并填补可能出现的空洞，从而有效地去除噪声；

(3)主控制系统2对预处理后的图像进行如下处理：

31)在预处理后的图像中提取轨道特征；

32)井下轨道存在分岔的情况，分岔后的双轨道中，必有一条为弯道，因此运用种子链码跟踪方法检测出两根轨道变为四根轨道时，说明前方轨道分岔，则可判定轨道转弯，执行步骤34)；

33)运用种子链码跟踪方法检测机车轨道，所述步骤33)检测轨道是否为弯道的具体方法为：以图像最低点轨道的起始点作为参考点，再由近及远选取前方轨道上的多个点，计算各点与参考点所在直线的斜率，如果各直线斜率呈逐渐增大或减小的变化趋势，则说明轨道发生弯曲，执行步骤34)，如否，执行步骤4)；

34)发出警报，如长鸣笛声，以提醒驾驶员注意前方是弯道，减速慢行，同时也提醒前方弯道内可能存在的人员将有机车经过，注意避让；而后返回步骤1)，采集下一帧图像。

(4)主控制系统2对预处理后的图像进行如下处理：

41)在预处理后的图像中确定感兴趣的区域：矿井机车基于轨道行驶，车体宽度大于运行轨道宽度，例如我国现有大多数轨道为900毫米，矿车宽为2300毫米。出于对矿工行走安全的考虑，图像感兴趣区域为应包含机车运行轨道左右两侧1米内的图像区域；

42)在经过以上两步的处理后，在步骤41)获得的感兴趣的区域中，利用Gauss-Laplace算子进行边缘检测，之后运用链码跟踪方法，把由边缘点构成的若干区域标记出来，结果为若干连通区域；

43)目标物识别，即判断步骤42)获得的连通区域是否是人或其他矿井机车，本实例采用模板匹配方法进行目标物识别，模板包括人体和机车；通过检测连通区域是否符合人体或机车的特征，从而提取出所需要的目标物；若存在目标物，则执行步骤44)，若不存在目标物，则返回步骤1)；

44)该优选实施例中选用有效焦距为16mm的单目红外CCD摄像机。根据井下轨道宽度是定值的特性及摄像头安装高度需求，针对摄像头安装高度的不同，经对高度范围为(0.845m～1.3m)的大量实验数据拟合得到目标距离摄像头的世界坐标系中的距离值d与图像中目标物低端所在像素行的轨道宽度值wp之间的曲线关系，其函数表达式为：

$d=\frac{a_1}{w_p+a_2};$

式中，d为目标物与本矿井机车的距离，w_p为图像中目标物底端所在像素行的轨道宽度值，a₁、a₂分别为：

$\left\{\begin{array}{c}{a}_1=p_{11}\×h^3+p_{12}\×h^2+p_{13}\×h+p_{14}\\ a_2=p_{21}\×h^3+p_{22}\×h^2+p_{23}\×h+p_{24}\end{array}\right.;$

式中，h为摄像装置安装高度，参数p₁₁、p₁₂、p₁₃、p₁₄、p₂₁、p₂₂、p₂₃、p₂₄可根据试验数据，通过计算拟合得到，最佳的，在置信度为95％的置信区间中的拟合值如下表所示：

 

	参数值		参数值
				p11	-7901	p21	-253
p12	2.342e+004	p22	726.7
				p13	-2.25le+004	p23	-671.7
p14	8362	p24	200.9

只要将目标物低端所在像素行的轨道宽度值w_p代入以上关系式，即可计算出目标物与本机车的距离值d，当距离值d小于预设值时，则发出报警，并返回步骤1)采集下一帧图像。

预设值可通过如下方法确定：矿井机车的运行速度为υ，驾驶员在开始制动前最少需要的反应时间为t_ρ，产生制动效果需要的时间为t_s，制动时间为t_d合计起来，刹车发生效果的最少总时间为T＝t_ρ+t_s+t_d，根据以上参数设定安全距离，即预设值为L＝υT。

如上式，可设定当距离值d为不同值时，发出不同的预警(报警)信号。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于单目视觉的矿井机车防撞预警系统，其特征在于：包括

摄像装置，用于采集矿井机车前方图像；

主控制系统，用于接收摄像装置获取的图像信息，判断矿井机车前方轨道是否为弯道，以及判断矿井机车前方是否有目标物，根据判断结果，发出报警命令；以及

报警器，接收主控制系统的报警命令，发出警报。

2.如权利要求1所述的基于单目视觉的矿井机车防撞预警系统，其特征在于：所述摄像装置为红外CCD摄像机。

3.如权利要求1或2所述的基于单目视觉的矿井机车防撞预警系统，其特征在于：所述基于单目视觉的矿井机车防撞预警系统还包括：

液晶显示器，与主控制系统连接，实时显示摄像装置获取的图像；以及

视频存储器，与主控制系统连接，存储显示摄像装置获取的图像。

4.一种基于单目视觉的矿井机车防撞预警方法，其特征在于：包括如下步骤：

1)采集矿井机车前方图像；

2)对图像进行预处理；

3)在预处理后的图像中提取轨道特征，判断轨道是否为弯道；若判断出轨道为弯道，则发出警报并返回步骤1)；若判断出轨道不为弯道，则执行步骤4)；

4)确定预处理后的图像中的感兴趣区域，从感兴趣区域中识别目标物；若存在目标物，则计算目标物与本矿井机车的距离，若距离小于预设值，则发出警报并返回步骤1)；若不存在目标物，则返回步骤1)。

5.如权利要求4所述的基于单目视觉的矿井机车防撞预警方法，其特征在于：所述步骤2)具体包括如下步骤：

21)对图像进行增强处理；

22)对图像进行平滑滤波处理；

23)对图像进行二值化处理；

24)对二值图像进行形态学闭运算处理。

6.如权利要求4所述的基于单目视觉的矿井机车防撞预警方法，其特征在于：所述步骤3)具体包括如下步骤：

31)在预处理后的图像中提取轨道特征；

32)检测轨道是否分岔，如是，则判定轨道为弯道，执行步骤34)，如否，则执行步骤33)

33)检测轨道是否为弯道，如是，执行步骤34)，如否，执行步骤4)

34)发出警报，返回步骤1)。

7.如权利要求4所述的基于单目视觉的矿井机车防撞预警方法，其特征在于：所述步骤4)具体包括：

41)在预处理后的图像中确定感兴趣的区域；

42)在感兴趣的区域中，进行边缘检测，获得连通区域；

43)对连通区域进行目标物识别，若存在目标物，则执行步骤44)，若不存在目标物，则返回步骤1)；

44)计算目标物与本矿井机车的距离，若距离小于预设值，则发出警报并返回步骤1)。

8.如权利要求7所述的基于单目视觉的矿井机车防撞预警方法，其特征在于：所述步骤44)中，计算目标物与本矿井机车的距离公式模型如下：

$d=\frac{a_1}{w_p+a_2};$

式中，d为目标物与本矿井机车的距离，w_p为图像中目标物底端所在像素行的轨道宽度值；a₁、a₂的计算模型为：

$\left\{\begin{array}{c}{a}_1=p_{11}\×h^3+p_{12}\×h^2+p_{13}\×h+p_{14}\\ a_2=p_{21}\×h^3+p_{22}\×h^2+p_{23}\×h+p_{24}\end{array}\right.;$

式中，h为摄像装置安装高度，p₁₁、p₁₂、p₁₃、p₁₄、p₂₁、p₂₂、p₂₃、p₂₄为常量。

9.如权利要求8所述的基于单目视觉的矿井机车防撞预警方法，其特征在于：所述p₁₁、p₁₂、p₁₃、p₁₄、p₂₁、p₂₂、p₂₃、p₂₄的取值分别为-7901、2.342e+004、-2.251e+004、8362、-253、726.7、-671.7、200.9。

10.如权利要求6所述的基于单目视觉的矿井机车防撞预警方法，其特征在于：所述步骤33)检测轨道是否为弯道的具体方法为：以图像最低点轨道的起始点作为参考点，再由近及远选取前方轨道上的多个点，计算各点与参考点所在直线的斜率，如果各直线斜率呈逐渐增大或减小的变化趋势，则说明轨道发生弯曲。

Images