CN111626169B - 一种基于图像的铁路危险落石尺寸判断方法 - Google Patents

Abstract

本发明公开了铁路异物侵限领域的一种基于图像的铁路危险落石尺寸判断方法，方法的步骤包括：S1，获取视频序列图像，并标记出包含铁轨的限界区域；S2，跟踪识别所述限界区域里的落石；S3，判别落石是否在轨面上，当落石在轨面上时直接报警，当落石没有在轨面上时，执行步骤S4；S4，计算落石尺寸，当所述落石尺寸超过安全阈值时，直接报警，否则，返回步骤S2。本发明的方法解决了危及行车安全的落石尺寸计算和报警阈值设定两个问题，提升了应用落石识别技术的视频监控系统的报警处理效率。

Description

一种基于图像的铁路危险落石尺寸判断方法

技术领域

本发明涉及铁路异物侵限领域，特别是一种基于图像的铁路危险落石尺寸判断方法。

背景技术

近年来我国的铁路建设进程迅速发展，列车运行速度不断提高，列车在露天环境中高速行驶时触发行车安全问题的环境因素也明显增加。我国普速铁路特别是山区铁路其线路周边危岩耸立，易发生边坡落石侵入铁路界限内的自然灾害事件，严重影响到列车的运行安全。

目前我国主动避免边坡落石的方法主要有：

1、人工定期巡检。

2、山体维护措施：对易发生落石的危险山体采用边坡围岩、支挡的围护措施来监测和防护边坡落石。

3、铁路视频监控系统。

人工定期巡检和山体维护措施等手段不仅耗费人力物力，而且无法有效预警和避免铁路轨道边坡落石侵限突发事故。虽然铁路视频监控系统已经成为了一种重要的铁路安全保障方法，但是主要依靠人工判断的方式对落石进行检测，也无法做到智能监测和报警。

目前很多研究团队在铁路视频图像的基础上，采用深度学习等技术对图像内的落石进行跟踪识别，能够达到较好的准确性和可靠性，但是也面临着落石分类难、落石尺寸难以计算、报警阈值难以把握等困难。落石有大有小，有些石块由于尺寸小不会危及行车安全，如果对检测到的所有落石都进行报警则会产生大量的确认工作，降低工作效率，因此有必要研究铁路图像中危及行车安全的落石尺寸计算及分类问题，只对侵入限界的超过安全尺寸或者处于危险位置区域的落石进行报警处理，并应该具备很高的可靠性和准确性。

发明内容

本发明解决了上述落石尺寸难以计算、报警阈值难以把握等问题，提出了一种基于图像的铁路危险落石尺寸判断方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于图像的铁路危险落石尺寸判断方法，步骤包括：

S1，获取视频序列图像，并标记出包含铁轨的限界区域；

S2，跟踪识别限界区域里的落石；

S3，判别落石是否在轨面上，当落石在轨面上时直接报警，当落石没有在轨面上时，执行步骤S4；

S4，计算落石尺寸，当落石尺寸超过安全阈值时，直接报警，否则，返回步骤S2。

进一步的，步骤S1具体包括以下步骤：

S11，将获取的视频序列图像中的帧图像进行标准化尺寸调整，获取同一像素尺寸下的预处理图；

S12，对预处理图进行二值化处理；

S13，将二值化处理后的图进行霍夫线变换，获得霍夫线变换图；

S14，若霍夫线变换图中包括4条平行线，则霍夫线变换图为包含铁路场景的图像；

S15，获取4条平行线的像素坐标矩阵，并分别得到轨道左侧边沿线像素坐标矩阵和轨道右侧边沿线像素坐标矩阵；

S16，根据轨道左侧边沿线像素坐标矩阵和轨道右侧边沿线像素坐标矩阵划出铁轨的限界区域。

进一步的，步骤S16主要包括以下步骤：

保持铁轨左侧边缘线在图像坐标系中的纵坐标不变，铁轨左侧边缘线在图像坐标系中的横坐标向左平移m个像素，得到新的左侧边缘线像素坐标矩阵[x_left-m, y_left]；

保持铁轨右侧边缘线在图像坐标系中的纵坐标不变，铁轨右侧边缘线在图像坐标系中的横坐标向右平移m个像素，得到新的右侧边缘线的像素坐标矩阵[x_right+m, y_right]。

x_left-m和x_right+m两条新的边缘线围起来的区域为铁轨的限界区域，x_left是铁轨左侧内边缘线的像素横坐标，y_left是铁轨左侧内边缘线的像素纵坐标，x_right是铁轨右侧内边缘线的像素横坐标，y_right是铁轨右侧内边缘线的像素纵坐标。

进一步的，步骤S2具体包括以下步骤：

S21，输入视频序列图像中的帧图像到落石侵限检测模型，输出判断为落石的概率值，落石侵限检测模型是采用包含“落石”目标的数据集预先训练得到；

S22，若判断为落石的概率值大于概率阈值，则帧图像中的物体为“落石”，否则，帧图像中的物体不是“落石”。

作为本发明的优选方案，落石侵限检测模型是通过 “落石”目标图片对YOLOv3网络进行训练得到的，并对YOLOv3网络的超参数进行了设置，设置包括：

输出层节点个数设置为类别个数，类别个数为4，包括列车、行人、落石、工作人员四个类别；

设置yolo层 random =1；设置ignore_thresh =0.7，ignore_thresh是参与计算的IOU阈值大小；设置训练步数steps为70000步，其中，前30000步学习率以0.0001收敛，后40000步学习率以0.00001收敛；设置saturation = 1.5；设置exposure = 1.5；设置hue=0.1；设置batch/subdivision=4。

作为本发明的优选方案，S3的具体包括以下步骤：

S31，当帧图像中的物体为“落石”时，记录当前帧图像中落石检测框的像素坐标值（x，y，w，h，score）， x、y分别为检测框中心点的坐标值，w、h为检测框的宽和高，score为判断该检测框为落石的概率值；

S32，根据落石检测框的像素坐标值（x，y，w，h，score），计算得到落石检测框的左上角[x_min,y_min]和右下角[x_max,y_max]的坐标；

S33，当y_r=y_min或y_l=y_max时，进一步判断：如果x_max＜x_l或者x_min＞x_r，则落石没有落在铁轨表面上，否则，落石在铁轨表面上，直接报警；

其中，单条铁轨线左侧边缘的像素坐标矩阵为[x_l,y_l]；单条铁轨线右侧边缘的像素坐标矩阵为[x_r,y_r]，y_r是单条铁轨右侧边缘的纵坐标，y_l是单条铁轨线左侧边缘的纵坐标；x_l单条铁轨线左侧边缘的横坐标，x_r是单条铁轨线右侧边缘的横坐标。

作为本发明的优选方案，落石检测框的左上角[x_min,y_min]和右下角[x_max,y_max]的坐标的计算公式为：

其中，x_min是检测框左上角的横坐标，y_min是检测框左上角的纵坐标；x_max是检测框右下角的横坐标，y_max是检测框右下角的纵坐标，w是检测框的长度，h是检测框的宽度。

作为本发明的优选方案，S4的具体包括以下步骤：

S41，取落石检测框的长度和宽度中的较大值赋值给a；

S42，设置y=y_left=y_right，则计算帧图片中当前落石所处位置的轨距b，其中，b=x_right-x_left，铁轨左侧内边缘线的像素横坐标是x_left，铁轨左侧内边缘线的像素纵坐标是y_left，铁轨右侧内边缘线的像素横坐标为x_right，铁轨右侧内边缘线的像素纵坐标为y_right；

S43，如果a/b＞K，则判断该落石尺寸过大，直接报警，否则返回步骤S2，其中，K是安全阈值。

作为本发明的优选方案，K的取值范围是0.07≤K≤0.09。

基于相同的构思，本发明还提出了一种基于图像的铁路危险落石尺寸判断装置，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

与现有技术相比，本发明的有益效果：

本发明提出的一种基于图像的铁路危险落石尺寸判断方法，解决了危及行车安全的落石尺寸计算和报警阈值设定两个问题，提升了应用落石识别技术的视频监控系统的报警处理效率。

附图说明：

图1为本发明实施例1中一种基于图像的铁路危险落石尺寸判断方法的流程图；

图2为本发明实施例1中判断落石是否停留在轨面示意图；

图3为本发明实施例1中判断落石尺寸是否超过阈值算法示意图；

图4为本发明实施例1中检测落石、列车的图像识别算法示意图；

图5为本发明实施例1中落石数据集制作、图像识别网络训练示意图。

附图标记：31-铁轨面的边缘线，32-检测框，33-落石，21-铁轨标记，22-落石检测框，23-落石示意图，24-视频监控设备。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

一种基于图像的铁路危险落石尺寸判断方法流程图如图1所示，该方法的步骤包括：

S1，获取视频序列图像，并标记出包含铁轨的限界区域；

S2，跟踪识别所述限界区域里的落石；

S3，判别落石是否在轨面上，当落石在轨面上时直接报警，当落石没有在轨面上时，执行步骤S4；

S4，计算落石尺寸，当所述落石尺寸超过安全阈值时，直接报警，否则，返回步骤S2。

其中，步骤S1包括以下步骤：

步骤1：通过铁路监控视频得到视频序列图像，并且将视频序列图像拆分成帧图像作为输入，并调整每帧图像的像素尺寸为（m×n），其中，m是每帧图像的像素点的横坐标，n是每帧图像的像素点的纵坐标，作为优选方案，每帧图像的像素尺寸为500×375。

步骤2：包括但不限于使用霍夫线检测识别铁路场景。使用霍夫线检测识别铁路场景的步骤包括：

步骤2-1：对帧图像进行边缘二值化处理。

步骤2-2：处理完的单通道二值化帧图片作为霍夫线变换的输入，进而检测到铁路背景图片中两条铁轨的内外边缘共4条线及其像素坐标矩阵。

步骤3：根据铁轨内边缘两条线及其像素坐标矩阵标记限界区域。具体步骤为：

步骤3-1：选取步骤2-2中得到的2条内边缘线的像素坐标矩阵，设左侧内边缘线的像素坐标矩阵为[x_left,y_left]，设右侧内边缘线的像素坐标矩阵为[x_right,y_right]。

步骤3-2：维持左侧边缘线在图像坐标系中的纵坐标不变，其横坐标向左平移m个像素，此时新的左侧边缘线的像素坐标矩阵为[x_left-m,y_left]。

步骤3-3：同理，维持右侧边缘线在图像坐标系中的纵坐标不变，其横坐标向右平移m个像素，此时新的右侧边缘线的像素坐标矩阵为[x_right+m,y_right]。

步骤3-4：x_left-m和x_right+m两条新的边缘线围起来的区域为限界区域。

作为优选方案，当铁路线路为直线时，mm，其中，X₀是标准轨距铁路的建筑物基本限界长度基准值，L₀是轨距值，L₀=1435mm，，表示在图像坐标系中轨距的像素距离。通常当铁路线路为直线时，X₀=4880mm，L₀=1435mm，故。

当铁路线路为曲线时，，，X₀是标准轨距铁路的建筑物基本限界长度基准值，L是轨距，W是线路极限弯曲情况下单侧加宽量，W取W1和W2中较大的值，W1是轨道曲线内侧加宽量，W2是轨道曲线外侧加宽量，，表示在图像坐标系中轨距的像素距离。当加宽量W=553mm，轨距L=1435mm时，标准轨距铁路的建筑物基本限界长度的最大值为X_max=4880+2W=4880+1106=5986mm。

因此，X取值范围是[4880,5986]，单位mm。

特别的，还需要考虑到横坐标向左平移m个像素后移出了图像的区域，因此，如果x_left-m≤0，则令x_left-m=0。

同理，横坐标向右平移m个像素后可能移出图像的区域，因此，如果x_right+m≥500，则令x_right+m=500（500是每帧图像的像素点为500×375时，横坐标的最大值）。

其中，步骤S2包括但不限于采用YOLOv3算法对限界区域内的落石进行跟踪识别，并用检测框标记移动物体，具体包括以下步骤：

S21，对训练完成的落石侵限检测模型输入帧图片，检测限界区域内的物体是否为“落石”，score的值大于阈值（例如阈值为0.7）表示有理由相信该物体为落石。其中，落石侵限检测模型是采用包含“落石”目标的数据集预先训练得到的。

S22，记录当前帧中落石检测框的像素坐标值（x，y，w，h，score）， x、y分别为检测框中心点的坐标值；w、h为检测框的宽和高；score为判断该检测框为落石的概率值。

作为优选方案，落石侵限检测图像识别模型是通过 “落石”目标图片对YOLOv3网络进行训练得到的，并对YOLOv3网络的超参数进行了设置，所述设置包括：

针对输出层节点个数改为4（代表类别个数，列车、行人、落石、工作人员）；

设置yolo层 random =1，目的是增加不同的分辨率，或者增大图片本身分辨率；

设置ignore_thresh = 0.7，ignore_thresh 指得是参与计算的IOU阈值大小。当预测的检测框与ground true的IOU大于ignore_thresh的时候，参与loss的计算，进而修正隐藏层参数；这样修改的目的是由于我们数据集中落石很多，很多比较小的落石并不影响到行车安全，也就不需要参与loss训练；

设置训练步数（steps=30000，40000），其中，前30000步学习率以0.0001收敛，后40000步学习率以0.00001收敛；

设置saturation = 1.5，增加饱和度以增加训练样本；

设置exposure = 1.5，增加曝光增加训练样本；

设置hue=0.1通过调整色调来增加训练样本；

设置batch/subdivision=4；为一次性读取输入图片张数，以便适应该场景下落实检测。

作为优选方案，落石检测框的生成过程为：

在Yolov1网络算法中，输入图片划分为S*S的栅格，每个栅格负责检测中心落在该栅格中的物体。每一个栅格预测B个检测框，以及这些检测框的置信度。置信度反映了该栅格是否含有物体，以及这个检测框的坐标预测有多准。Yolov1网络算法直接回归检测框的宽、高，因此预测精度有限，学习难度较高。所以在Yolov2网络算法中，改进为回归基于先验框的变化值，这样网络的学习难度降低，整体精度提升不小。Yolov3沿用了Yolov2中关于检测框的技巧，并且使用k-means算法对数据集中的标签框进行聚类，得到类别中心点的9个框，作为先验框。在Yolov3网络算法的设计中，还借鉴了特征金字塔的思想，小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体。

Yolov3总共输出3个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个下采样8倍。每个特征图的每个栅格中，都配置3个不同的先验框，所以得到最后三个特征图。三张特征图就是整个Yolo输出的检测结果，检测框位置（4维）、检测置信度（1维）、类别（4维）都在其中。检测框位置用像素坐标值（x，y，w，h）表示，x、y分别为检测框中心点的坐标值；w、h为检测框的宽和高。检测置信度即判断概率值score，当进行“列车”识别时，score为列车识别概率值，当进行“落石”识别时，score为落石识别概率值。后续的判断中，分别以该检测框作为限界区域内移动物体判断的依据。

作为优选方案，在使用落石侵限检测图像识别模型判断限界区域内是否是落石之前，还包括以下步骤：

S200，通过训练得到的异物侵限检测图像识别模型，判断所述限界区域内的移动物体是否为列车，如果是，说明列车正常运行，不再进行后续的处理，如果不是，则执行步骤S201；

S201，在视频序列图像中，采用检测框标记限界区域内的移动物体，检测框根据YOLOv3网络算法生成，并获取检测框的中心点坐标；

S203，在视频序列图像中，根据检测框的中心点坐标，判断限界区域内的移动物体是否丢失，如果没有丢失，则执行步骤S204；

S204，在所述视频序列图像中，根据所述检测框的中心点坐标，判断所述限界区域内的移动物体是否静止，如果是静止的，则通过所述落石侵限检测图像识别模型，判断所述限界区域内的移动物体是否为落石。

所述异物侵限检测图像识别模型是通过“列车”目标图片和“落石”目标图片对YOLOv3网络进行训练得到的。

其中，步骤S200包括以下步骤：

将视频序列图像输入已经训练好的异物侵限检测图像识别模型，输出列车识别得分结果；

当所述列车识别得分结果大于预设的列车识别阈值，此时，设定的列车识别阈值为0.7，则判断限界区域内的移动物体是列车，表示该时刻下行车正常，无需报警，继续处理下一帧图片；否则就不是列车。

S203包括以下步骤：

令y_i=y_right=y_left，若x_left-m＜x_i＜x_right-m时，判定为所述限界区域内的移动物体没有丢失， （x_i，y_i）是所述检测框的中心点坐标，i为视频序列图像的序列号，限界区域左侧内边缘线的像素坐标矩阵为[x_left-m, y_left]，右侧内边缘线的像素坐标矩阵为[x_right+m,y_right]，m是划定所述限界区域时，横坐标平移的像素值。如果该移动图像丢失，则说明该移动物体已经落到限界区域以外，不会对铁路交通造成威胁，则不做是否为落石的判断，如果该移动物体没有丢失，则说明该移动物体在限界区域，需要进行识别。当视频序列图像中有多个移动物体时，将分别对每个物体进行跟踪判断。

S204包括以下步骤：

获取未丢失的限界区域内的移动物体首次出现时相应的检测框的中心点坐标(x₁,y₁)；

获取视频序列图像中第i帧图像中，未丢失的限界区域内的移动物体相应的检测框的中心点坐标(x_i,y_i)，其中i为所述视频序列图像的序列号，i=2,3……K；

计算检测框的中心点坐标(x_i,y_i)和检测框的中心点坐标(x₁,y₁)之间的欧氏距离，计算公式为：

当d_i=0时，则未丢失的所述限界区域内的移动物体在序号为i的帧图像中处于静止状态，否则，该移动物体仍然处于移动状态，有可能移出限界区域。对未丢失的移动物体和静止物体，均要进行是否是落石的判断。

判断出检测框中物体为落石的概率值大于阈值（作为优选方案，阈值设置为0.7）时，进一步判断落石的位置和大小。

判断落石是否停留在轨面示意图如图2所示，落石为33，落石的检测框为32；根据步骤2-2可以得到铁轨面的边缘线31的像素坐标矩阵，单条铁轨线左侧边缘的像素坐标矩阵为[x_l,y_l]；单条铁轨线右侧边缘的像素坐标矩阵为[x_r,y_r]，S3中判别落石是否在轨面上的具体步骤包括：

首先，根据检测框32的像素信息，可以计算得到检测框的左上角 [x_min,y_min]和右下角[x_max,y_max]的坐标信息，计算公式如公式（1）所示。

            （1）

其中，x_min是检测框左上角的横坐标，y_min是检测框左上角的纵坐标；x_max是检测框右下角的横坐标，y_max是检测框右下角的纵坐标，w是检测框的长度（同时也是落石的长度），h是检测框的宽度（同时也是落石的宽度）。

当y_r=y_min，或y_l=y_max时，即是说，当检测框右下角纵坐标等于单条铁轨线左侧边缘的纵坐标，或检测框左上角纵坐标等于单条铁轨线右侧边缘的纵坐标时，判断：如果x_max＜x_l或者x_min＞x_r时，也即是检测框右下角横坐标小于单条铁轨线左侧边缘的横坐标，或者检测框左上角横坐标大于单条铁轨线右侧边缘的横坐标时，则表明落石没有落在铁轨表面上；否则表示落石在铁轨表面上，采取报警措施。

由上述方法可知，落石与检测框呈一一对应的关系，落石的尺寸大小由检测框的像素坐标信息决定，根据检测框，就可以实现S4，计算落石尺寸，以及判断落石是否超过安全阈值。因此，直接提取检测框的像素坐标信息（x，y，w，h，score），根据检测框的长度w和宽度h，就可以得出落石的长度和宽度。

确定出落石的长度和宽度后，根据设置安全阈值K判断落石大小是否超过安全阈值，作为优选方案，安全阈值K的范围是0.07≤K≤0.09。判断落石尺寸是否超过阈值算法示意图如图3所示，判断的具体步骤包括：

第一步，设置a=max(w，h)，也即是取落石的长度和宽度中的较大值赋值给a；

第二步，设置y=y_left=y_right，则在图片中当前落石所处位置的轨距b=x_right-x_left；

第三步，判断，如果a/b＞K，则判断该落石尺寸过大，影响行车安全，直接报警，否则返回步骤S2，跟踪识别所述限界区域里的落石。

用于落石识别的落石侵限检测图像识别模型的训练过程如图4所示，41为数据集制作，根据铁路侵限检测的需要设定数据集，可以是落石、行人、列车等，42为被训练的目标检测网络模型。图5为数据集制作的步骤，首先使用labelimg软件对帧图片中的检测物（可以是落石、行人、列车等）进行人工标记，标记的主要信息有（x_min,y_min,x_max,y_max,label）；训练集用于训练神经网络，验证集用于改进网络，测试集测试网络的泛化能力。

图5中还给出了根据训练集训练得到落石侵限检测图像识别模型的过程，训练集图像依次通过图像预处理、卷积提取特征、边界值预测和类别预测，输出识别概率。具体步骤为：

第一步，图像预处理。包括了步骤：将训练集图像输入预处理函数，并完成数据增强。该预处理函数处理包括图像的预处理和数据预处理，并定义了输入图像的大小、采样的方式，预处理函数主要用于批量剪切图片、图片灰度处理、二值化处理、缩放处理、丰富数据等操作。当样本量比较少时候，把已有的图翻转，平移，雾化，去燥等方法，增加用于训练的样本量。数据增强是基于yolov3 算法，采用了随机水平翻转、随机裁剪、随机旋转来增加数据的多样性和鲁棒性。

第二步，卷积提取特征。深度学习的方式都是通过卷积提取特征，yolov3提取卷积特征使用的基网络是darknet53，该网络有53层卷积层，yolov3借鉴了残差网络Residual一起来提取特征。

第三步，边界值预测。边界值预测对应有2中不同的方式，一种是基于yolo和SSD回归的方式，另一种是RCNN系列边界框预测的方式。

基于yolo和SSD回归的方式，实现边界值预测的步骤包括：

首先，将输入图片分为S*S个网格，每一个网格单元格检测中心点落在该格子内的目标；

其次，每一个网格单元格会预测 B个边界框（bounding box）以及边界框的置信度（confidence score），还要给出预测出 C个类别概率值。

最后，将所有的网格生成的检测框使用NMS算法（非极大值抑制）输入筛选过的检测边界框。

第四步，多数网络在边界框预测的同时进行了类别的预测；分类部分利用已经获得的建议框，通过全连接层和softmax计算每一个建议框的类别并输入其概率值，yolov3在卷积层之后通过连接一个全连接层和softmax进行类别的预测和边界框预测。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像的铁路危险落石尺寸判断方法，其特征在于，步骤包括：

S1，获取视频序列图像，并标记出包含铁轨的限界区域；

S2，跟踪识别所述限界区域里的落石；

S3，判别落石是否在轨面上，当落石在轨面上时直接报警，当落石没有在轨面上时，执行步骤S4；

S4，计算落石尺寸，当所述落石尺寸超过安全阈值时，直接报警，否则，返回步骤S2；

步骤S2具体包括以下步骤：

S21，输入所述视频序列图像中的帧图像到落石侵限检测模型，输出判断为落石的概率值，所述落石侵限检测模型是采用包含“落石”目标的数据集预先训练得到；

S22，若所述判断为落石的概率值大于概率阈值，则所述帧图像中的物体为“落石”，否则，所述帧图像中的物体不是“落石”；

所述落石侵限检测模型是通过“落石”目标图片对YOLOv3网络进行训练得到的，并对所述YOLOv3网络的超参数进行了设置，所述设置包括：

输出层节点个数设置为类别个数，所述类别个数为4，包括列车、行人、落石、工作人员四个类别；

设置yolo层random＝1；设置ignore_thresh＝0.7，ignore_thresh是参与计算的IOU阈值大小；设置训练步数steps为70000步，其中，前30000步学习率以0.0001收敛，后40000步学习率以0.00001收敛；设置saturation＝1.5；设置exposure＝1.5；设置hue＝0.1；设置batch/subdivision＝4；

S3的具体包括以下步骤：

S31，当所述视频序列图像中的帧图像的物体为“落石”时，记录当前帧图像中落石检测框的像素坐标值(x，y，w，h，score)，x、y分别为检测框中心点的坐标值，w、h为检测框的宽和高，score为判断该检测框为落石的概率值；

S32，根据所述落石检测框的像素坐标值(x，y，w，h，score)，计算得到所述落石检测框的左上角[x_min,y_min]和右下角[x_max,y_max]的坐标；

S33，当y_r＝y_min或y_l＝y_max时，进一步判断：如果x_max＜x_l或者x_min＞x_r，则落石没有落在铁轨表面上，否则，落石在铁轨表面上，直接报警；

其中，单条铁轨线左侧边缘的像素坐标矩阵为[x_l,y_l]；单条铁轨线右侧边缘的像素坐标矩阵为[x_r,y_r]，y_r是单条铁轨右侧边缘的纵坐标，y_l是单条铁轨线左侧边缘的纵坐标；x_l单条铁轨线左侧边缘的横坐标，x_r是单条铁轨线右侧边缘的横坐标；

S4的具体包括以下步骤：

S41，取落石检测框的长度和宽度中的较大值赋值给a；

S42，设置y＝y_left＝y_right，则计算所述帧图像中当前落石所处位置的轨距b，其中，b＝x_right-x_left，铁轨左侧内边缘线的像素横坐标是x_left，铁轨左侧内边缘线的像素纵坐标是y_left，铁轨右侧内边缘线的像素横坐标为x_right，铁轨右侧内边缘线的像素纵坐标为y_right；

S43，如果ab＞K，则判断该落石尺寸过大，直接报警，否则返回步骤S2，其中，K是安全阈值，K的取值范围是0.07≤K≤0.09。

2.如权利要求1所述的一种基于图像的铁路危险落石尺寸判断方法，其特征在于，步骤S1具体包括以下步骤：

S11，将获取的视频序列图像中的帧图像进行标准化尺寸调整，获取同一像素尺寸下的预处理图；

S12，对所述预处理图进行二值化处理；

S13，将所述二值化处理后的图进行霍夫线变换，获得霍夫线变换图；

S14，若所述霍夫线变换图中包括4条平行线，则所述霍夫线变换图为包含铁路场景的图像；

S15，获取所述4条平行线的像素坐标矩阵，并分别得到轨道左侧边沿线像素坐标矩阵和轨道右侧边沿线像素坐标矩阵；

S16，根据所述轨道左侧边沿线像素坐标矩阵和轨道右侧边沿线像素坐标矩阵划出铁轨的限界区域。

3.如权利要求2所述的一种基于图像的铁路危险落石尺寸判断方法，其特征在于，步骤S16主要包括以下步骤：

保持铁轨左侧边缘线在图像坐标系中的纵坐标不变，所述铁轨左侧边缘线在图像坐标系中的横坐标向左平移m个像素，得到新的左侧边缘线像素坐标矩阵[x_left-m,y_left]；

保持铁轨右侧边缘线在图像坐标系中的纵坐标不变，所述铁轨右侧边缘线在图像坐标系中的横坐标向右平移m个像素，得到新的右侧边缘线的像素坐标矩阵[x_right+m,y_right]；

x_left-m和x_right+m两条新的边缘线围起来的区域为所述铁轨的限界区域，x_left是铁轨左侧内边缘线的像素横坐标，y_left是铁轨左侧内边缘线的像素纵坐标，x_right是铁轨右侧内边缘线的像素横坐标，y_right是铁轨右侧内边缘线的像素纵坐标。

4.如权利要求1所述的一种基于图像的铁路危险落石尺寸判断方法，其特征在于，所述落石检测框的左上角[x_min,y_min]和右下角[x_max,y_max]的坐标的计算公式为：

其中，x_min是检测框左上角的横坐标，y_min是检测框左上角的纵坐标；x_max是检测框右下角的横坐标，y_max是检测框右下角的纵坐标，w是检测框的长度，h是检测框的宽度。

5.一种基于图像的铁路危险落石尺寸判断装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4中任一项所述的方法。

Images