CN111626170A - 一种铁路边坡落石侵限检测的图像识别方法 - Google Patents

一种铁路边坡落石侵限检测的图像识别方法 Download PDF

Info

Publication number
CN111626170A
CN111626170A CN202010432481.9A CN202010432481A CN111626170A CN 111626170 A CN111626170 A CN 111626170A CN 202010432481 A CN202010432481 A CN 202010432481A CN 111626170 A CN111626170 A CN 111626170A
Authority
CN
China
Prior art keywords
image
rockfall
detection
area
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010432481.9A
Other languages
English (en)
Other versions
CN111626170B (zh
Inventor
刘孜学
王富斌
严瑾
余超
李高丰
王学林
谢联莲
苏恺
虞凯
樊伟
杨捷
杨岗
易立富
高柏松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Eryuan Engineering Group Co Ltd CREEC
Original Assignee
China Railway Eryuan Engineering Group Co Ltd CREEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Eryuan Engineering Group Co Ltd CREEC filed Critical China Railway Eryuan Engineering Group Co Ltd CREEC
Priority to CN202010432481.9A priority Critical patent/CN111626170B/zh
Publication of CN111626170A publication Critical patent/CN111626170A/zh
Application granted granted Critical
Publication of CN111626170B publication Critical patent/CN111626170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/23—Dune restoration or creation; Cliff stabilisation

Abstract

本发明公开了铁路异物侵限领域的一种铁路边坡落石侵限检测的图像识别方法，方法的步骤包括：A，获取视频序列图像，并标记出包含铁轨的限界区域；B，基于预设的落石侵限检测图像识别模型，识别出所述限界区域里是否有落石，其中，落石侵限检测图像识别模型是基于YOLOv3算法对图像中的落石进行识别。本发明的方法的有益效果在于，采用本发明的模型，在实时落石识别时，准确率较高，另外，充分利用了YOLOv3算法中的先验框，无需对铁轨图像进行前后背景分离，就能快速进行落石的识别，识别方法具备较高的可靠性、稳定性和准确性。

Description

一种铁路边坡落石侵限检测的图像识别方法
技术领域
本发明涉及铁路异物侵限领域，特别是一种铁路边坡落石侵限检测的图像 识别方法。
背景技术
近年来我国的铁路建设进程迅速发展，铁路客货运输量不断增加，列车运 行速度不断提高，列车在露天环境中高速行驶时触发行车安全问题的环境因素 也明显增加，给铁路安全监控带来巨大的压力。其中铁路异物侵限是一个重要 且亟待解决的安全问题，严重影响到列车的运行安全。
异物侵限是指铁路线路周边受滑坡、崩塌落石及洪水等自然灾害影响造成 的沙土落石、滞留在道上作业的工作人员及工器具、动物、行人等影响正常行 车的障碍物侵入铁路界限范围内，危及行车安全。我国普速铁路特别是山区铁 路其线路周边危岩耸立，易发生边坡落石侵入铁路界限内的自然灾害事件，存 在引发重大行车事故的安全隐患。
目前我国对边坡落石的监测技术人仍停留在人工定期巡检，配合对易发生 落石的危险山体采用边坡围岩、支挡的围护措施来监测和防护边坡落石，这种 监测手段不仅耗费人力物力，而且无法有效预警和避免铁路轨道边坡落石侵限 突发事故。此类主动避免边坡落石的方式虽能一定程度上避免异物入侵事故， 但该方法和依靠列车司机反应的被动停车方式同样达不到自动识别、自动预警 的目的，单一且可靠性不高。
现有技术中，也有相关基于视觉分析的山区铁路边坡落石检测方法提出， 例如公开号为CN105809679B的发明专利“一种基于视觉分析的山区铁路边坡落 石检测方法”，该专利方法步骤为：首先识别铁轨区域，然后对铁轨区域内图 像进行分割，检测出前景目标，最后通过深度学习对目标进行分类，剔除干扰 目标。具有视频分析方法的检测范围广、成本低等优点，同时提高了落石图像 检测的准确性。但是，由于该方案需要对图像进行前后背景分离，并且采用深 度学习的分类方法，因此对图像处理的流程较多，处理的速度较低，需要进一 步改进。
发明内容
本发明改进了上述落石识别的算法，采用YOLOv3算法，利用了YOLOv3 算法中的先验框，无需对铁轨图像进行前后背景分离，并且对超参数进行了针 对应用场景的微调，提出了一种铁路边坡落石侵限检测的图像识别方法。
为了实现上述发明目的，本发明提供了以下技术方案：
一种铁路边坡落石侵限检测的图像识别方法，包括以下步骤：
A，获取视频序列图像，并标记出包含铁轨的限界区域；
B，基于预设的落石侵限检测图像识别模型，识别出限界区域里是否有落石， 落石侵限检测图像识别模型基于YOLOv3算法对图像中的落石进行识别；
步骤B包括以下步骤：
S11，通过预设的落石侵限检测图像识别模型，判断限界区域内的移动物体 是否为列车，如果不是，则执行步骤S12；
S12，在视频序列图像中，采用检测框标记限界区域内的移动物体，检测框 根据YOLOv3网络算法生成，并获取检测框的中心点坐标；
S13，在视频序列图像中，根据检测框的中心点坐标，判断限界区域内的移 动物体是否丢失，如果没有丢失，则执行步骤S14；
S14，在视频序列图像中，根据检测框的中心点坐标，判断限界区域内的移 动物体是否静止，如果是静止的，则执行步骤S15；
S15，通过落石侵限检测图像识别模型，判断限界区域内的移动物体是否为 落石。
作为本发明的优选方案，落石侵限检测图像识别模型是通过“列车”目标 图片和“落石”目标图片对YOLOv3网络进行训练得到的，并对YOLOv3网络 的超参数进行了设置，设置包括：
输出层节点个数设置为类别个数，类别个数为4，包括列车、行人、落石、 工作人员四个类别；
设置yolo层random＝1；设置ignore_thresh＝0.7，ignore_thresh是参与计 算的IOU阈值大小；设置训练步数steps为70000步，其中，前30000步学习率 以0.0001收敛，后40000步学习率以0.00001收敛；设置saturation＝1.5；设置 exposure＝1.5；设置hue＝0.1；设置batch/subdivision＝4。
作为本发明的优选方案，，落石侵限检测图像识别模型的训练包括以下步 骤：
第一步，将训练集图像进行预处理，获取预处理后的图像，预处理包括图 像预处理、数据预处理和数据增强；
第二步，对预处理后的图像进行卷积提取特征；
第三步，边界值预测；
第四步，类别预测，输出识别概率。
作为本发明的优选方案，步骤S11包括以下步骤：
将视频序列图像输入落石侵限检测图像识别模型，输出列车识别得分结果；
当列车识别得分结果大于预设的列车识别阈值，则判断视频序列图像限界 区域内的移动物体是列车，否则就不是列车。
作为本发明的优选方案，步骤S15包括以下步骤：
将含有限界区域内的静止物体的图像输入落石侵限检测图像识别模型，输 出落石识别得分结果；
当落石识别得分结果大于预设的落石识别阈值，则判断限界区域内的静止 物体是落石，否则就不是落石。
作为本发明的优选方案，步骤S13包括以下步骤：
令y＝yright＝yleft，若xleft-m＜xi＜xright-m，判定为限界区域内的移动物体没有丢失，(xi,yi)是检测框的中心点坐标，i为视频序列图像的序列号，限界区域左侧边 缘线的像素坐标矩阵为[xleft-m,yleft]，右侧边缘线的像素坐标矩阵为[xright+m,yright]， m是划定限界区域时，横坐标平移的像素值，xleft是铁轨左侧内边缘线的像素横 坐标，yleft是铁轨左侧内边缘线的像素纵坐标，xright是铁轨右侧内边缘线的像素 横坐标，yright是铁轨右侧内边缘线的像素纵坐标。
作为本发明的优选方案，步骤S14包括以下步骤：
获取视频序列图像中检测框的中心点坐标；
获取未丢失的限界区域内的移动物体首次出现时相应的检测框的中心点坐 标(x1,y1)；
获取视频序列图像中第i帧图像中，未丢失的限界区域内的移动物体相应的 检测框的中心点坐标(xi,yi)，其中i为视频序列图像的序列号，i＝2,3……K，K为 视频序列图像的总数；
计算检测框的中心点坐标(xi,yi)和检测框的中心点坐标(x1,y1)之间的欧氏距离，计算公式为：
Figure BDA0002501074090000051
当di＝0时，则未丢失的限界区域内的移动物体在序号为i的帧图像中处于 静止状态。
基于相同的构思，还提出了一种基于图像的铁路限界区域识别装置，包括 至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可 被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处 理器能够执行上述任一项的方法。
与现有技术相比，本发明的有益效果：
本发明提出的一种铁路边坡落石侵限检测的图像识别方法，该方法利用落 石侵限检测图像识别模型对图像中的落石进行识别，由于落石侵限检测图像识 别模型是通过大量的落石图像预先训练的到，因此在实时识别时，准确率较高， 另外，落石侵限检测图像识别模型是通过YOLOv3算法训练得到的，充分利用 了YOLOv3算法中的先验框，无需对铁轨图像进行前后背景分离，就能快速进 行落石的识别，解决了铁路背景图像复杂、落石分类难、难以快速准确识别等 问题，识别方法具备较高的可靠性、稳定性和准确性。
附图说明：
图1为本发明实施例1中一种铁路边坡落石侵限检测的图像识别方法的流 程图；
图2为本发明实施例1中检测落石、列车的图像识别算法示意图；
图3为本发明实施例1中落石数据集制作、图像识别网络训练示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将 此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实 现的技术均属于本发明的范围。
实施例1
一种铁路边坡落石侵限检测的图像识别方法的流程图如图1所示，该方法 的步骤包括：
A，获取视频序列图像，并标记出包含铁轨的限界区域；
B，基于预设的落石侵限检测图像识别模型，识别出所述限界区域里的落石。
其中，步骤A包括以下步骤：
步骤1：通过铁路监控视频得到视频序列图像，并且将视频序列图像拆分成 帧图像作为输入，并调整每帧图像的像素尺寸为(m×n)，其中，m是每帧图 像的像素点的横坐标，n是每帧图像的像素点的纵坐标，作为优选方案，每帧图 像的像素尺寸为500×375。
步骤2：包括但不限于使用霍夫线检测识别铁路场景。使用霍夫线检测识别 铁路场景的步骤包括：
步骤2-1：对帧图像进行边缘二值化处理。
步骤2-2：处理完的单通道二值化帧图片作为霍夫线变换的输入，进而检测 到铁路背景图片中两条铁轨的内外边缘共4条线及其像素坐标矩阵。
步骤3：根据铁轨内边缘两条线及其像素坐标矩阵标记限界区域。具体步骤 为：
步骤3-1：选取步骤2-2中得到的2条内边缘线的像素坐标矩阵，设左侧内 边缘线的像素坐标矩阵为[xleft,yleft]，设右侧内边缘线的像素坐标矩阵为 [xright,yright]。
步骤3-2：维持左侧内边缘线在图像坐标系中的纵坐标不变，其横坐标向左 平移m个像素，此时新的左侧内边缘线的像素坐标矩阵为[xleft-m,yleft]。
步骤3-3：同理，维持右侧内边缘线在图像坐标系中的纵坐标不变，其横坐 标向右平移m个像素，此时新的右侧内边缘线的像素坐标矩阵为[xright+m,yright]。
步骤3-4：xleft-m和xright+m两条新的内边缘线围起来的区域为限界区域。
作为优选方案，当铁路线路为直线时，m＝(X0-L0)AA'/2L0mm，其中，X0是 标准轨距铁路的建筑物基本限界长度基准值，L0是轨距值，L0＝1435mm， AA'＝xright-xleft，表示在图像坐标系中轨距的像素距离。通常当铁路线路为直线时， X0＝4880mm，L0＝1435mm，故m＝1.2·(xright-xleft)。
当铁路线路为曲线时，m＝(X-L)·AA'/2L，X＝X0+2W，X0是标准轨距铁路 的建筑物基本限界长度基准值，L是轨距，W是线路极限弯曲情况下单侧加宽量， W取W1和W2中较大的值，W1是轨道曲线内侧加宽量，W2是轨道曲线外侧加 宽量，AA'＝xright-xleft，表示在图像坐标系中轨距的像素距离。当加宽量W＝553mm， 轨距L＝1435mm时，标准轨距铁路的建筑物基本限界长度的最大值为 Xmax＝4880+2W＝4880+1106＝5986mm。因此，X取值范围是[4880,5986]，单位mm。
特别的，还需要考虑到左侧内边缘线横坐标向左平移m个像素后移出了图 像的区域，因此，如果xleft-m≤0，则令xleft-m＝0。
同理，右侧内边缘线横坐标向右平移m个像素后可能移出图像的区域，因 此，如果xright+m≥500，则令xright+m＝500(500是每帧图像的像素点为500× 375时，横坐标的最大值)。
其中，步骤B包括以下步骤：
S11，通过训练得到的落石侵限检测图像识别模型，判断所述限界区域内的 移动物体是否为列车，如果不是，则执行步骤S12；
S12，在所述视频序列图像中，采用检测框标记所述限界区域内的移动物体， 所述检测框根据YOLOv3网络算法生成，并获取所述检测框的中心点坐标；
S13，在所述视频序列图像中，根据所述检测框的中心点坐标，判断所述限 界区域内的移动物体是否丢失，如果没有丢失，则执行步骤S14；
S14，在所述视频序列图像中，根据所述检测框的中心点坐标，判断所述限 界区域内的移动物体是否静止，如果是静止的，则执行步骤S15；
S15，通过所述落石侵限检测图像识别模型，判断所述限界区域内的移动物 体是否为落石。
作为优选方案，落石侵限检测图像识别模型是通过“列车”目标图片和“落 石”目标图片对YOLOv3网络进行训练得到的，并对YOLOv3网络的超参数进 行了设置，所述设置包括：
针对输出层节点个数改为4(代表类别个数，列车、行人、落石、工作人员)；
设置yolo层random＝1，目的是增加不同的分辨率，或者增大图片本身分 辨率；
设置ignore_thresh＝0.7，ignore_thresh指得是参与计算的IOU阈值大小。 当预测的检测框与ground true的IOU大于ignore_thresh的时候，参与loss的计 算，进而修正隐藏层参数；这样修改的目的是由于我们数据集中落石很多，很 多比较小的落石并不影响到行车安全，也就不需要参与loss训练；
设置训练步数(steps＝30000，40000)，其中，前30000步学习率以0.0001 收敛，后40000步学习率以0.00001收敛；
设置saturation＝1.5，增加饱和度以增加训练样本；
设置exposure＝1.5，增加曝光以增加训练样本；
设置hue＝0.1通过调整色调来增加训练样本；
设置batch/subdivision＝4；为一次性读取输入图片张数，以便适应该场景下 落实检测。
其中，步骤S11包括以下步骤：
将视频序列图像输入已经训练好的落石侵限检测图像识别模型，输出列车 识别得分结果；
当所述列车识别得分结果大于预设的列车识别阈值，此时，设定的列车识 别阈值为0.7，则判断限界区域内的移动物体是列车，表示该时刻下行车正常， 无需报警，继续处理下一帧图片；否则就不是列车。
步骤S15包括以下步骤：
将含有限界区域内的物体的图像输入训练好的落石侵限检测图像识别模型， 输出落石识别得分结果；
当所述落石识别得分结果大于预设的落石识别阈值，此时，设定的列车识 别阈值为0.7，则判断限界区域内的静止物体是落石，表示有理由相信该物体为 落石，影响行车安全，直接报警，否则就不是落石。
步骤S12是基于以下思路实现的：
在Yolov1网络算法中，输入图片划分为S*S的栅格，每个栅格负责检测中 心落在该栅格中的物体。每一个栅格预测B个检测框，以及这些检测框的置信 度。置信度反映了该栅格是否含有物体，以及这个检测框的坐标预测有多准。 Yolov1网络算法直接回归检测框的宽、高，因此预测精度有限，学习难度较高。 所以在Yolov2网络算法中，改进为回归基于先验框的变化值，这样网络的学习 难度降低，整体精度提升不小。Yolov3沿用了Yolov2中关于检测框的技巧，并 且使用k-means算法对数据集中的标签框进行聚类，得到类别中心点的9个框， 作为先验框。在Yolov3网络算法的设计中，还借鉴了特征金字塔的思想，小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体。
Yolov3总共输出3个特征图，第一个特征图下采样32倍，第二个特征图下 采样16倍，第三个下采样8倍。每个特征图的每个栅格中，都配置3个不同的 先验框，所以得到最后三个特征图。三张特征图就是整个Yolo输出的检测结果， 检测框位置(4维)、检测置信度(1维)、类别(4维)都在其中。检测框位 置用像素坐标值(x，y，w，h)表示，x、y分别为检测框中心点的坐标值；w、 h为检测框的宽和高。检测置信度即判断概率值score，当进行“列车”识别时， score为列车识别概率值，当进行“落石”识别时，score为落石识别概率值。后 续的判断中，分别以该检测框作为限界区域内移动物体判断的依据。
在落石判断之前，首先进行了限界区域内的移动物体是否为列车的判断， 其次，进行了限界区域内的移动物体是否丢失的判断，并且还判断了限界区域 内的移动物体是否静止，也就是在落石识别之前，对输入的视频序列图像进行 了筛选，减少了用于识别的图像，提高了识别的效率。
S13包括以下步骤：
令yi＝yright＝yleft，若xleft-m＜xi＜xright-m时，判定为所述限界区域内的移动物体没有丢失，(xi,yi)是所述检测框的中心点坐标，i为视频序列图像的序列号，限 界区域左侧内边缘线的像素坐标矩阵为[xleft-m,yleft]，右侧内边缘线的像素坐标 矩阵为[xright+m,yright]，m是划定所述限界区域时，横坐标平移的像素值，其中， 左侧内边缘线的像素坐标矩阵为[xleft,yleft]，设右侧内边缘线的像素坐标矩阵为 [xright,yright]。如果该移动图像丢失，则说明该移动物体已经落到限界区域以外， 不会对铁路交通造成威胁，则不做是否为落石的判断，如果该移动物体没有丢 失，则说明该移动物体在限界区域，需要进行识别。当视频序列图像中有多个 移动物体时，将分别对每个物体进行跟踪判断。
S14包括以下步骤：
获取未丢失的限界区域内的移动物体首次出现时相应的检测框的中心点坐 标(x1,y1)；
获取视频序列图像中第i帧图像中，未丢失的限界区域内的移动物体相应的 检测框的中心点坐标(xi,yi)，其中i为所述视频序列图像的序列号，i＝2,3……K；
计算检测框的中心点坐标(xi,yi)和检测框的中心点坐标(x1,y1)之间的欧氏距离，计算公式为：
Figure BDA0002501074090000121
当di＝0时，则未丢失的所述限界区域内的移动物体在序号为i的帧图像中 处于静止状态，否则，该移动物体仍然处于移动状态，有可能移出限界区域。 对未丢失的移动物体和静止物体，均要进行是否是落石的判断。
用于落石识别的落石侵限检测图像识别模型的训练过程如图2所示，41为 数据集制作，根据铁路侵限检测的需要数据集可以是落石、行人、列车等，42 为被训练的目标检测网络模型。图3为数据集制作的步骤，首先使用labelimg软 件对帧图片中的检测物(可以是落石、行人、列车等)进行人工标记，标记的 主要信息有(xmin,ymin,xmax,ymax,label)；训练集用于训练神经网络，验证集用于 改进网络，测试集测试网络的泛化能力。
图3中还给出了根据训练集训练得到落石侵限检测图像识别模型的过程， 训练集图像依次通过图像预处理、卷积提取特征、边界值预测和类别预测，输 出识别概率。具体步骤为：
第一步，图像预处理。包括了步骤：将训练集图像输入预处理函数，并完 成数据增强。该预处理函数处理包括图像的预处理和数据预处理，并定义了输 入图像的大小、采样的方式，预处理函数主要用于批量剪切图片、图片灰度处 理、二值化处理、缩放处理、丰富数据等操作。当样本量比较少时候，把已有 的图翻转，平移，雾化，去燥等方法，增加用于训练的样本量。数据增强是基 于yolov3算法，采用了随机水平翻转、随机裁剪、随机旋转来增加数据的多样 性和鲁棒性。
第二步，卷积提取特征。深度学习的方式都是通过卷积提取特征，yolov3 提取卷积特征使用的基网络是darknet53，该网络有53层卷积层，yolov3借鉴了 残差网络Residual一起来提取特征。
第三步，边界值预测。边界值预测对应有2中不同的方式，一种是基于yolo 和SSD回归的方式，另一种是RCNN系列边界框预测的方式。
基于yolo和SSD回归的方式，实现边界值预测的步骤包括：
首先，将输入图片分为S*S个网格，每一个网格单元格检测中心点落在该 格子内的目标；
其次，每一个网格单元格会预测B个边界框(bounding box)以及边界框的 置信度(confidence score)，还要给出预测出C个类别概率值；
最后，将所有的网格生成的检测框使用NMS算法(非极大值抑制)输入筛 选过的检测边界框。
第四步，多数网络在边界框预测的同时进行了类别的预测；分类部分利用 已经获得的建议框，通过全连接层和softmax计算每一个建议框的类别并输入其 概率值，yolov3在卷积层之后通过连接一个全连接层和softmax进行类别的预测 和边界框预测。
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。 相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种 替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (8)

1.一种铁路边坡落石侵限检测的图像识别方法，其特征在于，包括以下步骤：
A，获取视频序列图像，并标记出包含铁轨的限界区域；
B，基于预设的落石侵限检测图像识别模型，识别出所述限界区域里是否有落石，所述落石侵限检测图像识别模型基于YOLOv3算法对图像中的落石进行识别；
所述步骤B包括以下步骤：
S11，通过预设的落石侵限检测图像识别模型，判断所述限界区域内的移动物体是否为列车，如果不是，则执行步骤S12；
S12，在所述视频序列图像中，采用检测框标记所述限界区域内的移动物体，所述检测框根据YOLOv3网络算法生成，并获取所述检测框的中心点坐标；
S13，在所述视频序列图像中，根据所述检测框的中心点坐标，判断所述限界区域内的移动物体是否丢失，如果没有丢失，则执行步骤S14；
S14，在所述视频序列图像中，根据所述检测框的中心点坐标，判断所述限界区域内的移动物体是否静止，如果是静止的，则执行步骤S15；
S15，通过所述落石侵限检测图像识别模型，判断所述限界区域内的移动物体是否为落石。
2.如权利要求1所述的一种基于图像的铁路限界区域识别方法，其特征在于，所述落石侵限检测图像识别模型是通过“列车”目标图片和“落石”目标图片对YOLOv3网络进行训练得到的，并对所述YOLOv3网络的超参数进行了设置，所述设置包括：
输出层节点个数设置为类别个数，所述类别个数为4，包括列车、行人、落石、工作人员四个类别；
设置yolo层random＝1；设置ignore_thresh＝0.7，ignore_thresh是参与计算的IOU阈值大小；设置训练步数steps为70000步，其中，前30000步学习率以0.0001收敛，后40000步学习率以0.00001收敛；设置saturation＝1.5；设置exposure＝1.5；设置hue＝0.1；设置batch/subdivision＝4。
3.如权利要求1所述的一种基于图像的铁路限界区域识别方法，其特征在于，所述落石侵限检测图像识别模型的训练包括以下步骤：
第一步，将训练集图像进行预处理，获取预处理后的图像，所述预处理包括图像预处理、数据预处理和数据增强；
第二步，对预处理后的图像进行卷积提取特征；
第三步，边界值预测；
第四步，类别预测，输出识别概率。
4.如权利要求1所述的一种基于图像的铁路限界区域识别方法，其特征在于，所述步骤S11包括以下步骤：
将所述视频序列图像输入所述落石侵限检测图像识别模型，输出列车识别得分结果；
当所述列车识别得分结果大于预设的列车识别阈值，则判断所述视频序列图像限界区域内的移动物体是列车，否则就不是列车。
5.如权利要求1所述的一种基于图像的铁路限界区域识别方法，其特征在于，所述步骤S15包括以下步骤：
将含有所述限界区域内的静止物体的图像输入所述落石侵限检测图像识别模型，输出落石识别得分结果；
当所述落石识别得分结果大于预设的落石识别阈值，则判断所述限界区域内的静止物体是落石，否则就不是落石。
6.如权利要求1所述的一种基于图像的铁路限界区域识别方法，其特征在于，所述步骤S13包括以下步骤：
令y＝yright＝yleft，若xleft-m＜xi＜xright-m，判定为所述限界区域内的移动物体没有丢失，所述(xi,yi)是所述检测框的中心点坐标，i为所述视频序列图像的序列号，所述限界区域左侧边缘线的像素坐标矩阵为[xleft-m,yleft]，右侧边缘线的像素坐标矩阵为[xright+m,yright]，m是划定所述限界区域时，横坐标平移的像素值，xleft是铁轨左侧内边缘线的像素横坐标，yleft是铁轨左侧内边缘线的像素纵坐标，xright是铁轨右侧内边缘线的像素横坐标，yright是铁轨右侧内边缘线的像素纵坐标。
7.如权利要求1所述的一种基于图像的铁路限界区域识别方法，其特征在于，所述步骤S14包括以下步骤：
获取所述视频序列图像中检测框的中心点坐标；
获取未丢失的所述限界区域内的移动物体首次出现时相应的检测框的中心点坐标(x1,y1)；
获取所述视频序列图像中第i帧图像中，未丢失的所述限界区域内的移动物体相应的检测框的中心点坐标(xi,yi)，其中i为所述视频序列图像的序列号，i ＝2,3……K，K为所述视频序列图像的总数；
计算所述检测框的中心点坐标(xi,yi)和所述检测框的中心点坐标(x1,y1)之间的欧氏距离，计算公式为：
Figure FDA0002501074080000041
当di＝0时，则未丢失的所述限界区域内的移动物体在序号为i的帧图像中处于静止状态。
8.一种基于图像的铁路限界区域识别装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
CN202010432481.9A 2020-05-20 2020-05-20 一种铁路边坡落石侵限检测的图像识别方法 Active CN111626170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010432481.9A CN111626170B (zh) 2020-05-20 2020-05-20 一种铁路边坡落石侵限检测的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010432481.9A CN111626170B (zh) 2020-05-20 2020-05-20 一种铁路边坡落石侵限检测的图像识别方法

Publications (2)

Publication Number Publication Date
CN111626170A true CN111626170A (zh) 2020-09-04
CN111626170B CN111626170B (zh) 2023-05-23

Family

ID=72259961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010432481.9A Active CN111626170B (zh) 2020-05-20 2020-05-20 一种铁路边坡落石侵限检测的图像识别方法

Country Status (1)

Country Link
CN (1) CN111626170B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115903A (zh) * 2020-09-25 2020-12-22 广州市派客朴食信息科技有限责任公司 提升基于深度学习的菜品识别系统识别精度的方法
CN112800938A (zh) * 2021-01-26 2021-05-14 上海伯镭智能科技有限公司 无人驾驶车辆检测侧面落石发生的方法及装置
CN113255820A (zh) * 2021-06-11 2021-08-13 成都通甲优博科技有限责任公司 落石检测模型训练方法、落石检测方法及相关装置
CN114241310A (zh) * 2021-12-21 2022-03-25 江西省水利科学院 基于改进yolo模型的堤防管涌险情智能识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6216985B1 (en) * 1997-08-29 2001-04-17 Robert Douglas Stephens Railway hazard acoustic sensing, locating, and alarm system
CN201627154U (zh) * 2009-12-23 2010-11-10 中铁二院工程集团有限责任公司 高速铁路防异物入侵刚性防护网
CN102184618A (zh) * 2011-04-21 2011-09-14 吴良善 落石、滑坡、塌方光电监测方法和监测报警装置
CN104590319A (zh) * 2014-06-11 2015-05-06 北京交通大学 异物侵入检测装置和异物侵入检测方法
CN105116418A (zh) * 2015-09-08 2015-12-02 北京铁路局北京科学技术研究所 障碍物的检测方法和装置
CN105809679A (zh) * 2016-03-04 2016-07-27 李云栋 一种基于视觉分析的山区铁路边坡落石检测方法
US20180058886A1 (en) * 2016-08-30 2018-03-01 Oki Electric Industry Co., Ltd. Optical fiber sensor device and vibration position specifying method
CN107885927A (zh) * 2017-11-06 2018-04-06 中铁二院工程集团有限责任公司 一种铁路桥梁运营状态预警方法
CN108914793A (zh) * 2018-07-06 2018-11-30 中铁二院工程集团有限责任公司 一种公铁并行段防气动力及列车眩光装置
CN109572757A (zh) * 2018-08-06 2019-04-05 湖南铁路科技职业技术学院 一种铁路落石的检测与定位方法、装置
CN110706197A (zh) * 2019-08-06 2020-01-17 北方工业大学 一种基于迁移学习的特殊场景下铁路异物侵限检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6216985B1 (en) * 1997-08-29 2001-04-17 Robert Douglas Stephens Railway hazard acoustic sensing, locating, and alarm system
CN201627154U (zh) * 2009-12-23 2010-11-10 中铁二院工程集团有限责任公司 高速铁路防异物入侵刚性防护网
CN102184618A (zh) * 2011-04-21 2011-09-14 吴良善 落石、滑坡、塌方光电监测方法和监测报警装置
CN104590319A (zh) * 2014-06-11 2015-05-06 北京交通大学 异物侵入检测装置和异物侵入检测方法
CN105116418A (zh) * 2015-09-08 2015-12-02 北京铁路局北京科学技术研究所 障碍物的检测方法和装置
CN105809679A (zh) * 2016-03-04 2016-07-27 李云栋 一种基于视觉分析的山区铁路边坡落石检测方法
US20180058886A1 (en) * 2016-08-30 2018-03-01 Oki Electric Industry Co., Ltd. Optical fiber sensor device and vibration position specifying method
CN107885927A (zh) * 2017-11-06 2018-04-06 中铁二院工程集团有限责任公司 一种铁路桥梁运营状态预警方法
CN108914793A (zh) * 2018-07-06 2018-11-30 中铁二院工程集团有限责任公司 一种公铁并行段防气动力及列车眩光装置
CN109572757A (zh) * 2018-08-06 2019-04-05 湖南铁路科技职业技术学院 一种铁路落石的检测与定位方法、装置
CN110706197A (zh) * 2019-08-06 2020-01-17 北方工业大学 一种基于迁移学习的特殊场景下铁路异物侵限检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONG LIU，等: "The Application of Rough Set Neural Networks of GSS-PSO in the Risk Evaluation of Collapse and Rockfall Disasters" *
肖琨: "山区铁路异物侵限监测技术应用研究" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115903A (zh) * 2020-09-25 2020-12-22 广州市派客朴食信息科技有限责任公司 提升基于深度学习的菜品识别系统识别精度的方法
CN112800938A (zh) * 2021-01-26 2021-05-14 上海伯镭智能科技有限公司 无人驾驶车辆检测侧面落石发生的方法及装置
CN112800938B (zh) * 2021-01-26 2022-03-04 上海伯镭智能科技有限公司 无人驾驶车辆检测侧面落石发生的方法及装置
CN113255820A (zh) * 2021-06-11 2021-08-13 成都通甲优博科技有限责任公司 落石检测模型训练方法、落石检测方法及相关装置
CN114241310A (zh) * 2021-12-21 2022-03-25 江西省水利科学院 基于改进yolo模型的堤防管涌险情智能识别方法
CN114241310B (zh) * 2021-12-21 2022-09-02 江西省水利科学院 基于改进yolo模型的堤防管涌险情智能识别方法

Also Published As

Publication number Publication date
CN111626170B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
CN110188807B (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN111626169B (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN111881730A (zh) 一种火电厂现场安全帽佩戴检测方法
CN111652296A (zh) 一种基于深度学习的铁路货车下拉杆折断故障检测方法
CN111242015B (zh) 一种基于运动轮廓语义图预测行车危险场景的方法
Bedruz et al. Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach
CN106845458B (zh) 一种基于核超限学习机的快速交通标识检测方法
CN112329569B (zh) 一种基于图像深度学习系统的货运车辆状态实时识别方法
CN113553916B (zh) 一种基于卷积神经网络的轨道危险区域障碍物检测方法
CN112699967B (zh) 一种基于改进深度神经网络的远距离机场目标检测方法
CN113298059A (zh) 受电弓异物入侵检测方法、装置、计算机设备、系统及存储介质
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN113807220A (zh) 交通事件检测方法、装置、电子设备和可读存储介质
CN109191492A (zh) 一种基于轮廓分析的智能视频黑烟车检测方法
CN113657305B (zh) 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN111597992B (zh) 一种基于视频监控的场景物体异常的识别方法
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
CN115359306A (zh) 一种铁路货检高清图像智能识别方法和系统
CN104112144A (zh) 人车识别方法及装置
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant