CN111626170B - 一种铁路边坡落石侵限检测的图像识别方法 - Google Patents
一种铁路边坡落石侵限检测的图像识别方法 Download PDFInfo
- Publication number
- CN111626170B CN111626170B CN202010432481.9A CN202010432481A CN111626170B CN 111626170 B CN111626170 B CN 111626170B CN 202010432481 A CN202010432481 A CN 202010432481A CN 111626170 B CN111626170 B CN 111626170B
- Authority
- CN
- China
- Prior art keywords
- image
- falling
- video sequence
- moving object
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 239000004575 stone Substances 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000011435 rock Substances 0.000 claims abstract description 72
- 230000009545 invasion Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000007514 turning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/23—Dune restoration or creation; Cliff stabilisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了铁路异物侵限领域的一种铁路边坡落石侵限检测的图像识别方法,方法的步骤包括:A,获取视频序列图像,并标记出包含铁轨的限界区域;B,基于预设的落石侵限检测图像识别模型,识别出所述限界区域里是否有落石,其中,落石侵限检测图像识别模型是基于YOLOv3算法对图像中的落石进行识别。本发明的方法的有益效果在于,采用本发明的模型,在实时落石识别时,准确率较高,另外,充分利用了YOLOv3算法中的先验框,无需对铁轨图像进行前后背景分离,就能快速进行落石的识别,识别方法具备较高的可靠性、稳定性和准确性。
Description
技术领域
本发明涉及铁路异物侵限领域,特别是一种铁路边坡落石侵限检测的图像识别方法。
背景技术
近年来我国的铁路建设进程迅速发展,铁路客货运输量不断增加,列车运行速度不断提高,列车在露天环境中高速行驶时触发行车安全问题的环境因素也明显增加,给铁路安全监控带来巨大的压力。其中铁路异物侵限是一个重要且亟待解决的安全问题,严重影响到列车的运行安全。
异物侵限是指铁路线路周边受滑坡、崩塌落石及洪水等自然灾害影响造成的沙土落石、滞留在道上作业的工作人员及工器具、动物、行人等影响正常行车的障碍物侵入铁路界限范围内,危及行车安全。我国普速铁路特别是山区铁路其线路周边危岩耸立,易发生边坡落石侵入铁路界限内的自然灾害事件,存在引发重大行车事故的安全隐患。
目前我国对边坡落石的监测技术人仍停留在人工定期巡检,配合对易发生落石的危险山体采用边坡围岩、支挡的围护措施来监测和防护边坡落石,这种监测手段不仅耗费人力物力,而且无法有效预警和避免铁路轨道边坡落石侵限突发事故。此类主动避免边坡落石的方式虽能一定程度上避免异物入侵事故,但该方法和依靠列车司机反应的被动停车方式同样达不到自动识别、自动预警的目的,单一且可靠性不高。
现有技术中,也有相关基于视觉分析的山区铁路边坡落石检测方法提出,例如公开号为CN105809679B的发明专利“一种基于视觉分析的山区铁路边坡落石检测方法”,该专利方法步骤为:首先识别铁轨区域,然后对铁轨区域内图像进行分割,检测出前景目标,最后通过深度学习对目标进行分类,剔除干扰目标。具有视频分析方法的检测范围广、成本低等优点,同时提高了落石图像检测的准确性。但是,由于该方案需要对图像进行前后背景分离,并且采用深度学习的分类方法,因此对图像处理的流程较多,处理的速度较低,需要进一步改进。
发明内容
本发明改进了上述落石识别的算法,采用YOLOv3算法,利用了YOLOv3算法中的先验框,无需对铁轨图像进行前后背景分离,并且对超参数进行了针对应用场景的微调,提出了一种铁路边坡落石侵限检测的图像识别方法。
为了实现上述发明目的,本发明提供了以下技术方案:
一种铁路边坡落石侵限检测的图像识别方法,包括以下步骤:
A,获取视频序列图像,并标记出包含铁轨的限界区域;
B,基于预设的落石侵限检测图像识别模型,识别出限界区域里是否有落石,落石侵限检测图像识别模型基于YOLOv3算法对图像中的落石进行识别;
步骤B包括以下步骤:
S11,通过预设的落石侵限检测图像识别模型,判断限界区域内的移动物体是否为列车,如果不是,则执行步骤S12;
S12,在视频序列图像中,采用检测框标记限界区域内的移动物体,检测框根据YOLOv3网络算法生成,并获取检测框的中心点坐标;
S13,在视频序列图像中,根据检测框的中心点坐标,判断限界区域内的移动物体是否丢失,如果没有丢失,则执行步骤S14;
S14,在视频序列图像中,根据检测框的中心点坐标,判断限界区域内的移动物体是否静止,如果是静止的,则执行步骤S15;
S15,通过落石侵限检测图像识别模型,判断限界区域内的移动物体是否为落石。
作为本发明的优选方案,落石侵限检测图像识别模型是通过“列车”目标图片和“落石”目标图片对YOLOv3网络进行训练得到的,并对YOLOv3网络的超参数进行了设置,设置包括:
输出层节点个数设置为类别个数,类别个数为4,包括列车、行人、落石、工作人员四个类别;
设置yolo层random=1;设置ignore_thresh=0.7,ignore_thresh是参与计算的IOU阈值大小;设置训练步数steps为70000步,其中,前30000步学习率以0.0001收敛,后40000步学习率以0.00001收敛;设置saturation=1.5;设置exposure=1.5;设置hue=0.1;设置batch/subdivision=4。
作为本发明的优选方案,落石侵限检测图像识别模型的训练包括以下步骤:
第一步,将训练集图像进行预处理,获取预处理后的图像,预处理包括图像预处理、数据预处理和数据增强;
第二步,对预处理后的图像进行卷积提取特征;
第三步,边界值预测;
第四步,类别预测,输出识别概率。
作为本发明的优选方案,步骤S11包括以下步骤:
将视频序列图像输入落石侵限检测图像识别模型,输出列车识别得分结果;
当列车识别得分结果大于预设的列车识别阈值,则判断视频序列图像限界区域内的移动物体是列车,否则就不是列车。
作为本发明的优选方案,步骤S15包括以下步骤:
将含有限界区域内的静止物体的图像输入落石侵限检测图像识别模型,输出落石识别得分结果;
当落石识别得分结果大于预设的落石识别阈值,则判断限界区域内的静止物体是落石,否则就不是落石。
作为本发明的优选方案,步骤S13包括以下步骤:
令yi=yright=yleft,若xleft-m<xi<xright-m,判定为限界区域内的移动物体没有丢失,(xi,yi)是检测框的中心点坐标,i为视频序列图像的序列号,限界区域左侧边缘线的像素坐标矩阵为[xleft-m,yleft],右侧边缘线的像素坐标矩阵为[xright+m,yright],m是划定限界区域时,横坐标平移的像素值,xleft是铁轨左侧内边缘线的像素横坐标,yleft是铁轨左侧内边缘线的像素纵坐标,xright是铁轨右侧内边缘线的像素横坐标,yright是铁轨右侧内边缘线的像素纵坐标。
作为本发明的优选方案,步骤S14包括以下步骤:
获取视频序列图像中检测框的中心点坐标;
获取未丢失的限界区域内的移动物体首次出现时相应的检测框的中心点坐标(x1,y1);
获取视频序列图像中第i帧图像中,未丢失的限界区域内的移动物体相应的检测框的中心点坐标(xi,yi),其中i为视频序列图像的序列号,i=2,3……K,K为视频序列图像的总数;
计算检测框的中心点坐标(xi,yi)和检测框的中心点坐标(x1,y1)之间的欧氏距离,计算公式为:
当di=0时,则未丢失的限界区域内的移动物体在序号为i的帧图像中处于静止状态。
基于相同的构思,还提出了一种基于图像的铁路限界区域识别装置,包括至少一个处理器,以及与至少一个处理器通信连接的存储器;存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述任一项的方法。
与现有技术相比,本发明的有益效果:
本发明提出的一种铁路边坡落石侵限检测的图像识别方法,该方法利用落石侵限检测图像识别模型对图像中的落石进行识别,由于落石侵限检测图像识别模型是通过大量的落石图像预先训练的到,因此在实时识别时,准确率较高,另外,落石侵限检测图像识别模型是通过YOLOv3算法训练得到的,充分利用了YOLOv3算法中的先验框,无需对铁轨图像进行前后背景分离,就能快速进行落石的识别,解决了铁路背景图像复杂、落石分类难、难以快速准确识别等问题,识别方法具备较高的可靠性、稳定性和准确性。
附图说明:
图1为本发明实施例1中一种铁路边坡落石侵限检测的图像识别方法的流程图;
图2为本发明实施例1中检测落石、列车的图像识别算法示意图;
图3为本发明实施例1中落石数据集制作、图像识别网络训练示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种铁路边坡落石侵限检测的图像识别方法的流程图如图1所示,该方法的步骤包括:
A,获取视频序列图像,并标记出包含铁轨的限界区域;
B,基于预设的落石侵限检测图像识别模型,识别出所述限界区域里的落石。
其中,步骤A包括以下步骤:
步骤1:通过铁路监控视频得到视频序列图像,并且将视频序列图像拆分成帧图像作为输入,并调整每帧图像的像素尺寸为(m×n),其中,m是每帧图像的像素点的横坐标,n是每帧图像的像素点的纵坐标,作为优选方案,每帧图像的像素尺寸为500×375。
步骤2:包括但不限于使用霍夫线检测识别铁路场景。使用霍夫线检测识别铁路场景的步骤包括:
步骤2-1:对帧图像进行边缘二值化处理。
步骤2-2:处理完的单通道二值化帧图片作为霍夫线变换的输入,进而检测到铁路背景图片中两条铁轨的内外边缘共4条线及其像素坐标矩阵。
步骤3:根据铁轨内边缘两条线及其像素坐标矩阵标记限界区域。具体步骤为:
步骤3-1:选取步骤2-2中得到的2条内边缘线的像素坐标矩阵,设左侧内边缘线的像素坐标矩阵为[xleft,yleft],设右侧内边缘线的像素坐标矩阵为[xright,yright]。
步骤3-2:维持左侧内边缘线在图像坐标系中的纵坐标不变,其横坐标向左平移m个像素,此时新的左侧内边缘线的像素坐标矩阵为[xleft-m,yleft]。
步骤3-3:同理,维持右侧内边缘线在图像坐标系中的纵坐标不变,其横坐标向右平移m个像素,此时新的右侧内边缘线的像素坐标矩阵为[xright+m,yright]。
步骤3-4:xleft-m和xright+m两条新的内边缘线围起来的区域为限界区域。
作为优选方案,当铁路线路为直线时,m=(X0-L0)AA'/2L0 mm,其中,X0是标准轨距铁路的建筑物基本限界长度基准值,L0是轨距值,L0=1435mm,AA'=xright-xleft,表示在图像坐标系中轨距的像素距离。通常当铁路线路为直线时,X0=4880mm,L0=1435mm,故m=1.2·(xright-xleft)。
当铁路线路为曲线时,m=(X-L)·AA'/2L,X=X0+2W,X0是标准轨距铁路的建筑物基本限界长度基准值,L是轨距,W是线路极限弯曲情况下单侧加宽量,W取W1和W2中较大的值,W1是轨道曲线内侧加宽量,W2是轨道曲线外侧加宽量,AA'=xright-xleft,表示在图像坐标系中轨距的像素距离。当加宽量W=553mm,轨距L=1435mm时,标准轨距铁路的建筑物基本限界长度的最大值为Xmax=4880+2W=4880+1106=5986mm。因此,X取值范围是[4880,5986],单位mm。
特别的,还需要考虑到左侧内边缘线横坐标向左平移m个像素后移出了图像的区域,因此,如果xleft-m≤0,则令xleft-m=0。
同理,右侧内边缘线横坐标向右平移m个像素后可能移出图像的区域,因此,如果xright+m≥500,则令xright+m=500(500是每帧图像的像素点为500×375时,横坐标的最大值)。
其中,步骤B包括以下步骤:
S11,通过训练得到的落石侵限检测图像识别模型,判断所述限界区域内的移动物体是否为列车,如果不是,则执行步骤S12;
S12,在所述视频序列图像中,采用检测框标记所述限界区域内的移动物体,所述检测框根据YOLOv3网络算法生成,并获取所述检测框的中心点坐标;
S13,在所述视频序列图像中,根据所述检测框的中心点坐标,判断所述限界区域内的移动物体是否丢失,如果没有丢失,则执行步骤S14;
S14,在所述视频序列图像中,根据所述检测框的中心点坐标,判断所述限界区域内的移动物体是否静止,如果是静止的,则执行步骤S15;
S15,通过所述落石侵限检测图像识别模型,判断所述限界区域内的移动物体是否为落石。
作为优选方案,落石侵限检测图像识别模型是通过“列车”目标图片和“落石”目标图片对YOLOv3网络进行训练得到的,并对YOLOv3网络的超参数进行了设置,所述设置包括:
针对输出层节点个数改为4(代表类别个数,列车、行人、落石、工作人员);
设置yolo层random=1,目的是增加不同的分辨率,或者增大图片本身分辨率;
设置ignore_thresh=0.7,ignore_thresh指得是参与计算的IOU阈值大小。当预测的检测框与ground true的IOU大于ignore_thresh的时候,参与loss的计算,进而修正隐藏层参数;这样修改的目的是由于我们数据集中落石很多,很多比较小的落石并不影响到行车安全,也就不需要参与loss训练;
设置训练步数(steps=30000,40000),其中,前30000步学习率以0.0001收敛,后40000步学习率以0.00001收敛;
设置saturation=1.5,增加饱和度以增加训练样本;
设置exposure=1.5,增加曝光以增加训练样本;
设置hue=0.1通过调整色调来增加训练样本;
设置batch/subdivision=4;为一次性读取输入图片张数,以便适应该场景下落实检测。
其中,步骤S11包括以下步骤:
将视频序列图像输入已经训练好的落石侵限检测图像识别模型,输出列车识别得分结果;
当所述列车识别得分结果大于预设的列车识别阈值,此时,设定的列车识别阈值为0.7,则判断限界区域内的移动物体是列车,表示该时刻下行车正常,无需报警,继续处理下一帧图片;否则就不是列车。
步骤S15包括以下步骤:
将含有限界区域内的物体的图像输入训练好的落石侵限检测图像识别模型,输出落石识别得分结果;
当所述落石识别得分结果大于预设的落石识别阈值,此时,设定的列车识别阈值为0.7,则判断限界区域内的静止物体是落石,表示有理由相信该物体为落石,影响行车安全,直接报警,否则就不是落石。
步骤S12是基于以下思路实现的:
在Yolov1网络算法中,输入图片划分为S*S的栅格,每个栅格负责检测中心落在该栅格中的物体。每一个栅格预测B个检测框,以及这些检测框的置信度。置信度反映了该栅格是否含有物体,以及这个检测框的坐标预测有多准。Yolov1网络算法直接回归检测框的宽、高,因此预测精度有限,学习难度较高。所以在Yolov2网络算法中,改进为回归基于先验框的变化值,这样网络的学习难度降低,整体精度提升不小。Yolov3沿用了Yolov2中关于检测框的技巧,并且使用k-means算法对数据集中的标签框进行聚类,得到类别中心点的9个框,作为先验框。在Yolov3网络算法的设计中,还借鉴了特征金字塔的思想,小尺寸特征图用于检测大尺寸物体,而大尺寸特征图检测小尺寸物体。
Yolov3总共输出3个特征图,第一个特征图下采样32倍,第二个特征图下采样16倍,第三个下采样8倍。每个特征图的每个栅格中,都配置3个不同的先验框,所以得到最后三个特征图。三张特征图就是整个Yolo输出的检测结果,检测框位置(4维)、检测置信度(1维)、类别(4维)都在其中。检测框位置用像素坐标值(x,y,w,h)表示,x、y分别为检测框中心点的坐标值;w、h为检测框的宽和高。检测置信度即判断概率值score,当进行“列车”识别时,score为列车识别概率值,当进行“落石”识别时,score为落石识别概率值。后续的判断中,分别以该检测框作为限界区域内移动物体判断的依据。
在落石判断之前,首先进行了限界区域内的移动物体是否为列车的判断,其次,进行了限界区域内的移动物体是否丢失的判断,并且还判断了限界区域内的移动物体是否静止,也就是在落石识别之前,对输入的视频序列图像进行了筛选,减少了用于识别的图像,提高了识别的效率。
S13包括以下步骤:
令yi=yright=yleft,若xleft-m<xi<xright-m时,判定为所述限界区域内的移动物体没有丢失,(xi,yi)是所述检测框的中心点坐标,i为视频序列图像的序列号,限界区域左侧内边缘线的像素坐标矩阵为[xleft-m,yleft],右侧内边缘线的像素坐标矩阵为[xright+m,yright],m是划定所述限界区域时,横坐标平移的像素值,其中,左侧内边缘线的像素坐标矩阵为[xleft,yleft],设右侧内边缘线的像素坐标矩阵为[xright,yright]。如果该移动图像丢失,则说明该移动物体已经落到限界区域以外,不会对铁路交通造成威胁,则不做是否为落石的判断,如果该移动物体没有丢失,则说明该移动物体在限界区域,需要进行识别。当视频序列图像中有多个移动物体时,将分别对每个物体进行跟踪判断。
S14包括以下步骤:
获取未丢失的限界区域内的移动物体首次出现时相应的检测框的中心点坐标(x1,y1);
获取视频序列图像中第i帧图像中,未丢失的限界区域内的移动物体相应的检测框的中心点坐标(xi,yi),其中i为所述视频序列图像的序列号,i=2,3……K;
计算检测框的中心点坐标(xi,yi)和检测框的中心点坐标(x1,y1)之间的欧氏距离,计算公式为:
当di=0时,则未丢失的所述限界区域内的移动物体在序号为i的帧图像中处于静止状态,否则,该移动物体仍然处于移动状态,有可能移出限界区域。对未丢失的移动物体和静止物体,均要进行是否是落石的判断。
用于落石识别的落石侵限检测图像识别模型的训练过程如图2所示,41为数据集制作,根据铁路侵限检测的需要数据集可以是落石、行人、列车等,42为被训练的目标检测网络模型。图3为数据集制作的步骤,首先使用labelimg软件对帧图片中的检测物(可以是落石、行人、列车等)进行人工标记,标记的主要信息有(xmin,ymin,xmax,ymax,label);训练集用于训练神经网络,验证集用于改进网络,测试集测试网络的泛化能力。
图3中还给出了根据训练集训练得到落石侵限检测图像识别模型的过程,训练集图像依次通过图像预处理、卷积提取特征、边界值预测和类别预测,输出识别概率。具体步骤为:
第一步,图像预处理。包括了步骤:将训练集图像输入预处理函数,并完成数据增强。该预处理函数处理包括图像的预处理和数据预处理,并定义了输入图像的大小、采样的方式,预处理函数主要用于批量剪切图片、图片灰度处理、二值化处理、缩放处理、丰富数据等操作。当样本量比较少时候,把已有的图翻转,平移,雾化,去燥等方法,增加用于训练的样本量。数据增强是基于yolov3算法,采用了随机水平翻转、随机裁剪、随机旋转来增加数据的多样性和鲁棒性。
第二步,卷积提取特征。深度学习的方式都是通过卷积提取特征,yolov3提取卷积特征使用的基网络是darknet53,该网络有53层卷积层,yolov3借鉴了残差网络Residual一起来提取特征。
第三步,边界值预测。边界值预测对应有2中不同的方式,一种是基于yolo和SSD回归的方式,另一种是RCNN系列边界框预测的方式。
基于yolo和SSD回归的方式,实现边界值预测的步骤包括:
首先,将输入图片分为S*S个网格,每一个网格单元格检测中心点落在该格子内的目标;
其次,每一个网格单元格会预测B个边界框(bounding box)以及边界框的置信度(confidence score),还要给出预测出C个类别概率值;
最后,将所有的网格生成的检测框使用NMS算法(非极大值抑制)输入筛选过的检测边界框。
第四步,多数网络在边界框预测的同时进行了类别的预测;分类部分利用已经获得的建议框,通过全连接层和softmax计算每一个建议框的类别并输入其概率值,yolov3在卷积层之后通过连接一个全连接层和softmax进行类别的预测和边界框预测。
以上所述,仅为本发明具体实施方式的详细说明,而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下,做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。
Claims (6)
1.一种铁路边坡落石侵限检测的图像识别方法,其特征在于,包括以下步骤:
A,获取视频序列图像,并标记出包含铁轨的限界区域;
B,基于预设的落石侵限检测图像识别模型,识别出所述限界区域里是否有落石,所述落石侵限检测图像识别模型基于YOLOv3算法对图像中的落石进行识别;
所述步骤B包括以下步骤:
S11,通过预设的落石侵限检测图像识别模型,判断所述限界区域内的移动物体是否为列车,如果不是,则执行步骤S12;
S12,在所述视频序列图像中,采用检测框标记所述限界区域内的移动物体,所述检测框根据YOLOv3网络算法生成,并获取所述检测框的中心点坐标;
S13,在所述视频序列图像中,根据所述检测框的中心点坐标,判断所述限界区域内的移动物体是否丢失,如果没有丢失,则执行步骤S14;
S14,在所述视频序列图像中,根据所述检测框的中心点坐标,判断所述限界区域内的移动物体是否静止,如果是静止的,则执行步骤S15;
S15,通过所述落石侵限检测图像识别模型,判断所述限界区域内的移动物体是否为落石;
所述步骤S13包括以下步骤:
令yi=yright=yleft,若xleft-m<xi<xright-m,判定为所述限界区域内的移动物体没有丢失,所述(xi,yi)是所述检测框的中心点坐标,i为所述视频序列图像的序列号,所述限界区域左侧边缘线的像素坐标矩阵为[xleft-m,yleft],右侧边缘线的像素坐标矩阵为[xright+m,yright],m是划定所述限界区域时,横坐标平移的像素值,xleft是铁轨左侧内边缘线的像素横坐标,yleft是铁轨左侧内边缘线的像素纵坐标,xright是铁轨右侧内边缘线的像素横坐标,yright是铁轨右侧内边缘线的像素纵坐标;
所述步骤S14包括以下步骤:
获取所述视频序列图像中检测框的中心点坐标;
获取未丢失的所述限界区域内的移动物体首次出现时相应的检测框的中心点坐标(x1,y1);
获取所述视频序列图像中第i帧图像中,未丢失的所述限界区域内的移动物体相应的检测框的中心点坐标(xi,yi),其中i为所述视频序列图像的序列号,i=2,3……K,K为所述视频序列图像的总数;
计算所述检测框的中心点坐标(xi,yi)和所述检测框的中心点坐标(x1,y1)之间的欧氏距离,计算公式为:
当di=0时,则未丢失的所述限界区域内的移动物体在序号为i的帧图像中处于静止状态。
2.如权利要求1所述的一种铁路边坡落石侵限检测的图像识别方法,其特征在于,所述落石侵限检测图像识别模型是通过“列车”目标图片和“落石”目标图片对YOLOv3网络进行训练得到的,并对所述YOLOv3网络的超参数进行了设置,所述设置包括:
输出层节点个数设置为类别个数,所述类别个数为4,包括列车、行人、落石、工作人员四个类别;
设置yolo层random=1;设置ignore_thresh=0.7,ignore_thresh是参与计算的IOU阈值大小;设置训练步数steps为70000步,其中,前30000步学习率以0.0001收敛,后40000步学习率以0.00001收敛;设置saturation=1.5;设置exposure=1.5;设置hue=0.1;设置batch/subdivision=4。
3.如权利要求1所述的一种铁路边坡落石侵限检测的图像识别方法,其特征在于,所述落石侵限检测图像识别模型的训练包括以下步骤:
第一步,将训练集图像进行预处理,获取预处理后的图像,所述预处理包括图像预处理、数据预处理和数据增强;
第二步,对预处理后的图像进行卷积提取特征;
第三步,边界值预测;
第四步,类别预测,输出识别概率。
4.如权利要求1所述的一种铁路边坡落石侵限检测的图像识别方法,其特征在于,所述步骤S11包括以下步骤:
将所述视频序列图像输入所述落石侵限检测图像识别模型,输出列车识别得分结果;
当所述列车识别得分结果大于预设的列车识别阈值,则判断所述视频序列图像限界区域内的移动物体是列车,否则就不是列车。
5.如权利要求1所述的一种铁路边坡落石侵限检测的图像识别方法,其特征在于,所述步骤S15包括以下步骤:
将含有所述限界区域内的静止物体的图像输入所述落石侵限检测图像识别模型,输出落石识别得分结果;
当所述落石识别得分结果大于预设的落石识别阈值,则判断所述限界区域内的静止物体是落石,否则就不是落石。
6.一种铁路边坡落石侵限检测的图像识别装置,其特征在于,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010432481.9A CN111626170B (zh) | 2020-05-20 | 2020-05-20 | 一种铁路边坡落石侵限检测的图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010432481.9A CN111626170B (zh) | 2020-05-20 | 2020-05-20 | 一种铁路边坡落石侵限检测的图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111626170A CN111626170A (zh) | 2020-09-04 |
CN111626170B true CN111626170B (zh) | 2023-05-23 |
Family
ID=72259961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010432481.9A Active CN111626170B (zh) | 2020-05-20 | 2020-05-20 | 一种铁路边坡落石侵限检测的图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111626170B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115903A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 提升基于深度学习的菜品识别系统识别精度的方法 |
CN112800938B (zh) * | 2021-01-26 | 2022-03-04 | 上海伯镭智能科技有限公司 | 无人驾驶车辆检测侧面落石发生的方法及装置 |
CN113255820B (zh) * | 2021-06-11 | 2023-05-02 | 成都通甲优博科技有限责任公司 | 落石检测模型训练方法、落石检测方法及相关装置 |
CN114241310B (zh) * | 2021-12-21 | 2022-09-02 | 江西省水利科学院 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
CN117876848B (zh) * | 2024-03-13 | 2024-05-07 | 成都理工大学 | 基于改进yolov5的复杂环境落石检测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6216985B1 (en) * | 1997-08-29 | 2001-04-17 | Robert Douglas Stephens | Railway hazard acoustic sensing, locating, and alarm system |
CN201627154U (zh) * | 2009-12-23 | 2010-11-10 | 中铁二院工程集团有限责任公司 | 高速铁路防异物入侵刚性防护网 |
CN102184618A (zh) * | 2011-04-21 | 2011-09-14 | 吴良善 | 落石、滑坡、塌方光电监测方法和监测报警装置 |
CN104590319A (zh) * | 2014-06-11 | 2015-05-06 | 北京交通大学 | 异物侵入检测装置和异物侵入检测方法 |
CN105116418A (zh) * | 2015-09-08 | 2015-12-02 | 北京铁路局北京科学技术研究所 | 障碍物的检测方法和装置 |
CN105809679A (zh) * | 2016-03-04 | 2016-07-27 | 李云栋 | 一种基于视觉分析的山区铁路边坡落石检测方法 |
CN107885927A (zh) * | 2017-11-06 | 2018-04-06 | 中铁二院工程集团有限责任公司 | 一种铁路桥梁运营状态预警方法 |
CN108914793A (zh) * | 2018-07-06 | 2018-11-30 | 中铁二院工程集团有限责任公司 | 一种公铁并行段防气动力及列车眩光装置 |
CN109572757A (zh) * | 2018-08-06 | 2019-04-05 | 湖南铁路科技职业技术学院 | 一种铁路落石的检测与定位方法、装置 |
CN110706197A (zh) * | 2019-08-06 | 2020-01-17 | 北方工业大学 | 一种基于迁移学习的特殊场景下铁路异物侵限检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6786963B2 (ja) * | 2016-08-30 | 2020-11-18 | 沖電気工業株式会社 | 光ファイバセンサ装置及び振動位置特定方法 |
-
2020
- 2020-05-20 CN CN202010432481.9A patent/CN111626170B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6216985B1 (en) * | 1997-08-29 | 2001-04-17 | Robert Douglas Stephens | Railway hazard acoustic sensing, locating, and alarm system |
CN201627154U (zh) * | 2009-12-23 | 2010-11-10 | 中铁二院工程集团有限责任公司 | 高速铁路防异物入侵刚性防护网 |
CN102184618A (zh) * | 2011-04-21 | 2011-09-14 | 吴良善 | 落石、滑坡、塌方光电监测方法和监测报警装置 |
CN104590319A (zh) * | 2014-06-11 | 2015-05-06 | 北京交通大学 | 异物侵入检测装置和异物侵入检测方法 |
CN105116418A (zh) * | 2015-09-08 | 2015-12-02 | 北京铁路局北京科学技术研究所 | 障碍物的检测方法和装置 |
CN105809679A (zh) * | 2016-03-04 | 2016-07-27 | 李云栋 | 一种基于视觉分析的山区铁路边坡落石检测方法 |
CN107885927A (zh) * | 2017-11-06 | 2018-04-06 | 中铁二院工程集团有限责任公司 | 一种铁路桥梁运营状态预警方法 |
CN108914793A (zh) * | 2018-07-06 | 2018-11-30 | 中铁二院工程集团有限责任公司 | 一种公铁并行段防气动力及列车眩光装置 |
CN109572757A (zh) * | 2018-08-06 | 2019-04-05 | 湖南铁路科技职业技术学院 | 一种铁路落石的检测与定位方法、装置 |
CN110706197A (zh) * | 2019-08-06 | 2020-01-17 | 北方工业大学 | 一种基于迁移学习的特殊场景下铁路异物侵限检测方法 |
Non-Patent Citations (2)
Title |
---|
Yong Liu,等.The Application of Rough Set Neural Networks of GSS-PSO in the Risk Evaluation of Collapse and Rockfall Disasters.《2009 Second International Conference on Intelligent Computation Technology and Automation》.2009,全文. * |
肖琨.山区铁路异物侵限监测技术应用研究.《科技资讯》.2015,第13卷(第15期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111626170A (zh) | 2020-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626170B (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
CN110992683B (zh) | 一种基于动态图像感知的交叉口盲区预警方法及系统 | |
CN111626169B (zh) | 一种基于图像的铁路危险落石尺寸判断方法 | |
CN103400111B (zh) | 基于视频检测技术的高速公路隧道火灾事件检测方法 | |
CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
CN105551264A (zh) | 一种基于车牌特征匹配的车速检测方法 | |
CN106845458B (zh) | 一种基于核超限学习机的快速交通标识检测方法 | |
CN110874592A (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
CN115035182B (zh) | 一种山区滑坡灾害预警方法及系统 | |
CN114419616A (zh) | 一种异物识别方法、装置、设备及存储介质 | |
CN113553916B (zh) | 一种基于卷积神经网络的轨道危险区域障碍物检测方法 | |
CN112329569A (zh) | 一种基于图像深度学习系统的货运车辆状态实时识别方法 | |
CN114248819B (zh) | 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 | |
CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
CN113807220A (zh) | 交通事件检测方法、装置、电子设备和可读存储介质 | |
CN111079675A (zh) | 基于目标检测与目标跟踪的行驶行为分析方法 | |
CN114529880A (zh) | 一种城市轨道异物侵限检测方法、装置、系统及存储介质 | |
Koh et al. | Autonomous road potholes detection on video | |
Chen | Road vehicle recognition algorithm in safety assistant driving based on artificial intelligence | |
Kharel et al. | Potholes detection using deep learning and area estimation using image processing | |
CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
CN116228756B (zh) | 一种自动驾驶中相机坏点的检测方法及检测系统 | |
CN113158954A (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
WO2017077261A1 (en) | A monocular camera cognitive imaging system for a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |