CN110532889B - 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 - Google Patents
基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 Download PDFInfo
- Publication number
- CN110532889B CN110532889B CN201910713696.5A CN201910713696A CN110532889B CN 110532889 B CN110532889 B CN 110532889B CN 201910713696 A CN201910713696 A CN 201910713696A CN 110532889 B CN110532889 B CN 110532889B
- Authority
- CN
- China
- Prior art keywords
- track
- foreign matter
- detection
- yolov3
- matter detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 23
- 239000003795 chemical substances by application Substances 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法。方法为:首先制作轨道异物检测数据集,利用数据集训练YOLOv3,得到异物检测模型和模型参数,将异物检测模型和模型参数加载到基于YOLOv3的系统中;然后利用旋翼无人飞行器获得轨道的视频数据并进行预处理,利用基于多智能体的轨道特征识别算法获得轨道特征;接着利用两侧轨道特征计算轨道中心线,基于轨道中心线设定安全检测阈值,划分安全检测区域;最后利用异物检测模型和模型参数在安全检测区域进行异物检测,若检测到存在已知的异物,则发出异常报警,并返回异物的类别和位置,否则返回进行下一轮视频获取。本发明提高了轨道异物检测的精确度和实时性。
Description
技术领域
本发明涉及轨道异物检测领域,特别是一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法。
背景技术
随着我国铁路技术高速发展,铁路网络的扩张,人们越来越追求物质与精神层面的享受,继而增加了人们的出行频率。作为轨道交通安全问题的重大隐患,铁路异物侵限问题也受到了人们的广泛关注。为了切实保障人民生命和公共财产安全,对沿线铁路的检测防范至关重要。铁路异物侵限指的是在铁轨上会造成列车行驶安全隐患的障碍物,如轨道上树木的残枝、因工作滞留在轨道上的工作人员,以及非法进入轨道的人员、车辆等障碍物。由铁路异物侵限而导致的人民生命财产安全损失事故屡见不鲜。因此,加强对轨道异物侵限的实时监测,保障人民生命财产安全意义重大。
现有的轨道异物检测方法大致分为接触式检测和非接触式检测两种。接触式检测技术属于主动检测方法,主要利用电网电缆光缆等技术,维护成本较高。而非接触式检测技术主要有激光雷达技术、视频分析、机器视觉等,这些方法大都无法检测出异物的大小和形状,给后期的处理造成很大的难度。机器视觉方法虽然精度较高,但容易受外界干扰;超声波、雷达等方法虽然优势明显,但是仍处于起步阶段;采用红外线检测方式虽然容易实现且灵敏度较好,但受天气等外界因素影响较大,适用范围小,设备安装流程较为复杂。
发明内容
本发明的目的在于提供一种实时性好、检测精度高的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法。
实现本发明目的的技术解决方案为:一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法,包括以下步骤:
步骤1:制作轨道异物检测数据集,数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物,并且每张图片中的异物均有对应的xml标注信息;
步骤2:构建基于YOLOv3神经网络的轨道异物检测模型,利用轨道异物检测数据集对轨道异物检测模型进行离线训练,获得训练好的轨道异物检测模型及对应模型参数;
步骤3:将训练好的轨道异物检测模型以及模型参数,加载到基于YOLOv3神经网络的系统中;
步骤4:利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理,将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理,获得轨道特征;
步骤5:利用获得的轨道特征计算轨道中心线,基于轨道中心线设定自定义宽度值作为安全检测阈值,划分轨道异物侵限安全检测区域;
步骤6:利用轨道异物检测模型和模型参数,在轨道异物侵限安全检测区域对所采集的轨道视频进行异物检测;
步骤7:若检测到轨道视频中存在已知的异物,则发出异常报警,并返回异物的类别和位置;否则返回步骤4。
进一步地,步骤2中所述的YOLOv3神经网络的基础框架Darknet-53包含52个卷积层和1个最大池化层。
进一步地,步骤2中所述的基于YOLOv3神经网络的轨道异物检测模型,在YOLOv3神经网络基础框架Darknet-53上增加了三个检测器,尺寸分别为13×13,26×26,52×52单位为像素数。
进一步地,步骤2所述的构建基于YOLOv3神经网络的轨道异物检测模型,利用轨道异物检测数据集对轨道异物检测模型进行离线训练,获得训练好的轨道异物检测模型及对应模型参数,具体如下:
步骤2.1:根据异物检测数据集的图像数据和种类,在模型输入部分,对图像进行标准化处理;
步骤2.2:对每张图片利用YOLOv3神经网络基础框架Darknet-53做特征提取,并将提取的特征分别用三个检测器进行检测;
步骤2.3:在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框,在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数,每个边界框包含5个预测量,分别为tx,ty,tw,th,to,其中tx,ty,tw,th为坐标,tx,ty表示预测的边界框中心的x,y坐标,tw,th表示预测的边界框宽和高的相对值,to为置信度;
步骤2.4:根据数据集中的标注信息,将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口,定位出轨道上的异物位置。
进一步地,步骤4所述的利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理,将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理,获得轨道特征,具体如下:
步骤4.1:利用基于多智能体思想的传统图像分割算法,对经过预处理的视频数据进行实时图像分割;
步骤4.2:将实时分割后的图像结合Canny边缘检测算子,实现轨道的最优轮廓提取;
步骤4.3:将采用Canny边缘检测算子轮廓提取的图像,通过概率霍夫变换提取铁轨特征,得到理想的铁轨图像;
步骤4.4:根据得到的铁轨图像,利用概率霍夫变换提取轨道直线特征。
本发明与现有技术相比,其显著优点为:(1)采用旋翼无人飞行器以及基于YOLOv3神经网络的异物检测算法,提高了轨道异物检测的精确度和时效性;(2)提高了有效检测率,对实际检测任务具有很强的实用价值。
附图说明
图1是本发明基于旋翼无人飞行器和YOLOv3的轨道异物检测方法流程图。
图2是本发明的硬件的结构示意图。
图3是本发明中Darknet-53网络的结构示意图。
图4是本发明中YOLOv3检测网络的结构示意图。
图5是本发明中YOLOv3训练与检测过程的流程示意图。
图6是本发明中目标的边界框直接位置预测的原理示意图。
图7是本发明中YOLOv3检测的原理示意图。
图8是本发明中基于人工智能思想的阈值自适应调整的流程示意图。
具体实施方式
结合图1、2,本发明基于旋翼无人飞行器和YOLOv3的轨道异物检测方法,包括以下步骤:
步骤1:制作轨道异物检测数据集,数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物,并且每张图片中的异物均有对应的xml标注信息;
步骤2:构建基于YOLOv3神经网络的轨道异物检测模型,利用轨道异物检测数据集对轨道异物检测模型进行离线训练,获得训练好的轨道异物检测模型及对应模型参数;
步骤3:将训练好的轨道异物检测模型以及模型参数,加载到基于YOLOv3神经网络的系统中;
步骤4:利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理,将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理,获得轨道特征;
步骤5:利用获得的轨道特征计算轨道中心线,基于轨道中心线设定自定义宽度值作为安全检测阈值,划分轨道异物侵限安全检测区域;
步骤6:利用轨道异物检测模型和模型参数,在轨道异物侵限安全检测区域对所采集的轨道视频进行异物检测;
步骤7:若检测到轨道视频中存在已知的异物,则发出异常报警,并返回异物的类别和位置;否则返回步骤4。
进一步地,步骤2中所述的YOLOv3神经网络的基础框架Darknet-53包含52个卷积层和1个最大池化层。
进一步地,步骤2中所述的基于YOLOv3神经网络的轨道异物检测模型,在YOLOv3神经网络基础框架Darknet-53上增加了三个检测器,尺寸分别为13×13,26×26,52×52单位为像素数。
进一步地,步骤2所述的构建基于YOLOv3神经网络的轨道异物检测模型,利用轨道异物检测数据集对轨道异物检测模型进行离线训练,获得训练好的轨道异物检测模型及对应模型参数,具体如下:
步骤2.1:根据异物检测数据集的图像数据和种类,在模型输入部分,对图像进行标准化处理;
步骤2.2:对每张图片利用YOLOv3神经网络基础框架Darknet-53做特征提取,并将提取的特征分别用三个检测器进行检测;
步骤2.3:在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框,在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数,每个边界框包含5个预测量,分别为tx,ty,tw,th,to,其中tx,ty,tw,th为坐标,tx,ty表示预测的边界框中心的x,y坐标,tw,th表示预测的边界框宽和高的相对值,to为置信度;
步骤2.4:根据数据集中的标注信息,将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口,定位出轨道上的异物位置。
进一步地,步骤4所述的利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理,将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理,获得轨道特征,具体如下:
步骤4.1:利用基于多智能体思想的传统图像分割算法,对经过预处理的视频数据进行实时图像分割;
步骤4.2:将实时分割后的图像结合Canny边缘检测算子,实现轨道的最优轮廓提取;
步骤4.3:将采用Canny边缘检测算子轮廓提取的图像,通过概率霍夫变换提取铁轨特征,得到理想的铁轨图像;
步骤4.4:根据得到的铁轨图像,利用概率霍夫变换提取轨道直线特征。
以下将结合附图及具体实施例对本发明作进一步的详细说明。
实施例
结合图1,本发明一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法,包括以下步骤:
步骤1:制作轨道异物检测数据集,数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物,并且每张图片中的异物均有其对应的xml标注信息;
步骤2:构建基于YOLOv3神经网络的轨道异物检测模型,利用轨道异物检测数据集对轨道异物检测模型进行离线训练,获得理想的轨道异物检测模型及其参数,具体如下:
步骤2.1:根据异物检测数据集的图像数据和种类,在模型输入部分,对图像进行标准化处理,具体如下:
利用新的分类模型Darknet-53为基础模型在ImageNet-1000类数据集中进行特征提取,得到一个预训练模型,Darknet-53的模型结构如图3所示。
步骤2.2:对每张图片利用YOLOv3基础框架Darknet-53做特征提取,并将提取的特征分别用三个检测器进行检测,具体如下:
在YOLOv3的训练与检测网络环节,该网络在Darknet-53分类网络的基础上,构造了三个检测器,即在三个尺度上分别进行预测,三个尺度分别是13×13网络、26×26网络、52×52网络,其中13×13网络是将Darknet-53网络最后一个特征图(featuremap)划分为13×13的网格区域,该检测器用于提取中大目标的特征,而后两个尺度26×26,52×52的网格区域,是将该特征图划分为更小的区域,能够找到早期特征映射中的上采样特征和更细粒度的特征,分别用于提取中等目标和更小的目标。具体的检测网络结构如图4所示。
步骤2.3:在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框,在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数,每个边界框包含5个预测量,分别为tx,ty,tw,th,to,其中tx,ty,tw,th为坐标,分别表示预测的边界框中心的x,y坐标,以及预测的边界框宽和高的相对值,to为置信度,具体如下:
步骤2.3.1:在分类网络预训练环节,设置初始训练时网络的输入分辨率为224,采用分类模型Darknet-53在ImageNet-1000类数据集上训练了160轮。在160轮之后将输入的分辨率切换到448进行微调,再训练10轮,最后将训练得到的分类网络迁移到检测网络;
步骤2.3.2:在检测网络训练环节,将步骤2.3.1微调得到的训练参数接着训练检测网络,采用多尺度输入的方法,在YOLOv2网络一个检测器的基础上,再额外增加两个检测器,构成三个检测器,并在此基础上进行训练得到检测网络模型。整个训练与检测过程框架如图5所示:
步骤2.3.3:将数据集进行预处理,接着放到经过Darknet-53预训练的YOLOv3检测模型中,进行迭代训练,采用以下两个判断条件:首先判断训练是否迭代完,若没有再判断是否达到了设定的loss最低的阈值,如果均未达到则接着训练,当其中一个判断条件满足时,则退出训练阶段,得到需要的权重文件,利用此权重文件来进行图片或视频的检测,执行定位与画框操作,得到最后的检测结果。
步骤2.3.4:在检测环节,给定一个待检测的视频,首先将视频切帧化为一帧一帧的图片,然后将图片划分为13×13的网络,YOLOv3为多尺度训练,这里只列出13×13的尺度。同时借鉴Faster R-CNN中anchors的方法,在YOLOv3中采用维度聚类的方式,针对轨道异物检测数据集中所提供的box真值(ground truth),一共聚类出9个尺寸的anchors,9个anchors分别提供给三个尺度,每个尺度只有三个尺寸的anchors,这里的目标框的定位采用直接位置预测,每个anchor包含5个预测量,分别为tx,ty,tw,th,to,其中tx,ty,tw,th为坐标,即预测的边界框中心的x,y坐标,以及预测的边界框宽和高,to为置信度。YOLOv3通过相对于网格坐标来预测目标框的中心位置,如图7所示。如果目标框距离图像左上角的边距是(cx,cy),且它对应边界框的宽和高为pw,ph,则网络的预测值为:
bx=σ(tx)+cx (1)
by=σ(ty)+cy (2)
Pr(object)*IOU(b,object)=σ(to) (5)
目标框直接位置预测的原理图如图6所示。
步骤2.4:根据数据集中的标注信息,将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口,定位出轨道上的异物位置,具体如下:
将检测到的疑似目标框的所有方框采用非极大值抑制NMS算法进行处理,首先将所有方框按照置信度值从大到小排列,取出最大的置信度值的方框依次和后面的方框进行比较,当二者IOU值大于设定的阈值0.5时,则舍弃较小的方框;当小于阈值0.5时则保留。通过非极大值抑制NMS算法抑制大部分方框,去除多余的窗口,定位出轨道上面的异物位置。检测示意图如图7所示。
步骤3:将训练好的轨道异物检测模型以及模型参数,加载到基于YOLOv3神经网络的系统中;
步骤4:利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理,将预处理后的视频数据利用基于多智能体的轨道特征识别算法进行处理,获得轨道特征,具体如下:
首先利用机载平台的视频传感器获取轨道视频数据,将视频切帧经过预处理后交由基于多智能体的轨道特征提取算法,利用多智能体的行为特征来提高轨道特征提取的自适应性。首先利用基于智能算法思想的图像轮廓提取方法,将图像进行分割和轮廓提取;然后基于提取出的轮廓,利用概率霍夫变换对提取出的图像轮廓进行直线特征提取,进而得到轨道特征;将得到轨道特征的视频再交由下一步的基于YOLOv3神经网络的轨道异物检测算法,在一定安全阈值中进行异物识别,一旦发现有异物,则进行异常报警,并返回异物的具体位置和类别,如果没有,则继续进行下一帧的检测。整个过程详细描述如下所述:
步骤4.1:利用基于多智能体思想的传统图像分割算法,对经过预处理的视频数据进行实时图像分割,具体如下:
图像分割是对特征轮廓进行提取的基础,图像分割的效果将会影响最终特征提取的准确率。而传统的阈值法分割图像易受周围环境等外界因素的干扰,不适用旋翼无人飞行器执行实时任务,因此,这里借鉴多智能体的思想改进原有的图像分割算法,利用其复制、扩散、竞争等行为,使其可以自适应地对实时图像进行分割,进而结合Canny边缘检测算子实现最优轮廓提取。
在基于像素坐标系的二维图像上构建具有自主行为的智能体,这些智能体通过复制、扩散、竞争等行为,在二维像素空间中不断寻找满足条件一致性的连通区域,并将这个区域进行标记,直至最终在像素坐标系下的所有点都被标记,完成图像分割。
步骤4.2:将实时分割后的图像结合Canny边缘检测算子,实现轨道的最优轮廓提取,具体如下:
将步骤4.1得到的每一帧的分割图像通过Canny边缘检测算子提取图像轮廓特征,Canny边缘检测算法其主要步骤如下:
使用高斯滤波器,滤除噪声;计算每个像素点的斜率;接着应用非极大值抑制算法来消除边缘检测带来的噪声;然后应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘;最后通过抑制孤立的弱边缘最终完成边缘检测。
为了能够提高实际系统中轨道特征检测的准确率,同时也使其满足无人飞行器实时性的要求,采用阈值自适应调整技术方案提取图像轮廓特征,其流程如图8所示。
步骤4.3:将采用Canny边缘检测算子轮廓提取的图像,通过概率霍夫变换提取铁轨特征,得到理想的铁轨图像,具体如下:
保障列车行驶安全,检测出列车周边障碍物是轨道异物侵限检测的主要目标。为了划定异物检测范围提高准确率,必须提取图像中的轨道边缘,以确定铁轨位置。而概率霍夫变换是一种专门的特征检测技术,主要使用计算机提取图像信息,得到图像中的像素点属于该图像的某些特征,将这些特征划分为不同的集合,这些集合一般属于连续的区域或者线段,如铁轨中的轨道边缘特征。将连续的图片都采用概率霍夫变换就可以得到每幅图中的轨道边缘特征。因此,这里采用上一步基于多智能体的图像分割以及基于Canny边缘检测算子提取的轨道轮廓,接着结合概率霍夫变换提取轨道边缘特征,以得到较理想的铁轨边缘图像。
步骤4.4:根据得到的铁轨图像,利用概率霍夫变换提取轨道直线特征,具体如下:
结合人工智能中对“人”的试探行为进行拟合的思想,对原始阈值根据现场实地情况进行等幅增减处理,并判断能否检测出两条轨道。若不能,则继续等幅增减阈值再判断,进而进一步提高轨道特征识别的自适应性。具体的原始阈值自适应流程图如图8所示。
步骤5:利用获得的两侧轨道特征计算轨道中心线,基于轨道中心线设定自定义宽度值作为安全检测阈值,划分轨道异物侵限安全检测区域;
步骤6:利用异物检测模型和模型参数,在轨道异物侵限安全检测区域对所采集的轨道视频利用YOLOv3神经网络进行异物检测;
步骤7:若检测到轨道视频中存在已知的异物,则发出异常报警,并返回异物的类别和位置;否则返回步骤4。
综上所述,本发明采用旋翼无人飞行器以及基于YOLOv3的异物检测算法,提高了轨道异物检测的精确度和时效性,并提高了有效检测率,对实际检测任务具有很强的实用价值。
Claims (4)
1.一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法,其特征在于,包括以下步骤:
步骤1:制作轨道异物检测数据集,数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物,并且每张图片中的异物均有对应的xml标注信息;
步骤2:构建基于YOLOv3神经网络的轨道异物检测模型,利用轨道异物检测数据集对轨道异物检测模型进行离线训练,获得训练好的轨道异物检测模型及对应模型参数,具体如下:
步骤2.1:根据异物检测数据集的图像数据和种类,在模型输入部分,对图像进行标准化处理;
步骤2.2:对每张图片利用YOLOv3神经网络基础框架Darknet-53做特征提取,并将提取的特征分别用三个检测器进行检测;
步骤2.3:在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框,在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数,每个边界框包含5个预测量,分别为tx,ty,tw,th,to,其中tx,ty,tw,th为坐标,tx,ty表示预测的边界框中心的x,y坐标,tw,th表示预测的边界框宽和高的相对值,to为置信度;
步骤2.4:根据数据集中的标注信息,将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口,定位出轨道上的异物位置;
步骤3:将训练好的轨道异物检测模型以及模型参数,加载到基于YOLOv3神经网络的系统中;
步骤4:利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理,将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理,获得轨道特征;
步骤5:利用获得的轨道特征计算轨道中心线,基于轨道中心线设定自定义宽度值作为安全检测阈值,划分轨道异物侵限安全检测区域;
步骤6:利用轨道异物检测模型和模型参数,在轨道异物侵限安全检测区域对所采集的轨道视频进行异物检测;
步骤7:若检测到轨道视频中存在已知的异物,则发出异常报警,并返回异物的类别和位置;否则返回步骤4。
2.根据权利要求1所述的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法,其特征在于,步骤2中所述的YOLOv3神经网络的基础框架Darknet-53包含52个卷积层和1个最大池化层。
3.根据权利要求1或2所述的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法,其特征在于,步骤2中所述的基于YOLOv3神经网络的轨道异物检测模型,在YOLOv3神经网络基础框架Darknet-53上增加了三个检测器,尺寸分别为13×13,26×26,52×52单位为像素数。
4.根据权利要求1所述的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法,其特征在于,步骤4所述的利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理,将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理,获得轨道特征,具体如下:
步骤4.1:利用基于多智能体思想的传统图像分割算法,对经过预处理的视频数据进行实时图像分割;
步骤4.2:将实时分割后的图像结合Canny边缘检测算子,实现轨道的最优轮廓提取;
步骤4.3:将采用Canny边缘检测算子轮廓提取的图像,通过概率霍夫变换提取铁轨特征,得到理想的铁轨图像;
步骤4.4:根据得到的铁轨图像,利用概率霍夫变换提取轨道直线特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910713696.5A CN110532889B (zh) | 2019-08-02 | 2019-08-02 | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910713696.5A CN110532889B (zh) | 2019-08-02 | 2019-08-02 | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110532889A CN110532889A (zh) | 2019-12-03 |
CN110532889B true CN110532889B (zh) | 2022-08-16 |
Family
ID=68662101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910713696.5A Active CN110532889B (zh) | 2019-08-02 | 2019-08-02 | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110532889B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160125B (zh) * | 2019-12-11 | 2023-06-30 | 北京交通大学 | 基于铁路监控的铁路异物入侵检测方法 |
CN111353481A (zh) * | 2019-12-31 | 2020-06-30 | 成都理工大学 | 基于激光点云与视频图像的道路障碍物识别方法 |
CN111582084B (zh) * | 2020-04-24 | 2022-07-08 | 北京航空航天大学 | 基于弱监督学习的空基视角下的铁轨异物检测方法及系统 |
CN111626169B (zh) * | 2020-05-20 | 2023-04-18 | 中铁二院工程集团有限责任公司 | 一种基于图像的铁路危险落石尺寸判断方法 |
CN111626203B (zh) * | 2020-05-27 | 2021-11-16 | 北京伟杰东博信息科技有限公司 | 一种基于机器学习的铁路异物识别方法及系统 |
CN111709345A (zh) * | 2020-06-12 | 2020-09-25 | 重庆电政信息科技有限公司 | 一种固定环境内异常物品实时检测方法 |
CN112000125B (zh) * | 2020-08-02 | 2022-09-27 | 南京理工大学 | 一种地铁隧道内四旋翼飞行器自主导航方法 |
CN114248819B (zh) * | 2020-09-25 | 2023-12-29 | 中车株洲电力机车研究所有限公司 | 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 |
CN112319552A (zh) * | 2020-11-13 | 2021-02-05 | 中国铁路哈尔滨局集团有限公司 | 轨道车运行探测预警系统 |
CN112464886A (zh) * | 2020-12-14 | 2021-03-09 | 上海交通大学 | 一种飞行器识别追踪方法 |
CN112989931B (zh) * | 2021-02-05 | 2022-10-18 | 广州华微明天软件技术有限公司 | 一种地铁轨道异物智能识别方法 |
CN113553916B (zh) * | 2021-06-30 | 2023-04-07 | 广西大学 | 一种基于卷积神经网络的轨道危险区域障碍物检测方法 |
CN114821165A (zh) * | 2022-04-19 | 2022-07-29 | 北京运达华开科技有限公司 | 一种轨道检测图像采集分析方法 |
CN118182572A (zh) * | 2024-05-16 | 2024-06-14 | 永鼎行远(南京)信息科技有限公司 | 铁路移动装备防撞预警装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197610A (zh) * | 2018-02-02 | 2018-06-22 | 北京华纵科技有限公司 | 一种基于深度学习的轨道异物检测系统 |
CN109766746A (zh) * | 2018-11-22 | 2019-05-17 | 南京理工大学 | 一种无人机航拍视频的轨道异物检测方法 |
-
2019
- 2019-08-02 CN CN201910713696.5A patent/CN110532889B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197610A (zh) * | 2018-02-02 | 2018-06-22 | 北京华纵科技有限公司 | 一种基于深度学习的轨道异物检测系统 |
CN109766746A (zh) * | 2018-11-22 | 2019-05-17 | 南京理工大学 | 一种无人机航拍视频的轨道异物检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110532889A (zh) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110532889B (zh) | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 | |
JP6759474B2 (ja) | 深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法及びシステム | |
US11556745B2 (en) | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor | |
CN107609522A (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
CN110261436A (zh) | 基于红外热成像和计算机视觉的轨道故障检测方法及系统 | |
Zormpas et al. | Power transmission lines inspection using properly equipped unmanned aerial vehicle (UAV) | |
CN107818326A (zh) | 一种基于场景多维特征的船只检测方法及系统 | |
Qu et al. | Moving vehicle detection with convolutional networks in UAV videos | |
CN103824070A (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN113409252B (zh) | 一种架空输电线路巡检机器人障碍物检测方法 | |
CN103049788B (zh) | 基于计算机视觉的待过行人数目的检测系统及方法 | |
CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
CN115205796B (zh) | 轨道线路异物侵限监测与风险预警方法及系统 | |
CN113553916B (zh) | 一种基于卷积神经网络的轨道危险区域障碍物检测方法 | |
CN111582084A (zh) | 基于弱监督学习的空基视角下的铁轨异物检测方法及系统 | |
CN110599800A (zh) | 一种停车场车位状态监测系统及监测方法 | |
Le Saux et al. | Railway detection: From filtering to segmentation networks | |
Liu et al. | Vehicle detection from aerial color imagery and airborne LiDAR data | |
Yang et al. | On-road collision warning based on multiple FOE segmentation using a dashboard camera | |
CN106951820B (zh) | 基于环形模板和椭圆拟合的客流统计方法 | |
Ahuja et al. | A survey of recent advances in crowd density estimation using image processing | |
Dorrani | Traffic Scene Analysis and Classification using Deep Learning | |
CN112085101A (zh) | 一种高性能高可靠的环境融合感知方法及系统 | |
CN116402994A (zh) | 基于激光雷达和视频图像融合的铁路危情监测方法 | |
Wang et al. | A detection method for transmission line insulators based on an improved FCM algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |