CN114248819B - 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 - Google Patents
基于深度学习的铁路侵限异物无人机检测方法、装置及系统 Download PDFInfo
- Publication number
- CN114248819B CN114248819B CN202011029104.7A CN202011029104A CN114248819B CN 114248819 B CN114248819 B CN 114248819B CN 202011029104 A CN202011029104 A CN 202011029104A CN 114248819 B CN114248819 B CN 114248819B
- Authority
- CN
- China
- Prior art keywords
- railway
- target
- unmanned aerial
- aerial vehicle
- foreign matter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 162
- 238000013135 deep learning Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 43
- 241001669679 Eleotris Species 0.000 claims description 41
- 230000009545 invasion Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005096 rolling process Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 206010070245 Foreign body Diseases 0.000 description 34
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000011835 investigation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 241000283690 Bos taurus Species 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 241001494479 Pecora Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012502 risk assessment Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
- B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开一种基于深度学习的铁路侵限异物无人机检测方法及系统，该方法步骤包括：S1.实时获取无人机采集的待测铁路沿线的视频图像数据；S2.使用基于深度学习的目标检测模型检测视频图像数据中是否存在异物，当检测到存在目标异物时，转入执行步骤S3；S3.提取存在目标异物的目标视频帧中的铁路限界，铁路限界为铁路上不允许异物侵入的限界，根据检测到的目标异物的位置状态判断目标异物是否侵入铁路限界。本发明具有实现方法简单、检测精度及效率高、检测范围广且灵活等优点。
Description
技术领域
本发明涉及轨道交通检测技术领域，尤其涉及一种基于深度学习的铁路侵限异物无人机检测方法、装置及系统。
背景技术
异物侵入铁路限界会对铁路行车安全造成极大的危害，可能会导致延迟列车到达站点的时间，还可能会造成经济损失。据统计，铁路系统的故障中属于设备本身故障通常仅占20％，大部分的故障则都是由于如异物侵限等的外部因素引起。随着铁路建设的快速发展，列车运行速度不断提升，对列车运行安全的要求也不断提高，而铁路沿线环境安全隐患也日益突出，对于铁路异物侵限的检测对于确保铁路行车安全意义重大。
所有侵入铁路限界、妨碍铁路系统正常运行的物体都可视为铁路侵限异物(以下简称为异物)，各类异物均可能会对铁路安全产生极大的影响，如表1列举了常见几类异物以及可能会给铁路运输带来的安全危害。
表1异物种类与危害
针对铁路上的异物，目前通常都是采用人工排查的方式，而人工排查方式效率低、排查成本高，且极易发生漏查，如小体积的石块等就不易被发现，依靠人工排查方式要实现全线铁路实时准确的排查非常困难。为解决上述问题，一种解决方案是在需要监测的铁路线路旁安装摄像头，通过摄像头采集图像，预先依据需要识别的目标特性(如车辆、人体等)设计图像识别算法，实时采集到图像后进行图像处理，使用设计的图像识别算法来识别出图像中是否存在目标，但是该类方案仅能够实现特定位置处小范围的监测，且仅能够识别特定类别的目标，而铁路上发生异物侵限事件具有突发性和随机性，其发生的时间和地点往往很难预测，且铁路里程总量较大，铁路沿线的全线均可能存在异物发生事件，采用上述图像识别方式就无法实现铁路沿线全线的异物监测，且如表1所示，异物种类众多且形态特征各异，要实现各类异物的检测，图像识别算法的设计难度非常大，所要识别的异物种类较多，还会影响识别的效率，无法满足高速列车运行过程中对异物检测的时效性要求。因此，亟需提供一种铁路侵限异物检测方法，以能够方便的实现铁路沿线全线的实时异物检测，同时确保检测的精度以及时效性。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、检测精度及效率高、检测范围广且灵活的基于深度学习的铁路侵限异物无人机检测方法、装置及系统，能够快速、准确的实现大范围的铁路侵限异物实时检测。
为解决上述技术问题，本发明提出的技术方案为：
一种基于深度学习的铁路侵限异物无人机检测方法，步骤包括：
S1.实时获取由无人机实时采集的待测铁路沿线的视频图像数据；
S2.使用基于深度学习的目标检测模型检测获取的所述视频图像数据中是否存在异物，当检测到存在目标异物时，转入执行步骤S3；
S3.使用基于深度学习的目标检测模型提取存在目标异物的目标视频帧中铁路限界，所述铁路限界为铁路上不允许异物侵入的轮廓线，根据检测到的目标异物的位置判断目标异物是否侵入所述铁路限界。
进一步的，所述目标检测模型具体为YOLO(You Only Look Once)V3模型，所述YOLO V3模型中特征提取网络使用MobileNet V3构架以将卷积层分解为深度卷积与逐点卷积。
进一步的，所述MobileNet V3构架包括depthwise卷积层和pointwise卷积层，所述depthwise卷积层使用3×3的卷积核对输入图像的每一个通道分别进行卷积，所述pointwise卷积层使用1×1的卷积核对不同通道的pointwise卷积结果进行卷积，生成三维的卷积结果。
进一步的，所述YOLO V3模型中使用四个尺度的特征进行目标检测，以使用四个尺度的特征图分别检测不同尺寸的目标。
进一步的，所述步骤S3中提取铁路限界的步骤包括：
S31.使用基于深度学习的目标检测模型检测目标视频帧中所有轨枕的位置，并确定检测到的各轨枕的中心点坐标；
S32.对确定得到的各轨枕的中心点坐标进行拟合，求解得到铁路中心线的位置；
S33.以求解得到的所述铁路中心线为基准，按照预设比例向两侧扩展，生成铁路限界区域的平面投影，提取得到所述铁路限界。
进一步的，所述步骤S32中，具体使用最小二乘法对目标视频帧中各轨枕中心点坐标进拟合，求解得到所述铁路中心线的位置。
进一步的，使用所述最小二乘法求解得到所述铁路中心线的位置的具体步骤包括：
获取目标视频帧中检测到的所有n个轨枕中心点坐标构成数据点集，其中各横坐标分别为x0，x1,……xn，各纵坐标分别为y0，y1……yn，所述数据点集的最小二乘解为：
且满足条件：
其中为多元函数/>的极小值点，且满足：
即：
则得到方程式为：
根据求和公式以及得到的所述方程式，得到a0，a1的求解方程为：
最终求解得到所述铁路中心线的方程为：
y＝a0+a1x。
进一步的，所述步骤S33的步骤包括：
S331.分别按照式li＝xi2-xi1计算目标视频帧中检测到的各轨枕的长度，其中xi2为检测出的第i个轨枕的轮廓边框的左上角坐标值、xi1为检测出的第i个轨枕的轮廓边框的右下角坐标值；
S332.根据各轨枕的长度计算目标视频帧中的轨枕平均长度li：
其中，n为检测到的轨枕的数量；
S333.将检测到的所述铁路中心线分别向左、右两侧平移图像距离z，得到所述铁路限界，其中z的求解方程为式为：
其中，l0为标准轨枕长度，z0为车辆限界的廓形截面宽度，所述车辆限界为机车车辆本身及其装载的货物不容许越出的轮廓线。
进一步的，所述步骤S3中判断目标异物是否侵入所述铁路限界时，具体检测目标异物的轮廓边框的中心点位置，并判断所述目标异物的轮廓边框的中心点位置与所述铁路限界的位置关系，若位于所述铁路限界之外，判定目标异物未侵入所述铁路限界；若位于所述铁路限界的边界线上以及所述铁路限界内区域时，判定目标异物侵入所述铁路限界。
进一步的，所述步骤S3中判断目标异物是否侵入所述铁路限界时，具体预先将异物的轮廓边界中心点代入所述铁路界限的方程中求出两个横坐标参考值m和n，检测到目标异物后，判断目标异物的轮廓边框的中心点横坐标xi的大小，其中若同时大于或同时小于m和n，则判定异物未侵入铁路限界，若介于m和n之间时，则判定异物侵入铁路限界。
进一步的，所述步骤S3还包括根据不同异物类型、异物大小、异物位置划分不同的侵限等级，当检测到异物侵入铁路限界时，判断对应的侵限等级，根据判断的侵限等级发送对应等级的预警信息。
进一步的，所述步骤S3中，具体当判断到目标异物侵入所述铁路限界，若目标异物为动态物体，或目标异物的尺寸大于预设阈值，判定为危险异物，发送对应的第一预警信息；若目标异物的尺寸小于预设阈值，判定为普通异物，发送对应的第二预警信息。
一种基于深度学习的铁路侵限异物无人机检测装置，包括：
视频图像获取模块，用于实时获取由无人机实时采集的待测铁路沿线的视频图像数据；
异物检测模块，用于使用基于深度学习的目标检测模型检测获取的所述视频图像数据中是否存在异物，当检测到存在目标异物时，转入执行侵限判别模块；
侵限判别模块，用于使用基于深度学习的目标检测模型提取存在目标异物的目标帧视频图像数据中铁路限界，所述铁路限界为铁路上不允许异物侵入的轮廓先，根据检测到的目标异物的位置判断目标异物是否侵入所述铁路限界。
进一步的，所述目标检测模型具体为YOLO V3模型，所述YOLO V3模型中特征提取网络使用MobileNet V3构架以将卷积层分解为深度卷积与逐点卷积，所述YOLO V3模型中使用四个尺度的特征进行目标检测。
一种基于深度学习的铁路侵限异物无人机检测装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，所述处理器用于执行所述计算机程序，以执行上述方法。
一种基于深度学习的铁路侵限异物无人机检测系统，包括无人机，所述无人机上搭载有用于视频图像数据采集的视频图像采集装置，还包括上述检测装置。
进一步的，还包括与所述检测装置连接的监控中心，所述监控中心接收检测装置上传的检测结果以及预警信息、发送控制信息给检测装置。
进一步的，所述无人机上还搭载有定位模块，以用于进行定位以及辅助确定发生异物侵限时的地点位置。
与现有技术相比，本发明的优点在于：
1、本发明充分利用无人机的机动灵活、无视地形等的特点，由无人机实时采集待测铁路沿线的视频图像数据，以及利用深度学习检测模型的成长性高、在不同光照条件下和噪点较多的情况下都具有较高的鲁棒性等的优点，使用基于深度学习的目标检测方法对无人机采集的视频图像数据进行检测，当检测到异物时基于提取的铁路限界判断异物是否侵界，可以在不妨碍铁路系统正常工作的情况下实现侵限异物检测，且可以满足地质灾害发生处、桥梁和断崖等各类特殊场景的异物检测需求，实现大范围的铁路侵限异物检测，有效提高铁路侵限异物检测的效率，同时无需针对不同异物设计不同的检测算法，可以降低算法复杂度的同时，提高整体铁路侵限异物检测的稳健性以及运行效率。
2、本发明进一步在采用YOLO V3模型的基础上，使用MobileNet V3构架代替传统的Darknet-53网络作为特征提取网络，将传统的卷积层分解成深度卷积与逐点卷积，可以大大降低模型的计算量，提高模型的计算效率，从而可匹配无人机检测方式，实现高效的异物检测。
3、本发明进一步在使用YOLO V3模型时，使用四个尺度的特征进行目标检测，以使用四个尺度的特征图分别检测不同尺寸的目标，相比于传统的三尺寸检测，能够获得更多细微特征和位置信息，提高微小目标的检测效果，从而能够匹配无人机检测方式进一步提高异物检测精度。
4、本发明进一步在检测出异物后，结合基于深度学习的检测方法来轨枕的位置，由各轨枕的中心点拟合求解出铁路中心线的位置，通过轨枕与铁路限界的空间几何关系在铁路沿线视频中提取铁路限界，将空间立体的铁路限界投影至俯视视角的铁路沿线视频中，在铁路中心线的基础上按比例向两侧扩展得到铁路限界，可以精确提取出铁路限界，从而实现异物侵限的精确判别。
5、本发明进一步通过对检测到的异物进行危险性评估，可以根据侵限异物的危险等级分级预警，使得可以在实现异物监测的同时，及时确定异物侵限类型而便于相应的处理。
附图说明
图1是本实施例基于深度学习的铁路侵限异物无人机检测方法的实现流程示意图。
图2是在具体应用实施例中得到的车辆限界与建筑限界的示意图。
图3是典型的YOLO V3模型的网络构架示意图。
图4是本实施例采用的改进YOLO V3的网络构架示意图。
图5是本实施例中提取铁路限界的具体实现流程示意图。
图6是本发明具体应用实施例中提取出的轨枕轮廓边框的示意图。
图7是本实施例中判别异物侵限的原理示意图。
图8是本实施例中异物边界框与铁路限界之间的几何关系示意图。
图9是本实施例中异物危险评估的具体实现流程示意图。
图10是本实施例基于深度学习的铁路侵限异物无人机检测系统的结构原理示意图。
图11是本实施例中目标检测模型训练的具体实现流程示意图。
图12是本发明在具体应用实施例中实现异物检测与告警的流程示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例基于深度学习的铁路侵限异物无人机检测方法的步骤包括：
S1.实时获取由无人机实时采集的待测铁路沿线的视频图像数据；
S2.使用基于深度学习的目标检测模型检测获取的视频图像数据中是否存在异物，当检测到存在目标异物时，转入执行步骤S3；
S3.使用基于深度学习的目标检测模型提取存在目标异物的目标视频帧中铁路限界，铁路限界为铁路上不允许异物侵入的轮廓线，根据检测到的目标异物的位置判断目标异物是否侵入铁路限界。
本实施例充分利用无人机的机动灵活、无视地形等的特点，由无人机实时采集待测铁路沿线的视频图像数据，以及利用深度学习检测模型的成长性高、在不同光照条件下和噪点较多的情况下都具有较高的鲁棒性等的优点，使用基于深度学习的目标检测方法对无人机采集的视频图像数据进行检测，当检测到异物时基于提取的铁路限界判断异物是否侵界，可以在不妨碍铁路系统正常工作的情况下实现侵限异物检测，且可以满足地质灾害发生处、桥梁和断崖等各类特殊场景的异物检测需求，实现大范围的铁路侵限异物检测，有效提高铁路侵限异物检测的效率，同时无需针对不同异物设计不同的检测算法，可以降低算法复杂度的同时，提高整体铁路侵限异物检测的稳健性以及运行效率。
铁路环境中相关的限界一般包含车辆限界与建筑限界，车辆限界是机车车辆本身及其装载的货物不容许越出的轮廓线，建筑限界是位于铁路线两边的建筑物不容许侵入的轮廓线，在具体应用实施例中车辆限界轮廓如图2(a)所示，侵入车辆限界的铁路异物更容易与列车发生碰撞，引发严重的交通事故。铁路限界区域提取是判断异物是否侵限的前提，本实施例选择车辆限界轮廓作为判断铁路限界提取目标，在具体应用实施例中提取的铁路限界如图2(b)所示。
本实施例中，目标检测模型具体采用YOLO V3模型，YOLO是一种端到端的目标检测模型，YOLO V3的网络构架如图3所示，YOLO V3具有轻量高速的特点，在快速检测的同时检测精度较高，非常适合作为铁路侵限异物的识别模型。YOLO V3模型中是以Darknet-53网络为YOLO V3的特征提取网络，Darknet-53是在Darknet-19的基础上引入了残差神经网络的思想，使用3×3和1×1大小的卷积核，将原来的Darknet-19的19个卷积层扩充到Darknet-53的53个卷积层，通过卷积从原始图像中获得不同维度的特征图(feature map)；同时借鉴Faster R-CNN的中FPN(Feature Pyramid Networks)网络原理，结合不同尺度特征图的信息输出三种尺度的特征图，并在三种尺度的特征图上进行目标定位与分类。
无人机检测过程中，会实时采集大量的视频图像数据，为满足异物检测的时效性，采用基于YOLO V3的目标检测算法进行异物检测。本实施例具体在传统YOLO V3模型的基础上进行改进，特征提取网络使用MobileNet V3构架以将卷积层分解为深度卷积与逐点卷积，如图4所示。MobileNet V3构架具体包括depthwise卷积层和pointwise卷积层，depthwise卷积层使用3×3的卷积核对输入图像的每一个通道分别进行卷积，pointwise卷积层使用1×1的卷积核对不同通道的pointwise卷积结果进行卷积，生成三维的卷积结果。标准的卷积层虽然也可以直接处理输入的多通道图像，但深度可分卷积层将卷积过程分成两步之后，可以大大提高卷积速度，如在卷积输出的结果近似的情况下，其卷积速度比标准卷积层能够快8-9倍，从而可大大提升特征提取效率。本实施例通过对传统YOLO V3模型的网络结构进行改进，使用MobileNet V3构架代替传统的Darknet-53网络作为特征提取网络，将传统的卷积层分解成深度卷积与逐点卷积，可以大大降低模型的计算量，提高模型的计算效率，从而可匹配无人机检测方式，实现高效的异物检测。
进一步的，由于无人机检测时飞行高度一般离地面有一定高度(如通常10米左右)，视距较远，在无人机拍摄采集的视频数据中异物通常是小目标。如图4所示，本实施例在使用YOLO V3模型以及特征提取网络使用MobileNet V3构架的基础上，使用四个尺度的特征进行目标检测，以使用四个尺度的特征图分别检测不同尺寸的目标，相比于传统的三尺寸检测，能够获得更多细微特征和位置信息，提高微小目标的检测效果，从而能够匹配无人机检测方式进一步提高异物检测精度。
传统的YOLO V3模型在提取了图像数据的特征图之后，将不同尺度的特征图融合成三个尺度的特征图，并在这三个尺度的特征图上分别进行区域提案与目标分类。如图3所示，YOLO V3模型是使用3个尺度检测分别检测不同尺寸的目标，输入的图像会经过五次降采样，YOLO V3在最后三个降采样层进行目标检测，可以实现三种尺度的目标检测，在第三个尺度，降采样8倍的特征图用于检测小目标；在第二个尺度，降采样16倍的特征图用于中等尺寸的目标；在第一个尺度，降采样32倍的特征图用于检测较大的目标。
如图4所示，本实施例采用的YOLO V3网络，具体在原始模型的基础上增加了一个尺度，以获得更多细微特征和位置信息，提升YOLO V3对于微小物体的检测效果，具体使用4倍降采样的特征图检测小目标。为了将较浅层的特征图与较深层的特征图融合，将8倍降采样的特征图进行上采样并与YOLO V3的第二个残差块输出融合起来，4倍降采样特征图用于检测小目标。
可以理解的是，还可以采用其他深度学习模型以实现目标检测，如Faster RCNN，SSD等模型。
本实施例中，步骤S3中提取铁路限界的步骤包括：
S31.使用基于深度学习的目标检测模型检测目标视频帧中所有轨枕的位置，并确定检测到的各轨枕的中心点坐标；
S32.对确定得到的各轨枕的中心点坐标进行拟合，求解得到铁路中心线的位置；
S33.以求解得到的铁路中心线为基准，按照预设比例向两侧扩展，生成铁路限界区域的平面投影，提取得到铁路限界。
铁路限界提取是判断异物是否侵限的前提，本实施例在检测出异物后，进一步结合基于深度学习的检测方法来轨枕的位置，由各轨枕的中心点拟合求解出铁路中心线的位置，在铁路中心线的基础上按比例向两侧扩展得到铁路限界。本实施例具体使用上述改进YOLO V3模型检测视频数据的目标帧中所有轨枕的位置，结合上述改进的YOLO V3模型进行铁路限界提取，可以充分利用YOLO V3模型强大的目标特征表征能力与较高的运行效率，快速、精准的检测出轨枕的位置，进而可以提取出准确的铁路限界实现异物侵限判别。
如图5所示，本实施例具体使用改进YOLO V3模型处理无人机采集的铁路沿线视频图像数据时，会对目标进行分类，并在目标所在位置生成轮廓边界框，即使用一次上述改进的YOLO V3模型即可识别异物以及轨枕；从识别出的结果中读取轨枕轮廓边界框角坐标；然后根据边界框对角坐标求取轨枕中心点坐标；再对当前视频帧中所有的轨枕中心点进拟合，求解铁路的中心线；最后以铁路中心线为基准，按照特定的比例向两侧扩展，生成铁路限界平面投影。在具体应用实施例中使用上述改进YOLO V3模型输出的轨枕边界框如图6所示。
本实施例中，步骤S31的步骤包括：检测目标视频帧中轨枕的轮廓边框，以目标帧视频图像数据左上角的角点作为坐标系的原点、像素大小为最小单位建立视频帧平面直角坐标系，根据轨枕的轮廓边框的左上角坐标、右下角坐标确定各轨枕的中心点坐标，具体第i个轨枕中心点坐标为(xi,yi)可采用如公式(1)所示计算得到。
其中，第i个轨枕的边框左上角坐标为(xi1,yi1)，右下角坐标为(xi2,yi2)。
本实施例步骤S32中，具体使用最小二乘法对目标视频帧中各轨枕中心点坐标进拟合，求解得到铁路中心线的位置。铁路线路直线部分的中心线为一条直线，铁路线路弯曲部分的中心线虽然为一条弧线，但是铁路正线的线路弯道的最小半径为300m，而无人机的拍摄画面中铁路长度约为10m，因此相对于铁路线路弯道而言，在无人机拍摄画面中的铁路中心线与直线的偏差小于0.1％，仍可近似为直线，即可假设所有的铁路线路中心线都为直线。本实施例在获取当前视频帧中所有的轨枕中心点后，使用最小二乘法求解铁路中心线，详细步骤为。
设当前视频帧中含有轨枕为n个，轨枕中心点坐标如表2，即各横坐标分别为x0，x1,……xn，各纵坐标分别为y0，y1……yn，设如下公式(2)的函数为点集的最小二乘解，且满足公式(3)。
表2当前视频帧中轨枕中心点坐标
由式(2)、(3)可知，是多元函数式(4)的极小值点，则满足条件公式。
即满足：
将上述公式(6)转换为公式(7)：
又由于有求和公式(8)：
由式(7)和(8)可得a0，a1的求解方程为公式(9)：
最终求解得到的铁路中心线方程如公式(10)：
y＝a0+a1x (10)
假设当前视频帧中轨枕边框的左上角坐标值为(xi1,yi1)，右下角坐标为(xi2,yi2)，本实施例中标准轨距1435mm，轨枕长度为2500mm，其车辆限界轮廓的廓形截面宽度为3400mm，设铁路沿线视频中铁路限界与铁路中心线的图像距离为m。铁路限界轮廓的平面投影的边界线与铁路中心线平行，本实施例在求解出铁路中心线方程后，通过轨枕与铁路限界的空间几何关系在铁路沿线视频中提取铁路限界，本实施例步骤S33的步骤包括：
S331.分别按照式(11)计算目标视频帧中检测到的各轨枕的长度，其中xi2为第i个轨枕的轮廓边框的左上角坐标值、xi1为第i个轨枕的轮廓边框的右下角坐标值；
li＝xi2-xi1 (11)
S332.根据各轨枕的长度计算目标视频帧中的轨枕平均长度li：
其中，n为检测到的轨枕的数量；
S333.将检测到的铁路中心线分别向左、右两侧法线方向平移图像距离z，得到铁路限界，其中z的求解方程为式为：
其中，l0为标准轨枕长度，z0为车辆限界的廓形截面宽度，车辆限界为机车车辆本身及其装载的货物不容许越出的轮廓线。本实施例具体根据线性比例，将l0与z0代入式(13)，则z＝17l/25。将铁路中心线沿左右两侧法线方向平移距离图像距离z，可得铁路限界两侧轮廓方程，则有：
从图像中提取出的铁路限界左侧轮廓线如方程(14)：
从图像中提取出的铁路限界右侧轮廓线如方程(15)：
本实施例在求出铁路中心线后，通过轨枕与铁路限界的空间几何关系在铁路沿线视频中提取铁路限界，将空间立体的铁路限界投影至俯视视角的铁路沿线视频中，以轨枕长度与铁路限界宽度的比值将铁路中心线向左右两侧平移，实现铁路限界提取。
可以理解的是，还可以采用其他铁路限界提取方法以提取所需要的铁路限界。
本实施例中，步骤S3中判断目标异物是否侵入铁路限界时，具体检测目标异物的轮廓边框的中心点位置，并判断目标异物的轮廓边框的中心点位置与铁路限界的位置关系，若位于铁路限界之外，判定目标异物未侵入铁路限界；若位于铁路限界的边界线上以及铁路限界内区域时，判定目标异物侵入铁路限界。
本实施例通过铁路异物边界框的中心点是否位于铁路限界区域内来判定铁路异物是否侵入铁路限界。如图7所示，铁路异物边界框的中心点与铁路限界共有三种关系：情况1，铁路异物边界框中心点位于铁路限界之外，此时异物没有侵限；情况2，铁路异物边界框的中心点在铁路限界的边界线上，考虑到这种情况中异物会有部分侵入铁路限界内，本实施例视该类异物为侵限异物；情况3，铁路异物中心点在铁路限界区域中，判定该类异物侵入了铁路限。
本实施例中，步骤S3中判断目标异物是否侵入铁路限界时，具体预先将异物的轮廓边界中心点代入铁路界限的方程中求出两个横坐标参考值m和n，检测到目标异物后，判断目标异物的轮廓边框的中心点横坐标xi的大小，其中若同时大于或同时小于m和n，则判定异物未侵入铁路限界，若介于m和n之间时，则判定异物侵入铁路限界。
上述判断铁路异物是否侵入铁路限界之前，需要求出铁路异物的中心点，本实施例铁路异物的中心点的求解方式，与上述轨枕中心点的求解方式一致，具体为：已知图像中铁路限界边界线方程L1、L2，设检测到的铁路异物边界框中心点坐标为Oi(xi,yi)，则将铁路异物边界框中心点纵坐标坐标Oi代入铁路限界边界线方程L1，L2中可得两个横坐标参考值m和n，如公式(16)：
如图8所示，由点与线的几何关系可知，当铁路异物边界框中心点位于铁路限界区域之外(即L1，L2之间的区域)时，铁路异物未侵入铁路限界，此时铁路异物中心点横坐标xi将同时大于或小于m和n，如点P1；当铁路异物边界框中心点位于铁路限界边区域之内，或者位于铁路限界边界线上时，铁路异物侵入了铁路限界，此时xi值的大小介于m和n之间。由此可知铁路异物是否侵限的判定结果Q如公式(17)。
其中，0代表当前异物没有侵限，1代表当前异物侵限。
本实施例中，步骤S3还包括预先根据不同异物类型、异物大小、异物位置划分不同的侵限等级，步骤S3中检测到异物侵入铁路限界时，判断对应的侵限等级，根据判断的侵限等级发送对应等级的预警信息。检测到的目标不一定都对铁路行车安全构成威胁，本实施例具体根据异物的种类、大小和位置等信息划分异物的危险等级，以进行分级报警。具体在判断铁路异物是否侵限后，然后根据铁路异物边界框尺寸大小进一步对异物的危险性进行分级，根据铁路异物边界框的长和宽求解出铁路异物的面积尺寸，通过将铁路异物尺寸将预设的尺寸阈值比较，判断铁路危险性大小，若检测到的铁路异物尺寸小于预设的阈值，则该异物为普通异物，发送对应的第一预警信息；若检测到的侵限异物尺寸大于预设的阈值，则该异物为危险异物，发送对应的第二预警信息，如果检测到动态异物如行人、牛、羊、狗等动物时，也将异物判定为危险异物，发送对应的预警信息。
在具体应用实施例中，本实施例实现异物危险性评估及预警的详细步骤为：
设检测到的异物边界框的左上角点坐标为Oi1(xi1,yi1)，右下角点坐标为Oi2(xi2,yi2)，预设的异物尺寸阈值为常数C，则当前视频帧中第i个铁路异物的长lei与宽wii分别如公式(18)。
则当前视频帧中第i个铁路异物的像素尺寸spi如公式(19)。
spi＝leiwii (19)
结合上述轨枕实际长度2500与像素长度l之间的比值，得当前视频帧中第i个铁路异物的真实尺寸si如公式(20)。
将第i个铁路异物真实尺寸si与预设的铁路异物尺寸阈值θ相比较，输出的比较结果Si如公式(21)。
其中，0代表异物尺寸正常，1代表异物尺寸超标。
最终结合铁路异物位置信息和铁路异物尺寸信息，对铁路异物的危险等级进行统一评估，对于当前视频帧中第i个铁路异物的危险性评估输出值Di如公式(22)。
其中，0为无威胁异物，1为普通异物，2为危险异物。
本实施例通过按照上述异物检测以及异物危险性评估步骤依次对铁路沿线视频的视频帧序列进行处理，实现对于铁路线路的危险侵限异物检测，并根据侵限异物的危险等级分别向监控中心进行预警。
如图9所示，在具体应用实施例中首先根据上述改进YOLO V3模型输出的检测目标种类信息，初步判断检测目标是否为动态物体，如果检测到的目标为行人、牛、羊、狗等动物时，判定异物为危险侵限异物；然后根据异物的位置判断检测目标是否侵入铁路限界，若检测到的铁路异物在铁路限界区域外，则该铁路异物可视为无威胁异物；若检测到得铁路异物在铁路限界区域内，且铁路异物的尺寸小于阈值，则该异物为普通异物；若检测到的异物在铁路限界内，且异物尺寸大于阈值，则该异物为危险异物。
可以理解的是，还可以根据实际需求设置其他异物判别以及评估规则，以进一步提高评估效果，或满足不同的检测需求。
本实施例基于深度学习的铁路侵限异物无人机检测装置包括：
视频图像获取模块，用于实时获取待测铁路沿线的视频图像数据；
异物检测模块，用于使用基于深度学习的目标检测模型检测获取的视频图像数据中是否存在异物，当检测到存在目标异物时，转入执行侵限判别模块；
侵限判别模块，用于提取存在目标异物的目标帧视频图像数据中的铁路限界，铁路限界为铁路上不允许异物侵入的轮廓先，根据检测到的目标异物的位置判断目标异物是否侵入铁路限界。
本实施例中，目标检测模型具体为YOLO V3模型，YOLO V3模型中特征提取网络使用MobileNet V3构架以将卷积层分解为深度卷积与逐点卷积，YOLO V3模型中使用四个尺度的特征进行目标检测，具体如上所述。
本实施例基于深度学习的铁路侵限异物无人机检测装置与上述基于深度学习的铁路侵限异物无人机检测方法为一一对应，在此不再一一赘述。
在另一实施例中，本实施例基于深度学习的铁路侵限异物无人机检测装置还可以为：包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，其特征在于，处理器用于执行计算机程序，以执行上述基于深度学习的铁路侵限异物无人机检测方法。
如图10所示，本实施例还提供一种基于深度学习的铁路侵限异物无人机检测系统，包括无人机，无人机上搭载有用于视频图像数据采集的视频图像采集装置，还包括上述基于深度学习的铁路侵限异物无人机检测装置。本实施例上述检测系统，基于无人机方式可以实现大范围的多种类异物的实时高精度检测，加速异物的检测-核实-排除过程，以提升铁路系统的运营安全性，同时结合基于深度学习的检测方法，可以提高整体铁路侵限异物检测的稳健性以及运行效率，从而快速、准确的实现铁路沿线侵限异物的检测。
本实施例中，还包括与检测装置通过无线通信连接的监控中心，监控中心接收检测装置上传的检测结果以及预警信息、发送控制信息给检测装置，由监控中心将检测结果、预警信息传输给各所需终端以向各所需终端进行预警，终端可以为列车司控系统等。
本实施例中，还包括与检测装置通过无线通信连接的服务器，服务器用于进行基于深度学习的异物检测算法和侵限判别算法等算法的开发，并通过无线通信将开发的算法加速部署至异物检测装置，同时负责部署于无人机的异物检测装置上的算法更新与迭代。
如图10所示，本实施例具体以多旋翼无人机为基础载体，在无人机上搭载相机以实现视频图像数据采集，由图像处理模块按照上述步骤实现异物检测、侵限判别，由服务器基于上述改进YOLO V3模型训练所需的目标检测模型，训练好后传输给所述图像处理模块，无人机通过数据传输模块与服务器、监控中心进行数据交互，由监控中心接收无人机异物检测装置上传的异物检测结果与告警信息，并对不同的异物告警信息做出对应的处理决策发送控制信息给无人机。
本实施例上述检测系统，基于无人机方式可以实现大范围的多种类异物的实时高精度检测，加速异物的检测-核实-排除过程，以提升铁路系统的运营安全性，同时结合基于深度学习的检测方法，可以提高整体铁路侵限异物检测的稳健性以及运行效率，从而快速、准确的实现铁路沿线侵限异物的检测。本实施例基于深度学习的目标检测模型训练具体在服务器上进行，如图11所示，首先将预先使用无人机异物检测装置采集的铁路沿线视频数据导入服务器，并对异物数据进行预处理；然后使用标注软件，以拖拽矩形框的方式对异物数据进行标注，整理成异物数据集；然后设置训练参数，使用异物数据集对初始模型进行全监督训练，生成异物检测模型；然后使用侵限异物数据对异物检测模型进行测试，得出异物检测模型对于特定种类异物的平均检测精度值、召回率值；再结合异物检测模型的平均检测精度值和召回率值评估异物检测模型的优劣，当模型较差时，调整异物数据集与训练参数，重新训练；最后，当模型各项指标正常时，将模型转换成特定格式，并发布成指定版本。上述模型训练的详细步骤为：
步骤1：数据采集
预先规划无人机的飞行路径，使得无人机沿着规划的飞行路径进行巡航，并在巡航过程中采集铁路沿线视频图像数据；将铁路沿线视频数据导入服务器，并将视频数据解帧成图片，对得到的图片进行数据清洗，去除不包含异物的图片，同时将图片的分辨率进行变换，统一成416×416。数据采集的目标可以为常见的铁路侵限异物，如行人、牛、羊、狗、纸箱、落石、积水、滑坡等等。
步骤2：异物数据标注
以拖拽矩形框的方式确定异物所在的位置，同时给每一个异物添加对应的种类标签。将标注好的数据随机按照1/2，1/4，1/4的比例分成三份，制作成异物数据集。其中，1/2的数据归为训练集，用于拟合模型，建立回归分类器；1/4的数据归为验证集，用于规划网络结构和控制网络复杂度，选出最佳模型对应的参数；1/4的数据归为测试集，用于衡量模型的实际工作性能。
步骤3：异物检测模型训练
设置合适的数据批量大小(batch size)、冲量(momentum)、学习率(learningrate)、迭代次数(iteration)等参数，对改进YOLO V3模型进行训练。训练完毕后，根据模型训练过程中的P-R曲线、平均检测精度、Loss曲线等数据判断模型的不足，并对数据集与模型训练参数进行调整后重新训练模型。
如图12所示，本发明在具体应用实施例中，先根据待检铁路线的地理信息对无人机进行飞行路径规划，包括飞行高度、飞行路径上航点的高精度坐标，确保无人机的飞行路径保持在待检线路的正上方；然后检测无人机整体状态，一切正常后执行飞行任务；然后在无人机飞行过程中，相机以俯视视角采集铁路沿线视频数据，定位设备采集无人机的位置信息，将视频数据与位置信息导入嵌入式开发板；再在图像处理模块上使用基于YOLO V3的流处理引擎对视频数据进行推理，检测出视频中存在的侵限异物，并输出异物在图像中位置、大小、类别等信息，同时输出异物侵限的发生地点的经纬度坐标；然后根据异物的位置、尺寸、类别等信息判定异物的危险等级；最后根据异物的危险等级向监控中心发出对应的警报，同时将异物侵限的相关视频数据、发生地点输送至监控中心，提醒工作人员核查与处理。
本实施例通过搭建基于深度学习的铁路侵限异物无人机检测系统，借鉴边缘计算的思想，将实现异物检测及判别的图像处理模块配置成边缘端，将服务器与监控中心配置成云端，可用云端同时管控多个边缘端，实现云边协同工作模式，可方便铁路系统的异物检测与统一管理，且应用可扩展性能好。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。
Claims (15)
1.一种基于深度学习的铁路侵限异物无人机检测方法，其特征在于，步骤包括：
S1.实时获取由无人机实时采集的待测铁路沿线的视频图像数据；
S2.使用基于深度学习的目标检测模型检测获取的所述视频图像数据中是否存在异物，当检测到存在目标异物时，转入执行步骤S3；
S3.使用基于深度学习的目标检测模型提取存在目标异物的目标视频帧中铁路限界，所述铁路限界为铁路上不允许异物侵入的轮廓线，根据检测到的目标异物的位置状态判断目标异物是否侵入所述铁路限界；
所述目标检测模型具体为YOLO V3模型，所述YOLO V3模型中特征提取网络使用MobileNet V3构架以将卷积层分解为深度卷积与逐点卷积，所述MobileNet V3构架包括depthwise卷积层和pointwise卷积层，所述depthwise卷积层使用3×3的卷积核对输入图像的每一个通道分别进行卷积，所述pointwise卷积层使用1×1的卷积核对不同通道的pointwise卷积结果进行卷积，生成三维的卷积结果，所述YOLO V3模型中使用四个尺度的特征进行目标检测，以使用四个尺度的特征图分别检测不同尺寸的目标，其中将8倍降采样的特征图进行上采样并与YOLO V3模型中的第二个残差块输出融合起来，使用4倍降采样的特征图检测小目标。
2.根据权利要求1所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，所述步骤S3中提取铁路限界的步骤包括：
S31.使用基于深度学习的目标检测模型检测目标视频帧中所有轨枕的位置，并确定检测到的各轨枕的中心点坐标；
S32.对确定得到的各轨枕的中心点坐标进行拟合，求解得到铁路中心线的位置；
S33.以求解得到的所述铁路中心线为基准，按照预设比例向两侧扩展，生成铁路限界区域的平面投影，提取得到所述铁路限界。
3.根据权利要求2所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，所述步骤S32中，具体使用最小二乘法对目标视频帧中各轨枕中心点坐标进拟合，求解得到所述铁路中心线的位置。
4.根据权利要求3所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，使用所述最小二乘法求解得到所述铁路中心线的位置的具体步骤包括：
获取目标视频帧中检测到的所有n个轨枕中心点坐标构成数据点集，其中各横坐标分别为x0，x1,……xn，各纵坐标分别为y0，y1……yn，所述数据点集的最小二乘解为：
且满足条件：
其中为多元函数/>的极小值点，且满足：
即：
则得到方程式为：
根据求和公式以及得到的所述方程式，得到a0，a1的求解方程为：
最终求解得到所述铁路中心线的方程为：
y＝a0+a1x。
5.根据权利要求2所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，所述步骤S33的步骤包括：
S331.分别按照式li＝xi2-xi1计算目标视频帧中检测到的各轨枕的长度，其中xi2为检测出的第i个轨枕的轮廓边框的左上角坐标值、xi1为检测出的第i个轨枕的轮廓边框的右下角坐标值；
S332.根据各轨枕的长度计算目标视频帧中的轨枕平均长度li：
其中，n为检测到的轨枕的数量；
S333.将检测到的所述铁路中心线分别向左、右两侧法线方向平移图像距离z，得到所述铁路限界，其中z的求解方程为式为：
其中，l0为标准轨枕长度，z0为车辆限界的廓形截面宽度，所述车辆限界为机车车辆本身及其装载的货物不容许越出的轮廓线。
6.根据权利要求1～5中任意一项所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，所述步骤S3中判断目标异物是否侵入所述铁路限界时，具体检测目标异物的轮廓边框的中心点位置，并判断所述目标异物的轮廓边框的中心点位置与所述铁路限界的位置关系，若位于所述铁路限界之外，判定目标异物未侵入所述铁路限界；若位于所述铁路限界的边界线上以及所述铁路限界内区域时，判定目标异物侵入所述铁路限界。
7.根据权利要求6所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，所述步骤S3中判断目标异物是否侵入所述铁路限界时，具体预先将异物的轮廓边界中心点代入所述铁路界限的方程中求出两个横坐标参考值m和n，检测到目标异物后，判断目标异物的轮廓边框的中心点横坐标xi的大小，其中若同时大于或同时小于m和n，则判定异物未侵入铁路限界，若介于m和n之间时，则判定异物侵入铁路限界。
8.根据权利要求1～5中任意一项所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，所述步骤S3还包括预先为不同异物类型、异物位置划分不同的侵限等级，步骤S3中检测到异物侵入铁路限界时，根据异物类型、异物位置判断对应的侵限等级，根据判断的侵限等级发送对应等级的预警信息。
9.根据权利要求8所述的基于深度学习的铁路侵限异物无人机检测方法，其特征在于，所述步骤S3中，具体当判断到目标异物侵入所述铁路限界，若目标异物为动态物体，或目标异物的尺寸大于预设阈值，判定为危险异物，发送对应的第一预警信息；若目标异物的尺寸小于预设阈值，判定为普通异物，发送对应的第二预警信息。
10.一种基于深度学习的铁路侵限异物无人机检测装置，其特征在于，包括：
视频图像获取模块，用于实时获取由无人机实时采集的待测铁路沿线的视频图像数据；
异物检测模块，用于使用基于深度学习的目标检测模型检测获取的所述视频图像数据中是否存在异物，当检测到存在目标异物时，转入执行侵限判别模块；
侵限判别模块，用于使用基于深度学习的目标检测模型提取存在目标异物的目标帧视频图像数据中铁路限界，所述铁路限界为铁路上不允许异物侵入的轮廓先，根据检测到的目标异物的位置判断目标异物是否侵入所述铁路限界；所述目标检测模型具体为YOLO V3模型，所述YOLO V3模型中特征提取网络使用MobileNet V3构架以将卷积层分解为深度卷积与逐点卷积，所述MobileNet V3构架包括depthwise卷积层和pointwise卷积层，所述depthwise卷积层使用3×3的卷积核对输入图像的每一个通道分别进行卷积，所述pointwise卷积层使用1×1的卷积核对不同通道的pointwise卷积结果进行卷积，生成三维的卷积结果，所述YOLO V3模型中使用四个尺度的特征进行目标检测，以使用四个尺度的特征图分别检测不同尺寸的目标，其中将8倍降采样的特征图进行上采样并与YOLO V3模型中的第二个残差块输出融合起来，使用4倍降采样的特征图检测小目标。
11.根据权利要求10所述的基于深度学习的铁路侵限异物无人机检测装置，其特征在于，所述目标检测模型具体为YOLO V3模型，所述YOLO V3模型中特征提取网络使用MobileNet V3构架以将卷积层分解为深度卷积与逐点卷积，所述YOLO V3模型中使用四个尺度的特征进行目标检测。
12.一种基于深度学习的铁路侵限异物无人机检测装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，其特征在于，所述处理器用于执行所述计算机程序，以执行如权利要求1～9中任意一项所述方法。
13.一种基于深度学习的铁路侵限异物无人机检测系统，其特征在于，包括无人机，所述无人机上搭载有用于视频图像数据采集的视频图像采集装置，还包括如权利要求10～12中任意一项所述的检测装置。
14.根据权利要求13所述的基于深度学习的铁路侵限异物无人机检测系统，其特征在于，还包括与所述检测装置连接的监控中心，所述监控中心接收检测装置上传的检测结果以及预警信息、发送控制信息给检测装置。
15.根据权利要求13或14所述的基于深度学习的铁路侵限异物无人机检测系统，其特征在于，所述无人机上还搭载有定位模块，以用于进行定位以及辅助确定发生异物侵限时的地点位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011029104.7A CN114248819B (zh) | 2020-09-25 | 2020-09-25 | 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011029104.7A CN114248819B (zh) | 2020-09-25 | 2020-09-25 | 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114248819A CN114248819A (zh) | 2022-03-29 |
| CN114248819B true CN114248819B (zh) | 2023-12-29 |
Family
ID=80790711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011029104.7A Active CN114248819B (zh) | 2020-09-25 | 2020-09-25 | 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114248819B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114701543B (zh) * | 2022-04-27 | 2023-10-17 | 中铁第四勘察设计院集团有限公司 | 基于大数据的高精度设备限界检测预警系统及方法 |
| CN114638835B (zh) * | 2022-05-23 | 2022-08-16 | 武汉大学 | 一种基于深度相机的轨枕异物检测方法 |
| CN116468743B (zh) * | 2023-06-19 | 2023-08-18 | 中国铁路北京局集团有限公司天津供电段 | 一种识别铁路树木侵限的方法、系统及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3048559A1 (en) * | 2015-01-21 | 2016-07-27 | RindInvest AB | Method and system for detecting a rail track |
| CN106778569A (zh) * | 2016-12-05 | 2017-05-31 | 河海大学 | 基于视频图像的列车前方障碍物检测方法 |
| CN107097810A (zh) * | 2017-04-30 | 2017-08-29 | 中南大学 | 一种铁路沿线异物侵限无人机智能辨识和预警方法及系统 |
| CN107730520A (zh) * | 2017-09-22 | 2018-02-23 | 智车优行科技（北京）有限公司 | 车道线检测方法及系统 |
| CN109766746A (zh) * | 2018-11-22 | 2019-05-17 | 南京理工大学 | 一种无人机航拍视频的轨道异物检测方法 |
| CN109886066A (zh) * | 2018-12-17 | 2019-06-14 | 南京理工大学 | 基于多尺度和多层特征融合的快速目标检测方法 |
| CN110348357A (zh) * | 2019-07-03 | 2019-10-18 | 昆明理工大学 | 一种基于深度卷积神经网络的快速目标检测方法 |
| CN110532889A (zh) * | 2019-08-02 | 2019-12-03 | 南京理工大学 | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 |
| CN110728689A (zh) * | 2019-11-29 | 2020-01-24 | 中铁第六勘察设计院集团有限公司 | 一种基于点云数据的既有铁路中线提取方法 |
| WO2020030508A1 (en) * | 2018-08-07 | 2020-02-13 | Bombardier Transportation Gmbh | Railway vehicle system and method for improving the safety of a railway vehicle |
| CN111598024A (zh) * | 2020-05-20 | 2020-08-28 | 中铁二院工程集团有限责任公司 | 一种基于图像的铁路限界区域识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005120924A1 (en) * | 2004-06-11 | 2005-12-22 | Stratech Systems Limited | Method and system for rail track scanning and foreign object detection |
| US10000222B2 (en) * | 2015-08-13 | 2018-06-19 | Lockheed Martin Corporation | Methods and systems of determining end of train location and clearance of trackside points of interest |
-
2020
- 2020-09-25 CN CN202011029104.7A patent/CN114248819B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3048559A1 (en) * | 2015-01-21 | 2016-07-27 | RindInvest AB | Method and system for detecting a rail track |
| CN106778569A (zh) * | 2016-12-05 | 2017-05-31 | 河海大学 | 基于视频图像的列车前方障碍物检测方法 |
| CN107097810A (zh) * | 2017-04-30 | 2017-08-29 | 中南大学 | 一种铁路沿线异物侵限无人机智能辨识和预警方法及系统 |
| CN107730520A (zh) * | 2017-09-22 | 2018-02-23 | 智车优行科技（北京）有限公司 | 车道线检测方法及系统 |
| WO2020030508A1 (en) * | 2018-08-07 | 2020-02-13 | Bombardier Transportation Gmbh | Railway vehicle system and method for improving the safety of a railway vehicle |
| CN109766746A (zh) * | 2018-11-22 | 2019-05-17 | 南京理工大学 | 一种无人机航拍视频的轨道异物检测方法 |
| CN109886066A (zh) * | 2018-12-17 | 2019-06-14 | 南京理工大学 | 基于多尺度和多层特征融合的快速目标检测方法 |
| CN110348357A (zh) * | 2019-07-03 | 2019-10-18 | 昆明理工大学 | 一种基于深度卷积神经网络的快速目标检测方法 |
| CN110532889A (zh) * | 2019-08-02 | 2019-12-03 | 南京理工大学 | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 |
| CN110728689A (zh) * | 2019-11-29 | 2020-01-24 | 中铁第六勘察设计院集团有限公司 | 一种基于点云数据的既有铁路中线提取方法 |
| CN111598024A (zh) * | 2020-05-20 | 2020-08-28 | 中铁二院工程集团有限责任公司 | 一种基于图像的铁路限界区域识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的动车组运行安全图像异物检测;周雯;史天运;李平;马小宁;;交通信息与安全(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114248819A (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114248819B (zh) | 基于深度学习的铁路侵限异物无人机检测方法、装置及系统 | |
| CN108345822B (zh) | 一种点云数据处理方法及装置 | |
| Tian et al. | An automatic car accident detection method based on cooperative vehicle infrastructure systems | |
| KR101926561B1 (ko) | 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN108197610A (zh) | 一种基于深度学习的轨道异物检测系统 | |
| CN109766746A (zh) | 一种无人机航拍视频的轨道异物检测方法 | |
| US9177214B1 (en) | Method and apparatus for an adaptive threshold based object detection | |
| CN112132144B (zh) | 一种基于遥感图像的无人机航线撞地风险评估方法 | |
| CN109448365A (zh) | 一种跨尺度空基平台区域道路交通系统综合监视方法 | |
| CN110298300A (zh) | 一种检测车辆违章压线的方法 | |
| CN111626170B (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
| CN113674523A (zh) | 交通事故分析方法、装置及设备 | |
| Ketcham et al. | The intruder detection system for rapid transit using CCTV surveillance based on histogram shapes | |
| CN115083088A (zh) | 铁路周界入侵预警方法 | |
| Kotha et al. | Potsense: Pothole detection on indian roads using smartphone sensors | |
| Camilleri et al. | Detecting road potholes using computer vision techniques | |
| CN114771548A (zh) | 用于高级驾驶辅助系统测试和验证的数据记录 | |
| CN104715231A (zh) | 一种在交通路口监控危险品运输车辆的方法及装置 | |
| CN116740833A (zh) | 基于无人机的线路巡线打卡方法 | |
| CN114841995B (zh) | 一种基于深度学习的铁路路基挡护设备服役状态评估方法 | |
| US20230126957A1 (en) | Systems and methods for determining fault for a vehicle accident | |
| CN113963233A (zh) | 一种基于双阶段卷积神经网络的目标检测方法及系统 | |
| CN112634610A (zh) | 自然驾驶数据采集方法、装置、电子设备以及存储介质 | |
| Pradeep et al. | Automatic railway detection and tracking inspecting system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |