CN110532889B - 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 - Google Patents

Abstract

本发明公开了一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法。方法为：首先制作轨道异物检测数据集，利用数据集训练YOLOv3，得到异物检测模型和模型参数，将异物检测模型和模型参数加载到基于YOLOv3的系统中；然后利用旋翼无人飞行器获得轨道的视频数据并进行预处理，利用基于多智能体的轨道特征识别算法获得轨道特征；接着利用两侧轨道特征计算轨道中心线，基于轨道中心线设定安全检测阈值，划分安全检测区域；最后利用异物检测模型和模型参数在安全检测区域进行异物检测，若检测到存在已知的异物，则发出异常报警，并返回异物的类别和位置，否则返回进行下一轮视频获取。本发明提高了轨道异物检测的精确度和实时性。

Description

基于旋翼无人飞行器和YOLOv3的轨道异物检测方法

技术领域

本发明涉及轨道异物检测领域，特别是一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法。

背景技术

随着我国铁路技术高速发展，铁路网络的扩张，人们越来越追求物质与精神层面的享受，继而增加了人们的出行频率。作为轨道交通安全问题的重大隐患，铁路异物侵限问题也受到了人们的广泛关注。为了切实保障人民生命和公共财产安全，对沿线铁路的检测防范至关重要。铁路异物侵限指的是在铁轨上会造成列车行驶安全隐患的障碍物，如轨道上树木的残枝、因工作滞留在轨道上的工作人员，以及非法进入轨道的人员、车辆等障碍物。由铁路异物侵限而导致的人民生命财产安全损失事故屡见不鲜。因此，加强对轨道异物侵限的实时监测，保障人民生命财产安全意义重大。

现有的轨道异物检测方法大致分为接触式检测和非接触式检测两种。接触式检测技术属于主动检测方法，主要利用电网电缆光缆等技术，维护成本较高。而非接触式检测技术主要有激光雷达技术、视频分析、机器视觉等，这些方法大都无法检测出异物的大小和形状，给后期的处理造成很大的难度。机器视觉方法虽然精度较高，但容易受外界干扰；超声波、雷达等方法虽然优势明显，但是仍处于起步阶段；采用红外线检测方式虽然容易实现且灵敏度较好，但受天气等外界因素影响较大，适用范围小，设备安装流程较为复杂。

发明内容

本发明的目的在于提供一种实时性好、检测精度高的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法。

实现本发明目的的技术解决方案为：一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法，包括以下步骤：

步骤1：制作轨道异物检测数据集，数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物，并且每张图片中的异物均有对应的xml标注信息；

步骤2：构建基于YOLOv3神经网络的轨道异物检测模型，利用轨道异物检测数据集对轨道异物检测模型进行离线训练，获得训练好的轨道异物检测模型及对应模型参数；

步骤3：将训练好的轨道异物检测模型以及模型参数，加载到基于YOLOv3神经网络的系统中；

步骤4：利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理，将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理，获得轨道特征；

步骤5：利用获得的轨道特征计算轨道中心线，基于轨道中心线设定自定义宽度值作为安全检测阈值，划分轨道异物侵限安全检测区域；

步骤6：利用轨道异物检测模型和模型参数，在轨道异物侵限安全检测区域对所采集的轨道视频进行异物检测；

步骤7：若检测到轨道视频中存在已知的异物，则发出异常报警，并返回异物的类别和位置；否则返回步骤4。

进一步地，步骤2中所述的YOLOv3神经网络的基础框架Darknet-53包含52个卷积层和1个最大池化层。

进一步地，步骤2中所述的基于YOLOv3神经网络的轨道异物检测模型，在YOLOv3神经网络基础框架Darknet-53上增加了三个检测器，尺寸分别为13×13，26×26，52×52单位为像素数。

进一步地，步骤2所述的构建基于YOLOv3神经网络的轨道异物检测模型，利用轨道异物检测数据集对轨道异物检测模型进行离线训练，获得训练好的轨道异物检测模型及对应模型参数，具体如下：

步骤2.1：根据异物检测数据集的图像数据和种类，在模型输入部分，对图像进行标准化处理；

步骤2.2：对每张图片利用YOLOv3神经网络基础框架Darknet-53做特征提取，并将提取的特征分别用三个检测器进行检测；

步骤2.3：在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框，在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数，每个边界框包含5个预测量，分别为t_x,t_y,t_w,t_h,t_o，其中t_x,t_y,t_w,t_h为坐标，t_x,t_y表示预测的边界框中心的x,y坐标，t_w,t_h表示预测的边界框宽和高的相对值，t_o为置信度；

步骤2.4：根据数据集中的标注信息，将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口，定位出轨道上的异物位置。

进一步地，步骤4所述的利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理，将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理，获得轨道特征，具体如下：

步骤4.1：利用基于多智能体思想的传统图像分割算法，对经过预处理的视频数据进行实时图像分割；

步骤4.2：将实时分割后的图像结合Canny边缘检测算子，实现轨道的最优轮廓提取；

步骤4.3：将采用Canny边缘检测算子轮廓提取的图像，通过概率霍夫变换提取铁轨特征，得到理想的铁轨图像；

步骤4.4：根据得到的铁轨图像，利用概率霍夫变换提取轨道直线特征。

本发明与现有技术相比，其显著优点为：(1)采用旋翼无人飞行器以及基于YOLOv3神经网络的异物检测算法，提高了轨道异物检测的精确度和时效性；(2)提高了有效检测率，对实际检测任务具有很强的实用价值。

附图说明

图1是本发明基于旋翼无人飞行器和YOLOv3的轨道异物检测方法流程图。

图2是本发明的硬件的结构示意图。

图3是本发明中Darknet-53网络的结构示意图。

图4是本发明中YOLOv3检测网络的结构示意图。

图5是本发明中YOLOv3训练与检测过程的流程示意图。

图6是本发明中目标的边界框直接位置预测的原理示意图。

图7是本发明中YOLOv3检测的原理示意图。

图8是本发明中基于人工智能思想的阈值自适应调整的流程示意图。

具体实施方式

结合图1、2，本发明基于旋翼无人飞行器和YOLOv3的轨道异物检测方法，包括以下步骤：

步骤1：制作轨道异物检测数据集，数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物，并且每张图片中的异物均有对应的xml标注信息；

步骤2：构建基于YOLOv3神经网络的轨道异物检测模型，利用轨道异物检测数据集对轨道异物检测模型进行离线训练，获得训练好的轨道异物检测模型及对应模型参数；

步骤3：将训练好的轨道异物检测模型以及模型参数，加载到基于YOLOv3神经网络的系统中；

步骤4：利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理，将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理，获得轨道特征；

步骤5：利用获得的轨道特征计算轨道中心线，基于轨道中心线设定自定义宽度值作为安全检测阈值，划分轨道异物侵限安全检测区域；

步骤6：利用轨道异物检测模型和模型参数，在轨道异物侵限安全检测区域对所采集的轨道视频进行异物检测；

步骤7：若检测到轨道视频中存在已知的异物，则发出异常报警，并返回异物的类别和位置；否则返回步骤4。

进一步地，步骤2中所述的YOLOv3神经网络的基础框架Darknet-53包含52个卷积层和1个最大池化层。

进一步地，步骤2中所述的基于YOLOv3神经网络的轨道异物检测模型，在YOLOv3神经网络基础框架Darknet-53上增加了三个检测器，尺寸分别为13×13，26×26，52×52单位为像素数。

进一步地，步骤2所述的构建基于YOLOv3神经网络的轨道异物检测模型，利用轨道异物检测数据集对轨道异物检测模型进行离线训练，获得训练好的轨道异物检测模型及对应模型参数，具体如下：

步骤2.1：根据异物检测数据集的图像数据和种类，在模型输入部分，对图像进行标准化处理；

步骤2.2：对每张图片利用YOLOv3神经网络基础框架Darknet-53做特征提取，并将提取的特征分别用三个检测器进行检测；

步骤2.3：在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框，在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数，每个边界框包含5个预测量，分别为t_x,t_y,t_w,t_h,t_o，其中t_x,t_y,t_w,t_h为坐标，t_x,t_y表示预测的边界框中心的x,y坐标，t_w,t_h表示预测的边界框宽和高的相对值，t_o为置信度；

步骤2.4：根据数据集中的标注信息，将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口，定位出轨道上的异物位置。

进一步地，步骤4所述的利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理，将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理，获得轨道特征，具体如下：

步骤4.1：利用基于多智能体思想的传统图像分割算法，对经过预处理的视频数据进行实时图像分割；

步骤4.2：将实时分割后的图像结合Canny边缘检测算子，实现轨道的最优轮廓提取；

步骤4.3：将采用Canny边缘检测算子轮廓提取的图像，通过概率霍夫变换提取铁轨特征，得到理想的铁轨图像；

步骤4.4：根据得到的铁轨图像，利用概率霍夫变换提取轨道直线特征。

以下将结合附图及具体实施例对本发明作进一步的详细说明。

实施例

结合图1，本发明一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法，包括以下步骤：

步骤1：制作轨道异物检测数据集，数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物，并且每张图片中的异物均有其对应的xml标注信息；

步骤2：构建基于YOLOv3神经网络的轨道异物检测模型，利用轨道异物检测数据集对轨道异物检测模型进行离线训练，获得理想的轨道异物检测模型及其参数，具体如下：

步骤2.1：根据异物检测数据集的图像数据和种类，在模型输入部分，对图像进行标准化处理，具体如下：

利用新的分类模型Darknet-53为基础模型在ImageNet-1000类数据集中进行特征提取，得到一个预训练模型，Darknet-53的模型结构如图3所示。

步骤2.2：对每张图片利用YOLOv3基础框架Darknet-53做特征提取，并将提取的特征分别用三个检测器进行检测，具体如下：

在YOLOv3的训练与检测网络环节，该网络在Darknet-53分类网络的基础上，构造了三个检测器，即在三个尺度上分别进行预测，三个尺度分别是13×13网络、26×26网络、52×52网络，其中13×13网络是将Darknet-53网络最后一个特征图(featuremap)划分为13×13的网格区域，该检测器用于提取中大目标的特征，而后两个尺度26×26，52×52的网格区域，是将该特征图划分为更小的区域，能够找到早期特征映射中的上采样特征和更细粒度的特征，分别用于提取中等目标和更小的目标。具体的检测网络结构如图4所示。

步骤2.3：在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框，在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数，每个边界框包含5个预测量，分别为t_x,t_y,t_w,t_h,t_o，其中t_x,t_y,t_w,t_h为坐标，分别表示预测的边界框中心的x,y坐标，以及预测的边界框宽和高的相对值，t_o为置信度，具体如下：

步骤2.3.1：在分类网络预训练环节，设置初始训练时网络的输入分辨率为224，采用分类模型Darknet-53在ImageNet-1000类数据集上训练了160轮。在160轮之后将输入的分辨率切换到448进行微调，再训练10轮，最后将训练得到的分类网络迁移到检测网络；

步骤2.3.2：在检测网络训练环节，将步骤2.3.1微调得到的训练参数接着训练检测网络，采用多尺度输入的方法，在YOLOv2网络一个检测器的基础上，再额外增加两个检测器，构成三个检测器，并在此基础上进行训练得到检测网络模型。整个训练与检测过程框架如图5所示：

步骤2.3.3：将数据集进行预处理，接着放到经过Darknet-53预训练的YOLOv3检测模型中，进行迭代训练，采用以下两个判断条件：首先判断训练是否迭代完，若没有再判断是否达到了设定的loss最低的阈值，如果均未达到则接着训练，当其中一个判断条件满足时，则退出训练阶段，得到需要的权重文件，利用此权重文件来进行图片或视频的检测，执行定位与画框操作，得到最后的检测结果。

步骤2.3.4：在检测环节，给定一个待检测的视频，首先将视频切帧化为一帧一帧的图片，然后将图片划分为13×13的网络，YOLOv3为多尺度训练，这里只列出13×13的尺度。同时借鉴Faster R-CNN中anchors的方法，在YOLOv3中采用维度聚类的方式，针对轨道异物检测数据集中所提供的box真值(ground truth)，一共聚类出9个尺寸的anchors，9个anchors分别提供给三个尺度，每个尺度只有三个尺寸的anchors，这里的目标框的定位采用直接位置预测，每个anchor包含5个预测量，分别为t_x,t_y,t_w,t_h,t_o，其中t_x,t_y,t_w,t_h为坐标，即预测的边界框中心的x，y坐标，以及预测的边界框宽和高，t_o为置信度。YOLOv3通过相对于网格坐标来预测目标框的中心位置，如图7所示。如果目标框距离图像左上角的边距是(c_x,c_y)，且它对应边界框的宽和高为p_w,p_h，则网络的预测值为：

b_x＝σ(t_x)+c_x (1)

b_y＝σ(t_y)+c_y (2)

P_r(object)*IOU(b,object)＝σ(t_o) (5)

目标框直接位置预测的原理图如图6所示。

步骤2.4：根据数据集中的标注信息，将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口，定位出轨道上的异物位置，具体如下：

将检测到的疑似目标框的所有方框采用非极大值抑制NMS算法进行处理，首先将所有方框按照置信度值从大到小排列，取出最大的置信度值的方框依次和后面的方框进行比较，当二者IOU值大于设定的阈值0.5时，则舍弃较小的方框；当小于阈值0.5时则保留。通过非极大值抑制NMS算法抑制大部分方框，去除多余的窗口，定位出轨道上面的异物位置。检测示意图如图7所示。

步骤3：将训练好的轨道异物检测模型以及模型参数，加载到基于YOLOv3神经网络的系统中；

步骤4：利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理，将预处理后的视频数据利用基于多智能体的轨道特征识别算法进行处理，获得轨道特征，具体如下：

首先利用机载平台的视频传感器获取轨道视频数据，将视频切帧经过预处理后交由基于多智能体的轨道特征提取算法，利用多智能体的行为特征来提高轨道特征提取的自适应性。首先利用基于智能算法思想的图像轮廓提取方法，将图像进行分割和轮廓提取；然后基于提取出的轮廓，利用概率霍夫变换对提取出的图像轮廓进行直线特征提取，进而得到轨道特征；将得到轨道特征的视频再交由下一步的基于YOLOv3神经网络的轨道异物检测算法，在一定安全阈值中进行异物识别，一旦发现有异物，则进行异常报警，并返回异物的具体位置和类别，如果没有，则继续进行下一帧的检测。整个过程详细描述如下所述：

步骤4.1：利用基于多智能体思想的传统图像分割算法，对经过预处理的视频数据进行实时图像分割，具体如下：

图像分割是对特征轮廓进行提取的基础，图像分割的效果将会影响最终特征提取的准确率。而传统的阈值法分割图像易受周围环境等外界因素的干扰，不适用旋翼无人飞行器执行实时任务，因此，这里借鉴多智能体的思想改进原有的图像分割算法，利用其复制、扩散、竞争等行为，使其可以自适应地对实时图像进行分割，进而结合Canny边缘检测算子实现最优轮廓提取。

在基于像素坐标系的二维图像上构建具有自主行为的智能体，这些智能体通过复制、扩散、竞争等行为，在二维像素空间中不断寻找满足条件一致性的连通区域，并将这个区域进行标记，直至最终在像素坐标系下的所有点都被标记，完成图像分割。

步骤4.2：将实时分割后的图像结合Canny边缘检测算子，实现轨道的最优轮廓提取，具体如下：

将步骤4.1得到的每一帧的分割图像通过Canny边缘检测算子提取图像轮廓特征，Canny边缘检测算法其主要步骤如下：

使用高斯滤波器，滤除噪声；计算每个像素点的斜率；接着应用非极大值抑制算法来消除边缘检测带来的噪声；然后应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘；最后通过抑制孤立的弱边缘最终完成边缘检测。

为了能够提高实际系统中轨道特征检测的准确率，同时也使其满足无人飞行器实时性的要求，采用阈值自适应调整技术方案提取图像轮廓特征，其流程如图8所示。

步骤4.3：将采用Canny边缘检测算子轮廓提取的图像，通过概率霍夫变换提取铁轨特征，得到理想的铁轨图像，具体如下：

保障列车行驶安全，检测出列车周边障碍物是轨道异物侵限检测的主要目标。为了划定异物检测范围提高准确率，必须提取图像中的轨道边缘，以确定铁轨位置。而概率霍夫变换是一种专门的特征检测技术，主要使用计算机提取图像信息，得到图像中的像素点属于该图像的某些特征，将这些特征划分为不同的集合，这些集合一般属于连续的区域或者线段，如铁轨中的轨道边缘特征。将连续的图片都采用概率霍夫变换就可以得到每幅图中的轨道边缘特征。因此，这里采用上一步基于多智能体的图像分割以及基于Canny边缘检测算子提取的轨道轮廓，接着结合概率霍夫变换提取轨道边缘特征，以得到较理想的铁轨边缘图像。

步骤4.4：根据得到的铁轨图像，利用概率霍夫变换提取轨道直线特征，具体如下：

结合人工智能中对“人”的试探行为进行拟合的思想，对原始阈值根据现场实地情况进行等幅增减处理，并判断能否检测出两条轨道。若不能，则继续等幅增减阈值再判断，进而进一步提高轨道特征识别的自适应性。具体的原始阈值自适应流程图如图8所示。

步骤5：利用获得的两侧轨道特征计算轨道中心线，基于轨道中心线设定自定义宽度值作为安全检测阈值，划分轨道异物侵限安全检测区域；

步骤6：利用异物检测模型和模型参数，在轨道异物侵限安全检测区域对所采集的轨道视频利用YOLOv3神经网络进行异物检测；

步骤7：若检测到轨道视频中存在已知的异物，则发出异常报警，并返回异物的类别和位置；否则返回步骤4。

综上所述，本发明采用旋翼无人飞行器以及基于YOLOv3的异物检测算法，提高了轨道异物检测的精确度和时效性，并提高了有效检测率，对实际检测任务具有很强的实用价值。

Claims (4)

1.一种基于旋翼无人飞行器和YOLOv3的轨道异物检测方法，其特征在于，包括以下步骤：

步骤1：制作轨道异物检测数据集，数据集中包括人、车辆、树、石头、箱子5类轨道中常见的异物，并且每张图片中的异物均有对应的xml标注信息；

步骤2：构建基于YOLOv3神经网络的轨道异物检测模型，利用轨道异物检测数据集对轨道异物检测模型进行离线训练，获得训练好的轨道异物检测模型及对应模型参数，具体如下：

步骤2.1：根据异物检测数据集的图像数据和种类，在模型输入部分，对图像进行标准化处理；

步骤2.2：对每张图片利用YOLOv3神经网络基础框架Darknet-53做特征提取，并将提取的特征分别用三个检测器进行检测；

步骤2.3：在每个检测器检测输出的每个单元格中预测3个不同尺度和长宽比的边界框，在3个预测的边界框中选择与真实框最接近的作为预测值来更新网络参数，每个边界框包含5个预测量，分别为t_x,t_y,t_w,t_h,t_o，其中t_x,t_y,t_w,t_h为坐标，t_x,t_y表示预测的边界框中心的x,y坐标，t_w,t_h表示预测的边界框宽和高的相对值，t_o为置信度；

步骤2.4：根据数据集中的标注信息，将检测到的疑似目标的所有边界框经过非极大值抑制NMS算法去除冗余的窗口，定位出轨道上的异物位置；

步骤3：将训练好的轨道异物检测模型以及模型参数，加载到基于YOLOv3神经网络的系统中；

步骤4：利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理，将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理，获得轨道特征；

步骤5：利用获得的轨道特征计算轨道中心线，基于轨道中心线设定自定义宽度值作为安全检测阈值，划分轨道异物侵限安全检测区域；

步骤6：利用轨道异物检测模型和模型参数，在轨道异物侵限安全检测区域对所采集的轨道视频进行异物检测；

步骤7：若检测到轨道视频中存在已知的异物，则发出异常报警，并返回异物的类别和位置；否则返回步骤4。

2.根据权利要求1所述的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法，其特征在于，步骤2中所述的YOLOv3神经网络的基础框架Darknet-53包含52个卷积层和1个最大池化层。

3.根据权利要求1或2所述的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法，其特征在于，步骤2中所述的基于YOLOv3神经网络的轨道异物检测模型，在YOLOv3神经网络基础框架Darknet-53上增加了三个检测器，尺寸分别为13×13，26×26，52×52单位为像素数。

4.根据权利要求1所述的基于旋翼无人飞行器和YOLOv3的轨道异物检测方法，其特征在于，步骤4所述的利用旋翼无人飞行器的机载视频传感器获得轨道的视频数据并进行预处理，将预处理后的视频数据利用多智能体的轨道特征识别算法进行处理，获得轨道特征，具体如下：

步骤4.1：利用基于多智能体思想的传统图像分割算法，对经过预处理的视频数据进行实时图像分割；

步骤4.2：将实时分割后的图像结合Canny边缘检测算子，实现轨道的最优轮廓提取；

步骤4.3：将采用Canny边缘检测算子轮廓提取的图像，通过概率霍夫变换提取铁轨特征，得到理想的铁轨图像；

步骤4.4：根据得到的铁轨图像，利用概率霍夫变换提取轨道直线特征。

Images