CN108304807A - 一种基于fpga平台和深度学习的轨道异物检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于FPGA平台和深度学习的轨道异物检测方法，包括：(1)、获取轨道异物图像数据；(2)、利用所获取的轨道异物图像数据进行神经网络模型训练，获得异物检测模型；(3)、将所述异物检测模型加载到异物检测系统；(4)、利用车载影像采集装置获取轨道的视频数据；(5)、加载异物检测模型参数；(6)、利用异物检测模型对所采集的轨道视频基于神经网络进行异物检测；(7)一旦所述异物检测模型检测到轨道视频中出现异物，则发出报警信号。本发明的方法是基于FPGA实现的，相对于传统的CPU有更好的并发性更快的速度，相对于传统的GPU有更好的调控能力，相对于专用集成电路芯片有更好的迁移能力。

Description

一种基于FPGA平台和深度学习的轨道异物检测方法及系统

技术领域

本发明涉及轨道异物检测领域，具体涉及一种基于FPGA平台和深度学习的轨道异物检测方法及相应系统。

背景技术

轨道异物侵限是指铁道上影响到列车行驶安全的障碍物，如桥梁隧道山林树木掉落的悬挂物、工作失误造成滞留在轨道上作业的工务人员、非法上道的人畜车辆以及他们留下的垃圾障碍物等。由于列车行车速度快，单靠传统的司机视觉和常规检测方法来进行异物识别，难以保证行车安全。尽管传统的铁路防灾报警、故障诊断与检测理论和技术相对成熟，但异物报警检测却一直是一个难点。随着交通新技术的发展，探测异物侵限和预测危险是智能车辆不可缺少的重要功能之一。目前，铁路异物侵限检测主要分为主动检测和被动检测两种方法。主动检测是向需检测的方位发出某种探测信号，通过传感器反射回来的信号检测障碍物。这种方法是侵犯式检测，增加了环境噪声，检测的空间覆盖率有限。被动检测是基于机器视觉技术的智能图像检测，与主动检测比较有诸多优点：以非侵犯方式检测，不增加环境噪声，空间覆盖广，但其算法复杂、计算量大。在现有技术的道路异物侵限检测中，检测原理是基于图像特征和级联分类器训练分类两种算法。级联分类器训练时，需要大量的样本，通过大量样本训练得到由若干个弱分类器组成的级联分类器，面临处理的图像信息大、运算效率低等问题，而且能检测到的异物侵限单一以及容易误判。

发明内容

本发明提供了一种基于FPGA平台和深度学习技术的轨道异物检测技术。

本专利的工作原理主要依赖于离线部分中基于yolo物体检测框架训练深度网络模型，以及在线部分中基于FPGA平台运用训练好的模型对轨道进行异物检测和分类。对现有的异物视频数据进行标注，然后用yolo物体检测框架训练出高效的深度网络模型，将模型参数加载到FPGA中，完成神经网络的前向传递。列车运行时，摄像头捕捉图像数据，将数据作为输入传递给FPGA，对其进行检测，如果存在异物则标识出具体的位置和类别，并且报警，如果不存在异物则继续处理下一帧图像。

具体而言，本发明提供一种基于FPGA平台和深度学习的轨道异物检测方法，其特征在于，所述方法包括构建离线训练神经网络模型，利用轨道异物图像数据对轨道模型进行训练，并利用所构建的离线训练神经网络模型进行轨道异物检测。

优选地，所述方法包括下述步骤：

步骤(1)、获取轨道异物图像数据，所述图像数据中具有对异物的标注；

步骤(2)、构建异物检测模型，利用所获取的轨道异物图像数据进行神经网络模型训练，获得训练好的异物检测模型；

步骤(3)、将训练好的异物检测模型加载到异物检测系统；

步骤(4)、加载异物检测模型参数；

步骤(5)、利用车载影像采集装置获取轨道的视频数据；

步骤(6)、利用训练好的异物检测模型对所采集的轨道视频基于神经网络进行异物检测；

步骤(7)一旦所述异物检测模型检测到轨道视频中出现异物，则发出报警信号。

优选地，所述步骤(2)包括对现有异物视频数据进行标注，基于yolo 物体检测框架训练深度网络模型。

优选地，所述网络模型包括7个卷积层和5个最大值池化层。

优选地，所述步骤(2)包括：

步骤(2-1)、根据目标异物种类和图像数据，对图像数据输入做归一化处理；

步骤(2-2)、对每张图片利用12层神经网络做特征提取；

步骤(2-3)、对初始化的图像进行多重卷积滤波处理；

步骤(2-4)、将处理后的图像作为下一层最大值池化层的输入，以2 为步长进行降采样处理；

步骤(2-5)、对于下一层重复步骤(2-3)和(2-4)，直到最后一层，获得特征图；

步骤(2-6)、在特征图的每个单元格中预测5个不同尺度和长宽比的包围盒，最终会在5个预测的包围盒中选择与真实检测框最接近的作为预测值来更新网络参数，每个包围盒预测4个坐标值：分别为包围盒在特征图单元格上的横坐标中心(tx)、纵坐标中心(ty)、长度缩放比例(tw)、高度缩放比例(th)，用于作为目标检测的特征；

步骤(2-7)、根据图像中的异物标注，对特征图中的包围盒进行目标检测过程的边框回归操作，得到检测物体在图像中的位置和置信度，并相应调整异物检测模型。

优选地，所述步骤(3)-(7)在FPGA中完成。

另一方面，本发明提供一种基于FPGA平台和深度学习的轨道异物检测系统，所述系统用于执行权利要求1-5中所述的方法，其特征在于，所述方法中步骤(1)和(2)在服务器中完成，步骤(3)-(7)在FPGA中完成。

本专利的优点在于基于FPGA平台利用yolo物体检测框架训练出来的深度网络模型进行实时异物检测，基于yolo物体检测框架训练出来的深度网络模型相较于传统的检测算法更加准确，基于FPGA平台相对于传统的 CPU有更好的并发性更快的速度，相对于传统的GPU有更好的调控能力，相对于专用集成电路芯片有更好的迁移能力。

附图说明

图1为本发明的基于FPGA平台和深度学习的轨道异物检测方法的流程图；

图2为yolo神经网络模型的结构视图。

图3示出了包围盒。

具体实施方式

以下结合附图及其实施例对本发明进行详细说明，但并不因此将本发明的保护范围限制在实施例描述的范围之中。

图1示出了本发明实施例中的异物检测方法的整个过程示意图。从整体角度看，本发明的方法主要分为基于FPGA平台的轨道异物在线检测和轨道异物检测模型离线训练两个阶段，两阶段是紧密相连的。

现描述如下：

1、离线训练神经网络模型阶段：

离线训练神经网络模型阶段主要是对现有异物视频数据进行标注，基于yolo物体检测框架训练深度网络模型，利用训练好的网络模型，自动提取异物特征，具有优良的泛化能力，从而实现对异物的检测和分类。在此处定义的异物仅包括5种常见的情况：人、动物、石头、树干、圆柱体实物。物体检测模型训练过程中，首先根据规定的物体检测数据标注格式对数据库中已有的带有异物的视频图像进行标注，接着设计网络结构并利用 yolo框架提供的训练算法进行模型训练，最后对训练出来的模型进行测试，根据测试结果不断调整训练参数，优化网络结构，使得最终的模型满足实际需求。具体过程如图2所示。

整个模型共有12层，包含7个卷积层，5个最大值池化层，申请人经过试验发现采用12层7个卷积层5个最大值池化层效果最好，远好于其他模型，能够将漏检率降低至少10％。根据目标异物种类和图像数据，首先对数据输入做归一化处理，将图片大小调整为224*224，对每张图片利用 12层神经网络做特征提取。对于初始化的一张224*224大小3通道的图片经过8个卷积滤波器处理之后，变成了224*224大小8个通道。然后将 224*224*8的图片作为下一层最大值池化层的输入，以2为步长进行降采样处理，即对每个不重叠的2*2区域进行降采样，选出每个区域中的最大值作为输出，得到一个112*112大小8通道的输出。对于下一个卷积层，过滤器通道数翻倍，得到一个112*112*16的输出，再将其作为下一层最大值池化层的输入，同样以2为步长做最大值降采样处理，得到56*56*16的输出。接着将其作为下一层卷积层的输入得到56*56*32的输出，传入到下一层的最大值池化层返回一个28*28*32的输出。然后将其经过一个64过滤器通道的卷积层处理后返回一个28*28*64的输出，又经过步长为2的最大值降采样处理得到14*14*64的输出。再一次经过128过滤器通道的卷积层和步长为2的最大值降采样处理得到7*7*128的输出结果。然后经过一轮 256过滤器通道的卷积层处理得到7*7*256的结果。5*(5+5)＝50，根据神经网络算法框架，这里使用50个过滤器通道的卷积层进行处理，返回7*7*50 的输出结果。最后在最后一层构建出的特征图的每个单元格(cell)中预测5个包围盒(bounding box)，每个包围盒预测4个坐标值：tx、ty、tw、th。如果这个单元格距离图像左上角的边距为(cx,cy)以及该单元格对应的包围盒的长宽分别为(pw,ph)，则对应用来检测物体的包围盒的4个信息计算公式如下：

其中，bx，by，bw，bh分别为包围盒中心点横坐标，中心点纵坐标，长度，高度的预测值。tx,ty,tw,th分别为包围盒在特征图上单元格的横坐标中心、纵坐标中心、长度缩放比例、高度缩放比例。cx,cy分别为包围盒相对于特征图左上角顶点的偏移横坐标和纵坐标。pw，ph分别为已知的边框长度和高度。

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

依据神经网络算法框架中的回归模型，包围盒给出了在特征图上的预测框坐标值，根据特征图和原图的尺寸缩放比例，映射回原图得到预测框在原图上的坐标，而且因为约束了位置预测的范围，参数更容易学习，模型更加稳定。

2、基于FPGA平台的轨道异物在线检测阶段：

基于FPGA平台的轨道异物在线检测部分主要是将离线部分中神经网络训练所生成的模型运用到实时异物检测中。当列车在某条线路运行时，首先利用列车头的摄像头捕捉前方轨道数据，对于每一帧图像调整大小为 224*224；同时加载训练好的模型参数，神经网络算法框架自动完成神经网络的前向传递；然后将图像作为输入传给神经网络进行异物检测。如果图像中存在异物，最后得到异物在图像中的位置和类别，并开始报警，如果不存在异物，则继续处理下一帧图像。

深度神经网络虽然能实现良好的检测效果，具有参数数量多，计算量的缺点，部署在车载嵌入式系统中，受限于嵌入式CPU计算能力，无法达到实时检测的效果，我们将视频采集和预处理的部分在ARM中实现，网络模型的前向传递运算在FPGA中完成，从而实现深度网络模型运算加速，使整个检测过程具有实时性。

首先ARM读取摄像头采集的视频数据，摄像头采集的视频分辨率可能不同，对每帧图像进行尺度缩放，使每帧图像分辨率为224×224，再输入到网络模型运算。该目标检测网络模型的前向传递过程主要是卷积运算，每一个通道的feature map和kernel的卷积运算由乘法和加法构成，可以多通道并行运算得到每一层的输出feature map，充分利用FPGA的优势，加速神经网络的执行过程。

FPGA以并行运算为主，大多数都是基于SRAM(静态随机存储器)，可以通过烧写位流文件对其进行反复编程。传统的GPU拥有强大的并行处理能力以及强大的控制数据流和储存数据的能力。专用集成电路芯片 (ASIC)由于其定制化的特点，是一种比GPU更高效的方法，但是其定制化的特点限制了可迁移性，无法很好地迁移到其它系统，而且时间成本和经济成本非常高。FPGA相比GPU有更大的可调控能力，相比专用集成电路芯片有更强的迁移性，而且与日增长的门资源和内存带宽使得它有更大的设计空间。

申请人对其他的可选方案都进行了测试，但是效果上均不如本发明的技术方案。具体而言，将运用yolo物体检测框架训练出来的深度网络模型检测异物替换为传统的检测异物方法，但是检测准确率明显下降。

此外，本申请的发明人还尝试将基于FPGA平台改成基于传统的处理器，但是处理效率则明显降低，无法满足车辆高速行驶时的报警要求。

以上所述仅为本发明的较佳实施例，并非对本发明做任何形式上的限制，凡在本发明的精神和原则之内，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明的保护范围之内。

虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims (5)

1.一种基于FPGA平台和深度学习的轨道异物检测方法，其特征在于，所述方法包括构建离线训练神经网络模型，利用轨道异物图像数据对轨道模型进行训练，并利用所构建的离线训练神经网络模型进行轨道异物检测。

2.根据权利要求1所述的基于FPGA平台和深度学习的轨道异物检测方法，其特征在于，所述方法包括下述步骤：

步骤(1)、获取轨道异物图像数据，所述图像数据中具有对异物的标注；

步骤(2)、构建异物检测模型，利用所获取的轨道异物图像数据进行神经网络模型训练，获得训练好的异物检测模型；

步骤(3)、将训练好的异物检测模型加载到异物检测系统；

步骤(4)、加载异物检测模型参数；

步骤(5)、利用车载影像采集装置获取轨道的视频数据；

步骤(6)、利用训练好的异物检测模型对所采集的轨道视频基于神经网络进行异物检测；

步骤(7)一旦所述异物检测模型检测到轨道视频中出现异物，则发出报警信号，所述步骤(3)-(7)在FPGA中完成。

3.根据权利要求2所述的基于FPGA平台和深度学习的轨道异物检测方法，其特征在于，所述步骤(2)包括对现有异物视频数据进行标注，基于yolo物体检测框架训练深度网络模型。

4.根据权利要求2所述的基于FPGA平台和深度学习的轨道异物检测方法，其特征在于，所述网络模型包括7个卷积层和5个最大值池化层。

5.根据权利要求2所述的基于FPGA平台和深度学习的轨道异物检测方法，其特征在于，所述步骤(2)包括：

步骤(2-1)、根据目标异物种类和图像数据，对图像数据输入做归一化处理；

步骤(2-2)、对每张图片利用12层神经网络做特征提取；

步骤(2-3)、对初始化的图像进行多重卷积滤波处理；

步骤(2-4)、将处理后的图像作为下一层最大值池化层的输入，以2为步长进行降采样处理；

步骤(2-5)、对于下一层重复步骤(2-3)和(2-4)，直到最后一层，获得特征图；

步骤(2-6)、在特征图的每个单元格中预测5个不同尺度和长宽比的包围盒；

步骤(2-7)、根据图像中的异物标注，对特征图中的包围盒进行目标检测过程的边框回归操作，得到检测物体在图像中的位置和置信度，并相应调整异物检测模型。