CN112989883B - 一种列车前方障碍物识别的方法 - Google Patents

Abstract

本发明属于基础建设领域，具体说是一种基于机器学习的列车前方障碍物识别的方法。本发明包括以下步骤：使用摄像机拍摄列车前方路况，得到列车前方路况图片；通过图像预处理凸显出列车前方路况图片中的障碍物；使用障碍物分类器判断列车前方是否有障碍物；若列车前方存在障碍物，则使用障碍物识别模型识别障碍物的类别和位置；通过障碍物在列车前方路况图片上的位置与摄像机参数，计算出障碍物与列车的距离。本发明根据物体识别模型测得的障碍物位置与摄像机镜头参数计算障碍物与列车的距离。计算方法简单，精度高。

Description

一种列车前方障碍物识别的方法

技术领域

本发明属于基础建设领域，具体说是一种基于机器学习的列车前方障碍物识别的方法。

背景技术

随着国民经济与现代科学技术的高速发展，人民生活水平不断提高，城市道路交通规模迅速发展。然而，由于汽车数量的增多和居民出行需求的增加，城市道路交通日益拥堵。列车，这种轨道交通工具进入了人们的生活。方便人们生活的同时也带来了一系列的安全隐患。

据统计发现，列车发生事故的原因主要有以下几点：列车故障、轨道障碍物、轨道故障、信号系统故障、人为破坏等。轨道障碍物是指在轨道上存在对地铁运行有安全隐患的障碍物，如因报警失误而滞留在轨道上的维修人员隧道塌方造成的巨石等。仅靠传统的列车驾驶员视觉已经难以保证列车运行安全。

此外，在长时间驾驶的情况下，列车驾驶人员很容易产生视觉疲劳，导致注意力下降，反应速度降低，从而影响行车安全，造成人员伤亡和经济损失。而安装在列车前方的车载摄像头只起到录像作用，无法替代人眼完成对地铁前方路况进行检测。

综上所述，开发一个基于机器视觉的列车前方障碍物识别系统是十分有必要的。

发明内容

本发明目的是基于机器学习的列车障碍物检测系统，通过二分类器判断有无障碍物，若有障碍物再进行物体识别，识别出障碍物的类别、大小、位置等。

本发明为实现上述目的所采用的技术方案是：

一种列车前方障碍物识别的方法，包括以下步骤：

1)使用摄像机拍摄列车前方路况，得到列车前方路况图片；

2)通过图像预处理凸显出列车前方路况图片中的障碍物；

3)使用障碍物分类器判断列车前方是否有障碍物；

4)若列车前方存在障碍物，则使用障碍物识别模型识别障碍物的类别和位置；

5)通过障碍物在列车前方路况图片上的位置与摄像机参数，计算出障碍物与列车的距离。

所述图像预处理的方法包括以下至少一种：细节滤波、锐化滤波以及暗通道去雾算法。

障碍物识别模型的输入为列车前方路况图片，输出为障碍物的数据。

所述障碍物数据包括：障碍物的类别、障碍物的位置即障碍物的外边框的坐标xmin、xmax、ymin、ymax，其中xmin为障碍物的外边框左边缘横坐标，xmax为障碍物的外边框右边缘横坐标，ymin为障碍物的边框上边缘纵坐标，ymax为障碍物的边框下边缘纵坐标。

所述障碍物与列车距离的计算方法为：

1)计算摄像机参数：

α+β＝θ (3)

其中，α为摄像机视线的仰角，β为摄像机视线的俯角，h为摄像机距离地面的高度，x为在列车前方障碍物距离摄像机的距离，L为在x米处进入摄像机视线的实际高度，θ为摄像机视线的最大角度。

2)根据障碍物识别模型得到的障碍物外边框坐标以及摄像机参数计算障碍物距离列车距离：

其中，D表示障碍物与列车的距离，H表示摄像机拍摄的图片的分辨率的高度，ymax为障碍物的边框下边缘纵坐标。

本发明具有以下有益效果及优点：

1.结合地铁行驶环境进行图像预处理，经多次实验后发现细节增强滤波、锐化滤波、暗通道去雾算法的处理效果较好。

2.搭建障碍物分类器。从原理了解Inception V4网络结构，通过有障碍物图片与无障碍物图片训练障碍物分类器。分类准确率高。

3.搭建物体识别模型。对比区域卷积神经网络、快速区域卷积神经网络与单发多框检测器模型，选择运行速度最快的单发多框检测模型作为物体识别模型，选择公开数据集PASCALVOC作为训练集进行物体识别模型训练。速度快，准确率高。

4.障碍物距离算法实现。根据物体识别模型测得的障碍物位置与摄像机镜头参数计算障碍物与列车的距离。计算方法简单，精度高。

5.优化障碍物识别系统，由于障碍物分类器与物体识别模型较大，加载到内存需要一定时间，为了提高系统性能，通过多线程方式进行模型加载。

附图说明

图1所示为本发明的流程图；

图2a所示为细节滤波、锐化滤波效果图——原图；

图2b所示为细节滤波、锐化滤波效果图——细节增强滤波图；

图2c所示为细节滤波、锐化滤波效果图——锐化滤波图；

图3a所示为暗通道去雾效果图——有雾图像；

图3b所示为暗通道去雾效果图——去雾图像；

图4所示为障碍物距离计算方法；

图5所示为障碍物位置示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1所示为本发明的流程图；

使用单摄像机拍摄列车前方路况，通过图像预处理凸显障碍物，障碍物分类器判断前方是否有障碍物，若存在障碍物则识别物体类别与位置，最后通过障碍物在图像上的位置与摄像机参数计算出物体与列车的距离。

如图2a～图2c、图3a～图3b所示为图像预处理效果。

本发明使用的图像预处理方法是细节滤波、锐化滤波(图2a～图2c)与暗通道去雾算法(图3a～图3b)。

本发明障碍物分类器使用Inception V4网络进行特征提取，有障碍物与无障碍物图片各5000张作为训练集，训练Inception V4模型，得到准确率为91.3％。测试训练好的模型，将其用于前方有无障碍物判断。

从性能角度考虑，本发明选择单发多框检测器SSD作为物体识别模型，将公开数据集PASCAL VOC作为训练集与验证集进行模型的训练，通过多次尝试最终得到物体识别模型。将模型应用到障碍物检测之中，根据障碍物分类器输出情况进行物体识别模型的调用。

由于调用障碍物分类器与物体识别模型时加载时间较长，为了提高系统运行效率，本文引入多线程机制，使用两个线程分别加载障碍物分类器与物体识别模型。通过线程间的通信，分别调用障碍物分类器与物体识别模型，达到先判断前方障碍物后识别障碍物类型与位置的功能。

障碍物距离计算方法：

由于车载摄像头安装在地铁列车前方，具有一定高度，且需拍摄前方轨道所有路况，因此摄像机视野应略高于车顶，摄像装置结构示意图图4所示。

根据装置结构示意图，可得以下公式：

α+β＝θ (3)

其中，h表示摄像机高度；L表示在X米处进入摄像机视线的实际高度。

本文通过实地测验的方式进行障碍物距离测试，首先将摄像机放置于2.5m高的位置固定。随后取一根3.5m长的木棍，根据调整摄像机角度与木棍的距离使得木棍恰巧占据摄像机视野。最后测量木棍与摄像机的距离x，结合公式1、2、3计算出α、β角度。

根据物体识别模型可测得障碍物的位置，本文中分别用xmin、xmax、ymin、ymax表示，如图5所示。

则障碍物与列车的距离计算公式如下所示：

其中，D表示障碍物与列车的距离，H表示拍摄图片的分辨率的高度。

Claims (4)

1.一种列车前方障碍物识别的方法，其特征在于，包括以下步骤：

1)使用摄像机拍摄列车前方路况，得到列车前方路况图片；

2)通过图像预处理凸显出列车前方路况图片中的障碍物；

3)使用障碍物分类器判断列车前方是否有障碍物；

4)若列车前方存在障碍物，则使用障碍物识别模型识别障碍物的类别和位置；

5)通过障碍物在列车前方路况图片上的位置与摄像机参数，计算出障碍物与列车的距离；

所述障碍物与列车距离的计算方法为：

5.1)计算摄像机参数：

α+β＝θ(3)

其中，α为摄像机视线的仰角，β为摄像机视线的俯角，h为摄像机距离地面的高度，x为在列车前方障碍物距离摄像机的距离，L为在x米处进入摄像机视线的实际高度，θ为摄像机视线的最大角度；

5.2)根据障碍物识别模型得到的障碍物外边框坐标以及摄像机参数计算障碍物距离列车距离：

其中，D表示障碍物与列车的距离，H表示摄像机拍摄的图片的分辨率的高度，ymax为障碍物的边框下边缘纵坐标。

2.根据权利要求1所述的一种列车前方障碍物识别的方法，其特征在于，所述图像预处理的方法包括以下至少一种：细节滤波、锐化滤波以及暗通道去雾算法。

3.根据权利要求1所述的一种列车前方障碍物识别的方法，其特征在于，障碍物识别模型的输入为列车前方路况图片，输出为障碍物的数据。

4.根据权利要求3所述的一种列车前方障碍物识别的方法，其特征在于，所述障碍物数据包括：障碍物的类别、障碍物的位置即障碍物的外边框的坐标xmin、xmax、ymin、ymax，其中xmin为障碍物的外边框左边缘横坐标，xmax为障碍物的外边框右边缘横坐标，ymin为障碍物的边框上边缘纵坐标，ymax为障碍物的边框下边缘纵坐标。