CN113553916A - 一种基于卷积神经网络的轨道危险区域障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的轨道危险区域障碍物检测方法，包括，拍摄获取列车前方轨道的视频信息，将视频中含有障碍物的关键部分截出，并筛选截出关键部分图片作为样本图像，用于建立铁路轨道危险区域障碍物检测的数据集；S02：将获取的样本图像进行数据增强处理，并将得到的数据集划分为训练集和测试集；构建铁路轨道危险区域障碍物检测模型，基于Mask R‑CNN和Resnet101的特征提取网络模型制作好的训练集采用卷积神经网络进行训练，检测障碍物是否在轨道危险区域内，过判断是否重叠来检测危险区域内是否有障碍物。本发明能够实现对列车轨道危险区域障碍物的智能检测，准确率高，误检率低，检测速度快，实时性好，具有广阔的应用潜力。

Description

一种基于卷积神经网络的轨道危险区域障碍物检测方法

技术领域

本发明属于城市轨道交通图像识别领域，具体涉及一种基于卷积神经网络的轨道危险区域障碍物检测方法。

背景技术

随着无人驾驶技术在汽车，无人机以及无人艇等方面的大量应用，无人驾驶列车的发展也被快速地带动起来，伴随着无人驾驶列车的飞速发展，各种问题也接踵而至。其中人们最关心的莫过于列车的安全性问题，由于全自动运行的列车是由多个系统组成的，涉及信号、车辆、站台门、列车自检、信息自动处理等多个方面，因此对列车的整体性、系统性、安全性要求较高。其中影响轨道交通安全性的主要因素包括：运营组织管理、设备故障、自然灾害。对实际案例的研究表明，对列车运行安全影响最为严重的当属与障碍物相撞，如果行驶的列车与障碍物发生碰撞，就会造成重大的运行事故，造成国民经济的严重损失，因此，对轨道内障碍物的检测是保证列车安全运行、人们安全出行的重要保障。现有的对轨道障碍物检测的方法主要有关键位置检测、轨道巡检以及列车实时检测，关键位置检测是在轨道的关键位置设有监控系统，采用人工监测完成对轨道的监控。但由于轨道很长，不能兼顾所有位置，而事故往往发生在未监测区域，轨道巡检则需要人或轨道车沿轨道巡查，这种方法不仅会浪费大量人力物力，准确率高，误检率低，检测速度快，而且实时性很差，不能保证列车的运行安全。列车实时检测则是通过安装在车头的传感器，实时采集、处理和分析前方的轨道信息，快速对前方路况信息做出反应，从而保障列车运行安全，列车实时检测以其良好的准确性和实时性受到大部分研究者的青睐，是符合列车安全行驶的现实需求，而基于机器视觉的障碍物检测是目前最常用的列车实时检测方法。

发明内容

本发明的目的在于提供一种基于卷积神经网络的轨道危险区域障碍物检测方法，本发明能提高列车轨道危险区域内障碍物的精度，并对障碍物检测的技术框架进行了改进，有效提高检测速度。为了实现上述目的，本发明采用的技术方案如下：

根据本发明的一个方面，提供了一种基于卷积神经网络的轨道危险区域障碍物检测方法，包括以下步骤：

S01：通过安装在列车前端的摄像机，拍摄获取列车前方轨道的视频信息，将视频中含有障碍物的关键部分截出，并筛选截出关键部分图片作为样本图像，用于建立铁路轨道危险区域障碍物检测的数据集；

S02：将获取的样本图像进行数据增强处理，对障碍物图像进行标注，将生成的障碍物图像数据信息按照PASCAL VOC格式储存为数据集，并将得到的数据集划分为训练集和测试集；

S03：构建铁路轨道危险区域障碍物检测模型，该障碍物检测模型基于 Mask R-CNN和Resnet101组合进行构建的特征提取网络模型，该特征提取网络模型是一个两阶段网络，第一阶段是区域建议网络，提取出候选对象包围盒，第二阶段，在预测类标签和限定框的偏移量的同时，Mask R-CNN为每个感兴趣区域输出一个二进制掩模，根据该二进制掩模预测进行分类；

S04：训练障碍物检测模型，基于Mask R-CNN和Resnet101的特征提取网络模型制作好的训练集采用卷积神经网络进行训练，训练完成后，将待检测的障碍物图像输入训练好的检测模型进行测试，输出图片的识别结果，完成轨道危险区域障碍物的检测和识别；

S05：检测障碍物是否在轨道危险区域内，将危险区域与障碍物着色，以显示危险区域与障碍物的具体位置，并判断危险区域与障碍物是否重叠；来检测危险区域内是否有障碍物；由于Mask R-CNN增加的掩模分支，在检测时直接将危险区域与障碍物着色以显示它们的具体位置，通过判断它们是否重叠来检测危险区域内是否有障碍物。

上述方案进一步优选的，在所述步骤S02中，对障碍物图像进行标注包括如下步骤：

S0201：使用标注工具Labelme对障碍物图像进行多边形标注，标注出障碍物和轨道的危险区域；

S0202：将标注的每一类障碍物以及轨道通过Python代码进行编号，以进行数据集的规范化；

S0203：将标注后生成的含有障碍物图像坐标信息的json文件使用Python 代码转化为COCO数据集，按照代码中输入的比例划分训练集与测试集；

S0204：将获得的数据集放在要训练的网络的data文件夹下，用于下一步网络的训练。

上述方案进一步优选的，对轨道危险区域障碍物进行检测和识别过程具体包括以下子步骤：

S0401：调整输入的障碍物特征图像的大小为800×600；然后将图像分割成若干个网格；如果障碍物特征图像的目标的中心位于网格单元中；

S0402：将输入的障碍物特征图像的大小调整为800×600，然后将图像分割成若干个网格，如果障碍物特征图像的目标的中心位于网格单元中，则在网格单元中执行检测识别过程；

S0403：对每个网格单元分别预测B个先验框、先验框的置信度得分和目标类别的信息概率C，所述置信度得分满足：

P_r(Object)表示网格单元中有无包含障碍物，有则为1，否则为0；

表示真实的位置框和Mask R-CNN的先验框之间的交并比；

S0404：对S0401中获得的预测包围框坐标(x,y,w,h)使用归一化处理；

S0405：通过对障碍物特征图像中满足置信度阈值的区域采用非极大值抑制算法处理；

S0406：通过非极大值抑制算法的处理结果，保留拥有最高前景分数的先验框，获取最终的区域建议框所对应的坐标范围和类别信息。

上述方案进一步优选的，在所述S05中，检测障碍物是否在轨道危险区域内具体包括如下步骤：

S0501：由于在标注时采用多边形标注，并在训练时采用ROI Align，在获取特征层时不在进行取整操作，采用双线性插值法提取障碍物图像的特征图，对比特征图上的像素与原图上的像素是否完全对齐，以便获取障碍物的具体位置；

S0502：将二进制掩模预测得到的结果传入掩模预测分支中，得到目标物体的掩模，用掩模对图像上的区域进行屏蔽，并对屏蔽区域进行处理，以此来将障碍物和轨道危险区域进行着色；

S0503：检测图片上着色区域判断障碍物和轨道危险区是否重叠，以此来判断危险区域内是否有障碍物。

上述方案进一步优选的，区别与以往的网络训练时所用的数据集都是只标注出障碍物，然后在检测时再提取轨道，获取危险区域，从而判断障碍物是否在危险区域内，本发明对危险区域障碍物检测的技术框架进行了改进，采用的方法是在制作数据集时，使用多边形标注法，不仅标注出障碍物，也要标注出轨道的危险区域，由于Mask R-CNN增加的掩模分支，我们可以在检测时直接将危险区域涂色，这样就可以省略提取轨道的步骤，直接检测预处理后的图片，从而缩短检测步骤与时间。

上述方案进一步优选的，在所述S04中，所述Mask R-CNN由卷积块和标识块组成，训练障碍物检测模型时先将输入的样本图片经过填零的操作，接着进行了一次卷积核为7×7、步长为2的卷积，然后经过最大池化层后的特征层进行交替，再通过若干个标识块和卷积块，从而得到长宽压缩了两次、三次、四次、五次的特征层C2、C3、C4和C5，最后用得到的特征层构建特征金字塔网络，经过卷积和上采样并融合特征层，提取到有效特征层P2、P3、P4、P5、P6，所述ResNet101特征提取网的表达公式为：

x_l＝H_l([x₀,x₁,x₂,...,x_l-1])；

其中，H_l代表由卷积层、Relu层和池化层组成的复合函数，[x₀,x₁,x₂,...,x_l-1] 代表拼接来自前面不同层的轨道障碍物特征图。

上述方案进一步优选的，所述Mask R-CNN特征提取网络对障碍物特征图的每个像素点产生至少3个不同大小的先验框，各个框的大小由scale和 ratio这两个参数来确定，先将三个先验框保持框的面积不变，再通过ratio的值来改变先验框的长宽比，从而产生不同大小的框，每层的scale分别为(64， 128，256)，ratio为(0.5,1,2)，所有每一层的每一个像素点都会产生3个锚框，总计会有9种不同大小的锚框。

上述方案进一步优选的，将获取的样本图像进行数据增强处理包括对样本图像进行任意旋转、添加噪声和随机旋转处理，以扩充轨道障碍物样本图像的数据集。

上述方案进一步优选的，将获取的样本图像进行数据增强处理包括对样本图像进垂直翻转、添加噪声和随机旋转处理。

上述方案进一步优选的，将获取的样本图像进行数据增强处理包括对样本图像进水平翻转、添加噪声和随机旋转处理。

综上所述，由于本发明采用了上述技术方案，本发明具有如下显著效果：

本发明采用了上述的基于深度学习的卷积神经网络结构设计，改进障碍物检测的技术框架，可以实现列车轨道危险区域障碍物的智能检测，准确率高，误检率低，检测速度快，实时性好，相对于现有的其他检测方法优势明显，并且能提高识别效率，能够极大地减少列车驾驶员的工作量，同时在其他领域中也具有广阔的应用潜力。

附图说明

图1是本发明的Mask R-CNN的网络模型框架图。

图2是本发明的对检测技术构架流程的改进前后对比流程图；a为改进前的技术流程，b为改进后的技术流程。

图3是本发明的多边形标注法示意图。

图4是本发明的对直轨上的障碍物的检测结果的示意图；

图5是本发明的左弯轨上的障碍物的检测结果的示意图；

图6是本发明的右弯轨上的障碍物的检测结果的示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

结合图1，根据本发明的一种基于卷积神经网络的轨道危险区域障碍物检测方法，所述障碍物检测方法包括以下步骤：

S01：通过安装在列车前端的摄像机，拍摄获取列车前方轨道的视频信息，将视频中含有障碍物的关键部分截出，并按照每20帧截取一张图像的方式获取关键部分图片，筛选截出关键部分图片作为样本图像，用于建立铁路轨道危险区域障碍物检测的数据集；

S02：将获取的样本图像进行数据增强处理，数据增强处理包括对样本图像进行任意旋转、添加噪声和随机旋转处理；任意旋转至少包括对图像进行水平或垂直翻转，以扩充轨道障碍物样本图像的数据集，扩充障碍物图片的数量，以增强训练的网络的鲁棒性，提高训练效果，防止过拟合，然后使用标注工具Labelme对障碍物图像进行标注，将生成的障碍物图像数据信息按照PASCAL VOC 2017格式储存为数据集，并将得到的数据集划分为训练集和测试集；在本实施例中，对障碍物图像进行标注包括如下步骤：

S0201：使用标注工具Labelme对障碍物图像进行多边形标注，采用多边形标注法，不仅要标注出障碍物，也要完整的标注出轨道的危险区域，这将用于后面训练网络对轨道危险区域的提取；

S0202：将标注的每一类障碍物以及轨道通过Python代码进行编号，以进行数据集的规范化；

S0203：将标注后生成的含有障碍物图像坐标信息的json文件使用Python 代码转化为COCO数据集，按照代码中输入的比例划分训练集与测试集；

S0204：将获得的数据集放在要训练的网络的data文件夹下，用于下一步网络的训练；

S03：构建铁路轨道危险区域障碍物检测模型，该障碍物检测模型基于 Mask R-CNN和Resnet101组合进行构建的特征提取网络模型，该特征提取网络模型是一个两阶段网络，第一阶段是区域建议网络，提取出候选对象包围盒，第二阶段，在预测类标签和限定框的偏移量的同时，Mask R-CNN为每个感兴趣区域输出一个二进制掩模，根据该二进制掩模预测进行分类；

S04：训练障碍物检测模型，基于Mask R-CNN和Resnet101的特征提取网络模型制作好的训练集采用卷积神经网络进行训练，训练完成后，将待检测的障碍物图像输入训练好的检测模型进行测试，输出图片的识别结果，完成轨道危险区域障碍物的检测和识别，所述Mask R-CNN由卷积块和标识块组成，训练障碍物检测模型时先将输入的样本图片经过填零的操作，接着进行了一次卷积核为7×7、步长为2的卷积，然后经过最大池化层后的特征层进行交替，再通过若干个标识块和卷积块，从而得到长宽压缩了两次、三次、四次、五次的特征层C2、C3、C4和C5，最后用得到的特征层构建特征金字塔网络，经过卷积和上采样并融合前面的特征层，提取到有效特征层P2、P3、 P4、P5、P6，所述Mask R-CNN特征提取网络对障碍物特征图的每个像素点产生至少3个不同大小的先验框，各个框的大小由scale和ratio这两个参数来确定，先将三个先验框保持框的面积不变，再通过ratio的值来改变先验框的长宽比，从而产生不同大小的框，每层的scale分别为(64，128，256)，ratio 为(0.5,1,2)，所有每一层的每一个像素点都会产生3个锚框，总计会有9种不同大小的锚框；所述ResNet101特征提取网的表达公式为：

x_l＝H_l([x₀,x₁,x₂,...,x_l-1])；

其中，H_l代表由卷积层、Relu层和池化层组成的复合函数，[x₀,x₁,x₂,...,x_l-1] 代表拼接来自前面不同层的轨道障碍物特征图。

对轨道危险区域障碍物进行检测和识别过程具体包括以下子步骤：

S0401：调整输入的障碍物特征图像的大小为800×600；然后将图像分割成若干个网格；如果障碍物特征图像的目标的中心位于网格单元中；

S0402：将输入的障碍物特征图像的大小调整为800×600，然后将图像分割成若干个网格，如果障碍物特征图像的目标的中心位于网格单元中，则在网格单元中执行检测识别过程；

S0403：对每个网格单元分别预测B个先验框、先验框的置信度得分和目标类别的信息概率C，所述置信度得分满足：

P_r(Object)表示网格单元中有无包含障碍物，有则为1，否则为0；

表示真实的位置框和Mask R-CNN的先验框之间的交并比；

有的先验框可能并没有完美地位于目标的中心，使用区域建议网络评估了delta输出(x、y、宽、高的变化百分数)以精调先验框来更好地拟合目标，得到的最终的先验框的坐标标记为(x,y,w,h)；其中，x和y表示先验框的中点坐标，w和h表示先验框的长和宽；

S0404：对步骤S0401中获得的预测包围框坐标(x,y,w,h)使用归一化处理；

S0405：通过对障碍物特征图像中满足置信度阈值的区域采用非极大值抑制算法处理；

S0406：通过非极大值抑制算法的处理结果，保留拥有最高前景分数的先验框，获取最终的区域建议框所对应的坐标范围和类别信息；

S05：检测障碍物是否在轨道危险区域内，将危险区域与障碍物着色，以显示危险区域与障碍物的具体位置，并判断危险区域与障碍物是否重叠；来检测危险区域内是否有障碍物；由于Mask R-CNN增加的掩模分支，在检测时直接将危险区域与障碍物着色以显示它们的具体位置，通过判断它们是否重叠来检测危险区域内是否有障碍物；检测障碍物是否在轨道危险区域内具体包括如下步骤：

S0501：由于在标注时采用多边形标注，并在训练时采用ROI Align，在获取特征层时不在进行取整操作，采用用双线性插值法提取障碍物图像的特征图，对比特征图上的像素与原图上的像素是否完全对齐，以便获取障碍物的具体位置；

S0502：将二进制掩模预测得到的结果传入掩模预测分支中，得到目标物体的掩模，用掩模对图像上的区域进行屏蔽，并对屏蔽区域进行处理，以此来将障碍物和轨道危险区域进行着色；

S0503：检测出的图片上，障碍物和轨道危险区域不仅会被框出，它们的具体位置也会被着色显示，为此，检测图片上着色区域判断障碍物和轨道危险区是否重叠，以此来判断危险区域内是否有障碍物。检测障碍物是否在轨道危险区域内，区别于以往的网络训练时所用的数据集都是只标注出障碍物，然后在检测时再提取轨道，获取危险区域，从而判断障碍物是否在危险区域内，本发明对危险区域障碍物检测的技术框架进行了改进，如图2所示，采用的方法是在制作数据集时，使用多边形标注法，不仅标注出障碍物，也要标注出轨道的危险区域，由于Mask R-CNN增加的掩模分支，我们可以在检测时直接将危险区域涂色，这样就可以省略提取轨道的步骤，直接检测预处理后的图片，从而缩短检测步骤与时间。检测障碍物是否在轨道危险区域内具体包括如下步骤：

S0501：由于在标注时采用多边形标注，如图3所示，并在训练时采用 ROI Align，在获取特征层时不在进行取整操作，采用双线性插值法提取障碍物图像的特征图，对比特征图上的像素与原图上的像素是否完全对齐，以便获取障碍物的具体位置；

S0502：将二进制掩模预测得到的结果传入掩模预测分支中，得到目标物体的掩模，用掩模对图像上的区域进行屏蔽，并对屏蔽区域进行处理，以此来将障碍物和轨道危险区域进行着色；

S0503：检测图片上着色区域判断障碍物和轨道危险区是否重叠，以此来判断危险区域内是否有障碍物。

在本发明中图4和图5，为部分检测结果，图4是对直轨上的障碍物的检测结果的示意图，图5和图6是对弯轨上的障碍物的检测结果的示意图，图5是左边为左弯轨，图3和图6是右边为右弯轨。实验采用迁移学习思想，使用MS COCO数据集上预训练好的权重参数初始化Mask R-CNN模型，然后经过一系列对参数地调试与试验，训练的重要参数如表1所示：

表1 Mask R-CNN的主要训练参数

训练完成后进行模型评估，Mask R-CNN在mAP上表现最优，达到了 94.1％，比一阶段网络SSD准确率高4.3％，比二阶段网络Cascade R-CNN和 Faster R-CNN准确率分别高出1.8％和1.5％。而使用不同的主干提取网络，最后的精确度也不相同。经过测试，使用MaskR-CNN与Resnet101组合的准确率会高出使用Mask R-CNN与Resnet50的准确率1.3％，高出使用Mask R-CNN 与VGG 16的准确率2.1％。而从检测时间方面来进行对比，Mask R-CNN平均每张检测时间是0.13s，低于其他二阶段网络的。与一阶段网络相比，平均的检测时间略高。但实际检测时，采用传统的方法提取轨道的方法需要2秒，改进过的轨道提取方法也需要0.14秒左右。综合来看，用一阶段网络检测出障碍物是否在危险区域内的时间会远高于Mask R-CNN的检测时间0.13秒。综上所述，Mask R-CNN在优化改进检测技术框架后，在检测精度与检测时间方面都好于常用目标检测网络，能满足列车障碍物检测场景的需求。本发明基于深度学习的目标检测网络Mask R-CNN，结合主干提取网络Resnet101构建网络模型，通过对地铁障碍物测试的视频数据进行处理、扩充与标注，获得相关数据集。并采用迁移学习的思想，先使用在MS COCO数据集上预训练好的权重参数初始化Mask R-CNN模型，然后再对网络进行训练，最后对危险区域障碍物检测的技术框架进行了改进，从而提高检测速度。训练时，将只标注障碍物改为将轨道与障碍物都分别进行标注。检测时，Mask R-CNN 会将轨道的危险区域也检测出并进行着色，从而省去了提取轨道的步骤，在保证准确性的前提下，提升了检测障碍物的速度。本发明能够实现对列车轨道危险区域障碍物的智能检测，准确率高，误检率低，检测速度快，实时性好，相对于现有的其他检测方法优势明显，并且能提高识别效率，能够极大地减少列车驾驶员的工作量，同时在其他领域中也具有广阔的应用潜力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：所述障碍物检测方法包括以下步骤：

S01：通过安装在列车前端的摄像机，拍摄获取列车前方轨道的视频信息，将视频中含有障碍物的关键部分截出，并筛选截出关键部分图片作为样本图像，用于建立铁路轨道危险区域障碍物检测的数据集；

S02：将获取的样本图像进行数据增强处理，对障碍物图像进行标注，将生成的障碍物图像数据信息按照PASCAL VOC格式储存为数据集，并将得到的数据集划分为训练集和测试集；

S03：构建铁路轨道危险区域障碍物检测模型，该障碍物检测模型基于Mask R-CNN和Resnet101组合进行构建的特征提取网络模型，该特征提取网络模型是一个两阶段网络，第一阶段是区域建议网络，提取出候选对象包围盒，第二阶段，在预测类标签和限定框的偏移量的同时，Mask R-CNN为每个感兴趣区域输出一个二进制掩模，根据该二进制掩模预测进行分类；

S04：训练障碍物检测模型，基于Mask R-CNN和Resnet101的特征提取网络模型制作好的训练集采用卷积神经网络进行训练，训练完成后，将待检测的障碍物图像输入训练好的检测模型进行测试，输出图片的识别结果，完成轨道危险区域障碍物的检测和识别；

S05：检测障碍物是否在轨道危险区域内，将危险区域与障碍物着色，以显示危险区域与障碍物的具体位置，并判断危险区域与障碍物是否重叠；来检测危险区域内是否有障碍物；由于Mask R-CNN增加的掩模分支，在检测时直接将危险区域与障碍物着色以显示它们的具体位置，通过判断它们是否重叠来检测危险区域内是否有障碍物。

2.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：在所述步骤S02中，对障碍物图像进行标注包括如下步骤：

S0201：使用标注工具Labelme对障碍物图像进行多边形标注，标注出障碍物和轨道的危险区域；

S0202：将标注的每一类障碍物以及轨道通过Python代码进行编号，以进行数据集的规范化；

S0203：将标注后生成的含有障碍物图像坐标信息的json文件使用Python代码转化为COCO数据集，按照代码中输入的比例划分训练集与测试集；

S0204：将获得的数据集放在要训练的网络的data文件夹下，用于下一步网络的训练。

3.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：对轨道危险区域障碍物进行检测和识别过程具体包括以下子步骤：

S0401：调整输入的障碍物特征图像的大小为800×600；然后将图像分割成若干个网格；如果障碍物特征图像的目标的中心位于网格单元中；

S0402：将输入的障碍物特征图像的大小调整为800×600，然后将图像分割成若干个网格，如果障碍物特征图像的目标的中心位于网格单元中，则在网格单元中执行检测识别过程；

S0403：对每个网格单元分别预测B个先验框、先验框的置信度得分和目标类别的信息概率C，所述置信度得分满足：

P_r(Object)表示网格单元中有无包含障碍物，有则为1，否则为0；

表示真实的位置框和Mask R-CNN的先验框之间的交并比；

S0404：对S0401中获得的预测包围框坐标(x,y,w,h)使用归一化处理；

S0405：通过对障碍物特征图像中满足置信度阈值的区域采用非极大值抑制算法处理；

S0406：通过非极大值抑制算法的处理结果，保留拥有最高前景分数的先验框，获取最终的区域建议框所对应的坐标范围和类别信息。

4.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：在所述S05中，检测障碍物是否在轨道危险区域内具体包括如下步骤：

S0501：由于在标注时采用多边形标注，并在训练时采用ROI Align，在获取特征层时不在进行取整操作，采用双线性插值法提取障碍物图像的特征图，对比特征图上的像素与原图上的像素是否完全对齐，以便获取障碍物的具体位置；

S0502：将二进制掩模预测得到的结果传入掩模预测分支中，得到目标物体的掩模，用掩模对图像上的区域进行屏蔽，并对屏蔽区域进行处理，以此来将障碍物和轨道危险区域进行着色；

S0503：检测图片上着色区域判断障碍物和轨道危险区是否重叠，以此来判断危险区域内是否有障碍物。

5.根据权利要求4所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：区别与以往的网络训练时所用的数据集都是只标注出障碍物，然后在检测时再提取轨道，获取危险区域，从而判断障碍物是否在危险区域内，本发明对危险区域障碍物检测的技术框架进行了改进，采用的方法是在制作数据集时，使用多边形标注法，不仅标注出障碍物，也要标注出轨道的危险区域，由于Mask R-CNN增加的掩模分支，我们可以在检测时直接将危险区域涂色，这样就可以省略提取轨道的步骤，直接检测预处理后的图片，从而缩短检测步骤与时间。

6.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：在所述S04中，所述Mask R-CNN由卷积块和标识块组成，训练障碍物检测模型时先将输入的样本图片经过填零的操作，接着进行了一次卷积核为7×7、步长为2的卷积，然后经过最大池化层后的特征层进行交替，再通过若干个标识块和卷积块，从而得到长宽压缩了两次、三次、四次、五次的特征层C2、C3、C4和C5，最后用得到的特征层构建特征金字塔网络，经过卷积和上采样并融合特征层，提取到有效特征层P2、P3、P4、P5、P6，所述ResNet101特征提取网的表达公式为：

x_l＝H_l([x₀,x₁,x₂,...,x_l-1])；

其中，H_l代表由卷积层、Relu层和池化层组成的复合函数，[x₀,x₁,x₂,...,x_l-1]代表拼接来自前面不同层的轨道障碍物特征图。

7.根据权利要求5所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：所述Mask R-CNN特征提取网络对障碍物特征图的每个像素点产生至少3个不同大小的先验框，各个框的大小由scale和ratio这两个参数来确定，先将三个先验框保持框的面积不变，再通过ratio的值来改变先验框的长宽比，从而产生不同大小的框，每层的scale分别为(64，128，256)，ratio为(0.5,1,2)，所有每一层的每一个像素点都会产生3个锚框，总计会有9种不同大小的锚框。

8.根据权利要求1所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：将获取的样本图像进行数据增强处理包括对样本图像进行任意旋转、添加噪声和随机旋转处理，以扩充轨道障碍物样本图像的数据集。

9.根据权利要求8所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：将获取的样本图像进行数据增强处理包括对样本图像进垂直翻转、添加噪声和随机旋转处理。

10.根据权利要求8所述的一种基于卷积神经网络的轨道危险区域障碍物检测方法，其特征在于：将获取的样本图像进行数据增强处理包括对样本图像进行水平翻转、添加噪声和随机旋转处理。

Images