CN112633176A - 一种基于深度学习的轨道交通障碍物检测方法 - Google Patents

一种基于深度学习的轨道交通障碍物检测方法 Download PDF

Info

Publication number
CN112633176A
CN112633176A CN202011550241.5A CN202011550241A CN112633176A CN 112633176 A CN112633176 A CN 112633176A CN 202011550241 A CN202011550241 A CN 202011550241A CN 112633176 A CN112633176 A CN 112633176A
Authority
CN
China
Prior art keywords
obstacle
image
feature
detection
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011550241.5A
Other languages
English (en)
Other versions
CN112633176B (zh
Inventor
贺德强
邹智恒
刘力琼
陈彦君
徐伟倡
李先旺
李凯
邱晔枫
任若晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Nanning CRRC Rail Transportation Equipment Co Ltd
Original Assignee
Guangxi University
Nanning CRRC Rail Transportation Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University, Nanning CRRC Rail Transportation Equipment Co Ltd filed Critical Guangxi University
Priority to CN202011550241.5A priority Critical patent/CN112633176B/zh
Publication of CN112633176A publication Critical patent/CN112633176A/zh
Application granted granted Critical
Publication of CN112633176B publication Critical patent/CN112633176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的轨道交通障碍物检测方法，按以下步骤进行：根据车载摄像头在列车运行时存储的视频筛选出包含障碍物的部分。将含有障碍物部分的视频制作成若干图像。使用数据增强方法将图像数量扩充。在图像上划分感兴趣区域，将检测范围设在轨道附近。由于YOLOv4网络对小物体检测不敏感，设计了D‑CSPDarknet特征提取网络，有效的解决了梯度消失问题且达到特征重复利用的目的。结合设置有3个特征金字塔池化模块的新特征融合网络，构成完整的Improved‑YOLOv4障碍物检测模型。在该模型上使用先前制作好的数据进行训练，得到用于检测的权重文件。利用该权重文件可进行列车障碍物检测。本发明可以实现列车前方障碍物实时检测，随着列车摄像头采集数据不断的扩充，检测精度随之升高，且安装成本低，效率高。

Description

一种基于深度学习的轨道交通障碍物检测方法
技术领域
本发明属于城市轨道交通图像识别技术领域，具体涉及交通故障检测识别技术，尤其涉及一种基于深度学习的轨道交通障碍物检测方法。
背景技术
随着铁路运输的飞速发展，货运重载化与客运高速化程度有了进一步提升，铁路运输逐渐向功能综合、信息共享和高度自动化的方向过渡和转变，承载着国民流动和货物运输的重大使命。尤其在中国，至2019年底旅客发送量为36.6亿人，货运发送量为43.89亿吨，高速铁路运营里程达3.5万公里。铁路运输安全的迫切需求使得铁路行车安全保障系统面临新的挑战。铁路安全存在的问题主要来自四个方面，第一，沿线环境异物入侵，第二，自然灾害影响，第三，主要行车设备故障，第四，现场安全管理问题。其中，沿线环境异物入侵问题尤为严重，铁路交通事故造成人员伤亡的主要原因是行人非法上道。因此，为降低因异物入侵造成的人员伤亡和财产损失，列车前方障碍物检测显得尤为重要。
现有处理轨道障碍物问题的方法有关键位置监控、轨道巡检和列车实时检测，关键位置监控是通过在隧道以及公铁交汇处等关键地方部署监控系统，采用人工与视频监控相互配合的方式完成对障碍物的检测。但是铁路运营里程长，监视死角区域发生事故较多。轨道巡检方法包括人工巡检和轨道巡检系统，人工巡检通过安排大量巡检员在沿线进行检查，效率低且费时费力。轨道巡检系统采用巡检车巡检的方式实现监测，然而该方法无法保证实时监控。因此，随着无人驾驶技术的日趋成熟，城市无人驾驶列车也在多个国家开始试运行，激光雷达、红外、毫米波雷达和光学相机等多种传感器已用于轨道交通的障碍物检测系统。其中，光学相机以成像速度快、成像精度高、价格便宜与容易部署等优点，在整个轨道交通障碍物检测系统中得到广泛应用，由于图像处理和模式识别等技术在工业、农业、医学等多领域得到大量实践，基于机器视觉的辅助驾驶技术将在智能轨道交通中将扮演越来越重要的角色。为此，研究列车实时检测障碍物的新方法可以弥补传统监测方式的不足，是复杂环境下列车安全运行的现实需求。
发明内容
本发明的目的在于：针对上述存在的问题，提供一种基于深度学习的轨道交通障碍物检测方法，本发明能提高轨道交通障碍物检测的准确率，且能较好的平衡检测速度与精度。为了实现上述目的，本发明采用以下技术方案：
本发明提供了一种基于深度学习的轨道交通障碍物检测方法，所述障碍物识别方法包括：
步骤1：列车运行时，安装在列车头的摄像机实时记录并保存行驶路况，先从视频中截取包含障碍物的关键视频段，再将其隔帧保存并筛选，将筛选获取的障碍物图像样本用于建立列车前方障碍物图像数据；
步骤2：将筛选过后的障碍物图像进行特有的感兴趣区域的划分，将带有遮罩的图像输入给神经网络，以便极大的排除图像中非轨道附近区域的干扰信息，使神经网络有重点的学习，提高检测精度；
步骤3：将划分完感兴趣区域的障碍物图像继续进行数据增强处理，以扩充障碍物图像的数量，提高训练效果，增强障碍物图像数据集泛化能力，然后使用标注工具将图像中的障碍物进行标注，按特定格式存放结果，将标注得到的数据集进一步分为训练集和测试集；
步骤4：构建轨道交通列车前方障碍物Improved-YOLOv4检测模型，所述Improved-YOLOv4检测模型由具有2条传播输入图像特征路径的D-CSPDarknet特征提取网络和结合设置有3个特征金字塔池化模块的新特征融合网络构成；
步骤5：训练Improved-YOLOv4检测模型，前述步骤3中将制作好的数据集分为训练集和测试集，此时用训练集对卷积神经网络进行训练，设置好训练参数后开始训练，结束后取验证损失值最小的模型权重文件，利用该权重文件，对单张图像检测和实时视频检测，然后将其用于部署好的检测处理设备中，以便实现列车运行时可以对前方道路情况进行障碍物实时检测。
上述方案进一步优选的，在所述步骤4中，所述D-CSPDarknet特征提取网络的特征提取主干网络D-CSPDarknet其由两条前馈路径构成，所述前馈路径包括Main-path和Add-path，主干网络D-CSPDarknet中某一层信息交流满足公式：
yl＝xl+xl-1+,...,+x2+x1+x0；
其中,x0,…,xl为第0,…,l层的输出结果；
某一层(x0,…,xl)的输出结果满足公式：
xl＝Hl([x0,x1,x2,...,xl-1])；
其中，Hl代表由BN层、Leaky ReLU层、1×1卷积层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自前面各层的障碍物特征图。
上述方案进一步优选的，在所述步骤5中，实现对轨道交通列车前方障碍物检测如下：
步骤31：将包含障碍物特征的输入图像大小设置为416×416，接着将该输入图像划分成若干正方形网格，确保长与宽方向的网格数相同；若图像中某障碍物特征位于某正方形网格中心，则该正方形网格负责后续该位置的障碍物检测，每个正方形网格分别预测B个矩形框，其包含该矩形框位置和大小，以及矩形框的置信度得分和障碍物类别的概率信息C，所述置信度得分由如下公式获得：
Figure BDA0002856959570000031
Pr(Object)表示某正方形网格是否包含障碍物，若包含则值为1，否则为0；
Figure BDA0002856959570000032
表示制作数据集时所标注的真实障碍物位置框与Improved-YOLOv4检测模型预测的障碍物位置框的面积交并比；
其中，预测的障碍物位置矩形框坐标记为(x,y,w,h)，x和y表示矩形框的左上角坐标，w和h表示该矩形框的长和宽；
步骤32：对上步骤31中获得的障碍物预测矩形框坐标(x,y,w,h)使用logistic归一化处理；
步骤43：Improved-YOLOv4检测模型中设置有置信度阈值，对障碍物特征图像中大于等于置信度阈值的框选区域使用非极大值抑制算法进行处理；
步骤34：经过上述步骤33后，被检测出的障碍物区域仅剩下置信度得分最高的预测框，此时可以获取障碍物类别信息；
上述方案进一步优选的，在所述特征提取网络D-CSPDarknet中的Add-Path累加层之间设置下采样层构成过渡层，使障碍物特征图降维，使用第3个、第4个与第6个累加层输出的特征结果，传入特征融合网络，三个累加层输出障碍物特征图尺度分别为52×52、26×26和13×13，通过卷积块、空间金字塔池化网络、上采样、下采样的方式实现局部特征交互，从而构成多尺度预测层。
上述方案进一步优选的，所述空间金字塔池化网络包含卷积核大小为5×5、9×9与13×13的3个最大池化层以及上一卷积块的输出，紧随空间金字塔池化网络之后的操作是进行图像特征拼接，目的是将池化后的特征与卷积块的输出进行整合。
上述方案进一步优选的，在所述步骤4中，在Improved-YOLOv4检测模型中有9个通过使用K-means聚类算法在障碍物数据集中计算获得的先验锚框。
上述方案进一步优选的，所述的步骤3中，对障碍物图像进行数据增强处理包括图像水平或垂直翻转、以90°，180°，270°随机旋转图像、图像的RGB通道设置不同对比度、平均池化、最大池化和最小池化。
上述方案进一步优选的，所述标注工具为对图像中的障碍物图像数据使用标签制作工具LabelImg进行标注，标注的障碍物图像数据包括障碍物包围框的像素坐标、类别以及保存路径，并以XML格式储存在指定路径中，按照特定的协议将标注障碍物图像和数据信息以PASCAL VOC格式储存，并把障碍物图像集划分为训练集和测试集，再将图像编号、障碍物标注信息、文件存储路径保存在txt格式文件中
综上所述，由于本发明采用了上述技术方案，本发明具有以下有益技术效果是：本发明采用了基于深度学习的新卷积神经网络结构设计，结合图像增强、迁移学习、感兴趣区域划分等一系列技术，可以实现轨道交通列车前方障碍物的智能检测，准确率高，误检率低，且满足实时性的要求，部署简单，相比于传统的障碍物检测方法优势明显，减轻驾驶员的工作强度，减少碰撞事故的发生。同时具有应用至各个领域的潜力，应用前景广阔。
附图说明
图1是本发明的Improved-YOLOv4检测模型的网络模型框架图，其中，a为D-CSPDarknet主干网络；b为特征融合网络；c为输出层；d为预测层结构。
图2是本发明的D-CSPDarknet特征网络的框架图；a为层间连接细节。
图3是本发明的划分感兴趣区域、添加噪声、未划分感兴趣区域的近距离障碍物结果的示意图；
图4是本发明的划分感兴趣区域、添加噪声、未划分感兴趣区域的中距离障碍物结果的示意图。
图5是本发明划分感兴趣区域、添加噪声、未划分感兴趣区域的远距离障碍物结果的示意图
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
如图1所示，根据本发明的一种基于深度学习的轨道交通障碍物检测方法，所述障碍物识别方法包括：步骤1：列车运行时，安装在列车头的摄像机实时记录并保存行驶路况，先从视频中截取包含障碍物的关键视频段，再将其隔帧保存并筛选，将获取的图像样本用于建立列车前方障碍物图像数据；
步骤2：将筛选过后的障碍物图像进行特有的感兴趣区域的划分，将带有遮罩的图像输入给神经网络，以便极大的排除图像中非轨道附近区域的干扰信息，使神经网络有重点的学习，提高检测精度；
步骤3：将划分完感兴趣区域的障碍物图像继续进行数据增强处理，以扩充障碍物图像的数量，提高训练效果，增强障碍物图像数据集泛化能力，然后使用标注工具将图像中的障碍物进行标注，按特定格式存放结果，将标注得到的数据集进一步分为训训练集和测试集，划分训练集和测试集则是为训练做好准备；在本发明中，对障碍物图像进行数据增强处理包括图像水平或垂直翻转、以90°，180°，270°随机旋转图像、图像的RGB通道设置不同对比度、平均池化、最大池化、最小池化；所述标注工具为对图像中的障碍物使用标签制作工具LabelImg进行标注，标注的障碍物图像数据包括障碍物包围框的像素坐标、类别以及保存路径，并以XML格式储存在指定路径中，标注障碍物信息，起到在原图中划分出障碍物信息的作用，按照特定的协议将标注障碍物图像和数据信息以PASCAL VOC格式储存，并把障碍物图像集划分为训练集和测试集，再将图像编号、障碍物标注信息、文件存储路径保存在txt格式文件中。
步骤4：构建轨道交通列车前方障碍物Improved-YOLOv4检测模型，该Improved-YOLOv4检测模型由具有2条传播输入图像特征路径的D-CSPDarknet特征提取网络和结合设置有3个特征金字塔池化模块的新特征融合网络构成；在Improved-YOLOv4检测模型中有9个通过使用K-means聚类算法在障碍物数据集中计算获得的先验锚框；
在本发明中，结合图1和图2所示，所述特征提取网络D-CSPDarknet其由两条前馈路径构成，所述前馈路径包括Main-path和Add-path，Main-path和Add-path作为D-CSPDarknet主干网络的组成部分，主干网络中某一层信息交流满足公式：
yl＝xl+xl-1+,...,+x2+x1+x0；
其中,x0,…,xl为第0,…,l层的输出结果；
某一层(x0,…,xl)的输出结果满足公式：
xl＝Hl([x0,x1,x2,...,xl-1])；
其中，Hl代表由BN层、Leaky ReLU层、1×1卷积层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自前面各层的障碍物特征图；
其主干网络D-CSPDarknet如图2所示，D-CSPDarknet由两条前馈路径构成，第一条Main-path路径从输入层开始穿过各残差体传递信息，第一条Add-path路径从第一个卷积块的输出和第一个残差体的输出作为该路径开始的地方，往后经过各累加层传递信息，每个累加层的输入都为前面所有残差体和卷积块的输出，除最后一个累加层外，各累加层间均设置有卷积块以增强特征。在第二条路径的累加层间均设置了下采样层保证确保维度一致。D-CSPDarknet中卷积块由Conv(3×3)-BN-Leaky ReLU和Conv(1×1)-BN-Leaky ReLU复合组成，提高了计算精度，两条路径在最后一个累加层汇合，将结果喂入特征融合网络，在所述特征提取网络D-CSPDarknet中的Add-Path累加层之间设置下采样层构成过渡层，使障碍物特征图降维，使用第3个、第4个与第6个累加层输出的特征结果，传入特征融合网络，在第3个、第4个与第6个累加层之后各加上一个空间金字塔池化网络，其包含卷积核为5×5、9×9与13×13的3个最大池化层以及上一卷积块的输出，紧随空间金字塔池化网络之后的操作是图像特征拼接，图像特征在神经网络中进行传递，经过金字塔池化网络后接着进行拼接操作，拼接完成后继续向后传，目的是将池化后的特征与卷积块的输出进行整合。得到的特征图继续进行前向传播。最后输出的特征图大小从上到下依次为52×52、26×26、13×13。这三个特征图构成多尺度预测层，即三个累加层输出障碍物特征图尺度分别为52×52、26×26和13×13，通过卷积块、空间金字塔池化网络、上采样、下采样的方式实现局部特征交互，从而构成三尺度预测层。
在本发明中，三个尺度的障碍物特征通过特征融合网络实现交互，52×52的特征图经过若干卷积块和一个空间金字塔池化结构后，和经过卷积、空间金字塔池化、上采样后的26×26特征图实现拼接，完成二者的第一次交互。同样的，26×26特征图和13×13也是如此进行第一次交互。之后，52×52特征图下采样后与之前和26×26第一次拼接的结果继续进行拼接，完成第二次交互。该拼接后的结果接着下采样，与之前26×26和13×13第一次拼接的结果继续拼接，需要注意的是，网络中每次拼接后都设置有不同大小的卷积块，目的是对特征进行分类和回归。
步骤5：训练Improved-YOLOv4检测模型，前述步骤3中将制作好的数据集分为训练集和测试集，此时用训练集对卷积神经网络进行训练，设置好如学习率、迭代周期、批数量大小、训练优化器选择等训练参数后开始训练，训练结束后取验证损失值最小的模型权重文件，利用该权重文件，对单张图像检测和实时视频检测，然后将其用于部署好的检测处理设备中(NVIDIA AGX XAVIER处理设备)，以便实现列车运行时可以对前方道路情况进行障碍物实时检测。
在本发明中，实现对轨道交通列车前方障碍物检测如下：
步骤31：将包含障碍物特征的输入图像大小设置为416×416，接着将该输入图像划分成若干正方形网格，确保长与宽方向的网格数相同；若图像中某障碍物特征位于某正方形网格中心，则该正方形网格负责后续该位置的障碍物检测，每个正方形网格分别预测B个矩形框，其包含该矩形框位置和大小，以及矩形框的置信度得分和障碍物类别的概率信息C，所述置信度得分由如下公式获得：
Figure BDA0002856959570000071
Pr(Object)表示某正方形网格是否包含障碍物，若包含则值为1，否则为0；
Figure BDA0002856959570000072
表示制作数据集时所标注的真实障碍物位置框与Improved-YOLOv4检测模型预测的障碍物位置框的面积交并比；
预测的障碍物位置矩形框坐标记为(x,y,w,h)，其中x和y表示矩形框的左上角坐标，w和h表示该矩形框的长和宽；
步骤32：对上步骤31中获得的障碍物预测矩形框坐标(x,y,w,h)使用logistic归一化处理；
步骤33：Improved-YOLOv4检测模型中设置有置信度阈值，对障碍物特征图像中大于等于置信度阈值的框选区域使用非极大值抑制算法进行处理；
步骤34：经过上述步骤33后，被检测出的障碍物区域仅剩下置信度得分最高的预测框，此时可以获取其人或车的障碍物类别信息。
在本发明中如图3、图4和图5，所为部分检测结果，从左至右分别为划分感兴趣区域检测结果、添加噪声检测结果、未划分感兴趣区域检测结果，图3为近距离检测结果，图4为中距离检测结果，图5为远距离检测结果。实验中设置的参数如表1所示，卷积神经网络输入图像的分辨率为416×416。由于迁移学习的权重只能映射到相同的网络层结构，而Improved-YOLOv4网络结构与原YOLOv4结构有所不同，新的网络层需要从零开始训练，为加快网络收敛且防止过拟合问题，整个训练过程分为两个阶段，第一阶段冻结部分层进行训练，第二阶段所有层均参与训练。整个训练过程采用分布式训练方法，故初始学习率将设置偏小，我们使用余弦退火算法进行每周期学习率的调整，其式定义如下：
Figure BDA0002856959570000081
其中，l0为初始学习率，lmin为最小学习率，以2×Tn为余弦周期，Ti为余弦周期内的某一某期。在本次实验中，第一阶段初始学习率l0设置为0.001，最小学习率lmin设置为0.0001，Tn设置为5。第二阶段初始学习率l0、最小学习率lmin以及余弦周期Tn分别设置为0.0005和3。此外，第一阶段批大小与第二阶段批大小均设置为16，第一阶段迭代周期数为20，第二阶段迭代周期数为80，总迭代周期为100。使用Adam梯度下降算法作为训练过程中的优化器，衰减率为0.0005。
表1训练参数
Figure BDA0002856959570000082
训练完成后进行模型评估，Improved-YOLOv4在mAP上表现最优，比YOLOv4高出了2.33％，准确率与召回率也分别高出了5％与2.37％，检测精度优于YOLOv4。由于设计的D-CSPDarknt网络参数量比YOLOv4更多，所以输入的图像经网络传播的时间会加长，但Improved-YOLOv4检测精度有了显著提高，较好的平衡了速度与精度两指标。相比于其他网络，Faster R-CNN其mAP为87.92％，比Improved-YOLOv4低了5.08％，且检测时间过长，模型权重文件偏大，不利于实际部署。SSD的mAP为75.67％。Tiny YOLO是YOLO模型的微型版，其网络层次浅，所以在精度方面表现的较差，mAP仅有62.67％，但由于其模型小，检测速度极快,可部署在易于检测的场景。综上所述，Improved-YOLOv4检测模型在模型检测精度与检测时间方面表现优异，综合性能好于常用目标检测网络，能满足列车障碍物检测场景的需求。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于深度学习的轨道交通障碍物检测方法，其特征在于：所述障碍物识别方法包括：
步骤1：列车运行时，安装在列车头的摄像机实时记录并保存行驶路况，先从视频中截取包含障碍物的关键视频段，再将其隔帧保存并筛选，将筛选获取的障碍物图像样本用于建立列车前方障碍物图像数据；
步骤2：将筛选过后的障碍物图像进行特有的感兴趣区域的划分，将带有遮罩的图像输入给神经网络，以便极大的排除图像中非轨道附近区域的干扰信息，使神经网络有重点的学习，提高检测精度；
步骤3：将划分完感兴趣区域的障碍物图像继续进行数据增强处理，以扩充障碍物图像的数量，提高训练效果，增强障碍物图像数据集泛化能力，然后使用标注工具将图像中的障碍物进行标注，按特定格式存放结果，将标注得到的数据集进一步分为训练集和测试集；
步骤4：构建轨道交通列车前方障碍物Improved-YOLOv4检测模型，所述Improved-YOLOv4检测模型由具有2条传播输入图像特征路径的D-CSPDarknet特征提取网络和结合设置有3个特征金字塔池化模块的新特征融合网络构成；
步骤5：训练Improved-YOLOv4检测模型，前述步骤3中将制作好的数据集分为训练集和测试集，此时用训练集对卷积神经网络进行训练，设置好训练参数后开始训练，结束后取验证损失值最小的模型权重文件，利用该权重文件，对单张图像检测和实时视频检测，然后将其用于部署好的检测处理设备中，以便实现列车运行时可以对前方道路情况进行障碍物实时检测。
2.根据权利要求1所述的一种基于深度学习的轨道交通障碍物检测方法，其特征在于：在所述步骤4中，所述D-CSPDarknet特征提取网络的特征提取主干网络D-CSPDarknet其由两条前馈路径构成，所述前馈路径包括Main-path和Add-path，主干网络D-CSPDarknet中某一层信息交流满足公式：
yl＝xl+xl-1+,...,+x2+x1+x0；
其中,x0,…,xl为第0,…,l层的输出结果；
某一层(x0,…,xl)的输出结果满足公式：
xl＝Hl([x0,x1,x2,...,xl-1])；
其中，Hl代表由BN层、Leaky ReLU层、1×1卷积层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自前面各层的障碍物特征图。
3.根据权利要求1所述的一种基于深度学习的轨道交通障碍物检测方法，其特征在于：在所述步骤5中，实现对轨道交通列车前方障碍物检测如下：
步骤31：将包含障碍物特征的输入图像大小设置为416×416，接着将该输入图像划分成若干正方形网格，确保长与宽方向的网格数相同；若图像中某障碍物特征位于某正方形网格中心，则该正方形网格负责后续该位置的障碍物检测，每个正方形网格分别预测B个矩形框，其包含该矩形框位置和大小，以及矩形框的置信度得分和障碍物类别的概率信息C，所述置信度得分由如下公式获得：
Figure FDA0002856959560000021
Pr(Object)表示某正方形网格是否包含障碍物，若包含则值为1，否则为0；
Figure FDA0002856959560000022
表示制作数据集时所标注的真实障碍物位置框与Improved-YOLOv4检测模型预测的障碍物位置框的面积交并比；
其中，预测的障碍物位置矩形框坐标记为(x,y,w,h)，x和y表示矩形框的左上角坐标，w和h表示该矩形框的长和宽；
步骤32：对上步骤31中获得的障碍物预测矩形框坐标(x,y,w,h)使用logistic归一化处理；
步骤43：Improved-YOLOv4检测模型中设置有置信度阈值，对障碍物特征图像中大于等于置信度阈值的框选区域使用非极大值抑制算法进行处理；
步骤34：经过上述步骤33后，被检测出的障碍物区域仅剩下置信度得分最高的预测框，此时可以获取障碍物类别信息。
4.根据权利要求2所述的一种基于深度学习的轨道交通障碍物检测方法，其特征在于：在所述特征提取网络D-CSPDarknet中的Add-Path累加层之间设置下采样层构成过渡层，使障碍物特征图降维，使用第3个、第4个与第6个累加层输出的特征结果，传入特征融合网络，三个累加层输出障碍物特征图尺度分别为52×52、26×26和13×13，通过卷积块、空间金字塔池化网络、上采样、下采样的方式实现局部特征交互，从而构成多尺度预测层。
5.根据权利要求4所述的一种基于深度学习的轨道交通障碍物检测方法，其特征在于：所述空间金字塔池化网络包含卷积核大小为5×5、9×9与13×13的3个最大池化层以及上一卷积块的输出，紧随空间金字塔池化网络之后的操作是进行图像特征拼接，目的是将池化后的特征与卷积块的输出进行整合。
6.根据权利要求1所述的一种基于深度学习的轨道交通障碍物检测方法，其特征在于：在所述步骤4中，在Improved-YOLOv4检测模型中有9个通过使用K-means聚类算法在障碍物数据集中计算获得的先验锚框。
7.根据权利要求1所述的一种基于深度学习的轨道交通障碍物检测方法，其特征在于：所述的步骤3中，对障碍物图像进行数据增强处理包括图像水平或垂直翻转、以90°，180°，270°随机旋转图像、图像的RGB通道设置不同对比度、平均池化、最大池化和最小池化。
8.根据权利要求1所述的一种基于深度学习的轨道交通障碍物检测方法，其特征在于：所述标注工具为对图像中的障碍物图像数据使用标签制作工具LabelImg进行标注，标注的障碍物图像数据包括障碍物包围框的像素坐标、类别以及保存路径，并以XML格式储存在指定路径中，按照特定的协议将标注障碍物图像和数据信息以PASCAL VOC格式储存，并把障碍物图像集划分为训练集和测试集，再将图像编号、障碍物标注信息、文件存储路径保存在txt格式文件中。
CN202011550241.5A 2020-12-24 2020-12-24 一种基于深度学习的轨道交通障碍物检测方法 Active CN112633176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011550241.5A CN112633176B (zh) 2020-12-24 2020-12-24 一种基于深度学习的轨道交通障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011550241.5A CN112633176B (zh) 2020-12-24 2020-12-24 一种基于深度学习的轨道交通障碍物检测方法

Publications (2)

Publication Number Publication Date
CN112633176A true CN112633176A (zh) 2021-04-09
CN112633176B CN112633176B (zh) 2023-03-14

Family

ID=75324344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011550241.5A Active CN112633176B (zh) 2020-12-24 2020-12-24 一种基于深度学习的轨道交通障碍物检测方法

Country Status (1)

Country Link
CN (1) CN112633176B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111773A (zh) * 2021-04-10 2021-07-13 山东沂蒙交通发展集团有限公司 一种基于深度学习的路面障碍物智能识别设备
CN113255439A (zh) * 2021-04-13 2021-08-13 深圳市锐明技术股份有限公司 一种障碍物识别方法、装置、系统、终端及云端
CN113553916A (zh) * 2021-06-30 2021-10-26 广西大学 一种基于卷积神经网络的轨道危险区域障碍物检测方法
CN113569915A (zh) * 2021-06-30 2021-10-29 广西大学 一种基于激光雷达的多策略轨道交通障碍物识别方法
CN113611149A (zh) * 2021-07-12 2021-11-05 无锡安科迪智能技术有限公司 一种基于多镜头摄像机的路侧停车管理方法及系统
CN113780063A (zh) * 2021-07-27 2021-12-10 深圳泰豪信息技术有限公司 一种基于视频智能分析的光伏运维控制方法
CN114898204A (zh) * 2022-03-03 2022-08-12 中国铁路设计集团有限公司 一种基于深度学习的轨道交通周边危险源检测方法
CN116755081A (zh) * 2023-05-25 2023-09-15 东风柳州汽车有限公司 视觉与雷达融合的目标检测技术
CN117095411A (zh) * 2023-10-16 2023-11-21 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN118115975A (zh) * 2024-04-23 2024-05-31 名商科技有限公司 一种基于障碍物检测的低速无人驾驶控制方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097109A (zh) * 2019-04-25 2019-08-06 湖北工业大学 一种基于深度学习的道路环境障碍物检测系统及方法
CN110532937A (zh) * 2019-08-26 2019-12-03 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法
CN111709349A (zh) * 2020-06-11 2020-09-25 杭州尚尚签网络科技有限公司 一种针对带表格合同的ocr识别方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN111807003A (zh) * 2020-08-06 2020-10-23 广州贯力科技有限公司 一种用于带式输送机的非金属异物检测系统
CN111856448A (zh) * 2020-07-02 2020-10-30 山东省科学院海洋仪器仪表研究所 基于双目视觉和雷达的海上障碍物识别方法及系统
CN112101221A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110097109A (zh) * 2019-04-25 2019-08-06 湖北工业大学 一种基于深度学习的道路环境障碍物检测系统及方法
CN110532937A (zh) * 2019-08-26 2019-12-03 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法
CN111709349A (zh) * 2020-06-11 2020-09-25 杭州尚尚签网络科技有限公司 一种针对带表格合同的ocr识别方法
CN111856448A (zh) * 2020-07-02 2020-10-30 山东省科学院海洋仪器仪表研究所 基于双目视觉和雷达的海上障碍物识别方法及系统
CN111807003A (zh) * 2020-08-06 2020-10-23 广州贯力科技有限公司 一种用于带式输送机的非金属异物检测系统
CN112101221A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUIBAIWANG: "traffic sign detection algorithm based on improved YOLOv4", 《2020 IEEE 9TH JOINT INTERNATIONAL INFORMATION TECHNOLOGY AND ARTIFICIAL INTELLIGENCE CONFERENCE（ITAIC）》 *
YANG,ZHEN: "oracle detection and recognition based on improved tiny-YOLOv4", 《IN 2020 THE 4TH INTERNATIONAL CONFERENCE ON VIDEO AND IMAGE PROCESSING》 *
张焕坤等: "基于改进型YOLO v3的绝缘子异物检测方法", 《中国电力》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111773A (zh) * 2021-04-10 2021-07-13 山东沂蒙交通发展集团有限公司 一种基于深度学习的路面障碍物智能识别设备
CN113255439B (zh) * 2021-04-13 2024-01-12 深圳市锐明技术股份有限公司 一种障碍物识别方法、装置、系统、终端及云端
CN113255439A (zh) * 2021-04-13 2021-08-13 深圳市锐明技术股份有限公司 一种障碍物识别方法、装置、系统、终端及云端
CN113553916A (zh) * 2021-06-30 2021-10-26 广西大学 一种基于卷积神经网络的轨道危险区域障碍物检测方法
CN113569915A (zh) * 2021-06-30 2021-10-29 广西大学 一种基于激光雷达的多策略轨道交通障碍物识别方法
CN113569915B (zh) * 2021-06-30 2024-04-02 广西大学 一种基于激光雷达的多策略轨道交通障碍物识别方法
CN113611149A (zh) * 2021-07-12 2021-11-05 无锡安科迪智能技术有限公司 一种基于多镜头摄像机的路侧停车管理方法及系统
CN113780063A (zh) * 2021-07-27 2021-12-10 深圳泰豪信息技术有限公司 一种基于视频智能分析的光伏运维控制方法
CN114898204A (zh) * 2022-03-03 2022-08-12 中国铁路设计集团有限公司 一种基于深度学习的轨道交通周边危险源检测方法
CN114898204B (zh) * 2022-03-03 2023-09-05 中国铁路设计集团有限公司 一种基于深度学习的轨道交通周边危险源检测方法
CN116755081A (zh) * 2023-05-25 2023-09-15 东风柳州汽车有限公司 视觉与雷达融合的目标检测技术
CN117095411A (zh) * 2023-10-16 2023-11-21 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN117095411B (zh) * 2023-10-16 2024-01-23 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN118115975A (zh) * 2024-04-23 2024-05-31 名商科技有限公司 一种基于障碍物检测的低速无人驾驶控制方法和系统

Also Published As

Publication number Publication date
CN112633176B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN112633176B (zh) 一种基于深度学习的轨道交通障碍物检测方法
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
CN107226087B (zh) 一种结构化道路自动驾驶运输车及控制方法
Rahman et al. A real-time wrong-way vehicle detection based on YOLO and centroid tracking
Yao et al. Inspection of exterior substance on high-speed train bottom based on improved deep learning method
CN110781927B (zh) 车路协同下基于深度学习的目标检测与分类方法
Xu et al. Real-time obstacle detection over rails using deep convolutional neural network
CN107985189A (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
CN109101932A (zh) 基于目标检测的多任务及临近信息融合的深度学习算法
Ye et al. Application of lightweight railway transit object detector
CN113553916B (zh) 一种基于卷积神经网络的轨道危险区域障碍物检测方法
CN111523415A (zh) 一种基于图像的两客一危车辆检测方法和装置
CN109614957A (zh) 一种铁路调车信号安全预警系统
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
Xu et al. Exploiting high-fidelity kinematic information from port surveillance videos via a YOLO-based framework
Ijaz et al. Automatic steering angle and direction prediction for autonomous driving using deep learning
CN117315934A (zh) 基于无人机的高速公路车流量实时监测及拥堵预测系统
Cong et al. Track obstacle detection algorithm based on YOLOv3
CN113378647B (zh) 基于三维点云的实时轨道障碍物检测方法
CN114821508A (zh) 基于隐式上下文学习的道路三维目标检测方法
Gavrilova et al. Application of computer vision algorithms in the problem of coupling of the locomotive with railcars
CN117116046A (zh) 一种基于单阶段目标检测的交通常见事件检测方法
CN114120246B (zh) 一种基于复杂环境的前方车辆检测算法
Qin et al. An improved deep learning algorithm for obstacle detection in complex rail transit environments
CN116311113A (zh) 一种基于车载单目摄像头的驾驶环境感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant