CN113486726A - 一种基于改进卷积神经网络的轨道交通障碍物检测方法 - Google Patents

一种基于改进卷积神经网络的轨道交通障碍物检测方法 Download PDF

Info

Publication number
CN113486726A
CN113486726A CN202110658218.6A CN202110658218A CN113486726A CN 113486726 A CN113486726 A CN 113486726A CN 202110658218 A CN202110658218 A CN 202110658218A CN 113486726 A CN113486726 A CN 113486726A
Authority
CN
China
Prior art keywords
network
convolution
yolo
path
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110658218.6A
Other languages
English (en)
Other versions
CN113486726B (zh
Inventor
贺德强
邹智恒
陈彦君
李先旺
李凯
邱晔枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN202110658218.6A priority Critical patent/CN113486726B/zh
Publication of CN113486726A publication Critical patent/CN113486726A/zh
Application granted granted Critical
Publication of CN113486726B publication Critical patent/CN113486726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进卷积神经网络的轨道交通障碍物检测方法，包括，使用双目摄像机实时捕获列车行驶前方道路信息并进行保存，将筛选出的所有图片用于构建轨道交通列车的障碍物图像数据集；获得的障碍物图像数据集进行数据增强处理，再对强处理后获得的障碍物图像进行标注，构建基于深度学习的深度卷积神经检测网络模型，该深度卷积神经检测网络模型基于一阶物体检测网络FE‑YOLO，增强处理后获得的障碍物图像输入一阶物体检测网络FE‑YOLO进行预处理；对一阶物体检测网络FE‑YOLO的超参数进行设置，利用获取的最优权重文件对一阶物体检测网络FE‑YOLO进行综合评估。本发明能提高列车轨道危险区域内障碍物检测的精度。

Description

一种基于改进卷积神经网络的轨道交通障碍物检测方法
技术领域
本发明属于城市轨道交通图像处理与模式识领域，具体涉及一种基于改进卷积神经网络的轨道交通障碍物检测方法。
背景技术
随着轨道交通的跨越式发展，客运高速化和货运重载化程度不断提高，铁路运输组织模式已逐步向指挥集中、功能综合、信息共享和高度自动化的方向转变和发展，具有运输能力强、效率高、运营成本低等优点，在整个交通运输行业中占有举足轻重的地位。由铁路运输发展新形势带来运输安全的迫切需求对铁路行车安全保障系统提出新的挑战。异物侵入铁路安全限界是影响铁路运输安全与稳定的首要因素，所有侵入铁路限界、妨碍铁路系统正常运行的物体均被视为障碍物，异物侵限具有突发性和随机性，难以预测发生时间及地点。因此，稳定高效的障碍物检测技术是保障列车运行安全的重要前提，必须确保系统在各种场景和不同天气下仍能可靠运行，且在列车运行时满足实时性与高检测率。目前主要靠人工的方式进行障碍物检测，费时费力且效率低；近年来，随着卷积神经网络的发展，基于机器视觉的目标检测算法在各领域取得了较大突破，针对列车自动驾驶场景，物体检测器对于周围环境的感知具有重要意义，可以极大的减轻驾驶员的劳动强度，复杂的运行环境使得障碍物尺寸和种类各异，而卷积神经网络对于特征的变化非常敏感，但是对于小型和远距离障碍物的检测效果欠佳，给列车障碍物检测带来了挑战。此外，由于列车上嵌入式设备运行空间和计算资源有限，所以物体检测模型的参数量及计算量都应满足该设备的要求。
随着图像处理和模式识别技术的不断成熟，基于卷积神经网络的物体检测器逐步实现了高精度，图像检测器通常分为一阶检测器和二阶检测器两类，由输入、主干、颈部和预测四个部分组成。二阶检测器的特点是推理速度慢，但是检测精度高，一阶检测器则拥有高的推理速度，但精度比二阶探测器低，因为移除区域建议机制，直接预测物体的类别概率和位置坐标。此外，二阶探测器的参数量和计算量大，对硬件设备要求较高，不利于模型的实际部署，综合考虑上述原因，选择一阶探测器作为图像检测的核心，为提升检测精度同时，能满足实时要求，且需在不同光照和天气条件下均有较高的鲁棒性。
发明内容
本发明的目的在于提供及一种基于改进卷积神经网络的轨道交通障碍物检测方法，本发明能提高列车轨道危险区域内障碍物检测的精度，针对地铁列车障碍物检测场景，提高了对中小型障碍物以及不规则物体的检测精度。
为了实现上述目的，本发明采用的技术方案如下：
根据本发明的一个方面，提供了一种基于改进卷积神经网络的轨道交通障碍物检测方法，所述障碍物检测方法包括以下步骤：
步骤11，使用双目摄像机实时捕获列车行驶前方道路信息并进行保存，从保存的本地文件中挑选包含障碍物的关键视频段，再将视频段进行隔帧保存成图片形式并筛选，将筛选出的所有图片用于构建轨道交通列车的障碍物图像数据集；
步骤12，将获得的障碍物图像数据集进行数据增强处理，再对强处理后获得的障碍物图像进行标注，然后将标注的信息以XML文件格式储存在指定路径中，按照规范将障碍物图像的文件和所标注的XML数据信息以PASCAL VOC格式储存，再对存储的障碍物图像集进行划分为训练集和测试集，在训练集中随机抽取10％的数据作为验证集，并按顺序编号后将标注的信息和文件的存储路径保存在txt格式文件汇总；
步骤13，构建基于深度学习的深度卷积神经检测网络模型，该深度卷积神经检测网络模型基于一阶物体检测网络FE-YOLO，增强处理后获得的障碍物图像输入一阶物体检测网络FE-YOLO进行预处理；
步骤14，对一阶物体检测网络FE-YOLO的超参数进行设置，使用K-Means聚类法基于障碍物图像数据集生成适用于轨道交通障碍物数据集的先验框，采用采用分阶段训练策略对先验框进行分层训练，并取验证集的最小Loss值的作为本次训练的最优权重文件；
步骤15，利用获取的最优权重文件对一阶物体检测网络FE-YOLO进行综合评估。
上述步骤优选的，第一阶段冻结一阶物体检测网络FE-YOLO的所有层进行训练和第二阶段所有层均参与训练。
上述步骤优选的，在步骤13中，所述一阶物体检测网络FE-YOLO主要由特征提取网络和特征融合网络构成，所述特征提取网络包括注意力层、基本残差块CRBlock、下采样层Downsample-Block和空间金字塔池化层SPP构成；一阶物体检测网络FE-YOLO预处理包括如下步骤：
步骤131：增强处理后获得的障碍物图像输入一阶物体检测网络FE-YOLO中的注意力层接收，注意力层将任意输入尺寸的障碍物图像进行调整处理，经过注意力层处理后获取3通道的特征图，特征图大小缩放为原来一半，通道数增加为原来4倍；
步骤132：将所述特征图输入基本残差块CRBlock后分两条路径向后传递，以步长为1的1×1卷积核进行特征提取，所有卷积操作均不改变特征图大小，基本残差块CRBlock中的加深网络层次CSPunit同样分两条路径向后传递分别与特征融合网络进行拼接和相加；
步骤134：加深网络层次CSPunit在CRBlock中分别重复2次、4次和4次；基本残差块CRBlock在特征拼接前需在两条路径再次进行二维卷积，拼接后继续经过批处理层、激活函数层和卷积块。
上述步骤优选的，特征图通过下采样层Downsample-Block，以降低输入特征图的分辨率并扩展通道数量，经基本残差块CRBlock输出的特征图在两条路径上传播，一条为卷积路径，另一条为池化路径，特征图在卷积路径上先进行步长为1、卷积核大小为1×1的卷积，然后再进行步长为2、卷积核大小为3×3的卷积；卷积路径上特征图进行的操作为最大池化；两条路径以级联相加的方式融合后，再经过步长为1、卷积核大小为3×3的卷积块完成下采样，实现特征提取。
上述方案优选的，所述空间金字塔池化层由内核大小为5×5、9×9，13×13的最大池化层和一个跳过连接skip-connection构成，特征图经过空间金字塔池化层SPP后进行级联拼接运算，再继续进行前向传播，由于SPP层中最大的池化核大小接近或者等于预要池化的特征图的大小，使得特征图经过局部特征与全局特征相融合后，丰富了特征图的表达能力。
上述方案优选的，所述特征融合网络采用可重复双向跨度路径聚合网络进行训练学习，其训练学习步骤为：
步骤61：在输入和输出结点是同一层级的前向传播路径上增加跳过连接skip-connection，使每一个路径聚合中存在多个累加操作；
步骤62：为使特征融合网络有重点的学习特征，引入通道注意力机制，将每一个参与累加的路径均赋值权重系数，随着训练的每一次迭代更新权重参数，经过权重累加后的特征融合网络层输出O满足：
Figure BDA0003111272470000041
其中，该层输出的O为特征图，将作为输入继续传递给后面的层(作为Ii)，wi为可学习的权重，可以是标量(每个特征)、矢量(每个通道)和张量(每个像素)。为使训练稳定，采用权重归一化来限制权重值范围，采用Relu函数使wi≥0，Ii为某条路径的输出，∈＝0.0001；
步骤63：在累加层之后分别设置常规卷积和可分离卷积，为更好的融合来自特征提取网络的特征图，输入的特征图第一次经过双向跨度路径聚合时使用普通二维卷积，在之后重复的双向跨度路径聚合中使用可分离卷积，在每个卷积后添加批处理规范化和激活，再使用可分离卷积和常规卷积组合降低计算量的同时保证精确度，使用最大池化代替普通卷积进行下采样。
上述方案优选的，输入的特征图第一次经过双向跨度路径聚合时使用普通二维卷积需经过卷积核和步长为1的卷积块。
上述方案优选的，利用获取的最优权重文件对特征提取网络FE-YOLO进行综合评估包括使用mAP、网络参数量、每步迭代时间、单帧检测时间指标对特征提取网络FE-YOLO进行综合评估。
综上所述，由于本发明采用了上述技术方案，本发明具有如下显著效果：
针对地铁列车障碍物检测场景，提出了一种灵活且高效的一阶物体检测网络FE-YOLO。拥有全新的网络结构，且可根据不同检测需求更改组合方式，提高了对中小型障碍物以及不规则物体的检测精度。FE-YOLO的网络结构主要由特征提取网络和特征融合网络构成。在特征提取网络中，设计了新的下采样模块代替普通二维卷积采样，使得采样更稳定。使用CRBlock作为特征提取网络中的基本残差块以提高提取效率。此外，引入了硬注意力机制使网络更关注输入特征的每个点。使用空间金字塔池化结构丰富特征图的表达能力和扩大感受野。在特征融合网络中，设计了可重复的双向跨尺度路径聚合模块，使用可分离卷积与二维卷积组合的方式降低计算量的同时提高检测效率。使用通道注意力机制使网络有重点的学习，增加Skip-connection加强特征融合网络的同级前后层间联系。实验场景均为真实列车运行环境，模型实验及实际部署在NVIDIA JETSON AGX XAVIER上进行，本发明可以有效实现列车前方障碍物检测，检测率高，满足实时检测要求。
附图说明
图1是本发明一种基于改进卷积神经网络的轨道交通障碍物检测方法的流程图；
图2是本发明的FE-YOLO网络模型框架图，其中该图中(a)部分为特征提取网络，(b)部分为特征融合网络，(c)部分为YOLO输出层，(d)部分为可重复双向跨度路径聚合网络；
图3是本发明的基本残差模块CRBlock的结构图；
图4是本发明的下采样层结构图；
图5是本发明的可重复双向跨度路径聚合网络结构图；
图6是本发明FE-YOLO模型图片检测结果。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
结合图1，根据本发明的一种基于改进卷积神经网络的轨道交通障碍物检测方法，所述障碍物检测方法包括以下步骤：
步骤11，列车行驶在真实地铁线路上，使用双目摄像机实时捕获列车行驶前方道路信息并进行保存，从保存的本地文件中挑选包含障碍物的关键视频段，再将视频段进行每隔50帧保存成图片形式并筛选，将筛选出的所有图片用于构建轨道交通列车的障碍物图像数据集；
步骤12，将获得的障碍物图像数据集进行数据增强处理，由于轨道交通行驶环境较为复杂，所以需要多样化的图像集。图像数据增强的使用让有限的样本产生更多的数据，增加训练样本的数量以及多样性，提升模型鲁棒性，在本发明中，对图像进行数据增强的处理包括图像水平翻转、随机旋转图像、设置不同对比度、平均池化和高斯噪声添加等；对强处理后获得的障碍物图像进行标注，然后将标注的信息以XML文件格式储存在指定路径中，按照规范将障碍物图像的文件和所标注的XML数据信息以PASCAL VOC格式储存，再对存储的障碍物图像集进行划分为训练集和测试集，在训练集中随机抽取10％的数据作为验证集，并按顺序编号后将标注的信息和文件的存储路径保存在txt格式文件汇总；在本发明中，由于卷积神经网络的有效训练依赖于大量的注释数据。障碍物图像数据增强之后对图像数据集中的障碍物使用标签制作工具LabelImg进行标注；标注信息包括障碍物矩形锚框坐标、实际类别等，以XML文件格式储存在指定路径中。按照规范将障碍物图像文件和所标注的XML数据信息以PASCAL VOC格式储存；最后把障碍物图像集按70％与30％比例划分训练集和测试集，按顺序编号，最后将标注信息和文件的存储路径保存在txt格式文件汇总，至此前期数据采集以及预处理完成经数据增强后的数据集有7212张图像，其中包含六个类别：行人、不规则障碍物、应答器、广告牌、站台和配电箱，在表1列出了数据集中的标签类别对应数量以及占比，共45102个对象。
表1各标注类别数量及占比
Figure BDA0003111272470000061
步骤13，构建基于深度学习的深度卷积神经检测网络模型，该深度卷积神经检测网络模型基于一阶物体检测网络FE-YOLO，增强处理后获得的障碍物图像输入一阶物体检测网络FE-YOLO进行预处理；
在本发明实施例中，所述一阶物体检测网络FE-YOLO主要由特征提取网络和特征融合网络构成，所述特征提取网络包括注意力层、基本残差块CRBlock、下采样层Downsample-Block和空间金字塔池化层SPP构成；一阶物体检测网络FE-YOLO预处理包括如下步骤：
步骤131：增强处理后获得的障碍物图像输入一阶物体检测网络FE-YOLO中的注意力层接收，注意力层将任意输入尺寸的障碍物图像进行调整处理，经过注意力层处理后获取3通道的特征图，特征图大小缩放为原来一半，通道数增加为原来4倍；在本发明实施例中，在不损失原有特征信息的情况下实现特征图的下采样，特征图通过下采样层Downsample-Block以降低输入特征图的分辨率并扩展通道数量，经基本残差块CRBlock输出的特征图在两条路径上传播，一条为卷积路径，另一条为池化路径，特征图在卷积路径上先进行步长为1、卷积核大小为1×1的卷积，然后再进行步长为2、卷积核大小为3×3的卷积；卷积路径上特征图进行的操作为最大池化；两条路径以级联相加的方式融合后，再经过步长为1、卷积核大小为3×3的卷积块完成下采样，实现特征提取。
在本发明中，网络中的卷积块分为Conv(3×3/1)-BN-LeakyReLU、Conv(3×3/2)-BN-LeakyReLU和Conv(1×1/1)-BN-LeakyReLU三种，可以理解为各个模块均由这些卷积块构成，这些卷积块可理解为基本单元，即卷积中卷积核大小和步长有所改变，批处理规范化与输入通道数量保持一致，从而使上一层输出通道数与下一层输入通道数保持一致。
步骤132：将所述特征图输入基本残差块CRBlock后分两条路径向后传递，以步长为1的1×1卷积核进行特征提取，所有卷积操作均不改变特征图大小，图像的大小即像素，此处为416×416，有三个通道(RGB)，所以该图像特征大小为416×416×3，网络均是基于该特征进行操作，经过不同的子网络则该特征相应进行改变，比如像素的改变和通道数量的改变；基本残差块CRBlock中的加深网络层次CSPunit同样分两条路径向后传递分别与特征融合网络进行拼接和相加；CRBlock中的CSPunit是加深网络层次的关键，CSPunit同样也有两条路径传播特征，但融合特征的操作是相加而不是拼接。传统YOLO网络从上至下分别将其重复1，2，8，8，4次；加深网络层次CSPunit被包含在残差块CRBlock中，起到特征提取的作用；
步骤134：加深网络层次CSPunit在CRBlock中分别重复2次、4次和4次(CSPunit在CRBlock中重复出现的次数)；基本残差块CRBlock在特征拼接前需在两条路径再次进行二维卷积，拼接后继续经过批处理层、激活函数层和卷积块；为提高空间不变性、降低过拟合概率，扩大感受野，设计了空间金字塔池化层(SPP)进行特征融合处理，所述空间金字塔池化层由内核大小为5×5、9×9，13×13的最大池化层和一个跳过连接skip-connection构成，特征图经过空间金字塔池化层SPP后进行级联拼接运算，再继续进行前向传播，由于空间金字塔池化层(SPP)中最大的池化核大小接近或者等于预要池化的特征图的大小，使得特征图经过局部特征与全局特征相融合后，丰富了特征图的表达能力；
在本发明中，所述特征融合网络采用可重复双向跨度路径聚合网络进行训练学习，其训练学习步骤为：在输入和输出结点是同一层级的前向传播路径上增加跳过连接skip-connection，使每一个路径聚合中存在多个累加操作；为使特征融合网络有重点的学习特征，引入通道注意力机制，将每一个参与累加的路径均赋值权重系数，随着训练的每一次迭代更新权重参数，经过权重累加后的特征融合网络层输出O满足：
Figure BDA0003111272470000071
其中，该层输出的O为特征图(即O表示该层输出的特征图，)，将作为输入继续传递给后面的层(作为Ii)，wi为可学习的权重，可以是标量(每个特征)、矢量(每个通道)和张量(每个像素)，为使训练稳定，采用权重归一化来限制权重值范围，采用Relu函数使wi≥0，Ii为某条路径的输出，∈＝0.0001；假设输入为前n层的特征图(特征图就是由数值构成的)，这些特征图与传播路径上的权重作运算，运算后将得到新的数值，这些数值组成该层的特征图作为输出，即为O；为避免因重复出现的双向跨尺度连接路径聚合模块而造成计算量增大的问题，在累加层之后分别设置常规卷积和可分离卷积，为更好的融合来自特征提取网络的特征图，输入的特征图第一次经过双向跨度路径聚合时使用普通二维卷积(卷积块)，输入的特征图第一次经过双向跨度路径聚合时使用普通二维卷积需经过卷积核和步长为1的卷积块；在之后重复的双向跨度路径聚合中使用可分离卷积，在每个卷积后添加批处理规范化和激活，再使用可分离卷积和常规卷积组合降低计算量的同时保证精确度，使用最大池化代替普通卷积进行下采样；
在本发明中。特征提取网络中设置有下采样层Downsample-Block，如图4所示为下采样层结构，提取特征的同时达到下采样目的，下采样后将特征图喂入残差块CRBlock，特征提取的任务主要由CRBlock完成，CRBlock结构如图3所示，其中残差单元分别重复2，4，4次。特征图经过最后的下采样层后基本完成主要的特征提取工作，然后进入空间金字塔池化层(SPP)，SPP层包含kernel size为5×5、9×9与13×13的3个最大池化层以及上一卷积块的输出。将池化后的特征与卷积块的输出进行级联拼接操作，此时通道数为输入的4倍，为保持与输入数量一致，SPP层中设置有卷积块。经过SPP层后的特征图再传入CRBlock和卷积块，需要注意的是，该处和特征融合网络的CRBlock中的残差单元均不进行残差操作，即不采用skip-connection，将第二个、第三个CRBlock和最后卷积块得到的输出继续传入特征融合网络。特征融合网络得到三个输入特征图的大小从上至下依次为52×52，26×26，13×13，可以明显看到附图2中(b)有三个层，如图4中也可以看出上中下三层；且经过特征融合网络操作后输出的特征图大小保持一致。如图5所示为可重复的双向跨尺度路径聚合模块。输入的特征图第一次经过双向跨尺度路径聚合模块时需经过卷积核和步长为1的卷积块，目的是使三个层级的通道数保持一致，此处均设置为512。在本发明的场景中，双向跨尺度路径聚合模块重复三次，在特征图反复经过上采样、池化、卷积和累加等操作后，将得到的输出分别传入CRBlock进行最后的主要特征提取工作。至此特征融合工作完成，融合后的结果传入一阶物体检测网络FE-YOLO的预测层；如图2的(c)所示，经过预测层解码等操作后输出的预测信息包括物体类别、预测框信息、置信度得分等。一阶物体检测网络FE-YOLO中每个网格单元预测3个框，利用具有固定宽高的9个先验边界框进行预测。由于使用锚框机制产生候选区域来拟合真实物体位置，所以初始先验锚框的设置影响着预测精度。在模型初始化阶段设置了自适应锚框处理，根据先前标注的障碍物数据集信息，利用K-means聚类法输出适用于轨道交通障碍物数据集的9个大中小尺度先验框以提高训练效果，即根据所标注的障碍物矩形框进行聚类，最终输出的先验框也是矩形框；网络利用先验框与所预测的框进行对比，通过二者重合面积比较是否包含障碍物。主要包含有三种框：所标注的真实框、网络所预测的框、聚类得到的先验框，从而完成利用框来完成检测。使用三个层级实现多尺度预测，每个层级对应三个不同的先验框，第三层级中的13×13特征图含有丰富的语义信息，对应3个大的先验框与32×32的感受野，第一层级中的52×52特征图含有高的分辨率，对应小的先验框与8×8的感受野；
步骤14，对一阶物体检测网络FE-YOLO的超参数进行设置，使用K-Means聚类法基于障碍物图像数据集生成适用于轨道交通障碍物数据集的先验框，采用采用分阶段训练策略对先验框进行分层训练，并取验证集的最小Loss值的作为本次训练的最优权重文件；在本发明中，超参数设置主要对学习率、衰减率、标签平滑度、余弦周期、训练周期等参数进行设置，完毕后开始模型训练。采用采用分阶段训练策略对先验框进行分层训练包括：第一阶段冻结一阶物体检测网络FE-YOLO的所有层进行训练，即不进行参数的更新，第二阶段所有层均参与训练，均随训练周期更新权重参数；取验证集Loss值最小的作为本次训练的最优权重文件，即为各网络层的权值，为判断一件事发生的概率由若干神经网络中的层共同完成，权重则是各层的权值，当获得一个输入，将输入与各层上的权值进行数学运算，即可得到最终的概率；Loss值是网络训练时直接输出的，训练的目的就是让Loss值变的越来越小，即预测值越来越接近真实值；网络的训练目的是使预测的障碍物信息和之前标注的真实信息间的损失值Loss最小，利用该权重文件可使原本空的卷积神经网络覆盖上数值，图像以数字形式输入到网络中，结合这些数值可以输出障碍物位置和类别信息，这些类别信息也是数值；
使用K-Means聚类法基于标注所得障碍物信息生成先验框(基于所标注的障碍物矩形框信息生成先验框，如(6，28)表示6×28的矩形框)。得到的9个先验框为：(6,28),(10,12),(11,48),(15,75),(17,15),(22,25),(31,115),(52,39),(181,126)。本次实验在NVIDIA JETSON AGX XAVIER开发模组上进行训练。设置卷积神经网络输入图像分辨率为416×416，预测置信度阈值IoU为0.5(可以理解为网络最后对输入图像进行的预测会输出一个数值，该值就是置信度，如0.8，则网络认为本次预测的正确率为80％。此处阈值设置为0.5则代表当网络预测置信度大于0.5时才被记录)。由预测框损失、置信度损失和类别损失组成的YOLO损失值的初始权重均设置为1。设置标签平滑值为0，使用在线数据增强方法，即每个迭代周期均对输入进来的图像信息进行在线图像增强。由于已经预先对FE-YOLO网络进行了迁移学习，所以除全连接层外的各层均被映射上权重，为防止训练初期权重被破坏和加快训练速度，采用分阶段训练策略。第一阶段冻结特征提取网络的所有层进行训练，也就是这些层不进行参数更新。第二阶段所有层均参与训练。训练时采用多GPU分布式训练方法，对FE-YOLO网络进行训练时，GPU中所有分区同时对数据进行训练，此外，采用余弦退火算法进行每周期学习率的调整，使用Dropblock进行正则化。训练参数见表2。
表2训练参数设置
Figure BDA0003111272470000101
其中，l0为初始学习率，lmin为最小学习率，以2×Tn为余弦周期。在本次实验中，第一阶段初始学习率l0设置为0.001，最小学习率lmin设置为0.0001，Tn设置为5。第二阶段初始学习率l0、最小学习率lmin以及余弦周期Tn分别设置为0.0005，0.0005和4。此外，第一阶段Batch Size与第二阶段Batch Size均设置为16，第一阶段迭代周期数为50，第二阶段迭代周期数为100，总迭代周期为150。使用Adam梯度下降算法作为训练过程中的优化器，衰减率为0.0005；
步骤15，利用获取的最优权重文件对一阶物体检测网络FE-YOLO进行综合评估；利用获取的最优权重文件对特征提取网络FE-YOLO进行综合评估包括使用mAP、网络参数量、每步迭代时间、单帧检测时间指标对特征提取网络FE-YOLO进行综合评估；
在轨道交通障碍物数据集上将所提FE-YOLO网络与YOLOv4-Tiny，YOLOv4-Relu，YOLOv4-3PP，YOLOv4-CSP、SSD等网络进行对比，每步迭代时间在训练时即可记录，单帧检测时间即仅给网络输入一张图像检测100次，然后取平均时间，网络模型参数量和mAP有特定协议进行计算，在迭代训练集中的图像，假设训练集有160张图像，表2中说明设置批数量为16，所以一次训练16张图像，所以在一个周期内需要迭代160/16＝10次。使用mAP、网络模型参数量、每步迭代时间、单帧检测时间等指标对模型进行综合评估，训练时间和检测时间长短、检测准确率高低。为公平合理的比较模型性能，前述训练过程均不采用预训练权重，所有网络从零开始训练。实验结果如表3所示，图6给出了部分图片检测结果。
表3模型比对结果
Figure BDA0003111272470000111
由表中结果可得，FE-YOLO的mAP值最高，为85.09％，本次实验场景中，站台、广告牌、行人、配电箱为中型检测目标，不规则障碍物、应答器为小型检测目标。FE-YOLO在检测站台、配电箱、行人、不规则障碍物、应答器目标效果最佳，分别为97.67％、84.83％、88.97％、76.08％、79.31％，且针对小型目标的检测效果比其他网络显著。不规则障碍物和应答器类别分别比YOLOv4高出了8.51％和7.47％，说明特征融合网络中可重复的双向跨度路径聚合模块在检测小型目标上做出重要贡献，YOLOv4-CSP在广告牌类上检测效果最好，可达84.23％。SSD是经典的一阶段检测网络，检测Distribution Box准确率最高，为88.36％，检测小目标效果较FE-YOLO有显著差距。但由于输入为300×300，其检测与训练速度快。YOLOv4-Tiny为轻量级网络，针对复杂场景检测效果不令人满意，但是其检测速度快、训练时间短，在简单场景下具有应用价值。单帧图像检测速度基于输入像素为1920×1080的图片进行测试，YOLOv4-Relu检测速度最快，为0.1167s。模型训练往往是整个卷积神经网络耗时最长的部分，缩短训练时长可以提高整个工作效率，且节省调试时间，所以每步迭代时间也被纳入模型比对项目。训练集和验证集共5770张图像，训练设置每步迭代16张图片，一个训练周期迭代360步。由实验结果知FE-YOLO每步迭代时间最短，比YOLOv4快0.8326s，所以一个周期将节省299.736s。综上所述，FE-YOLO在检测中小型目标、实时性、训练效率方面综合表现最佳，且具有应用到其他场景的潜力。本发明基于真实场景构建了轨道交通障碍物数据集RT2021(轨道交通2021，Rail Transit 2021)。利用mAP(平均准确率meanAverage Precision)、单帧检测时间、每步迭代时间与抗噪声能力(抗干扰能力)等指标将FE-YOLO与其他经典目标检测网络在RT2021上进行对比实验，在嵌入式设备上的结果证明FE-YOLO综合表现最佳，mAP可达92.57％，单帧检测时间为0.0989。实验验证本发明可以有效实现列车前方障碍物检测，检测率高，满足实时检测要求。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：所述障碍物检测方法包括以下步骤：
步骤11，使用双目摄像机实时捕获列车行驶前方道路信息并进行保存，从保存的本地文件中挑选包含障碍物的关键视频段，再将视频段进行隔帧保存成图片形式并筛选，将筛选出的所有图片用于构建轨道交通列车的障碍物图像数据集；
步骤12，将获得的障碍物图像数据集进行数据增强处理，再对强处理后获得的障碍物图像进行标注，然后将标注的信息以XML文件格式储存在指定路径中，按照规范将障碍物图像的文件和所标注的XML数据信息以PASCAL VOC格式储存，再对存储的障碍物图像集进行划分为训练集和测试集，在训练集中随机抽取10％的数据作为验证集，并按顺序编号后将标注的信息和文件的存储路径保存在txt格式文件汇总；
步骤13，构建基于深度学习的深度卷积神经检测网络模型，该深度卷积神经检测网络模型基于一阶物体检测网络FE-YOLO，增强处理后获得的障碍物图像输入一阶物体检测网络FE-YOLO进行预处理；
步骤14，对一阶物体检测网络FE-YOLO的超参数进行设置，使用K-Means聚类法基于障碍物图像数据集生成适用于轨道交通障碍物数据集的先验框，采用采用分阶段训练策略对先验框进行分层训练，并取验证集的最小Loss值的作为本次训练的最优权重文件；
步骤15，利用获取的最优权重文件对一阶物体检测网络FE-YOLO进行综合评估。
2.根据权利要求1所述的一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：在所述步骤14中，采用采用分阶段训练策略对先验框进行分层训练包括：第一阶段冻结一阶物体检测网络FE-YOLO的所有层进行训练和第二阶段所有层均参与训练。
3.根据权利要求1所述的一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：在步骤13中，所述一阶物体检测网络FE-YOLO主要由特征提取网络和特征融合网络构成，所述特征提取网络包括注意力层、基本残差块、下采样层和空间金字塔池化层构成；一阶物体检测网络FE-YOLO预处理包括如下步骤：
步骤131：增强处理后获得的障碍物图像输入一阶物体检测网络FE-YOLO中的注意力层接收，注意力层将任意输入尺寸的障碍物图像进行调整处理，经过注意力层处理后获取3通道的特征图，特征图大小缩放为原来一半，通道数增加为原来4倍；
步骤132：将所述特征图输入基本残差块后分两条路径向后传递，以步长为1的1×1卷积核进行特征提取，所有卷积操作均不改变特征图大小，基本残差块中的加深网络层次同样分两条路径向后传递分别与特征融合网络进行拼接和相加；
步骤134：加深网络层次在中分别重复2次、4次和4次；基本残差块在特征拼接前需在两条路径再次进行二维卷积，拼接后继续经过批处理层、激活函数层和卷积块。
4.根据权利要求3所述的一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：特征图通过下采样层，再经基本残差块输出的特征图在两条路径上传播，一条为卷积路径，另一条为池化路径，特征图在卷积路径上先进行步长为1、卷积核大小为1×1的卷积，然后再进行步长为2、卷积核大小为3×3的卷积；卷积路径上特征图进行的操作为最大池化；两条路径以级联相加的方式融合后，再经过步长为1、卷积核大小为3×3的卷积块完成下采样，实现特征提取。
5.根据权利要求3所述的一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：所述空间金字塔池化层由内核大小为5×5、9×9，13×13的最大池化层和一个跳过连接构成，特征图经过空间金字塔池化层后进行级联拼接运算，再继续进行前向传播，由于空间金字塔池化层中最大的池化核大小接近或者等于预要池化的特征图的大小，使得特征图经过局部特征与全局特征相融合后，丰富了特征图的表达能力。
6.根据权利要求3所述的一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：所述特征融合网络采用可重复双向跨度路径聚合网络进行训练学习，其训练学习步骤为：
步骤61：在输入和输出结点是同一层级的前向传播路径上增加跳过连接，使每一个路径聚合中存在多个累加操作；
步骤62：将每一个参与累加的路径均赋值权重系数，随着训练的每一次迭代更新权重参数，经过权重累加后的特征融合网络层输出O满足：
Figure FDA0003111272460000031
其中，wi为可学习的权重，Ii为某条路径的输出，∈＝0.0001；
步骤63：在累加层之后分别设置常规卷积和可分离卷积，为更好的融合来自特征提取网络的特征图，输入的特征图第一次经过双向跨度路径聚合时使用普通二维卷积，在之后重复的双向跨度路径聚合中使用可分离卷积，在每个卷积后添加批处理规范化和激活，再使用可分离卷积和常规卷积组合降低计算量的同时保证精确度，使用最大池化代替普通卷积进行下采样。
7.根据权利要求6所述的一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：输入的特征图第一次经过双向跨度路径聚合时使用普通二维卷积需经过卷积核和步长为1的卷积块。
8.根据权利要求1所述的一种基于改进卷积神经网络的轨道交通障碍物检测方法，其特征在于：利用获取的最优权重文件对特征提取网络FE-YOLO进行综合评估包括使用平均准确率、网络参数量、每步迭代时间、单帧检测时间指标对特征提取网络FE-YOLO进行综合评估。
CN202110658218.6A 2021-06-10 2021-06-10 一种基于改进卷积神经网络的轨道交通障碍物检测方法 Active CN113486726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110658218.6A CN113486726B (zh) 2021-06-10 2021-06-10 一种基于改进卷积神经网络的轨道交通障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110658218.6A CN113486726B (zh) 2021-06-10 2021-06-10 一种基于改进卷积神经网络的轨道交通障碍物检测方法

Publications (2)

Publication Number Publication Date
CN113486726A true CN113486726A (zh) 2021-10-08
CN113486726B CN113486726B (zh) 2023-08-01

Family

ID=77935031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658218.6A Active CN113486726B (zh) 2021-06-10 2021-06-10 一种基于改进卷积神经网络的轨道交通障碍物检测方法

Country Status (1)

Country Link
CN (1) CN113486726B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837144A (zh) * 2021-10-25 2021-12-24 广州微林软件有限公司 一种冰箱的智能化图像数据采集处理方法
CN114139689A (zh) * 2021-12-09 2022-03-04 东北大学 一种用于嵌入式系统的深层聚合神经网络轻量化方法
CN114236553A (zh) * 2022-02-23 2022-03-25 杭州蓝芯科技有限公司 一种基于深度学习的自主移动机器人定位方法
CN114418064A (zh) * 2021-12-27 2022-04-29 西安天和防务技术股份有限公司 一种目标检测方法、终端设备及存储介质
CN114511710A (zh) * 2022-02-10 2022-05-17 北京工业大学 一种基于卷积神经网络的图像目标检测方法
CN114821536A (zh) * 2022-05-13 2022-07-29 河南科技大学 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法
CN114898204A (zh) * 2022-03-03 2022-08-12 中国铁路设计集团有限公司 一种基于深度学习的轨道交通周边危险源检测方法
CN115063777A (zh) * 2022-06-27 2022-09-16 厦门大学 一种野外环境下的无人车障碍物识别方法
CN115187946A (zh) * 2022-07-06 2022-10-14 中国矿业大学 井下障碍物点云与图像数据融合的多尺度智能感知方法
CN116206265A (zh) * 2023-05-05 2023-06-02 昆明轨道交通四号线土建项目建设管理有限公司 用于轨道交通运营维护的防护报警装置及方法
WO2023185564A1 (zh) * 2022-03-29 2023-10-05 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统
CN117236520A (zh) * 2023-11-10 2023-12-15 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法
CN115063777B (zh) * 2022-06-27 2024-06-04 厦门大学 一种野外环境下的无人车障碍物识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197610A (zh) * 2018-02-02 2018-06-22 北京华纵科技有限公司 一种基于深度学习的轨道异物检测系统
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法
CN109697424A (zh) * 2018-12-19 2019-04-30 浙江大学 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法
US20200379471A1 (en) * 2019-06-03 2020-12-03 Byton North America Corporation Traffic blocking detection
CN112131983A (zh) * 2020-09-11 2020-12-25 桂林理工大学 一种基于改进YOLOv3网络的安全帽佩戴检测方法
US20210089841A1 (en) * 2018-02-21 2021-03-25 Robert Bosch Gmbh Real-Time Object Detection Using Depth Sensors
CN112906485A (zh) * 2021-01-25 2021-06-04 杭州易享优智能科技有限公司 基于改进的yolo模型的视障人士辅助障碍物感知方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197610A (zh) * 2018-02-02 2018-06-22 北京华纵科技有限公司 一种基于深度学习的轨道异物检测系统
US20210089841A1 (en) * 2018-02-21 2021-03-25 Robert Bosch Gmbh Real-Time Object Detection Using Depth Sensors
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法
CN109697424A (zh) * 2018-12-19 2019-04-30 浙江大学 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
US20200379471A1 (en) * 2019-06-03 2020-12-03 Byton North America Corporation Traffic blocking detection
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法
CN112131983A (zh) * 2020-09-11 2020-12-25 桂林理工大学 一种基于改进YOLOv3网络的安全帽佩戴检测方法
CN112906485A (zh) * 2021-01-25 2021-06-04 杭州易享优智能科技有限公司 基于改进的yolo模型的视障人士辅助障碍物感知方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C S ARVIND: "Vision Based Driver Assistance for Near Range Obstacle Sensing under Unstructured Traffic Environment", 《IEEE》 *
张银萍: "煤矿地面轨道运输矿车自动避障技术研究", 《煤矿机械》 *
张银萍: "煤矿地面轨道运输矿车自动避障技术研究", 《煤矿机械》, vol. 41, no. 03, 31 March 2020 (2020-03-31) *
肖松举: "基于结构光的铁路异物检测方法研究及其硬件实现", 《中国优秀硕士学位论文全文数据库电子期刊》 *
肖松举: "基于结构光的铁路异物检测方法研究及其硬件实现", 《中国优秀硕士学位论文全文数据库电子期刊》, 15 March 2021 (2021-03-15) *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837144A (zh) * 2021-10-25 2021-12-24 广州微林软件有限公司 一种冰箱的智能化图像数据采集处理方法
CN114139689A (zh) * 2021-12-09 2022-03-04 东北大学 一种用于嵌入式系统的深层聚合神经网络轻量化方法
CN114139689B (zh) * 2021-12-09 2024-05-07 东北大学 一种用于嵌入式系统的深层聚合神经网络轻量化方法
CN114418064A (zh) * 2021-12-27 2022-04-29 西安天和防务技术股份有限公司 一种目标检测方法、终端设备及存储介质
CN114511710A (zh) * 2022-02-10 2022-05-17 北京工业大学 一种基于卷积神经网络的图像目标检测方法
CN114236553A (zh) * 2022-02-23 2022-03-25 杭州蓝芯科技有限公司 一种基于深度学习的自主移动机器人定位方法
CN114898204B (zh) * 2022-03-03 2023-09-05 中国铁路设计集团有限公司 一种基于深度学习的轨道交通周边危险源检测方法
CN114898204A (zh) * 2022-03-03 2022-08-12 中国铁路设计集团有限公司 一种基于深度学习的轨道交通周边危险源检测方法
WO2023185564A1 (zh) * 2022-03-29 2023-10-05 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统
CN114821536B (zh) * 2022-05-13 2024-02-20 河南科技大学 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法
CN114821536A (zh) * 2022-05-13 2022-07-29 河南科技大学 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法
CN115063777A (zh) * 2022-06-27 2022-09-16 厦门大学 一种野外环境下的无人车障碍物识别方法
CN115063777B (zh) * 2022-06-27 2024-06-04 厦门大学 一种野外环境下的无人车障碍物识别方法
CN115187946B (zh) * 2022-07-06 2023-06-27 中国矿业大学 井下障碍物点云与图像数据融合的多尺度智能感知方法
CN115187946A (zh) * 2022-07-06 2022-10-14 中国矿业大学 井下障碍物点云与图像数据融合的多尺度智能感知方法
CN116206265A (zh) * 2023-05-05 2023-06-02 昆明轨道交通四号线土建项目建设管理有限公司 用于轨道交通运营维护的防护报警装置及方法
CN117236520A (zh) * 2023-11-10 2023-12-15 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法
CN117236520B (zh) * 2023-11-10 2024-01-26 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法

Also Published As

Publication number Publication date
CN113486726B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN113486726A (zh) 一种基于改进卷积神经网络的轨道交通障碍物检测方法
Zhang et al. Concrete bridge surface damage detection using a single‐stage detector
CN110276765B (zh) 基于多任务学习深度神经网络的图像全景分割方法
CN111598030A (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN107301400A (zh) 一种语义导向的半监督视频对象分割方法
CN113362491B (zh) 一种车辆轨迹预测及驾驶行为分析方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
Guo et al. Context-aware object detection for vehicular networks based on edge-cloud cooperation
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
Zhao et al. Large scale autonomous driving scenarios clustering with self-supervised feature extraction
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
Zimmer et al. Real-time and robust 3d object detection with roadside lidars
Li A deep learning-based text detection and recognition approach for natural scenes
CN116740495A (zh) 路桥隧道的病害检测模型的训练方法和病害检测方法
CN111639563B (zh) 一种基于多任务的篮球视频事件与目标在线检测方法
Ciamarra et al. Forecasting future instance segmentation with learned optical flow and warping
Guo et al. ANMS: attention-based non-maximum suppression
Li et al. An Improved Lightweight Network Based on YOLOv5s for Object Detection in Autonomous Driving
Yang et al. MPDNet: A Transformer-based real-time passenger detection network in metro stations
Li et al. Prediction model of urban street public space art design indicators based on deep convolutional neural network
Wang et al. Rt-ved: Real-time voi detection on edge nodes with an adaptive model selection framework
Xiong et al. Vehicle detection algorithm based on lightweight YOLOX
Fu et al. Foreground gated network for surveillance object detection
Guo et al. Udtiri: An open-source road pothole detection benchmark suite
Gou et al. A Semantic Consistency Feature Alignment Object Detection Model Based on Mixed-Class Distribution Metrics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant