CN114627441A - 非结构化道路识别网络训练方法、应用方法及存储介质 - Google Patents

非结构化道路识别网络训练方法、应用方法及存储介质 Download PDF

Info

Publication number
CN114627441A
CN114627441A CN202210085609.8A CN202210085609A CN114627441A CN 114627441 A CN114627441 A CN 114627441A CN 202210085609 A CN202210085609 A CN 202210085609A CN 114627441 A CN114627441 A CN 114627441A
Authority
CN
China
Prior art keywords
layer
convolution
road
network
unstructured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210085609.8A
Other languages
English (en)
Inventor
周斌
贾士达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210085609.8A priority Critical patent/CN114627441A/zh
Publication of CN114627441A publication Critical patent/CN114627441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及非结构化道路识别网络训练方法、应用方法及存储介质，包括：获取包含标注信息的图像训练样本集；根据所述实际道路分类标签确定所述非结构化道路识别网络的损失函数的值；根据所述损失函数的值调整所述非结构化道路识别网络的参数至满足收敛条件，确定训练完备的非结构化道路识别网络。本发明通过引入注意力模块和深度可分离卷积模块，对骨干网络和池化网络进行改进，充分提取其多尺度特征信息，改善网络性能，减少网络参数，实现网络轻量化，得到快速、准确对非结构道路进行识别的目的。

Description

非结构化道路识别网络训练方法、应用方法及存储介质
技术领域
本发明自动驾驶技术领域，尤其涉及非结构化道路识别网络训练方法、应 用方法及存储介质。
背景技术
人工智能被认为是第四次工业革命，无人驾驶技术是人工智能的一个重要 的领域，地面无人车辆作为无人平台的一种，无论是在民用领域还是在军用领 域，都承担着越来越重要的功能与任务。无人驾驶汽车可以利用车载传感器来 感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制 车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。图像语义分 割(Image Semantic Segmentation)是计算机视觉领域中一项基础且极具挑战性的 任务，其目标旨在估计图像中每个像素的类别标签，在地理信息系统、无人驾 驶、医疗影像分析和机器人等领域中发挥着日益重要的作用。对于无人驾驶而 言，图像语义分割可以对环境信息进行高水平的处理，从而为智能车辆提供重要的路况信息，对路况进行精准的判断，为无人驾驶汽车的安全提供了保障。
在道路识别方面，可以把车辆行驶的道路分为结构化道路和非结构化道路。 结构化道路一般是指高速公路、城市干道等结构化较好的公路，这类道路具有 清晰的道路标志线，道路的背景环境比较单一，道路的几何特征也比较明显。 因此，针对它的道路检测问题可以简化为车道线或道路边界的检测。非结构化 道路一般是指城市非骨干道、乡村街道等结构化程度较低的道路，这类道路没 有车道线和清晰的道路边界，再加上受阴影和水迹等的影响，道路区域和非道 路区域难以区分。多变的道路类型，复杂的环境背景，以及阴影、遮挡和变化 的天气等等都是非结构化道路检测所面临的难点。对于小区、学校、景区、乡间等地区的人行道路，因其一般没有明显的边界，所处环境也相对复杂，所以 应属于非结构化道路，目前关于此类道路的研究相对较少。
现有技术中，有学者使用改进的种子和支持向量机(Support Vector Machine，SVM)，提出一种基于视觉和2D激光雷达检测相结合的非结构化道路检测和 识别方法，但该方法主要针对的是森林环境，在其他情况下应用时要扩充数据 集；也有针对现有非结构化道路识别方法存在全像素域计算分类处理实时性差、 易受噪声数据干扰等问题，提出一种基于SLIC(Simple linear iterative clustering) 超像素分割和改进区域生长算法的非结构化道路识别方法，但在色彩和对比度 较弱的情况下存在偏差。因而上述现有方法存在对非结构化道路识别精度差、 实时性不强的问题，因此，如何进行准确、高效且快速的非结构化道路识别是 亟待解决的问题。
发明内容
有鉴于此，有必要提供一种非结构化道路识别网络训练方法、应用方法及 存储介质，用以克服现有技术中对非结构化道路的识别不够准确、高效且快速 的问题。
为了解决上述技术问题，本发明提供一种非结构化道路识别网络训练方法， 包括：
获取包含标注信息的图像训练样本集，其中，所述标注信息包括所述图像 训练样本集中的每个样本图像像素的实际道路分类标签；
根据所述实际道路分类标签确定所述非结构化道路识别网络的损失函数的 值，其中，所述非结构化道路识别网络包括添加注意力模块的骨干网络层、添 加注意力模块和深度可分离卷积模块的金字塔池化层；
根据所述损失函数的值调整所述非结构化道路识别网络的参数至满足收敛 条件，确定训练完备的非结构化道路识别网络。
进一步地，所述根据所述实际道路分类标签确定所述非结构化道路识别网 络的损失函数的值，包括：
将所述图像训练样本集输入至所述非结构化道路识别网络，确定所述每个 样本图像像素对应的预测道路分类标签；
根据所述预测道路分类标签和所述实际道路分类标签之间的误差，确定所 述损失函数。
进一步地，所述非结构化道路识别网络的网络结构包括编码器和解码器， 所述编码器包括依次连接的输入层、深度卷积神经网络模块、空洞空间卷积池 化金字塔模块；所述解码器包括第一解码层、第二解码层、第三解码层和解码 融合层。
进一步地，在所述编码器中，所述深度卷积神经网络模块包括依次连接的 第一卷积块注意力模块、第一深度卷积层、第二深度卷积层、第三深度卷积层、 第四深度卷积层和所述第二卷积块注意力模块，其中：
所述第一卷积块注意力模块，用于对所述输入层的输入图像进行空间和通 道结合的注意力机制操作，确定第一注意力提取图；
所述第一深度卷积层，用于对所述第一注意力提取图进行深度可分离卷积 操作，确定低级特征图；
所述第二深度卷积层，用于对所述低级特征图进行深度可分离卷积操作， 确定中级特征图；
所述第三深度卷积层，用于对所述中级特征图进行深度可分离卷积操作， 确定第三深度卷积特征图；
所述第四深度卷积层，用于对所述第三深度卷积特征图进行深度可分离卷 积操作，确定第四深度卷积特征图；
所述第二卷积块注意力模块，用于对所述第四深度卷积特征图进行空间和 通道结合的注意力机制操作，确定高级特征图。
进一步地，在所述编码器中，所述空洞空间卷积池化金字塔模块包括并行 的第一卷积池化层至第五卷积池化层、编码融合层、第三卷积块注意力模块和 卷积输出层，其中：
所述第一卷积池化层至所述第五卷积池化层，用于分别对所述高级特征图 进行卷积池化操作，确定第一池化特征图至第五池化特征图；
所述编码融合层，用于将所述第一池化特征图至所述第五池化特征图进行 融合，确定融合特征图；
所述第三卷积块注意力模块，用于对所述融合特征图进行空间和通道结合 的注意力机制操作，确定第三注意力提取图；
所述卷积输出层，用于对所述第三注意力提取图进行卷积操作，确定卷积 输出图。
进一步地，在所述解码器中：
所述第一解码层，用于对低级特征层进行深度可分离卷积操作，确定第一 解码特征图；
所述第二解码层，用于对中级特征层进行深度可分离卷积操作和下采样操 作，确定第二解码特征图；
所述第三解码层，用于对卷积输出图进行下采样操作，确定第三解码特征 图；
所述解码融合层，用于对所述第一解码特征图、所述第二解码特征图、所 述第三解码特征图进行融合再进行深度可分离卷积操作，确定最终的解码输出 图。
进一步地，所述损失函数通过如下公式表示：
Figure BDA0003487703560000041
其中，L表示所述损失函数，N表示所述样本图像像素的样本数目，Li表 示第i个样本图像像素的损失误差，yi表示第i个样本图像像素的实际道路分类 标签，pi表示第i个样本图像像素预测为非结构化道路的概率。
本发明还提供一种非结构化道路识别网络应用方法，包括：
获取待测道路图像；
将所述待测道路图像输入至训练完备的非结构化道路识别网络，确定预测 道路分类标签，其中，所述训练完备的非结构化道路识别网络根据如上所述的 非结构化道路识别网络训练方法确定；
根据所述预测道路分类标签，确定道路分割图。
本发明还提供一种电子设备，包括处理器、存储器及存储在存储器上并可 在处理器上运行的计算机程序，处理器执行程序时，实现如上所述的非结构化 道路识别网络训练方法，和/或如上所述的非结构化道路识别网络应用方法。
本发明还提供一种计算机可存储介质，其上存储有计算机程序，其所述计 算机程序被处理器执行时，实现如上所述的非结构化道路识别网络训练方法， 和/或如上所述的非结构化道路识别网络应用方法。
与现有技术相比，本发明的有益效果包括：在非结构化道路识别网络训练 方法中，首先，利用每个样本图像像素的实际道路分类标签，构建图像训练样 本集，对图像训练样本集进行有效的获取；然后，通过实际道路分类标签，构 建相应的损失函数，对非结构化道路识别网络进行训练，有效挖掘样本图像像 素与实际道路分类标签之间的对应关联，采用注意力模块和深度可分离卷积模 块，提升网络识别性能，实现网络的轻量化；最后，利用损失函数，对非结构 化道路识别网络进行训练至收敛，得到训练完备的非结构化道路识别网络，后 续利用该非结构化道路识别网络，即可快速得到对非结构化道路的分割识别结果。在非结构化道路识别网络应用方法中，首先，对待测道路图像进行有效的 获取；然后，利用上述训练完备的非结构化道路识别网络对待测道路图像进行 有效的识别，对其每个像素进行分别识别，即可输出对应的道路分割图。综上， 本发明通过引入注意力模块和深度可分离卷积模块，对骨干网络和池化网络进 行改进，充分提取其多尺度特征信息，改善网络性能，减少网络参数，实现网 络轻量化，得到快速、准确对非结构道路进行识别的目的。
附图说明
图1为本发明提供的非结构化道路识别网络训练方法一实施例的流程示意 图；
图2为本发明提供的注意力模块一实施例的结构示意图；
图3为本发明提供的深度可分离卷积模块一实施例的结构示意图；
图4为本发明提供的图1中步骤S102一实施例的流程示意图；
图5为本发明提供的非结构化道路识别网络一实施例的结构示意图；
图6为本发明提供的非结构化道路识别网络应用方法一实施例的流程示意 图；
图7为本发明提供的训练过程实验数据图一实施例的示意图；
图8为本发明提供的分割结果一实施例的对比示意图；
图9为本发明提供的非结构化道路识别网络训练装置一实施例的结构示意 图；
图10为本发明提供的非结构化道路识别网络应用装置一实施例的结构示 意图；
图11为本发明提供的电子设备一实施例的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一 部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明 的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为 指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有 “第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个” 的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明的描述中，提及“实施例”意味着，结合实施例描述的特定特征、 结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出 现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或 备选的实施例。本领域技术人员显式地和隐式地理解的是，所描述的实施例可 以与其它实施例相结合。
本发明提供了一种非结构化道路识别网络训练方法、应用方法及存储介质， 引入注意力模块和深度可分离卷积模块，减少网络参数，为进一步提高对非结 构化道路识别的准确性和高效性提供了新思路。
在实施例描述之前，对相关词语进行释义：
非结构化道路：实际的道路一般可以分为结构化道路和非结构化道路两类， 结构化道路一般是指高速公路、城市干道等结构化较好的公路，这类道路具有 清晰的道路标志线，道路的背景环境比较单一，道路的几何特征也比较明显。 因此，针对它的道路检测问题可以简化为车道线或道路边界的检测。非结构化 道路一般是指城市非主干道、乡村街道等结构化程度较低的道路，这类道路没 有车道线和清晰的道路边界，再加上受阴影和水迹等的影响，道路区域和非道 路区域难以区分。多变的道路类型，复杂的环境背景，以及阴影、水迹和变化 的天气等等都是非结构化道路检测所面临的困难，也是当前道路识别技术的主 要研究方向。
注意力机制：注意力机制就是对输入权重分配的关注，最开始使用到注意 力机制是在编码器-解码器(encoder-decoder)中,注意力机制通过对编码器所有 时间步的隐藏状态做加权平均来得到下一层的输入变量。
深度可分卷积：卷积神经网络中特征图的空间维和通道(深度)维是可以 解耦的。标准的卷积计算使用权重矩阵实现了空间维和通道维特征的联合映射 (joint mapping)，但代价是高计算复杂度、高内存开销和大量的权重系数。 在观念上深度可分卷积通过对空间维和通道维分别进行映射并将结果进行组合， 在基本保留卷积核的表征学习(representation learning)能力的同时减少了权重 系数的个数。考虑输入和输出通道数的差异，深度可分卷积的权重数约为标准 卷积权重数的10％至25％。一些使用深度可分卷积搭建的卷积神经网络，例 如Xception，在ImageNet数据集的图像识别任务中的表现要由于隐含层权重相 同，但使用标准卷积和Inception模块的Inception v3，因此深度可分卷积也被认 为提升了卷积核参数的使用效率。
基于上述技术名词的描述，现有技术中，往往利用神经网络直接对非结构 道路进行识别，但是涉及网络参数过多，存在精度低时效性差的缺点，传统的 语义分割通过提取图像的低级语义，如大小、纹理、颜色等，在复杂环境中， 鲁棒性和精准度等都存在比较明显的缺陷。近年来，随着深度学习的快速发展， 语义分割领域也取得了突破性进展。2015年，Long等在深度卷积神经网络的 基础上，创造性地提出了全卷积神经网络(FullyConvolutional Network,FCN)， 标志着深度学习在语义分割领域有了跨越式的进步，具有里程碑的意义。与传 统的语义分割方法相比，基于深度学习的语义分割方法更能获取更多，更高级 的语义信息来表达图像中的信息。Deeplab系列架构最早由Google提出，早期的DeepLab v1、DeepLab v2和DeepLab v3采用级联架构，随着U-Net、SegNet 等语义分割架构的提出，编码器-解码器结构成为主流，最具代表性之一的便是 DeepLab v3+。因而，本发明旨在在DeepLab v3+的模型基础上，提出一种高效 准确的非结构化道路识别网络训练方法和应用方法。
以下分别对具体实施例进行详细说明：
本发明实施例提供了一种非结构化道路识别网络训练方法，结合图1来看， 图1为本发明提供的非结构化道路识别网络训练方法一实施例的流程示意图， 包括步骤S101至步骤S103，其中：
在步骤S101中，获取包含标注信息的图像训练样本集，其中，所述标注信 息包括所述图像训练样本集中的每个样本图像像素的实际道路分类标签；
在步骤S102中，根据所述实际道路分类标签确定所述非结构化道路识别网 络的损失函数的值，其中，所述非结构化道路识别网络包括添加注意力模块的 骨干网络层、添加注意力模块和深度可分离卷积模块的金字塔池化层；
在步骤S103中，根据所述损失函数的值调整所述非结构化道路识别网络的 参数至满足收敛条件，确定训练完备的非结构化道路识别网络。
在本发明实施例中，在非结构化道路识别网络训练方法中，首先，利用每 个样本图像像素的实际道路分类标签，构建图像训练样本集，对图像训练样本 集进行有效的获取；然后，通过实际道路分类标签，构建相应的损失函数，对 非结构化道路识别网络进行训练，有效挖掘样本图像像素与实际道路分类标签 之间的对应关联，采用注意力模块和深度可分离卷积模块，提升网络识别性能， 实现网络的轻量化；最后，利用损失函数，对非结构化道路识别网络进行训练 至收敛，得到训练完备的非结构化道路识别网络，后续利用该非结构化道路识 别网络，即可快速得到对非结构化道路的分割识别结果。
作为优选的实施例，结合图2来看，图2为本发明提供的注意力模块一实 施例的结构示意图，注意力模块用于将空间和通道注意力结合，包括空间注意 力模块和通道注意力模块，其具体结构参见图2。
其中，由图2中可以看出，输入特征图首先经过通道注意力模块，建模图 像中每个通道之间的依赖关系，以选择性地增强相互依赖特征的通道信息，进 一步改进了网络的特征表达能力。特征的每一个通道都代表着一个专门的检测 器，因此，通道注意力是关注什么样的特征是有意义的，计算过程如下式所示：
Mc(F)＝σ(MLP(MaxPool(F))+MLP(AvgPool(F)))
式中，MC(F)表示通道注意力图，F为输入特征图，σ表示sigmoid激活函 数，MLP(Multi-Layer Perceptron)为多层感知器，MaxPool和AvgPool分别表 示全局最大池化层和全局平均池层。
其中，将输入的特征图首先经过全局最大池化MaxPool和全局平均池化 AvgPool操作来汇总特征图的空间信息，生成两个不同的空间上下文描述符， 分别代表了平均池化特征和最大池化特征，然后将这两个特征描述符前向传播 到共享网络MLP，该共享网络由一个具有隐藏层的多层感知器MLP组成，最 后，将输出的特征进行逐像素的加和操作，再经过sigmoid激活操作，生成通 道注意力特征图。然后经过空间注意力模块，建模图像中的每个像素与其它像 素的依赖关系，选择性地加强空间位置信息，空间注意力模块更关注于图像中 更重要的区域，同时也能减轻周围冗余信息的干扰，避免对有价值的信息产生 影响，增加了表示能力，空间注意力计算过程如下式所示：
MS(F)＝σ(f7*7([MaxPool(F),AvgPool(F)]))
式中，MS(F)表示空间注意力图，f7*7表示7×7大小的卷积核。
需要说明的是，空间注意力是对通道注意力的补充，对于经通道注意力模 块处理的特征图，沿通道轴应用平均池化和最大池化操作，并将它们串连起来 以生成有效的特征描述符，在连接的特征描述符后面，通过一个卷积核比较大 的卷积层来综合每个点周围的特征，从而生成空间注意力特征图，表示输入特 征图空间位置上的权重，也就是哪些区域更需要关注，哪里是比较冗余的信息 可以降低注意力，减小它的权重。
需要进一步说明的是，两种注意力模型中均有最大池化和平均池化，平均 池化能够有效对该点全局特征属性进行编码，获取该点的特征属性，同时应用 最大池化可以保留一些比较独特特征的信息，可以补偿平均池化因对通道上全 局信息的平均操作而对独特特征的忽略。相比于只使用其中一种能大大提升网 络的表达能力，将平均池化与最大池化结合使用可以得到更精细的特征图。
作为优选的实施例，结合图3来看，图3为本发明提供的深度可分离卷积 模块一实施例的结构示意图，深度可分离卷积模块用于减少了网络的参数量， 其具体结构参见图3。
在本发明实施例中，深度可分离卷积(Depthwise Separable Convolution)[24]可分为逐深度卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)， 常规卷积和深度可分离卷积的过程如图3所示。从本质上说，深度可分离卷积 就是3D卷积kernel的分解(在深度通道上的分解)，虽然只对常规卷积做了 一个很小的改动，但显著减少了参数量，有利于网络的轻量化。
作为优选的实施例，结合图4来看，图4为本发明提供的图1中步骤S102 一实施例的流程示意图，在步骤S102具体包括步骤S201至步骤S202，其中：
在步骤S201中，将所述图像训练样本集输入至所述非结构化道路识别网络， 确定所述每个样本图像像素对应的预测道路分类标签；
在步骤S202中，根据所述预测道路分类标签和所述实际道路分类标签之间 的误差，确定所述损失函数。
在本发明实施例中，利用预测道路分类标签和实际道路分类标签，有效构 建损失函数，完成对网络的收敛训练。
作为优选的实施例，结合图5来看，图5为本发明提供的非结构化道路识 别网络一实施例的结构示意图，所述非结构化道路识别网络的网络结构包括编 码器和解码器，所述编码器包括依次连接的输入层、深度卷积神经网络模块、 空洞空间卷积池化金字塔模块；所述解码器包括第一解码层、第二解码层、第 三解码层和解码融合层。
在本发明实施例中，设置编码器和解码器的结构，保证网络的轻量化和识 别特征的多样性。
在本发明一个具体的实施例中，本发明采用经典的Resnet101作为骨干网 络，并对其进行一定的改进。在Resnet101的第一层之前和最后一层之后加入 CBAM模块(即注意力模块)，以充分利用特征图像的细节信息从而减少错分、 漏分现象，增加特征的多样性，另外原模型中只将骨干网络中的1/4大小的特 征图作为低级特征进行后续处理，忽视了过程中产生的其它特征图中丰富的语 义信息，故本发明将骨干网络中产生的1/8大小的特征图作为中级特征图，以 充分利用语义特征；在ASPP模块(即空洞空间卷积池化金字塔模块)中加入 CBAM注意力机制来提取图像的深层特征，并将ASPP模块中的普通卷积层代 替为深度可分离卷积层，以减少参数量和计算量，加快训练速度。编码器采用 的骨干网络为融合注意力机制的Resnet101。
作为优选的实施例，在所述编码器中，所述深度卷积神经网络模块包括依 次连接的第一卷积块注意力模块、第一深度卷积层、第二深度卷积层、第三深 度卷积层、第四深度卷积层和所述第二卷积块注意力模块，其中：
所述第一卷积块注意力模块，用于对所述输入层的输入图像进行空间和通 道结合的注意力机制操作，确定第一注意力提取图；
所述第一深度卷积层，用于对所述第一注意力提取图进行深度可分离卷积 操作，确定低级特征图；
所述第二深度卷积层，用于对所述低级特征图进行深度可分离卷积操作， 确定中级特征图；
所述第三深度卷积层，用于对所述中级特征图进行深度可分离卷积操作， 确定第三深度卷积特征图；
所述第四深度卷积层，用于对所述第三深度卷积特征图进行深度可分离卷 积操作，确定第四深度卷积特征图；
所述第二卷积块注意力模块，用于对所述第四深度卷积特征图进行空间和 通道结合的注意力机制操作，确定高级特征图。
在本发明实施例中，设置编码器的多个层次结构，完成对输入图像的特征 识别，得到多种特征图像，利用CBAM模块，以充分利用特征图像的细节信息 从而减少错分、漏分现象，增加特征的多样性，并设置多个深度卷积层，充分 利用语义特征，减少参数量和计算量。
作为优选的实施例，在所述编码器中，所述空洞空间卷积池化金字塔模块 包括并行的第一卷积池化层至第五卷积池化层、编码融合层、第三卷积块注意 力模块和卷积输出层，其中：
所述第一卷积池化层至所述第五卷积池化层，用于分别对所述高级特征图 进行卷积池化操作，确定第一池化特征图至第五池化特征图；
所述编码融合层，用于将所述第一池化特征图至所述第五池化特征图进行 融合，确定融合特征图；
所述第三卷积块注意力模块，用于对所述融合特征图进行空间和通道结合 的注意力机制操作，确定第三注意力提取图；
所述卷积输出层，用于对所述第三注意力提取图进行卷积操作，确定卷积 输出图。
在本发明实施例中，设置空洞空间卷积池化金字塔模块，进一步提取多方 面特征信息，提升分割效果。
作为优选的实施例，在所述解码器中：
所述第一解码层，用于对低级特征层进行深度可分离卷积操作，确定第一 解码特征图；
所述第二解码层，用于对中级特征层进行深度可分离卷积操作和下采样操 作，确定第二解码特征图；
所述第三解码层，用于对卷积输出图进行下采样操作，确定第三解码特征 图；
所述解码融合层，用于对所述第一解码特征图、所述第二解码特征图、所 述第三解码特征图进行融合再进行深度可分离卷积操作，确定最终的解码输出 图。
在本发明实施例中，将高、低级特征图和编码器中增加的1/8大小的中级 特征图进行最后的融合，以有效恢复高级特征的细节信息，提升分割效果；原 解码器中的参数量也较多，可用深度可分离卷积层代替普通卷积层以减少参数 量。
作为优选的实施例，所述损失函数通过如下公式表示：
Figure BDA0003487703560000131
其中，L表示所述损失函数，N表示所述样本图像像素的样本数目，Li表 示第i个样本图像像素的损失误差，yi表示第i个样本图像像素的实际道路分类 标签，pi表示第i个样本图像像素预测为非结构化道路的概率。
在本发明实施例中，设置损失函数，保证对非结构化道路识别网络的有效 训练和收敛。
本发明实施例还提供了一种非结构化道路识别网络应用方法，结合图6来 看，图6为本发明提供的非结构化道路识别网络应用方法一实施例的流程示意 图，包括步骤S601至步骤S603，其中：
在步骤S601中，获取待测道路图像；
在步骤S602中，将所述待测道路图像输入至训练完备的非结构化道路识别 网络，确定预测道路分类标签，其中，所述训练完备的非结构化道路识别网络 根据如上所述的非结构化道路识别网络训练方法确定；
在步骤S603中，根据所述预测道路分类标签，确定道路分割图。
在本发明实施例中，首先，对待测道路图像进行有效的获取；然后，利用 上述训练完备的非结构化道路识别网络对待测道路图像进行有效的识别，对其 每个像素进行分别识别，即可输出对应的道路分割图。
下面结合一个具体的应用场景，更清楚地说明本发明技术方案的训练过程， 其中，将非结构化道路识别网络命名为Improved DeepLab v3+，具体流程如下：
第一，数据集的准备：
本发明所采用的数据集为某大学内部非结构化道路，按照不同光照，不同 拍摄角度等进行拍摄，图像分辨率为3024×4032，为了更好地利用图像的信息， 将数据分为训练集、验证集和测试集，比例为4:2:2，并将图像规范化为512× 512，对采集到的图像用opencv的方法进行数据增强，对图像进行水平、垂直、 对角线的翻转、图像移动、缩放等操作，从而极大地扩充了数据集，共得到图 像3211张，有利于训练出更优的网络模型。
第二，实验平台与训练细节：
本发明的程序采用深度学习框架pytorch实现，机器的配置见表1。
表1实验机器配置
Figure BDA0003487703560000141
Figure BDA0003487703560000151
本发明所采用的原始模型是Deeplabv3+，骨干网络采用Resnet101，输入 图片大小(crop size)为513×513，初始学习率为0.007，采用“poly”学习策 略，如式(3)所示，动量momentum为0.9，为了防止过拟合权重衰减率设为 0.0005，优化器采用SGD，训练轮次为100，batch-size为8，采用预训练参数， 以上超参数只设置一次，以用于对比试验。如下式所示：
Figure BDA0003487703560000152
式中，power参数控制曲线在饱和状态下学习率达到的最低值，设为0.9， new_lr表示新的学习率，base_lr表示初始学习率为0.007，iter表示迭代次数， max_iter为总迭代次数。
其中，采用交叉熵损失函数，在二分类的情况下，模型最后需要预测的结 果只有两种情况，得到的概率为p和1-p，表达式为：
Figure BDA0003487703560000153
式中，yi表示样本i的标签，正类为1，负类为0，pi表示样本i预测为正 类的概率。
在图像的语义分割领域，常用的性能评价指标主要有像素准确率(pixelaccuracy，PA)，平均交并比(mean intersection over union，mIoU)和频权交 并比(frequency weighted intersection over union，FWIoU)等，本发明主要采用 的精度评价指标是mIoU，mIoU的具体定义与表达式如式(4)所示，表示每 一类的预测值和真实值的交集与并集的比值求和再平均的结果，是目前图像语 义分割领域最常用的评价指标。如下式所示：
Figure BDA0003487703560000161
式中，N代表图像像素列别数量；Ti代表第i类的像素总数；Xii实际类别 为i、预测类别为i的像素总数；Xji代表实际类别为i、预测类别为j的像素总 数。
本发明的训练过程看看成二分类问题，初始化超参数并开始训练，将本发 明所收集的数据集按照PASCAL VOC2012数据集进行格式化，训练集验证集测 试集的比例为4:2:2，输入训练集中的图片，经过神经网络学习后用验证集的图 片进行验证，评估mIoU的值，输出的结果只有两种，即背景类和道路区域类， 得到每一轮的结果后，通过学习策略调整学习率，然后再进行下一轮次的训练， 直到训练结束，得到最后mIoU最优的模型，通过测试集可以测试模型的准确 性。通过tensorboard可视化工具将训练过程显示为图7，图7为本发明提供的 训练过程实验数据图一实施例的示意图。
其中，由图中可以看出，mIoU值达到98.56％，准确率为99.37％，训练集 损失为5.13，验证集损失为0.21。
第三，结果分析：
首先，对于网络参数量，模型复杂度和训练时间来说，原Deeplabv3+模型 参数量大，模型复杂度高，给训练增加了很大的难度，本发明的目标之一就是 在对精度影响不大的前提下尽量减少参数和模型复杂度，深度可分离卷积可以 极大的减少训练过程中的参数量，提高模型训练效率。表2为PSP、DeepLab v3、 DeepLab v3+以及本发明改进的DeepLabv3+网络的参数量，复杂度和训练时间 的对比，结果表明改进后模型的参数量较原模型减少了21.74％，FLOPs减少了 34.8％，训练时间减少了15.31％。
表2
Figure BDA0003487703560000162
Figure BDA0003487703560000171
其次，对于模型大小，运行时间，速度和精度来说，在本发明所收集的数 据集上对PSP、DeepLab v3、DeepLab v3+以及本发明改进的DeepLab v3+网络 进行训练，得到的模型尺寸，运行加载时间，速度和mIoU值的对比如表3所 示。由表中数据可以看出，本发明改进的网络训练得到的模型在体积上减小了 22.32％，同时在运行加载时间，速度和mIoU值上均有所提高。进一步验证了 本发明提出的网络模型的有效性。
表3
Figure BDA0003487703560000172
最后，对于分割结果来说，结合图8来看，图8为本发明提供的 分割结果一实施例的对比示意图，将本发明改进的算法在非结构化道 路数据集上进行验证，选取色彩较为阴暗的测试图片来测试在可视化 效果较差的情况下训练出的模型的鲁棒性，分割结果的对比如图8所 示，分别为原图片在PSP、DeepLab v3、DeepLab v3+以及本发明改 进的DeepLabv3+网络上的分割结果。由图中可以看出，本发明所改 进的网络对非结构化道路的分割效果较好，可以对道路的边缘进行光 滑处理，并且在可视度较差的情况下也能取得较高的分割精度，同时 整体模型更为轻量化，便于移植。
本发明实施例还提供了一种非结构化道路识别网络训练装置，结合图8来 看，图9为本发明提供的非结构化道路识别网络训练装置一实施例的结构示意 图，非结构化道路识别网络训练装置900包括：
第一获取单元901，用于获取包含标注信息的图像训练样本集，其中，所 述标注信息包括所述图像训练样本集中的每个样本图像像素的实际道路分类标 签；
第一处理单元902，用于根据所述实际道路分类标签确定所述非结构化道 路识别网络的损失函数的值，其中，所述非结构化道路识别网络包括添加注意 力模块的骨干网络层、添加注意力模块和深度可分离卷积模块的金字塔池化层；
训练单元903，用于根据所述损失函数的值调整所述非结构化道路识别网 络的参数至满足收敛条件，确定训练完备的非结构化道路识别网络。
非结构化道路识别网络训练装置的各个单元的更具体实现方式可以参见对 于上述非结构化道路识别网络训练方法的描述，且具有与之相似的有益效果， 在此不再赘述。
本发明实施例还提供了一种非结构化道路识别网络应用装置，结合图10 来看，图10为本发明提供的非结构化道路识别网络应用装置一实施例的结构示 意图，非结构化道路识别网络应用装置1000包括：
第二获取单元1001，用于获取待测道路图像；
第二处理单元1002，用于将所述待测道路图像输入至训练完备的非结构化 道路识别网络，确定预测道路分类标签，其中，所述训练完备的非结构化道路 识别网络根据如上所述的非结构化道路识别网络训练方法确定；
分割单元1003，用于根据所述预测道路分类标签，确定道路分割图。
非结构化道路识别网络应用装置的各个单元的更具体实现方式可以参见对 于上述非结构化道路识别网络应用方法的描述，且具有与之相似的有益效果， 在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序， 该程序被处理器执行时，实现如上所述的非结构化道路识别网络训练方法，和/ 或如上所述的非结构化道路识别网络应用方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算 机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括 任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红 外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储 介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可 擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发 明件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序 可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程 序设计语言，特别是可以使用适于神经网络计算的Python语言和基于 TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、 部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机 上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及 远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网 (LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例 如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供了一种电子设备，结合图11来看，图11为本发明提 供的电子设备一实施例的结构示意图，电子设备1100包括处理器1101、存储 器1102及存储在存储器1102上并可在处理器1101上运行的计算机程序，处理 器1101执行程序时，实现如上所述的非结构化道路识别网络训练方法，和/或 如上所述的非结构化道路识别网络训练方法，和/或如上所述的非结构化道路识 别网络应用方法。
作为优选的实施例，上述电子设备1100还包括显示器1103，用于显示处 理器1101执行如上所述的非结构化道路识别网络训练方法，和/或如上所述的 非结构化道路识别网络应用方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个 模块/单元被存储在存储器1102中，并由处理器1101执行，以完成本发明。一 个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指 令段用于描述计算机程序在电子设备1100中的执行过程。例如，计算机程序可 以被分割成上述实施例中的第一获取单元901、第一处理单元902、训练单元 903、第二获取单元1001、第二处理单元1002以及分割单元1003，各单元的具 体功能如上所述，在此不一一赘述。
电子设备1100可以是带可调摄像头模组的桌上型计算机、笔记本、掌上电 脑或智能手机等设备。
其中，处理器1101可能是一种集成电路芯片，具有信号的处理能力。上述 的处理器1101可以是通用处理器，包括中央处理器(Central Processing Unit， CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可 编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执 行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处 理器或者该处理器也可以是任何常规的处理器等。
其中，存储器1102可以是，但不限于，随机存取存储器 (Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可 编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储 器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储 器1102用于存储程序，所述处理器1101在接收到执行指令后，执行所述程序， 前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器1101中，或者由处理器1101实现。
其中，显示器1103可以是LCD显示屏，也可以是LED显示屏。例如，手 机上的显示屏。
可以理解的是，图11所示的结构仅为电子设备1100的一种结构示意图， 电子设备1100还可以包括比图11所示更多或更少的组件。图11中所示的各组 件可以采用硬件、软件或其组合实现。
根据本发明上述实施例提供的计算机可读存储介质和电子设备，可以参照 根据本发明实现如上所述的非结构化道路识别网络训练方法，和/或如上所述的 非结构化道路识别网络应用方法具体描述的内容实现，并具有与如上所述的非 结构化道路识别网络训练方法，和/或如上所述的非结构化道路识别网络应用方 法类似的有益效果，在此不再赘述。
本发明公开了一种非结构化道路识别网络训练方法、应用方法及存储介质， 在非结构化道路识别网络训练方法中，首先，利用每个样本图像像素的实际道 路分类标签，构建图像训练样本集，对图像训练样本集进行有效的获取；然后， 通过实际道路分类标签，构建相应的损失函数，对非结构化道路识别网络进行 训练，有效挖掘样本图像像素与实际道路分类标签之间的对应关联，采用注意 力模块和深度可分离卷积模块，提升网络识别性能，实现网络的轻量化；最后， 利用损失函数，对非结构化道路识别网络进行训练至收敛，得到训练完备的非 结构化道路识别网络，后续利用该非结构化道路识别网络，即可快速得到对非 结构化道路的分割识别结果。在非结构化道路识别网络应用方法中，首先，对 待测道路图像进行有效的获取；然后，利用上述训练完备的非结构化道路识别 网络对待测道路图像进行有效的识别，对其每个像素进行分别识别，即可输出 对应的道路分割图。
本发明技术方案，通过引入注意力模块和深度可分离卷积模块，对骨干网 络和池化网络进行改进，充分提取其多尺度特征信息，改善网络性能，减少网 络参数，实现网络轻量化，得到快速、准确对非结构道路进行识别的目的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种非结构化道路识别网络训练方法，其特征在于，包括：
获取包含标注信息的图像训练样本集，其中，所述标注信息包括所述图像训练样本集中的每个样本图像像素的实际道路分类标签；
根据所述实际道路分类标签确定所述非结构化道路识别网络的损失函数的值，其中，所述非结构化道路识别网络包括添加注意力模块的骨干网络层、添加注意力模块和深度可分离卷积模块的金字塔池化层；
根据所述损失函数的值调整所述非结构化道路识别网络的参数至满足收敛条件，确定训练完备的非结构化道路识别网络。
2.根据权利要求1所述的非结构化道路识别网络训练方法，其特征在于，所述根据所述实际道路分类标签确定所述非结构化道路识别网络的损失函数的值，包括：
将所述图像训练样本集输入至所述非结构化道路识别网络，确定所述每个样本图像像素对应的预测道路分类标签；
根据所述预测道路分类标签和所述实际道路分类标签之间的误差，确定所述损失函数。
3.根据权利要求2所述的非结构化道路识别网络训练方法，其特征在于，所述非结构化道路识别网络的网络结构包括编码器和解码器，所述编码器包括依次连接的输入层、深度卷积神经网络模块、空洞空间卷积池化金字塔模块；所述解码器包括第一解码层、第二解码层、第三解码层和解码融合层。
4.根据权利要求3所述的非结构化道路识别网络训练方法，其特征在于，在所述编码器中，所述深度卷积神经网络模块包括依次连接的第一卷积块注意力模块、第一深度卷积层、第二深度卷积层、第三深度卷积层、第四深度卷积层和第二卷积块注意力模块，其中：
所述第一卷积块注意力模块，用于对所述输入层的输入图像进行空间和通道结合的注意力机制操作，确定第一注意力提取图；
所述第一深度卷积层，用于对所述第一注意力提取图进行深度可分离卷积操作，确定低级特征图；
所述第二深度卷积层，用于对所述低级特征图进行深度可分离卷积操作，确定中级特征图；
所述第三深度卷积层，用于对所述中级特征图进行深度可分离卷积操作，确定第三深度卷积特征图；
所述第四深度卷积层，用于对所述第三深度卷积特征图进行深度可分离卷积操作，确定第四深度卷积特征图；
所述第二卷积块注意力模块，用于对所述第四深度卷积特征图进行空间和通道结合的注意力机制操作，确定高级特征图。
5.根据权利要求4所述的非结构化道路识别网络训练方法，其特征在于，在所述编码器中，所述空洞空间卷积池化金字塔模块包括并行的第一卷积池化层至第五卷积池化层、编码融合层、第三卷积块注意力模块和卷积输出层，其中：
所述第一卷积池化层至所述第五卷积池化层，用于分别对所述高级特征图进行卷积池化操作，确定第一池化特征图至第五池化特征图；
所述编码融合层，用于将所述第一池化特征图至所述第五池化特征图进行融合，确定融合特征图；
所述第三卷积块注意力模块，用于对所述融合特征图进行空间和通道结合的注意力机制操作，确定第三注意力提取图；
所述卷积输出层，用于对所述第三注意力提取图进行卷积操作，确定卷积输出图。
6.根据权利要求3所述的非结构化道路识别网络训练方法，其特征在于，在所述解码器中：
所述第一解码层，用于对低级特征层进行深度可分离卷积操作，确定第一解码特征图；
所述第二解码层，用于对中级特征层进行深度可分离卷积操作和下采样操作，确定第二解码特征图；
所述第三解码层，用于对卷积输出图进行下采样操作，确定第三解码特征图；
所述解码融合层，用于对所述第一解码特征图、所述第二解码特征图、所述第三解码特征图进行融合再进行深度可分离卷积操作，确定最终的解码输出图。
7.根据权利要求1所述的非结构化道路识别网络训练方法，其特征在于，所述损失函数通过如下公式表示：
Figure FDA0003487703550000031
其中，L表示所述损失函数，N表示所述样本图像像素的样本数目，Li表示第i个样本图像像素的损失误差，yi表示第i个样本图像像素的实际道路分类标签，pi表示第i个样本图像像素预测为非结构化道路的概率。
8.一种非结构化道路识别网络应用方法，其特征在于，包括：
获取待测道路图像；
将所述待测道路图像输入至训练完备的非结构化道路识别网络，确定预测道路分类标签，其中，所述训练完备的非结构化道路识别网络根据权利要求1至7任一项所述的非结构化道路识别网络训练方法确定；
根据所述预测道路分类标签，确定道路分割图。
9.一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现根据权利要求1至7任一项所述的非结构化道路识别网络训练方法，和/或根据权利要求8所述的非结构化道路识别网络应用方法。
10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1至7任一项所述的非结构化道路识别网络训练方法，和/或根据权利要求8所述的非结构化道路识别网络应用方法。
CN202210085609.8A 2022-01-25 2022-01-25 非结构化道路识别网络训练方法、应用方法及存储介质 Pending CN114627441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210085609.8A CN114627441A (zh) 2022-01-25 2022-01-25 非结构化道路识别网络训练方法、应用方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210085609.8A CN114627441A (zh) 2022-01-25 2022-01-25 非结构化道路识别网络训练方法、应用方法及存储介质

Publications (1)

Publication Number Publication Date
CN114627441A true CN114627441A (zh) 2022-06-14

Family

ID=81898000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210085609.8A Pending CN114627441A (zh) 2022-01-25 2022-01-25 非结构化道路识别网络训练方法、应用方法及存储介质

Country Status (1)

Country Link
CN (1) CN114627441A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240036A (zh) * 2022-09-22 2022-10-25 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN115359411A (zh) * 2022-10-21 2022-11-18 成都工业学院 一种基于改进DeepLab V3+网络的变电站环境理解方法
CN117437608A (zh) * 2023-11-16 2024-01-23 元橡科技（北京）有限公司 一种全地形路面类型识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240036A (zh) * 2022-09-22 2022-10-25 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN115240036B (zh) * 2022-09-22 2023-02-03 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN115359411A (zh) * 2022-10-21 2022-11-18 成都工业学院 一种基于改进DeepLab V3+网络的变电站环境理解方法
CN117437608A (zh) * 2023-11-16 2024-01-23 元橡科技（北京）有限公司 一种全地形路面类型识别方法及系统

Similar Documents

Publication Publication Date Title
US11361470B2 (en) Semantically-aware image-based visual localization
Chen et al. Fast vehicle detection algorithm in traffic scene based on improved SSD
CN114627441A (zh) 非结构化道路识别网络训练方法、应用方法及存储介质
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN112784756B (zh) 人体识别跟踪方法
CN116187398B (zh) 一种无人机海洋图像检测用轻量神经网络搭建方法及设备
CN117079163A (zh) 一种基于改进yolox-s的航拍图像小目标检测方法
CN114997307A (zh) 一种轨迹预测方法、装置、设备及存储介质
CN116385761A (zh) 一种融合rgb与红外信息的3d目标检测方法
CN116844129A (zh) 多模态特征对齐融合的路侧目标检测方法、系统及装置
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Zhang et al. Detecting small Chinese traffic signs via improved YOLOv3 method
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
Bi et al. An application of stereo matching algorithm based on transfer learning on robots in multiple scenes
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
Wang et al. Multi-scale dense and attention mechanism for image semantic segmentation based on improved DeepLabv3+
CN116343159B (zh) 一种非结构化场景可通行区域检测方法、装置及存储介质
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN112001453A (zh) 一种视频事件检测算法的准确率计算方法及装置
CN113119996B (zh) 一种轨迹预测方法、装置、电子设备及存储介质
CN112163478A (zh) 一种目标检测的方法及装置
Geng et al. Vehicle and Driver Detection on Highway Based on Cascade R-CNN
Yang et al. A Knowledge Distillation-based Ground Feature Classification Network with Multiscale Feature Fusion in Remote Sensing Images
Yang et al. FRPNet: An improved Faster-ResNet with PASPP for real-time semantic segmentation in the unstructured field scene
Hu et al. Evaluation of multimodal semantic segmentation using RGB-D data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination