CN113569750A - 一种基于空间特征聚合的道路目标检测识别方法 - Google Patents

一种基于空间特征聚合的道路目标检测识别方法 Download PDF

Info

Publication number
CN113569750A
CN113569750A CN202110864396.4A CN202110864396A CN113569750A CN 113569750 A CN113569750 A CN 113569750A CN 202110864396 A CN202110864396 A CN 202110864396A CN 113569750 A CN113569750 A CN 113569750A
Authority
CN
China
Prior art keywords
feature
graph
road
road target
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110864396.4A
Other languages
English (en)
Other versions
CN113569750B (zh
Inventor
郑培健
陈建邦
朱明�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dynamic Technology Co ltd
Original Assignee
Shanghai Dynamic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dynamic Technology Co ltd filed Critical Shanghai Dynamic Technology Co ltd
Priority to CN202110864396.4A priority Critical patent/CN113569750B/zh
Publication of CN113569750A publication Critical patent/CN113569750A/zh
Application granted granted Critical
Publication of CN113569750B publication Critical patent/CN113569750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于空间特征聚合的道路目标检测识别方法，包括：将待测车道图输入训练好的道路目标检测模型，获得道路目标预测图；所述的道路目标检测模型包括特征提取器、特征融合模块、分类模块和上采样模块，所述的待测车道图输入特征提取器，获得第一特征图，所述的第一特征图输入特征融合模块，进行特征融合，获得第二特征图，所述的第二特征图输入分类模块，输出第二特征图上的道路目标预测位置，包含道路目标预测位置的第二特征图输入上采样模块，获得与待测车道图尺寸一致的道路目标预测图。与现有技术相比，本发明具有识别精度高、实时性好等优点。

Description

一种基于空间特征聚合的道路目标检测识别方法
技术领域
本发明涉及一种道路交通图像识别技术，尤其是涉及一种基于空间特征聚合的道路目标检测识别方法。
背景技术
车道线检测作为无人驾驶中是最重要的功能之一，它是无人叉车正常进行仓库道路行驶必须具备的能力。
目前的车道线检测算法主要划分为两种：基于传统特征提取的方法和基于深度学习的方法。传统的检测算法利用车道线本身的结构信息，借助人为设计的低级特征(颜色特征、线分割特征、霍夫变换特征等)识别车道线。这种方法对复杂的场景鲁棒性较差。而深度学习方法通过对大量数据样本进行训练学习，故对多种车道线识别能力较强。
现今的CNN模型通常是由卷积块堆叠构建，虽然CNN有强大的特征提取能力，可以提取到图像的语义信息，但现存CNN架构没有足够充分探索图像行和列上的空间关系能力，这些关系对于学习强先验形状的对象很重要，尤其是外观连贯性很弱。例如交通线，车道经常会被遮挡，或者压根就没在路上画车道线。现存CNN架构所提取到的特征仅为局部特征，对于特征图上的每个点来说，既没有考虑到感受野之外的像素信息，也没有考虑到感受野内的点与点之间的相关性。文献《Spatial As Deep:Spatial CNN for Traffic SceneUnderstanding》提出了本文提出了Spatial CNN(SCNN)模型，它将传统的卷积层接层的连接形式的转为feature map中片连片卷积(slice-by-slice)的形式，使得图中像素行和列之间能够传递信息，如图3，SCNN模型先将特征图进行切片，然后再按照下、上、右、左的顺序进行卷积以获取各行各列像素间的空间信息。
但对于现有的SCNN模型，特征在长距离的传播过程中会丢失信息，导致特征图失真，进而导致后续的车道线识别精度降低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于空间特征聚合的道路目标检测识别方法，识别精度高，实时性好。
本发明的目的可以通过以下技术方案来实现：
一种基于空间特征聚合的道路目标检测识别方法，包括：
将待测车道图输入训练好的道路目标检测模型，获得道路目标预测图；
其中，所述的道路目标检测模型包括特征提取器、特征融合模块、分类模块和上采样模块，所述的待测车道图输入特征提取器，获得第一特征图，所述的第一特征图输入特征融合模块，进行特征融合，获得第二特征图，所述的第二特征图输入分类模块，输出第二特征图上的道路目标预测位置，包含道路目标预测位置的第二特征图输入上采样模块，获得与待测车道图尺寸一致的道路目标预测图；
所述的特征融合过程包括：
对第一特征图X1进行迭代融合，所述的迭代融合的计算公式为：
X1 k+1＝Lk(Rk(Uk(Dk(X1 k)))),k＝1,2,…,K
其中，X1 k和X1 k+1分别为第k次和第k+1次迭代获得的中间特征图，K为迭代总次数，
Figure BDA0003187026370000021
M为第一特征图的长度或宽度，Dk、Uk、Rk和Lk分别为沿从上到下、从下到上、从右到左和从左到右方向上的空间聚合过程，最后一次迭代获得的中间特征图，作为第二特征图；
所述的空间聚合过程包括：
对第一特征图进行切片，获得若干行特征向量x；
根据卷积公式对特征向量x进行更新，所述的卷积公式为：
Figure BDA0003187026370000022
其中，xi和x′i分别表示进行更新前和更新后的第i行特征向量，f表示卷积运算，relu为激活函数；
沿着切片方向对更新后的所有特征向量进行平移，再通过卷积，利用更新后的特征向量，对与其空间位置对应的更新前的特征向量进行更新，完成一次卷积运算；
所述的空间聚合过程，通过平移更新后的所有特征向量，在将平移后特征向量与空间位置对应的更新前的特征向量进行融合，解决了现有的SCNN模型在长距离传播特征的过程中出现信息丢失的问题，每一次迭代都按照从上到下、从下到上、从右到左、从左到右的顺序进行信息的搜集，通过多次迭代，能充分利用特征之间的空间信息，第二特征图中的每一个点都能获得其他点的信息，有利于提高道路目标的识别精度。
进一步地，所述的分类模块包括若干个分类单元，所述的分类模块的训练过程包括：
采集样本车道图，构成训练集，利用训练集训练分类模块中的各个分类单元。
进一步地，所述的第二特征图的纬度为C×h×w；
所述的道路目标预测位置的获取过程包括：
利用根据训练集获取的先验知识，在第二特征图上挑选出若干行预定义行，每个分类单元对应一行预定义行；
将每行预定义行分为w个单元格，以单元格为单位，预测每行预定义行中存在道路目标的单元格，进而获得第二特征图上的道路目标预测位置；
不同于现有的SCNN模型采用逐像素分类的方法，预先挑选出若干预定义行，每个预定义行对应一个分类单元，同时对所有预定义行进行识别，将各个分类单元的预测的道路目标所在单元格进行组合，获得道路目标预测位置，识别速度大大提高，提高了道路目标识别的实时性。
进一步地，所述的道路目标检测模型还包括分割模块；
训练分类模块的同时，所述的分割模块变换第二特征图的通道数，使第二特征图的通道数与道路目标数量相等；
所述的上采样模块对通道数变换之后的第二特征图进行上采样，获得与样本车道图尺寸一致的车道分割图，同时将通道数变换之后的第二特征图展开为一维向量，并经过全连接层处理，获得长度与道路目标数量相同的判断向量，所述的判断向量中的元素与道路目标一一对应，表示车道分割图中是否存在对应的道路目标，用1和0分别表示存在和不存在。
进一步地，训练分类模块的损失函数Ltotal的计算公式为：
Ltotal＝Lcls+αLseg+βLexist
其中，Lcls为分类单元的分类损失函数，Lseg和Lexist分别为分割模块的二元交叉熵损失和存在分类交叉损失，α和β为权重系数。
进一步地，所述的分类损失函数为交叉熵损失函数，计算公式为：
Figure BDA0003187026370000041
Pi,j＝fij(X2),s.t.i∈[1,C],j∈[1,h]
其中，X2为纬度为C×h×w的第二特征图，fij为第i条道路目标关于第j行预定义行位置的分类模块，Pi,j为分类结果向量，Pi,j为w+1维的向量，其中前w个元素表示第i条道路目标位于第j行预定义行的w个单元格中的概率，最后一个元素表示在第j行预定义行是否存在第i条道路目标，用1和0分别表示存在和不存在，Ti,j表示正确位置的one-hot标签。
进一步地，所述的特征提取器以VGG16网络中全连接层之前的网络作为主干网络。
进一步地，所述的主干网络中，去除了VGG16网络中最后两个池化层，保留更多的语义信息，有利于上采样，避免语义信息丢失。
进一步地，所述的主干网络中，每层卷积层之后依次增设批量归一化层和激活层，提高了特征提取器的收敛速度和训练集特征的学习效果。
进一步地，所述的主干网络中，最后两个卷积层采用扩张卷积，保证不改变感受野的同时不改变特征图的尺寸，增加感受野，避免语义信息丢失。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明对第一特征图进行迭代融合，每次迭代分别沿从上到下、从下到上、从右到左和从左到右方向上进行空间聚合过程，空间聚合过程中，对第一特征图进行切片，获得若干行特征向量，根据卷积公式对特征向量进行更新，沿着切片方向对更新后的所有特征向量进行平移，再通过卷积，利用更新后的特征向量，对与其空间位置对应的更新前的特征向量进行更新，完成一次卷积运算，空间聚合过程通过平移更新后的所有特征向量，在将平移后特征向量与空间位置对应的更新前的特征向量进行融合，解决了现有的SCNN模型在长距离传播特征的过程中出现信息丢失的问题，每一次迭代都按照从上到下、从下到上、从右到左、从左到右的顺序进行信息的搜集，通过多次迭代，能充分利用特征之间的空间信息，第二特征图中的每一个点都能获得其他点的信息，有利于提高道路目标的识别精度；
(2)本发明分类模块包括若干个分类单元，利用根据训练集获取的先验知识，在第二特征图上挑选出若干行预定义行，每个分类单元对应一行预定义行；将每行预定义行分为若干个单元格，以单元格为单位，预测每行预定义行中存在道路目标的单元格，进而获得第二特征图上的道路目标预测位置，不同于现有的SCNN模型采用逐像素分类的方法，预先挑选出若干预定义行，每个预定义行对应一个分类单元，同时对所有预定义行进行识别，将各个分类单元的预测的道路目标所在单元格进行组合，获得道路目标预测位置，识别速度大大提高，提高了道路目标识别的实时性；
(3)本发明特征提取器以VGG16网络中全连接层之前的网络作为主干网络，，由于道路目标占图像像素较少，为避免下采样造成语义信息的丢失，主干网络中，去除了VGG16网络中最后两个池化层，保留更多的语义信息，有利于上采样，主干网络中，最后两个卷积层采用扩张卷积，保证不改变感受野的同时不改变特征图的尺寸，增加感受野，避免语义信息丢失；
(4)本发明特征提取器的主干网络中，每层卷积层之后依次增设批量归一化层和激活层，提高了特征提取器的收敛速度和训练集特征的学习效果。
附图说明
图1为现有的VGG16网络结构示意图；
图2为特征提取器的主干网络结构示意图；
图3为现有的SCNN模型的特征融合方式示意图；
图4为本发明空间聚合过程示意图；
图5为迭代融合过程示意图；
图6为分割模块结构示意图；
图7为实际场景识别结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种基于空间特征聚合的道路目标检测识别方法，包括：
将待测车道图输入训练好的道路目标检测模型，获得道路目标预测图；
其中，道路目标检测模型包括特征提取器、特征融合模块、分类模块和上采样模块，待测车道图输入特征提取器，获得第一特征图，第一特征图输入特征融合模块，进行特征融合，获得第二特征图，第二特征图输入分类模块，输出第二特征图上的道路目标预测位置，包含道路目标预测位置的第二特征图输入上采样模块，获得与待测车道图尺寸一致的道路目标预测图；
特征融合过程包括：
对第一特征图X1进行迭代融合，迭代融合的计算公式为：
X1 k+1＝Lk(Rk(Uk(Dk(X1 k)))),k＝1,2,…,K
其中，X1 k和X1 k+1分别为第k次和第k+1次迭代获得的中间特征图，K为迭代总次数，
Figure BDA0003187026370000061
M为第一特征图的长度或宽度，Dk、Uk、Rk和Lk分别为沿从上到下、从下到上、从右到左和从左到右方向上的空间聚合过程，最后一次迭代获得的中间特征图，作为第二特征图；
如图4，空间聚合过程包括：
对第一特征图进行切片，获得若干行特征向量x；
根据卷积公式对特征向量x进行更新，卷积公式为：
Figure BDA0003187026370000062
其中，xi和x′i分别表示进行更新前和更新后的第i行特征向量，f表示卷积运算，relu为激活函数；
沿着切片方向对更新后的所有特征向量进行平移，再通过卷积，利用更新后的特征向量，对与其空间位置对应的更新前的特征向量进行更新，完成一次卷积运算；
空间聚合过程，通过平移更新后的所有特征向量，在将平移后特征向量与空间位置对应的更新前的特征向量进行融合，解决了现有的SCNN模型在长距离传播特征的过程中出现信息丢失的问题，每一次迭代都按照从上到下、从下到上、从右到左、从左到右的顺序进行信息的搜集，通过多次迭代，能充分利用特征之间的空间信息，第二特征图中的每一个点都能获得其他点的信息，有利于提高道路目标的识别精度。
分类模块包括若干个分类单元，分类模块的训练过程包括：
采集样本车道图，构成训练集，利用训练集训练分类模块中的各个分类单元。
第二特征图的纬度为C×h×w，道路目标预测位置的获取过程包括：
利用根据训练集获取的先验知识，在第二特征图上挑选出若干行预定义行，每个分类单元对应一行预定义行；
将每行预定义行分为w个单元格，以单元格为单位，预测每行预定义行中存在道路目标的单元格，进而获得第二特征图上的道路目标预测位置；
不同于现有的SCNN模型采用逐像素分类的方法，预先挑选出若干预定义行，每个预定义行对应一个分类单元，同时对所有预定义行进行识别，将各个分类单元的预测的道路目标所在单元格进行组合，获得道路目标预测位置，识别速度大大提高，提高了道路目标识别的实时性。
如图6，道路目标检测模型还包括分割模块；
训练分类模块的同时，分割模块变换第二特征图的通道数，使第二特征图的通道数与道路目标数量相等；
上采样模块对通道数变换之后的第二特征图进行上采样，获得与样本车道图尺寸一致的车道分割图，同时将通道数变换之后的第二特征图展开为一维向量，并经过全连接层处理，获得长度与道路目标数量相同的判断向量，判断向量中的元素与道路目标一一对应，表示车道分割图中是否存在对应的道路目标，用1和0分别表示存在和不存在。
训练分类模块的损失函数Ltotal的计算公式为：
Ltotal＝Lcls+αLseg+βLexist
其中，Lcls为分类单元的分类损失函数，Lseg和Lexist分别为分割模块的二元交叉熵损失和存在分类交叉损失，α和β为权重系数。
分类损失函数为交叉熵损失函数，计算公式为：
Figure BDA0003187026370000071
Pi,j＝fij(X2),s.t.i∈[1,C],j∈[1,h]
其中，X2为纬度为C×h×w的第二特征图，fij为第i条道路目标关于第j行预定义行位置的分类模块，Pi,j为分类结果向量，Pi,j为w+1维的向量，其中前w个元素表示第i条道路目标位于第j行预定义行的w个单元格中的概率，最后一个元素表示在第j行预定义行是否存在第i条道路目标，用1和0分别表示存在和不存在，Ti,j表示正确位置的one-hot标签。
分割模块只在训练道路目标检测模型时辅助训练，测试的时候不参与信息传播，不影响网络的检测速度。
如图1和图2，特征提取器以VGG16网络中全连接层之前的网络作为主干网络，由于车道线占图像像素较少，为避免下采样造成语义信息的丢失，主干网络中，去除了VGG16网络中最后两个池化层，保留更多的语义信息，有利于上采样，避免语义信息丢失，主干网络中最后两个卷积层采用扩张卷积，保证不改变感受野的同时不改变特征图的尺寸，增加感受野，主干网络中，每层卷积层之后依次增设批量归一化层和激活层，提高了特征提取器的收敛速度和训练集特征的学习效果。
利用本实施例提出的道路目标检测识别方法应用于车道线的识别，获得的识别结果如图7所示，可见本实施例提出的道路目标检测识别方法的车道线识别精度较高。
本实施例提出了一种基于空间特征聚合的道路目标检测识别方法，解决了现有的SCNN模型在长距离传播特征的过程中出现信息丢失的问题，提高了道路目标的识别精度，不同于现有的SCNN模型采用逐像素分类的方法，预先挑选出若干预定义行，每个预定义行对应一个分类单元，同时对所有预定义行进行识别，将各个分类单元的预测的道路目标所在单元格进行组合，获得道路目标预测位置，识别速度大大提高，提高了道路目标识别的实时性，特征提取器以VGG16网络中全连接层之前的网络作为主干网络，由于道路目标占图像像素较少，为避免下采样造成语义信息的丢失，主干网络中，去除了VGG16网络中最后两个池化层，保留更多的语义信息，有利于上采样，主干网络中，最后两个卷积层采用扩张卷积，保证不改变感受野的同时不改变特征图的尺寸，增加感受野，避免语义信息丢失；特征提取器的主干网络中，每层卷积层之后依次增设批量归一化层和激活层，提高了特征提取器的收敛速度和训练集特征的学习效果。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于空间特征聚合的道路目标检测识别方法，包括：
将待测车道图输入训练好的道路目标检测模型，获得道路目标预测图；
其中，所述的道路目标检测模型包括特征提取器、特征融合模块、分类模块和上采样模块，所述的待测车道图输入特征提取器，获得第一特征图，所述的第一特征图输入特征融合模块，进行特征融合，获得第二特征图，所述的第二特征图输入分类模块，输出第二特征图上的道路目标预测位置，包含道路目标预测位置的第二特征图输入上采样模块，获得与待测车道图尺寸一致的道路目标预测图；
其特征在于，所述的特征融合过程包括：
对第一特征图X1进行迭代融合，所述的迭代融合的计算公式为：
X1 k+1＝Lk(Rk(Uk(Dk(X1 k)))),k＝1,2,...,K
其中，X1 k和X1 k+1分别为第k次和第k+1次迭代获得的中间特征图，K为迭代总次数，
Figure FDA0003187026360000011
M为第一特征图的长度或宽度，Dk、Uk、Rk和Lk分别为沿从上到下、从下到上、从右到左和从左到右方向上的空间聚合过程，最后一次迭代获得的中间特征图，作为第二特征图；
所述的空间聚合过程包括：
对第一特征图进行切片，获得若干行特征向量x；
根据卷积公式对特征向量x进行更新，所述的卷积公式为：
Figure FDA0003187026360000012
其中，xi和xi′分别表示进行更新前和更新后的第i行特征向量，f表示卷积运算，relu为激活函数；
沿着切片方向对更新后的所有特征向量进行平移，再通过卷积，利用更新后的特征向量，对与其空间位置对应的更新前的特征向量进行更新，完成一次卷积运算。
2.根据权利要求1所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的分类模块包括若干个分类单元，所述的分类模块的训练过程包括：
采集样本车道图，构成训练集，利用训练集训练分类模块中的各个分类单元。
3.根据权利要求2所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的第二特征图的纬度为C×h×w，所述的道路目标预测位置的获取过程包括：
在第二特征图上挑选出若干行预定义行，每个分类单元对应一行预定义行；
将每行预定义行分为w个单元格，以单元格为单位，预测每行预定义行中存在道路目标的单元格，进而获得第二特征图上的道路目标预测位置。
4.根据权利要求3所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的道路目标检测模型还包括分割模块；
训练分类模块的同时，所述的分割模块变换第二特征图的通道数，使第二特征图的通道数与道路目标数量相等；
所述的上采样模块对通道数变换之后的第二特征图进行上采样，获得与样本车道图尺寸一致的车道分割图，同时将通道数变换之后的第二特征图展开为一维向量，并经过全连接层处理，获得长度与道路目标数量相同的判断向量，所述的判断向量中的元素与道路目标一一对应，表示车道分割图中是否存在对应的道路目标，用1和0分别表示存在和不存在。
5.根据权利要求4所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，训练分类模块的损失函数Ltotal的计算公式为：
Ltotal＝Lcls+αLseg+βLexist
其中，Lcls为分类单元的分类损失函数，Lseg和Lexist分别为分割模块的二元交叉熵损失和存在分类交叉损失，α和β为权重系数。
6.根据权利要求5所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的分类损失函数为交叉熵损失函数，计算公式为：
Figure FDA0003187026360000021
Pi,j＝fij(X2),s.t.i∈[1,C],j∈[1,h]
其中，X2为纬度为C×h×w的第二特征图，fij为第i条道路目标关于第j行预定义行位置的分类模块，Pi,j为分类结果向量，Pi,j为w+1维的向量，其中前w个元素表示第i条道路目标位于第j行预定义行的w个单元格中的概率，最后一个元素表示在第j行预定义行是否存在第i条道路目标，用1和0分别表示存在和不存在，Ti,j表示正确位置的one-hot标签。
7.根据权利要求1所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的特征提取器以VGG16网络中全连接层之前的网络作为主干网络。
8.根据权利要求7所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的主干网络中，去除了VGG16网络中最后两个池化层。
9.根据权利要求7所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的主干网络中，每层卷积层之后依次增设批量归一化层和激活层。
10.根据权利要求7所述的一种基于空间特征聚合的道路目标检测识别方法，其特征在于，所述的主干网络中，最后两个卷积层采用扩张卷积。
CN202110864396.4A 2021-07-29 2021-07-29 一种基于空间特征聚合的道路目标检测识别方法 Active CN113569750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110864396.4A CN113569750B (zh) 2021-07-29 2021-07-29 一种基于空间特征聚合的道路目标检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110864396.4A CN113569750B (zh) 2021-07-29 2021-07-29 一种基于空间特征聚合的道路目标检测识别方法

Publications (2)

Publication Number Publication Date
CN113569750A true CN113569750A (zh) 2021-10-29
CN113569750B CN113569750B (zh) 2023-07-07

Family

ID=78168971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110864396.4A Active CN113569750B (zh) 2021-07-29 2021-07-29 一种基于空间特征聚合的道路目标检测识别方法

Country Status (1)

Country Link
CN (1) CN113569750B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866143A (zh) * 2009-04-14 2010-10-20 北京宏德信智源信息技术有限公司 基于时空特征聚合的道路交通服务水平预测预报方法
CN110263786A (zh) * 2019-06-24 2019-09-20 东北大学 一种基于特征维度融合的道路多目标识别系统及方法
CN110414387A (zh) * 2019-07-12 2019-11-05 武汉理工大学 一种基于道路分割的车道线多任务学习检测方法
CN112183414A (zh) * 2020-09-29 2021-01-05 南京信息工程大学 一种基于混合空洞卷积的弱监督遥感目标检测方法
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN112562312A (zh) * 2020-10-21 2021-03-26 浙江工业大学 一种基于融合特征的GraphSAGE交通路网数据预测的方法
CN112801404A (zh) * 2021-02-14 2021-05-14 北京工业大学 一种基于自适应空间自注意力图卷积的交通预测方法
CN113011305A (zh) * 2021-03-12 2021-06-22 中国人民解放军国防科技大学 基于语义分割和条件随机场的sar图像道路提取方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866143A (zh) * 2009-04-14 2010-10-20 北京宏德信智源信息技术有限公司 基于时空特征聚合的道路交通服务水平预测预报方法
CN110263786A (zh) * 2019-06-24 2019-09-20 东北大学 一种基于特征维度融合的道路多目标识别系统及方法
CN110414387A (zh) * 2019-07-12 2019-11-05 武汉理工大学 一种基于道路分割的车道线多任务学习检测方法
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN112183414A (zh) * 2020-09-29 2021-01-05 南京信息工程大学 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN112562312A (zh) * 2020-10-21 2021-03-26 浙江工业大学 一种基于融合特征的GraphSAGE交通路网数据预测的方法
CN112801404A (zh) * 2021-02-14 2021-05-14 北京工业大学 一种基于自适应空间自注意力图卷积的交通预测方法
CN113011305A (zh) * 2021-03-12 2021-06-22 中国人民解放军国防科技大学 基于语义分割和条件随机场的sar图像道路提取方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲁德辉: "基于深度学习的遥感影像道路自动提取研究", 中国优秀硕士学位论文全文数据库 *

Also Published As

Publication number Publication date
CN113569750B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN110321923B (zh) 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
CN106127197B (zh) 基于显著标签排序的图像显著性目标检测方法和装置
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN112036231B (zh) 一种基于车载视频的车道线和路面指示标志检测与识别方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN111738114B (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN111507275B (zh) 一种基于深度学习的视频数据时序信息提取方法及装置
CN110717493B (zh) 一种基于深度学习的含堆叠字符的车牌识别方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN115019103A (zh) 基于坐标注意力群组优化的小样本目标检测方法
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN116580322A (zh) 一种地面背景下无人机红外小目标检测方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN113095479A (zh) 一种基于多尺度注意力机制的冰下层结构提取方法
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN113569750B (zh) 一种基于空间特征聚合的道路目标检测识别方法
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN117197687A (zh) 一种面向无人机航拍密集小目标的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant