CN112712011B - 基于边界细节补偿和相似特征强化的实时道路检测方法 - Google Patents

基于边界细节补偿和相似特征强化的实时道路检测方法 Download PDF

Info

Publication number
CN112712011B
CN112712011B CN202011583490.4A CN202011583490A CN112712011B CN 112712011 B CN112712011 B CN 112712011B CN 202011583490 A CN202011583490 A CN 202011583490A CN 112712011 B CN112712011 B CN 112712011B
Authority
CN
China
Prior art keywords
output
tensor
pixel
image feature
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011583490.4A
Other languages
English (en)
Other versions
CN112712011A (zh
Inventor
白翔
方聪
周瑜
朱盈盈
龚石
吴帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011583490.4A priority Critical patent/CN112712011B/zh
Publication of CN112712011A publication Critical patent/CN112712011A/zh
Application granted granted Critical
Publication of CN112712011B publication Critical patent/CN112712011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Abstract

本发明公开了一种基于边界细节补偿和相似特征强化的实时道路检测方法，包括：采用多尺度图像特征提取器对单目相机采集的单帧图像进行多尺度图像特征提取；采用边界细节补偿模块对提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征；采用相似特征强化模块对得到的道路边界细节补偿后的高层语义图像特征进行基于相似度的局部特征聚合；道路检测，采用第一分类器基于输出的强化图像特征图，输出所述单帧图像场景中的道路检测结果。该方法通过边界细节补偿模块和相似特征强化模块，解决了轻量级特征提取器道路边界预测不准确和在复杂场景条件下易产生道路误检和漏检的问题，提高了道路检测网络的实时性、鲁棒性和准确性。

Description

基于边界细节补偿和相似特征强化的实时道路检测方法
技术领域
本发明属于自动驾驶技术领域，更具体地，涉及一种基于边界细节补偿和相似特征强化的实时道路检测方法。
背景技术
道路检测作为自动驾驶技术的基础和必要模块，为其他自动驾驶高层任务提供中间结果和先验知识。单目相机相比激光雷达和双目相机等传感器应用场景广泛且价格低廉，可用于检测前方道路区域。
近年来，基于深度学习的道路检测方法相对于传统基于特征的方法，取得了更高的精度和更好的鲁棒性。这些基于深度学习的方法采用注意力机制(Sun,Jee-Young etal.“Reverse and Boundary Attention Network for Road Segmentation.”2019IEEE/CVF International Conference on Computer Vision Workshop(ICCVW)(2019):876-885.)、CNN+LSTM混合结构(Lyu,Yecheng et al.“Road Segmentation using CNN andDistributed LSTM.”2019IEEE International Symposium on Circuits and Systems(ISCAS)(2019):1-5.)、贝叶斯模型和额外的道路边界监督(Chen,Z.and Zijing Chen.“RBNet:A Deep Neural Network for Unified Road and Road Boundary Detection.”ICONIP(2017).)等语义分割领域常用的技术手段提高道路检测性能。然而，这些高性能的道路检测方法普遍采用较深和较宽的骨干网络，无法满足车载设备的算力和功耗限制以及自动驾驶任务的实时性要求。直接采用轻量级骨干网络却遭遇以下问题，限制了道路检测的精度：(1)道路边界的预测不准确，特别是与行人、车辆、骑车人的相交边界；(2)在照度剧烈变化、雨雪天气、十字路口等复杂场景条件下，道路检测不鲁棒。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于边界细节补偿和相似特征强化的实时道路检测方法，其目的在于解决现有单目道路检测方法无法得到实时、精确、鲁棒的道路可行驶区域的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于边界细节补偿和相似特征强化的实时道路检测方法，包括以下步骤：
步骤S1，利用深度卷积神经网络特征提取器对单目相机采集的单帧图像进行多尺度图像特征提取；
步骤S2，采用边界细节补偿模块对步骤S1提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征；
步骤S3，采用相似特征强化模块对步骤S2得到的道路边界细节补偿后的高层语义图像特征图进行基于相似度的局部特征聚合，得到强化图像特征图；
步骤S4，将步骤S3输出的强化图像特征图输入第一分类器，输出所述单帧图像场景中的道路检测结果，将所述单帧图像的所有像素划分为道路和非道路两类。
优选地，步骤S1中的多尺度图像特征提取器，采用PeleeNet作为骨干网络进行单目图像多尺度图像特征提取，在stem块中加入插值操作，其结构包含四个阶段，其中：
每个阶段逐步减小图像特征图的尺寸，并增加图像特征图的通道数；
阶段三和阶段四中的3×3卷积层均为空洞卷积；
输出阶段一的低层细节图像特征图和阶段四的高层语义图像特征图，其尺寸分别为单帧图像的1/8和1/32。
优选地，所述步骤S2中，边界细节补偿模块采用带恒等连接的变换模块融合多尺度图像特征，具体包括：
步骤S21，将步骤S1输出的低层细节图像特征图依次输入1×1的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S21输出的图像特征图；
步骤S22，将步骤S1输出的高层语义图像特征图依次输入3×3的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S22输出的图像特征图；
步骤S23，将步骤S22输出的图像特征图插值到单帧图像尺寸的1/8与和步骤S21输出的图像特征图在通道维度上进行连接，并输入变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S23输出的道路边界细节补偿后的高层语义图像特征图。
优选地，所述边界细节补偿模块中变换模块采用两条支路进行特征变换；
一条支路依次采用卷积核为k×1和1×k的深度可分离卷积；
另一条支路依次采用卷积核为1×k和k×1的深度可分离卷积；
两条支路输出的图像特征图进行逐像素点加法操作，并输入到1×1的卷积层。
优选地，所述相似特征强化模块采用相似度度量捕捉局部上下文信息，对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点的特征加权，具体包括：
步骤S31，采用两个参数不共享的1×1卷积层分别对道路边界细节补偿后的高层语义图像特征图X∈RC×H×W进行通道调整，得到张量θ∈
Figure BDA0002864899380000031
和张量
Figure BDA0002864899380000032
其中C为道路边界细节补偿后的高层语义图像特征图X的通道数，
Figure BDA0002864899380000033
为张量θ、φ的通道数，H为张量θ、φ高度维度上的尺寸，W为张量θ、φ宽度维度上的尺寸；
步骤S32，对张量
Figure BDA0002864899380000041
进行展开操作，得到张量
Figure BDA0002864899380000042
改变张量
Figure BDA0002864899380000043
的形状得到张量
Figure BDA0002864899380000044
步骤S33，改变步骤S31的输出张量φ的形状得到张量
Figure BDA0002864899380000045
步骤S34，对张量θS和张量φS进行矩阵乘法运算，对运算结果进行归一化，得到相似度地图VS∈RL×S×1；
步骤S35，改变步骤S32展开操作的输出张量
Figure BDA0002864899380000046
的形状得到张量
Figure BDA00028648993800000420
Figure BDA00028648993800000421
对张量γS和相似度地图VS进行矩阵乘法运算，得到注意力地图
Figure BDA0002864899380000049
Figure BDA00028648993800000410
步骤S36，改变步骤S35输出注意力地图OS的形状得到张量
Figure BDA00028648993800000411
Figure BDA00028648993800000419
采用1×1的卷积层对其通道进行调整，得到张量
Figure BDA00028648993800000412
步骤S37，对步骤S31输入的图像特征图X和步骤S36输出的张量
Figure BDA00028648993800000413
进行逐像素点加法操作，得到相似特征强化模块输出的强化图像特征图Y∈RC×H×W。
优选地，所述步骤S32中，对张量
Figure BDA00028648993800000414
进行展开操作，得到张量
Figure BDA00028648993800000415
包括；
利用展开操作在步骤S31输出张量θ的空间维度上滑动，获得多个局部块
Figure BDA00028648993800000416
其中S为每个滑动块的像素点数量，S＝Πd(k[d])，k[d]是滑动块在某个空间维度上的核大小，d代表不同空间维度；L是滑动块的总数，
Figure BDA00028648993800000417
Figure BDA00028648993800000418
其中spatial是张量θ空间维度上的尺寸，s控制滑动块的步幅，p控制张量θ空间维度上两侧零值填充的数量，dilation控制滑动块核心点之间的间距。
优选地，所述基于边界细节补偿和相似特征强化的实时道路检测方法，在训练阶段，采用第一分类器和第二分类器分别输出道路检测概率图；其中，第一分类器中的全卷积网络对步骤S3输出的强化图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为最终的道路检测概率图；第二分类器中的全卷积网络作为辅助预测分支对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为辅助的道路检测概率图；
在测试阶段，仅保留第一分类器输出的道路区域预测结果。
优选地，所述基于边界细节补偿和相似特征强化的实时道路检测方法采用端到端的方式进行参数学习，采用的损失函数为：
L＝Lfinal+λLBC
其中，Lfinal计算第一分类器输出的概率图与真实标签之间的逐像素点交叉熵损失；LBC计算第二分类器输出的概率图与真实值之间的逐像素点交叉熵损失；λ为超参数。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本发明提出了一种新颖的边界细节补偿模块，该模块采用长条状卷积核扩大感受野以捕捉大范围的道路区域特征，采用空间可分离卷积和通道可分离卷积解耦空间和通道维度上的相关性以降低计算复杂度。该模块从低层特征中获得丰富的细节信息并补充到高层语义特征中来，使得道路区域的特征更显著并滤除非道路区域中的噪声，且增加的计算时间很少(约2ms)。
(2)本发明提出了一种新颖的相似特征强化模块，该模块利用道路区域相互连通不需要建立长程依赖性的特点，采用自注意力机制聚合每个像素点局部邻域内的相似特征，与基于non-local的上下文模块相比，在降低计算复杂度(约为non-local的1/35)和空间复杂度(约为non-local的1/8)的同时，并没有牺牲性能。
附图说明
图1是本发明提供的基于边界细节补偿和相似特征强化的实时道路检测方法的整体流程图；
图2是本发明实施例中PeeleNet网络结构图；
图3是本发明提供的边界细节补偿模块网络结构图；
图4是本发明提供的相似特征强化模块网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于边界细节补偿和相似特征强化的实时道路检测方法，如图1所示，步骤具体包括：
步骤S1，利用多尺度图像特征提取器2对单目相机采集的单帧图像1进行多尺度图像特征提取；
步骤S2，采用边界细节补偿模块3对步骤S1提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征图；
步骤S3，采用相似特征强化模块4对步骤S2得到的道路边界细节补偿后的高层语义图像特征图进行基于相似度的局部特征聚合，得到强化图像特征图；
步骤S4，将步骤S3输出的强化图像特征图输入第一分类器5，输出所述单帧图像场景中的道路检测结果，将所述单帧图像的所有像素划分为道路和非道路两类。
主要有四个实现部分：1)单目图像多尺度图像特征提取；2)边界细节补偿；3)相似特征强化；4)分类器和损失函数。接下来将对本发明中步骤进行详细地说明。
1.单目图像多尺度图像特征提取
如图2所示，本发明实施例采用PeleeNet作为骨干网络进行单目图像多尺度图像特征提取，在stem块中加入插值操作，其结构包含四个阶段，其中：
每个阶段逐步减小图像特征图的尺寸，并增加图像特征图的通道数；
阶段三和阶段四中的3×3卷积层均为空洞卷积；
输出阶段一的低层细节图像特征图和阶段四的高层语义图像特征图，其尺寸分别为单帧图像的1/8和1/32。
2.边界细节补偿
如图3所示，本发明实施例采用带恒等连接的变换模块融合多尺度图像特征，具体包括：
步骤S21，将步骤S1输出的低层细节图像特征图依次输入1×1的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S21输出的图像特征图；
步骤S22，将步骤S1输出的高层语义图像特征图依次输入3×3的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S22输出的图像特征图；
步骤S23，将步骤S22输出的图像特征图插值到单帧图像尺寸的1/8与和步骤S21输出的图像特征图在通道维度上进行连接，并输入变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S23输出的道路边界细节补偿后的高层语义图像特征图。
本发明实施例边界细节补偿模块3中变换模块采用两条支路进行特征变换；
一条支路依次采用卷积核为k×1和1×k的深度可分离卷积；
另一条支路依次采用卷积核为1×k和k×1的深度可分离卷积；
两条支路输出的图像特征图进行逐像素点加法操作，并输入到1×1的卷积层。
3.相似特征强化
如图4所示，本发明实施例相似特征强化模块4采用相似度度量捕捉局部上下文信息，对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点的特征加权，具体包括：
步骤S31，采用两个参数不共享的1×1卷积层分别对道路边界细节补偿后的高层语义图像特征图X∈RC×H×W进行通道调整，得到张量
Figure BDA0002864899380000081
Figure BDA0002864899380000082
和张量
Figure BDA0002864899380000083
其中C为道路边界细节补偿后的高层语义图像特征图X的通道数，
Figure BDA0002864899380000084
为张量θ、φ的通道数，H为张量θ、φ高度维度上的尺寸，W为张量θ、φ宽度维度上的尺寸；
步骤S32，对张量
Figure BDA0002864899380000085
进行展开操作，得到张量
Figure BDA0002864899380000086
改变张量
Figure BDA0002864899380000087
的形状得到张量
Figure BDA0002864899380000088
步骤S33，改变步骤S31的输出张量φ的形状得到张量
Figure BDA0002864899380000089
步骤S34，对张量θS和张量φS进行矩阵乘法运算，对运算结果进行归一化，得到相似度地图VS∈RL×S×1；
步骤S35，改变步骤S32展开操作的输出张量
Figure BDA00028648993800000810
的形状得到张量
Figure BDA00028648993800000811
Figure BDA00028648993800000812
对张量γS和相似度地图VS进行矩阵乘法运算，得到注意力地图
Figure BDA00028648993800000813
Figure BDA00028648993800000814
步骤S36，改变步骤S35输出注意力地图OS的形状得到张量
Figure BDA00028648993800000815
Figure BDA00028648993800000816
采用1×1的卷积层对其通道进行调整，得到张量
Figure BDA00028648993800000817
步骤S37，对步骤S31输入的图像特征图X和步骤S36输出的张量
Figure BDA00028648993800000818
进行逐像素点加法操作，得到相似特征强化模块输出的强化图像特征图Y∈RC×H×W。
本发明实施例步骤S32中，对张量
Figure BDA0002864899380000091
进行展开操作，得到张量
Figure BDA0002864899380000092
包括：
利用展开操作在步骤S31输出张量θ的空间维度上滑动，获得多个局部块
Figure BDA0002864899380000093
其中S为每个滑动块的像素点数量，S＝Πd(k[d])，k[d]是滑动块在某个空间维度上的核大小，d代表不同空间维度；L是滑动块的总数，
Figure BDA0002864899380000094
Figure BDA0002864899380000095
其中spatial是张量θ空间维度上的尺寸，s控制滑动块的步幅，p控制张量θ空间维度上两侧零值填充的数量，dilation控制滑动块核心点之间的间距。
4.分类器和损失函数
本发明实施例在训练阶段，采用第一分类器5和第二分类器6分别输出道路检测概率图；其中，第一分类器5中的全卷积网络对步骤S3输出的图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为最终的道路检测概率图；第二分类器6中的全卷积网络作为辅助预测分支对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为辅助的道路检测概率图。
本发明实施例在测试阶段，仅保留第一分类器5输出的道路区域预测结果。
本发明实施例中，采用端到端的方式进行参数学习，采用的损失函数7为：
L＝Lfinal+λLBC
其中，Lfinal计算第一分类器5输出的概率图与真实标签之间的逐像素点交叉熵损失；LBC计算第二分类器6输出的概率图与真实值之间的逐像素点交叉熵损失；λ为超参数，本发明实施例设定λ＝0.4。
本发明提出了一种基于边界细节补偿和相似特征强化的实时道路检测方法。采用边界细节补偿模块融合多尺度图像特征，有效的补充了高层语义特征中的道路边界细节特征并滤除了非道路区域的噪声。此外，采用相似特征强化模块聚合每个像素点局部邻域内的相似特征，来强化道路区域特征，使之对复杂场景条件下的道路检测有很好的鲁棒性。基于这些模块，本发明在现有基于深度学习的轻量级道路检测框架上增加的时间复杂度和空间复杂度极低，在提高道路检测任务实时性的同时保证了道路检测的精确性和可靠性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，包括以下步骤：
步骤S1，利用多尺度图像特征提取器对单目相机采集的单帧图像进行多尺度图像特征提取；
步骤S2，采用边界细节补偿模块对步骤S1提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征图；其中，边界细节补偿模块采用带恒等连接的变换模块融合多尺度图像特征，具体包括：步骤S21，将步骤S1输出的低层细节图像特征图依次输入1×1的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S21输出的图像特征图；步骤S22，将步骤S1输出的高层语义图像特征图依次输入3×3的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S22输出的图像特征图；步骤S23，将步骤S22输出的图像特征图插值到单帧图像尺寸的1/8与和步骤S21输出的图像特征图在通道维度上进行连接，并输入变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤S23输出的道路边界细节补偿后的高层语义图像特征图；
步骤S3，采用相似特征强化模块对步骤S2得到的道路边界细节补偿后的高层语义图像特征图进行基于相似度的局部特征聚合，得到强化图像特征图；其中，相似特征强化模块采用相似度度量捕捉局部上下文信息，对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点的特征加权，具体包括：步骤S31，采用两个参数不共享的1×1卷积层分别对道路边界细节补偿后的高层语义图像特征图X∈RC×H×W进行通道调整，得到张量
Figure FDA0003551232410000011
和张量
Figure FDA0003551232410000012
其中C为道路边界细节补偿后的高层语义图像特征图X的通道数，
Figure FDA0003551232410000013
为张量θ、φ的通道数，H为张量θ、φ高度维度上的尺寸，W为张量θ、φ宽度维度上的尺寸；步骤S32，对张量
Figure FDA0003551232410000021
进行展开操作，得到张量
Figure FDA0003551232410000022
改变张量
Figure FDA0003551232410000023
的形状得到张量
Figure FDA0003551232410000024
步骤S33，改变步骤S31的输出张量φ的形状得到张量
Figure FDA0003551232410000025
步骤S34，对张量θS和张量φS进行矩阵乘法运算，对运算结果进行归一化，得到相似度地图VS∈RL×S×1；步骤S35，改变步骤S32展开操作输出张量
Figure FDA0003551232410000026
的形状得到张量
Figure FDA0003551232410000027
对张量γS和相似度地图VS进行矩阵乘法运算，得到注意力地图
Figure FDA0003551232410000028
步骤S36，改变步骤S35输出注意力地图OS的形状得到张量
Figure FDA0003551232410000029
采用1×1的卷积层对其通道进行调整，得到张量
Figure FDA00035512324100000210
步骤S37，对步骤S31输入的图像特征图X和步骤S36输出的张量
Figure FDA00035512324100000211
进行逐像素点加法操作，得到相似特征强化模块输出的强化图像特征图Y∈RC×H×W；
步骤S4，将步骤S3输出的强化图像特征图输入第一分类器，输出所述单帧图像场景中的道路检测结果，将所述单帧图像的所有像素划分为道路和非道路两类。
2.如权利要求1所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，所述步骤S1中的多尺度图像特征提取器，采用PeleeNet作为骨干网络进行单目图像多尺度图像特征提取，在stem块中加入插值操作，其结构包含四个阶段，其中：
每个阶段逐步减小图像特征图的尺寸，并增加图像特征图的通道数；
阶段三和阶段四中的3×3卷积层均为空洞卷积；
输出阶段一的低层细节图像特征图和阶段四的高层语义图像特征图，其尺寸分别为单帧图像的1/8和1/32。
3.如权利要求1所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，变换模块采用两条支路进行特征变换；
一条支路依次采用卷积核为k×1和1×k的深度可分离卷积；
另一条支路依次采用卷积核为1×k和k×1的深度可分离卷积；
两条支路输出的图像特征图进行逐像素点加法操作，并输入到1×1的卷积层。
4.如权利要求1所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，所述步骤S32中，对张量
Figure FDA0003551232410000031
进行展开操作，得到张量
Figure FDA0003551232410000032
包括：
利用展开操作在步骤S31输出张量θ的空间维度上滑动，获得多个局部块
Figure FDA0003551232410000033
其中S为每个滑动块的像素点数量，S＝Πd(k[d])，k[d]是滑动块在某个空间维度上的核大小，d代表不同空间维度；L是滑动块的总数，
Figure FDA0003551232410000034
其中spatial是张量θ空间维度上的尺寸，s控制滑动块的步幅，p控制张量θ空间维度上两侧零值填充的数量，dilation控制滑动块核心点之间的间距。
5.如权利要求1或2所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，
在训练阶段，采用第一分类器和第二分类器分别输出道路检测概率图；其中，第一分类器中的全卷积网络对步骤S3输出的强化图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为最终的道路检测概率图；第二分类器中的全卷积网络作为辅助预测分支对步骤S2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为辅助的道路检测概率图；
在测试阶段，仅保留第一分类器输出的道路区域预测结果。
6.如权利要求1或2所述的基于边界细节补偿和相似特征强化的实时道路检测方法，其特征在于，所述的基于边界细节补偿和相似特征强化的实时道路检测方法采用端到端的方式进行参数学习，采用的损失函数为：
L＝Lfinal+λLBC
其中，Lfinal是第一分类器输出的概率图与真实标签之间的逐像素点交叉熵损失；LBC是第二分类器输出的概率图与真实标签之间的逐像素点交叉熵损失；λ为超参数。
CN202011583490.4A 2020-12-28 2020-12-28 基于边界细节补偿和相似特征强化的实时道路检测方法 Active CN112712011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011583490.4A CN112712011B (zh) 2020-12-28 2020-12-28 基于边界细节补偿和相似特征强化的实时道路检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011583490.4A CN112712011B (zh) 2020-12-28 2020-12-28 基于边界细节补偿和相似特征强化的实时道路检测方法

Publications (2)

Publication Number Publication Date
CN112712011A CN112712011A (zh) 2021-04-27
CN112712011B true CN112712011B (zh) 2022-05-06

Family

ID=75547066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011583490.4A Active CN112712011B (zh) 2020-12-28 2020-12-28 基于边界细节补偿和相似特征强化的实时道路检测方法

Country Status (1)

Country Link
CN (1) CN112712011B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792124A (zh) * 2009-10-17 2012-11-21 荷马里光电子公司 增强的成像方法及装置
CN103381825A (zh) * 2012-05-02 2013-11-06 通用汽车环球科技运作有限责任公司 使用多个照相机的全速车道感测
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4155780B2 (ja) * 2002-09-19 2008-09-24 富士通テン株式会社 画像処理方法
GB2545652B (en) * 2015-12-18 2019-06-05 Jaguar Land Rover Ltd Control unit for an active suspension system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792124A (zh) * 2009-10-17 2012-11-21 荷马里光电子公司 增强的成像方法及装置
CN103381825A (zh) * 2012-05-02 2013-11-06 通用汽车环球科技运作有限责任公司 使用多个照相机的全速车道感测
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-Time 3D Road Scene Based on Virtual-Real Fusion Method;Yuezhou Wu et al.;《IEEE Sensors Journal》;20140904;第750-756页 *

Also Published As

Publication number Publication date
CN112712011A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN111209918B (zh) 一种图像显著性目标检测方法
CN111832453B (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN113743269B (zh) 一种轻量化识别视频人体姿态的方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN112966747A (zh) 一种基于无锚框检测网络改进的车辆检测方法
CN110837769B (zh) 一种图像处理与深度学习的嵌入式远红外行人检测方法
CN114663371A (zh) 基于模态独有和共有特征提取的图像显著目标检测方法
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN109543519B (zh) 一种用于物体检测的深度分割引导网络
Wu et al. Vehicle detection based on adaptive multi-modal feature fusion and cross-modal vehicle index using RGB-T images
Wu et al. Scene completeness-aware lidar depth completion for driving scenario
CN112712011B (zh) 基于边界细节补偿和相似特征强化的实时道路检测方法
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
CN115035299B (zh) 一种基于深度学习的改进型城市街景图像分割方法
CN114092774B (zh) 基于信息流融合的rgb-t图像显著性检测系统及检测方法
CN112634289B (zh) 一种基于非对称空洞卷积的快速可行域分割方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN112132746B (zh) 面向智能路侧设备的小尺度行人目标快速超分辨率化方法
CN117011722A (zh) 基于无人机实时监控视频的车牌识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant