CN113033411A - 基于分割与注意力机制的地面语义认知方法 - Google Patents
基于分割与注意力机制的地面语义认知方法 Download PDFInfo
- Publication number
- CN113033411A CN113033411A CN202110325719.2A CN202110325719A CN113033411A CN 113033411 A CN113033411 A CN 113033411A CN 202110325719 A CN202110325719 A CN 202110325719A CN 113033411 A CN113033411 A CN 113033411A
- Authority
- CN
- China
- Prior art keywords
- attention
- model
- loss
- segmentation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 230000007246 mechanism Effects 0.000 title claims abstract description 41
- 230000019771 cognition Effects 0.000 title claims abstract description 31
- 238000004821 distillation Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 36
- 238000012805 post-processing Methods 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 7
- 238000004043 dyeing Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000007667 floating Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 101150071716 PCSK1 gene Proteins 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于分割与注意力机制的地面语义认知方法，可以在保证实时性的同时实现较高精度地检测车道线与路面标志等地面语义信息。本发明采用轻量级的语义分割模型ERFNet作为骨干网络，并采用注意力机制，通过引入包括局部注意力和全局注意力注意力，帮助模型在不同尺度下提取局部特征和全局特征，从而缓解目标尺度差异较大的问题。本发明还对不同尺度的注意力信息进行蒸馏学习，在不增加推理代价的条件下提高模型的准确性。此外，针对只需要进行车道线检测的场景，本发明在ERFNet的基础上添加车道线存在预测分支，帮助模型在复杂的车道线检测场景下同样可以保持较高的精度。
Description
技术领域
本发明涉及自动驾驶领域，具体涉及一种基于分割与注意力机制的地面语义认知方法。
背景技术
随着经济的发展与社会的进步，机动车数量不断增加。据不完全统计，我国平均每年发生交通事故大约20万起，造成死伤人数高达30万左右。通过研究发现，百分之七十以上的交通事故是因为驾驶员的操作不当引起的。由于人类受到心理与生理的天然制约，交通事故难以避免。随着无人驾驶技术的日益成熟，人们希望可以通过无人驾驶来改变这一现状。无人驾驶包含感知、决策、控制等技术环节，其中包含车道线与路面标志在内的地面语义认知是感知中的一个重要环节。在交通事故中，50％的事故与驾驶员偏离正常行驶有关，而90％以上的车辆翻车事故都与车辆主动偏离车道有关。因此在无人驾驶技术中，对车道线进行检测识别是关键环节。通过对车道线的检测与识别，无人车可以保持在原有车道内安全行驶，或者合理变道。同时，路面标志也是目前无人驾驶研究的重要课题。路面标志包含限速、箭头、人行横道等众多信息，对安全行车有重要的指导作用。
地面语义认知可以分为车道线检测与路面标记检测两部分内容。
在车道线检测中，可以分为传统方法和深度学习方法两种。传统方法通过提取手工特征的方法来检测车道线，利用包括颜色、边缘、宽度等信息在内的图像特征信息，对路面进行分割并提取车道线，适用于路况简单且车道线清晰的环境，但是在实际环境中容易出现障碍物遮挡、车道线破损等情况。深度学习方法通过卷积神经网络提取车道线的特征，并进行分类与回归。SCNN将传统的卷积层接层的连接形式转为特征图中的片连片卷积的形式，使得图中像素行和列之间能够传递信息，在车道线检测中具有较好的延伸性。但是，SCNN模型较复杂，计算代价较高，在算力受限的设备上无法满足实时性的需求。
路面标志检测同样可以分为传统方法和深度学习方法两种。传统方法一般基于特征或者模板匹配，且计算代价较小，可以满足实时性需求。但是，路面标志处于自然环境下，在雨天、雾天等极端天气下进行路面标志的检测具有一定难度。深度学习方法则可以适用于不同场合，具有较高的鲁棒性。VPGNet是一个端到端的多任务网络，利用灭点信息进行特征补充，能够在极端天气的情况下同时进行道路和路面标志的检测和识别。但是，VPGNet需要额外的灭点信息标注，会增加人工标注成本，同时无法解决地面语义目标尺度差异较大带来的检测难题。
发明内容
有鉴于此，本发明提供了一种基于分割与注意力机制的地面语义认知方法，能够保证地面语义认知过程中的实时性与准确性的平衡。
为实现上述目的，本发明的一种基于分割与注意力机制的地面语义认知方法，包括如下步骤：
为实现上述目的，本发明的一种基于分割与注意力机制的地面语义认知方法，包括如下步骤：
步骤一：采用语义分割模型ERFNet作为骨干网络进行语义分割工作；
其中，ERFNet沿用编码-反编码的网络结构，ERFNet设有non-bottleneck-1d模块；
步骤二：在non-bottleneck-1d模块中加入注意力机制模块，新得到的模块为non-bottleneck-1d-att模块；
其中，所述注意力机制模块包括局部注意力与全局注意力；
所述局部注意力包括特征图的局部特征信息，从通道维度对特征图进行局部通道压缩；
全局注意力包括特征图的全局特征信息，从空间维度进行特征压缩，得到具有全局性感受野的特征向量，并且输出的通道数和输入的特征通道数相匹配；
步骤三：采用注意力蒸馏的方法对non-bottleneck-1d-att模块中不同尺度的注意力信息进行蒸馏学习；
步骤四：采用车道线数据集CULane或路面标志数据集ApolloScape集对蒸馏学习的ERFNet进行训练；对模型输出的概率图进行激活，并染色处理，完成地面语义认知。
其中，所述non-bottleneck-1d模块采用1×3卷积核与3×1卷积核代替了3×3卷积核，所述non-bottleneck-1d模块交错使用dilated convolution，来获取上下文信息进入下一层。
其中，所述步骤三中，将解码器中的注意力信息作为编码器中注意力信息的软目标，引导模型提取注意力信息。
其中，当进行地面语义分割时，所述步骤一中，所述语义分割模型ERFNet的损失函数采用权重交叉熵；
所述步骤三中，加入注意力蒸馏学习后，整个模型的损失函数为：
Loss＝λ1Lossseg+λ2Lossdis
其中，Lossseg为分割部分的损失函数，为权重交叉熵函数，Lossdis为注意力蒸馏的损失函数，为MAE函数，λ1和λ2为超参数；
所述步骤四中，采用路面标志数据集ApolloScape集对蒸馏学习的ERFNet进行训练。
其中，训练batch大小为8，训练40epoch；训练采用由Cityscapes数据集训练得到的预训练模型；优化器采用随机梯度下降，同时采用随机裁剪、随机翻转以及随机平移的数据增强方法；训练初始学习率大小为0.015，并采用学习率线性下降的训练策略。
其中，当只需要进行车道线检测的场景下，所述步骤一中，将每条车道线实例化进行车道线检测，使自动驾驶车辆辨别不同车道线；其中，在语义分割模型ERFNet的基础上增加车道线存在预测分支，预测各个预定位置上的车道线是否存在；所述语义分割模型ERFNet的损失函数采用权重交叉熵；
所述步骤三中，加入注意力蒸馏学习后，整个模型的损失函数为：
Loss＝λ1Lossseg+λ2Lossdis+λ3Lossexit
其中，Lossseg为分割部分的损失函数，为权重交叉熵函数，Lossdis为注意力蒸馏的损失函数，为MAE函数，Lossexit为车道线存在预测的损失函数，为二值化交叉熵函数，λ1、λ2和λ3超参数；
所述步骤四中，采用车道线数据集CULane数据集对蒸馏学习的ERFNet进行训练。
其中，所述步骤四中，根据分割模型输出的概率图按照设定规则提取点，在每条车道线对应的概率图每20行取响应值最高的一个点，并通过线性插值方法将每条车道线上提取出来的点进行拟合，得到对应的车道线曲线。
其中，所述步骤四中，训练bacth大小为12，训练30epoch，训练采用由CityScape数据集训练得到的预训练模型，优化器采用随机梯度下降，同时采用随机裁剪、随机翻转、随机平移和光照条件风格转换的数据增强方法，训练初始学习率大小为0.015，并采用学习率线性下降的训练策略。
其中，所述步骤四中，将模型进行量化，将浮点运算转换为int8运算，将量化后的模型部署在无人驾驶车辆的计算平台上，并将识别结果通过ROS通讯平台传输给规划控制端后处理部分，后处理部分完成对模型输出的概率图进行激活，并染色处理。
有益效果：
本发明首先选用了一个轻量级模型ERFNet，在确保实时性的前提下完成分割部分的工作。其次，本发明在轻量级的语义分割模型中引入了注意力机制，在不严重增加计算代价的前提下帮助轻量级模型更好地进行学习与收敛。同时，由于地面语义信息包含车道线与路面标记等尺度信息差异较大的目标，注意力机制模块包括局部注意力和全局注意力，帮助模型在不同尺度下提取局部特征和全局特征，从而缓解目标尺度差异较大的问题。本发明还对不同尺度的注意力信息进行蒸馏学习，在不增加推理代价的条件下提高模型准确性。
针对只需要进行车道线检测的场景，本发明在ERFNet的基础上添加车道线存在预测分支，帮助模型在复杂的车道线检测场景下同样可以保持较高的精度。因此，本发明可以较为准确地检测与识别车道线与路面标志，并通过引入注意力机制与注意力蒸馏学习的方法，从不同尺度下提取特征信息，缓解目标尺度差异大的问题。该发明可以保证地面语义认知过程中的实时性与准确性的平衡，具有极高的研究意义与价值。
附图说明
图1为本发明实施例1地面语义认知模型示意图；
图2为本发明车道线检测模型示意图；
图3为本发明注意力机制模块示意图；
图4为本发明系统算法流程图。
具体实施方式
下面结合附图并举实施实施例，对本发明内容进行详细描述。
实施例1
本发明提供了一种基于分割与注意力机制的地面语义认知方法，将地面语义认知看成分割问题，并在分割模型的基础上加入了注意力机制与注意力蒸馏学习，帮助模型缓解目标尺度差异较大带来的难题，在不过多提高计算代价的同时保持较高的识别准确率，本实施例在2080Ti显卡上识别速率可达100FPS。地面语义认知模型示意图如图1所示。
具体地，基于分割与注意力机制的地面语义认知方法的算法流程图如图4所示，具体包括如下步骤：
步骤一：采用语义分割模型ERFNet作为骨干网络进行语义分割工作；
其中，ERFNet采用编码-解码的形式，通过下采样的编码形式提取特征信息，并通过反卷积的形式反编码得到语义分割的结果。
ERFNet设有non-bottleneck-1d模块，可以减少大约30％的参数量的同时不影响精度。
本实施例中，所述non-bottleneck-1d模块采用1×3卷积核与3×1卷积核代替了3×3卷积核，所述non-bottleneck-1d模块交错使用dilated convolution，来获取上下文信息进入下一层。
步骤二：在语义分割网络模型non-bottleneck-1d模块的基础上引入注意力机制模块，得到non-bottleneck-1d-att模块。
其中，注意力机制本质上是为了模仿人类观察物品的方式，帮助模型更有针对性地在特定区域提取有效的信息。
本发明的注意力机制模块包含了局部注意力机制模块和全局注意力机制模块，具体设计细节如图3所示。
局部注意力机制模块通过卷积操作对特征图进行局部通道压缩，从通道维度将H×W×C的特征图压缩成H×W×(C/r)的特征图，融合通道局部特征信息，使得模型可以更好的提取局部特征信息。同时，为了满足输出的通道数和输入的特征通道数相匹配的条件，会通过卷积操作将特征图大小还原为H×W×C。
全局注意力机制模块通过全局平均池化操作，从空间维度进行特征压缩，将H×W×C的特征图压缩成1×1×C的特征，得到具有全局性感受野的特征向量，从全局感受野融合与提取特征信息。
通过提取不同尺度下的注意力信息，可以缓解车道线、路面标志目标多尺度大小差距较大带来的检测难题，在不严重增加计算代价的前提下帮助轻量级模型更好地进行学习与收敛。
步骤三：采用注意力蒸馏的方法对non-bottleneck-1d-att模块中不同尺度的注意力信息进行蒸馏学习。
如图1所示，将解码器中的注意力信息de_att_1与de_att_2作为编码器中注意力信息en_att_1和en_att_1的软目标，引导模型编码器更好地编码信息，提取特征。因此，加入注意力蒸馏学习后，整个模型的损失函数为：
Loss＝λ1Lossseg+λ2Lossdis
其中，Lossseg为分割部分的损失函数，为权重交叉熵函数，Lossdis为注意力蒸馏的损失函数，为MAE函数。λ1和λ2为超参数。
步骤四：采用路面标志数据集ApolloScape集对蒸馏学习的ERFNet进行训练；
在ApolloScape数据集下，训练batch大小为8，epoch为40。
对模型输出率图进行激活，并染色处理，完成地面语义认知。
其中，本实施例采用Apollo Scape数据集对模型进行训练，Apollo Scape数据集为城市道路环境的路面标志数据集，训练集为103653张图片，分辨率为3384×2710。训练batch大小为8，训练40epoch；训练采用由Cityscapes数据集训练得到的预训练模型；优化器采用随机梯度下降，同时采用随机裁剪、随机翻转以及随机平移等数据增强方法；训练初始学习率大小为0.015，并采用学习率线性下降的训练策略。
将训练好的模型用测试集进行测试，在Apollo Scape数据集测试集下测试得到本实施例结果为mIOU＝44.69％。
本实施例还可以将模型进行量化，将浮点运算转换为int8运算，在不降低模型识别准确率的情况下进一步压缩模型的计算代价。将量化后的模型部署在无人驾驶车辆的计算平台上，并将识别结果通过ROS通讯平台传输给规划控制端后处理部分，后处理部分完成对模型输出的概率图进行激活，并染色处理。
可见，本实施例实现原理和效果为：
(1)采用轻量级的语义分割网络，可以在保证实时性的条件下实现地面语义认知。深度学习方法往往因为模型复杂度过大、计算量较高而导致模型推理过程无法满足实时性的需求。ERFNet设计了non-bottleneck-1d模块，可以减少大约30％的参数量的同时不影响精度。
(2)在轻量级的语义分割模型中引入了注意力机制，non-bottleneck-1d-att模块的注意力机制部分包括了局部注意力信息与全局注意力信息。局部注意力信息包括了特征图的局部特征信息，全局注意力信息包括了特征图的全局特征信息。注意力机制的引入可以帮助模型更好地提取不同尺度的全局信息和局部信息，缓解目标尺度差异较大的问题，在不严重增加计算代价的前提下帮助轻量级模型更好地进行学习与收敛。
(3)对注意力信息进行蒸馏学习。将解码器中的注意力信息作为编码器中注意力信息的软目标，引导模型更好地提取注意力信息。注意力蒸馏学习的引入只会小幅增加训练过程的计算量，但对模型推理过程的计算代价不会影响，所以可以使得模型在不增加推理代价的同时提高准确率。
实施例2
本实施例提供一种基于分割与注意力机制的车道线检测方法，在仅需要进行车道线检测的场景下使用。由于自动驾驶车辆在交通场景下会同时检测出多条车道线，该车道线检测模型将车道线实例化，用以帮助自动驾驶车辆区分不同车道线。同时，为了引导模型更好地进行车道线检测，本实施例会在分割模型的基础上增加车道线存在预测分支，预测各个预定位置上的车道线是否存在。模型如图2所示。
车道线检测模型的损失函数如下：
Loss＝λ1Lossseg+λ2Lossdis+λ3Lossexit
其中，Lossseg为分割部分的损失函数，为权重交叉熵函数，Lossdis为注意力蒸馏的损失函数，为MAE函数，Lossexit为车道线存在预测的损失函数，为二值化交叉熵函数。λ1、λ2和λ3超参数。
进一步地，车道线检测模型训练集采用CULane数据集，其中，CULane数据集为城市道路环境的车道线数据集，训练集为88880张图片，分辨率为1640×590；在CULane数据集下，训练batch大小为12，epoch为30。训练初始学习率大小为0.015，并采用学习率线性下降的训练策略。
进一步地，本发明会在模型输出的概率图上做后处理，输出车道线的最终检测结果。车道线的后处理部分的具体步骤为：根据分割模型输出的概率图按照一定规则提取点，在每条车道线对应的概率图每20行取响应值最高的一个点，并通过线性插值方法将每条车道线上提取出来的点进行拟合，得到对应的车道线曲线。在CULane数据集测试集下测试得到结果为F1＝74.8％。
本实施例还可以将模型进行量化，将浮点运算转换为int8运算，在不降低模型识别准确率的情况下进一步压缩模型的计算代价。将量化后的模型部署在无人驾驶车辆的计算平台上，并将识别结果通过ROS通讯平台传输给规划控制端后处理部分，后处理部分完成对模型输出的概率图进行激活，并染色处理。
综上所述，本发明设计一种基于分割与注意力机制的地面语义认知方法，可以保证地面语义认知过程中的实时性与准确性的平衡。本发明采用轻量级的语义分割模型作为骨干网络，并通过引入注意力机制与注意力蒸馏学习的方法，引导模型从不同尺度的特征图在特定区域下提取更加有效的特征信息，从而缓解目标尺度差异大的问题。其中，注意力蒸馏学习不会增加模型推理过程中的计算代价，可以使得模型在不增加推理代价的同时提高准确率。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于分割与注意力机制的地面语义认知方法，其特征在于，包括如下步骤：
步骤一：采用语义分割模型ERFNet作为骨干网络进行语义分割工作；
其中，ERFNet沿用编码-反编码的网络结构，ERFNet设有non-bottleneck-1d模块；
步骤二：在non-bottleneck-1d模块中加入注意力机制模块，新得到的模块为non-bottleneck-1d-att模块；
其中，所述注意力机制模块包括局部注意力与全局注意力；
所述局部注意力包括特征图的局部特征信息，从通道维度对特征图进行局部通道压缩；
全局注意力包括特征图的全局特征信息，从空间维度进行特征压缩，得到具有全局性感受野的特征向量，并且输出的通道数和输入的特征通道数相匹配；
步骤三：采用注意力蒸馏的方法对non-bottleneck-1d-att模块中不同尺度的注意力信息进行蒸馏学习；
步骤四：采用车道线数据集CULane或路面标志数据集ApolloScape集对蒸馏学习的ERFNet进行训练；对模型输出的概率图进行激活，并染色处理，完成地面语义认知。
2.如权利要求1所述的基于分割与注意力机制的地面语义认知方法，其特征在于，所述non-bottleneck-1d模块采用1×3卷积核与3×1卷积核代替了3×3卷积核，所述non-bottleneck-1d模块交错使用dilated convolution，来获取上下文信息进入下一层。
3.如权利要求1所述的基于分割与注意力机制的地面语义认知方法，其特征在于，所述步骤三中，将解码器中的注意力信息作为编码器中注意力信息的软目标，引导模型提取注意力信息。
4.如权利要求1-3任意一项所述的基于分割与注意力机制的地面语义认知方法，其特征在于，当进行地面语义分割时，所述步骤一中，所述语义分割模型ERFNet的损失函数采用权重交叉熵；
所述步骤三中，加入注意力蒸馏学习后，整个模型的损失函数为：
Loss＝λ1Lossseg+λ2Lossdis
其中，Lossseg为分割部分的损失函数，为权重交叉熵函数，Lossdis为注意力蒸馏的损失函数，为MAE函数，λ1和λ2为超参数；
所述步骤四中，采用路面标志数据集ApolloScape集对蒸馏学习的ERFNet进行训练。
5.如权利要求4所述的基于分割与注意力机制的地面语义认知方法，其特征在于，训练batch大小为8，训练40epoch；训练采用由Cityscapes数据集训练得到的预训练模型；优化器采用随机梯度下降，同时采用随机裁剪、随机翻转以及随机平移的数据增强方法；训练初始学习率大小为0.015，并采用学习率线性下降的训练策略。
6.如权利要求1-3任意一项所述的基于分割与注意力机制的地面语义认知方法，其特征在于，当只需要进行车道线检测的场景下，所述步骤一中，将每条车道线实例化进行车道线检测，使自动驾驶车辆辨别不同车道线；其中，在语义分割模型ERFNet的基础上增加车道线存在预测分支，预测各个预定位置上的车道线是否存在；所述语义分割模型ERFNet的损失函数采用权重交叉熵；
所述步骤三中，加入注意力蒸馏学习后，整个模型的损失函数为：
Loss＝λ1Lossseg+λ2Lossdis+λ3Lossexit
其中，Lossseg为分割部分的损失函数，为权重交叉熵函数，Lossdis为注意力蒸馏的损失函数，为MAE函数，Lossexit为车道线存在预测的损失函数，为二值化交叉熵函数，λ1、λ2和λ3超参数；
所述步骤四中，采用车道线数据集CULane数据集对蒸馏学习的ERFNet进行训练。
7.如权利要求6所述的基于分割与注意力机制的地面语义认知方法，其特征在于，所述步骤四中，根据分割模型输出的概率图按照设定规则提取点，在每条车道线对应的概率图每20行取响应值最高的一个点，并通过线性插值方法将每条车道线上提取出来的点进行拟合，得到对应的车道线曲线。
8.如权利要求6或7所述的基于分割与注意力机制的地面语义认知方法，其特征在于，所述步骤四中，训练bacth大小为12，训练30epoch，训练采用由CityScape数据集训练得到的预训练模型，优化器采用随机梯度下降，同时采用随机裁剪、随机翻转、随机平移和光照条件风格转换的数据增强方法，训练初始学习率大小为0.015，并采用学习率线性下降的训练策略。
9.如权利要求1所述的基于分割与注意力机制的地面语义认知方法，其特征在于，所述步骤四中，将模型进行量化，将浮点运算转换为int8运算，将量化后的模型部署在无人驾驶车辆的计算平台上，并将识别结果通过ROS通讯平台传输给规划控制端后处理部分，后处理部分完成对模型输出的概率图进行激活，并染色处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110325719.2A CN113033411A (zh) | 2021-03-26 | 2021-03-26 | 基于分割与注意力机制的地面语义认知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110325719.2A CN113033411A (zh) | 2021-03-26 | 2021-03-26 | 基于分割与注意力机制的地面语义认知方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113033411A true CN113033411A (zh) | 2021-06-25 |
Family
ID=76474152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110325719.2A Pending CN113033411A (zh) | 2021-03-26 | 2021-03-26 | 基于分割与注意力机制的地面语义认知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033411A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419381A (zh) * | 2022-04-01 | 2022-04-29 | 城云科技（中国）有限公司 | 一种语义分割方法及应用其的道路积水检测方法和装置 |
| CN114663397A (zh) * | 2022-03-22 | 2022-06-24 | 小米汽车科技有限公司 | 可行驶区域的检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测系统 |
| CN112101189A (zh) * | 2020-09-11 | 2020-12-18 | 北京航空航天大学 | 基于注意力机制的sar图像目标检测方法及测试平台 |
| CN112132844A (zh) * | 2020-11-12 | 2020-12-25 | 福建帝视信息科技有限公司 | 基于轻量级的递归式非局部自注意力的图像分割方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112418409A (zh) * | 2020-12-14 | 2021-02-26 | 南京信息工程大学 | 一种利用注意力机制改进的卷积长短期记忆网络时空序列预测方法 |
-
2021
- 2021-03-26 CN CN202110325719.2A patent/CN113033411A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测系统 |
| CN112101189A (zh) * | 2020-09-11 | 2020-12-18 | 北京航空航天大学 | 基于注意力机制的sar图像目标检测方法及测试平台 |
| CN112132844A (zh) * | 2020-11-12 | 2020-12-25 | 福建帝视信息科技有限公司 | 基于轻量级的递归式非局部自注意力的图像分割方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112418409A (zh) * | 2020-12-14 | 2021-02-26 | 南京信息工程大学 | 一种利用注意力机制改进的卷积长短期记忆网络时空序列预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| TONG LIU等: "Lane Detection in Low-light Conditions Using an Efficient Data Enhancement：Light Conditions Style Transfer", 《2020 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 * |
| YUENAN HOU等: "Learning Lightweight Lane Detection CNNs by Self Attention Distillation", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| 郭璠等: "YOLOv3-A ：基于注意力机制的交通标志检测网络", 《通信学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663397A (zh) * | 2022-03-22 | 2022-06-24 | 小米汽车科技有限公司 | 可行驶区域的检测方法、装置、设备及存储介质 |
| CN114419381A (zh) * | 2022-04-01 | 2022-04-29 | 城云科技（中国）有限公司 | 一种语义分割方法及应用其的道路积水检测方法和装置 |
| CN114419381B (zh) * | 2022-04-01 | 2022-06-24 | 城云科技（中国）有限公司 | 一种语义分割方法及应用其的道路积水检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108985194B (zh) | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 | |
| CN104809443B (zh) | 基于卷积神经网络的车牌检测方法及系统 | |
| CN109993082A (zh) | 卷积神经网络道路场景分类与道路分割方法 | |
| CN111915592A (zh) | 基于深度学习的遥感图像云检测方法 | |
| CN113902915A (zh) | 一种基于低光照复杂道路场景下的语义分割方法及系统 | |
| CN106372577A (zh) | 一种基于深度学习的交通标志自动识别与标注方法 | |
| CN111488879B (zh) | 利用双嵌入构成的用于提高分割性能的方法及装置 | |
| CN103049763A (zh) | 一种基于上下文约束的目标识别方法 | |
| CN113033411A (zh) | 基于分割与注意力机制的地面语义认知方法 | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN110717493B (zh) | 一种基于深度学习的含堆叠字符的车牌识别方法 | |
| CN113158768A (zh) | 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法 | |
| CN110599497A (zh) | 一种基于深度神经网络的可行驶区域分割方法 | |
| CN112861619A (zh) | 模型的训练方法、车道线检测方法、设备及装置 | |
| CN112766056A (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN112464745A (zh) | 一种基于语义分割的地物识别与分类方法和装置 | |
| CN116091929A (zh) | 结合Unet和Transformer的遥感图像语义分割方法 | |
| CN115346071A (zh) | 高置信局部特征与全局特征学习的图片分类方法及系统 | |
| CN116453121A (zh) | 一种车道线识别模型的训练方法及装置 | |
| Kampffmeyer et al. | Dense dilated convolutions merging network for semantic mapping of remote sensing images | |
| CN115909245A (zh) | 一种基于深度学习的视觉多任务处理方法 | |
| CN117058386A (zh) | 基于改进DeepLabv3+网络的沥青道路裂缝检测方法 | |
| CN116630702A (zh) | 一种基于语义分割网络的路面附着系数预测方法 | |
| CN116188981A (zh) | 一种高光谱高空间分辨率遥感影像分类方法及装置 | |
| CN113392812B (zh) | 基于深度神经网络的道路车道线检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210625 |
|
| WD01 | Invention patent application deemed withdrawn after publication |