CN113468967B

CN113468967B - 基于注意力机制的车道线检测方法、装置、设备及介质

Info

Publication number: CN113468967B
Application number: CN202110614922.1A
Authority: CN
Inventors: 傅慧源; 马华东; 牛少达
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2023-08-18
Anticipated expiration: 2041-06-02
Also published as: CN113468967A

Abstract

本发明公开了一种基于注意力机制的车道线检测方法、装置、设备及存储介质，所述方法包括：获取路况图像并进行预处理，得到预处理后的路况图像；将所述预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，其中，所述车道线检测模型包括初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层；在原始的路况图像中标记检测出来的车道线。根据本公开实施例提供的车道线检测方法，可以基于全局上下文的融合特征进行车道线的检测，可以适应复杂多变的道路场景，从而提高车道线检测的鲁棒性、适应性以及准确度。

Description

基于注意力机制的车道线检测方法、装置、设备及介质

技术领域

本发明涉及目标检测技术领域，特别涉及一种基于注意力机制的车道线检测方法、装置、设备及介质。

背景技术

车道线检测是智能驾驶领域的关键技术之一，被广泛应用于汽车辅助驾驶系统和车道偏离预警系统，它可以为车辆提供自身的位置信息，并为汽车规划线路。

现有技术中的车道线检测算法，主要是基于图像处理手段从图像中提取车道线的边缘特征，从而确定车道线的位置。例如，采用局部灰度阈值方法提取边缘特征，之后再将属于同一车道线的像素点进行聚类从而实现车道线的检测。该方法是针对车道线较为清晰完整、光照均匀、不存在遮挡等的简单场景，如高速公路。但是，在实际的应用场景中，通常会遇到车辆遮挡、车道线磨损、光线变化等复杂的道路场景，因此，现有技术中的车道线检测方法检测精度较低，难以适应复杂的道路场景。

发明内容

本公开实施例提供了一种基于注意力机制的车道线检测方法、装置、设备及介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供一种基于注意力机制的车道线检测方法，包括：

获取路况图像并进行预处理，得到预处理后的路况图像；

将预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，其中，车道线检测模型包括初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层；

在原始的路况图像中标记检测出来的车道线。

在一个可选地实施例中，获取路况图像并进行预处理，得到预处理后的路况图像，包括：

获取车载摄像头拍摄的路况视频；

按照预设规则对路况视频进行抽帧，并调整抽取的路况图像的大小，得到预处理后的路况图像。

在一个可选地实施例中，将预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，包括：

将预处理后的路况图像输入初始特征提取模块，得到提取出来的初始特征图；

将初始特征图输入混合注意力模块，得到提取出来的混合注意力特征图；

通过特征融合模块将初始特征图和混合注意力特征图按预设权重进行加权运算，得到融合特征图；

通过行锚选择层提取融合特征图的车道线锚点坐标，并根据锚点坐标进行车道线拟合，得到检测出来的车道线。

在一个可选地实施例中，初始特征提取模块为残差网络结构，通过多层的卷积运算得到提取出来的初始特征图。

在一个可选地实施例中，混合注意力模块包括通道注意力单元以及空间注意力单元；

通道注意力单元用于对初始特征图进行全局平均池化操作以及卷积操作，得到通道注意力特征图；

空间注意力单元用于对通道注意力特征图进行卷积操作，得到三个相同的卷积特征图，分别对三个卷积特征图进行自适应平均池化操作，将池化后的特征图进行特征融合，将融合后的特征图再次卷积并上采样，根据激活函数得到空间注意力权重，将空间注意力权重与通道注意力特征图相乘，得到提取出来的混合注意力特征图。

在一个可选地实施例中，将预处理后的路况图像输入预训练的车道线检测模型之前，还包括：

将车道线数据集分为训练集、测试集以及验证集；

根据训练集、测试集以及验证集训练车道线检测模型，其中，车道线检测模型还包括特征连接模块、空间注意力模块以及卷积池化模块的辅助分支，用于监督训练和更新模型参数。

在一个可选地实施例中，车道线检测模型的损失函数如下所示：

L_total＝αL_c1s+βL_seg

其中，l_total表示车道线检测模型的总损失函数，α和β是加权系数，L_cls是分类损失函数，L_seg是分割损失函数。

第二方面，本公开实施例提供了一种基于注意力机制的车道线检测装置，包括：

获取模块，用于获取路况图像并进行预处理，得到预处理后的路况图像；

检测模块，用于将预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，其中，车道线检测模型包括初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层；

显示模块，用于在原始的路况图像中标记检测出来的车道线。

第三方面，本公开实施例提供了一种基于注意力机制的车道线检测设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的基于注意力机制的车道线检测方法。

第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种基于注意力机制的车道线检测方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的基于注意力机制的车道线检测方法，针对复杂的道路场景，对传统的空间注意力模块进行了改进，同时引入了高效的通道注意力模块，通过连接形成混合注意力模块，得到混合注意力特征，在网络中添加该模块之后，可以提取到图像深层的特征信息，可以适应复杂多变的道路场景，从而提高车道线检测的鲁棒性、适应性以及准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种基于注意力机制的车道线检测方法的流程示意图；

图2是根据一示例性实施例示出的一种根据车道线检测模型检测车道线的方法流程示意图；

图3是根据一示例性实施例示出的一种训练车道线检测模型的方法流程示意图；

图4是根据一示例性实施例示出的一种车道线检测模型的结构示意图；

图5是根据一示例性实施例示出的一种空间注意力单元的示意图；

图6是根据一示例性实施例示出的一种通道注意力单元的示例图；

图7是根据一示例性实施例示出的一种车道线检测结果的示意图；

图8是根据一示例性实施例示出的一种基于注意力机制的车道线检测装置的结构示意图；

图9是根据一示例性实施例示出的一种基于注意力机制的车道线检测设备的结构示意图；

图10是根据一示例性实施例示出的一种计算机存储介质的示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本公开实施例目的在于提供一种快速鲁棒的车道线检测方法，以提高检测模型对于多种不同场景下车道的适应性，并提高检测的准确率，在实际的应用场景中，传统的车道线检测方法往往有一定的局限性，面对一些复杂的环境，检测效果并不是特别理想。要提高车道线检测算法的精度，需要找准车道线检测任务中一些共有的特点，比如车道线形状比较细长，且通常存在于图片的底端。在检测过程中，通常还会遇到车辆遮挡、车道线磨损、光线变化等复杂的道路场景，所以在检测过程中需要模型有很强的全局特征提取能力，能够将不连续但是属于同一条车道线的各个部分识别为一个整体。

下面将结合附图1-附图7，对本申请实施例提供的基于注意力机制的车道线检测方法进行详细介绍，参见图1，该方法具体包括以下步骤。

S101获取路况图像并进行预处理，得到预处理后的路况图像。

在一个可选地实施例中，可以通过安装在车辆上的车载摄像头拍摄路况视频，然后按照预设规则对路况视频进行抽帧，例如，每间隔1s抽取10-30帧路况图像，得到抽取的路况图像，进一步地，调整抽取的路况图像的大小，得到预处理后的路况图像。

可选地，本领域技术人员还可以通过道路监控视频、车道线数据集等方法获取路况图像。

S102将预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，其中，车道线检测模型包括初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层。

图2是根据一示例性实施例示出的一种根据车道线检测模型检测车道线的方法流程示意图；如图2所示，该方法包括：

S201将预处理后的路况图像输入初始特征提取模块，得到提取出来的初始特征图。

具体地，将预处理后的路况图像输入初始特征提取模块，进行特征提取，得到对应的初始特征图。在一种实施方式中，提取特征的网络可以为ResNet等网络结构。需要说明的是，卷积神经网络具有局部连接和权值共享的特点，它的参数比全连接网络少，并有较强的特征提取能力，进行预设卷积运算过程中，每层卷积核大小和步长应根据实际应用场景具体设定。通过对路况图像进行卷积运算，得到路况图像在此次卷积操作后的特征。由于卷积运算具有平移不变性，所以在该编码特征图中，所有物体之间的相对位置与原路况图像是相同的。深层卷积神经网络应包含多个卷积层，后一层的输入是前一层的输出，最后一层输出即为路况图像的初始特征图。

S202将初始特征图输入混合注意力模块，得到提取出来的混合注意力特征图。

具体地，混合注意力模块就是对输入图像的初始特征图进行预设非线性运算操作，预设非线性运算操作和注意力维度的选择应该根据实际应用场景具体设定。在实际的实施过程中，非线性运算函数可以为ReLU激活函数。

在一种可能的实现方式中，混合注意力模块融合了改进的空间注意力单元以及通道注意力单元。首先，将初始特征图输入通道注意力单元，通道注意力单元用于对初始特征图进行全局平均池化操作以及卷积操作，得到通道注意力特征图。

图6是根据一示例性实施例示出的一种通道注意力单元的示例图，如图6所示，对于输入的特征图F，经过全局的平均池化操作之后，使用一个可以共享权值的卷积操作进行通道间关系的学习，这里卷积核的大小为5，使用这个卷积操作代替了原来的全连接层，实现了跨通道的交错卷积，通过共享权重也减少了参数量，然后得到一个维度是1＊1＊c的特征向量，将特征向量和原始特征图相乘，得到最后的融合特征F'，也就是得到通道注意力特征图F'。

进一步地，将通道注意力特征图F'输入空间注意力单元，空间注意力单元用于对通道注意力特征图进行卷积操作、池化操作，并对池化后的特征图进行激活，得到空间注意力权重，然后将权重作用在原始特征图上。

图5是根据一示例性实施例示出的一种空间注意力单元的示意图，如图5所示，展示了改进的空间注意力单元的结构，输入的特征图为通道注意力特征图F′，第一步进行卷积操作，得到三个相同的特征图，然后分别进行自适应平均池化操作，将得到的特征图进行连接融合，然后经过卷积层并上采样匹配原始输入F'的大小，再经过Sigmoid激活函数得到空间注意力权重Ms，将F′与Ms相乘即可得到F″，也就是经过混合注意力模块之后的混合注意力特征图。

S203通过特征融合模块将初始特征图和混合注意力特征图按预设权重进行加权运算，得到融合特征图。

S204通过行锚选择层提取融合特征图的车道线锚点坐标，并根据锚点坐标进行车道线拟合，得到检测出来的车道线。

得到融合特征图后，基于融合特征图的上下文信息，以行为单位，进行车道线的锚点选取，得到车道线锚点坐标，并根据车道线锚点坐标进行车道线拟合，得到最终的检测结果图像。

本公开实施例的检测模型，针对复杂的道路场景，对传统的空间注意力单元进行了改进，同时引入了高效的通道注意力单元，通过连接形成混合注意力模块。在网络中添加该模块之后，可以提取到图像深层的特征信息，从而更加准确地检测车道线。

在一个可选地实施例中，将预处理后的路况图像输入预训练的车道线检测模型之前，还包括获取车道线数据集，将车道线数据集分为训练集、测试集以及验证集；根据训练集、测试集以及验证集训练车道线检测模型。

图3是根据一示例性实施例示出的一种训练车道线检测模型的方法流程示意图，如图3所示，训练车道线检测模型的方法包括：

S301获取公开的CULane车道线数据集，分为训练集、测试集以及验证集。

S302将训练集和对应车道线标注信息输入到车道线检测模型中，提取初始特征，得到初始特征图。

S303将初始特征图输入混合注意力模块，计算得到混合注意力特征图，并与初始特征图进行特征融合，得到融合特征图。

S304根据融合特征图所提供的图像上下文信息，进行车道线锚点的选取，确定车道线位置。

S305根据车道线的检测结果和标注信息的差异程度，计算损失函数，调整车道线检测模型的参数，进行迭代训练，当达到迭代次数的时候停止训练，得到预训练的车道线检测模型。

其中，在获取到检测结果的数据后，需要计算检测结果和对应标注数据的误差，在一种实施方式中，通过约束分类向量在相邻锚点上的分布来实现连续特性，可以作为损失函数的一部分，另一方面，需要关注车道线的形状，可以使用二阶差分方程来约束车道线的形状，最终可以使用整体结构性损失函数。根据检测结果和对应标注区域的误差来对模型参数进行更新，使得车道线检测结果和对应目标区域差异尽可能小，从而使得检测结果更接近真实目标区域。

图4是根据一示例性实施例示出的一种车道线检测模型的结构示意图，如图4所示，整个网络结构包含主分支和辅助分支，主分支负责提取图像特征，在融合注意力模块的作用下得到高层特征；辅助分支负责监督训练，将提取的多层特征进行连接操作，再经过卷积层得到最后的检测结果。主分支包括ResNet初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层，辅助分支包括特征连接模块、空间注意力模块以及卷积池化模块。

其中，主分支使用ResNet作为初始特征提取网络，经过多层的卷积层进行特征提取。改进的空间注意力机制可以提高网络的表达能力，理解更高层的语义信息，高效的通道注意力机制可以充分考虑通道之间的相关性，将空间注意力模块和通道注意力模块连接起来，可以融合图像全局的高层特征，增大网络的感受野，使得模型更加关注车道线所在区域。然后经过全连接层，这样可以使用环境信息来对车道线的位置进行推断，最后在行锚中进行车道选择。

辅助分支用于模型训练，将多层特征依次进行特征连接和卷积操作，然后经过空间注意力模块，将非结构化的车道进行校正，再次卷积池化得到分割结果，用来监督训练和更新参数。

本方法的模型进行端到端训练时，可以在损失函数的基础上进行参数的更新。在一种可能的实现方式中，对比了传统的交叉熵损失函数和Focal Loss损失函数，并进行了实验。交叉熵损失函数可以描述变量中两种概率分布的差异程度，也就是预测概率和真实概率的差异。通常来说，交叉熵越小，模型的检测效果就越好。为了综合考虑主分支和辅助分支的训练效果，最终的损失函数为分类损失和分割损失的加权平均。总的损失函数如下所示：

L_total＝αL_cls+βL_seg

其中，L_total表示车道线检测模型的总损失函数，α和β是加权系数，例如，α取值为0.6，β取值为0.4。L_cls是分类损失函数，用的交叉熵损失函数，L_seg是分割损失函数，分割损失是按照像素点分割来计算的准确率。

可选地，为解决一些复杂环境下的车道线检测，本公开实施例采用基于行锚的特征池化方法，在ResNet提取特征生成特征图之后，再进行特征池化，把一定矩形区域的Anchor池化为一定长度的特征，用于后面的卷积运算或者输入全连接层进行检测，Line-CNN提出了一种Line Proposal代替了传统的Region Proposal，车道的Anchor表示方法和Line-CNN的表示方法一致，使用Line Proposal作为推测条件，可以准确地定位弯曲的车道线。Line Proposal首先是通过激活相应的锚框来获取区域提案，然后确定目标的位置和分类。在基于行锚的特征池化过程中，行锚被建模成为车道线的区域提案，类似于将车道线横向分段，每一小段都在行锚的某个位置上，每个锚框都有来自于局部特征信息所对应的特征向量，所以类似于R-CNN的ROI池化操作。

Line Proposal首先将特征图均分为一定大小的网格，一条车道线由起始点s、结束点e以及方向a表示，也就是由起始点按照一定的方向到结束点的所有坐标。如下式所示，其中xi和yi是锚线的起始点。θ是倾斜的角度，每个锚点都有相应的特征向量，这种表示方法会包含局部特征信息。对于车道线而言，Anchor表征不再是矩形区域，而是一条线，因此可以按照网格的纵坐标找出车道线上的对应横坐标，挑选出固定长度的特征，特征的长度也就是特征图F的高度。如果出现了纵坐标对应的横坐标在特征图外，就采用Padding的方式补齐。

根据该步骤，可以得到训练好的车道线检测模型，将预处理后的路况图像输入检测模型，得到检测出来的车道线。

S103在原始的路况图像中标记检测出来的车道线。

在一种可能的实现方式中，得到模型返回的检测结果后，可以在原始的路况图像中标记出车道线区域，实现检测结果可视化。从而更好地应用于汽车的辅助驾驶系统。

图7是根据一示例性实施例示出的一种车道线检测结果的示意图，如图7所示，本公开实施例中的基于注意力机制的车道线检测方法，在拥堵车道场景、夜晚车道场景、无明显车道线场景、阴影道路场景、箭头指示线场景、反光场景、弯道场景以及十字路口场景都能得到较好的应用，可以适应复杂多变的道路环境，得到鲁棒性高、准确率强的检测结果。

本公开实施例还提供一种基于注意力机制的车道线检测装置，该装置用于执行上述实施例的基于注意力机制的车道线检测方法，如图8所示，该装置包括：

获取模块801，用于获取路况图像并进行预处理，得到预处理后的路况图像；

检测模块802，用于将预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，其中，车道线检测模型包括初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层；

显示模块803，用于在原始的路况图像中标记检测出来的车道线。

在一个可选地实施例中，获取模块801具体用于获取车载摄像头拍摄的路况视频；按照预设规则对路况视频进行抽帧，并调整抽取的路况图像的大小，得到预处理后的路况图像。

在一个可选地实施例中，检测模块802具体用于将预处理后的路况图像输入初始特征提取模块，得到提取出来的初始特征图；将初始特征图输入混合注意力模块，得到提取出来的混合注意力特征图；通过特征融合模块将初始特征图和混合注意力特征图按预设权重进行加权运算，得到融合特征图；通过行锚选择层提取融合特征图的车道线锚点坐标，并根据锚点坐标进行车道线拟合，得到检测出来的车道线。

在一个可选地实施例中，还包括训练模块，用于将车道线数据集分为训练集、测试集以及验证集；根据训练集、测试集以及验证集训练车道线检测模型，其中，车道线检测模型还包括特征连接模块、空间注意力模块以及卷积池化模块的辅助分支，用于监督训练和更新模型参数。

L_total＝αL_cls+βL_seg

需要说明的是，上述实施例提供的基于注意力机制的车道线检测装置在执行基于注意力机制的车道线检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于注意力机制的车道线检测装置与基于注意力机制的车道线检测检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

本公开实施例还提供一种与前述实施例所提供的基于注意力机制的车道线检测方法对应的电子设备，以执行上述基于注意力机制的车道线检测方法。

请参考图9，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图9所示，电子设备包括：处理器900，存储器901，总线902和通信接口903，处理器900、通信接口903和存储器901通过总线902连接；存储器901中存储有可在处理器900上运行的计算机程序，处理器900运行计算机程序时执行本申请前述任一实施例所提供的基于注意力机制的车道线检测方法。

其中，存储器901可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口903(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线902可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器901用于存储程序，处理器900在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的基于注意力机制的车道线检测方法可以应用于处理器900中，或者由处理器900实现。

处理器900可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器900中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器900可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器901，处理器900读取存储器901中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于注意力机制的车道线检测方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种与前述实施例所提供的基于注意力机制的车道线检测方法对应的计算机可读存储介质，请参考图10，其示出的计算机可读存储介质为光盘1000，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的基于注意力机制的车道线检测方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于注意力机制的车道线检测方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种基于注意力机制的车道线检测方法，其特征在于，包括：

获取路况图像并进行预处理，得到预处理后的路况图像；

将所述预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，包括：将所述预处理后的路况图像输入初始特征提取模块，得到提取出来的初始特征图；将所述初始特征图输入混合注意力模块，得到提取出来的混合注意力特征图；通过特征融合模块将所述初始特征图和所述混合注意力特征图按预设权重进行加权运算，得到融合特征图；通过行锚选择层提取所述融合特征图的车道线锚点坐标，并根据所述锚点坐标进行车道线拟合，得到检测出来的车道线；其中，所述车道线检测模型包括初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层；

所述混合注意力模块包括通道注意力单元以及空间注意力单元；所述通道注意力单元用于对所述初始特征图进行全局平均池化操作以及卷积操作，得到通道注意力特征图；所述空间注意力单元用于对所述通道注意力特征图进行卷积操作，得到三个相同的卷积特征图，分别对三个卷积特征图进行自适应平均池化操作，将池化后的特征图进行特征融合，将融合后的特征图再次卷积并上采样，根据激活函数得到空间注意力权重，将所述空间注意力权重与所述通道注意力特征图相乘，得到提取出来的混合注意力特征图；

在原始的路况图像中标记检测出来的车道线。

2.根据权利要求1所述的方法，其特征在于，获取路况图像并进行预处理，得到预处理后的路况图像，包括：

获取车载摄像头拍摄的路况视频；

按照预设规则对所述路况视频进行抽帧，并调整抽取的路况图像的大小，得到预处理后的路况图像。

3.根据权利要求1所述的方法，其特征在于，所述初始特征提取模块为残差网络结构，通过多层的卷积运算得到提取出来的初始特征图。

4.根据权利要求1所述的方法，其特征在于，将所述预处理后的路况图像输入预训练的车道线检测模型之前，还包括：

将车道线数据集分为训练集、测试集以及验证集；

根据所述训练集、测试集以及验证集训练所述车道线检测模型，其中，所述车道线检测模型还包括特征连接模块、空间注意力模块以及卷积池化模块的辅助分支，用于监督训练和更新模型参数。

5.根据权利要求4所述的方法，其特征在于，所述车道线检测模型的损失函数如下所示：

L_total＝αL_cls+βL_seg

6.一种基于注意力机制的车道线检测装置，其特征在于，包括：

检测模块，用于将所述预处理后的路况图像输入预训练的车道线检测模型，得到检测出来的车道线，包括：将所述预处理后的路况图像输入初始特征提取模块，得到提取出来的初始特征图；将所述初始特征图输入混合注意力模块，得到提取出来的混合注意力特征图；通过特征融合模块将所述初始特征图和所述混合注意力特征图按预设权重进行加权运算，得到融合特征图；通过行锚选择层提取所述融合特征图的车道线锚点坐标，并根据所述锚点坐标进行车道线拟合，得到检测出来的车道线；其中，所述车道线检测模型包括初始特征提取模块、混合注意力模块、特征融合模块、全连接层以及行锚选择层；

7.一种基于注意力机制的车道线检测设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至5任一项所述的基于注意力机制的车道线检测方法。

8.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至5任一项所述的一种基于注意力机制的车道线检测方法。