CN115661771A - 一种基于不均匀锚的车道线边沿实时检测方法和系统 - Google Patents

一种基于不均匀锚的车道线边沿实时检测方法和系统 Download PDF

Info

Publication number
CN115661771A
CN115661771A CN202211227720.2A CN202211227720A CN115661771A CN 115661771 A CN115661771 A CN 115661771A CN 202211227720 A CN202211227720 A CN 202211227720A CN 115661771 A CN115661771 A CN 115661771A
Authority
CN
China
Prior art keywords
row
anchor
module
lane line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211227720.2A
Other languages
English (en)
Inventor
杨云飞
凌嘉骏
程起敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Itarge Technology Co ltd
Huazhong University of Science and Technology
Original Assignee
Beijing Itarge Technology Co ltd
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Itarge Technology Co ltd, Huazhong University of Science and Technology filed Critical Beijing Itarge Technology Co ltd
Priority to CN202211227720.2A priority Critical patent/CN115661771A/zh
Publication of CN115661771A publication Critical patent/CN115661771A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开一种基于不均匀锚的车道线边沿实时检测方法和系统，属于车道线检测领域。包括：将待检测道路场景图像输入至训练好的检测模型中的主干网络，得到N个车道线边沿图像；检测模型通过以下方式训练：采用训练数据集训练检测模型；训练数据集包括多个道路场景图像，每个道路场景图像的目标标签为该图像中所有车道线的边沿线在不均匀锚驱动下生成的N个标注图像，所述目标标签维度为N×总列锚数×总行锚数。本发明采用多种不均匀分布锚的设置，越靠近ROI顶部或越靠近车道线区域的锚分布越密集，越远离ROI顶部或越远离车道线区域的锚分布越稀疏，可以更好地表达车道边沿线的形状，提高对于远离车辆的车道线以及曲线车道线的检测结果准确率。

Description

一种基于不均匀锚的车道线边沿实时检测方法和系统
技术领域
本发明属于车道线检测领域，更具体地，涉及一种基于不均匀锚的车道线边沿实时检测方法和系统。
背景技术
车道线检测是自动驾驶系统中关键技术之一，它被整合应用于自动驾驶车辆中的环境感知模块，用于向车辆提供车辆周围的环境信息，包括车道线的类型、车道线的精确边沿位置，以及车辆的可行使区域等。
然而，车道线检测存在检测准确率和检测帧率两方面的挑战。首先是在检测准确率上的挑战，车辆行驶的区域类型多样，相应地，车道线的数量就有所不同，存在着单车道线和多车道线的不同情况；车道线的种类也多样，从颜色上区分存在着黄线和白线，从形状上区分存在着直线和曲线，从功能上区分存在着实线和虚线。并且，同一个区域下的车道线在不同的时间段、不同天气下的画面呈现效果也不同，例如白天车道线清晰明显，而夜间亮度不足，车道线较难识别，并且还存在着强光照射下车道线反光导致的画面曝光。这些因素都会对车道线检测的准确率造成影响。此外，车道线检测的检测帧率也是必须要满足的一个指标，因为车道线边沿检测模块不仅需要获取到车道线的位置，还需要将具体的结果输入提供给其他模块进一步地处理，以得出最终的车辆控制决策。
基于深度学习的方法可以利用深度神经网络对图像的各种层次的语义特征进行充分提取，因此鲁棒性较好。然后，现有基于深度学习的车道线检测方法存在以下缺陷和不足：(1)现有的大多数算法是基于驾驶员视角或行车记录仪视角的车道线检测，车道线的检测结果为车道线的大体位置而非车道线的精确边沿位置，而自动驾驶车辆上其他位置如车辆的左右侧安装的摄像头需要检测车道线的精确边沿位置防止出现压线情况，而大部分的主流算法不一定具备很好的适用性；(2)基于锚(Anchor)的车道线检测方法如UFLD、LaneATT是近年来新提出的车道线实时检测算法，然而它们采用的锚分布均匀，导致用于描述视野中旁侧的距离中心较远的车道线，以及弯道车道线顶部的曲率较大的部分的锚点数量少，无法很好地描述车道线的形状，导致检测准确率低。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于不均匀锚的车道线边沿实时检测方法和系统，旨在实现对车道线边沿位置的精确检测，并且解决均匀锚分布的驱动下对于视野旁侧距离较远的车道线和曲线车道线的准确率不高的问题。
为实现上述目的，第一方面，本发明提供了一种基于不均匀锚的车道线边沿实时检测方法，该方法包括：
将待检测道路场景图像输入至训练好的检测模型中的主干网络，得到N个车道线边沿图像，N表示预定义的最大车道线边沿数量；
所述检测模型包括主干网络；
所述主干网络包括：图像视觉特征提取模块和维度转换模块；其中，所述图像视觉特征提取模块，用于提取图像的各层次特征；所述维度转换模块，用于将高层特征即语义特征的维度转换至目标标签维度；
所述检测模型通过以下方式训练：采用训练数据集训练检测模型；所述训练数据集包括多个道路场景图像，每个道路场景图像的目标标签为该图像中所有车道线的边沿线在锚驱动下生成的N个标注图像，所述目标标签维度为N×总列锚数×总行锚数，所述锚采用以下任一种方式设置为不均匀：
方式一：截取原始图像的ROI区域，将ROI区域按照图像高度方向划分为若干个区域，同个区域内间隔相同的行数取一个行锚，不同区域的间隔行数不同，且越靠上间隔行数越小，以形成上密下疏的不均匀行锚；
方式二：车道线位于图像左部，截取原始图像的ROI区域，将ROI区域按照图像宽度方向划分为若干个区域，同个区域内间隔相同的列数取一个列锚，不同区域的间隔列数不同，且越靠左间隔行数越小，以形成左密右疏的不均匀列锚；
方式三：车道线位于图像右部，截取原始图像的ROI区域，将ROI区域按照图像宽度方向划分为若干个区域，同个区域内间隔相同的列数取一个列锚，不同区域的间隔列数不同，且越靠右间隔行数越小，以形成右密左疏的不均匀列锚；
方式四：同时满足方式一和方式二；
方式五：同时满足方式一和方式三。
优选地，根据输入图像的ROI区域的分辨率调整区域数量和各区域内的行/列数，具体如下：
设输入图像的ROI区域的分辨率为W×H；
在高度方向从上到下划分为
Figure BDA0003880679500000031
Figure BDA0003880679500000032
共krow个区域，其中每个区域内分别均匀分布着
Figure BDA0003880679500000033
(krow-1)krow、......、krow个行锚，krow表示预设的行锚区域数；
在宽度方向上划分划分为
Figure BDA0003880679500000034
Figure BDA0003880679500000035
共kcol个区域，车道线区域位于左侧时，每个区域内分别均匀分布着
Figure BDA0003880679500000036
m(kcol-1)kcol、......、mkcol个列锚，车道线位于右侧时，每个区域内分别均匀分布着
Figure BDA0003880679500000037
个列锚，m用于调整区域内列锚数量，kcol表示预设的列锚区域数。
需要说明的是，krow越大，行锚区域数量越多，且越靠近顶部的区域行锚越密集，越靠近底部的区域行锚越稀疏；kcol和m越大，列锚区域数量越多，且越靠近车道线的区域越密集，越远离车道线的区域越稀疏。
优选地，图像视觉特征提取模块为轻量级ResNet18网络；
所述轻量级ResNet18网络将标准ResNet18网络的所有阶段中除第一个阶段和残差连接的卷积运算外的所有标准卷积替换为深度可分离卷积。
需要说明的是，使用深度可分离卷积的方式减少了图像视觉特征提取模块的参数量，提升了车道线边沿检测速度。
优选地，所述主干网络还包括：通道注意力模块，用于对图像视觉特征提取模块输出的语义特征图不同的通道分配不同的通道注意力分数，所述注意力分数表示神经网络对不同通道的关注程度。
需要说明的是，主干网络中增加的通道注意力模块，进一步提高主干网络的检测准确率。
优选地，所述维度转换模块包括多层感知机和重排模块，最终得到的检测结果如下：
Figure BDA0003880679500000041
其中，输出结果Yi由N张nrow_grid×ncol_grid的不均匀锚驱动的网格表示，需要检测的车道线边沿上的点就落在这些网格中，ncol_grid表示最终输出张量的每列单元格数，即行锚数，nrow_grid表示最终输出张量的每行单元格数，即列锚数，
Figure BDA0003880679500000042
表示第i个输入图像依次经过所述图像视觉特征提取模块和所述通道注意力模块处理得到的输出特征图；Flatten表示拉平操作；MLP表示多层感知机，由3个全连接层组成，输出格式为1×(N·(nrow_grid+1)·ncol_grid)，其中，+1表示每行多一个网格用于表示车道线在该行不存在；Reshape表示重排操作，将全连接层的输出重排为N×(nrow_grid+1)×ncol_grid的格式。
优选地，所述模型还包括：仅参与训练阶段的辅助分支，
所述辅助分支包括：上采样模块、空间注意力模块、第二通道注意力模块、特征融合模块、通道调整模块及Softmax函数；
所述上采样模块，用于对残差块的第二、三、四阶段的输出特征图使用双线性插值的方式进行上采样；
所述空间注意力模块，用于对上采样模块输出的每个特征图上的不同位置赋予不同的空间注意力分数；
所述第二通道注意力模块，用于对空间注意力模块输出的每个特征不同的通道分配不同的通道注意力分数；
所述特征融合模块，用于将第二注意力模块输出的每个特征图堆叠起来进行特征融合；
所述通道调整模块，用于将融合特征通道数调整到与目标标签相同；
所述Softmax函数，用于将通道调整模块输出的特征图映射到0～1之间的概率表达，以进行训练和优化；
所述注意力分数表示神经网络对不同通道或区域的关注程度。
需要说明的是，该模块仅用于训练过程中使用多任务训练的方式辅助优化图像视觉特征提取模块的权重，而不在测试或部署环境下启用，以提高实际检测的帧率。
优选地，通道注意力模块为ECANet。
优选地，空间注意力模块为CANet。
优选地，对得到的N个检测结果进行以下后处理：
对于所述不均匀锚驱动的nrow_grid×ncol_grid的网格，将每行中概率小于预设阈值的网格点的值标记为“0”，每行中概率最大的网格点的值标记为“1”，其余位置的值标记为“0”，通过检测结果中存在“1”确定车道线边沿；
每相邻2个车道线边沿，确定一条车道线。
为实现上述目的，第二方面，本发明提供了一种基于不均匀锚的车道线边沿实时检测系统，包括处理器和存储器；所述存储器，用于存储计算机执行指令；所述处理器，用于执行所述计算机执行指令，使得第一方面所述的方法被执行。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明提出一种基于不均匀锚的车道线边沿实时检测方法和系统，采用了5种不均匀分布锚的设置。不均匀锚越靠近顶部或越靠近车道线区域的锚分布设置越密集，原因是曲线车道线出现时，由于透视效应，车道边沿线顶部弯曲程度较大，使用密集的锚可以较好地表达车道线边沿的曲线形状，并且视野中最旁侧的车道线可以使用更多的锚点表示，可以保证检测的准确率；越远离顶部或越远离车道线区域的锚分布设置越稀疏，原因是该部分区域距离摄像头最近，车道线在视野中最清晰，并且边沿形状也呈现直线，对于直线的情况只需要使用较少数量的点即可准确地表示其形状。相比于目前基于锚的算法普遍使用均匀锚分布的方式，本发明设计的不均匀锚分布可更好地表达车道边沿线的形状，提高对于远离车辆的车道线以及曲线车道线的检测结果准确率，可以在不影响准确率的情况下减小输出的尺寸，提高检测的帧率。
附图说明
图1为本发明提供的一种基于不均匀锚的车道线边沿实时检测方法流程图。
图2为本发明实施例提供的不均匀锚分布示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1为本发明提供的一种基于不均匀锚的车道线边沿实时检测方法流程图。该方法包括：将待检测道路场景图像输入至训练好的检测模型中的主干网络，得到N个车道线边沿图像，N表示预定义的最大车道线边沿数量。
如图1所示，所述检测模型包括主干网络；所述主干网络包括：图像视觉特征提取模块和维度转换模块；其中，所述图像视觉特征提取模块，用于提取图像的各层次特征；所述维度转换模块，用于将高层特征即语义特征的维度转换至目标标签维度。
所述检测模型通过以下方式训练：采用训练数据集训练检测模型；所述训练数据集包括多个道路场景图像，每个道路场景图像的目标标签为该图像中所有车道线的边沿线在锚驱动下生成的N个标注图像，所述目标标签维度为N×总列锚数×总行锚数，所述锚采用以下任一种方式设置为不均匀：方式一：截取原始图像的ROI区域，将ROI区域按照图像高度方向划分为若干个区域，同个区域内间隔相同的行数取一个行锚，不同区域的间隔行数不同，且越靠上间隔行数越小，以形成上密下疏的不均匀行锚；方式二：车道线位于图像左部，截取原始图像的ROI区域，将ROI区域按照图像宽度方向划分为若干个区域，同个区域内间隔相同的列数取一个列锚，不同区域的间隔列数不同，且越靠左间隔行数越小，以形成左密右疏的不均匀列锚；方式三：车道线位于图像右部，截取原始图像的ROI区域，将ROI区域按照图像宽度方向划分为若干个区域，同个区域内间隔相同的列数取一个列锚，不同区域的间隔列数不同，且越靠右间隔行数越小，以形成右密左疏的不均匀列锚；方式四：同时满足方式一和方式二；方式五：同时满足方式一和方式三。
对输入图像进行预处理，包括：ROI区域截取以及归一化和标准化。
所述ROI区域是将输入图像上方的无车道部分截去，留下下方有车道的部分。因为将不存在车道线部分的部分也输入到深度神经网络之中进行特征提取没有意义，通过ROI区域的截取可以减小运算量以提高检测帧率。在本实施例中，所选取的方式为将输入图像上方1/3的部分截去，留下下方2/3的部分。
所述归一化和标准化，即将输入图像通过除以255的方式映射到0～1之间，再减去数据集的均值和除以数据集的标准差以减小各特征之间的尺度差异，让训练时梯度下降的方向震荡更小，收敛更快。
优选地，根据输入图像的ROI区域的分辨率调整区域数量和各区域内的行/列数，具体如下：
设输入图像的ROI区域的分辨率为W×H。krow表示预设的行锚区域数，则在高度方向从上到下划分为
Figure BDA0003880679500000081
Figure BDA0003880679500000082
共krow个区域，其中每个区域内分别均匀分布着
Figure BDA0003880679500000083
(krow-1)krow、......、krow个行锚。kcol为预设的列锚区域数，则在宽度方向上划分划分为
Figure BDA0003880679500000084
Figure BDA0003880679500000085
共kcol个区域，车道线区域位于左侧时，每个区域内分别均匀分布着
Figure BDA0003880679500000086
m(kcol-1)kcol、......、mkcol个列锚，车道线位于右侧时，每个区域内分别均匀分布着
Figure BDA0003880679500000087
个列锚，m用于调整区域内列锚数量。krow越大(取值范围为3-6)，行锚区域数量越多，且越靠近顶部的区域行锚越密集，越靠近底部的区域行锚越稀疏；kcol越大(取值范围2-5)或m越大(取值范围3-10)，列锚区域数量越多，且越靠近车道线的区域越密集，越远离车道线的区域越稀疏。
图2为本发明实施例提供的不均匀锚分布示意图。如图2所示，本实施例中采用不均匀分布方式4设计的不均匀锚，其中，krow＝kcol＝3，m＝5。
优选地，考虑到在嵌入式设备等低算力设备检测的实时性需求，图像视觉特征提取模块为轻量级ResNet18网络；所述轻量级ResNet18网络将标准ResNet18网络的所有阶段中除第一个阶段和残差连接的卷积运算外的所有标准卷积替换为深度可分离卷积。
具体地，标准ResNet18网络的主要结构分为6个部分，第一部分为7×7的大卷积以及最大池化进行下采样，目的是在迅速减小图像的分辨率的同时尽可能保留更多的原始信息，随后的第二到第五部分均使用3×3的卷积核进行小区域的特征提取，每一个部分结束后输出图像分辨率都会变为原来的一半，同时通道数量加深以获得更多的特征信息。最后一个部分为全连接层和全局平均池化，这部分的作用并非特征提取。考虑到第一部分的目的是尽可能地保留更多的原始信息，而标准卷积中将卷积得到的各通道进行相加的操作可视为特征叠加的增强特征的操作，因此第一部分的标准卷积保留。第二到第五部分为残差块，是特征提取的主要部分，该部分包含的输入通道和输出通道相等的层，因此可以使用深度可分离卷积替代标准卷积。第二到第五部分的残差块的第一个卷积层、以及残差连接的卷积运算是属于下采样的操作，同理为了保留更多的信息，这部分卷积层保留原来的标准卷积运算。
优选地，所述主干网络还包括：通道注意力模块，用于对图像视觉特征提取模块输出的语义特征图不同的通道分配不同的通道注意力分数，所述注意力分数表示神经网络对不同通道的关注程度。进一步提高主干网络的检测准确率。
优选地，通道注意力模块为ECANet。ECANet提出一种不降维的局部跨通道交互策略，可有效避免降维对于通道注意力学习效果的影响，该模块在只增加少量参数的情况下，增益效果却十分明显。此外，ECANet提出的适当的跨通道交互可以在保持性能的同时，显著降低模型的复杂性。在ImageNet数据集分类任务的Top-1精度结果显示，ECANet优于SENet以及CBAM，因此，本发明优选ECANet来进行通道注意力分数的分配。
在网络的主干部分，考虑到实时检测的需求，因此对于特征提取网络的输出则X4i仅使用轻量网络ECANet添加通道注意力，以提高网络主干的检测准确率的同时保证检测的帧率：
Figure BDA0003880679500000091
分配注意力分数的特征图包括轻量级ResNet18网络中的第三到第五一共三个阶段的输出，即残差块的二、三、四阶段的输出
Figure BDA0003880679500000107
其中，i表示第i个样本作为输入的输出结果。分割辅助学习模块需要利用
Figure BDA0003880679500000108
Figure BDA0003880679500000109
这三个来自不同尺度的特征图；而主干部分需要利用
Figure BDA00038806795000001010
将其分配注意力分数后再输入到后续层。
优选地，所述维度转换模块包括多层感知机和重排模块，最终得到的检测结果如下：
Figure BDA0003880679500000101
其中，i表示第i个输入，输出结果Yi由N张nrow_grid×ncol_grid的不均匀锚驱动的网格表示，需要检测的车道线边沿上的点就落在这些网格中，ncol_grid表示最终输出张量的每列单元格数，即行锚数，nrow_grid表示最终输出张量的每行单元格数，即列锚数，
Figure BDA0003880679500000102
表示第i个输入图像依次经过所述图像视觉特征提取模块和所述通道注意力模块处理得到的输出特征图；Flatten表示拉平操作；MLP表示多层感知机，由3个全连接层组成，输出格式为1×(N·(nrow_grid+1)·ncol_grid)；Reshape表示重排操作，将全连接层的输出重排为N×(nrow_grid+1)×ncol_grid的格式。
对主干部分最终输出的结果使用损失函数进行监督训练。首先使用Softmax函数将输出转为0～1之间的概率分布Pri，随后再使用交叉熵损失函数LCE在通道方向上计算Pri和
Figure BDA00038806795000001011
的损失：
Figure BDA0003880679500000103
其中，
Figure BDA0003880679500000104
是将人工像素级标注
Figure BDA0003880679500000105
按不同的车道线边沿标注落入对应通道的不均匀锚驱动的网格后量化得到的结果。最终结果Yi的形状和
Figure BDA0003880679500000106
一致，每个通道存储了一条车道线边沿线的信息，车道线边沿的检测结果则是在预定义的不均匀行锚上进行单元格的挑选的结果。
优选地，所述模型还包括：仅参与训练阶段的辅助分支；所述辅助分支包括：上采样模块、第二通道注意力模块、空间注意力模块、特征融合模块、通道调整模块及Softmax函数。所述上采样模块，用于对残差块的第二、三、四阶段的输出特征图使用双线性插值的方式进行上采样。所述空间注意力模块，用于对上采样模块输出的每个特征图上的不同位置赋予不同的空间注意力分数。所述第二注意力模块，用于对空间注意力模块输出的每个特征不同的通道分配不同的通道注意力分数。所述特征融合模块，用于将第二注意力模块输出的每个特征图堆叠起来进行特征融合。所述通道调整模块，用于将融合特征通道数调整到与目标标签相同。所述Softmax函数，用于将通道调整模块输出的特征图映射到0～1之间的概率表达，以进行训练和优化。所述注意力分数表示神经网络对不同通道或区域的关注程度。
优选地，空间注意力模块为CANet。CANet通过提取水平与垂直方向的注意力特征图来建模通道间的长距离依赖关系，而且水平与垂直注意力的方式相比于CBAM的使用全局池化的方式，可以更有效地提供精确的空间位置信息，因此，本发明优选CANet来进行空间注意力分数的分配。
由于分割辅助学习模块只是在训练过程中启用，用于辅助优化特征提取网络的性能，而在模型测试和实际部署的时候不启用，因此无需考虑这部分网络的复杂度，在该部分将通道和空间注意力分数都分配到特征图中。
Figure BDA0003880679500000111
Figure BDA0003880679500000112
三个特征图分辨率和标签的地面真值的分辨率不同，需要先进行上采样调整到相同的大小，随后使用CANet、ECANet添加空间注意力和通道注意力：
Figure BDA0003880679500000113
fECA(x)＝σ{Conv1×1[GAP(x)]}*x
fCA(x)＝σ{Conv2group[BN(Concat(AVPx(x)，AVPy(x)))]}*x
其中，Upbilinear(·)表示使用双线性插值的方式进行上采样，fCA(·)对特征图使用CANet分配空间注意力分数，fECA(·)对特征图使用ECANet分配通道注意力分数，GAP表示全局平均池化，AVPx表示沿x方向的平均池化，AVPy表示沿y方向的平均池化，BN表示批次标准化操作，Concat表示特征堆叠，σ为Sigmoid函数，Conv2group表示分成两组进行卷积。
进一步地，需要对添加了注意力机制的分割任务辅助学习模块设计损失函数以对模型进行监督训练。
在分割任务辅助学习模块中，首先需要将上采样后，并且分配了注意力分散后得到的特征图
Figure BDA0003880679500000121
进行特征堆叠，随后使用1×1的卷积进行维度调整和特征融合得到
Figure BDA0003880679500000122
使用Softmax函数以行为组合将其映射到0～1之间的概率表达，最后使用交叉熵损失函数进行训练和优化：
Figure BDA0003880679500000123
Figure BDA0003880679500000124
Figure BDA0003880679500000125
其中，N表示预先定义的最大车道线边沿数量，Pri将输出转为概率之后的结果，
Figure BDA0003880679500000126
为将人工分割标注的像素级别的地面真值将每个像素点在通道方向进行one-hot编码之后的结果，交叉熵损失函数LCE在通道方向上计算Pri和
Figure BDA0003880679500000127
的损失。
总损失函数为主干损失函数和辅助分支损失函数的加权和：
Ltotal＝αLmain+βLseg
其中，α和β是用于调整损失权重的超参数。
优选地，对得到的N个检测结果进行以下后处理：对于所述不均匀锚驱动的nrow_grid×ncol_grid的网格，将每行中概率小于预设阈值的网格点的值标记为“0”，每行中概率最大的网格点的值标记为“1”，其余位置的值标记为“0”，通过检测结果中存在“1”确定车道线边沿；每相邻2个车道线边沿，确定一条车道线。
此外，本发明提供了一种基于不均匀锚的车道线边沿实时检测系统，包括处理器和存储器；所述存储器，用于存储计算机执行指令；所述处理器，用于执行所述计算机执行指令，使得上述方法被执行。
以下通过实验来证明本发明的有效性。本实验选用BJ-ULL数据集进行性能测试。BJ-ULL数据集全称为Beijing-Urban Lane Line，即数据集是在北京市城区街道的采集的车道线图像构成的。与现有的车道线公开数据集TuSimple相比，BJ-ULL是首个可用于车道线边沿线检测，和车道线逆反射系数计算的数据集，并且BJ-ULL还包含了弯道、夜间亮度不足、强光照射等挑战性检测场景。BJ-ULL数据集的原始数据为10个长达5分钟的彩色视频(包括白天和夜间两种场景)，以及4000张灰白的车道线图像，分辨率均为4096×2160像素。对视频图像的提取方式为，对于较为普遍的直线场景采用每10帧提取一幅图像的方式，而对于较为稀少的场景如弯道、夜间亮度不足、强光照射等情况，采取每5帧提取一个图像的方式。为了减小数据集大小，所有的训练集图像均被下采样至1280×720像素的分辨率。处理完毕后的数据集总共有8191幅，其中随机的选择7191幅设为训练集，剩下的1000幅设为测试集。该数据集的具体组成如表1所示。
表1 BJ-ULL(Beijing-Urban Lane Line)数据集的构成
Figure BDA0003880679500000131
Figure BDA0003880679500000141
在介绍具体的评估指标此之前，需要对以下判别标准进行介绍：TP(TruePositive)：预测结果为真，真实结果也为真；TN(True Negative)：预测结果为假，真实结果也为假；FP(False Positive)：预测结果为真，真实结果为假；FN(False Negative)：预测结果为假，真实结果为真。
具体判别标准如下：
算法输出的第i列(即算法认为的第i条车道边沿线)的点和地面真值标注文件中的第i行的点进行一一对比，当该算法输出的第j个行锚点和地面真值中第k个行锚点的纵坐标相同时，则意味着算法输出第i列的第j个行锚点归属于车道边沿线。进一步对横坐标进行判断。当横坐标的差值小于预设阈值thresh时，判定结果为TP，超出该阈值时判定为FP。
若算法输出第i列的第k个行锚点不属于车道边沿线(即输出为0)，而地面真值的第i行中存在以该行锚点为纵坐标的点，则说明漏检，判定为FN。若对第i行遍历完毕后都不存在以该行锚点为纵坐标的点，则说明该行锚点确实不是车道边沿线并且检测正确，判定为TN。
若算法输出第i列的第j个行锚点为车道边沿线，并且i值超出了地面真值标注中的行数(如算法输出存在第3条车道边沿线，而地面真值中仅包含2条车道边沿线)，则结果判定为FP。若算法输出第i列的第j个行锚点不是车道边沿线，并且i值超出了地面真值标注中的行数(即地面真值中也不存在标注)，但是因为该点不是车道边沿线，则结果判定为TN。
根据这四种判定结果，可以构建三种评估指标：Precision、Recall、F1score：
Figure BDA0003880679500000142
Figure BDA0003880679500000151
Figure BDA0003880679500000152
Precision表示查准率，即所有检测出来的行锚点中检测正确的比例；Recall表示查全率，即所有检测出来的正确的行锚点占整个验证集中车道边沿线行锚点的比例；F1score为综合评估指标，综合考虑了准确率和查全率的结果，因此实验采用F1score作为评估指标。
将本发明和两种开源且实时的车道线检测算法UFLD、LaneATT在BJ-ULL数据集的各种场景下的F1score对比结果如表2所示。从结果中可以看出，本发明的方法相比于其他两种算法在平均结果上的对比是最优的，这证明了本发明方法的有效性。
表2本发明和UFLD、LaneATT在BJ-ULL的各种场景下的F1score对比
Figure BDA0003880679500000153
将本发明和两种开源且实时的车道线检测算法UFLD、LaneATT在直线和曲线场景上的对比结果如表3所示，其中，位置1表示最靠近车辆的车道线，4表示最旁侧的车道线，2、3介于二者之间。对于直线场景，仅对比位置4下最旁侧车道线的结果，对于曲线场景综合对比4条车道线的结果。从结果中可以看出本发明的方法在视野中最旁侧的车道线和曲线车道线场景的检测结果是最优的，这证明了本发明方法的有效性。
表3本发明和UFLD、LaneATT在BJ-ULL的不同场景下的F1score对比
Figure BDA0003880679500000161
将本发明和两种开源且实时的车道线检测算法UFLD、LaneATT在模型大小和推理帧率上的对比结果如表4所示，其中推理帧率是在Tesla V100上测试得到的。
表4本发明和UFLD、LaneATT在模型大小和推理帧率上的对比
对比项 UFLD LaneATT 本发明
推理帧率(FPS) 280 153 350
模型大小(MB) 340 240 301
从结果可以看出，从推理帧率上看，本发明的推理帧率最快；从模型大小上看，LaneATT的模型最小，本发明的模型大小次之。综合以上实验结果，本发明的模型在推理帧率以及F1score精度上均优于UFLD以及LaneATT两种算法。虽然本发明的模型大小不是最小，但是301MB的大小依然属于可以接受的程度。
综上所述，本发明与现有的开源的基于深度学习的车道线检测算法相比，具有一定的优势。本发明通过深度神经网络获取输入图像的视觉特征，并通过引入通道和空间注意力机制快速筛选出有价值的信息，以获取更加精确的特征表达。同时，本发明引入了不均匀锚的方式，使得车道边沿线的形状结果表达更为精确。此外，本发明通过引入深度可分离卷积，有效地提高了模型检测的帧率，满足了实际模型部署检测的帧率需求。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于不均匀锚的车道线边沿实时检测方法，其特征在于，该方法包括：
将待检测道路场景图像输入至训练好的检测模型中的主干网络，得到N个车道线边沿图像，N表示预定义的最大车道线边沿数量；
所述检测模型包括主干网络；
所述主干网络包括：图像视觉特征提取模块和维度转换模块；其中，所述图像视觉特征提取模块，用于提取图像的各层次特征；所述维度转换模块，用于将高层特征即语义特征的维度转换至目标标签维度；
所述检测模型通过以下方式训练：采用训练数据集训练检测模型；所述训练数据集包括多个道路场景图像，每个道路场景图像的目标标签为该图像中所有车道线的边沿线在锚驱动下生成的N个标注图像，所述目标标签维度为N×总列锚数×总行锚数，所述锚采用以下任一种方式设置为不均匀：
方式一：截取原始图像的ROI区域，将ROI区域按照图像高度方向划分为若干个区域，同个区域内间隔相同的行数取一个行锚，不同区域的间隔行数不同，且越靠上间隔行数越小，以形成上密下疏的不均匀行锚；
方式二：车道线位于图像左部，截取原始图像的ROI区域，将ROI区域按照图像宽度方向划分为若干个区域，同个区域内间隔相同的列数取一个列锚，不同区域的间隔列数不同，且越靠左间隔行数越小，以形成左密右疏的不均匀列锚；
方式三：车道线位于图像右部，截取原始图像的ROI区域，将ROI区域按照图像宽度方向划分为若干个区域，同个区域内间隔相同的列数取一个列锚，不同区域的间隔列数不同，且越靠右间隔行数越小，以形成右密左疏的不均匀列锚；
方式四：同时满足方式一和方式二；
方式五：同时满足方式一和方式三。
2.如权利要求1所述的方法，其特征在于，根据输入图像的ROI区域的分辨率调整区域数量和各区域内的行/列数，具体如下：
设输入图像的ROI区域的分辨率为W×H；
在高度方向从上到下划分为
Figure FDA0003880679490000021
Figure FDA0003880679490000022
共krow个区域，其中每个区域内分别均匀分布着
Figure FDA0003880679490000023
(krow-1)krow、......、krow个行锚，krow表示预设的行锚区域数；
在宽度方向上划分划分为
Figure FDA0003880679490000024
Figure FDA0003880679490000025
共kcol个区域，车道线区域位于左侧时，每个区域内分别均匀分布着
Figure FDA0003880679490000026
m(kcol-1)kcol、......、mkcol个列锚，车道线位于右侧时，每个区域内分别均匀分布着mkcol、2mkcol、......、
Figure FDA0003880679490000027
个列锚，m用于调整区域内列锚数量，kcol表示预设的列锚区域数。
3.如权利要求1所述的方法，其特征在于，图像视觉特征提取模块为轻量级ResNet18网络；
所述轻量级ResNet18网络将标准ResNet18网络的所有阶段中除第一个阶段和残差连接的卷积运算外的所有标准卷积替换为深度可分离卷积。
4.如权利要求3所述的方法，其特征在于，所述主干网络还包括：通道注意力模块，用于对图像视觉特征提取模块输出的语义特征图不同的通道分配不同的通道注意力分数，所述注意力分数表示神经网络对不同通道的关注程度。
5.如权利要求4所述的方法，其特征在于，所述维度转换模块包括多层感知机和重排模块，最终得到的检测结果如下：
Figure FDA0003880679490000028
其中，输出结果Yi由N张nrow_grid×ncol_grid的不均匀锚驱动的网格表示，需要检测的车道线边沿上的点就落在这些网格中，ncol_grid表示最终输出张量的每列单元格数，即行锚数，nrow_grid表示最终输出张量的每行单元格数，即列锚数，
Figure FDA0003880679490000031
表示第i个输入图像依次经过所述图像视觉特征提取模块和所述通道注意力模块处理得到的输出特征图；Flatten表示拉平操作；MLP表示多层感知机，由3个全连接层组成，输出格式为1×(N·(nrow_grid+1)·ncol_grid)；Reshape表示重排操作，将全连接层的输出重排为N×(nrow_grid+1)×ncol_grid的格式。
6.如权利要求5所述的方法，其特征在于，所述模型还包括：仅参与训练阶段的辅助分支，
所述辅助分支包括：上采样模块、空间注意力模块、第二通道注意力模块、特征融合模块、通道调整模块及Softmax函数；
所述上采样模块，用于对残差块的第二、三、四阶段的输出特征图使用双线性插值的方式进行上采样；
所述空间注意力模块，用于对上采样模块输出的每个特征图上的不同位置赋予不同的空间注意力分数；
所述第二通道注意力模块，用于对空间注意力模块输出的每个特征不同的通道分配不同的通道注意力分数；
所述特征融合模块，用于将第二注意力模块输出的每个特征图堆叠起来进行特征融合；
所述通道调整模块，用于将融合特征通道数调整到与目标标签相同；
所述Softmax函数，用于将通道调整模块输出的特征图映射到0～1之间的概率表达，以进行训练和优化；
所述注意力分数表示神经网络对不同通道或区域的关注程度。
7.如权利要求5或6所述的方法，其特征在于，通道注意力模块为ECANet。
8.如权利要求6所述的方法，其特征在于，空间注意力模块为CANet。
9.如权利要求1至8任一项所述的方法，其特征在于，对得到的N个检测结果进行以下后处理：
对于所述不均匀锚驱动的nrow_grid×ncol_grid的网格，将每行中概率小于预设阈值的网格点的值标记为“0”，每行中概率最大的网格点的值标记为“1”，其余位置的值标记为“0”，通过检测结果中存在“1”确定车道线边沿；
每相邻2个车道线边沿，确定一条车道线。
10.一种基于不均匀锚的车道线边沿实时检测系统，其特征在于，包括处理器和存储器；
所述存储器，用于存储计算机执行指令；
所述处理器，用于执行所述计算机执行指令，使得权利要求1至9任一项所述的方法被执行。
CN202211227720.2A 2022-10-09 2022-10-09 一种基于不均匀锚的车道线边沿实时检测方法和系统 Pending CN115661771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211227720.2A CN115661771A (zh) 2022-10-09 2022-10-09 一种基于不均匀锚的车道线边沿实时检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211227720.2A CN115661771A (zh) 2022-10-09 2022-10-09 一种基于不均匀锚的车道线边沿实时检测方法和系统

Publications (1)

Publication Number Publication Date
CN115661771A true CN115661771A (zh) 2023-01-31

Family

ID=84986731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211227720.2A Pending CN115661771A (zh) 2022-10-09 2022-10-09 一种基于不均匀锚的车道线边沿实时检测方法和系统

Country Status (1)

Country Link
CN (1) CN115661771A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071374A (zh) * 2023-02-28 2023-05-05 华中科技大学 一种车道线实例分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071374A (zh) * 2023-02-28 2023-05-05 华中科技大学 一种车道线实例分割方法及系统
CN116071374B (zh) * 2023-02-28 2023-09-12 华中科技大学 一种车道线实例分割方法及系统

Similar Documents

Publication Publication Date Title
CN114897779B (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
TWI651697B (zh) 停車場空位偵測方法及其偵測模型建立方法
CN101944174B (zh) 车牌字符的识别方法
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN108681693B (zh) 基于可信区域的车牌识别方法
CN108830196A (zh) 基于特征金字塔网络的行人检测方法
CN113486764B (zh) 一种基于改进的YOLOv3的坑洼检测方法
CN114120069B (zh) 基于方向自注意力的车道线检测系统、方法和存储介质
CN106600613A (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN115661771A (zh) 一种基于不均匀锚的车道线边沿实时检测方法和系统
CN116824543A (zh) 一种基于od-yolo的自动驾驶目标检测方法
CN115082672A (zh) 一种基于边界框回归的红外图像目标检测方法
CN115100165A (zh) 一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统
CN114782919A (zh) 一种真实和仿真数据增强的道路栅格地图构建方法、系统
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
CN117495735A (zh) 一种基于结构引导的建筑物立面纹理自动修复方法及系统
CN116071374B (zh) 一种车道线实例分割方法及系统
CN117152414A (zh) 一种基于尺度注意力辅助学习方法的目标检测方法及系统
Liu et al. Multi-lane detection by combining line anchor and feature shift for urban traffic management
CN110852235A (zh) 一种图像特征提取方法
CN116245843A (zh) 基于YOLOv5框架的车漆缺陷检测与分割一体化方法
CN112686233B (zh) 基于轻量化边缘计算的车道线识别方法及装置
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
CN112446292B (zh) 一种2d图像显著目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination