CN115690715A - 一种车道线检测方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种车道线检测方法、电子设备及存储介质，包括获取待检测图像，图中有车道线，对待检测图像进行特征信息提取，得到第一至第三特征信息，用注意力机制对第一至第三特征信息进行处理得到第一至第三注意力特征信息，对第三特征信息进行高纬度语义信息提取得到语义特征信息，用第二、第三注意力特征信息和语义特征信息确定第一待识别特征信息，在第一待识别特征信息中识别出目标车道线的情况下，用第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息，用第二待识别特征信息确定目标车道线在待检测图像中的位置信息。本申请实施例改进了传统的网络结构，增强了特征提取能力和判断、检测车道线的能力。

Description

一种车道线检测方法、电子设备及存储介质

技术领域

本发明涉及车辆技术领域，尤其涉及一种车道线检测方法、电子设备及存储介质。

背景技术

车道线检测是自动驾驶的关键因素，能确保车辆行驶定位在车道内，并遵守车道内的相关交通规则以及辅助偏离车道和轨迹的规划决策。车道线检测通常包含三个处理步骤：第一，对图像进行预处理得到感兴趣区域，第二，预测车道线标记出现的区域，第三，对高频区域的车道模型拟合。

在卷积神经网络中，网络会通过逐层抽象来提取特征，高层网络的感受野较大，特征图的包含更多的语义信息特征，但是特征图的分辨率低，缺乏空间几何特征细节，适合进行分类和检测大目标。而低层网络的感受野小，特征图包含更多的几何细节特征，分辨高但语义信息缺乏，适合车道线的定位。

车道线在场景中的状态存在不确定性，例如车道线可能存在被遮挡、磨损、道路变化时本身的不连续性、光照反光等情况。在这些场景下，车道线都不确定。当车道线可能与路面标记和路沿存在干扰歧义时，需要网络针对不同情况具备较强的推理判别能力，而传统的卷积神经网络对图像特征的提取往往并无差别，所以无法关注重点特征，并且卷积限制了感受野的大小。

发明内容

本申请实施例提供了一种车道线检测方法、电子设备及存储介质，运用改进的传统网络结构提取待检测图像的特征信息，这样不仅增强了特征提取能力，同时还增强了判断、检测车道线的能力。

一方面，本申请实施例提供了一种车道线检测方法，该方法包括：

获取待检测图像；待检测图像中包括车道线；

对待检测图像进行特征信息提取，得到第一特征信息、第二特征信息和第三特征信息；

基于注意力机制对第一特征信息、第二特征信息和第三特征信息进行处理，得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息；

对第三特征信息进行高纬度语义信息提取，得到语义特征信息；

基于第二注意力特征信息、第三注意力特征信息和语义特征信息确定第一待识别特征信息；

在第一待识别特征信息中识别出目标车道线的情况下，基于第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息；

基于第二待识别特征信息确定目标车道线在待检测图像中的位置信息。

在一些可能的实施例中，第一特征信息、第二特征信息和第三特征信息基于信息提取模型确定；

信息提取模型包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一信息提取层和第二信息提取层。

在一些可能的实施例中，对待检测图像进行特征信息提取，得到第一特征信息、第二特征信息和第三特征信息，包括：

基于第一卷积层对待检测图像进行特征信息提取，得到第四特征信息；

基于第二卷积层对第四特征信息进行特征信息提取，得到第五特征信息；

基于第三卷积层对第五特征信息进行特征信息提取，得到第一特征信息；

基于第四卷积层和第一信息提取层分别对第一特征信息进行特征信息提取，分别得到第一子特征信息和第一语义特征信息；

将第一子特征信息和第一语义特征信息进行拼接，得到第二特征信息；

基于第五卷积层和第二信息提取层分别对第二特征信息进行特征信息提取，分别得到第二子特征信息和第二语义特征信息；

将第二子特征信息和第二语义特征信息进行拼接，得到第三特征信息。

在一些可能的实施例中，第一待识别特征信息和第二待识别特征信息基于信息复原模型确定；

信息复原模型包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层。

在一些可能的实施例中，基于第二注意力特征信息、第三注意力特征信息和语义特征信息确定第一待识别特征信息，包括：

将第三注意力特征信息和语义特征信息进行拼接，得到第一输入特征信息；

基于第一反卷积层对第一输入特征信息进行信息复原，得到第一子输入特征信息；

将第一子输入特征信息和第二注意力特征信息进行拼接，得到第一待识别特征信息。

在一些可能的实施例中，基于第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息，包括：

基于第二反卷积层对第一待识别特征信息进行信息复原，得到第二子输入特征信息；

将第一注意力特征信息、第二子输入特征信息和语义特征信息进行拼接，得到第二输入特征信息；

基于第三反卷积层对第二输入特征信息进行信息复原，得到第三输入特征信息；

基于第四反卷积层对第三输入特征信息进行信息复原，得到第二待识别特征信息。

另一方面，本申请实施例提供了一种车道线检测装置，该装置包括：

图像获取模块，用于获取待检测图像，待检测图像中包括车道线；

特征提取模块，用于提取待检测图像中的特征信息，得到第一特征信息、第二特征信息和第三特征信息；

注意力机制模块，用于对第一特征信息、第二特征信息和第三特征信息进行处理，得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息；

语义信息提取模块，用于对第三特征信息进行高纬度语义信息提取，得到语义特征信息；

第一待识别特征信息确定模块，用于基于第二注意力特征信息、第三注意力特征信息和语义特征信息确定第一待识别特征信息；

第二待识别特征信息确定模块，在第一待识别特征信息中识别出目标车道线的情况下，用于基于第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息；

位置信息确定模块，用于基于第二待识别特征信息确定目标车道线在待检测图像中的位置信息。

在一些可能的实施例中，第一特征信息、第二特征信息和第三特征信息基于信息提取模型确定；

信息提取模型包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一信息提取层和第二信息提取层。

在一些可能的实施例中，特征提取模块，用于：

基于第一卷积层对待检测图像进行特征信息提取，得到第四特征信息；

基于第二卷积层对第四特征信息进行特征信息提取，得到第五特征信息；

基于第三卷积层对第五特征信息进行特征信息提取，得到第一特征信息；

基于第四卷积层和第一信息提取层分别对第一特征信息进行特征信息提取，分别得到第一子特征信息和第一语义特征信息；

将第一子特征信息和第一语义特征信息进行拼接，得到第二特征信息；

基于第五卷积层和第二信息提取层分别对第二特征信息进行特征信息提取，分别得到第二子特征信息和第二语义特征信息；

将第二子特征信息和第二语义特征信息进行拼接，得到第三特征信息。

在一些可能的实施例中，第一待识别特征信息和第二待识别特征信息基于信息复原模型确定；

信息复原模型包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层。

在一些可能的实施例中，第一待识别特征信息确定模块，用于：

将第三注意力特征信息和语义特征信息进行拼接，得到第一输入特征信息；

基于第一反卷积层对第一输入特征信息进行信息复原，得到第一子输入特征信息；

将第一子输入特征信息和第二注意力特征信息进行拼接，得到第一待识别特征信息。

在一些可能的实施例中，第二待识别特征信息确定模块，用于：

基于第二反卷积层对第一待识别特征信息进行信息复原，得到第二子输入特征信息；

将第一注意力特征信息、第二子输入特征信息和语义特征信息进行拼接，得到第二输入特征信息；

基于第三反卷积层对第二输入特征信息进行信息复原，得到第三输入特征信息；

基于第四反卷积层对第三输入特征信息进行信息复原，得到第二待识别特征信息。

另一方面，本发明实施例提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行任一上述的车道线检测方法。

另一方面，本发明实施例提供了一种计算机存储介质，计算机存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现任一上述的车道线检测方法。

另一方面，本发明实施例中提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序，使得计算机设备执行以实现任一上述的车道线检测方法。

本申请实施例提供的一种车道线检测方法、电子设备及存储介质，具有如下技术效果：

获取待检测图像，待检测图像中包括车道线，对待检测图像进行特征信息提取，得到第一特征信息、第二特征信息和第三特征信息，基于注意力机制对第一特征信息、第二特征信息和第三特征信息进行处理，得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息，对第三特征信息进行高纬度语义信息提取，得到语义特征信息，基于第二注意力特征信息、第三注意力特征信息和语义特征信息确定第一待识别特征信息，在第一待识别特征信息中识别出目标车道线的情况下，基于第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息，基于第二待识别特征信息确定目标车道线在待检测图像中的位置信息。本申请实施例通过提取待检测图像中的特征得到不同尺度的特征信息，基于注意力机制对不同尺度的特征信息进行处理得到不同尺度的高注意力特征的信息，基于高纬度语义信息提取对特征信息进行处理得到具有高语义的特征信息，再将不同尺度的高注意力特征的信息、高语义的特征信息与从待检测图像中提取的不同尺度的特征信息进行融合，融合不同尺度的特征可以实现特征的增强，还可以基于这些融合的特征进行目标车道线的识别与定位。上述过程不仅可以融合高低层次特征，还可以同时获取全局的空间结构关系和细节处的定位精度，使得特征图兼具丰富的几何位置信息和语义信息，进而提高车道线的定位精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种车道线检测方法的示意图；

图3是本申请实施例提供的一种信息提取模型的示意图；

图4是本申请实施例提供的一种注意力模块的网络结构图；

图5是本申请实施例提供的一种确定第一待识别特征信息的示意图；

图6是本申请实施例提供的一种确定第二待识别特征信息的示意图；

图7是本申请实施例提供的一种车道线检测装置的示意图；

图8是本申请实施例提供的一种车道线检测方法的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，包括车辆和车端处理器10。其中，该车端处理器10可以是设置在车辆中的处理器，也可以是和车辆中的处理器进行连接，为车辆中的处理器提供服务的厂商处理器。

在一些可能的实施例中，车端处理器10可以包括是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云音频识别模型训练、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows、Unix等。

以下介绍本申请一种车道线检测方法的具体实施例，请参阅图2，图2是本申请实施例提供的一种车道线检测方法的示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

S201：获取待检测图像，待检测图像中包括车道线。

本申请实施例中，可以使用车辆上安装的摄像头来获取待检测图像，待检测的图像可以是车辆行驶途中拍摄到的自车视野正前方的图像，也可以是车辆斜前方的图像，图像中可以包含车道线以及其他物体。

在一些可能的实施例中，待检测图像中包含的车道线可以是被其他物体遮挡的，也可以是被磨损或者因为道路的变化本身不连续的。

S203：对待检测图像进行特征信息提取，得到第一特征信息、第二特征信息和第三特征信息。

在一种可选的实施例中，图3是本申请实施例提供的一种信息提取模型的示意图，如图3所示，信息提取模型可以包括第一卷积层301、第二卷积层302、第三卷积层303、第四卷积层304、第五卷积层305、第一信息提取层306和第二信息提取层307。可选的，卷积模型中的卷积层的层数、卷积核的大小、卷积的步长以及卷积层的连接关系都可以根据实际的应用场景进行调整，本申请实施例中的信息提取模型的基础架构可以采用标准的Resnet50。图中的第一特征信息、第二特征信息和第三特征信息可以是基于信息提取模型确定的，第一特征信息可以是待检测图像经过第一卷积层、第二卷积层和第三卷积层的卷积，进行车道线的特征信息提取之后得到的特征信息，此时的第一特征信息的几何结构较清晰，但是语义特征逐渐减少，特征图的分辨率升高。第二特征信息是对第一特征信息进一步卷积得到的第一子特征信息和第一信息提取层对第一特征信息进一步提取所需特征信息之后得到的第一语义特征信息融合而来，此时的第二特征信息的几何特征细节比第一特征信息的几何结构更加清晰，特征图的分辨率进一步升高，但是相较于第一特征信息，第二特征信息包含的内容更多，信息更多。第三特征信息是对第二特征信息进行卷积得到第二子特征信息和第二信息提取层对第二特征信息进行所需特征提取之后得到的第二语义特征信息融合而来，第三特征信息的分辨率更高，同时包含了更多的特征信息，几何结构更加清晰。举个例子，若待检测图像为包含有车道线、人物以及车辆的图片，经过卷积处理之后，图像中的人物的形态，面部表情、车辆和车道线的颜色这些信息都会淡化，这些信息可以统称为语义信息，也就是说，通过卷积后，图片中的语义信息会减少，但是经过卷积处理之后，人物、车道线以及车辆的轮廓会逐渐清晰，也就是几何结构逐渐清晰，特征图的分辨率也会更高，这样的图像有利于对车道线这种细长外观结构且分辨率低的物体进行判别。在车辆获取到待检测图像之后，将待检测图像输入到信息提取模型中，信息提取模型可以是编码器，即为网络主干backbone，用于初步提取图像的特征信息。其中，第一信息提取层306在主干网络的第三卷积层303和第四卷积层304之间，第二信息提取层307在第四卷积层304与第五卷积层305之间，用于增强特征提取的能力。第一信息提取层306和第二信息提取层307可以是局部改进的编码器transformer，编码器transformer可以是在视觉transformer(Vision transformer，ViT)的基础上进行改进的，具体的，第一信息提取层306的编码器transformer先对输入的第一特征信息进行空洞卷积，卷积核的大小可以设置为3×3，卷积扩张率可以设置为2，卷积之后再对得到的特征信息进行切片处理得到一维的特征信息，将切片后的信息进行常规的视觉transformer特征信息提取。第二信息提取层307的编码器transformer对输入的第二特征信息进行空洞卷积，卷积核可以设置大小为3×3的，卷积扩张率可以设置为4，卷积之后再对得到的特征信息进行切片处理得到一维的特征信息，将切片后的信息进行常规的视觉transformer特征信息提取。在对第一和第二特征信息进行提取之前，先进行一次空洞卷积，这样可以增加不同感受野的背景信息。

上述涉及的信息提取模型包含的卷积层的数量和信息提取层的数量只是该信息提取模型的一种可选的实施例，在针对不同的处理场景和不同的处理要求，可以改变卷积层的数量和信息提取层的数量，以及连接关系，图3所示的信息提取模型并不能对本申请做限制。

在一些可能的实施例中，结合图3继续阐述，对待检测图像进行特征信息提取，得到第一特征信息、第二特征信息和第三特征信息，可以包括：第一卷积层301可以先对待检测图像进行特征信息提取，得到第四特征信息，这里的特征信息可以是车道线，也可以是其他特征，例如，待检测图像中的其他车辆或者交通标牌。其次，第二卷积层302可以对第四特征信息进行特征信息提取，得到第五特征信息，再者，第三卷积层303可以对第五特征信息进行特征信息提取，得到第一特征信息。例如，对待检测图像进行特征信息的提取，这里的待检测图像中可以有车道线、人物和车辆，若需要对车道线进行检测，则首先可以对图像中的车道线进行特征信息的提取，得到第四特征信息，此时的特征信息只经历了一次卷积，信息的提取程度不够，得到的特征图的分辨率还很低，所以需要对得到的第四特征信息进一步进行特征信息提取，对其中的车道线的外观结构特征细节进行提取，得到第五特征信息。对第五特征信息进行车道线信息的进一步提取，得到分辨率更高，细节信息更完善的第一特征信息。之后，第四卷积层304和第一信息提取层306分别对第一特征信息进行特征信息提取，分别得到第一子特征信息和第一语义特征信息，第一子特征信息包含了车道线的一部分细节信息，比如，可以包含车道线的几何形状，第一语义特征信息可以包含车道线的其他细节信息，例如包含车道线的颜色，车道线在图片中的位置信息等。再将第一子特征信息和第一语义特征信息进行拼接，得到第二特征信息，这里的拼接可以是矩阵中的数字的简单相加，也可以是矩阵通道间的拼接，拼接之后的第二特征信息包含的车道线信息更加丰富，且同时具有第一子特征信息包含的例如车道线的几何形状以及第一语义特征信息包含的车道线的颜色、车道线在图片中的位置信息。最后，基于第五卷积层305和第二信息提取层307分别对第二特征信息进行特征信息提取，分别得到第二子特征信息和第二语义特征信息，第二子特征信息和第二语义特征信息是在第二特征信息的基础上进一步提取得到的，第二子特征信息可以包含更精准的车道线的曲率信息或者其他信息，第二语义特征信息可以包含更精确的车道线的长度信息或者其他信息，再将第二子特征信息和第二语义特征信息进行拼接，得到第三特征信息，这里的拼接可以是矩阵中的数字的简单相加，也可以是矩阵通道间的拼接，得到的第三特征中的车道线的信息是比较丰富的，尤其是车道线的空间几何特征细节较多，特征图的分辨率也很高，此时进一步提高了车道线识别的精准度。

通过对输入待检测图像进行卷积，并进行特征提取，使原本具有丰富的语义信息特征、分辨率较低的特征图，逐渐变成语义特征缺乏，图中物体的空间几何细节特征明显的高分辨率特征图，这种图更适合进行车道线这种外观结构细长且分辨率较低的物体的定位。第一信息提取层和第二信息提取层可以对输入的特征图进行切片之前，先对图像进行空洞卷积，这样可以提高输入特征图的感受野，感受野越大，捕获到的信息更全面，也可以融合更多尺度的信息，将第一信息提取层和第二信息提取层的编码器transformer嵌入到网络主干，即第一至第五卷积层中，可以实现增强特征提取的效果。

S205：基于注意力机制对第一特征信息、第二特征信息和第三特征信息进行处理，得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息。

在一个可选的实施例中，图4是本申请实施例提供的一种注意力模块的网络结构图，如图4所示，注意力机制可以是如图所示的注意力模块(Convolutional BlockAttention Module，CBAM)，注意力模块可以代替传统的卷积操作，该模块会依次沿着通道注意力模块401和空间注意力模块402进行推断，并综合通道注意力模块401和空间注意力模块402这两方面的注意力信息，使得获取到的信息更加全面。

可选的，可以将输入的特征图(H×W×C)403首先输送经过通道注意力模块401，该模块先会使用全局平均池化将特征图(H×W×C)转换为(1×1×C)的特征图404并输出，之后将得到的特征图404可以送入到一个两层的全连接层(Fully Connected layers，FC)405，生成通道间的注意力权重特征，通道间的注意力权重特征可以和输入特征图403的每个元素对应相乘即进行element-wise乘法操作，并生成空间注意力模块402需要的输入特征406。然后输入特征406通过空间维度的卷积降维为(H×W×1)的特征，再经过S型函数(sigmoid)计算得到空间注意力权重，最后该模块的输入即生成的空间注意力模块402需要的输入特征406与空间注意力权重相乘得到最终特征407。

可选的，可以基于注意力机制对第一特征信息、第二特征信息和第三特征信息进行处理，分别可以得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息。可选的，得到的第一注意力特征信息、第二注意力特征信息和第三注意力特征信息可以是在对第一特征信息、第二特征信息和第三特征信息分别进行提取的时候，重点关注包含有车道线的信息，而降低对其他信息的关注度。换言之，注意力机制可对特征进行校正，校正后的特征可保留有价值的特征，剔除没价值的特征。

S207：对第三特征信息进行高纬度语义信息提取，得到语义特征信息。

在一种可选的实施例中，对第三特征信息进行高纬度语义信息提取，可以在主干网络的最高层连接的编码器transformer模块中，参考空洞空间卷积池化金字塔(AtrousSpatial Pyramid Pooling，ASPP)的思想进行改进，得到ASPP transformer模块，这个模块可以采用不同的扩张因子对输入的最后一层特征图中包含的第三特征信息进行空洞卷积操作。卷积核可以设定的大小为3×3，扩张因子r可以分别设置为1、3、5、7，卷积核和扩张因子的设置可以根据不同的模型进行调整。之后，采用自适应平均池化操作，获取到相同分辨率、相同通道数、不同尺度的特征信息，并联合各个尺度的特征信息，这样就可以对第三特征信息进行高纬度语义信息提取，得到语义特征信息。

通过ASPP transformer模块对输入的特征信息在进行切片之前对信息先进行空洞空间金字塔池化，这样可以扩大感受野的大小，同时可以增强语义信息，进而增强了判断车道线和推断车道线分布的能力。

S209：基于第二注意力特征信息、第三注意力特征信息和语义特征信息确定第一待识别特征信息。

在一些可能的实施例中，图5是本申请实施例提供的一种确定第一待识别特征信息的示意图，图6是本申请实施例提供的一种确定第二待识别特征信息的示意图。如图5-图6所示，第一待识别特征信息和第二待识别特征信息可以基于信息复原模型确定。这里的信息复原模型可以包括第一反卷积层501、第二反卷积层601、第三反卷积层602、第四反卷积层603。

在一些可能的实施例中，结合图5继续阐述，基于第二注意力特征信息、第三注意力特征信息和语义特征信息确定第一待识别特征信息，可以包括：首先，将第三注意力特征信息和语义特征信息进行拼接，得到第一输入特征信息。这里的拼接可以是矩阵中的数字的简单相加，也可以是矩阵通道间的拼接。之后，基于第一反卷积层501可以对第一输入特征信息进行信息复原，得到第一子输入特征信息。最后，将第一子输入特征信息和第二注意力特征信息进行拼接，得到第一待识别特征信息。这里的信息复原的整个过程可以相当于特征金字塔网络，特征金字塔网络可以用于处理不同尺度下物体的检测问题，能够融合多尺度的特征。可选的，第一待识别特征信息可以是融合了高层注意力特征信息也即第二注意力特征信息和ASPP transformer模块输出的具有高语义特征信息也即语义特征信息，得到的第一待识别特征信息具有清楚的几何结构，同时分辨率也比较高，可以用于车道线的辨别和车道线分布的推断。

S2011：在第一待识别特征信息中识别出目标车道线的情况下，基于第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息。

在一些可能的实施例中，结合图6继续阐述，基于第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息，可以包括：首先，基于第二反卷积层601对第一待识别特征信息进行信息复原，得到第二子输入特征信息。其次，将第一注意力特征信息、第二子输入特征信息和语义特征信息进行拼接，得到第二输入特征信息。这里的拼接可以是矩阵中的数字的简单相加，也可以是矩阵通道间的拼接。可选的，第二输入特征信息可以是高层ASPP transformer模块提取的特征信息也即语义特征信息以及低层注意力特征信息也即第一注意力特征信息的拼接，这样可以实现高低层次特征的融合，可以增强低层信息的语义特征，经过反卷积后得到的特征信息的几何结构比较清楚，分辨率比较高，同时包含了丰富的语义信息，所以这些特征信息可以用于车道线的定位。之后，基于第三反卷积层602可以对第二输入特征信息进行信息复原，得到第三输入特征信息。最后，可以基于第四反卷积层603对第三输入特征信息进行信息复原，得到第二待识别特征信息。

S2013：基于第二待识别特征信息确定目标车道线在待检测图像中的位置信息。

可选的，经过复原得到的第二待识别特征信息具有丰富的语义特征，且分辨率较高，几何结构也很清晰，所以可以用来对车道线进行定位，例如可以确定车道线的位置，长度或者车道线的曲率。

本申请实施例的模型是基于卷积神经网络、特征金字塔网络以及注意力机制改进融合而来，在卷积神经网络中，网络会通过逐层抽象来提取特征，高层网络的感受野较大，特征图包含的语义信息特征更多，但是特征图的分辨率较低，缺乏空间几何特征细节，适合进行分类和检测大目标，而低层网络的感受野小，特征图包含更多的几何细节特征，分辨率高，但语义信息缺乏，适合车道线的定位。特征金字塔是通过将高层的特征上采样并与该层的特征进行融合，再传给低一层，这样可以补充低层的语义信息特征，获得高分辨率且强语义特征的信息。在网络模型处理输入数据的过程中，注意力机制可以通过对网络层的计算得到特征图的权重，从而获得更多和目标特征相关的细节信息，提高关键信息的关注度，提高神经网络的效率。本申请实施例通过改进上述网络的结构，并且拼接融合高低层次的特征来同时获取全局的空间结构关系和细节处的定位精度，使得特征信息兼具丰富的几何位置信息和语义特征信息，从而提高了车道线的定位精度。

本申请实施例还提供了一种车道线检测装置，图7是本申请实施例提供的一种车道线检测装置的示意图，如图7所示，该装置包括图像获取模块701、特征提取模块702、注意力机制模块703、语义信息提取模块704、第一待识别特征信息确定模块705、第二待识别特征信息确定模块706、位置信息确定模块707。

图像获取模块701，用于获取待检测图像，待检测图像中包括车道线。可选的，获取到的车道线可以是被其他物体遮挡的，也可以是被磨损或者因为道路的变化本身不连续的。

特征提取模块702，用于提取待检测图像中的特征信息，得到第一特征信息、第二特征信息和第三特征信息。

注意力机制模块703，用于对第一特征信息、第二特征信息和第三特征信息进行处理，得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息。

语义信息提取模块704，用于对第三特征信息进行高纬度语义信息提取，得到语义特征信息。

第一待识别特征信息确定模块705，用于基于第二注意力特征信息、第三注意力特征信息和语义特征信息确定第一待识别特征信息。

第二待识别特征信息确定模块706，在第一待识别特征信息中识别出目标车道线的情况下，用于基于第一待识别特征信息、语义特征信息和第一注意力特征信息确定第二待识别特征信息。

位置信息确定模块707，用于基于第二待识别特征信息确定目标车道线在待检测图像中的位置信息。

在一些可能的实施例中，第一特征信息、第二特征信息和第三特征信息可以基于信息提取模型确定，信息提取模型可以包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一信息提取层和第二信息提取层。

在一些可能的实施例中，特征提取模块，用于基于第一卷积层对待检测图像进行特征信息提取，得到第四特征信息。基于第二卷积层对第四特征信息进行特征信息提取，得到第五特征信息。基于第三卷积层对第五特征信息进行特征信息提取，得到第一特征信息，基于第四卷积层和第一信息提取层分别对第一特征信息进行特征信息提取，分别得到第一子特征信息和第一语义特征信息，将第一子特征信息和第一语义特征信息进行拼接，得到第二特征信息。基于第五卷积层和第二信息提取层分别对第二特征信息进行特征信息提取，分别得到第二子特征信息和第二语义特征信息，将第二子特征信息和第二语义特征信息进行拼接，得到第三特征信息。

在一些可能的实施例中，第一待识别特征信息和第二待识别特征信息可以基于信息复原模型确定，信息复原模型可以包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层。

在一些可能的实施例中，第一待识别特征信息确定模块，用于将第三注意力特征信息和语义特征信息进行拼接，得到第一输入特征信息。基于第一反卷积层对第一输入特征信息进行信息复原，得到第一子输入特征信息，将第一子输入特征信息和第二注意力特征信息进行拼接，得到第一待识别特征信息。

在一些可能的实施例中，第二待识别特征信息确定模块，用于基于第二反卷积层对第一待识别特征信息进行信息复原，得到第二子输入特征信息，将第一注意力特征信息、第二子输入特征信息和语义特征信息进行拼接，得到第二输入特征信息。基于第三反卷积层对第二输入特征信息进行信息复原，得到第三输入特征信息，基于第四反卷积层对第三输入特征信息进行信息复原，得到第二待识别特征信息。

本申请实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图8是本申请实施例提供的一种车道线检测方法的服务器的硬件结构框图。如图8所示，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)810(处理器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中，存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质820通信，在服务器800上执行存储介质820中的一系列指令操作。服务器800还可以包括一个或一个以上电源860，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口840，和/或，一个或一个以上操作系统821，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器800的通信供应商提供的无线网络。在一个实例中，输入输出接口840包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器800还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

本申请的实施例还提供了一种计算机存储介质，所述计算机存储介质可设置于服务器之中以保存用于实现方法实施例中一种信号处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述车道线检测方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行任一的车道线检测方法。

另一方面提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序，使得计算机设备执行任一项的车道线检测方法。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种车道线检测方法，其特征在于，所述方法包括：

获取待检测图像；所述待检测图像中包括车道线；

对所述待检测图像进行特征信息提取，得到第一特征信息、第二特征信息和第三特征信息；

基于注意力机制对所述第一特征信息、所述第二特征信息和所述第三特征信息进行处理，得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息；

对所述第三特征信息进行高纬度语义信息提取，得到语义特征信息；

基于所述第二注意力特征信息、所述第三注意力特征信息和所述语义特征信息确定第一待识别特征信息；

在所述第一待识别特征信息中识别出目标车道线的情况下，基于所述第一待识别特征信息、所述语义特征信息和所述第一注意力特征信息确定第二待识别特征信息；

基于所述第二待识别特征信息确定所述目标车道线在所述待检测图像中的位置信息。

2.根据权利要求1所述的车道线检测方法，其特征在于，所述第一特征信息、所述第二特征信息和所述第三特征信息基于信息提取模型确定；

所述信息提取模型包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一信息提取层和第二信息提取层。

3.根据权利要求2所述的车道线检测方法，其特征在于，所述对所述待检测图像进行特征信息提取，得到第一特征信息、第二特征信息和第三特征信息，包括：

基于所述第一卷积层对所述待检测图像进行特征信息提取，得到第四特征信息；

基于所述第二卷积层对所述第四特征信息进行特征信息提取，得到第五特征信息；

基于所述第三卷积层对所述第五特征信息进行特征信息提取，得到所述第一特征信息；

基于所述第四卷积层和所述第一信息提取层分别对所述第一特征信息进行特征信息提取，分别得到第一子特征信息和第一语义特征信息；

将所述第一子特征信息和所述第一语义特征信息进行拼接，得到所述第二特征信息；

基于所述第五卷积层和所述第二信息提取层分别对所述第二特征信息进行特征信息提取，分别得到第二子特征信息和第二语义特征信息；

将所述第二子特征信息和所述第二语义特征信息进行拼接，得到所述第三特征信息。

4.根据权利要求1所述的车道线检测方法，其特征在于，所述第一待识别特征信息和所述第二待识别特征信息基于信息复原模型确定；

所述信息复原模型包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层。

5.根据权利要求4所述的车道线检测方法，其特征在于，所述基于所述第二注意力特征信息、所述第三注意力特征信息和所述语义特征信息确定第一待识别特征信息，包括：

将所述第三注意力特征信息和所述语义特征信息进行拼接，得到第一输入特征信息；

基于所述第一反卷积层对所述第一输入特征信息进行信息复原，得到第一子输入特征信息；

将所述第一子输入特征信息和所述第二注意力特征信息进行拼接，得到所述第一待识别特征信息。

6.根据权利要求5所述的车道线检测方法，其特征在于，所述基于所述第一待识别特征信息、所述语义特征信息和所述第一注意力特征信息确定第二待识别特征信息，包括：

基于所述第二反卷积层对所述第一待识别特征信息进行信息复原，得到第二子输入特征信息；

将所述第一注意力特征信息、所述第二子输入特征信息和所述语义特征信息进行拼接，得到第二输入特征信息；

基于所述第三反卷积层对所述第二输入特征信息进行信息复原，得到第三输入特征信息；

基于所述第四反卷积层对所述第三输入特征信息进行信息复原，得到所述第二待识别特征信息。

7.一种车道线检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测图像，所述待检测图像中包括车道线；

特征提取模块，用于提取所述待检测图像中的特征信息，得到第一特征信息、第二特征信息和第三特征信息；

注意力机制模块，用于对所述第一特征信息、所述第二特征信息和所述第三特征信息进行处理，得到第一注意力特征信息、第二注意力特征信息和第三注意力特征信息；

语义信息提取模块，用于对所述第三特征信息进行高纬度语义信息提取，得到语义特征信息；

第一待识别特征信息确定模块，用于基于所述第二注意力特征信息、所述第三注意力特征信息和所述语义特征信息确定第一待识别特征信息；

第二待识别特征信息确定模块，在所述第一待识别特征信息中识别出目标车道线的情况下，用于基于所述第一待识别特征信息、所述语义特征信息和所述第一注意力特征信息确定第二待识别特征信息；

位置信息确定模块，用于基于所述第二待识别特征信息确定所述目标车道线在所述待检测图像中的位置信息。

8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-6中任一所述的方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-6中任一所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得所述计算机设备执行如权利要求1-6中任一所述的方法。

Images