CN116246234A - 车道线检测方法、装置、电子设备及存储介质 - Google Patents

车道线检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116246234A
CN116246234A CN202211559393.0A CN202211559393A CN116246234A CN 116246234 A CN116246234 A CN 116246234A CN 202211559393 A CN202211559393 A CN 202211559393A CN 116246234 A CN116246234 A CN 116246234A
Authority
CN
China
Prior art keywords
image
lane line
feature image
feature
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211559393.0A
Other languages
English (en)
Inventor
朱凤华
张欢
王飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211559393.0A priority Critical patent/CN116246234A/zh
Publication of CN116246234A publication Critical patent/CN116246234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车道线检测方法、装置、电子设备及存储介质，该方法包括：根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；将所述语义特征图像及所述细节特征图像进行聚合，得到聚合特征图像；对所述聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据所述多尺度空间特征图像对应的亲和域，确定所述待识别车道线图像中的车道线。该方法用以解决现有的车道线检测方法无法准确检测到车道线的缺陷，实现有效提高待识别车道线图像中车道线的检测准确性。

Description

车道线检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种车道线检测方法、装置、电子设备及存储介质。
背景技术
在复杂多变的自然场景下，车道线不可避免地会受到自然因素(如日晒、雨淋、冰雪覆盖等)和/或人为因素(如车辆或行人遮挡、磨损等)的影响，造成该车道线的边界模糊甚至消失。
现有的车道线检测方法中，电子设备在获取待识别车道线图像之后，可基于语义分割的车道线检测网络，对该待识别车道线图像中每个像素都进行识别，以得到车道线。但是，该车道线检测方法计算量较大且不易提取该待识别车道线图像中的车道线像素，容易导致电子设备最终得到的车道线不够准确。
发明内容
本发明提供一种车道线检测方法、装置、电子设备及存储介质，用以解决现有的车道线检测方法无法准确检测到车道线的缺陷，实现有效提高待识别车道线图像中车道线的检测准确性。
本发明提供一种车道线检测方法，包括：
根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；
将该语义特征图像及该细节特征图像进行聚合，得到聚合特征图像；
对该聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；
根据该多尺度空间特征图像对应的亲和域，确定该待识别车道线图像中的车道线。
根据本发明提供的一种车道线检测方法，根据获取的待识别车道线图像，确定语义特征图像及细节特征图像，包括：获取该待识别车道线图像；基于残差车道线检测模型中的语义分割骨干网络，对该待识别车道线图像进行语义分割，得到该语义特征图像；基于该残差车道线检测模型中的车道线空间卷积网络，对该待识别车道线图像进行细节特征提取，得到该细节特征图像。
根据本发明提供的一种车道线检测方法，对该聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像，包括：基于残差车道线检测模型中的空间位置注意力模块，对该聚合特征图像进行池化处理和通道压缩处理，得到第一空间特征图像；基于该残差车道线检测模型中的特征自适应模块，对该第一空间特征图像进行采样处理，得到第二空间特征图像；基于该残差车道线检测模型中的空间特征自适应对齐模块，将该第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，得到该多尺度空间特征图像。
根据本发明提供的一种车道线检测方法，对该聚合特征图像进行池化处理和通道压缩处理，得到第一空间特征图像，包括：对该聚合特征图像进行平均池化处理，得到第一池化结果；对该聚合特征图像进行最大池化处理，得到第二池化结果；采用级联方式，对该第一池化结果及该第二池化结果进行汇总，得到目标池化结果；对该目标池化结果进行通道压缩处理，得到通道压缩结果；根据该通道压缩结果，得到该第一空间特征图像。
根据本发明提供的一种车道线检测方法，对该第一空间特征图像进行采样处理，得到第二空间特征图像，包括：根据预设的偏移向量指导表，对该第一空间特征图像进行采样处理，得到该第二空间特征图像。
根据本发明提供的一种车道线检测方法，将该第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，得到该多尺度空间特征图像，包括：将该第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，并获取对齐后的深层特征图像与对齐后的浅层特征图像之间对应位置的像素对；将该像素对进行融合，得到该多尺度空间特征图像。
根据本发明提供的一种车道线检测方法，根据该多尺度空间特征图像对应的亲和域，确定该待识别车道线图像中的车道线，包括：对该多尺度空间特征图像进行切片处理，得到切片结果；对该切片结果进行卷积处理，得到卷积结果；基于亲和域的聚类方法，根据该卷积结果对应的像素间关联信息及掩码信息，确定该待识别车道线图像中的车道线。
本发明还提供一种车道线检测装置，包括：
处理模块，用于根据获取模块获取的待识别车道线图像，确定语义特征图像及细节特征图像；将该语义特征图像及该细节特征图像进行聚合，得到聚合特征图像；对该聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据该多尺度空间特征图像对应的亲和域，确定该待识别车道线图像中的车道线。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述车道线检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述车道线检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述车道线检测方法。
本发明提供的车道线检测方法、装置、电子设备及存储介质，通过根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；将所述语义特征图像及所述细节特征图像进行聚合，得到聚合特征图像；对所述聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据所述多尺度空间特征图像对应的亲和域，确定所述待识别车道线图像中的车道线。该方法用以解决现有的车道线检测方法无法准确检测到车道线的缺陷，实现有效提高待识别车道线图像中车道线的检测准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的车道线检测方法的流程示意图；
图2是本发明提供的聚合语义特征图像及细节特征图像确定聚合特征图像的示意图；
图3是本发明提供的基于空间位置注意力模块PAM确定第一空间特征图像的示意图；
图4是本发明提供的基于空间特征自适应对齐模块LFAM确定多尺度空间特征图像的示意图；
图5是本发明提供的基于车道线空间特征提取神经网络LSCNN确定切片结果的示意图；
图6是本发明提供的车道线检测方法的场景示意图；
图7是本发明提供的车道线检测装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例涉及的执行主体可以是馈源稳定性检测装置，也可以是电子设备，可选的，该电子设备可以包括：计算机、移动终端及可穿戴设备等。
下面以电子设备为例对本发明实施例进行进一步地说明。
如图1所示，是本发明提供的车道线检测方法的流程示意图，可以包括：
101、根据获取的待识别车道线图像，确定语义特征图像及细节特征图像。
其中，待识别车道线图像指的是一种包括车道线的待识别图像；
语义特征图像指的是车道线对应的上下文语义信息；
细节特征图像指的是车道线对应的空间形状细节信息。
电子设备先获取待识别车道线图像；然后，该电子设备能够基于该待识别车道线图像，在语义分支中确定对应的语义特征图像，并在细节分支中确定对应的细节特征图像。
可选的，语义特征图像及细节特征图像可称为双边特征图像。
需要说明的是，电子设备确定语义特征图像与该电子设备确定细节特征图像的时序不限。
在一些实施例中，电子设备根据获取的待识别车道线图像，确定语义特征图像及细节特征图像，可以包括：电子设备获取待识别车道线图像；该电子设备基于残差车道线检测模型中的语义分割骨干网络，对待识别车道线图像进行语义分割，得到语义特征图像；该电子设备基于残差车道线检测模型中的车道线空间卷积网络，对待识别车道线图像进行细节特征提取，得到细节特征图像。
其中，残差车道线检测模型指的是对待识别车道线图像进行检测后，能够准确确定该待识别车道线图像中车道线的模型；
语义分割骨干网络中不存在全连接层，可对待识别车道线图像进行准确地语义分割，得到较为准确的语义特征图像；
车道线空间卷积网络具有三个阶段，每个阶段的第一层都由步长s＝2，卷积核大小为3*3的卷积层构成，该每个阶段的其它层都具有相同数量的过滤器及输出特征图像的尺寸。基于这三个阶段，该车道线空间卷积网络具有较高的车道线空间形状特征的提取能力，可对待识别车道线图像进行有效且准确地细节特征提取，得到较为准确的细节特征图像。
也就是说，电子设备在获取待识别车道线图像之后，可将该待识别车道线图像输入至残差车道线检测模型中；然后，该电子设备基于该残差车道线检测模型中的语义分割骨干网络，得到高质量的语义特征图像，并基于该残差车道线检测模型中的车道线空间卷积网络，得到有效的细节特征图像。
可选的，电子设备基于残差车道线检测模型中的语义分割骨干网络，对待识别车道线图像进行语义分割，得到语义特征图像；电子设备基于残差车道线检测模型中的语义分割骨干网络，对待识别车道线图像进行语义分割，得到第一特征图像；该电子设备对该第一特征图像进行多次反卷积处理，得到语义特征图像。
由于电子设备基于语义分割骨干网络，得到的第一特征图像的图像分辨率小于细节特征图像的图像分辨率，使得该第一特征图像的尺寸较小，不易于该电子设备后续聚合该第一特征图像及该细节特征图像。所以，该电子设备在获取第一特征图像之后，可对该第一特征图像进行多次反卷积处理，在保证该第一特征图像的质量的同时，可有效扩大该第一特征图像的尺寸，得到与该细节特征图像相适应的语义特征图像。也就是说，该电子设备最终得到的语义特征图像的尺寸与细节特征图像的尺寸是相同的，便于该电子设备后续有效聚合该语义特征图像及该细节特征图像。
可选的，电子设备根据获取的待识别车道线图像，确定语义特征图像及细节特征图像，可以包括：电子设备获取待识别车道线图像；该电子设备对该待识别车道线图像进行预处理，并根据预处理后的待识别车道线图像，确定语义特征图像及细节特征图像。
其中，预处理可以包括：去噪处理、膨胀处理或腐蚀处理中的至少一项。
去噪处理指的是去除待识别车道线图像中的环境噪声；
膨胀处理指的是扩张待识别车道线图像中的高亮区域，即膨胀处理后的待识别车道线图像比膨胀处理前的待识别车道线图像具有更大的高亮区域；
腐蚀处理指的是蚕食待识别车道线图像中的高亮区域，即腐蚀处理后的待识别车道线图像比腐蚀处理前的待识别车道线图像具有更小的高亮区域。
电子设备在获取待识别车道线图像之后，由于该待识别车道线图像的图像质量较差，所以，该电子设备可以对该待识别车道线图像进行预处理，得到预处理后的待识别车道线图像，该预处理后的待识别车道线图像的图像质量较佳；然后，该电子设备基于该与处理后的待识别车道线图像，可准确确定对应的语义特征图像及细节特征图像。
102、将语义特征图像及细节特征图像进行聚合，得到聚合特征图像。
电子设备在获取语义特征图像及细节特征图像之后，可将该语义特征图像及该细节特征图像进行聚合，得到待识别车道线图像对应的聚合特征图像。
其中，语义特征图像∈RH×W×C；细节特征图像∈RH×W×C；R表示实数；H×W×C表示实数R的三个空间维度；H表示图像行像素的数量，H≥1、W表示图像列像素的数量，W≥1；C表示图像像素通道的数量，C≥1。
可选的，电子设备将语义特征图像及细节特征图像进行聚合，得到聚合特征图像，可以包括：电子设备基于残差车道线检测模型中的聚合特征公式，得到聚合特征图像。
其中，聚合特征公式为o＝f(Hd+Hs)；
o表示聚合特征图像；Hd＝Ic+sigmoid(Savg)，表示细节特征图像；Ic表示第一1*1卷积结果；Savg表示第一平均池化处理结果；Hs＝Iavg+sigmoid(Sc)，表示语义特征图像；Iavg表示第二1*1卷积结果；Sc表示第二平均池化处理结果；sigmoid(·)表示非线性作用函数。
需要说明的是，第一平均池化处理结果是细节特征图像中所有像素的平均像素值；第二平均池化处理结果是语义特征图像中所有像素的平均像素值。
示例性的，如图2所示，是本发明提供的聚合语义特征图像及细节特征图像确定聚合特征图像的示意图。在图2中，电子设备将语义特征图像输入至一个3*3卷积网络层(3*3Conv)，经由批归一化(Batch Normalization，BN)层和激活函数(ReLu)层，得到第一1*1卷积结果(1*1Conv)及第一平均池化处理结果(3*3Avgpooling)；该电子设备将细节特征图像输入至3*3卷积网络层(3*3Conv)，经由BN层和ReLu层，得到第二1*1卷积结果(1*1Conv)及第二平均池化处理结果(3*3Avgpooling)；然后，该电子设备将第一1*1Conv、第一3*3Avgpooling、第二1*1Conv及第二3*3Avgpooling进行聚合(Sum)后，再次输入至一个3*3卷积网络层，并经由BN层，得到聚合特征图像，该聚合特征图像∈RH×W×C。
电子设备基于残差车道线检测模型中的聚合特征公式，可有效将语义特征图像及细节特征图像进行聚合，得到准确性较高的聚合特征图像。
103、对聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像。
电子设备在获取聚合特征图像之后，可对该聚合特征图像进行多尺度特征对齐融合，得到待识别车道线图像对应的多尺度空间特征图像。
在一些实施例中，电子设备对聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像，可以包括：电子设备基于残差车道线检测模型中的空间位置注意力模块(Position Attention Model，PAM)，对聚合特征图像进行池化处理和通道压缩处理，得到第一空间特征图像；该电子设备基于残差车道线检测模型中的特征自适应模块(Self-adaption Model，SAM)，对第一空间特征图像进行采样处理，得到第二空间特征图像；该电子设备基于残差车道线检测模型中的空间特征自适应对齐模块(Lane Feature self-adaption Alignment Model，LFAM)，将第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，得到多尺度空间特征图像。
其中，池化处理指的是对聚合特征图像中所有像素进行处理的过程，可选的，该池化处理可以包括平均池化处理和最大池化处理；
通道压缩处理指的是将聚合特征图像中所有像素对应的像素通道进行压缩，得到第一空间特征图，该第一空间特征图中像素通道的数量少于该聚合特征图像中像素通道的数量，这样可有效减少该聚合特征图像中的信息丢失；
采样处理指的是对第一空间特征图像中的所有像素进行处理的过程，可选的，该采样处理可以包括上采样处理及下采样处理。
电子设备基于残差车道线检测模型中的PAM、SAM及LFAM，对聚合特征图像进行一系列处理后，可得到图像质量较佳的多尺度空间特征图像。
在一些实施例中，电子设备对聚合特征图像进行池化处理和通道压缩处理，得到第一空间特征图像，可以包括：电子设备对聚合特征图像进行平均池化处理，得到第一池化结果；该电子设备对聚合特征图像进行最大池化处理，得到第二池化结果；该电子设备采用级联(Concat)方式，对第一池化结果及第二池化结果进行汇总，得到目标池化结果；该电子设备对目标池化结果进行通道压缩处理，得到通道压缩结果；该电子设备根据通道压缩结果，得到第一空间特征图像。
其中，平均池化处理指的是确定聚合特征图像中所有像素的平均像素值U1，即第一池化结果为该平均像素值U1，该平均像素值U1∈RH×W×C；
最大池化处理指的是确定聚合特征图像中所有像素中的最大像素值U2，即第二池化结果为该最大像素值U2，该最大像素值U2∈RH×W×C。
可选的，最大像素值U2与平均像素值U1可以是相同的，也可以是不同的，此处不作具体限定。
电子设备在对聚合特征图像进行平均池化处理，得到第一池化结果，并对该聚合特征图像进行最大池化处理，得到第二池化结果之后，可以采用级联方式，将该第一池化结果及该第二池化结果进行汇总，得到目标池化结果U，即U可以包括U1和U2；然后，该电子设备对该目标池化结果进行通道压缩处理，在该目标池化结果的空间维度(H×W)上聚合特征映射得到通道压缩结果，进而得到第一空间特征图像，该通道压缩结果是一个通道描述符，该通道描述符的功能是可生成该目标池化结果对应信道特征响应的全局分布嵌入，允许残差车道线检测模型中网络的所有层都可使用来自全局感受视野的信息。
需要说明的是，电子设备确定第一池化结果与该电子设备确定第二池化结果的时序不限。
示例性的，如图3所示，是本发明提供的基于空间位置注意力模块PAM确定第一空间特征图像的示意图。在图3中，电子设备根据聚合特征图像，得到第一池化结果(MaxPool)及第二池化结果(AvgPool)；然后，该电子设备将该第一池化结果与该第二池化结果进行级联(Concat)，得到目标池化结果，该目标池化结果∈R1×1×C；接着，该电子设备将该目标池化结果进行非线性激活(sigmoid)处理，得到第一空间特征图像。
可选的，电子设备对目标池化结果进行通道压缩处理，得到通道压缩结果，可以包括：电子设备基于通道压缩处理公式，得到通道压缩结果。
其中，通道压缩处理公式为
Figure BDA0003983987060000111
uc(i，j)表示目标池化结果U中第i行第j列个池化结果；
zc＝Fc(uc)表示通道压缩结果。
电子设备根据通道压缩处理公式，可得到准确的通道压缩结果。
可选的，电子设备根据通道压缩结果，得到第一空间特征图像，可以包括：电子设备基于注意力公式，得到第一空间特征图像。
其中，注意力公式为s＝Fa(zc，W)＝δ(W2(W1 zc))；
s表示第一空间特征图像；δ(·)是sigmoid(·)；
Figure BDA0003983987060000112
C1≥1，r1表示第一注意力层数；/>
Figure BDA0003983987060000113
C2≥1，r2表示第二注意力层数。
可选的，W 1与W 2可以是相同的，也可以是不同的，此处不作具体限定。
电子设备根据注意力公式，可得到较为准确的第一空间特征图像。
在一些实施例中，电子设备对第一空间特征图像进行采样处理，得到第二空间特征图像，可以包括：电子设备根据预设的偏移向量指导表，对第一空间特征图像进行采样处理，得到第二空间特征图像。
电子设备在根据预设的偏移向量指导表，对第一空间特征图像进行采样处理的过程中，可使得该第一空间特征图像的边缘像素能够更大概率地分配到正确类别，以得到较为准确的第二空间特征图像。
可选的，电子设备对第一空间特征图像进行采样处理，得到第二空间特征图像，可以包括：电子设备基于像素点映射公式，得到第二空间特征图像。
其中，像素点映射公式为
Figure BDA0003983987060000121
Figure BDA0003983987060000122
表示第一空间特征图像中的像素坐标；/>
Figure BDA0003983987060000123
表示第一空间特征图像中的行像素坐标；/>
Figure BDA0003983987060000124
表示第一空间特征图像中的列像素坐标；/>
Figure BDA0003983987060000125
为第二空间特征图像中的像素坐标；
Figure BDA0003983987060000126
表示第二空间特征图像中的行像素坐标；/>
Figure BDA0003983987060000127
表示第二空间特征图像中的列像素坐标；
Figure BDA0003983987060000128
表示预设的特征图变换矩阵；αij表示预设的特征图变换参数。
电子设备根据像素点映射公式，可准确得到第二空间特征图像。
可选的，电子设备基于像素点映射公式，得到第二空间特征图像，可以包括：电子设备根据像素点映射公式，建立第一空间特征图像与第二空间特征图像之间的特征图索引；该电子设备根据该特征图索引及第一公式或第二公式，得到第二空间特征图像。
其中，第一公式为；
Figure BDA0003983987060000129
Figure BDA00039839870600001210
第二公式为：
Figure BDA00039839870600001211
Figure BDA0003983987060000131
Outpix表示第二空间特征图像；εh表示第一采样坐标偏移量；εw表示第二采样坐标偏移量；
Figure BDA0003983987060000132
表示克罗内克(Kronecker delta)函数；max表示取最大值。
需要说明的是，无论是第一公式的输出结果，还是第二公式的输出结果，都是以距离为权重，取距离像素
Figure BDA0003983987060000133
最近四个像素值的加权求和，这样可有效缓解因采样处理造成的边界像素误分类的问题，进而有效提高图像分割的准确度，也就是说，电子设备根据特征图索引及，该第一公式或该第二公式，可得到较为准确的第二空间特征图像。
可选的，第一公式及第二公式可统称为自适应差值公式，可有效在第一空间特征图像中填充像素。
在一些实施例中，电子设备将第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，得到多尺度空间特征图像，可以包括：电子设备将第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，并获取对齐后的深层特征图像与对齐后的浅层特征图像之间对应位置的像素对；该电子设备将像素对进行融合，得到多尺度空间特征图像。
其中，多尺度空间特征图像是一个具备多层特征信息的空间特征金字塔。
电子设备可经由LFAM将第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，并将对齐后的这两张图像在对应位置的像素对进行融合，得到多尺度空间特征图像。
可选的，电子设备将像素对进行融合，得到多尺度空间特征图像，可以包括：电子设备将像素对进行融合后，将融合结果与新的浅层特征图像进行融合，得到多尺度空间特征图像。
其中，融合结果与新的浅层特征图像进行融合的融合次数为至少一次。
示例性的，如图4所示，是本发明提供的基于空间特征自适应对齐模块LFAM确定多尺度空间特征图像的示意图。在图4中，电子设备基于空间特征自适应对齐模块LFAM及第二空间特征图像，经过至少一次像素对融合，得到多尺度空间特征图像。
104、根据多尺度空间特征图像对应的亲和域，确定待识别车道线图像中的车道线。
其中，亲和域指的是多尺度空间特征图像中像素较为相近的区域。
电子设备在获取多尺度空间特征图像之后，可以先确定该多尺度特征图像对应的亲和域；然后，该电子设备将该亲和域进行聚类，得到准确性较高的待识别车道线图像中的车道线。
在一些实施例中，电子设备根据多尺度空间特征图像对应的亲和域，确定待识别车道线图像中的车道线，可以包括：电子设备对多尺度空间特征图像进行切片处理，得到切片结果；该电子设备对切片结果进行卷积处理，得到卷积结果；该电子设备基于亲和域的聚类方法，根据卷积结果对应的像素间关联信息及掩码信息，确定待识别车道线图像中的车道线。
示例性的，如图5所示，是本发明提供的基于车道线空间特征提取神经网络LSCNN确定切片结果的示意图。在图5中，电子设备在获取多尺度空间特征图像之后，可以基于车道线空间特征提取神经网络(Lane Spatial Convolutional Neural Networks，LSCNN)，将该多尺度空间特征图像，按照行维度H和列维度W进行切片处理，得到切片结果；然后，该电子设备将该切片结果发送到卷积层C核大小为C*h的卷积层进行卷积处理，得到卷积结果，h表示该卷积层的内核宽度；该电子设备根据卷积结果对应的像素间关联信息及掩码信息，将该卷积结果中车道线像素分为水平方向和竖直方向进行聚类，得到待识别车道线图像中的车道线。
其中，LSCNN第一个递归神经网络。
示例性的，该电子设备将该多尺度空间特征图像按照行维度H进行切片处理，得到H个切片结果。
可选的，在电子设备对切片结果进行卷积处理，得到卷积结果之后，该方法还可以包括：电子设备将卷积结果再次进行切片处理，得到新的切片结果；该电子设备将该新的切片结果再次进行卷积处理，得到新的卷积结果，并重复执行获取新的切片结果和获取新的卷及结果的步骤，直到获取到最后一个切片结果后，停止重复执行操作。
其中，不同得卷积核具有不同的卷积核权重，该卷积核权重在所有的切片结果中共享。
可选的，电子设备基于车道线空间特征提取神经网络LSCNN，将多尺度空间特征图像，按照行维度和列维度进行切片处理，得到切片结果，可以包括：电子设备基于更新公式，得到切片结果。
其中，更新公式为
Figure BDA0003983987060000151
Km,p,n表示最后一个切片通道m中的像素与当前切片通道p中的像素之间的权重，两个像素之间的偏移量为K列，p表示多尺度空间特征图像中的通道索引，q表示多尺度空间特征图像中的行像素索引，n表示多尺度空间特征图像中的列像素索引；Mp,q,l表示多尺度空间特征图像对应的三维张量；M′p,q,l表示切片结果。
可选的，电子设备基于亲和域的聚类方法，根据卷积结果对应的像素间关联信息及掩码信息，确定待识别车道线图像中的车道线，可以包括：电子设备基于亲和域损失函数，确定待识别车道线图像中的车道线。
其中，亲和域损失函数为Ltotal＝LBCE+LloU+LAF；
Figure BDA0003983987060000161
Figure BDA0003983987060000162
Figure BDA0003983987060000163
Ltotal表示总损失函数；LBCE表示交叉熵损失函数；LloU表示联合损失函数；LAF表示回归损失函数；
N表示像素的总数量；y表示增加前景像素的惩罚权重；ti表示第i个像素值；oi表示第i个聚合特征图像；Nfg表示前景像素的总数量；
Figure BDA0003983987060000164
表示水平亲和域的第i个像素值；/>
Figure BDA0003983987060000165
表示水平亲和域的第i个聚合特征图像；/>
Figure BDA0003983987060000166
表示垂直亲和域的第i个像素值；/>
Figure BDA0003983987060000167
表示垂直亲和域的第i个聚合特征图像。
电子设备利用亲和域损失函数，可使得属于同一车道线的像素嵌入之间的距离最小化，而属于不同车道线的像素嵌入之间的距离最大化。这样，相同车道的像素嵌入将聚集在一起，形成每个车道的唯一群集，从而使得亲和域聚类可以检测可变数量的车道线。也就是说，该电子设备基于该亲和域损失函数得到的车道线是较为准确的。
在本发明实施例中，根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；将语义特征图像及细节特征图像进行聚合，得到聚合特征图像；对聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据多尺度空间特征图像对应的亲和域，确定待识别车道线图像中的车道线。该方法用以解决现有的车道线检测方法无法准确检测到车道线的缺陷，实现有效提高待识别车道线图像中车道线的检测准确性。
示例性的，如图6所示，是本发明提供的车道线检测方法的场景示意图。在图6中，C1、C2及C3表示细节特征图像；S1、S2及S3表示语义特征图像；G1、G 2及G 3表示聚合特征图像；H1及H 2表示多尺度空间特征图像。电子设备基于该多尺度空间特征图像对应的亲和域，确定待识别车道线图像中的车道线。
具体的，首先经过残差车道线检测模型对待识别车道线图像的特征进行提取，车道线空间卷积网络通过简单卷积操作堆叠而成；语义分割骨干网络采用预训练地残差网络去除了池化层和全连接层以适应车道线检测任务，同时，在语义分割骨干网络中添加车道线特征提取模块。由于语义分割骨干网络相较于车道线空间卷积网络进行了更快的下采样处理，造成语义特征图像分辨率与细节特征图像分辨率不匹配，因此，在语义分割骨干网络中添加了反卷积块，以使语义特征图像分辨率与细节特征图像分辨率相匹配。
然后，将语义特征图像及细节特征图像进行聚合，得到聚合特征图像。经过空间金字塔多尺度融合模块，从最深层特征图像开始经过特征自适应对齐融合模块与浅层特征图像对齐，然后，通过对应元素相加的方式融合得到多尺度空间特征图像，以此类推，将得到的新的多尺度空间特征图像再经过特征自适应对齐融合模块，与更浅层的特征图像融合。
最后，通过亲和域损失函数与前馈网络集成形成端到端的车道线检测网络。通过使用像素间的关联信息及二进制掩码将车道线像素分为水平方向和垂直方向聚类到相应的车道实例中。利用亲和域损失函数，使得属于同一车道线的像素嵌入之间的距离最小化，而属于不同车道线的像素嵌入之间的距离最大化。这样，相同车道线的像素嵌入将聚集在一起，形成每个车道线的唯一群集，从而使得亲和域聚类可以检测可变数量的车道线。
下面对本发明提供的车道线检测装置进行描述，下文描述的车道线检测装置与上文描述的车道线检测方法可相互对应参照。
如图7所示，是本发明提供的车道线检测装置的结构示意图，可以包括：
处理模块702，用于根据获取模块701获取的待识别车道线图像，确定语义特征图像及细节特征图像；将该语义特征图像及该细节特征图像进行聚合，得到聚合特征图像；对该聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据该多尺度空间特征图像对应的亲和域，确定该待识别车道线图像中的车道线。
可选的，获取模块701，具体用于获取该待识别车道线图像；
处理模块702，具体用于基于残差车道线检测模型中的语义分割骨干网络，对该待识别车道线图像进行语义分割，得到该语义特征图像；基于该残差车道线检测模型中的车道线空间卷积网络，对该待识别车道线图像进行细节特征提取，得到该细节特征图像。
可选的，处理模块702，具体用于基于残差车道线检测模型中的空间位置注意力模块，对该聚合特征图像进行池化处理和通道压缩处理，得到第一空间特征图像；基于该残差车道线检测模型中的特征自适应模块，对该第一空间特征图像进行采样处理，得到第二空间特征图像；基于该残差车道线检测模型中的空间特征自适应对齐模块，将该第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，得到该多尺度空间特征图像。
可选的，处理模块702，具体用于对该聚合特征图像进行平均池化处理，得到第一池化结果；对该聚合特征图像进行最大池化处理，得到第二池化结果；采用级联方式，对该第一池化结果及该第二池化结果进行汇总，得到目标池化结果；对该目标池化结果进行通道压缩处理，得到通道压缩结果；根据该通道压缩结果，得到该第一空间特征图像。
可选的，处理模块702，具体用于根据预设的偏移向量指导表，对该第一空间特征图像进行采样处理，得到该第二空间特征图像。
可选的，处理模块702，具体用于将该第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，并获取对齐后的深层特征图像与对齐后的浅层特征图像之间对应位置的像素对；将该像素对进行融合，得到该多尺度空间特征图像。
可选的，处理模块702，具体用于对该多尺度空间特征图像进行切片处理，得到切片结果；对该切片结果进行卷积处理，得到卷积结果；基于亲和域的聚类方法，根据该卷积结果对应的像素间关联信息及掩码信息，确定该待识别车道线图像中的车道线。
如图8所示，是本发明提供的电子设备的结构示意图，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行车道线检测方法，该方法包括：根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；将该语义特征图像及该细节特征图像进行聚合，得到聚合特征图像；对该聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据该多尺度空间特征图像对应的亲和域，确定该待识别车道线图像中的车道线。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的车道线检测方法，该方法包括：根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；将该语义特征图像及该细节特征图像进行聚合，得到聚合特征图像；对该聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据该多尺度空间特征图像对应的亲和域，确定该待识别车道线图像中的车道线。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的车道线检测方法，该方法包括：根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；将该语义特征图像及该细节特征图像进行聚合，得到聚合特征图像；对该聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据该多尺度空间特征图像对应的亲和域，确定该待识别车道线图像中的车道线。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车道线检测方法，其特征在于，包括：
根据获取的待识别车道线图像，确定语义特征图像及细节特征图像；
将所述语义特征图像及所述细节特征图像进行聚合，得到聚合特征图像；
对所述聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；
根据所述多尺度空间特征图像对应的亲和域，确定所述待识别车道线图像中的车道线。
2.根据权利要求1所述的方法，其特征在于，所述根据获取的待识别车道线图像，确定语义特征图像及细节特征图像，包括：
获取所述待识别车道线图像；
基于残差车道线检测模型中的语义分割骨干网络，对所述待识别车道线图像进行语义分割，得到所述语义特征图像；
基于所述残差车道线检测模型中的车道线空间卷积网络，对所述待识别车道线图像进行细节特征提取，得到所述细节特征图像。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像，包括：
基于残差车道线检测模型中的空间位置注意力模块，对所述聚合特征图像进行池化处理和通道压缩处理，得到第一空间特征图像；
基于所述残差车道线检测模型中的特征自适应模块，对所述第一空间特征图像进行采样处理，得到第二空间特征图像；
基于所述残差车道线检测模型中的空间特征自适应对齐模块，将所述第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，得到所述多尺度空间特征图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述聚合特征图像进行池化处理和通道压缩处理，得到第一空间特征图像，包括：
对所述聚合特征图像进行平均池化处理，得到第一池化结果；
对所述聚合特征图像进行最大池化处理，得到第二池化结果；
采用级联方式，对所述第一池化结果及所述第二池化结果进行汇总，得到目标池化结果；
对所述目标池化结果进行通道压缩处理，得到通道压缩结果；
根据所述通道压缩结果，得到所述第一空间特征图像。
5.根据权利要求3所述的方法，其特征在于，所述对所述第一空间特征图像进行采样处理，得到第二空间特征图像，包括：
根据预设的偏移向量指导表，对所述第一空间特征图像进行采样处理，得到所述第二空间特征图像。
6.根据权利要求3所述的方法，其特征在于，所述将所述第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，得到所述多尺度空间特征图像，包括：
将所述第二空间特征图像对应的深层特征图像与浅层特征图像进行对齐，并获取对齐后的深层特征图像与对齐后的浅层特征图像之间对应位置的像素对；
将所述像素对进行融合，得到所述多尺度空间特征图像。
7.根据权利要求1或2所述的方法，其特征在于，所述根据所述多尺度空间特征图像对应的亲和域，确定所述待识别车道线图像中的车道线，包括：
对所述多尺度空间特征图像进行切片处理，得到切片结果；
对所述切片结果进行卷积处理，得到卷积结果；
基于亲和域的聚类方法，根据所述卷积结果对应的像素间关联信息及掩码信息，确定所述待识别车道线图像中的车道线。
8.一种车道线检测装置，其特征在于，包括：
处理模块，用于根据获取模块获取的待识别车道线图像，确定语义特征图像及细节特征图像；将所述语义特征图像及所述细节特征图像进行聚合，得到聚合特征图像；对所述聚合特征图像进行多尺度特征对齐融合，得到多尺度空间特征图像；根据所述多尺度空间特征图像对应的亲和域，确定所述待识别车道线图像中的车道线。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述车道线检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述车道线检测方法。
CN202211559393.0A 2022-12-06 2022-12-06 车道线检测方法、装置、电子设备及存储介质 Pending CN116246234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211559393.0A CN116246234A (zh) 2022-12-06 2022-12-06 车道线检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211559393.0A CN116246234A (zh) 2022-12-06 2022-12-06 车道线检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116246234A true CN116246234A (zh) 2023-06-09

Family

ID=86623154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211559393.0A Pending CN116246234A (zh) 2022-12-06 2022-12-06 车道线检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116246234A (zh)

Similar Documents

Publication Publication Date Title
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
KR101808467B1 (ko) 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
CN110569721A (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN111461170A (zh) 车辆图像检测方法、装置、计算机设备及存储介质
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN111160229B (zh) 基于ssd网络的视频目标检测方法及装置
Kaur et al. Survey on multifocus image fusion techniques
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
Thajeel et al. A Novel Approach for Detection of Copy Move Forgery using Completed Robust Local Binary Pattern.
Asmuni et al. An improved multiscale retinex algorithm for motion-blurred iris images to minimize the intra-individual variations
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN113095333A (zh) 无监督特征点检测方法及装置
CN115424290A (zh) 人体姿态估计方法、装置、终端及计算机可读存储介质
Shen et al. CNN-based high-resolution fingerprint image enhancement for pore detection and matching
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN113160078B (zh) 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
CN116246234A (zh) 车道线检测方法、装置、电子设备及存储介质
CN114529518A (zh) 一种基于图像金字塔与nlm的冷冻电镜图像增强方法
CN113095185A (zh) 人脸表情识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination