CN116453121A - 一种车道线识别模型的训练方法及装置 - Google Patents

一种车道线识别模型的训练方法及装置 Download PDF

Info

Publication number
CN116453121A
CN116453121A CN202310692965.0A CN202310692965A CN116453121A CN 116453121 A CN116453121 A CN 116453121A CN 202310692965 A CN202310692965 A CN 202310692965A CN 116453121 A CN116453121 A CN 116453121A
Authority
CN
China
Prior art keywords
lane line
training
recognition model
network
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310692965.0A
Other languages
English (en)
Other versions
CN116453121B (zh
Inventor
吕强
胡美玲
陈晨
杨明珠
许二毛
智聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenmorn Hefei Technology Co ltd
Original Assignee
Zenmorn Hefei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenmorn Hefei Technology Co ltd filed Critical Zenmorn Hefei Technology Co ltd
Priority to CN202310692965.0A priority Critical patent/CN116453121B/zh
Publication of CN116453121A publication Critical patent/CN116453121A/zh
Application granted granted Critical
Publication of CN116453121B publication Critical patent/CN116453121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车道线识别模型的训练方法及装置，所述方法包括：获取交通场景的车道线图片并进行预处理，以保存为样本图像数据；对所有的所述样本图像数据进行标注处理，以生成训练图像数据集；构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，所述网络编码器采用两个不同的主干网络，所述网络解码器采用边缘注意力模块和边缘感知融合模块；以及将所述训练图像数据集导入所述初始车道线识别模型进行训练，以生成目标车道线识别模型。通过本发明公开的一种车道线识别模型的训练方法及装置，可提升交通场景的车道线识别的精确度。

Description

一种车道线识别模型的训练方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种车道线识别模型的训练方法及装置。
背景技术
详细的路网车道信息是服务于高清晰度地图车道绘制和高精度地图导航的极其重要的依据。目前在交通车道分割方面还存在很多问题。在进行车道线提取时，通常对采集的普通道路图像进行车道线边缘检测，然后直接根据车道线边缘点所构成的直线提取车道线。然而，普通道路图像所包含的车道线信息不全面，且在实际交通道路中，车道线并非一直是直线，直接根据车道线边缘点所构成的直线提取车道线，会造成提取的车道线不准确，从而导致车道线提取精度较低。交通道路图像通常包含各种形状、大小、分布和清晰度不同的车道以及车道线，这使得它们很难识别。此外，树木或其他车辆等障碍物可能会遮挡部分车道标识，使车道分割的完整性具有挑战性。雨天、强光和阴影等环境因素也会影响从交通图像中提取道路的准确性。总体而言，交通图片图像中道路车道的多样性和潜在的多变性，加上各种外部因素，可能会使准确提取道路信息变得困难。
现有分割算法存在道路类型或图像分辨率的限制，当应用于具体道路背景下的车道分割时，无法准确高效率执行。另外，基于深度学习的道路提取方法通常需要大量的标记数据来正确训练神经网络。但是对于复杂的交通图像，需手动进行高质量的像素级标签标记，存在标记成本昂贵和耗时过长的问题。因此，存在待改进之处。
发明内容
鉴于以上现有技术的缺点，本发明提供一种车道线识别模型的训练方法及装置，以解决上述技术问题。
本发明提供的一种车道线识别模型的训练方法，包括：
获取交通场景的车道线图片并进行预处理，以保存为样本图像数据；
对所有的所述样本图像数据进行标注处理，以生成训练图像数据集；
构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，所述网络编码器采用两个不同的主干网络，所述网络解码器采用边缘注意力模块和边缘感知融合模块；以及
将所述训练图像数据集导入所述初始车道线识别模型进行训练，以生成目标车道线识别模型。
于本发明一实施例中，所述构建所述初始车道线识别模型中的网络编码器的步骤，包括：
构建所述网络编码器的第一主干网络，所述第一主干网络采用卷积神经网络中的残差网络，对输入图像进行多次下采样以生成特征图；以及
构建所述网络编码器的第二主干网络，所述第二主干网络采用自注意神经网络的注意力机制，对输入图像进行多次下采样以生成特征图。
于本发明一实施例中，在所述构建所述网络编码器的第二主干网络，所述第二主干网络采用自注意神经网络的注意力机制，对输入图像进行多次下采样，生成特征图的步骤，包括：
对所述第二主干网络配置多方向滑动窗口，所述多方向滑动窗口在所述输入图像的多个方向上滑动并提取特征。
于本发明一实施例中，所述构建所述初始车道线识别模型中的网络解码器的步骤，包括：
构建边缘注意力模块，所述边缘注意力模块用以生成车道边缘的注意力特征；
构建边缘感知融合模块，所述边缘感知融合模块用以根据所述注意力特征，生成边缘信息；
构建全局注意力模块，所述全局注意力模块用以根据所述边缘信息，生成多尺度特征图；以及
构建跨级注意力融合模块，所述跨级注意力融合模块用以将所述多尺度特征图融合成原尺寸的特征图，并进行卷积生成预测结果。
于本发明一实施例中，所述将所述训练图像数据集导入所述初始车道线识别模型进行训练，以生成目标车道线识别模型的步骤，包括：
配置所述初始车道线识别模型的总损失函数和优化器；以及
将所述训练图像数据集分批次导入配置后的所述初始车道线识别模型进行训练，以生成所述目标车道线识别模型，其中，每一批次所述训练图像数据集包括无标签数据和有标签数据。
于本发明一实施例中，所述将所述训练图像数据集，分批次导入配置后的所述初始车道线识别模型进行训练，以生成所述目标车道线识别模型的步骤，包括：
分批次将所述训练图像数据集导入配置后的所述初始车道线识别模型进行预测，生成车道预测数据；
基于所述总损失函数计算所述车道预测数据的误差损失，生成网络更新梯度信息；以及
根据所述网络更新梯度信息，通过所述优化器控制更新步长并迭代更新所述初始车道线识别模型，以生成所述目标车道线识别模型。
于本发明一实施例中，在所述配置所述初始车道线识别模型的总损失函数和优化器的步骤中，所述总损失函数包括标签损失函数和一致性正则化损失函数，其中，所述标签损失函数采用交叉熵损失函数计算所述有标签数据的预测误差损失，以及采用Dice系数损失函数计算所述无标签数据的预测误差损失。
于本发明一实施例中，所述标签损失函数满足以下公式：
其中，表示标签损失函数，/>表示交叉熵损失函数，α表示所述交叉熵损失函数的权重，/>表示Dice系数损失函数，β表示所述Dice系数损失函数的权重，且满足α与β之和等于1，N表示输入的图像中所有像素点的个数。
于本发明一实施例中，所述对所有的所述样本图像数据进行标注处理，以生成训练图像数据集的步骤，包括：
根据所有的所述样本图像数据，生成每个样本图像对应的真值图像；以及
对部分所述真值图像进行标注处理，以生成所述训练图像数据集，所述训练图像数据集包括图像训练集、图像验证集以及图像测试集。
本发明还提供一种车道线识别模型的训练装置，包括：
图像获取模块，用以获取交通场景的车道线图片并进行预处理，以保存为样本图像数据；
数据处理模块，用以对所有的所述样本图像数据进行标注处理，以生成训练图像数据集；
模型构建模块，用以构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，所述网络编码器采用两个不同的主干网络，所述网络解码器采用边缘注意力模块和边缘感知融合模块；以及
模型训练模块，用以将所述训练图像数据集导入所述初始车道线识别模型进行训练，以生成目标车道线识别模型。
综上所述，本发明的一种车道线识别模型的训练方法及装置，具有以下有益效果：本发明通过采用两个不同的网络分支，增大二者网络模型差异，二者互相监督协同训练以达到增大数据集的效果，使模型更加健壮，同时应用了多方向滑动窗口方法以增大自注意神经网络感受野，获取丰富车道信息，可用于对交通场景的车道线图片进行分割处理并识别，提升了对车道线的识别精确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得对本发明的进一步理解。
图1显示为本发明提供的一种车道线识别模型的训练方法的流程示意图。
图2显示为步骤S200的一具体实施方式的流程示意图。
图3显示为步骤S310的一具体实施方式的流程示意图。
图4显示为本发明一实施例中网络编码器的架构图。
图5显示为本发明一实施例中左上方向滑动窗口的示意图。
图6显示为本发明一实施例中右上方向滑动窗口的示意图。
图7显示为本发明一实施例中左下方向滑动窗口的示意图。
图8显示为本发明一实施例中右下方向滑动窗口的示意图。
图9显示为步骤S320的一具体实施方式的流程示意图。
图10显示为本发明一实施例中网络解码器的架构图。
图11显示为本发明一实施例中边缘注意力模块的示意图。
图12显示为本发明一实施例中边缘融合感知模块的示意图。
图13显示为步骤S400的一具体实施方式的流程示意图。
图14显示为步骤S420的一具体实施方式的流程示意图。
图15显示为本发明的一种车道线识别模型的训练装置的示意图。
图16显示为本发明提供的一种车道线识别模型的应用终端。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所表述的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，显而易见的是，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
需要说明的是，随着神经网络理论的发展、大数据时代数据规模增加和硬件的更新迭代，深度学习相关的算法开始在各行各业中广泛应用，表现出比传统方法更准确、鲁棒性更强的特点。半监督语义分割是一种有效的方法，可以降低昂贵的人工注释成本，同时充分利用可用的未标记图像提高车道分割模型的准确性。在车道线识别和检测方面，采用深度学习相关算法的检测效果和检测速度也大幅提升。目前，一些相关方法侧重于自训练和一致正则化，但忽略了交通图像和道路边缘信息的大规模特征。尽管这些算法在车道线数据方面取得了良好的效果，但应用在车载端时，存在识别速度较慢，同时需要大量标注数据，标注难度较高、成本较高的问题，无法满足广泛应用的要求。
请参阅图1所示，图1显示为本发明提供的一种车道线识别模型的训练方法的流程示意图，可包括有如下的步骤：
步骤S100、获取交通场景的车道线图片并进行预处理，以保存为样本图像数据；
步骤S200、对所有的样本图像数据进行标注处理，以生成训练图像数据集；
步骤S300、构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，网络编码器采用两个不同的主干网络，网络解码器采用边缘注意力模块和边缘感知融合模块；
步骤S400、将训练图像数据集导入初始车道线识别模型进行训练，以生成目标车道线识别模型。
在本发明的一个实施例中，当执行步骤S100时，即获取交通场景的车道线图片并进行预处理，以保存为样本图像数据。具体的，获取交通场景的车道线图片，车道线图片可包括总计m张图片的训练图像、n张图片的验证图像，以及若干张图片的测试图像。将获取的车道线图片统一进行预处理，输出为RGB（红、绿、蓝）三通道图片，图片格式为.jpg、.png等格式，图片最大分辨率不超过512×512。然后，将经过预处理的全部图片保存为样本图像数据。
本发明所提供的方法适用于生成电子地图的制图设备，包括计算机、服务器、终端设备等具有数据处理能力的设备。上述设备可包括一个样本图像库，其中包含多个样本图像，每个样本图像都包括车道线。由此可知，每个样本图像都可以是车道线的图像，这些车道线的图像可以是通过拍摄设备拍摄得到的，也可以是该制图设备根据探测设备如雷达和/或激光探测设备实时检测的交通车道的三维点云生成的行车道底图。
请参阅图2所示，图2显示为步骤S200的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S200时，即对所有的样本图像数据进行标注处理，以生成训练图像数据集。步骤S200可包括步骤S210至步骤S220，详细介绍如下：
步骤S210、根据所有的样本图像数据，生成每个样本图像对应的真值图像；
步骤S220、对部分真值图像进行标注处理，以生成训练图像数据集，训练图像数据集包括图像训练集、图像验证集以及图像测试集。
在本发明的一个实施例中，当执行在步骤S210时，即根据所有的样本图像数据，生成每个样本图像对应的真值图像。具体的，首先生成样本图像数据中每个样本图像对应的真值图像。样本图像对应的真值图像中可包括该样本图像中的车道线，且车道线在样本图像中的位置和车道线在真值图像中的位置相同。也即每个样本图像中的车道线对应出现在该样本图像对应的真值图像中，其中，车道线在真值图像中对应第一标签值，除车道线之外的部分在真值图像中对应第二标签值。真值图像可以是黑白图，也可以是灰度图。本实施例中，真值图像中的车道线对应一种标签值，真值图像中除车道线之外的部分对应另一种标签值。
在本发明的一个实施例中，当执行在步骤S220时，即对部分真值图像进行标注处理，以生成训练图像数据集，训练图像数据集包括图像训练集、图像验证集以及图像测试集。具体的，在完成样本图像数据中全部样本图像生成真值图像后，再由人工对其中部分样本图像标注真值标签，进而生成训练图像数据集。本实施例中，训练图像数据集可包括图像训练集、图像验证集和图像测试集，各部分占比比例可为8：1：1。图像训练集、图像验证集和图像测试集都有其对应的标签。
在本发明的一个实施例中，为降低标签标注耗时与成本，图像训练集中的样本图像并非全部都有对应的标签，标注有真值标签的样本图像可为其全部需训练的样本图像总数的1/2、1/4或1/8。无标签数据和有标签数据将一同作为半监督训练学习的输入数据。训练图像数据集可包括多个批次的数据，可分批次输入至深度模型中进行训练。对输入的样本图像，同一小批次（batch）所含的无标签数据和有标签数据一般为1：1，如批次大小为16时（batch size=16），可包括8张有标记的样本图像和8张无标记的样本图像。以此作为输入，再进行损失函数和优化器的配置，批次输入以训练深度模型。
在本发明的一个实施例中，可设置交通场景的图像训练集为有标签数据和无标签数据的组合，共L+U张图像，即：、，设置L张对应的标签图像为，其中/>表示图像训练集中第i张图像，/>表示有标记图像训练集中第i张图像的标签图像，i<l；设置交通场景的图像验证集为n张图像，设置n张对应的标签图像为，其中/>表示图像验证集中第i张图像，/>表示图像验证集中第i张图像的标签图像，i<n。本实施例中，实际最终所设定的图像训练集与图像测试集的比例为m:n=8:1。
在本发明的一个实施例中，当执行在步骤S300时，即构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，网络编码器采用两个不同的主干网络，网络解码器采用边缘注意力模块和边缘感知融合模块。具体的，可包括：
步骤S310、构建初始车道线识别模型中的网络编码器；
步骤S320、构建初始车道线识别模型中的网络解码器。
请参阅图3所示，图3显示为步骤S310的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S310时，即构建初始车道线识别模型中的网络编码器。步骤S310可包括步骤S311至步骤S312，详细介绍如下：
步骤S311、构建网络编码器的第一主干网络，第一主干网络采用卷积神经网络中的残差网络，对输入图像进行多次下采样以生成特征图；
步骤S312、构建网络编码器的第二主干网络，第二主干网络采用自注意神经网络的注意力机制，对输入图像进行多次下采样以生成特征图。
请参阅图4所示，图4显示为本发明一实施例中网络编码器的架构图。在本发明的一个实施例中，当执行步骤S311至步骤S312时。具体的，首先采用两个不同的主干网络作为初始车道线识别模型的网络编码器，以从输入图像中提取由浅至深的多层特征。本实施例中，初始车道线识别模型整体可分为两路，其中第一主干网络101采用卷积神经网络（Convolutional Neural Networks, CNN）中的ResNet50网络；第二主干网络102采用自注意神经网络（Transformer）中的Swin Transformer网络。卷积神经网络依赖于局部卷积运算，而自注意神经网络则基于远程自注意，上述特性可实现在输出上具有不同且一定程度互补的预测。由此可知，利用卷积神经网络和自注意神经网络的编码器之间的固有差异，可增加协同训练的干扰，使两路主干网络对同批次无标签数据集图片做出有较大差异的预测。两种不同的预测再经Dice（骰子）系数损失函数计算梯度损失，回传更新卷积神经网络和自注意神经网络，使得两者的预测彼此靠近。另外两个网络也通过已标记数据集的指导，进一步提升预测精度。
在本发明的一个实施例中，利用搭建不同的网络主干作为编码器进行特征提取，获得融合特征。首先利用CNN主干网络，采用残差网络提取特征，共计进行4次下采样，得到特征图,其中/>的尺寸是/>的/>倍，通道数减半；然后，利用Transformer主干网络，采用Transformer特有的注意力机制提取特征，共计进行4次下采样，得到特征图/>,其中/>的尺寸是/>的/>倍，通道数减半；另外，还可以在Transformer搭建的主干网络中，加入了多方向滑动窗口方法，为模型提供了不同方向的关注注意力，扩大感受野以获取更丰富的信息。
在本发明的一个实施例中，从两个不同的主干网络得到的同一批次图片的特征图，然后传入边缘感知解码头生成对应预测。对于该批次中有标签数据，网络预测都会与图片对应标签进行损失计算，梯度回传更新模型；对于该批次中无标签数据，两个来自不同主干网络的预测相互对比计算损失，得到损失梯度，再回传使得两个网络的预测互相接近，按上述方式充分利用无标签图片，扩大了数据集。
请参阅图5-图8所示，其中，图5显示为本发明一实施例中左上方向滑动窗口的示意图。图6显示为本发明一实施例中右上方向滑动窗口的示意图。图7显示为本发明一实施例中左下方向滑动窗口的示意图。图8显示为本发明一实施例中右下方向滑动窗口的示意图。在本发明的一个实施例中，可在网络编码器应用了多方向滑动窗口方法，对训练输入的样本图像进行特征提取，并获得具备更多信息的特征图。基于Swin Transformer网络的滑动窗口，对当前尺寸特征图进行自适应的窗口划分，在输入图像上滑动窗口，并在四个连续方向上提取特征。如图5所示的左上方、图6所示右上方、图7所示的左下方和图8所示的右下方。通过这种方式增加感受野，能够更有效地捕捉交通道路的方向特征，最终提高交通道路检测性能。另外，可设置随机因子来控制窗口大小和滑动长度，以增加该模块的适应性。
请参阅图9所示，图9显示为步骤S320的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S320时，即构建初始车道线识别模型中的网络解码器。步骤S320可包括步骤S321至步骤S324，详细介绍如下：
步骤S321、构建边缘注意力模块，所述边缘注意力模块用以生成车道边缘的注意力特征；
步骤S322、构建边缘感知融合模块，所述边缘感知融合模块用于根据所述注意力特征，生成边缘信息；
步骤S323、构建全局注意力模块，所述全局注意力模块用以增加感受野范围，优化多尺度下特征图信息；
步骤S324、构建跨级注意力融合模块，所述跨级注意力融合模块用以将多尺度特征明显的特征图融合成原尺寸的特征图。
请参阅图10所示，图10显示为本发明一实施例中网络解码器的架构图。在本发明的一个实施例中，当执行步骤S321至步骤S324时。具体的，构建初始车道线识别模型的网络解码器，网络解码器用于对网络解码器所提取的多层特征进行融合，生成解码特征图。本实施例中，利用加入边缘注意力的注意力模块和多尺度特征融合的融合拼接模块构建整个网络的解码器，可使得初始车道线识别模型的对于交通图片的边缘关注的输出更为优秀。
请参阅图10所示，在本发明的一个实施例中，首先，构建边缘注意力模块201来生成车道边缘的注意力特征；然后，构建边缘感知融合模块202，来利用边缘注意力特征生成多层次原特征的边缘信息；接着，将边缘注意力模块与边缘感知融合模块进行融合，以提高道路提取性能，并将边缘信息明显的多层特征图分层送入全局注意力模块203和跨级注意力融合模块204；再通过构建全局注意力模块203增加感受野范围，优化多尺度下特征图信息；最后，通过构建跨级注意力融合模块204，将多尺度特征明显的特征图融合成原尺寸特征图，通过卷积得到对应图片车道的预测结果。
请参阅图10所示，在本发明的一个实施例中，将网络编码器提取的多层特征输入边缘注意力模块201，以生成边缘注意力图；然后，将边缘注意力图与多层特征一起转入边缘感知融合模块202；再将边缘感知融合模块202增强的多层特征分层传入全局注意力模块203和跨级注意力融合模块204。本实施例中，网络编码器的注意力机制为GAM（GlobalAttention Mechanism，全局注意力机制）与ACFM（Attention-induced Cross-levelFusion Module，结合跨级特征的融合模块）。其中，较高的特征L3、L4传入ACFM得到第一融合结果，第一融合结果与传入GAM做全局注意力的L2跨级融合得到第二融合结果，再将第二融合结果与传入GAM做全局注意力的L1跨级融合得到最终预测结果。
需要说明的是，相对于常规卷积，边缘感知融合模块中的空洞卷积（AtrousConvolution)）在卷积核引入了扩张率这个参数。常规卷积的核扩张率为1，而空洞卷积则通过更大的扩张率来扩大感受野。通过使用空洞卷积，可以在相同的参数量和计算量下，让原本3x3的卷积核具有5x5或更大的感受野，因此特别适用于图像语义分割任务。空洞卷积通过引入可调节的空洞率，使得卷积核在采样输入数据时可以跳过一些采样点，从而实现感受野的扩大。具体而言，对于一个大小为K的卷积核，当扩张率为r时，卷积核在采样数据时会间隔r-1个采样点。这样就可以在不增加卷积核大小的情况下扩大感受野，从而更好地捕捉到图像中的上下文信息。在实际应用中，空洞卷积已经被广泛用于图像分割任务中。通过使用空洞卷积，可以在保持网络参数量和计算量不变的情况下，提升模型的分割性能。
请参阅图11所示，图11显示为本发明一实施例中边缘注意力模块的示意图。在本发明的一个实施例中，可通过以下方法构建边缘注意力模块：首先，将多层特征信息作为模块输入，应对处理多层信息；然后，合理保留原尺寸特征信息，较高层信息经过融合（reduce）和缩放（resize）操作与原尺寸特征进行融合；最后，利用高层信息的全局感受野，在低层特征中突出横跨图片的车道信息。
请参阅图11所示，在本发明的一个实施例中，L1原尺寸最低特征图保持原样；L2、L3、L4三个较高层特征图各自经过融合减少通道数和变换特征图尺寸大小与L1一致；变换后的L2、L3、L4与L1进行连接组合（concatenate）操作，融合为注意力特征；得到的注意力特征经过卷积核为3*1的卷积生成注意力特征图。
请参阅图12所示，图12显示为本发明一实施例中边缘融合感知模块的示意图。在本发明的一个实施例中，可通过以下方法构建边缘感知融合模块：首先，合理处理原多层特征信息，包括自适应平均池化、卷积和上采样等；接着，利用边缘注意力图关注多层特征信息中的边缘信息；然后，利用4个跨度递增的空洞卷积，得到4个感知范围递增的特征分支；最后，将得到的特征分支和上采样结果进行连接组合（concatenate）操作得到多层的边缘注意力特征图。
请参阅图12所示，在本发明的一个实施例中，多层特征图经过自适应平均池化、卷积和上采样P；多层特征图与边缘注意力特征图进行相乘操作，得到的结果再按位加上边缘注意力特征图；之后特征图经过4个空洞卷积分支，然后与P进行连接组合（concatenate）操作得到多层的边缘注意力特征图。
在本发明的一个实施例中，构建注意力融合模块，对不同尺寸的特征图进行融合，得到融合特征图，融合特征图/>的计算公式为：
其中，为编码阶段第/>层融合特征图，/>表示不同尺度特征图中第i层特征图，⊕为concatenate（连接），即也就是说后面一层和整个网络前面所有层都建立一个连接，这样会减少网络网络层数，有利于网络的训练。/>为在宽度为m、高度为/>的特征图中坐标为(m,n)的像素点所对应的通道特征，其维度为/>，/>为第i层融合特征图的通道数量。
更进一步的，可利用搭建的网络解码器和编码器进行特征结合，获得更精确的解码特征图。
在本发明的一个实施例中，利用编码器与解码器中对应尺度的特征图，采用skip-connection的方式将编码阶段的low-level特征与解码阶段的high-level特征结合，再采用element-wise addition操作，以获得融合特征：
其中，为表示特征图上采样操作，/>表示解码阶段第i层融合特征图，/>表示编码阶段第/>层融合特征图，/>表示编码阶段第i+1层融合特征图；⊕为element-wiseaddition，即对应元素的相加，通过skip-connection的操作将编码器与解码器中不同尺寸的特征进行融合，0≤i≤3，在前4个不同尺寸的特征图上进行skip-connection操作；/>表示在宽度为m、高度为n的融合特征图中坐标为(m,n)的像素点所对应的通道特征，其维度是：/>，/>为第i层融合特征图的通道数量。
请参阅图13所示，图13显示为步骤S400的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S400时，即将训练图像数据集导入初始车道线识别模型进行训练，以生成目标车道线识别模型。步骤S400可包括步骤S410至步骤S420，详细介绍如下：
步骤S410、配置初始车道线识别模型的总损失函数和优化器；
步骤S420、将训练图像数据集分批次导入配置后的初始车道线识别模型进行训练，以生成目标车道线识别模型，其中，每一批次训练图像数据集包括无标签数据和有标签数据。
在本发明的一个实施例中，当执行步骤S410时，即配置初始车道线识别模型的总损失函数和优化器。具体的，对所构建的初始车道线识别模型进行训练，首先需配置初始车道线识别模型的总损失函数和优化器。本实施例中，整体网络模型采用的损失函数为交叉熵损失函数和Dice系数损失函数/>，对于有标签数据集的预测误差损失根据交叉熵损失函数计算得出，而无标签数据集的误差损失根据Dice系数损失函数计算得出，交叉熵损失函数/>和Dice系数损失函数/>分别满足如下公式：
；
其中，表示交叉熵损失函数，其中/>表示有标签图像中第i个像素点的真值，/>表示有标签图像中第i个像素点的预测值，/>表示无标签图像中第i个像素点的真值，/>表示无标签图像中第i个像素点的预测值；/>表示Dice系数损失函数。
根据交叉熵损失函数和Dice系数损失函数/>，可获得标签损失函数/>，标签损失函数/>可满足以下公式：
其中，表示由二者构成的损失函数，其中α和β分别表示二值交叉熵损失和交并比损失的权重，且满足α+β=1，N表示输入的图像中所有像素点的个数，N=W×H×C，W和H分别表示输入图像的宽和高，C为图片通道数。
在本发明的一个实施例中，将优化器设定为随机梯度下降（SGD）优化器。可首先将优化器的学习率初始设置为1e-2，然后通过幂为0.9的Poly策略进行调整。训练深度模型应先由模型预测输入训练集图片的车道预测输出与对应标签真值进行误差损失计算，得到网络更新梯度信息由优化器控制更新步长，迭代更新网络参数，使得网络预测结果更接近真值，达到训练网络的效果。
更进一步的，可利用多尺度一致性损失进行细致化监督训练，获得更优秀得模型参数。
在本发明的一个实施例中，网络编码器中两个不同的主干网络分别从模型的浅层到深层提取特征；多层特征传入边缘感知解码头生成多尺度特征输出；分别提取这些浅特征和深特征，执行多层一致性伪监督。具体而言，将多尺度特征输出层编码为（i=1，2，3，4）；两个网络提取的/>对应求取误差损失，依据Dice系数损失函数得到每层对应尺度输出的相对误差损失，相对误差损失函数满足以下公式：
其中，表示卷积神经网络对未标记数据的预测，/>表示自注意神经网络对未标记数据的预测，对应所述上文的/>，/>表示第i层输出特征的一致性正则化损失。一致性正则化损失函数满足以下公式：
其中，表示一致性正则化损失，/>表示第i层损失的权重。
整体网络模型的总损失为一致性正则化损失和上文所述的标签损失组合而成，可满足以下公式：
本实施例中，与对较高层次的特征应用约束相比，对较低层次的特征施加更强的约束往往会对模型性能产生更大的影响，所以实验中所给示例权重比例为1：1/2：1/4：1/8。上述方法允许通过利用模型的固有分层结构来进行更有效的特征提取。
请参阅图14所示，图14显示为步骤S420的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S420时，即将训练图像数据集分批次导入配置后的初始车道线识别模型进行训练，以生成目标车道线识别模型，其中，每一批次训练图像数据集包括无标签数据和有标签数据。步骤S420可包括步骤S421至步骤S423，详细介绍如下：
步骤S421、分批次将训练图像数据集导入配置后的初始车道线识别模型进行预测，生成车道预测数据；
步骤S422、基于总损失函数计算车道预测数据的误差损失，生成网络更新梯度信息；
步骤S423、根据网络更新梯度信息，通过优化器控制更新步长并迭代更新初始车道线识别模型，以生成目标车道线识别模型。
在本发明的一个实施例中，当执行步骤S421至步骤S423时。具体的，首先，将训练图像数据集分批次导入初始车道线识别模型，利用搭建的网络编码器进行特征提取，获得多尺度分级特征；利用搭建的网络解码器和编码器进行特征结合，获得更精确的解码特征图，从而生成车道预测数据。然后，基于上述损失函数设置，根据输入图片的车道预测数据以及其对应标签真值，计算模型训练的总损失，得到网络更新梯度信息。最后，通过优化器控制更新步长，迭代更新网络参数，使得网络预测结果更接近真值，达到训练网络的效果。本实施例中，通过接着再向更新后的网络模型输入一批次训练图片，得到训练损失更行模型参数，循环这个流程，使模型的以讹传讹更加准确，直到模型准确率达到使用标准。将训练后达到使用标准的网络模型保存为目标车道线识别模型。
在本发明的一个实施例中，将获取的实时交通图片导入至目标车道线识别模型，目标车道线识别模型首先通过两路不同主干网络的网络编码器对图像进行编码，获得互相补充的多尺度的图像深度特征；然后通过基于边缘注意力的网络解码器，对分布不同的车道目标进行自适应通道特征增强；再通过空洞卷积和多层注意力融合多个提取阶段的特征，最大化复用深度特征；最后，对图像进行深度神经网络映射，对每一个像素点进行分类，生成实时交通图片的精确车道线分割结果图。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
请参阅图15所示，本发明还提供了一种车道线识别模型的训练装置，还训练装置与上述实施例中训练方法一一对应。该训练装置可以包括图像获取模块301、数据处理模块302、模型构建模块303以及模型训练模块304。各功能模块详细说明如下：
图像获取模块301可用于获取交通场景的车道线图片并进行预处理，以保存为样本图像数据。图像获取模块301可具体用于获取交通场景的车道线图片，并将获取的车道线图片统一进行预处理后，保存为样本图像数据。
数据处理模块302可用于对所有的样本图像数据进行标注处理，以生成训练图像数据集，数据处理模块302可具体用于根据所有的样本图像数据，生成每个样本图像对应的真值图像；对部分真值图像进行标注处理，以生成训练图像数据集，训练图像数据集包括图像训练集、图像验证集以及图像测试集。
模型构建模块303可用于构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，网络编码器采用两个不同的主干网络，网络解码器采用边缘注意力模块和边缘感知融合模块。进一步的，首先采用两个不同的主干网络作为初始车道线识别模型的网络编码器，以从输入图像中提取由浅至深的多层特征；然后利用加入边缘注意力的注意力模块和多尺度特征融合的融合拼接模块构建整个网络的解码器，可使得初始车道线识别模型的对于交通图片的边缘关注的输出更为优秀。
模型训练模块304可用于将训练图像数据集导入初始车道线识别模型进行训练，以生成目标车道线识别模型。进一步的，首先，配置初始车道线识别模型的总损失函数和优化器；然后，将训练图像数据集分批次导入配置后的初始车道线识别模型进行训练，以生成目标车道线识别模型，其中，每一批次训练图像数据集包括无标签数据和有标签数据。
关于训练装置的具体限定可以参见上文中对于训练方法的限定，在此不再赘述。上述训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图16所示，图16显示为本发明提供的一种车道线识别模型的应用终端。该应用终端由车道图像获取装置401、车道线识别装置402和识别结果显示装置403组成。车道图像获取装置401用于采集交通场景的实时交通图片，车道线识别装置402通过输入连接车道图像获取装置401，通过输出连接识别结果显示装置403。车道线识别装置402上集成了训练方法所生成的目标车道线识别模型。识别结果显示装置403用于显示车道线分割识别结果图。该应用终端可应用于自动驾驶领域，将该应用终端集成于车载端，可实现快速准确的识别道路上的车道线。
综上所述，本发明提供一种车道线识别模型的训练方法及装置，可应用于智能驾驶技术领域。本发明利用卷积神经网络和自注意神经网络之间的自然差异来增加交叉监督训练中的模型差异，并为模型训练提供更丰富的特征信息。同时，通过多方向滑动窗口填补卷积神经网络缺失的全局感知，满足感知和预测道路复杂多变的情况。另外，本发明提出边缘感知解码头，由边缘注意力模块和边缘感知融合模块组成，可探索道路边缘信息。本发明还通过多尺度一致性损失对模型训练加以约束。本发明还可利用多摄像设备的位置关系实现测试时增强操作，进行更精确的预测，达到更高的分割精度。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种车道线识别模型的训练方法，其特征在于，包括：
获取交通场景的车道线图片并进行预处理，以保存为样本图像数据；
对所有的所述样本图像数据进行标注处理，以生成训练图像数据集；
构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，所述网络编码器采用两个不同的主干网络，所述网络解码器采用边缘注意力模块和边缘感知融合模块；以及
将所述训练图像数据集导入所述初始车道线识别模型进行训练，以生成目标车道线识别模型。
2.根据权利要求1所述的车道线识别模型的训练方法，其特征在于，所述构建所述初始车道线识别模型中的网络编码器的步骤，包括：
构建所述网络编码器的第一主干网络，所述第一主干网络采用卷积神经网络中的残差网络，对输入图像进行多次下采样以生成特征图；以及
构建所述网络编码器的第二主干网络，所述第二主干网络采用自注意神经网络的注意力机制，对输入图像进行多次下采样以生成特征图。
3.根据权利要求2所述的车道线识别模型的训练方法，其特征在于，所述构建所述网络编码器的第二主干网络，所述第二主干网络采用自注意神经网络的注意力机制，对输入图像进行多次下采样，生成特征图的步骤，包括：
对所述第二主干网络配置多方向滑动窗口，所述多方向滑动窗口在所述输入图像的多个方向上滑动并提取特征。
4.根据权利要求1所述的车道线识别模型的训练方法，其特征在于，所述构建所述初始车道线识别模型中的网络解码器的步骤，包括：
构建边缘注意力模块，所述边缘注意力模块用以生成车道边缘的注意力特征；
构建边缘感知融合模块，所述边缘感知融合模块用以根据所述注意力特征，生成边缘信息；
构建全局注意力模块，所述全局注意力模块用以根据所述边缘信息，生成多尺度特征图；以及
构建跨级注意力融合模块，所述跨级注意力融合模块用以将所述多尺度特征图融合成原尺寸的特征图，并进行卷积生成预测结果。
5.根据权利要求1所述的车道线识别模型的训练方法，其特征在于，所述将所述训练图像数据集导入所述初始车道线识别模型进行训练，以生成目标车道线识别模型的步骤，包括：
配置所述初始车道线识别模型的总损失函数和优化器；以及
将所述训练图像数据集分批次导入配置后的所述初始车道线识别模型进行训练，以生成所述目标车道线识别模型，其中，每一批次所述训练图像数据集包括无标签数据和有标签数据。
6.根据权利要求5的车道线识别模型的训练方法，其特征在于，所述将所述训练图像数据集，分批次导入配置后的所述初始车道线识别模型进行训练，以生成所述目标车道线识别模型的步骤，包括：
分批次将所述训练图像数据集导入配置后的所述初始车道线识别模型进行预测，生成车道预测数据；
基于所述总损失函数计算所述车道预测数据的误差损失，生成网络更新梯度信息；以及
根据所述网络更新梯度信息，通过所述优化器控制更新步长并迭代更新所述初始车道线识别模型，以生成所述目标车道线识别模型。
7.根据权利要求5所述的车道线识别模型的训练方法，其特征在于，在所述配置所述初始车道线识别模型的总损失函数和优化器的步骤中，所述总损失函数包括标签损失函数和一致性正则化损失函数，其中，所述标签损失函数采用交叉熵损失函数计算所述有标签数据的预测误差损失，以及采用Dice系数损失函数计算所述无标签数据的预测误差损失。
8.根据权利要求7所述的车道线识别模型的训练方法，其特征在于，所述标签损失函数满足以下公式：
其中，表示标签损失函数，/>表示交叉熵损失函数，α表示所述交叉熵损失函数的权重，/>表示Dice系数损失函数，β表示所述Dice系数损失函数的权重，且满足α与β之和等于1，N表示输入的图像中所有像素点的个数。
9.根据权利要求1所述的车道线识别模型的训练方法，其特征在于，所述对所有的所述样本图像数据进行标注处理，以生成训练图像数据集的步骤，包括：
根据所有的所述样本图像数据，生成每个样本图像对应的真值图像；以及
对部分所述真值图像进行标注处理，以生成所述训练图像数据集，所述训练图像数据集包括图像训练集、图像验证集以及图像测试集。
10.一种车道线识别模型的训练装置，其特征在于，包括：
图像获取模块，用以获取交通场景的车道线图片并进行预处理，以保存为样本图像数据；
数据处理模块，用以对所有的所述样本图像数据进行标注处理，以生成训练图像数据集；
模型构建模块，用以构建网络编码器与网络解码器，以生成初始车道线识别模型，其中，所述网络编码器采用两个不同的主干网络，所述网络解码器采用边缘注意力模块和边缘感知融合模块；以及
模型训练模块，用以将所述训练图像数据集导入所述初始车道线识别模型进行训练，以生成目标车道线识别模型。
CN202310692965.0A 2023-06-13 2023-06-13 一种车道线识别模型的训练方法及装置 Active CN116453121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310692965.0A CN116453121B (zh) 2023-06-13 2023-06-13 一种车道线识别模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310692965.0A CN116453121B (zh) 2023-06-13 2023-06-13 一种车道线识别模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN116453121A true CN116453121A (zh) 2023-07-18
CN116453121B CN116453121B (zh) 2023-12-22

Family

ID=87128785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310692965.0A Active CN116453121B (zh) 2023-06-13 2023-06-13 一种车道线识别模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN116453121B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690107A (zh) * 2023-12-15 2024-03-12 上海保隆汽车科技(武汉)有限公司 一种车道边线识别方法和装置
CN117826843A (zh) * 2024-03-04 2024-04-05 湖北华中电力科技开发有限责任公司 基于三维点云的无人机智能避障方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
JP2018173512A (ja) * 2017-03-31 2018-11-08 パイオニア株式会社 車線情報生成装置及び車線情報生成方法並びに車線情報生成用プログラム
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统
CN113052057A (zh) * 2021-03-19 2021-06-29 北京工业大学 一种基于改进卷积神经网络的交通标志识别方法
CN114155481A (zh) * 2021-11-30 2022-03-08 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于语义分割的非结构化田间道路场景识别方法及装置
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN114913493A (zh) * 2022-04-25 2022-08-16 南京航空航天大学 一种基于深度学习的车道线检测方法
CN114926796A (zh) * 2022-05-12 2022-08-19 湘潭大学 一种基于新式混合注意力模块的弯道检测方法
WO2022237139A1 (zh) * 2021-05-14 2022-11-17 淮阴工学院 一种基于LaneSegNet的车道线检测方法及系统
CN115457329A (zh) * 2022-09-23 2022-12-09 北京百度网讯科技有限公司 图像分类模型的训练方法、图像分类方法和装置
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法
CN115713679A (zh) * 2022-10-13 2023-02-24 北京大学 基于多源信息融合、热红外和三维深度图的目标检测方法
CN115761300A (zh) * 2022-10-18 2023-03-07 江门市卓立安全科技有限公司 一种安全出口异常分割方法、系统及检测装置
US20230144209A1 (en) * 2020-06-12 2023-05-11 Huawei Technologies Co., Ltd. Lane line detection method and related device

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
JP2018173512A (ja) * 2017-03-31 2018-11-08 パイオニア株式会社 車線情報生成装置及び車線情報生成方法並びに車線情報生成用プログラム
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统
US20230144209A1 (en) * 2020-06-12 2023-05-11 Huawei Technologies Co., Ltd. Lane line detection method and related device
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN113052057A (zh) * 2021-03-19 2021-06-29 北京工业大学 一种基于改进卷积神经网络的交通标志识别方法
WO2022237139A1 (zh) * 2021-05-14 2022-11-17 淮阴工学院 一种基于LaneSegNet的车道线检测方法及系统
CN114155481A (zh) * 2021-11-30 2022-03-08 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于语义分割的非结构化田间道路场景识别方法及装置
CN114913493A (zh) * 2022-04-25 2022-08-16 南京航空航天大学 一种基于深度学习的车道线检测方法
CN114926796A (zh) * 2022-05-12 2022-08-19 湘潭大学 一种基于新式混合注意力模块的弯道检测方法
CN115457329A (zh) * 2022-09-23 2022-12-09 北京百度网讯科技有限公司 图像分类模型的训练方法、图像分类方法和装置
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法
CN115713679A (zh) * 2022-10-13 2023-02-24 北京大学 基于多源信息融合、热红外和三维深度图的目标检测方法
CN115761300A (zh) * 2022-10-18 2023-03-07 江门市卓立安全科技有限公司 一种安全出口异常分割方法、系统及检测装置
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
庞彦伟;修宇璇;: "基于边缘特征融合和跨连接的车道线语义分割神经网络", 天津大学学报(自然科学与工程技术版), no. 08, pages 5 - 13 *
陈立潮;徐秀芝;曹建芳;潘理虎;: "引入辅助损失的多场景车道线检测", 中国图象图形学报, no. 09, pages 168 - 179 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690107A (zh) * 2023-12-15 2024-03-12 上海保隆汽车科技(武汉)有限公司 一种车道边线识别方法和装置
CN117690107B (zh) * 2023-12-15 2024-04-26 上海保隆汽车科技(武汉)有限公司 一种车道边线识别方法和装置
CN117826843A (zh) * 2024-03-04 2024-04-05 湖北华中电力科技开发有限责任公司 基于三维点云的无人机智能避障方法及系统
CN117826843B (zh) * 2024-03-04 2024-05-03 湖北华中电力科技开发有限责任公司 基于三维点云的无人机智能避障方法及系统

Also Published As

Publication number Publication date
CN116453121B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US20200250436A1 (en) Video object segmentation by reference-guided mask propagation
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111368846B (zh) 一种基于边界语义分割的道路积水识别方法
WO2021218786A1 (zh) 一种数据处理系统、物体检测方法及其装置
CN111191654B (zh) 道路数据生成方法、装置、电子设备及存储介质
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN110751111B (zh) 基于高阶空间信息全局自动感知的道路提取方法和系统
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN112861619A (zh) 模型的训练方法、车道线检测方法、设备及装置
CN112712138A (zh) 一种图像处理方法、装置、设备及存储介质
CN115761222B (zh) 图像分割方法、遥感图像分割方法以及装置
CN112508989B (zh) 一种图像处理方法、装置、服务器以及介质
He et al. Learning scene dynamics from point cloud sequences
CN116091929A (zh) 结合Unet和Transformer的遥感图像语义分割方法
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
CN115577768A (zh) 半监督模型训练方法和装置
CN114898243A (zh) 基于视频流的交通场景解析方法以及装置
CN117253044B (zh) 一种基于半监督交互学习的农田遥感图像分割方法
CN113743300A (zh) 基于语义分割的高分遥感图像云检测方法和装置
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN116012626A (zh) 建筑立面图像的素材匹配方法、装置、设备和存储介质
CN117693768A (zh) 语义分割模型的优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant