CN115147812B - 车道线检测方法、装置、车辆和存储介质 - Google Patents

车道线检测方法、装置、车辆和存储介质 Download PDF

Info

Publication number
CN115147812B
CN115147812B CN202210793340.9A CN202210793340A CN115147812B CN 115147812 B CN115147812 B CN 115147812B CN 202210793340 A CN202210793340 A CN 202210793340A CN 115147812 B CN115147812 B CN 115147812B
Authority
CN
China
Prior art keywords
image
vector
line segment
detected
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210793340.9A
Other languages
English (en)
Other versions
CN115147812A (zh
Inventor
姚传奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210793340.9A priority Critical patent/CN115147812B/zh
Publication of CN115147812A publication Critical patent/CN115147812A/zh
Application granted granted Critical
Publication of CN115147812B publication Critical patent/CN115147812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种车道线检测方法、装置、车辆和存储介质，涉及自动驾驶技术领域，具体方法包括：获取待检测图像，采用检测模型的编码网络对待检测图像进行编码，得到待检测图像的编码向量，采用检测模型的解码网络根据编码向量进行预测，得到待检测图像中包含的至少一个有向线段，有向线段包含位置信息和长度，采用检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个有向线段的分组标识，根据各个有向线段的分组标识、位置信息和长度，确定待检测图像中包含的车道线，提高了车道线检测的准确性。

Description

车道线检测方法、装置、车辆和存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及车道线检测方法、装置、车辆和存储介质。
背景技术
相关技术中，对车道线检测通常时检测图像中车道线的检测点，进而对各个检测点聚类以确定图像中包含的车道线，这种车道线的检测方法对于车道线具有较为复杂的情况，例如，出现车道线断开，两条独立车道线被接到一起等情况，并且对于有分叉、交叉的场景(比如道路分岔口、高速匝道、园区内导流线)，则检测的准确性较低，因此，如何提高复杂场景下的车道线检测效果是需要解决的技术问题。
发明内容
为克服相关技术中存在的问题，本申请提供一种车道线检测方法、装置、车辆和存储介质。
根据本申请实施例的第一方面，提供一种车道线检测方法，包括：
获取待检测图像；
采用检测模型的编码网络对所述待检测图像进行编码，得到所述待检测图像的编码向量；
采用所述检测模型的解码网络根据所述编码向量进行预测，得到所述待检测图像中包含的至少一个有向线段；所述有向线段包含位置信息和长度；
采用所述检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个所述有向线段的分组标识；
根据各个所述有向线段的分组标识、位置信息和长度，确定所述待检测图像中包含的车道线。
根据本申请实施例的第二方面，提供一种车道线检测装置，包括：
获取模块，被配置为获取待检测图像；
编码模块，被配置为采用检测模型的编码网络对所述待检测图像进行编码，得到所述待检测图像的编码向量；
解码模块，被配置为采用所述检测模型的解码网络根据所述编码向量进行预测，得到所述待检测图像中包含的至少一个有向线段；所述有向线段包含位置信息和长度；
分组模块，被配置为采用所述检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个所述有向线段的分组标识；
确定模块，被配置为根据各个所述有向线段的分组标识、位置信息和长度，确定所述待检测图像中包含的车道线。
根据本申请实施例的第三方面，提供一种车辆，包括处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：实现第一方面所提供的车道线检测方法的步骤。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本申请第一方面所提供的车道线检测方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：获取待检测图像，采用检测模型的编码网络对待检测图像进行编码，得到待检测图像的编码向量，采用检测模型的解码网络根据编码向量进行预测，得到待检测图像中包含的至少一个有向线段，有向线段包含位置信息和长度，采用检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个有向线段的分组标识，根据各个有向线段的分组标识、位置信息和长度，确定待检测图像中包含的车道线，根据预测得到的各个有向线段的分组标识确定属于同一个分组的各个有向线段，进而，将属于同一分组的各个有向线段，根据位置信息和长度进行连接，以得到待检测图像中包含的车道线，提高了车道线检测的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种车道线检测方法的流程示意图；
图2是根据一示例性实施例示出的另一种车道线检测方法的流程示意图；
图3为一示例性实施例示出的一种检测网络的结构示意图；
图4是根据一示例性实施例示出的一种车道线检测的示意图；
图5是根据一示例性实施例示出的一种检测模型的训练方法的流程示意图；
图6是根据一示例性实施例示出的一种车道线检测装置的结构示意图；
图7是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种车道线检测方法的流程示意图，如图1所示，该方法包括以下步骤。
步骤S101，获取待检测图像。
本申请实施例中，所获取的待检测图像可以是由运动对象(例如移动机器人、车辆等)配备的拍摄单元获取的静态图像，也可以是视频图像中的一帧视频帧。其中，拍摄单元可以为单目摄像机，或者为双目摄像机、多目摄像机，在此不做限定。待检测图像至少包括道路区域，以用于进行车道线检测。
步骤S102，采用检测模型的编码网络对待检测图像进行编码，得到待检测图像的编码向量。
本申请实施例中，该检测模型可以是基于Transformer基本结构的模型，或者，也可以为其他结构的模型，比如为Transformer的变种结构的模型，本实施例中不进行限定。
其中，检测模型可以为基于机器学习技术或深度学习技术，对初始的检测模型进行训练，以使经过训练后的检测模型能够学习得到视频帧或图像与车道线包含的多个有向线段的对应关系。其中，检测模型包含编码网络和解码网络，其中，解码网络可以为编码器，已经学习到检测图像中各特征和编码向量间的对应关系，从而，将待检测图像输入检测模型中，检测模型的编码器可对检测图像进行编码，得到检测图像的编码向量，该编码向量包含用于指示待检测图像中车道线的特征信息。
步骤S103，采用检测模型的解码网络根据编码向量进行预测，得到待检测图像中包含的至少一个有向线段。
其中，每一个有向线段包含该有向线段的位置信息和长度。
本申请实施例中，解码网络可基于编码向量进行预测，以预测得到待检测图像中包含的至少一个有向线段，其中，有限线段包含位置信息和长度，位置信息包含位置和方向，至少一个有向线段是待检测图像中包含的车道线进行切分得到的，各个有向线段的长度可以是长度相同的，有向线段的长度可以是检测模型训练过程中基于需求设定的，本领域技术人员可以根据检测精度的需求进行设定，本实施例中不进行限定。
需要说明的是，检测模型的解码网络预测得到的至少一个有向线段，指示了待检测图像中包含的至少一个车道线，还需要对至少一个有向线段进行识别，以确定待检测图像中包含的至少一个车道线。
步骤S104，采用检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个有向线段的分组标识。
其中，分组网络，可以是基于图卷积网络的分组网络，例如为基于(GraphConvolutional Networks，GCN。
本申请实施例中，GCN擅长处理不同有向线段之间的关系，采用GCN根据解码器输出的多个有向线段的位置信息进行预测，预测哪些线段属于同一个分组，从而输出带有分组标识的有向线段，也就是说输出的有向线段携带了分组标识，每一个分组中的有向线段代表了一条车道线，通过基于每一个有向线段的位置信息进行分组预测，提高了属于同一分组的有向线段识别的准确性。
作为一种示例，解码网络输出了10个有向线段，分别称为线段1-线段10，10个有向线段属于同一个分组，进而，通过分组网络后，识别出两个分组标识，也就是说将10个有向线段划分成了2个分组，其中，线段1、线段2、线段4、选段6、线段7和线段8具有同一个分组标识，例如分组标识为01，而线段3、线段5、线段9和线段10具有同一个分组标识，例如分组标识为02。
步骤S105，根据各个有向线段的分组标识、位置信息和长度，确定待检测图像中包含的车道线。
本申请实施例的一种实现方式中，根据各个有向线段的分组标识，可以确定属于同一分组的有向线段，也就是说同一分组中的有向线段的标识是相同的。进而，针对每一个分组中的每一个有向线段，根据该有向线段的位置信息中的有向线段的起点位置、方向和长度，可确定该有向线段的终点位置。进而，针对每一个分组，根据各个有向线段的起点位置和终点位置，将各个有向线段进行首尾连接，以确定多个有向线段组成的车道线，同时确定了图像中该车道线的位置信息，位置信息通过组成该车道线的各个有向线段的起点位置、终点位置、以及方向确定。
本申请实施例的车道线检测方法中，通过将待检测图像中的车道线识别为多个有向线段，并根据多个有向线段的位置信息将属于同一分组的有向线段打上相同的分组标识，进而，将属于同一分组的各个有向线段，根据位置信息和长度进行连接，以得到待检测图像中包含的车道线，相较于相关技术中识别多个车道线的特征点，进而根据车道线的特征点进行聚类得到车道线的方式，避免了因聚类时将位置相近的特征点识别为同一个车道线导致的误识别，提高了车道线检测的准确性。
基于上述实施例，图2是根据一示例性实施例示出的另一种车道线检测方法的流程示意图，如图2所示，该方法包含以下步骤：
步骤201，获取待检测图像。
具体地，可参照前述实施例中的解释说明，原理相同，此处不再赘述。
步骤202，将待检测图像，按照设定的图像大小划分为多个图像块。
本申请实施例的一种实现方式中，可根据设定的图像大小，采用切分网络，例如Flattenand Project网络，将待检测图像切分为多个图像块，其中，设定的图像大小可以是基于待检测模型的识别能力确定的。
如图3所示，可将待检测图像按照16*16像素大小，切分为n个图像块。
步骤203，对各个图像块进行特征提取，得到各个图像块的特征向量。
本申请实施例的一种实现方式中，可以采用如图3所示的CNN(ConvolutionalNeural Network，卷积神经网络)对各个图像块进行特征提取，得到各个图像块对应的特征向量。
步骤204，将各个图像块的特征向量进行线性映射，得到各个图像块的第一向量和第二向量。
其中，第一向量可以为注意力机制中的key参数或key特征，第二向量可以为注意力机制中的value参数或value特征。
本申请实施例中，针对每一个图像块，将该图像块的特征向量采用编码器网络训练得到的参数进行线性映射，得到该图像块的第一向量和第二向量。如图3所示，以transformer模型为例进行说明，例如，图像块1、图像块2和图像块n，均具有对应的第一向量和第二向量。
步骤205，针对每一个图像块，获取该图像块的第三向量。
本申请实施例中的解码网络，包含解码器和预测模块，其中，解码器用于解码得到第二解码向量。
其中，第三向量根据设定的第一解码向量确定，或者是根据图像块的前一个图像块进行解码得到的第一解码向量确定。
其中，第三向量可以为注意力机制中的query参数或query特征。
作为一种实现方式，若图像块为待处理图像进行切分得到的首个图像块，则将设定的第一解码向量，作为该图像块的第三向量，其中，设定的第一解码向量可以为随机设定的第一解码向量，也可以是历史识别过程中解码器任意一次解码过程输出的解码向量。
作为另一种实现方式，若图像块不为待处理图像进行切分得到的首个图像块，则获取该图像块的前一个图像块进行解码得到的第一解码向量，将第一解码向量作为该图像块的第三向量，也就是说在确定该图像块的第二解码向量时，将该图像块的前一个图像块利用解码器解码得到的第一解码向量作为第三向量，即query参数或query特征。
本申请实施例中，该图像块的前一个图像块利用解码器解码得到的第一解码向量，其解码方法和当前正在解码的该图像的解码方式相同，本实施例中不进行赘述。其中，第一解码向量用于标识解码器历史解码得到的图像块的解码向量，第二解码向量，用于标识解码器当前解码得到的图像块的解码向量。
步骤206，对多个图像块的第一向量和第二向量，以及该图像块的第三向量进行解码处理，得到该图像块的第二解码向量。
本申请实施例中，解码网络的解码器可以基于注意力机制，多个图像块的第一向量、多个图像块的第二向量和第三向量进行解码，得到该图像块的第二解码向量。
在本申请实施例的一种实现方式中，以第一向量为k向量，第二向量为v向量进行说明，可以将该图像块的第三向量的转置向量和多个图像块的第一向量分别进行叉乘，以确定第三向量和多个图像块中的每一个图像块的第一向量间的相关度，充分考虑了整个图像中车道线的全局特征，进而，对多个相关度进行归一化处理后，确定注意力权重，根据注意力权重对对应的多个第二向量进行加权，确定该图像块的第二解码向量。由此，根据注意力机制，确定各个图像块的第二解码向量，可以提升解码向量确定的可靠性。
也就是说，可以根据以下公式，来确定第二解码向量：
Figure BDA0003731205480000061
其中，q表示第三向量(即query参数)，k表示第一向量(即key参数)，v表示第二向量(即value参数)，d表示归一化因子，T表示矩阵的转置操作。
作为一种示例，一共有3个图像块，分别为图像块1、图像块2和图像块3，当前用于确定图像块2对应的第二解码向量，则获取图像块2之前的图像块1解码得到的第一解码向量q1，将q1作为第三向量，并确定图像块1对应的第一向量k1和第二向量v1，图像块2对应的第一向量k2和第二向量v2，以及图像块3对应的第一向量k3和第二向量v3，进而，根据上述的公式1，将q1转置后与k1叉乘，通过非线性变换得到相关度分值1，再将q1转置后与k2叉乘，通过非线性变换得到相关度分值2，再将q1转置后与k3叉乘，通过非线性变换得到相关度分值3，进而，对相关度分值1、相关度分值2和相关度分值3进行归一化，得到对应的注意力权值1、注意力权值2和注意力权值3。进一步，将注意力权值1、注意力权值2和注意力权值3，与第二向量v1，v2和v3加权，得到图像块2对应的第二解码向量，即图像块2的第二解码向量＝注意力权值1*v1+注意力权值2*v2+注意力权值3*v3。同理，可确定图像块1对应的第二解码向量和图像块3对应的第二解码向量。
步骤207，根据各个图像块的第二解码向量，预测得到待检测图像中包含的至少一个有向线段。
本申请实施例的一种实现中，将解码得到的各个图像块的第二解码向量，通过全连接层进行分类，可确定各个第二解码向量是否为有向线段的二分类结果，从而可确定待检测图像中包含的至少一个有向线段，其中，每一个有向线段包含线段的起始位置、方向和长度。
步骤208，采用检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个有向线段的分组标识。
如图3所示，各个有向线段识别出的分组标识和待检测图像中包含的车道线一一对应，例如，若包含一个车道线，则最后输出的各个有向线段对应同一个分组标识；若包含2个车道线，则最后输出的各个有向线段则对应两个分组标识，例如为分组标识1和分组标识2。
步骤209，根据各个有向线段的分组标识、位置信息和长度，确定待检测图像中包含的车道线。
其中，步骤208和步骤209可参照前述实施例中的解释说明，此处不再赘述。
作为一种示例，图4中示出了基于40的待检测图像，待检测图像中包含2个车道线，通过检测模型识别后，可识别出待检测图像中包含的多个有向线段，将具有相同的分组标识的多个有向线段进行连接，可得到41和42指示的两个车道线。
本申请实施例的车道线检测方法中，针对每一个图像块，确定该图像块通过编码器编码得到的第一向量和第二向量，获取该图像块对应的第三向量，进而将图像块的第三向量的转置向量分别和待检测图像的其它图像块进行叉乘，以得到对应的各个叉乘向量，根据各个叉乘向量进行注意力计算得到对应的注意力权重，进而根据注意力权重对各个第二向量进行加权，确定该图像块的第二解码向量，使得解码器根据当前待解码的图像块的第一向量和第二向量，与之前的图像块已解码得到的第一解码向量，生成当前待解码的图像块对应的第二解码向量，实现了各个图像块的第二解码向量的生成，均考虑了整个图像中所有图像块的信息，具有全局感受野，能够捕获横跨整张图片的车道线实体，从而提高了每一个图像块的第二解码向量生成的准确性，进而提高了基于第二解码向量进行车辆线的有向线段识别的准确性，可实现对复杂的车道线进行预测，并且对曲率较大或者有交叉、分叉等场景下的车道线适应能力强，预测效果也更好，同时，网络输出的结果就是最终的检测结果，算法运行速度更快。
基于上述实施例，为了实现利用检测模型准确识别出图像中包含的车道线，图5是根据一示例性实施例示出的一种检测模型的训练方法的流程示意图，具体说明了如何对检测模型进行训练的过程，如图5所示，检测模型的训练方法包含以下步骤：
步骤501，获取样本待检测图像。
其中，样本待检测图像标注有包含的车道线对应的至少一个有向线段的参考位置和参考方向，以及各个有向线段对应的参考分组标识，其中，参考分组标识指示了各个有向线段所对应的车道线，也就是说分组标识和车道线具有一一对应的关系
作为一种实现方式，确定样本待检测图像中的车道线，将车道线按照设定长度切分为若干条有向线段，例如，按照10像素将车道线切分为多个有向线段，并针对每个有向线段标注参考位置和参考方向，以及各个有向线段对应的参考分组标识。
步骤502，将样本待检测图像输入检测模型，以得到解码网络输出的各个有向线段的预测位置信息，以及分组网络输出的各个有向线段的预测分组标识。
其中，预测位置信息包含预测位置和预测方向。
具体可参照前述实施例中的解释说明，此处不再赘述。
步骤503，根据各个有向线段的预测位置和各个有向线段的参考位置之间的差异，确定位置损失函数。
步骤504，根据各个有向线段的预测方向和各个有向线段的参考方向之间的差异，确定方向损失函数。
本申请实施例的一种实现方式中，使用匈牙利匹配算法对输出的各个有向线段的预测位置和标注的位置进行配对，配对之后使用欧式距离(L2距离)来回归位置损失函数，同理，可确定方向损失函数。
步骤505，根据各个有向线段的预测分组标识和各个有向线段的参考分组标识间的差异，确定分组损失函数。
其中，分组损失函数可以为交叉熵分类损失函数。
作为一种实现方式，针对属于同一个车道线的有向线段，根据各个有向线段的预测分组标识和参考分组标识之间的差异，确定该车道线对应的子分组损失函数，进而，将样本待检测图像中包含的多个车道线对应的子分组损失函数相加，以确定分组损失函数。
步骤506，根据位置损失函数、方向损失函数和分组损失函数，确定检测模型的目标损失函数。
本申请实施例中，将位置损失函数、方向损失函数和分组损失函数进行加和，得到检测模型的目标损失函数。
步骤507，根据目标损失函数，对检测模型进行训练。
本申请实施例中，根据目标损失函数，调整检测模型的模型参数，进而，根据调整模型参数后的检测模型采用样本待检测图像继续进行训练，直至检测模型的损失函数最小，或者是训练次数达到设定次数，则检测模型训练完成。
需要说明的是，前述方法实施例的相关解释说明也适用于本实施例的检测模型的训练过程，本实施例中不再赘述。
本申请实施例的检测模型的训练方法，通过确定识别得到的各个有向线段的位置损失、方向损失和分组损失，通过将位置损失函数、方向损失函数和分组损失函数进行加和，得到检测模型的目标损失函数，基于目标损失函数对检测模型进行训练，提高了检测模型对组成车道线的有向线段检测的准确性，从而提高了车道线检测的准确性。
图6是根据一示例性实施例示出的一种车道线检测装置的结构示意图。参照图2，该装置600包括获取模块610，编码模块620、解码模块630，分组模块640和确定模块650。
获取模块610，被配置为获取待检测图像。
编码模块620，被配置为采用检测模型的编码网络对所述待检测图像进行编码，得到所述待检测图像的编码向量。
解码模块630，被配置为采用所述检测模型的解码网络根据所述编码向量进行预测，得到所述待检测图像中包含的至少一个有向线段；所述有向线段包含位置信息和长度。
分组模块640，被配置为采用所述检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个所述有向线段的分组标识。
确定模块650，被配置为根据各个所述有向线段的分组标识、位置信息和长度，确定所述待检测图像中包含的车道线。
进一步，作为一种实现方式，编码模块620，还被配置为：
将所述待检测图像，按照设定的图像大小划分为多个图像块；
对各个所述图像块进行特征提取，得到各个所述图像块的特征向量；
将各个所述图像块的特征向量进行线性映射，得到各个所述图像块的第一向量和第二向量。
作为一种实现方式，解码模块630，还被配置为：
针对每一个所述图像块，获取所述图像块的第三向量；所述第三向量根据设定的第一解码向量确定，或者是根据所述图像块的前一个图像块进行解码得到的第一解码向量确定；
对多个所述图像块的第一向量和第二向量，以及所述第三向量进行解码，得到所述图像块的第二解码向量；
根据各个所述图像块的第二解码向量，预测得到所述待检测图像中包含的至少一个有向线段。
作为一种实现方式，解码模块630，还被配置为：
将所述第三向量的转置向量和多个所述图像块的第一向量进行叉乘，确定注意力权重；
根据所述注意力权重对多个所述第二向量进行加权，确定所述图像块的第二解码向量。
作为一种实现方式，确定模块650，还被配置为：
根据各个所述有向线段的分组标识，将分组标识相同的有向线段划分至同一个分组中，以确定至少一个分组，其中，同一分组中的各个有向线段指示一个车道线；
根据各个分组中包含的各个有向线段的位置、方向和长度，确定所述待检测图像中包含的车道线。
作为一种实现方式，该装置还包括训练模块，训练模块被配置为：
获取样本待检测图像；所述样本待检测图像标注有包含的车道线对应的至少一个有向线段的参考位置和参考方向，以及各个所述有向线段对应的参考分组标识；
将所述样本待检测图像输入所述检测模型，以得到所述解码网络输出的各个所述有向线段的预测位置信息，以及所述分组网络输出的各个有向线段的预测分组标识；其中，预测位置信息包含预测位置和预测方向；
根据各个所述有向线段的预测位置和各个所述有向线段的参考位置之间的差异，确定位置损失函数；
根据各个所述有向线段的预测方向和各个所述有向线段的参考方向之间的差异，确定方向损失函数；
根据各个所述有向线段的预测分组标识和各个所述有向线段的参考分组标识间的差异，确定分组损失函数；
根据所述位置损失函数、所述方向损失函数和所述分组损失函数，确定所述检测模型的目标损失函数；
根据所述目标损失函数，对所述检测模型进行训练。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例的车道线检测装置中，通过获取待检测图像，采用检测模型的编码网络对待检测图像进行编码，得到待检测图像的编码向量，采用检测模型的解码网络根据编码向量进行预测，得到待检测图像中包含的至少一个有向线段，有向线段包含位置信息和长度，采用检测模型的分组网络根据至少一个有向线段的位置信息进行分组，确定各个有向线段的分组标识，根据各个有向线段的分组标识、位置信息和长度，确定待检测图像中包含的车道线，提高了车道线检测的准确性。
图7是根据一示例性实施例示出的一种车辆的框图。例如，车辆700可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆700可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图7，车辆700可包括各种子系统，例如，信息娱乐系统710、感知系统720、决策控制系统730、驱动系统740以及计算平台750。其中，车辆700还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆700的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统710可以包括通信系统，娱乐系统以及导航系统等。
感知系统720可以包括若干种传感器，用于感测车辆700周边的环境的信息。例如，感知系统720可包括全球定位系统(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统730可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统740可以包括为车辆700提供动力运动的组件。在一个实施例中，驱动系统740可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆700的部分或所有功能受计算平台750控制。计算平台750可包括至少一个处理器751和存储器752，处理器751可以执行存储在存储器752中的指令753。
处理器751可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(FieldProgrammableGate Array，FPGA)、片上系统(System on Chip，SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit，ASIC)或它们的组合。
存储器752可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
除了指令753以外，存储器752还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器752存储的数据可以被计算平台750使用。
在本申请实施例中，处理器751可以执行指令753，以完成上述的车道线检测方法的全部或部分步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本申请提供的车道线检测方法的步骤。
本领域技术人员在考虑说明书及实践本申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种车道线检测方法，其特征在于，包括：
获取待检测图像；
采用检测模型的编码网络对所述待检测图像进行编码，得到所述待检测图像的编码向量；
采用所述检测模型的解码网络根据所述编码向量进行预测，得到所述待检测图像中包含的至少一个有向线段；所述有向线段包含位置信息和长度；
采用所述检测模型的分组网络根据所述至少一个有向线段的位置信息进行分组，确定各个所述有向线段的分组标识，其中，每一个分组中的有向线段代表了一条车道线；
根据各个所述有向线段的分组标识、位置信息和长度，确定所述待检测图像中包含的车道线。
2.如权利要求1所述的方法，其特征在于，所述采用检测模型的编码网络对所述待检测图像进行编码，得到所述待检测图像的编码向量，包括：
将所述待检测图像，按照设定的图像大小划分为多个图像块；
对各个所述图像块进行特征提取，得到各个所述图像块的特征向量；
将各个所述图像块的特征向量进行线性映射，得到各个所述图像块的第一向量和第二向量。
3.如权利要求2所述的方法，其特征在于，所述采用所述检测模型的解码网络根据所述编码向量进行预测，得到所述待检测图像中包含的至少一个有向线段，包括：
针对每一个所述图像块，获取所述图像块的第三向量；其中，所述第三向量根据设定的第一解码向量确定，或者是根据所述图像块的前一个图像块进行解码得到的第一解码向量确定；
对多个所述图像块的第一向量和第二向量，以及所述第三向量进行解码处理，得到所述图像块的第二解码向量；根据各个所述图像块的第二解码向量，预测得到所述待检测图像中包含的至少一个有向线段。
4.如权利要求3所述的方法，其特征在于，所述对多个所述图像块的第一向量和第二向量，以及所述第三向量进行解码处理，得到所述图像块的第二解码向量，包括：
将所述第三向量的转置向量和多个所述图像块的第一向量进行叉乘，确定注意力权重；
根据所述注意力权重对多个所述第二向量进行加权，确定所述图像块的第二解码向量。
5.如权利要求1所述的方法，其特征在于，所述位置信息包含位置和方向，所述根据各个所述有向线段的分组标识、位置信息和长度，确定所述待检测图像中包含的车道线，包括：
根据各个所述有向线段的分组标识，将分组标识相同的有向线段划分至同一个分组中，以确定至少一个分组；其中，同一分组中的各个有向线段指示一个车道线；
根据各个分组中包含的各个有向线段的位置、方向和长度，确定所述待检测图像中包含的车道线。
6.如权利要求1-5任一项所述的方法，其特征在于，所述检测模型是通过以下方式训练得到的：
获取样本待检测图像；所述样本待检测图像标注有包含的车道线对应的至少一个有向线段的参考位置和参考方向，以及各个所述有向线段对应的参考分组标识；
将所述样本待检测图像输入所述检测模型，以得到所述解码网络输出的各个所述有向线段的预测位置信息，以及所述分组网络输出的各个有向线段的预测分组标识；其中，预测位置信息包含预测位置和预测方向；
根据各个所述有向线段的预测位置和各个所述有向线段的参考位置之间的差异，确定位置损失函数；
根据各个所述有向线段的预测方向和各个所述有向线段的参考方向之间的差异，确定方向损失函数；
根据各个所述有向线段的预测分组标识和各个所述有向线段的参考分组标识间的差异，确定分组损失函数；
根据所述位置损失函数、所述方向损失函数和所述分组损失函数，确定所述检测模型的目标损失函数；
根据所述目标损失函数，对所述检测模型进行训练。
7.一种车道线检测装置，其特征在于，包括：
获取模块，被配置为获取待检测图像；
编码模块，被配置为采用检测模型的编码网络对所述待检测图像进行编码，得到所述待检测图像的编码向量；
解码模块，被配置为采用所述检测模型的解码网络根据所述编码向量进行预测，得到所述待检测图像中包含的至少一个有向线段；所述有向线段包含位置信息和长度；
分组模块，被配置为采用所述检测模型的分组网络根据所述至少一个有向线段的位置信息进行分组，确定各个所述有向线段的分组标识，其中，每一个分组中的有向线段代表了一条车道线；
确定模块，被配置为根据各个所述有向线段的分组标识、位置信息和长度，确定所述待检测图像中包含的车道线。
8.如权利要求7所述的装置，其特征在于，所述编码模块，还被配置为：
将所述待检测图像，按照设定的图像大小划分为多个图像块；
对各个所述图像块进行特征提取，得到各个所述图像块的特征向量；
将各个所述图像块的特征向量进行线性映射，得到各个所述图像块的第一向量和第二向量。
9.如权利要求8所述的装置，其特征在于，所述解码模块，还被配置为：
针对每一个所述图像块，获取所述图像块的第三向量；其中，所述第三向量根据设定的第一解码向量确定，或者是根据所述图像块的前一个图像块进行解码得到的第一解码向量确定；
对多个所述图像块的第一向量和第二向量，以及所述第三向量进行解码处理，得到所述图像块的第二解码向量；
根据各个所述图像块的第二解码向量，预测得到所述待检测图像中包含的至少一个有向线段。
10.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现权利要求1-6中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
CN202210793340.9A 2022-07-05 2022-07-05 车道线检测方法、装置、车辆和存储介质 Active CN115147812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210793340.9A CN115147812B (zh) 2022-07-05 2022-07-05 车道线检测方法、装置、车辆和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210793340.9A CN115147812B (zh) 2022-07-05 2022-07-05 车道线检测方法、装置、车辆和存储介质

Publications (2)

Publication Number Publication Date
CN115147812A CN115147812A (zh) 2022-10-04
CN115147812B true CN115147812B (zh) 2023-05-12

Family

ID=83411492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210793340.9A Active CN115147812B (zh) 2022-07-05 2022-07-05 车道线检测方法、装置、车辆和存储介质

Country Status (1)

Country Link
CN (1) CN115147812B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097595B (zh) * 2024-02-28 2024-10-15 小米汽车科技有限公司 减速带识别方法、装置、存储介质及车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860155B (zh) * 2020-06-12 2022-04-29 华为技术有限公司 一种车道线的检测方法及相关设备
CN112990099B (zh) * 2021-04-14 2021-11-30 北京三快在线科技有限公司 一种车道线检测的方法以及装置
CN114399747B (zh) * 2022-01-17 2024-09-24 南京后摩智能科技有限公司 车道线检测方法、检测装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法

Also Published As

Publication number Publication date
CN115147812A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN112912920A (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN111860227A (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
CN111179162A (zh) 一种特殊环境下的定位初始化方法及车载终端
US11586865B2 (en) Apparatus, system and method for fusing sensor data to do sensor translation
CN115147812B (zh) 车道线检测方法、装置、车辆和存储介质
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
US20200039533A1 (en) System and method for hardware verification in an automotive vehicle
CN113822118A (zh) 增强的车辆操作
CN116091894A (zh) 模型训练方法、车辆控制方法、装置、设备、车辆及介质
CN112689234A (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN114708723A (zh) 轨迹预测方法和装置
WO2022175093A1 (en) Apparatus, system and method for translating sensor data
CN116626670B (zh) 自动驾驶模型的生成方法、装置、车辆及存储介质
CN116740681B (zh) 目标检测方法、装置、车辆和存储介质
CN116863429B (zh) 检测模型的训练方法、可行使区域的确定方法和装置
CN115223015B (zh) 模型训练方法、图像处理方法、装置和车辆
CN116070780B (zh) 轨迹预测算法的评价方法、装置、介质及车辆
CN116343174A (zh) 目标检测方法、装置、车辆和存储介质
EP4295271A1 (en) Apparatus, system and method for translating sensor label data between sensor domains
CN114675274A (zh) 障碍物检测方法、装置、存储介质及电子设备
CN117128976B (zh) 道路中心线的获取方法、装置、车辆和存储介质
CN116997940B (zh) 一种车道线检测方法及装置
CN113591539B (zh) 一种目标识别方法、装置及可读存储介质
CN118050010B (zh) 车辆的定位方法、装置、车辆、存储介质和程序产品
CN114821543B (zh) 障碍物检测方法、装置、车辆和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant