CN113705513B

CN113705513B - 模型训练和车道线预测方法、电子设备和自动驾驶车辆

Info

Publication number: CN113705513B
Application number: CN202111030319.5A
Authority: CN
Inventors: 何雷
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2021-09-03
Filing date: 2021-09-03
Publication date: 2023-09-26
Anticipated expiration: 2041-09-03
Also published as: CN113705513A

Abstract

本公开提供了一种模型训练和车道线预测方法、电子设备和自动驾驶车辆，涉及人工智能技术领域，尤其涉及深度学习、图像处理和自动驾驶领域。具体实现方案为：基于多个样本图像中每个样本图像的车道线特征进行聚类，得到至少一个特征集合；基于所述至少一个特征集合中每个特征集合的聚类中心，得到至少一个中心特征；基于所述每个样本图像的车道线特征与所述至少一个中心特征中每个中心特征之间的偏置，得到所述每个样本图像的标注数据；基于所述多个样本图像以及所述每个样本图像的标注数据，训练得到车道线预测模型。

Description

模型训练和车道线预测方法、电子设备和自动驾驶车辆

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、图像处理和自动驾驶领域。

背景技术

车道线识别是自动驾驶场景的一种重要感知技术。为了方便存储和应用识别到的车道线信息，车道线信息一般都是采用矢量化参数表征的。由于矢量化参数的搜索空间较大，因此，目前获取车道线的矢量化参数的方式一般是先进行图像感知识别，得到图像中的车道线像素的集合，再基于该集合拟合出车道线，处理过程比较繁琐。

发明内容

本公开提供了一种模型训练和车道线预测方法、电子设备和自动驾驶车辆。

根据本公开的一方面，提供了一种模型训练方法，包括：

基于多个样本图像中每个样本图像的车道线特征进行聚类，得到至少一个特征集合；

基于至少一个特征集合中每个特征集合的聚类中心，得到至少一个中心特征；

基于每个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，得到每个样本图像的标注数据；

基于多个样本图像以及每个样本图像的标注数据，训练得到车道线预测模型。

根据本公开的另一方面，提供了一种车道线预测方法，包括：

基于车道线预测模型对待预测图像进行处理，得到预测数据；其中，预测数据包括与至少一个中心特征分别对应的至少一个预测偏置；其中，至少一个中心特征为基于多个样本图像中每个样本图像的车道线特征进行聚类得到的至少一个特征集合的聚类中心；

基于至少一个预测偏置以及至少一个中心特征，得到待预测图像中的车道线特征。

根据本公开的另一方面，提供了一种模型训练装置，包括：

聚类模块，用于基于多个样本图像中每个样本图像的车道线特征进行聚类，得到至少一个特征集合；

中心特征获取模块，用于基于至少一个特征集合中每个特征集合的聚类中心，得到至少一个中心特征；

标注模块，用于基于每个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，得到每个样本图像的标注数据；

训练模块，用于基于多个样本图像以及每个样本图像的标注数据，训练得到车道线预测模型。

根据本公开的另一方面，提供了一种车道线预测装置，包括：

图像处理模块，用于基于车道线预测模型对待预测图像进行处理，得到预测数据；其中，预测数据包括与至少一个中心特征分别对应的至少一个预测偏置；其中，至少一个中心特征为基于多个样本图像中每个样本图像的车道线特征进行聚类得到的至少一个特征集合的聚类中心；

特征转换模块，用于基于至少一个预测偏置以及至少一个中心特征，得到待预测图像中的车道线特征。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术，利用多个样本图像，聚类得到车道线特征的中心特征，将车道线特征转换为车道线特征与中心特征之间的偏置，从而将搜索车道线特征转换为搜索车道线特征与中心特征之间的偏置，降低特征的搜索空间，从而可以通过训练车道线预测模型，基于模型得到用于表征车道线的车道线特征，提高车道线矢量化的效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一个实施例提供的模型训练方法的示意图；

图2是根据本公开实施例中车道线预测模型的示意图；

图3是根据本公开一个实施例提供的车道线预测方法的示意图；

图4是根据本公开一个实施例提供的模型训练装置的示意图；

图5是根据本公开另一个实施例提供的模型训练装置的示意图；

图6是根据本公开又一个实施例提供的模型训练装置的示意图；

图7是根据本公开一个实施例提供的车道线预测装置的示意图；

图8是根据本公开另一个实施例提供的车道线预测装置的示意图；

图9是用来实现本公开实施例的模型训练方法或车道线预测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了根据本公开一个实施例的模型训练方法的示意图。如图1所示，该方法包括：

步骤S110，基于多个样本图像中每个样本图像的车道线特征进行聚类，得到至少一个特征集合；

步骤S120，基于至少一个特征集合中每个特征集合的聚类中心，得到至少一个中心特征；

步骤S130，基于每个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，得到每个样本图像的标注数据；

步骤S140，基于多个样本图像以及每个样本图像的标注数据，训练得到车道线预测模型。

示例性地，在本公开实施例中，样本图像可以指用于训练车道线预测模型的图像。样本图像可以包括车道线图像。

示例性地，车道线特征可以包括用于表征车道线位置、线型等属性的各种特征，例如，车道线特征可以包括图像中车道线所对应的多项式的参数，或者，若车道线为直线，车道线特征可以包括车道线的端点坐标、斜率等信息。

示例性地，可以采用预设的聚类算法对多个样本图像的车道线特征进行聚类。其中，聚类算法包括但不限于K-Means(K-Means Clustering Algorithm，K均值聚类算法)、DBSCAN(Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)或OPTICS(Ordering Points to identify the clusteringstructure，基于对点排序确定簇结构)等。

基于车道线特征进行聚类，可以将距离较近的车道线特征聚为一类。在本公开实施例中，特征集合为聚类后得到的类。每个特征集合可以包括至少一个车道线特征。可以理解，特征集合的中心即聚类中心，也是一个车道线特征，可以将该车道线特征作为中心特征，则基于至少一个特征集合可以得到至少一个中心特征。

示例性地，可以针对每个样本图像，分别计算其车道线特征与每个中心特征之间的偏置。例如，共有100个样本图像，聚成3个类，得到3个中心特征。对于每个样本图像，相对3个中心特征计算3个偏置。可以直接将这3个偏置作为标注数据，也可以对这3个偏置进行处理后或者结合其他信息得到标注数据。

可以理解，利用偏置信息作为样本图像的标注数据，并基于样本图像和其标注数据，训练得到的车道线预测模型可以用于基于待预测图像，输出至少一个预测偏置，至少一个预测偏置可以用于结合至少一个中心特征确定车道线特征。因此，本公开实施例的模型训练方法，将搜索车道线特征转换为搜索车道线特征与中心特征之间的偏置，降低特征的搜索空间，从而可以通过训练车道线预测模型，基于模型得到用于表征车道线的车道线特征，提高车道线矢量化的效率。

如前述说明，车道线特征可以包括车道线所对应的多项式的参数。该多项式可以通过曲线拟合得到。具体地，在聚类之前，模型训练方法还包括：

针对每个样本图像，对其中的车道线像素集合进行曲线拟合，得到每个样本图像中的车道线所对应的多项式的参数；

基于多项式的参数，得到每个样本图像的车道线特征。

示例性地，样本图像中的车道线像素集合可以包括样本图像中的多个像素点。这些像素点为车道线所在的像素点。可以通过人工标注的方式确定这些像素点。

示例性地，可以将车道线像素集合中各像素点拟合为一条曲线，例如三次多项式曲线。该曲线对应的三次多项式例如是：

y＝ax³+bx²+cx+d。

该多项式的参数(也可以称为曲线的参数)包括a、b、c和d。示例性地，多项式的参数也可以表示为(a，b，c，d)。这些参数或者基于这些参数确定的多项式可以用于表征样本图像中的车道线。

根据上述方式，将多项式的参数作为车道线特征，使得训练得到的是端到端模型，能够直接基于图像输出车道线的多项式参数，提高车道线矢量化的效率。

示例性地，在多项式具有N个参数(N为大于等于2的整数)的情况下，可以基于多项式的N个参数在N维空间中进行聚类。即将多项式的参数(a，b，c，d)中的点，对多个图像所对应的多个多项式参数组进行聚类。

作为一种示例性的实施方式，步骤S140，基于多个样本图像以及每个样本图像的标注数据，训练得到车道线预测模型，可以包括：

基于预设模型对多个样本图像中的第i个样本图像进行处理，得到与第i个样本图像对应的预测数据；其中，预测数据包括至少一个预测偏置；其中，i为正整数；

基于第i个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，以及至少一个预测偏置，得到第一损失函数；

根据第一损失函数，调整预设模型的参数，并在第一损失函数符合预设条件的情况下，将预设模型作为车道线预测模型。

其中，第i个样本图像可以是多个样本图像中的任一图像或者特定的某个图像。示例性地，在上述步骤S140中，对每个样本图像的处理均可参考对第i个样本图像的处理。

对于第i个样本图像，预设模型可以输出至少一个预测偏置。将预测偏置与车道线特征和中心特征之间的偏置进行比较，可以评估模型对于偏置信息的预测准确性。因此，根据上述方式，基于两种偏置得到第一损失函数，再基于第一损失函数调整预设模型的参数，可以使模型学习到准确预测偏置信息的能力。

示例性地，预设模型可以是基于深度学习网络架构设计的模型。例如，预设模型可以包括卷积网络以及解码器。其中，卷积网络用于提取输入模型的图像的特征信息，解码器用于对特征信息进行解码，得到多项式的预测参数。

示例性地，上述预设模型可以包括损失函数达到最小，例如损失函数不再发生变化或者损失函数小于预设阈值。

示例性地，上述第一损失函数可以基于两种偏置之间的欧式距离确定。具体地，基于第i个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，以及至少一个预测偏置，得到第一损失函数，包括：

基于第i个样本图像的车道线特征与至少一个中心特征中的第j个中心特征之间的偏置，以及至少一个预测偏置中的第j个预测偏置，计算第j个欧式距离；其中，j为正整数；

基于第j个欧式距离，得到第一损失函数。

其中，第j个中心特征可以是任一中心特征或者特定的某个中心特征。示例性地，对每个中心特征的处理均可参考对第j个中心特征的处理。

也就是说，根据每个中心特征，都计算预测偏置和实际偏置之间的欧式距离，基于欧式距离得到模型的损失函数。由于欧式距离直观体现预测偏置和实际偏置之间的差距，且计算简便，因此，基于欧式距离得到损失函数，有利于提高模型参数调整的效果和速度。

实际应用中，车道线参数车道线所对应的多项式具有多个参数，例如4个参数。相应地，预设模型可以针对每个参数分别预测偏置值，也就是说，每个参数对应一组偏置值，该组偏置值包括与至少一个中心特征对应的至少一个预测偏置。或者说，每个中心特征对应一组偏置值，该组偏置值包括与多个参数对应的多个预测偏置。需要说明的是，基于车道线特征与第j个中心特征之间的偏置以及第j个预测偏置得到的欧式距离，包括与每个多项式参数对应的欧式距离。例如，图像中车道线所对应的多项式具有2个参数包括a、b。相应地，针对参数a，预测出偏置Δa₁、Δa₂，针对参数b，预测出偏置Δb₁、Δb₂。如果参数a的实际偏置为Δa，参数b的实际偏置为Δb，则与第1个中心特征相关的欧式距离，包括Δa₁和Δa的欧式距离、Δb₁和Δb的欧式距离。与第2个中心特征相关的欧式距离，包括Δa₂和Δa的欧式距离、Δb₂和Δb的欧式距离。

示例性地，在本公开实施例中，不仅可以训练模型具有预测偏置的能力，还可以训练模型具有识别车道线线性的能力。

可选地，基于每个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，得到每个样本图像的标注数据，包括：

将每个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置以及样本图像中车道线的标注线型作为样本图像的标注数据。

相应地，预测数据还包括预测线型；基于第i个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，以及至少一个预测偏置，得到第一损失函数，包括：

基于第i个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，以及至少一个预测偏置，得到欧式距离，作为第二损失函数；

基于标注线型和预测线型确定第一交叉熵，作为第三损失函数；

根据第二损失函数和第三损失函数，得到第一损失函数。

这里，线型可以基于车道线的多种属性确定，多种属性包括线的虚实、颜色、边界属性等至少一种。其中，颜色例如是黄色、白色等。边界属性用于表征该车道线是道路边界或非道路边界。例如，某个车道线的线型可以是非道路边界的黄实线、道路边界的白实线等。

根据上述方式，在模型训练的预测过程中，不仅预测车道线所对应的偏置，还预测车道线的线型，记为预测线型。其中，针对车道线的线型，在模型训练过程中采用交叉熵作为损失函数。然后结合针对线型的损失函数和针对偏置的损失函数，得到整体的损失函数。

示例性地，可以在预设模型中设置一个与偏置信息对应的第一解码器以及设置一个与线型对应的第二解码器，在卷积网络提取图像的特征信息后，利用第一解码器解码得到上述预测偏置，利用第二解码器解码得到图像中车道线的线型。模型训练过程不断更新该解码器的参数。

可选地，预测数据还包括预测偏置的置信度。也就是说，在模型训练的预测过程中，还预测上述预测参数的置信度。在计算损失函数的过程中，基于实际偏置、预测偏置，可以较为准确地评估预测偏置实际的可信程度。例如以预测偏置和实际偏置之间的比值表征预测偏置实际的可信程度。同时，模型预测得到的置信度可以表征针对偏置进行预测的可信程度。基于实际的可信程度和预测得到的可信程度，可以计算置信度的损失。在上述根据第二损失函数和第三损失函数，得到第一损失函数的过程中，还可以结合置信度的损失函数，综合计算得到第一损失函数。其中，置信度的损失函数可以通过第二交叉熵量化。

进一步地，结合多项式参数的损失、线型的损失、置信度的损失，得到模型整体的损失，有利于训练得到准确的车道线预测模型。

示例性地，可以在预设模型中设置一个与置信度对应的第三解码器，在卷积网络提取图像的特征信息后，利用第三解码器解码得到预测偏置的置信度。模型训练过程不断更新该解码器的参数。

可见，基于上述模型训练方法，可以训练得到端到端的车道线预测模型，该端到端的模型可以直接基于图像输出矢量化参数(预测偏置)，提高车道线矢量化的效率。在一个具体的示例中，如图2所示，该模型可以包括一个卷积网络200和三个解码器210、220和230。其中，卷积网络200可以包括一个或多个卷积层。卷积网络200接收输入的图像并提取其中的特征信息。解码器210用于基于特征信息解码得到车道线所对应的预测偏置。解码器220用于基于特征信息解码得到置信度。解码器230用于基于特征信息解码得到车道线的线型。

本公开实施例还提供上述车道线预测模型的应用方法，即提供一种车道线预测方法，如图3所示，该方法包括：

步骤S310，基于车道线预测模型对待预测图像进行处理，得到预测数据；其中，预测数据包括与至少一个中心特征分别对应的至少一个预测偏置；其中，至少一个中心特征为基于多个样本图像中每个样本图像的车道线特征进行聚类得到的至少一个特征集合的聚类中心；

步骤S320，基于至少一个预测偏置以及至少一个中心特征，得到待预测图像中的车道线特征。

示例性地，车道线预测模型是基于本公开任一实施例提供的模型训练方法训练得到的。具备相应的有益效果。

可选地，基于至少一个预测偏置以及至少一个中心特征，得到待预测图像中的车道线特征，包括：

基于至少一个预测偏置中每个预测偏置与其对应的中心特征，得到每个预测偏置所对应的预测特征；

基于每个预测偏置所对应的预测特征，得到待预测图像中的车道线特征。

根据上述方式，基于至少一个预测偏置分别获得预测特征，再基于至少一个预测特征得到最终的车道线特征，可以提高车道线特征的准确性。

例如，模型针对车道线的三次多项式的参数b，输出与3个中心特征对应的3个预测偏置，则针对每个预测偏置和对应的中心特征，得到参数b的1个预测值(预测特征)，共得到参数b的3个预测值。实际应用中，可以将参数b的3个预测值的平均值或中位数作为参数b的最终预测值，即待预测图像的车道线特征。

可选地，车道线特征包括待预测图像中的车道线所对应的多项式的参数。以多项式的参数作为模型输出的车道线特征，可以构建端到端模型，提高车道线矢量化的效率。

可选地，基于车道线预测模型对待预测图像进行处理，得到预测数据，包括：

基于车道线预测模型中的卷积网络对待预测图像进行特征提取，得到待预测图像的特征信息；

基于车道线预测模型中的第一解码器对特征信息进行解码，得到待预测图像中的车道线所对应的预测偏置。

也就是说，车道线预测模型利用卷积网络和解码器预测车道线所对应的预测偏置。基于深度学习的方式进行预测，具有较高的预测准确性。

可选地，基于车道线预测模型对待预测图像进行处理，得到预测数据，还包括：

基于车道线预测模型中的第二解码器对特征信息进行解码，得到车道线的线型。

也就是说，车道线预测模型不仅预测车道线所对应的预测偏置，还预测车道线的线型，提高了车道线预测模型的实用性。

基于车道线预测模型中的第三解码器对特征信息进行解码，得到预测偏置的置信度。

也就是说，车道线预测模型不仅预测车道线所对应的预测偏置，还预测该预测偏置的置信度，因此，可以基于置信度评估基于预测偏置表征的车道线的识别准确度，提高了车道线预测模型的实用性。

可选地，上述车道线预测方法还包括：

在预测偏置的置信度大于等于预设阈值的情况下，将基于所预测偏置表征的车道线确定为有效车道线。

相应地，在预测偏置的置信度小于预设阈值的情况下，将基于预测偏置表征的车道线确定为无效车道线。

通过上述可选方式，仅将置信度达到预设阈值的车道线作为有效车道线，从而减少对车道线的误判，在自动驾驶场景中可以提高自动驾驶的准确性。

并且，在一些实施例中，车道线预测模型可用于预测一个或多个车道线例如M个车道线，M为大于等于1的整数。由于模型结构在设计阶段已固定，因此，仅能预测固定数量M的车道线。根据本申请实施例，模型输出M个车道线的预测偏置且输出每个多项式的参数的置信度，可以根据置信度淘汰其中的部分无效车道线。因此，即便车道线图像的车道线数量小于N，模型仍能基于置信度评判机制输出符合图像中实际数量的车道线的预测结果，扩展了模型的应用范围。

作为上述各方法的实现，本公开还提供一种模型训练装置400，如图4所示，该装置包括：

聚类模块410，用于基于多个样本图像中每个样本图像的车道线特征进行聚类，得到至少一个特征集合；

中心特征获取模块420，用于基于至少一个特征集合中每个特征集合的聚类中心，得到至少一个中心特征；

标注模块430，用于基于每个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，得到每个样本图像的标注数据；

训练模块440，用于基于多个样本图像以及每个样本图像的标注数据，训练得到车道线预测模型。

示例性地，如图5所示，模型训练装置400还包括：

参数获取模块450，用于针对每个样本图像，对其中的车道线像素集合进行曲线拟合，得到每个样本图像中的车道线所对应的多项式的参数；

车道线特征获取模块460，用于基于多项式的参数，得到每个样本图像的车道线特征。

示例性地，如图6所示，训练模块440包括：

预测数据获取单元441，用于基于预设模型对多个样本图像中的第i个样本图像进行处理，得到与第i个样本图像对应的预测数据；其中，预测数据包括至少一个预测偏置；其中，i为正整数；

第一损失函数获取单元442，用于基于第i个样本图像的车道线特征与至少一个中心特征中每个中心特征之间的偏置，以及至少一个预测偏置，得到第一损失函数；

参数调整单元443，用于根据第一损失函数，调整预设模型的参数，并在第一损失函数符合预设条件的情况下，将预设模型作为车道线预测模型。

具体地，第一损失函数获取单元442用于：

基于第j个欧式距离，得到第一损失函数。

作为上述各方法的实现，本公开还提供一种车道线预测装置700，如图7所示，该装置包括：

图像处理模块710，用于基于车道线预测模型对待预测图像进行处理，得到预测数据；其中，预测数据包括与至少一个中心特征分别对应的至少一个预测偏置；其中，至少一个中心特征为基于多个样本图像中每个样本图像的车道线特征进行聚类得到的至少一个特征集合的聚类中心；

特征转换模块720，用于基于至少一个预测偏置以及至少一个中心特征，得到待预测图像中的车道线特征。

其中，车道线预测模型是基于上述模型训练装置训练得到的。

示例性地，如图8所示，特征转换模块720包括：

偏置转换单元721，用于基于至少一个预测偏置中每个预测偏置与其对应的中心特征，得到每个预测偏置所对应的预测特征；

车道线转换单元722，用于基于每个预测偏置所对应的预测特征，得到待预测图像中的车道线特征。

具体地，车道线特征包括待预测图像中的车道线所对应的多项式的参数。

本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述方法实施例中的对应描述，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。可选地，该电子设备可以应用于或部署于自动驾驶车辆。示例性地，本公开还提供一种自动驾驶车辆，包括该电子设备。

图9示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序来执行各种适当的动作和处理。在RAM903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM902以及RAM903通过总线904彼此相连。输入输出(I/O)接口905也连接至总线904。

电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如模型训练方法和车道线预测方法。例如，在一些实施例中，模型训练方法和车道线预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的模型训练方法和车道线预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法和车道线预测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种模型训练方法，包括：

基于所述至少一个特征集合中每个特征集合的聚类中心，得到至少一个中心特征；

基于所述每个样本图像的车道线特征与所述至少一个中心特征中每个中心特征之间的偏置，得到所述每个样本图像的标注数据；

基于所述多个样本图像以及所述每个样本图像的标注数据，训练得到车道线预测模型；

还包括：

针对所述每个样本图像，对其中的车道线像素集合进行曲线拟合，得到所述每个样本图像中的车道线所对应的多项式的参数；

基于所述多项式的参数，得到所述每个样本图像的车道线特征；

所述基于所述多个样本图像以及所述每个样本图像的标注数据，训练得到车道线预测模型，包括：

基于预设模型对所述多个样本图像中的第i个样本图像进行处理，得到与所述第i个样本图像对应的预测数据；其中，所述预测数据包括至少一个预测偏置；其中，i为正整数；

基于所述第i个样本图像的车道线特征与所述至少一个中心特征中每个中心特征之间的偏置，以及所述至少一个预测偏置，得到第一损失函数；

根据所述第一损失函数，调整所述预设模型的参数，并在所述第一损失函数符合预设条件的情况下，将所述预设模型作为所述车道线预测模型。

2.根据权利要求1所述的方法，其中，所述基于所述第i个样本图像的车道线特征与所述至少一个中心特征中每个中心特征之间的偏置，以及所述至少一个预测偏置，得到第一损失函数，包括：

基于所述第i个样本图像的车道线特征与所述至少一个中心特征中的第j个中心特征之间的偏置，以及所述至少一个预测偏置中的第j个预测偏置，计算第j个欧式距离；其中，j为正整数；

基于所述第j个欧式距离，得到所述第一损失函数。

3.一种车道线预测方法，包括：

基于车道线预测模型对待预测图像进行处理，得到预测数据；其中，所述预测数据包括与至少一个中心特征分别对应的至少一个预测偏置；其中，所述至少一个中心特征为基于多个样本图像中每个样本图像的车道线特征进行聚类得到的至少一个特征集合的聚类中心；

基于所述至少一个预测偏置以及所述至少一个中心特征，得到所述待预测图像中的车道线特征；

所述车道线预测模型是基于权利要求1或2所述的方法训练得到的。

4.根据权利要求3所述的方法，其中，基于所述至少一个预测偏置以及所述至少一个中心特征，得到所述待预测图像中的车道线特征，包括：

基于所述至少一个预测偏置中每个预测偏置与其对应的中心特征，得到所述每个预测偏置所对应的预测特征；

基于所述每个预测偏置所对应的预测特征，得到所述待预测图像中的车道线特征。

5.根据权利要求4所述的方法，其中，所述车道线特征包括所述待预测图像中的车道线所对应的多项式的参数。

6.一种模型训练装置，包括：

中心特征获取模块，用于基于所述至少一个特征集合中每个特征集合的聚类中心，得到至少一个中心特征；

标注模块，用于基于所述每个样本图像的车道线特征与所述至少一个中心特征中每个中心特征之间的偏置，得到所述每个样本图像的标注数据；

训练模块，用于基于所述多个样本图像以及所述每个样本图像的标注数据，训练得到车道线预测模型；

还包括：

参数获取模块，用于针对所述每个样本图像，对其中的车道线像素集合进行曲线拟合，得到所述每个样本图像中的车道线所对应的多项式的参数；

车道线特征获取模块，用于基于所述多项式的参数，得到所述每个样本图像的车道线特征；

所述训练模块包括：

预测数据获取单元，用于基于预设模型对所述多个样本图像中的第i个样本图像进行处理，得到与所述第i个样本图像对应的预测数据；其中，所述预测数据包括至少一个预测偏置；其中，i为正整数；

第一损失函数获取单元，用于基于所述第i个样本图像的车道线特征与所述至少一个中心特征中每个中心特征之间的偏置，以及所述至少一个预测偏置，得到第一损失函数；

参数调整单元，用于根据所述第一损失函数，调整所述预设模型的参数，并在所述第一损失函数符合预设条件的情况下，将所述预设模型作为所述车道线预测模型。

7.根据权利要求6所述的装置，其中，所述第一损失函数获取单元具体用于：

基于所述第j个欧式距离，得到所述第一损失函数。

8.一种车道线预测装置，包括：

图像处理模块，用于基于车道线预测模型对待预测图像进行处理，得到预测数据；其中，所述预测数据包括与至少一个中心特征分别对应的至少一个预测偏置；其中，所述至少一个中心特征为基于多个样本图像中每个样本图像的车道线特征进行聚类得到的至少一个特征集合的聚类中心；

特征转换模块，用于基于所述至少一个预测偏置以及所述至少一个中心特征，得到所述待预测图像中的车道线特征；

所述车道线预测模型是基于权利要求6-7中任一项所述的装置训练得到的。

9.根据权利要求8所述的装置，其中，所述特征转换模块包括：

偏置转换单元，用于基于所述至少一个预测偏置中每个预测偏置与其对应的中心特征，得到所述每个预测偏置所对应的预测特征；

车道线转换单元，用于基于所述每个预测偏置所对应的预测特征，得到所述待预测图像中的车道线特征。

10.根据权利要求9所述的装置，其中，所述车道线特征包括所述待预测图像中的车道线所对应的多项式的参数。

11. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1-5中任一项所述的方法。

13.一种自动驾驶车辆，包括如权利要求11所述的电子设备。