CN115147802B - 一种车道线预测方法、装置、介质、程序产品及车辆 - Google Patents

Abstract

本申请涉及图像处理技术领域，特别涉及一种车道线预测方法、装置、介质、程序产品及车辆，该方法包括：获取自车的图像采集设备采集的包括车道线的待测图像，将待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；基于相邻平面车道线上的多个第一轨迹点对，确定相邻平面车道线对应车道的多个车道宽度；从多个车道宽度中选取目标车道宽度作为基准车道宽度，基于基准车道宽度调整剩余车道宽度；基于调整后的剩余车道宽度得到多个第二轨迹点对；对多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。通过基准车道宽度来对其他车道宽度进行调整，可以改善预测所得车道线形状异常情况，提高车道线预测准确性。

Description

一种车道线预测方法、装置、介质、程序产品及车辆

技术领域

本申请涉及图像处理技术领域，特别涉及一种车道线预测方法、装置、介质、程序产品及车辆。

背景技术

辅助驾驶技术的主要作用是为驾驶者提供协助，包括提供重要或有益的驾驶相关信息，如车道偏离信息，可以提高自动驾驶车辆的行驶安全性能，广泛应用于自动驾驶领域。

车道线预测是辅助驾驶技术的一个重要环节，其中，准确地将图像中检测到的车道线像素坐标转换至平面鸟瞰图中，有利于对当前道路的车道线情况进行预测，从而提升车辆行驶的安全性。

通常先假设当前道路是一个平面，然后，基于图像采集设备的内外参数，将图像中检测到的车道线像素点投影至平面鸟瞰图中，得到预测车道线。由于当前道路是平面的约束和对图像采集设备的内外参数的依赖，使得上述投影存在较大的误差，造成预测车道线不准确，如，预测的车道线呈现喇叭口的形状，进而对后续辅助驾驶的决策存在一定影响。

针对上述车道线的预测不准确的问题，提供一种车道线预测方法、装置、介质、程序产品及车辆。

发明内容

本申请实施例提供了一种车道线预测方法、装置、介质、程序产品及车辆。可以提高车道线预测的准确性。

第一方面，本申请实施例提供了一种车道线预测方法，所述方法包括：

获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线；

基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；

基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度；

从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对；

对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。

在一些可选的实施例中，上述基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度，包括：

针对每个第一轨迹点对，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角；

基于每个所述第一轨迹点对所对应的所述车道转向角，对所述第一轨迹点对所对应的所述连线进行旋转，得到旋转后的所述连线；

基于所述旋转后的所述连线与目标切线的交点，确定对应所述第一轨迹点对的车道宽度；所述目标切线是指所述第一轨迹点对中的所述第一轨迹点与所述第一轨迹点所在所述平面车道线的切线。

在一些可选的实施例中，上述基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角，包括：

确定每个所述第一轨迹点对的所述连线与相邻所述平面车道线的夹角；

基于所述预设约束条件和所述夹角，确定每个所述第一轨迹点对所对应的所述车道转向角。

在一些可选的实施例中，上述对所述第一轨迹点对所对应的所述连线进行旋转，包括：

将所述第一轨迹点对所对应的所述连线绕着所述连线上的预设位置旋转；所述预设位置为所述连线的中点，或者所述预设位置基于所述预设约束条件确定。

在一些可选的实施例中，所述预设约束条件基于所述图像采集设备与相邻所述平面车道线之间的横向间距比例确定。

在一些可选的实施例中，上述基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对，包括：

确定所述图像采集设备在所述平面鸟瞰图内的平面位置；

基于所述平面位置和所述剩余车道宽度中每个所述车道宽度相应的所述交点，确定缩放三角形；

基于所述缩放三角形，调整每个所述车道宽度相应的所述交点，以将每个所述车道宽度调整至所述基准车道宽度，得到调整后的所述交点；

将所述调整后的所述交点确定为所述第二轨迹点对。

在一些可选的实施例中，从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，包括：

在所述车道宽度对应的第一轨迹点对与相邻所述平面车道线上靠近所述图像采集设备一端的距离达到预设距离时，确定所述车道宽度为所述目标车道宽度，并将所述目标车道宽度作为基准车道宽度。

在一些可选的实施例中，所述目标车道的个数为多个；上述方法还包括：

基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理。

在一些可选的实施例中，上述基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理，包括：

确定两临近侧车道线之间的偏离程度；所述两临近侧车道线是指相邻所述目标车道的所述两侧车道线中处于中间位置的两车道线；

在所述偏离程度小于一定偏离程度阈值的情况下，基于所述两侧车道线与所述图像采集设备的横向距离，对所述两临近侧车道线进行所述去重处理。

在一些可选的实施例中，上述方法还包括：

在所述偏离程度小于所述偏离程度阈值的情况下，输出所述两侧车道线为车道线预测结果；

在所述偏离程度大于所述偏离程度阈值的情况下，输出所述平面车道线为所述车道线预测结果。

第二方面，本申请的实施方式提供了一种车道线预测装置，所述装置包括：

获取模块，用于获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线；

投影模块，用于基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；

确定模块，用于基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度；

调整模块，用于从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对；

拟合模块，用于对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。

在一些可选的实施例中，上述确定模块包括：

第一确定子模块，用于针对每个第一轨迹点对，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角；

第二确定子模块，用于基于每个所述第一轨迹点对所对应的所述车道转向角，对所述第一轨迹点对所对应的所述连线进行旋转，得到旋转后的所述连线；

第三确定子模块，用于基于所述旋转后的所述连线与目标切线的交点，确定对应所述第一轨迹点对的车道宽度；所述目标切线是指所述第一轨迹点对中的所述第一轨迹点与所述第一轨迹点所在所述平面车道线的切线。

在一些可选的实施例中，上述第一确定子模块还用于：

确定每个所述第一轨迹点对的所述连线与相邻所述平面车道线的夹角；

基于所述预设约束条件和所述夹角，确定每个所述第一轨迹点对所对应的所述车道转向角。

在一些可选的实施例中，上述第二确定子模块还用于：

将所述第一轨迹点对所对应的所述连线绕着所述连线上的预设位置旋转；所述预设位置为所述连线的中点，或者所述预设位置基于所述预设约束条件确定。

在一些可选的实施例中，上述调整模块包括：

第一调整子模块，用于确定所述图像采集设备在所述平面鸟瞰图内的平面位置；

第二调整子模块，用于基于所述平面位置和所述剩余车道宽度中每个所述车道宽度相应的所述交点，确定缩放三角形；

第三调整子模块，用于基于所述缩放三角形，调整每个所述车道宽度相应的所述交点，以将每个所述车道宽度调整至所述基准车道宽度，得到调整后的所述交点；

第四调整子模块，用于将所述调整后的所述交点确定为所述第二轨迹点对。

在一些可选的实施例中，上述调整模块还用于：

在所述车道宽度对应的第一轨迹点对与相邻所述平面车道线上靠近所述图像采集设备一端的距离达到预设距离时，确定所述车道宽度为所述目标车道宽度，并将所述目标车道宽度作为基准车道宽度。

在一些可选的实施例中，所述目标车道的个数为多个；上述装置还包括：

去重模块，用于基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理。

在一些可选的实施例中，上述去重模块包括：

第一去重子模块，用于确定两临近侧车道线之间的偏离程度；所述两临近侧车道线是指相邻所述目标车道的所述两侧车道线中处于中间位置的两车道线；

第二去重子模块，用于在所述偏离程度小于一定偏离程度阈值的情况下，基于所述两侧车道线与所述图像采集设备的横向距离，对所述两临近侧车道线进行所述去重处理。

在一些可选的实施例中，上述装置还包括：

第一输出模块，用于在所述偏离程度小于所述偏离程度阈值的情况下，输出所述两侧车道线为车道线预测结果；

第二输出模块，用于在所述偏离程度大于所述偏离程度阈值的情况下，输出所述平面车道线为所述车道线预测结果。

第三方面，本申请的实施方式提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序，使得计算机设备执行上述车道线预测方法。

第四方面，本申请的实施方式提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述车道线预测方法。

第五方面，本申请的实施方式提供了一种车辆，所述车辆包括电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行上述车道线预测方法。

本申请通过获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线；基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度；从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对；对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。通过基准车道宽度来对投影后平面车道线上的多个第一轨迹点对所对应的车道宽度进行调整，可以有效改善预测所得车道线形状异常的情况（如车道线呈现喇叭口），提高车道线预测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种车道线预测的场景示意图；

图2是本申请实施例提供的一种车道线预测方法的流程示意图；

图3A是本申请实施例提供的一种确定多个车道宽度的流程示意图；

图3B是预设约束条件的原理示意图；

图4是本申请实施例提供的一种调整剩余车道宽度的流程示意图；

图5是本申请实施例提供的一种基准车道宽度确定的示意图；

图6A是本申请实施例提供的一种调整剩余车道宽度的原理示意图；

图6B是本申请提供的一种目标车道的两侧车道线的示意图;

图6C是本申请实施例提供的一种车道线去重的原理示意图；

图7是本申请实施例提供的一种车道线预测装置的结构示意图；

图8是本申请实施例提供的一种用于实现车道线预测方法的电子设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在介绍本申请实施例的车道线预测方法之前，首先对车道线预测方法的场景进行介绍。

请参阅图1，图1是本申请实施例提供的一种车道线预测的场景示意图。如图1所示，待测图像中车道10对应的车道线投影到平面鸟瞰图中，得到车道10的两侧平面车道线，该两侧平面车道线呈现收口形状，而车道10的车道宽度是均匀的。因此，基于该平面车道线进行辅助驾驶时（如确定自动驾驶车辆的前方车辆与车道10的车道线之间的横向距离），辅助驾驶决策的误差较大（如辅助驾驶提供的横向距离误差大），影响用户体验。

基于上述问题，本申请提供一种车道线预测方法，具体的，该方法包括：获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线；基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度；从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对；对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。通过基准车道宽度来对投影后相邻平面车道线上的多个第一轨迹点对所对应的车道宽度进行调整，即调整相邻平面车道线之间平行；可以有效改善预测所得车道线形状异常的情况，以提高车道线预测的准确性，尤其提高车道线预测过程中曲面车道的车道线投影的准确性。

以下介绍本申请一种车道线预测方法的具体实施例，图2是本申请实施例提供的一种车道线预测方法的流程示意图。本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。图5-图6C是车道线预测的原理示意图，下面结合图5-图6C对图2所示方法进行详细介绍，具体的如图2所示，该方法可以包括：

S202：获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线。

例如，通常在自车（即上述自动驾驶车辆）的顶部或前后方安装有图像采集设备，图像采集设备可以获取自车前、后等方向的图像，如，图1所示的待测图像。图1所示的待测图像中包含车道10的车道线。具体的，基于预先训练的神经网络模型对待测图像中车道线进行识别，得到车道线的数量和各车道线的像素点。例如，多条车道线中第i条车道线，共有n个像素点。其中，第j个像素点的坐标记为：(u_ij,v_ij)。

S204：基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线。

具体的，图1所示的图像采集参数包括图像采集设备的外部参数（如安装位置）和内部参数（如焦距）。

例如，使用外部参数将上述第i条车道线的第j个像素点转换到平面鸟瞰图得到转换后的轨迹点(x_ij,h,z_ij)，具体方法如公式（1）：

（1）

其中，Rx, Ry, Rz分别表示图像采集设备的X轴、Y轴、Z轴,分别与车辆x轴、y轴、z轴所成角度的旋转矩阵, h为图像采集设备的高度，K为图像采集设备的内参矩阵。其中，s为可根据各像素点坐标调节的系数，s的作用是改变等式右侧坐标值，使得第二行等于图像采集设备的安装高度h。

具体的，基于转换后的轨迹点进行曲线拟合，得到平面车道线，具体方法如下：

在鸟瞰图(如z-x平面)上拟合三次方程曲线。例如，共m条车道线，对于第i条车道线对应的转换后的轨迹点，拟合后的方程可以记为：

x=a_iz³+b_iz²+c_iz+d_i（2）

即该公式（2）可以表征上述平面车道线。

S206：基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度。

例如，一个第一轨迹点对包括处于图1所示的第一平面车道线P1上的第一轨迹点（第一目标轨迹点D1），以及处于第二平面车道线P2上的第一轨迹点（第二目标轨迹点D2）。具体的，可以在第一平面车道线P1和第二平面车道线P2上各均匀选取多个第一轨迹点，即第一平面车道线P1和第二平面车道线P2上的相邻第一轨迹点之间的距离等于预设目标间距。按照各第一轨迹点的顺序，确定第一轨迹点对。或者在相邻所述平面车道线上确定多条预设间距的连线，将每条连线与相邻所述平面车道线的交点确定为一轨迹点对。

对于上述步骤S206中车道宽度的确定，通常通过遍历相邻所述平面车道线上一侧平面车道线的轨迹点，以确定另一侧平面车道线上预设轨迹点的对应轨迹点，即确定每个第一轨迹点对，进而确定每个第一轨迹点对所对应的车道宽度。该遍历方式消耗算力较大，并且，一些场景下每个上述预设轨迹点会得到多个局部最优解，即得到多个对应的第一轨迹点对。

为了降低确定多个车道宽度的算力，且保证第一轨迹点对的准确性，本申请提供一种确定多个车道宽度的具体流程，图3A是本申请实施例提供的一种确定多个车道宽度的流程示意图，如图3A所示，该流程包括如下步骤：

S2061：针对每个第一轨迹点对，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角。

为了提高车道转向角的准确性，以保证车道线预测的准确性，尤其是车道线形状预测的准确性，在一些可选的实施例中，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角，包括：

确定每个所述第一轨迹点对的所述连线与相邻所述平面车道线的夹角；

基于所述预设约束条件和所述夹角，确定每个所述第一轨迹点对所对应的所述车道转向角。

基于图像采集设备附近的平面车道线进行车道线预测的准确性较高，因此确定图像采集设备在平面鸟瞰图中的平面位置与相邻平面车道线之间的距离比例（即图像采集设备与相邻所述平面车道线之间的横向间距比例），以横向间距比例来约束上述连线与相邻所述平面车道线之间夹角。在一些可选的实施例中，所述预设约束条件基于所述图像采集设备与相邻所述平面车道线之间的横向间距比例确定。

S2062：基于每个所述第一轨迹点对所对应的所述车道转向角，对所述第一轨迹点对所对应的所述连线进行旋转，得到旋转后的所述连线。

为了控制各连线的旋转点，以提高旋转所得车道宽度的准确性。在一些可选的实施例中，对所述第一轨迹点对所对应的所述连线进行旋转，包括：

将所述第一轨迹点对所对应的所述连线绕着所述连线上的预设位置旋转；所述预设位置为所述连线的中点，或者所述预设位置基于所述预设约束条件确定。例如，预设约束条件为上述图像采集设备至相邻平面车道线之间的横向间距比例。

一些实施例中，上述步骤S2061中确定车道转向角的具体实施方式如下：

首先，对上述平面车道线上的第一轨迹点对中各第一轨迹点求导，例如，两平面车道线上均每隔0.1m取一个第一轨迹点，若根据第1条（即i为1时）车道线在平面鸟瞰图中得到第一平面车道线P1，第k个第一轨迹点为上述第一目标轨迹点D1，即第一目标轨迹点D1处于z=0.1×k处，则第一目标轨迹点D1的导数值为：

x₁’=3a₁×(0.1k )²+2b₁×0.1k +c₁（3）

同理可以求得第二目标轨迹点D2的导数值x₂’。

然后，确定图1所示的第一目标轨迹点D1与第二目标轨迹点D2之间的连线，与第一目标轨迹点D1在第一平面车道线P1上第一切线Q1的夹角α ₁ ；以及该连线与第二目标轨迹点D2在第二平面车道线P2上第二切线Q2的夹角α ₂ ；角α ₁ 和角α ₂ 分别根据下述公式（4）和公式（5）确定。

α ₁ =90°+ arctan(x ₁ ’) （4）

α ₂ =90°- arctan(x ₂ ’) （5）

最后，根据预设约束条件，确定第一轨迹点对（D1和D2）的车道转向角。具体的，图1所示的第一轨迹点对（D1和D2）对应的角α ₁ 和角α ₂ 的车道转向角

满足如下公式（6）所示的预设约束条件：

（6）

其中，

为图像采集设备与第一平面车道线P1之间的横向距离，

为图像采集设备与第二平面车道线P2之间的横向距离。基于公式（6）可以计算各第一轨迹点对的车道转向角。角α ₁ 和角α ₂ 基于上述公式（4）和（5）确定。

根据公式（6）求解出上述第一轨迹点对（D1和D2）的车道转向角

。

图3B是预设约束条件的原理示意图，即上述公式（6）是根据图3B所示的原理确定，具体的，两平面车道线（P1和P2）上实际轨迹点对D5和D6（即车道宽度对应的轨迹点对）的连线与自车的行车轨迹（与实际车道的两侧车道线平行）交于点A1。在平面鸟瞰图中，轨迹点D5与点A1之间的连线长度sd1，轨迹点D6与点A1之间的连线长度sd2。由于行车轨迹与实际车道线平行，所以sd1与sd2之间的比值满足

(图3B中图像采集设备的投影点o至第一平面车道线P1的横向距离)和

(图像采集设备的投影点o至第二平面车道线P2的横向距离)之间的比值。所以基于

和

之间比值，即公式（6），来确定上述车道转向角

，进而确定实际轨迹点对。

S2063：基于所述旋转后的所述连线与目标切线的交点，确定对应所述第一轨迹点对的车道宽度；所述目标切线是指所述第一轨迹点对中的所述第一轨迹点与所述第一轨迹点所在所述平面车道线的切线。

例如，图1所示的第一目标轨迹点D1在第一平面车道线P1上的第一切线Q1和第二目标轨迹点D2在第二平面车道线P2上的第二切线Q2。确定旋转后的第一目标轨迹点D1和第二目标轨迹点D2之间的连线，分别与第一切线Q1和第二切线Q2对应的两交点，将两交点之间的距离确定为该第一轨迹点对（D1和D2）的车道宽度。

具体的，根据车道转向角

，以第一轨迹点对（D1和D2）连线的中点为旋转中心，逆时针旋转

，并且将该（D1和D2）连线的长度缩短为原来的cos(

)倍，即旋转后的连线两端点分别为修正前的连线（D1和D2连线）旋转后分别与两切线（Q1和Q2）的两交点。

图5是本申请实施例提供的一种基准车道宽度确定的示意图；如图5所示，细线为旋转前且缩短前第一轨迹点对的连线，粗线为旋转且缩短后得到的交点连线。其中，可以近似的认为，粗线两端在两平面车道线上，且粗线对应此处车道宽度。

上述旋转中心的选择不一定是连线的中心，也可以根据

和

的比例关系（可能这种方式更加准确），或其他方式确定，本申请中在此不作限制。

本实施例中，通过对第一轨迹点对的连线进行简单的旋转，确定第一轨迹点对的车道宽度，降低了确定多个车道宽度的计算机算力，确定第一轨迹点对的速度快，并且保证第一轨迹点对的准确性。

S208：从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对。

图像采集设备拍摄的待测图像中，距离图像采集设备较近的车道部分对应的车道宽度接近车道的实际宽度，在一些可选的实施例中，从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，包括：

在所述车道宽度对应的第一轨迹点对与相邻所述平面车道线上靠近所述图像采集设备一端的距离达到预设距离时，确定所述车道宽度为所述目标车道宽度，并将所述目标车道宽度作为基准车道宽度。

具体的，如图5所示，第三目标轨迹点T3和第四目标轨迹点T4组成的一个第一轨迹点对；第三目标轨迹点T3和第四目标轨迹点T4与相邻所述平面车道线上靠近所述图像采集设备一端的距离达到预设距离，该第一轨迹点对（T3和T4）对应的车道宽度作为基准车道宽度。

由于平面车道线中通常包含收口或喇叭口，基于平面车道线进行车道线预测不准确，本申请提供一种调整剩余车道宽度的方法，可以消除平面车道线的收口或喇叭口，图4是本申请实施例提供的一种调整剩余车道宽度的流程示意图，如图4所示，该流程包括如下步骤：

S2081：确定所述图像采集设备在所述平面鸟瞰图内的平面位置。

具体的，图6A是本申请实施例提供的一种调整剩余车道宽度的原理示意图，平面位置为图像采集设备在平面鸟瞰图中的投影点。如图6A所示的平面鸟瞰图内的平面位置O。

S2082：基于所述平面位置和所述剩余车道宽度中每个所述车道宽度相应的所述交点，确定缩放三角形。

具体的，该缩放三角形可以是图6A所示的平面位置O、第一交点T5、第二交点T6构成的三角形。

S2083：基于所述缩放三角形，调整每个所述车道宽度相应的所述交点，以将每个所述车道宽度调整至所述基准车道宽度，得到调整后的所述交点。

例如，如图6A所示的平面位置O、调整后的第一交点T55、调整后的第二交点T66构成的三角形，与平面位置O、第一交点T5、第二交点T6构成的三角形为同角相似三角形。调整后的第一交点T55与调整后的第二交点T66之间的距离等于基准车道宽度。

S2084：将所述调整后的所述交点确定为所述第二轨迹点对。

具体的，图6A所示的调整后的第一交点T55与调整后的第二交点T66作为一个第二轨迹点对。

本申请实施例中，通过基于该缩放三角形，调整剩余车道线宽度，并调整交点，而该交点是基于第一轨迹点对得到，即通过该实施例中调整第一轨迹点对的坐标和第一轨迹点对的车道宽度，得到的第二轨迹点对和基准车道宽度用于车道线预测，克服车道线收口或喇叭口的问题，提高车道线预测的准确性。

S210：对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。

图6B是本申请提供的一种目标车道的两侧车道线的示意图，如图6B所示，第一平面车道线P1和第二平面车道线P2经过上述本申请的实施例调整之后得到第一车道线P11和第二车道线P22（即目标车道的两侧车道线）。目标车道的两侧车道线是平行的，因此该目标车道的两侧车道线较接近实际目标车道的车道线。本实施例中的曲线拟合可以是基于三次方程曲线的拟合。

上述实施例，通过基准车道宽度来对投影后相邻平面车道线上的多个第一轨迹点对所对应的车道宽度进行调整，可以有效改善预测所得车道线形状异常的情况，以提高车道线预测的准确性，尤其提高车道线预测过程中曲面车道的车道线投影的准确性。

通常相邻车道中间有一条共用车道线，因此多个目标车道时，需要对多个目标车道形成的两侧车道线（包含的共用车道线）进行去重处理，即对两侧车道线中的共用车道线进行择优确定，避免出现车道线重影现象，以保证车道线数据的一致性。在一些可选的实施例中，所述目标车道的个数为多个；所述方法还包括：

基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理。

在上述共用车道线出现重影，为了减少车道线数据的冗余，在不影响使用的（如不影响辅助驾驶的决策）的前提下，可以对两侧车道线进行去重处理，以避免对数据过多处理，浪费计算机算力，耗费时间。在一些可选的实施例中，基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理，包括：

确定两临近侧车道线之间的偏离程度；所述两临近侧车道线是指相邻所述目标车道的所述两侧车道线中处于中间位置的两车道线；

在所述偏离程度小于一定偏离程度阈值的情况下，基于所述两侧车道线与所述图像采集设备的横向距离，对所述两临近侧车道线进行所述去重处理。

例如，如图6C所示，平面鸟瞰图中两临近侧车道线为第一车道线P11和第三车道线P33，其中，第一车道线P11和第三车道线P33分别基于相邻目标车道的平面车道线确定，且两者不重合，即产生了“车道线重影”现象，其中可以定义同一距离下的两临近侧车道线之间的偏差为“重影差”来表征上述偏离程度；确定多个预设距离下的“重影差”，并根据多个“重影差”的均方根值来确定偏离程度是否达到一定偏离程度阈值。

上述去重处理可以包括选用靠近图像采集设备（即图6C所示的平面位置O处）所在车道的车道线（如第一车道线P11）作为准确的车道线，删除第三车道线P33；上述去重处理也可根据“重影差”对两临近侧车道线进行调整。

当两临近侧车道线的偏离程度大于偏离程度阈值时，该两临近侧车道线不平行的可能性较大，例如匝道处两临近侧车道线不平行。在一些可选的实施例中，上述方法还包括：

在所述偏离程度小于所述偏离程度阈值的情况下，输出所述两临近侧车道线为车道线预测结果；

在所述偏离程度大于所述偏离程度阈值的情况下，输出所述平面车道线为所述车道线预测结果。

可以理解的是，偏离程度大于偏离程度阈值的情况下，将处于两相邻车道的所述两临近侧车道线，作为两相邻车道的实际两临近车道线的车道线预测结果。

上述实施例中，通过针对偏离程度小于一定偏离程度阈值的两临近侧车道线，进行去重处理，可以避免车道线数据的冗余，减少计算机算力，减少去重处理的时间。通过针对偏离程度大于偏离程度阈值的两临近侧车道线（即两车道本身可能不平行）不进行去重；并放弃输出该两临近侧车道线，避免输出不合适的车道线修正结果，同时输出上述第一轨迹点对拟合得到的两侧辅助车道线，为车道线预测结果。

综上所述，本申请通过基准车道宽度来对投影后相邻平面车道线上的多个第一轨迹点对所对应的车道宽度进行调整，即调整相邻平面车道线之间平行；可以有效改善预测所得车道线形状异常的情况，以提高车道线预测的准确性，尤其提高车道线预测过程中曲面车道的车道线投影的准确性。通过对所得两侧车道线进行去重处理，保证两侧车道线数据的一致性。并通过偏离程度阈值控制去重处理和放弃输出该两临近侧车道线的条件，避免车道线数据的冗余，避免输出不合适的车道线修正结果。

本申请实施例还提供了一种车道线预测装置，图7是本申请实施例提供的一种车道线预测装置的结构示意图；如图7所示，该装置包括：

获取模块，用于获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线；

投影模块，用于基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；

确定模块，用于基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度；

调整模块，用于从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对；

拟合模块，用于对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。

在一些可选的实施例中，上述确定模块包括：

第一确定子模块，用于针对每个第一轨迹点对，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角；

第二确定子模块，用于基于每个所述第一轨迹点对所对应的所述车道转向角，对所述第一轨迹点对所对应的所述连线进行旋转，得到旋转后的所述连线；

第三确定子模块，用于基于所述旋转后的所述连线与目标切线的交点，确定对应所述第一轨迹点对的车道宽度；所述目标切线是指所述第一轨迹点对中的所述第一轨迹点与所述第一轨迹点所在所述平面车道线的切线。

在一些可选的实施例中，上述第一确定子模块还用于：

确定每个所述第一轨迹点对的所述连线与相邻所述平面车道线的夹角；

基于所述预设约束条件和所述夹角，确定每个所述第一轨迹点对所对应的所述车道转向角。

在一些可选的实施例中，上述第二确定子模块还用于：

将所述第一轨迹点对所对应的所述连线绕着所述连线上的预设位置旋转；所述预设位置为所述连线的中点，或者所述预设位置基于所述预设约束条件确定。

在一些可选的实施例中，上述调整模块包括：

第一调整子模块，用于确定所述图像采集设备在所述平面鸟瞰图内的平面位置；

第二调整子模块，用于基于所述平面位置和所述剩余车道宽度中每个所述车道宽度相应的所述交点，确定缩放三角形；

第三调整子模块，用于基于所述缩放三角形，调整每个所述车道宽度相应的所述交点，以将每个所述车道宽度调整至所述基准车道宽度，得到调整后的所述交点；

第四调整子模块，用于将所述调整后的所述交点确定为所述第二轨迹点对。

在一些可选的实施例中，上述调整模块还用于：

在所述车道宽度对应的第一轨迹点对与相邻所述平面车道线上靠近所述图像采集设备一端的距离达到预设距离时，确定所述车道宽度为所述目标车道宽度，并将所述目标车道宽度作为基准车道宽度。

在一些可选的实施例中，所述目标车道的个数为多个；上述装置还包括：

去重模块，用于基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理。

在一些可选的实施例中，上述去重模块包括：

第一去重子模块，用于确定两临近侧车道线之间的偏离程度；所述两临近侧车道线是指相邻所述目标车道的所述两侧车道线中处于中间位置的两车道线；

第二去重子模块，用于在所述偏离程度小于一定偏离程度阈值的情况下，基于所述两侧车道线与所述图像采集设备的横向距离，对所述两临近侧车道线进行所述去重处理。

在一些可选的实施例中，上述装置还包括：

第一输出模块，用于在所述偏离程度小于所述偏离程度阈值的情况下，输出所述两侧车道线为车道线预测结果；

第二输出模块，用于在所述偏离程度大于所述偏离程度阈值的情况下，输出所述平面车道线为所述车道线预测结果。

本申请实施例中的装置与方法实施例基于同样地申请构思。

图8是本申请实施例提供的一种用于实现车道线预测方法的电子设备的结构框图。

该电子设备可以是服务器，还可以是终端设备，其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车道线预测方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请的实施例还提供了一种电子设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的车道线预测方法。

本申请的实施例还提供了一种车辆，车辆包括上述电子设备。

本申请的实施例还提供了一种计算机存储介质，所述计算机存储介质可设置于服务器之中以保存用于实现方法实施例中一种车道线预测方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述车道线预测方法。

可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：U盘、只读存储器（ROM，Read-only Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

在示例性实施例中，还提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序，使得计算机设备执行本公开实施例的车道线预测方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程 ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM 以多种形式可得，诸如静态 RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路 (Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

Claims (11)

1.一种车道线预测方法，其特征在于，所述方法包括：

获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线；

基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；

基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度；其中确定所述多个车道宽度的过程包括：针对每个第一轨迹点对，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角；所述预设约束条件基于所述图像采集设备与相邻所述平面车道线之间的横向间距比例确定；基于每个所述第一轨迹点对所对应的所述车道转向角，对所述第一轨迹点对所对应的所述连线进行旋转，得到旋转后的所述连线；基于所述旋转后的所述连线与目标切线的交点，确定对应所述第一轨迹点对的车道宽度；所述目标切线是指所述第一轨迹点对中的所述第一轨迹点与所述第一轨迹点所在所述平面车道线的切线；

从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对；

对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。

2.根据权利要求1所述的方法，其特征在于，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角，包括：

确定每个所述第一轨迹点对的所述连线与相邻所述平面车道线的夹角；

基于所述预设约束条件和所述夹角，确定每个所述第一轨迹点对所对应的所述车道转向角。

3.根据权利要求1或2所述的方法，其特征在于，对所述第一轨迹点对所对应的所述连线进行旋转，包括：

将所述第一轨迹点对所对应的所述连线绕着所述连线上的预设位置旋转；所述预设位置为所述连线的中点，或者所述预设位置基于所述预设约束条件确定。

4.根据权利要求1或2所述的方法，其特征在于，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对，包括：

确定所述图像采集设备在所述平面鸟瞰图内的平面位置；

基于所述平面位置和所述剩余车道宽度中每个所述车道宽度相应的所述交点，确定缩放三角形；

基于所述缩放三角形，调整每个所述车道宽度相应的所述交点，以将每个所述车道宽度调整至所述基准车道宽度，得到调整后的所述交点；

将所述调整后的所述交点确定为所述第二轨迹点对。

5.根据权利要求1或2所述的方法，其特征在于，从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，包括：

在所述车道宽度对应的第一轨迹点对与相邻所述平面车道线上靠近所述图像采集设备一端的距离达到预设距离时，确定所述车道宽度为所述目标车道宽度，并将所述目标车道宽度作为基准车道宽度。

6.根据权利要求1或2所述的方法，其特征在于，所述目标车道的个数为多个；所述方法还包括：

基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理。

7.根据权利要求6所述的方法，其特征在于，基于所述两侧车道线与所述图像采集设备的横向距离，对多个所述目标车道的所述两侧车道线进行去重处理，包括：

确定两临近侧车道线之间的偏离程度；所述两临近侧车道线是指相邻所述目标车道的所述两侧车道线中处于中间位置的两车道线；

在所述偏离程度小于预设的偏离程度阈值的情况下，基于所述两侧车道线与所述图像采集设备的横向距离，对所述两临近侧车道线进行所述去重处理。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在所述偏离程度小于所述偏离程度阈值的情况下，输出所述两侧车道线为车道线预测结果；

在所述偏离程度大于所述偏离程度阈值的情况下，输出所述平面车道线为所述车道线预测结果。

9.一种车道线预测装置，其特征在于，所述装置包括：

获取模块，用于获取基于自车的图像采集设备采集的待测图像；所述待测图像包括车道线；

投影模块，用于基于所述图像采集设备的图像采集参数，将所述待测图像中的车道线投影到平面鸟瞰图中，得到平面车道线；

确定模块，用于基于相邻所述平面车道线上的多个第一轨迹点对，确定相邻所述平面车道线对应车道的多个车道宽度；其中确定所述多个车道宽度的过程包括：针对每个第一轨迹点对，基于每个所述第一轨迹点对中第一轨迹点的连线和预设约束条件，确定每个所述第一轨迹点对所对应的车道转向角；所述预设约束条件基于所述图像采集设备与相邻所述平面车道线之间的横向间距比例确定；基于每个所述第一轨迹点对所对应的所述车道转向角，对所述第一轨迹点对所对应的所述连线进行旋转，得到旋转后的所述连线；基于所述旋转后的所述连线与目标切线的交点，确定对应所述第一轨迹点对的车道宽度；所述目标切线是指所述第一轨迹点对中的所述第一轨迹点与所述第一轨迹点所在所述平面车道线的切线；

调整模块，用于从所述多个车道宽度中选取目标车道宽度作为基准车道宽度，基于所述基准车道宽度调整剩余车道宽度；基于调整后的所述剩余车道宽度得到多个第二轨迹点对；

拟合模块，用于对所述多个第二轨迹点对进行曲线拟合，得到目标车道的两侧车道线。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-8任一项所述的车道线预测方法。

11.一种车辆，其特征在于，所述车辆包括电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-8任一项所述的车道线预测方法。

Images