CN115131757A - 车道线的确定方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例公开了一种车道线的确定方法、装置、电子设备和存储介质，其中，方法包括：基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数；基于第一车道线曲线参数，确定目标车道的目标宽度；基于第一车道线曲线参数及目标宽度，确定车辆坐标系下目标车道对应的至少一个第一横截距中各第一横截距分别对应的第一车道线点对，第一车道线点对包括第一横截距在目标车道的第一侧车道线的第一端点及第一横截距在目标车道的第二侧车道线的第二端点；基于第一车道线点对，确定目标车道的车道线。本公开实施例可以有效降低道路颠簸、道路坡度变化等引起的误差，相对于相机外参动态估计，本公开可以有效提高车道线的准确性。

Description

车道线的确定方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉技术，尤其是一种车道线的确定方法、装置、电子设备和存储介质。

背景技术

在自动驾驶技术中，车道线拟合是一个重要环节，车道线拟合需要车辆坐标系下准确的车道线采样点位置，在基于单目相机观测车道线实现车道线采样时，将图像坐标系上的车道线采样点映射到车辆坐标系下是基于预先标定的相机外参实现，而单目相机测距容易受到道路状况的影响，比如道路颠簸、上下坡等，导致测距存在较大误差，从而引起车道线拟合异常，针对这一问题，相关技术通常通过相机外参动态估计降低道路颠簸对车道线拟合的影响，但是，相机外参动态估计只能针对道路颠簸引起的误差进行优化，对于坡度变化引起的误差却无法降低，因此，相机外参动态估计的方法获得的车道线准确性较差。

发明内容

为了解决上述获得的车道线准确性较差等技术问题，提出了本公开。本公开的实施例提供了一种车道线的确定方法、装置、电子设备和存储介质。

根据本公开实施例的一个方面，提供了一种车道线的确定方法，包括：基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，所述第一车道线曲线参数为拟合所述目标车道的车道线的三次曲线系数；基于所述第一车道线曲线参数，确定所述目标车道的目标宽度；基于所述第一车道线曲线参数及所述目标宽度，确定所述车辆坐标系下所述目标车道对应的至少一个第一横截距中各所述第一横截距分别对应的第一车道线点对，所述第一车道线点对包括所述第一横截距在所述目标车道的第一侧车道线的第一端点及所述第一横截距在所述目标车道的第二侧车道线的第二端点；基于所述第一车道线点对，确定所述目标车道的车道线。

根据本公开实施例的另一个方面，提供了一种车道线的确定装置，包括：第一确定模块，用于基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，所述第一车道线曲线参数为拟合所述目标车道的车道线的三次曲线系数；第一处理模块，用于基于所述第一车道线曲线参数，确定所述目标车道的目标宽度；第二处理模块，用于基于所述第一车道线曲线参数及所述目标宽度，确定所述车辆坐标系下所述目标车道对应的至少一个第一横截距中各所述第一横截距分别对应的第一车道线点对，所述第一车道线点对包括所述第一横截距在所述目标车道的第一侧车道线的第一端点及所述第一横截距在所述目标车道的第二侧车道线的第二端点；第三处理模块，用于基于所述第一车道线点对，确定所述目标车道的车道线。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的车道线的确定方法。

根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的车道线的确定方法。

基于本公开上述实施例提供的车道线的确定方法、装置、电子设备和存储介质，在确定车道线时，基于图像分割结果确定车辆坐标系下的初始车道线曲线参数，基于初始车道线曲线参数及道路状况对近端观测影响较小，确定出车道宽度，进而基于车道宽度及初始车道线曲线参数，计算出实际横截距对应的车道线点对，从而可以直接拟合获得准确的车道线，解决现有技术通过相机外参动态估计无法降低道路坡度变化引起的误差而导致获得的车道线准确性较差等问题。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开提供的车道线的确定方法的一个示例性的应用场景；

图2是本公开一示例性实施例提供的车道线的确定方法的流程示意图；

图3是本公开一示例性实施例提供的第一车道线点对的示意图；

图4是本公开另一示例性实施例提供的车道线的确定方法的流程示意图；

图5是本公开一示例性实施例提供的采样获得的第三车道线点对的示意图；

图6是本公开一示例性实施例提供的步骤2033的流程示意图；

图7是本公开一示例性实施例提供的相机坐标系下道路横截距在图像中的成像关系；

图8是本公开一示例性实施例提供的相机坐标系与车辆坐标系的关系示意图；

图9是本公开一示例性实施例提供的步骤2013的流程示意图；

图10是本公开一示例性实施例提供的车道线的确定装置的结构示意图；

图11是本公开一示例性实施例提供的第一处理模块502的结构示意图；

图12是本公开一示例性实施例提供的第二处理模块503的结构示意图；

图13是本公开一示例性实施例提供的第五处理单元5033的结构示意图；

图14是本公开一示例性实施例提供的第一确定模块501的结构示意图；

图15是本公开一示例性实施例提供的第一确定模块第三确定单元5013的结构示意图；

图16是本公开电子设备一个应用实施例的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，在自动驾驶技术中，车道线拟合是一个重要环节，车道线拟合需要车辆坐标系下准确的车道线采样点位置，在基于单目相机观测车道线实现车道线采样时，将图像坐标系下的车道线采样点映射到车辆坐标系下是基于预先标定的相机外参实现，而单目相机测距容易受到道路状况的影响，比如道路颠簸、上下坡等，导致测距存在较大误差，从而引起车道线拟合异常，针对这一问题，相关技术通常通过相机外参(比如俯仰角)动态估计降低道路颠簸对车道线拟合的影响，但是，相机外参动态估计只能针对道路颠簸引起的误差进行优化，对于坡度变化引起的误差却无法降低，因此，相机外参动态估计的方法获得的车道线准确性较差。

示例性概述

图1是本公开提供的车道线的确定方法的一个示例性的应用场景。在自动驾驶场景，利用本公开的车道线的确定方法，可以基于单目图像的分割结果确定车辆坐标系下的目标车道(比如车辆所在的主车道)的第一车道线曲线参数，利用道路坡度和车辆运动对近端车道线采样点影响较小的原理，可以基于第一车道线曲线参数确定出近端的目标车道的宽度作为目标车道的目标宽度，根据车道宽度不变的原理，基于目标宽度结合第一车道线曲线参数，确定出更加准确的车道线采样点(即第一车道线点对)，从而基于车道线采样点确定出目标车道的车道线，不仅能够有效降低道路颠簸引起的误差，还能够有效降低道路曲面坡度变化等道路状况引起的误差，有效提高车道线的准确性，解决现有技术通过相机外参动态估计无法降低道路坡度变化引起的误差而导致获得的车道线准确性较差等问题。其中，xoy表示一种示例性的车辆坐标系，以车辆后轴中心为坐标原点，车辆前进方向为纵轴(x轴)，车辆宽度向右方向为横轴(y轴)，在实际应用中，可以采用任意可实施的车辆坐标系，比如ISO国际标准定义的车辆坐标系，以车辆后轴中心为坐标原点，车辆前进方向为纵轴(x轴)，车辆宽度向左方向为横轴(y轴)，本公开不做限定。

示例性方法

图2是本公开一示例性实施例提供的车道线的确定方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图2所示，包括如下步骤：

步骤201，基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，第一车道线曲线参数为拟合目标车道的车道线的三次曲线系数。

其中，目标图像可以是设置在车辆上的前向摄像头或相机拍摄的图像，比如在自动驾驶场景，可以是相机拍摄的当前帧图像。目标图像的图像分割结果可以包括目标图像上各像素所属的分割类型，分割类型可以根据实际需求设置，比如分割类型可以包括车道线、路沿、人行道及其他可能的类型中的至少一种。基于图像分割结果可以确定目标图像上属于车道线的所有像素点。车辆坐标系是以车辆上预设点(比如车辆后轴中心)为坐标原点，以车辆纵向方向为x轴(纵轴)，以车辆宽度方向为y轴(横轴)的坐标系，参见图1中的xoy坐标系。目标车道可以为车辆所在道路的任一车道，比如车辆所在的主车道，具体可以根据实际需求设置。基于图像的像素坐标系与车辆坐标系的映射关系(基于预先标定的相机参数的映射关系)将属于车道线的像素点映射到车辆坐标系，可以确定车辆坐标系下车道线采样点，基于车道线采样点与车辆的位置关系可以确定出目标车道的车道线采样点，从而通过拟合可以获得目标车道的第一车道线曲线参数。第一车道线曲线参数可以包括目标车道的两侧车道线分别对应的车道线曲线参数。

示例性的，目标车道的第一侧车道线(比如左侧车道线)的曲线参数包括

则左侧车道线的车辆坐标系下的三次曲线可以表示为：

其中，x表示车辆坐标系下的车道线纵坐标，y表示车辆坐标系下的车道线横坐标。

步骤202，基于第一车道线曲线参数，确定目标车道的目标宽度。

其中，目标宽度是目标车道的宽度。可以基于道路坡度和车辆运动对车道线曲线近端影响较小可忽略的情况，通过第一车道线曲线参数对应的车道线曲线在车辆近端情况确定目标车道的目标宽度。

示例性的，可以基于车辆前方预设距离处，与车辆坐标系纵轴垂直的直线分别与两侧车道线曲线的交点(两交点之间的距离称为横截距)，以及直线与目标车道宽度方向的夹角，确定目标车道的目标宽度。

步骤203，基于第一车道线曲线参数及目标宽度，确定车辆坐标系下目标车道对应的至少一个第一横截距中各第一横截距分别对应的第一车道线点对，第一车道线点对包括第一横截距在目标车道的第一侧车道线的第一端点及第一横截距在目标车道的第二侧车道线的第二端点。

其中，至少一个第一横截距是沿车辆坐标系纵轴由近及远的至少一个位置处的横截距。由于第一车道线点对包括了第一横截距在目标车道的第一侧车道线的第一端点和在第二侧车道线的第二端点，因此第一车道线点对即可作为确定的目标车道的两侧车道线的采样点。

示例性的，图3是本公开一示例性实施例提供的第一车道线点对的示意图。其中，虚线表示车辆坐标系纵轴延长线，BC_1i表示第i(i＝1,2,…,N)个第一横截距，N表示第一横截距的数量，可以根据实际需求设置，B_1i和C_1i分别表示第i个第一车道线点对的第一端点和第二端点。

步骤204，基于第一车道线点对，确定目标车道的车道线。

其中，第一车道线点对包括了目标车道的两侧车道线上的采样点，通过对第一车道线点对中的各第一端点进行拟合可以获得目标车道的第一侧车道线，同理，通过对第一车道线点对中的各第二端点进行拟合可以获得目标车道的第二侧车道线。获得的目标车道的车道线还可以是三次曲线的表示方式，相对于上述的第一车道线曲线参数确定的第一车道线曲线，本公开最终确定的目标车道的车道线由于是基于不变的车道宽度对第一车道线曲线的采样点进行了优化，降低因道路坡度或颠簸等对第一车道线曲线的采样点准确性的影响，使得优化后的车道线采样点更加接近真实车道线，从而获得的车道线更加准确、稳定，有效解决相机外参动态估计无法对道路坡度变化引起的误差进行优化等问题。

本实施例提供的车道线的确定方法，在确定车道线时，基于图像分割结果确定车辆坐标系下的初始车道线曲线参数，基于初始车道线曲线参数及道路状况对近端观测影响较小，确定出车道宽度，进而基于车道宽度及初始车道线曲线参数，计算出实际横截距对应的车道线点对，从而可以确定出更加准确的车道线，不仅能够有效降低道路颠簸引起的误差，还能够有效降低道路曲面坡度变化等道路状况引起的误差，有效提高车道线的准确性，解决现有技术通过相机外参动态估计无法降低道路坡度变化引起的误差而导致获得的车道线准确性较差等问题。

图4是本公开另一示例性实施例提供的车道线的确定方法的流程示意图。

在一个可选示例中，步骤202的基于第一车道线曲线参数，确定目标车道的目标宽度，具体可以包括以下步骤：

步骤2021，基于第一车道线曲线参数，确定目标车道上与车辆第一预设距离处的第二横截距。

其中，第一预设距离可以根据实际需求设置，具体可以是根据道路状况对近端观测影响较小的情况，将第一预设距离设置为距车辆较近的距离，比如车辆前方10米、11米、15米，等等。具体不做限定。第二横截距与上述第一横截距类似，以10米为例，在车辆坐标系在纵轴上x＝10米处的垂直线(与纵轴垂直)分别与第一车道线曲线中两侧车道线曲线的交点之间的距离，称为第二横截距。

步骤2022，基于第二横截距，确定目标车道的目标宽度。

其中，第二横截距所在直线与目标车道在x＝10米处的宽度方向具有一定的夹角，该夹角可以通过第一车道线曲线参数确定的第一车道线曲线获得，因此结合第二横截距及该夹角，即可确定出该处的车道宽度，进而基于车道宽度不变的原则，将该车道宽度作为目标车道的目标宽度。

在一个可选示例中，对于目标宽度的确定，还可以是综合多帧图像来确定，以提高目标宽度的准确性，比如综合当前帧图像和当前之前的一定数量的历史帧图像，每帧图像按照上述过程，确定出一个目标车道的宽度，多帧图像确定出多个宽度，将多个宽度的均值，作为目标宽度，具体可以根据实际需求设置。

在一个可选示例中，步骤203的基于第一车道线曲线参数及目标宽度，确定车辆坐标系下目标车道对应的至少一个第一横截距中各第一横截距分别对应的第一车道线点对，包括：

步骤2031，基于第一车道线曲线参数，确定车辆坐标系下目标车道对应的至少一个第三横截距中各第三横截距分别对应的第三车道线点对。

其中，至少一个第三横截距通过沿车辆坐标系纵轴由近及远采样获得，比如沿纵轴在x＝10米、x＝15米、x＝20米、x＝25米、x＝30米5处的横截距作为第三横截距，第三横截距对应的第三车道线点对包括了第一车道线曲线参数对应的第一车道线曲线中两侧车道线上的端点。第三横截距的数量可以根据实际需求设置。具体可以是根据采样间距及第一车道线曲线的远端约束确定第三横截距的数量。第一车道线曲线的远端由图像分割结果中属于目标车道的车道线的像素点确定。

示例性的，图5是本公开一示例性实施例提供的采样获得的第三车道线点对的示意图。其中，BC_3i表示第i(i＝1,2,…,N)个第三横截距，N表示第三横截距的数量，与第一横截距的数量相同，可以根据实际需求设置，B_3i和C_3i表示第i个第三车道线点对。

步骤2032，基于各第三车道线点对，确定各第三横截距在图像坐标系下分别对应的第四车道线点对。

其中，第四车道线点对是将第三车道线点对按照车辆坐标系到图像坐标系的映射关系映射到图像坐标系获得。该步骤中车辆坐标系到图像坐标系的映射是前述的图像坐标系到车辆坐标系的逆映射，是基于预先标定的相机外参实现的。

步骤2033，基于各第四车道线点对及目标宽度，确定各第一车道线点对。

具体的，可以基于预设运算规则确定各第一车道线点对。可以基于车辆坐标系与相机坐标系的区别、相机坐标系与图像坐标系的关系、及相机成像原理，预先确定出图像坐标系的点对到第一车道线点对的运算规则，作为预设运算规则，进而基于各第四车道线点对、目标宽度及预设运算规则，求解出第一车道线点对，不会受道路状况的影响，有效提高车道线采样点的准确性。

本公开通过第一车道线曲线，确定出车辆坐标系下的初始的车道线采样点(第三车道线点对)，映射回图像坐标系下，基于车辆坐标系与相机坐标系的区别，及相机坐标系与图像坐标系的关系，确定出图像坐标系下的采样点与真实车道线点对的运算规则，从而基于预先获得的运算规则，求解出各第一车道线点对，作为最终的目标车道的车道线采样点。

图6是本公开一示例性实施例提供的步骤2033的流程示意图。

在一个可选示例中，步骤2033的基于各第四车道线点对及目标宽度，确定各第一车道线点对，包括：

步骤20331，将各第四车道线点对转换到相机坐标系下，获得各第四车道线点对分别对应的第五车道线点对。

其中，第四车道线点对从图像坐标系到相机坐标系的转换基于图像坐标系到相机坐标系的映射关系实现，具体原理不再赘述。第五车道线点对为第四车道线点对在相机坐标系下对应的横截距点对。

步骤20332，基于第一车道线曲线参数，确定各第四车道线点对在车辆坐标系下的横截距方向分别与对应的道路宽度方向的第一夹角。

其中，第一夹角可以通过第四车道线点对与第三车道线点对的对应关系，及第三车道线点对的横截距方向与道路宽度方向确定。第一夹角相当于车辆坐标系纵轴与相应位置(第三车道线点对的横截距位置)的道路方向的夹角，道路方向可以基于第一车道线曲线确定，比如第一车道线曲线包括目标车道的两侧的车道线曲线，可以将两车道线曲线的曲线参数求均值，获得道路中间曲线，对中间曲线求导，获得道路方向与车辆坐标系纵轴的夹角，具体原理不再赘述。

步骤20333，基于目标宽度及各第一夹角，确定各第四车道线点对分别对应的目标横截距。

其中，目标横截距是基于确定的目标宽度及宽度方向与横截距方向的第一夹角确定出的更加准确的横截距，与初始采集的第三横截距具有一一对应的关系。在确定了各第四车道线点对分别对应的第一夹角后，又已确定目标车道的目标宽度，则可以基于目标宽度及各第一夹角，确定出各第四车道线点对分别对应的目标横截距。

步骤20334，基于各第五车道线点对及各第五车道线点对分别对应的目标横截距，确定各第一车道线点对在相机坐标系下的目标车道线点对。

其中，第五车道线点对对应的目标横截距即指第五车道线点对对应的第四车道线点对所对应的目标横截距。目标车道线点对可以基于预先获得的求解规则实现。比如，基于相机坐标系下，道路横截距在图像中的成像关系，道路横截距与成像平面的夹角、相机坐标系原点与道路横截距向量的距离关系等，确定出求解相机坐标系下的目标车道线点对的求解规则。

步骤20335，将各目标车道线点对转换到车辆坐标系下，获得各第一车道线点对。

其中，获得的各目标车道线点对为相机坐标系下的点对，需要将其转换到车辆坐标系，获得第一车道线点对。

本公开通过横截距方向与道路宽度方向的夹角及确定的目标宽度，确定出实际的横截距(目标横截距)，基于实际的目标横截距及相机坐标系下，道路横截距的成像关系，确定出相机坐标系下的优化后的车道线采样点(目标车道线点对)，转换到车辆坐标系下，即可获得更加准确的第一车道线点对，也即获得了更加准确的车道线采样点，用于目标车道的车道线拟合，提高车道线拟合的准确性，且由于无需进行相机外参的动态估计(相机外参动态估计增加了滤波器，会导致车道线拟合滞后)，有效保证了车道线拟合的实时性。

在一个可选示例中，步骤20334的基于各第五车道线点对及各第五车道线点对分别对应的目标横截距，确定各第一车道线点对在相机坐标系下的目标车道线点对，包括：

针对每个第五车道线点对，基于该第五车道线点对、该第五车道线点对对应的目标横截距、预设夹角及预设规则，确定该第五车道线点对对应的第一中间系数和第二中间系数；基于该第五车道线点对、该第五车道线点对对应的第一中间系数和第二中间系数，确定该第五车道线点对对应的第一车道线点对在相机坐标下的目标车道线点对。

其中，预设夹角是指道路横截距与成像平面构成的夹角，在相机安装到车辆后，即确定了该预设夹角，因此，预设夹角是预先可获得的固定值，表示为

预设规则是基于道路横截距的成像关系确定的。第一中间系数和第二中间系数是求解目标车道线点对的过程中涉及到的系数。

示例性的，图7是本公开一示例性实施例提供的相机坐标系下道路横截距在图像中的成像关系。其中，第i个第五车道线点对表示为B_i(x_ri,y_ri,z_ri)和C_i(x_li,y_li,z_li)，BC表示该第五车道线点对对应的目标横截距，目标横截距表示为W，B_iC_i表示BC对应的成像位置且在成像平面。B_i(x_ri,y_ri,z_ri)表示目标车道右侧车道线采样点B(x_r,y_r,z_r)在相机坐标系中成像位置，C_i(x_li,y_li,z_li)为目标车道左侧车道线采样点C(x_l,y_l,z_l)在相机坐标系中成像位置。且点O(0,0,0)、点B_i(x_ri,y_ri,z_ri)、点B(x_r,y_r,z_r)三者共线，O(0,0,0)、点C_i(x_li,y_li,z_li)、点C(x_l,y_l,z_l)三点共线。目标横截距BC与成像平面构成夹角

由于点O(0,0,0)、点B_i(x_ri,y_ri,z_ri)、点B(x_r,y_r,z_r)三者共线，那么，有如下关系：

同理，O(0,0,0)、点C_i(x_li,y_li,z_li)、点C(x_l,y_l,z_l)三点共线，有如下关系：

其中，k和m为待求解的中间系数，即上述的第一中间系数和第二中间系数。

由于BC为目标横截距，存在如下关系：

其中，

表示向量BC的长度，也即目标横截距。

由于点B_i、C_i在成像平面，因此，有如下关系：

z_li＝z_ri＝f

其中，f表示相机的焦距。

可得如下关系：

(mx_li-kx_ri)²+(my_li-ky_ri)²+(mz_li-kz_ri)²＝W² 公式一

点O(0,0,0)到向量

的距离为：

联立公式一和公式二，代入上述获得的第五车道线点对B_i(x_ri,y_ri,z_ri)和C_i(x_li,y_li,z_li)、第五车道线点对对应的目标横截距W、横截距BC与成像平面构成的夹角

以及相机焦距f，可以得到第一中间系数k和第二中间系数m。

基于第五车道线点对B_i(x_ri,y_ri,z_ri)和C_i(x_li,y_li,z_li)、第一中间系数k和第二中间系数m，根据公式

即可获得第一车道线点对在相机坐标系下的目标车道线点对。

图8是本公开一示例性实施例提供的相机坐标系与车辆坐标系的关系示意图。其中，xoy表示车辆坐标系，X_c-O_c-Y_c表示相机坐标系。车辆坐标系和相机坐标系在X方向形成夹角yaw。基于相机与车辆的相对位置，可以确定相机坐标系与车辆坐标系的映射关系，具体原理不再赘述，基于相机坐标系与车辆坐标系的映射关系可以将各目标车道线点对转换到车辆坐标系，获得车辆坐标系下对应的第一车道线点对。

本公开基于道路横截距在相机坐标系的成像关系，推导出求解实际横截距与道路两侧车道线交点(第一车道线点对)的运算规则，可以通过道路先验信息及运算规则，求解出准确的车道线点对，进而拟合获得准确稳定的车道线，从而可以避免对相机外参的动态估计，也无需进行道路曲面坡度变化估计，在保证车道线拟合实时性的条件下，有效提高准确性。

在一个可选示例中，步骤201的基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，包括：

步骤2011，基于目标图像的图像分割结果，确定图像坐标系下的第一车道线采样点。

其中，第一车道线采样点可以包括图像坐标系下属于车道线的像素点。车道线可以包括车辆所在道路的所有车道线。比如在3车道道路，包括4个车道线，具体不做限定。

步骤2012，基于第一车道线采样点，确定车辆坐标系下的第二车道线采样点。

具体的，将第一车道线采样点从图像坐标系转换到车辆坐标系，即可获得各第一车道线采样点分别对应的第二车道线采样点。具体坐标转换原理不再赘述。

步骤2013，基于第二车道线采样点，确定目标车道的第一车道线曲线参数。

在确定了车辆坐标系下的第二车道线采样点后，可以通过拟合获得目标车道的第一车道线曲线参数。具体来说，可以对第二车道线采样点进行聚类，确定出分别属于各车道线的采样点，进而基于聚类结果中各车道线分别对应的采样点聚簇与车辆的位置关系，确定出目标车道的采样点，进而对目标车道的采样点进行拟合获得第一车道线曲线参数。还可以是直接基于各第二车道线采样点与车辆的位置关系，确定出属于目标车道的两侧车道线的采样点，再进行拟合获得第一车道线曲线参数。具体确定目标车道的第一车道线曲线参数的方式可以根据实际需求设置。

图9是本公开一示例性实施例提供的步骤2013的流程示意图。

在一个可选示例中，步骤2013的基于第二车道线采样点，确定目标车道的第一车道线曲线参数，包括：

步骤20131，对第二车道线采样点进行稀疏处理，获得稀疏后的第三车道线采样点。

其中，稀疏处理是从较稠密的第二车道线采样点中采集出较稀疏的第三车道线采样点，在保证采样点有效性的情况下，降低采样点数量，提高后续数据处理效率。具体稀疏处理方式可以采用任意可实施的方式，本公开不做限定。

步骤20132，基于稀疏后的第三车道线采样点，确定目标车道的第四车道线采样点。

具体的，基于第三车道线采样点与车辆的位置关系，确定出目标车道的第四车道线采样点。比如基于各第三车道线采样点与车辆的位置关系及横向距离，确定出第三车道线采样点中属于目标车道左侧车道线的采样点和属于右侧车道线的采样点，从而可以获得目标车道的第四车道线采样点。具体原理不再赘述。

步骤20133，对第四车道线采样点进行拟合处理，获得目标车道的第一车道线曲线参数。

其中，拟合方式可以采用任意可实施的方式，比如最小二乘方式，具体可以根据实际需求设置，本公开不做限定。

在一个可选示例中，步骤204的基于第一车道线点对，确定目标车道的车道线，包括：

步骤2041，基于第一车道线点对及卡尔曼滤波算法，确定目标车道的第一侧车道线曲线和第二侧车道线曲线。

其中，第一侧车道线曲线和第二侧车道线曲线分别指目标车道的左侧车道线曲线和右侧车道线曲线。卡尔曼滤波算法是为了估计动态问题而推导出的算法，比如卫星定位、目标跟踪，等等。由于车辆的运动性，采用卡尔曼滤波算法相对于最小二乘算法具有更好的效果，因此获得的目标车道的第一侧车道线曲线和第二侧车道线曲线更加准确、稳定。

本公开通过道路横截距，将图像中的采样点准确地投影到车辆坐标系，无需对相机外参进行动态估计，也无需进行道路曲面坡度估计，即可实现车道线的实时准确拟合，且不会受道路状况的影响，在颠簸、上下坡和匝道等场景，都能获得准确稳定的车道线。

本公开实施例提供的任一种车道线的确定方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车道线的确定方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车道线的确定方法方法。下文不再赘述。

示例性装置

图10是本公开一示例性实施例提供的车道线的确定装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图10所示的装置包括：第一确定模块501、第一处理模块502、第二处理模块503和第三处理模块504。

第一确定模块501，用于基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，所述第一车道线曲线参数为拟合所述目标车道的车道线的三次曲线系数；第一处理模块502，用于基于第一确定模块501获得的所述第一车道线曲线参数，确定所述目标车道的目标宽度；第二处理模块503，用于基于第一确定模块501获得的所述第一车道线曲线参数及第一处理模块502获得的所述目标宽度，确定所述车辆坐标系下所述目标车道对应的至少一个第一横截距中各所述第一横截距分别对应的第一车道线点对，所述第一车道线点对包括所述第一横截距在所述目标车道的第一侧车道线的第一端点及所述第一横截距在所述目标车道的第二侧车道线的第二端点；第三处理模块504，用于基于第二处理模块503获得的所述第一车道线点对，确定所述目标车道的车道线。

图11是本公开一示例性实施例提供的第一处理模块502的结构示意图。

在一个可选示例中，第一处理模块502包括：第一处理单元5021和第二处理单元5022。

第一处理单元5021，用于基于所述第一车道线曲线参数，确定所述目标车道上与车辆第一预设距离处的第二横截距；第二处理单元5022，用于基于第一处理单元5021确定的所述第二横截距，确定所述目标车道的目标宽度。

图12是本公开一示例性实施例提供的第二处理模块503的结构示意图。

在一个可选示例中，第二处理模块503包括：第三处理单元5031、第四处理单元5032和第五处理单元5033。

第三处理单元5031，用于基于所述第一车道线曲线参数，确定所述车辆坐标系下所述目标车道对应的至少一个第三横截距中各所述第三横截距分别对应的第三车道线点对；第四处理单元5032，用于基于各所述第三车道线点对，确定各所述第三横截距在图像坐标系下分别对应的第四车道线点对；第五处理单元5033，用于基于各所述第四车道线点对及所述目标宽度，确定各所述第一车道线点对。

图13是本公开一示例性实施例提供的第五处理单元5033的结构示意图。

在一个可选示例中，第五处理单元5033包括：第一处理子单元50331、第二处理子单元50332、第三处理子单元50333、第四处理子单元50334和第五处理子单元50335。

第一处理子单元50331，用于将各所述第四车道线点对转换到相机坐标系下，获得各所述第四车道线点对分别对应的第五车道线点对；第二处理子单元50332，用于基于所述第一车道线曲线参数，确定各所述第四车道线点对在车辆坐标系下的横截距方向分别与对应的道路宽度方向的第一夹角；第三处理子单元50333，用于基于所述目标宽度及各所述第一夹角，确定各所述第四车道线点对分别对应的目标横截距；第四处理子单元50334，用于基于各所述第五车道线点对及各所述第五车道线点对分别对应的目标横截距，确定各所述第一车道线点对在所述相机坐标系下的目标车道线点对；第五处理子单元50335，用于将各所述目标车道线点对转换到所述车辆坐标系下，获得各所述第一车道线点对。

在一个可选示例中，第四处理子单元50334具体用于：

针对每个所述第五车道线点对，基于该第五车道线点对、该第五车道线点对对应的目标横截距、预设夹角及预设规则，确定该第五车道线点对对应的第一中间系数和第二中间系数；基于该第五车道线点对、该第五车道线点对对应的第一中间系数和第二中间系数，确定该第五车道线点对对应的第一车道线点对在所述相机坐标下的所述目标车道线点对。

图14是本公开一示例性实施例提供的第一确定模块501的结构示意图。

在一个可选示例中，第一确定模块501包括：第一确定单元5011、第二确定单元5012和第三确定单元5013。

第一确定单元5011，用于基于所述图像分割结果，确定图像坐标系下的第一车道线采样点；第二确定单元5012，用于基于所述第一车道线采样点，确定所述车辆坐标系下的第二车道线采样点；第三确定单元5013，用于基于所述第二车道线采样点，确定所述目标车道的所述第一车道线曲线参数。

图15是本公开一示例性实施例提供的第一确定模块第三确定单元5013的结构示意图。

在一个可选示例中，第三确定单元5013包括：第六处理子单元50131、第一确定子单元50132和第二确定子单元50133。

第六处理子单元50131，用于对所述第二车道线采样点进行稀疏处理，获得稀疏后的第三车道线采样点；第一确定子单元50132，用于基于稀疏后的所述第三车道线采样点，确定所述目标车道的第四车道线采样点；第二确定子单元50133，用于对所述第四车道线采样点进行拟合处理，获得所述目标车道的所述第一车道线曲线参数。

在一个可选示例中，所述第三处理模块504具体用于：基于所述第一车道线点对及卡尔曼滤波算法，确定所述目标车道的第一侧车道线曲线和第二侧车道线曲线。

示例性电子设备

本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的车道线的确定方法。

图16是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。

此外，该输入装置13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图16中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种车道线的确定方法，包括：

基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，所述第一车道线曲线参数为拟合所述目标车道的车道线的三次曲线系数；

基于所述第一车道线曲线参数，确定所述目标车道的目标宽度；

基于所述第一车道线曲线参数及所述目标宽度，确定所述车辆坐标系下所述目标车道对应的至少一个第一横截距中各所述第一横截距分别对应的第一车道线点对，所述第一车道线点对包括所述第一横截距在所述目标车道的第一侧车道线的第一端点及所述第一横截距在所述目标车道的第二侧车道线的第二端点；

基于所述第一车道线点对，确定所述目标车道的车道线。

2.根据权利要求1所述的方法，其中，所述基于所述第一车道线曲线参数，确定所述目标车道的目标宽度，包括：

基于所述第一车道线曲线参数，确定所述目标车道上与车辆第一预设距离处的第二横截距；

基于所述第二横截距，确定所述目标车道的目标宽度。

3.根据权利要求1所述的方法，其中，所述基于所述第一车道线曲线参数及所述目标宽度，确定所述车辆坐标系下所述目标车道对应的至少一个第一横截距中各所述第一横截距分别对应的第一车道线点对，包括：

基于所述第一车道线曲线参数，确定所述车辆坐标系下所述目标车道对应的至少一个第三横截距中各所述第三横截距分别对应的第三车道线点对；

基于各所述第三车道线点对，确定各所述第三横截距在图像坐标系下分别对应的第四车道线点对；

基于各所述第四车道线点对及所述目标宽度，确定各所述第一车道线点对。

4.根据权利要求3所述的方法，其中，所述基于各所述第四车道线点对及所述目标宽度，确定各所述第一车道线点对，包括：

将各所述第四车道线点对转换到相机坐标系下，获得各所述第四车道线点对分别对应的第五车道线点对；

基于所述第一车道线曲线参数，确定各所述第四车道线点对在车辆坐标系下的横截距方向分别与对应的道路宽度方向的第一夹角；

基于所述目标宽度及各所述第一夹角，确定各所述第四车道线点对分别对应的目标横截距；

基于各所述第五车道线点对及各所述第五车道线点对分别对应的目标横截距，确定各所述第一车道线点对在所述相机坐标系下的目标车道线点对；

将各所述目标车道线点对转换到所述车辆坐标系下，获得各所述第一车道线点对。

5.根据权利要求4所述的方法，其中，所述基于各所述第五车道线点对及各所述第五车道线点对分别对应的目标横截距，确定各所述第一车道线点对在所述相机坐标系下的目标车道线点对，包括：

针对每个所述第五车道线点对，基于该第五车道线点对、该第五车道线点对对应的目标横截距、预设夹角及预设规则，确定该第五车道线点对对应的第一中间系数和第二中间系数；

基于该第五车道线点对、该第五车道线点对对应的第一中间系数和第二中间系数，确定该第五车道线点对对应的第一车道线点对在所述相机坐标下的所述目标车道线点对。

6.根据权利要求1所述的方法，其中，所述基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，包括：

基于所述图像分割结果，确定图像坐标系下的第一车道线采样点；

基于所述第一车道线采样点，确定所述车辆坐标系下的第二车道线采样点；

基于所述第二车道线采样点，确定所述目标车道的所述第一车道线曲线参数。

7.根据权利要求6所述的方法，其中，所述基于所述第二车道线采样点，确定所述目标车道的所述第一车道线曲线参数，包括：

对所述第二车道线采样点进行稀疏处理，获得稀疏后的第三车道线采样点；

基于稀疏后的所述第三车道线采样点，确定所述目标车道的第四车道线采样点；

对所述第四车道线采样点进行拟合处理，获得所述目标车道的所述第一车道线曲线参数。

8.根据权利要求1-7任一所述的方法，其中，所述基于所述第一车道线点对，确定所述目标车道的车道线，包括：

基于所述第一车道线点对及卡尔曼滤波算法，确定所述目标车道的第一侧车道线曲线和第二侧车道线曲线。

9.一种车道线的确定装置，包括：

第一确定模块，用于基于目标图像的图像分割结果，确定车辆坐标系下的目标车道的第一车道线曲线参数，所述第一车道线曲线参数为拟合所述目标车道的车道线的三次曲线系数；

第一处理模块，用于基于所述第一车道线曲线参数，确定所述目标车道的目标宽度；

第二处理模块，用于基于所述第一车道线曲线参数及所述目标宽度，确定所述车辆坐标系下所述目标车道对应的至少一个第一横截距中各所述第一横截距分别对应的第一车道线点对，所述第一车道线点对包括所述第一横截距在所述目标车道的第一侧车道线的第一端点及所述第一横截距在所述目标车道的第二侧车道线的第二端点；

第三处理模块，用于基于所述第一车道线点对，确定所述目标车道的车道线。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的车道线的确定方法。

11.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的车道线的确定方法。

Images