CN112818778A - 车道线拟合方法、装置、介质以及电子设备 - Google Patents

Abstract

公开了一种车道线拟合方法、装置、介质和设备，其中的方法包括：获取一条车道线的多个采样点；确定所述多个采样点中的分段采样点以及属于所述车道线的分段区域的分段区域采样点；其中，所述分段采样点将所述多个采样点划分为两部分，一部分位于所述分段采样点的一侧，另一部分位于所述分段采样点的另一侧；根据所述分段采样点以及所述分段区域采样点，确定位于所述分段采样点两侧的待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件；根据位于所述分段采样点两侧的采样点以及所述约束条件，进行曲线拟合处理，获得用于表示所述车道线的第一曲线和第二曲线。本公开提供的技术方案有利于提高拟合出的车道线的准确性。

Description

车道线拟合方法、装置、介质以及电子设备

技术领域

本公开涉及计算机视觉技术，尤其是涉及一种车道线拟合方法、车道线拟合装置、存储介质以及电子设备。

背景技术

车道线拟合是自动驾驶等辅助驾驶技术中的一个重要环节。准确的实现车道线拟合，有利于使车辆对当前道路情况进行准确的判定，从而有利于提高车辆行驶的安全性。然而，目前一些道路的车道线较为复杂，例如，车道数量变化、车辆汇流、上下坡、公交台站以及大曲率弯道等因素，提高了车道线的复杂程度。

如何实现车道线拟合，使车道线拟合结果能够更加准确的描述道路中的车道线，是一个值得关注的技术问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种车道线拟合方法、装置、存储介质以及电子设备。

根据本公开实施例的一个方面，提供了一种车道线拟合方法，包括：获取一条车道线的多个采样点；确定所述多个采样点中的分段采样点以及属于所述车道线的分段区域的分段区域采样点；其中，所述分段采样点将所述多个采样点划分为两部分，一部分属于一分段区域，另一部分属于另一分段区域；根据所述分段采样点以及所述分段区域采样点，确定位于所述分段采样点两侧的待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件；根据位于所述分段采样点两侧的采样点以及所述约束条件，进行曲线拟合处理，获得用于表示所述车道线的第一曲线和第二曲线。

根据本公开实施例的再一个方面，提供一种车道线拟合装置，包括：获取采样点模块，用于获取一条车道线的多个采样点；确定分段模块，用于确定所述获取采样点模块获取到的多个采样点中的分段采样点以及属于所述车道线的分段区域的分段区域采样点；其中，所述分段采样点将所述多个采样点划分为两部分，一部分属于一分段区域，另一部分属于另一分段区域；确定约束条件模块，用于根据所述确定分段模块确定出的分段采样点以及所述分段区域采样点，确定位于所述分段采样点两侧的待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件；曲线拟合模块，用于根据位于所述分段采样点两侧的采样点以及所述确定约束条件模块确定出的约束条件，进行曲线拟合处理，获得用于表示所述车道线的第一曲线和第二曲线。

根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。

根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。

基于本公开上述实施例提供的一种车道线拟合方法和装置，通过利用分段采样点，将多个采样点区分为两部分，由于用于描述车道线的曲线应该在分段采样点处连续可导，因此，本公开可以利用分段采样点和分段区域采样点获得两条待拟合曲线的约束条件；通过利用约束条件分别和位于分段采样点两侧的分段区域采样点，拟合出两条曲线，不但使两条曲线在分段采样点位置处平滑连接，而且可以使分段采样点尽可能的位于曲线上。由此可知，本公开提供的技术方案可以利用两条曲线较准确的表示出复杂的车道线，从而有利于提高车道线的准确性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1A是本公开所适用场景的一示意图；

图1B是本公开针对图1A拟合出的车道线示意图；

图2为本公开的车道线拟合方法一个实施例的流程图；

图3为本公开的获取一条车道线的多个采样点一实施例的流程图；

图4为本公开的车道线上的多个采样像素点一实施例的示意图；

图5为本公开的车道线上的多个采样点一实施例的示意图；

图6为本公开的待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件一实施例的流程图；

图7为本公开的分段区域采样点及其附近采样点一实施例的示意图；

图8为本公开的偏移量和夹角一实施例的示意图；

图9为本公开的车道线的一实施例的示意图；

图10为本公开的车道线拟合装置一个实施例的结构示意图；

图11是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，目前存在将样条曲线(Spline Curves)引入到车道线拟合技术的情况。样条曲线是指由给定的控制点而得到的曲线。具体的，在给定多个控制点的情况下，富有弹性的样条在经过每一个控制点时，均会产生自然弯曲，从而形成经过一系列控制点的光滑曲线。

然而，由于样条曲线更适用于图像渲染等图像设计领域，因此，将样条曲线引入到车道线拟合技术中，存在使车道线拟合技术实现复杂的问题。另外，由于样条曲线通常只经过给定的控制点，除控制点之外的其他点通常不在样条曲线上，因此，会导致拟合出的车道线系数的稳定性欠佳的问题。

示例性概述

本公开的车道线拟合技术可以适用于自动驾驶等辅助驾驶应用中。辅助驾驶应用如ADAS(Advanced Driving Assistance System，高级驾驶辅助系统)等。下面结合图1A和图1B，以ADAS为例，对本公开的车道线拟合技术的应用进行说明。

正处于行驶状态的一车辆中的摄像装置采集的一视频帧如图1A所示。ADAS利用本公开的车道线拟合技术，针对该视频帧中的车道线101拟合出的车道线如图1B中的车道线103。ADAS利用本公开的车道线拟合技术，针对该视频帧中的车道线102拟合出的车道线如图1B中的车道线104。

ADAS拟合出的车道线103包括两条曲线，即两条曲线通过相互衔接形成车道线103，且车道线103的曲线斜率或者曲率是连续的，即形成车道线103的两条曲线在衔接处的曲线斜率或者曲率是连续的。

同样的，ADAS拟合出的车道线104也包括两条曲线，即两条曲线通过相互衔接形成车道线104，且车道线104的曲线斜率或者曲率是连续的，即形成车道线104的两条曲线在衔接处的曲线斜率或者曲率是连续的。

ADAS基于该视频帧检测出障碍物100，ADAS可以基于该障碍物100、车道线103以及车道线104确定车辆的当前行驶策略，例如，降低车辆的当前行驶速度，并尾随在障碍物100的后方。再例如，提高车辆的当前行驶速度，并超越障碍物100等。

示例性方法

图2为本公开的车道线拟合方法一个实施例的流程图。如图2所示的方法包括：S200、S201、S202以及S203。下面对各步骤分别进行说明。

S200、获取一条车道线的多个采样点。

本公开中的车道线是指用于表示车辆的行驶车道的线。本公开中的车道线的多个采样点可以是指通过图像识别技术而获得的位于车道线上的离散的点。每一个采样点均具有基于二维坐标系的坐标值，即基于第一坐标轴的坐标值和基于第二坐标轴的坐标值。

S201、确定上述多个采样点中的分段采样点以及属于该车道线的分段区域的分段区域采样点。

本公开中的分段采样点是上述多个采样点中的一个采样点，且该分段采样点可以将上述多个采样点划分为两部分，其中一部分采样点属于车道线的第一分段区域，属于第一分段区域的采样点可以称为第一分段区域采样点，其中另一部分采样点属于车道线的第二分段区域，属于第二分段区域的采样点可以称为第二分段区域采样点。例如，分段采样点具有第一坐标值和第二坐标值，所有采样点中的第二坐标值大于分段采样点的第二坐标值的采样点属于车道线的第一分段区域，为第一分段区域采样点，而所有采样点中的第二坐标值不大于分段采样点的第二坐标值的采样点属于车道线的第二分段区域，为第二分段区域采样点。

S202、根据分段采样点以及分段区域采样点，确定位于分段采样点两侧的待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件。

虽然本公开中的待拟合第一曲线和待拟合第二曲线分别位于分段采样点两侧，但是待拟合第一曲线和待拟合第二曲线应在分段采样点位置处汇合。本公开中的约束条件用于使汇合于分段采样点位置处的第一曲线和第二曲线在理论上是一条光滑的曲线。

S203、根据位于分段采样点两侧的采样点以及上述约束条件，进行曲线拟合处理，获得用于表示车道线的第一曲线和第二曲线。

本公开中的曲线拟合处理可以是指通过利用位于分段采样点两侧的采样点和约束条件，建立数学模型，并基于该数学模型的求解获得两条曲线的过程。

本公开通过利用分段采样点，将多个采样点区分为两部分，由于用于描述车道线的曲线应该在分段采样点处连续可导，因此，本公开可以利用分段采样点和分段区域采样点获得两条待拟合曲线的约束条件；通过利用约束条件分别和位于分段采样点两侧的分段区域采样点，拟合出两条曲线，不但可以使两条曲线在分段采样点位置处平滑连接，而且可以使分段采样点尽可能的位于曲线上。由此可知，本公开提供的技术方案可以利用两条曲线较准确的表示出复杂的车道线，从而有利于提高车道线的准确性。

在一个可选示例中，本公开获取一条车道线的多个采样点的一个例子如图3所示。

图3中，S300、确定待处理图像中的属于一条车道线的像素点。

可选的，本公开中的待处理图像可以为设置于移动设备中的摄像装置采集获得的视频帧或者照片。在一个例子中，本公开中的属于一条车道线的像素点可以为属于图1A中的车道线101的像素点。在另一个例子中，本公开中的属于一条车道线的像素点可以为属于图1A中的车道线102的像素点。

可选的，本公开可以通过语义分割技术获得待处理图像中的属于一条车道线的多个像素点。例如，本公开可以对待处理图像进行语义分割处理，并根据语义分割处理的结果，获得待处理图像中的属于一条车道线的多个像素点。更具体而言，本公开可以将待处理图像通过用于语义分割的神经网络，进行语义分割运算处理，并根据该神经网络的运算结果，获得待处理图像中的各像素点的语义(如像素点是否为车道线像素点以及车道线标识的语义)，从而本公开可以根据各像素点的语义，确定待处理图像中的属于同一条车道线的多个像素点。每一个像素点均具有两个坐标值，即基于图像坐标系的x坐标轴的x坐标值和基于图像坐标系的y坐标轴的y坐标值。

需要说明的是，用于语义分割的神经网络可以为FCN(Fully ConvolutionalNetworks，全卷积网络)等，且用于语义分割的神经网络可以由神经网络处理单元实现，该神经网络处理单元可以为BPU(BrainProcessingUnit，脑处理单元)或者GPU(GraphicsProcessing Unit，图像处理单元)或者CPU(Central Processing Unit，中央处理单元)等。

S301、对属于一条车道线的像素点进行采样，获得多个采样像素点。

可选的，本公开可以对属于同一条车道线的所有像素点进行均匀采样，从而获得多个采样像素点。其中的均匀采样可以是指基于不同像素点之间的距离进行采样。例如，本公开可以根据两个采样像素点的x坐标值和y坐标值，计算两个采样像素点之间的距离，在计算出多个距离之后，可以根据预定间距，对像素点进行均匀间距采样，从而获得多个采样像素点。另外，在计算不同像素点之间的距离时，本公开是采用像素点在待处理图像的坐标系中的坐标值计算的。

可选的，本公开中的两个采样像素点间的预定间距可以根据待处理图像中的车道线的长度以及最少采样像素点数量确定。最少采样像素点数量可以根据数学模型的求解所需的已知点的数量确定。

可选的，本公开通过均匀采样获得一条车道线的多个采样像素点的一个例子如图4所示。图4中的两条车道线均为基于图像坐标系的车道线。对于车道线400而言，本公开通过均匀采样获得了6个采样像素点，即采样像素点4001、采样像素点4002、采样像素点4003、采样像素点4004、采样像素点4005以及采样像素点4006。对于车道线401而言，本公开通过均匀采样获得了7个采样像素点，即采样像素点4011、采样像素点4012、采样像素点4013、采样像素点4014、采样像素点4015、采样像素点4016以及采样像素点4017。

S302、将上述多个采样像素点转换为移动设备坐标系中的点，获得一条车道线的多个采样点。

可选的，本公开中的移动设备坐标系通常为三维坐标系，该三维坐标系中的x轴方向可以是指水平向左或者水平向右方向(如图5中的x轴方向为水平向右方向)，该三维坐标系中的z轴方向可以是指深度方向(如指向车辆的前方的方向，如图5中的z轴方向)，该三维坐标系中的y轴方向可以是指高度方向，即垂直于地面的方向(如车辆的高度方向，如图5中的与xoz平面垂直的方向)。本公开可以将多个采样像素点分别转换为移动设备的xoz平面坐标系中的点。本公开可以利用设置于移动设备中的摄像装置的内部参数，形成投影矩阵，并利用投影矩阵对多个采样像素点分别进行投影处理，从而获得一条车道线的多个采样点，即多个采样点各自的x坐标值和z坐标值。

可选的，图4中的两条车道线的多个采样像素点转换为移动设备坐标系中的点，获得两条车道线的多个采样点的一个例子，如图5所示。图5中，移动设备500可以为车辆，xoz形成移动设备500的平面坐标系，车道线501上的各点均为车道线501的采样点，且车道线502上的各点均为车道线502的采样点。车道线501对应图4中的车道线400，车道线502对应图4中的车道线401。在利用投影矩阵对车道线400上的6个采样像素点分别进行投影处理后，获得的6个采样点如车道线501上的6个采样点，即采样点5011、采样点5012、采样点5013、采样点5014、采样点5015、采样点5016以及采样点5017中的6个采样点。在利用投影矩阵对车道线401上的7个采样像素点分别进行投影处理后，获得的7个采样点如车道线502上的7个采样点，即采样点5021、采样点5022、采样点5023、采样点5024、采样点5025、采样点5026以及采样点5027。

本公开通过利用待处理图像中的像素点来获得一条车道线的多个采样点，有利于高效且准确的获得车道线的采样点。进一步的，由于语义分割处理技术的成熟，本公开可以准确的获得的属于一条车道线的多个像素点，通过基于预定间距对属于一条车道的多个像素点进行均匀间距采样，可以使对数学模型的求解的点处于均匀分布状态，从而有利于提高求解结果的准确性，最终有利于提高用于表示车道线的第一曲线和第二曲线的准确性。

在一个可选示例中，本公开确定多个采样点中的分段采样点的实现方式可以为：将多个采样点中的位于中间位置处的采样点作为分段采样点。这里的中间位置可以是指采样点按照其位置进行排序形成的采样点队列的中间位置。例如，如果位于第一采样点一侧的采样点数量与位于该第一采样点另一侧的采样点数量差最小，则本公开可以将该第一采样点作为分段采样点。一个具体的例子，对于车道线501而言，本公开可以将采样点5014作为分段采样点。对于车道线502而言，本公开可以将采样点5024作为分段采样点。分段采样点的坐标可以表示为(x_mid，z_mid)。

在一个可选示例中，本公开中的分段采样点将一条车道线划分为两个分段区域，其中一个分段区域可以为在移动设备的移动方向上靠近移动设备的一侧的第一分段区域，其中另一个分段区域可以为在移动设备的移动方向上远离移动设备的一侧的第二分段区域。本公开确定属于车道线的分段区域的分段区域采样点的实现方式可以为：将位于第一采样点一侧的采样点作为第一分段区域采样点，将位于第一采样点另一侧的采样点作为第二分段区域采样点。例如，图5中，对于车道线501而言，如果将采样点5014作为分段采样点，则采样点5011、采样点5012以及采样点5013，可以被作为第一分段区域采样点，而采样点5015、采样点5016以及采样点5017，可以被作为第二分段区域采样点。对于车道线502而言，如果将采样点5024作为分段采样点，则采样点5021、采样点5022以及采样点5023，可以被作为第一分段区域采样点，而采样点5025、采样点5026以及采样点5027，可以被作为第二分段区域采样点。

本公开通过将一条车道线上的所有采样点中的位置排序中间位置处的采样点作为分段采样点，极大的简化了设置分段采样点的过程，并极大的简化了确定第一分段区域采样点和第二分段区域采样点的过程，从而有利于提高本公开的车道线拟合的效率。另外，本公开通过将中间位置处的采样点作为分段采样点，有利于避免两个分段区域中的曲线过长或者过短的现象，而对过长或者过短的曲线进行曲线拟合会对曲线拟合结果准确性产生影响，从而本公开有利于提高曲线拟合的准确性。

在一个可选示例中，本公开根据分段采样点以及分段区域采样点，确定位于分段采样点两侧的待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件的一个例子如图6所示。

图6中，S600、对分段采样点以及分段区域采样点进行n次曲线拟合处理，获得一n次曲线。

可选的，本公开中的n为大于1的整数，例如，n为3，即n次曲线为三次曲线。本公开可以利用EKF(Extended Kalman Filter，扩展卡尔曼滤波)算法实现该n次曲线的拟合处理。例如，本公开可以将该n次曲线的所有系数分别作为状态变量，并在采用分段采样点和位于分段区域采样点附近的多个采样点的坐标值的基础上，利用EKF算法进行状态变量的最优估计处理，从而获得该n次曲线中的所有系数，即拟合出该n次曲线。

可选的，本公开中的位于分段区域采样点附近的多个采样点可以包括：位于分段区域采样点一侧且与分段区域采样点最近的n1个采样点和位于分段区域采样点另一侧且与分段区域采样点最近的n2个采样点，其中的n1和n2的差值为预定值，在一个例子中，该预定值可以为0或者1。n1和n2可以根据状态变量的最优估计处理所需的采样点数量决定。

在一个例子中，对于车道线700而言，采样点7001为分段区域采样点，且n1和n2均为3，即采样点7002、采样点7003、采样点7004、采样点7005、采样点7006以及采样点7007被作为位于分段区域采样点(即采样点7001)附近的采样点。由于利用EKF算法进行状态变量的最优估计处理的实现方式可以采用现有的多种方式实现，因此，在此不再详细说明。

S601、根据分段采样点以及上述一n次曲线，确定待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件。

可选的，本公开通过拟合获得的该n次曲线在其分段采样点处，可以具有曲线斜率的连续性和一阶可导性的特点。本公开可以将拟合获得的n次曲线在分段采样点处的曲线斜率的连续性和一阶可导性这一特点，作为待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件。也就是说，待拟合第一曲线和待拟合第二曲线在分段采样点位置处的曲线斜率应该是连续的，且待拟合第一曲线和待拟合第二曲线在分段采样点位置处的一阶导数应该是相等的。

可选的，本公开通过拟合获得的该n次曲线在其分段采样点处，可以具有曲率连续性的特点。本公开可以将拟合获得的n次曲线在分段采样点处的曲率的连续性这一特点，作为待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件。也就是说，待拟合第一曲线和待拟合第二曲线在分段采样点位置处的曲率应该是连续的。

可选的，在上述拟合获得的n次曲线为三次曲线，且待拟合第一曲线和待拟合第二曲线均为三次曲线的情况下，本公开可以根据分段采样点以及拟合获得的三次曲线，确定待拟合第一三次曲线和待拟合第二三次曲线在分段采样点位置处的曲线斜率的连续性和一阶可导性的约束条件，即本公开可以将拟合获得的三次曲线在分段采样点处的曲线斜率的连续性和一阶可导性这一特点，作为待拟合第一三次曲线和待拟合第二三次曲线分别在分段采样点位置处的约束条件。

可选的，本公开可以根据分段采样点以及拟合获得的三次曲线，确定待拟合第一三次曲线和待拟合第二三次曲线在分段采样点位置处的曲率连续性的约束条件。即本公开可以将拟合获得的三次曲线在分段采样点处的曲率连续性这一特点，作为待拟合第一三次曲线和待拟合第二三次曲线分别在分段采样点位置处的约束条件。

可选的，本公开中的待拟合第一三次曲线和待拟合第二三次曲线均可以表示为下述公式(1)的形式：

在上述公式(1)中，z表示第t个采样点的z坐标值；x_t(z)表示第t个采样点的x坐标值；e_t表示对于第t个采样点而言，移动设备中心与车道中心线的偏移量(如图8中的偏移量800(offset))；θ_t表示对于第t个采样点而言，移动设备的行驶方向与车道线之间的夹角(如图8中的夹角801，且夹角801可以为yaw angle(偏航角))；c_0,t表示车道线在第t个采样点处的曲率；c_1,t表示车道线在第t个采样点出的曲率变化率。上述e_t、θ_t、c_0,t和c_1,t均可以被作为状态变量。

可选的，本公开中的待拟合第一三次曲线和待拟合第二三次曲线在分段采样点位置处的基于曲线斜率连续性和一阶可导性的约束条件可以表示为下述公式(2)的形式：

在上述公式(2)中，x₀可以表示为下述公式(3)的形式；

为x₀的一阶导数，且

可以表示为下述公式(4)的形式；z₀可以表示为下述公式(5)的形式。

x₀＝coeffs_mid[0]+coeffs_mid[1]×z₀+coeffs_mid[2]×z₀ ²+coeffs_mid[3]×z₀ ³ 公式(3)

z₀＝z_mid 公式(5)

在上述(3)、公式(4)以及公式(5)中，coeffs_mid[0]＝e_t；coeffs_mid[1]＝θ_t；

z_mid表示分段区域采样点的z坐标值。

本公开通过利用基于分段采样点和分段区域采样点拟合出的一n次曲线来确定待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件，有利于保证待拟合第一曲线和待拟合第二曲线在分段采样点位置处的曲线斜率连续性和一阶导数的连续性，或者有利于保证待拟合第一曲线和待拟合第二曲线在分段采样点位置处的曲率连续性，从而有利于使拟合出的用于表示车道线的第一曲线和第二曲线与实际车道线更贴合。通过使n次曲线、待拟合第一曲线和待拟合第二曲线均为三次曲线，有利于使本公开最终获得的用于表示车道线的第一曲线和第二曲线，更符合目前的车道线表示形式，且有利于平衡车道线拟合的难度和车道线拟合的准确度。

在一个可选示例中，本公开可以利用CEKF(Constrained Extended KalmanFilter，带约束条件的扩展卡尔曼滤波，也可以称为约束卡尔曼滤波)算法，获得用于表示车道线的第一三次曲线和第二三次曲线。即本公开可以利用CEKF算法实现第一三次曲线和第二三次曲线的拟合处理。具体的，本公开可以在利用CEFK算法，实现对位于分段采样点一侧的多个采样点进行三次曲线拟合处理，获得第一三次曲线的同时，利用CEFK算法，实现对位于分段采样点另一侧的采样点进行三次曲线拟合处理，获得第二三次曲线。

可选的，本公开可以将第一三次曲线的所有系数分别作为状态变量，并在采用分段采样点和位于分段区域采样点一侧的多个采样点的坐标值的基础上，利用CEKF算法进行状态变量的最优估计处理，从而可以根据处理结果获得第一三次曲线中的所有系数，即拟合出第一三次曲线。

可选的，本公开可以将第二三次曲线的所有系数分别作为状态变量，并在采用分段采样点和位于分段区域采样点另一侧的多个采样点的坐标值的基础上，利用CEKF算法进行状态变量的最优估计处理，从而可以根据处理结果获得第二三次曲线中的所有系数，即拟合出第二三次曲线。

可选的，本公开可以利用约束条件进行状态变量的消减，从而建立无约束的扩展卡尔曼滤波算法，并利用位于分段区域采样点一侧的多个采样点的坐标值实现状态变量的最优估计处理，获得一分段区域对应的三次曲线，利用位于分段区域采样点另一侧的多个采样点的坐标值实现状态变量的最优估计处理，获得另一分段区域对应的三次曲线。具体的状态变量的消减过程以及状态变量的最优估计处理的过程，在此不再详细说明。

本公开最终获得的第一三次曲线的方程和第二三次曲线的方程，可以如下述公式(6)所示：

公式(6)中的上侧位置的公式(如第一三次曲线的方程)可以表示图9中的车道线900的前半段车道线，且公式(6)中下侧位置的公式(如第二三次曲线的方程)可以表示图9中的车道线900的后半段车道线。其中的y表示第y个采样点的z坐标值；其中的coeffs_head[0]可以表示为下述公式(7)的形式；其中的coeffs_head[1]可以表示为下述公式(8)的形式；其中的coeffs_head[2]可以表示为下述公式(9)的形式；其中的coeffs_head[3]可以表示为下述公式(10)的形式；coeffs_rear[0]、coeffs_rear[1]、coeffs_rear[2]以及coeffs_rear[3]的表示形式与下述公式(7)-(10)类似，在此不再一一详细说明。

本公开通过利用CEKF算法，不仅有利于便捷的获得用于表示一条车道线的第一三次曲线和第二三次曲线，而且有利于保证待拟合第一曲线和待拟合第二曲线在分段采样点位置处的曲线斜率连续性和一阶导数的连续性，或者有利于保证待拟合第一曲线和待拟合第二曲线在分段采样点位置处的曲率连续性；从而不仅有利于使拟合出的用于表示车道线的第一曲线和第二曲线与实际车道线更贴合，而且，还有利于提高车道线拟合的效率。

在一个可选示例中，在本公开利用分段采样点、第一曲线(如第一三次曲线)以及第二曲线(如第二三次曲线)，来表示一条车道的情况下，本公开中的移动设备在行驶过程中，可以通过移动设备中设置的摄像装置获得包含有前方路面情况的图像，并针对该图像中的各车道线分别设置分段采样点，并分别拟合出一第一曲线以及一第二曲线，从而本公开可以获得图像中的各车道线各自对应的分段采样点、第一曲线以及第二曲线。

可选的，如果检测到移动设备的前方有障碍物，则本公开可以实时的确定出障碍物所对应的车道线(如障碍物所在车道的车道线)，从而可以获得障碍物所对应的车道线的分段采样点、第一曲线和第二曲线。另外，本公开可以获得障碍物所处的位置，如获得障碍物在移动设备的xoz坐标系中的坐标值；对于障碍物所对应的任一条车道线而言，本公开可以根据该车道线的分段采样点以及障碍物所处的位置，从该车道线对应的第一曲线(如第一三次曲线)和第二曲线(如第二三次曲线)中确定该障碍物所对应的曲线，例如，通过比较该车道线的分段采样点在移动设备的xoz坐标系中的z坐标值和障碍物在移动设备的xoz坐标系中的z坐标值的大小，即可确定出该障碍物所对应的曲线，例如，如果分段采样点在移动设备的xoz坐标系中的z坐标值大于障碍物在移动设备的xoz坐标系中的z坐标值，则确定该障碍物所对应的曲线为用于表示该车道线的前半段车道线的三次曲线，而如果分段采样点在移动设备的xoz坐标系中的z坐标值不大于障碍物在移动设备的xoz坐标系中的z坐标值，则确定该障碍物所对应的曲线为用于表示该车道线的后半段车道线的三次曲线。一个更具体的例子，图9中的障碍物901所对应的曲线为用于表示车道线900的后半段车道线的曲线(如第二三次曲线)。

可选的，在一个应用场景中，本公开可以利用障碍物所对应的曲线确定移动设备的当前行驶策略，并基于该策略向移动设备中的相应部件下发控制命令。例如，降低移动设备的当前行驶速度，并尾随在障碍物的后方。再例如，提高移动设备的当前行驶速度，并从移动设备当前所在车道或者旁侧车道超越障碍物等。

本公开通过对分段采样点和障碍物所处的位置进行比较，即可快速的确定障碍物对应的曲线，从而有利于使移动设备快速的对障碍物作出反应，进而有利于保证移动设备的安全行驶。

示例性装置

图10为本公开的车道线拟合装置一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。

如图10所示的装置包括：获取采样点模块1000、确定分段模块1001、确定约束条件模块1002以及曲线拟合模块1003。该装置还可以可选的包括：确定障碍物对应的曲线模块1004。

获取采样点模块1000用于获取一条车道线的多个采样点。

确定分段模块1001用于确定获取采样点模块1000获取到的多个采样点中的分段采样点以及属于车道线的分段区域的分段区域采样点；其中，分段采样点将多个采样点划分为两部分，一部分属于一分段区域，另一部分属于另一分段区域。

确定约束条件模块1002用于根据确定分段模块1001确定出的分段采样点以及分段区域采样点，确定位于分段采样点两侧的待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件。

曲线拟合模块1003用于根据位于分段采样点两侧的采样点以及确定约束条件模块1002确定出的约束条件，进行曲线拟合处理，获得用于表示车道线的第一曲线和第二曲线。

可选的，本公开中的获取采样点模块1000可以包括：第一子模块10001、第二子模块10002以及第三子模块10003。其中的第一子模块10001用于确定待处理图像中的属于一条车道线的像素点。其中的第二子模块10002用于对属于一条车道线的像素点进行采样，获得多个采样像素点。其中的第三子模块10003用于将多个采样像素点转换为移动设备坐标系中的点，获得一条车道线的多个采样点。

可选的，第一子模块10001可以进一步用于对待处理图像进行语义分割处理，并根据语义分割处理的结果，获得待处理图像中的属于一条车道线的多个像素点。第二子模块10002可以进一步用于根据两个采样像素点间的预定间距，对第一子模块10001获得的属于一条车道线的多个像素点进行均匀间距采样，获得多个采样像素点。

可选的，确定分段模块1001可以包括：第四子模块10011以及第五子模块10012。其中的第四子模块10011用于在位于第一采样点一侧的采样点数量与位于第一采样点另一侧的采样点数量差最小的情况下，将第一采样点作为上述分段采样点。其中的第五子模块10012用于将位于第一采样点一侧的采样点作为第一分段区域采样点，将位于所述第一采样点另一侧的采样点作为第二分段区域采样点。其中的车道线的分段区域包括：在移动设备的移动方向上靠近移动设备的一侧的第一分段区域、以及在移动设备的移动方向上远离移动设备的一侧的第二分段区域。

可选的，本公开中确定约束条件模块1002可以包括：第六子模块10021以及第七子模块10022。其中的第六子模块10021用于对确定分段模块1001获得的分段采样点以及分段区域采样点，进行n次曲线拟合处理，获得一n次曲线。其中的第七子模块10022用于根据确定分段模块1001获得的分段采样点以及第六子模块10021获得的n次曲线，确定待拟合第一曲线和待拟合第二曲线在分段采样点位置处的约束条件。其中的n为大于1的整数。

可选的，第六子模块10021获得的n次曲线可以为三次曲线，且第七子模块10022可以进一步用于根据确定分段模块1001获得的分段采样点以及第六子模块10021获得的三次曲线，确定待拟合第一三次曲线和待拟合第二三次曲线在所述分段采样点位置处的基于曲线斜率连续性和一阶可导性的约束条件。第七子模块10022也可以进一步用于根据确定分段模块1001获得的分段采样点以及第六子模块10021获得的三次曲线，确定待拟合第一三次曲线和待拟合第二三次曲线在所述分段采样点位置处的曲率连续性的约束条件。

可选的，曲线拟合模块1003可以包括：第八子模块10031以及第九子模块10032。其中的第八子模块10031用于对确定分段模块1001获得的位于分段采样点一侧的采样点，基于确定约束条件模块1002获得的约束条件进行三次曲线拟合处理，获得第一三次曲线。其中的第九子模块10032用于对确定分段模块1001获得的位于分段采样点另一侧的采样点，基于确定约束条件模块1002获得的约束条件进行三次曲线拟合处理，获得第二三次曲线。

可选的，确定障碍物对应的曲线模块1004可以用于确定障碍物对应的车道线上的分段采样点、第一曲线和第二曲线，并根据障碍物对应的车道线上的分段采样点以及障碍物所处的位置，从上述障碍物对应的第一曲线和第二曲线中确定障碍物所对应的曲线。

示例性电子设备

下面参考图11来描述根据本公开实施例的电子设备。图11示出了根据本公开实施例的电子设备的框图。如图11所示，电子设备111包括一个或多个处理器1111和存储器1112。

处理器1111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备111中的其他组件以执行期望的功能。

存储器1112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的车道线拟合方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备111还可以包括：输入装置1113以及输出装置1114等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备1113还可以包括例如键盘、鼠标等等。该输出装置1114可以向外部输出各种信息。该输出设备1114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备111中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备111还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车道线拟合方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的车道线拟合方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种车道线拟合方法，包括：

获取一条车道线的多个采样点；

确定所述多个采样点中的分段采样点以及属于所述车道线的分段区域的分段区域采样点；其中，所述分段采样点将所述多个采样点划分为两部分，一部分属于一分段区域，另一部分属于另一分段区域；

根据所述分段采样点以及所述分段区域采样点，确定位于所述分段采样点两侧的待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件；

根据位于所述分段采样点两侧的采样点以及所述约束条件，进行曲线拟合处理，获得用于表示所述车道线的第一曲线和第二曲线。

2.根据权利要求1所述的方法，其中，所述获取一条车道线的多个采样点，包括：

确定待处理图像中的属于一条车道线的像素点；

对所述属于一条车道线的像素点进行采样，获得多个采样像素点；

将所述多个采样像素点转换为移动设备坐标系中的点，获得一条车道线的多个采样点。

3.根据权利要求2所述的方法，其中，所述确定待处理图像中的属于一条车道线的像素点，包括：

对所述待处理图像进行语义分割处理，并根据所述语义分割处理的结果，获得所述待处理图像中的属于一条车道线的多个像素点；

所述对所述像素点进行采样，获得多个采样像素点，包括：

根据两个采样像素点间的预定间距，对所述像素点进行均匀间距采样，获得多个采样像素点。

4.根据权利要求1至3中任一项所述的方法，其中，所述确定所述多个采样点中的分段采样点以及属于所述车道线的分段区域的分段区域采样点，包括：

在位于第一采样点一侧的采样点数量与位于所述第一采样点另一侧的采样点数量差最小的情况下，将所述第一采样点作为所述分段采样点；

将所述位于第一采样点一侧的采样点作为第一分段区域采样点，将所述位于所述第一采样点另一侧的采样点作为第二分段区域采样点；

其中，所述车道线的分段区域包括：在移动设备的移动方向上靠近移动设备的一侧的第一分段区域、以及在移动设备的移动方向上远离移动设备的一侧的第二分段区域。

5.根据权利要求1至4中任一项所述的方法，其中，所述根据所述分段采样点以及所述分段区域采样点，确定位于所述分段采样点两侧的待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件，包括：

对所述分段采样点以及所述分段区域采样点，进行n次曲线拟合处理，获得一n次曲线；

根据所述分段采样点以及所述n次曲线，确定所述待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件；

其中，n为大于1的整数。

6.根据权利要求5所述的方法，其中，所述n次曲线为三次曲线，所述根据所述分段采样点以及所述n次曲线，确定所述待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件，包括：

根据所述分段采样点以及所述三次曲线，确定所述待拟合第一三次曲线和待拟合第二三次曲线在所述分段采样点位置处的基于曲线斜率连续性和一阶可导性的约束条件；

或者

根据所述分段采样点以及所述三次曲线，确定所述待拟合第一三次曲线和待拟合第二三次曲线在所述分段采样点位置处的曲率连续性的约束条件。

7.根据权利要求1至6中任一项所述的方法，其中，所述根据位于所述分段采样点两侧的采样点以及所述约束条件，进行曲线拟合处理，获得用于表示所述车道线的第一曲线和第二曲线，包括：

对位于所述分段采样点一侧的采样点基于所述约束条件进行三次曲线拟合处理，获得第一三次曲线；

对位于所述分段采样点另一侧的采样点基于所述约束条件进行三次曲线拟合处理，获得第二三次曲线。

8.一种车道线拟合装置，包括：

获取采样点模块，用于获取一条车道线的多个采样点；

确定分段模块，用于确定所述获取采样点模块获取到的多个采样点中的分段采样点以及属于所述车道线的分段区域的分段区域采样点；其中，所述分段采样点将所述多个采样点划分为两部分，一部分属于一分段区域，另一部分属于另一分段区域；

确定约束条件模块，用于根据所述确定分段模块确定出的分段采样点以及所述分段区域采样点，确定位于所述分段采样点两侧的待拟合第一曲线和待拟合第二曲线在所述分段采样点位置处的约束条件；

曲线拟合模块，用于根据位于所述分段采样点两侧的采样点以及所述确定约束条件模块确定出的约束条件，进行曲线拟合处理，获得用于表示所述车道线的第一曲线和第二曲线。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一项所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一项所述的方法。

Images