CN109840463A - 一种车道线识别方法和装置 - Google Patents

Abstract

本发明公开一种车道线识别方法和装置，用以解决现有技术中根据图像数据无法可靠有效地识别车道线的问题。该方法包括：将驾驶环境的一个LIDAR点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据中包括叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

Description

一种车道线识别方法和装置

技术领域

本发明涉及机器视觉领域，具体地，涉及一种车道线识别方法和装置。

背景技术

在自动驾驶技术中，车道线的识别对于无人驾驶车辆的安全可靠的行驶是一个重要的技术点。目前通常是对无人驾驶车辆的车载摄像头采集到的图像数据进行分析处理，识别并得到车道线的表达。

但是，在很多情况下车载摄像头获得的图像数据的质量不可靠，例如在一些天气条件下、一些光线条件下、以及其它一些不利于采集图像数据的条件下。并且，不同国家或者地区的车道线之间也存在宽度、连贯性和形状等方面的区别，根据图像数据很难对这些特性进行区分。

可见在现有技术中，根据图像数据无法进行可靠有效的车道线的识别处理。

发明内容

有鉴于此，本发明实施例提供了一种车道线识别方法和装置，用以解决现有技术中根据图像数据无法可靠有效地识别车道线的问题。

一方面，本申请实施例提供了一种车道线识别方法，包括：

将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；

确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

另一方面，本申请实施例提供了一种车道线识别装置，包括：

投影单元，用于将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

确定单元，用于在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

地图单元，用于根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

另一方面，本申请实施例提供了一种车道线识别装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：

将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；

确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

根据本申请实施例提供的技术方案，将驾驶环境的一个LIDAR点云数据投影到对应的图像数据的语义分割图像数据中，语义分割图像中包括叠加的车道线实例，在投影数据中根据车道线实例确定得到车道线实例对应的待选车道线LIDAR点，根据每个待选车道线LIDAR点的强度，选取实际车道线LIDAR点，并根据实际车道线LIDAR点生成三维空间中的车道线地图。LIDAR点云数据相比图像数据具有更高的准确性，本申请实施例能够结合LIDAR数据和语义分割图像数据来确定车道线LIDAR点，并生成三维空间中的车道线地图，能够确定得到有效可靠的车道线地图。从而能够解决现有技术中根据图像数据无法确定得到有效可靠的车道线表达的问题。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本申请实施例提供的车道线识别方法的处理流程图；

图2为在图1所示流程之前的步骤100的处理流程图；

图3为相关的图像示例；

图4为图3中车道线表达的示例；

图5为图1中步骤103选取实际车道线LIDAR点的处理流程图；

图6为图5中步骤1034的处理流程图；

图7为图1中步骤104生成车道线地图的处理流程图；

图8为本申请实施例提供的车道线识别装置的结构框图；

图9为本申请实施例提供的车道线识别装置的另一结构框图；

图10为本申请实施例提供的车道线识别装置的另一结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在现有技术中，自动驾驶技术中通常通过图像数据来识别车道线。但是在很多情况下的图像数据的质量容易受到环境等因素的影响，导致无法根据图像数据进行可靠有效的车道线识别处理。

针对现有技术中的上述问题，本申请实施例提供了一种车道线方法和装置。在本申请实施例提供的技术方案中，将驾驶环境的一个LIDAR点云数据投影到对应的图像数据的语义分割图像数据中，语义分割图像中包括叠加的车道线实例，在投影数据中根据车道线实例确定得到车道线实例对应的待选车道线LIDAR点，根据每个待选车道线LIDAR点的强度，选取实际车道线LIDAR点，并根据实际车道线LIDAR点生成三维空间中的车道线地图。LIDAR点云数据相比图像数据具有更高的准确性、能够适用于更多的场景，本申请实施例能够结合LIDAR数据和语义分割图像数据来确定车道线LIDAR点，并生成三维空间中的车道线地图，能够确定得到有效可靠的车道线地图。从而能够解决现有技术中根据图像数据无法确定得到有效可靠的车道线表达的问题。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

图1中示出了本申请实施例提供的车道线识别方法的处理流程图，包括：

步骤101、将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

步骤102、在投影数据中，根据车道线实例，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；

步骤103、确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

步骤104、根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

通过图1所示的方法，结合LIDAR点云数据和图像数据来确定实际的车道线LIDAR点，并生成三维空间中的车道线地图；由于LIDAR点云数据相比图像数据具有更高的准确性、能够适用于更多的场景，从而本申请结合LIDAR数据和图像数据来确定车道线LIDAR点，能够确定得到较为有效可靠的车道线LIDAR点，进而得到有效可靠的三维空间中的车道线地图，能够解决现有技术中根据图像数据无法确定得到有效可靠的车道线表达的问题。

在图1所示方法的基础上，在步骤101之前，还可以包括对图像数据进行预先处理的过程，包括：

步骤100、预先对驾驶环境的与所述点云数据相对应的图像数据进行处理，得到语义分割图像数据，语义分割图像数据中包括叠加的车道线实例数据。

其中，与点云数据对应的图像数据可以是同一个驾驶环境的图像数据。

如图2所示，步骤100具体包括：

步骤1001、预先对LIDAR点云数据对应的图像数据进行语义分割处理，得到初始语义分割图像数据；该初始语义分割图像数据中包括像素和像素的类别数据；

步骤1002、从图像数据中确定得到车道线实例数据；

由于语义分割处理结果中仅包括像素的类别信息，并不能直接的得到车道线实例，需要根据语义分割的处理结果或者从原始图像数据中识别出车道线实例，为后续处理提供处理基础或参考；其中，车道线实例包括表达车道线的多条直线；

确定车道线实例数据的方法，可以使用本申请之前的方法，也可以使用本申请之后的方法，本申请这里不做具体限定；

图3示出了相关的图像示例，图3左边的图像为一个原始的图像数据，图3中间部分的图像为执行了语义分割、标注了车道线类别后的图像数据，图3右边的图像为提取出的车道线图像。

图4是对图3中二维图像空间中的车道线表达的示例。

步骤1003、将车道线实例数据叠加到初始语义分割图像数据中，得到语义分割图像数据。

在上述步骤101中，可以采用多种方法将三维的LIDAR点云数据投影到二维的图像数据上，例如，可以将三维的LIDAR点云数据和二维的图像数据都转换到一个共同的坐标空间中；或者通过坐标转换，将三维的LIDAR点云数据投影到二维的图像数据上。本申请这里不对投影方法做具体限定。

在上述步骤102中，根据车道线实例确定得到待选车道线LIDAR点，具体可以包括：在投影数据的图像空间中，在一个投影点与一个车道线实例的距离小于预定的距离阈值的情况下，确定该投影点为与车道线实例对应的投影点。

也即，判断与车道线实例的距离小于预定距离阈值的投影点对应的LIDAR点为待选车道线LIDAR点。

进一步地，由于将三维的点云数据投影到二维的图像空间中，因为透视角度的关系，车道线实例的表达(也即直线)存在近大远小的现象，从而不能用一个固定的距离阈值来衡量每个投影点与车道线实例的关系。本申请实施例中预先设定一条阈值直线，确定一个投影点对应的预定的距离阈值包括：确定通过该投影点的车道线实例的垂线与阈值直线的交点、该交点与车道线实例之间的距离为该投影点对应的距离阈值。在二维的图像空间中，阈值直线的表达也存在近大远小的现象，从而在图像空间中，距离阈值是线性递减的。

在上述步骤103中，可以通过在本申请之前或者之后的方法来确定一个LIDAR点的强度，本申请这里不做具体限定。

在上述步骤103中，根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点的处理，如图5所示，可以包括：

步骤1031、根据语义分割图像数据中的像素的类别，确定得到道路表面像素对应的投影点，并确定该投影点对应的LIDAR点为待选路面LIDAR点；

步骤1032、拟合得到待选路面LIDAR点的路面强度值；

在本申请实施例中，采用高斯分布函数N(m，σ)拟合得到待选路面LIDAR点的路面强度值，其中，m为期望值，σ为标准差；

本领域普通技术人员还可以采用其它等同的或者替代的方法来确定得到路面强度值，本申请不做具体限定；

步骤1033、根据预先设定的路面强度值与车道线强度阈值的对应关系，确定得到车道线强度阈值；

在本申请实施例中，可以通过线性函数来表达路面强度与车道线强度阈值之间的对应关系，例如，th＝m+a*σ，th为车道线强度阈值，m为路面强度的期望值，σ为路面强度的标准差，a为预定的系数，可以根据具体应用场景的需要来设定a的值；

步骤1034、根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点；

在本申请实施例中，如图6所示，步骤1034可以包括如下处理：

步骤41、确定强度大于车道线强度阈值的待选车道线LIDAR点的数量在全部待选车道线LIDAR点中的比例；

步骤42、在该比例大于预定的比例阈值的情况下，选取强度大于车道线强度阈值的待选车道线LIDAR点为实际车道线LIDAR点；

步骤43、在该比例小于或等于预定的比例阈值的情况下，选取全部的待选车道线LIDAR点为实际车道线LIDAR点。

例如，确定强度大于车道线强度阈值的待选车道线LIDAR点的数量为nl，全部待选车道线LIDAR点的数量为n，预定的比例阈值为r，当nl/n>r时，将强度大于车道线强度阈值的nl个待选车道线LIDAR点选取为实际车道线LIDAR点，当nl/n≤r时，将全部待选车道线LIDAR点选取为实际车道线LIDAR点。

根据上述处理，能够确定得到实际的车道线LIDAR点。进一步，可以根据实际车道线LIDAR点生成三维空间中的车道线地图。

在上述步骤104中，根据选取的实际车道线LIDAR点生成三维空间中的车道线地图，如图7所示，可以包括如下处理：

步骤1041、在连续的多个图像帧中追踪实际车道线LIDAR点对应的车道线；

在连续的多个图像帧中追踪车道线的方法，可以使用本申请之前的方法，也可以使用本申请之后的方法，本申请这里不做具体限定；

步骤1042、对追踪的车道线进行平滑处理拟合生成平滑的车道线；

在本申请实施例中，可以采用B样条曲线方法对追踪的车道线进行平滑处理拟合生成平滑的车道线；本领域普通技术人员还可以采用其它等同的或者替代的方法来执行该处理，本申请不做具体限定；

步骤1043、对所生成的平滑的车道线进行抽样，根据抽样点生成三维空间中的车道线地图。

通过上述处理，能够生成得到高分辨率的车道线地图。

根据本申请实施例提供的车道线的识别方法，将驾驶环境的一个LIDAR点云数据投影到对应的图像数据的语义分割图像数据中，语义分割图像中包括叠加的车道线实例，在投影数据中根据车道线实例确定得到车道线实例对应的待选车道线LIDAR点，根据每个待选车道线LIDAR点的强度，选取实际车道线LIDAR点，并根据实际车道线LIDAR点生成三维空间中的车道线地图。LIDAR点云数据相比图像数据具有更高的准确性，本申请实施例能够结合LIDAR数据和语义分割图像数据来确定车道线LIDAR点，并生成三维空间中的车道线地图，能够确定得到有效可靠的车道线地图。从而能够解决现有技术中根据图像数据无法确定得到有效可靠的车道线表达的问题。

基于相同的发明构思，本申请实施例还提供了一种车道线识别装置。

图8示出了本申请实施例提供的车道线识别装置的结构框图，包括：

投影单元81，用于将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

确定单元82，用于在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

地图单元83，用于根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

根据图8所示的装置，结合LIDAR点云数据和图像数据来确定实际的车道线LIDAR点，并生成三维空间中的车道线地图；由于LIDAR点云数据相比图像数据具有更高的准确性、能够适用于更多的场景，从而本申请结合LIDAR数据和图像数据来确定车道线LIDAR点，能够确定得到较为有效可靠的车道线LIDAR点，进而得到有效可靠的三维空间中的车道线地图，能够解决现有技术中根据图像数据无法确定得到有效可靠的车道线表达的问题。

在一些实施例中，确定单元82在投影数据中，确定得到车道线实例对应的投影点，包括：在投影数据的图像空间中，在一个投影点与一个车道线实例的距离小于预定的距离阈值的情况下，确定该投影点为有车道线实例对应的投影点。

在一些实施例中，在投影数据的图像空间中，根据透视空间的位置变化，预定的距离阈值时预定的一条阈值直线上距离车道线实例最近的点与车道线实例之间的距离。

在一些实施例中，确定单元82根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：根据语义分割图像数据中的像素的类别，确定得到道路表面像素对应的投影点，并确定该投影点对应的LIDAR点为待选路面LIDAR点；拟合得到待选路面LIDAR点的路面强度值；根据预先设定的路面强度值与车道线强度阈值的对应关系，确定得到车道线强度阈值；根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点。

在一些实施例中，确定单元82拟合得到待选路面LIDAR点的路面强度值，包括：采用高斯分布函数拟合得到待选路面LIDAR点的路面强度值。

在一些实施例中，预先设定的路面强度值与车道线强度阈值的对应关系为线性函数。

在一些实施例中，确定单元82根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：确定强度大于车道线强度阈值的待选车道线LIDAR点的数量在全部待选车道线LIDAR点中的比例；在该比例大于预定的比例阈值的情况下，选取强度大于车道线强度阈值的待选车道线LIDAR点为实际车道线LIDAR点；在该比例小于或等于预定的比例阈值的情况下，选取全部的待选车道线LIDAR点为实际车道线LIDAR点。

在一些实施例中，地图单元83根据选取的车道线LIDAR点，生成三维空间中的车道线地图，包括：在连续的多个图像帧中追踪实际车道线LIDAR点对应的车道线；对追踪的车道线进行平滑处理拟合生成平滑的车道线；对所生成的平滑的车道线进行抽样，根据抽样点生成三维空间中的车道线地图。

在一些实施例中，地图单元83对追踪的车道线进行平滑处理拟合生成平滑的车道线，包括：采用B样条曲线方法对追踪的车道线进行平滑处理拟合生成平滑的车道线。

在一些实施例中，如图9所示，所述装置还包括：预处理单元80，用于预先对LIDAR点云数据对应的图像数据进行语义分割处理，得到初始语义分割图像数据；从图像数据中确定得到车道线实例数据；将车道线实例数据叠加到初始语义分割图像数据中，得到语义分割图像数据。

根据本申请实施例提供的车道线的识别装置，将驾驶环境的一个LIDAR点云数据投影到对应的图像数据的语义分割图像数据中，语义分割图像中包括叠加的车道线实例，在投影数据中根据车道线实例确定得到车道线实例对应的待选车道线LIDAR点，根据每个待选车道线LIDAR点的强度，选取实际车道线LIDAR点，并根据实际车道线LIDAR点生成三维空间中的车道线地图。LIDAR点云数据相比图像数据具有更高的准确性，本申请实施例能够结合LIDAR数据和语义分割图像数据来确定车道线LIDAR点，并生成三维空间中的车道线地图，能够确定得到有效可靠的车道线地图。从而能够解决现有技术中根据图像数据无法确定得到有效可靠的车道线表达的问题。

基于相同的发明构思，本申请实施例还提供了一种车道线识别装置。

图10示出了本申请实施例提供的车道线识别装置的结构框图，该装置包括：一个处理器1001和至少一个存储器1002，至少一个存储器1002中存储有至少一条机器可执行指令，处理器1001执行至少一条机器可执行指令以实现：

将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；

确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

在一些实施例中，处理器1001执行至少一条机器可执行指令实现在投影数据中，确定得到车道线实例对应的投影点，包括：在投影数据的图像空间中，在一个投影点与一个车道线实例的距离小于预定的距离阈值的情况下，确定该投影点为车道线实例对应的投影点。

在一些实施例中，在投影数据的图像空间中，根据透视空间的位置变化，预定的距离阈值是预定的一条阈值直线上距离车道线实例最近的点与车道线实例之间的距离。

在一些实施例中，处理器1001执行至少一条机器可执行指令实现根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：根据语义分割图像数据中的像素的类别，确定得到道路表面像素对应的投影点，并确定该投影点对应的LIDAR点为待选路面LIDAR点；拟合得到待选路面LIDAR点的路面强度值；根据预先设定的路面强度值与车道线强度阈值的对应关系，确定得到车道线强度阈值；根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点。

在一些实施例中，处理器1001执行至少一条机器可执行指令实现拟合得到待选路面LIDAR点的路面强度值，包括：采用高斯分布函数拟合得到待选路面LIDAR点的路面强度值。

在一些实施例中，预先设定的路面强度值与车道线强度阈值的对应关系为线性函数。

在一些实施例中，处理器1001执行至少一条机器可执行指令实现根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：确定强度大于车道线强度阈值的待选车道线LIDAR点的数量在全部待选车道线LIDAR点中的比例；在该比例大于预定的比例阈值的情况下，选取强度大于车道线强度阈值的待选车道线LIDAR点为实际车道线LIDAR点；在该比例小于或等于预定的比例阈值的情况下，选取全部的待选车道线LIDAR点为实际车道线LIDAR点。

在一些实施例中，处理器1001执行至少一条机器可执行指令实现根据选取的车道线LIDAR点，生成三维空间中的车道线地图，包括：在连续的多个图像帧中追踪实际车道线LIDAR点对应的车道线；对追踪的车道线进行平滑处理拟合生成平滑的车道线；对所生成的平滑的车道线进行抽样，根据抽样点生成三维空间中的车道线地图。

在一些实施例中，处理器1001执行至少一条机器可执行指令实现对追踪的车道线进行平滑处理拟合生成平滑的车道线，包括：采用B样条曲线方法对追踪的车道线进行平滑处理拟合生成平滑的车道线。

在一些实施例中，处理器1001执行至少一条机器可执行指令还实现：预先对LIDAR点云数据对应的图像数据进行语义分割处理，得到初始语义分割图像数据；从图像数据中确定得到车道线实例数据；将车道线实例数据叠加到初始语义分割图像数据中，得到语义分割图像数据。

根据本申请实施例提供的车道线的识别装置，将驾驶环境的一个LIDAR点云数据投影到对应的图像数据的语义分割图像数据中，语义分割图像中包括叠加的车道线实例，在投影数据中根据车道线实例确定得到车道线实例对应的待选车道线LIDAR点，根据每个待选车道线LIDAR点的强度，选取实际车道线LIDAR点，并根据实际车道线LIDAR点生成三维空间中的车道线地图。LIDAR点云数据相比图像数据具有更高的准确性，本申请实施例能够结合LIDAR数据和语义分割图像数据来确定车道线LIDAR点，并生成三维空间中的车道线地图，能够确定得到有效可靠的车道线地图。从而能够解决现有技术中根据图像数据无法确定得到有效可靠的车道线表达的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1.一种车道线识别方法，其特征在于，包括：

将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；

确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

2.根据权利要求1所述的方法，其特征在于，在投影数据中，确定得到车道线实例对应的投影点，包括：

在投影数据的图像空间中，在一个投影点与一个车道线实例的距离小于预定的距离阈值的情况下，确定该投影点为与车道线实例对应的投影点。

3.根据权利要求2所述的方法，其特征在于，在投影数据的图像空间中，根据透视空间的位置变化，预定的距离阈值是预定的一条阈值直线上距离车道线实例最近的点与车道线实例之间的距离。

4.根据权利要求1所述的方法，其特征在于，根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：

根据语义分割图像数据中的像素的类别，确定得到道路表面像素对应的投影点，并确定该投影点对应的LIDAR点为待选路面LIDAR点；

拟合得到待选路面LIDAR点的路面强度值；

根据预先设定的路面强度值与车道线强度阈值的对应关系，确定得到车道线强度阈值；

根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点。

5.根据权利要求4所述的方法，其特征在于，拟合得到待选路面LIDAR点的路面强度值，包括：

采用高斯分布函数拟合得到待选路面LIDAR点的路面强度值。

6.根据权利要求4所述的方法，其特征在于，预先设定的路面强度值与车道线强度阈值的对应关系为线性函数。

7.根据权利要求4所述的方法，其特征在于，根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：

确定强度大于车道线强度阈值的待选车道线LIDAR点的数量在全部待选车道线LIDAR点中的比例；

在该比例大于预定的比例阈值的情况下，选取强度大于车道线强度阈值的待选车道线LIDAR点为实际车道线LIDAR点；

在该比例小于或等于预定的比例阈值的情况下，选取全部的待选车道线LIDAR点为实际车道线LIDAR点。

8.根据权利要求1所述的方法，其特征在于，根据选取的车道线LIDAR点，生成三维空间中的车道线地图，包括：

在连续的多个图像帧中追踪实际车道线LIDAR点对应的车道线；

对追踪的车道线进行平滑处理拟合生成平滑的车道线；

对所生成的平滑的车道线进行抽样，根据抽样点生成三维空间中的车道线地图。

9.根据权利要求8所述的方法，其特征在于，对追踪的车道线进行平滑处理拟合生成平滑的车道线，包括：

采用B样条曲线方法对追踪的车道线进行平滑处理拟合生成平滑的车道线。

10.根据权利要求1所述的方法，其特征在于，还包括：

预先对LIDAR点云数据对应的图像数据进行语义分割处理，得到初始语义分割图像数据；

从图像数据中确定得到车道线实例数据；

将车道线实例数据叠加到初始语义分割图像数据中，得到语义分割图像数据。

11.一种车道线识别装置，其特征在于，包括：

投影单元，用于将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

确定单元，用于在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

地图单元，用于根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

12.根据权利要求11所述的装置，其特征在于，确定单元在投影数据中，确定得到车道线实例对应的投影点，包括：

在投影数据的图像空间中，在一个投影点与一个车道线实例的距离小于预定的距离阈值的情况下，确定该投影点为有车道线实例对应的投影点。

13.根据权利要求12所述的装置，其特征在于，在投影数据的图像空间中，根据透视空间的位置变化，预定的距离阈值时预定的一条阈值直线上距离车道线实例最近的点与车道线实例之间的距离。

14.根据权利要求11所述的装置，其特征在于，确定单元根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：

根据语义分割图像数据中的像素的类别，确定得到道路表面像素对应的投影点，并确定该投影点对应的LIDAR点为待选路面LIDAR点；

拟合得到待选路面LIDAR点的路面强度值；

根据预先设定的路面强度值与车道线强度阈值的对应关系，确定得到车道线强度阈值；

根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点。

15.根据权利要求14所述的装置，其特征在于，确定单元拟合得到待选路面LIDAR点的路面强度值，包括：

采用高斯分布函数拟合得到待选路面LIDAR点的路面强度值。

16.根据权利要求14所述的装置，其特征在于，预先设定的路面强度值与车道线强度阈值的对应关系为线性函数。

17.根据权利要求14所述的装置，其特征在于，确定单元根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：

确定强度大于车道线强度阈值的待选车道线LIDAR点的数量在全部待选车道线LIDAR点中的比例；

在该比例大于预定的比例阈值的情况下，选取强度大于车道线强度阈值的待选车道线LIDAR点为实际车道线LIDAR点；

在该比例小于或等于预定的比例阈值的情况下，选取全部的待选车道线LIDAR点为实际车道线LIDAR点。

18.根据权利要求11所述的装置，其特征在于，地图单元根据选取的车道线LIDAR点，生成三维空间中的车道线地图，包括：

在连续的多个图像帧中追踪实际车道线LIDAR点对应的车道线；

对追踪的车道线进行平滑处理拟合生成平滑的车道线；

对所生成的平滑的车道线进行抽样，根据抽样点生成三维空间中的车道线地图。

19.根据权利要求18所述的装置，其特征在于，地图单元对追踪的车道线进行平滑处理拟合生成平滑的车道线，包括：

采用B样条曲线方法对追踪的车道线进行平滑处理拟合生成平滑的车道线。

20.根据权利要求11所述的装置，其特征在于，所述装置还包括：

预处理单元，用于预先对LIDAR点云数据对应的图像数据进行语义分割处理，得到初始语义分割图像数据；

从图像数据中确定得到车道线实例数据；

将车道线实例数据叠加到初始语义分割图像数据中，得到语义分割图像数据。

21.一种车道线识别装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：

将驾驶环境的一个激光雷达(LIDAR)点云数据投影到对应的图像数据的语义分割图像数据上，得到投影数据；其中，语义分割图像数据是预先处理得到的，语义分割图像数据中包括像素、像素的类别和叠加的车道线实例；投影数据中包括语义分割图像数据和点云数据的投影点数据；

在投影数据中，确定得到车道线实例对应的投影点，并确定该投影点对应的LIDAR点为待选车道线LIDAR点；

确定每个待选车道线LIDAR点的强度，并根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点；

根据选取的实际车道线LIDAR点，生成三维空间中的车道线地图。

22.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现在投影数据中，确定得到车道线实例对应的投影点，包括：

在投影数据的图像空间中，在一个投影点与一个车道线实例的距离小于预定的距离阈值的情况下，确定该投影点为车道线实例对应的投影点。

23.根据权利要求22所述的装置，其特征在于，在投影数据的图像空间中，根据透视空间的位置变化，预定的距离阈值是预定的一条阈值直线上距离车道线实例最近的点与车道线实例之间的距离。

24.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现根据待选车道线LIDAR点的强度，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：

根据语义分割图像数据中的像素的类别，确定得到道路表面像素对应的投影点，并确定该投影点对应的LIDAR点为待选路面LIDAR点；

拟合得到待选路面LIDAR点的路面强度值；

根据预先设定的路面强度值与车道线强度阈值的对应关系，确定得到车道线强度阈值；

根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点。

25.根据权利要求24所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现拟合得到待选路面LIDAR点的路面强度值，包括：

采用高斯分布函数拟合得到待选路面LIDAR点的路面强度值。

26.根据权利要求24所述的装置，其特征在于，预先设定的路面强度值与车道线强度阈值的对应关系为线性函数。

27.根据权利要求24所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现根据各个待选车道线LIDAR点的强度与车道线强度阈值的对比关系，从待选车道线LIDAR点中选取实际车道线LIDAR点，包括：

确定强度大于车道线强度阈值的待选车道线LIDAR点的数量在全部待选车道线LIDAR点中的比例；

在该比例大于预定的比例阈值的情况下，选取强度大于车道线强度阈值的待选车道线LIDAR点为实际车道线LIDAR点；

在该比例小于或等于预定的比例阈值的情况下，选取全部的待选车道线LIDAR点为实际车道线LIDAR点。

28.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现根据选取的车道线LIDAR点，生成三维空间中的车道线地图，包括：

在连续的多个图像帧中追踪实际车道线LIDAR点对应的车道线；

对追踪的车道线进行平滑处理拟合生成平滑的车道线；

对所生成的平滑的车道线进行抽样，根据抽样点生成三维空间中的车道线地图。

29.根据权利要求28所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现对追踪的车道线进行平滑处理拟合生成平滑的车道线，包括：

采用B样条曲线方法对追踪的车道线进行平滑处理拟合生成平滑的车道线。

30.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：

预先对LIDAR点云数据对应的图像数据进行语义分割处理，得到初始语义分割图像数据；

从图像数据中确定得到车道线实例数据；

将车道线实例数据叠加到初始语义分割图像数据中，得到语义分割图像数据。