CN108764187B - 提取车道线的方法、装置、设备、存储介质以及采集实体 - Google Patents

Abstract

根据本公开的示例实施例，提供了一种用于提取车道线的方法、装置、设备、计算机可读存储介质以及采集实体。方法包括基于从激光雷达采集的点云生成的第一图片来获得一段道路的第一组车道线。方法还包括基于从相机采集的第二图片来获得道路的第二组车道线。方法还包括基于第一组车道线和第二组车道线来确定道路的车道线集合。本公开的实施例将通过激光点云提取的车道线和通过相机图片提取的车道线进行融合，从而确定最终的车道线，能够使得提取到的车道线更加准确且全面。

Description

提取车道线的方法、装置、设备、存储介质以及采集实体

技术领域

本公开的实施例总体上涉及计算机技术领域，并且更具体地涉及用于提取车道线的方法、装置、设备、计算机可读存储介质以及采集实体。

背景技术

车道线是指道路上用来分隔不同车道之间的实线或虚线，车道线按照制作方法可分为热熔划线、冷漆划线、热熔振荡划线，等等。自动驾驶需要使用高精度地图，而提取高精度车道线是制作高精度地图中的一个重要环节，也是自动驾驶中必要的一个过程。也就是说，高精度车道线的量产是自动驾驶技术能够商用的一个前提。

计算机视觉是指使得计算机能够感知外部世界，其使用照相机或摄影机以及计算机代替人眼对目标进行识别、跟踪以及测量等，并且对所采集的图片执行进一步处理。例如，可以使用相机采集道路的图片，并且从图片中提取二维车道线，再将生成的二维车道线通过矩阵变换转换成三维的车道线，三维车道线例如可用于自动驾驶、辅助驾驶等场景。

发明内容

根据本公开的示例实施例，提供了一种用于提取车道线的方法、装置、设备、计算机可读存储介质以及采集实体。

在本公开的第一方面中，提供了一种用于提取车道线的方法。该方法包括：基于从激光雷达采集的点云生成的第一图片，获得一段道路的第一组车道线；基于从相机采集的第二图片，获得道路的第二组车道线；以及基于第一组车道线和第二组车道线，确定道路的车道线集合。

在本公开的第二方面中，提供了一种用于提取车道线的装置。该装置包括：第一车道线获得模块，被配置为基于从激光雷达采集的点云生成的第一图片，获得一段道路的第一组车道线；第二车道线获得模块，被配置为基于从相机采集的第二图片，获得道路的第二组车道线；以及车道线确定模块，被配置为基于第一组车道线和第二组车道线，确定道路的车道线集合。

在本公开的第三方面中，提供了一种电子设备，其包括一个或多个处理器以及存储装置，存储装置用于存储一个或多个程序。一个或多个程序当被一个或多个处理器执行，使得电子设备实现根据本公开的实施例的方法或过程。

在本公开的第四方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的实施例的方法或过程。

在本公开的第五方面中，提供了一种采集实体，其包括根据本公开的实施例的电子设备。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够实现在其中的示例环境的示意图；

图2示出了根据本公开的实施例的用于提取车道线的方法的流程图；

图3示出了根据本公开的实施例的用于训练车道线提取模型的方法的流程图；

图4示出了根据本公开的实施例的用于匹配两组车道线的方法的流程图；

图5示出了根据本公开的实施例的用于匹配两组车道线的示意图；

图6示出了根据本公开的另一实施例的用于匹配两组车道线的另一示意图；

图7示出了根据本公开的实施例的用于提取车道线的装置的框图；以及

图8示出了能够实施本公开的多个实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。下文还可能包括其他明确的和隐含的定义。

传统地，可以从相机拍摄的图片(例如图像)中提取车道线，再将车道线通过矩阵变换从二维转换成三维。然而通过相机图片提取车道线可能存在一些问题：一是从二维到三维的转换缺少了空间深度信息，因此需要假定地面高度，可能存在误差；二是对二维到三维的转换矩阵的精度要求很高，如果标定不准确很可能会导致得到的三维车道线位置不准确；三是由于透视效果，离相机距离越远的车道线在图片中占据的像素越少，拿到的车道线越不准确，导致车道线的方向在空间上存在一定的角度偏差，并且不同图片帧的车道线融合的难度也较大；四是图片车道线提取对天气(例如雨雪天气)、光照(例如明暗程度)、路况(例如拥堵情况)敏感，存在无法成功提取车道线的情形。

针对传统方法的一种改进是使用激光雷达采集的点云生成的反射值图片来提取车道线，反射值图片中每个像素都对应精确的世界坐标点(x,y,z)，这样就减少了二维到三维转换的精度损失和潜在的不准确的问题。同时，由于地面高度也可以直接从反射值图片中得到，因而不需要假定地面高度。然而，点云是通过激光的反射而被获得，而在车道线反射值较低的情况下，可能会丢失某个或某些车道线，因而可能造成所提取的车道线不够全面。

本公开的实施例提出了一种用于提取车道线的方案。本公开的实施例将通过激光点云提取的车道线和通过相机图片提取的车道线进行融合，从而获得最终的车道线，能够使得提取到的最终的车道线更加准确且全面。因此，对于反射值图片中车道线反射值比较弱而相机图片中可以看到车道线的情形，本公开的实施例也能够保证全面地提取到道路车道线。以下将参考附图1-8详细描述本公开的一些示例实施例。

图1示出了本公开的实施例能够实现在其中的示例环境100的示意图。示例环境100能够用于在自然场景或其他适当场景下自动提取车道线。如所示出的，示例环境100包括采集实体110、采集实体110的激光雷达116、采集实体110的相机118、点云库120、反射值图片库130、相机图片库140、以及车道线存储库150。应当理解，图1中所示出的多个存储库仅是逻辑划分，其也可以被部署在同一个物理设备中。

采集实体110可以是驾驶系统，例如自动驾驶系统或非自动驾驶系统。驾驶系统可以是一般的个人车辆，也可以为专用的采集车辆，或者任何其他适当车辆。在下文中，以车辆为例来讨论本公开的实施例，然而应当理解，本公开的方案也可以被类似地应用于其他类型的采集实体。需要注意的是，此处“采集实体”是指借助于激光雷达采集点云并且借助于相机采集图片的载体，而其本身可以包括或不包括激光雷达和/或相机。

在本公开的实施例中，“采集实体的激光雷达或相机”可以是固定在采集实体上的激光雷达或相机，例如以固定方式而被设置于采集实体上或采集实体中。替代地，“采集实体的激光雷达或相机”也可以是由采集实体以非固定方式所承载的激光雷达或相机，例如车辆的乘客所手持的激光雷达或相机、佩戴在运动个体上的激光雷达或相机，等等。

应当理解，此处“激光雷达”是指以发射激光束探测目标的位置和/或速度等特征量的雷达装置，其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的相关信息，例如目标距离、方位、高度、速度、姿态、甚至形状等参数中的一个或多个。此外，此处“相机”应理解为广义的相机，其不仅仅包括针对可见光进行拍摄的相机，也包括其他类型的成像设备。

如图1所示，采集实体110正行驶在道路115上，该采集实体110例如包括固定于其上的激光雷达116和相机118。激光雷达116能够在采集实体110运动的过程中采集道路115及其周边环境的点云数据，点云是指目标表面(例如道路上以及周边环境的)特性的海量点集合。相机118能够在采集实体110运动的过程中采集道路115的图片。应当理解，可以按照预定的路线和/或采集周期采集道路115中的点云数据和相机图片，当然，也可以由驾驶员自主地决定采集的线路和/或采集周期。

在一些实施例中，相机118在采集图片的同时，还可以利用全球定位系统(GPS)和惯性测量装置(IMU)来测量环境中对象的三维坐标，此外，定位系统也不限于GPS，欧洲的伽利略卫星定位系统，中国的北斗卫星定位系统等，均可与本公开的实施例结合使用。

继续参考图1，激光雷达116采集道路115相关的点云数据，并且可以将点云数据存储在点云库120。基于点云库120可以生成道路的反射值图片，并且将反射值图片存储在反射值图片库130中。例如，当一束激光照射到目标表面时，所反射的激光会携带方位、距离、反射值等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，因而能够得到大量的激光点，从而形成点云。

在一些实施例中，反射值图片为二维图片，但是其可以包括每个像素的反射值(例如rgb值)以及像素所在地面的高度信息(z值)，因此，根据本公开的实施例的反射值图片中每个像素具有4个属性值(例如rgbz值)。图1中示出了反射值图片库130中存储一张示例反射值图片135，其为道路的车道线的鸟瞰图，基于对反射值图片135的处理能够提取到道路的车道线。此外，由于反射值图片135还包括每个像素所在地面的高度信息，因而所提取的车道线可以直接从二维车道线转换成三维车道线。

相机118采集道路的图片(例如图像)，并且可以将采集到的图片存储在相机图片库140中。图1中示出了相机图片库140中存储一张示例相机图片145，其为采集实体110在行驶过程中所拍摄的图片。相机图片145中包括道路的车道线，基于对相机图片145的处理也能够提取到道路的车道线。然后，可以基于对相机的标定，将提取到的二维车道线转换成三维车道线，当然，可能会存在一些转换误差。

接下来，在通过反射值图片库130中的反射值图片提取一组车道线并且通过相机图片库140中的相机图片提取到另一组车道线之后，可以将这两组车道线进行融合(例如，单向补充或者互相补充)，确定道路的最终的车道线，并且可以将所生成的车道线存储在车道线储存库150中。图1中示出了车道线储存库150中存储的车道线155的示例。

应当理解，可以非实时地确定最终的车道线。例如，可以由本地或远程的电子设备从反射值图片库130和相机图片库140获得图片，并且基于对所获得图片的处理，生成两组车道线，并且基于对两组车道线的融合确定最终的车道线。备选地，也可以实时地确定最终的车道线。例如，由采集实体110内的电子设备或者远程的电子设备对获得点云数据和相机处理进行实时处理，从而实时地确定最终的车道线。以下参考图2-图7详细描述了确定道路的最终车道线的一些示例性实施例。

图2示出了根据本公开的实施例的用于提取车道线的方法200的流程图。为了便于清楚说明，以下参考图1的环境100来描述本公开的实施例。然而，应当理解，图1中所示出的环境100仅仅是本公开的实施例的一个示例环境，而不用于限制本公开的实施例的范围。

在框202，基于从激光雷达采集的点云生成的第一图片，获得一段道路的第一组车道线。例如，基于图1中反射值图片库130中的反射值图片(基于激光雷达采集的点云而生成的图片称为“第一图片”)，获得某段道路的车道线(基于激光雷达采集的点云而生成的车道线称为“第一组车道线”)。应当理解，也可以在采集实体的采集过程中实时地提取第一组车道线，而不是必须从反射值图片库130中获取。在一些实施例中，可以通过对图片135进行识别，来提取其中的车道线。在一些实施例中，还可以使用机器学习来训练车道线提取模型，并且使用经训练的车道线提取模型来提取反射值图片中的车道线，与此有关的示例实现将在以下通过参考图3的实施例来描述。

在一些实施例中，可以基于从激光雷达采集的点云生成多幅图片，获得多条车道线，并且基于对多条车道线的优化，来生成全局的第一组车道线。例如，可以将多幅反射值图片按照物理世界的世界坐标系进行组织，并且利用相邻反射值图片之间的车道线的关系，对断开的车道线进行连接。

在框204，基于从相机采集的第二图片，获得道路的第二组车道线。例如，基于图1中相机图片库140中的相机图片(例如相机采集的图像，称为“第二图片”)，获得某段道路的车道线(基于相机图片生成的车道线称为“第二组车道线”)。应当理解，也可以在采集实体的采集过程中实时地提取第二组车道线，而不需要从相机图片库中获取。在一些实施例中，可以通过对相机图片145进行图片识别，来提取其中的车道线。任何现在已知的或者将来开发的图片识别方法可以与本公开结合使用来提取相机图片中的车道线。

在框206，基于第一组车道线和第二组车道线，确定道路的车道线集合。例如，通过融合通过反射值图片提取的第一组车道线和通过相机图片提取的第二组车道线，来确定最终的车道线。以下参考图4-6描述了基于两组车道线来确定最终的车道线的示例实现。因此，根据本公开的实施例的方法200能够使得提取到的最终的车道线更加准确且全面。

图3示出了根据本公开的实施例的用于训练车道线提取模型的方法300的流程图。应当理解，根据方法300所训练出的车道线提取模型可以用于实现以上参考图2所描述的方法200中的框202中的提取第一组车道线的操作。

在框302，获得通过激光雷达采集的点云生成的反射值图片集。例如，从图1所描述的反射值图片库130中获得反射值图片集。在框304，获得反射值图片集中的已标注的车道线。例如，针对已经获得反射值图片集，可以标注出(例如人工标注或者通过其他方法自动标注)其中的车道线样本。在框306，基于图片集和对应的已标注的车道线，训练车道线提取模型。可选地，可以通过全卷积神经网络进行训练，得到一个高精度的车道线提取模型。备选地，也可以利用其他的神经网络模型或者非神经网络模型来训练车道线提取模型。然后，可以使用经训练的车道线提取模型，基于反射值图片获得第一组车道线。

根据本公开的实施例的方法300，通过机器学习训练而生成的车道线提取模型可以无需人为设置特征集，并且通过大量的训练数据能够使得车道线提取更加准确。因此，本公开的实施例的方法300不仅能够提高车道线提取的准确性，而且能够提高车道线提取的效率。

图4示出了根据本公开的实施例的用于匹配两组车道线的方法400的流程图。应当理解，方法400可以为以上参考图2所描述的方法200中的框206的示例实现。

在方法400开始之前，可以将第一组车道线和第二组车道线转换成三维形式的车道线。在一些实施例中，可以基于第一图片中的每个像素的高度信息(z值)，利用反射值图片与世界坐标系之间的变换关系，将第一组车道线转换为三维的第一组车道线。在一些实施例中，可以基于对相机的标定或对应位置的第一图片中的每个像素的高度信息(例如，在第一图片中已经能够确定道路所处的高度)，将第二组车道线也转换为三维的第二组车道线。任何现在已知的或者将来开发的相机标定方法可以与本公开结合使用来将第二组车道线转换为三维形式的第二组车道线。

在框402，将三维的第一组车道线和三维的第二组车道线投影到道路所在的平面，以生成二维的第一组车道线和二维的第二组车道线。在框404，可以对二维的第二组车道线执行几何变换，其中几何变换包括旋转、平移等。由于三维的第二组车道线是从二维转换而来，因而潜在的矩阵变换误差和车道线本身的误差会导致第一组车道线和第二组车道线无法完全匹配。因此，可以对二维的第二组车道线执行几何变换，并且在框406，可以在二维的第一组车道线和经变换的二维的第二组车道线之间执行车道线的最大匹配。在一些实施例中，当针对同一道路的两组车道线的重合率最高时，可以认为这两组车道线最大匹配。

在框408，确定在经变换的二维的第二组车道线中存在的、在二维的第一组车道线中缺失的一条或多条车道线，并且通过组合二维的第一组车道线和一条或多条车道线，确定候选车道线集合。也就是说，可以以第一组车道线为基准，将第二组车道线进行一定范围的旋转和/或平移，当旋转或平移后的第二组车道线与第一组车道线最大程度匹配时，可以将此时的车道线合集作为候选车道线集合。在一些实施例中，也可以直接将两组车道线的并集直接确定为最终的车道线集合。

在框410，确定多组候选车道线集合，并且放在同一三维空间中进行优化，以获得最终的车道线集合。在一些实施例中，可以通过本公开的实施例的方法确定多段道路的多个车道线集合，并且将多个车道线集合转换为三维的多个车道线集合。然后，可以确定三维的多个车道线集合中的车道线的置信度，并且基于所述置信度，优化三维的多个车道线集合。例如，可以将空间临近(端点距离近)或在一条直线上应当连接的车道线进行处理，也可以将长度小于一定阈值的车道线进行去除，这样就可以得到最终的车道线。因此，本公开的实施例的方法400通过使用几何变换进行调整，并且使用最大匹配方法，能够将两组车道线最大程度匹配，由此获得更全面的车道线集合。

图5示出了根据本公开的实施例的用于匹配两组车道线的示意图500。如图5所示，针对某段导入，通过激光雷达采集的点云生成的反射值图片而提取的第一组车道线510包括车道线511、512、513、514以及515，通过相机图片提取的第二组车道线520包括车道线521、522、523以及524。接下来，将两组车道线进行匹配，得到候选车道线集合530，其中两组车道线能够基本上完全匹配。因而可以确定第一组车道线510即为最终的车道线集合540，其包括车道线511、512、513、514以及515。

图6示出了根据本公开的另一实施例的用于匹配两组车道线的另一示意图600。如图6所示，通过激光雷达采集的点云生成的反射值图片而提取的第一组车道线610包括车道线611、612以及613，通过相机图片提取的第二组车道线620包括车道线621、622以及623。由于两组车道线没有完全重合，可以固定第一组车道线，将第二组车道线向右平移。接下来，将两组车道线进行最大程度匹配，得到候选车道线集合630，其中两组车道线无法完全匹配，车道线613在第二组车道线620中缺失，车道线623在第一组车道线中缺失。在一些实施例中，可以以第一组车道线610为基准，将车道线623添加到第一组车道线610中，从而生成最终的车道线集合640，其包括来自第一组车道线610的车道线611、612和613以及来自第二组车道线620的车道线623。因此，对于反射值图片中车道线反射值比较弱而相机图片中可以看到车道线的情形，本公开的实施例也能够保证全面地提取到道路的车道线。

图7示出了根据本公开的实施例的用于提取车道线的装置700的框图。如图7所示，装置700包括第一车道线获得模块710、第二车道线获得模块720以及车道线确定模块730。第一车道线获得模块710被配置为基于从激光雷达采集的点云生成的第一图片，获得一段道路的第一组车道线。第二车道线获得模块720被配置为基于从相机采集的第二图片，获得道路的第二组车道线。车道线确定模块730被配置为基于第一组车道线和第二组车道线，确定道路的车道线集合。

在一些实施例中，其中第一车道线获得模块710包括：第一车道线提取模块，被配置为基于第一图片，使用车道线提取模型提取第一组车道线，其中车道线提取模型基于对图片集和图片集中的已标注的车道线的训练而被生成。

在一些实施例中，其中第一车道线获得模块710包括：多条车道线获得模块，被配置为基于从激光雷达采集的点云生成的多幅图片，获得多条车道线，多幅图片包括第一图片；以及第一优化模块，被配置为基于对多条车道线的优化，确定第一组车道线。

在一些实施例中，其中第一车道线获得模块710包括：第一转换模块，被配置为基于第一图片中的每个像素的高度信息，将第一组车道线转换为三维的第一组车道线。

在一些实施例中，其中第二车道线获得模块720包括：第二转换模块，被配置为基于对相机的标定或第一图片中的每个像素的高度信息，将第二组车道线转换为三维的第二组车道线。

在一些实施例中，其中车道线确定模块730包括：车道线投影模块，被配置为通过将三维的第一组车道线和三维的第二组车道线投影到道路所在的平面，生成二维的第一组车道线和二维的第二组车道线；以及第一匹配模块，被配置为通过匹配二维的第一组车道线和二维的第二组车道线中的车道线，确定车道线集合。

在一些实施例中，其中第一匹配模块包括：几何变换模块，被配置为对二维的第二组车道线执行几何变换，几何变换包括旋转和平移中的至少一项；以及第二匹配模块，被配置为通过匹配二维的第一组车道线和经变换的二维的第二组车道线中的车道线，确定车道线集合。

在一些实施例中，其中第二匹配模块包括：确定模块，被配置为确定在经变换的二维的第二组车道线中存在的、在二维的第一组车道线中缺失的一条或多条车道线；以及组合模块，被配置为通过组合二维的第一组车道线和一条或多条车道线，确定车道线集合。

在一些实施例中，装置700还包括：第二车道线确定模块，被配置为确定与道路有关的至少一段其他道路的至少一个其他车道线集合；三维转换模块，被配置为将车道线集合和至少一个其他车道线集合转换为三维的多个车道线集合；置信度确定模块，被配置为确定三维的多个车道线集合中的车道线的置信度；以及第二优化模块，被配置为基于置信度，优化三维的多个车道线集合。

应当理解，图7中所示出的第一车道线获得模块710、第二车道线获得模块720以及车道线确定模块730可以被包括在一个或多个电子设备中，也可以被包括在采集实体中。而且，应当理解，图7中所示出的模块可以执行参考本公开的实施例的方法或过程中的步骤或动作。

图8示出了可以用来实施本公开的实施例的示例设备800的示意性框图。应当理解，设备800可以用于实现本公开所描述的用于提取车道线的装置700。如图所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元801执行上文所描述的各个方法和过程，例如方法200、300和400。例如，在一些实施例中，方法200、300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由CPU 801执行时，可以执行上文描述的方法200、300和400的一个或多个动作或步骤。备选地，在其他实施例中，CPU801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200和/或方法300。

应当理解，根据本公开的实施例的采集实体110(诸如车辆或机器人等)可以包括根据图8所示出的设备800。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)，等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各动作或步骤，但是这应当理解为要求这样动作或步骤以所示出的特定次序或以顺序次序执行，或者要求所有图示的动作或步骤应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本公开的实施例，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种用于提取车道线的方法，包括：

基于从激光雷达采集的点云生成的第一图片，获得一段道路的第一组车道线；

基于从相机采集的第二图片，获得所述道路的第二组车道线；以及

基于所述第一组车道线和所述第二组车道线，确定所述道路的车道线集合，其中确定所述车道线集合包括：

通过将三维的第一组车道线和三维的第二组车道线投影到所述道路所在的平面，生成二维的第一组车道线和二维的第二组车道线；

对所述二维的第二组车道线执行几何变换，所述几何变换包括旋转和平移中的至少一项；

对所述二维的第一组车道线和经变换的所述二维的第二组车道线执行车道线的最大匹配；

基于所述最大匹配，确定在经变换的所述二维的第二组车道线中存在的、在所述二维的第一组车道线中缺失的一条或多条车道线；

组合所述二维的第一组车道线和所述一条或多条车道线，以确定候选车道线集合；以及

对包括所述候选车道线集合的多个候选车道线集合进行优化以获得最终的车道线集合，所述多个候选车道线集合中的至少一个其他候选车道线集合是针对与所述道路有关的至少一段其他道路的。

2.根据权利要求1所述的方法，其中获得所述第一组车道线包括：

基于所述第一图片，使用车道线提取模型提取所述第一组车道线，所述车道线提取模型基于对图片集和所述图片集中的已标注的车道线的训练而被生成。

3.根据权利要求1所述的方法，其中获得所述第一组车道线包括：

基于从所述激光雷达采集的点云生成的多幅图片，获得多条车道线，所述多幅图片包括所述第一图片；以及

基于对所述多条车道线的优化，确定所述第一组车道线。

4.根据权利要求1所述的方法，其中获得所述第一组车道线包括：

基于所述第一图片中的每个像素的高度信息，将所述第一组车道线转换为三维的第一组车道线。

5.根据权利要求1所述的方法，其中获得所述第二组车道线包括：

基于对所述相机的标定或所述第一图片中的每个像素的高度信息，将所述第二组车道线转换为三维的第二组车道线。

6.根据权利要求1-5中任一项所述的方法，其中对多个候选车道线集合进行优化包括：

确定与所述道路有关的所述至少一段其他道路的所述至少一个其他候选车道线集合；

将所述候选车道线集合和所述至少一个其他候选车道线集合转换为三维的多个候选车道线集合；

确定所述三维的多个候选车道线集合中的车道线的置信度；以及

基于所述置信度，优化所述三维的多个候选车道线集合。

7.一种用于提取车道线的装置，包括：

第一车道线获得模块，被配置为基于从激光雷达采集的点云生成的第一图片，获得一段道路的第一组车道线；

第二车道线获得模块，被配置为基于从相机采集的第二图片，获得所述道路的第二组车道线；以及

车道线确定模块，被配置为基于所述第一组车道线和所述第二组车道线，确定所述道路的车道线集合，其中所述车道线确定模块包括：

车道线投影模块，被配置为通过将三维的第一组车道线和三维的第二组车道线投影到所述道路所在的平面，生成二维的第一组车道线和二维的第二组车道线；

几何变换模块，被配置为对所述二维的第二组车道线执行几何变换，所述几何变换包括旋转和平移中的至少一项；

匹配模块，被配置为对所述二维的第一组车道线和经变换的所述二维的第二组车道线执行车道线的最大匹配；

确定模块，被配置为基于所述最大匹配，确定在经变换的所述二维的第二组车道线中存在的、在所述二维的第一组车道线中缺失的一条或多条车道线；

组合模块，被配置为组合所述二维的第一组车道线和所述一条或多条车道线，以确定候选车道线集合；以及

优化模块，被配置为对包括所述候选车道线集合的多个候选车道线集合进行优化以获得最终的车道线集合，所述多个候选车道线集合中的至少一个其他候选车道线集合是针对与所述道路有关的至少一段其他道路的。

8.根据权利要求7所述的装置，其中所述第一车道线获得模块包括：

第一车道线提取模块，被配置为基于所述第一图片，使用车道线提取模型提取所述第一组车道线，所述车道线提取模型基于对图片集和所述图片集中的已标注的车道线的训练而被生成。

9.根据权利要求7所述的装置，其中所述第一车道线获得模块包括：

多条车道线获得模块，被配置为基于从所述激光雷达采集的点云生成的多幅图片，获得多条车道线，所述多幅图片包括所述第一图片；以及

第一优化模块，被配置为基于对所述多条车道线的优化，确定所述第一组车道线。

10.根据权利要求7所述的装置，其中所述第一车道线获得模块包括：

第一转换模块，被配置为基于所述第一图片中的每个像素的高度信息，将所述第一组车道线转换为三维的第一组车道线。

11.根据权利要求7所述的装置，其中所述第二车道线获得模块包括：

第二转换模块，被配置为基于对所述相机的标定或所述第一图片中的每个像素的高度信息，将所述第二组车道线转换为三维的第二组车道线。

12.根据权利要求7-11中任一项所述的装置，其中所述优化模块包括：

第二车道线确定模块，被配置为确定与所述道路有关的所述至少一段其他道路的所述至少一个其他候选车道线集合；

三维转换模块，被配置为将所述候选车道线集合和所述至少一个其他候选车道线集合转换为三维的多个候选车道线集合；

置信度确定模块，被配置为确定所述三维的多个候选车道线集合中的车道线的置信度；以及

第二优化模块，被配置为基于所述置信度，优化所述三维的多个候选车道线集合。

13.一种电子设备，所述电子设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，所述一个或多个程序当被所述一个或多个处理器执行，使得所述电子设备实现根据权利要求1-6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-6中任一项所述的方法。

15.一种采集实体，其包括根据权利要求13所述的电子设备。

16.根据权利要求15所述的采集实体，其中所述采集实体为车辆。

Images