CN116311167A - 用于车道线融合的方法和装置 - Google Patents

Abstract

根据本公开的实施例，提供了用于车道线融合的方法、装置、设备和介质。该方法包括获取与第一传感器相关联的第一车道线信息和与第二传感器相关联的第二车道线信息；确定由第一车道线信息指示的第一组车道线与由参考车道线信息指示的一组参考车道线之间的第一匹配信息；确定由第二车道线信息指示的第二组车道线与由参考车道线信息指示的一组参考车道线之间的第二匹配信息；以及基于第一匹配信息和第二匹配信息，融合第一车道线信息和第二车道线信息。由此，可以提升特殊路段和车道线误检等情况下的车道线匹配成功率，提高全场景的车道线匹配的精度和鲁棒性。

Description

用于车道线融合的方法和装置

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于车道线融合的方法、装置、设备、计算机可读存储介质和计算机程序产品。

背景技术

随着汽车产业的发展，电动化和智能化已经成为潮流和趋势。高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)作为智能汽车的重要组成部分，可以基于多个传感器采集的自车周围的环境数据，进行动态、静态物体感知，从而预先进行危险报警或者行车控制。车道线检测技术作为ADAS的基础技术之一，是其中智能领航系统(Integrated adaptive cruise control，ICC)、车道偏离预警(Lane Departure Warning，LDW)、交通拥堵辅助(Traffic Jam Assist，TJA)和高速驾驶辅助(Highway Assist，HWA)等功能的核心。

发明内容

在本公开的第一方面，提供了一种车道线融合的方法。该方法包括：获取与第一传感器相关联的第一车道线信息和与第二传感器相关联的第二车道线信息；确定由第一车道线信息指示的第一组车道线与由参考车道线信息指示的一组参考车道线之间的第一匹配信息；确定由第二车道线信息指示的第二组车道线与由参考车道线信息指示的一组参考车道线之间的第二匹配信息；以及基于第一匹配信息和第二匹配信息，融合第一车道线信息和第二车道线信息。

在本公开的第二方面，提供了一种用于车道线融合的装置。该装置包括：获取模块，被配置为获取与第一传感器相关联的第一车道线信息和与第二传感器相关联的第二车道线信息；第一确定模块，被配置为确定由第一车道线信息指示的第一组车道线与由参考车道线信息指示的一组参考车道线之间的第一匹配信息；第二确定模块，被配置为确定由第二车道线信息指示的第二组车道线与由参考车道线信息指示的一组参考车道线之间的第二匹配信息；以及融合模块，被配置为基于第一匹配信息和第二匹配信息，融合第一车道线信息和第二车道线信息。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以实现第一方面的方法。

在本公开的第五方面，提供了一种计算机程序产品。该计算机程序产品包括计算机可执行指令，计算机可执行指令在被处理器执行时实现第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的车道线融合的过程的流程图；

图3示出了根据本公开的一些实施例的车道线融合的一个示例的示意图；

图4示出了根据本公开的一些实施例的正向匹配的过程的示意图；

图5示出了根据本公开的一些实施例的用于车道线融合的装置的框图；以及

图6示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

需要注意的是，本文中所提供的任何节/子节的标题并不是限制性的。本文通篇描述了各种实施例，并且任何类型的实施例都可以包括在任何节/子节下。此外，在任一节/子节中描述的实施例可以以任何方式与同一节/子节和/或不同节/子节中描述的任何其他实施例相结合。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

本公开的实施例中可能涉及用户的数据、数据的获取和/或使用等。这些方面均遵循相应的法律法规及相关规定。在本公开的实施例中，所有数据的采集、获取、处理、加工、转发、使用等，都是在用户知晓并且确认的前提下进行的。相应地，在实现本公开的各实施例时，均应根据相关法律法规通过适当的方式，将可能所涉及的数据或信息的类型、使用范围、使用场景等告知用户并获得用户的授权。具体的告知和/或授权方式可以根据实际情况和应用场景而变化，本公开的范围在此方面不受限制。

本说明书及实施例中所述方案，如涉及个人信息处理，则均会在具备合法性基础(例如征得个人信息主体同意，或者为履行合同所必需等)的前提下进行处理，且仅会在规定或者约定的范围内进行处理。用户拒绝处理基本功能所需必要信息以外的个人信息，不会影响用户使用基本功能。

如前文所简要提及的，车道线检测技术是ADAS的基础且重要的技术，提高基于多传感器检测的车道线匹配的精度，可以提高驾驶的安全性。

ADAS主要采用相机、激光雷达、毫米波雷达和超声波雷达等传感器采集自车周围的环境数据，但是这些传感器对车道线的感知有范围限制。例如，广角相机的视场(Fieldof View，FOV)在120°左右，横向(与行车方向垂直的方向)可以检测出所有车道线，纵向(与行车方向平行的方向)上可以保证检测到的车道线在距离自车0～60米范围内的精度。又例如，长焦相机的视场在30°左右，横向可以检测出靠近自车的2～3条车道线，纵向上可以保证检测到的车道线在20～120米范围内的精度。

由于ADAS的安全需求，为了保证在横向和纵向上的车道线检测精度，可以融合多个传感器的车道线检测结果，从而输出范围广、距离远的高精度车道线。为了融合利用多个传感器识别的车道线信息，首先要将车道线准确匹配，而后将其中属于同一目标的各传感器识别的车道线进行融合。一方面，匹配的精度受到道路场景复杂性以及车道线形态的多样性的影响。车道线具有非常复杂的参数(形态和属性)，例如，实线、虚线、双实线、网格线、黄色、白色，等等。并且，车道线还容易受到光线变化、汽车遮挡和道路磨损的影响。这些因素增大了车道线检测的挑战性。另一方面，匹配的精度受到传感器自身误差或检测误差的限制。例如，对于横向误差，一些车道线匹配技术，首先根据车道线的拟合参数，通过简单的等间距采样，计算车道线两两之间(例如利用传感器M识别出的一条车道线M1和利用传感器N识别出的一条车道线N1)的横向误差，然后采用简单的匹配算法(例如匈牙利算法)进行车道线匹配，让横向误差较小的两条车道线成功匹配。这种简单的匹配算法存在较多缺点，下文继续分析。

在上述匹配算法中，横向误差计算是根据车道线的拟合参数进行锚点采样，很可能引入拟合误差。例如，针对车道线M1和车道线N1在10～80米之间等间距采样10个锚点，然后计算二者在这10个锚点上的横向误差的均值，并将其作为二者的最终误差。这个过程参考的拟合参数，对于弯道或岔道这种道路场景，很可能出现拟合错误，从而导致二者的横向误差与实际有出入，进而导致错误匹配。

车道线匹配精度还会受到传感器自身误差的影响。例如，利用广角相机识别的车道线和利用长焦相机识别的车道线，在分别投影至自车坐标系后，理论上，利用不同传感器识别的属于同一实际车道线的车道线应该重叠。但由于相机存在内参误差和外参误差，导致利用不同传感器识别的属于同一实际车道线的结果有明显的横向误差。特别是行驶中的车辆的抖动会增大内外参误差，从而增大了车道线匹配错误的概率。

只考虑横向误差的车道线匹配技术，也容易导致错误匹配。例如，由于车道线形态的多样性，可能存在旧车道线(油漆已经被抹去，但残留有车道线痕迹)或者道路裂痕被误检为一小段车道线，并且参与匹配后，由于其与其它传感器的车道线的横向误差更小，从而被成功匹配。然而，车道线较长但横向误差稍高一点的真实车道线反而匹配错误。参考前面的信息，首先，由于存在投影误差，所以这里的横向误差不能完全反映车道线之间在现实世界中的误差。其次，进行车道线匹配时实际需要的是长距离的精准车道线，这种一小段的短距离的车道线不符合预期，所以简单的仅采用横向误差作为匹配参考值也容易导致错误匹配。

综上所述，由于传感器的限制、道路场景复杂性以及车道线形态的多样性，简单的横向误差匹配可能导致车道线匹配精度低、匹配准确率低，由此可能导致严重的交通事故。

本公开的实施例提出了一种用于车道线融合的方案。基于参考车道线信息的多传感器间车道线鲁棒匹配方法，可以解决现有技术在弯道、岔道以及小段车道线误检等情况下的匹配失败问题，同时在其它任意场景中，相比现有技术具有更高的匹配精度和鲁棒性。根据本公开的各种实施例，获取与第一传感器相关联的第一车道线信息和与第二传感器相关联的第二车道线信息。确定由第一车道线信息指示的第一组车道线与由参考车道线信息指示的一组参考车道线之间的第一匹配信息。确定由第二车道线信息指示的第二组车道线与由参考车道线信息指示的一组参考车道线之间的第二匹配信息。基于第一匹配信息和第二匹配信息，融合第一车道线信息和第二车道线信息。

在本公开的实施例中，将多个传感器检测的车道线信息分别与参考车道线信息进行匹配，再将匹配的车道线信息进行融合。以此方式，可以提升特殊路段和车道线误检等情况下的车道线匹配成功率，提高全场景的车道线匹配精度和鲁棒性。

示例环境

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。在环境100中，电子设备120接收车道线信息110，以对多组车道线进行匹配和融合，输出车道线融合结果130。

车道线信息110来自车辆101上搭配的多个传感器102对自车周围环境数据的采集。根据传感器102的类型，采集的车道线信息包括但不限于车道线的数量、位置、线形、尺寸、颜色、纹理，等等。传感器102可以是能够检测车道线的任何适当的传感器，包括但不限于相机、毫米波雷达、激光雷达、超声波雷达，等等。尽管在图1中车道线信息110示出为通过相机采集的二维图像信息，但应当理解，车道线信息110也可以是通过激光雷达采集的三维点云信息，车道线信息的来源和格式仅仅是示例性的，不暗示对本公开的范围的任何限制。传感器102可以安装在车辆101中，也可以作为独立的设备放置在车辆101内。

电子设备120可以将车道线融合结果130以鸟瞰图(Bird's Eye View，BEV)的样式呈现在显示终端。电子设备120还可以将车道线融合结果130存储为参考车道线信息，以作为多组车道线进行匹配时的参考。

电子设备120可以是任何类型的具有计算能力的设备，包括终端设备或服务端设备。例如，电子设备120是终端设备，集成在车辆101的车机中，也可以与车辆101分离。终端设备可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。又例如，电子设备是服务端设备。服务端设备可以包括计算系统/服务器，诸如大型计算机、边缘节点、云环境中的计算设备，等等。在一些实施例中，电子设备120的一部分位于云端，在云端的部分与在车辆101内的部分可以无线的方式通信。

车辆101可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、房车、火车，等等。在一些情况下，车辆101可以是集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，这样的车辆也被称为智能汽车。进一步地，车辆101可以是自动驾驶车辆。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。

图2示出了根据本公开的一些实施例的用于车道线融合的过程200的流程图。过程200可以实现在环境100中，例如由电子设备120来实现。

如图2所示，在框210，电子设备120获取第一车道线信息和第二车道线信息。示例性地，为了生成车道线融合结果130，电子设备120可以获取车道线信息110，其可以包括多种车道线信息，例如利用不同传感器采集的不同车道线信息。

图3示出了根据本公开的一些实施例的车道线融合的示例300的示意图。在图3的示例中，第一车道线信息为通过传感器301(也称为第一传感器)采集的车道线信息310。第二车道线信息为通过传感器302(也称为第二传感器)采集的车道线信息320。在一些实施例中，车辆101搭载多个可检测车道线的传感器，电子设备120可以根据场景自动地或被指定地从中选择第一传感器和第二传感器。例如，在白天的道路场景，电子设备120选择第一传感器为广角相机，并选择第二传感器为长焦相机，从而获得包含丰富信息(例如纹理或颜色)的车道线图像。又例如，在夜晚的道路场景，电子设备120选择第一传感器为激光雷达，并选择第二传感器为毫米波雷达，从而提高对光线和阴影的抗干扰能力。在一些实施例中，电子设备120也可以基于可检测车道线的全部传感器采集的车道线信息生成车道线融合结果130。为简化描述，下文仍以分别利用两个传感器采集的第一车道线信息和第二车道线信息为例进行描述。

在框220，电子设备120确定由第一车道线信息指示的第一组车道线与由参考车道线信息指示的一组参考车道线之间的第一匹配信息。

在图3的示例中，传感器301例如为相机，采集的图像包含车道线信息310。电子设备120接收传感器301采集的图像，并从图像中包含的车道线信息310中检测到一组车道线311。一组车道线311包括车道线A1、车道线A2、车道线A3以及车道线A4。电子设备120根据相机的外参和内参进行矩阵变换，以将检测到的车道线A1至车道线A4投影至预定的坐标系(例如，以BEV视角投影至自车坐标系)。应当理解，对于不同类型的传感器，电子设备120可以利用任何已知的或将来开发的技术进行矩阵变换，从而将检测到的车道线投影到预定的坐标系。

为了获得匹配信息，电子设备120从参考车道线信息330中检测出一组参考车道线331。一组参考车道线331包括车道线R1、车道线R2、车道线R3以及车道线R4。进一步地，电子设备120将车道线R1至车道线R4投影至同一坐标系，例如，自车坐标系。在同一坐标系下，电子设备120将车道线A1至车道线A4与车道线R1至车道线R4进行比较，计算车道线两两之间的误差，从而确定匹配信息303(也称为第一匹配信息)。匹配信息303包括两组车道线中全部车道线对(例如，一组车道线311中的一条车道线与一组参考车道线331中的一条车道线构成车道线对)之间的误差值、是否存在匹配的车道线对，等等。

在一些实施例中，为了确定检测的车道线与参考车道线是否匹配，电子设备120首先确定各车道线的车道线点。在进行车道线两两比较时，电子设备120分别计算对应的车道线点之间的横向误差，从而确定车道线之间是否匹配。继续图3的示例，电子设备120在将车道线A1和车道线R1进行比较时，首先进行车道线点提取，例如等间距提取多个车道线点。而后，将车道线A1上的车道线点的像素坐标与车道线R1上对应的车道线点的像素坐标进行比较，基于车道线点对(例如，一条车道线上的线点与另一条车道线上的线点，两者之间具有相同的横坐标或纵坐标)之间的误差的大小，确定车道线A1和车道线R1是否匹配。以此类推，电子设备120依次确定一组车道线311与一组参考车道线331之间是否存在匹配的车道线。在一些实施例中，电子设备120可以非等间距提取多个车道线点。例如，在靠近车辆的范围内提取较多的车道线点，而在远离车辆的范围内提取较少的车道线点。

在一些实施例中，电子设备120基于多个车道线点对之间的横向距离(也称为横向误差)确定车道线对是否匹配。继续图3的示例，以自车坐标系为例，车辆的位置为原点，行进方向为Y轴，与行进方向垂直的方向为X轴(即横向)。电子设备120在Y轴上等间距取多个锚点，并分别计算车道线A1和车道线R1上与这些锚点对应的车道线点的横坐标。如果对应的车道线点的横向距离均小于阈值，则车道线A1和车道线R1成功匹配。附加地或备选地，电子设备120可以根据车道线的线宽确定车道线的中心线，并基于车道线对的中心线确定车道线点对的横向距离。附加地或备选地，电子设备120可以根据车道线的线宽确定车道线的左边线和右边线，进而基于车道线对的左边线和/或右边线确定车道线点对的横向距离。

继续参考图2，在框230，电子设备120确定由第二车道线信息指示的第二组车道线与由参考车道线信息指示的一组参考车道线之间的第二匹配信息。

在图3的示例中，传感器302例如为相机，采集的图像包含车道线信息320。电子设备120接收传感器302采集的图像，并从图像包含的车道线信息320中检测到一组车道线321。一组车道线321包括车道线B1、车道线B2、车道线B3以及车道线B4。电子设备120根据相机的外参和内参进行矩阵变换，以将检测到的车道线B1至车道线B4投影至与参考车道线R1至车道线R4相同的坐标系。在同一坐标系下，电子设备120将车道线B1至车道线B4与车道线R1至车道线R4进行比较，计算车道线两两之间的误差，从而确定匹配信息304(也称为第二匹配信息)。关于如何确定检测的车道线与参考车道线是否匹配，可以参考上文的描述，此处不再赘述。

根据本公开的各个实施例，电子设备120在确定第一组车道线与第二组车道线中是否存在匹配的车道线时，首先将两者分别与同一组参考车道线进行比较，再间接地确定两者是否匹配。在一些情况下，进行比较的车道线组可能具有不同的距离范围，进而导致车道线对可能具有不同的长度。例如，在图3的示例中，车道线A1与车道线R1具有不同的长度。在一些实施例中，电子设备120基于第一车道线信息确定车道线到车辆的距离范围，并基于第二车道线信息确定车道线到车辆的距离范围。进一步地，基于两者的公共范围确定各车道线的车道线点。以此方式，可以降低计算量，提高匹配的效率。例如，在图3的示例中，车道线信息310对应的距离范围为0～60米，车道线信息320对应的距离范围为10～30米，则公共范围为10～30米。

附加地或备选地，电子设备120可以进一步基于感兴趣区域(Region ofInterest，ROI)的范围确定公共范围。例如，车道线信息310对应的距离范围为0～60米，车道线信息320对应的距离范围为20～120米，ROI范围为20～50米，则公共范围为20～50米。

电子设备120在确定车道线对是否匹配时，首先在每条车道线上确定采样车道线点，再将对应的采样车道线点进行比较。在一些情况下，车道线信息中仅包含利用传感器识别的对应车道线的一组离散的车道线点。电子设备120可以将这些离散的车道线点拟合为一条车道线。进而，电子设备120在拟合的车道线上等间距采样，将采样的点作为采样车道线点来计算车道线对之间的横向误差。

在一些实施例中，电子设备120利用插值算法确定车道线对之间的横向误差，以避免引入拟合车道线而产生的误差。以此方式，针对岔道、弯道等复杂道路场景，可以更加准确地计算车道线之间的横向误差，从而提高车道线匹配的准确率。具体地，电子设备120确定针对公共范围的一组采样车道线点的数目、采样位置，并确定利用传感器识别的车道线点中是否存在与采样车道线点的位置对应的点。如果存在这样的点，电子设备120将该点确定为采样车道线点。如果不存在这样的点，电子设备120在位置最接近的两个车道线点之间进行插值以确定位置对应的点。附加地或备选地，电子设备120利用线性插值算法确定采样车道线点，即，利用位置最接近的两个车道线点之间的直线确定与采样车道线点的位置对应的点。电子设备120也可以利用其他插值算法，例如抛物线插值算法。以此方式，可以避免引入拟合误差，从而提高车道线匹配的精度。

如上文所述的，车道线对之间的匹配误差包括横向误差和纵向误差(也称为长度误差)。在一些实施例中，为了进一步提高车道线匹配的精度，电子设备120基于长度差异和横向距离共同确定车道线对的匹配关系。以此方式，可以解决因为路面磨损或者旧车道线导致的小段车道线误匹配的问题。继续图3的示例，电子设备120确定一组车道线311中每条车道线的长度以及一组参考车道线331中每条车道线的长度。例如，电子设备120在判断车道线A1和车道线R1是否匹配时，基于两者之间的长度差异和横向距离差异来确定。

在一些实施例中，在确定车道线对之间的纵向误差时，如果利用传感器识别的车道线的长度大于或等于参考车道线长度，电子设备120将纵向误差确定为预设值，例如0。如果利用传感器识别的车道线的长度小于参考车道线长度，电子设备120将两者之间的长度差值确定为纵向误差。进而，电子设备120基于纵向误差和横向误差确定车道线对的匹配关系。

在一些实施例中，电子设备120首先确定车道线对的横向误差和纵向误差，并分别对两者进行归一化处理后再求和。进而，电子设备120基于归一化求和后的误差确定车道线对的匹配关系。

在一些实施例中，电子设备120基于车道线对的横向误差、纵向误差、预设的横向误差权重以及预设的纵向误差权重确定车道线对之间的整体误差。进而，电子设备120基于整体误差确定车道线对的匹配关系。

以上对如何确定车道线对的匹配关系进行了描述。在一些实施例中，为了进一步提高匹配精度，电子设备120采用双向匹配策略确定车道线对是否匹配。具体地，电子设备120确定从一组参考车道线到利用传感器识别的一组车道线的匹配关系(也称为正向匹配关系)，并确定从利用传感器识别的一组车道线到一组参考车道线的匹配关系(也称为反向匹配关系)。进而，电子设备120基于正向匹配关系和反向匹配关系确定两者之间的匹配信息。

图4示出了根据本公开的一些实施例的正向匹配的过程400的示意图。参考图3的示例对过程400进行描述。电子设备120将一组车道线311与一组参考车道线331进行误差计算，获得误差矩阵M_AR。电子设备120将一组车道线321与一组参考车道线331进行误差计算，获得误差矩阵M_BR。误差矩阵M_AR和误差矩阵M_BR均包含横向误差和纵向误差。

以对误差矩阵M_AR应用正向匹配算法为例，在过程400中，首先从误差矩阵M_AR的第1行和第1列开始步进计算，如果当前行号i小于矩阵的行数，继续判断当前列号j是否小于矩阵的列数，进而判断对应的误差值R(i，j)是否小于预设的阈值。基于第1列中的每一个误差值确定匹配结果后，再对下一行进行计算。电子设备120在完成遍历计算后，最终输出一组车道线311与一组参考车道线331的匹配结果，从而确定两者之间匹配关系。

附加地或备选地，对误差矩阵应用反向匹配算法时，电子设备120可以将先误差矩阵进行行列转换，在参考正向匹配的过程进行计算。正向匹配输出的匹配结果与反向匹配输出的匹配结果应该一致。例如，正向匹配时，车道线R1与车道线A1成功匹配；反向匹配时，车道线A1与车道线R1成功匹配，则电子设备120确定两者匹配成功。如果正向匹配或反向匹配不成功，则电子设备120确定两者匹配失败。以此方式，可以提高车道线匹配的准确率。

对误差矩阵M_BR应用双向匹配的过程可以参考上述实施例。由此，电子设备120基于一组参考车道线确定了第一组车道线和第二组车道线是否匹配，即，如果第一组车道线与一组参考车道线匹配，第二组车道线也与该组参考车道线匹配，则第一组车道线和第二组车道线间接成功匹配。以此方式，可以相对于第一组车道线和第二组车道线直接匹配提高精度。

返回图2的示例，基于上述各个实施例确定的匹配结果，在框240，电子设备120基于匹配结果，融合第一车道线信息和第二车道线信息。继续图3的示例，如果车道线A1与车道线R1匹配成功，车道线B2与车道线R1匹配成功，则说明书车道线A1和车道线B2是同一条车道线，电子设备120赋予两者相同的标签，从而进行车道线融合，生成当前帧的车道线融合结果130。

在一些实施例中，电子设备120将第一车道线的一部分与第二车道线的一部分进行融合。例如，对于匹配的车道线对，电子设备10对两者进行融合。对于不匹配的车道线，例如利用第二传感器识别到距离车辆最远的一条车道线，而利用第一传感器并未识别到，则电子设备120可以进行车道线合并。以此方式，电子设备120生成当前帧的车道线融合结果130，既提高了车道线的匹配精度，又保证了车道线信息的丰富性。

电子设备120可以对不同的车道线参数或不同的道路场景，采用不同的融合策略。例如，对于匹配的两条车道线，电子设备120可以对位置(像素坐标)取平均值后再融合为一条车道线。又例如，可以基于传感器的精度确定利用其识别的车道线的位置权重，电子设备120基于匹配的两条车道线的位置及其对应的权重确定融合后车道线的位置。再例如，在夜晚的道路场景，利用激光雷达识别的车道线的位置权重大于利用相机识别的车道线的位置权重。电子设备120基于当前场景确定匹配的两条车道线对应的权重，进而确定融合后的车道线的位置。具体的融合方式仅是示例性的，而无意限制本公开的范围。

在一些实施例中，电子设备120将在第一时刻采集的传感器数据所确定的历史车道线信息作为参考车道信息，并将在第一时刻后的第二时刻采集的第一车道线信息和第二车道线信息分别与参考车道信息进行匹配，从而间接确定第一车道线和第二车道线的匹配结果。将历史车道线信息作为参考车道线信息进行匹配的方案，在路口场景或个别传感器漏检的情况下，仍然能保证利用其他传感器识别的车道线信息和参考道线信息成功关联，从而持续输出车道线融合结果。例如，在第一时刻，电子设备120确定并存储了参考车道信息。在第二时刻，电子设备利用广角相机采集第一车道线信息，但是利用长焦相机没有采集到第二车道线信息。电子设备120基于第一车道线信息和参考车道线信息确定匹配信息，进而仅基于该匹配信息输出车道线匹配结果。为了保证第二时刻的车道线信息与第一时刻的参考车道线信息包括尽可能多的相同场景，从而提高匹配的成功率，第二时刻与第一时刻之间的差异应该小于预设阈值。

附加地或备选地，电子设备120可以基于传感器采集信息的速度和/或电子设备120的处理速度调整第二时刻与第一时刻之间的差异。例如，相机采集一帧图像的时间为1/60秒，则第二时刻与第一时刻之间的差异可以为1/60秒的倍数。附加地或备选地，电子设备120还可以基于当前的车速动态调整预设阈值。例如，在车速较慢时，视场内场景变化较小，预设阈值可以较大。

在一些实施例中，电子设备120基于车道线融合结果130更新历史车道线信息，从而将其作为下一时刻的参考车道线信息。

综上所述，根据本公开的各个实施例，电子设备120可以利用插值算法计算车道线对的横向误差，从而提高岔道或弯道等复杂道路场景的车道线匹配的准确率。电子设备120还可以计算车道线对的纵向误差，从而解决因为路面磨损或旧车道线导致的小段车道线误匹配的问题。进一步地，电子设备120还可以基于历史车道线信息对利用不同传感器识别的车道线信息进行间接匹配，从而在路口场景或个别传感器漏检的情况下依旧保证持续输出车道线匹配结果。除以上优势外，本公开的各个实施例还可以在其他的道路场景中更加稳定和准确地进行车道线匹配，从而提高全场景的车道线匹配的精度和鲁棒性。

示例装置和设备

图5示出了根据本公开的某些实施例的用于自动驾驶的装置500的示意性结构框图。装置500可以被实现为或者被包括在电子设备120中。装置500中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置500包括获取模块510，被配置为获取与第一传感器相关联的第一车道线信息和与第二传感器相关联的第二车道线信息。装置500还包括第一确定模块520，被配置为确定由第一车道线信息指示的第一组车道线与由参考车道线信息指示的一组参考车道线之间的第一匹配信息。装置500还包括第二确定模块530，被配置为确定由第二车道线信息指示的第二组车道线与由参考车道线信息指示的一组参考车道线之间的第二匹配信息。装置500还包括融合模块540，被配置为基于第一匹配信息和第二匹配信息，融合第一车道线信息和第二车道线信息。

在一些实施例中，第一确定模块520被配置为：基于第一车道线信息，确定指示第一组车道线中的第一车道线的第一组车道线点；基于参考车道线信息，确定指示一组参考车道线中的参考车道线的参考车道线点；以及基于第一组车道线点与第二组车道线点之间的距离，确定第一车道线和参考车道线之间的匹配关系。

在一些实施例中，第一确定模块520进一步被配置为：基于第一车道线信息，确定第一车道线到车辆的第一距离范围；基于第二车道线信息，确定至少一个第三车道线到车辆的第二距离范围；确定第一距离范围和第二距离范围的公共范围；以及基于第一车道线信息，确定针对公共范围的一组采样车道线点，以作为第一组车道线点。

在一些实施例中，第一确定模块520进一步被配置为：确定待采样的一组采样车道线点的数目；基于数目和公共范围，确定用于采样一组采样车道线点的一组采样位置；响应于在一组采样位置处存在利用第一传感器识别的车道线点，将利用第一传感器识别的车道线点确定为对应的采样车道线点；以及响应于在一组采样位置处不存在利用第一传感器识别的车道线点，基于第一车道线信息并利用插值算法确定对应的采样车道线点。

在一些实施例中，第一确定模块520进一步被配置为：基于第一车道线信息，确定第一车道线的第一长度；基于参考车道线信息，确定参考车道线的第二长度；确定第一长度与第二长度的长度差异；以及基于长度差异和距离，确定第一车道线和参考车道线之间的匹配关系。

在一些实施例中，第一确定模块520进一步被配置为：响应于长度差异指示第一长度大于或等于第二长度，将长度误差确定为预设值；响应于长度差异指示第一长度小于第二长度，将长度差异确定作为长度误差；以及基于长度误差和距离，确定第一车道线和参考车道线之间的匹配关系。

在一些实施例中，第一确定模块520进一步被配置为：确定第一组车道线到一组参考车道线的第一匹配关系，第一匹配关系指示一组参考车道线中与第一组车道线中的给定车道线匹配的至多一个参考车道线；确定第一组参考车道线到第一组车道线的第二匹配关系，第二匹配关系指示第一组车道线中与一组参考车道线中的给定参考车道线匹配的至多一个车道线；以及基于第一匹配关系和第二匹配关系，确定第一组车道线与一组参考车道线之间的第一匹配信息。

在一些实施例中，融合模块540被配置为：基于第一匹配信息确定第一组车道线中的第一车道线与由参考车道线信息指示的目标参考车道线匹配；基于第二匹配信息确定第二组车道线中的第二车道线与目标参考车道线匹配；确定第一车道线与第二车道线匹配；以及融合第一车道线信息中针对第一车道线的第一部分以及第二车道线信息中针对第二车道线的第二部分。

在一些实施例中，参考车道线信息包括基于第一时刻采集的传感器数据所确定的历史车道线信息，第一车道线信息和第二车道线信息对应于第二时刻，第二时刻晚于第一时刻，并且第二时刻与第一时刻之间的差异小于预设阈值。

在一些实施例中，装置500还包括更新模块，被配置为基于第一车道线信息和第二车道线信息的融合结果，更新历史车道线信息。

图6示出了示出了其中可以实施本公开的一个或多个实施例的电子设备600的框图。应当理解，图6所示出的电子设备600仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图6所示出的电子设备600可以用于实现图1的电子设备120。电子设备600可以包括或被实现为图5的装置500。

如图6所示，电子设备600是通用电子设备的形式。电子设备600的组件可以包括但不限于一个或多个处理器或处理单元610、存储器620、存储设备630、一个或多个通信单元640、一个或多个输入设备650以及一个或多个输出设备660。处理单元610可以是实际或虚拟处理器并且能够根据存储器620中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备600的并行处理能力。

电子设备600通常包括多个计算机存储介质。这样的介质可以是电子设备600可访问的任何可以获取的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器620可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备630可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备600内被访问。

电子设备600可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图6中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器620可以包括计算机程序产品625，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元640实现通过通信介质与其他电子设备进行通信。附加地，电子设备600的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备600可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备650可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备660可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备600还可以根据需要通过通信单元640与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备600交互的设备进行通信，或者与使得电子设备600与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (14)

1.一种车道线融合的方法，包括：

获取与第一传感器相关联的第一车道线信息和与第二传感器相关联的第二车道线信息；

确定由所述第一车道线信息指示的第一组车道线与由所述参考车道线信息指示的一组参考车道线之间的第一匹配信息；

确定由所述第二车道线信息指示的第二组车道线与由所述参考车道线信息指示的所述一组参考车道线之间的第二匹配信息；以及

基于所述第一匹配信息和所述第二匹配信息，融合所述第一车道线信息和所述第二车道线信息。

2.根据权利要求1所述的方法，其中确定第一组车道线与一组参考车道线之间的第一匹配信息包括：

基于所述第一车道线信息，确定指示所述第一组车道线中的第一车道线的第一组车道线点；

基于所述参考车道线信息，确定指示所述一组参考车道线中的参考车道线的参考车道线点；以及

基于所述第一组车道线点与所述第二组车道线点之间的距离，确定所述第一车道线和所述参考车道线之间的匹配关系。

3.根据权利要求2所述的方法，其中确定指示所述第一组车道线中的第一车道线的第一组车道线点包括：

基于所述第一车道线信息，确定所述第一车道线到车辆的第一距离范围；

基于所述第二车道线信息，确定至少一个第三车道线到所述车辆的第二距离范围；

确定所述第一距离范围和所述第二距离范围的公共范围；以及

基于所述第一车道线信息，确定针对所述公共范围的一组采样车道线点，以作为所述第一组车道线点。

4.根据权利要求3所述的方法，其中确定针对所述公共范围的一组采样车道线点包括：

确定待采样的一组采样车道线点的数目；

基于所述数目和所述公共范围，确定用于采样所述一组采样车道线点的一组采样位置；

响应于在所述一组采样位置处存在利用所述第一传感器识别的车道线点，将利用所述第一传感器识别的所述车道线点确定为对应的采样车道线点；以及

响应于在所述一组采样位置处不存在利用所述第一传感器识别的车道线点，基于所述第一车道线信息并利用插值算法确定对应的采样车道线点。

5.根据权利要求2所述的方法，其中确定所述第一车道线和所述参考车道线之间的匹配关系包括：

基于所述第一车道线信息，确定所述第一车道线的第一长度；

基于所述参考车道线信息，确定所述参考车道线的第二长度；

确定所述第一长度与所述第二长度的长度差异；以及

基于所述长度差异和所述距离，确定所述第一车道线和所述参考车道线之间的匹配关系。

6.根据权利要求5所述的方法，其中基于所述长度差异和所述距离确定所述第一车道线和所述参考车道线之间的匹配关系包括：

响应于所述长度差异指示所述第一长度大于或等于所述第二长度，将长度误差确定为预设值；

响应于所述长度差异指示所述第一长度小于所述第二长度，将所述长度差异确定作为所述长度误差；以及

基于所述长度误差和所述距离，确定所述第一车道线和所述参考车道线之间的匹配关系。

7.根据权利要求1所述的方法，其中确定所述第一组车道线与所述一组参考车道线之间的第一匹配信息包括：

确定所述第一组车道线到所述一组参考车道线的第一匹配关系，所述第一匹配关系指示所述一组参考车道线中与所述第一组车道线中的给定车道线匹配的至多一个参考车道线；

确定所述第一组参考车道线到所述第一组车道线的第二匹配关系，所述第二匹配关系指示所述第一组车道线中与所述一组参考车道线中的给定参考车道线匹配的至多一个车道线；以及

基于所述第一匹配关系和所述第二匹配关系，确定所述第一组车道线与所述一组参考车道线之间的所述第一匹配信息。

8.根据权利要求1所述的方法，其中融合所述第一车道线信息和所述第二车道线信息包括：

基于所述第一匹配信息确定所述第一组车道线中的第一车道线与由所述参考车道线信息指示的目标参考车道线匹配；

基于所述第二匹配信息确定所述第二组车道线中的第二车道线与所述目标参考车道线匹配；

确定所述第一车道线与所述第二车道线匹配；以及

融合所述第一车道线信息中针对所述第一车道线的第一部分以及所述第二车道线信息中针对所述第二车道线的第二部分。

9.根据权利要求1所述的方法，其中所述参考车道线信息包括基于第一时刻采集的传感器数据所确定的历史车道线信息，所述第一车道线信息和所述第二车道线信息对应于第二时刻，所述第二时刻晚于所述第一时刻，并且所述第二时刻与所述第一时刻之间的差异小于预设阈值。

10.根据权利要求9所述的方法，还包括：

基于所述第一车道线信息和所述第二车道线信息的融合结果，更新所述历史车道线信息。

11.一种用于车道线融合的装置，包括：

获取模块，被配置为获取与第一传感器相关联的第一车道线信息和与第二传感器相关联的第二车道线信息；

第一确定模块，被配置为确定由所述第一车道线信息指示的第一组车道线与由所述参考车道线信息指示的一组参考车道线之间的第一匹配信息；

第二确定模块，被配置为确定由所述第二车道线信息指示的第二组车道线与由所述参考车道线信息指示的所述一组参考车道线之间的第二匹配信息；以及

融合模块，被配置为基于所述第一匹配信息和所述第二匹配信息，融合所述第一车道线信息和所述第二车道线信息。

12.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可由处理器执行以实现根据权利要求1至10中任一项所述的方法。

14.一种计算机程序产品，包括计算机可执行指令，其中所述计算机可执行指令在被处理器执行时实现根据权利要求1至10中任一项所述的方法。

Images