CN116563319A - 自车真值系统中的车道边界的生成方法及设备 - Google Patents

自车真值系统中的车道边界的生成方法及设备 Download PDF

Info

Publication number
CN116563319A
CN116563319A CN202210113247.9A CN202210113247A CN116563319A CN 116563319 A CN116563319 A CN 116563319A CN 202210113247 A CN202210113247 A CN 202210113247A CN 116563319 A CN116563319 A CN 116563319A
Authority
CN
China
Prior art keywords
lane
point
missing
lane boundary
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210113247.9A
Other languages
English (en)
Inventor
金圣韬
汪守宇
张赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN202210113247.9A priority Critical patent/CN116563319A/zh
Priority to PCT/EP2022/087905 priority patent/WO2023143850A1/en
Publication of CN116563319A publication Critical patent/CN116563319A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种自车真值系统中的车道边界的生成方法，所述方法包括：基于所接收的离线测量数据，生成车道边界；基于所述车道边界中的有效点的位置，预测所述车道边界中的缺失点的位置；以及基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。本发明还涉及一种自车真值系统中的车道边界的生成设备、计算机存储介质以及计算机程序产品。

Description

自车真值系统中的车道边界的生成方法及设备
技术领域
本发明涉及车道边界的生成领域，更具体地，涉及一种自车真值系统中的车道边界的生成方法及设备、计算机存储介质以及计算机程序产品。
背景技术
在研发智能驾驶辅助功能(例如ADAS车道安全功能)时，通常需要自车真值系统(ground truth system)来验证该驾驶辅助功能的性能。举例来说，该自车真值系统可用于将摄像头传感器(例如MPC3摄像头)所获得的视频线以及车辆运动数据一起投影，然后缝合/重新采样视频线点以生成“全局地图”。
该自车真值系统是伪真值系统(伪地面实况，pseudo ground truth)，其通过各种数据(如传感器数据)离线创建，从而用于车道边界跟踪。但是，这样的伪真值系统可能会存在车道边界缺失等问题。
发明内容
根据本发明的一方面，提供了一种自车真值系统中的车道边界的生成方法，所述方法包括：(步骤A)基于所接收的离线测量数据，生成车道边界；(步骤B)基于所述车道边界中的有效点的位置，预测所述车道边界中的缺失点的位置；以及(步骤C)基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。
作为上述方案的补充或替换，上述方法还包括：根据所述离线测量数据与预设阈值的比较来产生掩模。
作为上述方案的补充或替换，在上述方法中，步骤B包括：定位所述车道边界中的缺失点；通过前向过程遍历和后向过程遍历分别获得前向预测结果和后向预测结果；以及对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置。
作为上述方案的补充或替换，在上述方法中，所述前向过程遍历或所述后向过程遍历包括：测量更新步骤：根据所述车道边界的第一边上在所述缺失点之前的第一有效点l_missing_prev、在所述车道边界的第二边上与所述缺失点相对的第二有效点r_exist_current以及在所述车道边界的第二边上所述第二有效点之前的第三有效点r_exist_prev，确定在所述第一边上的所述缺失点的第一位置l_missing_current1；预测步骤：根据所述第一有效点l_missing_prev以及在所述第一边上所述第一有效点之前的第四有效点l_missing_prev_prev来确定在所述第一边上的所述缺失点的第二位置l_missing_current2；以及融合步骤：通过对所述第一位置和所述第二位置进行加权来确定所述前向预测结果或所述后向预测结果。
作为上述方案的补充或替换，在上述方法中，所述缺失点的第一位置l_missing_current1根据如下公式确定：l_missiong_current1＝l_missing_prev+r_exist_current-r_exist_prev。
作为上述方案的补充或替换，在上述方法中，所述缺失点的第二位置l_missing_current2根据如下公式确定：l_missiong_current2＝l_missing_prev+(l_missing_prev-l_missing_prev_prev)。
作为上述方案的补充或替换，在上述方法中，对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置包括：将所述前向预测结果或所述后向预测结果作为所述缺失点的位置。
作为上述方案的补充或替换，在上述方法中，所述车道约束条件包括车道宽度约束条件以及平滑约束条件。
作为上述方案的补充或替换，在上述方法中，步骤C包括：根据所述车道宽度约束条件来校正所述车道边界；以及根据所述平滑约束条件对所校正的车道边界进行平滑。
作为上述方案的补充或替换，在上述方法中，根据所述车道宽度约束条件来校正所述车道边界包括：创建滑窗；计算在所述滑窗内所述车道边界的平均宽度；以及基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正。
作为上述方案的补充或替换，在上述方法中，基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正包括：在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围内时，确定所述车道边界无需校正；否则校正所述车道边界。
作为上述方案的补充或替换，在上述方法中，基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正还包括：在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围外时，缩小所述滑窗。
作为上述方案的补充或替换，在上述方法中，校正所述车道边界包括：基于多个不同的滑窗大小来分别确定所述车道边界中校正点的位置以及将与不同的滑窗大小对应的校正点的多个位置进行融合以获得第一校正结果。
作为上述方案的补充或替换，在上述方法中，校正所述车道边界包括：基于历史车道点信息来获得第二校正结果；以及将所述第一校正结果、所述第二校正结果以及校正点的当前位置进行融合。
根据本发明的另一个方面，提供了一种自车真值系统中的车道边界的生成设备，所述设备包括：车道边界生成装置，用于基于所接收的离线测量数据，生成车道边界；缺失点预测装置，用于基于所述车道边界中的有效点的位置，预测所述车道边界中的缺失点的位置；以及处理装置，用于基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。
作为上述方案的补充或替换，上述设备还包括：掩模产生装置，用于根据所述离线测量数据与预设阈值的比较来产生掩模。
作为上述方案的补充或替换，在上述设备中，缺失点预测装置包括：定位单元，用于定位所述车道边界中的缺失点；遍历单元，用于通过前向过程遍历和后向过程遍历分别获得前向预测结果和后向预测结果；以及融合单元，用于对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置。
作为上述方案的补充或替换，在上述设备中，遍历单元配置成：(1)执行测量更新步骤：根据所述车道边界的第一边上在所述缺失点之前的第一有效点l_missing_prev、在所述车道边界的第二边上与所述缺失点相对的第二有效点r_exist_current以及在所述车道边界的第二边上所述第二有效点之前的第三有效点r_exist_prev，确定在所述第一边上的所述缺失点的第一位置l_missing_current1；(2)执行预测步骤：根据所述第一有效点l_missing_prev以及在所述第一边上所述第一有效点之前的第四有效点l_missing_prev_prev来确定在所述第一边上的所述缺失点的第二位置l_missing_current2；以及(3)执行融合步骤：通过对所述第一位置和所述第二位置进行加权来确定所述前向预测结果或所述后向预测结果。
作为上述方案的补充或替换，在上述设备中，所述缺失点的第一位置l_missing_current1根据如下公式确定：l_missiong_current1＝l_missing_prev+r_exist_current-r_exist_prev。
作为上述方案的补充或替换，在上述设备中，所述缺失点的第二位置l_missing_current2根据如下公式确定：l_missiong_current2＝l_missing_prev+(l_missing_prev-l_missing_prev_prev)。
作为上述方案的补充或替换，在上述设备中，所述融合单元配置成将所述前向预测结果或所述后向预测结果作为所述缺失点的位置。
作为上述方案的补充或替换，在上述设备中，所述车道约束条件包括车道宽度约束条件以及平滑约束条件。
作为上述方案的补充或替换，在上述设备中，所述处理装置包括：校正单元，用于根据所述车道宽度约束条件来校正所述车道边界；以及平滑单元，用于根据所述平滑约束条件对所校正的车道边界进行平滑。
作为上述方案的补充或替换，在上述设备中，所述校正单元配置成：创建滑窗；计算在所述滑窗内所述车道边界的平均宽度；以及基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正。
作为上述方案的补充或替换，在上述设备中，所述校正单元配置成：在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围内时，确定所述车道边界无需校正；否则校正所述车道边界。
作为上述方案的补充或替换，在上述设备中，所述校正单元配置成：在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围外时，缩小所述滑窗。
作为上述方案的补充或替换，在上述设备中，所述校正单元配置成：基于多个不同的滑窗大小来分别确定所述车道边界中校正点的位置以及将与不同的滑窗大小对应的校正点的多个位置进行融合以获得第一校正结果。
作为上述方案的补充或替换，在上述设备中，所述校正单元配置成：基于历史车道点信息来获得第二校正结果；以及将所述第一校正结果、所述第二校正结果以及校正点的当前位置进行融合。
根据本发明的又一个方面，提供了一种计算机存储介质，所述介质包括指令，所述指令在运行时执行如前所述的方法。
根据本发明的又一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如前所述的方法。
本发明的实施例的自车真值系统中的车道边界的生成方案基于有限的离线测量数据来构建车道边界，根据该构建的车道边界中的有效点的位置预测所述车道边界中的缺失点的位置，以及基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。这样，所获得的自车真值系统中的车道边界更为精确，可靠性更高。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1示出了根据本发明的一个实施例的自车真值系统中的车道边界的生成方法的流程示意图；
图2示出了根据本发明的一个实施例的自车真值系统中的车道边界的生成设备的结构示意图；
图3示出了自车真值系统中车道边界缺失点的三种情形；
图4示出了根据本发明的一个实施例、基于车道边界中的有效点的位置预测车道边界中的缺失点的位置的示意图；以及
图5示出了根据本发明的一个实施例、基于车道约束条件对车道边界中的各个点的位置进行校正的示意图。
具体实施方式
在下文中，将参考附图详细地描述根据本发明的各示例性实施例的自车真值系统中车道边界的生成方案。
图1示出了根据本发明的一个实施例的自车真值系统中的车道边界的生成方法1000的流程示意图。如图1所示，方法1000包括如下步骤：
在步骤S110中，基于所接收的离线测量数据，生成车道边界；
在步骤S120中，基于所述车道边界中的有效点的位置，预测所述车道边界中的缺失点的位置；以及
在步骤S130中，基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。
术语“离线测量数据”用于与“在线测量数据”相区分。在本发明的上下文中，“离线测量数据”可包括视频车道边界检测结果和车辆运动信息，其用于以离线的方式构建用于验证智能驾驶辅助功能的自车真值系统。因而，在步骤S110中，可基于各种离线车道边界生成算法(区别于在线生成算法)，来基于所接收的离线测量数据生成车道边界。
术语“车道边界”在本发明的上下文可包括左右两条车道线，每条车道线由多个点(例如由自车坐标系下的(x，y)坐标表示)组成。“车道边界”还可包括时间信息，例如采样/测量时间周期数。
然而，由于离线测量数据(例如来自于车载传感器，如雷达、Lidar、视频传感器等)可能存在缺失，因而在步骤S110中生成的车道边界除了包含有效点之外，也可能出现点的缺失、跳跃或断裂等问题。
在一个实施例中，尽管图1中未示出，上述方法1000还可包括：根据所述离线测量数据与预设阈值的比较来产生掩模。该实施例可进一步保证所获得自车真值系统的准确性和可靠性。
具体来说，由于离线测量数据的有限性，在进行缺失点的预测和基于约束条件的校正之前，我们首先应该确定哪些部分由于先验信息差而无法改进，以避免通过盲目的猜测来改变车道边界的位置。
因而，创建一个掩模，所述掩模用于将自车真值系统中有缺陷的地方进行标记。在后续预测或校正过程中，在所述掩膜的区域内的点均被设置为“nan”(即，不是一个有效值)。
在一个或多个实施例中，掩模可通过将离线测量数据与预设阈值进行比较来产生。在一个实施例中，可通过将MPC3输出的视频车道存在概率与第一阈值进行比较来产生掩模。在另一个实施例中，可通过将MPC3输出的航向角(以及曲率)与第二阈值进行比较来产生掩模。在又一个实施例中，可通过将车道边界宽度(及方差)与第三阈值进行比较来产生掩模。在又一个实施例中，可通过将左/右车道边界的横向变化dy(方差)与第四阈值进行比较来产生掩模。
另外，为了使所产生的掩模保持连续，还可对其进行形态学操作(例如膨胀、腐蚀、闭操作等)。
图3示出了自车真值系统中车道边界缺失点的三种情形。如图3所示，310示出了车道宽度信息充足的情形，其中实心圆圈表示位于第一边(例如左车道线)上的有效点；三角形表示位于第二边(例如右车道线)上的有效点；符号“nan”表示缺失点。320示出了车道宽度信息仅在单边充足的情形；而330示出了车道宽度信息完全缺失的情形。
在一个实施例中，步骤S120包括：定位所述车道边界中的缺失点；通过前向过程遍历和后向过程遍历分别获得前向预测结果和后向预测结果；以及对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置。
在一个实施例中，定位所述车道边界中的缺失点包括定位“缺失车道点”的区域，以便创建虚拟边界，并在该边界内找到车道点的起点和终点。
接着，通过前向过程遍历和后向过程遍历分别获得前向预测结果和后向预测结果。这里，“前向过程”可指代从所找到的车道点的起点到终点的过程。类似地，“后向过程”指代从所找到的车道点的终点到起点的过程。
以前向过程遍历为例，在一个实施例中，前向过程遍历包括：(1)测量更新步骤；(2)预测步骤；以及(3)融合步骤。具体来说，测量更新步骤包括：根据所述车道边界的第一边(例如左车道线为当前工作线)上在所述缺失点之前的第一有效点(即当前工作线上缺失点的前一个有效点)l_missing_prev、在所述车道边界的第二边(例如右车道线为参考线)上与所述缺失点相对的第二有效点(即参考线上与缺失点相对的有效点)r_exist_current以及在所述车道边界的第二边上所述第二有效点之前的第三有效点(即参考线上第二有效点的前一个有效点)r_exist_prev，确定在所述第一边上的所述缺失点的第一位置l_missing_current1。可以理解的是，后向过程遍历也可包括上述三个步骤，只是遍历的方向正好与前向过程相反。
例如，所述缺失点的第一位置l_missing_current1可根据如下公式确定：l_missiong_current1＝l_missing_prev+r_exist_current-r_exist_prev。
由上可见，测量更新步骤基于另一侧(例如参考线)上已存在的车道边界点来增加缺失的车道点。例如，如果左车道线上的点缺失，则可获取右车道线上的点，并将右车道线上的两个点之间的间距加上左车道线上的前一个点上从而获得缺失点的坐标位置。
在一个实施例中，预测步骤可包括：根据所述第一有效点l_missing_prev以及在所述第一边上所述第一有效点之前的第四有效点l_missing_prev_prev来确定在所述第一边上的所述缺失点的第二位置l_missing_current2。例如，所述缺失点的第二位置l_missing_current2可根据如下公式确定：l_missiong_current2＝l_missing_prev+(l_missing_prev-l_missing_prev_prev)。
由此可见，预测步骤实际上是基于与缺失点位于同一侧车道线上的历史车道信息来增加缺失的车道点。例如，如果左车道线上的点缺失，则还是从左车道线上获取数据，并将该左车道线上的之前点与点的间隔加到前一个车道点上。
融合步骤是指通过对所述第一位置和所述第二位置进行加权来确定所述前向预测结果或所述后向预测结果。例如将第一位置的权重w1设为0.6，而将第二位置的权重w2设为0.4，从而获得最终前向预测结果。
在一个实施例中，对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置包括：将所述前向预测结果或所述后向预测结果作为所述缺失点的位置。例如，判断依据可以是在前向预测结果和后向预测结果两者之间谁的值是有效的，换言之，并非无效的值。所谓“无效的值”是表示通过上述前向过程遍历(包括测量更新、预测以及融合三步骤)或后向过程遍历仍不能修补或增加缺失的点。
图4示出了根据本发明的一个实施例、基于车道边界中的有效点的位置预测车道边界中的缺失点的位置的示意图4000。如图4所示，有效点411和412位于第一边上，而有效点421、422以及423位于第二边上，其中虚线圆圈430表示根据预测步骤所获得的缺失点的第二位置430，虚线三角形440表示根据测量更新步骤所获得的缺失点的第一位置440，而实心圆圈413表示将第一位置440和第二位置430融合后的结果。
经过步骤S120后，缺失的车道点已被尽可能增加。接着，可检查经预测的车道边界是否与真实的道路环境一致。例如，可定位有效区域(即没有缺失的车道点)以进行校正或改进，并找到车道点的起始索引和结束索引，随后遍历这些有效区域。
在一个实施例中，“车道约束条件”可包括车道宽度约束条件以及平滑约束条件。例如，车道约束条件可以是车道宽度在短距离不应发生剧烈变化，并且车道边界应当平滑。
在一个实施例中，步骤S130包括：根据所述车道宽度约束条件来校正所述车道边界；以及根据所述平滑约束条件对所校正的车道边界进行平滑。
具体来说，根据所述车道宽度约束条件来校正所述车道边界包括：创建滑窗(例如包含左右两侧各30个点)；计算在所述滑窗内所述车道边界的平均宽度(以及每一对点的车道宽度)；以及基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正。
在一个实施例中，基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正包括：在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围内时，确定所述车道边界是合格的而无需校正；否则需要校正所述车道边界(例如通过前向过程和后向过程)。在一个实施例中，在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围外时，可以测试更小的滑窗尺寸。
以前向过程为例，校正所述车道边界包括：基于多个不同的滑窗大小来分别确定所述车道边界中校正点的位置以及将与不同的滑窗大小对应的校正点的多个位置进行融合以获得第一校正结果。
例如，校正点的位置可通过下式来进行计算：
其中，参数window_size表示滑窗大小，例如为6、9、13。
可通过三角形加权和的方式将与不同的滑窗大小对应的校正点的多个位置(例如三个位置)进行融合以获得第一校正结果。具体来说，计算多个位置彼此之间的距离，以便创建三角形，同时也获得了最长边和最短边。接着，基于边长来计算融合因子，例如，在所创建的三角形为等腰三角形时，融合因子可根据下式来计算：
融合因子Factor＝disMin/factorBase，其中，disMin表示最短边的边长，而factorBase可基于下式来确定：
factorBase＝(disMax+disMin*2)*ENLARGE_Factor+0.00001。
在上式中，disMax表示最长边的长度，ENLARGE_Factor为放大因子，是一个常数。
而在所创建的三角形为其他三角形时，融合因子可根据下式来计算：
融合因子Factor＝((factorBase-disMin)/2)/factorBase，其中，disMin表示最短边的边长，而factorBase的计算公式与上面所示相同，在此就不再赘述。
在一个实施例中，校正所述车道边界包括：基于历史车道点信息来获得第二校正结果；以及将所述第一校正结果、所述第二校正结果以及校正点的当前位置进行融合。
在一个实施例中，基于历史车道点信息来获得第二校正结果可进一步包括基于前一个点i-1的位置来产生第一候选位置；基于再前一个点i-2的位置来产生第二候选位置；基于又前一个点i-3的位置来产生第三候选位置；以及基于三角形加权和的方式来将三个候选位置进行融合从而获得第二校正结果。
例如，第一候选位置XshapeLast可通过如下公式确定：
XshapeLast＝LaneBorder[workSide][i-1]+(LaneBorder[refSide][i]-LaneBorder[refSide][i-1])，
其中，LaneBorder[workSide][i-1]表示位于工作侧的前一个点，LaneBorder[refSide][i]表示位于参考侧与当前待校正的点对应的点以及LaneBorder[refSide][i-1]表示LaneBorder[refSide][i]的前一个点。
又例如，第二候选位置XshapeLastLast可通过如下公式确定：
XshapeLastLast＝LaneBorder[workSide][i-2]+(LaneBorder[refSide][i]-LaneBorder[refSide][i-2])，
其中，LaneBorder[workSide][i-2]表示LaneBorder[workSide][i-1]的前一个点，LaneBorder[refSide][i-2]表示LaneBorder[refSide][i-1]的前一个点。
再例如，第三候选位置XshapeLastLastLast可通过如下公式确定：
XshapeLastLastLast＝LaneBorder[workSide][i-3]+(LaneBorder[refSide][i]-LaneBorder[refSide][i-3])，
其中，LaneBorder[workSide][i-3]表示LaneBorder[workSide][i-2]的前一个点，LaneBorder[refSide][i-3]表示LaneBorder[refSide][i-2]的前一个点。
最后，将所述第一校正结果(通过多个滑窗来预测)、所述第二校正结果(通过历史车道信息来创建)以及校正点的当前位置进行融合(例如，通过三角形加权和的方式来进行融合)。
在一个实施例中，在融合后的车道点位置与校正点的当前位置之间的偏差在预设范围内的情形下，才采用该融合后的点。
另外，校正所述车道边界的后向过程与前述前向过程类似，在此就不再赘述。最后，可将前向过程所得的校正结果与后向过程所得的校正结果通过加权的方式来融合。
图5示出了根据本发明的一个实施例、基于车道约束条件对车道边界中的各个点的位置进行校正的示意图5000。如图5所示，已校正点511和512位于第一边(例如左车道线为工作边)。同样位于第一边的还有待校正点550、551以及552。有效点521、522、523、524、525位于第二边(例如右车道线为参考边)。符号560指示本车的行驶方向。
继续参考图5，将通过多个滑窗来预测的第一校正结果530、通过历史车道信息来创建的第二校正结果540以及(待)校正点的当前位置550进行融合，从而获得已校正点513。
在一个实施例中，根据平滑约束条件对所校正的车道边界进行平滑可包括：基于先前的车道宽度约束条件的执行过程，定位有效区域(即，没有缺失的车道点)，并找到车道点的起始索引和结束索引；以及遍历每个区域，对每个区域施加savgol滤波(即，Savitsky-Golay滤波)。
另外，本领域技术人员容易理解，本发明的上述一个或多个实施例提供的自车真值系统中的车道边界的生成方法可通过计算机程序来实现。例如，该计算机程序包含在一种计算机程序产品中，该计算机程序被处理器执行时实现本发明的一个或多个实施例的自车真值系统中的车道边界的生成方法。又例如，当存有该计算机程序的计算机存储介质(例如U盘)与计算机相连时，运行该计算机程序即可执行本发明的一个或多个实施例的自车真值系统中的车道边界的生成方法。
参考图2，图2示出了根据本发明的一个实施例的自车真值系统中的车道边界的生成设备2000。如图2所示，自车真值系统中的车道边界的生成设备2000包括：车道边界生成装置210、缺失点预测装置220以及处理装置230。其中，车道边界生成装置210用于基于所接收的离线测量数据，生成车道边界；缺失点预测装置220用于基于所述车道边界中的有效点的位置，预测所述车道边界中的缺失点的位置；以及处理装置230用于基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。
术语“离线测量数据”用于与“在线测量数据”相区分。在本发明的上下文中，“离线测量数据”可包括视频车道边界检测结果和车辆运动信息，其用于以离线的方式构建用于验证智能驾驶辅助功能的自车真值系统。因而，车道边界生成装置210可基于各种离线车道边界生成算法(区别于在线生成算法)，来基于所接收的离线测量数据生成车道边界。
术语“车道边界”在本发明的上下文可包括左右两条车道线，每条车道线由多个点(例如由自车坐标系下的(x，y)坐标表示)组成。“车道边界”还可包括时间信息，例如采样/测量时间周期数。
然而，由于离线测量数据(例如来自于车载传感器，如雷达、Lidar、视频传感器等)可能存在缺失，因而车道边界生成装置210所生成的车道边界除了包含有效点之外，也可能出现点的缺失、跳跃或断裂等问题。
在一个实施例中，尽管图2中未示出，设备2000还可包括：掩模产生装置，用于根据所述离线测量数据与预设阈值的比较来产生掩模。该实施例可进一步保证所获得自车真值系统的准确性和可靠性。
具体来说，由于离线测量数据的有限性，在进行缺失点的预测和基于约束条件的校正之前，我们首先应该确定哪些部分由于先验信息差而无法改进，以避免通过盲目的猜测来改变车道边界的位置。
因而，创建一个掩模，所述掩模用于将自车真值系统中有缺陷的地方进行标记。在后续预测或校正过程中，在所述掩膜的区域内的点均被设置为“nan”(即，不是一个有效值)。
在一个或多个实施例中，掩模可通过将离线测量数据与预设阈值进行比较来产生。在一个实施例中，掩模产生装置可通过将MPC3输出的视频车道存在概率与第一阈值进行比较来产生掩模。在另一个实施例中，掩模产生装置可通过将MPC3输出的航向角(以及曲率)与第二阈值进行比较来产生掩模。在又一个实施例中，掩模产生装置可通过将车道边界宽度(及方差)与第三阈值进行比较来产生掩模。在又一个实施例中，掩模产生装置可通过将左/右车道边界的横向变化dy(方差)与第四阈值进行比较来产生掩模。
另外，为了使所产生的掩模保持连续，掩模产生装置还可对其进行形态学操作(例如膨胀、腐蚀、闭操作等)。
在一个实施例中，缺失点预测装置220包括：定位单元，用于定位所述车道边界中的缺失点；遍历单元，用于通过前向过程遍历和后向过程遍历分别获得前向预测结果和后向预测结果；以及融合单元，用于对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置。
在一个实施例中，遍历单元配置成：(1)执行测量更新步骤：根据所述车道边界的第一边上在所述缺失点之前的第一有效点l_missing_prev、在所述车道边界的第二边上与所述缺失点相对的第二有效点r_exist_current以及在所述车道边界的第二边上所述第二有效点之前的第三有效点r_exist_prev，确定在所述第一边上的所述缺失点的第一位置l_missing_current1；(2)执行预测步骤：根据所述第一有效点l_missing_prev以及在所述第一边上所述第一有效点之前的第四有效点l_missing_prev_prev来确定在所述第一边上的所述缺失点的第二位置lmissing_current2；以及(3)执行融合步骤：通过对所述第一位置和所述第二位置进行加权来确定所述前向预测结果或所述后向预测结果。
在一个实施例中，所述融合单元配置成将所述前向预测结果或所述后向预测结果作为所述缺失点的位置。
在一个或多个实施例中，所述车道约束条件包括车道宽度约束条件以及平滑约束条件。
在一个实施例中，所述处理装置230包括：校正单元，用于根据所述车道宽度约束条件来校正所述车道边界；以及平滑单元，用于根据所述平滑约束条件对所校正的车道边界进行平滑。
在一个实施例中，所述校正单元配置成：创建滑窗；计算在所述滑窗内所述车道边界的平均宽度；以及基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正。
在一个实施例中，所述校正单元配置成：在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围内时，确定所述车道边界无需校正；否则校正所述车道边界。
在一个实施例中，所述校正单元配置成：在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围外时，缩小所述滑窗。
在一个实施例中，所述校正单元配置成：基于多个不同的滑窗大小来分别确定所述车道边界中校正点的位置以及将与不同的滑窗大小对应的校正点的多个位置进行融合以获得第一校正结果。
在一个实施例中，所述校正单元配置成：基于历史车道点信息来获得第二校正结果；以及将所述第一校正结果、所述第二校正结果以及校正点的当前位置进行融合。
综上，本发明的实施例的自车真值系统中的车道边界的生成方案基于有限的离线测量数据来构建车道边界，根据该构建的车道边界中的有效点的位置预测所述车道边界中的缺失点的位置，以及基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。这样，所获得的自车真值系统中的车道边界更为精确，可靠性更高。
尽管以上说明书只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (17)

1.一种自车真值系统中的车道边界的生成方法，其特征在于，所述方法包括：
步骤A：基于所接收的离线测量数据，生成车道边界；
步骤B：基于所述车道边界中的有效点的位置，预测所述车道边界中的缺失点的位置；以及
步骤C：基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。
2.如权利要求1所述的方法，还包括：
根据所述离线测量数据与预设阈值的比较来产生掩模。
3.如权利要求1所述的方法，其中，步骤B包括：
定位所述车道边界中的缺失点；
通过前向过程遍历和后向过程遍历分别获得前向预测结果和后向预测结果；以及
对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置。
4.如权利要求3所述的方法，其中，所述前向过程遍历或所述后向过程遍历包括：
测量更新步骤：根据所述车道边界的第一边上在所述缺失点之前的第一有效点l_missing_prev、在所述车道边界的第二边上与所述缺失点相对的第二有效点r_exist_current以及在所述车道边界的第二边上所述第二有效点之前的第三有效点r_exist_prev，确定在所述第一边上的所述缺失点的第一位置l_missing_current1；
预测步骤：根据所述第一有效点l_missing_prev以及在所述第一边上所述第一有效点之前的第四有效点l_missing_prev_prev来确定在所述第一边上的所述缺失点的第二位置l_missing_current2；以及
融合步骤：通过对所述第一位置和所述第二位置进行加权来确定所述前向预测结果或所述后向预测结果。
5.如权利要求4所述的方法，其中，所述缺失点的第一位置l_missing_current1根据如下公式确定：
l_missiong_current1＝l_missing_prev+r_exist_current-r_exist_prev。
6.如权利要求4所述的方法，其中，所述缺失点的第二位置l_missing_current2根据如下公式确定：
l_missiong_current2＝l_missing_prev+(l_missing_prev-l_missing_prev_prev)。
7.如权利要求3所述的方法，其中，对所述前向预测结果和所述后向预测结果进行融合来得出所述缺失点的位置包括：
将所述前向预测结果或所述后向预测结果作为所述缺失点的位置。
8.如权利要求1所述的方法，其中，所述车道约束条件包括车道宽度约束条件以及平滑约束条件。
9.如权利要求8所述的方法，其中，步骤C包括：
根据所述车道宽度约束条件来校正所述车道边界；以及
根据所述平滑约束条件对所校正的车道边界进行平滑。
10.如权利要求9所述的方法，其中，根据所述车道宽度约束条件来校正所述车道边界包括：
创建滑窗；
计算在所述滑窗内所述车道边界的平均宽度；以及
基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正。
11.如权利要求10所述的方法，其中，基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正包括：
在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围内时，确定所述车道边界无需校正；否则校正所述车道边界。
12.如权利要求11所述的方法，其中，基于所述滑窗内的第一个有效点的车道宽度和最后一个有效点的车道宽度与所述平均宽度的比较，确定所述车道边界是否需要校正还包括：
在所述滑窗内的第一个有效点所对应的车道宽度和最后一个有效点所对应的车道宽度与所述平均宽度之间的差值均在预定范围外时，缩小所述滑窗。
13.如权利要求11所述的方法，其中，校正所述车道边界包括：
基于多个不同的滑窗大小来分别确定所述车道边界中校正点的位置以及
将与不同的滑窗大小对应的校正点的多个位置进行融合以获得第一校正结果。
14.如权利要求13所述的方法，其中，校正所述车道边界包括：
基于历史车道点信息来获得第二校正结果；以及
将所述第一校正结果、所述第二校正结果以及校正点的当前位置进行融合。
15.一种自车真值系统中的车道边界的生成设备，其特征在于，所述设备包括：
车道边界生成装置，用于基于所接收的离线测量数据，生成车道边界；
缺失点预测装置，用于基于所述车道边界中的有效点的位置，预测所述车道边界中的缺失点的位置；以及
处理装置，用于基于车道约束条件，对所述车道边界中的各个点的位置进行校正和/或平滑。
16.一种计算机存储介质，其特征在于，所述介质包括指令，所述指令在运行时执行如权利要求1至14中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至14中任一项所述的方法。
CN202210113247.9A 2022-01-29 2022-01-29 自车真值系统中的车道边界的生成方法及设备 Pending CN116563319A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210113247.9A CN116563319A (zh) 2022-01-29 2022-01-29 自车真值系统中的车道边界的生成方法及设备
PCT/EP2022/087905 WO2023143850A1 (en) 2022-01-29 2022-12-27 Generating method and apparatus of a lane boundary in a ground truth system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210113247.9A CN116563319A (zh) 2022-01-29 2022-01-29 自车真值系统中的车道边界的生成方法及设备

Publications (1)

Publication Number Publication Date
CN116563319A true CN116563319A (zh) 2023-08-08

Family

ID=84888903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210113247.9A Pending CN116563319A (zh) 2022-01-29 2022-01-29 自车真值系统中的车道边界的生成方法及设备

Country Status (2)

Country Link
CN (1) CN116563319A (zh)
WO (1) WO2023143850A1 (zh)

Also Published As

Publication number Publication date
WO2023143850A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
JP6978491B2 (ja) 地面マーキングを認識するための画像処理方法、および地面マーキングを検出するためのシステム
JP6427908B2 (ja) 地図情報生成システム、方法およびプログラム
US20200249032A1 (en) Apparatus and method for updating high definition map for autonomous driving
US11193782B2 (en) Vehicle position estimation apparatus
US20220412770A1 (en) Map construction method for autonomous driving and related apparatus
KR20220033477A (ko) 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법
US11506511B2 (en) Method for determining the position of a vehicle
KR102565482B1 (ko) 차량의 측위 장치 및 그 방법
JP5776332B2 (ja) 地図処理方法及びプログラム、並びにロボットシステム
JP7371269B2 (ja) 自動車のカメラピッチをキャリブレーションする方法及び装置、並びにそのための消滅点推定モデルをコンティニュアルラーニングさせる方法
US11731649B2 (en) High precision position estimation method through road shape classification-based map matching and autonomous vehicle thereof
CN111508272B (zh) 提供基于照相机的鲁棒物体距离预测的方法及装置
JP5557015B2 (ja) 軌跡情報生成装置、方法およびプログラム
KR20220068710A (ko) 차량 측위 방법 및 장치
JP6680319B2 (ja) 地図情報生成システム、方法およびプログラム
CN115388880B (zh) 一种低成本记忆泊车建图与定位方法、装置及电子设备
CN116563319A (zh) 自车真值系统中的车道边界的生成方法及设备
CN113261007A (zh) 用于自动和自主车辆的多传感器数据融合的方法和装置
CN116215517A (zh) 碰撞检测方法、装置、设备、存储介质和自动驾驶车辆
WO2018180247A1 (ja) 出力装置、制御方法、プログラム及び記憶媒体
KR102427366B1 (ko) 심층 신경망을 이용한 차선 추정 방법 및 장치
CN114578821A (zh) 移动机器人的脱困方法、移动机器人及存储介质
JP2012137362A (ja) 走行道路推定装置、方法およびプログラム
JP5220479B2 (ja) ナビゲーション装置および車両位置更新方法
CN114817765A (zh) 基于地图的目标航向消歧

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication