CN115892018A - 为车辆估计车道的方法和系统 - Google Patents

为车辆估计车道的方法和系统 Download PDF

Info

Publication number
CN115892018A
CN115892018A CN202211170937.4A CN202211170937A CN115892018A CN 115892018 A CN115892018 A CN 115892018A CN 202211170937 A CN202211170937 A CN 202211170937A CN 115892018 A CN115892018 A CN 115892018A
Authority
CN
China
Prior art keywords
lane
vehicle
sensor
measurement data
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211170937.4A
Other languages
English (en)
Inventor
P·科林
P·克里默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN115892018A publication Critical patent/CN115892018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114Yaw movement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/408Traffic behavior, e.g. swarm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明涉及为车辆估计车道的方法和系统。一种为车辆估计车道的计算机实现方法可以包括由计算机硬件组件执行的以下步骤:使用安装在车辆处的传感器确定该车辆的位置处的测量数据;将所述传感器的所述测量数据变换到全局坐标系中以获得变换后的测量数据;以及基于变换后的测量数据为所述车辆估计所述位置处的车道。

Description

为车辆估计车道的方法和系统
技术领域
本公开涉及为车辆估计车道的方法和系统。
背景技术
诸如数字摄像头之类的数字成像装置通常用于汽车应用中以为车辆检测车道。准确可靠的车道检测例如对于自动化驾驶或高速公路巡航至关重要。可以使用基于来自摄像头传感器的数据的交通标志、车道、道路边界和其他感兴趣对象的检测结果来创建HD地图,即,具有高清晰度的地图。然而,在恶劣的天气条件下(例如下雨时),基于摄像头数据的检测方法经常失败。
因此,需要提高用于车辆的车道检测的质量和可靠性。
发明内容
本公开提供一种计算机实现方法、计算机系统和非暂时性计算机可读介质。实施方式在从属权利要求、说明书和附图中给出。
在一个方面,本公开可以涉及一种为车辆估计车道的计算机实现方法,其中,该方法包括由计算机硬件组件执行(换言之:实施)的以下步骤:基于车辆的位置处的多个车道标记确定第一初步车道估计;基于在该车辆的所述位置处的对象的多个轨迹确定第二初步车道估计;将所述第一初步车道估计与所述第二初步车道估计进行比较;以及基于所述比较确定该车辆的所述位置处的最终车道估计。
换言之,可以通过比较和确定车辆位置处的两个初步估计车道来确定车辆位置处的最终车道估计。第一初步车道估计可以基于多个车道标记。“车道估计”也可以称为“估计车道”。第二初步估计车道可以基于其他道路使用对象的多个轨迹。车道可以是道路使用者(例如车辆、自行车、摩托车等)能够行驶于的路径。车道标记可以包括路面上的可见标记,例如分隔行车道的标记或者在每一侧限制道路的标记。换言之,车道标记可以确定在道路上可以和允许在哪里行驶。对象的轨迹可以描述对象航迹(trajectory),即,轨迹可以指定对象在道路上移动的位置。可以通过在不同的连续时间点处记录对象的位置或定位并通过组合该对象的位置或定位来确定轨迹。对象的轨迹可以是带有附加信息的线串(例如,带有对象的尺寸(长度和宽度)和旋转的信息的围绕对象中心点的边界框),即,对象中心点坐标的有序列表。
根据实施方式,可以基于第一传感器数据来确定所述多个车道标记,其中可以使用第一传感器来确定所述第一传感器数据,其中优选地,所述第一传感器可以包括摄像头或LiDAR传感器。由摄像头记录的传感器数据可用于检测具有极高分辨率的RGB(红-绿-蓝)信息。另一方面,LiDAR传感器可以测量传感器与对象之间的范围或距离。该对象可以是另一道路使用者,优选地是另一车辆。来自LiDAR传感器的传感器数据可以包括车辆或对象相对于传感器的方位角和仰角。从LiDAR传感器记录的传感器数据可以非常详细,并且可以包括关于远距离对象的精细和准确的信息。环境照明不会影响由LiDAR捕获的信息的质量,因此可以提供白天和晚上的结果,而不会因诸如阴影、阳光或前照灯眩光之类的干扰而损失性能。
根据实施方式,可以基于第二传感器数据来确定所述对象的所述多个轨迹,其中,可以使用第二传感器来确定所述第二传感器数据,其中优选地,所述第二传感器可以包括摄像头或雷达传感器或LiDAR传感器。由雷达传感器记录的传感器数据(例如车辆或对象的距离、方向或相对速度)不受不利或恶劣天气条件的影响,即,雷达传感器在黑暗、潮湿甚至有雾的天气中也能可靠地工作。
根据实施方式,所述方法还可以包括由计算机硬件组件执行的以下步骤:确定车辆的位置。车辆的位置可以是在坐标系中描述的该车辆的位置。位置(和/或定位)可以是点或区域。对象的位置或定位的准确度可能取决于用于确定对象的位置或定位的方法。车辆的位置或定位可以指车辆的重心或车辆的另一规定点,例如安装在车辆处的传感器的位置。坐标系可以是世界坐标系(WCS),其中世界坐标系可以是地理坐标系。地理坐标系可以允许定义对象的地理位置,即,对象在地球上的位置。地理位置可以通过球坐标(纬度、经度和海拔)来描述,或者通过投影到平面上的地图坐标来描述,或者通过三个维度上的地心地固(ECEF)笛卡尔坐标来描述。
根据实施方式,可以基于即时定位与地图构建和/或GPS系统和/或dGPS系统和/或惯性测量单元来确定车辆的位置。即时定位与地图构建(SLAM)可以是一种构建地图并同时在该地图中定位对象(例如车辆)的方法。SLAM可以允许车辆绘制出未知环境,并且可用于自主车辆的路径规划和避障。全球定位系统(GPS)或差分全球定位系统(dGPS)是基于卫星的导航系统,它们提供地球上对象的位置信息和时间信息。因此,移动对象的位置可以通过GPS或dGPS确定。dGPS系统可以是对GPS的增强。dGPS可以提供校正信号来校正由时移引起的GPS信号的误差。为了生成这些校正信号,dGPS可以使用具有精确已知位置的地面固定站。卫星信号的时间误差和距离误差可以利用这些站来测量并用于对象的定位校正。惯性测量单元(IMU)可以包括非常精确的加速度计和陀螺仪,以估计对象在三个维度上的加速度和偏航率。而且,如果车辆可能进入没有GPS信号或GPS信号较弱的诸如隧道之类的区域,则IMU可以提供数据以保持跟踪车辆的移动。使用惯性测量单元的校正信号可以允许实现可用于自主驾驶系统的位置估计的高准确度,例如10cm。
根据实施方式,所述方法还可以包括由计算机硬件组件执行的以下步骤:检测车辆在世界坐标系中的姿态。车辆的姿态可以是车辆的取向。车辆的取向可以通过相对于固定坐标系(例如世界坐标系)的三个欧拉角(偏航角、俯仰角和滚转角)来确定。
根据实施方式,所述方法还可以包括由计算机硬件组件执行的以下步骤:估计所述第一初步车道估计和/或所述第二初步车道估计的不确定度。可以通过可提供用于车道标记的检测和跟踪的不确定度信息的任何适当的方法来估计不确定度。例如,可以使用卡尔曼滤波器或粒子滤波器来给出或获得不确定度。此外,或以其他方式,可以单独定义不确定度,例如,在车辆附近检测到的车道标记可以比远离车辆检测到的车道标记具有更低的不确定度。远离对象的车道标记可以比车辆周围的车道标记具有更高的不确定度。以同样的方式,可以估计轨迹的不确定度。通过所使用的方法给出或获得,或者单独定义。例如,远离车辆的轨迹可以比靠近车辆的轨迹具有更高的不确定度。
根据实施方式,可以根据车辆的多次行驶和/或根据多个记录车辆的多次行驶确定所述多个车道标记。换言之,用于确定车辆位置处的多个车道标记的传感器数据可以由安装在车辆处的传感器确定。车辆可以多次行驶相同路线,以捕获相同位置处的车道标记若干次。另一种可能性可以是多个车辆(即,不仅是所述车辆本身)可以通过安装在所述多个车辆处的传感器来确定所述多个车辆的位置处的车道标记。因此,可以在短时间段内在一位置处获得多个车道标记。
根据实施方式,可以根据车辆的多次行驶和/或根据多个记录车辆的多次行驶确定所述多个轨迹。换言之,用于确定车辆位置处的多个轨迹的传感器数据可以由安装在车辆处的传感器确定。车辆可以多次行驶相同路线,以捕获相同位置处的其他车辆的轨迹若干次。另一种可能性可以是多个车辆(即,不仅是所述车辆本身)可以通过安装所述多个车辆处的传感器来确定所述多个车辆的位置处的其他道路使用者(如其他车辆)的轨迹。因此,可以在短时间段内在一位置处获得多个轨迹。
根据实施方式,所述方法还可以包括由计算机硬件组件执行的以下步骤:检查所述第一初步车道估计的第一可信性(plausibility)和/或检查所述第二初步车道估计的第二可信性,其中,所述第一可信性和/或所述第二可信性可以基于几何关系和/或规则。该规则可以由立法规定,例如限速或交通规则(如单向道路)。在道路建设中可能考虑几何关系,例如最大可能的曲线半径。而且,车道的宽度可能由几何关系确定。
根据实施方式,对象的所述多个轨迹中的轨迹的数量可以高于预定轨迹阈值。预定轨迹阈值可以是本文描述的方法的鲁棒和准确应用可能需要的对象的估计轨迹的最小数量。该最小数量可以取决于道路类型,例如,与城市道路相比,在高速公路上较低的预定轨迹阈值可能就足够了。
根据实施方式,所述多个车道标记中的车道标记的数量可以高于预定车道标记阈值。预定车道标记阈值可以是本文描述的方法的鲁棒和准确应用可能需要的估计车道标记的最小数量。该最小数量可以取决于道路类型,例如,与城市道路相比,在高速公路上较低的预定车道标记阈值可能就足够了。
在另一方面,本公开涉及一种为车辆估计车道的计算机实现方法,该方法包括由计算机硬件组件执行的以下步骤:车辆;将传感器的测量数据变换到全局坐标系中,以获得变换后的测量数据;以及基于变换后的测量数据为所述车辆估计所述位置处的车道。
换言之,在基于变换后的测量数据来估计车辆位置处的车道之前,由安装在车辆处的传感器捕获的该位置处的测量数据可以直接变换到全局坐标系中,例如变换到世界坐标系中。测量数据可以是如上所述的第一传感器和/或第二传感器的传感器数据,但不限于此。测量数据可以是来自不同传感器(即,不是第一传感器或第二传感器)的传感器数据。所估计的车道可以是道路使用者可能能够行驶于的道路上的车道。全局坐标系可以与上述相同,优选地是基于GPS坐标的世界坐标系。
使用不准确的定位系统可能带来定位方面的误差。例如,这可能表现为从车辆坐标系到全局坐标系的变换的不准确变换矩阵。根据各种实施方式,可以在跟踪之前(例如在跟踪车道标记之前和/或在跟踪轨迹之前)应用从车辆坐标系到全局坐标系(GCS)的变换,从而在GCS中执行跟踪;那么,由于到GCS的变换的质量降低,轨迹和车道标记的位置可能会更加抖动(Jitter)。根据各种实施方式,可以通过跟踪来减少抖动(换言之,可以通过跟踪来隐式地减少抖动,这可以隐式地补偿传感器数据的时间序列中的抖动;再换言之:跟踪器可以至少部分补偿和平滑掉定位系统误差),和/或通过应用(或考虑)物理交叉检查(例如与车辆的加速度和/或速度向量的合理最大值有关的交叉检查,车道曲率的交叉检查)来去除异常值(例如由于定位误差造成的),如下面将描述的。综上所述,如果在局部坐标系(例如车辆坐标系)中执行跟踪,则跟踪可能更容易,但可能无法补偿不准确的定位。另一方面,可以通过物理交叉检查或检测到的对象的属性来扩展全局坐标系中的跟踪。然后,跟踪器可以输出例如由卡尔曼滤波器或粒子滤波器给出的不确定度或者由任何其他方法定义的不确定度。
根据实施方式,所述测量数据可以包括车道标记的估计结果。车道标记可以包括路面上的可见标记,例如分隔行车道的标记或者在每一侧限制道路的标记。换言之,车道标记可以确定在道路上可以和允许在哪里行驶。车道标记的估计结果可以与上述相同,但不限于此。
根据实施方式,所述测量数据可以包括对象轨迹的估计结果。对象的轨迹可以描述对象航迹,即,轨迹可以指定对象在道路上移动的位置。对象的轨迹可以描述对象航迹,即,轨迹可以指定对象在道路上移动的位置。可以通过在不同的连续时间点处记录对象的位置或定位并通过组合该对象的位置或定位来确定轨迹。对象轨迹的估计结果可以与上述相同,但不限于此。
根据实施方式,可以根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶确定所述测量数据。换言之,测量数据可以由安装在车辆处的至少一个传感器确定。车辆可以多次行驶相同路线,以使用至少一个传感器在车辆的相同位置处多次捕获测量数据。另一种可能性可以是多个车辆(即,不仅是所述车辆本身)可以行驶相同的路线(一次或若干次)。因此,各个车辆的至少一个传感器可以确定相同位置处的测量数据。因此,可以在短时间段内在一位置处获得多个测量数据。
根据实施方式,所述传感器可以包括雷达传感器和/或摄像头。如上所述,雷达传感器不受不利或恶劣天气条件的影响,在黑暗、潮湿甚至有雾的天气中也能可靠地工作。它们能够识别车辆或其他对象的距离、方向和相对速度。来自摄像头的测量数据可用于以极高的分辨率来检测RGB(红-绿-蓝)信息。
根据实施方式,所述方法还可以包括由计算机硬件组件执行的以下步骤:确定车辆的位置。车辆的位置可以是在坐标系中描述的该车辆的位置。对象的位置或定位的准确度可能取决于用于确定对象的位置或定位的方法。车辆的位置或定位可以指车辆的重心或车辆的另一规定点,例如安装在车辆处的传感器的位置。坐标系可以是世界坐标系(WCS),其中世界坐标系可以是地理坐标系。
根据实施方式,确定所述车辆的所述位置的步骤可以基于即时定位与地图构建和/或GPS系统和/或dGPS系统和/或惯性测量单元。
根据实施方式,所述方法还可以包括由计算机硬件组件执行的以下步骤:检查车道的可信性,其中,所述可信性可以基于关于所述车辆的行驶行为的物理假设和/或关于其他车辆的行驶行为的物理假设。
根据实施方式,关于所述车辆的行驶行为的物理假设可以包括关于所述车辆的速度的假设和/或关于所述车辆的偏航率的假设。关于所述车辆的行驶行为的物理假设可以包括所述车辆的移动数据与几何约束之间的相关性。例如,所述车辆在具有预定半径的弯道中的最大速度或偏航率。偏航率可以是车辆的角速率、角速度或偏航速度,并且描述了车辆绕偏航轴的旋转速度,或者绕车辆的偏航轴的航向角的变化率。偏航率通常以度/秒或弧度/秒来衡量。车辆的偏航轴可以描述垂直于车辆的运动方向的、垂直于街道向上指向的方向。
根据实施方式,关于其他车辆的行驶行为的物理假设可以包括其他车辆的加速度假设和/或其他车辆的制动假设和/或其他车辆的偏航率假设。上述物理假设也可以适用于其他车辆,反之亦然。
根据实施方式,所述方法还可以包括由计算机硬件组件执行的以下步骤:估计变换后的测量数据的不确定度。
根据实施方式,可以进一步基于具有置信度值的权重来估计车道。可以针对车道的定义属性(例如位置和曲率)来计算车道的不确定度。这些统计量度可以从轨迹的统计矩(例如均值和方差)计算。该计算可以包括以下步骤:如果在一空间位置周围存在高密度的轨迹(例如通过移动窗口测量的),则可以在高密度区域的中心处初始化车道候选者;车道候选者附近的轨迹可以与该候选者相关联;一些轨迹可能比其他轨迹更符合车道候选者,因此,通过在车道候选者周围设置窗口,可以估计窗口中轨迹的位置和曲率的均值和方差;然后,这些量度的均值和方差可以提供车道的不确定度。置信度值可以定义为不确定度的倒数值(例如,置信度值可以是1减去不确定度)。不确定度或置信度值可以用作权重。具有较高置信度(较低不确定度)的车道可能更重要,因此可能比具有较低置信度(较高不确定度)的车道具有更高的权重。
在另一方面,本公开涉及一种计算机系统,所述计算机系统包括多个计算机硬件组件,所述计算机硬件组件被配置成执行本文所述的计算机实现方法的若干或所有步骤。所述计算机系统可以是车辆的一部分。
所述计算机系统可以包括多个计算机硬件组件(例如处理器,例如处理单元或处理网络;至少一个存储器,例如存储器单元或存储器网络;以及至少一个非暂时性数据存储装置)。应当理解,可以提供另外的计算机硬件组件并将其用于在计算机系统中执行所述计算机实现方法的步骤。非暂时性数据存储装置和/或存储器单元可以包括计算机程序,该计算机程序用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文描述的计算机实现方法的若干或所有步骤或方面。
在另一方面,本公开可以涉及一种车辆,所述车辆包括本文所述的计算机系统以及至少一个传感器,其中,可以基于所述至少一个传感器的输出来确定所述多个车道标记和/或所述多个轨迹。所述至少一个传感器可以是摄像头、雷达传感器或LiDAR传感器。
在另一方面,本公开可以涉及一种车辆,所述车辆包括本文所述的计算机系统以及传感器,其中,可以基于所述传感器的输出来确定所述测量数据。所述传感器可以是摄像头、雷达传感器或LiDAR传感器。
在另一方面,本公开涉及一种非暂时性计算机可读介质,该非暂时性计算机可读介质包含用于执行本文所描述的计算机实现方法的若干或所有步骤或方面的指令。计算机可读介质可以被配置为:诸如光盘(CD)或数字通用盘(DVD)的光学介质;诸如硬盘驱动器(HDD)的磁性介质;固态驱动器(SSD);诸如闪速存储器的只读存储器(ROM);等等。此外,计算机可读介质可以被配置为可经由诸如因特网连接的数据连接访问的数据存储装置。计算机可读介质可以例如是在线数据存储库或云存储。
本公开还涉及一种计算机程序,该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或方面。
可以理解,结合方法描述的特征可以在计算机系统以及非暂时性计算机可读介质中实现,反之亦然。
附图说明
在本文中,结合以下附图描述了本公开的示例性实施方式和功能:
图1A示意性地示出了例示根据各种实施方式的为车辆估计车道的方法的流程图;
图1B示意性地示出了例示将第一初步车道估计与第二初步车道估计进行比较的、为车辆估计车道的方法的流程图;
图2示意性地示出了例示第一初步车道估计与第二初步车道估计的比较的流程图;
图3A、图3B示意性地示出了基于估计车道标记和估计轨迹的车道估计;
图3C、图3D示意性地示出了基于估计轨迹的车道估计;
图3E示意性地示出了考虑了车道的可行驶性的、基于估计车道标记和估计轨迹的车道估计;
图3F示意性地示出了考虑了基于估计轨迹的对象检测的、基于估计轨迹的车道估计;
图3G示意性地示出了考虑了估计轨迹的方差的、基于估计车道标记和估计轨迹的车道估计;
图4示意性地示出了例示基于将测量数据变换到全局坐标系中来为车辆估计车道的方法的流程图;
图5示意性地示出了例示根据各种实施方式的为车辆估计车道的方法的流程图;
图6示意性地示出了例示根据各种实施方式的为车辆估计车道的方法的流程图;以及
图7示意性地示出了具有多个计算机硬件组件的计算机系统,这些计算机硬件组件被配置成执行各种实施方式的为车辆估计车道的计算机实现方法的步骤。
具体实施方式
车道估计可以基于不同的传感器数据(例如,摄像头、雷达传感器和/或LiDAR传感器),并且可以使用神经网络或不基于机器学习的经典方法。可以使用车道地图聚合(LMA)的方法基于记录车辆的许多记录行驶的传感器数据针对给定区域或车辆位置生成高清晰度(HD)车道地图。这可能需要在记录车辆的全局坐标系(GCS)中进行全局定位,因为车道也必须在GCS中给出。(记录)车辆可以记录各种传感器数据,例如来自摄像头、LiDAR传感器和/或雷达传感器的数据。基于该数据,可以从不同的检测获得车道估计结果,例如,从基于摄像头或基于LiDAR的车道标记检测和/或从基于LiDAR或基于雷达的对象检测和跟踪,从而产生其他车辆的轨迹。因此,可以获得用于估计真实车道的多个车道估计结果。车道的多个估计结果——来自多个记录行驶和/或多个不同的检测——可用于通过聚合车道的多个估计结果来得到对车道及其位置的可靠估计。
因此,车道地图聚合可以是这样的处理:其将来自相同位置的多个记录行驶的多个对象检测结果或地标检测结果组合成单个且更鲁棒的表示。
该处理可以包括通过聚合根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶检测到的多个车道标记,基于车辆位置处的所述多个车道标记来确定第一初步车道估计。此外,该处理可以包括通过聚合根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶检测到的对象的多个轨迹,基于车辆位置处的对象的所述多个轨迹来确定第二初步车道估计。然后可以评估(聚合的)初步车道估计以及它们所基于的信息(车道标记或者轨迹),以得到具有置信度得分的最终车道估计。聚合可以是例如多个车道标记或轨迹的几何均值或者多个车道标记或轨迹的算术均值。置信度得分可以是车道函数l(t)或l(t,m)的输出,该函数可以将包含(聚合的)轨迹信息或者(聚合的)轨迹信息和(聚合的)车道标记信息的向量作为输入并且可以输出车道估计结果的置信度值。因此,可以通过聚合的车道标记和轨迹的标准以及附加信息(例如,在聚合中使用了多少轨迹以及这些轨迹是从多少记录中估计的)获得置信度得分。最终车道估计的置信度可以给出关于指定车道是否可行驶(即,未阻塞)的信息。所述评估可以包括比较第一初步车道估计与第二初步车道估计,以及基于所述比较确定车辆位置处的最终车道估计。
换言之,该处理描述了基于两个子系统的组合的、鲁棒的地图聚合车道估计。一个子系统可以基于车道标记检测,其中可以使用由LiDAR传感器或摄像头获得的数据。然后可以在第一初步车道估计中将来自所述车辆的可能的多次记录行驶和/或其他记录车辆的多次记录行驶的多个由此估计的初步车道标记进行聚合。另一子系统可以采用不同的方法,并且可以基于对象轨迹来估计车道。这些对象轨迹可以通过对象检测方法(例如,基于LiDAR和/或摄像头和/或雷达的)而变得可用。然后可以聚合其他道路使用者的轨迹以描述另一组估计车道,即,第二初步车道估计。随后,然后可以比较来自两个子系统的针对车辆周围区域或位置的两组估计车道,使得各个估计方法皆可以从另一估计方法的结果中受益。与仅使用单一车道检测方法相比,这可以带来车辆位置处的可靠的最终车道估计,甚至可以允许推断出附加信息,例如车道被阻塞还是可行驶。
图1A示出了例示根据各种实施方式的为车辆估计车道的方法的流程图。在102,可以使用第一传感器和第二传感器来确定传感器数据122、124、126。在112,使用定位系统,可以基于传感器数据126在世界坐标系中估计位置136。在115,可以基于传感器数据122和位置估计结果136来估计来自车道标记的车道。在117,可以基于传感器数据124和位置估计结果136来估计来自轨迹的车道。在118,可以将来自车道标记的估计车道138与来自轨迹的估计车道140进行比较。在120,可以基于步骤118的比较来确定最终车道估计。下面将详细描述这些步骤。
根据一个实施方式,为车辆估计车道的方法可以基于通过交叉检查两个车道检测和估计系统来确定经地图聚合的道路车道。该方法可以包括由计算机硬件组件执行的以下步骤:作为一个子系统,运行车道标记检测方法以检测车道;作为另一子系统,运行对象检测方法以检测其他道路使用者;在全局地图(使用定位系统)中聚合车道标记子系统的车道标记,以获得针对车道所在位置的估计结果;在全局地图(使用定位系统)中聚合从对象检测子系统获得的其他道路使用者的轨迹,以得到针对车道所在位置的分开的、独立的估计;以及交叉检查来自两个子系统的车道,以获得哪些车道实际上是可行驶的、未阻塞的和/或无障碍的信息。
根据一个实施方式,在图1B的以下详细描述中描述了基于两个子系统为车辆估计车道的方法。
图1B示出了流程图101,其例示了比较第一初步车道估计与第二初步车道估计的、为车辆估计车道的方法。在102,可以使用第一传感器和第二传感器来确定传感器数据122、124、126。第一传感器和/或第二传感器可以安装在所述车辆处或者可以安装在可能不同于所述车辆的其他记录车辆处。所述车辆和/或其他车辆可以是车队(例如公司的车队)的一部分。可以根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶确定传感器数据122、124、126。在104,可以基于传感器数据122确定车道标记的位置和类型。因此,可以使用适当的方法,例如利用神经网络的图像识别方法或者不基于机器学习的经典方法。可以使用摄像头和/或LiDAR传感器或任何其他合适的传感器来确定传感器数据122。在108,可以使用跟踪器来跟踪从多个传感器数据122获得的车道标记的估计结果128。跟踪器可以在多个帧上识别对象(例如车道标记或另一道路使用者)。多个车道标记132可以包括这些车道标记的不确定度估计结果(例如通过标准偏差方法确定的),其中车道标记的不确定度估计结果可以例如由跟踪器确定。跟踪器可以提供不确定度值。例如,使用卡尔曼滤波器或粒子滤波器的跟踪器可以提供不确定度信息,或者可以获得这些不确定度。另外,不确定度值也可以单独定义。
在106,可以基于传感器数据124确定车辆周围的对象(优选地,其他道路使用者)。对象可以是其他车辆或自行车等。可以使用雷达传感器和/或LiDAR传感器或任何其他合适的传感器来确定传感器数据124。在110,可以使用跟踪器来跟踪从多个传感器数据124确定的对象估计结果130。因此,可以确定其他道路使用者(优选为其他车辆)的航迹或轨迹。多个轨迹134可以包括这些轨迹的不确定度估计结果(例如通过标准偏差方法确定的),其中轨迹的不确定度估计结果可以例如由跟踪器确定。
在112,可以基于传感器数据126在世界坐标系中确定车辆的位置和姿态。为了确定车辆的位置和/或姿态,可以使用诸如dGPS系统之类的硬件或者诸如精细的即时定位与地图构建(SLAM)之类的适当方法。SLAM系统可以基于摄像头传感器、LiDAR传感器、雷达传感器、普通GPS传感器或这些传感器的组合。另外,可以为了更好的性能而使用惯性测量单元(IMU)传感器。
在114,可以聚合多个估计车道标记132,其中可以考虑不确定度。估计结果的不确定度可以用作聚合中的权重,其中聚合可以例如是所述多个估计车道标记132的加权平均值(或加权均值)。换言之,可以从多次行驶和/或从在相同位置136处记录的多个记录车辆的多次行驶组合所述多个估计车道标记132,以确定在该位置136处的车道标记的组合的、更准确的估计结果。所组合的或聚合的车道标记可用于确定第一初步车道估计138。
在116,可以聚合多个估计轨迹134,其中可以考虑不确定度。估计结果的不确定度可以用作聚合中的权重,其中聚合可以是例如所述多个估计轨迹134的加权平均值(或加权均值)。换言之,可以从多次行驶和/或从在相同位置136处记录的多个记录车辆的多次行驶组合所述多个估计轨迹134,以确定其他道路使用者在该位置136处可能是在哪里行驶的组合的、更准确的估计结果。所组合的或聚合的轨迹可用于基于轨迹的分布来确定第二初步车道估计140。
在118,可以比较来自车道标记的第一初步估计车道138与来自轨迹的第二初步估计车道140。第一初步估计车道138可以根据关于车道标记的可用信息来指示车道在哪里。车道标记不一定必须与可行驶车道一致。在许多情况下,车道标记可以是可见的,但由于存在障碍物、施工区域或禁止使用该车道的原因,车道仍然无法行驶。第二初步估计车道140可以给出关于其他道路使用者是在哪里行驶的指示并且由此可以给出关于哪条车道可能实际上可用的提示。
在120,可以基于步骤118的比较来确定最终车道估计。组合这两种方法,即,基于多个车道标记来估计车道和基于多个轨迹来估计车道,可以接收准确的车道位置(通过车道标记)以及这些车道是否实际上可以使用的信息。另外,通过将基于一个传感器的车道标记检测方法与基于利用另一工作原理的另一传感器的轨迹检测方法进行组合,车道估计结果可以更加鲁棒。例如,车道标记检测可以基于摄像头观测到的数据,而轨迹检测可以基于LiDAR传感器观测到的数据。这些传感器可能具有不同的故障模式。当如本文所述组合这两种方法时,在大多数情况下可以估计出可靠的车道。
图2示出了流程图200,其例示了第一初步车道估计与第二初步车道估计的比较。在202,可以检查基于多个轨迹的第二初步估计车道是否可用。如果相对于记录行驶的数量可获得最小数量的轨迹(即,被跟踪车辆的航迹),则可能是这种情况。根据环境,轨迹的数量可能会有所不同。例如,在高速公路上,通常有更多的车流。因此,最小轨迹数量可以是例如来自高速公路上特定位置的10个记录的8个轨迹。对于城郊环境,最小轨迹数量可以是例如来自10个记录的5个轨迹,因为这样的环境可能具有较少的车流。根据车辆位置的差异可以确保具有最小轨迹数量。最小轨迹数量可以是预定轨迹阈值。
在204,如果没有可用的基于多个轨迹的第二估计车道或者基于多个轨迹的第二估计车道的数量低于预定轨迹阈值,则如本文所述的估计车道的处理将终止。可能需要更多相同位置的记录来为车辆估计车道。
在206,如果基于多个轨迹的第二估计车道可用并且基于多个轨迹的第二估计车道的数量高于预定轨迹阈值,则请求基于多个车道标记的第一初步车道估计是否可用。如果例如至少80%或至少90%的记录行驶包含车道标记检测结果,则对于车辆的位置或定位或区域而言可能是这种情况。由于一些环境可能不包含车道标记,因此定义基于车道标记的预定数量的估计车道可以确保确实有可用的车道标记。此外,预定车道标记阈值可以避免车道标记检测结果只是误报,例如,如果在10个记录中只有1个给出了车道标记检测结果的话。
在208,如果没有可用的基于多个车道标记的第一初步车道估计,或者基于多个车道标记的第一初步车道估计的数量低于预定车道标记阈值,则最终车道估计212的确定可以仅基于根据基本车道函数l(t)的、基于轨迹的第二初步车道估计,其中t可以描述基于轨迹的估计车道的依赖性。在数学上,l(t)可以是函数
Figure BDA0003861029430000131
它可以将包含(聚合的)轨迹信息的向量作为输入,并且可以输出车道估计结果的置信度值。
在210,如果基于多个车道标记的第一初步车道估计可用并且基于多个车道标记的第一初步车道估计的数量高于预定车道标记阈值,则可以执行第一初步车道估计与第二初步车道估计的比较,以确定最终估计车道212。该比较可以分为多个场景,其可以用车道函数l(t,m)来表示,其中t可以描述基于轨迹的估计车道的依赖性,m可以描述基于车道标记的估计车道的依赖性。在数学上,l(t,m)可以是函数
Figure BDA0003861029430000132
它可以将包含(聚合的)轨迹信息和车道标记信息的向量作为输入,并且可以输出车道估计结果的置信度值。换言之,车道函数l(t,m)可以从对应的车道检测中获取输入信息(例如,相对于记录数量的车道数量),并且从基于车道标记的估计车道和基于轨迹的估计车道获取所估计的不确定度。例如,如果存在来自轨迹的车道估计结果和具有高置信度的来自车道标记的车道估计结果,但两条车道相交,则真实车道可能被阻塞。如果来自轨迹的车道估计结果和来自车道标记的车道估计结果两者不相交并且彼此之间具有逻辑距离且平行,则真实车道可以是可信的。车道函数l(t,m)可以通过识别预定义场景来加以确定(如图3A至图3G所示),或者也可以基于像神经网络这样的人工智能(AI)模型。
步骤208或步骤210的输出可以是具有置信度值的车辆位置处的最终车道估计212,其中该置信度值可以考虑最终车道估计是否可以是可行驶车道,即,例如没有被对象阻塞或者由于交通拥堵而阻塞。系统的每个车道估计输出可以提供必须被定义的置信度值。因此,置信度值可以取决于记录的数量。
由于可使用不同传感器(例如,摄像头、雷达传感器和/或LiDAR传感器)的不同方法(车道标记检测方法和对象检测方法)的组合,本文描述的方法可以带来可靠的车道估计。已经发现,使用准确的定位系统从沿着相同路线的多个行驶获得的车道的聚合可以带来针对相同位置的可靠车道估计。而且,通过将关于其他道路使用者的行为的信息与准确的车道信息进行组合,关于车道可行驶性的附加信息可以提供可靠的车道估计。
图3A至图3G描绘了一些场景,其中与不使用交叉检查(即,仅使用单一车道检测方法)相比,车道交叉检查(即,基于车道标记的估计车道与基于轨迹的估计车道的比较)产生了用于车辆302的更可靠的最终估计车道。图3A和图3B示出了基于估计车道标记308和移动车辆304的估计轨迹的、用于车辆302的车道估计。车道标记308指示车道,并且移动车辆304的轨迹也指示车道,但是具有行驶方向310的车道仅由移动车辆304的轨迹提供。图3C和图3D示出了在没有可用的车道标记308的情况下,基于移动车辆304的估计轨迹的车道估计。因此,最终估计车道基于移动车辆304的轨迹,这些轨迹也提供关于行驶方向的信息。图3E示出了基于估计车道标记308和移动车辆304的估计轨迹的车道估计,其考虑了估计车道的可行驶性。基于根据车道标记308的初步估计车道,最终估计出两条车道。但是轨迹表明只有左侧车道实际上是可行驶的,因为右侧车道被静止车辆306阻塞。这种场景通常适用于城市,例如,当停泊车辆可能阻塞车道或者转弯车道上存在交通拥堵时。图3F示出了基于移动车辆304的估计轨迹的车道估计,其考虑了基于移动车辆304的估计轨迹而检测到障碍物312。基于根据移动车辆304轨迹的初步估计车道,可以检测到障碍物312,并且可以调整最终估计车道。图3G示出了基于估计车道标记308和移动车辆304的估计轨迹的车道估计,其考虑了估计轨迹的方差。在较动态的轨迹具有高方差使得车道可能不容易被提取的情况下,可以使用基于车道标记308的较静态的初步车道估计来调整基于轨迹的初步车道估计以用于最终车道估计。
车道交叉检查还可以包括逻辑合理性(sanity)检查以识别和处理多个车道检测结果的不可信星座(unplausible constellation)。道路系统可以遵循特定的规则,这些规则可以由惯例或者甚至可考虑的立法来定义。另一方面,在数学意义上,车道和车道标记以及轨迹可以遵循几何关系和规则。因此,可能检测到几何描述可能与道路系统的典型规则不匹配的情况,并且该信息可以用于丢弃不可信的车道。例如,对于由两条车道组成的道路,车道需要平行,并且彼此之间需要有特定的距离,以便车辆可以在这两条车道上行驶而不会相互碰撞。如果基于来自正改变车道的车辆的轨迹进行车道估计,那么所估计的车道将与此逻辑相矛盾。此外,车道不可能与车道标记相交(不包括十字路口)。最后,可以假设,根据位置和速度限制,估计的车道将在一定的曲率边界内。
应当理解,虽然本文描述了通过显式地比较从车道标记获得的车道与从轨迹获得的车道来对道路部分应用交叉检查(如图3A至图3G所示),但是也可以将这些交叉检查应用于更复杂的情况,例如十字路口。然而,这些交叉检查可能不关注例如是否实际允许、强制、推荐变道,或者例如在高速公路情况下,其中三条车道被缩窄为两条车道。
为了得到准确可靠的车道,车道地图聚合(LMA)可以使用准确的定位系统(如差分全球定位系统(dGPS))以及准确的车道检测,例如来自基于轨迹的LiDAR传感器数据对象检测,如上文提到的。换言之,准确的定位系统可以高准确度地确定记录车辆的位置和姿态,以便将来自检测到的车道标记或轨迹的车道聚合到全局地图中,并从这样做的鲁棒性提高中受益。LiDAR传感器和dGPS可能不会在批量生产车辆中配备,而且这两种传感器的成本可能都很高。例如,dGPS可能能够以高达几厘米的分辨率定位车辆,但也可能是车辆中最昂贵的组件之一。除了成本之外,此类传感器可能还需要熟练工程师的大量培训和时间来操作。为了克服这些缺陷,根据另一实施方式,还可以用低成本(换言之:有成本效益的)传感器取代这些传感器,同时仍保持准确的车道估计。
根据一个实施方式,为车辆估计车道的方法可以基于使用低成本传感器系统来确定经地图聚合的道路车道。除了基于摄像头数据或LiDAR数据的车道估计之外,基于来自例如雷达传感器的数据的车道估计可以为估计车道提供新的来源。这使得不仅可以在聚合多个车道时使用不同的传感器来源来估计车道,而且还可以显著增加要平均的测量结果的数量。即使使用不太复杂的、低成本的传感器系统,这也可以得到更可靠的车道。本质上,更多不同的车道估计可以允许简单地通过收集更多统计数据来减轻低成本系统的定位误差。
获得和维护全世界的车道的准确HD地图可能成本高昂。理想情况下,此类地图应该具有成本效益且易于维护。创建这样的地图可能需要在全局地图中聚合来自各种方法的车道检测结果。因此,继而,可能需要尽可能准确的定位系统。为车辆配备准确的定位系统可能会很昂贵。例如,带有惯性测量单元(IMU)的好的现成dGPS系统可能非常昂贵。此外,可能需要由经过专门培训的工程师来安装和维护这些系统。此成本可能与用于生成地图的记录车队中的车辆数量成比例。统计数据(可以在这些统计数据上聚合车道检测结果)以及由此所得到的地图的准确度可能会受到进行记录的车辆数量的限制。因此,如果车队中的车辆数量由于成本而受到限制,这将直接影响准确度。
也可以为车辆配备大多数低成本传感器来执行车道估计,并且配备低成本定位系统(例如常规GPS和即时定位与地图构建(SLAM),或者常规GPS和低成本惯性测量单元(IMU))来将它们聚合在地图中。组合这些低成本传感器并且还从车道标记和/或其他道路使用者的轨迹中提取车道信息,可以带来准确的车道估计。这些轨迹可以从在车辆内部运行的对象检测方法获得。这些对象检测方法可以在低成本传感器(例如雷达传感器和摄像头)而不是更昂贵的传感器(如LiDAR传感器或复杂的环绕摄像头系统)上运行。
可以通过例如其他道路使用者的轨迹的物理合理性检查来对获得的车道进行交叉检查。当在地图中聚合轨迹时,可以过滤掉从次优定位系统引入的抖动。这可以通过对其他车辆的行驶行为(例如最大加速度、制动、偏航率等)做出合理的物理假设来完成。另外,从检测方法得出的其他车辆的轨迹可以首先被变换到全局坐标系中(使用可获得的简单定位信息),然后可以使用跟踪器在该坐标框架下进行跟踪。在数据在全局地图坐标系中变换之后使用跟踪器可以平滑并减少引入的抖动。
与上面类似,可以对从车道标记检测获得的车道应用物理合理性检查。当在全局坐标系中聚合车道标记时,可以过滤掉来自定位系统的抖动。这可以通过对车辆的行驶行为做出合理的物理假设来完成(使用诸如车辆速度和车辆偏航率之类的信息)。这可以允许使用跟踪器将车道标记传播到预期的下一位置,从而减少引入的抖动。
如上所述,从轨迹获得的车道与从车道标记获得的车道之间的融合可能不同于简单的跟踪,因为这些物理约束是应用于轨迹集合而不是单个航迹的。这可能与仅仅为各个被跟踪对象应用具有底层物理模型的跟踪器不同。这同样适用于车道标记的聚合,其中除了对单个车道标记的任何跟踪之外,还可以对车道标记的集合应用物理合理性检查以进行聚合。
本文所述的方法不仅可以应用于专门配备的测试车辆,而且可以应用于以车道检测系统和对象检测系统为特征的批量生产车辆。以这种方式,可以收集到关于车道的潜在的更多统计数据,可以提高准确度并且可以进一步降低成本。
图4示出了流程图400,其例示了基于将测量数据变换到全局坐标系中来为车辆估计车道的方法。车道估计可以在单独执行图4的左侧的情况下工作,包括步骤402、404、407、408、412和414。也可以单独执行图4的右侧来确定估计车道,包括步骤402、406、409、410、412和416。另一种可能性可以是根据上述方法执行图4所示的所有步骤,以基于比较(图4中的步骤418)第一初步车道估计(图4中的步骤402、404、407、408、412和414)与第二初步车道估计(图4中的步骤402、406、409、410、412和416)来确定车辆位置处的最终估计车道(图4中的步骤420)。每种可能性可以如下详细描述。
从图4的左侧开始,在步骤402中,可以使用一个或多个传感器来确定传感器数据422、426。传感器(优选地,低成本传感器)可以安装在所述车辆处或者可以安装在可能与所述车辆不同的其他记录车辆处。所述车辆和/或其他车辆可以是车队的一部分。可以根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶确定传感器数据422、426。在404,可以基于传感器数据422确定车道标记的位置和类型。因此,可以使用适当的方法,例如利用神经网络的图像识别方法或者不基于机器学习的经典方法。可以使用摄像头和/或前视LiDAR传感器或任何其他合适的传感器来确定传感器数据422。在412,可以基于传感器数据426在世界坐标系中确定所述车辆的位置和姿态。为了确定所述车辆的位置和/或姿态,可以使用诸如系列GPS系统(如可以配备在几乎所有汽车中的)之类的低成本硬件,或者系列GPS系统与诸如精细的即时定位与地图构建(SLAM)之类的适当方法的组合。SLAM系统可以基于摄像头传感器、LiDAR传感器、雷达传感器、普通GPS传感器或这些传感器的组合。另选地,可以使用系列GPS系统与惯性测量单元(IMU)传感器的组合或者系列GPS系统与SLAM和IMU的组合,以获得更好的性能。传感器的选择可以取决于车辆中配备了什么。在407,可以使用位置估计结果436将车道标记估计结果428变换到全局坐标系中。在408,可以使用跟踪器来跟踪从多个传感器数据422获得并变换到全局坐标系中的以全局坐标表示的车道标记估计结果431。与上述方法相比,在进行跟踪之前,首先将车道标记估计结果变换到全局坐标系中。以这种方式,可以平滑掉来自低成本定位系统的抖动。以全局坐标描述的多个车道标记432可以包括这些车道标记的不确定度估计结果(例如通过标准偏差方法确定的),其中车道标记的不确定度估计结果可以例如由跟踪器确定。在414,可以聚合以全局坐标表示的多个车道标记432,其中可以考虑所估计的不确定度。换言之,可以根据所述车辆的多次行驶和/或从在相同位置436处记录的多个记录车辆的多次行驶组合以全局坐标表示的多个车道标记432,以确定该位置436处的以全局坐标表示的车道标记432的组合的、更准确的估计结果。基于变换后的测量数据,所组合的或聚合的车道标记可用于为所述车辆估计该位置处的车道438。
另选地,车道估计也可以基于其他道路使用者(主要是所述车辆周围的其他车辆)的轨迹。因此,在402,可以使用一个或多个传感器来确定传感器数据424、426。传感器(优选地,低成本传感器)可以安装在所述车辆处或者可以安装在可能与所述车辆不同的其他记录车辆处。所述车辆和/或其他车辆可以是车队的一部分。可以根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶确定传感器数据424、426。在406,可以基于传感器数据424确定所述车辆周围的对象(优选地,其他道路使用者,可以是其他车辆或自行车等)。传感器数据424可以使用低成本传感器来确定,例如雷达传感器和/或前视LiDAR传感器,或任何其他合适的传感器。在412,可以基于传感器数据426在世界坐标系中确定所述车辆的位置和姿态。为了确定所述车辆的位置和/或姿态,可以使用诸如系列GPS系统(如可以配备在几乎所有汽车中的)之类的低成本硬件,或者系列GPS系统与诸如精细的即时定位与地图构建(SLAM)之类的适当方法的组合。SLAM系统可以基于摄像头传感器、LiDAR传感器、雷达传感器、普通GPS传感器或这些传感器的组合。另选地,可以使用系列GPS系统与惯性测量单元(IMU)传感器的组合或者系列GPS系统与SLAM和IMU的组合,以获得更好的性能。传感器的选择可以取决于车辆中配备了什么。在409,可以使用位置估计结果436将对象估计结果430变换到全局坐标系中。在410,可以使用跟踪器来跟踪从多个传感器数据424确定并变换到全局坐标系中的以全局坐标表示的对象估计结果433。因此,可以确定其他道路使用者(优选为其他车辆)的对象航迹或轨迹。与上述方法相比,在进行跟踪之前,首先将轨迹估计结果变换到全局坐标系中。以这种方式,可以平滑掉来自低成本定位系统的抖动。以全局坐标表示的多个轨迹434可以包括这些轨迹的不确定度估计结果(例如通过标准偏差方法确定的),其中轨迹的不确定度估计结果可以例如由跟踪器确定。在416,可以聚合以全局坐标表示的多个轨迹434,其中可以考虑所估计的不确定度。换言之,可以根据所述车辆的多次行驶和/或从在相同位置436处记录的多个记录车辆的多次行驶组合以全局坐标表示的多个轨迹434,以确定其他道路使用者在该位置436处是在哪里行驶的组合的、更准确的估计结果。基于变换后的测量数据,所组合的或聚合的轨迹可用于为所述车辆估计该位置处的车道440。
组合上述基于车道标记和基于轨迹的车道估计以确定车辆位置处的最终估计车道420可以带来如上所述的更鲁棒的车道估计。因此,在418,可以比较来自车道标记的车道估计结果438与来自轨迹的车道估计结果440。车道估计结果438可以根据关于车道标记的可用信息来指示车道在哪里。来自轨迹的车道估计结果440可以给出关于其他道路使用者是在哪里行驶的指示并且由此可以给出关于哪条车道可能实际上可用的提示。通过组合这两种方法,即,组合基于多个车道标记的车道估计和基于多个轨迹的车道估计,可以接收准确的车道位置(通过车道标记)以及这些车道是否实际上可以使用的信息。可以通过如上所述的交叉检查来组合基于车道标记的车道估计和基于轨迹的车道估计。
利用本文描述的方法,可以在记录车辆中使用低成本传感器设置(特别是用于定位),并且仍然通过提取车道标记和/或从轨迹(例如基于雷达检测)中提取车道并进行各种交叉检查,来获得可靠的车道估计。低成本传感器可以是现成的传感器。例如,甚至可以将批量生产车辆的传感器设置用于给定目的。
图5示出了流程图500,其例示了根据各种实施方式的为车辆估计车道的方法。在502,可以基于车辆位置处的多个车道标记来确定第一初步车道估计。在504,可以基于车辆位置处的对象的多个轨迹来确定第二初步车道估计。在506,可以将第一初步车道估计与第二初步车道估计进行比较。在508,可以基于所述比较确定车辆位置处的最终车道估计。
根据实施方式,可以基于第二传感器数据来确定所述对象的所述多个轨迹,其中,可以使用第二传感器来确定所述第二传感器数据,其中优选地,所述第二传感器可以包括摄像头或雷达传感器或LiDAR传感器。
根据实施方式,所述方法还可以包括由所述计算机硬件组件执行的以下步骤:确定所述车辆的所述位置。
根据实施方式,可以基于即时定位与地图构建和/或GPS系统和/或dGPS系统和/或惯性测量单元来确定所述车辆的所述位置。
根据实施方式,所述方法还可以包括由所述计算机硬件组件执行的以下步骤:检测所述车辆在世界坐标系中的姿态。
根据实施方式,所述方法还可以包括由所述计算机硬件组件执行的以下步骤:估计所述第一初步车道估计和/或所述第二初步车道估计的不确定度。
根据实施方式,可以根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶确定所述多个车道标记。
根据实施方式,可以根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶确定所述多个轨迹。
根据实施方式,所述方法还可以包括由所述计算机硬件组件执行的以下步骤:检查所述第一初步车道估计的第一可信性和/或检查所述第二初步车道估计的第二可信性,其中,所述第一可信性和/或所述第二可信性可以基于几何关系和/或规则。
根据实施方式,对象的所述多个轨迹中的轨迹的数量可以高于预定轨迹阈值。
根据实施方式,所述多个车道标记中的车道标记的数量可以高于预定车道标记阈值。
步骤502、504、506、508中的各个步骤以及上述另外的步骤可以由计算机硬件组件来执行。
图6示出了流程图600,其例示了根据各种实施方式的为车辆估计车道的方法。在602,可以使用安装在车辆处的传感器在车辆的位置处确定测量数据。在604,可以将传感器的测量数据变换到全局坐标系中以获得变换后的测量数据。在606,可以基于变换后的测量数据在车辆位置处估计车道。
根据实施方式,所述测量数据可以包括车道标记的估计结果。
根据实施方式,所述测量数据可以包括对象轨迹的估计结果。
根据实施方式,可以根据所述车辆的多次行驶和/或根据多个记录车辆的多次行驶确定所述测量数据。
根据实施方式,所述传感器可以包括雷达传感器和/或摄像头。
根据实施方式,所述方法还可以包括由所述计算机硬件组件执行的以下步骤:确定所述车辆的所述位置。
根据实施方式,确定所述车辆的所述位置的步骤可以基于即时定位与地图构建和/或GPS系统和/或dGPS系统和/或惯性测量单元。
根据实施方式,所述方法还可以包括由所述计算机硬件组件执行的以下步骤:检查所述车道的可信性,其中,所述可信性可以基于关于所述车辆的行驶行为的物理假设和/或关于其他车辆的行驶行为的物理假设。
根据实施方式,关于所述车辆的行驶行为的物理假设可以包括关于所述车辆的速度的假设和/或关于所述车辆的偏航率的假设。
根据实施方式,关于其他车辆的行驶行为的物理假设可以包括其他车辆的加速度假设和/或其他车辆的制动假设和/或其他车辆的偏航率假设。
根据实施方式,所述方法还可以包括由所述计算机硬件组件执行的以下步骤:估计变换后的测量数据的不确定度。
根据实施方式,可以进一步基于具有置信度值的权重来估计所述车道。
步骤502、504、506、508中的各个步骤以及上述另外的步骤可以由计算机硬件组件来执行。
图7示出了具有多个计算机硬件组件的计算机系统700,这些计算机硬件组件被配置成执行根据各种实施方式的为车辆估计车道的计算机实现方法的步骤。计算机系统700可以包括处理器702、存储器704和非暂时性数据存储装置706。可以提供摄像头708和/或距离传感器710(例如雷达传感器和/或LiDAR传感器)作为计算机系统700的一部分(如图7所示),或者可以在计算机系统700的外部提供。
处理器702可以执行在存储器704中提供的指令。非暂时性数据存储装置706可以存储计算机程序,包括可以被传送到存储器704然后由处理器702执行的指令。摄像头708和/或者距离传感器710可用于确定输入数据,例如提供给本文所述方法的测量数据和/或传感器数据。
处理器702、存储器704和非暂时性数据存储装置706可以彼此连接,例如经由诸如电缆或计算机总线之类的电连接712或者经由任何其他合适的电连接,以交换电信号。摄像头708和/或距离传感器710可以例如经由外部接口联接到计算机系统700,或者可以作为计算机系统的部分提供(换言之:在计算机系统内部,例如经由电连接712来联接)。
术语“联接”或“连接”旨在分别包括直接“联接”(例如经由物理链路)或直接“连接”以及间接“联接”或间接“连接”(例如经由逻辑链路)。
应当理解,针对上述方法之一所描述的内容可以类似地适用于计算机系统700。
附图标记列表
100 例示根据各种实施方式的为车辆估计车道的方法的流程图
101 例示比较第一初步车道估计与第二初步车道估计的、为车辆估计车道的方法的流程图
102 确定传感器数据的步骤
104 确定车道标记的步骤
106 确定对象的步骤
108 跟踪车道标记的步骤
110 跟踪对象轨迹的步骤
112 确定车辆的位置和姿态的步骤
114 聚合车道标记的步骤
115 从车道标记估计车道的步骤
116 聚合轨迹的步骤
117 从轨迹估计车道的步骤
118 比较来自车道标记的车道与来自轨迹的车道的步骤
120 确定最终车道估计的步骤
122 传感器数据
124 传感器数据
126 传感器数据
128 车道标记估计结果
130 对象估计结果
132 多个车道标记
134 多个轨迹
136 位置估计结果
138 第一初步车道估计
140 第二初步车道估计
200 例示第一初步车道估计与第二初步车道估计的比较的流程图
202 请求基于轨迹的第二初步车道估计
204 终止步骤
206 请求基于车道标记的第一初步车道估计
208 基于第二初步车道估计确定最终车道估计的步骤
210 基于第一初步车道估计和第二初步车道估计确定最终车道估计的步骤
212 具有置信度值的最终估计车道
302 车辆
304 用于轨迹的移动车辆
306 静止车辆
308 车道标记
310 具有方向的车道
312 障碍物
400 例示基于将测量数据变换到全局坐标系中来为车辆估计车道的方法的流程图
402 确定测量数据的步骤
404 确定车道标记的步骤
406 确定对象的步骤
407 将数据变换到全局坐标系中的步骤
408 跟踪车道标记的步骤
409 将数据变换到全局坐标系中的步骤
410 跟踪对象轨迹的步骤
412 确定车辆的位置和姿态的步骤
414 聚合车道标记的步骤
416 聚合轨迹的步骤
418 比较来自车道标记的车道与来自轨迹的车道的步骤
420 确定最终车道估计的步骤
422 测量数据
424 测量数据
426 测量数据
428 车道标记估计结果
430 对象估计结果
431 以全局坐标表示的车道标记估计结果
432 以全局坐标表示的多个车道标记
433 以全局坐标表示的对象估计结果
434 以全局坐标表示的多个轨迹
436 位置估计结果
438 车道估计结果
440 车道估计结果
500 例示根据各种实施方式的为车辆估计车道的方法的流程图
502 基于车辆位置处的多个车道标记确定第一初步车道估计的步骤
504 基于车辆位置处的对象的多个轨迹确定第二初步车道估计的步骤
506 将第一初步车道估计与第二初步车道估计进行比较的步骤
508 基于比较确定车辆位置处的最终车道估计的步骤
600 例示根据各种实施方式的为车辆估计车道的方法的流程图
602 使用安装在车辆处的传感器确定车辆位置处的测量数据的步骤
604 将传感器的测量数据变换到全局坐标系中以获得变换后的测量数据的步骤
606 基于变换后的测量数据来估计车辆位置处的车道的步骤
700 根据各种实施方式的计算机系统
702 处理器
704 存储器
706 非暂时性数据存储装置
708 摄像头
710 距离传感器
712 连接

Claims (15)

1.一种为车辆(302)估计车道的计算机实现方法,该方法包括由计算机硬件组件执行的以下步骤:
-使用安装在所述车辆(302)处的传感器确定(602)所述车辆(302)的位置(436)处的测量数据(422、424、426);
-将所述传感器的所述测量数据(422、424、426)变换(604)到全局坐标系中以获得变换后的测量数据(422、424、426);以及
-基于所述变换后的测量数据(422、424、426)来为所述车辆(302)估计(606)所述位置(436)处的车道(438、440)。
2.根据权利要求1所述的方法,其中,所述测量数据(422)包括车道标记(308)的估计结果。
3.根据权利要求1或2中至少一项所述的方法,其中,所述测量数据(424)包括对象的轨迹的估计结果。
4.根据权利要求1至3中至少一项所述的方法,其中,所述测量数据(422、424、426)是根据所述车辆(302)的多次行驶和/或根据多个记录车辆(304)的多次行驶确定的。
5.根据权利要求1至4中至少一项所述的方法,其中,所述传感器包括雷达传感器(710)和/或摄像头(708)。
6.根据权利要求1至5中至少一项所述的方法,所述方法还包括由所述计算机硬件组件执行的以下步骤:
-确定所述车辆(302)的所述位置(436)。
7.根据权利要求6所述的方法,其中,确定所述车辆(302)的所述位置(436)的步骤基于即时定位与地图构建和/或GPS系统和/或dGPS系统和/或惯性测量单元。
8.根据权利要求1至7中至少一项所述的方法,所述方法还包括由所述计算机硬件组件执行的以下步骤:
-检查所述车道(438、440)的可信性,其中,所述可信性基于关于所述车辆(302)的行驶行为的物理假设和/或关于其他车辆(304)的行驶行为的物理假设。
9.根据权利要求8所述的方法,其中,关于所述车辆(302)的行驶行为的物理假设包括关于所述车辆(302)的速度的假设和/或关于所述车辆(302)的偏航率的假设。
10.根据权利要求8所述的方法,其中,关于所述其他车辆(304)的行驶行为的物理假设包括所述其他车辆(304)的加速度假设和/或所述其他车辆(304)的制动假设和/或所述其他车辆(304)的偏航率假设。
11.根据权利要求1至10中至少一项所述的方法,所述方法还包括由所述计算机硬件组件执行的以下步骤:
-估计所述变换后的测量数据的不确定度。
12.根据权利要求1至11中至少一项所述的方法,其中,所述车道(310)是进一步基于具有置信度值的权重来估计的。
13.一种计算机系统(700),所述计算机系统(700)包括多个计算机硬件组件,所述多个计算机硬件组件被配置成执行根据权利要求1至12中至少一项所述的计算机实现方法的步骤。
14.一种车辆(302),所述车辆(302)包括传感器以及根据权利要求13所述的计算机系统(700),其中,所述测量数据是基于所述传感器的输出确定的。
15.一种非暂时性计算机可读介质(706),所述非暂时性计算机可读介质(706)包括用于执行根据权利要求1至12中至少一项所述的计算机实现方法的指令。
CN202211170937.4A 2021-09-30 2022-09-23 为车辆估计车道的方法和系统 Pending CN115892018A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21200267.9 2021-09-30
EP21200267.9A EP4160154A1 (en) 2021-09-30 2021-09-30 Methods and systems for estimating lanes for a vehicle

Publications (1)

Publication Number Publication Date
CN115892018A true CN115892018A (zh) 2023-04-04

Family

ID=78414162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211170937.4A Pending CN115892018A (zh) 2021-09-30 2022-09-23 为车辆估计车道的方法和系统

Country Status (3)

Country Link
US (1) US20230118134A1 (zh)
EP (1) EP4160154A1 (zh)
CN (1) CN115892018A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010033729B4 (de) * 2010-08-07 2014-05-08 Audi Ag Verfahren und Vorrichtung zum Bestimmen der Position eines Fahrzeugs auf einer Fahrbahn sowie Kraftwagen mit einer solchen Vorrichtung
EP3865822A1 (en) * 2018-05-15 2021-08-18 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
WO2020008221A1 (ja) * 2018-07-04 2020-01-09 日産自動車株式会社 走行支援方法及び走行支援装置

Also Published As

Publication number Publication date
US20230118134A1 (en) 2023-04-20
EP4160154A1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
EP3818339B1 (en) Systems and methods for vehicle navigation
US20210063162A1 (en) Systems and methods for vehicle navigation
US10871783B2 (en) Advanced path prediction
US20220001872A1 (en) Semantic lane description
US20220397402A1 (en) Systems and methods for determining road safety
JP7405451B2 (ja) センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
WO2021069967A1 (en) Systems and methods for vehicle navigation
WO2021053393A1 (en) Systems and methods for monitoring traffic lane congestion
CN111788571A (zh) 车辆跟踪
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
WO2021262976A1 (en) Systems and methods for detecting an open door
WO2022229704A2 (en) Multi-frame image segmentation
WO2021198775A1 (en) Control loop for navigating a vehicle
US20230341239A1 (en) Systems and methods for road segment mapping
WO2023129656A1 (en) Calculating vehicle speed for a road curve
US20220198714A1 (en) Camera to camera calibration
JP7234840B2 (ja) 位置推定装置
EP4160153A1 (en) Methods and systems for estimating lanes for a vehicle
EP4160154A1 (en) Methods and systems for estimating lanes for a vehicle
Chipka et al. Estimation and navigation methods with limited information for autonomous urban driving
Chipka et al. Autonomous urban localization and navigation with limited information
US12030502B2 (en) Road vector fields
WO2023196288A1 (en) Detecting an open door using a sparse representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240304

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right