CN108628301B - 用于操作自动驾驶车辆的时间数据关联 - Google Patents

用于操作自动驾驶车辆的时间数据关联 Download PDF

Info

Publication number
CN108628301B
CN108628301B CN201810199124.5A CN201810199124A CN108628301B CN 108628301 B CN108628301 B CN 108628301B CN 201810199124 A CN201810199124 A CN 201810199124A CN 108628301 B CN108628301 B CN 108628301B
Authority
CN
China
Prior art keywords
vehicle
data
image
lidar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810199124.5A
Other languages
English (en)
Other versions
CN108628301A (zh
Inventor
G·明斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108628301A publication Critical patent/CN108628301A/zh
Application granted granted Critical
Publication of CN108628301B publication Critical patent/CN108628301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

提供了用于控制车辆的系统和方法。在一个实施例中，方法包括：基于与第一数据相关联的时间和与第二装置相关联的频率之间的关系，通过车辆上装载的控制器从车辆上装载的第一装置选择用于区域的第一数据；通过控制器从第二装置获得第二数据，该第二数据对应于该区域；通过控制器将该第一数据与该第二数据进行相关联；以及通过控制器确定用于以受第一数据与第二数据之间的相关性影响的方式操作车辆上装载的一个或多个致动器的命令。

Description

用于操作自动驾驶车辆的时间数据关联
技术领域
本发明主要涉及自动驾驶车辆，更具体地涉及用于在分析自动驾驶车辆周围环境时在时间上关联数据的系统和方法。
背景技术
自动驾驶车辆是一种能够感测其周围环境并在仅需很少或无需用户输入的情况下进行导航的车辆。自动驾驶车辆利用诸如雷达、激光雷达、图像传感器等类似感测装置来感测其环境。自动驾驶车辆系统还利用来自全球定位系统(GPS)、导航系统、车对车通信、车对基础设施技术和/或线控驾驶系统的信息对车辆进行导航。
车辆自动驾驶分为五个数字等级，从零等级到五等级，零等级相当于无自动化、完全人为控制，第五等级相当于全自动化、无人为控制。巡航控制系统、自适应巡航控制系统和停车辅助系统等各种自动驾驶辅助系统对应较低的自动驾驶等级，而真正的“无人驾驶”车辆对应较高的自动驾驶等级。
为了实现高等级的自动驾驶，车辆通常装有越来越多不同类型的装置，用于分析车辆周围的环境，例如摄像机或其他成像装置、雷达或其他检测装置、探测装置等类似装置。实际使用时，不同的车载装置通常以不同的采样率或刷新率运行，并因此捕获与不同时间点相对应的不同类型的数据。因此，我们希望提供使不同时间点的数据集同步以提高不同类型数据之间相关性的系统和方法。此外，结合附图和前述技术领域和背景技术，根据以下详细描述和所附权利要求书，本发明的其他所需特征和特性将变得显而易见。
发明内容
提供了用于控制车辆的系统和方法。在一个实施例中，方法包括：根据与第一数据相关联的时间和与第二装置相关联的频率之间的关系，通过该车辆上装载的控制器选择用于来自车辆上装载的第一装置的区域的第一数据；通过该控制器从第二装置获得第二数据，该第二数据对应于该区域；通过该控制器将该第一数据与该第二数据进行关联；并且通过该控制器确定命令，该命令用于以受该第一数据和第二数据之间的相关性影响的方式操作车辆上装载的一个或多个致动器。
在另一个实施例中，提供了一种自动驾驶车辆，包括：该车辆上装载的、以第一频率提供第一数据的第一装置；该车辆上装载的、以不同于第一频率的第二频率提供第二数据的第二装置；该车辆上装载的一个或多个致动器，以及控制器；根据与该第一数据的子集相关联的时间和与该第二装置相关联的第二频率之间的关系，该控制器通过处理器选择该子集，将该子集与该第二数据的第二子集进行关联，并且以受该子集和第二子集之间的相关性影响的方式自动地操作该一个或多个致动器。
在另一个实施例中，控制车辆的方法包括：通过该车辆上装载的控制模块从该车辆上装载的摄像机获得多个图像，该摄像机以第一频率捕获视野的多个图像；通过该控制模块从该车辆上装载的测距装置获得测距数据，该测距装置以不同于第一频率的第二频率扫描车辆周围的环境；根据与该第一图像相关联的时间戳和第二频率之间的关系，通过该控制模块，将该多个图像的第一图像与对应于该视野的测距数据的子集进行关联；通过该控制模块确定命令，该命令用于以受该第一图像和该测距数据的子集之间的相关性影响的方式操作该车辆上装载的一个或多个致动器；根据该命令，通过该控制模块自动操作该一个或多个致动器。
附图说明
以下将结合附图描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
图1是示出了根据各个实施例的具有驾驶控制系统的自动驾驶车辆的功能框图；
图2是示出了根据各个实施例的具有图1的一个或多个自动驾驶车辆的运输系统；
图3是根据一个或多个示例性实施例的用于车辆的自动驾驶系统(ADS)的示意性框图；
图4是根据一个或多个示例性实施例示出了车辆上装载的多个成像装置和多个测距装置的车辆的框图；
图5是根据一个或多个示例性实施例的用于在图4的车辆上实施的处理模块的框图；
图6是示出了根据一个或多个示例性实施例的用于对数据集进行关联并影响图1的自动驾驶车辆的控制的同步过程的流程图；并且
图7是根据一个或多个示例性实施例的包括车载摄像机和车载激光雷达装置并被适当配置用于实施图6的同步过程的车辆的框图。
具体实施方式
以下详细描述本质上仅仅是示例性的，并不旨在限制应用和用途。此外，并不旨在受到前述技术领域、背景技术、发明内容或以下详细描述中提及的任何明确表述或暗示的理论的约束。如本文所使用的，术语“模块”是指单独使用或以任何组合使用的任何硬件、软件、固件、电子控制组件、处理逻辑器和/或处理器装置，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或群组的处理器)和存储器、组合逻辑电路、和/或提供所述功能的其他合适组件。
可以根据功能和/或逻辑块组件以及各种处理步骤对本发明的实施例进行描述。应该理解的是，可以通过被配置为执行特定功能的任何数量的硬件、软件和/或固件组件来实现这种块组件。例如，本发明的实施例可以采用各种不同的集成电路组件(例如存储器元件、数字信号处理元件、逻辑元件、查找表等)，它们可以在一个或多个微处理器或其他控制装置的控制下执行各种不同的功能。另外，本领域技术人员将会理解的是，可以结合各种不同的系统来实施本发明的实施例，而本文所述的这些系统仅仅是本发明的示例性实施例。
为了简要起见，对于与系统(以及系统的各个操作组件)的信号处理、数据传输、信令、控制和其他功能方面相关的传统技术，本文不再赘述。而且，本文所含的各个附图中所示的连接线旨在表示各个元件之间的示例性功能关系和/或物理联接。应该注意的是，在本发明的实施例中可以存在各种替代的或额外的功能关系或物理连接。
在本文所述的一个或多个示例性实施例中，能够自动操作的车辆包括各种不同的装置，这些装置从不同的角度以不同的采样率或刷新率捕获图像或以其他方式生成表示车辆附近场景或环境的数据。根据与图像数据相关联的时间(或时间戳)和某个时间(在该时间，与相应装置相关联的视野或视线对准)之间的关系，可以将来自一个车载成像装置的图像数据与来自车辆上装载的另一个装置的数据进行关联。在这个方面，可以在来自不同装置的数据集之间建立时间关联，然后利用在时间上相关联的数据集之间的相关性，向数据集分配深度或其他属性，检测物体，或者使用相关数据集相对于一个数据集执行其他动作。然后可以对加强或增强的数据集进行分析，并利用该数据集来确定用于自动操作车辆上装载的一个或多个致动器的命令。通过这种方式，车辆的自动操作受到在时间上相关联的数据集之间的相关性的影响。
在一个实施例中，根据与图像相关联的时间和与扫描车辆周围环境的测距装置相关联的频率之间的关系，车辆上装载的控制器从车辆上装载的第一成像装置(或摄像机)中选择区域的图像(或成像数据)。控制器还从测距装置中选择或获得测距数据的子集，该子集与测距装置扫描所成像区域的至少一部分的某个时间相对应，然后将在该某个时间或前后的测距数据与所选图像进行关联或以其他方式关联起来。在这个方面，控制器可以使用测距数据的子集向图像分配深度或其他尺寸特性，或可选地，识别或检测在与图像内所识别的物体相对应的子集内测距数据的目标区域。而用于自动操作车辆的命令受到数据集之间的相关性的影响。例如，分配给图像的深度可以用于查明车辆与物体之间的距离，而这又可能影响那些控制车辆沿着路线横向或纵向移动以符合安全缓冲区或者车辆与物体之间最小距离要求的命令。可选地，可以将神经网络或其他分类算法应用于在测距数据内所识别的目标区域，以便将目标区域分类为对应于特定目标类型的物体，而这又可以影响车辆根据其所关联的类型相对于物体进行的自动操作。
例如，如下文在图4至图7的上下文中更详细描述的，车辆的示例性实施例包括多个摄像机和一个或多个测距装置，例如光检测和测距(激光雷达)装置。摄像机分布并定位在车辆周围的不同位置，利用每个相应摄像机的特定视野和视角捕获车辆周围环境的不同部分。激光雷达装置周期性地扫描车辆周围的环境，并获得相应的点云数据集。在示例性实施例中，激光雷达装置以特定角频率扫描车辆周围整整一圈(例如，360°)，而特定角频率可以与摄像机捕获图像时的图像频率(或采样频率)不同和/或无关。为了便于在时间上将来自特定摄像机的图像与激光雷达点进行关联和联系，根据何时激光雷达的视线与摄像机的视野基本上平行对准(例如，当激光雷达视线平行于摄像机视野的平分线时)，计算或用其他方式确定摄像机的最佳采样时间。在这个方面，根据摄像机视野的方向、激光雷达扫描的起始方向、激光雷达扫描的起始时间(例如，激光雷达处于起始方向的某个时间)以及激光雷达装置的角频率或旋转速度，可以确定最佳采样时间，在这个最佳采样时间，激光雷达装置视线与摄像机视野平行对准。
一旦确定了与特定摄像机相关联的最佳采样时间，就识别或选择在最接近最佳采样时间的某个时间由摄像机捕获到的图像(或图像数据)，用于与激光雷达点云数据进行关联。例如，由摄像机生成的每个图像可以具有与其相关联的时间戳，而所选图像在其相关联的时间戳与该最佳采样时间之间具有最小差异。由此，所选图像与在视线激光雷达装置与摄像机对准时所获得的激光雷达点云数据最密切相关。一旦所选了与激光雷达点云数据在时间上相关联的图像，就可以将对应于摄像机视野的激光雷达点云数据的子集与所选图像的图像数据进行关联，这是通过将激光雷达点云数据投射到与所选图像上来完成的，例如，通过将深度分配给图像数据的一部分，并将图像数据的一部分分类或识别为对应于由激光雷达检测到的物体等。进而，可以提高基于图像数据的物体检测、分类和分析，而这又通过用于操作车辆受车辆附近环境中的物体的影响的命令来提高车辆的自动操作。
例如，当激光雷达检测到车辆前方有行驶汽车时，将用于汽车的三维激光雷达点云数据投射到来自前视摄像机的二维图像上，该前视摄像机在时间上与前视激光雷达对准相关联，对应于该汽车的激光雷达点将更好地重叠对应于图像中的汽车的图像数据。通过减少图像数据的像素与所投射的激光雷达点之间的偏差，可以更精确地确定图像中物体的边界框，而当神经网络应用于包含在边界框内的图像数据以确定是什么物体(例如，汽车、行人、交通标志等)时，这又提高了物体分类。额外地或可选地，如果存在与激光雷达点云数据在时间上相关联的图像中可视地检测到物体的图像数据的区域，则可以确定哪个激光雷达点对应于那个检测到的物体，并且由此可以使物体距离的确定或应该如何将激光雷达点云数据分割成不同物体得到提高。也可以利用激光雷达点云数据与所选图像之间的时间关联，根据车辆的三维位置和方向(例如，如以下在图3的上下文中所描述的由堆叠的定位部分确定的位置和方向)来解析在图像数据中地面表面看起来是什么样子的，以及激光雷达数据和图像数据在时间上是相关联的事实。
参照图1，整体上以100示出的自动驾驶车辆控制系统与根据各个实施例的车辆10相关联。通常，如以下更详细描述的那样，控制系统100确定运动计划，用于以考虑由车载传感器28、40检测到的物体或障碍物的方式沿着路线操作车辆10。在这个方面，来自不同类型的具有不同采样频率或与之相关联的更新频率的车载传感器28、40的数据在时间上彼此相关联，以便在建立数据集之间的相关性之前使数据集有效同步，如下文主要在图4至图7的上下文中更详细描述的那样。时间关联减少了偏差并且提高了在数据集之间进行关联时的准确度或精确度，而这又提高了物体检测、物体分类等，并且由此提高了车辆10的自动操作。
如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14设置在底盘12上并且基本上封装车辆10的组件。车身14和底盘12可以共同形成车架。车轮16-18各自在车身14的相应拐角附近旋转地联接到底盘12。
在各个实施例中，车辆10是自动驾驶车辆，并且控制系统100并入到自动驾驶车辆10(以下被称为自动驾驶车辆10)中。例如，自动驾驶车辆10是一种自动控制以将乘客从一个位置运送到另一个位置的车辆。在所示实施例中车辆10被示出为乘用车，但应该理解的是，也可以使用包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、海运船、飞机等在内的任何其他交通工具。在一个示例性实施例中，自动驾驶车辆10是所谓四级或五级自动化系统。四级系统表示“高度自动化”，意思是自动驾驶系统针对动态驾驶任务的各个方面表现出驾驶模式特定性能，即使是在驾驶员没有对干预请求做出适当响应的情况下。五级系统表示“完全自动化”，意思是可由驾驶员管理的所有道路和环境情况下，自动驾驶系统针对动态驾驶任务的各个方面表现出全时性能。
如图所示，自动驾驶车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。在各个实施例中，推进系统20包括内燃机，诸如牵引马达等电机机械和/或燃料电池推进系统。传动系统22被配置为根据可选转速比将动力从推进系统20传递到车轮16-18。根据各个实施例，传动系统22可以包括步进比自动变速器、无级变速器或其他合适的传动装置。制动系统26被配置为向车轮16-18提供制动转矩。在各个实施例中，制动系统26可以包括摩擦制动器、电动制动器、诸如电动机械等可再生制动系统、和/或其他合适的制动系统。转向系统24影响车轮16-18的位置。虽然为了说明的目的将转向系统描述为包括方向盘，但是在不脱离本发明保护范围的情况下，可以设想的是，在一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括一个或多个感测装置40a-40n，其感测自动驾驶车辆10的外部环境和/或内部环境的可观察状况。感测装置40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学摄像机、热成像摄像机、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、传动系统22、转向系统24，和制动系统26。在各个实施例中，车辆特征还可以包括内部和/或外部车辆特征，例如但不限于车门、后备箱以及诸如空气、音乐、照明等(未标记)驾驶舱特征。
数据存储装置32存储用于自动控制自动驾驶车辆10的数据。在各个实施例中，数据存储装置32存储可导航环境的所定义的地图。在各个实施例中，所定义的地图可以通过远程系统(如参照图2所做出的进一步详细描述)预定义并且从远程系统获得。例如，所定义的地图可以由远程系统组装，并且(以无线方式和/或以有线方式)传送到自动驾驶车辆10并存储在数据存储装置32中。可以理解的是，数据存储装置32可以是控制器34的一部分，或者与控制器34分离，或者是控制器34的一部分并且是单独系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可为任何定制的或商购可得的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制模块34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、宏处理器、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是一种持久或非易失性存储器，其可在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制自动驾驶车辆10的可执行指令。
指令可包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自动驾驶车辆10的部件的逻辑、计算、方法和/或算法，并且产生控制信号给致动器系统30以基于逻辑、计算、方法和/或算法来自动地控制自动驾驶车辆10的部件。虽然图1中仅示出了一个控制器34，但是自动驾驶车辆10的实施例可包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自动驾驶车辆10的特征的任意数量的控制器34。
在各种实施例中，控制器34的一个或多个指令被实施在乘坐控制系统100中，并且当由处理器44执行时使处理器44计算或以其它方式确定跨感测装置40的时间相关数据集的采样时间，以及基于这些采样时间来选择或以其它方式识别时间关联的数据集，由此有效地同步由不同的感测装置40获取的数据。此后，处理器44可建立数据集之间的相关性并且利用该相关性来改进如本文所述的物体检测、物体分类、物体预测等。所得物体以及它们的分类和预测行为影响用于自主操作车辆10的行驶计划，这继而影响由处理器44产生或以其它方式提供的命令以控制致动器42。因此，来自不同感测装置40的不同数据集之间的时间关联和相关性通过改进如本文所述的物体分析来改进车辆10的自主操作。
仍然参考图1，在示例性实施例中，通信系统36被配置为向其它实体48(诸如但不限于其它车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或私人装置(关于图2更详细地描述))无线地传送信息和从其接收信息。在示例性实施例中，通信系统36是被配置为经由使用IEEE802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信的通信系统。然而，诸如专用短程通信(DSRC)信道等附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指专门为汽车使用而设计的单向或双向短程至中程无线通信信道，以及相应的一组协议和标准。
现在参考图2，在各种实施例中，关于图1描述的自动驾驶车辆10可适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景情况下或可只需通过远程系统管理。例如，自动驾驶车辆10可与基于自动驾驶车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自动驾驶车辆的远程运输系统52，其与关于图1所描述的一个或多个自动驾驶车辆10a至10n相关联。在各种实施例中，操作环境50进一步包括经由通信网络56与自动驾驶车辆10和/或远程运输系统52通信的一个或多个用户装置54。
通信网络56支持由操作环境50支持的装置、系统和部件之间所需(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可包括无线载波系统60，诸如蜂窝电话系统，其包括多个手机信号塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其它联网部件。每个手机信号塔均包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接至MSC。无线载波系统60可实施任何合适的通信技术，包括(例如)诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/MSC装置是可能的并且可结合无线载波系统60使用。例如，基站和手机信号塔可共同位于相同站点处或它们可远离彼此，每个基站可负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可联接至单个MSC，这里仅列举几种可能布置。
除包括无线载波系统60外，可包括呈卫星通信系统64的形式的第二无线载波系统来提供与自动驾驶车辆10a至10n进行的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送至卫星，从而向用户广播该节目。双向通信可包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可利用卫星电话。
可进一步包括陆地通信系统62，其为连接至一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接至远程运输系统52。例如，陆地通信系统62可包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。一段或多段陆地通信系统62可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(WLAN))或提供宽带无线存取(BWA)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可包括无线电话设备使得其可直接与无线网络(诸如无线载波系统60)通信。
虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可支持任意数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可使用任何合适的硬件平台来实施。就此而言，用户装置54可以任何常见形式因素来实现，包括但不限于：台式计算机；移动计算机(例如，平板电脑、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为具有实行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并且基于那些信号产生GPS坐标的GPS模块。在其它实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)实行语音和/或数据通信。在各种实施例中，用户装置54包括可视化显示器，诸如触摸屏图形显示器或其它显示器。
远程运输系统52包括一个或多个后端服务器系统，该后端服务器系统可为基于云的、基于网络的或驻留在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可由现场顾问或自动顾问或它们的组合来人工操作。远程运输系统52可与用户装置54和自动驾驶车辆10a至10n进行通信以安排乘车、派遣自动驾驶车辆10a至10n等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、生物测量数据、行为模式和其它相关用户信息等帐户信息。
根据典型的用例工作流程，远程运输系统52的注册用户可经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的乘车位置(或当前GPS位置)、期望目的地位置(其可识别预定义的车辆停靠站和/或用户指定的乘客目的地)以及乘车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的乘车地点且在适当的时间派遣自动驾驶车辆10a至10n中的一个车辆来让乘客乘车(当一个车辆可用时和如果一个车辆可用)。运输系统52还可产生并向用户装置54发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。
可以理解的是，本文公开的主题提供了可被认为是标准或基准自动驾驶车辆10和/或基于自动驾驶车辆的远程运输系统52的某些增强的特征和功能。为此，自动驾驶车辆和基于自动驾驶车辆的远程运输系统可被修改、增强或以其它方式补充以提供下文更加详细的描述的附加特征。
根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ADS)70。即，利用控制器34(例如，处理器44和计算机可读存储装置46)的合适软件和/或硬件部件来提供与车辆10结合使用的自主驾驶系统70，例如以自动地控制车辆10上的各种致动器30以由此在无人类干预的情况下分别控制车辆加速、转向和制动。
在各种实施例中，自主驾驶系统70的指令可由功能或系统组织。例如，如图3中所示，自主驾驶系统70可包括传感器融合系统74、定位系统76、引导系统78和车辆控制系统80。如可明白的是，在各种实施例中，由于本公开不限于本示例，所以可将指令组织(例如，组合、进一步划分等)为任何数量的系统。
在各种实施例中，传感器融合系统74合成并处理传感器数据并且预测车辆10的环境的物体和特征的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统74可结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。
在本文描述的一个或多个示例性实施例中，传感器融合系统74针对一个或多个摄像机基于由该摄像机捕获的图像的时间戳与激光雷达扫描与该摄像机的视野对准时的采样时间之间的关系来选择或以其它方式识别来自该摄像机的与激光雷达扫描在时间上相关联的相应图像。此后，传感器融合系统74将来自所选图像的图像数据与来自激光雷达扫描穿过该摄像机的视野时的激光雷达点云数据相关以将深度分配给图像数据、识别图像数据和激光雷达数据中的一个或多个，或以其它方式合成时间相关的图像数据和激光雷达数据。换言之，由传感器融合系统74提供的输出反映摄像机图像与激光雷达点云数据之间的时间关联性或以其它方式受到该时间关联的影响。
定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10需跟随的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。
在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍缓解、路线穿过、绘图、传感器集成、地面实况确定等。
图4描绘了示例性车辆400，其包括分布在车辆400周围的多个摄像机402以及分布在车辆400周围的多个测距装置404。摄像机402被设置在不同的位置处并且被定向为提供捕获车辆400附近的周围环境的不同部分的不同视野。例如，第一摄像机402位于车辆400的左前(或驾驶员)侧，并且其视野相对于车辆400的轴向轴线在向前方向上逆时针地定向45°，且另一个摄像机402可位于车辆400的右前(或乘客)侧，并且其视野相对于车辆400的纵向轴线顺时针定向成45°。附加摄像机402位于车辆400的左后侧和右侧并且类似地相对于车辆纵向轴线以45°定向远离纵向轴线，且摄像机402位于车辆400的左侧和右侧并且远离与车辆纵向轴线垂直的纵向轴线定向。所说明的实施例还包括一对摄像机402，其位于车辆纵向轴线处或附近并且被定向为沿着基本平行于车辆纵向轴线的视线捕获前视视野。
在示例性实施例中，摄像机402具有不同于一个或多个其它摄像机402的视角、焦距和其它属性。例如，车辆右侧和左侧的摄像机402的视角可大于与位于车辆的左前方、右前方、左后方或右后方的摄像机402相关联的视角。在一些实施例中，摄像机402的视角被选择为使得不同摄像机402的视野至少部分地重叠以确保相对于车辆400在特定位置或定向上的摄像机覆盖。
测距装置404也被设置在车辆400的不同位置处，并且在一个实施例中，关于车辆400的纵向轴线对称地设置以实现视差。在本文描述的示例性实施例中，测距装置404被实现为激光雷达装置。就此而言，每个测距装置404可包括或结合一个或多个激光器、扫描部件、光学装置、光电检测器以及适当地被配置为以特定角频率或转速水平地和可旋转地扫描车辆400附近的环境的其它部件。例如，在一个实施例中，每个激光雷达装置404被配置为以10赫兹(Hz)的频率水平旋转和360°扫描。如本文所使用，激光雷达扫描应当被理解为指代激光雷达装置404的单次旋转。
在本文描述的示例性实施例中，摄像机402自主且自动地以特定频率捕获图像，且摄像机402捕获图像的频率或速率大于激光雷达装置404的角频率。例如，在一个实施例中，当激光雷达装置404以10Hz的速率扫描并自动提供更新的数据时，摄像机402以30Hz的速率捕获与它们相应的视野对应的新图像数据。因此，每个摄像机402可在每次激光雷达扫描中捕获多个图像，并且在不同时间捕获图像，这与激光雷达装置404的定向或扫描内的角位置无关。因此，本文描述的主题基于由相应的摄像机402捕获的图像相对于激光雷达扫描的角位置与和相应摄像机402的视角(或视线)的平分线基本上对准的激光雷达装置404的视线对应时的采样时间的时间戳来选择或以其它方式识别来自每个相应摄像机402的与来自特定激光雷达扫描的激光雷达点云数据在时间上相关联的图像。在一个实施例中，摄像机402的频率或采样率至少是激光雷达装置404的角频率的两倍。
图5描绘了可由控制器34、处理器44和/或传感器融合系统74实施或结合至其中的处理模块500(或控制模块)的实施例。图像处理模块500联接至车辆上装载的摄像机502(例如，摄像机402的一个)和车辆上装载的激光雷达装置504(例如，激光雷达装置404的一个)。应当注意的是，虽然图5描绘了单个摄像机502，但是实际上，图像处理模块500可联接至车辆10、400上的多个摄像机40、402以将来自多个摄像机40、402的图像与激光雷达装置504的单独扫描的激光雷达点云数据在时间上相关联和相关。另外，图像处理模块500可联接至车辆10、400上的附加激光雷达装置40、504以将来自车载摄像机40、402、502的不同图像与来自不同激光雷达装置40、404、504的扫描的激光雷达点云数据在时间上相关联和相关。
图像处理模块500包括图像缓冲模块512，该图像缓冲模块被配置为存储或以其它方式保持与由摄像机502捕获的一个或多个图像(或样本)对应的图像数据。例如，可以特定频率(例如，30Hz)对摄像机502的图像传感器进行采样以在该频率下捕获其视野的图像，其中样本的对应图像数据由图像缓冲模块512存储或以其它方式保持。就此而言，图像缓冲模块512可包括被配置为存储来自摄像机502的一个或多个图像数据集的数据存储元件(或缓冲器)。在一个实施例中，缓冲器被调整大小以存储与每个激光雷达扫描中由摄像机502捕获的图像的数量对应的多个图像数据集。例如，对于以10Hz的频率扫描的激光雷达装置504和以30Hz的频率捕获图像的摄像机502，图像缓冲模块512的缓冲器可能能够存储由摄像机502捕获的至少3个最近的图像(或图像数据集)。在示例性实施例中，以与指示摄像机502捕获图像数据时的时刻的时间戳相关联地存储或以其它方式保持每个图像。
图像处理模块500包括图像选择模块514，图像选择模块514联接至图像缓冲模块512并且配置为选择或以其它方式识别与激光雷达装置504在时间上相关联的缓冲器中的图像，激光雷达装置504基于与缓冲器中的图像相关联的时间戳与摄像机502的视野对准。如下面更详细描述的，在示例性实施例中，图像选择模块514联接至激光雷达装置504以接收何时激光雷达装置504在扫描内以其起始或参照取向对准的信号或指示，并且然后基于摄像机502的视角的平分线的角度或方向以及激光雷达装置504的角频率，图像选择模块514计算激光雷达装置504的视线与摄像机502的视角的平分线平行对准的采样时间，在本文中可选地称为激光雷达采样时间。基于采样时间，图像选择模块514访问图像缓冲模块512以恢复或以其它方式获得具有最接近激光雷达采样时间的时间戳的图像数据集。
在所示实施例中，图像选择模块514向数据处理模块516提供与扫描摄像机502的视野的激光雷达在时间上相关联的所选图像。数据处理模块516联接至激光雷达装置504以从激光雷达扫描恢复或以其它方式获得激光雷达点云数据，并且然后使激光雷达点云数据的至少一部分与时间关联的图像数据相关联。例如，数据处理模块516可以选择或以其它方式识别与穿过摄像机502的视角的激光雷达装置504对应的激光雷达点云数据的子集，然后将激光雷达点云数据投射到所选图像上。在一些实施例中，当使图像数据与点云数据相关联时，数据处理模块516还考虑激光雷达装置504位于车辆10、400上相对于摄像机502所处位置之间的位置差异。在一些实施例中，数据处理模块516还利用图像数据和点云数据之间的相关性来检测物体以用于随后的分类和预测，并且将如上所述将这种预处理输出506(例如，传感器输出335)提供给一个或多个附加物体或障碍分析模块。
现在参照图6，并且继续参照图1-5，数据流图示出了同步过程600的各种实施例，其可被嵌入根据本发明的支持ADS70和图5的图像处理模块500的图1的控制系统100中的控制器34。根据本发明可以认识到，方法内的操作顺序不限于图6所示的顺序执行，而是可以按照根据本发明的且适用的一个或多个变化顺序来执行。在各种实施例中，同步过程600可以安排为基于一个或多个预定事件来运行，和/或可以在自动驾驶车辆10的操作期间连续运行。
在602处，同步过程600通过识别或以其它方式获得激光雷达扫描配置数据开始。激光雷达扫描配置数据包括表征或量化激光雷达装置相对于车辆纵向轴线的初始或起始方向、与激光雷达装置相关联的角频率、激光雷达装置的旋转方向、激光雷达扫描的起始时间的指示等信息。例如，车载数据存储元件32、46可以存储或以其它方式保持表征车载激光雷达装置开始扫描的方向、车辆上的激光雷达装置的定位或位置以及与激光雷达装置相关联的角频率的信息。在一些实施例中，在车载控制模块34、44的控制下，角频率、旋转方向和/或起始方向中的一个或多个可以是动态的或可配置的。在示例性实施例中，激光雷达装置配置为当激光雷达装置在扫描内对准起始方向时生成或以其它方式提供信号或其它指示，由此提供激光雷达扫描的起始时间的指示。
同步过程600还在604处识别或以其它方式获得摄像机配置数据。摄像机配置数据包括表征或量化摄像机或其它成像装置的视线相对于车辆的纵向轴线的方向、与摄像机相关联的视角、摄像机的焦距、摄像机的更新或刷新频率等信息。类似于激光雷达校准数据，对于车辆上装载的每个摄像机或成像装置，车载数据存储元件32、46可以存储或以其它方式保持表征摄像机方向、摄像机视野、车辆上装载的摄像机的定位或位置以及与激光雷达装置相关联的频率的信息。在一些实施例中，在车载控制模块34、44的控制下，摄像机的更新频率、焦距或其它方面的一个或多个可以是动态的或可配置的。
在606处，基于激光雷达扫描配置数据和摄像机配置数据，同步过程600计算或以其它方式确定对应于激光雷达视线与摄像机视野的对准的摄像机的最佳采样时间。就此而言，基于激光雷达装置的角频率，同步过程600计算激光雷达装置从其初始或起始位置旋转至其视线与感兴趣的摄像机的视角的平分线对准的方向所需的预期时间量，并且然后将所得时间段添加到当前激光雷达扫描的起始时间，以达到被分析摄像机的最佳采样时间。
图7示出了车辆700上装载的激光雷达装置704和摄像机702的示例性实施例。在所示实施例中，激光雷达装置704的初始参照取向705(或起始方向)基本与车辆700的纵向轴线701平行对准，并且朝向车辆700的后部，并且平分摄像机视角706的摄像机702的视线703基本上垂直于车辆纵向轴线701并且朝向车辆700的左侧。
在示例性实施例中，激光雷达装置704逆时针旋转，并且因此没有到达与摄像机视角平分线703对准的视线707，直到扫描四分之一转。因此，可以通过将等于激光雷达扫描时段的四分之一的偏移量(角频率的倒数)添加到当激光雷达装置704与起始方向对准时的激光雷达扫描起始时间来计算最佳采样时间705。可选地，如果激光雷达装置704要顺时针旋转，则在旋转四分之三后将到达与摄像机视角平分线703对准的视线707，在这种情况下，可以通过将等于激光雷达扫描时段的四分之三的偏移量添加到激光雷达扫描起始时间来计算最佳采样时间。在一个实施例中，特定摄像机的最佳采样时间(tc)可以使用以下等式通过将偏移量添加到当激光雷达装置704在其参照取向上对准时的扫描起始时间来计算：
Figure BDA0001593709920000181
其中ts是激光雷达扫描的起始时间，αc是摄像机视线的角度，αs是激光雷达扫描的起始角度，并且fs是激光雷达扫描的角频率。
再次参照图6并继续参照图1至图5和图7，同步过程600在608处存储、缓冲或以其它方式保持来自摄像机的图像，并且在610处基于图像时间戳选择或以其它方式识别与对应于激光雷达视线对准的最佳采样时间相对应的图像。例如，如上文在图5的上下文中所描述的那样，图像缓冲模块512可以存储或以其它方式保持包含用于摄像机502、702的视野706的图像数据的图像以及包含指示该图像于何时在何处被捕获(例如，何时创建或实例化包含该图像数据的文件)的相关联的时间戳。图像选择模块514接收激光雷达装置504、704何时经过其方向角的指示，并且基于激光雷达扫描的起始时间来计算激光雷达装置504、704预期到达以视线707描绘的方向与平行于摄像机视线703的摄像机视野706对准的方向时的采样时间。图像选择模块514分析由图像缓冲模块512保持的图像的时间戳，并且选择或以其它方式恢复具有在其时间戳与所计算采样时间之间的最小差异的图像。
在示例性实施例中，同步过程600在612处将所选图像与在摄像机视野的采样时间捕获的激光雷达数据相关联或以其它方式相关。例如，如上文在图5的上下文中所描述的，图像选择模块514可以将最接近所计算激光雷达采样时间的来自图像缓冲模块512的所选图像提供给数据处理模块516，以用于在所计算采样时间与激光雷达数据相关联和相关。在一个实施例中，数据处理模块516选择来自所计算采样时间的激光雷达数据以投射到所接收图像中。附加地，在一个或多个实施例中，基于摄像机的视角706和摄像机502、702相对于激光雷达装置504、704的定位，数据处理模块516还可以选择在所计算采样时间之前和之后获得的激光雷达数据，以获得对应于穿过视野706的激光雷达装置504、704的激光雷达数据的子集。例如，数据处理模块516可以计算或以其它方式确定在激光雷达扫描可能最初进入摄像机视野706的所计算采样时间之前的第一时间以及在激光雷达扫描可能退出摄像机视野706的所计算采样时间之后的第二时间，并且然后选择或以其它方式获得与涵盖摄像机视野706的激光雷达扫描的部分对应的激光雷达数据。然后数据处理模块516可以将与摄像机视野706的扫描相对应的激光雷达数据的子集投射到所选图像中，例如以分配深度或三维特性、检测物体等。由于所选图像是对应于激光雷达扫描的图像，所以投射的准确性和可靠性得到改善。
在一个或多个实施例中，在614处，同步过程600还删除或以其它方式丢弃其它未选图像。例如，在识别用于分析的时间最相关图像之后，图像选择模块514可以指示或以其它方式命令图像缓冲模块512，以移除或以其它方式删除缓冲器中剩余的任何其它图像数据。
在一个或多个实施例中，为减少等待时间，图像选择模块514可以向图像缓冲模块512通知所计算起始时间，并且作为响应，图像缓冲模块512自动辨别何时所捕获图像的时间戳最接近摄像机502、702的所计算激光雷达采样时间，并且基本上实时地将所捕获图像推送或以其它方式提供给图像选择模块514。例如，基于摄像机捕获新图像的时段，图像缓冲模块512可以实时确定是否会在更接近所计算激光雷达采样时间的时间获得下一个图像。例如，对于以30Hz捕获图像并且以大约每33毫秒(ms)更新图像的摄像机，当所捕获图像的时间戳在所计算激光雷达采样时间之前或之后5ms时，图像缓冲模块512可以自动确定下一个图像将不会在时间上更接近所计算激光雷达采样时间，并且自动将所捕获图像提供给图像选择模块514而不是等待激光雷达扫描内的下一个图像捕获。相反，如果所捕获图像的时间戳在所计算激光雷达采样时间之前30ms，则图像缓冲模块512可以自动确定下一个图像将可能会在时间上更接近所计算激光雷达采样时间，并且等待下一图像被捕获和分析。在一个实施例中，对于以30Hz捕获图像的摄像机，当所捕获图像在所计算激光雷达采样时间之前17ms或更多时，图像缓冲模块512可以自动确定下一个图像将可能在时间上更接近所计算激光雷达采样时间并且自动丢弃所捕获图像。
仍然参照图6并参照图1至图5，如上所述，在616处，同步过程600生成或以其它方式确定用于操作车载致动器并且至少部分地基于图像数据与激光雷达数据之间的相关性自主地控制车辆的命令。例如，可以利用相关性来对物体进行分类并将深度或距离分配给物体，这可以进一步用于预测物体的未来行为。基于物体的类型和物体与车辆的当前距离以及预测的物体行为，控制器34和/或处理器44可以计算或以其它方式确定用于自主操作车辆10的路线以及用于以避免与物体的任何碰撞或冲突并且保持任何适用的安全缓冲区的方式控制车辆沿路线的横向或纵向移动的对应致动器命令、特定类型的物体的最小跟随距离、最小间隔距离等等。
将认识到，本文所描述的主题允许由在不同时刻采样公共区域的不同装置捕获的数据之间的改进时间关联，从而提高跨数据集执行的相关性的准确性和可靠性。与此同时，数据集的时间关联在不依赖于复杂的触发机构的情况下实现，并且允许不同装置以独立于其它车载装置且不中断的其自身各自的更新速率或频率自主操作。因此，各种装置可以配置为实现期望的性能特性而不用为了同步的目的而损害方面(例如，通过专用资源来中断监测或处理)。尽管主题在本文中主要在将自动捕获摄像机图像与独立于摄像机的激光雷达扫描相关并且反之亦然的情况下进行描述，但是主题不一定涉及摄像机或激光雷达，并且可以用于不同成像或测量类型的任何其它装置对或装置组合的上下文中，以建立来自彼此独立操作的不同装置的数据集之间的相关性。
尽管在前面的详细描述中已经呈现了至少一个示例性实施例，但应该认识到，存在大量变型方案。还应该认识到，该示例性实施例或这些示例性实施例仅是示例，并不意图以任何方式限制本发明的范围、适用性或配置。相反，上述详细描述将向本领域技术人员提供用于实施该示例性实施例或这些示例性实施例的便捷路径。应该理解，在不脱离如所附权利要求及其合法等同物所阐述的本发明的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种车辆，包括：
以第一频率捕获视野的多个图像的摄像机；
以不同于所述第一频率的第二频率扫描所述车辆周围的环境的测距装置，以获得测距数据；
所述车辆上装载的一个或多个致动器；以及
控制器，其通过处理器基于与所述多个图像的第一图像相关联的时间戳和与所述测距装置相关联的所述第二频率之间的关系来选择所述多个图像的第一图像，使所述第一图像与所述测距数据的与所述视野相对应的子集相关，并且以受所述第一图像与所述测距数据的子集之间的相关性影响的方式自主地操作所述车辆上装载的所述一个或多个致动器。
2.如权利要求1所述的车辆，其中：
所述第一频率是30Hz。
3.如权利要求1所述的车辆，进一步包括数据存储元件，以保持与所述摄像机相关联的第一校准数据和与所述测距装置相关联的第二校准数据，其中，所述控制器联接至所述数据存储元件以：
至少部分地基于所述第二频率和所述第一校准数据与所述第二校准数据之间的关系来确定对应于所述测距装置与所述视野的对准的采样时间；以及
基于所述第一图像的时间戳与所述采样时间之间的差异来选择所述多个图像的所述第一图像。
4.如权利要求3所述的车辆，其中，所述控制器基于所述采样时间识别所述测距数据的所述子集。
5.如权利要求3所述的车辆，所述第二校准数据指示用于扫描所述环境的所述测距装置的参照取向，其中，所述控制器响应于所述测距装置穿过所述参照取向接收来自所述测距装置的指示，并且基于与所述指示相关联的扫描起始时间和所述视野相对于所述参照取向的方向来计算所述采样时间。
6.如权利要求1-5中任一项所述的车辆，其中，所述第一频率大于所述第二频率。
7.一种控制车辆的方法，所述方法包括：
由所述车辆上装载的控制模块获得来自所述车辆上装载的摄像机的多个图像，所述摄像机以第一频率捕获视野的所述多个图像；
由所述控制模块从所述车辆上装载的测距装置获得测距数据，所述测距装置以不同于所述第一频率的第二频率扫描所述车辆周围的环境；
通过所述控制模块基于与所述多个图像的第一图像相关联的时间戳和所述第二频率之间的关系，将所述多个图像的第一图像与对应于所述视野的所述测距数据的子集相关联；
通过所述控制模块以受到所述第一图像和所述测距数据的所述子集之间的相关性影响的方式来确定用于操作所述车辆上装载的一个或多个致动器的命令；以及
根据所述命令通过所述控制模块自主地操作所述一个或多个致动器。
8.如权利要求7所述的方法，进一步包括：
通过所述控制模块确定与所述测距装置的视线与所述视野的对准相对应的采样时间；以及
通过所述控制模块基于所述时间戳与所述采样时间之间的差异从所述多个图像中选择所述第一图像。
9.如权利要求8所述的方法，进一步包括：
通过所述控制模块获得用于由所述测距装置对所述环境的所述扫描的起始方向；以及
通过所述控制模块获得所述摄像机的所述视野的方向，其中，确定所述采样时间包括基于所述起始方向与所述视野的所述方向之间的差异来计算所述采样时间。
10.如权利要求9所述的方法，进一步包括通过所述控制模块响应于所述测距装置穿过所述测距装置的参照取向而在扫描起始时间从所述测距装置接收指示，其中，计算所述采样时间包括：
基于所述差异和所述第二频率计算偏移量；以及
将所述偏移量添加到所述扫描起始时间以获得所述采样时间。
CN201810199124.5A 2017-03-20 2018-03-12 用于操作自动驾驶车辆的时间数据关联 Active CN108628301B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/463,978 US10328934B2 (en) 2017-03-20 2017-03-20 Temporal data associations for operating autonomous vehicles
US15/463978 2017-03-20

Publications (2)

Publication Number Publication Date
CN108628301A CN108628301A (zh) 2018-10-09
CN108628301B true CN108628301B (zh) 2021-12-31

Family

ID=59629887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810199124.5A Active CN108628301B (zh) 2017-03-20 2018-03-12 用于操作自动驾驶车辆的时间数据关联

Country Status (3)

Country Link
US (1) US10328934B2 (zh)
CN (1) CN108628301B (zh)
DE (1) DE102018106353A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6706032B2 (ja) * 2015-06-12 2020-06-03 シャープ株式会社 移動体システム及び制御装置
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10328934B2 (en) * 2017-03-20 2019-06-25 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles
CN115855022A (zh) * 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
US11463610B2 (en) * 2017-05-10 2022-10-04 Mobileye Vision Technologies Ltd. Cross field of view for autonomous vehicle systems
KR20180134230A (ko) * 2017-06-08 2018-12-18 삼성전자주식회사 청소 로봇 및 그 제어 방법
US10866101B2 (en) * 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10235881B2 (en) * 2017-07-28 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation capability configuration for a vehicle
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
WO2019079211A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
AU2018365091B2 (en) 2017-11-13 2021-03-04 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
US10451716B2 (en) 2017-11-22 2019-10-22 Luminar Technologies, Inc. Monitoring rotation of a mirror in a lidar system
US10571567B2 (en) 2017-11-22 2020-02-25 Luminar Technologies, Inc. Low profile lidar scanner with polygon mirror
EP3523753A4 (en) * 2017-12-11 2019-10-23 Beijing Didi Infinity Technology and Development Co., Ltd. SYSTEMS AND METHODS FOR IDENTIFYING AND LOCATING OBJECTS AROUND A VEHICLE
US11294019B2 (en) * 2017-12-27 2022-04-05 Southwest Research Institute Geolocation calibration for calibrating radio direction finding system by remote control
US10719705B2 (en) * 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on predictability of the environment
US10636314B2 (en) 2018-01-03 2020-04-28 Qualcomm Incorporated Adjusting flight parameters of an aerial robotic vehicle based on presence of propeller guard(s)
US10717435B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on classification of detected objects
US10720070B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold of a robotic vehicle based on presence of detected payload(s)
US10803759B2 (en) 2018-01-03 2020-10-13 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on presence of propeller guard(s)
US11435752B2 (en) * 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
DE102018205879A1 (de) * 2018-04-18 2019-10-24 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Verarbeitung von Sensordaten
US11164016B2 (en) * 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10824146B2 (en) * 2018-06-29 2020-11-03 Ford Global Technologies, Llc Handling rider service at autonomous vehicles
DE102018122879B4 (de) 2018-09-18 2023-11-30 Saf-Holland Gmbh Nutzfahrzeugüberwachungssystem
US10582137B1 (en) * 2018-09-26 2020-03-03 Zoox, Inc. Multi-sensor data capture synchronizaiton
US11451688B2 (en) * 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
US10832062B1 (en) * 2018-09-28 2020-11-10 Zoox, Inc. Image embedding for object tracking
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11783707B2 (en) * 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US20190061771A1 (en) * 2018-10-29 2019-02-28 GM Global Technology Operations LLC Systems and methods for predicting sensor information
CN109253720B (zh) * 2018-10-30 2020-04-24 上海禾赛光电科技有限公司 一种摄像头与激光雷达融合系统
US10627512B1 (en) * 2018-11-29 2020-04-21 Luminar Technologies, Inc. Early fusion of lidar return data with camera information
US11069085B2 (en) 2019-02-13 2021-07-20 Toyota Research Institute, Inc. Locating a vehicle based on labeling point cloud data of a scene
CN112291024B (zh) * 2019-07-25 2023-11-03 北京地平线机器人技术研发有限公司 信息同步方法、信息同步装置及电子设备
CN111144211B (zh) 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置
DE102019123483B4 (de) * 2019-09-02 2021-12-09 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
US11294760B2 (en) 2019-12-30 2022-04-05 Semiconductor Components Industries, Llc Methods and apparatus for a temporal synchronization unit
AU2021239055A1 (en) * 2020-03-19 2022-11-10 Manav Singal A method and system for detecting road anomalies
US20210331695A1 (en) * 2020-04-28 2021-10-28 Rahul Ramakrishnan Object detection and tracking for automated operation of vehicles and machinery
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
US11632823B1 (en) * 2021-03-23 2023-04-18 Waymo Llc Estimating sensor timestamps by oversampling
WO2023009549A2 (en) * 2021-07-26 2023-02-02 Cyngn, Inc. High-definition mapping
DE102021208371A1 (de) 2021-08-03 2023-02-09 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zum Entkoppeln von Ausführzeitpunkten von Datenverarbeitungsprozessen eines Umfeldwahrnehmungssystems und Umfeldwahrnehmungssystem eines Fahrsystems
CN117616309A (zh) * 2021-09-23 2024-02-27 华为技术有限公司 信号处理方法、信号传输方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654753A (zh) * 2011-03-04 2012-09-05 奥迪股份公司 机动车环境传感器仿真及预见安全系统测试方法、仿真装置
CN103472825A (zh) * 2013-08-23 2013-12-25 黄涌 一种基于摄像头的亮点追踪系统及其方法
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
CN106043169A (zh) * 2016-07-01 2016-10-26 百度在线网络技术（北京）有限公司 环境感知设备和应用于环境感知设备的信息获取方法
CN106153037A (zh) * 2016-07-21 2016-11-23 北京航空航天大学 一种机器人的室内定位方法、装置及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002511B1 (en) * 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
CA2893694C (en) * 2011-12-06 2019-05-14 E-Vision Smart Optics, Inc. Systems, devices, and/or methods for providing images
US9091558B2 (en) * 2013-12-23 2015-07-28 Automotive Research & Testing Center Autonomous driver assistance system and autonomous driving method thereof
US9843647B2 (en) * 2014-02-25 2017-12-12 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
WO2015153811A1 (en) * 2014-04-02 2015-10-08 Levant Power Corporation Active safety suspension system
US10082791B2 (en) * 2016-01-26 2018-09-25 GM Global Technology Operations LLC Autonomous vehicle control system and method
US10099702B2 (en) * 2016-08-25 2018-10-16 GM Global Technology Operations LLC Method and apparatus for vehicle accessory and load management
US10328934B2 (en) * 2017-03-20 2019-06-25 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654753A (zh) * 2011-03-04 2012-09-05 奥迪股份公司 机动车环境传感器仿真及预见安全系统测试方法、仿真装置
CN103472825A (zh) * 2013-08-23 2013-12-25 黄涌 一种基于摄像头的亮点追踪系统及其方法
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
CN106043169A (zh) * 2016-07-01 2016-10-26 百度在线网络技术（北京）有限公司 环境感知设备和应用于环境感知设备的信息获取方法
CN106153037A (zh) * 2016-07-21 2016-11-23 北京航空航天大学 一种机器人的室内定位方法、装置及系统

Also Published As

Publication number Publication date
DE102018106353A1 (de) 2018-09-20
US20170242442A1 (en) 2017-08-24
US10328934B2 (en) 2019-06-25
CN108628301A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108628301B (zh) 用于操作自动驾驶车辆的时间数据关联
CN109466548B (zh) 用于自主车辆操作的地面参照确定
US10268203B2 (en) Calibration validation for autonomous vehicle operations
US10430641B2 (en) Methods and systems for object tracking using bounding boxes
US10460180B2 (en) Systems and methods for visual classification with region proposals
CN109212542B (zh) 用于自主车辆操作的校准方法
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪系统及方法
CN109426806B (zh) 用于车辆信号灯检测的系统和方法
US10176596B1 (en) Calibration verification methods for autonomous vehicle operations
US10699142B2 (en) Systems and methods for traffic signal light detection
CN108628206B (zh) 道路施工检测系统和方法
US10732625B2 (en) Autonomous vehicle operations with automated assistance
US10365650B2 (en) Methods and systems for moving object velocity determination
US10495493B2 (en) Systems and methods for controlling sensing device field of view
CN108766011B (zh) 用于自主车辆的停车评分
US20190061771A1 (en) Systems and methods for predicting sensor information
US20190026588A1 (en) Classification methods and systems
US10458174B2 (en) Door closing system
US10466704B2 (en) Autonomous vehicle localization
US10495733B2 (en) Extendable sensor mount
US20200070822A1 (en) Systems and methods for predicting object behavior
US20180095475A1 (en) Systems and methods for visual position estimation in autonomous vehicles
US20200050191A1 (en) Perception uncertainty modeling from actual perception systems for autonomous driving
US11300974B2 (en) Perception methods and systems for low lighting conditions
US20240053166A1 (en) Methods and systems for generating lane line and road edge data using empiracal path distributions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant