CN115933627A - 校准目标和校准系统 - Google Patents

校准目标和校准系统 Download PDF

Info

Publication number
CN115933627A
CN115933627A CN202111660617.2A CN202111660617A CN115933627A CN 115933627 A CN115933627 A CN 115933627A CN 202111660617 A CN202111660617 A CN 202111660617A CN 115933627 A CN115933627 A CN 115933627A
Authority
CN
China
Prior art keywords
vehicle
calibration
calibration target
side surfaces
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111660617.2A
Other languages
English (en)
Inventor
M·L·布莱克莱尔
A·L·W·孙
H·D·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN115933627A publication Critical patent/CN115933627A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J2/00—Reflecting targets, e.g. radar-reflector targets; Active targets transmitting electromagnetic or acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/12—Reflex reflectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/12—Reflex reflectors
    • G02B5/136—Reflex reflectors plural reflecting elements forming part of a unitary body
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q15/00—Devices for reflection, refraction, diffraction or polarisation of waves radiated from an antenna, e.g. quasi-optical devices
    • H01Q15/14—Reflecting surfaces; Equivalent structures
    • H01Q15/18—Reflecting surfaces; Equivalent structures comprising plurality of mutually inclined plane surfaces, e.g. corner reflector
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及校准目标和校准系统。提供了与校准场地和校准目标相关的系统和方法，其可被配置用于校准运载工具(诸如包括自主或半自主运载工具系统的运载工具、或其它移动机器人等)中所使用的传感器。作为示例，系统可以包括可驾驶路径，该可驾驶路径包括多个转弯、接近可驾驶路径的多个校准目标、以及可驾驶路径中的多个障碍物。多个校准目标被定位成可在运载工具穿过可驾驶路径时被运载工具的至少一个传感器检测到，并且多个障碍物中的至少一个特定障碍物在运载工具穿过可驾驶路径时改变至少一个传感器相对于该至少一个校准目标的角度。

Description

校准目标和校准系统
技术领域
本申请涉及校准场地(course)和校准目标。校准场地和校准目标可被配置用于校准和/或验证诸如自主运载工具、半自主运载工具、其它类型的运载工具、或机器人等的运载工具上所包括的一个或多于一个传感器。
背景技术
运载工具或机器人可以包括被配置为促进运载工具的导航和/或提供其它功能的一个或多于一个传感器。例如，一个或多于一个传感器可用于检测位于运载工具或机器人附近的一个或多于一个对象(例如，道路标记、其它运载工具、行人、障碍物等)。这样的一个或多于一个传感器可能需要被校准和/或验证以例如提高其准确度和/或核实该一个或多于一个传感器正在正常运行。
发明内容
一种三维校准目标，包括：顶表面，以及至少四个侧表面，其中，特定侧表面具有限定底部区域的一部分的第一边缘、与所述顶表面共用的第二边缘、与第一相邻侧表面共用的第三边缘、以及与第二相邻侧表面共用的第四边缘，以及其中，所述特定侧表面和水平平面之间的角度差与所述水平平面和所述第一相邻侧表面之间的角度差不同。
一种不规则形状、凸形、不对称的三维激光雷达校准目标，包括：顶表面，其相对于底部区域成角度；以及多个侧表面，其各自相对于水平平面以不同的角度定位，其中，所述多个侧表面中的各侧表面耦接至所述顶表面和至少两个相邻侧表面，以及其中，所述多个侧表面被配置为反射来自激光雷达系统的束。
一种用于校准运载工具的传感器的系统，所述系统包括：至少一个处理器，其被配置为：利用激光雷达系统发射至少一个束；利用所述激光雷达系统的至少一个传感器，接收基于从三维校准目标的至少一个表面所反射的至少一个束而确定的传感器数据，其中，所述三维校准目标包括：不规则、不对称形状，其具有顶表面和至少四个侧表面，其中，各侧表面耦接至所述顶表面和至少两个相邻侧表面，以及其中，水平平面和所述至少四个侧表面中的第一侧表面之间的角度差与所述水平平面和所述至少四个侧表面中的第二侧表面之间的角度差不同；以及基于所述传感器数据来校准所述激光雷达系统的至少一个传感器。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境。
图2是包括自主系统的运载工具的一个或多于一个系统的图。
图3是图1和图2的一个或多于一个装置以及/或者一个或多于一个系统的组件的图。
图4是自主系统的某些组件的图。
图5是被配置用于校准和/或核实一个或多于一个运载工具的一个或多于一个传感器的校准场地的实施例的俯视图。
图6是示出用于使用校准场地来校准和/或核实一个或多于一个运载工具的一个或多于一个传感器的示例方法的流程图。
图7A、图7B和图7C示出已被测试并且已被证明在校准和/或验证运载工具的传感器方面有效的示例校准场地路线的俯视图。
图8A和8B示出在一些实施例中可包括在一些校准目标上的示例视觉图案。
图9示出在校准场地的一些实施例中可包括的、被配置作为减速带的示例场地障碍物。
图10A是三维校准目标的实施例的透视图。
图10B是图10A的三维校准目标的顶视图。
图10C是图10A的三维校准目标的侧视图。
图10D是图10A的三维校准目标的另一侧视图。
图11A～11C是三维校准目标的另一实施例的视图。
图12示出可与三维校准目标一起使用的示例图案和设计。
图13是示出与三维校准目标一起使用LiDAR(激光雷达)系统的示例方法的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，本文中所使用的术语“和/或”是指并且包含相关列举项中的一个或多于一个的任何和所有可能组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其它特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它实例中，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文描述的系统、方法和/或计算机程序产品包括和/或实现校准场地，其被配置以在运载工具上所包括的传感器的校准和/或验证期间使用。在一些示例中，校准场地包括可驾驶路径，该可驾驶路径包括：多个转弯；接近可驾驶路径的多个校准目标，其中多个校准目标被定位成可在运载工具穿过可驾驶路径时被运载工具的至少一个传感器检测到；以及可驾驶路径中的多个障碍物，其中多个障碍物中的至少一个特定障碍物在运载工具穿过可驾驶路径时改变至少一个传感器相对于至少一个校准目标的角度。
借助于本文描述的系统、方法和计算机程序产品的实现，在各种实施例中，本文描述的校准场地可以提供以下优点中的一个或多于一个。校准场地可以允许可重复且可靠的校准结果，这进而改进运载工具的安全性。校准场地可以提供时间高效的校准方法，例如，减少维护停机时间以及提高一个或多于一个运载工具的效率。
在一些方面和/或实施例中，本文描述的系统、方法和计算机程序产品包括和/或实现三维校准目标。校准目标可以包括顶表面和至少四个侧表面。单个侧表面具有第一边缘、第二边缘、第三边缘和第四边缘。第一边缘限定底部区域的一部分。第二边缘与顶表面共用。第三边缘与第一相邻侧表面共用。第四边缘与第二相邻侧表面共用。侧表面和水平平面之间的角度与相邻侧表面和水平平面之间的角度不同。
在其它实施例中，不规则形状、凸形、不对称的三维激光雷达校准目标可以包括相对于底部区域成角度的顶表面以及多个侧表面。侧表面可以各自相对于水平平面以不同角度定位。侧表面中的各侧表面可以耦接到顶表面和至少两个相邻侧表面。侧表面可被配置为反射来自LiDAR系统的束。
在其它实施例中，运载工具校准系统可以包括三维校准目标。校准目标可以包括具有顶表面和至少四个侧表面的不规则、不对称形状。各侧表面可以耦接到顶表面和两个相邻侧表面。水平平面和第一侧表面之间的角度差可以与水平平面和第二侧表面之间的角度差不同。校准目标可被配置为从LiDAR系统接收至少一个束并将该束反射回LiDAR系统。
借助于本文描述的系统、方法和计算机程序产品的实现，用于校准目标的技术提供了包括从平面或平坦的表面的使用中进行容易的检测的优点。此外，防止来自成角度的侧表面和凸形形状的任何阴影或隐藏边缘提高了检测能力。例如，校准目标的凸形形状可以允许在接近目标时看到可见表面的所有边缘。另外，使用平面或平坦的表面允许在使用LiDAR系统期间的较小性能损失。此外，使用均匀材料有益于LiDAR强度校准和验证。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a～102n、对象104a～104n、路线106a～106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a～102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a～104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a～102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a～102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a～106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a～104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a～106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地段的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到基础设施(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和线控驱动(DBW)系统202h。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其它物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的交通灯数据(TLD)数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转弯信号、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)、至少一个V2I装置110、远程AV系统114的至少一个装置、队列管理系统116的至少一个装置、V2I系统118的至少一个装置、运载工具200的至少一个装置(例如，自主系统202的至少一个装置、DBW系统202h的至少一个装置、动力总成控制系统204的至少一个装置、转向控制系统206的至少一个装置、和/或制动系统208的至少一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、至少一个V2I装置110、远程AV系统114的至少一个装置、队列管理系统116的至少一个装置、V2I系统118的至少一个装置、运载工具200的至少一个装置(例如，自主系统202的至少一个装置、DBW系统202h的至少一个装置、动力总成控制系统204的至少一个装置、转向控制系统206的至少一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003449470970000171
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器305和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其它装置(例如，前灯、转弯信号、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。
校准场地和校准目标
如上所述，运载工具(例如，图1的运载工具102或图2的运载工具200或其它)可以包括被配置为促进运载工具的导航的一个或多于一个传感器。例如，如图2中例示，运载工具200包括自主系统202，该自主系统202包括一个或多于一个照相机202a、LiDAR传感器202b和雷达传感器202c以及其它组件。在一些实例中，期望校准和/或核实这些传感器以确保它们正常工作并且提高传感器和运载工具的整体安全性和效率。
如本文所述，可以提供被配置用于校准和/或验证这些传感器的校准场地。校准场地可以包括运载工具可以穿过的路径。一个或多于一个校准目标可被定位成接近该路径，以在运载工具穿过路径时可被运载工具的传感器检测到。该路径可以包括运载工具在沿着路径移动时穿过的一个或多于一个障碍物。在一些实施例中，一个或多于一个障碍物被配置为改变运载工具的传感器和校准目标之间的角度。当运载工具穿过路径时，随着传感器检测到一个或多于一个校准目标，运载工具的传感器可以收集数据。可以分析或以其它方式处理这些数据以校准和/或验证运载工具的传感器。
在一些实例中，传感器校准和验证可以涉及检测已知或预定义的环境中的一个或多于一个目标或其它特征。例如，在校准期间，向传感器呈现固定环境中的供检测的一个或多于一个已知目标。由于目标和环境是已知的，因此传感器所收集的数据可用于核实和校准传感器。在一些实例中，相对于场地或运载工具的位置，目标位置可以是未知的(例如，不是预定的或先前已知的)。
然而，由于可因各种条件(例如天气、一天中的时间、光照等)进一步变化的自然环境的多样性，用于校准运载工具的传感器的许多方法通常依赖于使用已知目标在固定的室内环境中进行校准，以确保校准和验证过程的可靠性和可重复性。即，由于与室外和自然环境相关联的高度变化和不可预测性，室外和自然环境先前通常未被用于运载工具传感器的校准和验证。
尽管运载工具传感器的室内校准可以提供高度的均匀性和可重复性，但是存在与传统室内校准相关联的缺点。举例来说，为了维持大型运载工具队列的安全操作，可能期望经常(例如，每天、每周、每月或在运载工具的特定操作小时数之后，诸如在5小时之后、在10小时之后、在20小时之后、在50小时之后、在100小时之后、在200小时之后，等等)进行传感器校准和验证。依赖于固定的室内校准环境的传感器校准和验证处理一般非常耗时，因此可能无法满足大型运载工具队列的校准和验证需求。例如，这可能是因为使用固定的室内校准场地，一次仅可以校准和/或验证一个运载工具的传感器。例如，在使用固定的室内校准室校准运载工具的传感器的一些实施例中，校准速率可以是约每90分钟一个运载工具。这个速率可能太慢而无法适应大型队列的需求。
本文描述的校准场地可被配置为提供解决上述一个或多于一个问题的解决方案。例如，本文描述的校准场地可以允许在室外环境中校准和/或验证运载工具的传感器(但是不必在所有实施例中如此，并且本文描述的校准场地也可以用于室内环境中)。作为另一示例，本文描述的校准场地可被配置为增加运载工具的传感器可被校准和/或验证的速率。在一些实施例中，这可以实现，因为多于一个运载工具可以同时使用校准场地。如上面简单提到的，校准场地可以包括被配置为被运载工具穿过的路径。在一些实施例中，多于一个运载工具可以同时穿过路径。例如，在一些实施例中，一个、两个、三个、四个、五个、六个、七个、八个、九个、十个、十五个、二十个、三十个、四十个、五十个或更多个运载工具可以同时穿过校准场地的路径。这可以大大提高运载工具可被处理的速率。
图5是校准场地500的实施例的示意俯视图。在例示实施例中，校准场地500包括路径502、一个或多于一个校准目标504、一个或多于一个障碍物506以及一个或多于一个区508。尽管在图5中例示这些特征的特定布置，但是例示布置不应被解释为限制性的。各种各样的其它布置也是可能的。另外，校准场地500不需要包括图5中例示的所有成分。在一些实施例中，校准场地500还可以包括图5中未例示的附加成分。
校准场地的路径502被配置为由一个或多于一个运载工具516(其可以与图1的运载工具102或图2的运载工具200相同或相似)穿过。在一些实施例中，运载工具516沿着路径502驾驶或被驾驶。因此，在一些实施例中，路径502可以被认为是可驾驶路径。路径502可被配置为运载工具516可以驾驶的道路或其它表面。在一些实施例中，运载工具516由操作者(诸如人类驾驶员)沿着路径502驾驶。在一些实施例中，运载工具516在自主系统的控制下沿着路径502驾驶。即，在一些实施例中，运载工具516可以以自主方式穿过路径502，而不需要人类驾驶员。在一些实施例中，运载工具502通过其它手段穿过路径。例如，在一些实施例中，运载工具502可以由另一运载工具围绕路径502拖曳或以其它方式牵引。在一些实施例中，运载工具502可以定位在围绕路径移动的推车或其它平台上。例如，在一些实施例中，路径502包括轨道(例如，火车式轨道)，并且运载工具516可以在定位在轨道上的车(例如，火车式车)上穿过路径502。
可以基于使用校准场地500进行的校准和验证处理来配置路径502的总长度。例如，在一些实施例中，路径502的长度足以允许在仅单次通过路径502的情况下校准和/或验证运载工具516的传感器。在其它实施例中，运载工具516可以多次通过路径502，以便为传感器的校准和/或验证提供足够的时间。作为示例，在一些实施例中，路径502的长度可以是1/10英里、1/8英里、1/6英里、1/4英里、1/2英里、3/4英里或1英里，但是其它长度(更长和更短)是可能的。
运载工具516穿过路径502所需的时间取决于路径的长度以及运载工具516的速率(例如，平均速率)。在一些实施例中，例如，运载工具516穿过路径502所需的时间可以是约30秒、约1分钟、约2分钟、约5分钟、约10分钟、约15分钟、约20分钟、约30分钟、约1小时或约1.5小时，但是在其它实施例中，更短和或更长的时间也是可能的。在一些实施例中，运载工具516以约每小时5英里、约每小时10英里、约每小时15英里、约每小时20英里、约每小时25英里、约每小时30英里、约每小时40英里、约每小时45英里、约每小时50英里、或约每小时60英里的平均速率穿过路径502，但是其它平均速率(更快和更慢)是可能的。在一些实施例中，运载工具516以大致恒定的速率穿过路径502。在一些实施例中，当运载工具516穿过路径502时，运载工具516改变其速率(例如，加速和/或减速)。场地500可被配置成使得在校准或验证期间，运载工具516以指定速度分布(例如，速度-时间分布或速度-位置分布)穿过路径。
在图5的例示实施例中，路径502包括入口510和出口512。运载工具516可以通过入口510进入路径502并通过出口512离开路径502。如例示实施例中所示，路径502在一些实例中可被配置为环路，使得在通过入口进入路径502之后，运载工具516可以在通过出口512离开路径502之前多次穿过路径502。尽管例示为环路，但路径502无需在所有实施例中是环路。例如，在一些实施例中，路径502仅从入口510延伸到出口512。
继续参考图5，路径502可以包括沿着路径502的长度定位的一个或多于一个转弯514(例如，方向变化)。转弯514可以包括不同程度的左转弯和/或右转弯。例如，转弯514可以包括方向变化小于60度的轻微转弯、方向变化在60度和120度之间的中等转弯、或者在任一方向(左或右)上方向变化大于120度的急转弯。在例示实施例中，路径502包括不同程度和方向的约七个转弯514。在其它实施例中，路径502可以包括其它数量的转弯514。例如，路径502可以包括一个、二个、三个、四个、五个、六个、七个、八个、九个、十个、十五个、二十个、二十五个或更多个转弯514。在转弯514之间，路径502可包括线性(例如，直的段)，或者转弯502可通过轻微弯曲或曲线连接。在一些实施例中，路径502可以是线性(例如，直的)路径，因此可以不包括转弯514。
在一些实施例中，使用标准化或已知路径(例如，具有已知长度、形状等)可以通过允许校准算法一致且可靠地运行来促进校准。例如，机器学习算法可能仅需要推广到已知的路线配置。在一些示例中，使用已知的路线配置可以减少输入的可变性，使得更容易训练机器学习算法并且帮助覆盖一些或所有可能的边缘情况。这可以使算法工作更一致且可靠。
如上所述，校准场地500可被配置为使得一次可以被多于一个的运载工具516使用。即，在一些实施例中，多个运载工具516可以同时(例如，一个接一个地)穿过路径502。在一些实施例中，穿过路径的运载工具516相隔至少10英尺、15英尺、20英尺、25英尺、30英尺、40英尺、50英尺、75英尺、100英尺、150英尺、200英尺、250英尺或500英尺的最小距离，但是在其它实施例中，可以使用其它距离(更长和更短)。运载工具之间的最小距离可以是沿着路径502在路径502上的第一运载工具516和第二运载工具516之间测量到的距离，其中第二运载工具516位于第一运载工具516的前面或后面。通过配置校准场地500使得多个运载工具516可以同时穿过路径502，运载工具516的传感器可被校准的总速率可以增加，尤其是与一次仅可处理单个运载工具的校准处理相比。这在校准(诸如大型运载工具队列内的)大量运载工具的传感器时变得特别有利。
如图5所示，一个或多于一个校准目标504、障碍物506和区508可以沿着校准场地的路径502、在校准场地的路径502上、邻近校准场地的路径502或接近校准场地的路径502定位。校准目标504、障碍物506和区508被配置为基于在运载工具516穿过路径502时利用传感器收集到的数据来促进运载工具516的传感器的校准和/或验证。在一些实施例中，要校准和/或验证的传感器包括例如图2的自主系统202的传感器(例如，一个或多于一个基于视觉的传感器或照相机202a、一个或多于一个LiDAR传感器202b、一个或多于一个雷达传感器202c以及/或者一个或多于一个基于声音的传感器或麦克风202d)，但是其它类型的传感器也可以使用本文描述的校准场地500进行校准。
继续参考图5，校准场地500包括一个或多于一个校准目标504。如图5所示，一个或多于一个校准目标504邻近或接近路径502而定位。更具体地，校准目标504相对于路径502定位，使得当运载工具穿过路径502时，运载工具516的一个或多于一个传感器可以检测到校准目标。在一些实施例中，校准目标504定位在路径502的约5英尺、约10英尺、约15英尺或约20英尺内，但是校准目标的其它位置(距路径502更近和更远)是可能的。
图5所示的校准目标504的具体数量和布置通过示例的方式提供，并且不应被解释为限制性的。校准目标504的其它数量和位置也是可能的。例如，在一些实施例中，校准场地包括至少一个、两个、三个、四个、五个、十个、十五个、二十个、二十五个或更多个校准目标504。此外，校准目标504可以定位在路径502的每一侧。例如，一些校准目标504可以(相对于穿过路径502的运载工具516)定位在路径的左侧，并且一些校准目标504可以(相对于穿过路径502的运载工具516)定位在路径的右侧。在一些实施例中，总校准目标504的约一半位于路径的左侧，并且总校准目标504的约一半位于路径的右侧，但是校准目标504的其它布置和分布是可能的。
校准目标504还可以相对于路径502定位，使得它们可由以不同定向定位在运载工具516上的各种传感器检测到。例如，运载工具516可以包括定向在大致向前方向、大致向右方向、大致向左方向和大致向后方向上的各种传感器。在一些实施例中，场地500和校准目标504应当被配置和定位成使得可以校准这些有向传感器组中的每一个。在一些实施例中，校准目标504可用于这些有向传感器组中的多于一个。例如，当运载工具接近校准目标504时，首先可以由(一个或多于一个)前向传感器检测校准目标504(允许前向组的校准)。然后当运载工具516通过校准目标504时，可以由(一个或多于一个)左侧或右侧传感器检测相同的校准目标504。最后，当运载工具移动经过并远离校准目标504时，可以由(一个或多于一个)后向传感器检测相同的校准目标。这可以通过校准目标504的放置以及路径502相对于校准目标504的配置来促进。
一般来说，校准目标504的位置和性质可以基于要校准的传感器的类型来配置。例如，被配置为校准LiDAR传感器的校准目标504可以相对于路径502定位，使得校准目标504在LiDAR传感器的范围内。在一些示例中，LiDAR传感器的范围可以是约50米。此外，校准目标504的形状可被配置为促进LiDAR传感器的校准。例如，下面参考图10A～13描述了被配置用于LiDAR传感器的校准的校准目标。
在一些实施例中，为了校准LiDAR传感器，通过校准场地500将校准目标504提供在允许校准目标504能够被运载工具516上所包括的至少两个不同LiDAR传感器同时检测到的位置处。例如，在一些实例中，LiDAR传感器的校准包括关联或建立两个或多于两个LiDAR传感器的输出之间的关系。各LiDAR传感器可被配置为生成代表LiDAR传感器所检测到的环境的点云。当在运载工具516上的两个不同LiDAR传感器的点云内检测到已知校准目标504时，该数据可用于校准LiDAR传感器。因此，在一些实施例中，被配置用于LiDAR传感器的校准或验证的一个或多于一个校准目标504应被定位成使得它们可在两个LiDAR传感器之间的重叠区内检测到。
在一些实施例中，一个或多于一个校准目标504可被配置为促进运载工具516上的一个或多于一个基于视觉的传感器或照相机的校准和/或验证。在一些实施例中，这可以通过创建校准目标504的一个或多于一个表面上的视觉图案来实现，其中视觉图案可以在从照相机接收到的图像内检测到。示例视觉图案例如在后述的图8A和8B中示出。
在一些实施例中，一个或多于一个校准目标504可被配置用于运载工具516上的雷达传感器的校准。例如，校准目标504可以包括包含高度雷达散射的材料。
在一些实施例中，一个或多于一个校准目标504可被配置用于校准运载工具516上的基于声音的传感器或麦克风。例如，校准目标504可包括用于产生可被运载工具516上的麦克风检测到的声音的扬声器。由麦克风在其检测到校准目标504所产生的声音时生成的数据可用于校准和/或验证运载工具516的麦克风。
校准目标504可被配置用于特定的单个传感器类型(例如，LiDAR、雷达、基于视觉的传感器或基于声音的传感器其中之一)的校准，或者校准目标504可被配置用于多个传感器类型(LiDAR、雷达、基于视觉的传感器或基于声音的传感器中的两个或多于两个)的校准。例如，如在上文中提及(并在下面参考图10A～13更详细地描述)，校准目标504可以包括被配置用于校准LiDAR传感器的形状以及被配置用于校准基于视觉的传感器或照相机传感器的表面纹理或图案。可选地，可以提供不同的校准目标504来校准不同类型的传感器。
继续参考图5，校准场地500可以包括一个或多于一个场地障碍物506。场地障碍物506可以包括例如在运载工具516所穿过的路径506之上或之中形成的特征。例如，场地障碍物506可以包括在路径502上形成的凸块(诸如减速带或其它更大的凸块)。作为另一示例，场地障碍物506可以包括在路径502之上或之中形成的一个或多于一个斜坡或成角度的表面。在一些实施例中，斜坡或成角度的表面可被配置为朝向路径的右边缘或左边缘成角度或倾斜。运载工具516可以穿过的其它类型的障碍物506也是可能的。例如，障碍物506可以包括模拟坑洼的特征或用作仅针对运载工具的单侧的轮的凸块的特征。
在一些实施例中，障碍物506被配置为更改或改变运载工具516的一个或多于一个传感器相对于一个或多于一个校准目标506的定向。例如，当运载工具516定位于路径502的平坦(例如，平整或水平)段时，运载工具516的传感器可以检测到校准目标504。然后，运载工具516可以穿过障碍物506，使得传感器和校准目标504之间的定向改变。从不同定向检测校准目标504可以进一步促进传感器的校准和/或验证。因此，在一些实施例中，一个或多于一个障碍物506可以定位在一个或多于一个校准目标504附近。即，一个或多于一个障碍物506可以定位成使得当运载工具516穿过障碍物时，一个或多于一个校准目标504可被运载工具516的一个或多于一个传感器检测到。
换句话说，在一些实施例中，障碍物506可被配置为更改运载工具516相对于校准目标504的一个或多于一个自由度。例如，障碍物506可被配置为引起运载工具516(以及定位于运载工具516上的相应传感器)相对于校准目标504的俯仰或侧倾的变化。类似地，转弯514可被配置为引起运载工具516(以及定位于运载工具516上的相应传感器)相对于校准目标的横摆的变化。因此，在一些实施例中，转弯514可以被认为是一种类型的障碍物506，因为其可被配置为调整传感器和校准目标504之间的定向。
在一些实施例中，校准场地500包括沿着路径502定位的一个、二个、三个、四个、五个、六个、七个、八个、九个、十个、十五个、二十个、二十五个或更多个障碍物506。
在一些实施例中，一个或多于一个校准目标504可被配置为移动以调整或更改传感器和校准目标506之间的定向。
如图5所示，校准场地500还可以包括一个或多于一个区508。区508可以是沿着路径502的、被特别地配置为允许对特定类型的传感器进行校准的区域(例如，雷达校准区、照相机校准区、LiDAR校准区等)。在一些实施例中，区508可以是模块化的，使得其可以从沿着路径502的一个位置移动到沿着路径的另一个位置。
校准场地可被配置为在几种类型的校准或验证过程(诸如LiDAR到雷达校准、LiDAR到LiDAR校准、照相机到LiDAR校准等)期间使用。
在一些实施例中，校准场地500可以在室外提供。在其它实施例中，校准场地500可以在室内提供。是在室内还是在室外提供校准场地500的一个考虑与该场地的大小有关。在一些实施例中，更可行的是在室外提供场地，使得其可以足够大以使得能够在传感器的整个范围内进行校准和测试并容纳路径502。在其它实例中，可能期望在室内提供场地，使得可以控制天气和光照效果。在一些实施例中，校准场地500可以是灵活的或模块化的。即，可以在新位置移动或调整校准目标504、障碍物506或场地的其它特征。
使用在穿过校准场地500时接收到的数据来校准或验证传感器可以包括使用一个或多于一个基于软件的组件或模块。例如，一个或多于一个软件模块可以与校准场地的控制相关联。这样的软件可被配置为与校准场地配合并控制其自动能力(例如，管理进入和离开场地的运载工具516)。这样的模块还可被配置为控制场地的任何电子可控元件(例如，灯、致动器)。
另外，校准或验证可以包括使用一个或多于一个车载传感器软件模块。例如，为了校准运载工具的传感器，校准系统必须作为车载软件系统的一部分或经由(运载工具必须将传感器观察结果提供至的)外部记录接口访问传感器数据。
另外，可以利用一个或多于一个校准算法。给定来自运载工具和/或场地的感测数据，可能存在被配置为将数据组合并应用算法来估计校准的(一个或多于一个)软件模块或其它特征，诸如AV计算400的特征。这些算法可以通过对场地的直接反馈和控制实时运行，或者经由记录的数据重放以离线方式处理。场地可被特别地设计为与诸如Ego(自我)运动估计、手眼校准和机器学习等的校准算法协同工作。
图6是示出用于使用校准场地来校准和/或验证一个或多于一个运载工具的一个或多于一个传感器的示例方法600的流程图。校准场地可以与图5的校准场地500相同或相似。从框602开始，包括要校准和/或验证的一个或多于一个传感器的运载工具可以处于使用中(例如，外出在道路上驾驶)。框604表示，对于使用中的运载工具，可以检测到传感器的去校准，或者可以发生可触发重新校准的事件。例如，如果传感器的性能低于阈值，则系统可以确定为传感器已被去校准。作为另一示例，某些事件可能使系统触发重新校准(例如，提供需要重新校准的指示)。这可以例如在经过特定时间段之后发生。
一旦检测到去校准或触发重新校准，运载工具可被发送到校准场地，如框606所示。在框606处，运载工具可以穿过校准路线，利用其传感器收集用于校准和/或验证传感器的数据。如果确定校准或验证成功，则运载工具可被再度投入使用，例如如框602所示。如图6所示，如果校准或验证成功，则可以基于在框606处确定的数据来更新与传感器相关联的校准参数，并且可以利用更新的校准参数来使运载工具在框602处返回使用。如果在框606处运载工具未被成功校准或验证，则可以在框608处使运载工具停止使用以供进一步检查和/或维护。
框610示出，从维护或充电返回的运载工具可以在返回使用之前在框612处经历质量保证检查。在一些实施例中，这种运载工具可以在完全重新投入使用之前在框606处被发送到校准场地。
图6的方法600示出，校准场地的使用在通过定期地或按需地校准和/或验证运载工具的传感器来管理运载工具的队列方面可以是有益的。这可以进一步提高这种运载工具的安全性并避免事故。如上所述，可能期望经常(例如，每天、每周、每月或在运载工具的特定操作小时数之后，诸如在5小时之后、在10小时之后、在20小时之后、在50小时之后、在100小时之后、在200小时之后，等等)或在特定触发事件(例如，充电、维护、事故等)之后进行传感器校准和验证。
图7A、图7B和图7C示出已被测试并且已被证明在校准和/或验证运载工具的传感器方面有效的示例校准场地路线的俯视图。在图7A中，示例路线700a包括约1291英尺的总长度，并且包括通过停车场的单个八字形形状。在图7B中，示例路线700b包括约1915英尺的总长度，并且包括围绕八字形环路的一个半行程。在图7C中，示例路线700c包括约2316英尺的长度，并且包括围绕八字形环路的两个行程。在利用图7A～7C的示例路线进行测试期间，确定路线700a足以进行校准和验证。
图8A和8B提供在校准目标的一些实施例上可包括的示例表面纹理或图案。图8A示出示例性基于点的图案800a，并且图8B示出示例性基于网格或棋盘的图案800b。这些视觉图案可被配置成可由照相机或基于视觉的传感器检测，作为如上所述的校准场地的一部分。也可以使用其它视觉图案，例如，如后述的图12所示。
图9示出被配置为减速带900的示例场地障碍物。这种障碍物可以在例如参考图5描述的校准场地中使用，以调整运载工具及其传感器与校准目标之间的定向。目标的其它形状和配置也是可能的。
图10A示出校准目标1000的示例实施例。校准目标1000可以与上面参考图5描述的一个或多于一个校准目标504相同或相似。在一些实施例中，校准目标1000可以与LiDAR和LiDAR照相机融合系统一起使用，但是校准目标还可以与诸如基于视觉的传感器和/或雷达传感器等的其它传感器类型一起使用。
校准目标1000可以是三维的。在一些实施例中，校准目标1000可以包括不规则或不对称形状。如例示实施例中所示，校准目标1000可以具有顶表面1002和侧表面1004。校准目标1000可以具有四个、五个、六个、七个、八个或更多个侧表面1004。每个侧表面1004可以具有可限定底部区域1010的一部分的第一边缘1006a、可与顶表面1002共用的第二边缘1006b、可与第一相邻侧表面1004a共用的第三边缘1008a、以及可与第二相邻侧表面1004b共用的第四边缘1008b。表面1002、1004可以形成具有凸形形状的校准目标1000。凸形形状可以提供如下的益处：当接近目标时，表面的任何部分都将不会被覆盖或从视线中移除。例如，将不存在阴影或遮挡的边缘。如果表面1002、1004的一部分是可见的，则整个表面1002、1004可以是可见的。
在一些实施例中，侧表面1004可以具有多于或少于四个边缘1006a、1006b、1008a、1008b。例如，侧表面1004可以具有三个、四个、五个、六个或更多个边缘。顶表面1002可以具有与侧表面1004的数量相对应的边缘数，其中侧表面1004具有与顶表面1002共用的边缘1006b。底部区域1010可以是由边缘1006a所形成的外缘限定的空区域。在一些实施例中，底部区域1010可以是与任何侧表面1004类似的表面。侧表面1004和顶表面1002可以是平面的、平滑的、齐平的(flush)、均匀的或平坦的。如果底部区域1010是底表面，则底表面也可以是平面的、平滑的、齐平的、均匀的或平坦的。使用平面表面可以使校准目标更易于检测。在一些实施例中，校准目标1000可以是空心的。在一些实施例中，校准目标1000可以是实心的。
侧表面1004和水平平面(例如由底部区域1010形成的平面、地面、底表面、支撑表面等)可以形成角度α。由侧表面1004和水平平面形成的角度可以与由第一相邻侧表面1004a和相同水平平面形成的角度β不同。角度α还可以与由任何侧表面1004和水平平面形成的任何角度不同。例如，水平平面与各侧表面1004之间的角度可以是不同的。角度(例如角度α和角度β)之间的差可以是约1°、5°、10°、15°、20°或其间的任何值。在一些实施例中，差可以大于20°。不同角度可以允许校准目标确定运载工具正从哪个方向接近。因此，校准目标1000在使用时的定向可能是重要的。校准目标1000能够以确保校准目标1000不因诸如天气等的外部源而移动的方式固定到支撑表面或地面。
校准目标1000可以由均匀的材料制成。使用均匀的材料可以改进LiDAR强度校准和验证。在一些实施例中，校准目标1000可以由焊接条制成以形成校准目标1000的骨架。焊接条可以是钢。顶表面1002和侧表面1004可以是可通过任何合适的部件(例如，经由钩或螺钉)连接到骨架的板。在一些实施例中，表面1002、1004可以由铝制成。在一些实施例中，不能使用焊接条的骨架。例如，顶表面和侧表面1004可以焊接在一起或经由连接器连接。材料选择可以允许校准目标1000重量轻，但也耐用和/或耐气候。可使用的材料的非限制性示例包括耐用的塑料、涂覆木材、碳纤维和复合材料。
图10B示出校准目标1000的顶视图。侧表面1004可以相对于顶表面1002成角度。在一些实施例中，各表面1002、1004的整体可以从上方可见，使得任何表面1002、1004的任何部分都不被隐藏或遮挡在可视范围之外。
图10C和10D示出校准目标1000的不同侧视图。如图10C和10D所示，所有可见的表面区域(无论是顶表面1002还是侧表面1004)可以是完全可见的，这意味着如果表面1002、1004的一部分是可见的，则整个表面1002、1004是可见的。在图10C中，从顶表面1002能够可见且三个侧表面1004能够可见的地点观察校准目标1000。顶表面1002和三个侧表面1004中的每一个可以是完全可见的。在其它实施例中，可见的侧表面1004的数量可以是一个、两个、三个、四个、五个或更多个。顶表面1002可以不平行于支撑表面1014(例如，地面或校准目标1000所在的表面)。在图10D中，从顶表面1002不可见的地点观察校准目标。
校准目标1000的高度H可以是约0.5米、1米、1.5米、2米、2.5米或其间的任何值，以及其它更大和更小的值。大小可以取决于正使用的LiDAR系统。例如，一些LiDAR系统被设计成看到较远的距离，并且可以与较高的校准目标交互，而一些LiDAR系统被设计成看到较近的距离，并且可以与较小的校准目标交互。校准目标1000的整体大小可以是允许与各种距离的LiDAR系统一起使用的平衡。运载工具上的传感器或LiDAR系统的位置也可以影响校准目标的大小。在一些实施例中，至少一个侧表面1004的高度可以与其它侧表面1004的高度不同。在一些实施例中，每个侧表面1004的高度可以是不同的。
图11A～11C示出校准目标1100的另一实施例。校准目标1100可以具有大致不规则的球状形状。如所示，侧表面1104可以具有任意数量的侧面。例如，三个、四个或更多个。侧表面1104可以是任何形状，取决于侧面的数量。侧表面1104可以如上所述在边缘处连接，以形成凸形、不对称、不规则的形状。如图11A～11C所示的校准目标可以是空心的或实心的。
图12示出可与上述任何校准目标一起使用的图案、设计或材料。可使用的图案包括但不限于CharuCo 1202、棋盘1204和圆网格1206图案。图案1202、1204、1206可以通过任何合适的手段连接到表面(例如，顶表面1002或侧表面1004)。在一些实施例中，钩(未示出)可用于连接图案。在一些实施例中，所有表面可以具有相同的图案。在一些实施例中，至少一个表面可以具有与另一表面不同的图案。在一些实施例中，可以不使用图案。在一些实施例中，每个表面可以具有与任何其它表面不同的图案。任何材料都可用于表面图案或纹理。在一些实施例中，表面图案或纹理是非反射性的。表面图案或纹理的非限制性示例包括涂漆、哑光塑料、具有颜色的哑光塑料、哑光层压表面等。
使用这样的表面图案或纹理可以允许校准目标用于校准基于视觉的传感器或照相机。例如，基于视觉的传感器或照相机可以检测表面图案，并使用信息来校准传感器。表面图案或纹理可以用作照相机目标，并且可以辅助进行照相机内在(intrinsic)校准和/或照相机外在校准。可以相对于其它传感器来完成校准。
图13描述了与校准目标一起使用LiDAR系统的方法。从框1302开始，LiDAR系统可以朝向校准目标引导至少一个束。移动到框1304，校准目标可以接收该至少一个束。移动到框1306，校准目标可以将该至少一个束反射回LiDAR系统。移动到框1308，LiDAR系统可以接收反射的至少一个束。
贯穿全文描述的校准目标可用于校准室以及驾驶通过校准中心。另外，校准目标可用于地面实况定位或映射。校准目标的已知位置和维度可用于检查或监视用于地面实况定位或映射的算法。此外，校准目标可以用作针对具有LiDAR系统或可与校准目标一起使用的其它系统的运载工具的道路标志。例如，校准目标可以在能见度差的夜间使用，可以用作指示特定区域的入口或出口的标志，并且可以用作典型的街道或道路标志。在一些实施例中，校准目标可以用作开启或关闭自主运载工具的自主模式的警报。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (14)

1.一种三维校准目标，包括：
顶表面，以及
至少四个侧表面，
其中，特定侧表面具有限定底部区域的一部分的第一边缘、与所述顶表面共用的第二边缘、与第一相邻侧表面共用的第三边缘、以及与第二相邻侧表面共用的第四边缘，以及
其中，所述特定侧表面和水平平面之间的角度差与所述水平平面和所述第一相邻侧表面之间的角度差不同。
2.根据权利要求1所述的校准目标，其中，所述特定侧表面和所述水平平面之间的角度差与所述水平平面和所述第二相邻侧表面之间的角度差不同。
3.根据权利要求1所述的校准目标，其中，所述至少四个侧表面包括至少六个侧表面。
4.根据权利要求3所述的校准目标，其中，所述水平平面和所述侧表面中的各侧表面之间的角度差是不同的。
5.根据权利要求1所述的校准目标，其中，所述校准目标被配置为反射来自激光雷达系统的多个束。
6.根据权利要求5所述的校准目标，其中，所述激光雷达系统被配置为使用所述多个束来进行校准。
7.根据权利要求1所述的校准目标，其中，所述顶表面是平面的，并且相对于地面倾斜。
8.一种不规则形状、凸形、不对称的三维激光雷达校准目标，包括：
顶表面，其相对于底部区域成角度；以及
多个侧表面，其各自相对于水平平面以不同的角度定位，
其中，所述多个侧表面中的各侧表面耦接至所述顶表面和至少两个相邻侧表面，以及
其中，所述多个侧表面被配置为反射来自激光雷达系统的束。
9.根据权利要求1或8所述的校准目标，还包括由被配置为相对于支撑表面支撑所述校准目标的外缘所限定的底部区域。
10.根据权利要求1或8所述的校准目标，其中，所述顶表面与支撑表面不平行。
11.根据权利要求1或8所述的校准目标，其中，所述侧表面是平面的。
12.根据权利要求1或8所述的校准目标，其中，所述校准目标形成凸形形状。
13.根据权利要求1或8所述的校准目标，其中，特定侧表面的高度与第一相邻侧表面的高度和第二相邻侧表面的高度不同。
14.一种用于校准运载工具的传感器的系统，所述系统包括：
至少一个处理器，其被配置为：
利用激光雷达系统发射至少一个束；
利用所述激光雷达系统的至少一个传感器，接收基于从三维校准目标的至少一个表面所反射的至少一个束而确定的传感器数据，其中，所述三维校准目标包括：
不规则、不对称形状，其具有顶表面和至少四个侧表面，
其中，各侧表面耦接至所述顶表面和至少两个相邻侧表面，以及
其中，水平平面和所述至少四个侧表面中的第一侧表面之间的角度差与所述水平平面和所述至少四个侧表面中的第二侧表面之间的角度差不同；以及
基于所述传感器数据来校准所述激光雷达系统的至少一个传感器。
CN202111660617.2A 2021-09-22 2021-12-31 校准目标和校准系统 Withdrawn CN115933627A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/448,451 2021-09-22
US17/448,451 US20230088398A1 (en) 2021-09-22 2021-09-22 Calibration courses and targets

Publications (1)

Publication Number Publication Date
CN115933627A true CN115933627A (zh) 2023-04-07

Family

ID=78828274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111660617.2A Withdrawn CN115933627A (zh) 2021-09-22 2021-12-31 校准目标和校准系统

Country Status (5)

Country Link
US (1) US20230088398A1 (zh)
KR (1) KR20230042614A (zh)
CN (1) CN115933627A (zh)
DE (1) DE102021132844A1 (zh)
GB (1) GB2611114B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114902305A (zh) * 2019-12-30 2022-08-12 伟摩有限责任公司 用于载具队伍的代理校准目标的识别
US20230089832A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Calibration courses and targets
US11814067B2 (en) * 2021-12-14 2023-11-14 Gm Cruise Holdings Llc Periodically mapping calibration scene for calibrating autonomous vehicle sensors

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3453734B2 (ja) * 1996-08-07 2003-10-06 株式会社小松製作所 キャリブレーション方法
JP5278728B2 (ja) * 2008-02-28 2013-09-04 アイシン精機株式会社 距離画像センサの校正装置及び校正方法
US7948425B2 (en) * 2008-05-14 2011-05-24 Cornell University Expandable signal calibration target
CN103983961A (zh) * 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
US11562502B2 (en) * 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US11435456B2 (en) * 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility
WO2019203840A1 (en) * 2018-04-19 2019-10-24 Hewlett-Packard Development Company, L.P. Three-dimensional calibration target
US20230089832A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Calibration courses and targets

Also Published As

Publication number Publication date
KR20230042614A (ko) 2023-03-29
GB202115808D0 (en) 2021-12-15
DE102021132844A1 (de) 2023-03-23
US20230088398A1 (en) 2023-03-23
GB2611114A (en) 2023-03-29
GB2611114B (en) 2025-04-09

Similar Documents

Publication Publication Date Title
US12131562B2 (en) Multi-modal segmentation network for enhanced semantic labeling in mapping
CN115933627A (zh) 校准目标和校准系统
CN115930994A (zh) 用于校准运载工具的至少一个传感器的系统和方法
KR102789444B1 (ko) 사전 왜곡된 타겟을 사용하는 카메라 정렬 시스템 및 방법
KR20230020934A (ko) 효율적인 차량 크기 추정을 위한 시스템 및 방법
KR20230001499A (ko) 회절 광학 요소를 사용한 기하학적 인트린직 카메라 캘리브레이션
CN116892931A (zh) 用于运载工具的方法、系统和可读介质
GB2614929A (en) Active alignment of an optical assembly with intrinsic calibration
US12266135B2 (en) Universal sensor performance and calibration target for multi-sensor imaging systems
US20230160778A1 (en) Systems and methods for measurement of optical vignetting
GB2610654A (en) Location based parameters for an image sensor
US20240296681A1 (en) Training machine learning networks for controlling vehicle operation
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
CN119174190A (zh) 多位置卷帘快门摄像装置
CN116788279A (zh) 用于自主运载工具的方法、系统和存储介质
WO2024249589A1 (en) Augmenting bird's eye view object proposals with input-dependent perspective object proposals
WO2024081192A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
CN116483062A (zh) 用于运载工具的方法、系统以及存储介质
CN119156811A (zh) 光学计量：照相机光学系统中耀斑和重影伪影的可重复定性分析
CN116793367A (zh) 用于传感器操作的方法和系统以及计算机可读介质
CN116105767A (zh) 测试设备、测试系统和测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230407