CN114074682A - 处理自返回的方法和车辆 - Google Patents

处理自返回的方法和车辆 Download PDF

Info

Publication number
CN114074682A
CN114074682A CN202110895448.4A CN202110895448A CN114074682A CN 114074682 A CN114074682 A CN 114074682A CN 202110895448 A CN202110895448 A CN 202110895448A CN 114074682 A CN114074682 A CN 114074682A
Authority
CN
China
Prior art keywords
vehicle
sensors
point
model
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110895448.4A
Other languages
English (en)
Inventor
M.陈
X.胡
R.蔡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN114074682A publication Critical patent/CN114074682A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80Arrangements for reacting to or preventing system or operator failure
    • G05D1/81Handing over between on-board automatic and on-board manual control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技术涉及处理从以自动驾驶模式操作的车辆的一部分反射的传感器信号的自反射。当以自主驾驶模式操作时,给定时间点的车辆位姿信息和传感器位姿信息被确定。来自对环境的一次或多次扫描的返回信号被诸如激光雷达传感器的车载传感器接收。系统基于车辆位姿信息和传感器位姿信息评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交。接收点被识别为自返回点。响应于将接收点识别为自返回点,车辆能够在自主驾驶模式下执行驾驶操作。

Description

处理自返回的方法和车辆
背景技术
以自主驾驶模式操作的自驾驶车辆可以将乘客、货物或其他物品从一个位置运输到另一个位置。在操作过程中,传感器提供了关于环境中其他对象的实时信息。位于车辆上的传感器接收的信号可能由于各种原因而劣化,包括由中间(intervening)对象导致的反射。一种有问题的情况随着“自反射”(self-reflection)而发生,其中,来自外部环境中的对象的信号是从自驾驶车辆的一部分反射的(reflected off)。这种反射可能触发对虚幻物品(phantom item)的错误检测或改变真实对象的表观位置(apparent location),这可能对车辆在自驾驶模式下操作的能力产生不利的影响。
发明内容
本技术涉及处理从以自主驾驶模式操作的车辆的一部分反射的传感器信号(例如,激光雷达返回(lidar return))的自反射。在一些情况下,用于自驾驶车辆的感知系统可以实施反射滤光片(reflection filter)来解决由车辆外部环境中的对象引起的激光雷达信号(lidar signal)的反射。例如,系统可以检查激光雷达点(lidar point)是否是其光束的第二返回或第三返回,其中,第一返回可能是反射表面(例如,高强度、高平面度反射)。然而,当反射表面上的第一返回丢失时,例如,当该表面像镜子一样时,这种方法可能失败。在这种情况下,反射点成为了第一返回(first return)。系统还可以维持激光雷达视场(FOV)的图像。每个像素显示激光雷达在该特定方向上可以观察到多远。这里,虽然反射点云(reflection point cloud)将在激光雷达FOV“之内”(within),但其邻域(neighborhood)应当主要在FOV之外。这种情况下,对于FOV边缘附近的点云发生挑战。尽管有这些针对外部产生的反射的方法,但由车辆本身导致的自反射也存在问题,因为这样的反射会导致车辆的感知系统检测到错误对象、使对象出现在一个位置而实际上位于不同的位置、或者损坏接收的传感器数据。
根据一个方面,提供了用于处理以自主驾驶模式操作的车辆的自返回(self-return)的方法。该方法包括:由车辆的一个或多个处理器确定在车辆以自主驾驶模式操作时的给定时间点的车辆位姿(pose)信息;由车辆的一个或多个处理器确定车辆的感知系统的一个或多个传感器在给定时间点的传感器位姿信息;由一个或多个传感器接收来自对车辆周围的外部环境进行的一次或多次扫描的返回信号;由车辆的一个或多个处理器基于车辆位姿信息和传感器位姿信息评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段(segment)是否与车辆的3D模型的任何表面相交;当确定所述线段与车辆的3D模型的任何表面相交时,将接收点标识(identify)为自返回点;并且响应于将接收点标识为自返回点,车辆在处于自主驾驶模式时执行选定的操作。
在一个示例中,选定的操作包括从接收的返回信号的数据集合中丢弃自返回点。在另一示例中,选定的操作包括将自返回点标记(flag)为自返回,并且将标记的点存储在存储器中。
当车辆不是铰接式(articulating)车辆时,车辆的3D模型可以是静态模型(static model)。在这种情况下,评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与3D模型的任何表面相交可以包括使用查找表(lookup table)评估静态模型,查找表包括偏转和俯仰方向。当车辆是铰接式车辆时,车辆的3D模型可以是动态模型(dynamic model)或运动学模型(kinematicmodel)。在这种情况下,该方法还可以包括使用返回信号的集合来估计铰接式车辆的拖车朝向。
一个或多个传感器可以是执行对车辆周围的外部环境进行的一次或多次扫描的激光雷达传感器。这里,一个或多个激光雷达传感器可以旋转以提供围绕车辆的高达360°的视场。
执行选定的操作可以包括将车辆的表面或区域标识为可能引起自反射的热点(hot spot)。车辆的3D模型可以包括车辆的一个或多个部分周围的缓冲区(buffer)。这里,缓冲区可以取决于车辆的感知系统的一个或多个传感器的范围精度(range precision)。
根据另一个方面,车辆被配置为以自主驾驶模式操作。车辆包括:驾驶系统,包括转向子系统、加速子系统和减速子系统,用来控制车辆在自主驾驶模式下的驾驶。它还包括感知系统,感知系统被配置为检测车辆外部环境中的对象,其中感知系统包括一个或多个传感器。车辆还包括控制系统,控制系统包括一个或多个处理器。控制系统被可操作地耦合到驾驶系统和感知系统。当车辆以自主驾驶模式操作时,控制系统被配置为:确定在车辆以自主驾驶模式操作时的给定时间点的车辆位姿信息;确定车辆的感知系统的一个或多个传感器在给定时间点的传感器位姿信息;由一个或多个传感器接收来自对车辆周围的外部环境进行的一次或多次扫描的返回信号;基于车辆位姿信息和传感器位姿信息评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交;当确定所述线段与车辆的3D模型的任何表面相交时,将接收点标识为自返回点;并且响应于将接收点标识为自返回点,使车辆的驾驶系统在处于自主驾驶模式时执行选定的操作。
选定的操作可以包括从返回信号的数据集合中丢弃自返回点。感知系统的一个或多个传感器可以是被配置为对车辆周围的外部环境进行一次或多次扫描的激光雷达传感器。在这种情况下,一个或多个激光雷达传感器可以沿着车辆的车顶部分(roof section)放置(positioned),并且被配置为旋转以提供围绕车辆的高达360°的视场。
一个或多个处理器可以包括一个或多个传感器的处理元件,其中处理元件被配置为执行对在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交的评估。
在一个示例中,车辆不是铰接式车辆,并且车辆的3D模型是静态模型。在另一个示例中,车辆是铰接式车辆,并且车辆的3D模型是动态模型或运动学模型。此外,车辆的3D模型可以包括车辆的一个或多个部分周围的缓冲区。
附图说明
图1A-图1B示出了根据本技术各个方面的示例自驾驶车辆。
图1C-图1D示出了被配置为与本技术各个方面一起使用的示例货车型车辆。
图1E-图1F示出了与本技术各个方面一起使用的示例铰接式公共汽车安置方式。
图2示出了根据本技术各个方面的自驾驶车辆的组件。
图3A-图3B是根据本技术各个方面的示例货车型车辆的系统的框图。
图4A-图4D示出了根据本公开各个方面的示例传感器视场和返回信号。
图5A-图5C示出了根据本公开各个方面的自反射情景。
图6A-图6B示出了根据本技术各个方面的示例系统。
图7示出了根据本技术各个方面的方法。
具体实施方式
自反射可以发生在具有相对刚性底盘的车辆以及可以枢转或铰接的车辆。在车载感知系统中可以采用不同的传感器类型,并且这些传感器可以放置或分布在车辆周围以实现不同的视场。本技术解决了自反射问题,其减轻或避免了诸如虚幻对象或实际对象的表观位置改变的问题。
示例车辆系统
图1A示出了示例客运车辆100的透视图,诸如小型货车(minivan)或运动型多用途汽车(SUV)。图1B示出了另一个示例客运车辆150(诸如轿车)的透视图。客运车辆可以包括用于获取有关车辆外部环境的信息的各种传感器。例如,顶部外壳单元(车顶吊舱总成(assembly))102可以包括激光雷达传感器以及各种相机(例如,光学或红外)、雷达单元、声学传感器(例如,麦克风或声纳类型传感器)、惯性(例如,加速度计、陀螺仪等)或其他传感器(例如,诸如GPS传感器的定位传感器)。位于车辆100前端的外壳104和位于车辆驾驶员侧和乘客侧的外壳106a、106b,可以各自结合激光雷达、雷达、相机和/或其他传感器。例如,外壳106a可以沿着车辆的侧围板(quarter panel)位于驾驶员侧门的前方。如图所示,客运车辆100还包括用于雷达单元、激光雷达和/或相机的外壳108a、108b,这些外壳也位于朝向车辆的后车顶部分的位置。另外的激光雷达、雷达单元和/或相机(未示出)可位于沿车辆100的其他位置。例如,箭头110指示传感器单元(未示出)可以沿车辆100的后部放置,诸如在保险杠之上或附近。取决于车辆类型和一个或多个传感器外壳配置,声学传感器可以布置在车辆周围的这些外壳中的任何或全部之内。
箭头114指示了如图所示的车顶吊舱102包括耦合到车辆车顶的基部(basesection)。并且箭头116指示了车顶吊舱102还包括高置于基部之上的上部(uppersection)。基部和上部中的每一个都可以容纳不同的被配置为获取关于车辆周围环境中的对象和条件(condition)的信息的传感器单元。车顶吊舱102和其他传感器外壳也可以沿着图1B中的车辆150(例如,轿车)布置。例如,每个传感器单元可以包括一个或多个上述类型的传感器,诸如激光雷达、雷达、相机(例如,光学或红外)、声学(例如,无源麦克风或有源发声声纳型传感器)、惯性(例如,加速度计、陀螺仪等)或其他传感器(例如,诸如GPS传感器的定位传感器)。
图1C-图1D示出了示例货运车辆150,诸如牵引车-拖车式卡车。卡车可以包括例如单拖车、双拖车或三拖车,或者可以是另一种中型或重型卡车(诸如商业重量类别在4至8内)。如图所示,卡车包括牵引车单元152和单一货运单元或拖车154。取决于被运输的货物的类型,拖车154可以是完全封闭的、敞开的(诸如平板式)或部分敞开的。在该示例中,牵引车单元152包括引擎和转向系统(未示出)以及用于驾驶员和任何乘客的驾驶室156。
拖车154包括称为中枢栓的栓接点(hitching point)158。中枢栓(kingpin)158通常被制成实心钢轴,其被配置为枢转地附接到牵引车单元152。特别地,中枢栓158附接到被称为半拖车接轮(fifth-wheel)的拖车联轴器(trailer coupling)160,其安装在驾驶室的后部。对于双或三牵引车-拖车,第二和/或第三拖车可以与前导拖车具有简单的栓接连接。或者,可替代地,每个拖车可以有自己的中枢栓。在这种情况下,至少第一拖车和第二拖车可以包括被安置为耦合下一个拖车的半拖车接轮类型的结构。
如图所示,牵引车可以具有沿其布置的一个或多个传感器单元162、164。例如,一个或多个传感器单元162可以被布置在车顶或驾驶室156的顶部,并且一个或多个侧部传感器单元164可以被布置在驾驶室156的左侧和/或右侧。传感器单元的位置还可以沿着驾驶室156的其他区域,诸如沿着前保险杠或引擎盖区域、在驾驶室的后部、半拖车接轮附近、底盘下方等。拖车154还可以具有一个或多个传感器单元166,其被布置于,例如沿着拖车154的侧板、前部、后部、车顶和/或底架(undercarriage)。图1E-图1F示出了另一种类型的铰接式车辆170的示例,诸如铰接式公共汽车。与牵引车-拖车150一样,铰接式公共汽车170可以包括沿着车辆不同区域布置的一个或多个传感器单元172、174和/或176。
与图1A-图1B中的客运车辆的传感器单元一样,货运车辆或铰接式车辆的每个传感器单元可包括一个或多个传感器,诸如激光雷达、雷达、相机(例如,光学或红外)、声学(例如,麦克风或声纳型传感器)、惯性(例如,加速度计、陀螺仪等)或其他传感器(例如,诸如GPS传感器的定位传感器)。尽管本公开的某些方面结合特定类型的车辆可能特别有用,但是车辆可以是不同类型的车辆,包括但不限于汽车、摩托车、货车、公共汽车、休闲车、应急车辆、建筑设备等。
对于以部分或完全自主驾驶模式操作的车辆,可以存在不同程度的自主性。美国国家公路交通安全管理局和汽车工程师协会已经确定了不同的等级以指示车辆控制驾驶的程度。例如,等级0(Level 0)没有自动化,并且驾驶员做出所有与驾驶相关的决定。最低的半自动模式,等级1(Level 1),包括一些驾驶辅助,诸如定速巡航(cruise control)。在这个等级,车辆可以严格地在驾驶员信息系统(driver-information system)中操作,而无需对车辆进行任何自动控制。这里,车辆的车载传感器、它们之间的相对位置知识以及它们交换数据的方式可用于实现本文所讨论的技术的各个方面。等级2(Level 2)具有某些驾驶操作的部分自动化,而等级3(Level 3)涉及到可以使处于驾驶座上的人能够在有必要时进行控制的有条件的自动化。相比之下,等级4(Level 4)是高度自动化等级,其中车辆能够在选定的条件或情况下无需辅助进行驾驶。而等级5(Level 5)是完全自主模式,其中车辆能够在所有情况下都无需辅助进行驾驶。本文描述的架构、组件、系统和方法可以在任何半自主或完全自主模式下操作,例如在本文被称为自主驾驶模式的等级1至等级5。因此,对自主驾驶模式的引用包括部分自主和完全自主二者。
图2示出了具有以自主驾驶模式操作的示例性车辆(诸如客运车辆100或150)的各种组件和系统的框图200。如图所示,框图200包括一个或多个计算设备202,诸如包含一个或多个处理器204、存储器206和通常存在于通用计算设备中的其他组件的计算设备。存储器206存储可由一个或多个处理器204访问的信息,包括可由处理器204执行或以其他方式使用的指令208和数据210。在以自主驾驶模式操作时,计算系统可以控制车辆的总体操作。
存储器206存储可由处理器204访问的信息,包括可由处理器204执行或以其他方式使用的指令208和数据210。例如,存储器可包括执行自反射过滤(self-reflectionfiltering)的一个或多个模型,包括车辆的一个或多个模型。存储器206可以是能够存储可由处理器访问的信息的任何类型的存储器,包括计算设备可读介质。存储器是非暂时性介质,诸如硬盘驱动器、存储卡、光盘、固态(solid-state)等。系统可以包括前述的不同组合,由此指令和数据的不同部分被存储在不同类型的介质上。
指令208可以是由一个或多个处理器直接地(诸如机器代码)或间接地(诸如脚本)执行的任何指令集合。例如,指令可以作为计算设备代码被存储在计算设备可读介质上。在这方面,术语“指令”、“模块”和“程序”在本文中可以互换使用。指令可以以用于由处理器直接处理的目标代码格式存储,或者以包括按需解释或预先编译的独立源代码模块的集合或脚本的任何其他计算机设备语言存储。一个或多个处理器204可以根据指令208检索、存储或修改数据210。在一个示例中,存储器206中的一些或者全部可以是被配置为存储车辆诊断和/或检测到的传感器数据的事件数据记录器或其他安全数据存储系统,取决于实施方式,其可以是车载或远程的。
处理器204可以是任何常规处理器,诸如商用CPU或GPU。可替代地,每个处理器可以是专用设备,诸如ASIC或其它基于硬件的处理器。尽管图2在功能上示出了处理器、存储器和计算设备202的其他元素在同一框内,但这样的设备实际上可以包括多个处理器、计算设备或存储器,这些处理器、计算设备或存储器可以或可以不被存储在相同的物理外壳内。类似地,存储器206可以是硬盘驱动器或其他存储介质,其位于与处理器204不同的外壳中。因此,对处理器或计算设备的引用将被理解为包括对并行操作或不并行操作的处理器或计算设备或存储器的集合的引用。
在一个示例中,计算设备202可以形成结合到车辆100中的自主驾驶计算系统。自主驾驶计算系统能够与车辆的各种组件通信。例如,计算设备202可以与车辆的各种系统通信,包括驾驶系统,驾驶系统包括减速系统212(用于控制车辆的制动)、加速系统214(用于控制车辆的加速度)、转向系统216(用于控制车轮的朝向和车辆的方向)、信号系统218(用于控制转向信号)、导航系统220(用于将车辆导航到位置或对象周围)和定位系统222(用于确定车辆的位置,例如,包括车辆的位姿,例如,位置和沿着道路的朝向,或者车辆底盘相对于坐标系统的俯仰、偏转和滚动)。自主驾驶计算系统根据导航系统220、定位系统222和/或系统的其他组件,可以采用规划器模块223,例如,用于确定从起点到目的地的路线,或者根据当前的或预期的牵引条件(traction condition)对驾驶的各个方面做出修改。
计算设备202还可操作地耦合到感知系统224(用于检测车辆环境中的对象)、动力系统226(例如,电池和/或汽油或柴油动力的引擎)和传输系统230,以便在不要求或不需要来自车辆乘客的连续或周期性输入的自主驾驶模式下,根据存储器206的指令208控制车辆的移动、速度等。一些或全部车轮/轮胎228被耦合到传输系统230,并且计算设备202能够接收关于轮胎压力、平衡和可以在自主模式下影响驾驶的其他因素的信息。
计算设备202可以通过控制各种组件来例如经由规划器模块223控制车辆的方向和速度。作为示例,计算设备202可以使用来自地图信息和导航系统220的数据完全自主地将车辆导航到目的地位置。计算设备202可以使用定位系统222来确定车辆的位置,并且使用感知系统224来检测对象以及在需要时响应对象以安全到达该位置。为此,计算设备202可以使车辆加速(例如,通过增加由加速系统214提供给引擎的燃料或其他能量)、减速(例如,通过减少供应给引擎的燃料、换档和/或通过减速系统212施加制动)、改变方向(例如,通过转向系统216转动车辆100的前轮或其他车轮),并且用信号通知这样的变化(例如,通过点亮信号系统218的转向灯)。因此,加速系统214和减速系统212可以是包括在车辆引擎和车辆车轮之间的各种组件的传动系统或其他类型的传输系统230的部分。同样,通过控制这些系统,计算设备202还可以控制车辆的传输系统230以便无论在部分自主驾驶模式还是完全自主驾驶模式下都自主地操纵车辆。
计算设备202可以使用导航系统220以便确定并遵循到位置的路线。在这方面,导航系统220和/或存储器206可以存储地图信息,例如,计算设备202可以用来导航或控制车辆的高度详细的地图。例如,这些地图可以标识道路、车道标记(lane marker)、交叉路口、人行横道、限速、交通信号灯、建筑物、标志、实时交通信息、植被的形状和高度或其他这样的对象和信息。车道标记可以包括诸如实线或虚线的双车道线或单车道线、实线或虚线车道线、反射器等的特征。给定的车道可以与左和/或右车道线或定义车道边界的其他车道标记相关联。因此,大多数车道可以由一条车道线的左边缘和另一条车道线的右边缘来界定。
感知系统224包括用于检测车辆外部对象的传感器232。检测到的对象可以是其他车辆、道路中的障碍物、交通信号、标志、树木等。传感器232还可以检测天气条件的某些方面,例如雪、雨或水雾或水坑、冰或道路上的其他材料。仅作为示例,感知系统224可以包括激光雷达传感器、雷达单元、相机(例如,具有或不具有中性密度(ND)滤光片的光学成像设备)、一个或多个麦克风或其他声学阵列、定位传感器(例如,陀螺仪、加速度计和/或其他惯性组件)、红外传感器和/或记录可以由计算设备202处理的数据的任何其他检测设备。
感知系统224的这样的传感器可以检测车辆外部环境中的对象及其特性,诸如位置、相对于道路或相对于车辆的朝向、尺寸、形状、类型(例如,车辆、行人、骑自行车者等)、走向、相对于车辆的移动速度等以及车辆周围的环境条件。感知系统224还可以包括车辆内的其他传感器以检测车辆内的对象和条件,诸如车厢内的乘客。例如,这种传感器可以检测例如一个或多个人、宠物、包裹等以及车辆内部和/或外部的条件,例如温度、湿度等。感知系统224的传感器232可以更进一步地测量车轮228的转速、减速系统212的制动的量或制动类型以及与车辆本身的设备相关联的其他因素。
由传感器获得的原始数据可以由感知系统224处理(诸如经由传感器的或者结合到传感器总成模块中的处理芯片)和/或随着数据被感知系统224生成而周期性地或持续地将其发送到计算设备202以进一步处理。计算设备202可以使用定位系统222来确定车辆的位置,并且使用感知系统224检测对象以及在需要时对对象做出响应以安全到达位置,例如,经由规划器模块223做出的调整,包括用以处理遮挡和其他问题的操作中的调整。此外,计算设备202可以执行单独传感器、特定传感器总成中的全部传感器或者不同传感器总成或其他物理外壳中传感器之间的验证或校准。
如图1A-图1B所示,感知系统224的某些传感器可以结合到一个或多个传感器总成或外壳中。在一些示例中,这些可以集成到车辆周围的前部、后部或侧部周界传感器(perimeter sensor)总成中(例如,单元104和106)。在另一个示例中,其他传感器可以是顶部外壳(车顶吊舱)102的部分。计算设备202可以与位于车辆之上或以其他方式沿车辆分布的传感器总成通信。每个总成可以具有一种或多种类型的传感器,诸如上述传感器。
回到图2,计算设备202可以包括通常与计算设备结合使用的所有组件,诸如上述处理器和存储器以及用户界面子系统234。用户界面子系统234可以包括一个或多个用户输入236(例如,鼠标、键盘、触摸屏和/或麦克风)和一个或多个显示设备238(例如,具有屏幕的监视器或可操作以显示信息的任何其他电子设备)。在这方面,内部电子显示器可以位于车辆的舱室内(未示出),并且可以由计算设备202使用以向车辆内的乘客提供信息。其他输出设备,诸如扬声器240也可以位于客运车辆内。
车辆还可以包括通信系统242。例如,通信系统242还可以包括一个或多个无线配置以便利于与其他计算设备通信,诸如车辆内的乘客计算设备、车辆外部的(诸如道路上其他附近车辆内的)计算设备和/或远程服务器系统。网络连接可以包括短程通信协议,诸如蓝牙TM、蓝牙TM低功耗(LE)、蜂窝连接,以及各种配置和协议,包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、WiFi和HTTP,以及前述的各种组合。
图3A示出了具有车辆(例如,图1C-图1D中的车辆150或图1E-图1F中的车辆170)的各种组件和系统的框图300。作为示例,车辆可以是配置为以一种或多种自主操作模式操作的卡车、公共汽车、农场设备或建筑设备。如框图300所示,车辆包括一个或多个计算设备的控制系统,诸如计算设备302,其包含一个或多个处理器304、存储器306和与以上关于图2所讨论的组件202、204和206类似或相当的其他组件。例如,存储器可以包括执行自反射过滤的一个或多个模型。
控制系统可以构成货运车辆的牵引车单元的电子控制单元(ECU)。与指令208一样,指令308可以是由处理器直接地(诸如机器代码)或间接地(诸如脚本)执行的任何指令集合。类似地,一个或多个处理器304可以根据指令308检索、存储或修改数据310。
在一个示例中,计算设备302可以构成结合到车辆150或车辆170中的自主驾驶计算系统。类似于以上关于图2所讨论的安置方式(arrangement),框图300的自主驾驶计算系统能够与车辆的各个组件进行通信以便执行路线规划和驾驶操作。例如,计算设备302可以与车辆的各种系统通信,诸如驾驶系统,其包括减速系统312、加速系统314、转向系统316、信号系统318、导航系统320和定位系统322,它们中的每个的功能都可以如同上文关于图2所讨论的那样。
计算设备302还可操作地耦合到感知系统324、动力系统326和传输系统330。一些或全部车轮/轮胎328被耦合到传输系统330,并且计算设备302能够接收关于轮胎压力、平衡、转速和可能在自主模式下影响驾驶的其他因素的信息。与计算设备202一样,计算设备302可以通过控制各种组件来控制车辆的方向和速度。例如,计算设备302可以使用来自地图信息和导航系统320的数据完全自主地将车辆导航到目的地位置。类似于上述图2的方式,计算设备302可以采用规划器模块323,结合定位系统322、感知系统324以及其他子系统来检测对象和在需要时响应对象,以安全到达位置。
类似于感知系统224,感知系统324也包括一个或多个传感器或其他组件,诸如上述用于检测车辆外部的对象、车辆内部的对象或条件和/或某些车辆设备(诸如车轮和减速系统312)的操作的那些组件。例如,如图3A所指示的,感知系统324包括一个或多个传感器总成332。每个传感器总成332包括一个或多个传感器。在一个示例中,传感器总成332可以被安置为集成到卡车、农场设备、建筑设备等的侧视镜中的传感器塔。如上文关于图1C-图1D所述,传感器总成332还可以放置在牵引车单元152或拖车154上的不同位置。计算设备302可以与位于牵引车单元152和拖车154两者上的或沿铰接式车辆170的前部和后部的传感器总成通信。每个总成可具有一种或多种类型的传感器,诸如上述传感器。
图3A中还示出了用于牵引车单元和拖车之间的连接的耦合系统(couplingsystem)334。耦合系统334可以包括一个或多个动力和/或气动连接(未示出),以及牵引车单元处的、用于连接拖车处的中枢栓的半拖车接轮336。通信系统338(相当于通信系统242)也被示为车辆系统300的一部分。
类似于图2,在该示例中,货运卡车、公共汽车或其他车辆也可以包括用户界面子系统339。用户界面子系统339可以位于车辆的舱室并且可以由计算设备302使用以向车辆内的乘客提供信息,诸如能够以手动驾驶模式驾驶卡车的卡车司机。
图3B示出了拖车单元(诸如图1C-图1D的拖车154)的系统的示例框图340。如图所示,该系统包括一个或多个计算设备的ECU 342,诸如包含一个或多个处理器344、存储器346和通常存在于通用计算设备中的其他组件的计算设备。存储器346存储可由一个或多个处理器344访问的信息,包括可以由处理器344执行或以其他方式使用的指令348和数据350。图2和图3A中的处理器、存储器、指令和数据的描述可以适用于图3B中的这些元素。
ECU 342被配置为从拖车单元接收信息和控制信号。ECU 342的车载处理器344可以与拖车的各种系统通信,包括减速系统352、信号系统354和定位系统356。ECU 342还可以可操作地耦合到具有一个或多个被安置在传感器总成364中用于检测拖车环境中对象的传感器的感知系统358。ECU 342还可以可操作地耦合到动力系统360(例如,电池电源)以向本地组件提供动力。拖车的一些或全部车轮/轮胎362可以耦合到减速系统352,并且处理器344能够接收关于轮胎压力、平衡、车轮速度和可能在自主模式下影响驾驶的其他因素的信息,并将该信息中继到牵引车单元的处理系统。减速系统352、信号系统354、定位系统356、感知系统358、动力系统360和车轮/轮胎362可以以诸如上述关于图2和图3A的方式操作。
拖车还包括一组撑地装置(landing gear)366以及耦合系统368。撑地装置可以在拖车与牵引车单元解耦时为拖车提供支撑结构。提供拖车和牵引车单元之间的连接的耦合系统368可以是耦合系统334的一部分。因此,耦合系统368可包括连接部分370(例如,用于与牵引车单元的通信、动力和/或气动连接)。耦合系统还包括被配置用于与牵引车单元的半拖车接轮的连接的中枢栓372。
示例实施方式
鉴于以上所描述的和附图中所示的结构和配置,现将根据本技术的各方面来描述各个方面。
如上所述,各种传感器可以位于车辆周围的不同位置以从车辆本身和/或外部环境的不同部分收集数据。取决于传感器在车辆周围的位置以及它们被设计来收集的信息的类型,某些传感器可以具有外部环境和/或车辆部分的不同视场(FOV)。例如,不同的激光雷达传感器可以用于对车辆附近的(例如,小于2-10米的范围)对象的近(短程)检测,而其他的可以用于对车辆前方一百米(或更多或更少)的对象的远(长程)检测。也可以采用中程激光雷达(例如,5-150米之间的范围)。多个雷达单元可以朝着车辆前部或后部放置以用于长程对象检测,以及在车辆侧部放置以用于对附近对象的周界检测。并且相机也可以被安置在各种位置以提供车辆周围的良好可见度(visibility),包括用于车辆附近的近距感测(close-insensing)。
取决于配置,一组传感器可以被安置在一个外壳内或分布在车辆周围的安置方式中,以包括具有重叠视场的多个单独的传感器。可替代地或附加地,其他传感器可提供冗余的360°视场。除了检测车辆外部环境中的对象外,这些传感器还可以用于确定车辆的实际位姿,包括例如拖车相对于货运车辆牵引车单元的朝向,或铰接式公共汽车的前部和后部各自的朝向。这可以包括与车辆不同部分(例如,牵引车或拖车、公共汽车的前部或后部等)的状态相关的在位置、滚动、俯仰、偏转方面的朝向信息,以及这种状态信息的相关时间导数(time derivative)。
图4A提供了与传感器(诸如图1C-图1D中所示的那些)相关的传感器视场的一个示例400。如该示例中所示,车顶吊舱总成402中的激光雷达可以具有FOV 404,诸如360°FOV。这里,如较暗区域406所示,车辆的拖车或其他铰接部分可以提供包括自返回的信号返回,并且可以部分地或完全地阻碍对外部环境的向后视野。牵引车单元的左侧和右侧传感器单元408a、408b的长程激光雷达具有相对应的FOV 410a和410b。这些可以涵盖了邻近和沿着车辆侧方和前方的重要区域。如图所示,车辆前方可以存在这些各种传感器的视场的重叠区域412。重叠区域412可以向感知系统提供关于在牵引车单元正前方的非常重要的区域的附加信息。这种冗余还具有安全方面。如果长程激光雷达传感器中的一个遭遇性能劣化,则冗余仍允许在自主模式下进行操作。传感器单元408a和408b的短程激光雷达具有较小的FOV 414a和414b,例如作为近距感测系统的一部分来检测紧邻车辆前部(例如,牵引车)的对象。长程和短程激光雷达二者都可以如图所示地共同位于单一外壳408a或408b中,或者可以分开布置在车辆上。此外,左侧和右侧传感器单元416a和416b可以位于车辆的后部,诸如拖车。这里,这些传感器单元具有相对应的FOV 418a和418b,例如作为近距感测系统的一部分来检测紧邻车辆后部(例如,拖车)的对象。为清楚起见,在附图中示出了不同视场之间的间隔,然而,实际上覆盖范围可以没有间断。视场和传感器总成的具体放置仅是示例性的,并且取决于例如车辆类型、车辆尺寸、FOV要求等可以是不同的。
图4B示出了在顶部外壳中和在牵引车-拖车车辆两侧的雷达和相机传感器中的任一个(或两者)的示例配置420。这里,在传感器外壳402、408和/或416中的每一个中都可以存在多个雷达和/或相机传感器。如图所示,顶部外壳中可以存在具有前视场422、侧视场424和后视场426的传感器。与区域406相同,拖车可能影响具有FOV 426的传感器检测车辆后方对象的能力,例如,由于某些信号的自反射。侧传感器总成408中的传感器可具有面向前方的视场428(以及侧和/或后视场)。并且后部周界总成416中的传感器可以具有面向侧方和后方的FOV 432。与上面关于图4A讨论的激光雷达一样,图4B的传感器可以被安置以使临接的视场重叠,诸如重叠区域430所示。类似地,此处的重叠区域能够提供冗余和增强的分辨率,并且如果一个传感器遭遇性能劣化则具有相同的益处。
这些传感器被用于收集关于车辆周围的外部环境的信息,包括其他对象、道路条件、天气条件等。传感器信息还可用于获得关于车辆本身的位姿和其他信息,诸如,拖车相对于牵引车的准确位置。车载控制系统能够结合地理数据(例如,地图)使用接收的传感器信息和车辆的运动学模型来规划路线或选择为车辆操纵优化过的轨迹。
这些和其他传感器不仅可以检测环境中对象的位置,还可以检测它们的高度以及其他信息。这可以通过由一个或多个传感器对环境进行多次扫描来完成。作为示例,图4C的图示440示出了使用传感器总成扫描环境中的对象的车辆。传感器总成可以是,例如顶部传感器总成、前部、侧部或后部周界传感器总成等。传感器总成可以在其中包括一个或多个激光雷达、雷达、相机或其他传感器。在图4C的情景中,从外壳发出的实线和短划线442指示了对环境的单独的扫描(individual scans)的示例。例如,给定传感器每个扫描周期可以进行10次(或更多或更少)单独的扫描。这可以包括以例如马达、伺服或其他致动器向上或向下、向左或向右调整传感器的FOV。可以选择单独的扫描以覆盖传感器FOV的特定部分或车辆周围的选定区域。图4D的图示460示出了一些扫描(例如,经由虚线462和点划线464)可以从车辆环境中的对象生成一个或多个返回信号。
来自激光雷达扫描的原始返回信号形成了关于外部环境的信息的点云。基于此信息,车载控制系统(例如,计算设备202或302)可以检测不同尺寸、形状和高度的对象,诸如客运车辆、自行车、路灯和街道标志、树叶、路缘等。可以根据车辆模型使用关于这样的对象的位置和不同高度的信息来规划轮组(wheel sets)如何朝向,以便选择特定的驾驶操作或其他操纵。然而,不是直接从对象返回的点云信息,特别是由于来自车辆部分的自反射,可能会提供关于外部环境的错误表示。
例如,图5A的视图500示出了来自刚性底盘型车辆的自反射示例,并且图5B-图5C的视图520和540示出了来自能够枢转或铰接的车辆的自反射示例。特别地,如图5A所示,树木502或其他对象可能导致来自车辆激光雷达传感器一次或多次扫描的返回。返回的初始路径504(由短划线示出)被车辆表面上的区域506反射,这使返回沿着调整的路径(adjusted path)508(由虚线示出)被重新定向。然后激光雷达传感器接收来自调整的路径508的返回。在该示例中,一个或多个这样的返回的自反射可能导致车辆的感知系统或其他处理系统错误地检测到沿道路的一个或多个沟槽(trench)或伪影(artifact)510,如点划线边界框内所示。这是因为调整的路径508可能被错误地感知为来自沿着点划线路径512的一个或多个对象。
在图5B-图5C的示例中,沿着初始路径522(由短划线示出)的返回被车辆表面上的区域524反射,诸如拖车的侧板。这里,如图5B所示,当返回在被例如沿着车辆的上盖部分安装的激光雷达传感器接收时,区域524沿着调整的路径526重新定向了返回。如图5C所示,初始路径522由可以是树或其他对象的对象542a和542b导致。在这种情况下,调整的路径可能会在与实际位置显著不同的表观位置处提供对象的错误表示544a和544b。因此,可以枢转或铰接的车辆也可能体验与刚体车辆相同类型的自反射。来自拖车和牵引车/舱室(在牵引车/拖车示例中)二者的反射都可以导致自反射。
根据该技术的一个方面,用于解决自反射的一般方法如下。首先,构建自主汽车的3D模型。对于铰接式车辆,这还包括为拖车或其他铰接的部分建立诸如动态模型或运动学模型的3D模型。运动学模型是几何模型,并且可被用于以速度不变的方式预测或描述车辆运动。然而,动态模型可以被用于,例如考虑取决于速度的因素(例如,拖拉(drag)和滑移(slip))。车辆模型可以被校准以考虑现实世界的条件和驾驶情况。例如,它可以将道路形状(例如,直的或弯的)、上倾(incline)或下倾(decline)的角度、表面类型(例如,沥青、混凝土或砾石)、坑洞(pothole)等作为因素考虑进来。牵引车单元和拖车彼此间的位置关系是模型的一部分。为了提高准确性,可以在每辆车辆(per-vehicle)或每辆拖车(per-trailer)的基础上校准车辆模型。当在自主驾驶模式中选择驾驶路线和以其他方式控制车辆时,规划子系统(诸如图2中的规划器模块223或图3A中的规划器模块323)可以采用车辆模型。
包括边界框(bounding box)或3D网格(3D mesh)的不同的方法可被用来创建模型。在一种情景中,可使用k-d树(k-d tree)来查询车辆的一部分是否在3D形状内。例如,k-d树可以被用于辨别从激光雷达中心到任何点的射线(ray)是否与车辆的3D模型(包括拖车或其他适用的铰接元件)交叉。3D模型通常由三角形网格来表示。
除了具有车辆的边界框、网格或3D模型之外,安装在车辆上的每个激光雷达单元和/或其他传感器的具体位置是已知的。如图1A-图1F所示的例子指示的,传感器可以安装在车顶,沿车辆的前部、后部、侧部等布置,包括卡车的驾驶室和/或沿着拖车。兼具车辆模型和一个或多个激光雷达单元的定位,系统可以如下实时操作。在以自主驾驶模式驾驶时,计算车辆位姿(例如,沿着道路的朝向或者车辆底盘或铰接元件相对于坐标系的俯仰、偏转和滚动(以及这种状态信息的相关联的时间导数))。
铰接式车辆的位姿可以涉及拖车相对于牵引车的朝向的估计。这里,可以采用不同的技术,包括使用激光雷达和/或其他车载传感器来检测车辆元件的相对定位。作为示例,确定拖车或铰接组件的哪个“面”(例如,前面、右侧面或左侧面)被卡车或其他车辆驾驶室上的激光雷达传感器观察到可能就足够了。转向角(turning angle)信息可以被用来识别激光雷达传感器是在观察拖车或其他铰接组件的右侧面还是左侧面。可替代地,来自中枢栓/半拖车接轮连接(或其他枢转点)的物理测量可以提供关于拖车相对于牵引车的朝向的信息。
在相同的时间点,也计算每个传感器(例如,激光雷达单元)的位姿。诸如给定传感器相对于车辆固定点或其他部分的位置和朝向的传感器位姿可能取决于传感器的操作、沿车辆安装的位置、车辆是否为铰接式车辆或其他因素而改变。例如,传感器位姿评估可能涉及计算射线源和激光雷达单元位置之间的线段,然后检查线段是否与3D模型交叉。对于“单源”激光雷达传感器,激光雷达单元中心的物理位置就足够了。在一个示例中,可以假设每个激光雷达传感器只具有一个源。
以激光雷达传感器为例,当车辆以自主驾驶模式操作时,如上所述的来自每次旋转扫描的原始返回信号形成点云(数据点集群)。基于传感器沿着车辆的放置、传感器FOV以及对于铰接式车辆的不同车辆部分的相对位姿,可以预期返回信号的子集是来自车辆的自返回。自反射过滤进程涉及使用位姿信息对于激光雷达旋转中的任何原始激光雷达点,检查激光雷达设备和激光雷达点之间的线段是否与车辆的3D模型的任何表面相交。如果是,则确定这是由车辆表面导致的反射点。在一个示例中,系统可以标识车辆的某些部分、表面或区域是否是倾向于(或很可能)导致自反射的“热点”。例如,如果像侧视镜这样的特定区域是在旅程期间或不同驾驶情景中多次自反射的原因,则该信息可被用在自反射过滤进程中。此外,对于这样的热点,系统可以采用比车辆的其他表面或区域更大的公差(tolerance)。例如,即使线段没有与一些高反射部分相交,只要其仍然在这部分的缓冲距离内,系统就可以认为该激光雷达点是自反射。并且除了车辆表面的形状信息之外,车辆模型还可以包含材料信息以针对可能的热点调整过滤阈值。
根据该技术的一个方面,尽可能在系统中“预先”(up front)执行这种评估可能是有益的。例如,激光雷达传感器单元本身或传感器总成可以包括控制器、处理芯片(例如,具有CPU或ASIC的芯片)或执行这种评估的其他处理元件。这里,处理可以包括将车辆3D模型转换为可由传感器单元或传感器总成解释的格式(例如,转换为透视图),并将转换后的模型本地存储在存储器(例如,SRAM)。这种本地化处理可以在将处理后的结果提交给主系统(例如,计算设备202或302)之前检查每个激光雷达或其他数据点。在这种情景下,完整的激光雷达位姿(例如,6个自由度的位姿)不是必需的,因为只需要车身和传感器单元之间的相对偏转,并且该信息从例如旋转编码器或其他与激光雷达传感器相关联的惯性或定位设备中获知。在铰接式车辆的情况下,将需要拖车或其他铰接元件的完整位姿,以及元件的形状。
对于固定车体车辆的分析可以采用包括偏转和俯仰方向的查找表。在一个示例中,车辆的一个或多个部分的模型周围可以存在一些缓冲空间,例如由于推断铰接式车辆的不同部分的相对姿势。例如,缓冲空间可以取决于激光雷达或其他传感器的范围精度。这里,可以使用特定的阈值,例如0.05米-0.2米(或更多或更少)。或者,可替换地,系统由于更大的范围可以容许(tolerate)更大的缓冲区。因此,在这种情况下,缓冲区可以是动态的并且随着范围而缩放。根据一个示例,公差(缓冲区)可以是范围的线性函数(例如,delta*范围)。在其他示例中,公差可以非线性地缩放。
根据一方面,从每个激光雷达接收的点云信息为该传感器单独分析的。然而,系统可以使用来自不同传感器的信息来确定诸如铰接式车辆的位姿的信息。例如,可以使用两个安装在侧部的激光雷达(参见图5B中的车辆)而不是单一的安装在中心的激光雷达(参见图1C-图1F的车辆)来估计拖车朝向。
如图5A的示例所述,反射点可能触发错误的沟槽检测(trench detection)。并且如图5B-图5C的示例所述,反射对象可能会错误地出现在位于道路的相反部分。在一些实例中,可以使用详细的地图信息来标识和排除某些自反射问题,诸如图5C中出现在道路中间的树木。这对于像树木和岩石这种静态类型的对象可能是有益的。然而,在自主模式下的实时驾驶期间,可能难以识别对象的类型,因此标记这样的错误可能具有挑战性。此外,正在进行的施工导致了沟槽或其他道路问题(诸如在图5A的示例中)的出现,这使得对先前地图的依赖是有问题的。尽管地图中未发现的实际道路问题的检测可以被广播给其他车辆或被发送到后端系统用于适当地传播给其他道路使用者,但车载感知系统仍然需要为可能是意料之外的新问题做准备。当确定是否丢弃或忽略传感器数据时,系统还可以使用关于表观对象类型(例如,树或其他静态对象)的信息作为自反射分析的一部分。例如,如果确定对象类型是树木,并且该树木出现在地图上,那么分析可以纳入这种细节作为因素以确定是否发生了自反射,以及在做出驾驶操作决定时是否应该使用该传感器信息。
一旦该进程将特定点标识为自反射,则可以丢弃这些点。可替代地,这种点可以被保留在数据集合中,但是被标记为自反射。这里,例如,车辆的车载计算系统或远程后端系统可以进一步分析自返回。仅作为示例,这可以用于训练对象识别(recognition)模型或者用于虚拟驾驶情景来评估规划器模块可以对这种伪影做出如何反应。无论自反射是被从数据集合中丢弃还是被标记为错误,所得到的点云中的数据点的集合然后可被车载处理系统用于常规对象检测和识别。因此,自反射信息将不会被用于对象检测和识别,从而降低了错误的对象检测或错误的对象位置的可能性。
根据另一个示例,无论是作为实时分析还是离线的后处理分析(post-processinganalysis)的一部分,自返回信息的分析都可以被用来改进(refine)3D车辆模型。例如,在自主驾驶的大部分时间中自驾驶车辆不会靠近其他对象,因此很容易获得“干净”(clean)的自返回点云。然后系统可以使用这些点来缓慢地在线更新车辆模型。此外,对于刚体车辆,这种信息还可以通过比较存储的自返回模型和在线模型,被用于进行在线激光雷达校准和验证。
如上所述,该技术适用于各种类型的车辆,包括客运汽车、公共汽车、摩托车、应急车辆、RV、工程车辆和大型卡车或其他载货车辆。除了将自返回信息用于单独自驾驶车辆的操作之外,该信息还可以与诸如作为车队的一部分的车辆的其他自驾驶车辆共享,以及与后端系统共享以用于进一步评估。
图6A和图6B示出了这种安置方式的一个示例。特别地,图6A和图6B分别是示例系统600的示意图和功能图,示例系统600包括经由网络616连接的多个计算设备602、604、606、608和存储系统610。系统600还可以包括被配置为以自主驾驶模式操作的车辆612和/或车辆614,其可以被分别与图1A-图1B和图1C-图1D中的车辆100、150和/或170相同或相似地配置。车辆612和/或车辆614可以是车队的一部分。尽管为简单起见,仅描绘了少量车辆和计算设备,但典型系统可以包括显著更多的车辆和计算设备。
如图6B所示,计算设备602、604、606和608中的每一个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以与上述关于图2或图3A中的那些类似地配置。
各种计算设备和车辆可以经由一个或多个网络(诸如网络616)直接或间接地通信。网络616和中间节点可以包括各种配置和协议,包括短程通信协议,诸如蓝牙TM、蓝牙LETM、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一家或多家公司的通信协议的专用网络、以太网、WiFi和HTTP,以及上述的各种组合。这样的通信可以由能够向其他计算设备发送数据和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)来促进。
在一个示例中,计算设备602可以包括具有多个计算设备的一个或多个服务器计算设备(例如,负载平衡服务器群),计算设备与网络的不同节点交换信息,目的是从其他计算设备接收数据、处理数据和向其他计算设备发送数据。例如,计算设备602可以包括能够经由网络616与车辆612和/或614的计算设备以及计算设备604、606和608通信的一个或多个服务器计算设备。例如,车辆612和/或614可以是可由服务器计算设备调度到各种位置的自驾驶车辆车队的一部分。在这方面,计算设备602可以用作调度服务器计算系统,其可以用于将车辆调度到不同位置以便接起和放下乘客或接载和递送货物。此外,服务器计算设备602可以使用网络616来向其他计算设备之一的用户或车辆乘客发送和呈现信息。在这方面,计算设备604、606和608可以被认为是客户端计算设备。
如图6A所示,每个客户端计算设备604、606和608可以是旨在供各个用户618使用的个人计算设备,并且具有通常与个人计算设备结合使用的所有组件,包括一个或多个处理器(例如,中央处理单元(CPU))、存储数据和指令的存储器(例如,RAM和内部硬盘驱动器)、显示器(例如,具有屏幕的监视器、触摸屏、投影仪、电视机或可操作以显示信息的诸如智能手表显示器的其他设备),以及用户输入设备(例如鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。
虽然每个客户端计算设备都可以包括全尺寸的个人计算设备,但是它们可以可替代地包括能够通过诸如互联网的网络与服务器无线交换数据的移动计算设备。仅作为示例,客户端计算设备606和608可以是移动电话或设备,诸如支持无线的PDA、平板PC、可穿戴计算设备(例如,智能手表)或能够经由互联网或其他网络获取信息的上网本。
在一些示例中,客户端计算设备604可以是管理员或操作员用来与被调度车辆的驾驶员进行通信的远程协助工作站。尽管在图6A-图6B中仅示出了单一的远程协助工作站604,但在给定系统中可以包括任何数量的这样的工作站。此外,虽然操作工作站被描述为台式计算机,但操作工作站可以包括各种类型的个人计算设备,诸如膝上型电脑、上网本、平板计算机等。作为示例,远程协助工作站可以由技术人员或其他用户用来执行自返回数据的后处理分析,例如,标识沿着车辆的可能产生自返回(或自反射)的特定区域。
存储系统610可以是能够存储可由服务器计算设备602访问的信息的任何类型的计算机化存储,诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、闪存驱动器和/或磁带驱动器。此外,存储系统610可以包括分布式存储系统,其中数据存储在物理上可以位于相同或不同地理位置的多个不同的存储设备。存储系统610可以如图6A-图6B所示地经由网络616连接到计算设备,和/或可以直接连接到或结合到任何计算设备中。
存储系统610可以存储各种类型的信息。例如,存储系统610还可以存储自主车辆控制软件,控制软件将由诸如车辆612或614的车辆使用以在自主驾驶模式下操作这些车辆。存储系统610还可以存储车辆模型。在需要时,可以更新模型信息并与特定车辆或整个车队共享。当获得另外的自反射信息或其他数据时,模型信息可以被实时、周期性或离线地更新。存储系统610还能够包括地图信息、路线信息、天气信息等。这种信息可以与车辆612和614共享,例如来帮助车载计算机系统的自返回分析,诸如在特定车辆的实时驾驶期间,当在车辆外部环境中检测到对象时。
图7示出了根据以上讨论的用于以自主驾驶模式操作车辆的示例操作方法700。如框702所示,该方法包括由车辆的一个或多个处理器确定在车辆以自主驾驶模式操作时的给定时间点的车辆位姿信息。在框704,处理器确定车辆的感知系统的一个或多个传感器在给定时间点的传感器位姿信息。在框706,一个或多个传感器接收来自对车辆周围的外部环境进行的一次或多次扫描的返回信号。在框708,处理器基于车辆位姿信息和传感器位姿信息评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交。在框710,该进程包括当确定所述线段与车辆的3D模型的任何表面相交时,将接收点标识为自返回点。并且在框712,响应于将接收点标识为自返回点,车辆在处于自主驾驶模式时执行选定的操作。这可以包括丢弃或标记自返回点,以便该信息不被用于对象检测和/或识别,从而车辆可以做出相应的驾驶决定。
尽管本文中的技术是根据特定实施例描述的,但是应当理解,这些实施例仅是对本技术的原理和应用的说明。因此应当理解,在不脱离由所附权利要求限定的本技术的精神和范围的情况下,可以对说明性实施例进行多种修改并且可以设计其他安置方式。

Claims (20)

1.一种用于处理以自主驾驶模式操作的车辆的自返回的方法,该方法包括:
由车辆的一个或多个处理器确定在车辆以自主驾驶模式操作时的给定时间点的车辆位姿信息;
由车辆的一个或多个处理器确定车辆的感知系统的一个或多个传感器在给定时间点的传感器位姿信息;
由一个或多个传感器接收来自对车辆周围的外部环境进行的一次或多次扫描的返回信号;
由车辆的一个或多个处理器基于车辆位姿信息和传感器位姿信息评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交;
当确定所述线段与车辆的3D模型的任何表面相交时,将接收点标识为自返回点;以及
响应于将接收点标识为自返回点,所述车辆在处于自主驾驶模式时执行选定的操作。
2.根据权利要求1所述的方法,其中,所选定的操作包括从接收的返回信号的数据集合中丢弃自返回点。
3.根据权利要求1所述的方法,其中,所选定的操作包括将自返回点标记为自返回,并且将标记的点存储在存储器中。
4.根据权利要求1所述的方法,其中,当所述车辆不是铰接式车辆时,所述车辆的3D模型是静态模型。
5.根据权利要求4所述的方法,其中,评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交包括使用查找表评估所述静态模型,该查找表包括偏转和俯仰方向。
6.根据权利要求1所述的方法,其中,当所述车辆是铰接式车辆时,所述车辆的3D模型是动态模型或运动学模型。
7.根据权利要求6所述的方法,还包括使用返回信号的集合来估计所述铰接式车辆的拖车朝向。
8.根据权利要求1所述的方法,其中,所述一个或多个传感器是执行对车辆周围的外部环境进行的一次或多次扫描的激光雷达传感器。
9.根据权利要求1所述的方法,其中,所述一个或多个传感器旋转以提供围绕车辆的高达360°的视场。
10.根据权利要求1所述的方法,其中,执行所选定的操作包括将所述车辆的表面或区域标识为可能引起自反射的热点。
11.根据权利要求1所述的方法,其中,所述车辆的3D模型包括所述车辆的一个或多个部分周围的缓冲区。
12.根据权利要求11所述的方法,其中,所述缓冲区取决于所述车辆的感知系统的一个或多个传感器的范围精度。
13.一种被配置为以自主驾驶模式操作的车辆,该车辆包括:
驾驶系统,包括转向子系统、加速子系统和减速子系统,用来控制所述车辆在自主驾驶模式下的驾驶;
感知系统,被配置为检测所述车辆外部环境中的对象,该感知系统包括一个或多个传感器;以及
控制系统,包括一个或多个处理器,该控制系统被可操作地耦合到所述驾驶系统和所述感知系统,当所述车辆以自主驾驶模式操作时,该控制系统被配置为:
确定在车辆以自主驾驶模式操作时的给定时间点的车辆位姿信息;
确定车辆的感知系统的一个或多个传感器在给定时间点的传感器位姿信息;
由一个或多个传感器接收来自对车辆周围的外部环境进行的一次或多次扫描的返回信号;
基于车辆位姿信息和传感器位姿信息评估在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交;
当确定所述线段与车辆的3D模型的任何表面相交时,将接收点标识为自返回点;以及
响应于将接收点标识为自返回点,使车辆的驾驶系统在处于自主驾驶模式时执行选定的操作。
14.根据权利要求13所述的车辆,其中,所选定的操作包括从返回信号的数据集合中丢弃自返回点。
15.根据权利要求13所述的车辆,其中,所述感知系统的一个或多个传感器是被配置为对车辆周围的外部环境进行一次或多次扫描的激光雷达传感器。
16.根据权利要求13所述的车辆,其中,所述一个或多个传感器沿着车辆的车顶部分放置,并且被配置为旋转以提供围绕车辆的高达360°的视场。
17.根据权利要求13所述的车辆,其中,所述一个或多个处理器包括所述一个或多个传感器的处理元件,该处理元件被配置为执行对在一个或多个传感器中给定的一个传感器与来自返回信号中选定的一个返回信号的接收点之间的线段是否与车辆的3D模型的任何表面相交的评估。
18.根据权利要求13所述的车辆,其中,所述车辆不是铰接式车辆,并且所述车辆的3D模型是静态模型。
19.根据权利要求13所述的车辆,其中,所述车辆是铰接式车辆,并且所述车辆的3D模型是动态模型或运动学模型。
20.根据权利要求13所述的车辆,其中,所述车辆的3D模型包括所述车辆的一个或多个部分周围的缓冲区。
CN202110895448.4A 2020-08-10 2021-08-05 处理自返回的方法和车辆 Pending CN114074682A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/989,434 US11977165B2 (en) 2020-08-10 2020-08-10 Self-reflection filtering
US16/989,434 2020-08-10

Publications (1)

Publication Number Publication Date
CN114074682A true CN114074682A (zh) 2022-02-22

Family

ID=80114919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110895448.4A Pending CN114074682A (zh) 2020-08-10 2021-08-05 处理自返回的方法和车辆

Country Status (2)

Country Link
US (1) US11977165B2 (zh)
CN (1) CN114074682A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114701519A (zh) * 2022-04-12 2022-07-05 东莞理工学院 基于人工智能的虚拟司机技术
CN116400382A (zh) * 2023-06-09 2023-07-07 旷智中科(北京)技术有限公司 一种多线可调式激光雷达组合导航方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220150392A1 (en) * 2020-11-10 2022-05-12 Deere & Company Work vehicle perception systems and front modules
US20220221574A1 (en) * 2021-01-11 2022-07-14 Movon Corporation Camera and radar sensor system and error compensation method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130162462A1 (en) * 2011-12-22 2013-06-27 Jenoptik Robot Gmbh Method and Arrangement for the Acquisition of Measurement Data of a Vehicle in a Radar Field
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
CN108318895A (zh) * 2017-12-19 2018-07-24 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备
US20200183008A1 (en) * 2018-12-10 2020-06-11 Waymo Llc Lidar-based Trailer Tracking
US20200201351A1 (en) * 2018-12-19 2020-06-25 Waymo Llc Model for Excluding Vehicle from Sensor Field Of View

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3721911B2 (ja) 2000-01-07 2005-11-30 いすゞ自動車株式会社 トレーラ連結角検出装置
US7904222B2 (en) 2007-06-27 2011-03-08 GM Global Technology Operations LLC Trailer articulation angle estimation
US9711050B2 (en) 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US20160368336A1 (en) * 2015-06-19 2016-12-22 Paccar Inc Use of laser scanner for autonomous truck operation
US9805274B2 (en) 2016-02-03 2017-10-31 Honda Motor Co., Ltd. Partially occluded object detection using context and depth ordering
US20180057052A1 (en) 2016-08-25 2018-03-01 Eaton Corporation Trailer angle measurement for automated maneuvering
US10031231B2 (en) 2016-09-12 2018-07-24 Delphi Technologies, Inc. Lidar object detection system for automated vehicles
US10185028B2 (en) * 2017-02-17 2019-01-22 Aeye, Inc. Method and system for ladar pulse deconfliction using delay code selection
US10551838B2 (en) 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
DE102017221691A1 (de) 2017-12-01 2019-06-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Eigenlokalisierung eines Fahrzeugs
US10298910B1 (en) 2018-06-29 2019-05-21 Zoox, Inc. Infrastructure free intrinsic calibration
US20220136823A1 (en) * 2018-07-12 2022-05-05 Wabco Gmbh Estimation of the trailer position relative to truck position and articulation angle between truck and trailer using an electromagnetic or optical sensor
US11796653B2 (en) * 2018-08-02 2023-10-24 Uatc, Llc Detecting and tracking Lidar cross-talk
US11200430B2 (en) * 2018-11-05 2021-12-14 Tusimple, Inc. Systems and methods for detecting trailer angle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130162462A1 (en) * 2011-12-22 2013-06-27 Jenoptik Robot Gmbh Method and Arrangement for the Acquisition of Measurement Data of a Vehicle in a Radar Field
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
CN108318895A (zh) * 2017-12-19 2018-07-24 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备
US20200183008A1 (en) * 2018-12-10 2020-06-11 Waymo Llc Lidar-based Trailer Tracking
US20200201351A1 (en) * 2018-12-19 2020-06-25 Waymo Llc Model for Excluding Vehicle from Sensor Field Of View

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114701519A (zh) * 2022-04-12 2022-07-05 东莞理工学院 基于人工智能的虚拟司机技术
CN114701519B (zh) * 2022-04-12 2024-05-17 东莞理工学院 一种自动驾驶控制系统
CN116400382A (zh) * 2023-06-09 2023-07-07 旷智中科(北京)技术有限公司 一种多线可调式激光雷达组合导航方法
CN116400382B (zh) * 2023-06-09 2023-08-22 旷智中科(北京)技术有限公司 一种多线可调式激光雷达组合导航方法

Also Published As

Publication number Publication date
US11977165B2 (en) 2024-05-07
US20220043157A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US11125881B2 (en) Lidar-based trailer tracking
US11977165B2 (en) Self-reflection filtering
CN113195327B (zh) 确定自驾驶车辆上的车轮滑移
US11693423B2 (en) Model for excluding vehicle from sensor field of view
US11521130B2 (en) Road condition deep learning model
JP7443497B2 (ja) 自己運転車両のセンサ視野
US11675357B2 (en) Independently actuated wheel sets for large autonomous self-driving vehicles
KR20140039243A (ko) 센서 필드 선택
US11822011B2 (en) Mirrors to extend sensor field of view in self-driving vehicles
US20220291690A1 (en) Continuing Lane Driving Prediction
US20240135727A1 (en) Stop Location Change Detection
US11851092B1 (en) Positional gaps for driver controllability
US11965991B1 (en) Surface fouling detection
US11903102B1 (en) Defogging system using a transparent condensation sensor and heater
KR20220054429A (ko) 운전자 지원을 사용하여 비정상적인 운전자 거동을 검출하고 해결하기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination