CN118010039A - 用于基于静态检测的非模态化布局的系统和方法 - Google Patents

用于基于静态检测的非模态化布局的系统和方法 Download PDF

Info

Publication number
CN118010039A
CN118010039A CN202311472403.1A CN202311472403A CN118010039A CN 118010039 A CN118010039 A CN 118010039A CN 202311472403 A CN202311472403 A CN 202311472403A CN 118010039 A CN118010039 A CN 118010039A
Authority
CN
China
Prior art keywords
cuboid
modeless
vehicle
computing device
loosely fitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311472403.1A
Other languages
English (en)
Inventor
A·霍沃思
宋秀峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN118010039A publication Critical patent/CN118010039A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“用于基于静态检测的非模态化布局的系统和方法”。本文公开了用于控制移动平台的系统、方法和计算机程序产品。所述方法包括：获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；基于所述宽松拟合长方体来定义非模态长方体；检查所述对象在一时间段内是否为静态的；基于所述检查来识别所述非模态长方体的中心；以及基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。

Description

用于基于静态检测的非模态化布局的系统和方法
技术领域
本公开涉及用于基于静态检测的非模态化布局的系统和方法。
背景技术
现代车辆具有至少一个车载计算机并且具有互联网/卫星连接。在这些车载计算机上运行的软件监测和/或控制车辆的操作。所述车辆还包括用于检测其附近的对象的激光雷达检测器。激光雷达检测器生成激光雷达数据集，所述激光雷达数据集在多个不同时间测量从车辆到对象的距离。这些距离测量值可以用于跟踪对象的移动，做出关于对象的轨迹的预测，以及基于预测的对象轨迹来规划车辆的行驶路径。
发明内容
本公开涉及实施用于控制移动平台(例如，自主车辆)的系统和方法。所述方法包括由计算装置执行以下操作：获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；基于所述宽松拟合长方体来定义非模态长方体；检查所述对象在一时间段内是否为静态的；基于所述检查来识别所述非模态长方体的中心；以及基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。
所述实施系统可以包括：处理器；以及非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括编程指令，所述编程指令被配置为使所述处理器实施用于控制移动平台(例如，自主车辆)的方法。上述方法还可以通过计算机程序产品来实施，所述计算机程序产品包括存储器和编程指令，所述编程指令被配置为使处理器执行操作。
附图说明
附图并入本文并形成说明书的一部分。
图1提供了系统的图示。
图2提供了自主车辆的更详细图示。
图3是激光雷达系统的图示。
图4提供了说明性车辆轨迹规划过程的框图。
图5A至图5C(统称为“图5”)提供了根据本解决方案的用于操作系统的说明性方法的流程图。
图6示出了绘制由宽松拟合长方体包围的激光雷达数据点的图形。
图7示出了绘制由紧密拟合长方体包围的激光雷达数据点的图形。
图8提供了有利于理解轨迹的图示。
图9提供了计算机系统的图示。
在附图中，相同的附图标记通常指示相同或类似的元件。另外，附图标记最左边的数字通常标识附图标记首次出现的附图。
具体实施方式
对其他车辆的驾驶员和行人的动作的实时预测是道路半自主或自主车辆应用的挑战。当驾驶员和/或行人违反交通规则时，这种实时预测特别具有挑战性。系统地假设来自驾驶员和/或行人的最坏情况动作将使自动驾驶车辆陷入困境，但是错误的乐观预测可能导致自主车辆行为不安全。
这些问题的解决方案涉及使用基于长方体的算法进行对象检测。存在两种类型的长方体，即，用户标记的长方体和真实范围长方体(或非模态长方体)。非模态化用于对地面实况(GT)轨迹的空间范围进行建模。当前的非模态化算法涉及：预处理点云以移除地面点和离AV太远的点并忽略具有未定义范围的标签(例如，蒸汽和激光雷达高光溢出)；提取与对象相关联的落在对应的用户标记的长方体中的所有点；在对象跟踪有效期的持续时间内重复这些操作；累积参考系中的所有点；创建紧密地包含累积点的非模态长方体；以及在每个时间步处将所述非模态长方体放回到地图范围中，以表示所述对象在整个跟踪中的比所述用户标记的长方体提供的界限更紧密的界限。最后的操作需要在每个时间步处找到使非模态长方体居中的最佳位置。到目前为止，各方法已经使用与AV相关的点云的特性来做到这一点。然而，该过程尤其是在静止对象被部分遮挡的情况下可能导致静止对象出现问题。更具体地，用于将长方体放置回地图上的方法导致长方体的位置从一个时间步到下一个时间步的大量跳跃，从而给非模态长方体的下游消费者带来问题。本文档集中于针对静态对象补救这种长方体跳跃的过程。
本解决方案总体上涉及用于使用针对静态对象的新颖的基于非模态长方体的算法来控制移动平台(诸如车辆)的系统和方法。所述方法涉及：获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；基于所述宽松拟合长方体来定义非模态长方体；检查所述对象在一时间段内是否为静态的；基于所述检查来识别所述非模态长方体的中心；以及基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。当对象是静态的时，非模态长方体的中心可以被视为宽松拟合长方体中的一者的中心。
关于对象是否呈静态的检查可以涉及执行长方体尺寸检查、长方体质心检查和/或长方体旋转检查。当长方体尺寸检查、长方体质心检查和长方体旋转检查指示对象在所述时间段中的两个连续时间处与相同的长方体大小、取向和质心相关联时，对象可以在一时间范围(time frame)内被分类为静态的。
所述长方体尺寸检查可以包括：获得所述3D图形中的绘制第一时间范围的激光雷达数据点的第一3D图形中的第一宽松拟合长方体的尺寸；获得所述3D图形中的绘制第二时间范围的激光雷达数据点的第二3D图形中的第二宽松拟合长方体的尺寸；计算所述第一宽松拟合长方体的尺寸与所述第二宽松拟合长方体的尺寸之间的差值；以及分别将所述差值与阈值尺寸值进行比较。当所述差值中的一者或多者大于所述阈值尺寸值时，可以在所述第二时间范围内将所述对象分类为非静态的。
当所述差值都小于所述阈值尺寸值时，可以执行所述长方体质心检查。所述长方体质心检查可以包括：获得所述第一宽松拟合长方体的质心与所述第二宽松拟合长方体的质心之间的距离；以及将所述距离与阈值距离值进行比较。当所述距离大于所述阈值距离值时，可以在所述第二时间范围内将所述对象分类为非静态的。
当所述距离小于所述阈值距离值时，可以执行所述长方体旋转检查。所述长方体旋转检查可以包括：获得与所述宽松拟合长方体中的第一宽松拟合长方体和第二宽松拟合长方体相关联的横摆值之间的差值；以及将所述差值与阈值横摆差值进行比较。当所述差值大于所述阈值横摆距离值时，可以在所述相关联的第二时间范围内将所述对象分类为非静态的。
除非上下文另外明确指明，否则如在本文档中所使用的单数形式“一个/一种”和“所述”包括多个指示物。除非另有定义，否则本文档中使用的所有技术和科学术语具有与本领域普通技术人员通常理解的相同含义。如本文档中所使用的术语“包括”意指“包括但不限于”。
在本文档中，术语“车辆”是指能够运载一个或多个人类乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的交通工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自主车辆、飞行器、空中无人机等。“自主车辆”(或“AV”)是具有处理器、编程指令和传动系部件的车辆，所述传动系部件可由所述处理器控制而无需人类操作员。自主车辆可以是完全自主的，因为它对于大多数或所有驾驶条件和功能不需要人类操作员，或者它可以是半自主的，因为在某些条件下或对于某些操作可能需要人类操作员，或者人类操作员可以超驰车辆的自主系统并且可以控制车辆。
与本文档相关的附加术语的定义包括在本具体实施方式的末尾。
图1示出了根据本公开的各方面的示例性系统100。系统100包括以半自主或自主方式沿着道路行驶的车辆102。车辆102在本文档中也被称为AV 102。AV 102可以包括但不限于陆地车辆(如图1所示)、飞行器或船只。如上所述，除非特别指出，否则本公开不一定限于AV实施例，并且在一些实施例中可以包括非自主车辆。
AV 102通常被配置为检测其附近的对象。所述对象可以包括但不限于车辆103、骑行者114(诸如自行车、电动踏板车、摩托车等的骑手)和/或行人116。
如图1所示，AV 102可以包括传感器系统118、车载计算装置122、通信接口120和用户界面124。自主车辆系统还可以包括车辆中所包括的某些部件(例如，如图1所示)，所述某些部件可以由车载计算装置122使用各种通信信号和/或命令(诸如，例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)来控制。
传感器系统118可以包括耦合到AV 102和/或包括在所述AV中的一个或多个传感器。例如，此类传感器可以包括但不限于激光雷达系统、无线电探测和测距(雷达)系统、激光探测和测距(LADAR)系统、声音导航和测距(声呐)系统、一个或多个相机(例如，可见光谱相机、红外相机等)、温度传感器、位置传感器(例如，全球定位系统(GPS)等)、位置传感器、燃料传感器、运动传感器(例如，惯性测量单元(IMU)等)、湿度传感器、占用传感器等。传感器数据可以包括描述AV 102的周围环境内的对象的位置的信息、关于环境本身的信息、关于AV 102的运动的信息、关于车辆的路线的信息等。当AV 102在路面上行驶时，传感器中的至少一些传感器可以收集与路面有关的数据。
AV 102还可以通过通信网络108将由传感器系统收集的传感器数据传送到远程计算装置110(例如，云处理系统)。远程计算装置110可以被配置有一个或多个服务器以执行本文档中描述的技术的一个或多个过程。远程计算装置110还可以被配置为通过网络108向/从AV102、向/从服务器和/或数据存储区112传送数据/指令。数据存储区112可以包括但不限于数据库。
网络108可以包括一个或多个有线或无线网络。例如，网络108可以包括蜂窝网络(例如，长期演进(LTE)网络、码分多址(CDMA)网络、3G网络、4G网络、5G网络、另一类型的下一代网络等)。网络还可以包括公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、互联网、基于光纤的网络、云计算网络等，和/或这些或其他类型的网络的组合。
AV 102可以检索、接收、显示和编辑从本地应用程序生成或经由网络108从数据存储区112递送的信息。数据存储区112可以被配置为存储和供应原始数据、索引数据、结构化数据、道路地图数据160、程序指令或已知的其他配置。
通信接口120可以被配置为允许AV 102与外部系统(诸如例如外部装置、传感器、其他车辆、服务器、数据存储区、数据库等)之间的通信。通信接口120可以利用任何现在或后续已知协议、保护方案、编码、格式、封装等，诸如但不限于Wi-Fi、红外链路、蓝牙等。用户界面系统124可以是在AV 102内实施的外围装置的一部分，所述外围装置包括例如键盘、触摸屏显示装置、传声器和扬声器等。所述车辆还可以经由通信接口120通过通信链路(诸如被称为车辆对车辆、车辆对对象或其他V2X通信链路的那些链路)接收状态信息、描述性信息或关于其环境中的装置或对象的其他信息。术语“V2X”是指车辆与车辆在其环境中可能遇到或影响的任何对象之间的通信。
图2示出了根据本公开的各方面的用于车辆的示例性系统架构200。图1的车辆102和/或103可以具有与图2所示的系统架构相同或类似的系统架构。因此，以下对系统架构200的讨论足以理解图1的车辆102、103。然而，其他类型的车辆被认为在本文档中描述的技术范围内，并且可以包含如结合图2描述的更多或更少的元件。作为非限制性示例，空中交通工具可以不包括制动器或挡位控制器，但是可以包括海拔高度传感器。在另一个非限制性示例中，水基交通工具可以包括深度传感器。本领域技术人员将理解，如已知的，可以基于车辆类型包括其他推进系统、传感器和控制器。
如图2所示，用于车辆的系统架构200包括发动机或马达202以及用于测量车辆的各种参数的各种传感器204至218。在具有燃料动力发动机的汽油动力或混合动力车辆中，传感器可以包括例如发动机温度传感器204、电池电压传感器206、发动机每分钟转数(RPM)传感器208和节气门位置传感器210。如果车辆是电动或混合动力车辆，则车辆可以具有电动马达，并且相应地包括传感器，诸如电池监测系统212(用于测量电池的电流、电压和/或温度)、马达电流传感器214和马达电压传感器216以及马达位置传感器218(诸如旋转变压器和编码器)。
两种类型的车辆共有的操作参数传感器包括例如：位置传感器236，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器238；以及里程表传感器240。车辆还可以具有时钟242，所述系统使用所述时钟来确定操作期间的车辆时间。时钟242可以被编码到车辆车载计算装置中，它可以是单独的装置，或者多个时钟可以是可用的。
所述车辆还可以包括操作以收集关于车辆正在行驶的环境的信息的各种传感器。这些传感器可以包括例如：位置传感器260(诸如全球定位系统(GPS)装置)；对象检测传感器，诸如一个或多个相机262；激光雷达系统264；和/或雷达和/或声呐系统266。传感器还可以包括环境传感器268，诸如降水传感器和/或环境温度传感器。对象检测传感器可以使得车辆能够检测在任何方向上的在车辆的给定距离范围内的对象，而环境传感器收集关于车辆的行驶区域内的环境状况的数据。
在操作期间，信息从传感器传送到车辆车载计算装置220。车辆车载计算装置220可以使用图9的计算机系统来实施。车辆车载计算装置220分析由传感器捕获的数据，并且任选地基于分析结果来控制车辆的操作。例如，车辆车载计算装置220可以：经由制动器控制器222来控制制动；经由转向控制器224来控制方向；经由节气门控制器226(在汽油动力车辆中)或马达转速控制器228(诸如电动车辆中的电流电平控制器)来控制速度和加速度；控制差速器齿轮控制器230(在具有变速器的车辆中)；和/或控制其他控制器。辅助装置控制器234可以被配置为控制一个或多个辅助装置，诸如测试系统、辅助传感器、由车辆运输的移动装置等。
地理位置信息可以从位置传感器260传送到车辆车载计算装置220，所述车辆车载计算装置然后可以访问与位置信息相对应的环境地图以确定环境的已知固定特征，诸如街道、建筑物、停车标志和/或停止/通行信号。从相机262捕获的图像和/或从诸如激光雷达系统264的传感器捕获的对象检测信息从那些装置传送到车辆车载计算装置920。对象检测信息和/或捕获的图像由车辆车载计算装置220处理以检测车辆附近的对象。用于基于传感器数据和/或捕获的图像进行对象检测的任何已知或即将已知的技术都可以用于本文档中公开的实施例中。
激光雷达信息从激光雷达系统264传送到车辆车载计算装置220。另外，捕获的图像从相机262传送到车辆车载计算装置220。激光雷达信息和/或捕获的图像由车辆车载计算装置220处理以检测车辆附近的对象。车辆车载计算装置220进行对象检测的方式包括本公开中详述的此类能力。
另外，系统架构200可以包括车载显示装置254，所述车载显示装置可以生成并输出界面，在所述界面上向车辆的乘员显示传感器数据、车辆状态信息或由本文档中描述的过程生成的输出。所述显示装置可以包括以音频格式呈现此类信息的音频扬声器，或者单独的装置可以是所述音频扬声器。
车辆车载计算装置220可以包括路线选择控制器232和/或可以与所述路线选择控制器通信，所述路线选择控制器为自主车辆生成从起始位置到目的地位置的导航路线。路线选择控制器232可以访问地图数据存储区以识别车辆可以在其上行驶以从起始位置到达目的地位置的可能路线和路段。路线选择控制器232可以对可能路线进行评分并识别到达目的地的优选路线。例如，路线选择控制器232可以生成使欧几里德行驶距离或在路线期间的其他成本函数最小化的导航路线，并且可以进一步访问交通信息和/或估计，所述交通信息和/或估计可能影响在特定路线上行驶将需要的时间量。取决于实施方式，路线选择控制器232可以使用各种路线选择方法(诸如Dijkstra算法、Bellman-Ford算法或其他算法)来生成一条或多条路线。路线选择控制器232还可以使用交通信息来生成反映路线的预期状况(例如，当前周中此日或当前当日时间等)的导航路线，使得针对高峰时段期间的行驶生成的路线可能与针对深夜行驶生成的路线不同。路线选择控制器232还可以生成到目的地的多于一条导航路线，并且将这些导航路线中的多于一条导航路线发送给用户以供用户从各种可能路线中进行选择。
在各种实施例中，车辆车载计算装置220可以确定AV的周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和所获得的位置信息，车辆车载计算装置220可以确定AV的周围环境的感知信息。感知信息可以表示普通驾驶员在车辆的周围环境中将感知到的内容。感知数据可以包括与AV的环境中的一个或多个对象有关的信息。例如，车辆车载计算装置220可以处理传感器数据(例如，激光雷达或雷达数据、相机图像等)，以便识别AV环境中的对象和/或特征。对象可以包括交通信号灯、道路边界、其他车辆、行人和/或障碍物等。车辆车载计算装置220可以使用任何现在或后续已知的对象识别算法、视频跟踪算法和计算机视觉算法(例如，在多个时间段内迭代地逐帧跟踪对象)来确定所述感知。
在一些实施例中，车辆车载计算装置220还可以针对环境中的一个或多个所识别的对象确定对象的当前状态。对于每个对象，状态信息可以包括但不限于：当前位置；当前速度和/或加速度、当前航向；当前姿态；当前形状、大小或覆盖区；类型(例如：车辆、行人、自行车、静态对象或障碍物)；和/或其他状态信息。
车辆车载计算装置220可以执行一个或多个预测和/或预报操作。例如，车辆车载计算装置220可以预测一个或多个对象的未来位置、轨迹和/或动作。例如，车辆车载计算装置220可以至少部分地基于感知信息(例如，包括如下文讨论的那样确定的估计形状和姿态的每个对象的状态数据)、位置信息、传感器数据和/或描述对象、AV、周围环境的过去和/或当前状态和/或它们的关系的任何其他数据来预测对象的未来位置、轨迹和/或动作。例如，如果对象是车辆并且当前驾驶环境包括交叉路口，则车辆车载计算装置220可以预测对象是否将可能笔直向前移动或转弯。如果感知数据指示交叉路口没有交通信号灯，则车辆车载计算装置220还可以预测车辆在进入交叉路口之前是否可能必须完全停止。
在各种实施例中，车辆车载计算装置220可以确定自主车辆的运动计划。例如，车辆车载计算装置920可以基于感知数据和/或预测数据来确定自主车辆的运动计划。具体地，在给定关于邻近对象的未来位置的预测和其他感知数据的情况下，车辆车载计算装置220可以确定AV的运动计划，所述运动计划将自主车辆相对于在其未来位置处的对象最佳地导航。
在一些实施例中，车辆车载计算装置220可以接收预测并做出关于如何处理AV的环境中的对象和/或行动者的决定。例如，对于特定行动者(例如，具有给定速度、方向、转弯角度等的车辆)，车辆车载计算装置220基于例如交通状况、地图数据、自主车辆的状态等来决定是否超越、避让、停车和/或通过。此外，车辆车载计算装置220还规划AV在给定路线上行驶的路径，以及驾驶参数(例如，距离、速度和/或转弯角度)。即，对于给定对象，车辆车载计算装置220决定如何处理对象并确定如何进行。例如，对于给定对象，车辆车载计算装置220可以决定超过对象并且可以确定是在对象的左侧还是右侧超过(包括运动参数，诸如速度)。车辆车载计算装置220还可以评估检测到的对象与AV之间的碰撞风险。如果风险超过可接受阈值，则可以确定在自主车辆遵循定义的车辆轨迹和/或实施在预定义的时间段(例如，N毫秒)中执行的一个或多个动态生成的紧急操纵的情况下是否可以避免碰撞。如果可以避免碰撞，则车辆车载计算装置220可以执行一个或多个控制指令以执行谨慎操纵(例如，轻度减速、加速、变道或突然转向)。相比之下，如果不能避免碰撞，则车辆车载计算装置220可以执行用于执行紧急操纵(例如，制动和/或改变行驶方向)的一个或多个控制指令。
如上文所讨论的，生成关于自主车辆的移动的规划和控制数据以供执行。例如，车辆车载计算装置220可以：经由制动器控制器来控制制动；经由转向控制器来控制方向；经由节气门控制器(在汽油动力车辆中)或马达转速控制器(诸如电动车辆中的电流电平控制器)来控制速度和加速度；控制差速器齿轮控制器(在具有变速器的车辆中)；和/或控制其他控制器。
图3示出了根据本公开的各方面的用于激光雷达系统300的架构。激光雷达系统300仅仅是示例性激光雷达系统，并且根据本公开的各方面还设想了其他激光雷达系统，如本领域普通技术人员应理解的。
如图3所示，激光雷达系统300包括壳体306，所述壳体可以围绕中心轴线(诸如马达316的轮毂或车桥324)旋转360°。壳体306可以包括由对光透明的材料制成的发射器/接收器孔312。尽管在图3中示出了单个孔，但是本解决方案在这方面不受限制。在其他场景中，可以提供用于发射和/或接收光的多个孔。无论如何，当壳体306围绕内部部件旋转时，激光雷达系统300可以通过孔312中的一者或多者发射光并且接收反射回孔312中的一者或多者的光。在替代场景中，壳体306的外壳可以是至少部分地由对光透明的材料制成的固定圆顶，其中在壳体306内部具有可旋转部件。
在旋转外壳或固定圆顶内部具有光发射器系统304，所述光发射器系统被配置为和定位成经由一个或多个激光发射器芯片或其他发光装置生成光脉冲并通过孔312或通过壳体306的透明圆顶发射光脉冲。光发射器系统304可以包括任何数量的单独发射器(例如，8个发射器、64个发射器或128个发射器)。发射器可以发射强度基本上相同或强度不同的光。激光雷达系统300还包括光检测器308，所述光检测器包含光电检测器326的阵列。光电检测器326被定位成并且被配置为接收反射回系统中的光。在接收到反射光时，光电检测器326产生指示从激光雷达系统外部的对象反射回来的光信号的测量强度的结果(或电脉冲)。在盖革(Geiger)模式应用中，当由此检测到处于或接近目标波长的单个光子时，光电检测器326触发。光电检测器触发的时间被记录为时间戳。光发射器系统304和光检测器308与旋转外壳一起旋转，或者它们在壳体306的固定圆顶内旋转。一个或多个光学元件结构310可以定位在发光系统304和/或光检测器308的前方，以用作聚焦和引导穿过光学元件结构310的光的一个或多个透镜或波片。
一个或多个光学元件结构310可以定位在镜子(未示出)的前方，以聚焦和引导穿过光学元件结构的光。如图3所示，单个光学元件结构310定位在镜子前方并且连接到系统的旋转元件，使得光学元件结构310与镜子一起旋转。替代地或另外，光学元件结构310可以包括多个这样的结构(例如，透镜和/或波片)。任选地，多个光学元件结构310可以以阵列布置在壳体306的外壳部分上或与外壳部分成一体。
激光雷达系统300包括电力单元318以向发光系统304、马达316和电子部件供电。激光雷达系统300还包括分析器314，所述分析器具有诸如处理器322和包含编程指令的非暂时性计算机可读存储器320的元件。编程指令被配置为使得系统能够接收由光检测器308收集的数据，分析接收到的数据以测量接收的光的特性，并且生成信息，连接的系统可以使用所述信息来做出关于在收集数据的环境中操作的决定。任选地，分析器314可以如图所示与激光雷达系统300成一体，或者其中的一些或全部可以在激光雷达系统的外部并且经由有线或无线通信网络或链路通信地连接到激光雷达系统。
图4提供了有助于理解根据本解决方案如何实现AV的运动或移动的框图。在框402至412中执行的所有操作可以由车辆(例如，图1的AV 102)的车载计算装置(例如，图1的车载计算装置122和/或图2的车载计算装置220)来执行。
在框402中，检测AV(例如，图1的AV 102)的位置。可以基于从AV的位置传感器(例如，图2的位置传感器260)输出的传感器数据来进行这种检测。该传感器数据可以包括但不限于GPS数据。然后将检测到的AV的位置传递到框406。
在框404中，在AV附近(例如，<100+米)内检测对象(例如，图1的车辆103)。该检测是基于从AV的相机(例如，图2的相机262)和/或AV的激光雷达系统(例如，图2的激光雷达系统264)输出的传感器数据来进行的。例如，执行图像处理以检测图像中的某个类别的对象(例如，车辆、骑行者或行人)的实例。图像处理/对象检测可以根据任何已知或即将已知的图像处理/对象检测算法来实现。
另外，在框404中确定对象的预测轨迹。在框404中基于对象的类别、长方体几何形状、长方体航向和/或地图418的内容(例如，人行道位置、车道位置、车道行驶方向、驾驶规则等)来预测对象的轨迹。随着讨论的进行，确定长方体几何形状和航向的方式将变得显而易见。此时，应注意，使用各种类型的传感器数据(例如，2D图像、3D激光雷达点云)和矢量地图418(例如，车道几何形状)来确定长方体几何形状和/或航向。用于基于长方体几何形状和航向来预测对象轨迹的技术可以包括例如预测对象在线性路径上沿与长方体的航向方向相同的方向移动。预测的对象轨迹可以包括但不限于以下轨迹：由对象的实际速度(例如，每小时1英里)和实际行驶方向(例如，西)定义的轨迹；由对象的实际速度(例如，每小时1英里)和对象的另一个可能行驶方向(例如，南、西南或与沿朝向AV的方向的对象实际行驶方向成X度(例如，40°))定义的轨迹；由对象的另一个可能速度(例如，每小时2至10英里)和对象的实际行驶方向(例如，西)定义的轨迹；和/或由对象的另一个可能速度(例如，每小时2至10英里)和对象的另一个可能行驶方向(例如，南、西南或与沿朝向AV的方向的对象实际行驶方向成X度(例如，40°))定义的轨迹。可以为与所述对象在同一类别和/或子类别中的对象预定义可能的行驶速度和/或可能的行驶方向。应再次注意，长方体定义对象的全范围和对象的航向。航向定义对象的正面所指向的方向，并且因此提供关于对象的实际和/或可能行驶方向的指示。
将指定对象的预测轨迹、长方体几何形状/航向的信息420提供给框406。在一些场景中，对象的分类也被传递到框406。在框406中，使用来自框402和404的信息生成车辆轨迹。用于使用长方体确定车辆轨迹的技术可以包括例如确定当对象在AV前方时将经过对象的AV的轨迹，所述长方体具有与AV正在移动的方向对准的航向，并且长方体具有大于阈值的长度。本解决方案不限于该场景的细节。可以基于来自框402的位置信息、来自框404的对象检测信息和/或地图信息414(其预先存储在车辆的数据存储区中)来确定车辆轨迹408。地图信息414可以包括但不限于图1的道路地图160的全部或一部分。车辆轨迹408可以表示平滑路径，所述平滑路径没有原本将给乘客带来不适的突然变化。例如，车辆轨迹由沿着道路的给定车道的行驶路径定义，其中预测对象在给定时间量内不会行驶。然后将车辆轨迹408提供给框406。
在框410中，基于车辆轨迹408生成转向角和速度命令。转向角和速度命令被提供给框410以进行车辆动力学控制，即，转向角和速度命令使AV遵循车辆轨迹408。
图5提供了用于使用基于非模态长方体的算法来控制AV(例如，图1的车辆1021)的说明性方法500的流程图。方法500可以完全或部分地由AV的计算装置(例如，图1的车辆车载计算装置122和/或图2的车辆车载计算装置220)和/或外部计算装置(例如，图1的服务器110)来执行。方法500的操作可以与图5所示的顺序相同或不同的顺序执行。例如，在一些场景中，框540至550的操作可以在框514至538的操作之前执行，而不是在如图5所示在其之后执行。
如图5A所示，方法500开始于502并且继续进行504，其中移动平台(例如，图1的AV102)执行操作以捕获至少一个图像和/或生成至少一个激光雷达数据集。在506中将图像和/或激光雷达数据集传送到一个或多个计算装置(例如，图1的计算装置110和/或图1的车载计算装置122和/或图2的车载计算装置220)。
在计算装置处，激光雷达数据集被绘制在3D图形上，如508所示。每个3D图形具有x轴、y轴和z轴，其中原点被定义在激光雷达传感器的中心处，x轴指向前方并且z轴指向上方。在图6中提供了绘制在图形600上的激光雷达数据集602的图示。为了便于说明，图形600仅示出了来自x轴和z轴的2D视角。这里可以使用用于在3D图形上绘制激光雷达数据集的任何已知或即将已知的技术。
在510中使用图像和/或3D图形来检测位于AV附近的对象。该检测可以由个人手动进行或由计算装置自动/自动化地进行。在手动场景中，个人分析显示在计算装置的屏幕上的3D图形以识别看起来定义对象的数据点。在自动/自动化场景中，计算装置可以采用任何已知或即将已知的算法来识别看起来定义对象的数据点。这里可以使用机器学习算法来促进对象检测和/或分类。
在512中在每个3D图形上定义宽松拟合长方体。宽松拟合长方体包括3D取向的有界框，其表示(i)对象(例如，图1的对象103、114或116)的航向，(ii)对象(例如，图1的对象103、114或116)的完整范围和/或对象的中心/质心。长方体包围3D图形中与检测到的对象相关联的激光雷达数据点。可以手动地或自动地/自动化地定义宽松拟合长方体。在手动场景中，个人可以执行用户-软件交互以围绕在510中识别的激光雷达数据点绘制长方体形状，其中航向方向由对象的取向定义。在自动/自动化场景中，计算装置可以获得预定义的长方体尺寸(长度、宽度、高度)并且将长方体的中心设置为等于在510中识别的激光雷达数据点的中心。宽松拟合长方体可以包括3D形状，其(i)包围对象的给定百分比(例如，>90％)的激光雷达数据点，并且(ii)不包围其他对象的激光雷达数据点或包围其他对象的最小数量的激光雷达数据点(但是允许包括地面的激光雷达数据点)。
在图6中提供了示出在图形600上定义的说明性宽松拟合长方体604的图示。如图6所示，激光雷达数据集602的数据点驻留在长方体604内。没有长方体的边缘606、608、610、612触及或以其他方式接触激光雷达数据集602的数据点。本解决方案不限于该图示的细节。长方体边缘中的一者或多者可以触及或以其他方式接触激光雷达数据集的数据点。宽松拟合长方体根据已知或即将已知的技术来构造。例如，通过以下方式构造长方体：融合激光雷达数据集、矢量地图和视觉航向；以及沿着视觉航向定义具有最高可能性的长方体。矢量地图包含车道方向，所述车道方向提供了对宽松拟合长方体的航向的有力指示。根据相机图像估计对象的视觉航向。本解决方案不限于该示例的细节。
在514中，发起或以其他方式启用操作以检查对象在时间段T1、......、Tn中是否是静止的。这些检查操作使用宽松拟合长方体。宽松拟合长方体具有质心、取向、宽度、长度和高度。在给定连续帧的情况下，系统检查对象的表示是否违反地图参考系中的阈值。该检查通常可以由数学方程(1)定义。
|xt-xt+1|≤τx (1)
其中x表示对某个量(例如，质心位置、长度、宽度或高度)的检查，而τx表示对应阈值。静态声明要求跨所有相邻帧的所有检查都在阈值内。
在一些场景中，系统执行以下三项检查：长方体尺寸检查、质心检查和长方体旋转检查。对包围在时间段T1、......、Tn期间获取的激光雷达数据的每对宽松拟合长方体执行这些检查。因此，当在时间段T1、......、Tn内考虑两个以上的宽松拟合长方体时，可以迭代地执行所述一组三项检查。例如，第一次迭代考虑第一宽松拟合长方体和第二宽松拟合长方体，而第二次迭代考虑第二宽松拟合长方体和第三宽松拟合长方体，以此类推。
长方体尺寸检查包括框516至524的操作。这些操作涉及：获得3D图形中的绘制第一时间范围(例如，时间范围Tk)的激光雷达数据点的第一宽松拟合长方体(例如，CuboidTk)的尺寸(例如，长度、宽度和高度)；获得3D图形中的绘制第二时间范围(例如，时间范围Tk+1)的激光雷达数据点的第二宽松拟合长方体(例如，CuboidTk+1)的尺寸；以及计算第一宽松拟合长方体的尺寸与第二宽松拟合长方体的尺寸之间的差值。这些计算可以由以下数学方程(2)至(4)来定义。
LDiff＝LCuboidTk-LCuboidTk+1 (2)
WDiff＝WCuboidTk-WCuboidTk+1 (3)
HDiff＝HCuboidTk-HCuboidTk+1 (4)
其中LDiff表示两个长方体之间的长度差，LCuboidTk表示第一宽松拟合长方体的长度，LCuboidTk+1表示第二宽松拟合长方体的长度，WDiff表示两个长方体之间的宽度差，WCuboidTk表示第一宽松拟合长方体的宽度，WCuboidTk+1表示第二宽松拟合长方体的宽度，HDiff表示两个长方体之间的高度差，HCuboidTk表示第一宽松拟合长方体的高度，并且HCuboidTk+1表示第二宽松拟合长方体的高度。接下来，分别将差值与阈值进行比较，如数学方程(5)至(7)所示。
LDiff＜LThreshold (5)
WDiff＜WThreshold (6)
HDiff＜HThreshold (7)
其中LThreshold表示阈值长度，WThreshold表示阈值宽度，并且HThreshold表示高度阈值。
如果差值中的一者或多者分别等于或大于阈值[524：否]，则方法500继续到530，这将在下文进行讨论。相比之下，如果差值都小于它们的相应阈值[524：是]，则方法500继续进行长方体质心检查。重要的是，不仅要将第一宽松拟合长方体和第二宽松拟合长方体的大小进行比较，而且还要将它们在地图参考系中的位置进行比较。由于AV可能正在移动，因此将来自时间Tk和Tk+1的宽松拟合长方体放回地图参考系(而不是车辆参考系)。然后，所述系统检查宽松拟合长方体的质心是否在彼此的距离阈值内。
因此，长方体质心检查包括框526至530的操作。在一些场景中，所述操作涉及：获得第一宽松拟合长方体和第二宽松拟合长方体的质心CCuboidTk、CCuboidTk+1；以及确定它们之间的距离Dcentroids。该距离可以由以下数学方程(8)来定义。
Dcentroids＝CCuboidTk-CCuboidTk+1 (8)
然后将距离与阈值距离值Dthreshold进行比较，如数学方程(9)所示。
Dcentroids＜Dthreshold (9)
当距离等于或大于阈值[528：否]时，执行框530的操作以在第二时间范围Tk+1内将对象分类为或以其他方式认为是非静态的。然后，方法500继续到图5B的框540，这将在下文进行讨论。当距离小于阈值[528：是]时，方法500继续进行长方体旋转检查。
如图5B所示，长方体旋转检查涉及框532至536的以下操作：获得与第一宽松拟合长方体和第二宽松拟合长方体相关联的横摆值YawCuboidTk、YawCuboidTk+1；确定所述横摆值之间的差值；以及将所述差值与阈值Yawthreshold进行比较。这些操作可以由以下数学方程(10)来定义。
|YawCuboidTk-YawCuboidTk+1|＜Yawthreshold (10)
横摆是长方体围绕竖直轴线的旋转，并且在这里用于评估两个宽松拟合长方体是否具有相同旋转。如果差值等于或大于阈值[534：否]，则方法500继续进行536，其中在第二时间范围Tk+1中将对象分类为非静态对象。然后，方法500继续进行540，这将在下文进行讨论。如果差值小于阈值[534：是]，则在第二时间范围Tk+1中将对象分类为静态对象，如框538所示。
接下来在540中，所述系统识别每个宽松拟合长方体内部的激光雷达数据点。处理识别的激光雷达点以从中移除或以其他方式过滤地面点。可以使用道路地图/地形图的内容、已知的传感器高度和/或平面拟合算法来识别地面点。与每个宽松拟合长方体相关联的其余激光雷达数据点被称为一组激光雷达数据点。
在542中，定义紧密拟合每一组激光雷达数据点的紧密拟合长方体。每个紧密拟合长方体通过以下方式定义：将宽松拟合长方体的坐标从第一坐标系变换到第二不同坐标系；以及调整长方体拐角的xyz坐标以具有用于包围对象的给定数量的激光雷达数据点的最小值(具有对异常激光雷达数据点的容差)。第一坐标系可以包括激光雷达系统/传感器坐标系，即，三个轴的原点在激光雷达系统/传感器中心的中心处的xyz坐标系。第二坐标系可以包括三个轴的原点在对象的中心处的xyz坐标系，x轴指向前方(即，朝向对象的航向)，并且z轴指向上方。
在一些场景中，通过基于对象的激光雷达数据点中具有最小x轴值的激光雷达数据点的坐标、对象的激光雷达数据点中具有最小y轴(或y坐标)值的激光雷达数据点的坐标、对象的激光雷达数据点中具有最小z轴(或z坐标)值的激光雷达数据点的坐标、对象的激光雷达数据点中具有最大x轴(或x坐标)值的激光雷达数据点的坐标、对象的激光雷达数据点中具有最大y轴值的激光雷达数据点的坐标和对象的激光雷达数据点中具有最大z轴值的激光雷达数据点的坐标来调整每个面的坐标值来定义紧密拟合长方体。例如，选择紧密拟合长方体的几何坐标，使得列出的激光雷达数据点包含在其中。可能需要满足容差阈值。例如，对象的所有激光雷达数据点的百分之九十五(95％)需要包括在紧密拟合长方体中。本解决方案不限于这些示例的细节。
在图7中提供了在图形700上绘制的紧密拟合长方体704的图示。如图7所示，激光雷达数据集702的数据点驻留在长方体704内。激光雷达数据集702可以包括图6的激光雷达数据集602，其中地面的数据点从其中移除。长方体的边缘706、708、710、712触及或以其他方式接触激光雷达数据集702的数据点。本解决方案不限于该图示的细节。例如，根据容差阈值，激光雷达数据集的一个或多个数据点可以驻留在紧密拟合长方体704之外。
接下来在544中，将轨迹的宽松拟合长方体中的激光雷达数据点变换到第二坐标系中，然后累积成单个3D图形。例如，图8中所示的轨迹800的宽松拟合长方体802、804、806、808的激光雷达数据点被累积成单个3D图形。在546中定义紧密地拟合到累积的激光雷达数据点的长方体。该长方体可以以与542的紧密拟合长方体相同或类似的方式定义。546的长方体在本文中被称为累积拟合长方体。
在548中，使用对象的累积拟合长方体和/或先前非模态范围来计算或以其他方式确定非模态范围。非模态范围描述了包围整个真实对象的最小必要体积，而不管可见性如何。非模态范围可以由宽度、长度和高度的标量数表示。对非模态范围的这种计算或确定可以例如通过以下方式来实现：获得具有对象的最大大小的先前非模态范围；获得具有对象的最小大小的另一个先前非模态范围；以及将累积拟合长方体的大小与最大先前大小和最小先前大小进行比较。当累积拟合长方体的大小大于最大先前大小时，非模态范围被设置为等于最大先前大小，或者替代地，当累积拟合长方体的大小小于最小先前大小时，非模态范围被设置为等于最小先前大小。否则，非模态范围被设置为等于累积拟合长方体的范围。
在550中，基于紧密拟合长方体和/或宽松拟合长方体来确定非模态长方体的中心的xyz坐标。例如，非模态长方体的中心坐标通过以下方式来确定：(i)将非模态长方体的拐角与紧密拟合长方体的最近可见拐角对准；以及(ii)将非模态长方体的拐角对准使得非模态长方体与宽松拟合长方体之间的边界精度最大化。一旦对准，就指定或以其他方式获得非模态长方体中心的坐标。
随后，方法500继续进行552，其中系统对与时间段T1、......、Tn相关联的每个帧或3D图形执行框552至560的操作。在框552中，系统针对与时间T1、......或Tn相关联的特定帧或3D图形检查对象先前是被分类为静态的还是非静态的。如果对象被分类为静态[552：是]，则系统将第一宽松拟合长方体的质心或中心视为非模态长方体的质心或中心，如554和以下数学方程(11)所示。
CentroidAmodal＝CCuboidTk (11)
相比之下，如果对象被分类为非静态[552：否]，则系统在556中执行操作以识别(点Pi中的)在第一宽松拟合长方体内部最接近移动平台上的点PMP的点P*。该操作可以由以下数学方程(12)来定义。
其中D(Pi,PMP)是具有域P的实值距离函数，并且 是P中的实现P中的全局最小值的一组元素。点P*然后在558中用作非模态长方体的拐角点，其中使用计算非模态长方体与第一宽松拟合长方体之间的重叠的度量来评估四个可能的拐角选择。选择具有最高分数S的拐角。分数S可以是非模态长方体的面积Aamol和第一宽松拟合长方体的面积ACuboidTk的函数。分数S可以由以下数学方程(13)来定义。
S＝(Aamodal∩ACuboidTk)/Aamodal (13)
其中表达式Aamodal∩ACuboidTk表示非模态长方体与宽松拟合长方体的相交面积。在560中使用选定拐角连同非模态长方体的大小和取向来计算非模态长方体的中心CentroidAmodal。
在完成552至560的操作之后，方法500继续进行图5C的562。框562的操作涉及将非模态长方体覆盖在3D图形上以便与对象的激光雷达数据点对准。每个非模态长方体可以由中心(或质心)、取向、宽度、长度和高度来定义。非模态长方体可以通过例如以下方式覆盖在每个3D图形上：(i)将非模态长方体的拐角与紧密拟合长方体的最近可见拐角对准；以及(ii)将非模态长方体的拐角对准使得非模态长方体与宽松拟合长方体之间的边界精度最大化。术语“边界精度”是指非模态长方体的面积与宽松拟合长方体的面积之间的计算出的相交面积除以非模态长方体的总面积。在一些场景中，提供关于非模态长方体的附加范围余量。这是因为在对准最近可见拐角之后，对象的一部分可能落在长方体的外部(对象的一部分实际上可能比紧密拟合长方体的最近拐角更靠近激光雷达传感器)。因此，可以将给定余量(例如，10cm至20cm)添加到最终的非模态长方体以适应这种情况。
非模态长方体可以任选地在564中用于训练机器学习算法以用于对象检测/分类目的、运动预测目的和/或运动规划目的(例如，以预测对象的轨迹)。用于使用长方体训练机器学习算法的方法是已知的。机器学习算法可以在566中用于对象检测和/或分类。来自机器学习算法的输出可以在568中用于确定对象的预测轨迹和/或移动平台的轨迹。可以在570中控制移动平台以使其遵循轨迹。随后，执行572，其中方法500结束或执行其他操作(例如，返回到图5A的502)。
上述方法500消除了静态对象的非模态长方体的跳跃性。这可以改进用于基于激光雷达的对象检测算法的下游地面实况生成以及用于对象跟踪目的的速度估计。
例如，可以使用一个或多个计算机系统(诸如图9中所示的计算机系统900)来实施各种实施例。计算机系统900可以是能够执行本文档中描述的功能的任何计算机。
计算机系统900包括一个或多个处理器(也称为中央处理单元或CPU)，诸如处理器904。处理器904连接到通信基础设施或总线902。任选地，处理器904中的一者或多者可以各自是图形处理单元(GPU)。在一个实施例中，GPU是处理器，所述处理器是被设计用于处理数学密集型应用的专用电子电路。GPU可以具有并行结构，所述并行结构对于大数据块(诸如计算机图形应用程序、图像、视频等共有的数学密集型数据)的并行处理是有效的。
计算机系统900还包括通过用户输入/输出接口908与通信基础设施902通信的用户输入/输出装置916，诸如监视器、键盘、定点装置等。
计算机系统900还包括主或主要存储器906，诸如随机存取存储器(RAM)。主存储器906可以包括一个或多个级别的高速缓存。主存储器906在其中存储有控制逻辑(即，计算机软件)和/或数据。
计算机系统900还可以包括一个或多个辅助存储装置或存储器910。辅助存储器910可以包括例如硬盘驱动器912和/或可移除存储装置或驱动器914。可移除存储驱动器914可以是外部硬盘驱动器、通用串行总线(USB)驱动器、存储卡(诸如紧凑型闪存卡或安全数字存储器)、软盘驱动器、磁带驱动器、光盘驱动器、光学存储装置、磁带备份装置和/或任何其他存储装置/驱动器。
可移除存储驱动器914可以与可移除存储单元918交互。可移除存储单元918包括其上存储有计算机软件(控制逻辑)和/或数据的计算机可用或可读存储装置。可移除存储单元918可以是外部硬盘驱动器、通用串行总线(USB)驱动器、存储卡(诸如紧凑型闪存卡或安全数字存储器)、软盘、磁带、光盘、DVD、光学存储磁盘和/或任何其他计算机数据存储装置。可移除存储驱动器914以众所周知的方式从可移除存储单元918进行读取和/或对可移除存储单元进行写入。
根据示例性实施例，辅助存储器910可以包括用于允许计算机系统900访问计算机程序和/或其他指令和/或数据的其他装置、工具或其他方法。此类装置、工具或其他方法可以包括例如可移除存储单元922和接口920。可移除存储单元922和接口920的示例可以包括程序盒和盒接口(诸如见于视频游戏装置中的接口)、可移除存储器芯片(诸如EPROM或PROM)和相关联的插口、记忆棒和USB端口、存储卡和相关联的存储卡槽，和/或任何其他可移除存储单元和相关联的接口。
计算机系统900还可以包括通信或网络接口924。通信接口924使得计算机系统900能够与远程装置、远程网络、远程实体等的任何组合(单独地和共同地由附图标记928引用)进行通信和交互。例如，通信接口924可以允许计算机系统900通过通信路径926与远程装置928通信，所述通信路径可以是有线和/或无线的，并且可以包括LAN、WAN、互联网等的任何组合。控制逻辑和/或数据可以经由通信路径926传输到计算机系统900和从计算机系统传输。
在一些实施例中，包括其上存储有控制逻辑(软件)的有形非暂时性计算机可用或可读介质的有形非暂时性设备或制品在本文档中也被称为计算机程序产品或程序存储装置。这包括但不限于计算机系统900、主存储器906、辅助存储器910以及可移除存储单元918和922，以及体现前述各项的任何组合的有形制品。此类控制逻辑在由一个或多个数据处理装置(诸如计算机系统900)执行时使此类数据处理装置如本文档中所述进行操作。
基于本公开中所包含的教导，相关领域的技术人员将明白如何使用除图9中所示的之外的数据处理装置、计算机系统和/或计算机架构来制作和使用本公开的实施例。具体地，实施例可以利用除本文档中描述的那些之外的软件、硬件和/或操作系统实施方式来操作。
与本公开相关的术语包括：
“电子装置”或“计算装置”是指包括处理器和存储器的装置。每个装置可以具有其自己的处理器和/或存储器，或者如在虚拟机或容器布置中的那样，处理器和/或存储器可以与其他装置共享。存储器将包含或接收编程指令，所述编程指令在由处理器执行时使电子装置根据编程指令执行一个或多个操作。
术语“存储器”、“存储器装置”、“数据存储区”、“数据存储设施”等各自是指其上存储有计算机可读数据、编程指令或两者的非暂时性装置。除非另有具体说明，否则术语“存储器”、“存储器装置”、“数据存储区”、“数据存储设施”等意图包括单个装置实施例、其中多个存储器装置一起或共同地存储一组数据或指令的实施例以及此类装置内的各个扇区。计算机程序产品是其上存储有编程指令的存储器装置。
术语“处理器”和“处理装置”是指被配置为执行编程指令的电子装置的硬件部件。除非另有明确说明，否则单数术语“处理器”或“处理装置”意图包括单个处理装置实施例和其中可以作为单个装置的部件或单独装置的部件的多个处理装置一起或共同执行过程的实施例。
除非通过使用术语“行动者”或“静止对象”另有具体说明，否则术语“对象”在指代由车辆感知系统检测或由模拟系统模拟的对象时意图包含静止对象和移动(或潜在地移动)行动者。
当在自主车辆运动规划的背景下使用时，术语“轨迹”是指车辆的运动规划系统将生成并且车辆的运动控制系统在控制车辆的运动时将遵循的计划。轨迹包括车辆在时间范围内的多个时间点处的规划位置和取向，以及车辆在同一时间范围内的规划方向盘角度和角速率。自主车辆的运动控制系统将消费轨迹并向车辆的转向控制器、制动控制器、节气门控制器和/或其他运动控制子系统发送命令以使车辆沿着规划路径移动。
车辆的感知或预测系统可以生成的行动者的“轨迹”是指行动者将在时间范围内遵循的预测路径，连同行动者的预测速度和/或行动者沿着路径在沿着时间范围的各个点的位置。
在本文档中，术语“街道”、“车道”、“道路”和“交叉路口”以车辆在一条或多条道路上行驶的示例的方式示出。然而，实施例意图包括其他位置(诸如停车区域)中的车道和交叉路口。另外，对于被设计成在室内使用的自主车辆(诸如仓库中的自动拾取装置)，街道可以是仓库的过道，并且车道可以是过道的一部分。如果自主车辆是无人机或其他飞行器，则术语“街道”或“道路”可以表示航路，并且车道可以是航路的一部分。如果自主车辆是船只，则术语“街道”或“道路”可以表示航道，并且车道可以是航道的一部分。
在本文档中，当使用诸如“第一”和“第二”的术语来修饰名词时，除非特别说明，否则这种使用仅意图将一个项目与另一个项目区分开，并且不意图要求顺序次序。另外，诸如“竖直”和“水平”或“前”和“后”等相对位置的术语在使用时意图是相对于彼此而言的并且不需要是绝对的，并且仅指代与那些术语相关联的装置的一个可能位置，这取决于装置的取向。
应当理解，具体实施方式部分而不是任何其他部分意图用于解释权利要求。其他部分可以阐述如发明人所设想的一个或多个但不是全部的示例性实施例，并且因此不意图以任何方式限制本公开或所附权利要求。
虽然本公开描述了示例性领域和应用的示例性实施例，但是应当理解，本公开不限于所公开的示例。其他实施例及其修改是可能的，并且在本公开的范围和精神内。例如，并且在不限制本段落的一般性的情况下，实施例不限于附图中所示和/或本文档中描述的软件、硬件、固件和/或实体。此外，实施例(无论是否明确描述)对于本文档中描述的示例之外的领域和应用具有重要效用。
在本文档中已经借助于示出指定功能和关系的实施方式的功能构建块来描述实施例。为了方便描述，在本文档中任意定义了这些功能构建块的边界。只要适当地执行指定的功能和关系(或其等效物)，就可以定义替代边界。此外，替代实施例可以使用与本文档中描述的那些不同的排序来执行功能框、步骤、操作、方法等。
来自本文公开的不同实施例的特征可以自由组合。例如，来自方法实施例的一个或多个特征可以与系统或产品实施例中的任一者组合。类似地，来自系统或产品实施例的特征可以与本文公开的方法实施例中的任一者组合。
本文档中对“一个实施例”、“实施例”、“示例实施例”或类似短语的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可不一定包括所述特定特征、结构或特性。此外，此类短语不一定指代同一实施例。此外，当结合实施例描述特定特征、结构或特性时，在相关领域技术人员的知识范围内，将此类特征、结构或特性合并到其他实施例中，而无论是否在本文档中明确提及或描述。另外，可以使用表达方式“联接/耦合”和“连接”以及它们的派生词来描述一些实施例。这些术语不一定意图作为彼此的同义词。例如，可以使用术语“连接”和/或“联接/耦合”来描述一些实施例，以指示两个或更多个元件彼此直接物理或电接触。然而，术语“联接/耦合”还可以意味着两个或更多个元件彼此不直接接触，但是仍然彼此协作或相互作用。
来自本文公开的不同实施例的特征可以自由组合。例如，来自方法实施例的一个或多个特征可以与系统或产品实施例中的任一者组合。类似地，来自系统或产品实施例的特征可以与本文公开的方法实施例中的任一者组合。
本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。
如上所述，本文档公开了用于操作激光雷达系统的系统、方法和计算机程序产品实施例。系统实施例包括实施用于操作激光雷达的方法的处理器或计算装置。计算机程序实施例包括例如存储在存储器中的编程指令，以使处理器执行本文档中描述的数据管理方法。系统实施例还包括处理器，所述处理器被配置为例如经由编程指令执行本文档中描述的方法。更一般地，系统实施例包括一种系统，所述系统包括用于执行本文档中描述的任何方法的步骤的装置。
根据本发明，一种用于控制移动平台的方法包括：由计算装置获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；由所述计算装置基于所述宽松拟合长方体来定义非模态长方体；由所述计算装置检查所述对象在一时间段内是否为静态的；由所述计算装置基于所述检查来识别所述非模态长方体的中心；以及由所述计算装置基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。
根据一个实施例，当所述对象是静态的时，所述识别包括将所述宽松拟合长方体中的一者的中心视为所述非模态长方体的中心。
根据一个实施例，所述检查包括执行长方体尺寸检查、长方体质心检查和长方体旋转检查中的至少一者。
根据一个实施例，所述检查还包括当所述长方体尺寸检查、所述长方体质心检查和所述长方体旋转检查指示所述对象在所述时间段中的两个连续时间处与相同的长方体大小、取向和质心相关联时，将所述对象在一时间范围内分类为静态的。
根据一个实施例，所述长方体尺寸检查包括：获得所述3D图形中的绘制第一时间范围的激光雷达数据点的第一3D图形中的第一宽松拟合长方体的尺寸；获得所述3D图形中的绘制第二时间范围的激光雷达数据点的第二3D图形中的第二宽松拟合长方体的尺寸；计算所述第一宽松拟合长方体的尺寸与所述第二宽松拟合长方体的尺寸之间的差值；以及分别将所述差值与阈值尺寸值进行比较。
根据一个实施例，本发明的特征还在于当所述差值中的一者或多者大于所述阈值尺寸值时将所述对象在所述第二时间范围内分类为非静态的。
根据一个实施例，当所述差值都小于所述阈值尺寸值时，执行所述长方体质心检查。
根据一个实施例，所述长方体质心检查包括：获得所述宽松拟合长方体中的第一宽松拟合长方体的质心与所述宽松拟合长方体中的第二宽松拟合长方体的质心之间的距离；以及将所述距离与阈值距离值进行比较。
根据一个实施例，本发明的特征还在于当所述距离大于所述阈值距离值时在与所述第二宽松拟合长方体相关联的第二时间范围内将所述对象分类为非静态的。
根据一个实施例，当所述距离小于所述阈值距离值时，执行所述长方体旋转检查。
根据一个实施例，所述长方体旋转检查包括：获得与所述宽松拟合长方体中的第一宽松拟合长方体和第二宽松拟合长方体相关联的横摆值之间的差值；以及将所述差值与阈值横摆差值进行比较。
根据一个实施例，本发明的特征还在于当所述差值大于所述阈值横摆差值时在与所述第二宽松拟合长方体相关联的第二时间范围内将所述对象分类为非静态的。
根据一个实施例，本发明的特征还在于当所述差值小于所述阈值横摆差值时在与所述第二宽松拟合长方体相关联的第二时间范围内将所述对象分类为静态的。
根据本发明，提供了一种系统，所述系统具有：处理器；包括编程指令的非暂时性计算机可读存储介质，所述编程指令被配置为使所述处理器实施用于控制移动平台的方法，其中所述编程指令包括用于进行以下操作的指令：获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；基于所述宽松拟合长方体来定义非模态长方体；检查所述对象在一时间段内是否为静态的；基于所述检查来识别所述非模态长方体的中心；以及基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。
根据一个实施例，当所述对象是静态的时，将所述宽松拟合长方体中的一者的中心视为所述非模态长方体的中心。
根据一个实施例，关于所述对象在所述时间段中是否为静态的所述检查是通过执行长方体尺寸检查、长方体质心检查和长方体旋转检查中的至少一者来实现的。
根据一个实施例，所述长方体尺寸检查包括：获得所述3D图形中的绘制第一时间范围的激光雷达数据点的第一3D图形中的第一宽松拟合长方体的尺寸；获得所述3D图形中的绘制第二时间范围的激光雷达数据点的第二3D图形中的第二宽松拟合长方体的尺寸；计算所述第一宽松拟合长方体的尺寸与所述第二宽松拟合长方体的尺寸之间的差值；以及分别将所述差值与阈值尺寸值进行比较。
根据一个实施例，所述长方体质心检查包括：获得所述宽松拟合长方体中的第一宽松拟合长方体的质心与所述宽松拟合长方体中的第二宽松拟合长方体的质心之间的距离；以及将所述距离与阈值距离值进行比较。
根据一个实施例，所述长方体旋转检查包括：获得与所述宽松拟合长方体中的第一宽松拟合长方体和第二宽松拟合长方体相关联的横摆值之间的差值；以及将所述差值与阈值横摆差值进行比较。
根据本发明，提供了一种存储指令的非暂时性计算机可读介质，所述指令被配置为在由至少一个计算装置执行时使所述至少一个计算装置执行具有以下各项的操作：获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；基于所述宽松拟合长方体来定义非模态长方体；检查所述对象在一时间段内是否为静态的；基于所述检查来识别所述非模态长方体的中心；以及基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。

Claims (15)

1.一种用于控制移动平台的方法，其包括：
由计算装置获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；
由所述计算装置基于所述宽松拟合长方体来定义非模态长方体；
由所述计算装置检查所述对象在一时间段内是否为静态的；
由所述计算装置基于所述检查来识别所述非模态长方体的中心；以及
由所述计算装置基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。
2.根据权利要求1所述的方法，其中当所述对象是静态的时，所述识别包括将所述宽松拟合长方体中的一者的中心视为所述非模态长方体的中心。
3.根据权利要求1所述的方法，其中所述检查包括执行长方体尺寸检查、长方体质心检查和长方体旋转检查中的至少一者。
4.根据权利要求3所述的方法，其中所述检查还包括当所述长方体尺寸检查、所述长方体质心检查和所述长方体旋转检查指示所述对象在所述时间段中的两个连续时间处与相同的长方体大小、取向和质心相关联时，将所述对象在一时间范围内分类为静态的。
5.根据权利要求3所述的方法，其中所述长方体尺寸检查包括：
获得所述3D图形中的绘制第一时间范围的激光雷达数据点的第一3D图形中的第一宽松拟合长方体的尺寸；
获得所述3D图形中的绘制第二时间范围的激光雷达数据点的第二3D图形中的第二宽松拟合长方体的尺寸；
计算所述第一宽松拟合长方体的尺寸与所述第二宽松拟合长方体的尺寸之间的差值；以及
分别将所述差值与阈值尺寸值进行比较。
6.根据权利要求5所述的方法，其还包括当所述差值中的一者或多者大于所述阈值尺寸值时，将所述对象在所述第二时间范围内分类为非静态的。
7.根据权利要求5所述的方法，其中当所述差值都小于所述阈值尺寸值时，执行所述长方体质心检查。
8.根据权利要求3所述的方法，其中所述长方体质心检查包括：
获得所述宽松拟合长方体中的第一宽松拟合长方体的质心与所述宽松拟合长方体中的第二宽松拟合长方体的质心之间的距离；以及
将所述距离与阈值距离值进行比较。
9.根据权利要求8所述的方法，其还包括当所述距离大于所述阈值距离值时，在与所述第二宽松拟合长方体相关联的第二时间范围内将所述对象分类为非静态的。
10.根据权利要求8所述的方法，其中当所述距离小于所述阈值距离值时，执行所述长方体旋转检查。
11.根据权利要求3所述的方法，其中所述长方体旋转检查包括：
获得与所述宽松拟合长方体中的第一宽松拟合长方体和第二宽松拟合长方体相关联的横摆值之间的差值；以及
将所述差值与阈值横摆差值进行比较。
12.根据权利要求11所述的方法，其还包括当所述差值大于所述阈值横摆差值时，在与所述第二宽松拟合长方体相关联的第二时间范围内将所述对象分类为非静态的。
13.根据权利要求11所述的方法，其还包括当所述差值小于所述阈值横摆差值时，在与所述第二宽松拟合长方体相关联的第二时间范围内将所述对象分类为静态的。
14.一种系统，其包括：
处理器；
包括编程指令的非暂时性计算机可读存储介质，所述编程指令被配置为使所述处理器实施用于控制移动平台的方法，其中所述编程指令包括用于进行以下操作的指令：
获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；
基于所述宽松拟合长方体来定义非模态长方体；
检查所述对象在一时间段内是否为静态的；
基于所述检查来识别所述非模态长方体的中心；以及
基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。
15.一种存储指令的非暂时性计算机可读介质，所述指令被配置为在由至少一个计算装置执行时使所述至少一个计算装置执行包括以下各项的操作：
获得覆盖在3D图形上的宽松拟合长方体以便各自包围与对象相关联的激光雷达数据点；
基于所述宽松拟合长方体来定义非模态长方体；
检查所述对象在一时间段内是否为静态的；
基于所述检查来识别所述非模态长方体的中心；以及
基于具有被识别的所述中心的所述非模态长方体来控制所述移动平台的操作。
CN202311472403.1A 2022-11-08 2023-11-07 用于基于静态检测的非模态化布局的系统和方法 Pending CN118010039A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US18/053,621 2022-11-08
US18/053,621 US20240151817A1 (en) 2022-11-08 2022-11-08 Systems and methods for static detection based amodalization placement

Publications (1)

Publication Number Publication Date
CN118010039A true CN118010039A (zh) 2024-05-10

Family

ID=90732351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311472403.1A Pending CN118010039A (zh) 2022-11-08 2023-11-07 用于基于静态检测的非模态化布局的系统和方法

Country Status (3)

Country Link
US (1) US20240151817A1 (zh)
CN (1) CN118010039A (zh)
DE (1) DE102023130493A1 (zh)

Also Published As

Publication number Publication date
DE102023130493A1 (de) 2024-05-08
US20240151817A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
CN113345269B (zh) 基于v2x车联网协同的交通工具危险预警的方法、装置和设备
CN116249644B (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
KR20220054743A (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
WO2022165498A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
US20230123184A1 (en) Systems and methods for producing amodal cuboids
WO2023167834A1 (en) Systems and methods for performing data collection missions
CN117795378A (zh) 用于粒子滤波器跟踪的系统和方法
CN116745188A (zh) 基于不确定道路使用者的行为生成自主车辆的纵向计划的方法和系统
CN116569070A (zh) 用于分析动态LiDAR点云数据的方法和系统
US20240151817A1 (en) Systems and methods for static detection based amodalization placement
EP4181089A1 (en) Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques
US20240092358A1 (en) Systems and methods for scene understanding
US20240101106A1 (en) Systems and methods for scene understanding
US20230415781A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US20230415736A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US20230415739A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US20230373523A1 (en) Systems and methods for biasing a trajectory of an autonomous vehicle while moving in a lane
US20230237793A1 (en) False track mitigation in object detection systems
US20230386326A1 (en) Systems and methods for detecting pedestrians with crosswalking or jaywalking intent
US20240075923A1 (en) Systems and methods for deweighting veering margins based on crossing time
US20240166231A1 (en) Systems and methods for determining steer while stopped behavior for a vehicle using dynamic limits
US20240192369A1 (en) Systems and methods for infant track association with radar detections for velocity transfer
US20240010211A1 (en) Systems and methods for selectively using a vehicle trajectory
CN117184123A (zh) 基于顺应先验对具有不确定测量的道路行为体进行状态识别
CN117132960A (zh) 检测意图穿越马路或违规穿越马路的行人的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication