CN117184123A - 基于顺应先验对具有不确定测量的道路行为体进行状态识别 - Google Patents
基于顺应先验对具有不确定测量的道路行为体进行状态识别 Download PDFInfo
- Publication number
- CN117184123A CN117184123A CN202310674060.0A CN202310674060A CN117184123A CN 117184123 A CN117184123 A CN 117184123A CN 202310674060 A CN202310674060 A CN 202310674060A CN 117184123 A CN117184123 A CN 117184123A
- Authority
- CN
- China
- Prior art keywords
- velocity value
- value distribution
- detected object
- velocity
- route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 81
- 230000033001 locomotion Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000015654 memory Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 79
- 238000004590 computer program Methods 0.000 abstract description 8
- 230000006399 behavior Effects 0.000 description 74
- 238000003860 storage Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000007418 data mining Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本文公开了基于顺应先验对具有不确定测量的道路行为体进行状态识别的系统、方法和计算机程序产品实施例。自主车辆(AV)的感知系统可以基于从与AV相关的感测设备接收到的传感器信息来检测具有不确定运动状态的对象。可以分别基于传感器信息、地图信息和接近具有不确定运动状态的检测到的对象的多个附加对象中的每个附加对象的运动状态来生成第一速度值分布、第二速度值分布和第三速度值分布。可以基于第一速度值分布、第二速度值分布和第三速度值分布的比较来生成具有不确定运动状态的检测到的对象的速度值。AV可以基于检测到的对象的速度值来执行驾驶操纵。
Description
背景技术
传统上,对于自主车辆(AV)感知系统,跟踪道路行为体和/或对象涉及对所有检测到的和分段的踪迹(track)(例如,对象和/或道路行为体的跟踪信息等)进行状态的最佳估计。为了使AV在动态环境中运行,执行跟踪操作的AV感知系统必须尽快识别踪迹。对于AV系统,由于传感器特性、选定的算法、传感器噪声、传感器不一致、遮挡的行为体、对象类别等,测量道路行为体和/或对象的状态(例如,位置、速度、加速度等)固定地具有不确定性。虽然AV系统设计用于处理一些不确定性,但有时道路行为体和/或对象的状态(或部分状态)是完全未知的,导致AV系统做出一些假设。因此,传统的AV感知系统无法准确预测具有未知状态的道路行为体和/或对象的踪迹。
发明内容
基于计算机的系统,例如自主车辆(AV)的感知系统,可以检测具有不确定运动状态的对象。例如,基于从与AV相关的感测设备接收到的传感器信息,感知系统可以检测具有不确定运动状态的对象。根据一些方面,感知系统可以例如基于传感器信息生成第一速度值分布。根据一些方面,感知系统可以例如基于地图信息生成第二速度值分布。根据一些方面,感知系统可以例如基于接近具有不确定运动状态的对象的多个附加对象中的每个附加对象的运动状态生成第三速度值分布。根据一些方面,感知系统可以例如基于第一速度值分布、第二速度值分布和第三速度值分布的比较来生成具有不确定运动状态的对象的速度值。根据一些方面,AV可以基于对象的速度值来执行驾驶操纵。
附图说明
本文中包含的附图构成说明书的一部分。
图1示出了根据本公开各方面的示例自主车辆系统。
图2示出了根据本公开各方面的用于车辆的示例架构。
图3示出了根据本公开各方面用于基于顺应先验对具有不确定测量的道路行为体进行状态识别的步骤的示例应用的示例。
图4示出了根据本公开各方面由感知模块实现的基于顺应先验来识别具有不确定测量的道路行为体的状态的逻辑的示例框图。
图5示出了根据本公开各方面的用于基于顺应先验对具有不确定测量的道路行为体进行状态识别的示例方法的流程图。
图6是用于实现本公开的各个方面的示例计算机系统。
在附图中,相似的附图标记通常表示相同或相似的元件。此外,通常情况下,附图标记最左边的数字表示附图标记首次出现的附图。
具体实施方式
本文提供了基于顺应先验对具有不确定测量的道路行为体进行状态识别的系统、装置、设备、方法和/或计算机程序产品实施例和/或其组合和子组合。根据一些方面,自主车辆(AV)等的感知系统(例如,计算系统、推理系统、预测/预报系统等)可以将具有不确定状态测量的道路行为体(和/或对象)的估计跟踪信息与顺应先验(compliant prior)相结合,以基于以下假设来识别和/或预测道路行为体的状态:除非信息/证据另有说明,否则道路行为体应遵守道路规则。顺应先验是基于这样一种假设,即由感知系统识别、检测、感知和/或确定的踪迹代表行为体遵循道路规则,直到有其他反证为止。感知系统可以基于感知系统的当前行为的比较来评估顺应先验(或任何不基于直接观察和/或传感器信息的先验)是否合适。为了生成对道路行为体状态的估计,感知系统可以使用诸如速度、航向和/或对象类型的感知数据。
例如,当与沿公路行驶的AV一起操作时,本文所述的感知系统可能无法测量第一道路行为体的速度。然而,如果感知系统感知到在第一道路行为体正前方的第二道路行为体,则感知系统可以做出合理地假设,即第一道路行为体和第二道路行为体以可比较的速度行进。第一道路行为体的不确定速度测量可以与先验(例如,可比较的速度的假设)相结合,以提供第一道路行为体的状态估计。一旦在第一道路行为体的先前不确定速度测量中建立了置信度,感知系统就可以将其用作第一道路行为体状态估计的主要信息源。
当跟踪对速度、航向和/或对象类型没有明确的估计时,传统感知系统通过将未知航向与未知速度进行比较以生成对不确定性状态的估计来生成对不确定道路行为体的状态估计。例如,对于未知航向,传统感知系统将假设对象是静止的,或者对于未知速度,传统感知系统将假设踪迹速度为踪迹消息中公布的平均值,该踪迹速度通常是零速度踪迹。如上所述,传统感知系统无法适当地处理缺失或高度不确定的信息。特别是,传统感知系统对静止预测或零速度踪迹的假设可能会导致意外的AV操纵(例如,停车、假动作(juke)等)。如果没有额外的跟踪观测,传统感知系统假设踪迹在交通流中间静止是不合理的。因此,本文描述的基于顺应先验对具有不确定测量的道路行为体进行状态识别的系统、装置、设备、方法和/或计算机程序产品实施例和/或其组合和子组合通过相对于先验假设评估多个跟踪观测提供了优于传统感知系统的优点。本文描述了这些和其他技术优点。
本文所使用的术语“车辆”是指能够承载一名或多名乘客和/或货物并由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于轿车、卡车、货车、火车、自主车辆、飞机、无人机等。“自主车辆”(或“AV”)是指具有处理器、编程指令和传动系部件的车辆,传动系部件可由处理器控制,无需操作人员。自主车辆可以是完全自主的,对于大多数或所有的驾驶条件和功能,不需要操作人员,或者自主车辆可以是半自主的,在某些条件下或对于某些操作,可能需要操作人员,或者操作人员可以超驰车辆的自主系统并且可以承担车辆的控制,或者操作人员可以主要驾驶车辆并且自主系统可以监测车辆的操作并且承担车辆操作的控制以避免碰撞。
值得注意的是,本文在自主车辆的背景下描述了基于顺应先验对具有不确定测量的道路行为体进行状态识别的方法和系统。然而,这些方法和系统并不局限于自主车辆应用。本文描述的方法和系统可以用于其他应用,例如机器人应用、雷达系统应用、度量应用和/或系统性能应用。
图1示出了根据本公开各方面的示例自主车辆系统100。系统100包括车辆102a,车辆102a以半自主或自主的方式沿着道路行驶。车辆102a在本文中也被称为AV 102a。AV102a可以包括但不限于陆地车辆(如图1所示)、飞机、船只等等。
AV 102a通常被配置为检测其附近的对象102b、114、116。对象可以包括但不限于车辆102b、骑车人114(例如自行车、电动滑板车、摩托车等的骑车人)和/或行人116。根据一些方面,如本文中进一步描述的,AV 102a(例如,经由车载计算设备113等)可以识别、感知、预测和/或确定对象102b、114、116的状态。根据一些方面,对象102b的状态测量可能是不确定的。例如,由于跟踪中的过度分割、错误检测、遮挡、早期检测和/或对象102b的几何上无特征方面,对象102b的状态测量可能是不确定的。AV 102a(例如,经由车载计算设备113等)可以评估不确定的测量以及顺应先验信息,以识别对象102b的状态。
如图1所示,AV 102a可以包括传感器系统111、车载计算设备113、通信接口117和用户界面115。AV 102a还可以包括在车辆中包括的某些部件(例如,如图2中所示),这些部件可以由车载计算设备113使用各种通信信号和/或命令来控制,例如,加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
如图2所示,传感器系统111可以包括一个或多个传感器,这些传感器连接到AV102a和/或包括在AV 102a内。例如,这样的传感器可以包括但不限于光探测和测距(激光雷达)系统、无线电探测和测距(RADAR,雷达)系统、激光探测和测距(LADAR)系统、声音导航和测距(SONAR,声纳)系统、一个或多个摄像机(例如,可见光谱摄像机、红外摄像机等)、温度传感器、位置传感器(例如,全球定位系统(GPS)等)、定位传感器、燃料传感器、运动传感器(例如,惯性测量单元(IMU)等)、湿度传感器、占用传感器等。传感器数据可以包括描述对象在AV 102a的周围环境内的位置的信息、关于环境本身的信息、关于AV 102a运动的信息、关于车辆路线的信息等。当AV 102a在表面上行进时,至少一些传感器可以收集与该表面有关的数据。
根据一些方面,AV 102a可以配置有激光雷达系统,例如图2的激光雷达系统264。激光雷达系统可以被配置为发射光脉冲104以检测位于AV 102a一距离或一距离范围内的对象。光脉冲104可以入射在一个或多个对象(例如,AV 102b)上并且被反射回激光雷达系统。入射在激光雷达系统上的反射光脉冲106可以被处理以确定该对象到AV 102a的距离。在一些实施例中,可以使用光电检测器或光电检测器阵列来检测反射光脉冲,光电检测器或光检测器阵列被定位和配置为接收反射回激光雷达系统的光。激光雷达信息,例如检测到的对象数据,从激光雷达系统传送到车载计算设备,例如图2的车载计算设备220。AV102a还可以通过通信网络108将激光雷达数据传送到远程计算设备110(例如,云处理系统)。远程计算设备110可以配置有一个或多个服务器来处理本文所述技术的一个或多个过程。远程计算设备110还可以被配置为通过网络108向/从AV 102a传送数据/指令、向/从服务器和/或数据库112传送数据/指令。
应该注意的是,用于收集与表面有关的数据的激光雷达系统可以包括在AV 102a以外的系统中,例如但不限于(自主驾驶的或有人驾驶的)其他车辆、机器人、卫星等。
网络108可以包括一个或多个有线或无线网络。例如,网络108可以包括蜂窝网络(例如,长期演进(LTE)网络、码分多址(CDMA)网络、3G网络、4G网络、5G网络、XG网络、任何其他类型的下一代网络等)。网络还可以包括公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如,公共交换电话网络(PSTN))、专用网络、自组织网络、内联网、互联网、基于光纤的网络、云计算网络等,和/或这些或其他类型的网络的组合。
AV 102a可以检索、接收、显示和编辑从本地应用程序生成的或通过网络108从数据库112传递的信息。尽管仅示出了单个数据库112,但是数据库112可以包括任意数量的数据库、数据仓库、数据湖、第三方数据源等。数据库112可以被配置为存储和提供原始数据、索引数据、结构化数据、地图数据、程序指令或已知的其他配置文件。例如,数据库112可以向远程计算设备110提供地面实况数据/信息,例如JavaScript对象表示法(JSON)文件等,其包含道路行为体(例如,对象102b、114、116等)的标签(例如,道路行为体分类信息)、到AV帧的SE3(例如,在三维欧几里得空间中的适当刚性变换)变换、速率/速度信息、边界长方体等。远程计算设备110可以向AV 102a提供地面实况数据/信息(例如,通过通信接口117等向车载计算设备113提供地面实况数据/信息)。远程计算设备110可以向AV 102a提供参数,例如AV 102a和/或道路行为体(例如,对象102b、114、116等)的最大长加速度/减速度、最大向心加速度和/或最小转弯半径。远程计算设备110可以向AV 102a提供地图数据/信息,包括但不限于与地面实况数据/信息相对应的矢量地图(例如,SQLite文件等),其可以用于提取关于可驾驶区域、属于AV 102a行进的路线的车道段、车道段速度、和/或任何其他交通和/或驾驶区域相关信息。
根据一些方面,如本文稍后进一步详细描述的,AV 102a可以使用运动学先验估计来准确地识别和/或预测具有不确定测量的感知行为体(例如对象102b)的状态。根据一些方面,AV 102a可以使用矢量地图信息来将基于矢量地图的先验应用于具有不确定测量的行为体的估计过程,例如,以确定对象类型的可能车道。根据一些方面,AV 102a可以使用任何类型的运动学先验估计来准确地识别和/或预测具有不确定测量的感知行为体的状态。
通信接口117可被配置为允许AV 102a与外部系统之间的通信,外部系统例如是外部设备、传感器、其他车辆、服务器、数据存储、数据库等。通信接口117可以使用任何现在或以后已知的协议、保护方案、编码、格式、封装等,例如但不限于Wi-Fi、红外链路、蓝牙等。用户界面115可以是在AV 102a内实现的外围设备的一部分,包括例如键盘、触摸屏显示设备、麦克风、扬声器等。
图2示出了根据本公开各方面用于车辆的示例系统架构200。图1的车辆102a和/或102b可以具有如图2所示的相同或相似的系统架构。因此,以下对系统架构200的讨论对于理解图1的车辆102a、102b是足够的。然而,其他类型的车辆被认为在本文所描述的技术的范围内,并且可以包含如结合图2所描述的更多或更少的元件。作为非限制性示例,空中车辆可以不具有制动器或齿轮控制器,但可以包括海拔高度传感器。在另一个非限制性示例中,基于水的车辆可以包括深度传感器。本领域技术人员将理解,基于已知的车辆类型,可以包括其他推进系统、传感器和控制器。
如图2所示,系统架构200包括发动机或马达202和用于测量车辆各种参数的各种传感器204-218。在具有燃料动力发动机的燃气动力或混合动力车辆中,传感器可以包括例如发动机温度传感器204、电池电压传感器206、发动机每分钟转数(“RPM”)传感器208和节气门位置传感器210。如果车辆是电动的或混合动力的,那么车辆可以具有电动马达,并且相应地包括传感器,例如电池监测系统212(用于测量电池的电流、电压和/或温度)、马达电流传感器214和马达电压传感器216、以及诸如解析器和编码器的马达位置传感器218。
这两种类型的车辆通用的操作参数传感器包括,例如:位置传感器236,例如加速度计、陀螺仪和/或惯性测量单元;速度传感器238;以及里程计传感器240。车辆还可以具有时钟242,系统使用该时钟来确定操作期间的车辆时间。时钟242可以被编码到车辆车载计算设备中,它可以是单独的设备,或者可以有多个时钟。
车辆还包括各种传感器,用于收集车辆行驶环境的信息。这些传感器可以包括,例如:定位传感器260(例如,全球定位系统(“GPS”)设备);对象检测传感器,例如一个或多个摄像机262;激光雷达系统264;和/或雷达和/或声纳系统266。传感器还可以包括环境传感器268,例如降水传感器和/或环境温度传感器。对象检测传感器可以使车辆能够在任何方向上检测在车辆200的给定距离范围内的对象,而环境传感器收集关于车辆行驶区域内的环境条件的数据。
在操作过程中,信息从传感器传递到车辆车载计算设备220。车载计算设备220(例如,图1的车载计算设备113等)可以使用图6的计算机系统600来实现。车辆车载计算设备220分析由传感器捕获的数据,并且可选地基于分析结果控制车辆的操作。例如,车辆车载计算设备220可以通过制动控制器222控制制动;经由转向控制器224控制方向;经由节气门控制器226(在燃气动力车辆中)或马达速度控制器228(例如电动车辆中的电流水平控制器)控制速度和加速度;控制差速齿轮控制器230(在具有变速器的车辆中);和/或控制其他控制器。辅助设备控制器254可以被配置为控制一个或多个辅助设备,例如测试系统、辅助传感器、由车辆运输的移动设备等。
地理位置信息可以从位置传感器260传送到车载计算设备220,然后车载计算设备可以访问与位置信息相对应的环境地图,以确定环境的已知固定特征,例如街道、建筑物、停车标志和/或停/走信号。从摄像机262捕获的图像和/或从诸如激光雷达系统264之类的传感器捕获的对象检测信息从这些传感器传送到车载计算设备220。对象检测信息和/或捕获的图像由车载计算设备220处理,以检测车辆200附近的对象。基于传感器数据和/或捕获的图像进行对象检测的任何已知或将要已知的技术都可以用于本文档中公开的实施例中。
根据一些方面,车载计算设备220可以从多个传感器接收信息,这些传感器用于确定和/或提供姿势相关信息,例如惯性测量单元(IMU)(未示出)、速度传感器238、定位传感器260、并且车载计算设备220可以融合(例如,经由一个或多个算法等)来自多个传感器的信息,并且将融合的信息与激光雷达信息、高清晰度地图信息进行比较。
激光雷达信息从激光雷达系统264(例如,图1的传感器系统111等)传送到车载计算设备220。此外,所捕获的图像从摄像机262(例如,图1的传感器系统111等)传送到车载计算设备220。激光雷达信息和/或捕获的图像由车辆车载计算设备220处理,以检测车辆200附近的对象。车辆车载计算设备220进行对象检测的方式包括本公开中详细描述的这种能力。
车载计算设备220可以包括路线控制器231和/或可以与路线控制器231通信,路线控制器231为自主车辆生成从起始位置到目的地位置的导航路线。路线控制器231可以访问地图数据存储(例如,图1的数据库112、车载计算设备220的本地存储等),以识别车辆可以行驶以从起始位置到达目的地位置的可能路线和路段。路线控制器231可以对可能的路线进行评分并识别到达目的地的优选路线。例如,路线控制器231可以生成使路线期间行进的欧几里得距离或其他成本函数最小化的导航路线,并且可以进一步访问可能影响在特定路线上行进所花费的时间量的交通信息和/或估计。根据一些方面,路线控制器231可以确定避开某些区域的路线,例如禁区(KOZ)等。根据一些方面,路线控制器231可以使用各种路由方法生成一个或多个路线,例如Dijkstra算法、Bellman-Ford算法或其他算法。路线控制器231还可以使用交通信息来生成反映路线的预期条件(例如,一周中的当前日期或一天中的当前时间等)的导航路线,使得为高峰时段期间的行程而生成的路线可以不同于为深夜行程而生成的路线。路线控制器231还可以生成到目的地的多于一条的导航路线,并且将这些导航路线中的多于一个发送给用户以供用户(例如,经由图1的用户界面115等)从各种可能的路线中进行选择。
根据一些方面,车载计算设备220可以确定AV 102a的周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和所获得的位置信息,车载计算设备220可以确定AV 102a的周围环境的感知信息。感知信息可以表示普通驾驶员在车辆周围环境中将感知到的情况。感知数据可以包括与AV 102a的环境中的一个或多个对象有关的信息。例如,车载计算设备220可以处理传感器数据(例如,激光雷达或雷达数据、摄像机图像等),以便识别AV 102a的环境中的对象和/或特征。对象可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。车载计算设备220可以使用任何现在或以后已知的对象识别算法、视频跟踪算法和计算机视觉算法(例如,在多个时间段内逐帧迭代地跟踪对象)来确定感知。
根据一些方面,车载计算设备220还可以针对环境中的一个或多个已识别对象来确定对象的当前状态。状态信息可以包括但不限于每个对象的:当前位置;当前速度和/或加速度、当前航向;当前姿态;当前形状、大小或占地面积;类型(例如,车辆、行人、自行车、静态对象或障碍物);和/或其他状态信息。
车载计算设备220可以执行一个或多个预测和/或预报操作。例如,车载计算设备220可以预测一个或多个对象的未来位置、轨迹和/或动作。例如,车载计算设备220可以至少部分地基于感知信息(例如,每个对象的状态数据,包括如下所述确定的估计形状和姿态)、位置信息、传感器数据和/或描述对象、AV 102a、周围环境的过去和/或当前状态和/或它们的关系的任何其他数据来预测对象的未来位置、轨迹和/或动作。例如,如果对象是车辆并且当前驾驶环境包括十字路口,则车载计算设备220可以预测对象是否可能直线向前移动或转弯。如果感知数据指示十字路口没有红绿灯,则车载计算设备220还可以预测车辆是否必须在进入十字路口之前完全停车。
根据一些方面,车载计算设备220可以为自主车辆确定运动计划。例如,车载计算设备220可以基于感知数据和/或预测数据来为自主车辆确定运动计划。具体地,在给定关于邻近对象的未来位置的预测和其他感知数据的情况下,车载计算设备220可以为AV 102a确定运动计划,该运动计划相对于对象的未来位置最佳地导航自主车辆。
根据一些方面,车载计算设备220可以接收预测并决定如何应对AV 102a环境中的对象和/或行为体。例如,对于特定的行为体(例如,具有给定速度、方向、转弯角度等的车辆),车载计算设备220基于例如交通状况、地图数据、自主车辆的状态等来决定是否超车、让行、停车和/或通过。此外,车载计算设备220还规划AV 102a在给定路线上行进的路径,以及驾驶参数(例如,距离、速度和/或转弯角度)。也就是说,对于给定的对象,车载计算设备220决定如何应对该对象并决定如何来实现。例如,对于给定对象,车载计算设备220可以决定超过该对象,并可以确定是从对象的左侧还是右侧超过(包括速度等运动参数)。车载计算设备220还可以评估检测到的对象与AV 102a之间发生碰撞的风险。如果风险超过阈值,则可以确定在自主车辆遵循定义的车辆轨迹和/或在预定义的时间段(例如,N毫秒)内执行一个或多个动态生成的操纵的情况下是否可以避免碰撞。如果可以避免碰撞,则车载计算设备220可以执行一个或多个控制指令以执行谨慎的操纵(例如,稍微减速、加速、变道或转弯)。相反,如果不能避免碰撞,则车载计算设备220可以执行一个或多个控制指令以执行紧急操纵(例如,制动和/或改变行进方向)。
如上所述,生成关于自主车辆运动的规划和控制数据以供执行。车载计算设备220可以例如经由制动控制器来控制制动;经由转向控制器来控制方向;经由节气门控制器(在燃气动力车辆中)或马达速度控制器(例如电动车辆中的电流水平控制器)来控制速度和加速度;控制差速齿轮控制器(在配备变速器的车辆中);和/或控制其他控制器。
返回图1,如图2所述,车载计算设备113(例如,图2的车载计算设备220)可以确定AV 102a的周围环境的感知信息。例如,根据一些方面,车载计算设备113可以包括感知模块120。传感器系统111可以向感知模块120提供传感器和/或传感器相关的数据/信息,车载计算设备113可以向感知模快120提供车辆控制和操作信息。例如,传感器系统111可以向感知模块120提供数据日志,例如日志切片,其描述由传感器系统111以预定义的时间间隔(例如,16秒间隔等)收集的所有数据。车载计算设备113可以向感知模块120提供数据日志,例如日志切片,其提供描述车载计算设备113以预定义的时间间隔(例如,16秒间隔等)收集的所有数据。例如,数据日志可以包括数据/信息,例如路线响应消息、路线进度消息、传感器信息(例如,激光雷达信息等)、自主车辆姿态信息(例如方向信息、姿态等)和/或与AV 102a和/或道路行为体(例如,对象102b、114、116等)有关的此类信息。感知模块120可以使用来自系统100的部件的数据/信息来识别和/或确定影响AV 102a的轨迹的对象(例如,空间相关对象等),使用来自系统100的部件的数据/信息例如来自传感器系统111的传感器和/或传感器相关数据/信息、来自车载计算设备113的车辆控制和操作信息、以及来自数据库112的原始数据、索引数据、结构化数据、地图数据和/或程序指令。
根据一些方面,如前所述,感知模块120感知的对象可以包括来自传感器系统111的不确定测量。例如,当跟踪由传感器系统111感测到的对象(例如,对象102b等)时,感知模块120可以对所有检测到的和分割的踪迹进行状态的最佳估计。当识别出对象(例如,对象102b等)的不确定踪迹时,这可能是由于跟踪中的过度分割、错误检测、遮挡、早期检测和/或对象的几何无特征方面。如本文所使用的,不确定踪迹可以包括在速度和/或航向方面具有高协方差的踪迹。在速度和/或航向方面具有高协方差的踪迹表示来自跟踪的没有可靠估计的踪迹,例如粗糙踪迹。
根据一些方面,在检测到的对象不是真实的行为体而是对另一个现有跟踪对象的错误检测的情况/情景中,可能会出现过度分割。当检测到的对象不是真实的行为体而是传感器系统111内的噪声和/或感知到短暂对象(例如蒸汽等)的结果时,可能会发生错误检测。当感知模块120从传感器系统111接收到关于对象(例如,对象102b等)的第一周期检测信息并且感知模块120尚未收敛于状态估计(例如,速度估计需要至少两个周期的激光雷达检测等)时,可能会发生遮挡。当感知模块120接收到来自传感器系统111的某些检测管线(例如雷达和单眼长方体)的信息时,可能会发生早期检测,这些检测管线提供更高的不确定性或导致不完整的踪迹估计直到传感器系统111中的多个检测管线提供相关的感测数据为止。当某些对象(如护栏、新泽西护栏(jersey barrier)、墙壁和/或其他类别)上的点云配准受到约束不足并导致退化时,可能会导致对象的几何无特征方面。
根据一些方面,当感知模块120感知到的对象与来自传感器系统111的不确定测量相关时,感知模块120可以使用顺应先验(运动学先验)来估计其状态。顺应先验可以包括矢量地图先验、社会特征(social feature)、基于车道的数据挖掘等和/或根据矢量地图先验、社会特征、基于车道的数据挖掘等来确定。
例如,根据一些方面,感知模块120可以使用地图数据(例如,矢量地图数据、光栅地图数据、映射信息等)和/或类似数据来准确预报、估计和/或预测具有不确定测量的道路行为体的状态。根据一些方面,地图数据可以对“道路规则”进行编码,以帮助提供合规行为的定义。地图数据先验依赖于AV 102a基于踪迹位置识别可能的车道段。在十字路口之外,感知模块120可以选择/识别被占用的车道,并使用速度限制和车道方向作为速度和航向先验。感知模块120可以对占用车道段的所有行为体应用类似和/或相同的过程。
根据一些方面,感知模块120可以将顺应先验应用于不确定的踪迹的示例情况/情形包括当车辆根据一些定义的交通控制接近AV 102a时。感知模块120可以对“遵守交通规则的先验”进行建模。由于建模可能发生在感知模块120将对象/行为体识别为让行或不让行之前,所以感知模块120可以假设速度不确定的对象/行为体将遵守交通控制设备和/或规则(例如,停车标志、交通灯等)。感知模块120可以评估表示到停车标志的距离、到交通灯的距离等属性和/或值。感知模块120可以调整运动学状态估计,使得在给定一些假定加速度的情况下对象/行为体可以停止。根据一些方面,感知模块120可以在预测中使用与后验概率相结合的观测速度分布来确定让行或不让行概率。
根据一些方面,感知模块120可以基于与不确定踪迹相关的感知社会特征,将顺应先验应用于不确定踪迹。社会特征可以包括但不限于基于观测到的附近行为体的行为或观测到的先前占据相似位置的行为体的行为的行为。社会特征可以用于通知附近踪迹的状态。在一个实施例中,下面的算法1可以用于基于感知的社会特征将顺应先验应用于不确定踪迹。根据一些方面,算法1可以用于利用附近行为体为任何不确定踪迹建立先验。提供算法1作为示例。基于顺应先验对具有不确定测量的道路行为体进行状态识别的系统、装置、设备、方法和/或计算机程序产品实施例和/或其组合和子组合不限于算法1,并且可以根据本文的实施例使用其他算法。
算法1
算法:社会特征估计
步骤:
1.识别大体上被占用的车道
2.使用社会特征R树识别附近的行为体(在一定半径内)
3.根据车道图选择附近的行为体(例如,某个距离的前一个、某一距离的后一个、同方向邻居、邻居的前一个/后一个等)
4.移除对于相同值也具有不确定状态估计的任何行为体(如果感知模块120不具有踪迹速度的良好估计,则踪迹速度将不用于影响其他踪迹的先验)
5.移除相邻车道上停放的和/或具有不同的对象类型的行为体
(否则,在场景中使用所有附近的行为体)
6.请勿移除堵塞车道的车辆。特别是,停放的车辆通常不会影响参与交通的行为体的速度,但车道阻塞行为体通常会影响参与交通的行为体的速度(例如,如果有人被困在车道阻塞行为体后面等)
7.取已识别行为体的状态的平均值。平均值可以通过速度估计和距离/相对位置的协方差来加权。请注意,其他行为体的状态可能是在先前的推理周期中计算的,因此可能稍微过时。由于先验本身的不确定性,这被认为不是一个问题。
8.与附近行为体一起为任何不确定的踪迹构建先验
图3是算法1的示例应用。踪迹300具有不确定的观测速度。应用算法1,感知模块320(例如,图1的感知模块120等)可以根据踪迹304和306沿着道路322行进时的速度来确定先验。感知模块320可以假设踪迹300具有与踪迹304和306相似的速度分布。根据一些方面,如前所述,踪迹300的速度的状态估计还可以基于从地图数据确定的速度先验(假定顺应)来进一步评估,地图数据例如是描述道路322的道路规则的矢量地图等。道路322的道路规则可以包括道路322的速度限制。感知模块320可以假设踪迹300遵守道路322的速度限制。速度值的分布可以根据不确定的观测速度测量、社会速度先验(例如,踪迹304和305)和地图矢量先验(例如道路322的速度限制等)来确定。踪迹300的速度的准确估计可以基于对不确定观测速度测量、社会速度先验(例如,踪迹304和305)以及地图矢量先验的评估来识别。
返回图1,根据一些方面,感知模块120可以基于数据挖掘将基于车道的先验应用于不确定踪迹。例如,根据一些方面,AV 102a可以包括存储模块(例如,本地存储器、远程存储器、数据库112等)。存储模块可以存储不同对象类型、一天中的时间等的可能速度的每车道地图。感知模块120可以使用数据挖掘(非车载)来获取运动学先验估计。根据一些方面,当生成后验推断时,感知模块120可以权衡和/或评估运动学先验估计的来源的相关性。例如,尽管可以使用基于车道的数据挖掘,但它不应优先于(并且应加权小于)社会速度先验(例如,根据附近行为体评估的等),因为合理速度的主要决定因素是领头行为体的速度。在附近不存在行为体的情况/场景下,基于车道的数据挖掘可能会受到更大的影响。
根据一些方面,感知模块120可以识别和/或评估先验估计中的不确定性。感知模块120可以通过调整先验的协方差来控制先验对后验分布的影响。如果观察到的踪迹是确定的,例如,在从传感器系统111接收到重要传感器数据的情况下观察了许多周期的踪迹,则感知模块120将允许该特定观察支配后验估计。如果观察到的踪迹高度不确定(例如,到了应该忽略的程度等),则可以忽略和/或较少地加权观测速度,从而使顺应先验能够主导后验估计。因此,感知模块120可以动态地调整先验的置信度。
根据一些方面,根据先验和/或观测数据(例如,来自传感器系统111的感测数据等)生成的值分布,例如速度值的分布,可以是双变量高斯分布。感知模块120可以通过执行滤波来组合计算出的分布。例如,感知模块120可以利用测量模型的身份变换(测量和状态空间相同)来执行卡尔曼滤波器更新。感知模块120可以根据先验信息和观测信息的不确定性来融合它们。在多个先验(例如,社会先验和地图先验)的情况下,由于更新的顺序不会改变结果,因此结果分布可以顺序地应用于观测(例如,通过多传感器融合卡尔曼滤波器等)。
根据一些方面,在感知模块120无法识别可感知的顺应先验的情况/场景中,该先验将被认为是统一的。因此,无论感知模块120应用统一先验还是简单地跳过更新步骤,都是等价的。例如,在占用车道不清楚(如在十字路口)或周围没有车辆排队的情况/场景中,感知模块120可以应用统一的先验或简单地跳过更新步骤。
根据一些方面,感知模块120可以将任何先验应用于观测数据,以输出具有不确定测量的道路行为体和/或对象的状态预测。例如,根据一些方面,先验可以与对象类型相关。为了简单起见,这里已经描述了速度先验。然而,也考虑了基于对象类型分布和速度分布的联合推理。
根据一些方面,感知模块120可以输出和评估与仅使用观测数据来识别行为体/对象的状态相比由应用的先验产生的度量。感知模块120可以分析系统级数据,例如,存储在存储模块122中的由行驶质量仪表板捕获的数据和/或类似数据,以确保基于顺应先验为具有不确定测量的道路行为体进行状态识别而实现的方法导致AV 102a的意外操纵(例如,停车、假动作等)减少,而不使移动器裕度回归。
根据一些方面,本文所述的基于顺应先验对具有不确定测量的道路行为体进行状态识别的系统、装置、设备、方法和/或计算机程序产品实施例和/或其组合和子组合可用于预报,以预测顺应让行和/或不让行行为。如上所述,基于地图的速度先验的使用考虑了具有与由AV 102a实现的路线跟随策略相同逻辑的交通控制信号。结果可以包括预测偏向于生成用于顺应行为的分支。如果生成用于顺应行为的分支是不够的,则感知模块120可以使用对象(例如,AV 102b等)的高观测速度不确定性作为有利于顺应分支的信号。在一个实施例中,如果非顺应分支的展开和似然判定是必要的,则可以使用下面的算法2。提供算法2作为示例。基于顺应先验对具有不确定测量的道路行为体进行状态识别的系统、装置、设备、方法和/或计算机程序产品实施例和/或其组合和子组合不限于算法2,并且可以根据本文的实施例使用其他算法。
算法2
算法:非顺应分支的展开和似然判定
步骤:
1.假设对象类型的最大减速度,确定可以在停车线前制动的最大速度
2.计算后验速度分布高于步骤1中确定的最大速度的概率。注意:这里假设车辆在能够制动的情况下始终制动(即“最佳情况”假设)
图4示出了系统400(例如,图1的系统100等)的示例框图,其描绘了当基于顺应先验识别具有不确定测量的道路行为体的状态时由感知模块420(例如,图1的感知模块120等)实现的逻辑。感知模块420从传感器系统(例如,图1的传感器系统111等)接收表示检测到车辆402b(例如,1的AV 102b等)的传感器数据(信息)。尽管图4示出了检测到的对象为车辆402b,但是本领域普通技术人员应当理解,可以类似地检测和分析其他道路行为体。传感器数据可以提供AV 402b的速度(或任何其他运动学状态)的不确定测量,例如,基于以下中的至少一个:与传感器数据相关的过度分割、与传感器数据关联的错误信息、AV 402b的遮挡、AV 402a的几何特征量等。响应于速度的不确定测量,感知模块可以生成观测速度值402的分布,并且还将运动学先验(顺应先验)应用于观测速度值402。
可以基于根据地图数据422确定的地图速度先验(假定顺应)进一步评估AV 402b的速度状态估计。地图数据422可以描述AV 402b所行驶的道路的规则(例如,速度限制等)。感知模块420可以假设AV 402b遵守由地图数据422指示的速度限制。感知模块可以基于AV402b将在速度限制内行进的假设来生成地图速度值404(在时间间隔内)的分布。根据一些方面,地图数据422可以是不同类型的地图数据。例如,AV 402b的速度的状态估计可以进一步基于根据任何类型的地图数据确定的地图速度先验(假定顺应)来评估。
可以基于根据计算出的AV 402c和AV 402d的速度确定的社会速度先验(假定顺应)进一步评估AV 402b的速度状态估计。AV 402c和AV 402d可能在AV 402a附近运行,并且可能与精确计算和/或验证的速度值相关(例如,基于来自传感器系统(如图1的传感器系统111等)的多个传感器的大量传感器数据)。感知模块420可以假设AV 402b正在遵循与AV402c和/或AV 402d类似的速度和/或速率。可以基于AV 402b将以与AV 402c和AV 402d相当的速度行进的假设来生成社会速度值406(在时间间隔内)的分布。
速度分布402、404和406可以使用统计推断模型(例如贝叶斯推断等)进行比较和/或评估。感知模块可以输出用于AV 402b的后验速度估计408。根据一些方面,后验速度估计408可以用于使AV 402a执行驾驶操纵。例如,基于后验速度估计408,AV 402a可以执行驾驶操纵以避开AV 402b、绕过AV 402b、跟随AV 402b和/或任何其他驾驶操纵。
图5示出了根据一些方面基于顺应先验对具有不确定测量的道路行为体进行状态识别的示例方法500的流程图。方法500可以由处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微码等)、软件(例如,在处理设备上执行的指令)或其组合。应当理解的是,执行本文所提供的公开内容并非需要所有步骤。此外,如本领域普通技术人员将理解的,一些步骤可以同时执行,或者以与图5所示不同的顺序执行。
方法500将参照图1-4进行描述。然而,方法500不限于这些图的各方面。车载计算设备113(例如,感知模块120等)可以促进基于顺应先验对具有不确定测量的道路行为体进行状态识别。
在510中,车载计算设备113检测具有不确定运动状态的对象。例如,车载计算设备113可以基于从与车辆相关的感测设备接收到的传感器信息来检测具有不确定运动状态的对象。例如,不确定运动状态可以基于以下中的至少一个:与传感器信息相关的过度分割、与传感器信息相关的错误信息、检测到的对象的遮挡或检测到的对象的几何特征量。
在520中,车载计算设备113生成第一速度值分布。例如,车载计算设备113可以基于传感器信息生成第一速度值分布。生成第一速度值分布可以包括,响应于检测到的对象的不确定运动状态,车载计算设备113从传感器信息中提取检测到的对象的位置指示和检测到的对象的速度指示。车载计算设备113可以基于位置指示和速度指示来生成检测到的对象的轨迹。车载计算设备113可以根据对象的轨迹来识别第一速度值分布。
在530中,车载计算设备113生成第二速度值分布。例如,车载计算设备113可以基于地图信息生成第二速度值分布。地图信息可以指示路线(和/或车道、路径等)的速度限制或路线的指令中的至少一个。生成第二速度值分布可以包括识别检测到的对象位于路线上。车载计算设备113可以基于检测到的对象将在时间窗口期间沿着路线移动的假设以及路线的速度限制或路线的指令中的至少一个来生成第二速度值分布。
在540中,车载计算设备113生成第三速度值分布。例如,车载计算设备113可以基于接近检测到的对象的多个附加对象中的每个附加对象的运动状态来生成第三速度值分布。接近检测到的对象可以包括空间接近或时间接近中的至少一种。生成第三速度值分布可以包括基于传感器信息检测多个附加对象。车载计算设备113可以从多个附加对象中移除具有各自不确定运动状态的任何附加对象。车载计算设备113可以从多个附加对象中的剩余附加对象中移除包括静止状态或对象类型不同于对象的对象类型中的至少一个的任何对象。车载计算设备113可以基于针对剩余附加对象中的每个附加对象所指示的相应速度来生成第三速度值分布。
在550中,车载计算设备113为具有未知运动状态的检测到的对象生成速度值。例如,车载计算设备113可以基于第一速度值分布、第二速度值分布和第三速度值分布的比较来为具有未知运动状态的检测到的对象生成速度值。例如,第一速度值分布、第二速度值分布和第三速度值分布的比较可以包括评估与第一速度值分布、第二速度值分布和第三速度值分布中的每一个相关的统计不确定性的量。例如,根据一些方面,可以基于诸如贝叶斯推断等的统计推断来比较第一速度值分布、第二速度值分布和第三速度值分布。
例如,可以使用一个或多个计算机系统来实现各种实施例,例如图6所示的计算机系统600。计算机系统600可以是能够执行本文所述功能的任何计算机。
计算机系统600可以是能够执行本文所述功能的任何众所周知的计算机。根据一些方面,图1的车载计算设备113(和/或本文所述的任何其他设备/部件)可以使用计算机系统600来实现。根据一些方面,计算机系统600可以被使用和/或被具体配置为实施方法500。
计算机系统600包括一个或多个处理器(也称为中央处理单元或CPU),例如处理器604。处理器604连接到通信基础设施(和/或总线)606。
一个或多个处理器604可以各自是图形处理单元(GPU)。在一个实施例中,GPU是处理器,其是被设计用于处理数学密集型应用的专用电子电路。GPU可以具有并行结构,该并行结构对于大数据块的并行处理是有效的,例如计算机图形应用、图像、视频等所共有的数学密集型数据。
计算机系统600还包括用户输入/输出设备603,例如监视器、键盘、指示设备等,它们通过用户输入/输接口602与通信基础设施606通信。
计算机系统600还包括主存储器或主要存储器608,例如随机存取存储器(RAM)。主存储器608可以包括一个或多个级别的高速缓存。主存储器608中存储有控制逻辑(即计算机软件)和/或数据。
计算机系统600还可以包括一个或多个副存储设备或存储器610。副存储器610可以包括例如硬盘驱动器612和/或可移动存储设备或驱动器614。可移动存储驱动器614可以是软盘驱动器、磁带驱动器、光盘驱动器、光存储设备、磁带备份设备和/或任何其他存储设备/驱动器。
可移动存储驱动器614可以与可移动存储单元618交互。可移除存储单元618包括计算机可用或可读存储设备,计算机可用或可读存储设备上存储有计算机软件(控制逻辑)和/或数据。可移动存储单元618可以是软盘、磁带、光盘、DVD、光学存储盘和/或任何其他计算机数据存储设备。可移动存储驱动器614以公知的方式从可移动存储单元618读取和/或向可移动存储单元618写入。
根据示例性实施例,副存储器610可以包括用于允许计算机系统600访问计算机程序和/或其他指令和/或数据的其他装置、工具或其他方法。这样的装置、工具或其他方法可以包括例如可移动存储单元622和接口620。可移动存储单元622和接口620的示例可以包括程序卡盒和卡盒接口(例如在视频游戏设备中发现的)、可移动存储芯片(例如EPROM或PROM)和相关插座、记忆棒和USB端口、存储卡和相关存储卡插槽、和/或任何其他可移动存储单元和相关接口。
计算机系统600还可以包括通信或网络接口624。通信接口624使计算机系统600能够与远程设备、远程网络、远程实体等的任意组合(单独地和共同地由附图标记628表示)进行通信和交互。例如,通信接口624可以允许计算机系统600通过通信路径626与远程设备628进行通信,该通信路径可以是有线和/或无线的,并且可以包括LAN、WAN、因特网等的任意组合。控制逻辑和/或数据可以经由通信路径6260传输到计算机系统600和从计算机系统600传输出去。
在一实施例中,包括存储有控制逻辑(软件)的有形非暂时性计算机可用或可读介质的有形非暂时性装置或制造品在本文中也被称为计算机程序产品或程序存储设备。这包括但不限于计算机系统600、主存储器608、副存储器610和可移动存储单元618和622,以及体现上述任意组合的有形制造品。当由一个或多个数据处理设备(例如计算机系统600)执行这样的控制逻辑时,使得这样的数据处理设备如本文所述地操作。
基于本公开中包含的教导,对于相关领域的技术人员来说,如何使用除图6所示之外的数据处理设备、计算机系统和/或计算机架构来制作和使用本公开的实施例将是显而易见的。特别地,实施例可以使用不同于本文所描述的那些的软件、硬件和/或操作系统实现来操作。
应该理解,具体实施方式部分而不是任何其他部分旨在用于解释权利要求。其他部分可以提出发明人所设想的一个或多个但不是所有的示例性实施例,因此,不旨在以任何方式限制本公开或所附权利要求。
虽然本公开描述了示例性领域和应用的示例性实施例,但应理解,本公开不限于此。其他实施例及其修改是可能的,并且在本公开的范围和精神内。例如,在不限制本段的一般性的情况下,实施例不限于图中所示和/或本文所述的软件、硬件、固件和/或实体。此外,实施例(无论是否在本文中明确描述)对于超出本文所描述的示例的领域和应用具有显著的实用性。
本文借助于说明特定功能及其关系的实现的功能构建块描述了实施例。为了便于描述,这些功能构建块的边界在这里被任意定义。只要适当地执行指定的功能和关系(或其等价物),就可以定义替代边界。此外,替代实施例可以使用不同于本文所述的次序来执行功能块、步骤、操作、方法等。
本文中对“一个实施例”、“实施例”和“示例实施例”或类似短语的引用表明,所描述的实施例可以包括特定的特征、结构或特性,但每个实施例不一定包括特定的特征、结构或特性。此外,这样的短语不一定指的是相同的实施例。此外,当结合实施例描述特定的特征、结构或特性时,将这种特征、结构、或特性结合到其他实施例中将在相关领域的技术人员的知识范围内,无论这里是否明确提及或描述。此外,可以使用表达式“耦接”和“连接”及其派生词来描述一些实施例。这些术语不一定是彼此的同义词。例如,可以使用术语“连接”和/或“耦接”来描述一些实施例,以指示两个或更多个元件彼此直接物理或电接触。然而,术语“耦接”也可以指两个或更多个元素彼此不直接接触,但仍然相互合作或交互。
本公开的广度和范围不应受到上述任何示例性实施例的限制,而应仅根据以下权利要求及其等同物进行定义。
Claims (20)
1.一种方法,包括:
基于从与车辆相关的感测设备接收到的传感器信息,检测具有不确定运动状态的对象;
基于所述传感器信息生成第一速度值分布;
基于地图信息生成第二速度值分布;
基于接近检测到的对象的多个附加对象中的每个附加对象的运动状态生成第三速度值分布;
生成所述对象的速度值,所述速度值基于所述第一速度值分布、所述第二速度值分布和所述第三速度值分布的比较;以及
基于所述检测到的对象的所述速度值,执行驾驶操纵。
2.根据权利要求1所述的方法,其中生成所述第一速度值分布包括:
响应于所述检测到的对象的所述不确定运动状态,从所述传感器信息中提取所述检测到的对象的位置指示和所述检测到的对象的速度指示;
基于所述位置指示和所述速度指示,生成所述检测到的对象的轨迹;以及
根据所述检测到的对象的所述轨迹识别所述第一速度值分布。
3.根据权利要求1所述的方法,其中所述地图信息指示路线的速度限制或所述路线的指令中的至少一个,其中生成所述第二速度值分布包括:
识别所述检测到的对象位于所述路线上;以及
基于所述检测到的对象将在一时间窗口期间沿着所述路线移动的假设以及所述路线的所述速度限制或所述路线的所述指令中的至少一个,生成所述第二速度值分布。
4.根据权利要求1所述的方法,其中生成所述第三速度值分布包括:
基于所述传感器信息检测所述多个附加对象;
从所述多个附加对象中移除具有各自不确定运动状态的任何附加对象;
从所述多个附加对象中的剩余附加对象中移除包括静止状态或与所述对象的对象类型不同的对象类型中的至少一个的任何对象;和
基于剩余附加对象中的每个附加对象指示的相应速度,生成所述第三速度值分布。
5.根据权利要求1所述的方法,其中接近所述检测到的对象包括空间接或时间接近中的至少一种。
6.根据权利要求1所述的方法,其中所述第一速度值分布、所述第二速度值分布和所述第三速度值分布的比较包括评估与所述第一速度值分布、所述第二速度值分布以及所述第三速度值分布中的每一个相关的统计不确定性的量。
7.根据权利要求1所述的方法,其中所述检测到的对象的所述不确定运动状态是基于以下中的至少一个:与所述传感器信息相关的过度分割、与所述传感信息相关的错误信息、所述检测到的对象的遮挡、或所述检测到的对象的几何特征量。
8.一种计算系统,包括:
车辆的存储器,所述存储器被配置为存储指令;
所述车辆的处理器,所述处理器连接到所述存储器,被配置为处理存储的所述指令以:
基于从与所述车辆相关的感测设备接收到的传感器信息,检测具有不确定运动状态的对象;
基于所述传感器信息生成第一速度值分布;
基于地图信息生成第二速度值分布;
基于接近检测到的对象的多个附加对象中的每个附加对象的运动状态,生成第三速度值分布;
生成所述对象的速度值,所述速度值基于所述第一速度值分布、所述第二速度值分布和所述第三速度值分布的比较;并且
基于所述检测到的对象的所述速度值执行驾驶操纵。
9.根据权利要求8所述的系统,其中被配置为生成所述第一速度值分布的所述处理器还被配置为:
响应于所述检测到的对象的所述不确定运动状态,从所述传感器信息中提取所述检测到的对象的位置指示和所述检测到的对象的速度指示;
基于所述位置指示和所述速度指示,生成所述检测到的对象的轨迹;以及
根据所述检测到的对象的所述轨迹,识别所述第一速度值分布。
10.根据权利要求8所述的系统,其中所述地图信息指示路线的速度限制或所述路线的指令中的至少一个,其中被配置为生成所述第二速度值分布的所述处理器还被配置为:
识别所述检测到的对象位于所述路线上;以及
基于所述检测到的对象将在一时间窗口期间沿着所述路线移动的假设以及所述路线的所述速度限制或所述路线的所述指令中的至少一个,生成所述第二速度值分布。
11.根据权利要求8所述的系统,其中被配置为生成所述第三速度值分布的所述处理器还被配置为:
基于所述传感器信息来检测所述多个附加对象;
从所述多个附加对象中移除具有各自不确定运动状态的任何附加对象;
从所述多个附加对象中的剩余附加对象中移除包括静止状态或与所述对象的对象类型不同的对象类型中的至少一个的任何对象;以及
基于剩余附加对象中的每个附加对象指示的相应速度,生成所述第三速度值分布。
12.根据权利要求8所述的系统,其中接近所述检测到的对象包括空间接近或时间接近中的至少一种。
13.根据权利要求8所述的系统,其中被配置为比较所述第一速度值分布、所述第二速度值分布和所述第三速度值分布的所述处理器还被配置为评估与所述第一速度值分布、所述第二速度值分布以及所述第三速度值分布中的每一个相关的统计不确定性的量。
14.根据权利要求8所述的系统,其中所述检测到的对象的所述不确定运动状态是基于以下中的至少一个:与所述传感器信息相关的过度分割、与所述传感信息相关的错误信息、所述检测到的对象的遮挡、或所述检测到的对象的几何特征量。
15.一种存储有指令的非暂时性计算机可读介质,所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行以下操作:
基于从与车辆相关的感测设备接收到的传感器信息,检测具有不确定运动状态的对象;
基于所述传感器信息生成第一速度值分布;
基于地图信息生成第二速度值分布;
基于接近检测到的对象的多个附加对象中的每个附加对象的运动状态,生成第三速度值分布;
生成所述对象的速度值,所述速度值基于所述第一速度值分布、所述第二速度值分布和所述第三速度值分布的比较;以及
基于所述检测到的对象的所述速度值,执行驾驶操纵。
16.根据权利要求15所述的非暂时性计算机可读介质,其中生成第一速度值分布包括:
响应于所述检测到的对象的所述不确定运动状态,从所述传感器信息中提取所述检测到的对象的位置指示和所述检测到的对象的速度指示;
基于所述位置指示和所述速度指示,生成所述检测到的对象的轨迹;以及
根据所述检测到的对象的所述轨迹识别所述第一速度值分布。
17.根据权利要求15所述的非暂时性计算机可读介质,其中所述地图信息指示路线的速度限制或所述路线的指令中的至少一个,其中生成所述第二速度值分布包括:
识别所述检测到的对象位于所述路线上;以及
基于所述检测到的对象将在一时间窗口期间沿着所述路线移动的假设以及所述路线的所述速度限制或所述路线的所述指令中的至少一个,生成所述第二速度值分布。
18.根据权利要求15所述的非暂时性计算机可读介质,其中生成所述第三速度值分布包括:
基于所述传感器信息检测所述多个附加对象;
从所述多个附加对象中移除具有各自不确定运动状态的任何附加对象;
从所述多个附加对象中的剩余附加对象中移除包括静止状态或与所述对象的对象类型不同的对象类型中的至少一个的任何对象;和
基于剩余附加对象中的每个附加对象指示的相应速度,生成所述第三速度值分布。
19.根据权利要求15所述的非暂时性计算机可读介质,其中接近所述检测到的对象包括空间接近或时间接近中的至少一种。
20.根据权利要求15所述的非暂时性计算机可读介质,其中所述第一速度值分布、所述第二速度值分布和所述第三速度值分布的比较包括评估与所述第一速度值分布、所述第二速度值分布以及所述第三速度值分布中的每一个相关的统计不确定性的量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/835,824 | 2022-06-08 | ||
US17/835,824 US12043290B2 (en) | 2022-06-08 | 2022-06-08 | State identification for road actors with uncertain measurements based on compliant priors |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117184123A true CN117184123A (zh) | 2023-12-08 |
Family
ID=88874292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310674060.0A Pending CN117184123A (zh) | 2022-06-08 | 2023-06-08 | 基于顺应先验对具有不确定测量的道路行为体进行状态识别 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12043290B2 (zh) |
CN (1) | CN117184123A (zh) |
DE (1) | DE102023114643A1 (zh) |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6452535B1 (en) * | 2002-01-29 | 2002-09-17 | Ford Global Technologies, Inc. | Method and apparatus for impact crash mitigation |
US6917305B2 (en) * | 2002-09-26 | 2005-07-12 | Ford Global Technologies, Llc | Vehicle collision severity estimation system |
DE10352800A1 (de) * | 2003-11-12 | 2005-06-23 | Robert Bosch Gmbh | Vorrichtung zur Detektion von bewegten Objekten |
US8379020B2 (en) | 2008-08-25 | 2013-02-19 | Harris Corporation | Image processing device using selective neighboring voxel removal and related methods |
EP2562060B1 (en) | 2011-08-22 | 2014-10-01 | Honda Research Institute Europe GmbH | A method and system for predicting movement behavior of a target traffic object |
US8948995B2 (en) | 2012-06-28 | 2015-02-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Preceding vehicle state prediction |
WO2015148604A1 (en) | 2014-03-25 | 2015-10-01 | Massachusetts Institute Of Technology | Space-time modulated active 3d imager |
US9731713B2 (en) | 2014-09-10 | 2017-08-15 | Volkswagen Ag | Modifying autonomous vehicle driving by recognizing vehicle characteristics |
US10054678B2 (en) | 2015-07-30 | 2018-08-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Minimizing incorrect sensor data associations for autonomous vehicles |
KR101795432B1 (ko) | 2016-02-26 | 2017-11-10 | 현대자동차주식회사 | 차량 및 차량의 제어방법 |
DE102016115705B4 (de) | 2016-08-24 | 2018-07-12 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren für die Erfassung von Objekten in der Umgebung eines Fahrzeugs |
US10078334B2 (en) | 2016-12-07 | 2018-09-18 | Delphi Technologies, Inc. | Vision sensing compensation |
US10754035B2 (en) | 2017-01-17 | 2020-08-25 | Aptiv Technologies Limited | Ground classifier system for automated vehicles |
US10915112B2 (en) | 2017-03-31 | 2021-02-09 | Uatc, Llc | Autonomous vehicle system for blending sensor data |
US10677897B2 (en) | 2017-04-14 | 2020-06-09 | Luminar Technologies, Inc. | Combining lidar and camera data |
US10630913B2 (en) | 2017-04-27 | 2020-04-21 | Aptiv Technologies Limited | Lidar and camera data fusion for automated vehicle |
US10416679B2 (en) | 2017-06-27 | 2019-09-17 | GM Global Technology Operations LLC | Method and apparatus for object surface estimation using reflections delay spread |
US10545505B2 (en) | 2017-08-28 | 2020-01-28 | Toyota Research Institute, Inc | Trajectory plan modification for an autonomous vehicle operation in a heterogeneous vehicle environment |
US11467256B2 (en) | 2017-11-01 | 2022-10-11 | Luminar, Llc | Detection of crosstalk and jamming pulses with lidar system |
US10445599B1 (en) | 2018-06-13 | 2019-10-15 | Luminar Technologies, Inc. | Sensor system augmented with thermal sensor object confirmation |
US10936922B2 (en) * | 2018-06-20 | 2021-03-02 | Zoox, Inc. | Machine learning techniques |
US11126197B2 (en) | 2018-11-19 | 2021-09-21 | Waymo Llc | Verification of iterative closest point alignments for autonomous vehicles |
US11010907B1 (en) * | 2018-11-27 | 2021-05-18 | Zoox, Inc. | Bounding box selection |
US11292462B1 (en) * | 2019-05-14 | 2022-04-05 | Zoox, Inc. | Object trajectory from wheel direction |
US11209822B2 (en) * | 2019-06-28 | 2021-12-28 | Zoox, Inc. | Techniques for contacting a teleoperator |
US11994866B2 (en) * | 2019-10-02 | 2024-05-28 | Zoox, Inc. | Collision avoidance perception system |
US11427191B2 (en) * | 2019-10-31 | 2022-08-30 | Zoox, Inc. | Obstacle avoidance action |
US11532167B2 (en) * | 2019-10-31 | 2022-12-20 | Zoox, Inc. | State machine for obstacle avoidance |
US11113584B2 (en) * | 2020-02-04 | 2021-09-07 | Nio Usa, Inc. | Single frame 4D detection using deep fusion of camera image, imaging RADAR and LiDAR point cloud |
-
2022
- 2022-06-08 US US17/835,824 patent/US12043290B2/en active Active
-
2023
- 2023-06-04 DE DE102023114643.2A patent/DE102023114643A1/de active Pending
- 2023-06-08 CN CN202310674060.0A patent/CN117184123A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102023114643A1 (de) | 2023-12-14 |
US20230399026A1 (en) | 2023-12-14 |
US12043290B2 (en) | 2024-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106257242B (zh) | 用于调节道路边界的单元和方法 | |
CN110857085A (zh) | 车辆路径规划 | |
US20220242440A1 (en) | Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle | |
WO2022093948A1 (en) | Methods and systems for tracking a mover's lane over time | |
US20230415739A1 (en) | Systems and methods for controlling longitudinal acceleration based on lateral objects | |
US20230415736A1 (en) | Systems and methods for controlling longitudinal acceleration based on lateral objects | |
CN117284318A (zh) | 基于横向对象控制纵向加速度的系统和方法 | |
CN117141463A (zh) | 识别并行泊车车辆的意图和预测的系统、方法和计算机程序产品 | |
CN117197834A (zh) | 基于图像的行人的速度估计 | |
EP4141482A1 (en) | Systems and methods for validating camera calibration in real-time | |
WO2023177969A1 (en) | Method and system for assessing whether a vehicle is likely to leave an off-road parking area | |
US12043290B2 (en) | State identification for road actors with uncertain measurements based on compliant priors | |
US20240151817A1 (en) | Systems and methods for static detection based amodalization placement | |
US20230373523A1 (en) | Systems and methods for biasing a trajectory of an autonomous vehicle while moving in a lane | |
US20230237793A1 (en) | False track mitigation in object detection systems | |
US20240192369A1 (en) | Systems and methods for infant track association with radar detections for velocity transfer | |
EP4181089A1 (en) | Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques | |
US20240092358A1 (en) | Systems and methods for scene understanding | |
US20240253667A1 (en) | Methods and systems for long-term trajectory prediction by extending a prediction horizon | |
US20240075923A1 (en) | Systems and methods for deweighting veering margins based on crossing time | |
US20240101106A1 (en) | Systems and methods for scene understanding | |
US20240166231A1 (en) | Systems and methods for determining steer while stopped behavior for a vehicle using dynamic limits | |
US20240190452A1 (en) | Methods and systems for handling occlusions in operation of autonomous vehicle | |
US20230234617A1 (en) | Determining perceptual spatial relevancy of objects and road actors for automated driving | |
US20240230366A1 (en) | Handling Unmapped Speed Limit Signs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |