CN111752265B - 情景存储器中的超关联 - Google Patents
情景存储器中的超关联 Download PDFInfo
- Publication number
- CN111752265B CN111752265B CN202010169480.XA CN202010169480A CN111752265B CN 111752265 B CN111752265 B CN 111752265B CN 202010169480 A CN202010169480 A CN 202010169480A CN 111752265 B CN111752265 B CN 111752265B
- Authority
- CN
- China
- Prior art keywords
- scene
- autonomous vehicle
- scenario
- candidate
- superset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015654 memory Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000001149 cognitive effect Effects 0.000 claims description 42
- 238000011524 similarity measure Methods 0.000 claims description 5
- 239000003795 chemical substances by application Substances 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 11
- 230000003936 working memory Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001073 episodic memory Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
一种自动驾驶车辆、操作该自动驾驶车辆的系统和方法。该系统包括情景存储器、超关联模块和导航系统。情景存储器存储多个情景,响应于接收到部分前缀而再调用多个候选情景,并且响应于接收到中间情景而再调用假设情景。超关联模块从情景存储器中接收多个候选情景,并从多个候选情景中获得中间情景。导航系统使用假设情景导航自动驾驶车辆。
Description
技术领域
本主题公开涉及自动驾驶车辆,并且特别地,涉及在认知处理器的情景(episode)存储器中使用超关联来确定用于自动驾驶车辆的导航的智能体(agent)车辆的轨迹信息。
背景技术
自动驾驶车辆旨在将乘客从一个地方移动到另一地方而没有来自乘客的输入或仅有来自乘客的最少输入。这样的车辆要求具有获得关于其环境中的智能体及其可能的运动的知识并基于该知识计算自动驾驶车辆的轨迹的能力。这样的知识可以存储在称为情景的时空数据流中,并存储在内存中。因此,期望提供一种系统,该系统可以在适当的时间再调用情景,以便假设基于当前情景活动的车辆轨迹。
发明内容
在一个示例性实施例中,公开了一种操作自动驾驶车辆的方法。在自动驾驶车辆上获得部分前缀(partial prefix)。响应于在情景存储器处接收到部分前缀,从与自动驾驶车辆相关联的情景存储器再调用多个候选情景。在与自动驾驶车辆相关联的超关联模块处,将每个候选情景与部分前缀进行比较以获得中间情景。基于中间情景选择假设情景。基于假设情景来导航自动驾驶车辆。
除了本文描述的一个或多个特征之外,中间情景还用作提示,以从情景存储器中再调用一情景作为假设情景。在一个实施例中,中间情景从情景存储器中再调用一个以上的候选者,并且将由中间情景所再调用的候选者提供给超关联模块。情景存储器和超关联模块是自动驾驶车辆的认知处理器的假设器的组件,并且假设器将假设情景提供给认知处理器。超关联模块在部分前缀和每个候选情景之间应用度量,以确定部分前缀和候选情景之间的相似性。超关联模块从度量最小的多个候选情景中选择候选者作为中间情景。当针对多个候选者的度量均不满足所选标准时,超关联模块组合多个候选者中的至少一些以形成中间情景。中间情景是通过基于所述度量按等级顺序组合所述候选者来创建的。
在另一个示例性实施例中,公开了一种用于操作自动驾驶车辆的系统。该系统包括情景存储器、超关联模块和导航系统。情景存储器存储多个情景,响应于接收到部分前缀而再调用多个候选情景,并且响应于接收到中间情景而再调用假设情景。超关联模块从情景存储器接收多个候选情景,并从多个候选情景中获得中间情景。导航系统使用假设情景导航自动驾驶车辆。
除了本文描述的一个或多个特征之外,情景存储器和超关联模块是自动驾驶车辆的认知处理器的假设器的组件。超关联模块在部分前缀和多个候选情景中的每一个之间应用度量。超关联模块从度量最小的多个候选情景中选择候选情景作为中间情景。超关联模块组合多个候选情景中的至少一些,以形成中间情景。超关联模块通过基于度量按等级顺序组合候选者来创建中间情景。
在又一示例性实施例中,公开了一种自动驾驶车辆。该自动驾驶车辆包括情景存储器、超关联模块和导航系统。情景存储器存储多个情景,响应于接收到部分前缀而再调用多个候选情景,并且响应于接收到中间情景而再调用假设情景。超关联模块从情景存储器接收多个候选情景,并从多个候选情景获得中间情景。导航系统使用假设情景导航自动驾驶车辆。
除了本文描述的一个或多个特征之外,情景存储器和超关联模块是自动驾驶车辆的认知处理器的假设器的组件。超关联模块在部分前缀和多个候选情景中的每一个之间应用度量。超关联模块从度量最小的多个候选情景中选择候选情景作为中间情景。超关联模块从度量最小的多个候选情景中选择候选情景作为中间情景。超关联模块通过基于度量按等级顺序组合候选者来创建中间情景。
当结合附图考虑时,从以下详细描述,本公开的上述特征和优点以及其他特征和优点将显而易见。
附图说明
在下面的详细描述中,仅以示例的方式出现其他特征、优点和细节,该详细描述参考附图,在附图中:
图1示出了根据各个实施例的具有相关联的轨迹计划系统的自动驾驶车辆;
图2示出了包括与自动驾驶车辆或车辆模拟器集成的认知处理器的说明性控制系统;和
图3示出了适合与认知处理器一起使用的情景存储器子系统的示意图。
具体实施方式
以下描述本质上仅是示例性的,并且无意于限制本公开、其应用或用途。应当理解,在所有附图中,相应的附图标记表示相同或相应的部件和特征。如本文所使用的,术语模块是指可以包括专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或组的)以及执行一个或多个软件或固件程序的存储器的处理电路、组合逻辑电路和/或提供所述功能的其他合适的部件。
根据示例性实施例,图1示出了根据各个实施例的具有在100处描绘的相关联的轨迹计划系统的自动驾驶车辆10。通常,轨迹计划系统100确定用于自动驾驶车辆10的自动驾驶的轨迹计划。自动驾驶车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围自动驾驶车辆10的部件。车身14和底盘12可共同形成框架。车轮16和18分别在车身14的各个拐角附近旋转地联接至底盘12。
在各个实施例中,轨迹计划系统100被并入自动驾驶车辆10中。自动驾驶车辆10是例如自动控制以将乘客从一个位置运送到另一位置的车辆。自动驾驶车辆10在所示实施例中被描述为乘用车,但是应当理解,也可以使用任何其他车辆,包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)等。在各个级别上,自动驾驶车辆可以通过多种方法来协助驾驶员,例如指示即将发生的危险场景的警告信号、通过预测其他智能体的运动警告潜在的碰撞等来增强驾驶员的态势感知能力的指示符。自动驾驶车辆通过联接的辅助车辆控制一直到完全控制所有车辆功能,对该车辆进行不同级别的干预或控制。在示例性实施例中,自动驾驶车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”,是指动态驾驶任务的所有方面通过自动驾驶系统的驾驶模式特定性能,即使驾驶员没有适当地响应干预要求。五级系统表示“完全自动化”,是指在可由驾驶员管理的所有道路和环境条件下动态驾驶任务各个方面通过自动驾驶系统的全时表现。
如所示的,自动驾驶车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、认知处理器32和至少一个一个控制器34。在各个实施例中,推进系统20可包括内燃机、诸如牵引马达的电机和/或燃料电池推进系统。传动系统22构造成根据可选择的速比将动力从推进系统20传递到车轮16和18。根据各个实施例,传动系统22可包括有级传动比的自动变速器、无级变速器或其他合适的变速器。制动系统26被配置为向车轮16和18提供制动扭矩。在各个实施例中,制动系统26可以包括摩擦制动器、线控制动,诸如电机的再生制动系统和/或其他适当的制动系统。转向系统24影响车轮16和18的位置。尽管出于说明性目的被描绘为包括方向盘,但是在本公开范围内预期的一些实施例中,转向系统24可以不包括方向盘。
传感器系统28包括一个或多个感测设备40a-40n,其感测自动驾驶车辆10的外部环境和/或内部环境的可观察到的状况。感测设备40a-40n可以包括但不限于,雷达、激光雷达、全球定位系统、光学相机、热像仪、超声传感器和/或其他传感器。感测设备40a-40n获得与车辆环境内的各种对象或智能体50有关的测量值或数据。这样的智能体50可以是但不限于其他车辆、行人、自行车、摩托车等,以及不移动的对象。感测设备40a-40n还可以获得交通数据,例如关于交通信号和标志的信息等。
致动器系统30包括一个或多个致动器设备42a-42n,其控制一个或多个车辆特征,例如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各个实施例中,车辆特征还可以包括内部和/或外部车辆特征,例如但不限于门、行李箱和舱室特征,例如通风、音乐、照明等(未编号)。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或可商购的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(为微芯片或芯片组的形式)、宏处理器、其任何组合或通常用于执行指令的任何设备。例如,计算机可读存储设备或介质46可以包括易失性和非易失性存储器,其例如为只读存储器(ROM)、随机存取存储器(RAM)和持续连接存储器(KAM)。KAM是持久性或非易失性存储器,其可以在处理器44掉电时用于存储各种操作变量。计算机可读存储设备或介质46可以使用许多已知的存储设备中的任何一种来实现,例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或任何一种能够存储数据的其他电、磁、光或组合存储设备,其中一些表示可执行指令,由控制器34在控制自动驾驶车辆10中使用。
指令可以包括一个或多个单独的程序,每个程序包括用于实现逻辑功能的可执行指令的有序列表。指令在由处理器44执行时,接收并处理来自传感器系统28的信号,执行用于自动控制自动驾驶车辆10的部件的逻辑、计算、方法和/或算法,并生成至致动器系统30的控制信号,以基于所述逻辑、计算、方法和/或算法自动控制自动驾驶车辆10的部件。
控制器34进一步与认知处理器32通信。认知处理器32从控制器34和从传感器系统28的感测设备40a-40n接收各种数据,并执行各种计算以向控制器34提供轨迹以使控制器34经由一个或多个致动器设备42a-42n以在自动驾驶车辆10处实施。关于图2提供了对认知处理器32的详细讨论。
图2示出了包括与自动驾驶车辆10集成的认知处理器32的说明性控制系统200。在各个实施例中,自动驾驶车辆10可以是车辆模拟器,其模拟用于自动驾驶车辆10的各种驾驶场景并且模拟自动驾驶车辆10对该场景的各种响应。
自动驾驶车辆10包括数据采集系统204(例如,图1的传感器40a-40n)。数据获取系统204获得用于确定自动驾驶车辆10的状态的各种数据以及自动驾驶车辆10的环境中的各种智能体。这种数据包括但不限于自动驾驶车辆10的运动学数据、位置或姿势数据等以及关于其他智能体的数据,包括范围、相对速度(多普勒)、仰角、角度位置等。自动驾驶车辆10还包括发送模块206,该发送模块打包获取的数据并发送打包的数据到到认知处理器32的通信接口208,如下所述的。自动驾驶车辆10还包括接收模块202,其从认知处理器32接收操作命令并在自动驾驶车辆10处执行命令以导航自动驾驶车辆10。认知处理器32从自动驾驶车辆10接收数据,基于所提供的状态信息和本文公开的方法计算用于自动驾驶车辆10的轨迹,并且在接收模块202处将轨迹提供给自动驾驶车辆10。然后,自动驾驶车辆10实现由认知处理器32提供的轨迹。
认知处理器32包括用于与自动驾驶车辆10通信的各种模块,包括用于从自动驾驶车辆10接收数据的接口模块208和用于向自动驾驶车辆10发送诸如轨迹的指令的轨迹发送器222。认知处理器32还包括工作存储器210,其存储从自动驾驶车辆10接收的各种数据以及认知处理器32的各种中间计算结果。认知处理器32的假设器模块212用于使用存储在工作存储器210中的多种可能的预测方法和状态数据来提出各种假设轨迹以及在所述自动驾驶车辆10的环境中的一个或多个智能体的运动。认知处理器32的假设解析器214接收用于环境中的每个智能体的多个假设轨迹并从多个假设轨迹确定用于每个智能体的最可能的轨迹。
认知处理器32还包括一个或多个决策器模块216和决策解析器218。决策器模块216从假设解析器214接收环境中每个智能体的最可能轨迹,并基于最可能的智能体轨迹来计算用于自动驾驶车辆10的多个候选轨迹和行为。多个候选轨迹和行为中的每一个被提供给决策解析器218。决策解析器218从候选轨迹和行为中选择或确定用于自动驾驶车辆10的最优或期望轨迹和行为。
认知处理器32还包括确定提供给自动驾驶车辆10的自动驾驶车辆轨迹的轨迹计划器220。轨迹计划器220从决策解析器218接收车辆行为和轨迹、从假设解析器214接收针对每个智能体50的最优假设,以及接收为“状态数据”形式的最新环境信息以调整轨迹计划。轨迹计划器220处的该附加步骤确保针对来自数据获取系统204的最新感测数据来检查智能体假设的异步计算中的任何异常处理延迟。该附加步骤相应地在轨迹计划器220中的最终轨迹计算中更新最佳假设。
将确定的车辆轨迹从轨迹计划器220提供给轨迹发送器222,轨迹发送器222向自动驾驶车辆10提供轨迹消息(例如,在控制器34处),以在自动驾驶车辆10上实施。
认知处理器32还包括调制器230,该调制器控制用于假设器模块212和决策器模块216的各种限制和阈值。调制器230还可以对用于假设解析器214的参数施加改变以影响它如何选择用于给定智能体50、决策器和决策解析器的最佳假设对象。调制器230是使架构自适应的鉴别器。调制器230可以通过改变算法本身中的参数来改变执行的计算以及确定性计算的实际结果。
认知处理器32的评估器模块232计算背景信息并将其提供给认知处理器,包括错误测度、假设置信测度、环境的复杂性测度和自动驾驶车辆10状态的测度、给定包括智能体假设和自动驾驶轨迹(历史的或未来的)的环境信息对自动驾驶车辆10的性能评估。调制器230接收来自评估器232的信息,以计算对假设器212、假设解析器214、决策器216的处理参数的改变,以及对决策解析器218的阈值决策解析度参数的改变。虚拟控制器224实现轨迹消息并响应该轨迹确定各个智能体50的前馈轨迹。
调制作为对评估器模块232测量的不确定性的响应而发生。在一个实施例中,调制器230接收与假设对象相关的置信水平。可以在单个时间点或在选定的时间窗口内从假设对象收集这些置信水平。时间窗口可以是可变的。评估器模块232确定这些置信度水平的分布的熵。另外,还可以在评估器模块232中收集和评估假设对象的历史误差度量。
这些类型的评估用作认知处理器32的内部背景和不确定性测度。来自评估器模块232的这些背景信号用于假设解析器214、决策解析器218和调制器230,它们可以基于计算的结果改变用于假设器模块212的参数。
认知处理器32的各个模块彼此独立地操作,并且以单独的更新速率(例如,在图2中,由LCM-Hz、h-Hz、d-Hz、e-Hz、m-Hz、t-Hz表示)。
在操作中,认知处理器32的接口模块208在数据接收器208a处从自动驾驶车辆10的发送模块206接收打包的数据,并在数据剖析器208b处剖析接收到的数据。数据剖析器208b将数据置于一种数据格式(在本文中称为属性包),该数据格式可以存储在工作存储器210中,并由认知处理器32的各种假设器模块212、决策器模块216等使用。这些数据格式的特定类结构不应视为对本发明的限制。
工作存储器210在可配置的时间窗口期间从属性包的集合中提取信息,以构造自动驾驶车辆和各种智能体的快照。这些快照以固定的频率发布,并推送到订阅模块。由工作存储器210从属性包创建的数据结构是“状态”数据结构,其包含根据时间戳组织的信息。因此,生成的快照序列包含另一个车辆或智能体的动态状态信息。选定的状态数据结构中的属性包包含有关对象的信息,例如其他智能体、自动驾驶车辆、路线信息等。用于对象的属性包包含有关对象的详细信息,例如对象的位置、速度、方位角等。该状态数据结构流过整个认知处理器32的其余部分中以进行计算。状态数据可以引用自动驾驶车辆状态以及智能体状态等。
假设器模块212从工作存储器210中提取状态数据,以便在选定的时间范围或时间步长上计算本地环境中智能体的可能结果。替代地,工作存储器210可以将状态数据推送到假设器模块212。假设器模块212可以包括多个假设器模块,多个假设器模块中的每一个采用不同的方法或技术来确定智能体的可能结果。一个假设器模块可以使用运动模型来确定可能的结果,该运动模型将基本物理和力学应用于工作存储器210中的数据,以便预测每个智能体50的后续状态。其他假设器模块可以通过以下方式预测每个智能体50的后续状态:例如,对数据采用运动学回归树、对数据应用高斯混合模型/马尔可夫混合模型(GMM-HMM)、对数据应用递归神经网络(RNN)、其他机器学习过程、对数据执行基于逻辑的推理等。假设器模块212是认知处理器32的模块化组件,并且可以根据需要从认知处理器32添加或删除。
每个假设器模块212包括用于预测智能体行为的假设类。假设类包括用于假设对象的规范和一组算法。一旦调用,就从假设类为智能体创建假设对象。假设对象遵守假设类的规范,并使用假设类的算法。多个假设对象可以彼此并行运行。每个假设器模块212基于工作当前数据为每个智能体50创建其自己的预测,并将该预测发送回工作存储器210以供存储和将来使用。当新数据被提供给工作存储器210时,每个假设器模块212更新其假设并且将更新的假设推回到工作存储器210中。每个假设器模块212可以选择以其自己的更新速率(例如,速率h-Hz)更新其假设。每个假设器模块212可以单独地充当订阅服务,其更新的假设从该订阅服务被推送到相关模块。
假设器模块212产生的每个假设对象都是状态数据结构形式的对时间向量、对诸如位置、速度、方位等已定义实体的预测。在一个实施例中,(一个或多个)假设器模块212可以包含碰撞检测模块,该碰撞检测模块可以改变与预测有关的信息的前馈流。具体地,如果假设器模块212预测两个智能体50的碰撞,则可以调用另一个假设器模块以对假设对象产生调整,以便考虑到预期的碰撞或向其他模块发送警告标记以尝试减轻危险场景或改变行为以避免危险场景。
对于每个智能体50,假设解析器118接收相关的假设对象,并从假设对象中选择单个假设对象。在一个实施例中,假设解析器118调用简单的选择过程。替代地,假设解析器118可以调用各种假设对象上的融合过程,以生成混合假设对象。
由于认知处理器的架构是异步的,因此如果实现为假设对象的计算方法花费更长的时间才能完成,则假设解析器118和下游决策器模块216在最早可用的时间通过订阅推送过程从该特定的假设器模块接收假设对象。与假设对象关联的时间戳会通知下游模块用于该假设对象的相关时间范围,从而允许与假设对象和/或来自其他模块的状态数据进行同步。假设对象的预测所适用的时间跨度因此跨模块在时间上配准。
例如,当决策器模块216接收假设对象时,决策器模块216将假设对象的时间戳与用于自动驾驶车辆10的最新数据(即速度、位置、方位等)的时间戳进行比较。如果认为假设对象的时间戳太旧(例如,通过选定的时间标准使自动驾驶车辆数据早于日期),则可以忽略假设对象,直到接收到更新的假设对象。轨迹计划器220还执行基于最新信息的更新。
决策器模块216包括产生用于自动驾驶车辆10的为轨迹和行为形式的各种候选决策的模块。决策器模块216从假设解析器214接收针对每个智能体50的假设并使用这些假设和用于自动驾驶车辆10的名义目标轨迹作为约束。决策器模块216可以包括多个决策器模块,其中多个决策器模块中的每个使用不同的方法或技术来确定用于自动驾驶车辆10的可能轨迹或行为。每个决策器模块可以异步操作并接收来自工作存储器212的各种输入状态,例如由假设解析器214产生的假设。决策器模块216是模块化组件,并且可以根据需要从认知处理器32中添加或删除。每个决策器模块216可以其自己的更新速率(例如,速率d-Hz)更新其决策。
类似于假设器模块212,决策器模块216包括用于预测自动驾驶车辆轨迹和/或行为的决策器类。决策程序类包括用于决策程序对象的规范和一组算法。一旦被调用,就从决策器类为智能体50创建决策器对象。决策器对象遵守决策器类的规范,并使用决策器类的算法。多个决策器对象可以彼此并行运行。
决策解析器218接收由一个或多个决策器模块生成的各种决策,并产生用于自动驾驶车辆10的单个轨迹和行为对象。决策解析器还可以从评估器模块232接收各种背景信息,其中背景信息被采用以产生轨迹和行为对象。
轨迹计划器220从决策解析器218接收轨迹和行为对象连同自动驾驶车辆10的状态。轨迹计划器220然后生成轨迹消息,该消息被提供给轨迹发送器222。轨迹发送器222使用适合于与自动驾驶车辆10通信的格式,将轨迹消息提供给自动驾驶车辆10以在自动驾驶车辆10处实施。
轨迹发送器222还向虚拟控制器224发送轨迹消息。虚拟控制器224在前馈回路中为认知处理器32提供数据。在随后的计算中发送给假设模块212的轨迹是由虚拟控制器224进行优化以模拟由于尝试遵循该轨迹而导致的自动驾驶车辆10的一组未来状态。假设器模块212使用这些未来状态来执行前馈预测。
认知处理器32的各个方面提供反馈回路。虚拟控制器224提供第一反馈回路。虚拟控制器224基于提供的轨迹来模拟自动驾驶车辆10的操作,并响应于自动驾驶车辆10所采取的轨迹来确定或预测每个智能体50采取的未来状态。可以将智能体的这些未来状态作为第一反馈回路的一部分提供给假设器模块。
由于各个模块将在其计算中使用历史信息以便学习和更新参数,因此发生第二反馈循环。假设粘合剂模块212例如可以实施其自己的缓冲器以便存储历史状态数据,无论状态数据是来自观察还是来自预测(例如,来自虚拟控制器224)。例如,在采用运动学回归树的假设器模块212中,用于每个智能体的历史观测数据被存储几秒钟,并在计算中用于状态预测。
假设解析器214在其设计中也具有反馈,因为它也利用历史信息进行计算。在这种情况下,有关观察的历史信息将用于及时计算预测误差,并使用预测误差调整假设解析度参数。滑动窗口可用于选择历史信息,该历史信息用于计算预测误差和用于学习假设解析度参数。对于短期学习,滑动窗口控制假设解析器214的参数的更新率。在较大的时间尺度上,可以在所选情景(例如左转情景)期间聚合预测误差,并在该情景之后将其用于更新参数。
决策解析器218还将历史信息用于反馈计算。有关自动驾驶车辆轨迹性能的历史信息用于计算最佳决策并相应地调整决策解析度参数。该学习可以在决策解析器218处以多个时间尺度发生。在最短的时间尺度内,使用评估器模块232连续计算有关性能的信息,并将其反馈给决策解析器218。例如,可以使用一种算法基于多个度量以及其他背景信息来提供有关决策器模块提供的轨迹性能的信息。该背景信息可以在强化学习过程中用作奖励信号,以在各种时间尺度内操作决策解析器218。反馈可以与决策解析器218异步,并且决策解析器218可以在接收到反馈时进行调整。
图3示出了适合与认知处理器32一起使用的情景存储器子系统300的示意图。情景存储器子系统300可以用作认知处理器32的假设器212,但是可以在替代实施例中用于认知处理器32的其他模块中。情景存储器子系统300包括情景存储器302、超关联控制器304和调制器306。
该子系统300用于接收当前情景(在本文中称为“部分前缀”),并输出存储在情景存储器302中的情景作为假设情景,其可以在认知处理器32中用于导航目的。情景存储器302存储在车辆10的操作期间获得的多个情景。情景是场景内对象的观察到的时空数据序列。为了再调用存储在情景存储器302中的情景,在情景存储器处接收部分前缀310。部分前缀310是当前在驾驶时已在车辆上检索到的时空数据序列。部分前缀310用于在情景存储器302处发起再调用过程以检索情景候选者。将存储在情景存储器302中的情景与部分前缀310进行比较,并且将那些使部分前缀与所选量匹配的情景被检索为情景候选者。
情景候选者被提供给超关联控制器304。超关联控制器304将每个候选者与部分前缀进行比较,以确定可以用来产生最终超集情景314的中间情景,所述最终超集情景作为假设情景提供给认知处理器32。由于时空数据流的复杂性,部分前缀310不太可能与任何特定情景候选者完全匹配。因此,使部分前缀310与情景候选者匹配包括定义度量或相似性测度以及基于度量或相似性测度的选择准则。在各个实施例中,度量可以是L2范数(norm)。调制器306可以用于提供选择标准。根据候选者与部分前缀310匹配的程度(即,度量的尺寸)对每个候选情景进行排名。具有最小度量(或最高相似性)的候选者可以被选择作为中间超集情景312。
当再调用的情景候选者均不满足该标准时,超关联模块304可以将情景候选者一个接一个地组合,以创建中间超集情景312。可以按从最相似到最不相似的顺序对候选进行组合。然后可以将中间超集情景312提供回情景存储器。在情景存储器中,中间情景312被用来触发情景的另一再调用。中间情景312再调用可以在认知处理器32处用作假设情景的情景。
如果中间超集情景312再调用多于一个情景,则可以将这些情景作为情景候选者提供给超关联模块304。情景存储器302和超关联模块304因此形成反馈回路,该反馈回路可以循环通过直到从情景存储器302调出单个情景以用作假设情景。
在各个实施例中,一旦产生了假设情景,则部分前缀可以被存储在情景存储器中以用作所存储的情景。
本文公开的产生假设情景的方法具有与各种训练集一起工作的优点。通常,情景训练集不是包含合理应用的所有可能情景的完整集。可以提供完整的情景训练集,但需要高存储要求。此外,随着驾驶环境的变化,即使是完整的训练集也可能变得不完整。本文公开的方法能够有效地处理不完整的情景训练集。
情景存储器302包括基于集体散列(collective hash-based)的事件数据库,该数据库通过在情景之间共享相同的事件来减少存储情景所需的存储量。当存储的情景的事件不存在于数据库中,则存储的情景的事件与它们的情景分开并放入公共事件数据库中。
当在数据库中找到相同的事件时,这些事件被共享。多个情景在数据库中共享相同的事件,而不是自己保留其实例。同样,当一个事件在一个情景中多次发生时,该情景在数据库中共享同一事件,而不是在其自身中保留相同的多个实例。
散列函数可以用于促进基于散列的事件数据库中的事件的访问。合适的散列函数可以将散列键映射到相应的事件或一些候选事件,以减少所需的比较次数,直到找到匹配的事件为止。
存储的情景的公共事件序列图结构减少了具有部分前缀的匹配情景的检索时间。当多个情景在其序列中有许多共同事件时,它们在该图中共享相同的主路径,每当遇到不同的事件情景时便分支到其他路径,并在有共同事件时合并回到主路径。这些共享节点表示多个情景中的事件。将部分前缀中的事件与共享节点进行比较,具有将部分前缀与共享节点的多个情景进行比较的相同效果。
尽管已经参考示例性实施例描述了以上公开,但是本领域技术人员将理解,在不脱离本发明范围的情况下,可以进行各种改变并且可以用等同物代替其要素。另外,在不脱离本公开的实质范围的情况下,可以做出许多修改以使特定情况或材料适应本公开的教导。因此,意图是本公开不限于所公开的特定实施例,而是将包括落入其范围内的所有实施例。
Claims (9)
1.一种操作自动驾驶车辆的方法,包括
在自动驾驶车辆上获得部分前缀,其中该部分前缀是观察到的场景内对象的时空数据序列;
响应于在情景存储器处接收到所述部分前缀,从与自动驾驶车辆相关联的情景存储器中再调用多个候选情景,其中该多个候选情景是时空数据序列;
在与自动驾驶车辆相关联的超关联模块处,将多个候选情景与所述部分前缀进行比较以获得多个候选情景中的每个的相似性度量;
当没有相似性度量满足标准时,基于度量以等级的顺序组合候选者以获得中间超集情景;
使用该所述中间超集情景从所述情景存储器调用一假设情景;和
基于所述假设情景导航自动驾驶车辆。
2.如权利要求1所述的方法,其中,所述中间超集情景从所述情景存储器再调用多于一个的候选者,还包括将由所述中间超集情景再调用的候选者提供给所述超关联模块。
3.如权利要求1所述的方法,其中所述情景存储器和超关联模块是自动驾驶车辆的认知处理器的假设器的部件,并且假设器向认知处理器提供假设情景。
4.如权利要求1所述的方法,其中,所述超关联模块从具有最小度量的所述多个候选情景中选择一候选情景作为所述中间超集情景。
5.如权利要求1所述的方法,还包括通过按照从最相似到最不相似的顺序对候选者进行组合来创建中间超集情景。
6.一种用于操作自动驾驶车辆的系统,包括
情景存储器,用于存储多个情景并响应于接收到部分前缀而再调用多个候选情景其中所述部分前缀是场景内的对象的观察到的时空数据序列,并且所述多个候选情景是时空数据序列;
超关联模块,被配置为从情景存储器中接收多个候选情景将多个候选情景与部分前缀进行比较,以获得多个候选情景中的每个的相似性度量,并且当没有相似性度量满足标准时,基于度量以等级的顺序组合候选者,以获得中间超集情景,其中情景存储器使用中间超集情景调用一假设情景;和
导航系统,被配置为使用所述假设情景来导航所述自动驾驶车辆。
7.如权利要求6所述的系统,其中,所述情景存储器和所述超关联模块是自动驾驶车辆的认知处理器的假设器的部件。
8.如权利要求6所述的系统,其中,所述超关联模块从具有最小度量的所述多个候选情景中选择一候选情景作为所述中间超集情景。
9.如权利要求6所述的系统,其中,所述超关联模块通过按照从最相似到最不相似的顺序对候选者进行组合来创建所述中间超集情景。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/365,517 US11320820B2 (en) | 2019-03-26 | 2019-03-26 | Hyperassociation in episode memory |
US16/365,517 | 2019-03-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111752265A CN111752265A (zh) | 2020-10-09 |
CN111752265B true CN111752265B (zh) | 2024-04-05 |
Family
ID=72605758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010169480.XA Active CN111752265B (zh) | 2019-03-26 | 2020-03-12 | 情景存储器中的超关联 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11320820B2 (zh) |
CN (1) | CN111752265B (zh) |
DE (1) | DE102020103754A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11941015B2 (en) * | 2019-12-24 | 2024-03-26 | Consilient Labs Inc. | Episodic memory stores, data ingestion and query systems for same, including examples of autonomous smart agents |
US12085945B2 (en) * | 2020-07-13 | 2024-09-10 | Baidu Usa Llc | Random shift based path centering system for autonomous vehicles |
US20220308581A1 (en) * | 2021-03-23 | 2022-09-29 | Honda Motor Co., Ltd. | System and method for completing continual multi-agent trajectory forecasting |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003118484A (ja) * | 2001-10-09 | 2003-04-23 | Mitsubishi Motors Corp | 車両用左右確認装置 |
CN106371445A (zh) * | 2016-11-17 | 2017-02-01 | 浙江大学 | 一种基于拓扑地图的无人车规划控制方法 |
CN106529466A (zh) * | 2016-11-03 | 2017-03-22 | 中国兵器工业计算机应用技术研究所 | 一种基于仿生眼的无人驾驶车辆路径规划方法及系统 |
CN106871915A (zh) * | 2015-12-04 | 2017-06-20 | 大众汽车有限公司 | 在机动车中用于自动驾驶的方法和装置 |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建系统 |
CN107300917A (zh) * | 2017-05-23 | 2017-10-27 | 北京理工大学 | 一种基于分层架构的视觉slam后端优化方法 |
CN108133484A (zh) * | 2017-12-22 | 2018-06-08 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
US10019011B1 (en) * | 2017-10-09 | 2018-07-10 | Uber Technologies, Inc. | Autonomous vehicles featuring machine-learned yield model |
US10031526B1 (en) * | 2017-07-03 | 2018-07-24 | Baidu Usa Llc | Vision-based driving scenario generator for autonomous driving simulation |
CN108803623A (zh) * | 2017-10-22 | 2018-11-13 | 怀效宁 | 一种自动驾驶车辆个性化行车的方法和行车合法化的系统 |
CN109186616A (zh) * | 2018-09-20 | 2019-01-11 | 禾多科技(北京)有限公司 | 基于高精度地图和场景检索的车道线辅助定位方法 |
CN109491375A (zh) * | 2017-09-13 | 2019-03-19 | 百度(美国)有限责任公司 | 用于自动驾驶车辆的基于驾驶场景的路径规划 |
CN109492074A (zh) * | 2018-11-22 | 2019-03-19 | 广州小鹏汽车科技有限公司 | 基于天气信息的智能问候方法、系统、存储介质及汽车 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004028763A1 (de) * | 2004-06-16 | 2006-01-19 | Daimlerchrysler Ag | Andockassistent |
US10896202B2 (en) * | 2017-01-26 | 2021-01-19 | Hrl Laboratories, Llc | Scalable and efficient episodic memory in cognitive processing for automated systems |
US10402687B2 (en) * | 2017-07-05 | 2019-09-03 | Perceptive Automata, Inc. | System and method of predicting human interaction with vehicles |
US20190126921A1 (en) * | 2018-12-20 | 2019-05-02 | Intel Corporation | Computer-assisted or autonomous driving method and apparatus with consideration for travelers' intent |
US20200249674A1 (en) * | 2019-02-05 | 2020-08-06 | Nvidia Corporation | Combined prediction and path planning for autonomous objects using neural networks |
US11579629B2 (en) * | 2019-03-15 | 2023-02-14 | Nvidia Corporation | Temporal information prediction in autonomous machine applications |
JP6976280B2 (ja) * | 2019-03-28 | 2021-12-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
-
2019
- 2019-03-26 US US16/365,517 patent/US11320820B2/en active Active
-
2020
- 2020-02-13 DE DE102020103754.6A patent/DE102020103754A1/de active Pending
- 2020-03-12 CN CN202010169480.XA patent/CN111752265B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003118484A (ja) * | 2001-10-09 | 2003-04-23 | Mitsubishi Motors Corp | 車両用左右確認装置 |
CN106871915A (zh) * | 2015-12-04 | 2017-06-20 | 大众汽车有限公司 | 在机动车中用于自动驾驶的方法和装置 |
CN106529466A (zh) * | 2016-11-03 | 2017-03-22 | 中国兵器工业计算机应用技术研究所 | 一种基于仿生眼的无人驾驶车辆路径规划方法及系统 |
CN106371445A (zh) * | 2016-11-17 | 2017-02-01 | 浙江大学 | 一种基于拓扑地图的无人车规划控制方法 |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建系统 |
CN107300917A (zh) * | 2017-05-23 | 2017-10-27 | 北京理工大学 | 一种基于分层架构的视觉slam后端优化方法 |
US10031526B1 (en) * | 2017-07-03 | 2018-07-24 | Baidu Usa Llc | Vision-based driving scenario generator for autonomous driving simulation |
CN109491375A (zh) * | 2017-09-13 | 2019-03-19 | 百度(美国)有限责任公司 | 用于自动驾驶车辆的基于驾驶场景的路径规划 |
US10019011B1 (en) * | 2017-10-09 | 2018-07-10 | Uber Technologies, Inc. | Autonomous vehicles featuring machine-learned yield model |
CN108803623A (zh) * | 2017-10-22 | 2018-11-13 | 怀效宁 | 一种自动驾驶车辆个性化行车的方法和行车合法化的系统 |
CN108133484A (zh) * | 2017-12-22 | 2018-06-08 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
CN109186616A (zh) * | 2018-09-20 | 2019-01-11 | 禾多科技(北京)有限公司 | 基于高精度地图和场景检索的车道线辅助定位方法 |
CN109492074A (zh) * | 2018-11-22 | 2019-03-19 | 广州小鹏汽车科技有限公司 | 基于天气信息的智能问候方法、系统、存储介质及汽车 |
Non-Patent Citations (3)
Title |
---|
一种基于高级驱动辅助系统快速时空立体匹配方法;朱素杰;王萌;;信息技术与网络安全(第08期);论文第49-53页 * |
基于地面特征块匹配的机器视觉用于平整地面AGV行驶轨迹计算方法;王凡;邢彦文;;计算机与现代化(第10期);论文第47-51页 * |
基于特征融合的视觉导航智能车辆的车道识别;李进;陈杰平;易克传;徐朝胜;;汽车工程(第05期);论文第101-106页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111752265A (zh) | 2020-10-09 |
US20200310423A1 (en) | 2020-10-01 |
US11320820B2 (en) | 2022-05-03 |
DE102020103754A1 (de) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111736142B (zh) | 用于雷达交叉交通跟踪和操纵风险评估的系统和方法 | |
CN111752265B (zh) | 情景存储器中的超关联 | |
CN109421742A (zh) | 用于监测自主车辆的方法和设备 | |
EP3971526B1 (en) | Path planning in autonomous driving environments | |
US20200310420A1 (en) | System and method to train and select a best solution in a dynamical system | |
US20210118245A1 (en) | Performance monitoring and evaluation of a vehicle adas or autonomous driving feature | |
US20220177000A1 (en) | Identification of driving maneuvers to inform performance grading and control in autonomous vehicles | |
US20220324440A1 (en) | Method for operating an autonomous driving function of a vehicle | |
KR20220116319A (ko) | 지능형 차량 제어 방법, 장치 및 제어 시스템 | |
CN111746548A (zh) | 用于自主驾驶中的感测的推理系统 | |
US11810006B2 (en) | System for extending functionality of hypotheses generated by symbolic/logic-based reasoning systems | |
EP3966081A1 (en) | A method for determining if a vehicle control command precludes a future vehicle safety maneuver | |
CN112446466A (zh) | 在深度神经网络中测量置信度 | |
WO2022115216A2 (en) | Method and system for determining a mover model for motion forecasting in autonomous vehicle control | |
CN111762146A (zh) | 用于自主驾驶系统的使用空间和时间交通信息的在线驾驶性能评估 | |
CN111746556B (zh) | 用于自主系统的状况复杂度量化 | |
CN111746554A (zh) | 自主系统中的认知处理器前馈和反馈集成 | |
US20210394794A1 (en) | Assessment of a vehicle control system | |
US11462020B2 (en) | Temporal CNN rear impact alert system | |
US11814076B2 (en) | System and method for autonomous vehicle performance grading based on human reasoning | |
US20230073933A1 (en) | Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components | |
US20230326346A1 (en) | Track Associations at Least Partially Based on Low Confidence Detections | |
US20230322267A1 (en) | Autonomous lane merging system and method | |
US20240092365A1 (en) | Estimation device, estimation method, and program | |
US20240140486A1 (en) | Methods and apparatuses for closed-loop evaluation for autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |