CN108372857B - 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知 - Google Patents

自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知 Download PDF

Info

Publication number
CN108372857B
CN108372857B CN201810068341.0A CN201810068341A CN108372857B CN 108372857 B CN108372857 B CN 108372857B CN 201810068341 A CN201810068341 A CN 201810068341A CN 108372857 B CN108372857 B CN 108372857B
Authority
CN
China
Prior art keywords
information
episode
response
vehicle
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810068341.0A
Other languages
English (en)
Other versions
CN108372857A (zh
Inventor
H·权
Y·乔
R·巴特查里亚
M·J·戴利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108372857A publication Critical patent/CN108372857A/zh
Application granted granted Critical
Publication of CN108372857B publication Critical patent/CN108372857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明教导了一种用于自主车辆控制系统中的数据处理的系统和方法。利用从车辆、网络接口和安装在车辆上的传感器获得的信息，系统可以在不损失关键细节的情况下，以较少的计算复杂性感知周围的情况，然后进行导航和控制决策。该系统和方法可用于生成情境感知事件，存储它们，并回顾以预测情况用于自主驾驶。

Description

自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景 感知
技术领域
本发明涉及由自动驾驶系统控制的车辆，具体涉及那些配置为在驾驶循环期间自动控制车辆、加速和制动而无需人为干预的车辆。具体地，本发明教导了一种用于将环境信息和对象信息转换为在自主车辆控制期间进行保存、索引和回顾的情节事件结构的系统和方法。
背景技术
现代车辆的操作正在变得更加自动化，即能够以越来越少的驾驶员干预来提供驾驶控制。车辆自动化已经被归类为从零到五的数字水平，零对应完全人为控制没有自动化，五对应没有人为控制完全自动化。各种自动化驾驶员辅助系统，如巡航控制、自适应巡航控制和停车辅助系统，对应较低的自动化水平，而真正的“无人驾驶”车辆对应较高的自动化水平。
出于安全考虑，适当的情景感知对自主驾驶是至关重要的。尽管可期望将所有信息放入自主驾驶决策过程，然而，为了实际的实施，将数据输入系统应该是有限的和可管理的；因此需要为效率和充分性做好设计以作出决策。自主车辆通常必须产生数据结构来感知车辆周围的情景。通过安装在自主车辆上的传感器，大量的信息被传送到系统；因此，有效分析所有感知数据用于安全驾驶是至关重要的。感知其周围的情景，在计算过程中减少复杂度，而不丢失关键细节，以改进导航和控制决策，这将是可取的。
发明内容
根据本发明的实施例提供了许多优点。例如，根据本发明的实施例可以使自主车辆控制命令的独立验证有助于诊断主控制系统中的软件或硬件条件。因此，根据本发明的实施例可以更加稳定，增加客户满意度。
本发明描述了一种方法，其包含：经由车辆传感器接收第一多个信息，经由网络接口接收第二多个信息，生成响应于第一多个信息和第二多个信息的临时顺序的情节，经由车辆传感器接收第三多个信息，经由网络接口接收第四多个信息，生成响应于第三多个信息和第四多个信息的事件，比较情节和事件以生成事件的预测结果，并生产响应于预测结果的控制信号。一种方法，其包括：通过车辆传感器接收第一多个信息；通过网络接口接收第二多个信息；响应于第一多个信息和第二多个信息的时间顺序生成情节；通过车辆传感器接收第三多个信息；通过网络接口接收第四多个信息；响应于第三多个信息和第四多个信息生成事件；将情节与事件进行比较，以生成事件的预测结果；以及响应于预测结果生成控制信号。
本发明的另一个方面描述了一种用于控制自主车辆的设备，其包括：传感器，其用于响应于在自主车辆周围检测到的至少一个对象确定以自我为中心的信息；网络接口，其接收在自主车辆的当前位置附近的至少一个特征的以地理为中心的信息；处理器，其用于为响应于以自我为中心的信息和以地理为中心的信息生成组合坐标系，用于响应于在第一持续时间观察到的组合坐标系编译时间情节，用于响应于在第二持续时间观察到的组合坐标系编译事件，用于比较事件和情节以预测事件的预测结果，以及用于响应于预测结果生成控制信号；和控制器，其用于响应于控制信号控制自主车辆。
本发明的另一个方面描述了一种设备，其包括：车辆传感器，其用于接收第一多个信息和第三多个信息；网络接口，其用于接收第二多个信息和第四多个信息；以及处理器，其用于响应于第一多个信息和第二多个信息的时间顺序生成情节，用于响应于第三多个信息和第四多个信息的时间顺序生成事件，用于将情节与事件进行比较以生成事件的预测结果；以及用于响应于预测结果生成控制信号。
本发明的上述优点和其它优点和特征将从与附图相关的优选实施例的以下详细描述中看出。
附图说明
图1是根据实施例的包括自主控制车辆的通信系统的示意图；
图2是根据一个实施例的车辆自动驾驶系统(ADS)的示意框图。
图3是通过事件发生和情节记忆回顾进行有效情景感知的示例系统的示意框图。
图4是表示在工作存储器中生成事件的示例性方法的流程图。
图5示出了围绕主车辆生成以自我为中心的网格。
图6示出了交叉网格的示例性实施例。
具体实施方式
本文描述了本发明的实施例。然而，要理解的是，所公开的实施例仅仅是示例，而其它实施例可以采取各种不同的形式。附图不一定要缩放；某些特征可以被夸大或最小化，以显示特定部件的细节。因此，此处所公开的具体结构和功能细节不应被解释为限制，而仅仅是代表性。参照任何一个附图说明和描述的各种特征可以与一个或多个其它附图中所示的特征相结合，以产生未被明确说明或描述的实施例。所示特征的组合为典型应用提供了代表性的实施例。然而，对于特定的应用程序或实现，可以期望与本发明的教导相一致的特征的各种组合和修改。
图1示意性地示出了运行环境，包括用于机动车辆12的移动车辆通信与控制系统10。用于车辆12的通信与控制系统10通常包括一个或多个无线载波系统60、陆地通信网络62、计算机64、网络化无线设备57和远程访问中心78，网络化无线设备57包括但不限于智能电话、平板或可穿戴装置(如手表)。
图1中示意性地显示，车辆12包括推进系统13，其可在各种实施例中包括内燃机、如牵引电机的电动机、和/或燃料电池推进系统。车辆12在实施例中描述为乘用汽车，但应当理解为也可以使用其它车辆，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等。
车辆12还包括变速器14，其被配置成根据可选择的速比将来自推进系统13的动力传送到多个车辆车轮15。根据各种实施例，变速器14可包括步进比自动变速器、无级变速器或其它适当的变速器。车辆12还包括车轮制动器17，其配置为向车轮15提供制动力矩。在各种实施例中，车轮制动器17可包括摩擦制动器、再生制动系统如电机、和/或其它适当的制动系统。
车辆12还包括转向系统16。虽然被描述为包括用于说明目的的方向盘，但在本发明范围内设想的一些实施例中，转向系统16可不包括方向盘。
车辆12包括无线通信系统28，其配置为与其它车辆(“V2V”)和/或基础设施(“V2I”)无线通信。在一个示例性实施例中，无线通信系统28被配置为通过使用IEEE802.11标准的无线局域网(WLAN)或使用蜂窝数据通信来进行通信。然而，另外的或替代的通信方式，如专用短程通信(DSRC)通道，也在本发明的范围内考虑。DSRC信道是指单向或双向短程至中程无线通信信道的专为汽车使用和相应的一组协议和标准。
推进系统13、变速器14、转向系统16和车轮制动器17与至少一个控制器22通信，或在至少一个控制器22的控制下进行通信。尽管为了说明的目的而被描绘成一个单独的单元，控制器22可另外包括一个或多个其它控制器，统称为“控制器”。控制器22可包括微处理器如中央处理单元(CPU)和图形处理单元(GPU)，其与不同类型的计算机可读取存储设备或介质通信。例如，计算机可读存储设备或介质可包括在只读存储器(ROM)、随机存取存储器(RAM)、磨损修正系数存储器(KAM)中的易失性和非易失性存储。KAM是一种持久性或非易失性存储器，可用于在CPU断电时存储各种操作变量。可以使用任何一种已知的存储设备实现计算机可读存储设备或介质，如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存、或能够存储数据的任何其它的电、磁、光、或组合的存储设备，其中一些代表可执行指令，由控制器22用于控制车辆。
控制器22包括自动驾驶系统(ADS)24，用于自动控制车辆中的各种致动器。在示例性实施例中，ADS 24是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，指的是自动驾驶系统在动态驾驶任务的所有方面的驾驶模式具体性能，即使人类驾驶员对请求的干预没有作出适当的反应。五级系统表示“完全自动化”，指的是自动驾驶系统在所有道路和环境条件下的动态驾驶任务的所有方面的全时性能。在一个示例性实施例中，ADS 24被配置为通过响应于来自多个传感器26的输入的多个执行器30，控制推进系统13、变速器14、转向系统16和车轮制动器17，以分别控制车辆的加速、转向和制动，而无需人的干预，其中传感器26可包括GPS、雷达、激光雷达、光学相机、热成像摄像机、超声波传感器、和/或另外的适当的传感器。
图1示出了能够与车辆12的无线通信系统28通信的网络设备。能够通过无线通信系统28与车辆12通信的网络设备之一是联网无线设备57。联网无线设备57可包括计算机处理器，能够使用短距离无线协议进行通信的收发器和可视显示器59。计算机处理器包括可编程设备形式的微处理器，该微处理器包括存储在内部存储器结构中的一个或多个指令，并用于接收二进制输入以产生二进制输出。在一些实施例中，联网无线设备57包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其它实施例中，联网无线设备57包括蜂窝通信功能，使得联网无线设备57使用一个或多个蜂窝通信协议在无线载波系统60上进行语音和/或数据通信，如本文所讨论的。可视显示器59还可以包括触摸屏图形用户界面。
无线载波系统60优选为蜂窝电话系统，该蜂窝电话系统包括多个小区塔70(仅示出一个)、一个或多个移动交换中心(MSC)72、以及连接无线载波系统60与地面通信网络62所需的任何其它网络部件。每个小区塔70包括发送和接收天线和基站，其中来自不同小区塔的基站直接或经由如基站控制器的中间设备连接到MSC 72。无线载波系统60可以实现任何合适的通信技术，包括例如数字技术，如CDMA(例如CDMA2000)、LTE(例如4G LTE或5GLTE)、GSM或GPRS或其它当前或新兴的无线技术。其它小区塔/基站/MSC安排是可能的，可以与无线载波系统60一起使用。例如，基站和小区塔可以共同出现在同一位置或它们可以远离彼此，每个基站可以负责单个的小区塔，或单个基站可以服务不同的小区塔，或不同的基站可以联接到单个的MSC，此处仅举例说出几种可能的安排。
除了使用无线载波系统60之外，可以使用卫星通信形式的第二无线载波系统提供与车辆12的单向或双向通信。这可以使用一个或多个通信卫星66和上行链路发送站67来完成。单向通信可以包括例如卫星广播业务，其中发射站67接收编程内容(新闻、音乐等)，打包用于上载，然后发送到卫星66，卫星66向订阅者广播编程内容。双向通信可以包括例如卫星电话服务，其使用卫星66来传送车辆12与站67之间的电话通信。除了无线载波系统60之外，还可以使用卫星电话。
陆地网络62可以是连接到一个或多个固定电话的传统陆基电信网络，并将无线载波系统60连接到远程访问中心78。例如，陆地网络62可以包括公共交换电话网(PSTN)如用于提供固定电话、分组交换数据通信和网络基础设施。一个或多个段的陆地网络62可以通过一个标准的有线网络、光纤或其它光学网络、有线网络、电源线、其它无线网络如无线局域网(WLAN)、或网络提供宽带无线访问(BWA)、或它们的任意组合的使用来实现。此外，远程访问中心78不需要通过陆地网络62连接，但可以包括无线电话设备，以便它能够直接与无线网络如无线载波系统60进行通信。
虽然在图1中示出作为单个设备，但是计算机64可以包括通过如因特网的私有或公共网络访问的多个计算机。每个计算机64可用于一个或多个目的。在一个实施例中，计算机64可以配置为网络服务器，车辆12可通过无线通信系统28和无线载波60对其进行访问。其它计算机64可以包括，例如：服务中心计算机，其中可通过无线通信系统28从车辆上传诊断信息和其它车辆数据，或从提供车辆数据或其它信息的第三方库上传，不管是否与车辆12、远程访问中心78、网络无线设备57、或这些中的某种组合通信。计算机64可以维护可搜索的数据库和数据库管理系统，该系统允许输入、删除和修改数据，以及接收在数据库中查找数据的请求。计算机64还可以用于提供因特网连接(如DNS服务)或作为网络地址服务器，其使用DHCP或其它合适的协议将IP地址分配给车辆12。
远程访问中心78设计为为车辆12的无线通信系统28提供多种不同的系统功能，根据图1中所示的示例性实施例，通常包括一个或多个交换机80、服务器82、数据库84、现场顾问86，以及自动语音应答系统(VRS)88。这些不同的远程访问中心部件优选通过有线或无线局域网90相互联接。交换机80可以是专用交换机(PBX)交换机、路由传入信号，以便语音传输通常通过普通电话发送给现场顾问86或使用VoIP发送给自动语音应答系统88。现场顾问电话也可以使用VoIP，如图1中虚线所示。通过交换机80的VoIP和其它数据通信是通过连接在交换机80和网络90之间的调制解调器(未示出)来实现的。数据传输通过调制解调器传送到服务器82和/或数据库84。数据库84可以存储如用户身份验证信息、车辆标识符、配置文件记录、行为模式和其它相关订户信息等帐户信息。数据传输也可以通过无线系统进行，如802.11X、GPRS等。虽然所说明的实施例描述了结合使用现场生活顾问86的人力远程访问中心78，可以理解的是，远程访问中心可以利用VRS 88作为自动化的顾问，或VRS 88和生活顾问86可以组合使用。
如图2所示，ADS 24包括多个不同的控制系统，包括至少一个感知系统32，其用于确定车辆的存在、位置、分类和车辆附近检测到的特征或对象的路径。感知系统32被配置为接收来自各种传感器(如图1中所示的传感器26)的输入，并且合成并处理传感器输入以生成用作ADS 24的其它控制算法的输入的参数。
感知系统32包括传感器融合与预处理模块26，其处理并合成来自多个传感器26的传感器数据27。传感器融合与预处理模块34执行传感器数据27的校准，包括但不限于LIDAR对LIDAR校准、LIDAR校准、LIDAR对底盘校准、LIDAR光束强度校准。传感器融合与预处理模块34输出预处理的传感器输出35。
分类与分段模块35接收预处理的传感器输出35并执行对象分类、图像分类、交通灯分类、对象分段、地面分段和对象跟踪处理。对象分类包括但不限于确定和分类环境周围的对象，包括识别和分类交通信号和标志、RADAR融合，以及跟踪以考虑传感器的放置和视场(FOV)，以及通过LIDAR融合假阳性抑制消除城市环境中存在的多种假阳性例例如井盖、桥梁、高架树木或灯柱等障碍物，其具有高RADAR截面但并不影响车辆沿其路径行进的能力。通过分类与分段模块36执行的另外的对象分类和跟踪过程包括但不限于自由空间检测和高水平跟踪，其融合来自RADAR轨迹、LIDAR分段、LIDAR分类、图像分类、对象形状拟合模型、语义信息、运动预测、光栅图、静态障碍物地图和其它来源的数据以生成高品质的对象轨迹。
分类与分段模块36因此执行交通控制装置分类和交通控制装置与车道关联和交通控制装置行为模型的融合。分类与分段模块36产生包括对象识别信息的对象分类与分段输出37。
定位与建图模块40使用对象分类与分段输出37来计算参数，该参数包括但不限于在典型和具有挑战性的驾驶场景中估计车辆12的位置和方向的参数。这些具有挑战性的驾驶情况包括但不限于具有很多汽车的动态环境(例如，密集的交通)、具有大型障碍物的环境(例如，道路或建筑工地)、丘陵、多车道公路、单车道公路、各种道路标志和建筑物或缺乏各种道路标志和建筑物(如住宅与商业区)、桥梁和立交桥(车辆的当前路段的上面和下面)。
定位与建图模块40还包括由于在操作过程中由车辆12执行的板载建图功能获得的扩展地图区域而收集的新数据，并且通过无线通信系统28将数据“推送”到车辆12。定位与建图模块40使用新信息更新以前的地图数据(例如，新的车道标记、新的建筑结构、添加或移除建筑区域等)，而不影响未修改的地图区域。可以生成或更新的地图数据的例子包括但不限于：屈服线分类、车道边界生成、车道连接、次要道路和主要道路分类、左右转弯分类和交叉车道创建。
在一些实施例下，定位与建图模块40使用SLAM技术来开发周围环境的地图。SLAM是同时定位与建图(Simultaneous Localization and Mapping)的首字母缩略词。SLAM技术构建环境地图并跟踪环境中对象的位置。GraphSLAM是SLAM的变体，它使用稀疏矩阵来生成包含观察相关性的图。
地图中的对象位置由以对象的预测路径为中心的高斯概率分布表示。最简单形式的SLAM使用三个约束：初始位置约束；相对运动约束，即对象的路径；以及相对测量约束，该相对测量约束是对象到地标的一个或多个测量。
初始运动约束是车辆的初始姿态(例如，位置和方位)，其包括车辆在二维或三维空间中的位置，包括俯仰、滚转和偏航数据。相对运动约束是包含一定程度的灵活性的对象的位移运动。相对测量约束包括从对象传感器到地标的一个或多个测量。初始位置约束、相对运动约束和相对测量约束是典型的高斯概率分布。传感器生成地图中的对象定位方法通常采用卡尔曼滤波器、各种统计相关方法，如皮尔森积矩相关法和/或粒子滤波法。
在一些实施例中，一旦地图建立，车辆定位是通过粒子滤波器实时实现的。与贝叶斯或卡尔曼滤波器不同，粒子滤波器适用于非线性系统。为了定位车辆，通过高斯概率分布围绕期望的平均值产生粒子。每个粒子被赋予一个数值权重来表示粒子位置到预测位置的准确性。考虑到传感器数据，并调整粒子权重以适应传感器数据。粒子接近传感器调整位置的距离越大，粒子权重的数值越大。
当动作命令发生时，每个粒子被更新到一个新的预测位置。在新的预测位置上观察到传感器数据，并且每个粒子被赋予一个新的权重，表示相对于预测位置和传感器数据的粒子位置的准确性。对粒子进行重新采样，选择具有最数值大小的权重，从而提高预测和传感器校正的目标位置的精度。通常的均值、方差、标准差和重采样的数据提供了新的目标位置的可能性。
粒子滤波处理表示为：
P(Ht|Ht-1，At，Dt) 方程1
其中Ht是当前的假设，其是对象的位置。Ht-1是先前的对象位置，At是动作，通常是引擎命令，Dt是可观察的数据。
在一些实施例中，定位与建图模块40通过如上所述在扩展卡尔曼滤波器(EKF)框架中整合来自多个源的数据来维护车辆的全球位置的估计。卡尔曼滤波器是基于递归贝叶斯滤波器的线性滤波器。递归贝叶斯滤波器，也称为递推贝叶斯估计，本质上是将估计的后验数替换为先验位置，在新的估计迭代中计算一个新的后验。这有效地产生：
P(Ht|Ht-1，Dt) 方程2
其中通过在先前的迭代Ht-1和当前时间t的数据Dt假设，估计假设Ht的概率。
卡尔曼滤波器增加动作变量At，其中t是时间迭代，产生：
P(Ht|Ht-1，At，Dt) 方程3
其中假设Ht的概率基于之前的假设Ht-1、动作At和当前时间t的数据Dt。
卡尔曼滤波器广泛用于机器人学，其估计当前位置，是一个联合概率分布，并且基于动作命令预测一个新的位置，这也是一个联合概率分布，称为状态预测。获取传感器数据并计算出分离的联合概率分布，称为传感器预测。
状态预测表示为：
X′t＝AXt-1+Bμ+εt 方程4
其中X't是基于先前状态AXt-1、Bμ和ξt的新状态。常数A和B由相关的物理定义，μ通常是机器人运动命令，并且ξt是高斯状态误差预测。
传感器预测表示为：
Z′t＝CXt+εz 方程5
其中Z't是新的传感器估计，C是函数，ξz是高斯传感器误差预测。
新的预测状态估计表示为：
XEST＝X′t+K(Zt-Z′t) 方程6
其中乘积K(Zt-Z't)被称为卡尔曼增益因子。如果传感器预测Z't与实际的传感器数据Zt的区别(即Zt-Z't)相当接近零，则认为X't是新的状态估计。如果Zt-Z't相当大于零，则加入K(Zt-Z't)因子，产生新的状态估计。
随着车辆运动信息的接收，EKF更新车辆位置估计，同时扩大估计协方差。一旦传感器协方差被集成到EKF中，定位与建图模块40生成定位与建图输出41，其中包括车辆12相对于检测到的障碍物和道路特征的位置和方向。
车辆测距模块46接收来自车辆传感器26的数据27并产生包括例如车辆航向、速度和距离信息的车辆测距输出47。绝对定位模块42接收定位与建图输出41以及车辆测距信息47，并生成如下所述在单独计算中使用的车辆位置输出43。
对象预测模块38使用对象分类与分段输出37来生成参数，这些参数包括但不限于与车辆相关的检测障碍物的位置、相对于车辆检测到的障碍物的预测路径、以及相对于车辆的交通车道的位置和方向。在一些实施例中，可以使用贝叶斯模型根据语义信息、先前的轨迹和瞬时姿势来预测驾驶员或行人的意图，其中姿势是对象的位置和方向的组合。
贝叶斯定理常用于机器人学，被称为贝叶斯过滤器，是一种条件概率的形式。方程7中所示的贝叶斯定理给出了这样的命题：假设H假定数据D的概率等于假设H的概率H乘以给定假设H的数据D的概率，除以数据P(D)的概率。
Figure BDA0001557349520000111
P(H/D)被称为后验，而P(H)被称为前验。贝叶斯定理度量了命题(前)和事后(后)在数据中体现的证据的概率的置信度。在每一个新的迭代中，前一个后验成为前一个新的后验直到迭代完成。对象的预测路径上的数据(包括行人、周围车辆和其他移动对象)输出作为对象预测输出39，并用于下文所述的单独计算中。
ADS 24还包括观察模块44和解释模块48。观察模块44生成由解释模块48接收的观察输出45。观察模块44和解释模块48允许远程访问中心78访问。现场专家或顾问，例如图1所示的顾问86，可以任选地审查对象预测输出39，并提供另外的输入和/或覆盖自动驾驶操作，并假设车辆状况需要或要求车辆操作。解释模块48生成解释输出49，其包括由现场专家提供的另外的输入，如果有的话。
路径规划模块50处理并综合目标预测输出39、解释输出49、以及从在线数据库或远程访问中心78现场专家接收的另外的路线信息79，以确定遵循的车辆路径，使车辆维持在期望路线上，同时遵守交通规则，并且避免任何检测到的障碍物。路径规划模块50使用配置为避免车辆附近的任何检测障碍物的算法，使车辆保持在当前交通车道中，并使车辆保持在期望的路线上。路径规划模块50采用姿态图优化技术，包括非线性最小二乘姿态图优化，对六自由度车辆轨迹进行优化，减少路径误差。路径规划模块50将车辆路径信息输出为路径规划输出51。路径规划输出51包括基于车辆路线的命令车辆路径、与路线相关的车辆位置、车道的位置和方向、以及任何检测到的障碍物的存在和路径。
第一控制模块52处理并合成路径规划输出51和车辆位置输出43以产生第一控制输出53。第一控制模块52还包括远程访问中心78在车辆的远程接管模式下提供的路线信息79。
车辆控制模块54接收第一控制输出53，以及从车辆里程计46接收的速度和航向信息47，并产生车辆控制输出55。车辆控制输出55包括一组执行器命令，用于实现来自车辆控制模块54的命令路径，包括但不限于：转向命令、换挡命令、节气门命令和制动命令。
车辆控制输出55被传送到致动器30。在示例性实施例中，致动器30包括转向控制、换挡控制、节气门控制和制动控制。例如，如图1所示，转向控制可以控制转向系统16。例如，如图1所示，换挡控制可以控制变速器14。例如，如图1所示，节气门控制可以控制推进系统13。例如，如图1所示，制动控制可以控制车轮制动器17。
应当理解，所公开的方法可用于任意数量的不同系统，而不限于此处所示的操作环境。系统10及其各个组件的体系结构、结构、设置和操作通常都是已知的。这里没有显示的其它系统也可以采用公开的方法。
现在转向图3，示出了通过事件生成和情节记忆回顾来实现有效情景感知的示例性系统300。该系统与工作存储器310、情节存储器320和认知处理器330一起工作。工作存储器310生成来自输入的感知流数据305的事件并存储。在情节记忆320中，从事件中生成的情节被存储。生成的事件315从工作存储器310传送到情节存储器320。一旦发现最合适的情节，通过情节记忆回顾的相应假设被送回认知处理器330。注意信号335由认知处理器330和工作存储器310计算并耦合在一起。认知处理器330向工作存储器310提供用于事件和情节信息的信息，以便在输入的感知流数据305中进行监视。当由工作存储器310检测到监视信息时，计数被反馈到认知处理器330。
根据该示例性实施例，事件是由主车辆的运动引起的主车辆周围的情况的变化，包括相邻对象的位置变化，如车辆、行人、自行车等，和/或环境变化，如到达交叉口。具体地说，在工作存储器310中，从感知流305生成事件结构，如感知传感器、车道标记检测器、环境信息馈线等，主车辆状态和车辆控制系统意图。
现在转向图4，示出了在工作存储器中生成事件400的示例性方法。通过车辆传感器接收知觉对象信息410。确定主车辆状态420和主车辆意图430。在内部生成令牌440，用于临时存储当前事件的生成和与来自先前框架或框架的信息进行比较。在该示例性实施例中，知觉对象信息410可以包括对象类型(车辆、行人、自行车等)、对象位置、对象运动模式、车道标记信息、在主车辆前面的样本车道标记位置、现有环境信息、以及环境特征的GPS位置，其可以从现有知识获取，如交叉结构、迂回形状等。主车辆状态420可以包括在世界坐标系中的主车辆位置、主车辆速度、世界坐标框架内的主车辆定位。车辆意图430可以使用来自系统的信息来指示包括预定路线、车道变更、交通和相关信息的方向。
一旦令牌440生成并存储在存储器等中，那么系统就响应于令牌440内的信息来生成事件450。令牌首先由事件生成处理器读取。从上面的令牌440，可以生成一个报头，以从当前框架中的信息定义事件类型。报头包括的信息如环境类型(公路、路口等)、主车辆意图(左转、右转、换道等)、车辆状态(速度和转向角度)、标志或信号(自身前方的交通标志或信号)、在环境相关领域中的以地球为中心的网格系统相对位置中的主车辆位置。在该示例性实施例中，当将事件与分类情况进行比较时，如果报头信息不同，则该事件可以被视为与其它邻近对象模式无关的事件。
一旦系统构建了报头，方法400就被执行以生成两个网格边界。首先，在任何情况下，如图5所示，围绕主车辆生成以自我为中心的网格500。以自我为中心的网格单元的物理尺寸是根据环境特征和主车辆动力学自适应的。单元的长度应该足够大，以保证前后安全距离，这取决于如主车辆速度、道路速度限制、天气、路面状况等因素。一般来说，较高的速度限制或更快的主车辆速度需要更长的单元长度，而相反的则允许较短的单元尺寸。每个单元的宽度可以按照车道宽度或两条平行车道标志之间的空隙进行选择。在车道标志检测是嘈杂或扭曲的情况下，宽度可以被确定为跨越几个框架的几个检测的中位数差距。
以地球为中心的网格，即环境网格，是世界坐标系中的网格结构。与以自我为中心的网格不同，以地理为中心的网格是与环境相关的，它只在主车辆进入特定区域(如交叉口)时生成。单元的位置和大小可由相应的环境结构和在道路、天气或地表条件下的速度限制来确定。当车速很高或路面很滑时，单元的长度足够长，以接近高速行驶的车辆。每个单元的宽度是相应方向的道路宽度。然而，如果有左转弯或右转车道，它们可能会成为单独的单元。在图6中描述了具有左转意图的样本交叉网格600。
一旦网格信息完成，该方法就可以生成事件结构的概要。示例性的主事件结构可以由三个不同的部分组成：(1)前面描述的报头；(2)以自我为中心的网格；(3)以地理为中心的网格。一旦确定网格单元边界，从感知传感器中检测出的对象被分配给相应的单元。这项任务将描述每个网格单元的状态，它直接支持自主驾驶的态势感知。以自我为中心的网格单元和以地理为中心的网格单元中的信息代表了相对于主车辆的相对姿态变化。在该示例性实施例中，每个单元指示以下七种状态之一：无对象、对象传入、对象消失、对象保持、对象接近、对象移动、或未知。
无对象可以指示相应单元格中没有对象。对象传入可能表明有新的传入对象进入单元。当前框架中的对象退出单元格时，就会发生对象消失。对象保持可以指示物体的相对姿态何时改变，如在高速公路上，当车辆以与主车辆相同的速度移动时。对象接近可以指示单元格中对应的对象接近主车辆。物体移动意味着单元中的相应物体远离主车辆，但仍留在单元中，当相应的单元被其它物体遮挡或单元的不确定性过高时，对象未知就会发生。如果网格单元中有多个对象，那么最靠近对象的运动将决定单元的状态。网格中这种具有代表性的特性导致了一种更简洁的事件结构，并为自主驾驶系统提供了一种有效的情境描述。
除了状态表示之外，该方法还可以根据情景评估进一步生成更详细的风险值。每个单元格中的风险值在已决定的状态值的顶部添加细节，并在一定间隔内分配值，如0和1之间。例如，当单元格中的对象提供高概率碰撞的机会时，将高风险值分配给相应的单元。确定风险水平的条件可能包括与主车辆的距离、相对于主车辆的速度(航向和速度)、与主车辆碰撞时间的概率分布以及不确定性。
前三个因素与主车辆的位置和速度有关。最后一个因素表明传感器能力的限制，这意味着其它对象遮挡、传感器噪声、恶劣天气条件下传感器检测不准确，等等。在高度不确定的情况下，单元可以被归类为未知的，并且它在主车辆的一定范围内具有最高的风险水平。最终，每个网格单元具有三个值，其中包含元素类型(网格单元号等)、网格单元状态以及威胁主车辆的风险级别。
在另一示例性实施例中，任何网格单元中的任何状态更改都触发新事件。某个事件序列的模式表示某些类型的情况。因此，如果某个特定的局部事件序列发生，该方法可以根据先前的经验或知识来预测以下情况。采用分层方法计算两个事件之间的差异。首先，事件差异检查应该从所有开销值的一致性开始。如果两个事件之间的报头是不同的，它们将被分配到不同的事件类型中。一旦匹配报头，网格单元的信息将被比较。两个事件之间的距离可以用平均风险水平来确定。
情节是一系列事件以时间顺序链接在一起。关于情节的一个难点是决定开始的地点和结束的地点。根据应用领域，可能会使用不同的标准或方法。在自主驾驶领域，从起始位置到目的地的整个驾驶顺序可以看作是一个情节。另一种方法是使用导航系统生成的循环列表中的每一项作为一个情节，整个旅程是一个短期情节的集合。情节中的事件序列应该适当对齐，并确定事件之间的对应关系。相应事件对之间的距离被收集并总结到最终结果。如果情节中有任何非对应(丢失或额外)的事件，可能剔除非对应的事件。
情节列表将所有情节存储在情节记忆中。和事件一样，这个系统可以开发一种方法来比较情节，并随后在情景记忆的回顾过程中使用它。在示例性实施例中，二进制输出的过程可以通过比较事件和事件序列的数量来确定两个事件是否相同。分级输出的过程可以计算两个情节之间的距离。每个存储情节中的事件序列可以用指向事件序列树中相应节点的一列指针替换。情节中的所有事件都可以通过指向相应节点的指针间接访问。当新的情节被储存到情节列表中时，如果有相同的情节，则对列表进行检查。如果发现相同情节，则现有情节中的计数增加，新的情节被丢弃以节省存储空间。
实际上为了完成确切的前缀提示而实施了情节的决策树结构。当两个或两个以上的情节在其事件序列开始时具有共同的前缀事件时，它们在树中共享相应的前缀节点。当系统沿树下行将提示中的每个事件与树中的相应节点进行比较，系统比较提示中的事件与多个情节中的节点进行比较。当一个节点的下代被选中时，该节点的所有其它下代都被剔除不予考虑。因此，系统可以快速减少搜索空间。
情节中的事件序列具有时间顺序。用于在情节记忆中搜索情节的输入提示可以是完整的情节或不完整的部分子情节。完整的情节提示可以用于插入新的情节并删除过时的情节。利用来自现场输入流的部分提示，系统可以基于匹配情节的后缀或多个后缀来预测将来的事件。利用部分后缀提示，系统可以基于匹配情节的前缀收集以部分提示结束的所有前提条件。
情节记忆表示存储情节的知识集合。情节记忆可以使用以下功能来实现：存储情节、删除过时情节、回顾现有情节、以及完成对现有情节的部分提示。从记忆存储的角度和算法的角度来看，列出所有情节都是低效的。记忆大小和记忆搜索也可以有效地存储情节。
情节记忆可以通过实施事件序列图来进一步细化，以捕捉存储的情节之间的相似性。情节记忆中的情节的所有事件被收集并且使用散列函数存储在事件数据库中。哈希函数应该使用事件结构中的关键元素，并尽可能均匀地将事件分配到桶中以进行高效的事件搜索。有效的散列函数和散列键也可能取决于事件和应用程序域的内容。当一个新的事件进入情节记忆中，对于情节中的每个事件，搜索事件数据库以核对相同或相似的事件是否已经在那里。如果在数据库中发现相同或相似的事件，则使用现有的事件；否则，新事件将被存储在数据库中。代替存储所有的事件，重用现有的事件可以节省记忆空间，加快搜索过程。这是有助于情节记忆的可扩展性的方法。相同或相似事件的标准取决于事件结构中的应用程序领域和抽象级别。
智能认知系统中的海马状情景记忆可以快速有效地存储和调用时空序列。除了基本存储和调用外，情节记忆系统也可以进行部分匹配。由于时空数据流的潜在复杂性，不同的情节不可能完全匹配。因此，需要进行近似匹配，返回一段距离或相似性度量，以便根据匹配程度或适用性对各种事件进行排序。此外，由于系统将用于生成期望；因此，执行部分前缀匹配也是必要的，在这种情况下，事件后缀将表示期望。最后，当需要存储很多的情节成为可能，某种形式的压缩或公共子序列识别可用于减少或消除重复存储不同情节中的公共子序列。
情节系统可以增加额外的机制，以决定是否编码情节，在超出新情节匹配上述存储情节的情况下，以及多久回顾情节。情节记忆可以对于每个情节包含计数器，以记录其被回顾多少次。可以对该计数器进行处理，例如将转换为对数量度的记忆次数编码。情节记忆可以进一步实现编码阈值参数，其可由认知处理器调节。系统可以包含编码信号，该编码信号可与编码阈值进行比较，以确定情节是否有资格进行存储，在此之后，如果阈值满足和/或超过，则应用上述过程。编码信号可以是多维的，并从其它模块捕获上下文元素，以及事件和情节信息本身的统计信息。在示例性实施例中，编码信号可以作为以下信号的组合来实现：1)使用上述用于N最接近匹配情节到提示的距离或相似性度量，从回顾的度量计算新颖性信号，其中N由认知处理器确定。2)风险信号，从输入情节(提示)中的事件聚合起来(例如，所有输入事件的总和)。3)预测误差信号的认知处理器计算，其计算从情景记忆与当前输入事件假设错误的逆。4)注意信号，其由认知处理器和工作存储器计算。认知处理器提供信息给工作存储器用于事件和情景信息以监测传入的感知数据流。当监测信息通过工作存储器检测，计数器反馈认知处理器的出现。这在用于编码信号中的注意信号处处理(例如，总和)和提供。5)信号1-4的组合权重，通过认知处理器计算。
如本领域技术人员所清楚理解的，本文中讨论的用于描述本发明的几个和多个步骤和过程可指由计算机、处理器或其它电子计算装置执行的操作，这些操作装置使用电现象操控和/或变换数据。那些计算机和电子设备可使用各种易失性和/或非易失性存储器，包括具有储存于其上的可执行程序的非瞬时计算机可读介质，可执行程序包括各种代码或可由计算机或处理器完成的可执行指令，其中存储器和/或计算机可读介质可包括所有形式和类型的存储器和其它计算机可读介质。
前述讨论公开并仅描述本发明的示例性实施例。从这些讨论以及从附图和权利要求中，本领域的技术人员将很容易地知晓，在不偏离如以下权利要求所限定的本发明的精神和范围的情况下，可以在本发明的范围内进行各种改变、修改和变化。

Claims (5)

1.一种自主驾驶系统控制方法，其包括：
通过车辆传感器接收第一多个信息；
通过网络接口接收第二多个信息；
响应于以运动对象为中心的第一坐标系和以固定位置为中心的第二坐标系生成组合坐标系；
响应于所述第一多个信息和所述第二多个信息的时间顺序和所述组合坐标系生成情节；
增加对应于所述情节的计数；
响应于所述组合坐标系以及所述第一多个信息和所述第二多个信息的时间顺序生成报头，其中所述报头用于表征所述情节，并且其中所述报头用作用于存储所述情节的基于树结构的分类系统的一部分；
响应于所述计数超过阈值，在存储器中存储所述情节；
通过所述车辆传感器接收第三多个信息；
通过所述网络接口接收第四多个信息；
响应于所述第三多个信息和所述第四多个信息生成事件；
将所述情节与所述事件进行比较，以生成所述事件的预测结果，其中所述事件对应于所述情节的第一时间部分，并且所述事件的预测结果对应于所述情节的第二时间部分；
响应于所述预测结果生成控制信号；以及
响应于所述控制信号来控制车辆。
2.根据权利要求1所述的方法，其中所述报头包括环境类型、主车辆意图和主车辆状态。
3.根据权利要求1所述的方法，其中所述情节是在与编码阈值进行比较后生成的，所述编码阈值用于将所述情节编码到存储器中。
4.一种用于控制自主车辆的设备，其包括：
车辆传感器，其用于接收第一多个信息和第三多个信息；
网络接口，其用于接收第二多个信息和第四多个信息；以及
处理器，其用于响应于以运动对象为中心的第一坐标系和以固定位置为中心的第二坐标系生成组合坐标系；用于响应于所述第一多个信息和所述第二多个信息的时间顺序和所述组合坐标系生成情节；用于响应于所述组合坐标系以及所述第一多个信息和所述第二多个信息的时间顺序生成报头，其中所述报头用于表征所述情节，并且其中所述报头用作用于存储所述情节的基于树结构的分类系统的一部分；用于响应于所述第三多个信息和所述第四多个信息的时间顺序生成事件，用于将所述情节与所述事件进行比较以生成所述事件的预测结果；以及用于响应于所述预测结果生成控制信号。
5.一种用于控制自主车辆的设备，其包括：
传感器，其用于响应于在所述自主车辆周围检测到的至少一个对象确定以自我为中心的信息；
网络接口，其接收在所述自主车辆的当前位置附近的至少一个特征的以地理为中心的信息；
处理器，其用于为响应于所述以自我为中心的信息和所述以地理为中心的信息生成组合坐标系，用于响应于在第一持续时间观察到的所述组合坐标系编译时间情节，用于响应于在第二持续时间观察到的所述组合坐标系编译事件，用于比较所述事件和所述情节以预测所述事件的预测结果，以及用于响应于所述预测结果生成控制信号，其中所述处理器还用于响应于在第一持续时间观察到的组合坐标系生成报头，其中所述报头用于表征所述情节，并且其中所述报头用作用于存储所述情节的基于树结构的分类系统的一部分；和
控制器，其用于响应于所述控制信号控制所述自主车辆。
CN201810068341.0A 2017-01-31 2018-01-24 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知 Active CN108372857B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/420,946 US10409279B2 (en) 2017-01-31 2017-01-31 Efficient situational awareness by event generation and episodic memory recall for autonomous driving systems
US15/420946 2017-01-31

Publications (2)

Publication Number Publication Date
CN108372857A CN108372857A (zh) 2018-08-07
CN108372857B true CN108372857B (zh) 2021-05-18

Family

ID=62843086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810068341.0A Active CN108372857B (zh) 2017-01-31 2018-01-24 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知

Country Status (3)

Country Link
US (1) US10409279B2 (zh)
CN (1) CN108372857B (zh)
DE (1) DE102018102027A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902387B2 (en) * 2017-08-25 2021-01-26 The Boeing Company Aircraft digital event ledger
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
DE102018213931A1 (de) * 2018-08-17 2020-02-20 Robert Bosch Gmbh Fahrassistenzverfahren für ein Fahrzeug, Steuereinheit, Fahrassistenzsystem und Fahrzeug
US10921135B2 (en) * 2018-10-12 2021-02-16 Baidu Usa Llc Real-time map generation scheme for autonomous vehicles based on prior driving trajectories
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
EP3670283A1 (en) 2018-12-17 2020-06-24 Ningbo Geely Automobile Research & Development Co. Ltd. Follow that car
US11100371B2 (en) * 2019-01-02 2021-08-24 Cognata Ltd. System and method for generating large simulation data sets for testing an autonomous driver
US11474486B2 (en) * 2019-03-11 2022-10-18 Mitsubishi Electric Research Laboratories, Inc. Model-based control with uncertain motion model
US20200290620A1 (en) * 2019-03-15 2020-09-17 GM Global Technology Operations LLC Method and apparatus for high definition map based vehicle control for assisted driving
CN111935200B (zh) * 2019-05-13 2022-07-12 华为云计算技术有限公司 一种车辆控制方法及相关设备
US11131776B2 (en) * 2019-08-19 2021-09-28 Gm Global Technology Operations, Llc Method and apparatus for Kalman filter parameter selection using map data
DE102020200911B3 (de) * 2020-01-27 2020-10-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs
US10958293B1 (en) * 2020-03-02 2021-03-23 GM Global Technology Operations LLC System and method for near-lossless universal data compression using correlated data sequences
DE102021105001A1 (de) * 2020-03-03 2021-09-09 Motional Ad Llc Steuerungsarchitekturen für autonome fahrzeuge
CN112771352B (zh) * 2020-03-19 2022-04-08 华为技术有限公司 车辆定位方法和装置
CN111881735B (zh) * 2020-06-17 2022-07-29 武汉光庭信息技术股份有限公司 一种自动驾驶视频数据的事件分类提取方法和装置
US11485387B2 (en) 2020-12-08 2022-11-01 GM Global Technology Operations LLC System and method for predictive navigation control
CN113071495A (zh) * 2021-03-09 2021-07-06 合创汽车科技有限公司 基于车载多模态数据的事件检测方法、装置、计算机设备和存储介质
US20230063960A1 (en) * 2021-08-31 2023-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for performing graph imputation
CN115966739B (zh) * 2023-03-13 2023-06-02 湖北工业大学 基于改进海马优化算法的燃料电池参数辨识方法及系统
CN116307283B (zh) * 2023-05-19 2023-08-18 青岛科技大学 基于mim模型和时空交互记忆的降水预测系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371813B1 (ko) * 1999-10-11 2003-02-11 한국전자통신연구원 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8660670B2 (en) * 2009-09-10 2014-02-25 Sam FREED Controller with artificial intelligence based on selection from episodic memory and corresponding methods
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
EP2999940A4 (en) * 2013-05-22 2017-11-15 Neurala Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
US10380410B2 (en) * 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
US10482184B2 (en) * 2015-03-08 2019-11-19 Google Llc Context-based natural language processing
US9661942B2 (en) * 2015-08-07 2017-05-30 Se-Kure Controls, Inc. Shopping cart checkout location with mirror to reflect image of cart contents
CN105197012B (zh) * 2015-10-10 2017-12-15 广东轻工职业技术学院 一种车辆自动控制方法
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination

Also Published As

Publication number Publication date
US20180217595A1 (en) 2018-08-02
DE102018102027A1 (de) 2018-08-02
CN108372857A (zh) 2018-08-07
US10409279B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
CN108372857B (zh) 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知
US10109198B2 (en) Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
US20180217603A1 (en) Efficient situational awareness from perception streams in autonomous driving systems
US10073456B2 (en) Automated co-pilot control for autonomous vehicles
CN109389832B (zh) 使用v2x通信系统提高障碍意识的系统和方法
US10349011B2 (en) System and method for improved obstacle awareness in using a V2X communications system
CN110356412B (zh) 用于自主驾驶的自动规则学习的方法和设备
US10613547B2 (en) System and method for improved obstacle awareness in using a V2X communications system
CN110244701B (zh) 用于基于自动生成的课程序列的自主车辆的强化学习的方法和装置
US20180306927A1 (en) Method and apparatus for pulse repetition sequence with high processing gain
CN110441790B (zh) 激光雷达系统中的方法和装置串扰和多径降噪
EP3511863A1 (en) Distributable representation learning for associating observations from multiple vehicles
CN109307869B (zh) 用于增加激光雷达探测器的视场的设备和照明装置
US11827214B2 (en) Machine-learning based system for path and/or motion planning and method of training the same
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
CN110789515B (zh) 机动车辆中用于硬件验证的系统和方法
KR20230120974A (ko) 레이더를 사용하여 로컬화 및 차선 검출을 위한 연석 기반의 특징 추출
US11946749B2 (en) Driving data guided spatial planning
US11727671B1 (en) Efficient and optimal feature extraction from observations
US20230399009A1 (en) Multiple frequency fusion for enhanced point cloud formation
EP4198573A1 (en) System and method for detecting rainfall for an autonomous vehicle
KR20230070868A (ko) 시맨틱 분할 이미지 및 시맨틱 포인트 클라우드 맵 기반의 전체론적 매칭을 통한 위치 추정 장치 및 방법
WO2023129903A1 (en) Autonomous vehicle with microphone safety
WO2024030384A1 (en) Object orientation determination from map and group parameters
CN115683125A (zh) 用于自动化地定位车辆的方法、系统和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant