CN114463714A - 用于完成风险对象识别的系统和方法 - Google Patents

用于完成风险对象识别的系统和方法 Download PDF

Info

Publication number
CN114463714A
CN114463714A CN202111323434.1A CN202111323434A CN114463714A CN 114463714 A CN114463714 A CN 114463714A CN 202111323434 A CN202111323434 A CN 202111323434A CN 114463714 A CN114463714 A CN 114463714A
Authority
CN
China
Prior art keywords
self
vehicle
aware vehicle
semantic
aware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111323434.1A
Other languages
English (en)
Inventor
陈奕廷
肖子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN114463714A publication Critical patent/CN114463714A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了用于完成风险对象识别的系统和方法，该系统和方法包括：接收与自我意识车辆的周围环境的单目图像相关联的图像数据；以及分析该图像数据并完成该自我意识车辆的该周围环境的至少一个区域的语义路点标注。该系统和方法还包括完成关于该至少一个区域的反事实场景增强。该系统和方法还包括确定与该至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应。

Description

用于完成风险对象识别的系统和方法
相关申请的交叉引用
本专利申请要求2020年11月10日提交的美国临时申请63/111,992的优先权，该专利申请明确地以引用方式并入本文。
背景技术
风险对象识别可能是以驾驶员为中心的风险评估的必要步骤。人类驾驶员可具有识别风险对象并评估其风险的能力。例如，当在交叉口左转时，驾驶员可能能够注意到相关对象(例如，迎面而来的车辆或正在穿越的行人)并评估其风险以做出决策。在此类场景中，如果不理解驾驶员关于导航车辆的意图以及他们对风险对象的理解，就可能难以在驾驶行为方面达到现实的人类水平能力以提供更高水平的自主导航。
发明内容
根据一个方面，一种用于完成风险对象识别的计算机实现的方法，该计算机实现的方法包括：接收与自我意识车辆的周围环境的单目图像相关联的图像数据；以及分析该图像数据并完成该自我意识车辆的该周围环境的至少一个区域的语义路点标注。该计算机实现的方法还包括完成关于该至少一个区域的反事实场景增强。该反事实场景增强包括对象在该至少一个区域处的增强。该计算机实现的方法还包括确定与该至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应。至少一种驾驶员意图和至少一种驾驶员响应。
根据另一方面，一种用于完成风险对象识别的系统，该系统包括存储指令的存储器，这些指令在由处理器执行时，使得该处理器接收与自我意识车辆的周围环境的单目图像相关联的图像数据，以及分析该图像数据并完成该自我意识车辆的该周围环境的至少一个区域的语义路点标注。这些指令还使得该处理器完成关于该至少一个区域的反事实场景增强。该反事实场景增强包括对象在该至少一个区域处的增强。该系统还包括确定与该至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应。至少一种驾驶员意图和至少一种驾驶员响应。
根据又一方面，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储指令，这些指令在由包括处理器的计算机执行时使该处理器执行方法，该方法包括：接收与自我意识车辆的周围环境的单目图像相关联的图像数据；以及分析该图像数据并完成该自我意识车辆的该周围环境的至少一个区域的语义路点标注。该方法还包括完成关于该至少一个区域的反事实场景增强。该反事实场景增强包括对象在该至少一个区域处的增强。该方法还包括确定与该至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应。至少一种驾驶员意图和至少一种驾驶员响应。
附图说明
被认为是本公开的特性的新颖特征在所附权利要求中提出。在下面的描述中，在整个说明书和附图中，相似的部分分别用相同的数字标记。为了清楚和简洁起见，附图未必按比例绘制，并且某些附图可以以夸大或概括的形式示出。然而，当结合附图阅读时，通过参照说明性实施方案的以下详细说明，将最好地理解本公开本身及其优选的使用方式、其进一步的目的和进步，其中：
图1是根据本公开的示例性实施方案的用于完成与自我意识车辆的操作有关的风险对象识别的操作环境的示意图；
图2是根据本公开的示例性实施方案的与自我意识车辆的周围环境相关联的单目图像和点云投影的例示性示例；
图3是根据本公开的示例性实施方案的道路拓扑结构风险对象点云的例示性示例；
图4A是根据本公开的示例性实施方案的自我意识车辆的周围环境的道路拓扑结构的语义分类的例示性非限制性示例；
图4B是根据本公开的示例性实施方案的自我意识车辆的周围环境的语义区域的语义路点标注的例示性示例；
图5是根据本公开的示例性实施方案的关于自我意识车辆的周围环境的语义区域的反事实增强的例示性示例；
图6是根据本公开的示例性实施方案的用于完成自我意识车辆的周围环境的语义路点标注的方法的过程流程图；
图7是根据本公开的示例性实施方案的用于完成关于自我意识车辆的周围环境的语义区域的反事实场景生成并确定关于这些语义区域的驾驶员意图和驾驶员响应的方法的过程流程图；并且
图8是根据本公开的示例性实施方案的用于完成风险对象识别的方法的过程流程图。
具体实施方式
以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于实施方式的部件的各种示例和/或形式。这些示例并非旨在进行限制。
如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算机之间的其他计算机部件。总线可以在计算机部件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线还可以是使用诸如面向媒体的系统传送(MOST)、控制器局域网(CAN)、本地互连网络(LIN)等等协议来将在车辆内的部件互连的车辆总线。
如本文所用，“计算机通信”是指在两个或更多个计算设备(例如，计算机、个人数字助理、蜂窝电话、网络设备)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(HTTP)传输等。计算机通信可以跨例如无线系统(例如，IEEE802.11)、以太网系统(例如，IEEE 802.3)、令牌环系统(例如，IEEE 802.5)、局域网(LAN)、广域网(WAN)、点对点系统、电路交换系统、分组交换系统等等发生。计算机通信还可包括自组网络、移动自组网络、车辆自组网络(VANET)、车辆与车辆(V2V)网络、车联万物(V2X)网络、车辆与基础设施(V2I)网络等等。计算机通信可利用任何类型的有线、无线或网络通信协议，包括但不限于以太网(例如，IEEE 802.3)、WiFi(例如，IEEE 802.11)、陆地移动装置用通信接入(CALM)、WiMax、蓝牙、Zigbee、超宽带(UWAB)、多输入多输出(MIMO)、电信和/或蜂窝网络通信(例如，SMS、MMS、3G、4G、LTE、5G、GSM、CDMA、WAVE)、卫星、专用短程通信(DSRC)等等。
如本文所用，“盘”可以是例如磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存存储器卡和/或记忆棒。此外，盘可以是CD-ROM(压缩盘ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)和/或数字视频ROM驱动器(DVDROM)。盘可以存储控制或分配计算设备的资源的操作系统。
如本文所用，“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除PROM)和EEPROM(电可擦除PROM)。易失性存储器可以包括例如RAM(随机存取存储器)、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)和直接RAM总线RAM(DRRAM)。存储器可以存储控制或分配计算设备的资源的操作系统。
如本文所用，“模块”包括但不限于存储指令的非暂态计算机可读介质、在机器上执行的指令、在机器上执行的硬件、固件、软件、和/或每一者的组合以执行一个或多个功能或一个或多个动作和/或引起另一个模块、方法和/或系统执行功能或动作。模块还可包括逻辑、软件控制微处理器、离散逻辑电路、模拟电路、数字电路、编程逻辑设备、含有执行指令的存储器设备、逻辑门、门组合和/或其他电路部件。多个模块可组合成一个模块，并且单个模块可分布在多个模块之间。
如本文所用，“对象”是指道路中的任何物体，并且可包括接近的车辆、穿过道路的行人、其他车辆、障碍物、动物、碎片、坑槽等。此外，对象可包括大多数任何交通状况、道路状况、天气状况等。对象的示例可包括但不一定限于其他车辆(例如，接近的车辆)、建筑物、地标、道路中的障碍物、路段、交叉口等。因此，可发现、检测对象，或者将这些对象与沿着自我意识车辆正在行驶或预计沿其行驶的路线的路径、一个或多个路段等相关联。
“可操作的连接”或使实体“可操作地连接”的连接是可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电气接口。
如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位串流或可被接收、传输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
如本文所用，“值”和“水平”可包括(但不限于)数值或其他种类的值或水平，诸如百分比、非数值、离散状态、离散值、连续值等等。如整个该具体实施方式及权利要求书中所用，术语“X的值”或“X的级别”是指用于区分X的两个或更多个状态的任何数值或其他种类的值。例如，在一些情况下，X的值或级别可作为0％与100％之间的百分数给出。在其他情况下，X的值或级别可以是1与10之间的范围内的值。在再其他情况下，X的值或级别可能不是数值，而是可与给定离散状态相关联，诸如“不是X”、“略微x”、“x”、“十分x”和“极其x”。
如本文所用，“车辆”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动车辆。术语“车辆”包括但不限于：汽车、卡车、厢式货车、小型货车、SUV、摩托车、踏板车、船只、卡丁车、游乐车、轨道交通、个人水运工具、无人机和飞行器。在一些情况中，机动车辆包括一个或多个发动机。此外，术语“车辆”可以是指能够运载一个或多个人类乘员并且完全地或部分地由电池供电的一个或多个电动马达供电的电动车辆(EV)。EV可包括电池动力电动车辆(BEV)和插电式混合动力电动车辆(PHEV)。另外，术语“车辆”可还是指由任何形式的能量提供动力的自主车辆和/或自行驾驶车辆。自主车辆可以运载或可以不运载一个或多个人类乘员。此外，术语“车辆”可包括具有预定路径的自动化或非自动的车辆或自由移动的车辆。
如本文所用，“车辆系统”可包括但不限于可用于增强车辆、驾驶和/或安全性的任何自动或手动系统。示例性车辆系统包括但不限于：电子稳定性控制系统、防抱死制动系统、制动辅助系统、自动制动预填充系统、低速跟随系统、巡航控制系统、碰撞警告系统、碰撞缓解制动系统、自动巡航控制系统、车道偏离警告系统、盲点指示器系统、车道保持辅助系统、导航系统、电子动力转向系统、视觉设备(例如，摄像机系统、接近传感器系统)、气候控制系统、电子预紧系统、监测系统、乘客检测系统、车辆悬架系统、车辆座椅配置系统、车辆车厢照明系统、音频系统、感觉系统等等。
I.系统概述
现在参考附图，其中所示内容是出于说明一个或多个示例性实施方案的目的而非出于限制一个或多个示例性实施方案的目的，图1是根据本公开的示例性实施方案的用于完成与自我意识车辆102的操作有关的风险对象识别的操作环境100的示意图。对于各种实施方案，本文所述的操作环境100的部件以及其他系统、硬件架构和软件架构的部件可组合、省略或组织成不同架构。
一般来讲，操作环境100包括具有电子控制单元(ECU)104的自我意识车辆102，该电子控制单元执行一个或多个应用程序、操作系统、车辆系统和子系统用户界面等等。ECU104还可执行风险对象识别应用程序106，该风险对象识别应用程序可被配置为利用语义模板和反事实虚拟对象道路场景增强来完成关于在自我意识车辆102的周围环境内的自我意识车辆102的操作的驾驶场景风险对象识别。自我意识车辆102的周围环境可被限定为位于自我意识车辆102的周围(前方/侧方/后方)的预先确定的区域(例如，在自我意识车辆102前方、侧方和/或后方的道路环境)，该预先确定的区域可包括在自我意识车辆的行驶路径内。
风险对象识别应用程序106可被配置为利用机器学习/深度学习技术来分析在操作自我意识车辆102时从周围环境捕获的一个或多个分子图像。如下所述，可分析该一个或多个分子图像以确定包括在自我意识车辆102的周围环境内的一条或多条道路的道路拓扑结构。风险对象识别应用程序106可被配置为评估该周围环境的一条或多条道路的道路拓扑结构，以确定可存在于该一条或多条道路的多个位置中的多个语义区域。
如下文将更详细讨论的，风险对象识别应用程序106可被配置为完成多个语义区域中的每个语义区域的路点标注。该多个语义区域可与可用作自我意识车辆102可行驶经过以到达特定位置(例如，目标、目的地)的可能区域的一个或多个路点有关。例如，当自我意识车辆102的周围环境包括四路交叉口时，语义区域可包括当自我意识车辆102穿过该交叉口时可由该自我意识车辆使用的四路交叉口的一条或多条道路的区域。
在一个实施方案中，风险对象识别应用程序106可预测或跟踪自我意识车辆102通过一个或多个语义区域的一条或多条路径，并且可输出可与自我意识车辆102的预测路径或跟踪路径相关联的多个语义路点标注。在输出可与语义区域相关联的多个语义标注时，风险对象识别应用程序106可被配置为完成关于在自我意识车辆102的路径内的一个或多个语义区域的反事实场景增强。如下所述，反事实场景增强可以图形方式增强可包括在一个或多个相应语义区域内的一个或多个静态或动态对象。对一个或多个对象的增强可包括对可在各种区域处并以各种方式出现的一个或多个静态对象和/或一个或多个动态对象的图像修复。
风险对象识别应用程序106可被配置为基于对在可与自我意识车辆102的预测路径或跟踪路径相关联的各种语义区域处的各种动态对象和/或静态对象的各种类型的反事实场景增强来分析各种场景，以确定可与在一个或多个语义区域内的自我意识车辆102的行驶路径相关联的一种或多种驾驶员意图。该一种或多种驾驶员意图可被确定为受到一条或多条道路的道路拓扑结构影响的驾驶意图，如基于语义路点标注以及自我意识车辆102的驾驶员(未示出)对基于反事实场景增强而提供的增强的静态对象或动态对象的注意力所确定的。例如，如果驾驶员正在四路交叉口中进行左转，则驾驶员的注意力可分配到与该操纵相关的那些对象上，并且驾驶员意图可基于这些对象是否将对自我意识车辆102的行驶路径和操作产生影响。
另外，风险对象识别应用程序106可被配置为确定可与一个或多个语义区域相关联的一种或多种驾驶员响应。一种或多种驾驶员响应可被确定为可基于道路拓扑结构和驾驶员对增强的静态对象或动态对象的驾驶响应(例如，制动、变向、加速)的驾驶反应。例如，如果驾驶员正在四路交叉口中进行左转，则可基于可位于自我意识车辆102的行驶路径内或该自我意识车辆的行驶路径附近的一个或多个静态对象和/或一个或多个动态对象的存在来完成减速、变向和/或停止的一个或多个驾驶反应。
在一个或多个实施方案中，风险对象识别应用程序106可被配置为基于如由应用程序106确定的一种或多种驾驶员意图和/或一种或多种驾驶员响应来可操作地控制自我意识车辆102的一个或多个系统。如下所述，自我意识车辆102可被可操作地控制以向自我意识车辆102的驾驶员提供一个或多个警报，并且/或者自主或半自主地进行操作。因此，通过执行道路拓扑结构建模和反事实场景生成，可提高风险对象识别的性能，并且自我意识车辆102可被可操作地控制以基于自我意识车辆102的驾驶员的潜在意图和/或响应来提供警告并且/或者导航。
继续参考图1，在示例性实施方案中，ECU 104可被配置为可操作地控制自我意识车辆102的多个部件。在一个或多个实施方案中，ECU 104可包括微处理器、一个或多个专用集成电路(ASIC)或其他类似设备。ECU 104还可包括内部处理存储器、接口电路和总线线路以便传输数据、发送命令并且与自我意识车辆102的多个部件通信。
ECU 104可另外包括通信设备(未示出)以用于在自我意识车辆102内部(例如，在一个或多个部件之间)发送数据并且与外部托管的计算系统(例如，在自我意识车辆102外部)通信。一般来讲，ECU 104可与自我意识车辆102的存储单元108通信以执行存储在存储单元108内的一个或多个应用程序、操作系统、自我意识车辆系统和子系统用户界面等。在示例性实施方案中，存储单元108可被配置为存储神经网络110和神经网络110的一个或多个部件。
在一个或多个实施方案中，神经网络110可被配置为配置有长短期记忆单元(LSTM)的人工递归神经网络(RNN)架构。神经网络110可被配置为基于可捕获到自我意识车辆102的周围环境的一个或多个单目图像来执行图像数据的时间理性推理。在执行图像数据的时间理性推理时，神经网络110的解码器LSTM可被配置为执行路点分类器112以完成关于多个语义区域的语义路点标注，该多个语义区域可与可用作自我意识车辆102可行驶经过以到达特定位置的可能区域的一个或多个路点有关。
在一个实施方案中，神经网络110可利用路点分类器112来建模和确定自我意识车辆102的周围环境的道路拓扑结构并完成在该周围环境内的道路的语义路点标注。语义路点标注可基于预先训练的数据集来完成，该预先训练的数据集可包括许多道路场景。如下所述，风险对象识别应用程序106可被配置为访问神经网络110以基于对周围环境的单目图像的分析来完成自我意识车辆102的周围环境的语义3D重建。神经网络110可利用路点分类器112来完成多个语义区域的语义路点标注，该多个语义区域可与可用作自我意识车辆102可行驶经过以到达特定位置的可能区域的一个或多个路点有关。
神经网络110还可用于执行机器学习/深度学习技术以完成关于一个或多个语义区域的反事实场景增强。因此，风险对象识别应用程序106可被配置为完成关于在自我意识车辆102的路径内的一个或多个语义区域的反事实场景增强，以增强可包括在一个或多个相应语义区域内的一个或多个静态对象和/或一个或多个动态对象。对一个或多个对象的增强可包括对可在各种区域处并以各种方式出现的一个或多个静态对象和/或一个或多个动态对象的图像修复(如图5所示，如下所述)。
神经网络110可另外包括意图分类器114。神经网络110可访问意图分类器114以确定一种或多种驾驶员意图和/或一种或多种驾驶员响应。在一种配置中，意图分类器114可被配置为分析一条或多条道路的道路拓扑结构以及一个或多个动态对象和/或一个或多个静态对象的反事实增强，以确定驾驶员意图和驾驶员响应。如下所述，应用程序106可基于由意图分类器114确定的驾驶员意图和/或驾驶员响应来可操作地控制自我意识车辆102的一个或多个系统。
在示例性实施方案中，自我意识车辆102包括车辆摄像机系统118，该车辆摄像机系统可提供与自我意识车辆102的周围环境的一个或多个单目图像相关联的图像数据，这些图像数据由车辆摄像机系统118的一个或多个单目摄像机120捕获。该一个或多个单目摄像机120可设置在自我意识车辆102的外前部分，包括但不限于车辆仪表板、车辆保险杠、车辆前照明单元、车辆挡泥板和挡风玻璃的不同部分，以捕获自我意识车辆102的周围环境的一个或多个区域的单目图像。基于由一个或多个单目摄像机120捕获的单目图像，车辆摄像机系统118可被配置为检测对象、检测车道边界以及跟踪位于自我意识车辆102的周围环境内的对象。车辆摄像机系统118可被配置为将检测打包成图像数据，该图像数据被提供给风险对象识别应用程序106。
在一个实施方案中，由车辆摄像机系统118提供的图像数据可由风险对象识别应用程序106进行分析，以完成自我意识车辆102的周围环境的一个或多个单目图像的语义三维重建。参考图2，可通过风险对象识别应用程序106以图像数据的形式接收一个或多个单目图像202。在一个实施方案中，风险对象识别应用程序106可被配置为执行图像逻辑以处理来自一个或多个单目图像的运动三维重建的结构。如图所示，可分析图像数据以确定周围环境的道路拓扑结构和特征(例如，人行横道、交通灯)。此类特征可以对应的RGB颜色204示出(显示为不同色度)，这些RGB颜色被配置为提供关于对象外观以及对象和周围环境之间的关系和交互的丰富信息。
在示例性实施方案中，神经网络110可被配置为分析RGB颜色204，这些RGB颜色被配置为提供关于对象外观的丰富信息以确定与自我意识车辆102的周围环境相关联的点云投影206。如图所示，点云投影206可包括可与自我意识车辆102的周围环境的各种特征(例如，建筑物、人行横道)相关联的多个点。点云投影206可包括表示3D形状或对象的多个点，该多个点各自包括一组X、Y和Z三维坐标。
在一个实施方案中，在确定基于自我意识车辆102的周围环境的一个或多个单目图像的点云投影206时，神经网络110可被配置为通过三维地旋转点云投影206来重建点云投影206。参考图3，神经网络110可完成点云投影206的XoZ投影，以将图像旋转成经旋转的XoZ点云平面投影302。
在一种配置中，经旋转的XoZ点云平面投影302可指示自我意识车辆102的周围环境的鸟瞰视图，并且可相对于经旋转的点云以各种颜色投影示出，以包括与周围环境的相应特征相关联的对应的语义含义。例如，相应颜色投影可指示建筑物、人行横道、人行道、车道标记等。在一个实施方案中，神经网络110可被配置为分析经旋转的XoZ点云平面投影302以确定不直接影响道路拓扑结构的冗余对象类别。例如，可确定不直接位于道路拓扑结构内并且不直接影响自我意识车辆102的路径的与建筑物、树木、路灯、道路标志等相关联的点。在确定冗余对象类别时，神经网络110可被配置为从经旋转的XoZ点云平面投影302中移除对应于冗余对象类别的这些点。
在一个实施方案中，在从经旋转的XoZ点云平面投影302中移除与冗余对象类别相对应的点时，神经网络110可输出道路拓扑结构风险对象点云304。道路拓扑结构风险对象点云304可包括对应于自我意识车辆102在自我意识车辆102的周围环境内的行驶路径的路径投影306。如图3所示，如果自我意识车辆102的路径在包括在自我意识车辆102的周围环境内的交叉口308内是左转，则透视路径310可作为道路拓扑结构风险对象点云304上的路径投影306被包括在内。该功能可允许由一个或多个单目摄像机120捕获的图像的脉冲来确定自我意识车辆102的行驶路径。例如，可聚合许多单目图像，以将自我意识车辆102的行驶路径确定为在交叉口308内的左转。在一种配置中，自我意识车辆102的路径可分段成可与交叉口308的具体位置相关联的区段，并且一个或多个单目摄像机120的姿态可基于自我意识车辆102通过交叉口308的位置的行驶路径。被分段成区段的这些位置可包括可在单目图像内捕获的特定特征，诸如人行横道、车道标记等。
换句话说，道路拓扑结构风险对象点云304可实现自我意识车辆102通过交叉口308的区域的路径的映射，从而在自我意识车辆102通过交叉口308的整个路径上相对于交叉口308的位置分支出自我意识车辆102的轨迹。如下所述，在输出道路拓扑结构风险对象点云304时，神经网络110可被配置为利用路点分类器112来完成多个语义区域的语义路点标注，该多个语义区域可与可用作自我意识车辆102可行驶经过以到达特定位置的可能区域(例如，包括在自我意识车辆102的行驶路径内的可能区域)的一个或多个路点有关。应当理解，神经网络110可输出可与自我意识车辆102的多个路径有关的附加道路拓扑结构风险对象点云。例如，可输出与自我意识车辆102通过交叉口308的直行行驶路径和/或自我意识车辆102通过交叉口308的右转行驶路径有关的附加道路拓扑结构风险对象点云(未示出)。
图4A示出了根据本公开的示例性实施方案的自我意识车辆102的周围环境的道路拓扑结构的语义分类的例示性非限制性示例。在一种配置中，风险对象识别应用程序106可被配置为利用神经网络110来分析一个或多个道路拓扑结构风险对象点云，以输出自我意识车辆102的周围环境的道路拓扑结构模板。例如，风险对象识别应用程序106可被配置为利用神经网络110来分析道路拓扑结构风险对象点云304，以及与自我意识车辆102的另选行驶路径相关联的附加道路拓扑结构风险对象点云。
道路拓扑结构模板可基于对与相对于可由神经网络110的路点分类器112利用的预先训练的道路拓扑结构数据集的一个或多个道路拓扑结构风险对象点云相关联的图像数据的分析。道路拓扑结构模板可包括自我意识车辆102的周围环境的道路的分类以及被包括在道路拓扑结构风险对象点云304内的自我意识车辆102的周围环境的道路的特征。例如，道路拓扑结构模板可包括作为四路交叉口的道路的分类以及被包括在道路拓扑结构风险对象点云304内的可包括拐角、人行横道、车道等的特征。
如图4A所示，在一种配置中，神经网络110可将道路拓扑结构模板初始输出为基于目标的道路拓扑结构模板402，该基于目标的道路拓扑结构模板包括自我意识车辆102的周围环境的道路拓扑结构的高级语义。基于目标的道路拓扑结构模板402可初始输出有四个语义目标区域。该四个语义目标区域可包括但可不限于自我意识车辆102所位于/行驶的当前区域(示为S)以及可指示可充当目标或路点的位置的一个或多个语义目标区域，其中自我意识车辆102的路径可基于自我意识车辆102的行驶路径的方向穿过这些目标和路点。如图所示，在图4A的非限制性例示性示例中，三个语义目标区域(示出为T1、T2、T3)可被包括在基于目标的道路拓扑结构模板402的三个相应位置处，该三个相应位置指示基于自我意识车辆102在(四路)交叉口308处的行驶方向(例如，左转、直行、右转)的目标。换句话讲，可基于自我意识车辆102通过交叉口308的行驶路径到达语义目标区域。
在一个实施方案中，在输出自我意识车辆102的周围环境的道路拓扑结构的高级语义时，风险对象识别应用程序106可被配置为完成道路拓扑结构模板的进一步语义分段。如图4B(语义区域的语义路点标注的例示性示例)所示，神经网络110可被配置为将自我意识车辆102的周围环境的道路拓扑结构模板进一步修改成分段语义道路拓扑结构模板404。具体地讲，基于目标的道路拓扑结构模板402可进一步分段成多个语义区域，该多个语义区域由语义路点标注指示并作为分段语义道路拓扑结构模板404输出。
在一个或多个实施方案中，神经网络110可被配置为利用路点分类器112将道路拓扑结构模板分段成多个分段区域，并且可基于语义路点标注对这些分段区域进行分类。如上所述，该多个语义区域可与可用作自我意识车辆102可行驶经过以到达特定位置(例如，目标、目的地)的可能区域的一个或多个路点有关。因此，风险对象识别应用程序106可与神经网络110通信以输出分段语义道路拓扑结构模板404。
在一个实施方案中，风险对象识别应用程序106可跟踪自我意识车辆102通过一个或多个语义区域的一条或多条路径，并且可输出可与自我意识车辆102的预测路径或跟踪路径相关联的多个语义路点标注(示出为A1、A2、A3、B1、B2、B3、C1、C2、C3)。因此，分段语义道路拓扑结构模板404可与多个语义路点标注一起输出，该多个语义路点标注可指示当使用通过交叉口308的特定行驶路径驾驶自我意识车辆102时自我意识车辆102可位于的多个语义区域。
作为例示性示例，如上文关于图3所述，如果自我意识车辆102的路径在包括在自我意识车辆102的周围环境内的交叉口308内是左转，则透视路径310可作为道路拓扑结构风险对象点云304上的路径投影306被包括在内。再次参考图4B，风险对象识别应用程序106可跟踪自我意识车辆102通过被包括在左转路径中的一个或多个语义区域的一条或多条路径，并且可输出多个语义路点标注，该多个语义路点标注可包括作为路径起点的S、作为路径穿过的人行横道的区域A1、作为路径穿过的交叉口308的区域B1、作为路径穿过的另一人行横道的区域C1以及作为自我意识车辆102的路径穿过的语义目标区域T1。应当理解，风险对象识别应用程序106可跟踪自我意识车辆102通过一个或多个另选语义区域的一条或多条路径(例如，在具有另选左转行驶路径的另选左转行驶路径场景中，在右转行驶路径场景中，在直行行驶路径场景中)，可基于自我意识车辆102可用来进行左转的各种转弯角度来捕获一个或多个单目摄像机120的姿态。
在示例性实施方案中，在跟踪自我意识车辆102通过一个或多个语义区域的一条或多条路径并输出与自我意识车辆102的路径相关联的多个语义路点标注时，风险对象识别应用程序106可被配置为访问存储单元108以从存储在存储单元108上的反事实数据集116中检索反事实数据。在示例性实施方案中，可利用可与多个静态对象和多个动态对象相关联的对象配置文件来预先训练反事实数据集116。可基于多种类型的静态对象和多种类型的动态对象来对这些对象配置文件进行分类。例如，对象配置文件可被分类为道路侧静态对象、人造静态对象、交通相关静态对象、自然静态对象等。另外，对象配置文件可被分类为行人、汽车、卡车、公共汽车、自行车等。
在一个实施方案中，风险对象识别应用程序106可访问反事实数据集116以检索一个或多个对象配置文件，从而在一个或多个单目图像内的像素处对可出现在自我意识车辆102的行驶路径内的各种语义区域处的一个或多个静态对象和/或一个或多个动态对象进行图像修复，该一个或多个单目图像包括自我意识车辆102的路径内的一个或多个语义区域。如图5的例示性示例所示，对于左转场景(其对应于上文关于道路拓扑结构风险对象点云304上的路径投影306所述的场景)，神经网络110可被配置为访问反事实数据集116以检索可与一个或多个相应的动态对象和/或静态对象相关联的一个或多个对象配置文件。风险对象识别应用程序106可被配置为对在自我意识车辆102的路径内的一个或多个语义区域处的一个或多个动态对象和/或一个或多个静态对象进行图像修复。如图所示，在左转场景502中，神经网络110可被配置为增加将被图像修复到在交叉口308处出现的左转驾驶场景506中的正在穿越的行人504。类似地，在右转场景508中，神经网络110可被配置为增加将被图像修复到在交叉口308处出现的右转驾驶场景512中的正在穿越的车辆510。
在一个实施方案中，在确定道路拓扑结构并完成关于自我意识车辆102的周围环境的一个或多个语义区域的反事实增强时，风险对象识别应用程序106可被配置为利用神经网络110来确定一种或多种驾驶员意图和/或一种或多种驾驶员响应。在一种配置中，神经网络110可访问意图分类器114以分析一条或多条道路的道路拓扑结构以及一个或多个对象相对于预先训练的数据集的反事实增强，从而利用预先训练的历史数据和关于与自我意识车辆102的路径相关联的未来语义区域的未来观察结果来确定驾驶员意图和驾驶员响应。
意图分类器114可被配置为利用对针对类似的道路拓扑结构以及在一个或多个驾驶姿态内包括一种或多种类型的动态对象和/或静态对象的驾驶员意图和驾驶员响应的预先训练的过去观察结果，来分析包括自我意识车辆102的先前姿态的过去特征和包括当前驾驶场景的当前特征。意图分类器114可被配置为输出将与当前特征聚合的未来特征，以输出后续的未来特征。因此，意图分类器114可使神经网络110能够确定在一个或多个未来时间点(t+1、t+2、t+3、t+n)的一种或多种驾驶员意图和/或一种或多种驾驶员响应，该一种或多种驾驶员意图和/或一种或多种驾驶员响应可受到道路拓扑结构和在自我意识车辆102的通路内包括一个或多个增强对象的影响。
再次参考图1，在执行道路拓扑结构建模和反事实场景生成时，可通过风险对象识别应用程序106可操作地控制自我意识车辆102，以基于所确定的驾驶员意图和/或驾驶员响应来提供警告，并且/或者自主地进行操作。在一个实施方案中，风险对象识别应用程序106可评估驾驶员意图和/或驾驶员响应以确定一个或多个命令指令，从而以基于道路拓扑结构或包括关于自我意识车辆102的路径的一个或多个对象来考虑在一个或多个未来时间步长的驾驶员意图和/或驾驶员响应的方式操作自我意识车辆102。
在一种配置中，可将一个或多个命令指令传送到自我意识车辆102的车辆控制器122，以自主地控制自我意识车辆102考虑在一个或多个未来时间步长的驾驶员意图和/或驾驶员响应。具体地讲，可传送一个或多个命令指令以可操作地控制车辆控制器122，从而基于自我意识车辆102的透视行驶路径(例如，左转)、可位于该行驶路径内或附近的一个或多个静态对象，以及/或者可位于和/或可出现在自我意识车辆102的行驶路径内或附近的一个或多个动态对象，来处理并执行自主动态参数。
车辆控制器122可被配置为执行自主驾驶命令以操作自我意识车辆102，从而以特定方式完全自主驾驶或半自主驾驶以适应驾驶员意图和/或驾驶员响应。车辆控制器122可被配置为自主地控制自我意识车辆102以基于由风险对象识别应用程序106输出的一个或多个可执行命令指令的方式操作。例如，应用程序106可向车辆控制器122发送命令，以确保自我意识车辆102自主地进行操作，从而完成平稳加速、制动和/或转向以在自我意识车辆102的周围环境内平稳地导航以适应驾驶员意图和/或驾驶员响应。
在一个或多个实施方案中，车辆控制器122可通过向一个或多个车辆系统/控制单元124提供一个或多个命令来自主地控制自我意识车辆102的操作，以提供对自我意识车辆102的完全自主控制或半自主控制。自我意识车辆102的此类自主控制可通过以下方式来提供：发送一个或多个命令以控制一个或多个车辆系统/控制单元124在一种或多种情况期间(例如，当提供驾驶员辅助控制时)操作(例如，驾驶)自我意识车辆102，并且/或者在自我意识车辆102的整个行程期间完全控制自我意识车辆102的驾驶。
在一些配置中，车辆系统/控制单元124可包括驾驶员辅助系统，该驾驶员辅助系统可在一种或多种情况下向自我意识车辆102的驾驶员提供听觉和/或视觉警报。在一个实施方案中，风险对象识别应用程序106可评估驾驶员意图和/或驾驶员响应以确定要输出到车辆系统/控制单元124的一个或多个命令指令，从而向自我意识车辆102的驾驶员提供可基于所确定的驾驶员意图和/或驾驶员响应的一个或多个警报。
在示例性实施方案中，自我意识车辆102的存储单元108可另外存储风险对象数据集126。在一个实施方案中，在访问意图分类器以确定一种或多种驾驶员意图和/或一种或多种驾驶员响应时，风险对象识别应用程序106可接收所确定的驾驶员意图和/或驾驶员响应。风险对象识别应用程序106可因此访问风险对象数据集126，以利用与道路拓扑结构相关联的信息和可与对应于语义区域的特定语义路点标注相关联的一个或多个反事实增强来填充数据集。在一些配置中，此类数据可用于进一步训练神经网络110，该神经网络可使意图分类器114能够将过去的确定用于在与自我意识车辆102的当前周围环境类似的环境(例如，包括类似的道路拓扑结构)中的未来驾驶员意图和/或驾驶员响应确定。
在一些实施方案中，风险对象识别应用程序106可访问并分析风险对象数据集126以在执行自主驾驶命令时提供运动规划能力，可提供这些自主驾驶命令以在可(例如，以一种或多种方式)类似于自我意识车辆102的周围环境的各种交通环境中自主地控制自我意识车辆102，从而预先适应可能的驾驶员意图和/或驾驶员响应。
II.风险对象识别应用程序及相关方法
现在将根据示例性实施方案并且参考图1来描述风险对象识别应用程序106的部件。在示例性实施方案中，风险对象识别应用程序106可存储在存储单元108上并且由自我意识车辆102的ECU 104执行。在另一实施方案中，风险对象识别应用程序106可存储在外部托管的计算基础设施(未示出)上，并且可由自我意识车辆102的远程信息控制单元(未示出)访问，以待由自我意识车辆102的ECU 104执行。
继续参考图1，现在将讨论风险对象识别应用程序106的一般功能。在示例性实施方案中，风险对象识别应用程序106可包括多个模块128-134，该多个模块可被配置为与神经网络110通信以完成与自我意识车辆102的操作有关的风险对象识别。
在一个或多个实施方案中，风险对象识别应用程序106的多个模块128-134可包括数据接收模块128、语义标注模块130、反事实增强模块132和车辆控制模块134。然而，应当理解，风险对象识别应用程序106可包括为代替模块128-134而被包括的一个或多个附加模块和/或子模块。
图6是根据本公开的示例性实施方案的用于完成自我意识车辆102的周围环境的语义路点标注的方法600的过程流程图。图6将参考图1至图5的部件来描述，但应当理解，图6的方法600可与其他系统/部件一起使用。方法600可在框602处开始，其中方法600可包括从车辆摄像机系统118接收图像数据。
在示例性实施方案中，风险对象识别应用程序106的数据接收模块128可被配置为接收可与已由车辆摄像机系统118的一个或多个单目摄像机120捕获的一个或多个单目图像相关联的图像数据。基于由一个或多个单目摄像机120捕获的单目图像，车辆摄像机系统118可被配置为分析单目图像以检测物体、检测道路标记以及跟踪位于自我意识车辆102的周围环境内的对象。车辆摄像机系统118可被配置为将检测打包成图像数据，该图像数据被传送到风险对象识别应用程序106的数据接收模块128。
方法600可前进至框604，其中方法600可包括完成一个或多个单目图像的点云投影。在示例性实施方案中，在接收到与自我意识车辆102的周围环境的一个或多个单目图像相关联的图像数据时，数据接收模块128可将相应数据传送到风险对象识别应用程序106的语义标注模块130。
在一个实施方案中，语义标注模块130可被配置为执行图像逻辑以处理来自一个或多个单目图像的运动三维重建的结构。在一种配置中，可分析图像数据以确定周围环境的道路拓扑结构和特征(例如，人行横道、交通灯)。此类特征可以对应的RGB颜色204示出，这些RGB颜色被配置为提供关于对象外观以及对象和周围环境之间的关系和交互的丰富信息。
在示例性实施方案中，语义标注模块130可与神经网络110通信以分析RGB颜色204，这些RGB颜色被配置为提供关于对象外观的丰富信息以确定与自我意识车辆102的周围环境相关联的点云投影206。如上所述，点云投影206可包括表示3D形状或对象的多个点，该多个点各自包括可与自我意识车辆102的周围环境的各种特征相关联的一组X、Y和Z坐标。例如，点云投影206可包括表示建筑物、交通灯、人行横道、车道标记、道路标志、人行道等的多个点。
继续参考图6的方法600，方法600可前进至框606，其中方法600可包括完成周围环境的语义3D重建。在示例性实施方案中，在神经网络110确定基于自我意识车辆102的周围环境的一个或多个单目图像的点云投影206时，语义标注模块130可利用神经网络110来完成自我意识车辆102的周围环境的语义3D建造。
在一种配置中，神经网络110可被配置为通过三维地旋转点云投影206来重建点云投影206。神经网络110可完成点云投影206的XoZ投影，以将图像旋转成经旋转的XoZ点云平面投影302，该经旋转的XoZ点云平面投影可指示自我意识车辆102的周围环境的鸟瞰视图。可相对于经旋转的点云以各种颜色投影处理经旋转的XoZ点云平面投影302，以包括与周围环境的相应特征相关联的对应的语义含义。
在示例性实施方案中，神经网络110可被配置为分析经旋转的XoZ点云平面投影302以确定不直接影响道路拓扑结构的冗余对象类别。神经网络110可被配置为从对应于冗余对象类别的经旋转的XoZ点云平面投影302中移除这些点，并且可输出道路拓扑结构风险对象点云304。道路拓扑结构风险对象点云304可包括对应于自我意识车辆102在自我意识车辆102的周围环境内的行驶路径的路径投影306。
继续参考图6的方法600，方法600可前进至框608，其中方法600可包括完成周围环境的语义路点标注。在示例性实施方案中，在完成自我意识车辆102的周围环境的3D建造时，神经网络110可被配置为访问路点分类器112以完成周围环境的语义路点标注。具体地讲，神经网络110可被配置为利用路点分类器112来完成多个语义区域的语义路点标注，该多个语义区域可与可用作自我意识车辆102可行驶经过以到达特定位置的可能区域(例如，包括在自我意识车辆102的行驶路径内的可能区域)的一个或多个路点有关。
在一个实施方案中，神经网络110可将道路拓扑结构模板初始输出为基于目标的道路拓扑结构模板402，该基于目标的道路拓扑结构模板包括自我意识车辆102的周围环境的道路拓扑结构的高级语义。基于目标的道路拓扑结构模板402可初始输出有n个语义目标区域，这些语义目标区域可包括自我意识车辆102所位于/行驶的当前区域以及可指示可充当目标或路点的位置的一个或多个语义目标区域，其中自我意识车辆102的路径可基于自我意识车辆102的行驶路径的方向穿过这些目标和路点。例如，如图4A所示，三个语义目标区域(示出为T1、T2、T3)可被包括在基于目标的道路拓扑结构模板402的三个相应位置处，该三个相应位置指示基于位于交叉口308的当前区域(S)处的自我意识车辆102的行驶方向(例如，左转、直行、右转)的目标。
在一个或多个实施方案中，在输出自我意识车辆102的周围环境的道路拓扑结构的高级语义时，神经网络110可被配置为将自我意识车辆102的周围环境的道路拓扑结构模板进一步修改成分段语义道路拓扑结构模板404。具体地讲，基于目标的道路拓扑结构模板402可进一步分段成多个语义区域，该多个语义区域由语义路点标注指示并作为分段语义道路拓扑结构模板404输出。神经网络110可被配置为利用路点分类器112将道路拓扑结构模板分段成多个分段区域，并且可基于语义路点标注对这些分段区域进行分类。神经网络110可因此将分段语义道路拓扑结构模板404以一种或多种电子数据格式输出到语义标注模块130。
在一个实施方案中，语义标注模块130可跟踪自我意识车辆102通过一个或多个语义区域的一条或多条路径，并且可输出可与自我意识车辆102的预测路径或跟踪路径相关联的多个语义路点标注(示出为图4B中的A1、A2、A3、B1、B2、B3、C1、C2、C3)。因此，分段语义道路拓扑结构模板404可由具有多个语义路点标注的语义标注模块130处理，该多个语义路点标注可指示当使用通过交叉口308的特定行驶路径驾驶自我意识车辆102时自我意识车辆102可位于的多个语义区域。
图7是根据本公开的示例性实施方案的用于完成关于自我意识车辆102的周围环境的语义区域的反事实场景生成并确定关于这些语义区域的驾驶员意图和驾驶员响应的方法700的过程流程图。图7将参考图1至图5的部件来描述，但应当理解，图7的方法700可与其他系统/部件一起使用。方法700可在框702处开始，其中方法700可包括完成关于一个或多个语义区域的反事实场景生成。
在示例性实施方案中，在确定并输出与多个语义区域相关联的多个语义路点标注时，语义标注模块130可将与自我意识车辆102的周围环境的多个语义区域有关的数据传送到风险对象识别应用程序106的反事实增强模块132。反事实增强模块132可被配置为完成关于自我意识车辆102的周围环境的一个或多个语义区域的反事实增强。具体地讲，反事实增强模块132可被配置为访问存储单元108以从存储在存储单元108上的反事实数据集116中检索反事实数据。如上所述，可利用可基于多种类型的静态对象和多种类型的动态对象分类的对象配置文件来预先训练反事实数据集116。
在一个实施方案中，反事实增强模块132可访问反事实数据集116以检索一个或多个对象配置文件，从而对可能以一种或多种方式出现在自我意识车辆102的行驶路径内的各种语义区域处的一个或多个静态对象和/或一个或多个动态对象进行图像修复。在一种配置中，反事实增强模块132可被配置为在一个或多个单目图像内的像素处对一个或多个动态对象和/或一个或多个静态对象进行图像修复，该一个或多个单目图像包括自我意识车辆102的路径内的一个或多个语义区域。
作为例示性示例，参照图4B和图5，可将标注为A1的语义区域用对于自我意识车辆102的特定左转行驶路径而言正在穿越的行人504进行图像修复。类似地，可将标注为A3的语义区域用对于自我意识车辆102的特定右转行驶路径而言正在穿越的车辆510进行图像修复。可在N摄像机柱处的一个或多个语义区域中对静态对象和/或动态对象进行图像修复。因此，图像修复可发生在捕获自我意识车辆102行驶通过特定行驶路径到达其目标的一个或多个不同摄像机姿态的一个或多个不同摄像机框架处。
再次参考图7的方法700，方法700可前进至框704，其中方法700可包括确定与语义区域相关联的驾驶员意图和驾驶员响应。在一个实施方案中，在完成关于自我意识车辆102的周围环境的一个或多个语义区域的反事实增强时，反事实增强模块132可被配置为利用神经网络110来确定一种或多种驾驶员意图和/或一种或多种驾驶员响应。在一种配置中，神经网络110可访问意图分类器114以分析一条或多条道路的道路拓扑结构以及一个或多个对象相对于预先训练的数据集的反事实增强，从而利用预先训练的历史数据和关于与自我意识车辆102的路径相关联的未来语义区域的未来观察结果来确定驾驶员意图和驾驶员响应。
意图分类器114可被配置为利用对针对类似的道路拓扑结构以及在一个或多个驾驶姿态内包括一种或多种类型的动态对象和/或静态对象的驾驶员意图和驾驶员响应的预先训练的过去观察结果，来分析包括自我意识车辆102的先前姿态的过去特征和包括当前驾驶场景的当前特征。意图分类器114可被配置为输出将与当前特征聚合的未来特征，以输出后续的未来特征。因此，意图分类器114可使神经网络110能够确定在一个或多个未来时间点的一种或多种驾驶员意图和/或一种或多种驾驶员响应，该一种或多种驾驶员意图和/或一种或多种驾驶员响应可受到道路拓扑结构和在自我意识车辆102的通路内包括一个或多个增强对象的影响。
在一种配置中，第一特征可包括过去的观察结果。所考虑的第二特征可包括可与自我意识车辆102的预测行驶路径有关的未来特征以及可在一个或多个语义区域处确定的观察结果和姿态。在一个实施方案中，第一特征和未来特征可被分析为训练信号以形成后续的未来特征，该后续的未来特征可用于确定自我意识车辆102的驾驶员关于自我意识车辆102的未来行驶路径的意图。应当理解，可利用当前特征来分析每个未来特征，以随后结合与自我意识车辆102的行驶路径相关联的驾驶员意图来生成另一后续的未来特征。
关于一种或多种驾驶员响应，可基于对一个或多个动态对象和/或一个或多个静态对象的图像修复来确定潜在驾驶员响应。具体地讲，基于包括可包括在自我意识车辆102的潜在行驶路径内的一个或多个语义区域内的一个或多个动态对象和/或一个或多个静态对象，驾驶员的反应可被感知为该驾驶员是否可停止、减速以及/或者改变自我意识车辆102的行驶路径。
具体地讲，可分析过去的观察结果，并且可结合自我意识车辆102的预测行驶路径以及可在一个或多个语义区域处确定的观察结果和姿态来考虑可包括一个或多个对象的反事实增强的第二特征。在一个实施方案中，第一特征和未来特征可结合反事实增强被分析为训练信号以形成后续的未来特征，该后续的未来特征可用于确定自我意识车辆102的驾驶员关于自我意识车辆102的未来行驶路径的响应。在一个实施方案中，在输出与语义区域相关联的驾驶员意图和/或驾驶员响应时，神经网络110可将与驾驶员意图和/或驾驶员响应有关的数据传送到反事实增强模块132。
继续参考图7的方法700，方法700可前进至框706，其中方法700可包括基于驾驶员意图和/或驾驶员响应来控制一个或多个车辆系统。在示例性实施方案中，反事实增强模块132可被配置为将与驾驶员意图和/或驾驶员响应有关的数据作为神经网络110的输出传送到风险对象识别应用程序106的车辆控制模块134。在一个实施方案中，车辆控制模块134可被配置为评估驾驶员意图和/或驾驶员响应以确定一个或多个命令指令，从而以基于道路拓扑结构或包括关于自我意识车辆102的路径的一个或多个对象来考虑在一个或多个未来时间步长的驾驶员意图和/或驾驶员响应的方式操作自我意识车辆102。
车辆控制模块134可被配置为将一个或多个命令指令传送到自我意识车辆102的车辆控制器122，以自主地控制自我意识车辆102考虑在一个或多个未来时间步长的驾驶员意图和/或驾驶员响应。具体地讲，可由车辆控制模块134输出并传送一个或多个命令指令以可操作地控制车辆控制器122，从而基于自我意识车辆102的透视行驶路径(例如，左转)、可位于该行驶路径内或附近的一个或多个静态对象，以及/或者可位于和/或可出现在自我意识车辆102的行驶路径内或附近的一个或多个动态对象，来处理并执行自主动态参数。
车辆控制器122可被配置为执行自主驾驶命令以操作自我意识车辆102，从而以特定方式完全自主驾驶或半自主驾驶以适应驾驶员意图和/或驾驶员响应。具体地讲，车辆控制器122可通过向一个或多个车辆系统/控制单元124提供一个或多个命令来自主地控制自我意识车辆102的操作，以提供对自我意识车辆102的完全自主控制或半自主控制。自我意识车辆102的此类自主控制可通过以下方式来提供：发送一个或多个命令以控制一个或多个车辆系统/控制单元124在一种或多种情况期间(例如，当提供驾驶员辅助控制时)操作(例如，驾驶)自我意识车辆102，并且/或者在自我意识车辆102的整个行程期间完全控制自我意识车辆102的驾驶。
在一些实施方案中，车辆控制模块134可被配置为评估驾驶员意图和/或驾驶员响应以确定发送到车辆系统/控制单元124的一个或多个命令指令，从而向自我意识车辆102的驾驶员提供可基于所确定的驾驶员意图和/或驾驶员响应的一个或多个警报，以确保自我意识车辆102自主地进行操作，从而完成平稳加速、制动和/或转向以在自我意识车辆102的周围环境200内平稳地导航。
图8是根据本公开的示例性实施方案的用于完成风险对象识别的方法800的过程流程图。图8将参考图1至图5的部件来描述，但应当理解，图8的方法800可与其他系统/部件一起使用。方法800可在框802处开始，其中方法800可包括接收与自我意识车辆102的周围环境的单目图像相关联的图像数据。
方法800可前进至框804，其中方法800可包括分析该图像数据并完成自我意识车辆102的周围环境的至少一个区域的语义路点标注。方法800可前进至框806，其中方法800可包括完成关于至少一个区域的反事实场景增强。在一个实施方案中，该反事实场景增强包括对象在该至少一个区域处的增强。方法800可前进至框808，其中方法800可包括确定与至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应。在一个实施方案中，基于至少一种驾驶员意图和至少一种驾驶员响应中的至少一者来控制至少一个车辆系统。
从前面的描述中应当显而易见的是，本公开的各种示例性实施方案可在硬件中实现。此外，各种示例性实施方案可以被实现为存储在非暂态机器可读存储介质(诸如易失性或非易失性存储器)上的指令，该指令可以由至少一个处理器读取和执行以执行本文详细描述的操作。机器可读存储介质可以包括用于以机器可读的形式存储信息的任何机构，诸如个人或膝上型计算机、服务器或其他计算设备。因此，非暂态机器可读存储介质不包括暂态信号，但可包括易失性和非易失性存储器两者，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储器设备和类似存储介质。
本领域的技术人员应当理解，本文的任何框图表示体现本公开的原理的示例性电路的概念视图。类似地，应当理解，任何流程图、流程示意图、状态转换图、伪代码等表示可以在机器可读介质中基本上表示并且因此由计算机或处理器执行的各种过程，无论这种计算机或处理器是否被明确示出。
应当理解，上面公开的特征和功能以及其他特征和功能的各种实施方式或它们的替代物或变体可以理想地组合成许多其他不同系统或应用。此外，本领域的技术人员可以之后做出本文的各种目前无法预料或无法预期的替代、修改、变化或改进，这些也旨在涵盖在所附权利要求书中。

Claims (20)

1.一种用于完成风险对象识别的计算机实现的方法，所述计算机实现的方法包括：
接收与自我意识车辆的周围环境的单目图像相关联的图像数据；
分析所述图像数据并完成所述自我意识车辆的所述周围环境的至少一个区域的语义路点标注；
完成关于所述至少一个区域的反事实场景增强，其中所述反事实场景增强包括对象在所述至少一个区域处的增强；以及
确定与所述至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应，其中基于所述至少一种驾驶员意图和所述至少一种驾驶员响应中的至少一者来控制至少一个车辆系统。
2.根据权利要求1所述的计算机实现的方法，其中分析所述单目图像以检测对象、检测道路标记以及跟踪位于所述自我意识车辆的所述周围环境内的对象。
3.根据权利要求1所述的计算机实现的方法，其中分析所述图像数据并完成语义路点标注包括完成所述单目图像的点云投影，其中分析所述图像数据以确定所述自我意识车辆的所述周围环境的道路拓扑结构和特征。
4.根据权利要求3所述的计算机实现的方法，其中所述点云投影包括与所述周围环境的所述特征相关联的多个点，其中所述多个点表示包括一组三维坐标的三维形状。
5.根据权利要求3所述的计算机实现的方法，其中分析所述图像数据并完成语义路点标注包括将所述点云投影三维地旋转到XoZ点云平面投影中，其中所述XoZ点云平面投影指示所述自我意识车辆的所述周围环境的鸟瞰视图。
6.根据权利要求3所述的计算机实现的方法，其中分析所述图像数据并完成语义路点标注包括输出道路拓扑结构风险对象点云，所述道路拓扑结构风险对象点云包括对应于所述自我意识车辆在所述自我意识车辆的所述周围环境内的行驶路径的路径投影。
7.根据权利要求6所述的计算机实现的方法，其中所述路径投影由神经网络进行分析以完成所述自我意识车辆的所述行驶路径的多个区域的语义路点标注，其中所述语义路点标注包括标注所述自我意识车辆的当前位置和所述自我意识车辆的所述周围环境的多个区域，所述多个区域被包括在所述自我意识车辆的所述行驶路径内。
8.根据权利要求1所述的计算机实现的方法，其中完成所述反事实场景增强包括在包括所述至少一个区域的所述单目图像的像素处对动态对象和静态对象中的至少一者进行图像修复。
9.根据权利要求1所述的计算机实现的方法，其中确定与所述至少一个区域相关联的所述至少一种驾驶员意图和所述至少一种驾驶员响应包括，分析所述自我意识车辆的所述周围环境的至少一条道路的道路拓扑结构和关于所述至少一个区域相对于预先训练的数据集的所述反事实增强，以利用预先训练的历史数据和与所述自我意识车辆的所述行驶路径相关联的未来观察结果。
10.一种用于完成风险对象识别的系统，所述系统包括：
存储指令的存储器，所述指令在由处理器执行时使得所述处理器：
接收与自我意识车辆的周围环境的单目图像相关联的图像数据；
分析所述图像数据并完成所述自我意识车辆的所述周围环境的至少一个区域的语义路点标注；
完成关于所述至少一个区域的反事实场景增强，其中所述反事实场景增强包括对象在所述至少一个区域处的增强；以及
确定与所述至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应，其中基于所述至少一种驾驶员意图和所述至少一种驾驶员响应中的至少一者来控制至少一个车辆系统。
11.根据权利要求10所述的系统，其中分析所述单目图像以检测对象、检测道路标记以及跟踪位于所述自我意识车辆的所述周围环境内的对象。
12.根据权利要求10所述的系统，其中分析所述图像数据并完成语义路点标注包括完成所述单目图像的点云投影，其中分析所述图像数据以确定所述自我意识车辆的所述周围环境的道路拓扑结构和特征。
13.根据权利要求12所述的系统，其中所述点云投影包括与所述周围环境的所述特征相关联的多个点，其中所述多个点表示包括一组三维坐标的三维形状。
14.根据权利要求12所述的系统，其中分析所述图像数据并完成语义路点标注包括将所述点云投影三维地旋转到XoZ点云平面投影中，其中所述XoZ点云平面投影指示所述自我意识车辆的所述周围环境的鸟瞰视图。
15.根据权利要求12所述的系统，其中分析所述图像数据并完成语义路点标注包括输出道路拓扑结构风险对象点云，所述道路拓扑结构风险对象点云包括对应于所述自我意识车辆在所述自我意识车辆的所述周围环境内的行驶路径的路径投影。
16.根据权利要求15所述的系统，其中所述路径投影由神经网络进行分析以完成所述自我意识车辆的所述行驶路径的多个区域的语义路点标注，其中所述语义路点标注包括标注所述自我意识车辆的当前位置和所述自我意识车辆的所述周围环境的多个区域，所述多个区域被包括在所述自我意识车辆的所述行驶路径内。
17.根据权利要求10所述的系统，其中完成所述反事实场景增强包括在包括所述至少一个区域的所述单目图像的像素处对动态对象和静态对象中的至少一者进行图像修复。
18.根据权利要求10所述的系统，其中确定与所述至少一个区域相关联的所述至少一种驾驶员意图和所述至少一种驾驶员响应包括，分析所述自我意识车辆的所述周围环境的至少一条道路的道路拓扑结构和关于所述至少一个区域相对于预先训练的数据集的所述反事实增强，以利用预先训练的历史数据和与所述自我意识车辆的所述行驶路径相关联的未来观察结果。
19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储指令，所述指令在由包括处理器的计算机执行时使所述处理器执行方法，所述方法包括：
接收与自我意识车辆的周围环境的单目图像相关联的图像数据；
分析所述图像数据并完成所述自我意识车辆的所述周围环境的至少一个区域的语义路点标注；
完成关于所述至少一个区域的反事实场景增强，其中所述反事实场景增强包括对象在所述至少一个区域处的增强；以及
确定与所述至少一个区域相关联的至少一种驾驶员意图和至少一种驾驶员响应，其中基于所述至少一种驾驶员意图和所述至少一种驾驶员响应中的至少一者来控制至少一个车辆系统。
20.根据权利要求19所述的非暂态计算机可读存储介质，其中确定与所述至少一个区域相关联的所述至少一种驾驶员意图和所述至少一种驾驶员响应包括，分析所述自我意识车辆的所述周围环境的至少一条道路的道路拓扑结构和关于所述至少一个区域相对于预先训练的数据集的所述反事实增强，以利用预先训练的历史数据和与所述自我意识车辆的所述行驶路径相关联的未来观察结果。
CN202111323434.1A 2020-11-10 2021-11-09 用于完成风险对象识别的系统和方法 Pending CN114463714A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063111992P 2020-11-10 2020-11-10
US63/111,992 2020-11-10
US17/161,555 2021-01-28
US17/161,555 US20220144260A1 (en) 2020-11-10 2021-01-28 System and method for completing risk object identification

Publications (1)

Publication Number Publication Date
CN114463714A true CN114463714A (zh) 2022-05-10

Family

ID=81406496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111323434.1A Pending CN114463714A (zh) 2020-11-10 2021-11-09 用于完成风险对象识别的系统和方法

Country Status (2)

Country Link
US (1) US20220144260A1 (zh)
CN (1) CN114463714A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937123A (zh) * 2022-07-19 2022-08-23 南京邮电大学 基于多源影像融合的建筑建模方法、装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220161786A1 (en) * 2020-11-24 2022-05-26 Hyundai Motor Company System for evaluating risk values associated with object on road for vehicle and method for the same
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833637A1 (en) * 2013-07-31 2015-02-04 Thomson Licensing Method for processing a current image of an image sequence, and corresponding computer program and processing device
EP3198524B1 (en) * 2014-09-22 2023-05-10 Sikorsky Aircraft Corporation Context-based autonomous perception
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
JP7235247B2 (ja) * 2017-03-01 2023-03-08 モービルアイ ビジョン テクノロジーズ リミテッド 不確実性を検知しながらナビゲートするためのシステム及び方法
US10347001B2 (en) * 2017-04-28 2019-07-09 8th Wall Inc. Localizing and mapping platform
US10558217B2 (en) * 2017-08-28 2020-02-11 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
CN111095291B (zh) * 2018-02-27 2024-04-09 辉达公司 由自动驾驶车辆实时检测车道和边界
EP3642092A2 (en) * 2018-03-20 2020-04-29 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle
WO2019241022A1 (en) * 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks
CN113753081A (zh) * 2019-01-15 2021-12-07 北京百度网讯科技有限公司 一种激光雷达路侧盲区交通参与者避让方法和装置
US11242054B2 (en) * 2019-06-12 2022-02-08 Honda Motor Co., Ltd. Autonomous vehicle interactive decision making
US11686848B2 (en) * 2019-11-16 2023-06-27 Uatc, Llc Systems and methods for training object detection models using adversarial examples
US20220126873A1 (en) * 2020-10-23 2022-04-28 Argo AI, LLC Systems and methods for camera-lidar fused object detection with segment merging
US11603095B2 (en) * 2020-10-30 2023-03-14 Zoox, Inc. Collision avoidance planning system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937123A (zh) * 2022-07-19 2022-08-23 南京邮电大学 基于多源影像融合的建筑建模方法、装置

Also Published As

Publication number Publication date
US20220144260A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN110909587B (zh) 场景分类
US11584379B2 (en) System and method for learning naturalistic driving behavior based on vehicle dynamic data
US11042156B2 (en) System and method for learning and executing naturalistic driving behavior
CN111278707B (zh) 控制具有自动驾驶模式的车辆的方法和系统
CN110895674B (zh) 用于基于自我中心视觉的未来车辆定位的系统和方法
CN110406534B (zh) 用于汇合车辆的汇合行为系统及方法
CN110406542B (zh) 用于主线车辆的汇合行为系统及方法
US20220144260A1 (en) System and method for completing risk object identification
JP7126575B2 (ja) 運転者中心危険評価：意図認識運転モデルを用いた因果推論を介する危険物体識別
US11370446B2 (en) System and method for learning and predicting naturalistic driving behavior
CN111050116A (zh) 利用时间递归网络进行在线动作检测的系统和方法
US11608067B2 (en) Probabilistic-based lane-change decision making and motion planning system and method thereof
JP7072030B2 (ja) アクション事前分布を使用して将来予測するためのシステム及び方法
US11188766B2 (en) System and method for providing context aware road-user importance estimation
US10614320B2 (en) System and method for advanced highway lane detection
US20210082283A1 (en) Systems and methods for providing future object localization
CN114495046A (zh) 驾驶员行为风险评估和行人意识
US11460856B2 (en) System and method for tactical behavior recognition
JP2022179383A (ja) ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論するためのシステム及び方法
CN116745195A (zh) 车道外安全驾驶的方法和系统
US20210078608A1 (en) System and method for providing adaptive trust calibration in driving automation
US20220324490A1 (en) System and method for providing an rnn-based human trust model
US10678249B2 (en) System and method for controlling a vehicle at an uncontrolled intersection with curb detection
US11745744B2 (en) System and method for determining object-wise situational awareness
CN112249016A (zh) 用于自动驾驶车辆的掉头控制系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination