CN108944920A - 在机动车应用程序中生成并使用感知场景图的方法和系统 - Google Patents

在机动车应用程序中生成并使用感知场景图的方法和系统 Download PDF

Info

Publication number
CN108944920A
CN108944920A CN201810360817.8A CN201810360817A CN108944920A CN 108944920 A CN108944920 A CN 108944920A CN 201810360817 A CN201810360817 A CN 201810360817A CN 108944920 A CN108944920 A CN 108944920A
Authority
CN
China
Prior art keywords
information
psg
vehicle
motor vehicles
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810360817.8A
Other languages
English (en)
Inventor
J·G·霍维斯
M·B·什切尔巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dura Operating LLC
Original Assignee
Dura Operating LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dura Operating LLC filed Critical Dura Operating LLC
Publication of CN108944920A publication Critical patent/CN108944920A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种用于生成感知场景图(PSG)以在机动车辆中使用的方法和系统。收集关于车辆周围的空间体积的外部传感器信息和车辆到一切(V2X)信息。将传感器信息和V2X信息融合以增大信息的保真度。分析所融合的信息以检测、分类并且定位车辆周围的空间体积中存在的对象。感知控制器生成并发布PSG，其包括包含经过分类和定位的对象的空间体积的虚拟3D模型。至少一个车辆控制器订阅PSG并且从PSG提取信息以用作供软件应用程序的输入，以生成用于执行车辆应用程序例程的指令。车辆控制器还可发布PSG的实时副本。

Description

在机动车应用程序中生成并使用感知场景图的方法和系统
技术领域
本发明大体上涉及一种用于机动车辆的感知系统，并且更具体地涉及一种用于生成感知场景图以在机动车辆应用程序中使用的方法和系统。
背景技术
该部分中的陈述仅仅提供与本公开相关的背景信息，并且可构成或可不构成现有技术。
在机动车辆中使用高级驾驶员辅助系统(ADAS)来增强选择性机动车辆系统或使其自动化，以便提高乘客安全和驾驶员的驾驶性能。ADAS包括车辆控制器，其与外部传感器、车辆状态传感器和选择性机动车辆系统(诸如乘客安全系统和车辆控制系统)通信。车辆控制器分析外部传感器和车辆状态传感器采集的信息，以向车辆控制系统提供指令，从而在车辆沿道路行进时协助车辆避开和绕过障碍物。
典型的车辆控制器包括处理器和非传递存储器。非传递存储器包含可由处理器执行的预定义例程以及可由处理器访问的数据库。处理器对外部传感器供应的信息进行分析以检测对象并将其与背景场景分离。处理器通过将对象与数据库中存储的参考对象进行比较来对对象进行分类。一旦分离并识别了对象，便确定对象相对于机动车辆的距离和方向。车辆控制器接着向机动车辆系统(包括转向系统、油门系统和制动控制系统)传送指令，以协商路径来避免与对象接触，或在即将与对象接触的情况下激活安全系统。
外部传感器可包括激光器、雷达、声纳、超声、雷达以及光检测和测距(LiDAR)传感器。通常，车辆控制器配置成从特定类型的外部传感器辨识并接收原始数据。如果传感器中的一者或多者发生升级或替换为另选类型的传感器，则可能需要重新配置车辆控制器来从升级或另选类型的传感器辨识原始数据。例如，如果车辆控制器最初配置成接收并处理来自图像捕获装置(诸如摄像头)的信息以检测对象，并且随后使用用于检测并确定对象的范围的LiDAR替换所述摄像头，则可能需要升级车辆控制器的处理器以提供用于分析新原始数据流的能力。另外，车辆控制器可能需要新的软件例程来处理来自LiDAR而非原始摄像头的原始数据。
因此，尽管当前ADAS具有足以处理来自预定特定类型的外部传感器的信息以实现其预期目的的车辆控制器，但需要一种新的且改进的系统和方法，以使感知系统在不需要升级车辆控制器的处理器和/或例程的情况下适应新的传感器类型。
发明内容
根据若干方面，提供了一种生成感知场景图(PSG)以在机动车辆中使用的方法。该方法包括以下步骤：至少一个具有有效传感器范围的外部传感器收集关于机动车辆的邻近周围的传感器信息；感知控制器处理所述传感器信息以生成包括机动车辆的邻近周围的虚拟模型的PSG；状态决策逻辑(SDL)控制器订阅PSG；以及SDL控制器从PSG提取信息以用于执行车辆应用程序例程。
在本公开的另一方面，该方法还包括以下步骤：将PSG的副本发布到SDL控制器副本。
在本公开的另一个方面，该方法还包括以下步骤：车辆到一切(V2X)接收器收集关于超出所述至少一个外部传感器的有效传感器范围的机动车辆的延伸周围的V2X信息；以及感知控制器处理V2X信息以生成包括机动车辆的邻近周围和延伸周围的虚拟模型的PSG。
在本公开的另一个方面，从多个配备车辆到车辆(V2V)通信的机动车辆或从多个配备车辆到基础设施(V2I)通信的路边单元提供V2X信息。
在本公开的另一个方面，该方法还包括以下步骤：感知控制器融合传感器信息和V2X信息。
在本公开的另一个方面，该方法包括以下步骤：传感器预处理器在传感器信息中检测在机动车辆的邻近周围内的至少一个对象；以及感知控制器将所检测到的至少一个对象与多个参考对象进行比较，以对所检测到的至少一个对象进行分类。
在本公开的另一个方面，该方法包括以下步骤：确定所检测到的至少一个对象相对于机动车辆的范围和方向。
在本公开的另一个方面，该方法包括以下步骤：通过连续收集传感器信息并且接收V2X信息以生成包括机动车辆的邻近周围和延伸周围的实时虚拟三维模型的PSG来连续地更新所述PSG。
在本公开的另一个方面，车辆应用程序例程包括在人机界面(HMI)上呈现机动车辆的邻近周围和延伸周围的虚拟三维模型的显示。
在本公开的另一个方面，该方法包括以下步骤：SDL控制器接收关于车辆状态的车辆状态信息，其包含车辆状态(包括速度、加速度和转向角度)中的至少一者；SDL控制器利用从PSG提取的信息和车辆状态信息执行驾驶员辅助应用程序例程以生成车辆控制指令；以及SDL控制器将所述控制指令发送到车辆控制系统以将机动车辆导航穿过机动车辆的邻近周围和延伸周围。
在本公开的另一个方面，该方法包括以下步骤：V2X发射器将包括机动车辆的邻近周围和延伸周围的虚拟三维模型的PSG发射到配备有V2X接收器的邻近车辆或路边单元。
根据若干方面，提供了一种生成感知场景图(PSG)的方法。该方法包括以下步骤：多个外部传感器收集关于在机动车辆周围的空间体积的传感器信息；车辆到一切(V2X)接收器接收V2X信息，扩充关于机动车辆周围的空间体积的传感器信息；感知控制器融合传感器信息和V2X信息以增大机动车辆周围的空间体积的保真度；感知控制器对所融合的信息进行分析以检测、分类并且定位存在于机动车辆周围的空间体积中的对象；以及生成包括机动车辆周围的空间体积的虚拟三维模型的PSG，所述虚拟三维模型包含经过分类和定位的对象。
在本公开的另一方面，该方法还包括以下步骤：感知控制器发布包含空间体积的虚拟模型的PSG，所述虚拟模型包含经过分类和定位的对象。
在本公开的另一个方面，该方法还包括以下步骤：至少一个车辆系统控制器订阅感知控制器中发布的PSG；以及所述至少一个车辆系统控制器发布所述PSG的副本。
根据若干方面，提供了一种用于在机动车辆中生成并使用感知场景图(PSG)的系统。该系统包括：至少一个具有有效传感器范围的外部传感器，其配置成采集关于机动车辆的周围的信息；至少一个感知控制器，其与该至少一个外部传感器通信，其中该至少一个感知控制器配置成基于从外部传感器所采集的信息来生成包括机动车辆的周围的虚拟模型的PSG；以及至少一个状态决策逻辑(SDL)控制器，其与至少一个车辆控制系统通信，其中该SDL控制器配置成从PSG提取信息以针对车辆控制系统执行车辆应用程序。
在本公开的另一方面，该系统还包括与该至少一个外部传感器通信的预处理器，其中预处理器配置成分离并检测所采集的传感器信息中的对象。
在本公开的另一个方面，该系统包括与所述感知控制器通信的V2X接收器，其中V2X接收器配置成接收关于超出该至少一个外部传感器的有效传感器范围的机动车辆的延伸周围的V2X信息。
在本公开的另一个方面，感知控制器包括感知处理器和感知存储器。感知存储器包括处理器能够访问以基于外部传感器和V2X通信所采集的信息来生成PSG的至少一个例程。
在本公开的另一个方面，该系统还包括至少一个状态决策逻辑(SDL)控制器，其具有SDL处理器和SDL存储器。SDL存储器包括用于从PSG提取信息的应用程序例程。
在本公开的另一个方面，SDL控制器配置成发布PSG的副本。
该方法和系统所提供的好处是，可以更换外部传感器而不需要更换SDL处理器。另一个好处是，可以替换传感器的类型，而不需要替换SDL处理器和/或升级SDL存储器中包含的软件应用程序以适应不同类型的传感器。又一个好处是，可向SDL控制器发布PSG的实时副本，以使得车辆能够在外部传感器或感知控制器发生故障的情况下临时以“跛行回家”模式进行操作。
根据本文的描述，其它好处和另外适用领域将变得显而易见。应当理解，所述描述和特定实例预期仅用于说明，而不希望限制本公开的范围。
附图说明
本文所述的附图仅用于说明，而不希望以任何方式限制本公开的范围。
图1是根据示例性实施方案的用于在机动车辆中生成并使用感知场景图(PSG)的过程的功能图；
图2是根据示例性实施方案的感知系统和车辆状态决策逻辑(SDL)控制器的功能图；
图3是根据示例性实施方案的具有图2的感知系统和车辆SDL控制器的车辆；
图4是根据示例性实施方案的由图2的感知系统发布的PSG中所包含的信息的呈现；以及
图5是根据示例性实施方案的示出在图3的车辆中生成并使用PSG的方法的流程图；
图5A示出可利用PSG中存储的信息的各种软件应用程序的实例。
具体实施方式
以下描述在本质上仅仅是示例性的并且不希望限制本公开的应用或使用。
感知场景图(PSG)是包含表示机动车辆周围的空间体积和/或区域(包括该空间体积和/或区域内的任何对象)的虚拟三维(3D)模型的处理信息的数据结构。PSG可被视为机动车辆周围的真实世界的基于视觉的图形结构。在PSG中，对象与背景场景分离、特征化，并且相对于机动车辆定位。可跟踪并记录对象的移动。还可基于历史位置和移动趋势来预测对象的移动。
图1示出用于生成感知场景图(PSG)112的感知过程110以及具有状态决策逻辑(SDL)114的机动车辆使用PSG 112的功能图100。感知过程110发布PSG 112，并且车辆SDL114订阅PSG 112并从其提取处理信息。车辆SDL 114使用所提取的信息作为用于执行多种车辆软件应用程序的输入。
感知过程110始于框116，其中机动车辆的外部传感器采集关于在机动车辆周围的空间体积(包括邻近周围区域)的信息。在框118中预处理所采集的原始信息，并且在框120中从背景场景分离并检测对象。还确定对象相对于机动车辆的距离和方向。所采集的关于机动车辆周围的空间体积(包括邻近区域)的信息受外部传感器的视听范围限制。
在框122中，经由车辆到一切(vehicle-to-everything,V2X)通信将包含关于外部传感器的视听范围之内和/或之外的额外对象的信息的传入通信传送到机动车辆，以补充在框120中检测到的对象。V2X通信是从车辆向任何通信装置传递信息，并且反之亦然，包括但不限于车辆到车辆(V2V)、车辆到基础设施(V2I)、车辆到行人(V2P)、车辆到装置(V2D)和车辆到电网(V2G)通信。在框124中，融合来自框116的由外部传感器采集的信息和来自框122的传送到机动车辆的信息，以增大检测到的对象的置信因子以及对象相对于机动车辆的范围和方向。
在框126和128中，一旦各种信息被融合，便将所检测到的对象与数据库中的参考对象进行比较以识别对象的分类。分类类型包括但不限于车道标线、交通标志、基础设施、车辆、行人、动物和可在典型路面中发现的任何其它有生命或无生命对象等类型。一旦对对象进行了分类，便跟踪并基于对象的历史位置和移动趋势来预测对象的移动。
在框130处，场景检测模式(SDS)部分地控制感知过程110。SDS描述在特定时间点要搜索的框120中的对象和框126中的分类。在框142中，感知优先级管理器负责控制并管理在框118的感知预处理中执行哪些任务。例如，当车辆向后移动到停车位中时，感知优先级管理器可以向指向车辆后面的传感器分配更大的处理能力。
生成PSG 112，其包含关于一组定位的对象、每个对象的种类和每个对象与机动车辆之间的关系的信息。通过在框116中由外部传感器采集的信息和在框122中通过V2X通信接收的通信连续地更新PSG 112，以反映在机动车辆周围的邻近和非邻近空间体积和区域的实时变化。可将PSG 112的历史事件可记录在感知控制器的存储器中以在稍后时间检索。
在框114中，车辆SDL(其可为机动车辆ADAS的一部分)订阅PSG 112以提取关于机动车辆的外部周围空间体积和区域的信息。车辆SDL 114可处理PSG 112中包含的信息，以在人机界面(HMI)132(诸如机动车辆的仪表板上的显示监视器)上呈现并显示表示机动车辆周围的真实世界环境的虚拟三维景观。
车辆SDL 114还可对从PSG 112提取的信息进行分析以管理车辆控制系统管理器138的当前状态，并且控制该控制系统管理器138转变到新状态。车辆SDL 114接收来自框134的车辆状态传感器的信息以确定机动车辆的状态，诸如位置、速度、加速度、偏航、俯仰等。利用来自PSG 112的信息和来自框134的车辆状态传感器信息，车辆SDL 114可执行框136中的软件应用程序中包含的例程，以向机动车辆控制系统管理器138发送指令来操作车辆控件140。
在车辆SDL 114执行软件应用程序136中包含的例程时，软件应用程序136可能需要更高的保真度或与关注区或聚焦区144相关的信息。这将类似于车辆驾驶员在执行变道之前转头以查看是否存在车辆所采取的动作。聚焦区144限定在特定时间跨度期间对框136的软件应用程序重要的区域或空间体积。在框142，所需要的聚焦区144被传送到感知优先级管理器，该优先级管理器又向指向所需要的聚焦区144的传感器分配更大的处理能力，并向所指向的传感器分配更大的处理能力。
图2示出了具有感知控制器202的感知系统200的功能图，该感知控制器202配置成从车辆定位器204、多个外部传感器206和V2X接收器208接收信息。图2还示出了SDL控制器212的功能图，SDL控制器212配置成从多个车辆状态传感器214接收车辆状态信息。SDL控制器212配置成与车辆驱动系统216、车辆安全系统218、车辆HMI 220和车辆V2X发射器222通信。
感知控制器202包括感知处理器224和感知存储器226。感知处理器224处理从车辆定位器204、外部传感器206和V2X接收器采集的信息，并且执行感知存储器226中所存储的PSG例程228，以在机动车辆静止或沿路面行进时实时生成PSG 112。在感知存储器226中发布PSG 112的实时副本，以供需要关于车辆周围的信息的各种系统使用。感知存储器226还包括参考数据库232，该参考数据库232包含用于与检测到的对象进行比较以对所检测到的对象进行分类的参考对象。参考数据库232包括参考对象中的每一者的几何形状和分类。
外部传感器206是能够检测机动车辆周围的物理对象和场景的传感器。外部传感器206包括但不限于雷达、激光器、扫描激光器、摄像头、声纳、超声波装置、LIDAR等。外部传感器206可安装在车辆的外部(例如安装在车辆顶部的旋转式激光扫描仪)或安装在车辆内部(例如安装在挡风玻璃后面的前置摄像头)。这些外部传感器206中的某些传感器配置成测量所检测到的对象相对于机动车辆的位置和取向的距离和方向。感知控制器202对这些外部传感器206所获取的原始信息进行处理以确定所检测到的对象的分类、大小、密度和/或颜色。外部传感器206配置成在收集信息时连续地更新其对感知控制器202的输出，以反映机动车辆周围的空间体积和区域中的实时变化。
车辆SDL控制器212包括SDL处理器234和SDL存储器236。SDL控制器212接收来自车辆状态传感器214的信息并且与诸如驱动系统216、安全系统218、HMI 220和V2X发射器222等各种车辆系统和部件通信。SDL处理器230对车辆状态传感器214所采集的信息进行处理并且订阅PSG 112以执行SDL存储器236中存储的软件应用程序，以向车辆系统216、218、220、222中的一者或多者发出指令。例程包括各种车辆软件应用程序238，还称为车辆APP238，包括用于车辆驱动和安全系统216、218的操作的例程。例如，车辆SDL控制器212可与控制车辆的减速、加速、转向、信号发送、导航和定位的车辆驱动系统216通信。SDL存储器236还可包括软件应用程序，以呈现PSG 112中存储的信息以在HMI装置220(诸如在车辆的仪表板上的显示监视器)上显示。SDL存储器236也可以包括软件应用程序238，其在区域或空间体积中需要更高的保真度信息，该区域或空间体积也称为在特定时间跨度期间对软件应用程序238重要的聚焦区144。SDL控制器212将所需要的聚焦区144传送到感知控制器202。感知控制器202分配更大的处理能力来处理指向所需聚焦区144的外部传感器206所收集的信息。
感知处理器224和SDL处理器230可为任何常规处理器，诸如市售CPU、专用ASIC或其它基于硬件的处理器。感知存储器226和SDL存储器236可为任何计算装置可读介质，诸如硬盘驱动器、固态存储器、ROM、RAM、DVD或能够存储感知处理器可访问的信息的任何其它介质。虽然仅示出一个感知控制器202和一个SDL控制器212，但应当理解，车辆可包含多个感知控制器202和多个SDL控制器212。
感知控制器202和SDL控制器212中的每一者可包括一个以上处理器和存储器，并且该多个处理器和存储器不必容纳在相应控制器202、212内。因此，对感知控制器202、感知处理器和感知存储器226的提及包括对可并行地进行操作或可不并行地进行操作的此类感知控制器202、感知处理器和感知存储器的集合的提及。类似地，对SDL控制器212、SDL处理器230和SDL存储器236的提及包括对可并行地进行操作或可不并行地进行操作的SDL控制器212、SDL处理器230和SDL存储器236的集合的提及。
PSG 112中包含的信息被归一化到所述机动车辆，以将车辆定位器204、外部传感器206和V2X接收器208抽象出来作为信息的来源。换句话说，将SDL控制器212与感知控制器202从车辆定位器204、外部传感器206和V2X接收器208接收的原始信息分离。针对机动车辆的外部环境，SDL控制器212提取PSG 112中所存储的处理信息作为输入，以执行用于机动车辆的操作的软件应用程序238。SDL控制器212不看机动车辆的真实世界周围，而是只看感知控制器202所生成的真实世界周围的虚拟3D模型。这点的主要好处是，可以替换外部传感器206和外部传感器206的类型，而不需要替换SDL处理器230且/或升级SDL存储器236中所包含的软件应用程序以适应不同外部传感器类型。可将PSG 112的实时副本发布给SDL控制器212以及整个机动车辆的各种其它系统控制器和/或计算装置。这确保了假如感知控制器202和/或SDL控制器212中的一者或多者出故障，则各种其它系统控制器和/或计算装置将能够临时以“跛行回家(limp-home)”模式进行操作来将机动车辆导航到安全地区或区域中。
图3示出配备有图2的感知系统200和SDL控制器212的示例性陆用机动车辆300。出于说明性目的，示出了乘用型机动车辆；然而，所述车辆可为卡车、运动型多用途车、厢式货车、房车或任何其它类型的陆用车辆。应当理解，在不脱离本公开的范围的情况下，机动车辆还可以是水用交通工具(诸如摩托艇)或空用交通工具(诸如飞机)。
机动车辆300包括多个摄像头302，其配置成捕获机动车辆300周围的区域的图像。示例性机动车辆300包括前置摄像头302A、右侧摄像头302B、左侧摄像头302C和后置摄像头302D。前述摄像头302A至302D中的每一者配置成捕获相应摄像头的视野或视觉覆盖区域中的可见光谱和/或光谱的不可见(例如，红外)部分中的视觉信息。
机动车辆300还包括多个测距传感器304，其围绕机动车辆的周边分布，并且配置成检测机动车辆的紧邻处的对象。图3示出安装在机动车辆300的周边上的测距传感器304A至304F。测距传感器304A至304F中的每一者可包括能够检测对象(诸如行人)与机动车辆之间的距离和方向的任何测距技术，包括雷达、LiDAR、声纳等。机动车辆300还可包括安装在车辆顶部的扫描激光器306，其配置成扫描围绕车辆的空间体积以检测该空间体积内的对象的存在、方向和距离。
不同类型的外部传感器302、304、306中的每一者具有其自己独特感测特性和有效范围。传感器302、304、306被放置在车辆上的多个位置处并且合作以收集关于在机动车辆周围的区域的信息。关于机动车辆周围的区域的传感器信息可由能够扫描围绕机动车辆的空间体积的单个传感器(诸如扫描激光器)获得，或通过多个传感器的组合获得。来自传感器302、304、306的原始数据被传送到预处理器或直接传送到感知控制器202以进行处理。感知控制器202与车辆SDL控制器212通信，车辆SDL控制器212与各种车辆控制系统通信。
机动车辆300可包括V2X接收器208和V2X发射器222。V2X接收器208和V2X发射器222可包括电路，该电路配置成使用Wi-Fi和/或专用短程通信(DSRC)协议来与配备有V2V通信的其它车辆和配备有V2I通信的路边单元通信，以接收诸如车道封闭、与施工相关的车道变化、路面杂物和熄火车辆等信息。V2X接收器208和发射器222使得机动车辆300能够订阅其它类似配备车辆和/或路边单元生成的其它PSG。V2X接收器208和发射器222还使得机动车辆300能够发布感知控制器202生成的PSG 112。在V2X发射器222的范围内的类似配备车辆可订阅所发布的PSG 112。覆盖大于传感器302、304、306的有效范围的区域的PSG 112可以通过融合来自从其他类似配备的车辆和/或路边单元接收的多个PSG的信息来生成，这些其他类似配备的车辆和/或路边单元能够生成其自己的PSG或传输感知控制器202的原始数据以进行处理。
机动车辆包括车辆定位器204(诸如GPS接收器)，其配置成从GPS卫星接收多个GPS信号以确定机动车辆的经度和纬度以及机动车辆的速度和机动车辆的行驶方向。可在预先加载的电子地图上显示机动车辆的位置、速度和行驶方向并且将其与PSG 112融合。
图4示出根据PSG 112中所包含的信息对虚拟场景的图像进行呈现(也称为图像合成)的示例性图示400。图示400是主机动车辆300周围的真实世界环境的虚拟三维(3D)模型，包括道路404、交叉口406和这些特征之间的连接408。图示400展示了围绕主机动车辆300组织的对象和表面的3D视图。场景还包括相对于主机动车辆300在x、y和z方向上布置在空间布局中的人造对象(诸如邻近车辆410、行人412、道路标志414、路边单元基础设施(诸如通信塔416))和自然对象(诸如树木418和路边灌木418)。所呈现的对象可包括额外细节，诸如纹理、光照、阴影和颜色。在主机动车辆300沿路面行进时，随着向PSG 112发布新信息，虚拟场景的图示400被实时地连续更新。
虚拟场景可包含所检测到的对象的详细特性。例如，详细特性可包括邻近车辆410正面向还是背对主机动车辆300、邻近车辆410的品牌和型号，以及邻近车辆410的车牌号。在机动车辆300的正常操作期间收集并处理用于确定这些详细特性的信息。场景检测模式处理该信息以确定详细特性。
真实世界周围环境的虚拟3D模型包含超出能够由机动车辆外部传感器206的有限范围采集的信息的详细信息。机动车辆外部传感器206所提供的信息由类似配备的邻近车辆410和基础设施路边单元416经由V2X通信供应给主机动车辆300的附加信息扩充。
图5示出根据一个实施方案的用于在正常车辆操作期间生成PSG 112的方法500的流程图。该方法始于步骤502，即当机动车辆300处于其操作环境(诸如沿路面行进)时开始。在步骤504中，外部传感器206采集关于机动车辆的周围的信息并且将该信息传送到感知控制器202。V2X接收器208将关于机动车辆300的周围的附加信息(包括在外部传感器206的范围之外的信息)传送到感知控制器202。
在步骤506中，分离、检测外部传感器206所采集的关于对象的信息和V2X接收器208所接收的信息并且将其与数据库232中的参考对象进行比较以识别对象的分类。在这个步骤506中，可融合外部传感器206所采集的信息和V2X接收器208所接收的信息以增大检测到的对象的置信因子，以及对象相对于机动车辆300的范围和方向。将新检测到的对象与PSG112中的先前检测到的现有对象进行比较。
在步骤508中，如果确定新检测到的对象与先前检测到的对象相同，则将新检测到的对象与先前检测到的对象融合以获得对象的更高保真度。该更高保真度包括关于对象的分类和对象相对于机动车辆的位置的更多细节。
在步骤510中，一旦新检测到的对象和先前检测到的对象被融合，便基于对象的历史位置和移动趋势来跟踪并预测对象的移动。
在步骤512中，生成、发布PSG 112并且需要关于机动车辆的周围的信息的各种车辆系统可以对其进行访问。PSG 112包含关于一组定位对象、每个对象的种类和每个对象与机动车辆300之间的关系的信息。PSG 112被连续更新，并且可记录PSG 112的历史事件。
在步骤514中，SDL控制器212订阅发布的PSG 112。在步骤516中，SDL控制器212发布可由各种其它车辆系统订阅的PSG 112的实时副本。各种车辆系统可利用SDL控制器212中存储的已发布的PSG 112以在外部传感器206或感知控制器202发生故障的情况下以临时“跛行回家”模式进行操作。
在步骤518中，SDL控制器212提取PSG 112中存储的信息作为输入，以执行用于各种机动车辆系统的操作的软件应用程序238。在步骤520中，软件应用程序238的输出是传送到各种车辆系统的指令。
图5A示出可利用SDL控制器212提取的存储在PSG 112中的信息的各种软件应用程序的实例。各种软件应用程序包括用于通过V2X与其它车辆或路边单元通信的APP 524、用于在HMI上呈现3D PSG的APP 526、用于控制车辆驱动系统的APP 528、用于激活系统的APP530和用于盲点监视的APP 532以及许多其它APP。
本公开已经描述了特定优选实施方案及其修改。其他技术人员可在阅读并理解说明书后做出另外修改和更改。因此，希望本公开不限于作为预期用于实行本公开的最佳模式公开的特定实施方案，而是希望本公开将包括属于所附权利要求书的范围内的所有实施方案。

Claims (20)

1.一种生成感知场景图(PSG)以在机动车辆中使用的方法，其包括以下步骤：
至少一个具有有效传感器范围的外部传感器收集关于所述机动车辆的邻近周围的传感器信息；
感知控制器处理所述传感器信息以生成包括所述机动车辆的所述邻近周围的虚拟模型的PSG；
状态决策逻辑(SDL)控制器订阅所述PSG；以及
所述SDL控制器从所述PSG提取信息以用于执行车辆应用程序例程。
2.根据权利要求1所述的方法，其还包括以下步骤：向所述SDL控制器发布所述PSG的副本。
3.根据权利要求2所述的方法，其还包括以下步骤：
车辆到一切(V2X)接收器收集关于机动车辆的延伸周围的V2X信息，所述延伸周围超出至少一个外部传感器的有效传感器范围；以及
所述感知控制器处理所述V2X信息以生成包括所述机动车辆的所述邻近周围和所述延伸周围的虚拟模型的PSG。
4.根据权利要求3所述的方法，其中从多个配备车辆到车辆(V2V)通信的机动车辆或从多个配备车辆到基础设施(V2I)通信的路边单元提供所述V2X信息。
5.根据权利要求4所述的方法，其还包括以下步骤：所述感知控制器融合所述传感器信息和所述V2X信息。
6.根据权利要求1所述的方法，其还包括以下步骤：
传感器预处理器在所述传感器信息中检测在所述机动车辆的所述邻近周围内的至少一个对象；以及
所述感知控制器将所检测到的至少一个对象与多个参考对象进行比较以对所检测到的至少一个对象进行分类。
7.根据权利要求6所述的方法，其还包括以下步骤：确定所检测到的至少一个对象相对于所述机动车辆的范围和方向。
8.根据权利要求3所述的方法，其还包括以下步骤：通过连续收集传感器信息并且接收V2X信息以生成包括所述机动车辆的所述邻近周围和延伸周围的实时虚拟三维模型的PSG来连续地更新所述PSG。
9.根据权利要求8所述的方法，其中所述车辆应用程序例程包括在人机界面(HMI)上呈现所述机动车辆的所述邻近周围和延伸周围的虚拟三维模型的显示。
10.根据权利要求9所述的方法，其还包括以下步骤：
SDL控制器接收关于所述车辆的状态的车辆状态信息，其包含包括速度、加速度和转向角度在内的车辆状态中的至少一者；
所述SDL控制器利用从所述PSG提取的信息和所述车辆状态信息执行驾驶员辅助应用程序例程以生成车辆控制指令；以及
所述SDL控制器将所述控制指令发送到车辆控制系统以将所述机动车辆导航穿过所述机动车辆的所述邻近周围和延伸周围。
11.根据权利要求9所述的方法，其还包括以下步骤：V2X发射器将包括所述机动车辆的所述邻近周围和延伸周围的虚拟三维模型的PSG发射到配备有V2X接收器的邻近车辆或路边单元。
12.一种生成感知场景图(PSG)的方法，其包括以下步骤：
多个外部传感器收集关于在机动车辆周围的空间体积的传感器信息；
车辆到一切(V2X)接收器接收V2X信息，以扩充关于在所述机动车辆周围的所述空间体积的传感器信息；
感知控制器融合所述传感器信息和V2X信息以增大所述机动车辆周围的所述空间体积的保真度；
所述感知控制器分析所融合的信息以检测、分类并且定位所述机动车辆周围的所述空间体积中存在的对象；以及
生成包括在所述机动车辆周围的所述空间体积的虚拟三维(3D)模型的PSG，所述虚拟3D模型包含经过分类和定位的对象。
13.根据权利要求12所述的方法，其还包括以下步骤：所述感知控制器发布包含所述空间体积的虚拟3D模型的PSG，所述虚拟3D模型包含经过分类和定位的对象。
14.根据权利要求13所述的方法，其还包括以下步骤：
至少一个车辆系统控制器订阅所述感知控制器中所发布的PSG；以及
所述至少一个车辆系统控制器发布所述PSG的副本。
15.一种用于在机动车辆中生成并使用感知场景图(PSG)的系统，其包括：
至少一个具有有效传感器范围的外部传感器，其配置成采集关于所述机动车辆周围的信息；
至少一个感知控制器，其与至少一个外部传感器通信，其中所述至少一个感知控制器配置成基于从所述外部传感器所采集的信息来生成包括所述机动车辆周围的虚拟模型的PSG；以及
至少一个状态决策逻辑(SDL)控制器，其与至少一个车辆控制系统通信，其中所述SDL控制器配置成从所述PSG提取信息以针对所述车辆控制系统执行车辆应用程序。
16.根据权利要求15所述的系统，其还包括与所述至少一个外部传感器通信的预处理器，其中所述预处理器配置成在所采集的传感器信息中分离并检测对象。
17.根据权利要求16所述的系统，其还包括与所述感知控制器通信的V2X接收器，其中所述V2X接收器配置成接收关于机动车辆的延伸周围的V2X信息，所述延伸周围超出所述至少一个外部传感器的有效传感器范围。
18.根据权利要求17所述的系统，其中所述感知控制器包括感知处理器和感知存储器，其中所述感知存储器包括所述感知处理器能够访问以基于所述外部传感器和V2X通信所采集的信息来生成所述PSG的至少一个例程。
19.根据权利要求18所述的系统，其还包括具有SDL处理器和SDL存储器的至少一个状态决策逻辑(SDL)控制器，其中所述SDL存储器包括用于从所述PSG提取信息的应用程序例程。
20.根据权利要求19所述的系统，其中所述SDL控制器配置成发布所述PSG的副本。
CN201810360817.8A 2017-05-26 2018-04-20 在机动车应用程序中生成并使用感知场景图的方法和系统 Pending CN108944920A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/607,061 2017-05-26
US15/607,061 US20180341821A1 (en) 2017-05-26 2017-05-26 Method and system for generating and using a perception scene graph in motor vehicle applications

Publications (1)

Publication Number Publication Date
CN108944920A true CN108944920A (zh) 2018-12-07

Family

ID=62196300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810360817.8A Pending CN108944920A (zh) 2017-05-26 2018-04-20 在机动车应用程序中生成并使用感知场景图的方法和系统

Country Status (3)

Country Link
US (1) US20180341821A1 (zh)
EP (1) EP3407249A3 (zh)
CN (1) CN108944920A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和系统
CN112249022A (zh) * 2020-10-29 2021-01-22 北京罗克维尔斯科技有限公司 一种车辆高级驾驶辅助系统的性能分析方法及装置
CN117392359A (zh) * 2023-12-13 2024-01-12 中北数科(河北)科技有限公司 一种车辆导航数据的处理方法、装置及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180339730A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating a wide-area perception scene graph
WO2019234863A1 (ja) * 2018-06-06 2019-12-12 三菱電機株式会社 路側情報処理システム
US11741763B2 (en) 2018-12-26 2023-08-29 Allstate Insurance Company Systems and methods for system generated damage analysis
US10933867B2 (en) * 2019-05-10 2021-03-02 Arnouse Digital Devices Corporation Artificial intelligence based collision avoidance system and method
US11636689B2 (en) * 2020-09-08 2023-04-25 Nvidia Corporation Adaptive object tracking algorithm for autonomous machine applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
CN103226354A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
US8954226B1 (en) * 2013-10-18 2015-02-10 State Farm Mutual Automobile Insurance Company Systems and methods for visualizing an accident involving a vehicle
US20160291154A1 (en) * 2015-04-01 2016-10-06 Vayavision, Ltd. Apparatus for acquiring 3-dimensional maps of a scene
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532862B2 (en) * 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
JP5585177B2 (ja) * 2010-04-12 2014-09-10 トヨタ自動車株式会社 先行車位置判定装置
US8098170B1 (en) * 2010-10-08 2012-01-17 GM Global Technology Operations LLC Full-windshield head-up display interface for social networking
EP3042524B1 (en) * 2013-09-06 2018-12-26 Telefonaktiebolaget LM Ericsson (publ) Cluster-based resource allocation for vehicle-to-vehicle communication
US20150112800A1 (en) * 2013-10-18 2015-04-23 State Farm Mutual Automobile Insurance Company Targeted advertising using vehicle information
US9940835B2 (en) * 2014-01-16 2018-04-10 International Business Machines Corporation Dynamically routing messages in a publish/subscribe system by creating temporal topics for subscriptions and publications
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
KR101694347B1 (ko) * 2015-08-31 2017-01-09 현대자동차주식회사 차량 및 차선인지방법
US11307042B2 (en) * 2015-09-24 2022-04-19 Allstate Insurance Company Three-dimensional risk maps
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
CN103226354A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
US8954226B1 (en) * 2013-10-18 2015-02-10 State Farm Mutual Automobile Insurance Company Systems and methods for visualizing an accident involving a vehicle
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
US20160291154A1 (en) * 2015-04-01 2016-10-06 Vayavision, Ltd. Apparatus for acquiring 3-dimensional maps of a scene

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和系统
CN110103952B (zh) * 2019-04-29 2021-09-28 北京百度网讯科技有限公司 基于路侧感知装置的车辆驾驶方法、装置和车路协同系统
CN112249022A (zh) * 2020-10-29 2021-01-22 北京罗克维尔斯科技有限公司 一种车辆高级驾驶辅助系统的性能分析方法及装置
CN112249022B (zh) * 2020-10-29 2022-07-29 北京罗克维尔斯科技有限公司 一种车辆高级驾驶辅助系统的性能分析方法及装置
CN117392359A (zh) * 2023-12-13 2024-01-12 中北数科(河北)科技有限公司 一种车辆导航数据的处理方法、装置及电子设备
CN117392359B (zh) * 2023-12-13 2024-03-15 中北数科(河北)科技有限公司 一种车辆导航数据的处理方法、装置及电子设备

Also Published As

Publication number Publication date
EP3407249A3 (en) 2019-02-27
US20180341821A1 (en) 2018-11-29
EP3407249A2 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
CN108944920A (zh) 在机动车应用程序中生成并使用感知场景图的方法和系统
CN108960035A (zh) 使用场景检测模式在感知场景图中分类对象的方法和系统
US10558868B2 (en) Method and apparatus for evaluating a vehicle travel surface
KR102252895B1 (ko) 장래 진로를 결정하기 위한 휠 배향의 사용
US10445597B2 (en) Systems and methods for identification of objects using audio and sensor data
CN109117709A (zh) 用于自动驾驶车辆的碰撞避免系统
CN113167906B (zh) 自动车辆的伪对象检测
CN108944919A (zh) 为机动车辆生成具有聚焦区的感知场景图的方法和系统
EP3407257A1 (en) Method for generating a wide-area perception scene graph
JP6889274B2 (ja) 走行モデル生成システム、走行モデル生成システムにおける車両、処理方法およびプログラム
JP2019119296A (ja) 車両制御装置、車両制御方法、プログラム、および情報取得装置
JPWO2019069581A1 (ja) 画像処理装置及び画像処理方法
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
JP6384419B2 (ja) 動物種類判定装置
CN101101333A (zh) 用于产生行进车辆的驾驶员辅助信息的设备和方法
JP6993428B2 (ja) 教師データ生成装置
CN108958908A (zh) 用于对感知系统的传感器进行优先排序的方法和系统
JP7286691B2 (ja) 判定装置、車両制御装置、判定方法、およびプログラム
CN112606804B (zh) 一种车辆主动制动的控制方法及控制系统
DE112021002953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN112660018B (zh) 显示装置以及显示装置的显示方法
CN116438583A (zh) 可用泊车位识别装置、可用泊车位识别方法和程序
CN113496189A (zh) 基于静态障碍物地图的感知方法及系统
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN116853235A (zh) 碰撞预警方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181207