CN108944919A - 为机动车辆生成具有聚焦区的感知场景图的方法和系统 - Google Patents

为机动车辆生成具有聚焦区的感知场景图的方法和系统 Download PDF

Info

Publication number
CN108944919A
CN108944919A CN201810359420.7A CN201810359420A CN108944919A CN 108944919 A CN108944919 A CN 108944919A CN 201810359420 A CN201810359420 A CN 201810359420A CN 108944919 A CN108944919 A CN 108944919A
Authority
CN
China
Prior art keywords
focal zone
sensor
information
motor vehicles
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810359420.7A
Other languages
English (en)
Other versions
CN108944919B (zh
Inventor
J·G·霍维斯
M·B·什切尔巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dura Operating LLC
Original Assignee
Dura Operating LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dura Operating LLC filed Critical Dura Operating LLC
Publication of CN108944919A publication Critical patent/CN108944919A/zh
Application granted granted Critical
Publication of CN108944919B publication Critical patent/CN108944919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种用于为机动车辆生成具有聚焦区的感知场景图(PSG)的方法和系统。多个外部传感器收集关于包括邻近机动车辆的周围区域的空间体积的信息。感知控制器处理所述信息以生成具有邻近机动车辆的空间体积和区域的虚拟三维(3‑D)模型的PSG。感知控制器被配置成分配可变处理能力以处理所收集的传感器信息的选定部分。限定至少一个聚焦区。聚焦区是邻近机动车辆的空间体积和/或区域的子集。感知控制器增大处理能力以处理所收集信息中与聚焦区相关的部分，使得生成聚焦区的高保真度3‑D模型。

Description

为机动车辆生成具有聚焦区的感知场景图的方法和系统
技术领域
本发明大体上涉及用于机动车辆的感知系统；更具体地说，涉及一种用于聚焦于关注区的感知系统的方法和系统。
背景技术
这个部分中的陈述仅仅提供与本公开相关的背景信息，并且可构成或可不构成现有技术。
在机动车辆中使用高级驾驶员辅助系统(ADAS)来增强选择性机动车辆系统或使其自动化，以便提高乘客安全和驾驶员的驾驶性能。ADAS包括车辆控制器，其与外部传感器、车辆状态传感器和选择性机动车辆系统(诸如安全乘客系统和车辆控制系统)通信。车辆控制器分析外部传感器和车辆状态传感器所采集的信息，以向车辆控制系统提供指令，从而在车辆沿道路行进时协助车辆避开并绕过障碍物。
典型的车辆控制器包括处理器和非传递存储器。非传递存储器包含处理器可执行的预定义例程以及处理器可访问的数据库。处理器对外部传感器供应的信息进行分析以检测并从背景场景分离对象。处理器通过将对象与数据库中存储的参考对象进行比较来对对象进行分类。一旦分离并识别了对象，便确定对象相对于机动车辆的距离和方向。车辆控制器接着向机动车辆系统(包括转向系统、油门系统和制动控制系统)传送指令，以协商路径来避免与对象接触，或在即将与对象接触的情况下激活安全系统。
因此，尽管当前ADAS具有足以处理来自预定特定类型的外部传感器的信息以实现其预期目的的车辆控制器，但需要一种新的且改进的用于感知系统的系统和方法，其能够获得关注区域的较高保真度，同时保存整个感知系统的处理能力。
发明内容
根据若干方面，公开了一种使用感知信息的方法。该方法包括以下步骤：至少一个外部传感器收集关于邻近机动车辆的空间体积的传感器信息；以及感知控制器处理传感器信息以生成具有邻近机动车辆的空间体积的虚拟三维(3D)模型的感知场景图(PSG)。感知控制器被配置成分配可变处理能力以处理所收集的传感器信息的选定部分。该方法还包括感知控制器限定第一聚焦区并且增大处理能力，以处理所收集的传感器信息中与第一聚焦区相关的选定第一部分，使得生成第一聚焦区的高保真度3D模型。第一聚焦区是邻近机动车辆的空间体积的第一子集。
在本公开的另一方面，该方法还包括以下步骤：限定3D模型中的第二聚焦区，其中第二聚焦区是邻近机动车辆的空间体积的第二子集；以及感知控制器增大处理能力以处理所收集的传感器信息中与第二聚焦区相关的选定第二部分，使得生成第二聚焦区的高保真度3D模型。
在本公开的另一个方面，该方法还包括以下步骤：降低至少一个外部传感器所收集的传感器信息中与第一聚焦区和第二聚焦区不相关的部分的处理能力。
在本公开的另一个方面，该方法还包括以下步骤：向第一聚焦区和第二聚焦区中的一者分配较高优先级。
在本公开的另一个方面，该方法还包括以下步骤：进一步增大处理能力以处理所收集的传感器信息中与对应于所分配较高优先级的第一聚焦区或第二聚焦区相关的选定部分。
在本公开的另一个方面，该至少一个外部传感器包括有效传感器范围。该方法还包括以下步骤：车辆到一切(V2X)接收器接收V2X信息，V2X信息包含关于超出有效传感器范围的延伸空间体积的信息；以及感知控制器融合V2X信息与PSG以通过使空间体积延伸超出机动车辆的有效传感器范围来扩充虚拟三维(3D)模型。
在本公开的另一个方面，在超出有效传感器范围的延伸空间体积中限定聚焦区。
在本公开的另一个方面，该方法还包括以下步骤：增大在邻近机动车辆的空间体积的第一子集中收集传感器信息的强度，包括增大所述至少一个传感器的扫描速率或指引附加外部传感器在空间体积的第一子集中收集传感器信息。
根据若干方面，公开了一种为机动车辆生成具有聚焦区的感知场景图的方法。该方法包括以下步骤：多个外部传感器收集关于邻近机动车辆的真实世界区域的传感器信息，处理传感器信息以生成包括邻近机动车辆的真实世界区域的三维(3D)模型的感知场景图(PSG)；从PSG提取信息以执行车辆应用程序例程；车辆应用程序例程限定3D模型中的聚焦区；识别多个外部传感器中的至少一个，该至少一个外部传感器具有覆盖真实世界区域的对应部分的有效传感器范围；以及增大对所识别的至少一个传感器的处理能力以获得关于真实世界区域的对应部分的信息的更高保真度和置信度。聚焦区对应于邻近机动车辆的真实世界区域的一部分。
在本公开的另一方面，该方法还包括以下步骤：识别一组传感器，其中该组内的传感器中的每一者包括部分地与真实世界区域的对应部分重叠的传感器检测区域；融合该组传感器的传感器检测区域；以及生成PSG中的聚焦区的高保真度3D模型。
在本公开的另一个方面，该方法还包括以下步骤：车辆应用程序例程限定3D模型中的多个聚焦区，其中聚焦区对应于邻近机动车辆的真实世界区域的部分；识别多个外部传感器，所述外部传感器具有一有效传感器范围，所述有效传感器范围部分地延伸到真实世界区域中对应于聚焦区的对应部分；增大对所识别的多个外部传感器的处理能力；以及减小对未识别的多个外部传感器的处理能力。
在本公开的另一个方面，处理传感器信息以生成PSG的步骤由感知控制器执行，并且其中从PSG提取信息以执行车辆应用程序例程的步骤由车辆状态决策逻辑(SDL)控制器执行；并且所述方法还包括以下步骤：在感知控制器中和在SDL控制器中发布PSG的副本。
在本公开的另一个方面，方法还包括以下步骤：车辆到一切(V2X)接收器接收多个V2X信号，其包含超出机动车辆的多个外部传感器的真实世界区域的三维模型；以及融合超出机动车辆的多个外部传感器的真实世界区域的三维模型与邻近机动车辆的真实世界区域的三维模型。
在本公开的另一个方面，方法还包括以下步骤：车辆应用程序例程限定3D模型中的远处聚焦区，其中远处聚焦区对应于超出机动车辆的多个外部传感器的真实世界区域的一部分。
在本公开的另一个方面，方法还包括以下步骤：接收包含远处聚焦区中的信息的V2X信号。
根据若干方面，公开了一种具有被配置成收集关于在主车辆周围的邻近区域的信息的多个外部传感器的系统。该系统包括感知控制器，其被配置成处理传感器信息以生成包括邻近机动车辆的真实世界区域的三维模型的感知场景图。感知控制器包括传感器优先级管理器。该系统还包括状态决策逻辑(SDL)控制器，其被配置成订阅PSG并且从3D模型提取信息以执行车辆应用程序例程。车辆应用程序例程包括用于限定聚焦区的子例程。优先级管理器识别具有部分地与聚焦区重叠的有效传感器范围的传感器并且增大对所识别的传感器的处理能力。
在本公开的另一方面，感知控制器被配置成融合有效传感器范围以生成聚焦区的高保真度3D模型。
在本公开的另一个方面，感知控制器被配置成减小对未被识别为覆盖聚焦区的多个传感器的处理能力。
在本公开的另一个方面，系统还包括V2X接收器，其被配置成接收包含超出传感器读取的真实世界的3D模型的信息。
在本公开的另一个方面，SDL控制器被配置成发布包括聚焦区的高保真度3D模型的PSG的副本。
对于聚焦区，软件应用程序可指导感知系统获取关于在PSG内的聚焦区中限定的空间区的更高清晰度细节。这可以丰富PSG中的该特定空间区中的数据，从而允许PSG的客户端(例如，决策和控制应用程序)能够访问较高保真度数据。
其它好处和另外适用领域将从本文所提供的描述变得显而易见。应当理解，描述和特定实例预期仅用于说明目的，而不希望限制本公开的范围。
附图说明
本文的附图仅用于说明目的而不希望以任何方式限制本公开的范围。
图1是根据示例性实施方案的用于在机动车辆中生成并使用感知场景图(PSG)的过程的功能图；
图2是根据示例性实施方案的感知系统和车辆状态决策逻辑(SDL)控制器的功能图；
图3是根据示例性实施方案的具有图2的感知系统和车辆SDL控制器的车辆；
图4是根据示例性实施方案的由图2的感知系统发布的PSG中所包含的信息的呈现；
图5是示出生成具有至少一个聚焦区的PSG的方法的流程图；以及
图5A示出可利用PSG中存储的信息的各种软件应用程序的实例。
具体实施方式
以下描述在本质上仅仅是示例性的并且不希望限制本公开的应用或使用。
感知场景图(PSG)是包含表示机动车辆周围的空间体积和/或区域(包括在该空间体积和/或区域内的任何对象)的虚拟三维(3D)模型的处理信息的数据结构。PSG可被视为机动车辆周围的真实世界的基于视觉的图形结构。在PSG中，对象与背景场景分离、特征化，并且相对于机动车辆定位。可跟踪并记录对象的移动。还可基于历史位置和移动趋势来预测对象的移动。
图1示出用于生成感知场景图(PSG)112的感知过程110以及具有状态决策逻辑(SDL)114的机动车辆使用PSG 112的功能图100。感知过程110发布PSG 112，并且车辆SDL114订阅PSG 112并从其提取处理信息。车辆SDL 114使用所提取的信息作为用于执行多种车辆软件应用程序的输入。
感知过程110始于框116，其中机动车辆的外部传感器采集关于在机动车辆周围的空间体积(包括邻近周围区域)的信息。在框118中预处理所采集的原始信息，并且在框120中从背景场景分离并检测对象。还确定每个对象相对于机动车辆的距离和方向。所采集的关于机动车辆周围的空间体积(包括邻近区域)的信息受外部传感器的视听范围限制。
在框122中，经由车辆到一切(vehicle-to-everything,V2X)通信将包含关于在外部传感器的视听范围之内和/或之外的额外对象的信息的传入通信传送到机动车辆以补充在框120中检测到的对象。V2X通信是从车辆向任何通信装置传递信息，并且反之亦然，包括但不限于车辆到车辆(V2V)、车辆到基础设施(V2I)、车辆到行人(V2P)、车辆到装置(V2D)和车辆到电网(V2G)通信。在框124中，融合来自框116的由外部传感器采集的信息和来自框122的传送到机动车辆的信息以增大检测到的对象的置信因子以及对象相对于机动车辆的范围和方向。
在框126和128中，一旦各种信息被融合，便将所检测到的对象与数据库中的参考对象进行比较以识别对象的分类。分类类型包括但不限于车道标线、交通标志、基础设施、车辆、行人、动物和可在典型路面中发现的任何其它有生命或无生命对象等类型。一旦对对象进行了分类，便跟踪并基于对象历史位置和移动趋势来预测对象的移动。
在框130处，场景检测模式(SDS)部分地控制感知过程110。SDS描述在特定时间点要处搜索框120中的对象和框126中的分类。在框142中，感知优先级管理器负责控制并管理在框118的感知预处理中执行哪些任务。例如，当车辆向后移动到停车位中时，感知优先级管理器可以向指向车辆后面的传感器分配更大的处理能力。
生成PSG 112，其包含关于一组定位的对象、每个对象的种类和每个对象与机动车辆之间的关系的信息。通过在框116中由外部传感器采集的信息和在框122中通过V2X通信接收的通信连续地更新PSG 112，以反映在机动车辆周围的邻近和非邻近空间体积和区域的实时变化。可将PSG 112的历史事件可记录在感知控制器的存储器中以供在稍后时间检索。
在框114中，车辆SDL(其可为机动车辆ADAS的一部分)订阅PSG 112以提取关于机动车辆的外部周围空间体积和区域的信息。车辆SDL 114可处理PSG 112中所包含的信息，以在人机界面(HMI)132(诸如机动车辆的仪表板上的显示监视器)上呈现并显示表示在机动车辆周围的真实世界环境的虚拟三维景观。
车辆SDL 114还可对从PSG 112提取的信息进行分析以管理车辆控制系统管理器138的当前状态，并且控制该控制系统管理器138转变到新状态。车辆SDL 114接收来自框134的车辆状态传感器的信息以确定机动车辆的状态，诸如位置、速度、加速度、偏航、俯仰等。利用来自PSG 112的信息和来自框134的车辆状态传感器信息，车辆SDL 114可执行框136中的软件应用程序中所包含的例程，以向机动车辆控制系统管理器138发送指令来操作车辆控件140。
在车辆SDL 114执行软件应用程序136中所包含的例程时，软件应用程序136可能需要更高的保真度或与关注区或聚焦区144相关的信息。这将类似于车辆驾驶员在执行变道之前转头以查看是否存在车辆所采取的动作。聚焦区144限定在特定时间跨度期间对框136的软件应用程序重要的区域或空间体积。在框142，所需要的聚焦区144被传送到感知优先级管理器，优先级管理器又向指向所需要的聚焦区144的传感器分配更大的处理能力，并向所指向的传感器分配更大的处理能力。
图2示出了具有感知控制器202的感知系统200的功能图，该感知控制器202被配置成从车辆定位器204、多个外部传感器206和V2X接收器208接收信息。图2还示出了SDL控制器212的功能图，SDL控制器212被配置成从多个车辆状态传感器214接收车辆状态信息。SDL控制器212被配置成与车辆驱动系统216、车辆安全系统218、车辆HMI 220和车辆V2X发射器222通信。
感知控制器202包括感知处理器224和感知存储器226。感知处理器224处理从车辆定位器204、外部传感器206和V2X接收器采集的信息，并且执行感知存储器226中所存储的PSG例程228以在机动车辆静止或沿路面行进时实时生成PSG 112。在感知存储器226中发布PSG 112的实时副本以对需要关于车辆的周围的信息的各种系统使用。感知存储器226还包括参考数据库232，该参考数据库232包含用于与检测到的对象进行比较以对所检测到的对象进行分类的参考对象。参考数据库232包括参考对象中的每一者的几何形状和分类。
外部传感器206是能够检测机动车辆周围的物理对象和场景的传感器。外部传感器206包括但不限于雷达、激光器、扫描激光器、摄像头、声纳、超声波装置、LIDAR等。外部传感器206可安装在车辆的外部(诸如安装在车辆顶部的旋转式激光扫描仪)或安装在车辆内部(诸如安装在挡风玻璃后面的前置摄像头)。这些外部传感器206中的某些传感器被配置成测量所检测到的对象相对于机动车辆的位置和取向的距离和方向。感知控制器202对这些外部传感器206所获取的原始信息进行处理以确定所检测到的对象的分类、大小、密度和/或颜色。外部传感器206被配置成在收集信息时连续地更新其对感知控制器202的输出，以反映机动车辆周围的空间体积和区域中的实时变化。
车辆SDL控制器212包括SDL处理器234和SDL存储器236。SDL控制器212接收来自车辆状态传感器214的信息并且与诸如驱动系统216、安全系统218、HMI 220和V2X发射器222等各种车辆系统和部件通信。SDL处理器230对车辆状态传感器214所采集的信息进行处理并且订阅PSG 112以执行SDL存储器236中所存储的软件应用程序，以向车辆系统216、218、220、222中的一者或多者发布指令。例程包括各种车辆软件应用程序238，还称为车辆APP238，包括用于车辆驱动和安全系统216、218的操作的例程。例如，车辆SDL控制器212可与控制车辆的减速、加速、转向、信号发送、导航和定位的车辆驱动系统216通信。SDL存储器236还可包括软件应用程序，以呈现PSG 112中存储的信息以在HMI装置220(诸如在车辆的仪表板上的显示监视器)上显示。SDL存储器236也可以包括软件应用程序238，其在区域或空间体积中需要更高的保真度信息，该区域或空间体积也称为在特定时间跨度期间对软件应用程序238重要的聚焦区144。SDL控制器212将所需要的聚焦区144传送到感知控制器202。感知控制器202分配更大的处理能力来处理指向所需聚焦区144的外部传感器206所收集的信息。
感知处理器224和SDL处理器230可为任何常规处理器，诸如市售CPU、专用ASIC或其它基于硬件的处理器。感知存储器226和SDL存储器236可为任何计算装置可读介质，诸如硬盘驱动器、固态存储器、ROM、RAM、DVD或能够存储感知处理器可访问的信息的任何其它介质。虽然仅示出一个感知控制器202和一个SDL控制器212，但应当理解，车辆可包含多个感知控制器202和多个SDL控制器212。
感知控制器202和SDL控制器212中的每一者可包括一个以上处理器和存储器，并且该多个处理器和存储器不必容纳在相应控制器202、212内。因此，对感知控制器202、感知处理器和感知存储器226的提及包括对可并行地进行操作或可不并行地进行操作的此类感知控制器202、感知处理器和感知存储器的集合的提及。类似地，对SDL控制器212、SDL处理器230和SDL存储器236的提及包括对可并行地进行操作或可不并行地进行操作的SDL控制器212、SDL处理器230和SDL存储器236的集合的提及。
PSG 112中所包含的信息被归一化到机动车辆，以将车辆定位器204、外部传感器206和V2X接收器208抽象出来作为信息的来源。换句话说，将SDL控制器212与感知控制器202从车辆定位器204、外部传感器206和V2X接收器208接收的原始信息分离。针对机动车辆的外部环境，SDL控制器212提取PSG 112中所存储的处理信息作为输入，以执行用于机动车辆的操作的软件应用程序238。SDL控制器212不看机动车辆的真实世界周围，而是只看感知控制器202所生成的真实世界周围的虚拟3D模型。这点的主要好处是，可以替换外部传感器206和外部传感器206的类型，而不需要替换SDL处理器230且/或升级SDL存储器236中所包含的软件应用程序以适应不同外部传感器类型。可向SDL控制器212以及整个机动车辆的各种其它系统控制器和/或计算装置发布PSG 112的实时副本。这确保了假如感知控制器202和/或SDL控制器212中的一者或多者出故障，则各种其它系统控制器和/或计算装置将能够临时以“跛行回家(limp-home)”模式进行操作来将机动车辆导航到安全地区或区域中。
图3示出配备有图2的感知系统200和SDL控制器212的示例性陆用机动车辆300。出于说明性目的，示出了乘用型机动车辆；然而，车辆可为卡车、运动型多用途车、厢式货车、房车或任何其它类型的陆用车辆。应当理解，在不脱离本公开的范围的情况下，机动车辆还可以为水用交通工具(诸如摩托艇)或空用交通工具(诸如飞机)。
机动车辆300包括多个摄像头302，其被配置成捕获机动车辆300周围的区域的图像。示例性机动车辆300包括前置摄像头302A、右侧摄像头302B、左侧摄像头302C和后置摄像头302D。前述摄像头302A至302D中的每一者被配置成捕获相应摄像头的视野或视觉覆盖区域中的可见光谱和/或光谱的不可见(例如，红外)部分中的视觉信息。
机动车辆300还包括多个测距传感器304，其围绕机动车辆的周边分布并且配置成检测机动车辆的紧邻处的对象。图3示出安装在机动车辆300的周边上的测距传感器304A至304F。测距传感器304A至304F中的每一者可包括能够检测对象(诸如行人)与机动车辆之间的距离和方向的任何测距技术，包括雷达、LiDAR、声纳等。机动车辆300还可包括安装在车辆顶部的扫描激光器306，其被配置成扫描围绕车辆的空间体积以检测该空间体积内的对象的存在、方向和距离。
不同类型的外部传感器302、304、306中的每一者具有其自己独特感测特性和有效范围。传感器302、304、306被放置在车辆上的选定位置处并且合作以收集关于在机动车辆周围的区域的信息。关于在机动车辆周围的区域的传感器信息可由能够扫描围绕机动车辆的空间体积的单个传感器(诸如扫描激光器)获得，或通过多个传感器的组合获得。来自传感器302、304、306的原始数据被传送到预处理器或直接传送到感知控制器202以进行处理。感知控制器202与车辆SDL控制器212通信，车辆SDL控制器212与各种车辆控制系统通信。
机动车辆300可包括V2X接收器208和V2X发射器222。V2X接收器208和V2X发射器222可包括电路，该电路被配置成使用Wi-Fi和/或专用短程通信(DSRC)协议来与配备有V2V通信的其它车辆和配备有V2I通信的路边单元通信，以接收诸如车道封闭、与施工相关的车道变化、路面杂物和熄火车辆等信息。V2X接收器208和发射器222使得机动车辆300能够订阅其它类似配备车辆和/或路边单元生成的其它PSG。V2X接收器208和发射器222还使得机动车辆300能够发布感知控制器202所生成的PSG 112。在V2X发射器222的范围内的类似配备车辆可订阅所发布的PSG 112。覆盖大于传感器302、304、306的有效范围的区域的PSG112可以通过融合来自从其他类似配备的车辆和/或路边单元接收的多个PSG的信息来生成，这些其他类似配备的车辆和/或路边单元能够生成其自己的PSG或传输感知控制器202原始数据以进行处理。
机动车辆包括车辆定位器204(诸如GPS接收器)，其被配置成从GPS卫星接收多个GPS信号以确定机动车辆的经度和纬度以及机动车辆的速度和机动车辆的行驶方向。可在预先加载的电子地图上显示机动车辆的位置、速度和行驶方向并且将其与PSG 112融合。
图4示出根据PSG 112中所包含的信息对虚拟场景的图像进行呈现(还称为图像合成)的示例性图示400。图示400是主机动车辆300周围的真实世界环境的虚拟三维(3D)模型，包括道路404、交叉口406和这些特征之间的连接。图示400展示了围绕主机动车辆300组织的对象和表面的3D视图。场景还包括相对于主机动车辆300在x、y和z方向上布置在空间布局中的人造对象(诸如邻近车辆410、行人412、道路标志414、路边单元基础设施416(诸如通信塔416))和自然对象(诸如树木418和路边灌木418)。所呈现的对象可包括额外细节，诸如纹理、光照、阴影和颜色。在主机动车辆300沿路面行进时，随着向PSG 112发布新信息，虚拟场景的图示400被实时地连续更新。
虚拟场景可包含所检测到的对象的详细特性。例如，详细特性可包括邻近车辆410正面向还是背对主机动车辆300、邻近车辆410的品牌和型号，以及邻近车辆410的车牌号。在机动车辆300的正常操作期间收集并处理用于确定这些详细特性的信息。场景检测模式处理该信息以确定详细特性。
真实世界周围环境的虚拟3D模型包含超出能够由机动车辆外部传感器206的有限范围采集的信息的详细信息。机动车辆外部传感器206所提供的信息由类似配备的邻近车辆410和基础设施路边单元416经由V2X通信供应给主机动车辆300的附加信息扩充。
车辆300被示出为具有邻近于车辆300的左后方四分之一限定的示例性聚焦区420。车辆SDL 114执行软件应用程序中所包含的例程，软件应用程序可能需要更高的保真度或PSG 112中的与关注区或聚焦区144有关的信息。软件例程可通过但不限于人类驾驶员的输入(诸如激活转向信号)来激活。在该实例中，软件例程将集中于作为与车辆左后方四分之一相邻的区域的关注区，以检测车辆的盲区中的对象(诸如邻近车辆410A)。这将类似于人类驾驶员在执行变道之前转头以查看是否存在车辆所采取的动作。应当理解，聚焦区不一定必须与车辆相邻。聚焦区可远离车辆300，其中根据从V2X接收器从远处车辆410和/或路边单元416收集的信息生成聚焦区。
车辆软件应用程序在PSG 112的虚拟3D世界中限定聚焦区。聚焦区可对应于与机动车辆相邻的真实世界区域的一部分。优先级管理器识别具有覆盖真实世界区域的对应部分的有效传感器范围的外部传感器，并且增大对所识别的外部传感器的处理能力以获得关于真实世界区域的该对应部分的信息的更高保真度和置信度。从重叠或部分重叠的传感器收集的信息被融合以生成PSG中的聚焦区的高保真度3D模型。为了解决处理能力的增大，减小对聚焦区没有贡献的外部传感器的处理能力。如上文指示，聚焦区422还可远离车辆300。例如，
图4示出覆盖即将到来的交叉口406的远程聚焦区422。在该实例中，根据从路边单元416和从邻近交叉口406的远程车辆410B收集的信息生成远处聚焦区422。
图5示出根据一个实施方案的用于在正常车辆操作期间生成具有至少一个聚焦区的PSG112的方法500的流程图。该方法始于步骤501。在步骤502中，在机动车辆启动后或机动车辆当移出停车位时，使用默认聚焦区(诸如在机动车辆正前方和/或正后方的区域)初始化感知控制器202。在步骤504中，外部传感器206采集关于机动车辆周围的信息并且将该信息传送到感知控制器202。V2X接收器208将关于机动车辆300的周围环境的附加信息(包括在外部传感器206的范围之外的信息)传送到感知控制器202。
在步骤506中，检测、分离多个外部传感器206采集的关于对象的信息和V2X接收器208接收的信息并且将其与数据库232中的参考对象进行比较以识别对象的分类。在该步骤506中，可融合外部传感器206采集的信息和V2X接收器208接收的信息，以增大检测到的对象的置信因子以及对象相对于机动车辆300的范围和方向。将新检测到的对象与PSG 112中的先前检测到的现有对象进行比较。
在步骤508中，如果确定新检测到的对象和先前检测到的对象相同，则将新检测到的对象与先前检测到的对象融合，以获得对象的较大保真度。较大保真度(也称为较高保真度)包括关于对象的分类和对象相对于机动车辆的位置的更多细节。
在步骤510中，一旦新检测到的对象和先前检测到的对象被融合，则基于对象的历史位置和移动趋势来跟踪并预测对象的移动。
在步骤512中，生成、发布PSG 112并且PSG 112可由需要关于机动车辆的周围的信息的各种车辆系统访问。PSG 112包含关于一组定位的对象、每个对象的种类和每个对象与机动车辆300之间的关系的信息。连续地更新PSG 112，并且可记录PSG 112的历史事件。
在步骤514中，SDL控制器212订阅所发布的PSG 112。在步骤516中，SDL控制器212发布可由各种其它车辆系统订阅的PSG 112的实时副本。如果外部传感器206或感知控制器202发生故障，各种车辆系统可利用SDL控制器212中存储的已发布的PSG 112以临时“跛行回家”模式进行操作。
在步骤518中，SDL控制器212提取PSG 112中所存储的信息作为输入以执行用于各种机动车辆系统的操作的软件应用程序238。在步骤520中，软件应用程序238可在PSG 112中重新限定聚焦区并且发布重新限定的聚焦区。
在步骤522中，如果软件应用程序的重新限定的聚焦区不同于先前限定的聚焦区(诸如默认聚焦区)，则在步骤524中，优先级管理器根据PSG 112中的当前重新限定的聚焦区重新配置传感器预处理，并且过程再次从步骤504开始。如果软件应用程序重新限定的聚焦区与先前限定的聚焦区相同(即，未重新限定的)，则将软件应用程序238的输出526或APP输出526传送到各种车辆系统。
图5A示出了可利用存储在由SDL控制器212提取的PSG 112中的信息的各种软件应用程序的实例。各种软件应用程序包括用于通过V2X向其它车辆或路边单元传送的APP528、用于在HMI上呈现3D PSG的APP 530、用于控制车辆驱动系统的APP 532、用于激活系统的APP 534和用于盲区监视的APP 536以及许多其它APP。
本公开已经描述了特定优选实施方案及其修改。其他技术人员可在阅读并理解说明书后做出另外修改和更改。因此，希望本公开不限于作为预期用于实行本公开的最佳模式公开的特定实施方案，而是希望本公开将包括属于所附权利要求书的范围内的所有实施方案。

Claims (20)

1.一种使用感知信息的方法，其包括以下步骤：
至少一个外部传感器收集关于邻近机动车辆的空间体积的传感器信息；
感知控制器处理所述传感器信息以生成包括邻近所述机动车辆的所述空间体积的虚拟三维(3D)模型的感知场景图(PSG)，其中所述感知控制器被配置成分配可变处理能力以处理所收集的传感器信息的选定部分；
限定第一聚焦区，其中所述第一聚焦区是邻近所述机动车辆的所述空间体积的第一子集；以及
所述感知控制器增大处理能力以处理所收集的传感器信息中与所述第一聚焦区相关的选定第一部分，使得生成所述第一聚焦区的高保真度3D模型。
2.根据权利要求1所述的方法，其还包括以下步骤：
限定所述3D模型中的第二聚焦区，其中所述第二聚焦区是邻近所述机动车辆的所述空间体积的第二子集；以及
所述感知控制器增大处理能力以处理所收集的传感器信息中与所述第二聚焦区相关的选定第二部分，使得生成所述第二聚焦区的高保真度3D模型。
3.根据权利要求2所述的方法，其还包括以下步骤：减小对所述至少一个外部传感器所收集的传感器信息中与所述第一聚焦区和第二聚焦区不相关的部分的处理能力。
4.根据权利要求3所述的方法，其还包括以下步骤：向所述第一聚焦区和第二聚焦区中的一者分配较高优先级。
5.根据权利要求4所述的方法，其还包括以下步骤：进一步增大处理能力以处理所收集的传感器信息中与对应于所分配的较高优先级的所述第一聚焦区或第二聚焦区相关的选定部分。
6.根据权利要求1所述的方法，其中所述至少一个外部传感器包括有效传感器范围，并且所述方法还包括以下步骤：
车辆到一切(V2X)接收器接收V2X信息，其包含关于超出所述有效传感器范围的延伸空间体积的信息；以及
所述感知控制器融合所述V2X信息与所述PSG以通过使所述空间体积延伸超出所述机动车辆的有效传感器范围来扩充所述虚拟三维(3D)模型。
7.根据权利要求6所述的方法，其中在超出所述有效传感器范围的所述延伸空间体积中限定聚焦区。
8.根据权利要求7所述的方法，其还包括以下步骤：增大在邻近所述机动车辆的所述空间体积的第一子集中收集传感器信息的强度，包括增大所述至少一个传感器的扫描速率或引导附加外部传感器在所述空间体积的第一子集中收集传感器信息。
9.一种为机动车辆生成具有聚焦区的感知场景图的方法，其包括以下步骤：
多个外部传感器收集关于邻近机动车辆的真实世界区域的传感器信息；
处理所述传感器信息以生成包括邻近所述机动车辆的所述真实世界区域的三维(3D)模型的感知场景图(PSG)；
从所述PSG提取信息以执行车辆应用程序例程；
所述车辆应用程序例程限定所述3D模型中的聚焦区，其中所述聚焦区对应于邻近所述机动车辆的所述真实世界区域的一部分；
识别所述多个外部传感器中的至少一个,该至少一个外部传感器具有覆盖真实世界区域的对应部分的有效传感器范围；以及
增大对所识别的至少一个传感器的处理能力以获得关于真实世界区域的对应部分的信息的更高保真度和置信度。
10.根据权利要求9所述的方法，其还包括以下步骤：
识别一组传感器，其中该组内的每一传感器包括部分地与真实世界区域的对应部分重叠的传感器检测区域；
融合所述一组传感器的传感器检测区域；以及
生成所述PSG中的聚焦区的高保真度3D模型。
11.根据权利要求10所述的方法，其还包括以下步骤：
所述车辆应用程序例程限定所述3D模型中的多个聚焦区，其中所述聚焦区对应于邻近所述机动车辆的所述真实世界区域的部分；
识别多个外部传感器，所述外部传感器具有一有效传感器范围，所述有效传感器范围部分地延伸到真实世界区域中对应于所述聚焦区的对应部分；
增大对所识别的多个外部传感器的处理能力；以及
对未被识别为具有一有效传感器范围的多个外部传感器，减小其处理能力，其中该有效传感器范围部分地延伸到真实世界区域中对应于所述聚焦区的对应部分。
12.根据权利要求11所述的方法，其中处理传感器信息以生成所述PSG的步骤由感知控制器执行，并且其中从所述PSG提取信息以执行车辆应用程序例程的步骤由车辆状态决策逻辑(SDL)控制器执行；并且所述方法还包括以下步骤：在所述感知控制器中和在所述SDL控制器中发布所述PSG的副本。
13.根据权利要求10所述的方法，其还包括以下步骤：
车辆到一切(V2X)接收器接收多个V2X信号，其包含超出所述机动车辆的多个外部传感器的真实世界区域的三维模型；以及
融合超出所述机动车辆的多个外部传感器的真实世界区域的三维模型和邻近所述机动车辆的真实世界区域的三维模型。
14.根据权利要求13所述的方法，其还包括以下步骤：所述车辆应用程序例程限定所述3D模型中的远处聚焦区，其中所述远处聚焦区对应于所述真实世界区域中超出所述机动车辆的多个外部传感器的有效传感器范围的一部分。
15.根据权利要求14所述的方法，其还包括以下步骤：接收包含所述远处聚焦区中的信息的V2X信号。
16.一种系统，其包括：
多个外部传感器，其被配置成收集关于在主车辆周围的邻近区域的信息；
感知控制器，其被配置成处理所收集的传感器信息以生成包括邻近所述车辆的真实世界区域的三维模型的感知场景图(PSG)，其中所述感知控制器包括传感器优先级管理器；以及状态决策逻辑(SDL)控制器，其被配置成订阅所述PSG并且从所述3D模型提取信息以执行车辆应用程序例程，其中所述车辆应用程序例程包括用于限定聚焦区的子例程；
其中所述优先级管理器识别具有部分地与所述聚焦区重叠的有效传感器范围的传感器并且增大对所识别的传感器的处理能力。
17.根据权利要求16所述的系统，其中所述感知控制器被配置成融合所述有效传感器范围以生成所述聚焦区的高保真度3D模型。
18.根据权利要求17所述的系统，其中所述感知控制器被配置成减小对未被识别为覆盖所述聚焦区的多个传感器的处理能力。
19.根据权利要求18所述的系统，其还包括V2X接收器，所述V2X接收器被配置成接收包含超出所述传感器读取的真实世界的3D模型的信息。
20.根据权利要求19所述的系统，其中所述SDL控制器被配置成发布包括所述聚焦区的高保真度3D模型的PSG的副本。
CN201810359420.7A 2017-05-26 2018-04-20 为机动车辆生成具有聚焦区的感知场景图的方法和系统 Active CN108944919B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/607,067 US10210617B2 (en) 2017-05-26 2017-05-26 Method and system for generating a perception scene graph having a focus region for a motor vehicle
US15/607,067 2017-05-26

Publications (2)

Publication Number Publication Date
CN108944919A true CN108944919A (zh) 2018-12-07
CN108944919B CN108944919B (zh) 2020-01-31

Family

ID=62116215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810359420.7A Active CN108944919B (zh) 2017-05-26 2018-04-20 为机动车辆生成具有聚焦区的感知场景图的方法和系统

Country Status (3)

Country Link
US (1) US10210617B2 (zh)
EP (1) EP3419001A1 (zh)
CN (1) CN108944919B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180339730A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating a wide-area perception scene graph
US10996338B2 (en) * 2017-09-12 2021-05-04 Toyota Research Institute, Inc. Systems and methods for detection by autonomous vehicles
US11232350B2 (en) * 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
CN111661040B (zh) * 2020-06-18 2022-08-12 吉林大学 一种中低速度下的缓行安全系统以及方法
US20220397415A1 (en) * 2021-06-14 2022-12-15 Ford Global Technologies, Llc V2x message-based tracker application

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100104199A1 (en) * 2008-04-24 2010-04-29 Gm Global Technology Operations, Inc. Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20120326959A1 (en) * 2011-06-21 2012-12-27 Microsoft Corporation Region of interest segmentation
WO2015119301A1 (en) * 2014-02-05 2015-08-13 Ricoh Company, Limited Image processing device, device control system, and computer-readable storage medium
US20170109644A1 (en) * 2015-10-19 2017-04-20 Ford Global Technologies, Llc Probabilistic Inference Using Weighted-Integrals-And-Sums-By-Hashing For Object Tracking

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10449956B2 (en) * 2017-01-18 2019-10-22 Ford Global Technologies, Llc Object tracking by unsupervised learning
US11194856B2 (en) * 2017-03-07 2021-12-07 Verizon Media Inc. Computerized system and method for automatically identifying and providing digital content based on physical geographic location data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100104199A1 (en) * 2008-04-24 2010-04-29 Gm Global Technology Operations, Inc. Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20120326959A1 (en) * 2011-06-21 2012-12-27 Microsoft Corporation Region of interest segmentation
WO2015119301A1 (en) * 2014-02-05 2015-08-13 Ricoh Company, Limited Image processing device, device control system, and computer-readable storage medium
US20170109644A1 (en) * 2015-10-19 2017-04-20 Ford Global Technologies, Llc Probabilistic Inference Using Weighted-Integrals-And-Sums-By-Hashing For Object Tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEBASTIAN BLUMENTHAL ET AL.: "A Scene Graph Based Shared 3D World Model for Robotic Applications", 《2013 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和系统
CN110103952B (zh) * 2019-04-29 2021-09-28 北京百度网讯科技有限公司 基于路侧感知装置的车辆驾驶方法、装置和车路协同系统

Also Published As

Publication number Publication date
US10210617B2 (en) 2019-02-19
EP3419001A1 (en) 2018-12-26
US20180342065A1 (en) 2018-11-29
CN108944919B (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN108960035A (zh) 使用场景检测模式在感知场景图中分类对象的方法和系统
CN108944919A (zh) 为机动车辆生成具有聚焦区的感知场景图的方法和系统
US10558868B2 (en) Method and apparatus for evaluating a vehicle travel surface
CN108944920A (zh) 在机动车应用程序中生成并使用感知场景图的方法和系统
EP3407257A1 (en) Method for generating a wide-area perception scene graph
CN113767389A (zh) 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据
EP2107503A1 (en) Method and device for generating a real time environment model for vehicles
JPWO2019069581A1 (ja) 画像処理装置及び画像処理方法
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
CN110371018B (zh) 使用其他车辆车灯的信息改善车辆行为
CN108958908A (zh) 用于对感知系统的传感器进行优先排序的方法和系统
CN114270294A (zh) 使用眩光作为输入的注视确定
US11148594B2 (en) Apparatus and method for around view monitoring using lidar
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
CN112606804B (zh) 一种车辆主动制动的控制方法及控制系统
CN109278642A (zh) 车辆倒车安全性映射
DE112021002953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN116438583A (zh) 可用泊车位识别装置、可用泊车位识别方法和程序
CN109808600A (zh) 自动驾驶车辆的感知信息的可视化方法和装置
CN116137655A (zh) 用于环绕视图增强的智能车辆系统和控制逻辑
CN115344117A (zh) 适配的眼睛追踪机器学习模型引擎
JP2022104773A (ja) 拘束デバイスのローカリゼーション
DE112019006281T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN117533326A (zh) 车辆控制方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant