CN108958908A - 用于对感知系统的传感器进行优先排序的方法和系统 - Google Patents
用于对感知系统的传感器进行优先排序的方法和系统 Download PDFInfo
- Publication number
- CN108958908A CN108958908A CN201810386253.5A CN201810386253A CN108958908A CN 108958908 A CN108958908 A CN 108958908A CN 201810386253 A CN201810386253 A CN 201810386253A CN 108958908 A CN108958908 A CN 108958908A
- Authority
- CN
- China
- Prior art keywords
- sensor
- focal zone
- information
- vehicle
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001953 sensory effect Effects 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 57
- 230000008447 perception Effects 0.000 claims abstract description 24
- 230000002093 peripheral effect Effects 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 4
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 4
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于对机动车辆的感知系统进行优先排序的传感器的方法和系统。多个传感器收集关于机动车辆周围区域的信息。感知控制器基于收集到的传感器信息生成感知场景图(PSG)。限定PSG中的周围区域的虚拟地图中的主要聚焦区域和次要聚焦区域。识别聚焦区域之间的重叠区域。将高级优先级指派给收集对主要聚焦区域有贡献的信息的传感器。将低级优先级指派给收集对次要聚焦区域有贡献的信息的传感器。将中级优先级指派给收集对重叠聚焦区域有贡献的信息的传感器。为高级优先级传感器收集的信息分配大于处理低级优先级传感器收集的信息的处理能力。
Description
技术领域
本发明一般涉及一种用于机动车辆的感知系统,更具体地,涉及一种用于对感知系统的传感器进行优先排序的方法和系统。
背景技术
本节的陈述仅提供与本公开相关的背景信息,并且可以构成或不构成现有技术。
高级驾驶员辅助系统(ADAS)用于机动车辆中以增强选择性机动车辆系统或使其自动化,以便提高乘员安全和驾驶员的驾驶性能。ADAS包括车辆控制器,其与外部传感器、车辆状态传感器及选择性机动车辆系统诸如乘员安全系统和车辆控制系统通信。车辆控制器分析由外部传感器和车辆状态传感器所收集的信息以向车辆控制系统提供指令,以便当车辆在路上行驶时辅助车辆避开和绕过障碍物。
典型的车辆控制器包括处理器和非传递存储器。非传递存储器包含处理器可执行的预限定例程和处理器可访问的数据库。处理器分析由外部传感器提供的信息以检测对象并将对象与背景场景隔离。处理器通过将对象与存储在数据库中的参考对象进行比较来对对象进行分类。一旦对象被隔离和识别,则确定对象相对于机动车辆的距离和方向。然后,车辆控制器向机动车辆系统,包括转向、油门和制动控制系统,传送指令,以协商路径来避免与对象接触,或在即将与对象接触时激活安全系统。
因此,虽然目前的ADAS具有足以处理来自外部传感器的信息以实现其预期目的的车辆控制器,但是需要一种新的且改进的系统和方法,来对来自外部传感器的信息进行优先排序和处理以提高效率。
发明内容
根据若干方面,公开了一种用于对感知系统的传感器进行优先排序的方法。该方法包括以下步骤:由多个传感器收集机动车辆周围区域的传感器信息;由感知控制器基于收集到的传感器信息生成感知场景图(PSG),包括周围区域的虚拟地图;限定周围区域的虚拟地图中的主要聚焦区域和次要聚焦区域;以及将高级优先级指派给收集对主要聚焦区域有贡献的信息的传感器,并且将低级优先级指派给收集对次要聚焦区域有贡献的信息的传感器。
在本公开的附加方面,该方法进一步包括以下步骤:分配比处理低级优先级传感器收集的信息更大的处理能力来处理高级优先级传感器收集的信息。
在本公开的另一个方面,该方法进一步包括以下步骤:识别主要聚焦区域和次要聚焦区域之间的重叠区域;将中级优先级指派给收集对任何重叠聚焦区域有贡献的信息的传感器;以及分配处理中级优先级传感器所收集的信息的处理能力,其中该处理能力小于为高级传感器分配的处理能力但是大于为低级传感器分配的处理能力。
在本公开的另一个方面,主要聚焦区域由感知控制器基于车辆的安全操作所需的预定标准确定。
在本公开的另一个方面,该方法进一步包括以下步骤:由状态决策逻辑控制器从PSG提取信息以执行车辆软件应用程序。次要聚焦区域由车辆软件应用程序确定。
在本公开的另一个方面,该方法进一步包括以下步骤:识别第一组传感器。每个传感器包括覆盖至少一部分主要聚焦区域的有效覆盖区域。该方法还包括以下步骤:将第一组传感器收集到的传感器信息进行融合,以得到第一组传感器的整体覆盖区域;将第一组传感器的整体覆盖区域与主要聚焦区域进行比较;以及如果第一组传感器的整体覆盖区域小于主要聚焦区域,则感知控制器生成告警信号。
在本公开的另一个方面,该方法进一步包括以下步骤:识别第二组传感器,其中每个传感器包括覆盖至少一部分次要聚焦区域的有效覆盖区域;将第二组传感器收集到的传感器信息进行融合,以得到第二组传感器的整体覆盖区域;将第二组传感器的整体覆盖区域与次要聚焦区域进行比较;以及如果第二组传感器的整体覆盖区域小于次要聚焦区域,则感知控制器生成告警信号。
在本公开的附加方面,该方法进一步包括以下步骤:为第一组传感器分配比为第二组传感器分配的处理能力更大的处理能力。
在本公开的另一方面,该方法进一步包括以下步骤:识别来自第一组传感器和第二组传感器的一子集传感器,其中该子集传感器具有包括重叠区域的整体覆盖区域;以及为该子集传感器分配处理能力,该处理能力大于分配给第二组传感器的处理能力但是小于分配给第一组传感器的处理能力。
根据若干方面,公开了一种用于对感知系统的传感器进行优先排序的方法。该方法包括以下步骤:确定车辆的周围区域的主要聚焦区域;确定车辆的周围区域的次要聚焦区域;识别主要聚焦区域和次要聚焦区域之间的重叠区域;将高级优先级指派给主要聚焦区域,将中级优先级指派给重叠区域,并将低级优先级指派给次要聚焦区域;由多个传感器收集在主要聚焦区域、次要聚焦区域和重叠聚焦区域的信息;以及分配处理收集到的信息的处理能力,其中分配给从高级优先级区域收集的信息的处理能力将大于分配给从中级优先级区域或低级优先级区域收集的信息的处理能力。
在本公开的附加方面,为从中级优先级区域收集的信息分配的处理能力小于为从高级优先级区域收集的信息分配的处理能力但是大于为从低级优先级区域收集的信息分配的处理能力。
在本公开的另一方面,该方法进一步包括以下步骤:识别传感器,其中每个传感器包括覆盖至少一部分主要聚焦区域的有效覆盖区域;将该多个传感器的收集到的传感器信息进行融合,以得到整体覆盖区域;将整体覆盖区域与主要聚焦区域进行比较;以及如果主要聚焦区域大于整体覆盖区域,则生成警告信号。
在本公开的另一方面,该方法进一步包括以下步骤:识别传感器,其中每个传感器包括覆盖至少一部分次要聚焦区域的有效覆盖区域;将该多个传感器的收集到的传感器信息进行融合,以得整体覆盖区域;将整体覆盖区域与次要聚焦区域进行比较;以及如果次要聚焦区域大于整体覆盖区域,则生成警告信号。
在本公开的另一方面,主要聚焦区域由感知控制器基于车辆的预定操作参数确定。
在本公开的另一方面,次要聚焦区域由感知控制器基于车辆软件应用程序所需的输入确定。
根据若干方面,公开了一种机动车辆的感知系统。该感知系统包括多个传感器,配置成收集关于机动车辆周围区域的信息;预处理器,与该多个传感器通信,其中预处理器配置成分离(isolate)并检测机动车辆周围环境中的对象;至少一个感知控制器,与预处理器通信以接收处理过的传感器信息以便基于收集到的信息生成包含周围区域的虚拟地图的感知场景图(PSG);以及多个状态传感器,配置成确定车辆的状态,包括航向、速度和加速度中的至少一种车辆状态。感知控制器进一步配置成基于车辆的安全操作的预定车辆状态识别PSG中的主要聚焦区域。
在本公开的附加方面,系统进一步包括配置成从PSG提取信息以执行车辆应用程序的状态决策逻辑控制器。车辆应用程序包括识别次要聚焦区域的指令。
在本公开的附加方面,感知控制器进一步配置成通过确定主要聚焦区域和次要聚焦区域的重叠区域来识别重叠聚焦区域。
在本公开的附加方面,感知控制器配置成将高级优先级指派给主要聚焦区域,将中级优先级指派给重叠聚焦区域,并将低级优先级指派给次要聚焦区域。
在本公开的附加方面,感知控制器进一步配置成识别具有与主要聚焦区域重叠的传感器区域的至少一个第一传感器、具有与次要聚焦区域重叠的传感器区域的至少一个第二传感器,以及具有与重叠聚焦区域重叠的传感器区域的至少一个第三传感器,其中传感器区域为传感器的检测区域。
在本公开的附加方面,感知控制器进一步配置成确定是否一个或多个所述聚焦区域未与一个或多个传感器区域完全重叠,以及如果一个或多个所述聚焦区域未与一个或多个传感器区域完全重叠,则激活告警系统。
应当理解,描述和具体示例仅用于说明的目的,而非旨在限制本公开的范围。
附图说明
本文描述的附图仅用于说明的目的,而非旨在以任何方式限制本公开的范围。
图1为根据示例性实施例在机动车辆中生成和使用感知场景图(PSG)的过程的功能图;
图2为根据示例性实施例的感知系统和车辆状态判定逻辑(SDL)控制器的功能图;
图3为根据示例性实施例具有图2的感知系统和车辆SDL控制器的车辆;
图4为根据示例性实施例通过图2的感知系统发布的PSG中包含的信息的呈现;
图5为示出一种生成具有至少一个聚焦区域的PSG的方法的流程示意图;以及
图6示出了用于对感知系统的传感器进行优先排序的方法。
具体实施方式
以下描述本质上仅仅是示例性的,而非旨在限制本公开、应用或用途。
感知场景图(PSG)是包含表示机动车辆周围的空间和/或区域的体积(包括该空间和/或区域的体积内的任何对象)的虚拟三维(3-D)模型的处理信息的数据结构。PSG可以被视为机动车辆周围的真实世界的基于视觉的图形结构。在PSG中,对象与背景场景分离、特征化,并相对于机动车辆定位。可以跟踪和记录对象的运动。也可以基于历史位置和运动趋势预测对象的运动。
图1示出用于通过具有状态判定逻辑(SDL)114的机动车辆生成感知场景图(PSG)112并使用PSG 112的感知过程110的功能图100。感知过程110发布PSG 112,并且车辆SDL114订阅(subscribe)并从PSG 112提取处理信息。车辆SDL 114使用提取的信息作为执行各种车辆软件应用程序的输入。
感知过程110在方框116中开始,其中机动车辆的外部传感器收集关于机动车辆周围的空间(包括邻近的周围区域)的体积的信息。在方框118中预处理收集的原始信息,并且在方框120中将对象与背景场景隔离并检测对象。还确定每个对象相对于机动车辆的距离和方向。收集到的关于机动车辆周围的空间体积(包括邻近区域)的信息受到外部传感器的视听范围限制。
在方框122中,包含关于在外部传感器的视听范围内和/或之外的额外对象的信息的传入通信经由车辆到一切(V2X)通信传送给机动车辆,以补充在方框120中检测的对象。V2X通信是将信息从车辆传递到任何通信设备,反之亦然,包括但不限于车辆到车辆(V2V)、车辆到基础设施(V2I)、车辆到行人(V2P)、车辆到设备(V2D)和车辆到电网(V2G)通信。在方框124中,融合来自框116的由外部传感器采集的信息和来自框122的传送到机动车辆的信息,以增加检测到的对象的置信因子以及对象相对于机动车辆的范围和方向。
在方框126和128中,一旦各种信息被融合,则将检测对象与数据库中的参考对象进行比较以识别对象的分类。分类的类型包括但不限于车道标记、交通标志、基础设施、车辆、行人、动物以及在典型道路上可能发现的任何其他有生命或无生命对象的类型。一旦对对象进行了分类,则基于对象的历史位置和运动趋势来跟踪和预测对象的运动。
在方框130处,感知过程110由场景检测模式(SDS)部分地控制。SDS描述在特定时间点要搜索的方框120中的对象和方框126中的分类。在方框142中,感知优先级管理器负责控制和管理在方框118的感知预处理中执行哪些任务。例如,当车辆向后驶入停车位时,感知优先级管理器可以向指向车辆后方的传感器分配更大的处理能力。
生成PSG 112,PSG 112包含关于一组定位的对象、每个对象的类别以及每个对象和机动车辆之间的关系的信息。通过在方框116中由外部传感器收集的信息和在方框122中通过V2X通信接收的通信不断更新PSG 112,以反映机动车辆周围的相邻和非相邻空间体积和区域的实时变化。PSG 112的历史事件可以被记录在感知控制器的存储器中以供在稍后时间检索。
在方框114中,车辆SDL(其可以是机动车辆ADAS的一部分)订阅PSG 112以提取关于机动车辆的外部周围空间体积和区域的信息。车辆SDL 114可以处理包含在PSG 112中的信息,以在诸如机动车辆的仪表板上的显示监视器的人机界面(HMI)132上呈现和显示表示机动车辆周围的真实世界环境的虚拟三维景观。
车辆SDL 114也可以分析从PSG 112提取的信息以管理车辆控制系统管理器138的当前状态,并且控制该控制系统管理器138到新状态的转换。车辆SDL 114从方框134的车辆状态传感器接收信息以确定机动车辆的状态,诸如位置、速度、加速度、偏航、俯仰(pitch)等。利用来自PSG 112的信息和来自方框134的车辆状态传感器信息,车辆SDL 114可以执行方框136中的软件应用程序中包含的例程,以向机动车辆控制系统管理器138发送操作车辆控制器140的指令。
当车辆SDL 114执行包含在软件应用程序136中的例程时,软件应用程序136可能需要更高的保真度或与关注区域或聚焦区域144有关的信息。这类似于车辆驾驶员在执行车道变换之前转动头部以查看车辆是否存在所采取的行动。聚焦区域144限定界定在特定时间间隔期间对方框136的软件应用程序重要的区域或空间体积。所需聚焦区域144在方框142中被传送给感知优先级管理器,该优先级管理器进而向指向所需聚焦区域144的传感器分配更大的处理能力,并向所指向的传感器分配更大的处理能力。
图2示出了具有感知控制器202的感知系统200的功能图,感知控制器202被配置成从车辆定位器204、多个外部传感器206和V2X接收器208接收信息。图2也示出了SDL控制器212的功能图,SDL控制器212被配置成从多个车辆状态传感器214接收车辆状态信息。SDL控制器212被配置成与车辆驾驶系统216、车辆安全系统218、车辆HMI 220和车辆V2X发射器222通信。
感知控制器202包括感知处理器224和感知存储器226。感知处理器224处理从车辆定位器204、外部传感器206和V2X接收器收集的信息,并且执行存储在感知存储器226中的PSG例程228,以在机动车辆静止或沿道路行驶时实时生成PSG 112。在感知存储器226中发布PSG 112的实时副本,以便可供需要与车辆周围环境有关的信息的各种系统使用。感知存储器226也包括包含参考对象的参考数据库232,参考对象用于与检测对象进行比较以对检测对象进行分类。参考数据库232包括每个参考对象的几何形状和分类。
外部传感器206是可以检测机动车辆周围的物理对象和场景的传感器。外部传感器206包括但不限于雷达、激光、扫描激光、相机、声纳、超声波设备、LIDAR等。外部传感器206可以安装在车辆的外部,诸如安装在车辆车顶上的旋转激光扫描仪,或安装在车辆内部诸如安装在挡风玻璃后面的前置摄像头。这些外部传感器206中的某些传感器被配置成测量检测对象相对于机动车辆的位置和取向的距离和方向。感知控制器202处理由这些外部传感器206获取的原始信息以确定检测对象的分类、大小、密度和/或颜色。外部传感器206被配置成在收集信息时不断更新其对感知控制器202的输出,以反映机动车辆周围的空间体积和区域的实时变化。
车辆SDL控制器212包括SDL处理器234和SDL存储器236。SDL控制器212从车辆状态传感器214接收信息,并且与诸如驾驶系统216、安全系统218、HMI 220和V2X发射器222的各种车辆系统和组件通信。SDL处理器230处理由车辆状态传感器214收集的信息并且订阅PSG112以执行存储在SDL存储器236中的软件应用程序,以向车辆系统216、218、220、222中的一个或多个发出指令。例程包括各种车辆软件应用程序238,也称为车辆APP238,其包括用于车辆驾驶系统216和安全系统218的操作的例程。例如,车辆SDL控制器212可以与控制车辆的减速、加速、转向、信号发送、导航和定位的车辆驾驶系统216通信。SDL存储器236也可以包括软件应用程序,以呈现存储在PSG 112中的信息以显示在诸如车辆的仪表板上的显示监视器的HMI设备220上。SDL存储器236也可以包括软件应用程序238,其在区域或空间体积中需要更高的保真度信息,该区域或空间体积也称为在特定时间间隔期间对软件应用程序238重要的聚焦区域144。所需聚焦区域144通过SDL控制器212被传送给感知控制器202。感知控制器202分配更大的处理能力以处理由指向所需聚焦区域144的外部传感器206收集的信息。
感知处理器224和SDL处理器230可以是任何常规的处理器,诸如市售的CPU、专用ASIC或其他基于硬件的处理器。感知存储器226和SDL存储器236可以是任何计算设备可读介质,诸如硬盘驱动器、固态存储器、ROM、RAM、DVD或能够存储感知处理器可访问的信息的任何其他介质。尽管示出了仅一个感知控制器202和仅一个SDL控制器212,但是应理解,车辆可以包含多个感知控制器202和多个SDL控制器212。
感知控制器202和SDL控制器212中的每个可以包括多于一个的处理器和存储器,并且多个处理器和存储器不必容纳在各自的控制器202、212内。因此,对感知控制器202、感知处理器和感知存储器226的引用包括对可能或可能不并行操作的这些感知控制器202、感知处理器和感知存储器的集合的引用。类似地,对SDL控制器212、SDL处理器230和SDL存储器236的引用包括对可能或可能不并行操作的SDL控制器212、SDL处理器230和SDL存储器236的集合的引用。
包含在PSG 112中的信息被归一化到机动车辆,以将车辆定位器204、外部传感器206和V2X接收器208抽象出来作为信息的来源。换句话说,SDL控制器212与感知控制器202从车辆定位器204、外部传感器206和V2X接收器208接收的原始信息隔离。关于机动车辆的外部环境,SDL控制器212提取存储在PSG 112中的处理信息作为输入以执行用于机动车辆的操作的软件应用程序238。SDL控制器212不看机动车辆的真实世界环境,而仅看由感知控制器202生成的真实世界环境的虚拟三维模型。对此的主要益处在于,可以替换外部传感器206和外部传感器206的类型,而不需要更换SDL处理器230和/或升级包含在SDL存储器236中的软件应用程序以适应不同的外部传感器类型。可将PSG 112的实时副本发布给SDL控制器212以及整个机动车辆上的各种其他系统控制器和/或计算设备。这确保了如果感知控制器202和/或SDL控制器212中的一个或多个失效,则各种其他系统控制器和/或计算设备将能够以“跛行回家”模式临时操作以将机动车辆引导至安全地带或区域中。
图3示出配备有图2的感知系统200和SDL控制器212的示例性陆基机动车辆300。为了说明的目的,示出了乘客型机动车辆;然而,该车辆可以是卡车、运动型多用途车、运货车、房车或任何其他类型的陆基车辆。应了解,在不脱离本公开的范围的情况下,机动车辆也可以是水用车辆(诸如摩托艇)或空用车辆(诸如飞机)。
机动车辆300包括多个摄像头302,其被配置成捕获机动车辆300周围的区域的图像。示例性机动车辆300包括前置摄像头302A、右侧摄像头302B、左侧摄像头302C和后置摄像头302D。上述摄像头302A-302D中的每个被配置成捕获相应摄像头的视野或视觉覆盖区域中的可见光谱和/或光谱的不可见(例如,红外)部分中的视觉信息。
机动车辆300也包括多个测距传感器304,其围绕机动车辆的周边分布,并且被配置成检测邻近机动车辆的附近的对象。图3示出安装在机动车辆300的周边上的测距传感器304A-304F。测距传感器304A-304F中的每个可以包括能够检测对象,诸如行人与机动车辆之间的距离和方向的任何测距技术(包括雷达、LiDAR、声纳等)。机动车辆300也可以包括安装在车辆顶部的扫描激光器306,其被配置成扫描车辆周围的空间体积以检测对象对于该空间体积的存在、方向和距离。
不同类型的外部传感器302、304、306中的每个具有其自己独特的传感特性和有效范围。传感器302、304、306被放置在车辆上的多个位置处并协作收集关于机动车辆周围的区域的信息。关于机动车辆周围的区域的传感器信息可以由能够扫描机动车辆周围的空间体积的单个传感器诸如扫描激光器获得,或由多个传感器的组合获得。来自传感器302、304、306的原始数据被传送给预处理器或直接传送给感知控制器202以进行处理。感知控制器202与车辆SDL控制器212通信,车辆SDL控制器212与各种车辆控制系统通信。
机动车辆300可以包括V2X接收器208和V2X发射器222。V2X接收器208和V2X发射器222可以包括电路,其被配置成使用Wi-Fi和/或专用短程通信(DSRC)协议来与配备有V2V通信的其他车辆和配备有V2I通信的路边单元通信,以接收诸如车道关闭、与施工有关的车道变换、道路中的碎片和熄火的车辆的信息。V2X接收器208和发射器222使机动车辆300能够订阅由其他类似配备的车辆和/或路边单元生成的其他PSG。V2X接收器208和发射器222还使机动车辆300能够发布由感知控制器202生成的PSG 112。在V2X发射器222的范围内的类似配备车辆可以订阅发布的PSG 112。覆盖大于传感器302、304、306的有效范围的区域的PSG 112可以通过融合来自从其他类似配备的车辆和/或路边单元接收的多个PSG的信息来生成,这些其他类似配备的车辆和/或路边单元能够生成其自己的PSG或传输感知控制器202处理的原始数据。
机动车辆包括车辆定位器204诸如GPS接收器,其被配置成从GPS卫星接收多个GPS信号以确定机动车辆的经度和纬度以及机动车辆的速度和机动车辆的行驶方向。机动车辆的位置、速度和行驶方向可以显示在预载电子地图上并与PSG 112融合。
图4示出根据包含在PSG 112中的信息对虚拟场景的图像进行呈现(也称为图像合成)的示例性图示400。图示400是主机动车辆300周围的真实世界环境的虚拟三维(3-D)模型,包括道路404、交叉路口406以及这些特性之间的连接。图示400展示了围绕主机动车辆300组织的对象和表面的三维视图。场景还包括相对于主机动车辆300在x、y和z方向上布置在空间布局中的人造对象诸如邻近车辆410、行人412、道路标志414、路边单元基础设施(诸如通信塔416))和自然对象(诸如树木418和路边灌木418)。呈现的对象可以包括额外细节,诸如纹理、光照、阴影和颜色。当主机动车辆300沿道路行驶时,随着新信息被发布到PSG112,虚拟场景的图示400被实时不断更新。
虚拟场景可以包含检测对象的详细特征。例如,详细特征可以包括相邻车辆410是否面向或背对主机动车辆300,相邻车辆410的品牌和型号,以及相邻车辆410的车牌号。在机动车辆300的正常运行期间收集和处理用于确定这些详细特征的信息。该信息由场景检测模式处理以确定详细特征。
真实世界环境的周围环境的虚拟三维模型包含超出可以由机动车辆外部传感器206的有限范围收集的详细信息。由机动车辆外部传感器206提供的信息由附加信息补充,附加信息经由V2X通信由类似配备的相邻车辆410和基础设施路边单元416提供给主机动车辆300。
示出了车辆300具有邻近车辆300的左后方四分之一限定的示例性聚焦区域420。车辆SDL 114执行包含在软件应用程序中的例程,软件应用程序可能需要更高的保真度或PSG 112中的与关注区域或聚焦区域144有关的信息。软件例程可以通过但不限于人类驾驶员的输入来激活,诸如激活转向信号。在该实例中,软件例程将集中在作为与车辆的左后方四分之一相邻的区域的关注区域上,以检测车辆盲区中的对象诸如相邻车辆410A。这类似于人类驾驶员在执行变道之前转动他/她的头部以查看车辆是否存在所采取的行动。应了解,聚焦区域不一定必须与车辆相邻。聚焦区域可以远离车辆300,其中根据V2X接收器从远程车辆410和/或路边单元416收集的信息生成聚焦区域。
车辆软件应用程序在PSG 112的虚拟三维世界中限定聚焦区域。聚焦区域可以对应于与机动车辆相邻的真实世界区域的一部分。优先级管理器识别具有覆盖真实世界区域的对应部分的有效传感器范围的外部传感器,并且增加对所识别的外部传感器的处理能力,以获得关于真实世界区域的该对应部分的信息的更高保真度和置信度。从重叠或部分重叠的传感器收集的信息被融合以生成PSG中的聚焦区域的高保真度三维模型。为了解决处理能力的增加,减小对聚焦区域没有贡献的外部传感器的处理能力。如上所述,聚焦区域422也可以远离车辆300。例如,图4示出覆盖即将到来的交叉路口406的远程聚焦区域422。在该实例中,根据从路边单元416和邻近交叉路口406的远程车辆410B收集的信息生成远程聚焦区域422。
图5示出了用于根据实施例在正常的车辆运行过程中生成具有至少一个聚焦区域的方法500。该方法开始于步骤501。在步骤502中,机动车辆启动时或当机动车辆移出停车位时,感知控制器202利用默认聚焦区域诸如在机动车辆正前方和/正后方的区域进行初始化。在步骤504中,外部传感器206收集关于机动车辆周围环境的信息并且将信息传送给感知传感器202。通过V2X接收器208将关于机动车辆300周围环境的附加信息包括外部传感器范围之外的信息传送给感知传感器202。
在步骤505中,处理外部传感器206收集到的信息,以检测并将对象与背景场景分离。一旦对象被检测并分离,则确定对象相对于机动车辆300的范围和方向,以在PSG 112中将对象相对于机动车辆定位。将对象与存储在参考数据库232中的参考对象进行比较,以基于对象重要性的优先权使用SDS对对象进行分类。
在步骤506中,该多个外部传感器206所收集的信息和V2X接收器208所接收的信息可被融合,以增加检测到的对象的置信因子以及对象相对于机动车辆300的范围和方向。将新检测到的对象与先前检测到的PSG 112中的现有对象进行比较。
在步骤508中,如果确定新检测到的对象和先前检测到的对象相同,则新检测到的对象与先前检测到的对象融合,以得到对象的更高保真度(也称高保真度)。更高保真度包括对象的分类和相对于机动车辆300的位置的更多细节。
在步骤510中,一旦新检测到的对象和先前检测到的对象融合,则可基于对象的历史位置和移动趋势来跟踪和预测对象的移动。
在步骤512中,PSG 112被生成、发布并且可由需要关于机动车辆周围环境的信息的各种车辆系统访问。PSG 112包含关于一组定位的对象、每个对象的类别和每个对象与机动车辆300之间的关系的信息。PSG 112被不断更新并且PSG 112的历史事件可被记录。
在步骤514中,SDL控制器212订阅发布的PSG 112。在步骤516中,SDL控制器212发布可以由各种其他车辆系统订阅的PSG 112的实时副本。如果外部传感器206或感知控制器202发生故障,则各种车辆系统可以利用存储在SDL控制器212中的已发布的PSG 112以临时的“跛行回家”模式操作。
在步骤518中,SDL控制器212提取存储在PSG 112中的信息作为输入以执行用于各种机动车辆系统的操作的软件应用程序238。在步骤520中,软件应用程序238可以重新限定并发布PSG 112中的重新限定的聚焦区域。
在步骤522中,如果软件应用程序的重新限定的聚焦区域与先前限定的聚焦区域(诸如默认聚焦区域)不同,则在步骤524中,优先级管理器根据PSG 112中当前重新限定的聚焦区域来重新配置传感器预处理,并且该过程从步骤504再次开始。如果软件应用程序的重新限定的聚焦区域与先前限定的聚焦区域(即,未重新限定的)相同,则将软件应用程序238的输出传输到各种车辆系统。
可以利用存储在由SDL控制器212提取的PSG 112中的信息的各种软件应用程序可以包括但不限于:用于通过V2X与其他车辆或路边单元通信的APP,用于在HMI上呈现三维PSG的APP,用于控制车辆驾驶系统的APP,用于激活系统的APP和用于盲区监控APP。
返回图3,外部传感器302、304、306围绕机动车辆300的周边分布,使得不同组传感器302、304、306可相互协作,以从邻近车辆300的真实环境中的关注区域250R、252R、254R、256R收集详细信息。关注区域250R、252R、254R、256R对应于PSG 112中限定的聚焦区域250、252,、254、256。优先级管理器识别有效传感器范围覆盖真实环境关注区域250R、252R、254R、256R的对应部分的这些组外部传感器302、304、306,并且增加处理来自所识别的外边传感器302,304,306的信息的处理能力。
作为示例,真实环境中的车辆300示为具有四个关注区域250R、252R、254R、256R,分别与PSG 11中限定的四个聚焦区域250、252、254、256对应。聚焦区域250、252、254、256既包括主要聚焦区域250、252又包括次要聚焦区域254、256。
主要聚焦区域250、252由感知控制器202基于车辆300当前对车辆300的安全运行的要求限定。前主要聚焦区域250示为限定在车辆300的前面,以当车辆300向前行驶时检测并分类车辆300前方的对象。同样地,当车辆300向后移动,后主要聚焦区域252限定在车辆300的后面。
次要聚焦区域254、256由SDL控制器212中的软件应用程序或APP 238限定。后右聚焦区域254可被限定为当车辆300在操作过程中向后移动以平行停放车辆时检测对象。后左聚焦区域256可被限定为当车辆300准备进行变道时检测车辆300的盲区中的对象。
聚焦区域250、252、254、256可重叠并且形成重叠区域258、260。后主要聚焦区域252示为与后右聚焦区域254重叠,以限定重叠区域258。后主要聚焦区域252示为与重叠后左聚焦区域256,以限定重叠区域260。
在分配用于分析所收集的与每个区域有关的传感器信息的处理能力方面,主要聚焦区域250、252具有比重叠聚焦区域258、260更高的优先级水平,重叠聚焦区域258、260具有比次要聚焦区域254、256更高的优先级水平。。
图6示出了用于对感知系统的传感器进行优先排序的方法600。该方法始于步骤602,多个传感器收集关于机动车辆周围区域的传感器信息。感知控制器基于收集到的传感器信息生成感知场景图(PSG)。
在步骤604中,确定PSG内周围区域的虚拟地图中的主要聚焦区域和次要聚焦区域。主要聚焦区域由感知控制器基于车辆安全运行所需的预定标准确定。预定标准可包括车辆的速度和方向以及车辆相对于邻近对象的接近度。次要聚焦区域由SDL控制器所执行的车辆软件应用程序确定。
在步骤606中,识别聚焦区域之间的重叠区域。两个主要聚焦区域之间的重叠区域被视为任一主要聚焦区域的一部分。两个次要聚焦区域之间的重叠区域被视为任一次要聚焦区域的一部分。然而,识别一个主要聚焦区域与一个次要聚焦区域之间的重叠区域,以分配优先级。
在步骤608中,将高级优先级分配给收集对主要聚焦区域有贡献的信息的传感器。将低级优先级分配给收集对次要聚焦区域有贡献的信息的传感器。将中级优先级分配给收集对重叠聚焦区域有贡献的信息的传感器。
在步骤610中,分配处理能力以处理收集到的信息。为高级优先级传感器收集的信息分配的处理能力大于为低级优先级传感器收集的信息分配的处理能力。为中级优先级传感器收集的信息分配的处理能力小于为高级传感器分配的处理能力,但是大于分配给低级传感器的处理能力。
在步骤612中,对传感器的有效覆盖区域与聚焦区域进行交叉检查。为特定的聚焦区域确定一组传感器,其中该组中的每个传感器包括覆盖特定聚焦区域的至少一部分的有效覆盖区域。融合该组传感器的收集到的传感器信息以得到该组传感器所覆盖的整个区域。将该组传感器覆盖的整个区域与主要聚焦区域进行比较。
方法结束于步骤614,其中如果该组传感器所覆盖的整个区域小于特定聚焦区域,则感知控制器生成警告信号以通知车辆操作者有限覆盖范围或经由V2X通信通过获得PSG来得到缺失信息。
本公开已经描述了某些优选实施例和对这些实施例的修改。阅读并且理解说明书后,其他人可能会进行进一步的修改和变化。因此,意图在于本公开不限于作为执行本公开所设想的最佳模式而公开的特定实施例,而是本公开将包括落入所附权利要求范围的所有实施例。
Claims (20)
1.一种用于对感知系统的传感器进行优先排序的方法,包括以下步骤:
由多个传感器收集机动车辆周围区域的传感器信息;
由感知控制器基于所收集到的传感器信息生成包括周围区域的虚拟地图的感知场景图(PSG);
限定周围区域的虚拟地图中的主要聚焦区域和次要聚焦区域;以及
将高级优先级指派给收集对主要聚焦区域有贡献的信息的传感器,并且将低级优先级指派给收集对次要聚焦区域有贡献的信息的传感器。
2.根据权利要求1所述的方法,进一步包括以下步骤:分配比处理低级优先级传感器收集的信息更大的处理能力来处理高级优先级传感器收集的信息。
3.根据权利要求2所述的方法,进一步包括以下步骤:
识别所述主要聚焦区域和所述次要聚焦区域之间的重叠区域;
将中级优先级指派给收集对任何重叠聚焦区域有贡献的信息的传感器;以及
分配处理中级优先级传感器收集的信息的处理能力,其中所述处理能力小于为高级传感器分配的处理能力,但是大于为低级传感器分配的处理能力。
4.根据权利要求3所述的方法,进一步包括以下步骤:由状态决策逻辑控制器从所述PSG提取信息以执行车辆软件应用程序;
其中所述次要聚焦区域由车辆软件应用程序确定,且
其中所述主要聚焦区域由感知控制器基于车辆的安全操作所需的预定标准确定。
5.根据权利要求4所述的方法,进一步包括以下步骤:
识别第一组传感器,其中每个传感器包括覆盖至少一部分所述主要聚焦区域的有效覆盖区域;
将所述第一组传感器所收集到的传感器信息进行融合,以得到所述第一组传感器的整体覆盖区域;
将所述第一组传感器的整体覆盖区域与所述主要聚焦区域进行比较;以及
如果所述第一组传感器的整体覆盖区域小于所述主要聚焦区域,则所述感知控制器生成告警信号。
6.根据权利要求5所述的方法,进一步包括以下步骤:
识别第二组传感器,其中每个传感器包括覆盖至少一部分所述次要聚焦区域的有效覆盖区域;
将所述第二组传感器的所收集到的传感器信息进行融合,以得到所述第二组传感器的整体覆盖区域;
将所述第二组传感器的整体覆盖区域与所述次要聚焦区域进行比较;以及
如果所述第二组传感器的整体覆盖区域小于所述次要聚焦区域,则所述感知控制器生成告警信号。
7.根据权利要求6所述的方法,进一步包括以下步骤:为所述第一组传感器分配大于所述第二组传感器的处理能力。
8.根据权利要求7所述的方法,进一步包括以下步骤:
识别来自所述第一组传感器和所述第二组传感器的一子集传感器,其中所述子集传感器具有包括所述重叠区域的整体覆盖区域;以及
为所述子集传感器分配大于所述第二组传感器但是小于所述第一组传感器的处理能力。
9.一种用于对感知系统的传感器进行优先排序的方法,包括以下步骤:
确定在车辆的周围区域的主要聚焦区域;
确定在所述车辆的周围区域的次要聚焦区域;
识别所述主要聚焦区域与所述次要聚焦区域之间的重叠区域;
将高级优先级指派给所述主要聚焦区域,将中级优先级指派给所述重叠区域,并将低级优先级指派给所述次要聚焦区域;
由多个传感器收集关于所述主要聚焦区域、所述次要聚焦区域和所述重叠区域的信息;以及
分配处理所收集到的信息的处理能力,其中分配给从高级优先级区域收集的信息的处理能力将大于分配给从中级优先级区域或低级优先级区域收集的信息的处理能力。
10.根据权利要求9所述的方法,其中分配给从中级优先级区域收集的信息的处理能力小于分配给从高级优先级区域收集的信息的处理能力但是大于分配给从低级优先级区域收集的信息的处理能力。
11.根据权利要求10所述的方法,进一步包括以下步骤:
识别传感器,其中每个传感器包括覆盖至少一部分所述主要聚焦区域的有效覆盖区域;
将所述多个传感器的收集到传感器信息进行融合,以得到所述整体覆盖区域;
将所述整体覆盖区域与所述主要聚焦区域进行比较;以及
如果所述主要聚焦区域大于所述整体覆盖区域,则生成警告信号。
12.根据权利要求10所述的方法,进一步包括以下步骤:
识别传感器,其中每个传感器包括覆盖至少一部分所述次要聚焦区域的有效覆盖区域;
将所述多个传感器的所收集到的传感器信息进行融合,以得到整体覆盖区域;
将所述整体覆盖区域与所述次要聚焦区域进行比较;以及
如果所述次要聚焦区域大于所述整体覆盖区域,则生成警告信号。
13.根据权利要求12所述的方法,其中所述主要聚焦区域由感知控制器基于所述车辆的预定操作参数确定。
14.根据权利要求12所述的方法,其中所述次要聚焦区域由感知控制器基于车辆软件应用程序所需的输入确定。
15.一种机动车辆的感知系统,包括
多个传感器,配置成收集关于所述机动车辆周围区域的信息;
预处理器,所述预处理器与所述多个传感器通信,其中所述预处理器配置成分离并检测所述机动车辆的周围环境中的对象;
至少一个感知控制器,所述至少一个感知控制器与所述预处理器通信以接收处理过的传感器信息以便基于所收集的信息生成包含周围区域的虚拟地图的感知场景图(PSG);以及
多个状态传感器,所述多个状态传感器配置成确定所述车辆的状态,包括航向、速度和加速中的至少一种车辆状态;
其中所述感知控制器进一步配置成基于所述车辆的安全操作的预定车辆状态识别所述PSG中的主要聚焦区域。
16.根据权利要求15所述的感知系统,进一步包括:状态决策逻辑控制器,所述状态决策逻辑控制器配置成从所述PSG提取信息以执行车辆应用程序,其中所述车辆应用程序包括识别次要聚焦区域的指令。
17.根据权利要求16所述的系统,其中所述感知控制器进一步配置成通过确定所述主要聚焦区域和所述次要聚焦区域的重叠区域来识别重叠聚焦区域。
18.根据权利要求17所述的系统,其中所述感知控制器配置成将高级优先级指派给所述主要聚焦区域,将中级优先级指派给所述重叠聚焦区域,并将低级优先级指派给所述次要聚焦区域。
19.根据权利要求18所述的系统,其中所述感知控制器进一步配置成识别具有与所述主要聚焦区域重叠的传感器区域的至少一个第一传感器、具有与所述次要聚焦区域重叠的传感器区域的至少一个第二传感器,以及具有与所述重叠聚焦区域重叠的传感器区域的至少一个第三传感器,其中所述传感器区域为传感器的检测区。
20.根据权利要求19所述的方法,其中所述感知控制器进一步配置成确定是否一个或多个所述聚焦区域未与一个或多个传感器区域完全重叠,以及如果一个或多个所述聚焦区域未与一个或多个传感器区域完全重叠,则激活告警系统。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/606,796 US20180342102A1 (en) | 2017-05-26 | 2017-05-26 | Method and system for prioritizing sensors for a perception system |
US15/606,796 | 2017-05-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108958908A true CN108958908A (zh) | 2018-12-07 |
Family
ID=62196304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810386253.5A Pending CN108958908A (zh) | 2017-05-26 | 2018-04-26 | 用于对感知系统的传感器进行优先排序的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180342102A1 (zh) |
EP (1) | EP3407250A1 (zh) |
CN (1) | CN108958908A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110103952A (zh) * | 2019-04-29 | 2019-08-09 | 北京百度网讯科技有限公司 | 辅助车辆驾驶的方法、设备、介质和系统 |
CN112115014A (zh) * | 2019-06-19 | 2020-12-22 | 国际商业机器公司 | 环境监控和相关监控设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180339730A1 (en) * | 2017-05-26 | 2018-11-29 | Dura Operating, Llc | Method and system for generating a wide-area perception scene graph |
US10836762B2 (en) * | 2018-06-20 | 2020-11-17 | Quixotic Holdings LLC | Network-centric sensor coverage management |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020189220A1 (en) * | 2001-06-16 | 2002-12-19 | Deere & Company, A Delaware Corporation | System for automatically steering a utility vehicle |
CN102565783A (zh) * | 2010-10-21 | 2012-07-11 | 通用汽车环球科技运作有限责任公司 | 用于使车辆的传感器运行的方法和具有传感器的车辆 |
CN102632887A (zh) * | 2011-02-08 | 2012-08-15 | 沃尔沃汽车公司 | 车载感知系统、防撞系统、车辆、物体状态改变评价方法 |
CN103909863A (zh) * | 2012-12-31 | 2014-07-09 | 现代自动车株式会社 | 追尾碰撞警告告警系统和方法 |
CN104691447A (zh) * | 2013-12-04 | 2015-06-10 | 通用汽车环球科技运作有限责任公司 | 用于动态地聚焦车辆传感器的系统和方法 |
CN105799712A (zh) * | 2014-09-23 | 2016-07-27 | 现代自动车株式会社 | 车辆及其控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10127463B2 (en) * | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
-
2017
- 2017-05-26 US US15/606,796 patent/US20180342102A1/en not_active Abandoned
-
2018
- 2018-04-26 CN CN201810386253.5A patent/CN108958908A/zh active Pending
- 2018-04-26 EP EP18169674.1A patent/EP3407250A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020189220A1 (en) * | 2001-06-16 | 2002-12-19 | Deere & Company, A Delaware Corporation | System for automatically steering a utility vehicle |
CN102565783A (zh) * | 2010-10-21 | 2012-07-11 | 通用汽车环球科技运作有限责任公司 | 用于使车辆的传感器运行的方法和具有传感器的车辆 |
CN102632887A (zh) * | 2011-02-08 | 2012-08-15 | 沃尔沃汽车公司 | 车载感知系统、防撞系统、车辆、物体状态改变评价方法 |
CN103909863A (zh) * | 2012-12-31 | 2014-07-09 | 现代自动车株式会社 | 追尾碰撞警告告警系统和方法 |
CN104691447A (zh) * | 2013-12-04 | 2015-06-10 | 通用汽车环球科技运作有限责任公司 | 用于动态地聚焦车辆传感器的系统和方法 |
CN105799712A (zh) * | 2014-09-23 | 2016-07-27 | 现代自动车株式会社 | 车辆及其控制方法 |
Non-Patent Citations (3)
Title |
---|
AKHAN ALMAGAMBETOV等: "Robust and Computationally Lightweight Autonomous Tracking of Vehicle Taillights and Signal Detection by Embedded Smart Cameras", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》 * |
FRANKIE LU等: "Embedded Computing Framework for Vision-based Real-time Surround Threat Analysis and Driver Assistance", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
何伟: "基于超声波传感器的自动泊车车位补偿检测法", 《中国仪器仪表》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110103952A (zh) * | 2019-04-29 | 2019-08-09 | 北京百度网讯科技有限公司 | 辅助车辆驾驶的方法、设备、介质和系统 |
CN110103952B (zh) * | 2019-04-29 | 2021-09-28 | 北京百度网讯科技有限公司 | 基于路侧感知装置的车辆驾驶方法、装置和车路协同系统 |
CN112115014A (zh) * | 2019-06-19 | 2020-12-22 | 国际商业机器公司 | 环境监控和相关监控设备 |
Also Published As
Publication number | Publication date |
---|---|
US20180342102A1 (en) | 2018-11-29 |
EP3407250A1 (en) | 2018-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960035A (zh) | 使用场景检测模式在感知场景图中分类对象的方法和系统 | |
EP3407257A1 (en) | Method for generating a wide-area perception scene graph | |
CN108944920A (zh) | 在机动车应用程序中生成并使用感知场景图的方法和系统 | |
US10558868B2 (en) | Method and apparatus for evaluating a vehicle travel surface | |
CN108944919B (zh) | 为机动车辆生成具有聚焦区的感知场景图的方法和系统 | |
EP3032454B1 (en) | Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system | |
JP4694440B2 (ja) | 運転者支援システム | |
CN109117709A (zh) | 用于自动驾驶车辆的碰撞避免系统 | |
EP3242250A1 (en) | Improved object detection for an autonomous vehicle | |
CN108958908A (zh) | 用于对感知系统的传感器进行优先排序的方法和系统 | |
JP6841843B2 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
EP2107503A1 (en) | Method and device for generating a real time environment model for vehicles | |
JP6993428B2 (ja) | 教師データ生成装置 | |
US11501538B2 (en) | Systems and methods for detecting vehicle tailgating | |
JP2017224107A (ja) | センタ及び運転支援システム | |
CN116438583A (zh) | 可用泊车位识别装置、可用泊车位识别方法和程序 | |
DE112021002953T5 (de) | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm | |
CN112606804A (zh) | 一种车辆主动制动的控制方法及控制系统 | |
CN116137655A (zh) | 用于环绕视图增强的智能车辆系统和控制逻辑 | |
WO2020203241A1 (ja) | 情報処理方法、プログラム、及び、情報処理装置 | |
JP2022098397A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
CN115996869A (zh) | 信息处理装置、信息处理方法、信息处理系统和程序 | |
DE112019006281T5 (de) | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm | |
WO2023162497A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2023021755A1 (ja) | 情報処理装置、情報処理システム、モデル及びモデルの生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181207 |
|
WD01 | Invention patent application deemed withdrawn after publication |