CN108928348A - 生成广域感知场景图的方法和系统 - Google Patents

生成广域感知场景图的方法和系统 Download PDF

Info

Publication number
CN108928348A
CN108928348A CN201810516684.9A CN201810516684A CN108928348A CN 108928348 A CN108928348 A CN 108928348A CN 201810516684 A CN201810516684 A CN 201810516684A CN 108928348 A CN108928348 A CN 108928348A
Authority
CN
China
Prior art keywords
psg
range
wide area
main
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810516684.9A
Other languages
English (en)
Inventor
J·G·霍维斯
M·B·什切尔巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dura Operating LLC
Original Assignee
Dura Operating LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/607,067 external-priority patent/US10210617B2/en
Priority claimed from US15/607,061 external-priority patent/US20180341821A1/en
Priority claimed from US15/607,070 external-priority patent/US20180341822A1/en
Priority claimed from US15/606,796 external-priority patent/US20180342102A1/en
Application filed by Dura Operating LLC filed Critical Dura Operating LLC
Publication of CN108928348A publication Critical patent/CN108928348A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D7/00—Steering linkage; Stub axles or their mountings
    • B62D7/06—Steering linkage; Stub axles or their mountings for individually-pivoted wheels, e.g. on king-pins
    • B62D7/14—Steering linkage; Stub axles or their mountings for individually-pivoted wheels, e.g. on king-pins the pivotal axes being situated in more than one plane transverse to the longitudinal centre line of the vehicle, e.g. all-wheel steering
    • B62D7/15—Steering linkage; Stub axles or their mountings for individually-pivoted wheels, e.g. on king-pins the pivotal axes being situated in more than one plane transverse to the longitudinal centre line of the vehicle, e.g. all-wheel steering characterised by means varying the ratio between the steering angles of the steered wheels
    • B62D7/159—Steering linkage; Stub axles or their mountings for individually-pivoted wheels, e.g. on king-pins the pivotal axes being situated in more than one plane transverse to the longitudinal centre line of the vehicle, e.g. all-wheel steering characterised by means varying the ratio between the steering angles of the steered wheels characterised by computing methods or stabilisation processes or systems, e.g. responding to yaw rate, lateral wind, load, road condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

本发明提供了一种生成机动车辆的广域感知场景图(PSG)的方法和系统。所述方法和系统包括：通过至少一个具有有效传感器范围的外部传感器收集传感器信息；通过感知控制器处理传感器信息以生成主感知场景图(主PSG)；接收从主车辆近侧的至少一个远程单元发射的远程感知场景图(远程PSG)；以及通过感知控制器融合主PSG与远程PSG以生成广域感知场景图(广域PSG)。本发明还可通过短程无线通信将广域PSG扩展到便携式电子装置和/或通过车辆到一切(V2X)通信将广域PSG传送到远程车辆。所述V2X通信可包括用于使远程车辆于广域PSG所表示的地理区域驾驶的自主驾驶指令。

Description

生成广域感知场景图的方法和系统
相关申请的交叉引用
本申请是2017年5月26日提交的第15/607,061号美国专利申请的部分延续案；2017年5月26日提交的第15/607,067号美国专利申请的部分延续案；2017年5月26日提交的第15/607,070号美国专利申请的部分延续案；以及2017年5月26日提交的第15/606,796号美国专利申请的部分延续案；所有以上所述美国专利申请均以全文引用的方式并入本文。
技术领域
一般地，本发明涉及用于机动车辆的感知系统；更具体地，涉及一种用于感知超出用于机动车辆的外部传感器的作用范围的广域的方法和系统。
背景技术
本部分中的陈述仅仅提供与本公开相关的背景信息，并且可构成或不构成现有技术。
高级驾驶员辅助系统(ADAS)用于机动车辆中以增强或选择性机动车辆系统或使其自动化，以便提高乘员安全性和操作者的驾驶性能。ADAS包括车辆控制器，其与车辆感知系统、车辆状态传感器和选择性机动车辆系统(诸如乘员安全系统和车辆控制系统)通信。车辆控制器分析感知系统和车辆状态传感器所采集的信息以向车辆控制系统提供指令，以便在车辆沿道路行驶时协助车辆避开且/或绕过障碍物。
车辆感知系统利用外部传感器来收集关于在机动车辆周围的区域的信息。外部传感器是机动车辆的眼睛和耳朵，使得感知系统能够感知在机动车辆周围的区域。典型外部传感器的实例包括激光器、雷达、声纳、超声、雷达以及光检测和测距(LiDAR)传感器。感知系统的有效性受外部传感器的有效范围限制。
因此，尽管当前感知系统实现了其预期目的，但仍需要一种用于感知超出外部传感器的有效范围的较广地理区域的新型且改进的方法和感知系统。
发明内容
根据若干方面，公开一种生成广域感知场景图的方法。该方法包括以下步骤：识别关注地理区域；由位于该地理区域内的主单元上的主感知系统生成包括主单元周围的区域的虚拟表示的主感知场景图(主PSG)；由位于该地理区域内的远程单元上的远程感知系统生成包括远程单元周围的区域的虚拟表示的远程感知场景图(远程PSG)；将远程PSG传送到主单元上的主感知系统；以及主感知系统融合主PSG与远程PSG，从而生成广域感知场景图(广域PSG)。广域PSG包括超出主单元周围的区域的所述地理区域的一部分的虚拟表示。
在本公开的额外方面，主单元和远程单元中的一者是在所述地理区域内漫游的车辆，而主单元和远程单元中的另一者是静止基础设施单元。
在本公开的另一个方面，通过利用车辆到一切(V2X)通信来进行将远程PSG传送到主单元上的主感知系统的步骤。
在本公开的另一个方面，该方法进一步包括以下步骤：由位于所述地理区域内的各个位置的多个远程单元生成多个远程PSG；将多个远程PSG传送到主单元；以及主感知系统融合主PSG与多个远程PSG以生成广域PSG，该广域PSG包括所述地理区域的比主PSG或远程PSG中的任何单独一者要大的部分的虚拟表示。多个远程PSG中的每一者包括相应远程单元周围的区域的虚拟表示。
在本公开的另一个方面，主单元是机动车辆，并且远程单元包括多个机动车辆和路边单元。
在本公开的另一个方面，主单元是被配置为在视觉上显示广域PSG的便携式通信装置。
在本公开的另一个方面，便携式通信装置是头盔中的视觉显示器。
在本公开的另一个方面，该方法进一步包括以下步骤：使用无线通信将广域PSG扩展到被配置为在视觉上显示广域PSG的便携式通信装置。
在本公开的另一个方面，多个远程PSG包括重叠区域。该方法进一步包括以下步骤：在地理区域内界定聚焦区；识别聚焦区内的重叠区域；以及融合重叠区域以在聚焦区内的重叠区域中获得较大的保真度和置信度水平。
在本公开的另一个方面，广域PSG包括主PSG或远程PSG所提供的信息不足区域。该方法进一步包括融合地理区域的预载地图以补充具有信息不足区域的广域PSG的区域的步骤。
根据若干方面，本发明公开了一种由机动车辆生成并使用广域感知场景图的方法。该方法包括以下步骤：通过具有有效传感器范围的至少一个外部传感器收集关于主机动车辆周围的区域的传感器信息；感知控制器处理所述传感器信息以生成包括主机动车辆周围的区域的虚拟模型的主感知场景图(主PSG)；接收从主车辆近侧的至少一个远程单元发射的远程感知场景图(远程PSG)；以及感知控制器融合主PSG与远程PSG，从而生成包括延伸超出主车辆的有效传感器范围的区域的虚拟模型的广域感知场景图(广域PSG)。远程PSG包括所述至少一个远程单元周围的区域的虚拟模型。
在本公开的额外方面，该方法进一步包括将广域PSG发射到所述至少一个远程单元的步骤。
在本公开的另一个方面，该方法进一步包括将指令发射到所述至少一个远程单元的步骤。指令包括自主驾驶指令。
在本公开的另一个方面，通过利用车辆到一切(V2X)通信来执行接收远程PSG和发射广域PSG的步骤。
在本公开的另一个方面，进一步包括通过利用短程无线通信将广域PSG扩展到便携式电子装置的步骤。
在本公开的另一个方面，便携式电子装置包括用于机动车辆操作者的显示护目镜。
根据若干方面，本发明公开了一种用于生成广域感知场景图(PSG)的感知系统。该感知系统包括：人机接口(HMI)，其被配置为接收输入，其中输入包括地理区域的位置；接收器，其被配置为接收位于所述地理区域内的远程单元所生成的远程感知场景图(远程PSG)，其中远程PSG包括远程单元周围的区域的虚拟表示；主外部传感器，其被配置为收集关于位于所述地理区域内的主单元周围的区域的传感器信息；处理器，其被配置为处理所收集的传感器信息以(i)生成包括主单元周围的区域的虚拟表示的主感知场景图(主PSG)并且(ii)融合远程PSG与主PSG以生成包括所述地理区域的一部分的广域感知场景图(广域PSG)。
在本公开的额外方面，感知系统进一步包括用于将广域PSG扩展到便携式电子装置的短程无线通信装置。
在本公开的额外方面，便携式电子装置是智能电话。
在本公开的另一个方面，感知系统进一步包括用于接收远程PSG的车辆到一切(V2X)通信装置。
用于生成广域PSG的方法和系统使得主机动车辆或主基础设施单元(各自可被称为主单元)能够感知超出主单元的外部传感器范围的较广地理区域。所公开的方法和系统使得主单元能够通过V2X通信将广域PSG传送到远程车辆或远程基础设施(各自可被称为远程单元)，以使得远程单元能够感知超出远程单元的外部传感器范围的较广地理区域。可通过V2X通信在主单元与远程车辆之间传送指令，诸如用于将车辆导航通过如广域PSG所表示的关注地理区域的车辆命令。
根据本文所提供的描述，其它好处和进一步的适用领域将变得明显。应当理解，所述描述和特定实例仅用于说明目的，而非旨在限制本公开的范围。
附图说明
本文所述的附图仅用于说明目的，而非旨在以任何方式限制本公开的范围。
图1是根据示例性实施方案的用于在机动车辆中生成并使用感知场景图(PSG)的过程的功能图；
图2是根据示例性实施方案的感知系统和车辆状态决策逻辑(SDL)控制器的功能图；
图3是根据示例性实施方案的具有图2的感知系统和车辆SDL控制器的车辆；
图4是根据示例性实施方案的在关注地理区域内行驶的主车辆的图示；
图5是扩展到各种装置上的图4的广域感知场景图的图示；以及
图6示出了生成广域感知场景图的方法。
具体实施方式
以下描述在本质上仅仅是示例性的，并非旨在限制本公开、应用或使用。
感知场景图(PSG)是包含表示机动车辆周围的空间体积和/或区域(包括在该空间体积和/或区域内的任何对象)的虚拟三维(3-D)模型的处理信息的数据结构。PSG可被视为机动车辆周围的真实世界的基于视觉的图形结构。在PSG中，从背景场景分离、表征并且相对于机动车辆定位对象。可跟踪并记录对象的移动。还可基于移动中的历史位置和趋势来预测对象的移动。
图1示出了用于生成感知场景图(PSG)112的感知过程110以及具有状态决策逻辑(SDL)114的机动车辆使用PSG 112的功能图100。感知过程110发布PSG 112，并且车辆SDL114订阅PSG 112并从其提取处理信息。车辆SDL 114使用所提取的信息作为用于执行多种车辆软件应用程序的输入。
感知过程110从框116开始，其中机动车辆的外部传感器采集关于机动车辆周围的空间体积(包括周围区域)的信息。周围区域包括与机动车辆相邻的区域、与机动车辆间隔开的区域以及位于车辆周围360度的区域。换句话说，周围区域包括车辆周围的位于传感器的有效范围和覆盖领域内的所有区域。
在框118中预处理所采集的原始外部传感器信息，并且在框120中从背景场景分离并检测对象。还确定每个对象相对于机动车辆的距离和方向。所采集的关于空间体积(包括在机动车辆周围的区域)的信息受外部传感器的视听范围限制。
在框122中，经由车辆到一切(V2X)通信将包含外部传感器的视听范围之内和/或之外的额外对象的信息的传入通信传送到机动车辆以补充在框120中所检测到的对象。V2X通信是从车辆向任何通信装置传递信息并且反之亦然，包括但不限于车辆到车辆(V2V)、车辆到基础设施(V2I)、车辆到行人(V2P)、车辆到装置(V2D)和车辆到电网(V2G)通信。在框124中，融合来自框116的由外部传感器采集的信息和来自框122的传送到机动车辆的信息，以增大所检测到的对象连同所述对象相对于机动车辆的距离和方向的置信度因数。来自框122的传送到机动车辆的信息可以是由类似配备的远程车辆或基础设施单元生成的远程感知场景图的形式。
在框126和128中，一旦各种信息被融合，便将所检测到的对象与数据库中的参考对象进行比较以识别对象的分类。分类类型包括但不限于车道标线、交通标志、基础设施、车辆、行人、动物和可在典型道路中发现的任何其它有生命或无生命对象等类型。一旦对所述对象进行了分类，便基于对象的移动中的历史位置和趋势来跟踪并预测对象的移动。
在框130，感知过程110部分地由场景检测架构(SDS)控制。SDS描述在特定时间点要搜索的框120中的对象和框126中的分类。在框142中，感知优先级管理器负责控制并管理在框118的感知预处理中执行哪些任务。例如，当车辆向后移动到停车位中，感知优先级管理器可在向指向车辆后面的传感器分配更大的处理能力。
生成PSG 112，其包含关于一组定位的对象、每个对象的种类以及每个对象与机动车辆之间的关系的信息。通过在框116中由外部传感器采集的信息和在框122中通过V2X通信接收的通信连续地更新PSG 112以反映机动车辆周围的相邻和非相邻空间体积和区域的实时变化。可将PSG 112的历史事件记录在感知控制器的存储器中以在稍后时间检索。
在框114中，车辆SDL(其可为机动车辆ADAS的一部分)订阅PSG 112以提取关于机动车辆的外部周围空间体积和区域的信息。车辆SDL 114可处理PSG 112中包含的信息以在框132所示的人机界面(HMI)(诸如机动车辆的仪表板上的显示监视器或车辆的操作者佩戴的显示护目镜)上呈现并显示表示机动车辆周围的真实世界环境的虚拟三维景观。
车辆SDL 114还可对从PSG 112提取的信息进行分析以管理框138中的车辆控制系统管理器的当前状态，并且控制该控制系统管理器转变到新状态。车辆SDL 114接收来自框134的车辆状态传感器的信息以确定机动车辆的状态，诸如位置、速度、加速度、偏航、俯仰等。利用来自PSG 112的信息和来自框134的车辆状态传感器信息，车辆SDL 114可执行框136中的软件应用程序中包含的例程，以向机动车辆控制系统管理器138发送指令来操作车辆控件140。
在车辆SDL 114执行软件应用程序136中包含的例程时，软件应用程序136可能需要更高的保真度或与关注区域或聚焦区域144相关的信息。这将类似于车辆驾驶员在执行变道之前所采取的转头以查看是否存在车辆的动作。聚焦区域144界定在特定时间跨度期间对框136的软件应用程序重要的区域或空间体积。所需要的聚焦区域144被传送到框142中的感知优先级管理器，该优先级管理器又向指向所需要的聚焦区域144的传感器分配更大的处理能力。
图2示出了具有感知控制器202的感知系统200的功能图，该感知控制器202被配置为从车辆定位器204、多个外部传感器206和V2X接收器208接收信息。图2还示出了SDL控制器212的功能图，SDL控制器212被配置为从多个车辆状态传感器214接收车辆状态信息。SDL控制器212被配置为与车辆驾驶系统216、车辆安全系统218、车辆HMI 220和车辆V2X发射器222通信。
感知控制器202包括感知处理器224和感知存储器226。感知处理器224处理从车辆定位器204、外部传感器206和V2X接收器采集的信息，并且执行感知存储器226中所存储的PSG例程228，以在机动车辆静止或沿道路行驶时实时生成PSG 112。在感知存储器226中发布PSG 112的实时副本，以供需要关于车辆的周围的信息的各种系统使用。感知存储器226还包括参考数据库232，该参考数据库232包含用于与检测到的对象进行比较以对所检测到的对象进行分类的参考对象。参考数据库232包括参考对象中的每一者的几何形状和分类。感知存储器226还可包括预载地图以补充外部传感器206所采集的信息。
外部传感器206是能够检测机动车辆周围的物理对象和场景的传感器。外部传感器206包括但不限于雷达、激光器、扫描激光器、摄像头、声纳、超声波装置、LIDAR等。外部传感器206可安装在车辆的外部(诸如安装在车辆顶部的旋转式激光扫描仪)或安装在车辆内部(诸如安装在挡风玻璃后面的前置摄像头)。这些外部传感器206中的某些传感器被配置为测量所检测到的对象相对于机动车辆的位置和取向的距离和方向。感知控制器202对这些外部传感器206所获取的原始信息进行处理以确定所检测到的对象的分类、大小、密度和/或颜色。外部传感器206被配置为在收集所述信息时连续地更新其对感知控制器202的输出，以反映机动车辆周围的空间体积和区域中的实时变化。
车辆SDL控制器212包括SDL处理器234和SDL存储器236。SDL控制器212接收来自车辆状态传感器214的信息并且与诸如驾驶系统216、安全系统218、HMI 220和V2X发射器222等各种车辆系统和部件通信。SDL处理器230对车辆状态传感器214所采集的信息进行处理并且订阅PSG 112以执行SDL存储器236中存储的软件应用程序，以向车辆系统216、218、220、222中的一者或多者发出指令。例程包括各种车辆软件应用程序238，还称为车辆APP238，包括用于车辆驾驶和安全系统216、218的操作的例程。例如，车辆SDL控制器212可与控制车辆的减速、加速、转向、信号发送、导航和定位的车辆驾驶系统216通信。SDL存储器236还可包括软件应用程序，以呈现PSG 112中存储的信息以在HMI装置220(诸如在车辆的仪表板上的显示监视器)上显示。
SDL存储器236还可包括在特定时间跨度期间对软件应用程序238重要的区域或空间体积(还称为聚焦区域144)中需要较大保真度信息的软件应用程序238。SDL控制器212将所需要的聚焦区域144传送到感知控制器202。感知控制器202分配更大的处理能力来处理指向所需聚焦区域144的外部传感器206所收集的信息。
感知处理器224和SDL处理器230可为任何常规处理器，诸如市售CPU、专用ASIC或其它基于硬件的处理器。感知存储器226和SDL存储器236可为任何计算装置可读介质，诸如硬盘驱动器、固态存储器、ROM、RAM、DVD或能够存储感知处理器能够访问的信息的任何其它介质。虽然仅示出一个感知控制器202和一个SDL控制器212，但应当理解，车辆可包含多个感知控制器202和多个SDL控制器212。
感知控制器202和SDL控制器212中的每一者可包括一个以上处理器和存储器，并且该多个处理器和存储器不必容纳在相应控制器202、212内。因此，对感知控制器202、感知处理器和感知存储器226的提及包括对可并行地进行操作或不并行地进行操作的此类感知控制器202、感知处理器和感知存储器的集合的提及。类似地，对SDL控制器212、SDL处理器230和SDL存储器236的提及包括对可并行地进行操作或不并行地进行操作的SDL控制器212、SDL处理器230和SDL存储器236的集合的提及。
PSG 112中包含的信息被归一化到机动车辆，以将出车辆定位器204、外部传感器206和V2X接收器208抽象出来作为信息的来源。换句话说，将SDL控制器212与感知控制器202从车辆定位器204、外部传感器206和V2X接收器208接收的原始信息分离。针对机动车辆的外部环境，SDL控制器212提取PSG 112中存储的处理信息作为输入，以执行用于机动车辆的操作的软件应用程序238。SDL控制器212不看机动车辆的真实世界周围，而是只看感知控制器202所生成的真实世界周围的虚拟3D模型。这点的主要好处是，可以替换外部传感器206和外部传感器206的类型，而不需要更换SDL处理器230且/或升级SDL存储器236中包含的软件应用程序以适应不同外部传感器类型。PSG 112的实时副本可由感知控制器202发布，并且复制到SDL控制器212以及整个机动车辆的各种其它系统控制器和/或计算装置。这确保了如果感知控制器202和/或SDL控制器212中的一者或多者出故障，则各种其它系统控制器和/或计算装置将能够临时以“跛行回家”模式进行操作来将机动车辆导航到安全地区或区域中。
图3示出配备有图2的感知系统200和SDL控制器212的示例性陆用机动车辆300。出于说明性目的，示出了乘用型机动车辆；然而，机动车辆可为卡车、运动型多用途车、厢式货车、房车或任何其它类型的陆用车辆。应当理解，在不脱离本公开的范围的情况下，机动车辆还可为水用交通工具(诸如摩托艇)或空用交通工具(诸如飞机)。
机动车辆300包括多个摄像头302，其被配置为捕获机动车辆300周围的区域的图像。示例性机动车辆300包括前置摄像头302A、右侧摄像头302B、左侧摄像头302C和后置摄像头302D。前述摄像头302A至302D中的每一者被配置为捕获相应摄像头的视野或视觉覆盖区域中的可见光谱和/或光谱的不可见(例如，红外)部分中的视觉信息。
机动车辆300还包括围绕机动车辆的周边分布的多个测距传感器304，所述测距传感器被配置为检测围绕机动车辆的周围区域和空间体积中的对象，包括但不限于行人、交通标线、障碍物和地貌。周围区域包括车辆周围的位于传感器的有效范围和覆盖领域内的的所有区域，包括与机动车辆相邻的区域、与机动车辆间隔开的区域和位于机动车辆周围360度的区域。
图3示出安装在机动车辆300的周边的测距传感器304A至304F。测距传感器304A至304F中的每一者可包括能够检测对象与机动车辆之间的距离和方向的任何测距技术，包括雷达、LiDAR、声纳等。机动车辆300还可包括安装在车辆顶部的扫描激光器306，其被配置为扫描围绕车辆的空间体积以检测对象对于该空间体积的存在、方向和距离。
不同类型的外部传感器302、304、306中的每一者具有其自己的独特感测特性和有效范围。传感器302、304、306被放置在车辆上的选定位置处并且合作以收集关于在机动车辆周围的区域的信息。关于在机动车辆周围的区域的传感器信息可通过由能够扫描围绕机动车辆的空间体积的单个传感器(诸如扫描激光器)获得，或通过多个传感器的组合获得。来自传感器302、304、306的原始数据被传送到预处理器或直接传送到感知控制器202以进行处理。感知控制器202与车辆SDL控制器212通信，车辆SDL控制器212与各种车辆控制系统通信。
机动车辆300包括V2X接收器208和V2X发射器222或V2X收发器310。V2X收发器310可包括电路，该电路被配置为使用Wi-Fi和/或专用短程通信(DSRC)协议来与配备有V2V通信的其它车辆和配备有V2X通信的路边单元通信，以接收诸如车道封闭、与施工相关的车道变化、路面杂物和熄火车辆等信息。V2X接收器208和发射器222使得机动车辆300能够订阅其它类似配备车辆和/或路边单元生成的其它PSG。V2X收发器310还使得机动车辆300能够将感知控制器202生成的PSG 112传送到其它类似V2X配备的车辆或基础设施单元。在V2X发射器310的范围内的类似配备的车辆或基础设施单元可订阅所发布的PSG 112。
机动车辆包括车辆定位器204(诸如GPS接收器)，其被配置为从GPS卫星接收多个GPS信号以确定机动车辆的经度和纬度以及机动车辆的速度和机动车辆的行驶方向。机动车辆的位置、速度和行驶方向可与PSG 112融合以在PSG 112内虚拟地定位机动车辆。
图4示出在示例性关注地理区域402内行驶的示例性主车辆400的图示。主机动车辆400配备有图2的感知系统200，其包括图3的外部传感器302、304、306以及V2X接收器/发射器208、222。地理区域402包括延伸超出主车辆400的外部传感器302、304、306的有效范围的边界403。边界403的范围可基于主车辆操作者对地理区域的关注来确定。所述关注可包括自主地导航通过地理区域402、实况交通更新、事故通知和/或地理区域402的实时映射。
地理区域402包括第一道路404、大致垂直于第一道路404的第二道路406以及在第一道路404与第二道路406的接合点处的十字路口408。十字路口408包括引导第一道路404与第二道路406之间的车辆交通的交通灯410。人造基础设施(诸如建筑物412)和自然结构(诸如树木414)定位在沿第一道路404和第二道路406的各个位置处。
主车辆400被示出为在第一道路404内朝向十字路口408行驶。在地理区域402中还示出了多个远程单元，包括远程路边单元416和远程车辆418。第一远程路边单元416A被示出为定位在邻近第一道路404处，并且第二远程路边单元416B被示出为定位在邻近第二道路406处。第一远程车辆418A被示出为在相邻车道中在与主车辆400相同的方向上行驶。第二远程车辆418B被示出为在第二道路406中朝向十字路口408行驶。交通灯410、路边单元416和远程车辆418各自配备有与主车辆400相似的感知系统、外部传感器和V2X通信能力。
主车辆400的感知系统200生成在主车辆400周围的区域的主感知场景图(主PSG)419。第一远程路边单元416A的感知系统生成第一远程路边单元416A周围的区域(包括第一道路404的邻近十字路口408的一部分)的第一远程感知场景图(第一远程PSG)420A。第二路边单元416B的感知系统生成第二路边单元416B周围的区域(包括第二道路406的邻近十字路口408的一部分)的第二感知场景图(第二远程PSG)420B。交通灯410的感知系统生成交通灯410周围的区域(包括十字路口408)的第三感知场景图(第三远程PSG)420C。第一远程车辆418A的感知系统生成第一远程车辆418A周围的区域的第四感知场景图(第四PSG)420D。第二远程车辆418B的感知系统生成第二远程车辆418B周围的区域的第五感知场景图(第五远程PSG)420E。
利用V2X通信将第一、第二、第三、第四和第五远程PSG(统称为“远程PSG 420”)传送到主车辆400的感知系统200。主车辆400的感知系统200接着融合远程PSG 420与主PSG419以生成广域感知场景图(广域PSG)422。广域PSG 422包括远程PSG 420中包含的信息，从而使主车辆400的感知延伸超出主车辆400的外部传感器302、304、306的有效范围。
尽管广域PSG 422表示地理区域402的超出主车辆400的外部传感器的传感器范围的更大区域，但其可能不包括整个地理区域402。这可能是由于该地理区域内没有足够的远程单元416、418来生成充足的远程PSG 420来表示整个关注地理区域402。为了补充远程单元416、418所采集的信息，感知系统200可融合补充信息(诸如地理区域402的预载地图或从先前所生成的感知场景图提取的信息)与远程PSG 420来生成表示整个关注地理区域402的广域PSG 422。期望从先前生成的感知场景图仅提取非高度时间相依的信息。非高度时间相依信息包括持久结构，诸如建筑物、树木和道路。
广域PSG 422可含有关于一组定位的对象、每个对象的种类以及每个对象与主机动车辆400之间的关系的信息。广域PSG 422被连续地更新，并且可记录广域PSG 422的历史事件。主PSG 419与远程PSG 420之间或在邻近远程PSG 420之间可存在重叠区域(通常称为“重叠区域424”)。使用附图标记424A、424B、424C来指示重叠区域的实例。重叠区域424可由于邻近感知场景图的重叠而含有高保真度信息。如果主车辆400需要重叠区域424中的高保真度信息，诸如当主车辆400指定在重叠区域(诸如重叠区域424B)内的聚焦区时，则可针对该特定重叠区域从广域PSG 422提取较高保真度信息。应当理解，聚焦区域不必邻近于主车辆400。
作为实例，主车辆400被示出为具有邻近于主车辆400的左后部(left-rearquarter)界定的示例性聚焦区域424B。在这个实例中，主车辆400的SDL控制器中的软件例程将向聚焦区域424B请求详细信息以检测在车辆盲点中的对象。这将类似于人类驾驶员在执行变道之前转头以查看是否存在车辆的动作。
在另一个实例中，主车辆400正在虚拟地操作或牵引相邻车道中位于主车辆后面的第一远程车辆418A。在这个实例中，第一远程车辆418A被配置成用于自主驾驶。主车辆400正借助于V2X通信将广域PSG 422传送或扩展到第一远程车辆418A。V2X通信可包括用于指导第一远程车辆418A航行于广域PSG 422所表示的地理区域的真实世界部分的自主驾驶命令。
图5示出了可利用存储在广域PSG 422中的信息的各种应用的实例。所述应用包括主车辆400通过利用V2X通信将广域PSG 422传送到类似配备的机动车辆418A、418B或路边单元416A，在HMI(诸如机动车辆的仪表板上的显示器502或头盔内的显示护目镜504)上呈现广域PSG，或将广域PSG扩展到便携式电子装置506(诸如智能电话或平板电脑)。便携式电子装置506可被编程为从广域PSG 422提取信息以在软件应用程序中使用或在便携式电子装置506的显示屏上呈现广域PSG 422。便携式电子装置506可位于机动车辆的乘客舱内或位于地理区域402之外。
广域PSG 422可呈现为表示关注地理区域402的真实世界环境的三维(3-D)模型。广域PSG 422中的对象可被呈现为包括诸如纹理、照明、阴影和颜色等细节。当在主机动车辆400行驶通过关注地理区域402时，随着新信息被融合到广域PSG 422，可连续地实时更新3-D模型的呈现。
图6示出了用于生成广域PSG 422的方法600的流程图。该方法始于步骤602。在步骤604中，识别关注地理区域。所述关注地理区域优选地为主单元位于其中或行驶通过的区域，诸如城镇或农村地区。主单元可包括主车辆或主基础设施单元，诸如路边单元。所述地理区域包括主单元周围超出主单元的外部传感器的有效范围的区域。
在步骤606中，主单元的外部传感器收集关于主单元周围的区域的信息。周围区域包括主单元周围在外部传感器的有效范围和覆盖领域内的所有区域，包括与主单元相邻的区域、与主单元间隔开的区域和位于主单元周围360度的区域。感知控制器处理所收集的传感器信息并且生成主感知场景图(主PSG)。主PSG包括由外部传感器检测的在主单元周围的区域的虚拟模型。
在步骤608中，主单元接收至少一个远程单元(诸如在所识别的地理区域内的远程车辆或远程基础设施单元)所生成的至少一个远程感知场景图(远程PSG)。可通过利用V2X通信将远程PSG传送到主单元。远程PSG包括远程单元周围的区域的虚拟模型。
在步骤610中，主单元上的感知系统融合主PSG与远程PSG以生成广域感知场景图(广域PSG)。广域PSG包括所述地理区域的延伸超出主车辆的有效传感器范围的一部分的虚拟模型。可将主PSG与远程PSG之间或远程PSG之间的重叠区域融合以在重叠区域中获得更大保真度和置信度水平。
在步骤612中，可将地理区域的预载地图或其它适用信息与广域PSG融合以补充广域PSG的区域(该处没有充分的信息来提供详细信息)以将广域PSG扩展为覆盖整个关注地理区域。
在步骤614中，利用V2X通信将广域PSG向外传送到类似配备的远程单元。广域PSG变得能够由需要关于主单元周围环境的信息的各种车辆系统访问。所述方法在步骤616结束。
用于生成广域PSG的方法和系统使得主单元能够感知超出主单元的外部传感器的有效传感器范围的较广地理区域。可将广域PSG传送到类似配备的远程单元以使远程单元能够感知超出远程单元的有效传感器范围的较广地理区域。可通过利用V2X通信从主单元将指令(诸如用于将车辆导航通过如广域PSG表示的关注地理区域的车辆命令)传送到远程单元。
本公开已经描述了特定优选实施方案及其修改。其他技术人员可在阅读并理解说明书后想到进一步的修改和更改。因此，意图是本公开不限于作为执行本公开所设想的最佳模式而公开的特定实施方案，而是本公开将包括属于所附权利要求书的范围内的所有实施方案。

Claims (20)

1.一种生成广域感知场景图的方法，包括以下步骤：
识别关注的地理区域；
通过位于所述地理区域内的主单元上的主感知系统生成包括所述主单元周围区域的虚拟表示的主感知场景图(主PSG)；
通过位于所述地理区域内的远程单元上的远程感知系统生成包括所述远程单元周围区域的虚拟表示的远程感知场景图(远程PSG)；
将所述远程PSG传送到所述主单元上的主感知系统；以及
通过所述主感知系统融合所述主PSG和远程PSG，从而生成广域感知场景图(广域PSG)；
其中所述广域PSG包括所述地理区域在所述主单元周围区域外的一部分的虚拟表示。
2.根据权利要求1所述的方法，其中所述主单元和远程单元中一者为在所述地理区域内漫游的车辆，而所述主单元和远程单元中另一者为静止基础设施单元。
3.根据权利要求2所述的方法，其中将所述远程PSG传送到所述主单元上的主感知系统的步骤通过使用车辆到一切(V2X)通信执行。
4.根据权利要求3所述的方法，进一步包括以下步骤：
位于所述地理区域内的各个位置中的多个远程单元生成多个远程PSG，其中所述多个远程PSG中的每一者均包括相应远程单元周围区域的虚拟表示；
将所述多个远程PSG传送到所述主单元；以及
通过所述主感知系统融合所述主PSG与多个远程PSG以生成广域PSG，所述广域PSG包括所述地理区域的比所述主PSG或远程PSG中的任何单独一者都要大的部分的虚拟表示。
5.根据权利要求4所述的方法，其中所述主单元为机动车辆，并且所述远程单元包括多个机动车辆和路边单元。
6.根据权利要求4所述的方法，其中所述主单元为被配置为在视觉上显示所述广域PSG的便携式通信装置。
7.根据权利要求6所述的方法，其中所述便携式通信装置为头盔中的视觉显示器。
8.根据权利要求5所述的方法，进一步包括使用无线通信将所述广域PSG扩展到被配置为在视觉上显示所述广域PSG的便携式通信装置的步骤。
9.根据权利要求4所述的方法，其中所述多个远程PSG包括重叠区域；并且所述方法进一步包括以下步骤：
界定所述地理区域内的聚焦区；
识别所述聚焦区内的重叠区域；以及
融合所述重叠区域以在所述聚焦区内的重叠区域中获得较大保真度和置信度水平。
10.根据权利要求4所述的方法，其中所述广域PSG包括所述主PSG或远程PSG提供的信息不足区域；并且所述方法进一步包括融合所述地理区域的预载地图以补充具有信息不足区域的广域PSG的区域的步骤。
11.一种通过机动车辆生成并使用广域感知场景图的方法，包括以下步骤：
通过至少一个具有一有效传感器范围的外部传感器收集关于主机动车辆周围区域的传感器信息；
通过感知控制器处理所述传感器信息以生成包括所述主机动车辆周围区域的虚拟模型的主感知场景图(主PSG)；
接收从所述主车辆近侧的至少一个远程单元发射的远程感知场景图(远程PSG)，其中所述远程PSG包括所述至少一个远程单元周围区域的虚拟模型；以及
通过所述感知控制器融合所述主PSG与远程PSG，从而生成包括延伸超出所述主车辆的有效传感器范围的区域的虚拟模型的广域感知场景图(广域PSG)。
12.根据权利要求11所述的方法，进一步包括将所述广域PSG发射到所述至少一个远程单元的步骤。
13.根据权利要求12所述的方法，进一步包括将指令发射到所述至少一个远程单元的步骤，其中所述指令包括自主驾驶指令。
14.根据权利要求13所述的方法，其中接收所述远程PSG和发射所述广域PSG的步骤通过使用车辆到一切(V2X)通信执行。
15.根据权利要求11所述的方法，进一步包括通过使用短程无线通信将所述广域PSG扩展到便携式电子装置的步骤。
16.根据权利要求15所述的方法，其中所述便携式电子装置包括供所述机动车辆的操作者使用的显示护目镜。
17.一种用于生成广域感知场景图(PSG)的感知系统，包括：
人机接口(HMI)，其被配置为接收输入，其中所述输入包括地理区域的位置；
接收器，其被配置为接收位于所述地理区域内的远程单元生成的远程感知场景图(远程PSG)，其中所述远程PSG包括所述远程单元周围区域的虚拟表示；
主外部传感器，其被配置为收集关于位于所述地理区域内的主单元周围区域的传感器信息；
处理器，其被配置为处理所收集的传感器信息以(i)生成包括所述主单元周围区域的虚拟表示的主感知场景图(主PSG)并且(ii)融合所述远程PSG与主PSG以生成包括所述地理区域的一部分的广域感知场景图(广域PSG)。
18.根据权利要求17所述的感知系统，进一步包括用于将所述广域PSG扩展到便携式电子装置的短程无线通信装置。
19.根据权利要求18所述的感知系统，其中所述便携式电子装置为智能电话。
20.根据权利要求17所述的感知系统，进一步包括用于接收所述远程PSG的车辆到一切(V2X)通信装置。
CN201810516684.9A 2017-05-26 2018-05-25 生成广域感知场景图的方法和系统 Pending CN108928348A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US15/607,067 2017-05-26
US15/607,067 US10210617B2 (en) 2017-05-26 2017-05-26 Method and system for generating a perception scene graph having a focus region for a motor vehicle
US15/607,061 US20180341821A1 (en) 2017-05-26 2017-05-26 Method and system for generating and using a perception scene graph in motor vehicle applications
US15/607,070 2017-05-26
US15/607,070 US20180341822A1 (en) 2017-05-26 2017-05-26 Method and system for classifying objects in a perception scene graph by using a scene-detection-schema
US15/606,796 2017-05-26
US15/606,796 US20180342102A1 (en) 2017-05-26 2017-05-26 Method and system for prioritizing sensors for a perception system
US15/607,061 2017-05-26
US15/680,676 2017-08-18
US15/680,676 US20180339730A1 (en) 2017-05-26 2017-08-18 Method and system for generating a wide-area perception scene graph

Publications (1)

Publication Number Publication Date
CN108928348A true CN108928348A (zh) 2018-12-04

Family

ID=62196492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810516684.9A Pending CN108928348A (zh) 2017-05-26 2018-05-25 生成广域感知场景图的方法和系统

Country Status (3)

Country Link
US (1) US20180339730A1 (zh)
EP (1) EP3407257A1 (zh)
CN (1) CN108928348A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统
CN111123948A (zh) * 2019-12-31 2020-05-08 北京新能源汽车技术创新中心有限公司 车辆多维感知融合控制方法、系统及汽车

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3604065B1 (en) * 2018-08-01 2020-11-04 Hitachi Automotive Systems, Ltd. Vehicle travelling control apparatus
EP3611849B1 (en) * 2018-08-13 2022-06-15 Accenture Global Solutions Limited Location-based content delivery to vehicles
CN111383480B (zh) 2018-12-28 2021-07-16 北京百度网讯科技有限公司 用于交通工具的危险预警的方法、装置、设备和介质
DE102019201484A1 (de) * 2019-02-06 2020-08-06 Robert Bosch Gmbh Wiederverwertung von Umfeldmodellen automatisierter Fahrzeuge
US11281915B2 (en) * 2019-12-06 2022-03-22 Black Sesame Technologies Inc. Partial frame perception
US11551456B2 (en) 2020-06-17 2023-01-10 Ford Global Technologies, Llc Enhanced infrastructure
DE102021002918B4 (de) * 2021-06-07 2023-04-06 Mercedes-Benz Group AG Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140318A1 (en) * 1997-10-22 2008-06-12 Intelligent Technologies International, Inc. Weather Monitoring Techniques
CN101799992A (zh) * 2009-02-03 2010-08-11 通用汽车环球科技运作公司 组合的车辆到车辆通信和目标检测感测
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN105009175A (zh) * 2013-01-25 2015-10-28 谷歌公司 基于传感器盲点和局限性来修改自主车辆的行为
CN106485949A (zh) * 2015-07-20 2017-03-08 德韧营运有限责任公司 针对车辆的摄像机和v2v数据的传感器融合

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6691126B1 (en) * 2000-06-14 2004-02-10 International Business Machines Corporation Method and apparatus for locating multi-region objects in an image or video database
US7672911B2 (en) * 2004-08-14 2010-03-02 Hrl Laboratories, Llc Graph-based cognitive swarms for object group recognition in a 3N or greater-dimensional solution space
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
JP4752486B2 (ja) * 2005-12-15 2011-08-17 株式会社日立製作所 撮像装置、映像信号の選択装置、運転支援装置、自動車
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8391615B2 (en) * 2008-12-02 2013-03-05 Intel Corporation Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device
JP5830784B2 (ja) * 2011-06-23 2015-12-09 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
DE102011081614A1 (de) * 2011-08-26 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system
US9396400B1 (en) * 2015-07-30 2016-07-19 Snitch, Inc. Computer-vision based security system using a depth camera
EP3552147A1 (en) * 2016-12-12 2019-10-16 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
US10449956B2 (en) * 2017-01-18 2019-10-22 Ford Global Technologies, Llc Object tracking by unsupervised learning
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US11194856B2 (en) * 2017-03-07 2021-12-07 Verizon Media Inc. Computerized system and method for automatically identifying and providing digital content based on physical geographic location data
US10101745B1 (en) * 2017-04-26 2018-10-16 The Charles Stark Draper Laboratory, Inc. Enhancing autonomous vehicle perception with off-vehicle collected data
US10210617B2 (en) * 2017-05-26 2019-02-19 Dura Operating, Llc Method and system for generating a perception scene graph having a focus region for a motor vehicle
US20180342102A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for prioritizing sensors for a perception system
US20180341821A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating and using a perception scene graph in motor vehicle applications
US20180341822A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for classifying objects in a perception scene graph by using a scene-detection-schema
US10796501B2 (en) * 2017-06-19 2020-10-06 Qualcomm Incorporated Interactive sharing of vehicle sensor information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140318A1 (en) * 1997-10-22 2008-06-12 Intelligent Technologies International, Inc. Weather Monitoring Techniques
CN101799992A (zh) * 2009-02-03 2010-08-11 通用汽车环球科技运作公司 组合的车辆到车辆通信和目标检测感测
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN105009175A (zh) * 2013-01-25 2015-10-28 谷歌公司 基于传感器盲点和局限性来修改自主车辆的行为
CN106485949A (zh) * 2015-07-20 2017-03-08 德韧营运有限责任公司 针对车辆的摄像机和v2v数据的传感器融合

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统
CN111123948A (zh) * 2019-12-31 2020-05-08 北京新能源汽车技术创新中心有限公司 车辆多维感知融合控制方法、系统及汽车
CN111123948B (zh) * 2019-12-31 2023-04-28 北京国家新能源汽车技术创新中心有限公司 车辆多维感知融合控制方法、系统及汽车

Also Published As

Publication number Publication date
US20180339730A1 (en) 2018-11-29
EP3407257A1 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
CN108928348A (zh) 生成广域感知场景图的方法和系统
US10748426B2 (en) Systems and methods for detection and presentation of occluded objects
JP7188397B2 (ja) 画像処理装置及び画像処理方法
CN108960035A (zh) 使用场景检测模式在感知场景图中分类对象的方法和系统
US11721213B1 (en) Displaying sensor data and supplemental data as a mask for autonomous vehicles
JP2019045892A (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
CN108944919B (zh) 为机动车辆生成具有聚焦区的感知场景图的方法和系统
JPWO2019069581A1 (ja) 画像処理装置及び画像処理方法
JPWO2019035300A1 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
CN108944920A (zh) 在机动车应用程序中生成并使用感知场景图的方法和系统
US20200263994A1 (en) Information processing apparatus, information processing method, program, and moving body
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
CN108958908A (zh) 用于对感知系统的传感器进行优先排序的方法和系统
US20230230330A1 (en) Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
EP4177732A1 (en) Information processing device, information processing method, information processing system, and program
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2023021755A1 (ja) 情報処理装置、情報処理システム、モデル及びモデルの生成方法
WO2023213416A1 (en) Method and user device for detecting an environment of the user device
KR20230159450A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
TWM618998U (zh) 複眼攝像系統及使用複眼攝像系統的車輛
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN117651981A (zh) 信息处理装置、信息处理方法以及程序
JP2022129400A (ja) 運転支援装置
JP2022151402A (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181204