CN110356327B - 使用来自不同车辆的摄像头生成情况感知图的方法和装置 - Google Patents

使用来自不同车辆的摄像头生成情况感知图的方法和装置 Download PDF

Info

Publication number
CN110356327B
CN110356327B CN201910260384.3A CN201910260384A CN110356327B CN 110356327 B CN110356327 B CN 110356327B CN 201910260384 A CN201910260384 A CN 201910260384A CN 110356327 B CN110356327 B CN 110356327B
Authority
CN
China
Prior art keywords
vehicle
generating
map
situational awareness
awareness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910260384.3A
Other languages
English (en)
Other versions
CN110356327A (zh
Inventor
F·白
M·穆拉德
J·G·马恰克
W·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110356327A publication Critical patent/CN110356327A/zh
Application granted granted Critical
Publication of CN110356327B publication Critical patent/CN110356327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

在各种实施例中，提供了方法、系统和车辆，其包括从第一车辆上的第一摄像头获取第一摄像头图像；经由一个或多个计算机处理器，使用第一摄像头图像生成关于第一车辆附近的物体的第一情况感知图；从靠近第一车辆的第二设备的第二摄像头获取第二摄像头图像；经由一个或多个计算机处理器，使用第二摄像头图像生成关于物体的第二情况感知图；以及经由一个或多个计算机处理器，通过使用第一和第二情况感知图的相应第一和第二权重，将第一情况感知图与第二情况感知图合并来生成关于物体的全局情况感知图。

Description

使用来自不同车辆的摄像头生成情况感知图的方法和装置
技术领域
本技术领域总体上涉及车辆，并且更具体而言，涉及用于使用来自不同车辆的摄像头生成情况感知图的方法和系统。
背景技术
许多车辆包括用于改进车辆操作的各种系统，包括使用摄像头来检测车辆附近的物体和其它环境。然而，在某些情况下，车辆的摄像头可能被道路上的其它障碍物遮挡或阻挡，和/或可能存在一个或多个其它状况，这可能使得单个车辆的摄像头难以确定对于该车辆的情况感知。
因此，期望提供改进的方法和系统以利于具有摄像头的车辆的情况感知。此外，结合附图和本发明的背景技术，本发明的其它期望特征和特性将从随后的本发明的具体实施方式和所附权利要求中变得显而易见。
发明内容
在一个示例性实施例中，提供了一种方法，包括：从第一车辆上的第一摄像头获取第一摄像头图像；经由一个或多个计算机处理器，使用第一摄像头图像生成关于第一车辆附近的物体的第一情况感知图；从靠近第一车辆的第二设备的第二摄像头获取第二摄像头图像；经由一个或多个计算机处理器，使用第二摄像头图像生成关于物体的第二情况感知图；以及经由一个或多个计算机处理器，通过使用第一和第二情况感知图的相应第一和第二权重，将第一情况感知图与第二情况感知图合并来生成关于物体的全局情况感知图。
另外在一个实施例中，生成第一情况感知图的步骤包括使用第一摄像头图像，在特定时间生成关于第一车辆附近的物体的第一静态情况感知图；生成第二情况感知图的步骤包括使用第二摄像头图像在特定时间生成关于物体的第二静态情况感知图；以及生成全局情况感知图的步骤包括通过使用第一和第二静态情况感知图的相应第一和第二权重，将第一静态情况感知图与第二静态情况感知图合并而在特定时间生成关于物体的静态全局感知图。
另外在一个实施例中，生成静态全局情况感知图的步骤包括基于距第一和第二静态情况感知图的相应马氏距离的主成分分析，使用第一和第二静态情况感知图的相应第一和第二权重来生成静态全局情况感知图。
另外在一个实施例中，生成全局情况感知图的步骤包括经由一个或多个计算机处理器，使用第一和第二情况感知图的相应第一和第二权重，在多个时间段使用第一情况感知图和第二情况感知图生成关于物体的时间演变动态全局情况感知图。
另外在一个实施例中，生成全局情况感知图的步骤包括经由一个或多个计算机处理器，使用第一和第二情况感知图的相应第一和第二权重，在多个时间段使用第一情况感知图和第二情况感知图生成用于预测检测到的物体的轨迹的多层动态二分图。
另外在一个实施例中，生成全局情况感知图的步骤包括经由一个或多个计算机处理器，利用贝叶斯粒子滤波器在多个时间段使用来自第一情况感知图和第二情况感知图的初始和后验概率来生成用于预测检测到的物体的轨迹的多层动态概率图。
另外在一个实施例中，第二设备包括靠近第一车辆的第二车辆。
另外在一个实施例中，第二设备包括靠近车辆的基础设施。
另外在一个实施例中，该方法还包括：基于全局情况感知图，经由一个或多个处理器估计关于检测到的物体的一个或多个被遮挡车辆的一个或多个参数；以及使用基于全局情况感知图估计的一个或多个参数，以避免与一个或多个被遮挡车辆接触的方式控制第一车辆、第二车辆或两者。
在另一示例性实施例中，提供了一种系统，包括：第一车辆上的第一摄像头，该第一摄像头被配置成从第一车辆生成第一摄像头图像；以及一个或多个计算机处理器，其被配置成至少利于：使用第一摄像头图像生成关于第一车辆附近的物体的第一情况感知图；以及通过使用第一和第二情况感知图的相应第一和第二权重，将第一情况感知图与使用来自第一车辆附近的第二设备的第二摄像头的第二摄像头图像生成的第二情况感知图合并而生成关于物体的全局情况感知图。
另外在实施例中，该系统还包括收发器，其被配置成从第二设备接收第二摄像头图像、第二情况感知图或两者。
另外在一个实施例中，第二设备包括靠近第一车辆的第二车辆，并且收发器还被配置成经由来自一个或多个计算机处理器的指令传输第一摄像头图像、第一情况感知图或两者以供第二车辆使用。
另外在一个实施例中，一个或多个处理器被配置成至少利于：使用第一摄像头图像，在特定时间生成关于第一车辆附近的物体的第一静态情况感知图；使用第二摄像头图像在特定时间生成关于物体的第二静态情况感知图；以及通过使用第一和第二静态情况感知图的相应第一和第二权重，将第一静态情况感知图与第二静态情况感知图合并而在特定时间生成关于物体的静态全局感知图。
另外在一个实施例中，一个或多个处理器被配置成至少利于基于距第一和第二静态情况感知图的相应马氏距离的主成分分析，使用第一和第二静态情况感知图的相应第一和第二权重来生成静态全局情况感知图。
另外在一个实施例中，一个或多个处理器被配置成至少利于使用第一和第二情况感知图的相应第一和第二权重，在多个时间段使用第一情况感知图和第二情况感知图生成关于物体的时间演变动态全局情况感知图。
另外在一个实施例中，一个或多个处理器被配置成至少利于使用第一和第二情况感知图的相应第一和第二权重，在多个时间段使用第一情况感知图和第二情况感知图生成用于预测检测到的物体的轨迹的多层动态二分图。
另外在一个实施例中，第二设备包括第二车辆，并且一个或多个处理器被配置成至少利于：基于全局情况感知图估计关于检测到的物体的一个或多个被遮挡车辆的一个或多个参数；以及使用基于全局情况感知图估计的一个或多个参数，以避免与一个或多个被遮挡车辆接触的方式控制第一车辆、第二车辆或两者。
在另一示例性实施例中，提供了一种车辆，其包括第一摄像头和一个或多个计算机处理器。第一摄像头在车辆上，第一摄像头被配置成从车辆生成第一摄像头图像；并且一个或多个计算机处理器被配置成至少利于：使用第一摄像头图像生成关于车辆附近的物体的第一情况感知图；以及通过使用第一和第二情况第一摄像头图像的相应第一和第二权重，将第一情况感知图与使用来自靠近车辆的第二设备的第二摄像头的第二摄像头图像生成的第二情况感知图合并而生成关于物体的全局情况感知图。
另外在一个实施例中，车辆还包括收发器，其被配置成从第二设备接收第二摄像头图像、第二情况感知图或两者，并且经由来自一个或多个计算机处理器的指令传输第一摄像头图像、第一情况感知图或两者以供第二设备使用。
附图说明
以下将结合以下附图描述本发明，其中相同的数字表示相同的元件，并且其中：
图1是包括摄像头和控制系统的车辆的功能方框图，该控制系统用于使用车辆的摄像头和来自远离车辆的一个或多个其它摄像头的信息来利于车辆的控制；
图2是示出根据示例性实施例的车辆与另一车辆并排行驶并且靠近各种物体和基础设施的道路的交叉点的示意图；
图3是根据示例性实施例的使用车辆的一个或多个摄像头和远离车辆的一个或多个其它摄像头为车辆提供情况感知的过程的流程图，该过程可以结合图1的车辆、摄像头和控制系统以及显示器，以及图2的图示来实现(申请人注释图3的流程图覆盖两页，编号为图3A和图3B，其中两页图3A和图3B共同包括本文引用为图3的单个流程图)；
图4提供了图3的过程的一个步骤序列的图示；具体而言，涉及使用摄像头数据生成静态拓扑图；
图5提供了图3的过程的另一步骤序列的图示；具体而言，涉及使用摄像头数据随时间生成动态二分图；以及
图6提供了图3的过程的另一步骤序列的图示；具体而言，涉及使用摄像头数据生成动态时间演变粒子滤波图。
具体实施方式
以下具体实施方式本质上仅是示例性的，并不旨在限制本发明或其应用和用途。此外，无意受前述背景技术或以下具体实施方式中提出的任何理论的约束。
图1示出了根据示例性实施例的车辆100。如下面进一步详细描述，车辆100包括摄像头102、控制系统104和显示器108(本文也称为显示设备)。此外，如图1中所示，在某些实施例中，车辆100还包括导航系统106。
在某些实施例中，经由控制系统104控制摄像头102，如图1中所示。另外在某些实施例中，控制系统104还联接到导航系统106和显示器108。在各种实施例中，控制系统104为车辆100提供各种控制动作，包括来自摄像头102以及来自其它附近车辆和/或基础设施的摄像头的图像和/或来自其它车辆的其它信息用于在显示器108上进行显示，并且适当地控制车辆100的行驶，以避免与其它车辆和/或其它物体接触(例如，通过适当地自动控制车辆100的制动和/或转向)。此外，在各种实施例中，控制系统104还有助于向其它附近的车辆和/或基础设施提供摄像头图像和其它信息。在各种实施例中，控制系统104根据下面结合图2至图6进一步讨论的实现方式、过程和图示提供这些和其它功能。
在各种实施例中，车辆100优选地包括汽车。在某些实施例中，车辆100可以是多种不同类型的汽车中的任何一种，诸如例如轿车、货车、卡车或运动型多功能车(SUV)，并且可以是两轮驱动(2WD)(即，后轮驱动或前轮驱动)、四轮驱动(4WD)或全轮驱动(AWD)和/或各种其它类型的车辆。在某些实施例中，车辆100还可以包括摩托车或其它车辆，和/或一个或多个其它类型的移动平台(例如，机器人、船舶等)和/或其它系统，例如具有具有固定参考点的摄像头图像。
车辆100包括布置在底盘112上的上述车身110。车身110基本上包围车辆100的其它组件。车身110和底盘112可共同形成框架。车辆100还包括多个车轮114。车轮114各自在车身110的相应拐角附近可旋转地联接到底盘112，以利于车辆100的移动。在一个实施例中，车辆100包括四个车轮114，但这在其它实施例中可以变化(例如对于卡车和某些其它车辆)。
驱动系统116安装在底盘112上，并驱动车轮114。驱动系统116优选地包括推进系统。在某些示例性实施例中，驱动系统116包括内燃机和/或电动机/发电机，与其变速器联接。在某些实施例中，驱动系统116可以变化，和/或可以使用两个或更多个驱动系统116。举例来说，车辆100还可以并入多种不同类型的推进系统中的任何一种或其组合，诸如例如汽油或柴油燃料内燃机、“柔性燃料车辆”(FFV)发动机(即，使用汽油和醇的混合物)、气态化合物(例如，氢气和/或天然气)燃料发动机、燃烧/电动机混合动力发动机，以及电动机。
如图1中所示，在某些实施例中，摄像头102包括安装在车辆100的后部的后视摄像头，安装在车辆100的前部的前视摄像头，安装在车辆100的驾驶员侧的驾驶员侧摄像头，以及安装在车辆的乘客侧的乘客侧摄像头。在各种实施例中，摄像头102提供来自车辆周围的图像，例如来自车辆100的各个侧面(例如，前侧、后侧、乘客侧和驾驶员侧)，例如以有助于车辆100和/或其它附近车辆沿着道路行驶(例如，以避免与其它车辆和/或其它物体接触)。在某些实施例中，摄像头102还可以设置在车辆100的一个或多个其它位置上，例如在车辆100的顶部上，例如以创建车辆100的环绕视图和/或一个或多个其它视图。在各种实施例中，摄像头102的数量、位置和/或放置可以变化(例如，在某些实施例中，可以使用单个摄像头等)。
摄像头102提供用于在设置在车辆100内部(即，在车辆100的车身110内)的一个或多个显示器108上观看的图像。此外，在各种实施例中，摄像头图像也被传输到一个或多个其它车辆。此外，在某些实施例中，摄像头图像也被提供给车辆控制系统以用于车辆控制等。
在各种实施例中，导航系统106提供车辆100的位置信息。例如，在各种实施例中，导航系统106包括基于卫星的系统，诸如全局定位系统(GPS)和/或其它基于卫星的系统，并提供关于车辆100的当前位置的位置信息。在某些实施例中，导航系统106和/或其一个或多个组件可以设置在控制系统104内和/或是其一部分。在其它实施例中，导航系统106可以联接到控制系统104。
在各种实施例中，显示器108显示诸如来自车辆100的摄像头102的图像，并且在某些实施例中，还显示来自其它车辆的相应摄像头的图像。在一个实施例中，显示器108位于车辆100的中央控制台上。然而，这可以在其它实施例中变化。在各种其它实施例中，显示器108可以是无线电显示器、导航显示器和/或其它显示器的一部分，例如作为中央控制台的一部分或接近中央控制台。在某些其它实施例中，显示器108可以是一个或多个其它车辆组件的一部分，诸如后视镜。在一个示例性实施例中，显示器108包括液晶显示器(LCD)屏幕或发光二极管(LED)屏幕。然而，这可以在其它实施例中变化。
控制系统104控制摄像头102的操作，并基于来自车辆100的摄像头102的数据以及来自其它附近车辆的其它摄像头的数据生成用于控制车辆100的情况感知图和指令。在各种实施例中，控制系统104根据示例性实施例来根据下面结合图2的实现方式、图3的过程300以及图4至图6的图示进一步讨论的过程300的步骤提供这些和其它功能。
在各种实施例中，控制系统104设置在车辆100的车身110内。在一个实施例中，控制系统104安装在底盘112上。在某些实施例中，控制系统104和/或其一个或多个组件可以布置在车身110外部，例如在远程服务器上，在云中，或者在远程智能电话或远程执行图像处理的其它设备中。此外，在某些实施例中，控制系统104可以设置在摄像头102、导航系统106和/或显示器108内和/或作为其一部分，和/或设置在一个或多个其它车辆系统内部和/或作为其一部分。
另外如图1中所示，在各种实施例中，控制系统104经由一个或多个通信链路109联接到摄像头102，并且经由通信链路109从摄像头102接收摄像头图像。在某些实施例中，通信链路109包括一个或多个有线连接，诸如一根或多根电缆(例如同轴电缆和/或一种或多种其它类型的电缆)。在其它实施例中，通信链路109可以包括一个或多个无线连接，例如，使用图1中描绘的收发器122。
如图1中所示，控制系统104包括传感器阵列120和收发器122。另外如图1中所示，在某些实施例中，控制系统104还可以包括摄像头102、导航系统106和/或显示器108，和/或其一个或多个组件中的一个或多个和/或是其一部分。
传感器阵列120生成传感器数据，并将传感器数据提供给控制器124以进行处理。如图1中所示，传感器阵列120包括一个或多个检测传感器126。在各种实施例中，检测传感器126包括检测靠近车辆的物体(例如，移动的车辆)的一个或多个传感器(例如，雷达、激光雷达、声纳、超声波等)。另外在各种实施例中，传感器阵列120还可包括提供与车辆运行有关的数据的一个或多个其它传感器128(例如，轮速传感器、加速度计、车轮位置传感器、转向角传感器、转向传感器、齿轮传感器等)。还应当理解，在各种实施例中，传感器阵列120还可以包括摄像头102，形成导航系统106的传感器，和/或各种其它类型的传感器。
收发器122向其它车辆传输消息并从其接收消息。具体而言，在各种实施例中，收发器122在适当的情况下(经由控制器124提供的指令)将摄像头图像传输到其它车辆和/或基础设施。另外在各种实施例中，收发器122还在适当的情况下从其它车辆和/或基础设施接收图像和其它信息。应当理解，在某些实施例中，收发器122可以包括单独的发射器和/或接收器等。
控制器124控制控制系统104的操作，并且利于控制车辆100的情况感知，包括使用摄像头图像并且在道路上的车辆和/或基础设施之间共享摄像头图像和其它信息，以及使用来自车辆100的摄像头的摄像头图像连同来自其它附近车辆和/或基础设施的摄像头的摄像头图像来为车辆100生成关于检测到的物体的静态和动态情况感知图。在某些实施例中，控制器124还使用摄像头图像和数据来控制车辆100的各种功能(例如，转向和制动)，例如以避开障碍物。在各种实施例中，控制器124根据下面结合图2的实现方式和图4至图6的图示进一步讨论的过程300的步骤提供这些和其它功能。
在一个实施例中，控制器124联接到摄像头102、导航系统106、传感器阵列120、收发器122和显示器108。另外在一个实施例中，控制器124设置在车辆100内的控制系统104内。在某些实施例中，控制器124(和/或其组件，诸如处理器132和/或其它组件)可以是摄像头102、导航系统106、显示器108和/或一个或多个其它车辆组件的一部分和/或设置在其内。另外在某些实施例中，控制器124可以设置在车辆100的一个或多个其它位置。此外，在某些实施例中，可以使用多个控制器124(例如，车辆100内的一个控制器124和摄像头102、导航系统106和/或显示器108内的另一个控制器)以及其它可能的变型。此外，在某些实施例中，控制器可以放置在车辆外部，诸如在远程服务器中，在云中或在远程智能设备上。
如图1中所示，控制器124包括计算机系统。在某些实施例中，控制器124还可以包括摄像头102、导航系统106、显示器108、传感器阵列120、收发器122和/或其一个或多个组件。此外，应当理解，控制器124可以另外不同于图1中描绘的实施例。例如，控制器124可以联接到或可以以其它方式利用一个或多个远程计算机系统和/或其它控制系统，例如作为上述车辆100设备和系统中的一个或多个的一部分。
在所描绘的实施例中，控制器124的计算机系统包括处理器132、存储器134、接口136、存储设备138和总线140。处理器132执行控制器的计算和控制功能，并且可以包括任何类型的处理器或多个处理器，诸如微处理器的单个集成电路，或者协同工作以完成处理单元的功能的任何合适数量的集成电路设备和/或电路板。在操作期间，处理器132执行包含在存储器134内的一个或多个程序142，并且因此控制控制器124和控制器124的计算机系统的一般操作，这通常在执行本文所述的过程中，诸如下面结合图3进一步描述的过程300、下面结合图2讨论的实现方式以及图4至图6的图示。
存储器134可以是任何类型的合适存储器。例如，存储器134可以包括各种类型的动态随机存取存储器(DRAM)(诸如SDRAM)，各种类型的静态RAM(SRAM)，以及各种类型的非易失性存储器(PROM、EPROM和闪存)。在某些示例中，存储器134位于和/或共同位于与处理器132相同的计算机芯片上。在所描绘的实施例中，存储器134存储上述程序142以及一个或多个存储值144。
总线140用于在控制器124的计算机系统的各种组件之间传输程序、数据、状态和其它信息或信号。接口136允许例如从系统驱动器和/或另一计算机系统与控制器124的计算机系统通信，并且可以使用任何合适的方法和装置来实现。在一个实施例中，接口136从摄像头102、导航系统106、收发器122和/或传感器阵列120获取各种数据。接口136可包括一个或多个网络接口以与其它系统或组件通信。接口136还可以包括一个或多个网络接口以与技术人员通信，和/或一个或多个存储接口以连接到存储装置，例如存储设备138。
存储设备138可以是任何合适类型的存储装置，包括直接访问存储设备，诸如硬盘驱动器、闪存系统、软盘驱动器和光盘驱动器。在一个示例性实施例中，存储设备138包括程序产品，存储器134可以从该程序产品接收执行本发明的一个或多个过程的一个或多个实施例的程序142，诸如下面结合图3进一步描述的过程300的步骤(和其任何子过程)。在另一个示例性实施例中，程序产品可以直接存储在存储器134和/或磁盘(例如，磁盘146)中和/或以其它方式访问，例如下面引用的。
总线140可以是连接计算机系统和组件的任何合适的物理或逻辑装置。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。在操作期间，程序142存储在存储器134中并由处理器132执行。
应当理解，尽管在完全运行的计算机系统的背景下描述了该示例性实施例，但是本领域技术人员将认识到，本发明的机制能够作为程序产品分发为一种或多种类型的非暂时性计算机可读信号承载介质，用于存储程序及其指令并执行其分发，诸如承载程序并包含存储在其中的计算机指令的非暂时性计算机可读介质，用于使计算机处理器(诸如处理器132)进行和执行程序。这样的程序产品可以采用各种形式，并且本发明同样适用，而不管用于执行分发的特定类型的计算机可读信号承载介质。信号承载介质的示例包括：可记录介质，诸如软盘、硬盘驱动器、存储卡和光盘，以及传输介质，诸如数字和模拟通信链路。应当理解，在某些实施例中也可以使用基于云的存储和/或其它技术。同样可以理解，控制器124的计算机系统也可以与图1中所示的实施例不同，例如不同之处在于控制器124的计算机系统可以联接到或可以以其它方式利用一个或多个远程计算机系统和/或其它控制系统。
图2是根据显示道路200的本发明的实现方式的说明的功能方框图。如图2中所示，道路200包括图1的车辆100以及第二车辆202。此外，在图2中还描绘了示例性车辆基础设施203(其可以包括例如道路200的停车灯、停车灯、道路标志、墙壁、路缘石等，其可以包括基础设施203内和/或安装在其上的摄像头、传感器和/或收发器等。另外如图2中所示，沿着道路200描绘了许多物体，包括可见物体204和不可见物体206(例如，相对于车辆100、202中的一个或两个)。另外如图2中所示，在某些实施例中，道路200包括各种车道210、212、214。如图2中所示，图1的车辆100在第一车道210(例如，中间车道)中行驶，而第二车辆202在第二车道212(例如，右车道)中行驶，并且各种物体204、206可以设置在第一车道210、第二车道212或第三车道214的每一个中。应当理解，车道的数量和性质，以及车辆100、202和物体204、206的数量和布置可以在不同的实施例中变化。
将结合下面结合图3进一步讨论的过程300更详细地解释，在各种实施例中，车辆100的控制系统104与图2的第二车辆202通信，反之亦然，其方式利于车辆100、202确定相应车辆100、202的改进的情况感知。另外在各种实施例中，第二车辆202包括各组件(诸如摄像头、显示器、导航系统和控制系统)，其与图1的车辆100的各个组件类似或进行标记。
如图2中所示，车辆100、202(以及在某些实施例中，基础设施203)经由一个或多个无线网络216进行通信。在各种实施例中，无线网络216可以包括多种不同类型的网络和/或通信链路中的任何一种或多种，诸如Wi-Fi、蜂窝网、卫星和/或其它通信网络和/或链路。另外在某些实施例中，车辆100、202和基础设施203经由无线网络216与远程服务器218通信。在各种实施例中，远程服务器218包括结构特征并执行类似于图1的控制系统104的功能，例如包括使用收发器来传输和接收数据，使用存储器134来存储数据，使用处理器132来确定并提供对车辆100、202和基础设施203的情况感知的控制和/或其它车辆控制等。
图3是根据示例性实施例的用于控制车辆的情况感知的过程300的流程图。过程300可以根据示例性实施例结合图1的车辆100、摄像头102、导航系统106、显示器108和控制系统104以及图2的车辆202和基础设施203、无线网络216和远程服务器来实现。
如图3中所示，过程在302处开始。在一个实施例中，过程300在车辆驾驶或点火循环开始时开始，例如当驾驶员接近或进入车辆100时，或者当驾驶员发动车辆和/或为此点火时(例如通过转动钥匙，接合钥匙扣或启动按钮等)。在一个实施例中，过程300的步骤在车辆的操作期间连续地执行。还应当理解，在各种实施例中，过程300的步骤可以由多个车辆同时执行，诸如图1和图2的车辆100和第二车辆202和/或基础设施203。
获取车辆的摄像头数据(步骤304)。在各种实施例中，从图1的车辆100的一个或多个摄像头102获取摄像头图像。在某些实施例中，摄像头图像还包括来自车辆100的一个或多个视点的静止图像和/或摄像头图像。在各种实施例中，摄像头数据被提供给图1的处理器132。另外在各种实施例中，类似地获取一个或多个附加车辆(诸如图2的第二车辆202)(例如，从第二车辆202的摄像头)和/或来自基础设施203(例如，从其摄像头)的摄像头数据(例如，包括摄像头图像)。
获取其它传感器数据(步骤306)。在各种实施例中，从图1的车辆100的一个或多个其它传感器128用与图1的车辆100的操作有关的信息获取传感器数据(例如，车轮速度传感器、加速度计、车轮位置传感器、转向角传感器、转向传感器、齿轮传感器等)。在各种实施例中，经由图1的传感器阵列120获取其它传感器数据并提供给图1的处理器132。另外在各种实施例中，类似地获取一个或多个附加车辆和/或基础设施的类似类型的其它传感器数据，诸如图2的第二车辆202(例如，从第二车辆202的传感器)和/或基础设施203(例如，从其传感器)。
传输摄像头数据(步骤308)。在各种实施例中，不同的车辆100、202准备摄像头馈送(例如，静止和/或视频图像和/或相关联的信息)以便经由无线网络216彼此传输，和/或传输到其它车辆和/或基础设施，和/或传输到远程服务器218。在各种实施例中，其它传感器数据也作为步骤308的一部分进行传输。另外在各种实施例中，数据经由图1的收发器122和/或第二车辆202和/或基础设施203的类似收发器进行传输。在某些实施例中，使用一个或多个收发器和/或通信网络在车辆100、202和/或基础设施203之间共享数据，例如诸如车辆到车辆和/或基础设施网状网络(例如，包括DSRC、LTE、WiFi和/或其它通信)、对等网络和/或一个或多个其它通信网络。
在各种实施例中，聚集摄像头数据(步骤310)。在某些实施例中，每个车辆聚集来自其自身和来自其它附近车辆(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202的未描绘的处理器)和/或基础设施203(例如，来自其未描绘的处理器)的摄像头数据。在某些实施例中，可以由图2的远程服务器218全部或部分地执行聚集。在某些实施例中，可以执行各种预处理和/或后处理步骤，诸如应用图像裁剪和失真校正。例如，在某些实施例中，在这些聚集步骤期间，当前全局静态图的一致性由多个车辆和/或基础设施提供的信息生成，基于它们的摄像头传感器质量由它们相应的置信度加权。
在某些实施例中，在步骤的第一子序列311期间生成并利用全局静态图，如下所述。在各种实施例中，全局静态图包括基于来自车辆100、202和/或基础设施203在特定时间点的摄像头数据的车辆的情况感知的图形表示，如下面根据子序列311(对应于下面描述的步骤312-317)所述。
首先，在步骤312期间，生成各个车辆(例如，车辆100、202)和/或基础设施(例如，基础设施203)的各个车辆静态图。具体而言，参考图4，在各种实施例中，生成车辆100的第一车辆静态图400(具有第一车辆100的第一视点402)，以及(例如，第二车辆202和/或基础设施203的)一个或多个附加静态图410(每个都具有第二车辆202和/或基础设施的相应的第二或附加视点412)。在各种实施例中，车辆100、202和/或基础设施203经由相应收发器(例如，图1的收发器122)沿着无线网络216发送的传输彼此共享，与其它车辆和/或基础设施共享，和/或与远程服务器218共享它们相应的各个概率分布(或静态图形)400、410(与它们相应的视点402、412)。
接下来在步骤313期间，在各种实施例中，关于来自步骤312的各个静态图(例如，第一车辆100的第一车辆静态图400和第二车辆202和/或基础设施203的第二车辆静态图410)的马氏距离执行主成分分析。例如，在一个示例性实施例中，根据以下等式，针对每个各个静态图关于所识别的物体对应矢量计算马氏距离：
Figure BDA0002014013320000141
其中“MahalD”表示马氏距离，“VB”表示第一车辆100，“WB”表示第二车辆(或基础设施)，而“S”表示这两个矢量VB和WB的协方差。另外在各种实施例中，如果马氏距离小于预定阈值距离，则确定相应的不同各个车辆静态图表指代同一检测到的物体。在某些实施例中，预定阈值距离是由专家(例如，由车辆100的制造商)生成的后校准参数。在各种实施例中，可以利用一个或多个不同的计算，例如使用一个或多个不同的等式。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202的未描绘的处理器，基础设施203和/或图2的远程服务器218)执行。
针对不同的各个静态图确定权重(步骤314)。在某些实施例中，权重包括静态图的加权平均值(例如，距图4的第一车辆静态图400和第二静态图410的每个相应点和距离的加权平均值)。另外在某些实施例中，可以使用一种或多种不同的技术来进行加权，诸如相应车辆静态图的历史信任权重、一个或多个聚类算法等。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或图2的远程服务器218的未描绘的处理器)执行。
在各种实施例中，根据它们相应的权重将不同的各个静态图合并在一起(步骤315)。因此，生成全局静态图(步骤316)。具体而言，全局静态图表示车辆100、202和/或基础设施203(包括其附近的物体204、206)的周围环境的组合视图，使得来自两个车辆100、202和/或或基础设施203的摄像头数据组合在一起。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或图2的远程服务器218的未描绘的处理器)执行。
具体而言，参考图4，在各种实施例中，利用车辆100的第一车辆静态图400(具有第一车辆100的第一视点402)以及第二车辆202和/或基础设施203的第二车辆静态图410(具有第二车辆202和/或基础设施203的一个或多个第二或附加视点412)来生成包括全局视点422的全局静态图420。如上所述，在各种实施例中，车辆100、202和/或基础设施203经由通过相应发射器沿着无线网络216发送的传输彼此共享，与其它车辆和/或基础设施共享，和/或与远程服务器218共享它们相应的静态图400、410(具有它们相应的视点402、412)。因此，在各种实施例中，可以经由通过无线网络216(例如，经由云)和/或经由远程服务器218进行车辆到车辆通信，车辆到基础设施通信和/或间接驱动器到驱动器通信来生成全局静态图420，以及其它可能的变型。另外在各种实施例中，彼此接近的各种参与车辆和/或基础设施可以与其相邻车辆和基础设施共享它们自身的瞬时静态图/视点等。
在各种实施例中，全局静态图420(和相关联的视点422)包括附近物体的更广泛和/或更全面的视图，其来自于合并了来自相应车辆100、202和/或基础设施203的不同摄像头的相应静态图400、410(以及相应的相关联的视点402、412)。例如，如图4中所示，在各种实施例中，可见物体204的数量增加，而不可见物体206的数量相应地减少，从而为车辆100、202提供改进的对象检测和避免。
另外在各种实施例中，全局静态图420包括观测到的物体的列表(例如，物体204、206，其可包括其它车辆和/或其它对象)，以及用于车辆100生成静态图的六个自由度。另外在各种实施例中，六个自由度引起对观测到的物体的估计，包括与观测到的物体的距离和角度。
一旦生成了全局静态图，就根据全局静态图更新车辆的情况感知(步骤316)。在各种实施例中，使用全局静态图420来更新检测到的物体204、206的估计参数(例如，来自相应车辆100、202的估计位置、距离和角度)。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或远程服务器218的未描绘的处理器)执行。在各种实施例中，该过程然后进行到步骤350(下面进一步讨论)，其中至少部分地基于全局静态图和关于检测到的物体的估计来控制车辆100。
返回参考步骤310，另外在各种实施例中，在步骤的第二子序列321期间生成并利用动态时间演变情况感知图，如下所述。在各种实施例中，动态时间演变情况感知图包括基于在不同时间点处的来自车辆100、202和/或基础设施203摄像头数据随时间对车辆和/或基础设施的情况感知的图形表示，如下面根据子序列321所述(对应于下面描述的步骤322-329)。
首先，在步骤322期间，生成全局静态情况感知图。在各种实施例中，全局静态情况感知图由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或图2的远程服务器218的未描绘的处理器)通过例如使用上述步骤312-316中的技术合并各个车辆静态图(例如，用于车辆100和第二车辆202，和/或车辆100和基础设施203等)来生成。另外在各种实施例中，例如当车辆100、202沿着图2的道路200行进时，基于在不同时间点合并车辆100、202和/或基础设施203的不同相应车辆静态图以这种方式在不同的时间点生成不同的全局静态情况图(例如，如上所述在步骤312处生成)。
此外，在各种实施例中，为第一车辆生成相关函数(步骤323)。在各种实施例中，相关函数涉及在不同时间点处车辆100的各个车辆图的值与在该时间点处的全局图的相应值的比较(例如，作为第一车辆100的摄像头102的值的准确度和/或精度的度量)。另外在各种实施例中，第一车辆100的相关函数包括权重因子，该权重因子包括将帧1(例如，在第一时间t0处)中的位置(例如，检测到的物体的位置)与帧2(例如，在第二时间t1处)中的位置进行比较的因子，以及比较视觉词的因子，其基于来自第一车辆100的数据定义从一帧中的检测到的物体(例如，物体1)到下一帧中的相同检测到的物体(例如，物体1)的连接，等等。在各种实施例中，类似的连接用于后续帧(例如，从时间t1到后续时间t2，等等)。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或图2的远程服务器218的未描绘的处理器)进行。
另外在各种实施例中，基于其相应的摄像头为其它附近的车辆和/或基础设施生成类似的相关函数(步骤324)。例如，关于第二车辆202，在各种实施例中，相关函数涉及在不同时间点处第二车辆202的各个车辆图的值与在该时间点处的全局图的相应值的比较(例如，作为第二车辆202的摄像头的值的准确度和/或精度的度量)。另外在各种实施例中，第二车辆202的相关函数包括权重因子，该权重因子包括将帧1(例如，在第一时间t0处)中的位置(例如，检测到的物体的位置)与帧2(例如，在第二时间t1处)中的位置进行比较的因子，以及比较视觉词的因子，其基于来自第二车辆202的数据定义从一帧中的检测到的物体(例如，物体1)到下一帧中的相同检测到的物体(例如，物体1)的连接，等等。在各种实施例中，类似的连接用于后续帧(例如，从时间t1到后续时间t2，等等)。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或图2的远程服务器218的未描绘的处理器)进行。类似地，在某些实施例中，同样可以利用对应的权重因子为基础设施203(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或图2的远程服务器218的未描绘的处理器)生成相关函数。
确定成本函数(步骤325)。在各种实施例中，各种车辆(例如，包括车辆100和第二车辆202)的步骤323-324的各种相关性的结果被加在一起以确定定义从帧1(例如，在时间t0处)中的物体1(即，第一检测到的物体)到帧2(例如，在时间t1处)中的物体1的连接的成本函数。此外，在各种实施例中，为从帧1(例如，在时间t0处)到帧2(例如，在时间t1处)的每个检测到的物体确定类似的成本函数(例如，为每个物体，诸如由第一车辆100和/或第二车辆202检测到的物体2、物体3等)。另外在各种实施例中，对于每个物体(例如，物体1、物体2、物体3等)，关于每个车辆(对于每个物体)和/或关于后续帧之间的每个基础结构类似地确定成本函数，诸如在帧2(例如，在时间t1处)和帧3(例如，在时间t2处)之间，等等。另外在各种实施例中，成本函数由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或图2的远程服务器218的未描绘的处理器)确定。
另外在各种实施例中，确定最高成本物体(步骤326)。在某些实施例中，基于在确定对应于帧与帧之间的匹配物体的最高成本物体与物体连接的步骤325中的成本函数的估计，为每个帧序列(例如，在帧1和帧2之间，等等)确定每个物体(例如，物体1)的最高成本物体。另外在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或图2的远程服务器218的未描绘的处理器)进行。
为各种车辆和/或基础设施确定权重(步骤327)。在各种实施例中，为每个车辆确定权重，并且如果适用的话，确定基础设施(例如，第一车辆100、第二车辆202和基础设施203)的权重，作为对从由第一车辆100、第二车辆202和基础设施203(以及用于任何其它参与车辆和基础设施)的物体检测的摄像头图像中生成的值的准确度和/或精度的度量。在各种实施例中，通过比较第一车辆100对于每个检测到的物体的位置(例如，如使用来自第一车辆100的摄像头102的图像估计的)与在步骤322的全局图表中表示的位置来确定第一车辆100的权重。类似地，在各种实施例中，通过比较第二车辆202对于每个检测到的物体的位置(例如，如使用来自第二车辆202的摄像头的图像估计的)与在步骤322的全局图中表示的位置来来确定第二车辆202的权重(在各种实施例中，基于来自基础设施203的摄像头的图像，类似地确定基础设施203的权重，等等)。另外在某些实施例中，还部分地基于步骤323-324的相关函数、步骤325的成本函数和步骤326的最高成本物体来确定权重。在某些实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或远程服务器218)的未描绘的处理器根据以下等式(等式2)利用协作摄像头原理、经由扩展卡尔曼滤波器的位置预测以及视觉词的相关性进行：
Figure BDA0002014013320000191
其中“W”表示相应计算的权重，“V”表示相应的速度，“θ”表示相对于检测到的物体的相应角度，“fcor”和“gcor”表示相应的相关性，而“KF”表示扩展的卡尔曼滤波器。在其它实施例中，可以使用一个或多个不同的等式。
生成动态时间演变情况感知图(步骤328)。在各种实施例中，动态时间演变情况感知图包括通过用来自不同车辆100、202(并且在某些实施例中，基础设施203)的根据步骤323-327的分析与步骤327的权重合并在一起的更新数据更新步骤322的全局图而在各个时间点上的全局动态时间演变二分情况感知图。在各种实施例中，这些动作由一个或多个处理器(例如，通过图1的车辆100的处理器132)执行。在各种实施例中，动态时间演变情况感知图通过考虑随时间的变化以及基于来自各种车辆100、202(并且在某些实施例中，基础设施)的分布的相对准确度和/或精度来更新权重而提供更新和细化全局静态图。例如，在各种实施例中，基于比较相应车辆对于每个检测到的物体的更新位置(例如，如使用来自相应车辆的摄像头的更新图像估计的)与在步骤328的动态时间演变情况感知图的更新版本中表示的位置，连续生成相应车辆100、202的更新权重，等等。在某些实施例中，类似地连续生成基础设施203的权重，等等。另外在各种实施例中，步骤328的动态时间演变情况感知图可以用于使用第一和第二情况第一摄像头图像的相应第一和第二权重而使用第一情况感知图和第二情况感知图在多个时间段上来预测检测到的物体的轨迹。
参考图5，根据各种实施例，利用第一和第二图示500和510来演示演变的二分图。首先，参考第一图示500，描绘了第一车辆100在不同时间点t0、t1和t2的各个车辆概率分布，并分别用附图标记400(t0)、400(t1)和400(t2)表示。另外在第一图示500中，描绘了第二车辆202在不同时间点t0、t1和t2的各个车辆概率分布，并且分别用附图标记410(t0)，410(t1)和410(t2)表示。此外，在第一图示500中，描绘了不同的时间点t0、t1和t2的全局车辆概率分布(通过在相应时间点在相应权重下合并相应各个概率分布(或静态图)400、410而形成)，并且分别用附图标记420(t0)，420(t1)和420(t2)表示。接下来，第二图示510表示使用全局车辆概率分布生成的动态二分图。
一旦生成动态时间演变二分图，就根据动态时间演变情况感知图更新车辆的情况感知(步骤329)。在各种实施例中，使用步骤328的动态时间演变二分图来更新检测到的物体204、206的估计参数(例如，来自相应车辆100、202和/或基础设施203的估计位置、距离和角度)。另外在各种实施例中，使用步骤328的动态时间演变二分图来预测检测到的物体的轨迹。在各种实施例中，该过程然后进行到步骤350(下面直接讨论)，其中至少部分基于步骤的动态时间演变图来控制车辆100。
返回参考步骤310，另外在各种实施例中，在步骤的第三子序列331期间生成并利用动态时间演变概率情况感知图，如下所述。在各种实施例中，动态时间演变粒子滤波图包括基于来自车辆100、202(并且在某些实施例中，来自基础设施203)在不同的时间点的摄像头数据而随时间对车辆的情况感知的图形表示，如下面根据子序列331(对应于下面描述的步骤332-346)所述。
首先，在步骤332期间，第一车辆100对一个或多个检测到的物体的位置保持其自身的先前概率分布(例如，xt-1)，并且还基于第一车辆100对检测到的物体(例如，ut)的观测生成新的分布，以便获取第一车辆100对检测到的物体的位置的新概率分布(例如，xt)。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132)执行。
另外在各种实施例中，在步骤334期间，附加车辆(例如，图2的第二车辆202)和/或基础设施(例如，图2的基础设施203)也对一个或多个检测到的物体的位置保持其自身的先前概率分布(例如，xt-1)，并且还基于附加车辆(例如，第二车辆)和/或基础设施对检测到的物体(例如，ut)的观测生成新的分布以便获取附加车辆(例如，第二车辆202)对检测到的物体的位置的新概率分布(例如，xt)。在各种实施例中，这些动作由一个或多个处理器(例如，经由图2的第二车辆202和/或基础设施203的处理器)执行。
报告各种车辆的概率分布(步骤336)。具体而言，在某些实施例中，来自第一车辆100和第二车辆202和/或基础设施203的概率分布经由相应的发射器经由图2的无线网络216从相应的车辆在车辆100、202和/或基础设施203之间传输，并且在某些实施例中，传输到图2的其它附近车辆和/或远程服务器218(例如，类似于上面关于步骤308的数据传输的讨论)。
另外在各种实施例中，生成全局概率分布(步骤338)。在某些实施例中，从来自不同车辆和/或基础设施的相应更新概率分布中抽取权重相关数量的样本，并且通过基于相应权重合并各个车辆和/或基础设施的概率分布来生成全局概率分布。在某些实施例中，来自第一车辆100和第二车辆202和/或基础设施203的权重相关数量的样本由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或图2的远程服务器218的未描绘的处理器)采取，并且权重用于合并相应的概率分布以生成全局概率分布。在某些实施例中，所使用的权重可以取决于相应车辆100、202的先前使用的权重，和/或取决于相应车辆100、202和/或基础设施203的概率的准确性和/或可靠性的先前历史等。在某些实施例中，根据以下等式生成全局分布：
Figure BDA0002014013320000221
其中vi表示每个报告汽车的目标汽车的估计位置，而ωi是该报告汽车的预测的权重(因此，在某些实施例中，上述等式表示预测的车辆位置的加权平均值)。
另外在各种实施例中，更新各种车辆和/或基础设施的权重(步骤340)。在某些实施例中，基于第一车辆100的概率分布(即步骤332)和合并概率分布(即步骤334)的比较来更新第一车辆100的权重。在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132和/或来自图2的远程服务器218的未描绘的处理器)执行。另外在各种实施例中，作为步骤340的一部分，更新每个附加车辆和/或基础设施的权重。在某些实施例中，基于第二车辆202的概率分布(即步骤334)和合并概率分布(即步骤334)的比较来更新第二车辆202的权重。另外在某些实施例中，基于对基础设施203的概率分布和合并概率分布的比较，类似地更新基础设施203的权重，等等。在各种实施例中，这些动作由一个或多个处理器执行(例如，经由来自图2的第二车辆202、基础设施203和/或远程服务器218的未描绘的处理器)。
在各种实施例中，生成动态时间演变粒子滤波图(步骤344)。例如，在各种实施例中，一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自图2的第二车辆202和/或基础设施203和/或图2的远程服务器218的未描绘的处理器)使用步骤338的合并概率分布生成动态时间演变粒子滤波图。另外在各种实施例中，这类处理器基于在新迭代中重复步骤332-344(例如，在随后的时间点)持续更新动态时间演变粒子滤波图，例如在步骤332-336中利用相应车辆100、202和/或基础设施203的新的更新概率分布，以及在步骤338的新迭代中生成修改的全局概率分布(例如，另外在随后的时间点)，利用步骤340的车辆100、202和/或基础设施203的更新加权，等等。另外在各种实施例中，步骤344的动态时间演变粒子滤波图用于使用第一和第二情况第一摄像头图像的相应第一和第二权重在多个时间段上使用第一情况感知图和第二情况感知图来预测检测到的物体的轨迹。
在某些实施例中，使用来自协作摄像头的迭代过程基于数据的重新采样和结果的对应重新计算来生成修改的全局概率分布。
例如，在某些实施例中，根据以下等式(等式4)执行重新采样：
Q(t)＝p(xt|xt-1，ut)
其中Q(t)表示在时间(t)处重新采样，而“p”表示假设在时间(t-1)处的先前概率和在时间(t)处来自车辆的新观测值ut的情况下，在时间点(t)处的条件概率。具体而言，在某些实施例中，Q(t)等式用于在时间t处基于其在时间t-1处的其自身的先前分布x(t-1)来更新目标车辆xt的新分布，并且通过报告车辆ut来进行新的观测。在某些实施例中，所有报告车辆将基于所有这些输入迭代并获取检测到的物体(例如，目标车辆)的新分布。另外在某些实施例中，该得出的新分布将被重新采样为目标车辆位置的新分布。
另外在某些实施例中，使用以下等式执行重新计算：
Figure BDA0002014013320000231
其中“wi”表示重新计算的权重，而“P”表示在假设每个报告车辆的观测情况下，在时间“t”处的相应条件概率。另外在某些实施例中，对于时间“t”处的每个车辆“i”，“m”表示目标车辆位置“z”的条件概率分布函数，其条件是其对地图上所有其它“地标”(例如，已知对象)的观测。另外在某些实施例中，该重新计算类似于上述权重的原始计算，除了这是所有车辆(i＝1...n)的总和之外。在某些实施例中，利用等式5来重新计算每个单独报告车辆的观测的最新权重。因此，在各种实施例中，重新采样过程发生并且基于各个贡献生成更新的分布。因此，在各种实施例中，在该迭代过程中，一些报告车辆将成为“赢家”，因为其预测更好地匹配现实而获取更多权重。类似地，另外在各种实施例中，由于对其分布的不准确预测，一些报告车辆将变为“输家”(并因此减轻权重)。因此，在各种实施例中，该等式用于提供权重更新。
在各种实施例中，这些动作由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自第二车辆202、基础设施203和/或图2的远程服务器218的未描绘的处理器)执行。
参考图6，根据各种实施例，利用第一图示600和第二图示650来演示演变粒子滤波图。首先，参考第一图示600，用附图标记602(例如，在第一时间t0处)示出车辆100、202的初始各个概率分布。如图示600中所示，各个概率分布602包括各种可见物体610，包括第一车辆100(例如，第一车辆100的摄像头102)可见的第一物体611和第二车辆202(例如，第二车辆202的摄像头)可见的第二物体612(在各种实施例中，这两个车辆100可以看到这些物体)。另外在某些实施例中，类似于上面的讨论，各个概率分布602可以包括基础设施203的类似方式的概率分布，等等。另外如第一图示600中所示，基于后续时间点(例如，在第二时间t0处)的附加数据更新各个概率分布602，以生成更新的各个概率分布604(例如，在某些实施例中，也对应于步骤332、334以及步骤336)。在各种实施例中，然后将更新的各个概率分布604合并在一起(例如，对应于步骤338-344)以生成全局概率分布606。
其次，参考第二图示650，全局概率分布651(也是步骤344)以另一种格式示出，包括靠近图2的道路200以及图1和图2的第一车辆100和第二车辆202的检测到的物体610中的一个(包括另一车辆)的图形描绘660。如图所示，全局概率分布651包括对检测到的物体/车辆的各种观测，包括来自第一车辆100的第一检测到的物体611和来自第二车辆202的第二检测到的物体612。此外，在各种实施例中，使用来自协作摄像头的迭代过程(例如，对应于上面结合步骤344讨论的重新采样和重新计算)，基于数据的重新采样和结果的对应重新计算来更新全局概率分布651。另外在某些实施例中，类似于上面的讨论，全局概率分布651还包括来自基础设施203的检测到的物体的各种观测，等等。
一旦生成动态时间演变粒子滤波图，就根据动态时间演变情况感知图更新车辆的情况感知(步骤346)。在各种实施例中，使用时间演变粒子滤波图更新检测到的物体204、206的估计参数(例如，来自相应车辆100、202的估计位置、距离和角度)。另外在各种实施例中，使用动态时间演变情况感知图来预测检测到的物体的轨迹。在各种实施例中，该过程然后进行到步骤350(下面直接讨论)，其中至少部分地基于动态时间演变粒子滤波图来控制车辆100。
在步骤350期间，至少部分地基于步骤317、328和/或344的图中的一个或多个来控制车辆100。在某些实施例中，使用步骤317的全局静态图、步骤328的动态时间演变情况感知图以及步骤344的动态时间演变粒子滤波图来控制车辆100。在某些其它实施例中，可以使用步骤328的动态时间演变情况感知图以及步骤344的动态时间演变粒子滤波图中的一个或两个。另外在某些实施例中，步骤317、329和/或346的估计用于在步骤350中控制车辆100。在某些实施例中，使用上述图和估计(和相关数据)来控制一个或多个车辆100动作(例如，自动制动、自动转向等等)以避开物体(例如，避开其它车辆和/或其它类型的物体)。在某些实施例中，例如经由图1的显示器108提供一个或多个警告、情况环境的描绘(例如，检测到的物体的描绘)等。另外在某些实施例中，可以使用这类信息类似地控制一个或多个其它车辆(诸如图2的第二车辆202)。另外在某些实施例中，经由一个或多个处理器(例如，经由图1的车辆100的处理器132，和/或来自第二车辆202、基础设施203，和/或图2的远程服务器218的未描绘的处理器)提供的指令来提供这些动作。
因此，该系统、车辆和方法因而提供潜在改进的情况感知和车辆控制，例如当某些物体相对于车辆的摄像头被遮挡或阻挡时。例如，在各种实施例中，来自不同车辆和/或基础设施的摄像头数据用于在车辆沿着道路靠近一个或多个其它车辆行驶时生成一个或多个全局静态图、动态时间演变情况感知图和/或动态时间演变粒子滤波图。
应当理解，该系统、车辆和方法可以不同于附图中描绘的和本文描述的那些。例如，在不同实施例中，图1的车辆100、摄像头102、控制系统104、导航系统106、显示器108和/或其组件和/或图2的附加车辆202、无线网络216、远程服务器218和/或实现方式可以变化。将类似地理解，过程300的步骤可以不同于图3中描绘的步骤，并且/或者在各种实施例中，过程300的各个步骤可以同时发生和/或以与图3中所示的顺序不同的顺序发生，并且同样地，在不同的实施例中，图4至图6的图示也可以变化。
尽管在前面的具体实施方式中已经呈现了至少一个示例性实施例，但是应该理解存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本发明的范围、适用性或配置。更确切而言，前述具体实施方式将为本领域技术人员提供用于实现一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其合法等效物所阐述的本发明的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (9)

1.一种用于使用来自不同车辆的摄像头生成情况感知图的方法，包括：
从第一车辆上的第一摄像头获取第一摄像头图像；
经由一个或多个计算机处理器，使用所述第一摄像头图像生成关于所述第一车辆附近的物体的第一情况感知图；
从靠近所述第一车辆的第二设备的第二摄像头获取第二摄像头图像；
经由一个或多个计算机处理器，使用所述第二摄像头图像生成关于所述物体的第二情况感知图；以及
经由一个或多个计算机处理器，通过使用所述第一和第二情况感知图的相应第一和第二权重，将所述第一情况感知图与所述第二情况感知图合并来生成关于所述物体的全局情况感知图，
其中生成所述全局情况感知图的所述步骤包括经由一个或多个计算机处理器，使用所述第一和第二情况感知图的相应第一和第二权重，在多个时间段使用所述第一情况感知图和所述第二情况感知图来生成用于预测检测到的物体的轨迹的多层动态二分图。
2.根据权利要求1所述的方法，其中：
生成所述第一情况感知图的所述步骤包括使用所述第一摄像头图像，在特定时间生成关于所述第一车辆附近的物体的第一静态情况感知图；
生成所述第二情况感知图的所述步骤包括使用所述第二摄像头图像，在所述特定时间生成关于所述物体的第二静态情况感知图；以及
生成所述全局情况感知图的所述步骤包括通过使用所述第一和第二静态情况感知图的相应第一和第二权重，将所述第一静态情况感知图与所述第二静态情况感知图合并而在所述特定时间生成关于所述物体的静态全局感知图。
3.根据权利要求2所述的方法，其中生成所述静态全局情况感知图的所述步骤包括基于距所述第一和第二静态情况感知图的相应马氏距离的各个主成分分析，使用所述第一和第二静态情况感知图的相应第一和第二权重来生成所述静态全局情况感知图。
4.根据权利要求1所述的方法，其中生成所述全局情况感知图的所述步骤包括经由一个或多个计算机处理器，使用所述第一和第二情况感知图的相应第一和第二权重，在多个时间段使用所述第一情况感知图和所述第二情况感知图生成关于所述物体的时间演变动态全局情况感知图。
5.根据权利要求1所述的方法，其中生成所述全局情况感知图的所述步骤包括经由一个或多个计算机处理器，利用贝叶斯粒子滤波器在多个时间段使用来自所述第一情况感知图和所述第二情况感知图的初始和后验概率来生成用于预测检测到的物体的轨迹的多层动态概率图。
6.根据权利要求1所述的方法，其中所述第二设备包括靠近所述第一车辆的第二车辆，并且所述方法还包括：
基于所述全局情况感知图，经由一个或多个处理器估计关于所述检测到的物体的一个或多个被遮挡车辆的一个或多个参数；以及
使用基于所述全局情况感知图估计的所述一个或多个参数，以避免与所述一个或多个被遮挡车辆接触的方式控制所述第一车辆、所述第二车辆或两者。
7.根据权利要求1所述的方法，其中所述第二设备包括靠近所述车辆的基础设施。
8.一种用于使用来自不同车辆的摄像头生成情况感知图的系统，包括：
第一车辆上的第一摄像头，所述第一摄像头被配置成从所述第一车辆生成第一摄像头图像；以及
一个或多个计算机处理器，其被配置成至少利于：
使用所述第一摄像头图像生成关于所述第一车辆附近的物体的第一情况感知图；以及
通过使用所述第一和第二情况感知图的相应第一和第二权重，将所述第一情况感知图与使用来自所述第一车辆附近的第二设备的第二摄像头的第二摄像头图像生成的第二情况感知图合并而生成关于所述物体的全局情况感知图，
其中生成所述全局情况感知图包括经由一个或多个计算机处理器，使用所述第一和第二情况感知图的相应第一和第二权重，在多个时间段使用所述第一情况感知图和所述第二情况感知图来生成用于预测检测到的物体的轨迹的多层动态二分图。
9.一种车辆，包括：
所述车辆上的第一摄像头，所述第一摄像头被配置成从所述车辆生成第一摄像头图像；以及
一个或多个计算机处理器，其被配置成至少利于：
使用所述第一摄像头图像生成关于所述车辆附近的物体的第一情况感知图；以及
通过使用所述第一和第二情况第一摄像头图像的相应第一和第二权重，将所述第一情况感知图与使用来自所述车辆附近的第二设备的第二摄像头的第二摄像头图像生成的第二情况感知图合并而生成关于所述物体的全局情况感知图，
其中生成所述全局情况感知图包括经由一个或多个计算机处理器，使用所述第一和第二情况感知图的相应第一和第二权重，在多个时间段使用所述第一情况感知图和所述第二情况感知图来生成用于预测检测到的物体的轨迹的多层动态二分图。
CN201910260384.3A 2018-04-11 2019-04-01 使用来自不同车辆的摄像头生成情况感知图的方法和装置 Active CN110356327B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/950917 2018-04-11
US15/950,917 US10733233B2 (en) 2018-04-11 2018-04-11 Method and apparatus for generating situation awareness graphs using cameras from different vehicles

Publications (2)

Publication Number Publication Date
CN110356327A CN110356327A (zh) 2019-10-22
CN110356327B true CN110356327B (zh) 2023-04-07

Family

ID=68053162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910260384.3A Active CN110356327B (zh) 2018-04-11 2019-04-01 使用来自不同车辆的摄像头生成情况感知图的方法和装置

Country Status (3)

Country Link
US (1) US10733233B2 (zh)
CN (1) CN110356327B (zh)
DE (1) DE102019108645A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537134B1 (en) * 2017-05-25 2022-12-27 Apple Inc. Generating environmental input encoding for training neural networks
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
DE102018212025A1 (de) * 2018-07-19 2020-01-23 Robert Bosch Gmbh Verfahren zum Betreiben eines autonomen Fahrzeugs und autonomes Fahrzeug
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
CN110245565A (zh) * 2019-05-14 2019-09-17 东软集团股份有限公司 车辆跟踪方法、装置、计算机可读存储介质及电子设备
US11731663B2 (en) * 2020-11-17 2023-08-22 Uatc, Llc Systems and methods for actor motion forecasting within a surrounding environment of an autonomous vehicle
KR20220143404A (ko) * 2021-04-16 2022-10-25 현대자동차주식회사 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
DE102021003887A1 (de) * 2021-07-27 2023-02-02 Mercedes-Benz Group AG Verfahren zur Bereitstellung von auf die Bewegung eines Fahrzeugs abgestimmten Medieninhalten und Fahrzeug
DE102022101137A1 (de) 2022-01-19 2023-07-20 Zf Cv Systems Global Gmbh Verfahren zum Anzeigen einer Umgebung eines Eigenfahrzeuges auf einer Anzeigeeinrichtung, Verarbeitungseinheit und Eigenfahrzeug

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229663B2 (en) * 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
TW201227381A (en) * 2010-12-20 2012-07-01 Ind Tech Res Inst Real-time traffic situation awareness system and method
KR101310653B1 (ko) * 2012-04-05 2013-09-24 연세대학교 산학협력단 열화상 카메라를 이용한 빔（ｂｉｍ）기반 상황 인지 시스템
US20180173229A1 (en) * 2016-12-15 2018-06-21 Dura Operating, Llc Method and system for performing advanced driver assistance system functions using beyond line-of-sight situational awareness

Also Published As

Publication number Publication date
US20190318041A1 (en) 2019-10-17
DE102019108645A1 (de) 2019-10-17
US10733233B2 (en) 2020-08-04
CN110356327A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110356327B (zh) 使用来自不同车辆的摄像头生成情况感知图的方法和装置
CN109212543B (zh) 用于自主车辆操作的校准验证方法
US10600251B2 (en) Method of ground adjustment for in-vehicle augmented reality systems
CN107798699B (zh) 用立体图像进行深度图估计
CN113039579A (zh) 一种生成高分辨率高精度点云的系统、设备和方法
US10739455B2 (en) Method and apparatus for acquiring depth information using cameras from different vehicles
CN111332309B (zh) 驾驶员监视系统及其操作方法
CN111694351A (zh) 用于执行用于自主车辆的复合行为策略的方法和系统
US10440271B2 (en) On-chip compensation of rolling shutter effect in imaging sensor for vehicles
CN111319628A (zh) 用于评估错误威胁检测的方法和系统
CN109215367B (zh) 迎面而来的左转车辆视频传输
US11327506B2 (en) Method and system for localized travel lane perception
CN112146618A (zh) 车辆视觉测距法
CN116577740A (zh) 车辆传感器的动态校准
US11691566B2 (en) Intelligent vehicle systems and control logic for surround view augmentation with object model recognition
CN107979724B (zh) 具有多焦点相机的车辆
CN111654593B (zh) 减少车载显示器的晕动病
CN112987053A (zh) 监测偏航传感器的方法和设备
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
US20200387161A1 (en) Systems and methods for training an autonomous vehicle
US11845429B2 (en) Localizing and updating a map using interpolated lane edge data
US11748936B2 (en) Using epipolar reprojection for virtual view perspective change
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
US20240046656A1 (en) Systems and methods for detecting traffic objects
WO2022270207A1 (ja) 車両用表示制御装置及び車両用表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant