CN108574929A - 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备 - Google Patents

用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备 Download PDF

Info

Publication number
CN108574929A
CN108574929A CN201810185736.9A CN201810185736A CN108574929A CN 108574929 A CN108574929 A CN 108574929A CN 201810185736 A CN201810185736 A CN 201810185736A CN 108574929 A CN108574929 A CN 108574929A
Authority
CN
China
Prior art keywords
vehicle
data
method described
sensor
stand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810185736.9A
Other languages
English (en)
Other versions
CN108574929B (zh
Inventor
R·戈文丹
邱航
M·格鲁特埃泽尔
F·白
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rutgers State University of New Jersey
GM Global Technology Operations LLC
Original Assignee
Rutgers State University of New Jersey
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rutgers State University of New Jersey, GM Global Technology Operations LLC filed Critical Rutgers State University of New Jersey
Publication of CN108574929A publication Critical patent/CN108574929A/zh
Application granted granted Critical
Publication of CN108574929B publication Critical patent/CN108574929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Environmental & Geological Engineering (AREA)

Abstract

教导了一种由自动驾驶系统控制的车辆的系统和方法，尤其是被配置为在驾驶循环期间自动控制车辆转向、加速和制动而无需人工干预的系统和方法。具体地，本公开教导了一种用于产生情景意识和路径规划数据并且将该信息经由车对车通信传输的系统和方法，其中一个车辆对不在第二车辆的受阻视野内的物体具有受阻视野。

Description

用于自主驾驶系统中的车载环境中的联网场景再现和增强的 方法和设备
技术领域
本公开涉及由自动驾驶系统或ADAS辅助的人工驾驶控制的车辆。在前一种情况下，车辆被配置为在驾驶循环期间自动控制车辆转向、加速和制动而无需人为干预。具体地，本公开教导了一种用于产生情境意识和路径规划数据并且经由车辆对车辆通信传输该信息的系统和方法。
引言
现代车辆的操作变得越来越自动化，即，能够提供越来越少驾驶员干预的驾驶控制。车辆自动化已经被分类为从零(对应于全人为控制的非自动化)至五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及驻车辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。
由于安全考虑，适当的情境意识对于自主驾驶是至关重要的。即使期望将所有可用信息投送至自主驾驶决策处理；然而，为了实际的实施，系统的输入数据应当是有限的和可管理的；因此为了作出决策需要为针对效率和充分性做好设计。自主车辆通常必须产生数据结构来感知车辆周围的情境。然而，一些区域被阻止由车辆传感器感知，并且因此无法在定位和映射中准确实施。将期望克服这些限制以产生改进的情境感知和路径规划。
发明内容
根据本公开的实施例提供了许多优点。例如，根据本公开的实施例可实现自主车辆控制命令的独立验证，以帮助诊断主控制系统中的软件或硬件状况。根据本公开的实施例因此可更鲁棒，从而提高客户满意度。
本公开描述了一种方法，该方法包括：确定与第一物体的位置相关的数据；确定传输信道的带宽和等待时间；以及响应于传输信道的带宽和等待时间而传输数据的一部分。
本公开的另一个方面描述了一种设备，该设备包括：传感器，其用于接收与接近该设备的第一物体的位置有关的数据；处理器，其用于确定传输信道的带宽和等待时间并且用于响应于传输信道的带宽和等待时间而确定数据的一部分；以及传输器，其用于传输该数据的一部分。
从以下结合附图取得的对优选实施例的详细描述中，本公开的上述优点和其它优点和特征将变得显而易见。
附图说明
图1是根据实施例的包括自主控制车辆的通信系统的示意图；
图2是根据实施例的用于车辆的自动驾驶系统(ADS)的示意框图；
图3是根据实施例的示例性情境操作的视觉表示。
图4是根据实施例的系统软件架构的系统框图。
图5是表示根据实施例的示例性伪算法的流程图。
具体实施方式
本文描述了本公开的实施例。然而，应当理解的是，所公开实施例仅仅是示例且其它实施例可呈现各种和替代性形式。图式不一定按比例绘制；一些特征可被放大或最小化以示出特定部件的细节。因此，本文公开的具体结构和功能细节并不解释为限制，而仅仅是代表性的。参考任何一个图式说明并描述的各个特征可结合一个或多个其它图式中说明的特征以产生未明确说明或描述的实施例。所说明的特征组合提供用于典型应用的代表性实施例。然而，特定应用或实施方案可期望与本公开的教导一致的特征的各个组合和修改。
图1示意地说明包括用于机动车辆12的移动车辆通信和控制系统10的操作环境。用于车辆12的移动车辆通信和控制系统10通常包括一个或多个无线载波系统60、陆地通信网络62、计算机64、联网无线装置57(不限于智能手机、平板电脑或诸如手表等可佩戴装置)和远程存取中心78。
图1中示意地示出的车辆12包括推进系统13，其在各种实施例中可以包括内燃机、诸如牵引电动机的电机和/或燃料电池推进系统。车辆12在所说明的实施例中被描述为客车，但是应当明白的是，也可使用包括摩托车、卡车、运动型多用途车(SUV)、娱乐车辆(RV)、船舶、飞机等任何其它车辆。
车辆12还包括变速器14，其被配置为根据可选速比将来自推进系统13的动力传输至多个车轮15。根据各种实施例，变速器14可包括分级传动比自动变速器、无级变速器或其它适当的变速器。车辆12另外包括车轮制动器17，其被配置为向车轮15提供制动转矩。车轮制动器17在各种实施例中可包括摩擦制动器、再生制动系统(诸如电机)和/或其它适当的制动系统。
车辆12另外包括转向系统16。虽然出于说明目的而被描绘为包括方向盘，但是在本公开内预期的某些实施例中，转向系统16可不包括方向盘。
车辆12包括被配置为与其它车辆(“V2V”)和/或基础设施(“V2I”)无线通信的无线通信系统28。在示例性实施例中，无线通信系统28被配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信。然而，诸如专用短程通信(DSRC)信道的附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指具体针对汽车使用和对应的一组协议和标准而设计的单向或双向短程至中程无线通信通道。
推进系统13、变速器14、转向系统16和车轮制动器17与至少一个控制器22通信或在至少一个控制器22的控制下。虽然出于说明性目的而被描绘为单个单元，但是控制器22另外可包括统称为“控制器”的一个或多个其它控制器。控制器22可包括与各种类型的计算机可读存储装置或介质通信的微处理器，诸如中央处理单元(CPU)或图形处理单元(GPU)。计算机可读存储装置或介质可包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是一种持久或非易失性存储器，其可在CPU断电时用于存储各种操作变量。计算机可读存储装置或介质可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器22用于控制车辆的可执行指令。
控制器22包括用于自动控制车辆中的各种致动器的自动驾驶系统(ADS)24。在示例性实施例中，ADS 24是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，其指代自动驾驶系统在动态驾驶任务的所有方面的驾驶模式所特有的性能，即使人类驾驶员对干预请求没有做出适当响应。五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境条件下在的动态驾驶任务的所有方面的全面性能。在示例性实施例中，ADS 24被配置为经由多个致动器30响应来自多个传感器或虚拟传感器26的输入而控制推进系统13、变速器14、转向系统16和车轮制动器17以分别控制车辆加速度、转向和制动，而无需人为干预，该多个传感器或虚拟传感器可适当地包括GPS、雷达、激光雷达、光学相机、热像仪、超声波传感器、无线测距装置、高清晰度地图和/或附加传感器。
图1说明可与车辆12的无线通信系统28通信的若干联网装置。可经由无线通信系统28与车辆12通信的一个联网装置是联网无线装置57。联网无线装置57可包括计算机处理能力、能够使用短程无线协议进行通信的收发器，和可视显示器59。计算机处理能力包括呈可编程装置的形式的微处理器，该可编程装置包括存储在内部存储器结构中并且施加成接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，联网无线装置57包括能够接收GPS卫星信号并且基于那些信号产生GPS坐标的GPS模块。在其它实施例中，联网无线装置57包括蜂窝通信功能性使得联网无线装置57通过无线载波系统60使用一个或多个蜂窝通信协议(如本文所讨论)实行语音和/或数据通信。可视显示器59还可包括触摸屏图形用户界面。
无线载波系统60优选地是蜂窝电话系统，其包括多个手机信号塔70(仅示出一个)、一个或多个移动交换中心(MSC)72以及将无线载波系统60与陆地通信网络62连接所需要的任何其它联网部件。每个手机信号塔70均包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器的中间设备连接至MSC 72。无线载波系统60可实施任何合适的通信技术，包括(例如)诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/MSC布置是可能的并且可结合无线载波系统60使用。例如，基站和手机信号塔可共同位于相同站点处或它们可远离彼此，每个基站可负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可联接至单个MSC，这里仅列举几种可能布置。
除使用无线载波系统60外，可使用呈卫星通信的形式的第二无线载波系统来提供与车辆12的单向或双向通信。这可使用一个或多个通信卫星66和上行链路传输站67来进行。单向通信可包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站67接收、封装上传并且然后发送至卫星66，从而向用户广播该节目。双向通信可包括(例如)使用卫星66以在车辆12与站67之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可利用卫星电话。
陆地网络62可为连接至一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接至远程存取中心78。例如，陆地网络62可包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。一段或多段陆地网络62可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(WLAN)、无线网格网或移动自组织网络)或提供宽带无线存取(BWA)的网络或基于DSRC的车辆网络或其任何组合来实施。另外，远程存取中心78不需要经由陆地网络62连接，反而可包括无线电话设备使得其可直接与无线网络(诸如无线载波系统60)通信。
虽然在图1中示为单个装置，但是计算机64可包括可经由诸如因特网的专用或公共网络存取的许多计算机。每个计算机64均可用于一个或多个目的。在示例性实施例中，计算机64可被配置为可由车辆12经由无线通信系统28和无线载波60存取的网络服务器。其它计算机64可包括例如：服务中心计算机，其中可经由无线通信系统28从车辆上传诊断信息和其它车辆数据；或第三方数据仓库，将车辆数据或其它信息提供至该第三方数据仓库或从该第三方数据仓库提供车辆数据或其它信息，而无关于是否与车辆12、远程存取中心78、联网无线装置57或这些的某个组合进行通信。计算机64可维护可搜索数据库和数据库管理系统，其允许输入、删除和修改数据以及接收将数据定位在数据库内的请求。计算机64还可用于提供诸如DNS服务器或网络地址服务器的因特网连接性，该网络地址服务器使用DHCP或其它合适协议来将IP地址分配至车辆12。
远程存取中心78被设计成对车辆12的无线通信系统28提供许多不同的系统功能，并且根据图1中所示的示例性实施例，通常包括一个或多个交换机80、服务器82、数据库84、现场顾问86以及自动语音响应系统(VRS)88。这些不同的远程存取中心部件优选地经由有线或无线局域网90彼此联接。交换机80(其可为专用交换分机(PBX)交换机)路由传入信号使得语音传输通常由常规的电话发送至现场顾问86或使用VoIP发送至自动语音响应系统88。现场顾问电话还可使用VoIP，如图1中的虚线所指示。通过交换机80进行的VoIP和其它数据通信经由连接在交换机80与网络90之间的调制解调器(未示出)来实施。数据传输经由调制解调器传递至服务器82和/或数据库84。数据库84可存储诸如用户认证信息、车辆标识符、简档记录、行为模式和其它相关用户信息等账户信息。数据传输也可由诸如802.11x、GPRS等无线系统进行。虽然所说明的实施例已经被描述为其将结合使用现场顾问86的人工远程存取中心78使用，但是应当明白的是，远程存取中心反而可利用VRS 88作为自动顾问，或可使用VRS 88与现场顾问86的组合。
如图2中所示，ADS 24包括用于确定车辆附近的检测到的特征或物体的存在、位置、分类和路径的多个不同的控制系统，包括至少感知系统32。感知系统32被配置为从各种传感器(诸如图1中所说明的传感器26)接收输入，并且合成和处理传感器输入以产生用作ADS 24的其它控制算法的输入的参数。
感知系统32包括处理和合成来自各种传感器26的传感器数据27的传感器融合和预处理模块34。传感器融合和预处理模块34对传感器数据27执行校准，包括(但不限于)LIDAR对LIDAR校准、相机对LIDAR校准、LIDAR对底盘校准以及LIDAR光束强度校准。传感器融合和预处理模块34输出经预处理的传感器输出35。
分类和分段模块36接收经预处理的传感器输出35并且执行物体分类、图像分类、交通灯分类、物体分段、背景分段和物体跟踪处理。物体分类包括(但不限于)识别和分类周围环境中的物体(包括交通信号和标志的识别和分类)、RADAR融合和跟踪以考虑传感器的放置和视野(FOV)，以及经由LIDAR融合的误肯定排斥以消除城市环境中存在的许多误肯定，诸如(例如)井盖、桥梁、高架桥大树或灯柱，以及障碍物，该障碍物具有高RADAR横截面但不影响车辆沿着其路线行驶的能力。由分类和分段模型36执行的附加物体分类和跟踪处理包括(但不限于)融合来自RADAR轨迹的自由空间检测和高级跟踪、LIDAR分段、LIDAR分类、图像分类、物体形状拟合模型、语义信息、运动预测、光栅图、静态障碍图和产生高质量物体轨迹的其它来源。
分类和分段模块36另外利用车道关联和交通控制装置行为模型执行交通控制装置分类和交通控制装置融合。分类和分段模块36产生包括物体识别信息的物体分类和分段输出37。分类和分段模块36还可经由连续帧之间的时间位移来跟踪动态物体。
定位和映射模块40使用物体分类和分段输出37来计算参数，包括(但不限于)估计车辆12在典型和具有挑战性的驾驶场景中的姿态(例如，位置和定向)。这些具有挑战性的驾驶场景包括(但不限于)具有许多车辆的动态环境(例如，密集交通)、具有大规模障碍物的环境(例如，道路工程或建筑工地)、丘陵、多车道道路、单车道道路、各种道路标记和建筑物(或没有)(例如，住宅vs.商业区)，以及桥梁和立交桥(车辆的当前路段上方和下方)，以及恶劣天气(诸如雪、雨、雾、板岩、黑暗、太阳强光)。
定位和映射模块40还结合由于经由在操作期间由车辆12执行的车载映射功能获得的扩展地图区域而收集的新数据以及经由无线通信系统28“推送”至车辆12的映射数据。定位和映射模块40利用新的信息(例如，新的车道标记、新的建筑结构、建筑工地的添加或移除等)来更新先前的地图数据，而不修改未受影响的地图区域。可产生或更新的地图数据的示例包括(但不限于)屈服线分类、车道边界产生、车道连接、次要和主要道路的分类、左右匝的分类以及交叉车道创建。
在一些实施例中，定位和映射模块40使用SLAM技术来开发周围环境的地图。SLAM是同步定位和映射的缩写。SLAM技术构造环境的地图，并且同时跟踪物体在环境内的位置。GraphSLAM(SLAM的变型)采用稀疏矩阵，该稀疏矩阵用于通过利用使用各种先进的感知传感器(诸如，2D/3D激光雷达、雷达、单相机或立体相机系统)产生的学术图论机制SLAM(或GraphSLAM)来产生包含观察相关性的图。
地图内的物体位置由以物体的预测路径为中心的高斯概率分布来表示。SLAM以其最简单的形式利用三个约束：初始位置约束；相对运动约束，其是物体的路径；以及相对测量约束，其是物体至地标的一次或多次测量。
初始运动约束是车辆的初始姿态(例如，位置和定向)，其是由车辆在包括俯仰、侧倾和偏航数据的二维或三维空间中的位置组成。相对运动约束是物体的位移运动，其包含一定程度的灵活性以适应地图的一致性。相对测量约束包括从物体传感器至地标的一次或多次测量。初始位置约束、相对运动约束和相对测量约束通常是高斯概率分布。传感器产生的地图内的物体定位方法通常采用卡尔曼滤波器、各种统计相关方法，诸如皮尔逊积差相关和/或粒子滤波器。高效卡尔曼滤波器(EKF)或其它更高效的替代解决方案(诸如Rao-Blackwellized滤波器(RBF))可用来解决这个SLAM问题。
在一些实施例中，一旦建立了地图，经由粒子滤波器实时地实现车辆定位。与贝叶斯或卡尔曼滤波器不同，粒子滤波器适应非线性系统。为了定位车辆，经由高斯概率分布围绕预期平均值产生粒子。每个粒子被分配表示粒子位置对预测位置的精度的数值权重。考虑传感器数据，并调整粒子权重以适应传感器数据。粒子与传感器调整位置的距离越接近，粒子权重的数值就越大。
当发生动作命令时，将每个粒子更新为新的预测位置。在新的预测位置处观察传感器数据，且为每个粒子分配表示粒子位置相对于预测位置的精度的新权重以及传感器数据。对粒子进行重新采样、选择具有最大数值幅度的权重，因此提高预测和传感器校正物体位置的精度。通常，重采样数据的均值、方差和标准差提供了新的物体位置可能性。
粒子滤波处理被表达为：
P(Ht|Ht-1，At，Dt) 公式1
其中Ht是作为物体位置的当前假设。Ht-1是前次物体位置、At是通常作为运动命令的动作，且Dt是可观察的数据。
在一些实施例中，定位和映射模块40通过结合来自如上文在扩展卡尔曼滤波器(EKF)框架中讨论的多个源的数据来维护车辆的全局位置的估计。卡尔曼滤波器是基于递归贝叶斯滤波器的线性滤波器。递归贝叶斯滤波器(也称为递归贝叶斯估计)基本上将估计的后验替换为先前位置以对新的估计迭代计算新的后验。这有效地产生：
P(Ht|Ht-1，Dt) 公式2
其中假设Ht的概率是由前次迭代Ht-1的假设和当前时间t的数据Dt来估计。
卡尔曼滤波器添加动作变量At，其中t是时间迭代，产生：
P(Ht|Ht-1，At，Dt) 公式3
其中假设Ht的概率是基于前次迭代Ht-1、当前时间t的动作At和数据Dt。
广泛用于机器人学、卡尔曼滤波器估计作为联合概率分布的当前位置，且基于动作命令预测也作为联合概率分布的新位置(称为状态预测)。获取传感器数据，并计算分离的联合概率分布(称为传感器预测)。
状态预测被表达为：
X′t=AXt-1+Bμ+εt 公式4
其中X't是基于前次状态AXt-1、Bμ和ξt的新状态。常数A和B是由感兴趣的物理学限定，μ通常是机器人运动命令，且ξt是高斯状态误差预测。
传感器预测被表达为：
Z′t=CXt+εz 公式5
其中Z't是新的传感器估计，C是函数，且ξz是高斯传感器误差预测。
新的预测状态估计被表达为：
XEST＝X′t+K(Zt-Z′t) 公式6
其中乘积K(Zt-Z't)被称为卡尔曼增益因子。如果传感器预测Z't与实际传感器数据Zt之间的差(即，Zt-Z't)充分接近于零，那么X't被认为是新的状态估计。如果Zt-Z't充分大于零，那么添加K(Zt-Z't)因子以产生新的状态估计。
当接收到车辆移动信息时，EKF更新车辆位置估计，同时也扩展估计协方差。一旦传感器协方差集成至EKF中，定位和映射模块40产生定位和映射输出41，其包括车辆12相对于检测到的障碍物和道路特征的位置和定向。
车辆测距模块46从车辆传感器26接收数据27，并且产生车辆测距输出47，其包括例如车辆航向、速度和距离信息。绝对定位模块42接收定位和映射输出41以及车辆测距信息47，并且产生车辆位置输出43，其用于如下文所讨论的单独计算。
物体预测模块38使用物体分类和分段输出37来产生参数，其包括(但不限于)检测到的障碍物相对于车辆的位置、检测到的障碍物相对于车辆的预测路径，以及交通车道相对于车辆的位置和定向。在一些实施例中可使用贝叶斯模型来基于语义信息、前次轨迹和瞬时姿态来预测驾驶员或行人意图，其中姿态是物体的位置和定向的组合。
通常用于机器人学，贝叶斯定理(也称为贝叶斯滤波器)是条件概率的形式。下面在公式7中所示的贝叶斯定理阐述了假设H(在给定数据D下)的概率等于假设H的概率乘以数据D(在给定假设H下)的可能性除以数据P(D)的概率的命题。
P(H/D)被称为后验，且P(H)被称为先验。贝叶斯定理衡量在考虑数据D中实施的佐证之前(先验)和之后(后验)的命题中的概率置信度。贝叶斯定理通常在迭代时递归使用。在每次新的迭代中，前次后验变为先验以产生新的后验直至迭代完成为止。输出关于物体(包括行人、周围车辆和其它移动物体)的预测路径的数据作为物体预测输出39，并且在如下文所讨论的单独计算中使用该数据。
ADS 24还包括观察模块44和解译模块48。观察模块44产生由解译模块48接收的观察输出45。观察模块44和解译模块48允许远程存取中心78存取。现场专家或顾问(例如，图1中所说明的顾问86)可选用地检查物体预测输出39并且提供附加的输入和/或超驰自动驾驶操作，且在车辆情景期望或需要时采取车辆的操作。解译模块48产生解译输出49，其包括由现场专家(如果有的话)提供的附加输入。解译模块可包括认识处理器，该认知处理器包括工作存储器和片段存储器。认知处理器可操作以提供有效情景意识，以及用于存储并再调用来自先前体验的情景意识的系统。
路径规划模块50处理和合成物体预测输出39、解译输出49和从在线数据库或远程存取中心78的现场专家接收的附加路线信息79，以确定要遵循的车辆路径以维持车辆在期望路线上，并同时遵守交通规则和避开任何检测到的障碍。路径规划模块50采用被配置为避开车辆附近的任何检测到的障碍物、维持车辆在当前交通车道中并且维持车辆在期望路线上的算法。路径规划模块50使用姿态图优化技术(包括非线性最小二乘方姿态图优化)以依六个自由度优化汽车轨迹的地图并且减小路径误差。路径规划模块50将车辆路径信息作为路径规划输出51输出。路径规划输出51包括基于车辆路线的命令的车辆路径、相对于路线的车辆位置、交通车道的位置和定向以及任何检测到的障碍物的存在和路径。
第一控制模块52处理和合成路径规划输出51和车辆位置输出43以产生第一控制输出53。在车辆的远程接管操作模式的情况下，第一控制模块52还结合由远程存取中心78提供的路线信息79。
车辆控制模块54接收第一控制输出53以及从车辆测距46接收的速度和航向信息47，并且产生车辆控制输出55。车辆控制输出55包括用于实现来自车辆控制模块54的命令路径的一组致动器命令，其包括(但不限于)转向命令、换挡命令、节气门命令和制动命令。
车辆控制输出55被传达至致动器30。在示例性实施例中，致动器30包括转向控制、换挡器控制、节气门控制和制动器控制。转向控制可例如控制如图1中所说明的转向系统16。换挡器控制可例如控制如图1中所说明的变速器14。节气门控制可例如控制如图1中所说明的推进系统13。制动器控制可例如控制如图1中所说明的车轮制动器17。
应当理解的是，所公开的方法可结合任何数量的不同系统使用并且不具体限于这里所示的操作环境。另外，系统10和其个别部件的架构、构造、设置和操作在本领域中是通常已知的。这里未示出的其它系统也可采用所公开的方法。
现在转至图3，示出了根据实施例的示例性情景操作的可视表示300。在其中第一车辆305配备有各种传感器并且可操作用于同时定位和映射(SLAM)以构造周围环境的地图的示例性实施例中，可能存在感测到的环境的覆盖范围中存在间隙的情况。例如，对于第一车辆305，示出了第一覆盖区域315。第一覆盖区域的一部分被第二车辆310阻挡，因此阻止第一车辆305检测到行人335。在该示例性实施例中，第二车辆310还配备有能够在至少第二覆盖区域320内检测物体的传感器套件。因此，第二车辆310将能够检测到行人335。期望第二车辆310能够将信息中继至第一车辆305，以便第一车辆完全确定由来自第二车辆310的信息增强的第一覆盖区域315，以便产生周围环境的完整3D模型。覆盖第一覆盖区域315和第二覆盖区域320的光学传感器可为一维(单光束)或2D(扫描)激光测距仪、3D高清晰度LiDAR、3D光扫描LIDAR、2D或3D声纳传感器以及可用于产生周围环境的2D或3D视图的一个或多个2D/3D单相机或立体相机。
尤其是在挑战性闭塞/天气状况期间，示例性系统可操作以经由通过车联网(V2X)通信的视角共享和变换向车辆提供扩展的3D视觉。该系统经由V2X通信有利地扩展和增强了超出视线感知范围的3D视觉，并且基于可用的V2X带宽和等待时间需求来使用一套自适应信息检索协议来提供高效的物体呈现解决方案。该示例性系统通过视觉里程计航位推算机制对帧/包丢失更加鲁棒，并且需要更少的系统状态估计参数。
现在转向图4，示出了根据实施例的系统软件架构400的系统框图。该示例性系统是协作车辆感测系统，其可操作以经由通过车辆对车辆和车联网(V2V/V2X)通信的视角共享和变换向车辆提供扩展的3D视觉。该方法通过共享不同视角以避免视线阻碍来增强现有的3D感测能力，以便为未来车辆的更好的周围感知和路径规划提供扩展的视野。
该示例性系统软件被示为在两个单独系统中实施，在该示例性实施例中，第一车辆系统410和第二车辆系统420驻留在这两个单独系统中。第一车辆系统410可操作以首先从诸如雷达、激光雷达或光学相机等系统接收2D或3D感测数据430。该系统然后使用该感测数据来产生周围环境的点云或2D或3D模型432。
该系统可建立一套显式3D模型用于要捕捉的预期物体，其中每个模型配备有适当的参数集合。从每帧产生的点云中提取每个模型的参数，并且将这些参数记录为该帧的关键参数集。为了匹配帧对帧的3D点，而不是直接比较3D点云或它们的特征集，可从两个不同的帧中提取参数集S_A和S_B，并且比较A和B以进行最终的3D匹配。
该系统可执行航位推算，其中增强车辆现实(AVR)通过对属于该物体的所有点的3D位移进行平均来计算每个动态物体的运动向量。增强车辆现实在短时间内平滑运动向量以获得每个运动物体的估计速度。增强车辆现实然后可操作以传输移动物体的一个初始3D点云模型，之后传输瞬时运动向量和速度。在V2V/V2X通信期间发生传输丢失或延迟的情况下，接收器可基于物体的速度执行航位推算机制，并且在两个有效帧之间进行插值。
一旦产生了周围区域的模型，通过同时定位和映射(SLAM)算法来使用该模型来构造周围环境的地图，同时跟踪车辆和环境内的其它固定和动态物体。SLAM算法可采用粒子滤波器或扩展卡尔曼滤波器。
系统然后从映射环境436提取动态物体。动态物体可通过它们在地图中的位置变化、一个或多个传感器覆盖范围内的相对位置的变化或相对于车辆的位置变化来确定。在一种示例性方法中，该系统可操作以从周围环境识别动态物体，以便将与这些物体相关的信息传输至其它装置。这减少了要发送的数据量，而不是传输与静止物体或其它环境物体有关的数据。为了进一步压缩传输的数据量，该系统可仅计算和传输增量(连续观测值中移动物体的差值)。
该系统可进一步操作以利用点云构造来通过将动态点与静态点分离来提取动态物体。该系统逐帧匹配并跟踪3D点以计算每个物体的位移，并且通过阈值设定来确定动态物体。为了逐帧匹配3D点，该系统可通过匹配2D像素(SURF特征)推断对应的3D匹配来实现快速、轻量级和实时替代。
该系统然后可操作以执行带宽优化438并且经由无线传输系统传输数据440。在示例性实施例中，车辆周围环境可在不同粒度下以不同表示传递。例如，可传输以下表示：标签、描述符、物体点、动态物体的点云、全点云。在V2V场景中，根据带宽和等待时间预算，自适应传输模型可确定要传输的表示的替代最佳拟合格式。
第二车辆系统420然后可操作以接收由第一车辆系统410传输的增强的车辆现实数据442。该系统然后对第二车辆的位置执行视角变换444。第二系统进一步可操作以首先从诸如雷达、激光雷达或光学相机等系统接收2D或3D感测数据452。第二系统然后使用该感测数据来产生周围环境的点云或2D或3D模型450。该第二系统然后组合来自点云和视角变换的数据以产生具有扩展视图的3D呈现，该扩展视图包括被第二车辆的传感器掩盖但由第一车辆确定并传输的数据。第二车辆系统420可进一步可操作以使用SLAM算法来用由点云计算450产生的数据来增强视角变换444。
图5是表示根据实施例的示例性伪算法500的流程图。方法500首先可操作以初始化增强的车辆现实会话510。该方法然后对传输器和接收器之间的有效带宽执行评估515。该方法然后确定通信持续时间520。该方法然后执行金字塔参数选择525。金字塔参数选择525响应于带宽和等待时间预算来确定要传输的数据的最佳拟合格式。这种格式的数据范围可从仅标签至标签和描述符，并且可进一步包括物体点和动态点。如果带宽和等待时间允许，那么可传输全点云。
在计算最佳拟合时，例如，该系统可确定如果可用链路吞吐量是C并且等待时间需求是t，那么增强车辆现实可选择具有最大粒度和小于C*t的数据大小的格式。链路容量对于V2X通信(诸如DSRC或WiFi)可能随着车辆相对距离和速度而变化，但是对于LTE保持相对固定。对于等待时间预算，最宽松需求可能是物体的及时性，如果及时性超过接收者的视角，那么它将不再有效。相对轻量级包括属于由诸如YOLO等基于卷积神经网络的检测器检测到的物体的点云。更轻量级表示是属于动态物体的体元。最细粒度的形式是全点云，其中汽车可与其它汽车共享所见的一切。
伪算法然后起发送器与接收器之间的握手协议530。接收器然后同意金字塔参数选择535。然后将增强的车辆现实数据包从传输器传输至接收器540。接收器然后确定增强的车辆现实包是否丢失550。如果数据包没有丢失，那么接收器执行视觉航位推算核对565。然后完成增强的车辆现实会话570。如果增强的车辆现实包丢失，那么接收器执行视觉参数建模和提取555。接收系统然后执行视觉航位推算处理560。然后在视觉航位推算核对中使用视觉航位推算处理的结果565。然后完成增强的车辆现实会话570。
如本领域技术人员将充分理解的是，本文讨论为描述本发明的若干和各种步骤和过程可指代由计算机、处理器或使用电现象操控和/或变换数据的其它电子计算装置执行的操作。所述计算机和电子装置可以采用各种易失性和/或非易失性存储器，其包括上面存储包括能够由计算机或处理器执行的各种代码或可执行指令的可执行程序的非暂时性计算机可读介质，其中存储器和/或计算机可读介质可以包括所有形式和类型的存储器以及其它计算机可读介质。
前述讨论仅仅公开并且描述本发明的示例性实施例。本领域技术人员将容易从此讨论和附图以及权利要求书认识到，在不脱离如以下权利要求书中限定的本发明的精神和范围的情况下可在其中作出各种改变、修改和变动。

Claims (10)

1.一种方法，包括：
-确定与第一物体的位置有关的数据；
-确定传输信道的带宽和等待时间；以及
-响应于所述传输信道的所述带宽和所述等待时间而传输所述数据的一部分。
2.根据权利要求1所述的方法，进一步包括确定所述第一物体相对于第二物体的位置。
3.根据权利要求1所述的方法，进一步包括确定所述第一物体的速度。
4.根据权利要求1所述的方法，其中经由移动传感器系统接收与所述第一物体相关联的数据。
5.根据权利要求1所述的方法，其中将所述数据的所述部分传输至车辆。
6.根据权利要求5所述的方法，其中响应于所述车辆进行确认而将所述数据的所述部分传输至车辆。
7.一种设备，包括：
-传感器，其用于接收与接近所述设备的第一物体的位置有关的数据；
-处理器，其用于确定传输信道的带宽和等待时间，并且用于响应于所述传输信道的所述带宽和所述等待时间而确定所述数据的一部分；以及
-传输器，其用于传输所述数据的所述部分。
8.根据权利要求7所述的方法，其中所述处理器进一步操作以产生所述第一物体的点云并且将所述点云传输至车辆。
9.根据权利要求7所述的方法，其中所述处理器进一步操作以产生地心地图，其中所述地图指示所述第一物体的位置和速度。
10.根据权利要求7所述的方法，其中响应于由自主车辆控制系统收集的信息而确定所述数据。
CN201810185736.9A 2017-03-08 2018-03-07 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备 Active CN108574929B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/453,164 US10109198B2 (en) 2017-03-08 2017-03-08 Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
US15/453164 2017-03-08

Publications (2)

Publication Number Publication Date
CN108574929A true CN108574929A (zh) 2018-09-25
CN108574929B CN108574929B (zh) 2020-10-02

Family

ID=63372151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810185736.9A Active CN108574929B (zh) 2017-03-08 2018-03-07 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备

Country Status (3)

Country Link
US (1) US10109198B2 (zh)
CN (1) CN108574929B (zh)
DE (1) DE102018105293A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110696835A (zh) * 2019-10-11 2020-01-17 深圳职业技术学院 一种车辆危险行驶行为的自动预警方法及自动预警系统
CN111028544A (zh) * 2019-12-06 2020-04-17 无锡物联网创新中心有限公司 一种v2v技术和车载多传感器融合的行人预警系统
CN111103876A (zh) * 2018-10-25 2020-05-05 百度（美国）有限责任公司 自动驾驶车辆的基于雷达通信的扩展感知
CN113129629A (zh) * 2019-12-31 2021-07-16 现代自动车株式会社 支持自动代客停车的系统和方法，及其基础设施和车辆
CN113362370A (zh) * 2021-08-09 2021-09-07 深圳市速腾聚创科技有限公司 目标对象的运动信息确定方法、装置、介质及终端
CN113661296A (zh) * 2019-03-27 2021-11-16 住友建机株式会社 施工机械、支援系统
CN117083215A (zh) * 2021-03-29 2023-11-17 西门子工业软件公司 用于确定设备的运行性能参数的方法和系统

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
JP6930152B2 (ja) * 2017-03-14 2021-09-01 トヨタ自動車株式会社 自動運転システム
US10489663B2 (en) * 2017-04-24 2019-11-26 Toyota Research Institute, Inc. Systems and methods for identifying changes within a mapped environment
DE102017210112A1 (de) * 2017-06-16 2018-12-20 Robert Bosch Gmbh Verfahren und System zur Durchführung einer Kalibrierung eines Sensors
US10969785B2 (en) * 2017-07-24 2021-04-06 Motional Ad Llc Automated vehicle operation to compensate for sensor field-of-view limitations
US11430071B2 (en) * 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
US10902387B2 (en) * 2017-08-25 2021-01-26 The Boeing Company Aircraft digital event ledger
AU2018365091B2 (en) 2017-11-13 2021-03-04 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
US10528823B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
EP3721646B1 (en) * 2017-12-21 2023-10-18 Huawei Technologies Co., Ltd. Control device configured for and method of determining a data format
WO2019147569A1 (en) * 2018-01-23 2019-08-01 Board Of Trustees Of Michigan State University Visual sensor fusion and data sharing across connected vehicles for active safety
US11417107B2 (en) * 2018-02-19 2022-08-16 Magna Electronics Inc. Stationary vision system at vehicle roadway
US10981564B2 (en) * 2018-08-17 2021-04-20 Ford Global Technologies, Llc Vehicle path planning
US11100669B1 (en) 2018-09-14 2021-08-24 Apple Inc. Multimodal three-dimensional object detection
DE102018215753A1 (de) * 2018-09-17 2020-03-19 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
US20220055664A1 (en) * 2018-12-11 2022-02-24 Edge Case Research, Inc. Human-Supervised Autonomous Systems Performance and Safety Monitoring Methods and Apparatus
CN111382768B (zh) 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
EP3703029A1 (en) * 2019-02-26 2020-09-02 Ningbo Geely Automobile Research & Development Co. Ltd. Mitigating collision risk with an obscured object
CN118574186A (zh) * 2019-04-09 2024-08-30 日产自动车株式会社 信息处理装置和信息处理方法
US11226624B2 (en) * 2019-04-11 2022-01-18 Motorola Solutions, Inc. System and method for enabling a 360-degree threat detection sensor system to monitor an area of interest surrounding a vehicle
US10984543B1 (en) 2019-05-09 2021-04-20 Zoox, Inc. Image-based depth data and relative depth data
US11087494B1 (en) 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
US10937178B1 (en) * 2019-05-09 2021-03-02 Zoox, Inc. Image-based depth data and bounding boxes
KR102647646B1 (ko) * 2019-05-15 2024-03-13 현대자동차주식회사 엣지 컴퓨팅에 기초한 이동체 동작 방법 및 장치
DE102020206660A1 (de) 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Redundante umgebungswahrnehmungsverfolgung für automatisierte fahrsysteme
US11164363B2 (en) * 2019-07-08 2021-11-02 Waymo Llc Processing point clouds using dynamic voxelization
EP3770881B1 (en) * 2019-07-26 2023-11-15 Volkswagen AG Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle
US11182652B2 (en) 2019-08-16 2021-11-23 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and system for inferring perception based on augmented feature maps of a perception network
CN115376363B (zh) * 2019-09-04 2023-12-01 赵婷婷 用于控制运载工具的系统、方法
DE102019213951A1 (de) * 2019-09-12 2021-03-18 Continental Automotive Gmbh Verfahren zur Minimierung einer Abdeckung eines Sichtfelds eines Sensors eines Fahrzeuges
WO2021056438A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 点云数据处理方法及其装置、激光雷达、可移动平台
EP3812954A1 (en) * 2019-10-21 2021-04-28 Zenuity AB Performance monitoring and evaluation of a vehicle adas or autonomous driving feature
US11797906B2 (en) 2019-12-18 2023-10-24 Industrial Technology Research Institute State estimation and sensor fusion switching methods for autonomous vehicles
EP3869843B1 (en) * 2020-02-19 2024-06-19 Volkswagen Ag Method for invoking a teleoperated driving session, apparatus for performing the steps of the method, vehicle and computer program
DE102020109789A1 (de) 2020-04-08 2021-10-14 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen einer Selbstlokalisierung eines Fahrzeugs auf der Grundlage einer reduzierten digitalen Umgebungskarte, Computerprogrammprodukt sowie ein Selbstlokalisierungssystem
AU2021262764B2 (en) * 2020-04-28 2023-11-30 Raven Industries, Inc. Object detection and tracking for automated operation of vehicles and machinery
DE102020112825A1 (de) 2020-05-12 2021-11-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erfassen von relevanten statischen Objekten innerhalb einer Fahrspur sowie Recheneinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs
WO2021261680A1 (ko) 2020-06-26 2021-12-30 주식회사 에스오에스랩 센서 데이터 공유 및 활용 방법
CN112364800B (zh) * 2020-11-19 2023-07-14 金陵科技学院 一种基于人工智能的自动驾驶偏离处理方法
DE102021100794A1 (de) * 2021-01-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Verarbeitung von Messdaten eines Umfeldsensors eines Fahrzeugs mit Kompensation von latenzbehafteten Fahrzeugdaten, Recheneinrichtung sowie Computerprogramm
US20220254042A1 (en) * 2021-02-11 2022-08-11 GM Global Technology Operations LLC Methods and systems for sensor uncertainty computations
US12078715B2 (en) * 2021-03-25 2024-09-03 Aptiv Technologies AG Radar tracking with model estimates augmented by radar detections
US12092734B2 (en) 2021-03-25 2024-09-17 Aptiv Technologies AG Partially-learned model for speed estimates in radar tracking
JP2024514715A (ja) * 2021-04-12 2024-04-02 コンチネンタル オートノマス モビリティー ジャーマニー ゲーエムベーハー 車両からのセンサ情報を較正する方法及び運転者支援システム
US20230095194A1 (en) * 2021-09-30 2023-03-30 AyDeeKay LLC dba Indie Semiconductor Dynamic and Selective Pairing Between Proximate Vehicles
US20230280457A1 (en) * 2021-12-27 2023-09-07 Gm Cruise Holdings Llc Radar detector with velocity profiling
GB2620981A (en) * 2022-07-28 2024-01-31 Canon Kk Improved communication within an intelligent transport system for signalling hidden objects
DE102022123303B4 (de) 2022-09-13 2024-08-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Objekttrackingeinrichtung für eine sensorbasierte Objektnachverfolgung und entsprechend eingerichtetes Kraftfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214085A1 (en) * 2009-02-25 2010-08-26 Southwest Research Institute Cooperative sensor-sharing vehicle traffic safety system
CN102227612A (zh) * 2008-10-24 2011-10-26 格瑞股份公司 自主驾驶车辆的控制和系统
WO2016059006A1 (de) * 2014-10-13 2016-04-21 Continental Automotive Gmbh Kommunikationsvorrichtung für ein fahrzeug und verfahren zum kommunizieren
CN106061817A (zh) * 2014-02-18 2016-10-26 捷豹路虎有限公司 自主驾驶系统及用于自主驾驶系统的方法
US20160358475A1 (en) * 2015-06-04 2016-12-08 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6601098B1 (en) * 1999-06-07 2003-07-29 International Business Machines Corporation Technique for measuring round-trip latency to computing devices requiring no client-side proxy presence
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10386835B2 (en) * 2016-01-04 2019-08-20 GM Global Technology Operations LLC System and method for externally interfacing with an autonomous vehicle
US10299158B2 (en) * 2016-12-02 2019-05-21 Qualcomm Incorporated Vehicle-to-vehicle (V2V) sensor sharing
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227612A (zh) * 2008-10-24 2011-10-26 格瑞股份公司 自主驾驶车辆的控制和系统
US20100214085A1 (en) * 2009-02-25 2010-08-26 Southwest Research Institute Cooperative sensor-sharing vehicle traffic safety system
CN106061817A (zh) * 2014-02-18 2016-10-26 捷豹路虎有限公司 自主驾驶系统及用于自主驾驶系统的方法
WO2016059006A1 (de) * 2014-10-13 2016-04-21 Continental Automotive Gmbh Kommunikationsvorrichtung für ein fahrzeug und verfahren zum kommunizieren
US20160358475A1 (en) * 2015-06-04 2016-12-08 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111103876A (zh) * 2018-10-25 2020-05-05 百度（美国）有限责任公司 自动驾驶车辆的基于雷达通信的扩展感知
CN113661296A (zh) * 2019-03-27 2021-11-16 住友建机株式会社 施工机械、支援系统
CN110696835A (zh) * 2019-10-11 2020-01-17 深圳职业技术学院 一种车辆危险行驶行为的自动预警方法及自动预警系统
CN111028544A (zh) * 2019-12-06 2020-04-17 无锡物联网创新中心有限公司 一种v2v技术和车载多传感器融合的行人预警系统
CN113129629A (zh) * 2019-12-31 2021-07-16 现代自动车株式会社 支持自动代客停车的系统和方法，及其基础设施和车辆
CN117083215A (zh) * 2021-03-29 2023-11-17 西门子工业软件公司 用于确定设备的运行性能参数的方法和系统
CN113362370A (zh) * 2021-08-09 2021-09-07 深圳市速腾聚创科技有限公司 目标对象的运动信息确定方法、装置、介质及终端
CN113362370B (zh) * 2021-08-09 2022-01-11 深圳市速腾聚创科技有限公司 目标对象的运动信息确定方法、装置、介质及终端

Also Published As

Publication number Publication date
CN108574929B (zh) 2020-10-02
DE102018105293A1 (de) 2018-09-20
US20180261095A1 (en) 2018-09-13
US10109198B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
CN108574929A (zh) 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
CN109389832B (zh) 使用v2x通信系统提高障碍意识的系统和方法
US10349011B2 (en) System and method for improved obstacle awareness in using a V2X communications system
CN111907527B (zh) 用于自主驾驶的可解释学习系统和方法
US10613547B2 (en) System and method for improved obstacle awareness in using a V2X communications system
US10509413B2 (en) Ground reference determination for autonomous vehicle operations
CN109902552B (zh) 用于车道特征分类和定位的人工神经网络
CN108068792A (zh) 用于自主车辆的自动协同驾驶控制
US10365650B2 (en) Methods and systems for moving object velocity determination
CN108372856A (zh) 来自自主驾驶系统中的感知流的有效情景意识
US10409279B2 (en) Efficient situational awareness by event generation and episodic memory recall for autonomous driving systems
CN110163074B (zh) 提供用于基于图像场景和环境光分析的增强路面状况检测的方法
CN108761474A (zh) 用于具有高处理增益的脉冲重复序列的方法和装置
CN110356412B (zh) 用于自主驾驶的自动规则学习的方法和设备
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的系统和方法
CN110596696B (zh) 用于改善的雷达波束成形的设备及方法
CN109144050A (zh) 使用反射延迟传播进行物体表面估计的方法和装置
CN110441790A (zh) 激光雷达系统中的方法和装置串扰和多径降噪
CN109552212A (zh) 用于自主车辆中的雷达定位的系统和方法
CN109552211A (zh) 用于自主车辆中的雷达定位的系统和方法
CN110435667A (zh) 用于控制自主车辆的系统和方法
CN109387856A (zh) 用于lidar阵列中的并行采集的方法和设备
CN110816547A (zh) 用于自主驾驶的实际感知系统的感知不确定性建模
CN108873857A (zh) 用于自主车辆中的致动器的诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant