CN110392336B - 用于在连接的车辆间提供协同感知的方法、系统和计算机可读介质 - Google Patents

用于在连接的车辆间提供协同感知的方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN110392336B
CN110392336B CN201910304160.8A CN201910304160A CN110392336B CN 110392336 B CN110392336 B CN 110392336B CN 201910304160 A CN201910304160 A CN 201910304160A CN 110392336 B CN110392336 B CN 110392336B
Authority
CN
China
Prior art keywords
vehicle
cpm
remote
ego
supplemental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910304160.8A
Other languages
English (en)
Other versions
CN110392336A (zh
Inventor
O·阿尔廷塔斯
樋口雄大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110392336A publication Critical patent/CN110392336A/zh
Application granted granted Critical
Publication of CN110392336B publication Critical patent/CN110392336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0077—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Abstract

本申请涉及用于协同感知的多级混合车辆到一切通信。本公开包括用于在两个或更多个连接的车辆之间提供协同感知的实施例。在一些实施例中，一种方法包括由自我车辆的车辆到一切(V2X)无线电装置接收由远程车辆广播的基本协同感知消息(CPM)。该基本CPM包括描述远程车辆感知到的物体的基本CPM数据。方法包括确定远程车辆错误感知选定物体且远程车辆在与选定物体发生碰撞的路线上。方法包括使用与用于接收基本CPM不同的V2X协议由自我车辆的V2X无线电装置向远程车辆单播补充CPM，该补充CPM包括描述远程车辆已经错误感知的选定物体的补充CPM数据，使得向远程车辆警告选定物体的存在。

Description

用于在连接的车辆间提供协同感知的方法、系统和计算机可 读介质
技术领域
本说明书涉及用于两个或更多个连接的车辆之间的协同感知的多级混合车辆到一切(V2X)通信。
背景技术
汽车制造商正试图制造在没有人为干预的情况下自行驾驶的自动车辆。自动车辆技术的一个障碍是自动车辆精确且准确地感知其自身的驾驶状态(例如，位置)和周围环境的能力。汽车制造商尚未克服该障碍。
发明内容
本文描述的是感知系统的实施例。感知系统安装在连接的车辆的车载单元中。连接的车辆可以是或可以不是自动车辆。连接的车辆具有各种类型的V2X无线电装置，并且可操作以发送和接收各种类型的V2X消息。例如，连接的车辆包括一个或多个V2X无线电装置，该一个或多个V2X无线电装置具有可操作以发送或接收以下类型中的一个或多个类型的V2X消息的信道：电气和电子工程师协会(IEEE)802.11p(802.11p)；专用短程通信(DSRC)；长期演进(LTE)；无线保真(WiFi)；以及毫米波(mmWave)；3G；4G；5G；LTE-车辆到一切(LTE-V2X)；LTE-车辆到车辆(LTE-V2V)；LTE-设备到设备(LTE-D2D)；5G-V2X；智能交通系统-G5(ITS-G5)；ITS-连接(ITS-Connect)；LTE语音(VoLTE)；电视(TV)白频段以及此处列出的V2X通信协议中的一个或多个的衍生物或分支。
如本文所使用的，“802.11p”是指符合对IEEE 802.11标准的IEEE 802.11p修订的V2X消息，用于由连接的车辆或诸如路边单元(如果是单数，那么是“RSU”，如果是复数，那么是“RSUs”)之类的连接的道路基础设施设备发送和接收无线消息。
在一些实施例中，感知系统可操作以使用多级混合V2V通信在两个或更多个连接的车辆之间提供协同感知，从而使得连接的车辆中的至少一个能够精确地并且准确地感知其自身的驾驶状态(例如，位置)和周围环境。在一些实施例中，感知系统使用以下两者的组合：(1)全向V2V消息；及(2)定向V2V消息，以使连接的车辆能够彼此通信，以交换传感器信息并且更精确地感知他们自身的驾驶状态和周围环境。作为示例，感知系统使用802.11p用于全向V2V消息，并且使用mmWave通信用于定向V2V消息。但是，还可以使用任何其它V2V通信技术代替802.11p和mmWave。例如，感知系统可以使用DSRC、蜂窝V2X、WiFi和TV白频段信道代替802.11p来进行全向通信。在另一个示例中，感知系统使用可见光通信来代替mmWave进行定向通信。
现在描述根据一些实施例的感知系统的示例。假设道路环境包括自我车辆(egovehicle)和多个远程车辆。自我车辆和远程车辆各自包括它们自己的包括感知系统的车载单元的实例。远程车辆的感知系统监视由远程车辆的车载传感器系统记录的传感器测量值，并且构造经由802.11p广播的基本协同感知消息(如果是单数，那么是“基本CPM”，如果是复数，那么是“基本CPMs”)。基本CPM包括基本CPM数据。基本CPM数据是描述关于道路环境的粗粒度信息的数字数据，该数字数据专门被配置为小于802.11p的有效载荷限制。基本CPM数据描述由发送基本CPM的远程车辆识别出的每个物体。每个远程车辆还构造并广播他们自己的基本CPM。自我车辆的感知系统接收这些远程车辆中的每个远程车辆的基本CPM数据并形成基本CPM数据集。基本CPM数据集是存储从每个远程车辆接收的基本CPM数据的数据结构。自我车辆的感知系统分析基本CPM数据集，并且为每个远程车辆识别远程车辆错误感知的物体。错误感知的物体是远程车辆：未检测到；不正确地分类；或者以其它方式感知不佳的物体。然后，对于已经错误感知至少一个物体的每个远程车辆，自我车辆的感知系统构建补充协同感知消息(如果单数，那么是“补充CPM”，如果是复数，那么是“补充CPMs”)。补充CPM包括补充CPM数据。补充CPM数据是描述关于道路环境的细粒度信息的数字数据，该细粒度信息是基于特定远程车辆已经错误感知的物体而为该特定远程车辆定制构建的。补充CPM数据远远超过802.11p消息或DSRC消息的有效载荷限制，并且无法经由802.11p或者DSRC发送。相反，补充CPM经由mmWave单播到构建补充CPM数据时考虑的特定远程车辆。
术语“协同感知”是指两个或更多个连接的车辆出于试图理解它们的环境及它们在环境中的位置的目的使用V2V技术来交换描述它们的共享环境的传感器信息。用于协同感知的现有解决方案依赖于单级V2V技术来彼此交换传感器信息，通常是由DSRC无线电装置广播的全向V2V消息。相比之下，本文描述的感知系统的实施例依赖于两级V2V技术来彼此交换传感器信息：(1)全向V2V消息；及(2)定向V2V消息。现有解决方案不包括这种用于传感器信息交换的多级混合方法。因此，现有解决方案不足以帮助车辆理解它们的状态和周围环境，因为用于无线电装置的带宽非常有限，并且经验已经表明现有解决方案使用的DSRC消息中包括的数据只能帮助连接的车辆识别它们的环境中的大约二十个物体。
用于协同感知的现有解决方案依赖于具有有效载荷的V2V消息传递(通常是DSRC)，该有效载荷将它们限制到识别它们的道路环境中的大约20个物体。道路环境通常具有多于二十个物体，这意味着现有的解决方案是不充分的。mmWave通信具有更大的带宽，但对于V2V广播并不理想，因为这种形式的无线通信包括严格的视线要求。本文描述的感知系统的实施例使用协同感知的多级混合方法，该方法将802.11p通信的容易性与mmWave通信的大带宽结合起来。因此，已经表明本文描述的实施例可靠地且出乎意料地帮助连接的车辆(包括自动车辆)正确地感知它们在道路环境中的位置以及位于该道路环境中的每个其它物体的位置和分类。现有解决方案都没有使用如本文描述的感知系统的实施例所使用的多级混合方法。
一个或多个计算机的系统可以被配置为凭借在系统上安装在操作时使系统执行动作的软件、固件、硬件或它们的组合来执行特定操作或动作。一个或多个计算机程序可以被配置为凭借包括当由数据处理装置执行时使装置执行动作的指令来执行特定操作或动作。
一个总体方面包括一种方法，包括：由自我车辆的V2X无线电装置接收由远程车辆发送的基本CPM，其中基本CPM包括描述远程车辆的远程车载传感器集合感知到的物体的基本CPM数据；基于基本CPM数据和自我车辆的本地车载传感器集合感知到的物体集合，确定远程车辆的远程车载传感器集合错误感知选定物体并且远程车辆在与该选定物体发生碰撞的路线上；以及通过使用与用于接收基本CPM不同的V2X协议，由自我车辆的V2X无线电装置向远程车辆发送补充CPM，该补充CPM包括描述远程车辆的远程车载传感器集合错误感知的选定物体的补充CPM数据，使得向远程车辆警告该选定物体的存在。这方面的其它实施例包括各自被配置为执行方法的动作的对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。
实现可以包括以下特征中的一个或多个。该方法其中经由广播的802.11p消息接收基本CPM。该方法其中经由被单播到远程车辆的毫米波消息发送补充CPM。该方法其中基本CPM的传输范围基本上为300米。该方法其中补充CPM的传输范围基本上为30米。该方法其中该方法由自我车辆的车载车辆计算机执行。该方法还可以包括该方法其中基本CPM数据描述远程车辆的远程车载传感器集合感知到的每个物体。所描述的技术的实现可以包括硬件、方法或处理或计算机可访问介质上的计算机软件。
一个总体方面包括一种系统，包括：通信耦接到存储计算机代码的非瞬态存储器的处理器，该计算机代码在由处理器执行时可操作以使处理器：由自我车辆的V2X无线电装置接收由远程车辆发送的基本CPM，其中基本CPM包括描述远程车辆的远程车载传感器集合感知到的物体的基本CPM数据；基于基本CPM数据和自我车辆的本地车载传感器集合感知到的物体集合，确定远程车辆的远程车载传感器集合错误感知选定物体并且远程车辆在与该选定物体发生碰撞的路线上；以及通过使用与用于接收基本CPM不同的V2X协议，由自我车辆的V2X无线电装置向远程车辆发送补充CPM，该补充CPM包括描述远程车辆的远程车载传感器集合错误感知的选定物体的补充CPM数据，使得向远程车辆警告该选定物体的存在。这方面的其它实施例包括各自被配置为执行方法的动作的对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。
实现可以包括以下特征中的一个或多个。该系统其中经由广播的802.11p消息接收基本CPM。该系统其中经由被单播到远程车辆的毫米波消息发送补充CPM。该系统其中基本CPM的传输范围基本上为300米。该系统其中补充CPM的传输范围基本上为30米。该系统其中处理器是自我车辆的车载车辆计算机的元件。该系统还包括该系统其中远程车辆是自己操作而无需人类干预的高度自动的车辆，并且远程车辆基于补充CPM数据修改其操作，使得与物体的碰撞不发生。所描述的技术的实现可以包括硬件、方法或处理或计算机可访问介质上的计算机软件。
一个总体方面包括一种计算机程序产品，该计算机程序产品包括当由一个或多个处理器执行时使得一个或多个处理器执行操作的指令，操作包括：由自我车辆的V2X无线电装置接收由远程车辆发送的基本CPM，其中基本CPM包括描述远程车辆的远程车载传感器集合感知到的物体的基本CPM数据；基于基本CPM数据和自我车辆的本地车载传感器集合感知到的物体集合，确定远程车辆的远程车载传感器集合错误感知选定物体并且远程车辆在与该选定物体发生碰撞的路线上；以及通过使用与用于接收基本CPM不同的V2X协议，由自我车辆的V2X无线电装置向远程车辆发送补充CPM，该补充CPM包括描述远程车辆的远程车载传感器集合错误感知的选定物体的补充CPM数据，使得向远程车辆警告该选定物体的存在。这方面的其它实施例包括各自被配置为执行方法的动作的对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。
实现可以包括以下特征中的一个或多个。该计算机程序产品其中经由广播的802.11p消息接收基本CPM。该计算机程序产品其中经由被单播到远程车辆的毫米波消息发送补充CPM。该计算机程序产品其中基本CPM的传输范围基本上为300米。该计算机程序产品其中补充CPM的传输范围基本上为30米。该计算机程序产品其中自我车辆和远程车辆中的一个或多个是自己操作而无需人类干预的高度自动的车辆。所描述的技术的实现可以包括硬件、方法或处理或计算机可访问介质上的计算机软件。
附图说明
在附图的图中通过示例而不是限制的方式示出了本公开，在附图中相似的附图标记用于指代相似的元件。
图1A是示出根据一些实施例的、用于感知系统的操作环境的框图。
图1B是示出根据一些实施例的、用于感知系统的操作环境的框图。
图2是示出根据一些实施例的、包括感知系统的示例计算机系统的框图。
图3描绘了根据一些实施例的、用于由感知系统使用多级混合V2V通信在两个或更多个连接的车辆之间提供协同感知的方法。
图4A描绘了示出根据一些实施例的基本CPM的传输范围和补充CPM的传输范围的框图。
图4B描绘了示出根据一些实施例的基本CPM和补充CPM的属性的表。
图5描绘了根据一些实施例的、由感知系统的确定模块实现的处理流程。
图6描绘了示出根据一些实施例的、由感知系统提供的示例碰撞时间(TTC)分析的框图。
具体实施方式
自动车辆技术中的一个障碍是自动车辆精确地感知其自身的驾驶状态(例如，位置)和周围环境的能力。本文描述的感知系统的实施例使用(1)802.11p消息和(2)mmWave消息两者的组合来使连接的车辆(包括自动车辆)能够彼此通信以交换传感器信息并且更精确地感知它们自己的驾驶状态和周围环境。
术语“协同感知”是指两个或更多个车辆出于试图理解它们的环境及它们在环境中的位置的目的使用V2V技术来交换描述它们的共享环境的传感器信息。用于协同感知的现有解决方案依赖于单级V2V技术来彼此交换传感器信息，通常是经由DSRC消息。相比之下，本发明依赖于两级V2V技术来彼此交换传感器信息：(1)802.11p消息；及(2)mmWave消息。现有解决方案不包括这种用于传感器信息交换的多级混合方法。因此，现有解决方案不足以帮助车辆理解它们的状态和周围环境，因为DSRC无线电的带宽有限，并且经验已经表明使用DSRC消息只能帮助车辆识别它们的环境中的大约二十个物体。
相比之下，本文描述的感知系统的实施例依赖于两级V2V技术来彼此交换传感器信息：(1)802.11p消息；及(2)mmWave消息。现有解决方案不包括这种用于传感器信息交换的多级混合方法。因此，现有解决方案不足以帮助连接的车辆理解它们的状态和周围环境，因为(现有解决方案使用的)DSRC无线电的带宽相对于mmWave无线电而言是有限的，并且经验已经表明，由于DSRC的有效载荷限制，使用包括在DSRC消息中的数字数据只能帮助连接的车辆识别关于它们的环境中的二十个物体的粗粒度信息(例如，类型和位置)。这是有问题的，因为道路环境经常包括远远多于二十个物体，并且连接的车辆可能需要关于这些物体的更详细的信息(例如，激光雷达点云数据或占用网格图)。因此，现有解决方案实际上并不擅长帮助自主车辆准确地感知它们的环境以及它们在它们的环境中的位置。相比之下，本文描述的感知系统的实施例没有这个问题，因为mmWave技术具有(相对于DSRC)更大的带宽，并且来自相邻车辆的干扰风险(相对于DSRC)更小，并且足以使包括感知系统的自主车辆能够准确地感知它们的整个环境，而不仅仅是该环境中的二十个物体。
描述感知系统的实施例。感知系统包括安装在连接的车辆的车载单元中的代码和例程。连接的车辆可以是或者可以不是自主车辆。假设道路环境包括自我车辆和多个远程车辆，其中每个车辆包括感知系统。自我车辆的感知系统监视由自我车辆的车载传感器系统记录的传感器测量值。通过使用这个传感器信息，自我车辆的感知系统构造基本CPM。基本CPM包括基本CPM数据。基本CPM数据是描述关于包括自我车辆和多个远程车辆的道路环境的粗粒度信息的数字数据。特别地，由基本CPM数据描述的粗粒度信息包括以下当中的一个或多个：由感知系统识别出的道路环境内的物体的唯一标识符；这些物体的位置；每个物体的分类(例如，物体是行人、汽车、卡车、货车、建筑物、标志、坑洼等吗)；以及分类正确的置信度值。
在一些实施例中，感知系统的代码和例程包括物体识别器(identifier)、分类器和构建基本CPM所需的其它软件。
在一些实施例中，自我车辆和远程车辆包括通信单元，通信单元可操作以发送和接收各种类型的V2X无线消息，V2X无线消息包括802.11p消息和mmWave消息等。自我车辆的感知系统控制通信单元的操作，以使得使用802.11p将基本CPM广播到多个远程车辆。可选地，基本CPM可以被单播，但广播是优选实施例。基本CPM由自我车辆的感知系统配置为2304个字节或更少，包括报头和安全开销，因为这是介质访问控制(MAC)服务数据单元的最大分组长度。
在一些实施例中，远程车辆还广播它们的基本CPM，使得自我车辆的感知系统接收这些远程车辆中的每个远程车辆的基本CPM数据。自我车辆的感知系统构建基本CPM数据集。基本CPM数据集是存储从每个远程车辆接收的基本CPM数据以及由自我车辆记录的基本CPM数据的数据结构。
在一些实施例中，自我车辆的感知系统分析基本CPM数据集，并且为远程车辆中的每个远程车辆识别它们：未检测到的；不正确分类的；或以其它方式感知不佳的物体。基于这个分析，感知系统记录感知数据，该感知数据描述：(1)哪些远程车辆对至少一个物体感知不佳；以及(2)对于每辆远程车辆，它们感知不佳的物体。
然后，自我车辆的感知系统分析感知数据并为对至少一个物体感知不佳的每个远程车辆构建补充协同感知消息(补充CPM)。补充CPM包括补充CPM数据。补充CPM数据是数字数据，该数字数据描述基于特定远程车辆已经错误感知的物体为特定远程车辆定制构建的关于道路环境的细粒度信息。例如，补充CPM数据包括特定远程车辆错误感知的物体的三维(3D)占用网格图。补充CPM数据远远超出802.11p消息和DSRC消息的有效载荷限制，并且无法经由802.11p或DSRC发送。相反，补充CPM经由mmWave(或具有类似大带宽的一些其它无线电)单播到由感知系统在构建补充CPM数据时考虑的特定远程车辆。
在一些实施例中，道路环境内的自我车辆和所有远程车辆完成将补充CPM发送到相邻车辆的处理，使得每个车辆接收它们的感知系统随后可以考虑的补充CPM消息集合。例如，这些车辆存储描述本地动态地图(LDM)的LDM数据。LDM描述道路环境中的(1)静态物体和(2)动态物体的地点、前进方向(heading)、路径历史和分类中的一个或多个。例如，由LDM数据描述的LDM描述以下当中的一个或多个：静态物体和动态物体的地理位置；静态物体和动态物体的前进方向；静态物体和动态物体的路径历史；以及静态物体和动态物体的分类。分类包括例如描述包含在LDM中的特定物体的“类型”或“类别”的数字数据。例如，物体类型或类别是以下当中的一个或多个：行人；车辆；自行车；动物；坑洞；灯；标志；路缘；中央隔离带；铁路；道路碎片；得来速(drive through)；交叉路口；入口匝道；出口匝道；出口；以及某种其它类型或类别的道路物体。感知系统基于其接收到的补充CPM消息集以及这些消息包含的补充CPM数据来更新本地存储的LDM。
在一些实施例中，包括感知系统的连接的车辆是配备DSRC的车辆。配备DSRC的车辆是：(1)包括DSRC无线电装置；(2)包括符合DSRC的全球定位系统(GPS)单元；及(3)可操作以在配备DSRC的车辆所在的司法管辖区内合法地发送和接收DSRC消息的车辆。DSRC无线电装置是包括DSRC接收器和DSRC发送器的硬件。DSRC无线电装置可操作以无线地发送和接收DSRC消息。符合DSRC的GPS单元可操作以提供具有车道级准确度的车辆(或包括符合DSRC的GPS单元的某种其它配备DSRC的设备)的位置信息。下面更详细地描述符合DSRC的GPS单元。
“配备DSRC的”设备是基于处理器的设备，该设备包括DSRC无线电装置、符合DSRC的GPS单元，并且可操作以在配备DSRC的设备所在的司法管辖区内合法地发送和接收DSRC消息。各种端点可以是配备DSRC的设备，包括例如RSU、智能电话、平板计算机以及包括DSRC无线电装置并且可操作以如上所述合法地发送和接收DSRC消息的任何其它基于处理器的计算设备。
在一些实施例中，作为配备DSRC的设备的RSU不包括符合DSRC的GPS单元，但是包括存储描述具有车道级准确度的RSU的位置信息的数字数据的非瞬态存储器，并且DSRC无线电装置或RSU的一些其它系统将这个数字数据的副本插入由RSU的DSRC无线电装置发送的BSM数据中。以这种方式，RSU不包括符合DSRC的GPS单元，但仍可操作以分发满足DSRC标准的要求的BSM数据。
DSRC消息是专门被配置为由诸如车辆之类的高度移动设备发送和接收的无线消息，并且符合以下DSRC标准当中的一个或多个，包括其任何衍生物或分支：EN 12253:2004专用短程通信-使用5.8GHz微波的物理层(审查)；EN 12795:2002专用短程通信(DSRC)-DSRC数据链路层：介质访问和逻辑链路控制(审查)；EN 12834:2002专用短程通信-应用层(审查)；以及EN13372:2004专用短程通信(DSRC)-用于RTTT应用的DSRC简档(审查)；EN ISO14906:2004电子收费-应用接口。
在美国、欧洲和亚洲，DSRC消息以5.9GHz发送。在美国，DSRC消息在5.9GHz频带中被分配75MHz的频谱。在欧洲和亚洲，DSRC消息在5.9GHz频带中被分配30MHz的频谱。因此，无线消息不是DSRC消息，除非它在5.9GHz频带中操作。无线消息也不是DSRC消息，除非它由DSRC无线电装置的DSRC发送器发送。
因而，DSRC消息不是以下当中的任何一个：802.11p消息；WiFi消息；3G消息；4G消息；LTE消息；mmWave消息；蓝牙消息；卫星通信；以及由密钥卡以315MHz或433.92MHz发送或广播的短程无线电消息。例如，在美国，用于遥控无钥匙系统的密钥卡包括以315MHz操作的短程无线电发送器，并且来自这个短程无线电发送器的传输或广播不是DSRC消息，因为例如这种传输或广播不符合任何DSRC标准、不由DSRC无线电装置的DSRC发送器发送并且不以5.9GHz发送。在另一个示例中，在欧洲和亚洲，用于遥控无钥匙系统的密钥卡包括以433.92MHz操作的短程无线电发送器，并且出于与上述针对美国的遥控无钥匙系统的原因相似的原因，来自这个短程无线电发送器的传输或广播不是DSRC消息。
出于附加的原因，作为远程无钥匙进入系统的部件而制作的密钥卡的无线消息不是DSRC消息。例如，还要求DSRC消息的有效载荷包括描述各种类型数据的大量车辆数据的数字数据。一般而言，DSRC消息总是至少包括发送DSRC消息的车辆的唯一标识符以及该车辆的GPS数据。与其它类型的非DSRC无线消息可能所需的带宽相比，这个数据量需要更大的带宽。作为远程无钥匙进入系统的部件的密钥卡的无线消息不是DSRC消息，因为它们不包括依据DSRC标准可允许的有效载荷。例如，密钥卡仅发送包括数字密钥的无线消息，该数字密钥对于与密钥卡配对的车辆是已知的；因为针对这些传输分配的带宽非常小，所以没有足够的带宽将其它数据包括在有效载荷中。相比之下，DSRC消息被分配大量带宽并且要求包括更大量的数据，包括例如用于发送DSRC消息的车辆的唯一标识符和GPS数据。
在一些实施例中，配备DSRC的车辆不包括常规的全球定位系统单元(“GPS单元”)，而是包括符合DSRC的GPS单元。常规的GPS单元提供位置信息，该位置信息以常规GPS单元的实际位置加或减10米的准确度描述常规GPS单元的位置。相比之下，符合DSRC的GPS单元提供GPS数据，该GPS数据以符合DSRC的GPS单元的实际位置加或减1.5米的准确度描述符合DSRC的GPS单元的位置。这种程度的准确度被称为“车道级准确度”，因为例如道路的车道一般大约为3米宽，并且加或减1.5米的准确度足以识别车辆在道路上的哪条车道上行驶。
在一些实施例中，符合DSRC的GPS单元可操作以在开放天空(open sky)下在68％的时间内在其实际位置的1.5米内识别、监视和跟踪其二维位置。
现在参考图1A，描绘根据一些实施例的、用于感知系统的操作环境101。
操作环境101描绘了包括位于交叉路口166附近的自我车辆123和远程车辆124的示例场景。感知系统是自我车辆和远程车辆两者的元件。下面参考图1B更详细地描述自我车辆123和远程车辆124。操作环境101还包括第一行人106和第二行人104。这是旨在介绍感知系统的功能中的一些功能的示例实施例，并且不旨在以任何方式进行限制。如所描绘的，自我车辆123包括具有感知第一行人106和第二行人104的自我车辆传感器覆盖范围163的车载传感器。远程车辆124包括具有感知第一行人106但是不感知第二行人104的远程车辆传感器覆盖范围164的车载传感器。
在所描绘的实施例中，第一行人106被自我车辆123和远程车辆124的车载传感器检测到，而第二行人104仅被自我车辆123检测到。自我车辆123和远程车辆124周期性地广播基本CPM，基本CPM包括诸如第一行人106和第二行人104之类的被感知物体的基本信息(例如，位置)。
在从远程车辆124接收基本CPM后，自我车辆123的感知系统确定第二行人104未被远程车辆124感知到，同时远程车辆124非常靠近第二行人104，从而造成碰撞的风险。
自我车辆123的感知系统将补充CPM发送到远程车辆124，补充CPM包含关于第二行人的细粒度信息(例如，描述第二行人104周围区域的3D占用网格图)。
在一些实施例中，自我车辆123的感知系统抑制关于第一行人106的细粒度信息的传输，因为基本CPM指示远程车辆124已经清楚地感知到第一行人106。
参考图1B，描绘了根据一些实施例的、用于感知系统199的操作环境100。如所描绘的，操作环境100包括以下元件：自我车辆123；远程车辆124；以及RSU 122。这些元件通过网络105可通信地彼此耦接。
虽然在图1A中描绘了一个自我车辆123、一个远程车辆124、一个RSU 122以及一个网络105，但是在实践中，操作环境100可以包括一个或多个自我车辆123、一个或多个远程车辆124、一个或多个RSU 122以及一个或多个网络105。
自我车辆123和远程车辆124都是连接的车辆。例如，自我车辆123和远程车辆124中的每一个包括通信单元145A、145B(共同地或单独地，与RSU的通信单元145C一起，被称为“通信单元145”)并且因此自我车辆123和远程车辆124中的每一个都是连接的车辆，该连接的车辆可操作以经由网络105发送和接收电子消息(例如，V2X消息)。
网络105可以是常规类型、有线的或无线的，并且可以具有许多不同的配置，包括星形配置、令牌环配置或其它配置。此外，网络105可以包括局域网(LAN)、广域网(WAN)(例如，互联网)、或者多个设备和/或实体可以跨其进行通信的其它互连数据路径。在一些实施例中，网络105可以包括对等网络。网络105还可以耦接到或可以包括电信网络的部分，用于以各种不同的通信协议发送数据。在一些实施例中，网络105包括用于发送和接收数据的
Figure GDA0002694129210000141
通信网络或蜂窝通信网络，包括经由短消息服务(SMS)、多媒体消息服务(MMS)、超文本传输协议(HTTP)、直接数据连接、无线应用协议(WAP)、电子邮件、DSRC、全双工无线通信、mmWave、WiFi(基础设施模式)、WiFi(ad-hoc模式)、可见光通信、TV白频段通信和卫星通信。网络105还可以包括移动数据网络，其可以包括3G、4G、5G、LTE、LTE-V2V、LTE-V2I、LTE-V2X、LTE-D2D、5G-V2X、ITS-G5、ITS-Connect、VoLTE、802.11p、低功率广域网(LPWAN)、可见光通信或任何其它移动数据网络或移动数据网络的组合。另外，网络105可以包括一个或多个802.11无线网络。
以下是网络105的端点：自我车辆123；远程车辆124；以及RSU 122。在一些实施例中，远程车辆124中的一个或多个及自我车辆123包括感知系统199的实例。自我车辆123和远程车辆124可以共同地或单独地被称为“车辆端点”或“多个车辆端点”。
自我车辆123是任何类型的连接的车辆。例如，自我车辆123是包括通信单元145A和感知系统199的以下类型的车辆之一：汽车；卡车；运动型多功能车辆；公交车；半挂卡车；机器人汽车；无人机或任何其它基于道路的运输工具。在一些实施例中，自我车辆123是配备DSRC的车辆。
在一些实施例中，自我车辆123是自主车辆或半自主车辆。例如，自我车辆123包括高级驾驶员辅助系统的集合180(ADAS系统集合180)，其向自我车辆123提供足以使自我车辆123成为自主车辆的自主特征。该ADAS系统集合180包括一个或多个ADAS系统。
美国国家公路交通安全管理局(“NHTSA”)已经定义了自主车辆的不同“级别”，例如，级别0、级别1、级别2、级别3、级别4和级别5。如果自主车辆具有比另一自主车辆更高级别的数字(例如，级别3是比级别2或1更高级别的数字)，那么相对于具有较低级别数字的车辆，具有更高级别数字的自主车辆提供更多组合和数量的自主特征。下面简要描述自主车辆的不同级别。
级别0：安装在车辆中的ADAS系统集合180没有车辆控制。该ADAS系统集合180可以向车辆的驾驶员发出警告。级别0的车辆不是自主或半自主车辆。
级别1：驾驶员必须随时准备好接管自主车辆的驾驶控制。安装在自主车辆中的ADAS系统集合180可以提供自主特征，诸如以下当中的一个或多个的任意组合：自适应巡航控制(ACC)；以及具有自动转向和车道保持辅助(LKA)II型的停车辅助。
级别2：驾驶员有义务检测道路环境中的物体和事件，并且如果安装在自主车辆中的ADAS系统集合180未能正确响应则驾驶员有义务(基于驾驶员的主观判断)作出响应。安装在自主车辆中的ADAS系统集合180执行加速、制动和转向。安装在自主车辆中的ADAS系统集合180可以在驾驶员接管时立即停用。
级别3：在已知的有限环境(诸如高速公路)内，驾驶员可以安全地将他们的注意力从驾驶任务转移开，但是仍然必须准备好在需要时接管自主车辆的控制。
级别4：安装在自主车辆中的ADAS系统集合180可以在除少数环境(诸如恶劣天气)之外的所有环境中控制自主车辆。驾驶员必须仅在安全的时候启用自动系统(其由安装在车辆中的ADAS系统集合180组成)。当自动系统被启用时，使自主车辆安全地并且与公认的规范一致地操作不要求驾驶员的注意力。
级别5：除了设置目的地和启动系统之外，不需要人为干预。自动系统可以驾驶到合法驾驶的任何地点并做出自己的决定(可以基于车辆所在的司法管辖区域而变化)。
高度自主车辆(HAV)是级别3或更高的自主车辆。
因而，在一些实施例中，自我车辆123是以下之一：级别1自主车辆；级别2自主车辆；级别3自主车辆；级别4自主车辆；级别5自主车辆；以及HAV。
ADAS系统集合180包括以下ADAS系统当中的一个或多个：ACC系统；自适应远光系统(high beam system)；自适应光控系统；自动泊车系统；汽车夜视系统；盲点监视器；防撞系统；侧风稳定系统；驾驶员困倦检测系统；驾驶员监视系统；紧急驾驶辅助系统；前方碰撞警告系统；交叉路口辅助系统；智能速度适应系统；车道偏离警告系统(也称为LKA系统)；行人保护系统；交通标志识别系统；转弯助手；错误道路驾驶警告系统；自动驾驶仪；标志识别；以及标志协助。这些示例ADAS系统中的每一个都提供它们自己的特征和功能，这些特征和功能在本文中可以分别被称为“ADAS特征”或“ADAS功能”。由这些示例ADAS系统提供的特征和功能在本文中也分别被称为“自主特征”或“自主功能”。
在一些实施例中，自我车辆123包括以下元件：ADAS系统集合180；车载单元126；处理器125；存储器127；通信单元145；符合DSRC的GPS单元150；传感器集合184A；电子显示器140；以及感知系统199。自我车辆123的这些元件经由总线120可通信地彼此耦接。
上面描述了ADAS系统集合180，因此，这里将不再重复该描述。
在一些实施例中，处理器125和存储器127可以是车载车辆计算机系统的元件。车载车辆计算机系统可以可操作以引起或控制自我车辆123的感知系统199的操作。车载车辆计算机系统可以可操作以访问和执行存储在存储器127上的数据，以提供本文针对自我车辆123的感知系统199或其元件描述的功能。车载车辆计算机系统可以可操作以执行感知系统199，这使得车载车辆计算机系统执行下面参考图3描述的方法300的一个或多个步骤或者下面参考图5描述的处理流程500的一个或多个步骤。车载车辆计算机系统可以可操作以执行感知系统199，这使得车载车辆计算机系统执行下面参考图6描述的碰撞时间(TTC)分析699。在一些实施例中，图2中描绘的计算机系统200是车载车辆计算机系统的示例。
在一些实施例中，处理器125和存储器127可以是车载单元126的元件。车载单元126包括可以可操作以引起或控制感知系统199的操作的电子控制单元(本文中的“ECU”)或车载车辆计算机系统。在一些实施例中，车载单元126可操作以访问和执行存储在存储器127上的数据，以便提供本文针对感知系统199或其元件所描述的功能。车载单元126可以可操作以执行感知系统199，这使得车载单元126执行下面参考图3描述的方法300的一个或多个步骤或者下面参考图5描述的处理流程500的一个或多个步骤。车载单元126可以可操作以执行感知系统199，这使得车载单元126执行下面参考图6描述的TTC分析699。
在一些实施例中，符合DSRC的GPS单元150包括使自我车辆123或符合DSRC的GPS单元150符合以下DSRC标准当中的一个或多个(包括其任何衍生物或分支)所必需的任何硬件和软件：EN 12253:2004专用短程通信-使用5.8GHz微波的物理层(审查)；EN 12795:2002专用短程通信(DSRC)-DSRC数据链路层：介质访问和逻辑链路控制(审查)；EN 12834:2002专用短程通信-应用层(审查)；以及EN 13372:2004专用短程通信(DSRC)-用于RTTT应用的DSRC简档(审查)；EN ISO 14906:2004电子收费-应用接口。
在一些实施例中，符合DSRC的GPS单元150可操作以提供描述具有车道级准确度的自我车辆123的位置的GPS数据。例如，自我车辆123在道路的车道中行驶。车道级准确度意味着自我车辆123的位置由GPS数据如此准确地描述，以至于可以基于由符合DSRC的GPS单元150提供的用于该自我车辆123的GPS数据来准确地确定道路内自我车辆123的行驶车道。在一些实施例中，GPS数据是由通信单元145A分别作为基本CPM或补充CPM的元素发送的基本CPM数据193或补充CPM数据196的元素。
在一些实施例中，符合DSRC的GPS单元150包括与GPS卫星无线通信以检索以符合DSRC标准的精度描述自我车辆123的地理位置的GPS数据的硬件。DSRC标准要求GPS数据精确得足以推断两个车辆(其中一个例如是自我车辆123)是否位于相邻的行驶车道中。在一些实施例中，符合DSRC的GPS单元150可操作以在开放天空下在68％的时间内在其实际位置的1.5米内识别、监视和跟踪其二维位置。由于行驶车道通常不小于3米宽，因此在GPS数据的二维误差小于1.5米的任何时候，本文描述的感知系统199都可以分析由符合DSRC的GPS单元150提供的GPS数据，并基于同时在道路上行驶的两个或更多个不同车辆(其中一个例如是自我车辆123)的相对位置来确定自我车辆123在哪个车道中行驶。
与符合DSRC的GPS单元150相比，不符合DSRC标准的传统GPS单元不能以车道级准确度确定自我车辆123的位置。例如，典型的道路车道约3米宽。但是，传统的GPS单元仅具有相对于自我车辆123的实际位置加或减10米的准确度。因此，这种传统的GPS单元不足以仅基于GPS数据准确地识别自我车辆123的行驶车道；相反，仅具有传统GPS单元的系统必须利用诸如相机之类的传感器来识别自我车辆的123的行驶车道。识别车辆的行驶车道是有益的，例如，因为它导致更准确的LDM数据192并减少与诸如行人之类的物体的碰撞。
在一些实施例中，自我车辆123可以包括传感器集合184A。传感器集合184A包括可操作以测量自我车辆123外部的物理环境的一个或多个传感器。例如，传感器集合184A可以包括记录自我车辆123附近的物理环境的一个或多个物理特性的一个或多个传感器。存储器127可以存储描述由传感器集合184A记录的一个或多个物理特性的传感器数据191。传感器数据191存储在存储器127中。传感器数据191在图2中被描绘为存储在计算机系统200的存储器227中。在一些实施例中，符合DSRC的GPS单元150是传感器集合184A的元件。
在一些实施例中，自我车辆123的传感器集合184A可以包括以下车辆传感器当中的一个或多个：时钟；网络流量嗅探器；相机；LIDAR传感器；雷达传感器；激光高度计；红外检测器；运动检测器；自动调温器；声音检测器，一氧化碳传感器；二氧化碳传感器；氧气传感器；质量空气流量传感器；发动机冷却液温度传感器；节气门位置传感器；曲轴位置传感器；汽车引擎传感器；阀门定时器；空气-燃料比计；盲点仪；路缘试探器；缺陷检测器；霍尔效应传感器；歧管绝对压力传感器；停车传感器；雷达枪；速度计；速度传感器；胎压监测传感器；扭矩传感器；传动液温度传感器；涡轮速度传感器(TSS)；可变磁阻传感器；车速传感器(VSS)；水传感器；轮速传感器；以及任何其它类型的汽车传感器。
在一些实施例中，传感器集合184A包括构建基本CPM数据193、补充CPM数据196和感知数据197中的一个或多个所必需的任何传感器。
通信单元145向网络105或另一个通信信道发送数据以及从网络105或另一个通信信道接收数据。在一些实施例中，通信单元145可以包括DSRC收发器、DSRC接收器以及使自我车辆123成为配备DSRC的设备所必需的其它硬件或软件。
在一些实施例中，通信单元145包括用于直接物理连接到网络105或另一个通信信道的端口。例如，通信单元145包括用于与网络105进行有线通信的USB、SD、CAT-5或类似端口。在一些实施例中，通信单元145包括用于使用一种或多种无线通信方法与网络105或其它通信信道交换数据的无线收发器，该一种或多种无线通信方法包括：IEEE 802.11；IEEE802.11p；IEEE 802.16；
Figure GDA0002694129210000201
EN ISO 14906:2004电子收费-应用接口；EN11253:2004专用短程通信-使用5.8GHz微波的物理层(审查)；EN 12795:2002专用短程通信(DSRC)-DSRC数据链路层：介质访问和逻辑链路控制(审查)；EN 12834:2002专用短程通信-应用层(审查)；EN13372:2004专用短程通信(DSRC)-用于RTTT应用的DSRC简档(审查)；于2014年8月28日提交且标题为“Full-Duplex Coordination System”的美国专利申请14/471,387中描述的通信方法；或另一种合适的无线通信方法。
在一些实施例中，通信单元145包括全双工协调系统，如2014年8月28日提交且标题为“Full-Duplex Coordination System”的美国专利申请14/471,387中所描述的，该申请的全部内容通过引用并入本文。
在一些实施例中，通信单元145包括蜂窝通信收发器，用于通过蜂窝通信网络发送和接收数据，包括经由短消息服务(SMS)、多媒体消息服务(MMS)、超文本传输协议(HTTP)、直接数据连接、WAP、电子邮件或另一种合适类型的电子通信。在一些实施例中，通信单元145包括有线端口和无线收发器。通信单元145还提供到网络105的其它常规连接，以使用包括TCP/IP、HTTP、HTTPS、SMTP、mmWave、DSRC等在内的标准网络协议来分发文件或媒体对象。
在一些实施例中，通信单元145包括V2X无线电装置146A。V2X无线电装置146A是包括发送器和接收器的硬件单元，其可操作以经由任何V2X协议发送和接收无线消息。例如，V2X无线电装置146A包括发送和接收以下类型的V2X消息当中的一个或多个所需的任何硬件和软件：802.11p；DSRC；LTE；mmWave通信；3G；4G；5G；LTE-V2X；LTE-V2V；LTE-D2D；5G-V2X；ITS-G5；ITS-Connect；VoLTE；TV白频段、LPWAN、可见光通信、以及此处列出的V2X通信协议中的一个或多个的任何衍生物或分支。
在一些实施例中，V2X无线电装置146A是包括多个信道的多信道V2X无线电装置。在一些实施例中，信道中的一些信道可操作以经由第一V2X协议发送和接收V2X消息，而信道中的一些信道可操作以经由第N V2X协议发送和接收V2X消息(其中“N”表示任何大于一的正整数)。
在一些实施例中，V2X无线电装置146A是DSRC无线电装置。例如，V2X无线电装置146A可操作以经由DSRC发送和接收无线消息。V2X发送器可操作以通过5.9GHz频带发送和广播DSRC消息。V2X接收器可操作以通过5.9GHz频带接收DSRC消息。V2X无线电装置包括七个信道(例如，DSRC信道号172、174、176、178、180、182和184A)，其中这些信道中的至少一个被预留用于发送和接收BSM(例如，DSRC信道号172被预留用于BSM)。在一些实施例中，这些信道中的至少一个被预留用于发送和接收行人安全消息(如果是单数，那么是“PSM”，或者如果是复数，那么是“PSMs”)，如2017年10月27日提交且标题为“PSM Message-basedDevice Discovery for a Vehicular Mesh Network”的美国专利申请No.15/796,296中所描述的，该申请的全部内容通过引用并入本文。在一些实施例中，DSRC信道号172被预留用于发送和接收PSM。
在一些实施例中，V2X无线电装置146A包括非瞬态存储器，该非瞬态存储器存储控制用于广播BSM消息的频率的数字数据。在一些实施例中，非瞬态存储器存储用于自我车辆123的GPS数据的缓冲版本，使得用于自我车辆123的GPS数据作为由V2X无线电装置146A定期广播的BSM的元素被广播。BSM可以由V2X无线电装置146A通过各种V2X协议广播，而不仅仅是通过DSRC广播。
在一些实施例中，V2X无线电装置146A包括使自我车辆123符合DSRC标准所必需的任何硬件或软件。在一些实施例中，符合DSRC的GPS单元150是V2X无线电装置146A的元件。
电子显示器140包括任何类型的电子显示设备，包括例如以下当中的一个或多个：自我车辆123的仪表计(dash meter)显示器；自我车辆123的平视显示单元(HUD)；自我车辆123的增强现实(AR)显示或观看设备；以及自我车辆123的头戴式单元。在2017年5月23日提交且标题为“Providing Traffic Mirror Content to a Driver”的美国专利申请号15/603,086中描述了合适的HUD和AR观看设备的示例，该申请的全部内容通过引用并入本文。在2017年5月9日提交且标题为“Augmented Reality for Vehicle Lane Guidance”的美国专利申请号15/591,100中描述了合适的HUD和AR观看设备的另一个示例，该申请的全部内容通过引用并入本文。在一些实施例中，电子显示器140描绘描述已经被错误感知并且在补充CPM中描述的物体的图形数据，使得驾驶员可以采取补救动作以避免与物体的碰撞。
处理器125包括算术逻辑单元、微处理器、通用控制器或某种其它处理器阵列，以执行计算并向显示设备提供电子显示信号。处理器125处理数据信号并且可以包括各种计算体系架构，包括复杂指令集计算机(CISC)体系架构、精简指令集计算机(RISC)体系架构或实现指令集的组合的体系架构。自我车辆123可以包括一个或多个处理器125。其它处理器、操作系统、传感器、显示器和物理配置也是可能的。
存储器127是非瞬态存储器，其存储可由处理器125访问和执行的指令或数据。指令或数据可以包括用于执行本文描述的技术的代码。存储器127可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存或某种其它存储器设备。在一些实施例中，存储器127还包括非易失性存储器或类似的永久存储设备和介质，包括硬盘驱动器、软盘驱动器、CD-ROM设备、DVD-ROM设备、DVD-RAM设备、DVD-RW设备、闪存设备或用于更永久地存储信息的某种其它大容量存储设备。可以预留存储器127的一部分以用作缓冲区或虚拟随机存取存储器(虚拟RAM)。自我车辆123可以包括一个或多个存储器127。
自我车辆123的存储器127存储以下类型的数字数据中的一个或多个：传感器数据191；LDM数据192；基本CPM数据193；补充CPM数据集194；基本CPM数据集195；补充CPM数据196；以及感知数据197。
虽然未在图1B中绘出，但是在一些实施例中，存储器127存储经由网络105从其它车辆端点接收的一个或多个基本CPM和一个或多个补充CPM。
在一些实施例中，存储器127存储本文描述的任何数据作为数字数据。在一些实施例中，存储器127存储感知系统199提供其功能所必需的任何数据。
传感器数据191是描述由传感器集合184A捕获的测量结果和图像的数字数据。
基本CPM数据193是基本CPM的有效载荷。基本CPM数据193是描述关于包括自我车辆123和远程车辆124(或多个远程车辆124)的道路环境的粗粒度信息的数字数据。特别地，由基本CPM数据193描述的粗粒度信息包括以下当中的一个或多个：由感知系统识别出的道路环境内的物体的唯一标识符；这些物体的位置；每个物体的分类(例如，物体是行人、汽车、卡车、货车、建筑物、标志、坑洼等吗)；以及分类正确的置信度值。
在一些实施例中，感知系统199的代码和例程包括物体识别器、分类器以及生成基本CPM数据193并构建基本CPM所需的其它软件。
在一些实施例中，远程车辆124中的每一个以及自我车辆123基于如从它们自己的位置和传感器视角记录的它们自己的(由传感器数据191描述的)传感器测量值构建它们自己的基本CPM数据193。这些车辆端点中的每一个的感知系统199接收经由802.11p或DSRC广播的基本CPM，并使用它们来构建基本CPM数据集195。基本CPM数据集195是存储从每个远程车辆124接收的基本CPM数据193以及由自我车辆123的感知系统199记录的基本CPM数据193的数据结构。
自我车辆的感知系统199分析(1)基本CPM数据集195和(2)基于其自己的传感器数据191生成的自我车辆自己的基本CPM数据193。自我车辆123自己的基本CPM数据193描述由自我车辆123的传感器集合184A感知和识别出的物体，并且存储在基本CPM数据集195中的数字数据描述由一个或多个远程车辆124感知和识别出的物体。基于这个分析，感知系统199为发送由自我车辆123接收的基本CPM的远程车辆124中的每一个识别远程车辆124已经错误感知的物体。错误感知的物体是远程车辆124：未检测到的；错误分类的；或者以其它方式感知不佳的物体。基于这个分析，自我车辆123的感知系统199确定感知数据197。感知数据197是描述以下各项的数字数据：(1)哪些远程车辆124错误感知至少一个物体；(2)对于已经错误感知至少一个物体的每个远程车辆124，它们已经错误感知的物体。
在一些实施例中，自我车辆的感知系统199然后分析感知数据197并为已经错误感知至少一个物体的每个远程车辆构建补充CPM。补充CPM是包括补充CPM数据196的电子消息。补充CPM数据196是数字数据，该数字数据描述关于道路环境的细粒度信息，该细粒度信息是基于特定远程车辆124已经错误感知的物体而为特定远程车辆124定制构建的。例如，补充CPM数据196描述特定远程车辆124已经错误感知的物体的3D占用网格图。补充CPM数据196超过1087字节(这是DSRC和802.11p的示例有效载荷限制)并且不能经由DSRC或802.11p发送。相反，补充CPM经由mmWave(或具有大于1087字节并且足以包括补充CPM数据196的有效载荷的某种其它消息格式)单播到自我车辆123的感知系统199在构建补充CPM数据196时考虑的特定远程车辆124。
在一些实施例中，发送包括补充CPM数据196的补充CPM所需的最小有效载荷大于1087字节并且小于或等于2304字节(包括用于补充CPM的报头和安全开销)。在一些实施例中，发送包括基本CPM数据193的基本CPM所需的最小有效载荷大于1087字节并且小于或等于2304字节，这包括基本CPM的报头和安全开销。在一些实施例中，发送CPM的限制是DSRC的信道容量；因而，这里描述的基本CPM和补充CPM被配置为不满足或超过DSRC的信道容量。
在一些实施例中，道路环境内的所有远程车辆124都完成将补充CPM发送到相邻车辆(诸如自我车辆123和其它远程车辆124)的处理，使得这些车辆中的每一个都接收包括其感知系统随后可以考虑的补充CPM数据196的补充CPM消息集合。在一些实施例中，自我车辆的感知系统199基于它从远程车辆124接收的补充CPM来构建补充CPM数据集194。补充CPM数据集194是存储包括在自我车辆123从远程车辆124接收的补充CPM中的补充CPM数据196的数据结构。
在一些实施例中，自我车辆123和远程车辆124各自存储它们自己的LDM数据192的实例。LDM数据192是描述LDM的数字数据。LDM描述包括自我车辆123和远程车辆124的道路环境内的(1)静态物体和(2)动态物体两者的位置、前进方向、路径历史和分类。例如，由LDM数据192描述的LDM描述以下当中的一个或多个：静态物体和动态物体的地理位置；静态物体和动态物体的前进方向；静态物体和动态物体的路径历史；以及静态物体和动态物体的分类。分类包括例如描述包括在LDM中的特定物体的“类型”或“类别”的数字数据。例如，物体类型或类别是以下当中的一个或多个：行人；车辆；自行车；动物；坑洞；灯；标志；路缘；中央隔离带；铁路；道路碎片；得来速(drive through)；交叉路口；入口匝道；出口匝道；出口；以及某种其它类型或类别的道路物体。感知系统199基于它接收到的补充CPM消息集以及这些消息包含的补充CPM数据196来更新本地存储的LDM(即，更新LDM数据192)。以这种方式，感知系统199有利地使这些车辆端点能够更准确地感知其环境及其在环境中的位置。
V2X无线电装置146A是包括各种类型的V2X无线电信道的多信道V2X无线电装置，并且因此可以发送和接收各种类型的V2X通信。
在一些实施例中，感知系统199包括当由处理器125执行时可操作以使处理器125执行图3中描绘的方法300的一个或多个步骤或下面参考图5描述的处理流程500的一个或多个步骤的软件。感知系统199包括当由处理器125执行时可操作以使处理器125执行下面参考图6描述的TTC分析699的软件。
在一些实施例中，感知系统199使用包括现场可编程门阵列(“FPGA”)或专用集成电路(“ASIC”)的硬件来实现。在一些其它实施例中，使用硬件和软件的组合来实现感知系统199。
远程车辆124包括与自我车辆123类似的元件，因此，这里将不再重复那些描述。例如，远程车辆124包括以下元件当中的一个或多个：感知系统199；传感器集合184B以及包括V2X无线电装置146B的通信单元145B。远程车辆124的感知系统199提供与自我车辆123的感知系统199相同的功能，因此这里将不再重复描述。远程车辆124的传感器集合184B提供与自我车辆123的传感器集合184A相同的功能，因此这里将不再重复描述。远程车辆124的通信单元145B和V2X无线电装置146B提供与自我车辆123的通信单元145A和V2X无线电装置146A相同的功能，因此这里将不再重复那些描述。
虽然未在图1B中绘出，但是在一些实施例中，远程车辆124包括自我车辆123的元件中的一个或多个。例如，远程车辆124包括以下当中的一个或多个：车载单元126；处理器125；存储器127；ADAS系统集合180；符合DSRC的GPS单元150；以及电子显示器140。
远程车辆124的感知系统199向远程车辆124提供与自我车辆123的感知系统199提供给自我车辆123的功能相同的功能，因此这里将不再重复描述。
RSU 122包括智能电话、平板计算机、个人计算机、路边单元或包括诸如通信单元145A之类的通信单元的某个其它基于处理器的计算设备。在一些实施例中，RSU 122是配备DSRC的设备。例如，RSU 122可操作以接收V2X消息并将这些消息中继到其它连接的设备，诸如自我车辆123和远程车辆124。以这种方式，RSU 122可以将V2X消息中继到否则将在发送V2X消息的端点的传输范围之外的端点。
如所绘出的，RSU 122包括以下元件：感知系统199；传感器集合184C；包括V2X无线电装置146C的通信单元145C。
RSU 122的传感器集合184C提供与自我车辆123的传感器集合184A相同的功能，因此这里将不再重复描述。RSU 122的通信单元145C和V2X无线电装置146C提供与自我车辆123的通信单元145A和V2X无线电装置146A相同或相似的功能，因此这里将不再重复那些描述。RSU 122的感知系统199提供与自我车辆123的传感器集合184A相同的功能，因此这里将不再重复描述。
示例计算机系统
现在参考图2，描绘示出根据一些实施例的、包括感知系统199的示例计算机系统200的框图。在一些实施例中，计算机系统200可以包括专用计算机系统，该专用计算机系统被编程为执行下面参考图3描述的方法300的一个或多个步骤或者下面参考图5描述的处理流程500的一个或多个步骤。在一些实施例中，计算机系统200可操作以执行感知系统199，这使得计算机系统200执行下面参考图6描述的TTC分析699。
在一些实施例中，计算机系统200是诸如自我车辆123或远程车辆124之类的车辆的车载车辆计算机。在一些实施例中，计算机系统200是自我车辆123或远程车辆124的车载单元。在一些实施例中，计算机系统200是自我车辆123或远程车辆124的ECU、头部单元或某个其它基于处理器的计算设备。
根据一些示例，计算机系统200包括以下元件当中的一个或多个：感知系统199；处理器225；通信单元245；存储器227；符合DSRC的GPS单元250；电子显示器240；和ADAS系统集合280。计算机系统200的部件通过总线220通信耦接。
在所示实施例中，处理器125经由信号线238通信耦接到总线220。通信单元245经由信号线226通信耦接到总线220。存储器127经由信号线242通信耦接到总线220。传感器集合284经由信号线244通信耦接到总线220。符合DSRC的GPS单元150经由信号线228通信耦接到总线220。电子显示器240经由信号线246通信耦接到总线220。ADAS系统集合280经由信号线247通信耦接到总线220。
处理器225提供与上面参考图1B描述的处理器125类似的功能，因此这里将不再重复描述。通信单元245提供与上面参考图1B描述的通信单元145类似的功能，因此这里将不再重复描述。存储器227提供与上面参考图1B描述的存储器127类似的功能，因此这里将不再重复描述。传感器集合284提供与上面参考图1B描述的传感器集合184类似的功能，因此这里将不再重复描述。符合DSRC的GPS单元250提供与上面参考图1B描述的符合DSRC的GPS单元150类似的功能，因此这里将不再重复描述。电子显示器240提供与上面参考图1B描述的电子显示器140类似的功能，因此这里将不再重复描述。ADAS系统集合280提供与上面参考图1B描述的ADAS系统集合180类似的功能，因此这里将不再重复描述。
存储器227可以存储上面参考图1A和图1B或下面参考图2-图6描述的任何数据。存储器227可以存储让计算机系统200提供其功能所需的任何数据。
在图2中示出的所示实施例中，感知系统199包括：通信模块202；以及确定模块204。
通信模块202可以是包括用于处理感知系统199与图1B的操作环境100的其它部件之间的通信的例程的软件。
在一些实施例中，通信模块202可以是指令集，该指令集可由处理器225执行以提供下面描述的用于处理感知系统199与计算机系统200的其它部件之间的通信的功能。在一些实施例中，通信模块202可以存储在计算机系统200的存储器227中，并且可以由处理器225访问和执行。通信模块202可以适于经由信号线222与处理器225和计算机系统200的其它部件进行合作和通信。
通信模块202经由通信单元245向操作环境100的一个或多个元件发送数据和从操作环境100的一个或多个元件接收数据。例如，通信模块202经由通信单元245接收或发送存储在存储器227上的数字数据的一些或全部。通信模块202可以经由通信单元245发送或接收上面参考图1B或下面参考图2-图6描述的任何数字数据或消息。
在一些实施例中，通信模块202从感知系统199的部件接收数据并将数据存储在存储器227(或者存储器227的缓冲区或高速缓存，或者图2中未绘出的独立缓冲区或高速缓存)中。例如，通信模块202从通信单元245接收基本CPM数据193，并将基本CPM数据193存储在存储器227的基本CPM数据集195中。
在一些实施例中，通信模块202可以处理感知系统199的部件之间的通信。
确定模块204可以是包括用于执行下面参考图3描述的方法300的一个或多个步骤的例程的软件。在一些实施例中，确定模块204可以是包括用于执行下面参考图5描述的处理流程500的步骤的例程的软件。在一些实施例中，确定模块204可以是包括用于提供下面参考图6描述的分析699的例程的软件。
在一些实施例中，确定模块204可以存储在计算机系统200的存储器227中，并且可以由处理器225访问和执行。确定模块204可以适于经由信号线224与处理器225和计算机系统200的其它部件合作和通信。
下面参考图5和图6更详细地描述确定模块204。
示例方法
现在参考图3，描绘根据一些实施例的、用于让感知系统199使用多级混合V2V通信在两个或更多个连接的车辆之间提供协同感知的方法300。方法300的步骤可以以任何次序执行，并且不一定是图3中描绘的次序。
在步骤301处，远程车辆的感知系统使用802.11p或DSRC周期性地发送基本CPM。基本CPM包括基本CPM数据。基本CPM数据是描述由远程车辆的感知系统感知到的所有物体的粗粒度信息(即，位置、物体类型和关于位置或物体类型确定的置信度值)的数字数据。基本CPM数据由远程车辆的感知系统专门配置，使得它不超过被限制为1087字节的802.11p或DSRC的有效载荷限制。
在步骤303处，自我车辆接收基本CPM。
在步骤305处，自我车辆的感知系统分析在步骤303处从远程车辆接收的基本CPM中包括的基本CPM数据和自我车辆自己的感知数据。基于这个分析，自我车辆的感知系统识别与远程车辆相关但未被远程车辆检测到、被远程车辆错误分类或以其它方式感知不佳的选定物体。例如，如果远程车辆在与物体碰撞的路径上并且碰撞时间低于预定义时间阈值，那么该物体是相关的。在一些实施例中，步骤305包括图6中描绘的TTC分析699。在一些实施例中，时间阈值由存储在自我车辆的存储器上的阈值数据描述。
在步骤307处，自我车辆的感知系统生成补充CPM数据。补充CPM数据是数字数据，其描述基于远程车辆已经错误感知的选定物体为远程车辆定制构建的关于道路环境的细粒度信息。在一些实施例中，补充CPM数据包括三维占用网格图，其包括选定物体和选定物体周围的区域。
在步骤309处，自我车辆的感知系统将补充CPM发送到远程车辆。补充CPM是经由mmWave而不是DSRC发送的，因为802.11p和DSRC的有效载荷限制不允许经由802.11p或DSRC发送细粒度信息。
参考图4A，描绘了示出根据一些实施例的基本CPM的传输范围和补充CPM的传输范围的框图。如所描绘的，取决于诸如障碍物的存在以及地形是城市还是乡村之类的变量(增加的障碍物降低传输范围)，经由802.11p或DSRC发送的基本CPM的传输范围大约为300米到1000米。取决于诸如障碍物的存在以及地形是城市还是乡村之类的变量(增加的障碍物降低传输范围)，经由mmWave发送的补充CPM的传输范围大约为30米到100米。
参考图4B，描绘了示出根据一些实施例的基本CPM和补充CPM的属性的表401。缩写“Mb/s”指的是兆字节每秒。缩写“Gb/s”指的是千兆字节每秒。
现在参考图5，描绘了根据一些实施例的、由感知系统199的确定模块204实现的处理流程500。处理流程500包括确定模块204和V2X无线电装置146A。所描绘的实施例假设处理流程500由自我车辆的感知系统199执行，但是这不是限制性的。在一些实施例中，处理流程由远程车辆的感知系统执行。
如所描绘的，确定模块204包括编码器(基本层)502、解码器(基本层)503、编码器(补充层)504和解码器(补充层)505。V2X无线电装置146A包括：网络接口(基本层)506和网络接口(补充层)507。
在一些实施例中，编码器(基本层)502包括代码和例程，当由处理器执行时，该代码和例程可操作以接收515自我车辆本地生成的基本CPM数据并从该基本CPM数据编码基本CPM，然后使得516网络接口(基本层)506广播基本CPM。网络接口(基本层)506是V2X无线电装置146A的接口，其负责发送和接收基本CPM。
在一些实施例中，解码器(基本层)503包括代码和例程，当由处理器执行时，该代码和例程可操作以接收510由远程车辆发送的基本CPM并从该基本CPM解码包括在基本CPM中的基本CPM数据，然后将来自该基本CPM的基本CPM数据存储514在LDM数据192中。以这种方式，根据一些实施例，由LDM数据192描述的LDM由确定模块204更新。
在一些实施例中，编码器(补充层)504包括代码和例程，当由处理器执行时，该代码和例程可操作以：(1)接收511描述由远程车辆感知到的物体的基本CPM数据；(2)接收512自我车辆本地生成的基本CPM数据，该基本CPM数据描述由自我车辆感知到的物体；(3)基于这些输入，确定由与基本CPM数据(即，接收511的基本CPM数据)提供的远程车辆相关并且被该远程车辆错误感知的物体；(4)基于这些错误感知的物体，生成补充CPM数据；(5)生成包括补充CPM数据的补充CPM；(6)使得513网络接口(补充层)将补充CPM单播到由基本CPM数据(即，接收511的基本CPM数据)提供的远程车辆。网络接口(补充层)507是V2X无线电装置146A的接口，其负责发送和接收补充CPM。
在一些实施例中，解码器(补充层)505包括代码和例程，当由处理器执行时，该代码和例程可操作以接收517由一个或多个远程车辆发送的一个或多个补充CPM并从这些基本CPM解码包括在这些基本CPM中的基本CPM数据，然后将来自这些基本CPM的基本CPM数据存储518在LDM数据192中。以这种方式，根据一些实施例，由LDM数据192描述的LDM由确定模块204更新。
现在参考图6，描绘了示出根据一些实施例的、由感知系统提供的示例TTC分析699的框图。
图6描绘了包括物体“j”699、远程车辆“i”624和自我车辆623的交叉路口666。图6中描绘的物体“j”699是行人，但实际上物体是道路环境中存在的任何有形物体。
远程车辆“i”624提供与上面针对图1B描述的远程车辆124类似的功能，因此这里将不再重复描述。自我车辆623提供与上面针对图1B描述的自我车辆123类似的功能，因此这里将不再重复描述。
自我车辆623包括具有感知物体“j”601的自我车辆传感器覆盖范围163的车载传感器。远程车辆“i”624没有感知到物体“j”601。远程车辆“i”624与物体“j”601分开距离“Dij”。远程车辆“i”624以速度vi行驶。物体“j”601以速度vj行进。分析699确定远程车辆“i”624将与物体“j”601碰撞的碰撞时间。如果这个时间低于时间阈值，那么自我车辆623的感知系统确定物体“j”601与远程车辆“i”624相关。参见例如图3所描绘的方法300的步骤305。
在以上描述中，出于解释的目的，阐述了许多具体细节以便提供对说明书的透彻理解。但是，对于本领域技术人员将明显的是，可以在没有这些具体细节的情况下实践本公开。在一些实例中，结构和设备以框图形式示出，以避免模糊描述。例如，以上主要参考用户界面和特定硬件来描述本实施例。但是，本实施例可以应用于可以接收数据和命令的任何类型的计算机系统，以及提供服务的任何外围设备。
说明书中对“一些实施例”或“一些实例”的引用意味着结合实施例或实例描述的特定特征、结构或特点可以包括在描述的至少一个实施例中。在说明书中各处出现的短语“在一些实施例中”不一定都指的是相同的实施例。
以下详细描述的一些部分是依据对计算机存储器内的数据位的操作的算法和符号表示来呈现的。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域其他技术人员的手段。在这里，并且一般而言，算法被认为是导致期望结果的自相一致的步骤序列。这些步骤是需要对物理量的物理操纵的步骤。通常，虽然不是必须，这些量采用能够被存储、传送、组合、比较和以其它方式操纵的电信号或磁信号的形式。有时，主要出于通用的原因，已经证明将这些信号称为位、值、元素、符号、字符、项、数字等是方便的。
但是，应当记住的是，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非具体地陈述或者以其它方式从以下讨论中明显的，否则应认识到的是，贯穿本描述，利用包括“处理”或“计算”或“确定”或“显示”等术语进行的讨论指的是计算机系统或类似电子计算设备将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵和转换成类似地表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示设备内的物理量的其它数据的动作和处理。
本说明书的当前实施例还可以涉及用于执行本文的操作的装置。这个装置可以为所需目的而专门构造，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可以存储在计算机可读存储介质中，包括但不限于任何类型的盘，包括各自耦接到计算机系统总线的软盘、光盘、CD-ROM和磁盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、包括具有非易失性存储器的USB密钥的闪存、或适于存储电子指令的任何类型的介质。
说明书可以采取一些完全硬件的实施例、一些完全软件的实施例或包含硬件和软件元素两者的一些实施例的形式。在一些优选实施例中，说明书以软件实现，其包括但不限于固件、驻留软件、微代码等。
此外，描述可以采取可从计算机可用或计算机可读介质访问的计算机程序产品的形式，该计算机可用或计算机可读介质提供由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的程序代码。出于本描述的目的，计算机可用或计算机可读介质可以是可以包含、存储、传送、传播或传输程序以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的任何装置。
适于存储或执行程序代码的数据处理系统将包括直接或通过系统总线间接耦接到存储器元件的至少一个处理器。存储器元件可以包括在程序代码的实际执行期间被采用的本地存储器、大容量存储装置和高速缓存存储器，其中高速缓存存储器提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储装置检索代码的次数。
输入/输出或I/O设备(包括但不限于键盘、显示器、定点设备等)可以直接或通过中间I/O控制器耦接到系统。
网络适配器也可以耦接到系统，以使数据处理系统能够通过中间私有或公共网络耦接到其它数据处理系统或远程打印机或存储设备。调制解调器、线缆调制解调器和以太网卡只是当前可用类型的网络适配器中的一部分。
最后，本文呈现的算法和显示并不固有地与任何特定计算机或其它装置相关。根据本文的教导，各种通用系统可以与程序一起使用，或者可以证明构造更专用的装置以执行所需的方法步骤是方便的。从下面的描述中可以看出各种这些系统所需的结构。此外，没有参考任何特定的编程语言描述本说明书。将认识到的是，可以使用各种编程语言来实现如本文描述的说明书的教导。
已经出于说明和描述的目的呈现了本说明书实施例的前面的描述。其并非旨在是详尽的或将说明书限制到所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。意图是本公开的范围不受本具体实施方式的限制，而是受本申请的权利要求书的限制。如本领域技术人员将理解的，在不脱离本发明的精神或基本特点的情况下，本说明书可以以其它具体形式实施。同样，模块、例程、特征、属性、方法和其它方面的特定命名和划分不是强制性的或重要的，并且实现说明书或其特征的机制可以具有不同的名称、划分或格式。此外，如对于相关领域的普通技术人员将明显的，本公开的模块、例程、特征、属性、方法和其它方面可以被实现为软件、硬件、固件或这三者的任意组合。而且，在说明书的部件(其示例是模块)被实现为软件的任何地方，该部件可以被实现为独立程序、实现为更大程序的一部分、实现为多个单独的程序、实现为静态或动态链接库、实现为内核可加载模块、实现为设备驱动程序、或以现在或将来对计算机编程领域的普通技术人员已知的每种和任何其它方式实现。此外，本公开绝不以任何方式限于以任何特定编程语言或者针对任何特定操作系统或环境的实施例。因而，本公开旨在说明而非限制本说明书的范围，本说明书的范围在以下权利要求中阐述。

Claims (20)

1.一种用于在连接的车辆间提供协同感知的方法，包括：
由自我车辆的车辆到一切V2X无线电装置接收由远程车辆发送的基本协同感知消息CPM，其中所述基本CPM包括描述远程车辆的远程车载传感器集合感知到的物体的基本CPM数据；
基于基本CPM数据和自我车辆的本地车载传感器集合感知到的物体集合，确定远程车辆的远程车载传感器集合错误感知了选定物体并且远程车辆在与所述选定物体发生碰撞的路线上；以及
通过使用与用于接收基本CPM不同的V2X协议，由自我车辆的V2X无线电装置向远程车辆发送补充CPM，所述补充CPM包括描述远程车辆的远程车载传感器集合错误感知的选定物体的补充CPM数据，使得向远程车辆警告所述选定物体的存在。
2.如权利要求1所述的方法，其中经由广播的802.11p消息接收所述基本CPM。
3.如权利要求1所述的方法，其中经由被单播到远程车辆的毫米波消息发送所述补充CPM。
4.如权利要求1所述的方法，其中所述基本CPM的传输范围基本上为300米。
5.如权利要求1所述的方法，其中所述补充CPM的传输范围基本上为30米。
6.如权利要求1所述的方法，其中所述方法由自我车辆的车载车辆计算机执行。
7.如权利要求1所述的方法，其中所述基本CPM数据描述所述远程车辆的远程车载传感器集合感知到的每个物体。
8.一种用于在连接的车辆间提供协同感知的系统，包括：
处理器，所述处理器通信耦接到存储计算机代码的非瞬态存储器，所述计算机代码在由所述处理器执行时能够操作以使所述处理器：
由自我车辆的车辆到一切V2X无线电装置接收由远程车辆发送的基本协同感知消息CPM，其中所述基本CPM包括描述远程车辆的远程车载传感器集合感知到的物体的基本CPM数据；
基于基本CPM数据和自我车辆的本地车载传感器集合感知到的物体集合，确定远程车辆的远程车载传感器集合错误感知了选定物体并且远程车辆在与所述选定物体发生碰撞的路线上；以及
通过使用与用于接收基本CPM不同的V2X协议，由自我车辆的V2X无线电装置向远程车辆发送补充CPM，所述补充CPM包括描述远程车辆的远程车载传感器集合错误感知的选定物体的补充CPM数据，使得向远程车辆警告所述选定物体的存在。
9.如权利要求8所述的系统，其中经由广播的802.11p消息接收所述基本CPM。
10.如权利要求8所述的系统，其中经由被单播到远程车辆的毫米波消息发送所述补充CPM。
11.如权利要求8所述的系统，其中所述基本CPM的传输范围基本上为300米。
12.如权利要求8所述的系统，其中所述补充CPM的传输范围基本上为30米。
13.如权利要求8所述的系统，其中所述处理器是自我车辆的车载车辆计算机的元件。
14.如权利要求8所述的系统，其中所述远程车辆是自己操作而无需人类干预的高度自动的车辆，并且所述远程车辆基于补充CPM数据修改其操作，使得与物体的碰撞不会发生。
15.一种其上存储有程序指令的计算机可读介质，所述程序指令当由一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
由自我车辆的车辆到一切V2X无线电装置接收由远程车辆发送的基本协同感知消息CPM，其中所述基本CPM包括描述远程车辆的远程车载传感器集合感知到的物体的基本CPM数据；
基于基本CPM数据和自我车辆的本地车载传感器集合感知到的物体集合，确定远程车辆的远程车载传感器集合错误感知了选定物体并且远程车辆在与所述选定物体发生碰撞的路线上；以及
通过使用与用于接收基本CPM不同的V2X协议，由自我车辆的V2X无线电装置向远程车辆发送补充CPM，所述补充CPM包括描述远程车辆的远程车载传感器集合错误感知的选定物体的补充CPM数据，使得向远程车辆警告所述选定物体的存在。
16.如权利要求15所述的计算机可读介质，其中经由广播的802.11p消息接收所述基本CPM。
17.如权利要求15所述的计算机可读介质，其中经由被单播到远程车辆的毫米波消息发送所述补充CPM。
18.如权利要求15所述的计算机可读介质，其中所述基本CPM的传输范围基本上为300米。
19.如权利要求15所述的计算机可读介质，其中所述补充CPM的传输范围基本上为30米。
20.如权利要求15所述的计算机可读介质，其中自我车辆和远程车辆中的一个或多个是自己操作而无需人类干预的高度自动的车辆。
CN201910304160.8A 2018-04-20 2019-04-16 用于在连接的车辆间提供协同感知的方法、系统和计算机可读介质 Active CN110392336B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/958,969 2018-04-20
US15/958,969 US10789848B2 (en) 2018-04-20 2018-04-20 Multi-level hybrid vehicle-to-anything communications for cooperative perception

Publications (2)

Publication Number Publication Date
CN110392336A CN110392336A (zh) 2019-10-29
CN110392336B true CN110392336B (zh) 2021-03-16

Family

ID=66439860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910304160.8A Active CN110392336B (zh) 2018-04-20 2019-04-16 用于在连接的车辆间提供协同感知的方法、系统和计算机可读介质

Country Status (4)

Country Link
US (1) US10789848B2 (zh)
EP (1) EP3557893B1 (zh)
JP (1) JP6844642B2 (zh)
CN (1) CN110392336B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11235776B2 (en) * 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement
GB201907461D0 (en) * 2019-05-27 2019-07-10 Canon Res Centre France Communication methods and devices in intelligent transport systems
US10873840B1 (en) * 2019-07-30 2020-12-22 Continental Teves Ag & Co. Ohg Communication apparatus for vehicle-to-X communication, method and use
EP3783930B1 (en) * 2019-08-22 2022-08-17 Kapsch TrafficCom AG Service station for an intelligent transportation system
KR20190109333A (ko) * 2019-09-05 2019-09-25 엘지전자 주식회사 V2x 메시지를 처리하는 방법 및 장치
US10999719B1 (en) * 2019-12-03 2021-05-04 Gm Cruise Holdings Llc Peer-to-peer autonomous vehicle communication
WO2021118675A1 (en) * 2019-12-12 2021-06-17 Intel Corporation Vulnerable road user safety technologies based on responsibility sensitive safety
JP2021140470A (ja) * 2020-03-05 2021-09-16 本田技研工業株式会社 情報処理装置、車両、プログラム、及び情報処理方法
JP7463146B2 (ja) * 2020-03-17 2024-04-08 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
CN111431983A (zh) * 2020-03-18 2020-07-17 斑马网络技术有限公司 用于Adasis服务的数据的处理方法、装置及电子设备
EP3896639A1 (en) * 2020-04-16 2021-10-20 Zenuity AB Methods and systems for managing an automated driving system of a vehicle
JP7238850B2 (ja) 2020-05-07 2023-03-14 トヨタ自動車株式会社 自動運転システムおよび自動運転方法
EP3907468A1 (en) * 2020-05-08 2021-11-10 Volkswagen Aktiengesellschaft Vehicle, apparatus, method, and computer program for determining a merged environmental map
CN111652153B (zh) * 2020-06-04 2023-12-22 北京百度网讯科技有限公司 场景自动识别方法、装置、无人车及存储介质
US11659372B2 (en) 2020-07-30 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive sensor data sharing for a connected vehicle
CN114071417A (zh) * 2020-08-06 2022-02-18 索尼公司 用于无线通信的电子设备和方法、计算机可读存储介质
JP7310764B2 (ja) 2020-09-11 2023-07-19 トヨタ自動車株式会社 配車システム、配車サーバ、及び配車方法
US11405762B2 (en) * 2020-09-30 2022-08-02 Ford Global Technologies, Llc Vehicle-to-infrastructure communication control
US11622226B2 (en) * 2020-12-03 2023-04-04 Qualcomm Incorporated Determining an object presence using information from vehicle user equipments
US11804128B2 (en) 2021-03-31 2023-10-31 Honda Motor Co., Ltd. Target classification
AT525387A1 (de) * 2021-08-31 2023-03-15 Tom Robotics Gmbh Verteilungsverfahren für ein vertellen von objektdaten von verkehrsteilnehmern erfasster objekte
US20230095194A1 (en) * 2021-09-30 2023-03-30 AyDeeKay LLC dba Indie Semiconductor Dynamic and Selective Pairing Between Proximate Vehicles
US11651692B2 (en) * 2021-10-07 2023-05-16 Qualcomm Incorporated Presenting relevant warnings to a vehicle operator
WO2023060479A1 (en) * 2021-10-13 2023-04-20 Qualcomm Incorporated Scheduled visible light vehicular transmission
US11915584B2 (en) * 2021-10-27 2024-02-27 GM Global Technology Operations LLC Reverse operation detection systems and methods
US20230154248A1 (en) * 2021-11-17 2023-05-18 Qualcomm Incorporated Misbehavior detection using sensor sharing and collective perception
US20230192117A1 (en) * 2021-12-20 2023-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for sharing sensor data based on criticality
GB2614735A (en) * 2022-01-14 2023-07-19 Canon Kk Improved communication within an intelligent transport system
EP4307269A1 (en) * 2022-01-14 2024-01-17 Canon Kabushiki Kaisha Improved communication within an intelligent transport system
WO2023171371A1 (ja) * 2022-03-09 2023-09-14 株式会社デンソー 通信装置および通信方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799992A (zh) * 2009-02-03 2010-08-11 通用汽车环球科技运作公司 组合的车辆到车辆通信和目标检测感测
CN103733084A (zh) * 2011-05-26 2014-04-16 克朗设备有限公司 用于对工业车辆提供准确定位的方法和设备
CN106470383A (zh) * 2015-08-17 2017-03-01 中兴通讯股份有限公司 车联网信息传输方法、装置及系统
EP3291201A1 (en) * 2016-09-02 2018-03-07 Volvo Car Corporation Method and system for enabling a vehicle to discard non-pertinent road sign information

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4345832B2 (ja) * 2007-03-12 2009-10-14 トヨタ自動車株式会社 道路状況検出システム
JP2008293099A (ja) * 2007-05-22 2008-12-04 Mazda Motor Corp 車両の運転支援装置
JP5088127B2 (ja) * 2007-12-25 2012-12-05 日産自動車株式会社 車載警報装置及び車両用警報方法
JP5022272B2 (ja) * 2008-03-03 2012-09-12 本田技研工業株式会社 走行支援装置
US7994902B2 (en) 2009-02-25 2011-08-09 Southwest Research Institute Cooperative sensor-sharing vehicle traffic safety system
CN103592903B (zh) * 2013-08-18 2015-12-23 北京联合大学 一种汽车智能驾驶测试数据远程监测方法及系统
WO2016147622A1 (ja) 2015-03-18 2016-09-22 日本電気株式会社 運転制御装置、運転制御方法および車車間通信システム
US10068336B1 (en) * 2015-04-20 2018-09-04 Hrl Laboratories, Llc Generic frontal and side doorway detection with line tracking and vanishing point based verification
JP6326004B2 (ja) * 2015-05-11 2018-05-16 株式会社Ｓｕｂａｒｕ 他車位置検出装置
US9723473B2 (en) 2015-10-14 2017-08-01 Toyota Jidosha Kabushiki Kaisha Millimeter wave communication system
US10802494B2 (en) * 2016-02-25 2020-10-13 Nec Corporation Method for motion planning for autonomous moving objects
JP6531698B2 (ja) 2016-04-01 2019-06-19 トヨタ自動車株式会社 接近車両通知装置
DE102016211750B4 (de) * 2016-06-29 2019-06-19 Volkswagen Aktiengesellschaft Verfahren zur spektral-effizienten Ermittlung von kollektiver Umfeld-Information für das kooperative und/oder autonome Fahren, sowie berichtendes Fahrzeug und weiteres Fahrzeug zur Verwendung bei dem Verfahren
US10178531B2 (en) 2016-09-15 2019-01-08 Qualcomm Incorporated Methods and apparatus for efficient sensor data sharing in a vehicle-to-vehicle (V2V) network
US20180149730A1 (en) * 2016-11-26 2018-05-31 Wenhua Li Cognitive MIMO Radar with Multi-dimensional Hopping Spread Spectrum and Interference-Free Windows for Autonomous Vehicles
US10742381B2 (en) * 2017-03-31 2020-08-11 Qualcomm Incorporated Techniques for multiple HARQ transmissions
US11019520B2 (en) * 2017-06-13 2021-05-25 Lg Electronics Inc. Mobile ITS station and method for operating mobile ITS station
US10525845B2 (en) * 2017-07-26 2020-01-07 Ford Global Technologies, Llc Electric vehicle charging station parking spot monitoring system
US10721027B2 (en) * 2017-07-27 2020-07-21 Qualcomm Incorporated Radio vehicle-to-anything negative acknowledgement based multicast
US11757994B2 (en) * 2017-09-25 2023-09-12 Intel Corporation Collective perception messaging for source-sink communication
US10871777B2 (en) * 2017-11-30 2020-12-22 Uatc, Llc Autonomous vehicle sensor compensation by monitoring acceleration
US20190163201A1 (en) * 2017-11-30 2019-05-30 Uber Technologies, Inc. Autonomous Vehicle Sensor Compensation Using Displacement Sensor
US11197042B2 (en) * 2017-12-20 2021-12-07 Intel Corporation Distributed 3D video for navigation
US11003193B2 (en) * 2017-12-29 2021-05-11 Intel Corporation Broadcasting map segments for individualized maps
US11411683B2 (en) * 2018-01-29 2022-08-09 Qualcomm Incorporated Techniques for interference management in millimeter wave communications systems
US10599152B2 (en) * 2018-02-12 2020-03-24 Ford Global Technologies, Llc Earthquake emergency management system for automotive vehicles
US10752172B2 (en) * 2018-03-19 2020-08-25 Honda Motor Co., Ltd. System and method to control a vehicle interface for human perception optimization
EP3621274B1 (en) * 2018-09-04 2022-04-20 Volkswagen Aktiengesellschaft Method for predicting a quality of service for a communication between at least two moving communication partners, apparatus for performing steps of the method, vehicle, backend server and computer program
US10992752B2 (en) * 2019-03-28 2021-04-27 Intel Corporation Sensor network configuration mechanisms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799992A (zh) * 2009-02-03 2010-08-11 通用汽车环球科技运作公司 组合的车辆到车辆通信和目标检测感测
CN103733084A (zh) * 2011-05-26 2014-04-16 克朗设备有限公司 用于对工业车辆提供准确定位的方法和设备
CN106470383A (zh) * 2015-08-17 2017-03-01 中兴通讯股份有限公司 车联网信息传输方法、装置及系统
EP3291201A1 (en) * 2016-09-02 2018-03-07 Volvo Car Corporation Method and system for enabling a vehicle to discard non-pertinent road sign information

Also Published As

Publication number Publication date
CN110392336A (zh) 2019-10-29
US20190325751A1 (en) 2019-10-24
JP6844642B2 (ja) 2021-03-17
JP2019192225A (ja) 2019-10-31
EP3557893B1 (en) 2021-02-17
EP3557893A1 (en) 2019-10-23
US10789848B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
CN110392336B (zh) 用于在连接的车辆间提供协同感知的方法、系统和计算机可读介质
US10531254B2 (en) Millimeter wave vehicle-to-vehicle communication system for data sharing
US10796175B2 (en) Detection of a drowsy driver based on vehicle-to-everything communications
JP7413811B2 (ja) Ｖｅｈｉｃｌｅ－ｔｏ－Ｅｖｅｒｙｔｈｉｎｇ通信に基づく車両構成要素の修正
JP7338263B2 (ja) 飛行範囲の改善のための車両の選択および接近における飛行ドローンの支援
US11113969B2 (en) Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication
JP7167887B2 (ja) 自動化車両の向けのＶｅｈｉｃｌｅ－ｔｏ－Ｅｖｅｒｙｔｈｉｎｇデータ転送
US10802110B2 (en) Vehicular radar interference management using basic safety messages
CN109729489B (zh) 用于车辆网状网的基于psm消息的设备发现
US11697410B2 (en) Vehicle-to-everything communication-based lane change collision avoidance warning
CN110944298B (zh) 对于车辆到一切v2x接收方的v2x全双工定位辅助
CN110896535B (zh) 用于车辆对一切通信的上下文系统
EP3565286B1 (en) Disaster mitigation system for connected vehicles having hidden vehicle functionality
EP3678353A1 (en) Matching a first connected device with a second connected device based on vehicle-to-everything v2x message variables
US11328605B2 (en) Adjustable blind spot monitor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant