CN112106124A - 用于使用v2x和传感器数据的系统和方法 - Google Patents

用于使用v2x和传感器数据的系统和方法 Download PDF

Info

Publication number
CN112106124A
CN112106124A CN201980031876.3A CN201980031876A CN112106124A CN 112106124 A CN112106124 A CN 112106124A CN 201980031876 A CN201980031876 A CN 201980031876A CN 112106124 A CN112106124 A CN 112106124A
Authority
CN
China
Prior art keywords
road
user
users
road users
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031876.3A
Other languages
English (en)
Inventor
U·卡茨
O·塞拉
T·克莱斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrafi
Original Assignee
Northrafi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northrafi filed Critical Northrafi
Priority to CN202410677776.0A priority Critical patent/CN118447688A/zh
Publication of CN112106124A publication Critical patent/CN112106124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0072—Transmission between mobile stations, e.g. anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/087—Override of traffic control, e.g. by signal transmitted by an emergency vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于交通控制的方法和系统包括在处理单元处接收在道路网络上的站点的传感器数据和在处理单元处接收V2X通信。根据传感器数据和V2X通信来计算道路用户的位置，使得能够检测到已连接的道路用户和未连接的道路用户。一旦在站点处检测到已连接的道路用户和未连接的道路用户，该信息就可以用于控制交通。

Description

用于使用V2X和传感器数据的系统和方法
技术领域
本发明涉及道路用户之间以及道路用户与基础设施之间的通信。
背景技术
在城市环境中，人类道路用户有很多盲点。自动驾驶车辆无法解决这些盲点，因为它们的传感器像人眼一样受限于有限的视场。
已连接的道路用户(诸如已连接的车辆、自行车、行人等)表示一种旨在通过从一个道路用户向另一道路用户传输关于危险、其它道路用户的位置等信息来解决盲点和其它情况的技术。
道路用户之间可能的通信包括：车辆与车辆(V2V)通信和车辆与行人(V2P)通信。道路用户还可以以车辆与基础设施(V2I)通信和行人与基础设施(P2I)通信的方式与道路基础设施通信。这些通信模式通常称为车与万物互联(vehicle to everything，V2X)。
当前，针对V2X使用的竞争标准是DSRC(专用短程通信)和基于C-V2X/5G蜂窝的协议。这两个标准涉及V2X的无线通信的物理层面，即与低延迟、高可靠性和高速移动对象有关的挑战。两种标准都支持可以在其上创建应用程序的相同功能层(传输层)。
V2X通信的核心是消息集，该消息集由每个已连接的道路用户在10hz下广播。在美国标准(SAE J2375)中，消息集称为基础安全消息(BSM)或行人人身安全消息(PSM)，并且在欧洲标准(ITS-G5)中，消息集称为合作意识消息(CAM)。这些消息集在功能上基本上是相同的。
消息集通常包括以下信息：诸如位置(纬度和经度)估计以及位置估计的准确性、相对于北方的方位角、速度、加速度、过去轨迹和预测的未来轨迹。
消息集中的信息使已连接的道路用户能够更安全、更有效地使用道路，从而减少交通拥堵、事故和空气污染。
然而，V2X通信的核心问题之一是需要大规模采用该技术以使其可行。至少必须连接两个道路用户(例如，两个辆车)，以使他们能够进行通信，并为该技术提供价值。在大规模采用V2X通信能力之前，具有连接性的价值实际上是没有的。
技术的采用通常是非线性的，并且无法正确估计，尤其是在微观层面(例如，估计特定街道上的车辆总数中有多少是已连接的车辆)。V2X技术的采用也是如此。在100％的道路用户具有V2X通信能力之前，使用V2X信息进行决策的系统可能需要估计V2X技术的采用率，以便基于在站点处的已连接的道路用户的数量推断出在站点处的道路用户的总量。
在某些情况下，道路基础设施可以与道路用户通信。例如，交通信号抢占(也称为交通信号优先)能够操纵紧急车辆的路径中的交通信号，阻止冲突交通并允许紧急车辆通行，以帮助减少响应时间并提高交通安全性。信号抢占还可以用于允许通过交叉口或交叉的铁路系统的公共运输优先权，以防止碰撞。
V2I抢占可以采用交通信号抢占，它基于从已连接的车辆与基础设施(例如交通信号控制器)传输抢占消息(例如在SAE J2375-信号请求消息-SRM中)。目前，授权车辆的列表(例如，紧急车辆和公共运输)仅对经列出的车辆允许使用抢占方式。
当前的V2I抢占方法的一些主要缺点包括：
-黑客入侵或故障可能导致SRM的恶意使用，从而能够对非授权车辆启用抢占方式；
-每辆授权车辆都需要安装有V2X子系统，这增加车辆成本并延迟在交叉口采用抢占；
-使用这种方法时不考虑未连接的授权车辆，这意味着可能无法正确处理冲突的需求。例如，从北部穿过交叉口的已连接的公共汽车可以获得优先权，并且同时，从西部过来的未连接的警车可能由于优先考虑的公共汽车而被延迟。事实上警车没有连接，因此不能与基础设施进行通信，从而导致优先权被不正确地分配。
即使V2X技术被广泛采用，仍会存在V2X通信没有覆盖到的场景，诸如未连接的道路用户(例如小孩)跑入街道、V2X通信模块发生故障、未被连接的障碍物(例如坑洼)等。
由于上文所列出的原因，V2X技术的当前使用不足以提供安全性和道路用户的连接的其它潜在好处。
发明内容
本发明的实施例提供了在道路网络上的站点的全覆盖，使得能够检测并识别在该站点处的已连接的道路用户和未连接的道路用户，并且能够模拟所有道路用户都均被连接的情况，甚至不使用V2X通信的道路用户。因此，即使在站点处仅具有一个已连接的道路用户的(极端)情况下，本发明的实施例也向所有道路用户提供通过V2X技术支持的安全特征和其它应用。
本发明的实施例采用V2X通信来检测和识别站点周边或接近站点的已连接的道路用户，并且采用传感器来检测站点周边的所有道路用户。
在一个实施例中，交通控制系统包括：用以检测道路用户的传感器，该传感器安装在道路网络上的站点处；V2X通信模块；以及处理单元，其从传感器和V2X通信模块接收输入，这些输入至少包括道路用户的位置。然后，该系统可以基于输入来检测和识别已连接的道路用户和未连接的道路用户。
附图说明
现在将参考以下说明性附图关于某些示例和实施例描述本发明，以便可以更充分地理解本发明。在附图中：
图1A和图1B示意性地示出了根据本发明的实施例的用于管理道路用户之间的通信的系统和方法；
图2示意性地示出了根据本发明的实施例构造和使用的虚拟地图；
图3A-图3C示意性地示出了根据本发明的实施例的用于匹配已连接的道路用户和未连接的道路用户的方法；
图4示意性地示出了根据本发明的实施例的传感器的网络；
图5示意性地示出了根据本发明的实施例可操作的系统的典型部署；
图6示意性地示出了根据本发明的实施例的道路用户的ETA的计算；
图7A-图7D示意性地示出了根据本发明的实施例的用于交通抢占的方法；
图8示意性地示出了根据本发明的实施例的用于预测道路网络站点的未来使用的方法；并且
图9A-图9D示意性地示出了根据本发明的实施例的用于估计道路网络上的危险情况的方法。
具体实施方式
本发明的实施例提供在道路网络上的预定站点处的所有道路用户的位置，从而能够在该站点处进行有效的交通控制。本发明的实施例包括基于来自安装在站点周边的传感器的输入来检测站点处的总道路用户及其位置，并且基于V2X通信来检测已连接的道路用户及其位置。然后通过将每个已连接的道路用户与总道路用户之一进行匹配来检测未连接的道路用户。将所有不匹配的道路用户确定为未连接的道路用户。
道路用户的位置通常指代坐标，该坐标可以是真实世界中的坐标(即，地理坐标系中的位置)或图像(例如，光栅图像或点云图像)内的像素坐标。
可以创建并使用虚拟地图，该虚拟地图包括诸如在任何给定时间的道路用户的位置之类的信息，例如，该虚拟地图用于计算不同用户到达不同位置的估计的到达时间(ETA)。这样的虚拟地图可以用于有效地控制交通和各种安全应用，例如：
-警告与不在道路用户的视场内的对象发生碰撞；
-优化到下一车的距离-通过知道速度、加速度和与附近车辆的距离，已连接的自动驾驶车辆(CAV)可以调整自身的速度和加速度以与附近的车辆保持安全距离，从而改善安全性并实现更平稳的交通流；
-在城市环境中协助CAV进行复杂的操纵，诸如在美国的信号交叉口左转移动(辅助左转)。
术语“道路用户”指代使用道路网络的任何实体，例如，行人、骑自行车的人、摩托车、私家车、卡车、公共汽车、紧急车辆等。
术语“道路网络”指代由道路用户用来进行运输的路线和结构。例如，道路、高速公路、枢纽站、路径等都可能是道路网络的一部分。
道路网络的基础设施包括与道路网络有关并为道路用户提供帮助的附件，诸如交通信号灯、路灯柱、交通标志和其它道路标志、动态消息标志(DMS)、动态车道指示器等。
在本说明书中使用的术语V2X通常指代在道路网络上所有元素之间的通信，例如，道路用户之间、基础设施与用户之间、基础设施之间的通信等。
尽管本说明书和本文的示例中的术语“网络”均指代道路，但是应当理解，本发明涉及用户行驶的任何网络，诸如河流、海洋、空中、轨道等。
在下面的描述中，将描述本发明的各个方面。为了说明的目的，阐述了特定的配置和细节以便提供对本发明的透彻理解。然而，对于本领域技术人员而言，显然可以在没有本文所呈现的具体细节的情况下实践本发明。此外，可以省略或简化众所周知的特征，以免使本发明模糊。
除非另有特别说明，否则从以下讨论中明显的是，应了解，在整个说明书讨论中，利用诸如“分析”、“处理”、“运算”、“计算”、“确定”、“检测”、“识别”、“学习”等术语指代计算机和运算系统或类似的电子运算设备的动作和/或过程，其将表示为运算系统的寄存器和/或存储器内的物理(诸如电子)量的数据操纵和/或转换成类似地表示为运算系统的存储器、寄存器或其它此类信息存储装置、传输或显示设备内的物理量的其它数据。除非另有说明，否则这些术语指代处理器的自动操作，独立于人类操作者的任何操作并且无需人类操作者的任何操作。
在图1A中示意性地示出了示例性系统100中，处理单元104与一个或多个传感器102以及一个或多个V2X通信模块103进行通信，该传感器102可以检测道路用户，并且该V2X通信模块103可以从已连接的道路用户接收通信并向其传输通信。处理单元104从传感器102和V2X通信模块103接收输入(在本文中也称为传感器数据)，并且可以基于输入来检测并可选地识别已连接的道路用户和未连接的道路用户。
通常，来自传感器102和V2X通信模块103的输入至少包括由传感器102检测到的道路用户的位置以及对V2X通信模块103进行传输的已连接的道路用户的位置。
传感器102可以是例如基于光学的、基于雷达的、基于声波的、或者可以使用其它合适的技术来检测道路用户。传感器102可以包括相机、雷达、光雷达和/或其它合适的传感器中的一个或组合以检测道路用户。传感器102获得诸如图像的数据或表示道路用户的其它数据，并且处理单元104可以根据该数据计算道路用户的位置。
在本文描述的示例性实施例中，传感器102包括相机，然而，可以使用其它传感器。在一个实施例中，传感器102包括相机，该相机包含CCD或CMOS或另一适当的芯片。相机可以是2D或3D相机。处理器104可以应用图像处理算法，诸如形状和/或颜色检测算法和/或机器学习模型，诸如卷积神经网络(CNN)和/或支持向量机(SVM)，以检测每个道路用户并可能对每个道路用户进行分类，并且可以使用图像处理和跟踪算法来跟踪每个道路用户，以计算参数，诸如每个用户的位置、方位、速度、加速度以及过去和未来轨迹。
V2X通信模块103可以使用诸如DSRC和/或C-V2X/5G之类的合适的通信方法来与已连接的道路用户通信。例如，V2X通信模块103可以包括DSRC或C-V2X/5G调制解调器，以使用DSRC/C-V2X或车队远程信息处理(经由蜂窝通信)从已连接的道路用户接收数据。
与根据从传感器102接收的数据来计算的参数相似，从每个已连接的道路用户接收的信息通常包括用户的位置(在地理坐标系中)、速度、加速度、方位、过去和预测的未来轨迹。也可以经由V2X通信模块103接收道路用户的类别(例如，私家车、公共汽车、行人等)和/或标识(例如，V2X数字证书、车牌号等)。
处理单元104可以基于这些参数生成信号，并且经由V2X通信模块103将该信号发送到已连接的道路用户和/或道路基础设施，如下文进一步描述的。
处理单元104可以包括例如一个或多个处理器，并且可以是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、微处理器、控制器、芯片、微芯片、集成电路(IC)或任何其它合适的多用途或特定处理器或控制器。处理单元104可以包括存储器单元109或者可以与存储器单元109通信。存储器单元109可以存储从(一个或多个)传感器102和/或(一个或多个)V2X通信模块103接收的数据的至少一部分。
存储单元109可以包括例如随机存取存储器(RAM)、动态RAM(DRAM)、闪存、易失性存储器、非易失性存储器、高速缓存存储器、缓冲器、短期存储器单元、长期存储器单元或其它合适的存储器单元或存储单元。
在一些实施例中，存储器单元109存储可执行指令，该可执行指令在由处理单元104执行时，有助于执行处理单元104的操作，如本文所述。
系统100的组件可以进行有线或无线通信，并且可以包括合适的端口和/或网络集线器和/或适当的缆线。
另外，系统100可以包括或可以附接到具有显示器(诸如监视器或屏幕)的用户界面设备，以用于显示例如图像、虚拟地图、指令和/或通知(例如，经由在监视器上显示的文本或其它内容)。用户界面设备还可以被设计为接收来自外部用户的输入。例如，用户界面设备可以包括监视器和键盘和/或鼠标和/或触摸屏，以使外部用户能够与系统交互。
本地或远程(例如在云中)连接的存储设备可以与系统100一起使用。存储设备可以是包括例如易失性和/或非易失性存储介质的服务器，诸如硬盘驱动器(HDD)或固态驱动器(SSD)。在一些实施例中，存储设备可以包括用于接收和管理从(一个或多个)传感器102和/或(一个或多个)V2X通信模块103输入的数据的软件。
如图1B中示意性地示出的，处理单元104从传感器102接收输入(步骤120)，并且从传感器输入中检测总道路用户(步骤122)。通常，总用户组包括传感器102的视场(FOV)内的所有用户。
在一个实施例中，处理器104使用来自传感器输入的信息(即，根据传感器输入来计算的用户参数)来创建和维护列表或其它记录，包括步骤122中检测到的总道路用户的标识符(例如，表示道路用户的身份或其它参数的值或其它字符)。该列表包括已连接的用户和未连接的用户的标识符。通常，总用户的列表涉及在某个站点处的用户，这由传感器102的FOV定义。
处理单元104根据从V2X通信模块103接收的输入来检测已连接的道路用户(步骤124)。处理器104可以基于来自V2X通信模块103的输入来创建和维护另一个列表或其它记录。该列表仅包括向V2X通信模块103进行传输的已连接的用户。
处理器104将总道路用户与已连接的用户进行比较，以检测未连接的道路用户(步骤126)。例如，通过将总道路用户的列表与已连接的道路用户的列表进行比较或匹配，可以确定总用户中的未连接的用户。如果没有可以与该道路用户匹配的已连接的道路用户，则该道路用户被视为未连接的道路用户。
在一些实施例中，可以基于已连接的道路用户和未连接的道路用户的位置来控制设备(例如，通过处理单元104生成的信号)(步骤128)。
例如，处理单元104可以为在步骤126中检测到的每个未连接的道路用户创建消息。该消息(例如，当前标准中的BSM和/或CAM和/或PSM)通常包含所计算的用户参数(例如，位置、速度、加速度、方位、分类、过去和预测的轨迹等)，并且可以经由V2X通信模块103调制解调器以所需的频率(例如，车辆为10赫兹，行人为2赫兹)向站点周边所有已连接的道路用户进行广播。
在下面将进一步描述的另一示例中，交通控制器可以由处理单元104根据道路用户的位置来控制。
因此，本发明的实施例使得控制设备能够基于已连接的道路用户和未连接的道路用户的位置来提供更安全和更顺畅的交通。
本文描述的一些实施例使得控制设备能够基于已连接的道路用户和未连接的道路用户的其它/附加参数(诸如每个用户的方位、速度、加速度和轨迹)来提供更安全和更顺畅的交通。
如上所述，处理单元104可以基于来自传感器102和V2X通信模块103的输入来创建和维护在道路网络上的站点周边并接近该站点的所有道路用户的列表。总道路用户列表与已连接的道路用户列表匹配，并且至少确定已连接的道路用户和未连接的道路用户的位置。
处理单元104可以使用所确定的已连接的道路用户和未连接的道路用户的位置来创建虚拟地图。可以周期性地(例如，以预定频率)创建(例如，计算)虚拟地图。在一些实施例中，虚拟地图可以是周期性更新的动态虚拟地图。
在一个实施例中，通过在从传感器102输入的数据上应用对象检测和分类算法(例如，使用CNN深度神经网络，诸如YOLO对象检测、SSD深度学习或Faster-RCNN)，处理器104检测道路用户并对其进行分类并且计算每个检测到的道路用户(可能是每个分类)的边界形状(例如3D框)。因此，车辆可以具有与行人不同的边界形状，车辆可以具有与火车不同的边界形状等。
每个绑定的道路用户被分配跟踪ID，并且例如通过使用对象跟踪算法(诸如Siamese-CNN+RNN、MedianFlow、KLT等)被跟踪。
可以例如基于表示用户的3D边界框的每个面的方向来计算由跟踪ID识别的每个道路用户的姿势。
可以基于用户随时间变化的位置来计算每个道路用户的参数。例如，可以直接从雷达数据和/或通过测量图像中用户位置(像素坐标)随时间的差异来计算速度。
可以通过测量速度随时间的差异来计算加速度。
可以基于用户的姿势和/或基于在不同时间获得的两个或更多个不同图像中的相同用户的两个(或更多个)位置之间的角度来计算方位。
可以基于随时间变化的位置来计算用户的过去轨迹(可以定义为<位置，时间>对的列表)。
可以使用预测模型(诸如递归神经网络(RNN))来计算未来或预测的轨迹，该预测模型根据包括道路用户的分类、过去轨迹、速度、加速度和方位的信息进行训练。可以将未来轨迹定义为<位置，时间>对的列表，其中时间是在未来的。
处理器104然后可以计算将像素坐标映射到地理坐标系的变换函数(例如，透视变换矩阵)。在某些情况下，处理单元104可以使用不同已知位置在图像中、在像素坐标中和地理坐标系(例如，纬度和经度)中的位置来校准。使用距离测量函数(诸如Haversine公式)，可以计算距地理坐标系中两个点的距离(以米为单位)。
处理单元104可以使用例如如上所述的变换函数，以根据从来自传感器102的输入计算的用户参数(诸如像素/点云空间中的位置和/或姿势、分类、速度、加速度、方位、以及过去和预测的轨迹)来创建虚拟地图。该地图还可以包括与不在传感器102的FOV内的已连接的用户的参数(诸如位置、姿势、分类、速度、加速度、方位以及过去和预测的轨迹)有关的信息。通常将从V2X通信模块103接收该信息，而与位于传感器102的FOV内的已连接的用户的参数有关的信息将包括来自传感器102和V2X通信模块103的信息。
在图2中示意性地示出了虚拟地图200。在一个实施例中，虚拟地图200在地理坐标系中描绘了所有道路用户215和216及其ID(ID1和ID2)。例如，使用上述的距离测量函数和所计算的用户参数，虚拟地图200可以进一步通过针对每个道路用户215和216的信息215’和216’来增强，例如，该信息215’和216’关于用户的位置(例如，以纬度和经度表示)、速度(例如，以米/秒为单位)、加速度(例如，以米/平方秒为单位)、方位(例如，以角度表示，其中0为北方)、过去和预测的轨迹(<位置，时间>对的列表，其中对于预测的轨迹，时间可以是在未来的)。诸如类别和/或身份(包括例如车牌号、颜色、形状等)的附加参数也可以被添加到虚拟地图200。可以添加到虚拟地图200的附加参数或信息可以包括道路用户的状态，例如，已连接、未连接，以及已连接并与传感器输入匹配。
虚拟地图200可以在表示其真实世界位置的位置处包括道路网络211和道路网络基础设施212的图形表示。道路用户215和216的图形表示可以叠加在地图上的适当位置。
在一些实施例中，处理单元104可以基于虚拟地图200来计算特定道路用户在真实世界位置处的估计的到达时间(ETA)，并且根据ETA来控制设备，如下文进一步描述的。
如图3A中示意性地示出的，在步骤32中，基于来自传感器(诸如传感器102)的输入来检测道路网络上的站点处的所有道路用户。来自传感器的输入可以包括例如图像数据和/或点云数据。
在步骤34中，基于V2X传输(例如，通过来自V2X通信模块103的输入)来检测已连接的道路用户。
在步骤36中，通过以下方式来检测至少一个未连接的道路用户：将(在步骤34中检测到的)每个已连接的道路用户与(在步骤32中检测到的)所有道路用户之一进行匹配，从而将不匹配的道路用户确定为未连接的道路用户。在一个实施例中，可以通过从所有用户的列表中减去已连接的用户的列表来完成用以确定未连接的用户的匹配。
在步骤32中，分析来自传感器的输入以检测所有用户。来自传感器的输入可以包括图像数据，并且检测所有道路用户可以包括在图像数据上应用对象检测算法。在一些实施例中，来自传感器的输入可以包括来自雷达传感器或光雷达传感器的数据(例如，点云数据)，并且检测所有道路用户可以包括对数据使用聚类算法(例如，DBSCAN)或神经网络，诸如CNN。
在一些实施例中，可以根据诸如车辆、火车、自行车、行人等不同道路用户的图像来训练细粒度分类器(诸如CNN)。处理单元104可以使用经训练的分类器来提供可靠的细粒度分类和从图像数据中识别道路用户。
在一些实施例中，每个已连接的道路用户与在步骤32中检测到的道路用户之一的匹配包括确定两个道路用户的至少一个参数显示出高于阈值的相似性。
如图3B中示意性地示出的，确定从传感器数据检测到的道路用户的参数(步骤302)。如果所确定的参数与已连接的道路用户的相同参数的相似度高于阈值(步骤304)，则找到匹配项(步骤306)。如果相似度低于阈值，则没有找到匹配项(步骤308)。
在一些实施例中，不止一个参数必须匹配高于阈值以确认两个道路用户之间的匹配。
在一个实施例中，使用对象匹配算法(诸如模板匹配、特征匹配、具有到潜在向量空间和余弦距离损失的映射的神经网络等)来比较道路用户的参数(例如，位置、速度、加速度、分类和轨迹)。
在某些情况下，可以将基于来自V2X通信模块的输入确定的某个道路用户的参数与基于来自传感器的输入确定的(相同道路用户的)参数进行比较。例如，根据传感器输入来计算用户的参数可以包括使用对象检测和/或跟踪算法，而计算从V2X通信模块接收的已连接的用户的参数包括使用全球定位系统(GPS)或基于惯性测量单元(IMU)的设备。通过这些不同技术确定的参数之间的比较能够确定来自V2X通信模块的输入中的固有误差和/或基于来自传感器的输入进行的计算中的误差。在一些实施例中，可以基于所确定的固有误差来设置阈值。例如，可以将阈值设置为高于(由确定的固有误差来确定的)误差概率。在其它实施例中，阈值是预定阈值。
在并非所有道路用户都被连接的情况下，可以使用本发明的实施例来模拟道路用户的连接。例如，如图3C中示意性地示出的，在步骤312中，基于来自传感器(诸如传感器102)的输入，检测道路网络上的站点处的所有道路用户。
在步骤314中，基于V2X传输(例如通过来自V2X通信模块103的输入)来检测已连接的道路用户。
在步骤316中，例如如上所述，通过将所有用户与已连接的用户进行匹配来检测至少一个未连接的道路用户。
在步骤318中，例如如上所述，确定未连接的道路用户的参数(诸如分类、位置、方位、速度、加速度以及过去和/或未来轨迹)。
创建包括所确定的参数的消息集(步骤320)，并且例如经由V2X通信模块将该消息集发送到已连接的道路用户和/或道路网络基础设施(步骤322)，从而使未连接的道路用户变得“可见”并与其他用户和/或基础设施连接。
在一个实施例中，其示例在图4中示意性地示出，多个传感器402与控制单元406通信。控制单元406可以包括CPU或任何其它合适的处理器和通信能力，诸如无线通信能力(例如，Wifi、LoRa、蜂窝等)和/或有线通信(例如，以太网、光纤等)。另外，控制单元406具有V2X通信能力。
控制单元406可以直接与道路网络基础设施(诸如动态消息标志、动态车道指示器等)通信或者经由道路网络基础设施控制器单元407进行通信，该道路网络基础设施控制器单元407通常是用于控制基础设施的专用计算机。例如，每个交通信号灯都连接到交通信号灯控制器，该交通信号灯控制器控制交通信号灯的顺序和持续时间。
控制单元406还可以与一个或多个V2X通信模块403通信，该V2X通信模块403可以位于传感器402的相同位置和/或适当位置，以从已连接的用户和/或控制单元406接收信息并向已连接的用户和/或控制单元406传输信息。
控制单元406可以基于已连接的道路用户和未连接的道路用户的检测，将信号发送到道路网络基础设施控制器单元407。
在一些实施例中，控制单元406可以与已连接的道路用户通信。
在一些实施例中，每个传感器402以及可能的V2X通信模块403和可能的处理单元被包含在单个壳体401中。壳体通常为传感器402提供稳定性，使得其在获取图像或其它数据时不会移动。
壳体401可以由耐用、实用且使用安全的材料制成，诸如塑料和/或金属。在一些实施例中，壳体401可以包括一个或多个枢转元件，诸如铰链、可旋转接头或球形接头和可旋转臂，以允许壳体的各种移动。例如，可以将壳体安装在道路网络上的站点处，以通过旋转和/或倾斜壳体而实现封装在壳体401内的传感器402的若干FOV。
在图5中示意性地示出的一个实施例中，传感器网络被部署在道路网络上的站点处。来自网络的每个传感器502可以安装在站点处的不同位置。
用于安装传感器502的合适站点包括例如：
-交叉口，通常是信号交叉口，其为现代道路网络的重要部分，并且是导致事故(尤其是致命事故)的决策点和冲突源。
-环岛，其为信号交叉口的替代方案，可以大大减少致命事故，但需要大量的陆地。
-高速公路出入匝道，其为冲突源。匝道仪控(metering)也可以成为可能影响交通流的决策点。
例如，在长的高速公路上，传感器502可以位于适合于提供将覆盖高速公路的FOV的任何地方。
在一些实施例中，传感器502被安装在可以提供电力并且能够实现道路网络的可见性的位置。在其它实施例中，传感器502和/或传感器网络的其它组件可以是移动的并且是自供电的，例如通过使用太阳能电池板或电池。
图5示出了典型的4路交叉口500。在此实施例中，传感器502可以安装在交叉口的每一路上，例如，安装在交通信号灯杆和/或路灯杆512上，或任何其它合适的位置上，该位置能够实现交叉口的中心的全传感器覆盖，以及每条路上自停止线513尽可能多的覆盖(例如200米)。
全传感器覆盖意味着传感器502能够获得足够的数据并且具有能够对道路用户(例如车辆515)进行检测和分类的质量。
在该实施例中，可以类似于上述控制单元406的控制单元506与传感器网络和交通信号灯控制器507通信。控制单元506也可以与V2X通信模块503通信，该V2X通信模块503可以位于传感器502的相同位置和/或适当的位置，以从已连接的用户和/或控制单元506接收信息并向其传输信息。
在一些实施例中，传感器502和可能的V2X通信模块503可以是单个单元的一部分，并且彼此通信和/或与控制单元506通信的若干个这样的单元可以位于交叉口500处的杆512上以提供更广泛的交叉口的覆盖。
控制单元506可以基于来自传感器502和V2X通信模块503的输入向交通信号灯控制器507提供实时指令。包括使用来自一个或多个传感器502和V2X通信模块503的输入的该实施例能够与站点处(例如，交叉口500周边)的所有道路用户相关，即使它们没有被连接，从而提供更准确和完整的交通控制，以便改善交通流量并减少在站点处事故。
如上所述，处理单元104可以例如使用虚拟地图来计算特定道路用户在位置处的估计的到达时间(ETA)，并且可以根据ETA来控制设备。
在一个实施例中，可以基于所计算的ETA来控制道路网络基础设施。例如，在信号交叉口中，可以将优先权给予授权道路用户，诸如紧急车辆(例如警车、消防车、救护车)和公共运输(例如公共汽车、火车和共享单车)，以最小化他们的延迟并改善他们的安全性和服务水平。
在图6中示意性地示出的一个实施例中，如上所述，例如，基于图像分析和/或基于V2X传输，在交叉口600周边检测道路用户615。参数(诸如道路用户615在第一位置611处的方位、速度和加速度)可以用于计算道路用户615到达第二位置613将花费的时间。通常，如上所述，使用虚拟地图来完成计算。可以基于所计算的时间来生成道路用户615在道路网络上的位置613处的ETA。
在一个实施例中，可以通过考虑诸如速度、加速度、方位、分类以及过去和预测的轨迹的参数来创建ETA历史模型(诸如RNN)，该ETA历史模型预测每个道路用户在预定位置处的ETA。
在历史模型的基础上，基于来自虚拟地图的所有道路用户的过去和预测的轨迹的实时交互模型(例如CNN+RNN)考虑了其它道路用户，以进一步改善ETA度量的准确性。
控制单元607可以基于所生成的ETA来控制道路网络基础设施612，诸如交通信号灯。
在图7A中示意性地示出的一个示例中，控制单元706基于现行道路网络规则来控制道路网络基础设施控制器(例如，交通信号灯控制器707)。道路网络规则可以包括例如基于市政或其它政策的抢占规则。
在该示例中，控制单元706从虚拟地图700接收对道路用户(例如，道路用户615)接近站点(例如，交叉口600中的位置613)的指示。另外，从虚拟地图700提供道路用户的ETA(4秒)。控制单元706可以例如基于来自传感器和/或V2X通信模块的输入来识别道路用户并对其进行分类。
在一个实施例中，道路用户是授权车辆，即，如城市政策所定义的被授权获得抢占的车辆类型。授权车辆可以包括，例如，紧急车辆(诸如警车、救护车、消防车)和公共运输车辆(诸如公共汽车和火车)。在这种情况下，可以针对抢占根据紧急车辆、公共运输车辆和其它相关车辆的图像训练细粒度分类器(例如CNN)。分类器可以用于根据从传感器获得的数据(诸如图像数据)提供“授权车辆”的可靠细粒度分类。
使用来自虚拟地图700的信息和细粒度分类，控制单元706可以建立ETA历史模型(诸如RNN)，该ETA历史模型通过考虑道路用户的细粒度分类(例如公共汽车与救护车)以及其它参数(诸如速度、加速度、方位、过去和预测的轨迹)来预测每个“授权车辆”到预定位置(例如到交叉口的停止线)的ETA。
针对每个授权车辆，可以将ETA添加到虚拟地图700中包括的信息。
在历史模型的基础上，基于所有道路用户的过去和预测的轨迹的实时交互模型(例如CNN+RNN)考虑了其它道路用户(例如，授权车辆前面的车辆)以便进一步干山虚拟地图700中ETA度量的准确性。
控制单元706可以访问来自城市政策722的信息，该信息可以确定抢占规则，例如哪种道路用户具有优于其它道路用户的优先权以及何时具有优先权。例如，下午公共汽车可以优先于轻轨。控制单元706使用来自虚拟地图700和城市政策722的信息来决定哪个道路用户应获得优先权，并且因此决定交通信号灯控制器的哪个阶段需要服务。在一个实施例中，控制单元706创建按优先权和ETA排序的授权车辆的记录(例如，列表或表格或其它保持数据的方式)，并且为每个授权车辆运算是否可以在不中断较高优先权的车辆的情况下服务。例如，考虑轻轨从北面以10秒的ETA接近交叉口，并且公共汽车从西面以4秒的ETA接近交叉口的情况。公共汽车需要2秒来通过交叉口。城市轻轨优先于公共汽车的政策将给予公共汽车优先权，即使轻轨具有更高的优先权，因为这两个需求都可以在不导致额外延迟的情况下被服务。
在一种不同情况下，公共汽车和轻轨二者的ETA相似，则优先权将被给予轻轨，以最小化对轻轨的延迟，因为在城市政策中，轻轨具有较高的优先权。
然后，控制单元706在交通信号灯控制器707以全驱动模式运行的情况下，使用抢占信号(例如，ABC NEMA TS-1、Cl Caltrans、SDLC、NTCIP等)或通过常规呼叫(例如，使用环路模拟、NTCIP呼叫等)来控制交通信号灯控制器707。
在一些实施例中，控制单元706可以访问授权道路用户721的记录，并且可以将道路用户的身份与授权道路用户721的记录进行比较，以确定道路用户是否是授权用户。
在图7B中示意性地示出的一个实施例中，识别授权用户(或道路用户的其它类别或身份)，并计算该授权用户的至少一个参数(步骤732)。在一个实施例中，基于来自传感器的输入(例如，基于图像数据和/或雷达和/或光雷达数据)来识别授权用户。
基于所计算的参数，为授权用户计算ETA(步骤734)。例如，所识别的授权用户的速度、方位和加速度可以用于计算用户的ETA。
基于现行道路网络规则736并且基于所计算的ETA，例如，可以控制道路基础设施(步骤738)，以使授权道路用户优先。
在图7C中示意性地示出的一个实施例中，处理单元从道路用户接收抢占消息(诸如SRM)(步骤742)。通常，抢占消息是从已连接的道路用户发送的。
例如，基于来自传感器的输入来识别道路用户(步骤744)，并且将所识别的道路用户与记录(例如授权道路用户的列表)进行比较(745)。如果道路用户被识别在列表上(步骤746)，则基于用户的识别来控制道路网络基础设施(步骤748)。如果道路用户未被识别在列表上(步骤744)，则生成识别恶意道路用户的信号(步骤750)。
如图7D中示意性地示出的，识别恶意道路用户的信号可以使道路用户被添加到可疑恶意用户的列表。
在一个实施例中，控制单元706从传感器(例如，相机)和V2X通信模块接收输入。控制单元706还与交通信号灯控制器707通信，并可以访问若干记录：“黑名单”772，其列出了恶意/故障的道路用户；“灰名单”773，其列出了可疑恶意用户；“白名单”774，其列出了已确认的授权道路用户(通常由城市和/或车辆制造商维护的列表)。
在一个实施例中，控制单元706从已连接的道路用户接收抢占请求。例如，已连接的道路用户可以发送具有其所计算的到达位置(例如，交叉口600处的位置613)的ETA的SRM消息，并指示其在预定时间在道路网络的特定部分中想要优先权。如果用户在“白名单”774中被列出，则控制单元706可以为已连接的用户提供抢占。
一旦确定了已连接的道路用户应该在传感器FOV之内(例如，基于已连接的用户传输的参数和/或基于其所计算的ETA)，就可以使用虚拟地图将已连接的道路用户与传感器FOV内的位置中的道路用户进行匹配。如果在预定的时间量(例如5秒)内未找到匹配项，则将已连接的道路用户的标识符(例如他的V2X数字证书、车牌号等)添加到“灰名单”773。然后，控制单元706将有关已连接的道路用户可能发生故障或黑客入侵的信息发送(例如，使用电子邮件、SMS、NTCIP或任何适当的API)到城市的交通管理中心(TMC)781和原始仪器制造商-OEM 782(例如，车辆制造商或运营商)。然后可以(在TMC 781和/或OEM782的酌处权下)将已连接的道路用户的标识符移动到“黑名单”772或“白名单”774。
在另一个实施例中，已连接的道路用户可以被识别或分类(例如，通过使用对从传感器接收的图像数据的分类器)为在抢占消息中使用的相同类别(例如，公共汽车)。在这种情况下，控制单元706可以将通过V2X从已连接的道路用户传输的信息与传感器信息进行交叉验证(例如，通过将已连接的道路用户与虚拟地图上的用户进行匹配)，并且基于肯定的匹配，控制单元706可以安全地进行抢占。
如果已连接的道路用户未分类为用于请求抢占的同一类别(例如，已连接的道路用户被分类为私家车而不是公共汽车)，则认为已连接的道路用户是恶意的，并将其标识符添加到“灰名单”773以供TMC 781和/或OEM 782进一步检查，并通过丢弃交通信号灯控制器707的呼叫/抢占信号来取消抢占。
在一个实施例中，可以使用V2X信息以便估计在传感器FOV之外的道路用户的数量，以便预测在FOV内的未来用户数量，并提供关于交通信号定时的更好的决定。例如，如果估计有10个车辆即将到达信号交叉口，则可以延长绿灯时间，即使传感器当前没有检测到车辆。
在图8中示意性地示出的一个实施例中，提供了一种用于估计道路网络上的位置处的道路用户的数量的方法。在该实施例中，处理单元基于来自传感器和V2X通信模块的输入来估计在某个时间到达预定位置的道路用户的数量。
在步骤802中，例如，基于来自安装在站点周边的道路网络上的传感器的输入，来计算在某个站点处在某个时间的道路用户的总数。
在步骤804中，基于来自V2X通信模块的输入，来计算该站点周边在某个时间的已连接的道路用户的数量。
例如，每个已连接的道路用户例如经由V2X通信使用BSM/CAM/PSM消息向处理单元报告其ID、位置、速度、方位、过去和预测的轨迹。当已连接的道路用户进入传感器的FOV的区域时，在已连接的道路用户与传感器检测到的道路用户之间搜索匹配。如上所述，计算已连接的道路用户和所有道路用户的数量。
在步骤806中通过比较道路用户的总数与已连接的道路用户的数量，可以计算V2X技术的采用率(定义为已连接的道路用户占所有道路用户的百分比)。例如，使用已连接的道路用户和如传感器检测到的总道路用户的位置，并识别出总道路用户中的哪个是已连接的道路用户，可以获得V2X采用率的精确测量。
在步骤808中，使用采用率来创建用以预测在站点处的未来道路用户数量的模型。可以通过使用在步骤806中计算的采用率来运行SVM或RNN来随时间推移而建立模型。该模型可以根据一天中的时间、观察到的已连接的道路用户的数量、观察到的所有道路用户的数量、他们的类别(例如公共汽车、卡车等)以及在传感器FOV之外的已连接的道路用户的过去轨迹来预测传感器FOV之外的道路用户的总数。
通过基于预测的道路用户的数量与由传感器检测到的道路用户的实际数量之间的差来测量预测误差，可以随时间推移而改善预测模型。
在步骤810中，可以基于模型来控制道路网络基础设施。
因此，根据本发明的实施例，处理单元被配置为基于V2X技术的采用率(使用率)来估计道路用户的数量。
在一些实施例中，可以基于虚拟地图来检测特定道路用户的行为参数。例如，可以基于虚拟地图来检测道路用户的危险行为和/或危险事件。
在图9A中示意性地示出的一个实施例中，一种用于交通控制的方法包括基于传感器数据和V2X通信来计算(例如，通过处理单元104)道路用户的位置(步骤92)并创建包括道路用户位置的虚拟地图(步骤94)。然后可以从虚拟地图中检测任何特定道路用户的行为参数(步骤96)。行为参数可以包括道路用户的行为的特性。例如，行为参数可以包括行驶方向、加速模式等，而不稳定的行驶方向、不稳定的加速模式等可以指示危险行为，如下面进一步示例的。
在步骤98中，基于检测到的行为参数来生成(例如，通过处理单元104)信号以控制设备。例如，该信号可以包括与其它道路用户的V2X通信，以警告他们特定道路用户的危险行为。替代地或附加地，该信号可以用于控制道路网络基础设施。例如，可以基于检测到的行为参数来控制交通信号灯以改变阶段。道路网络基础设施(例如，动态标志)可以被控制以基于检测到的行为参数来产生警告。
在一些实施例中，基于虚拟地图，针对特定道路用户和其它道路用户，计算到达真实世界位置(例如，交叉口处的停止线)的ETA，并且基于ETA来生成信号。
在一些实施例中，可以基于虚拟地图并且基于检测到的行为参数来计算危险事件(例如，碰撞)的概率。可以考虑所计算的概率来生成用以控制设备(诸如用以警告其它道路用户的道路网络基础设施和/或V2X通信模块)的信号。
在一些实施例中，可以在处理单元处接收关于在道路用户的真实世界位置和/或估计他们到达的位置处的环境条件(例如天气、照明)的输入，并且可以基于环境条件来计算危险事件的概率。
诸如道路用户的分类(例如，重型卡车与私人车辆)、天气条件、一天中的时间等可能的要素可以被加权并用于确定危险事件的概率。
在下面的描述中提供了更详细的说明，以危险行为为例。
在图9B中示意性地示出的一个实施例中，提供了一种用于对闯红灯进行检测和警报的方法。
控制单元906负责决定交通信号灯912的哪个阶段(例如，信号灯的颜色、由信号灯指示的方向等)被服务以及持续多长时间。在图9B所示的示例中，阶段的状态为绿色。控制单元906例如通过维持计数器以确定直到阶段变成红色还剩下多少秒来维持所有阶段的状态。
周期性地，例如至少每0.1秒(即，以10hz)计算所有道路用户(包括已连接的道路用户)的虚拟地图。
在一些实施例中，基于图像的天气分类器(诸如CNN)被馈送有来自传感器902的图像，并且对安装有传感器902的特定真实世界位置(例如，交叉口900)的天气条件(例如，小雨、雾、来自太阳的耀斑等)执行分类。
对于当前所处(绿色)的阶段以及在绿色阶段期间接近交通信号灯912的每个道路用户(例如，车辆915)，基于剩余阶段时间、道路用户的位置、速度和加速度以及天气条件，计算在红灯下穿过交叉口的概率。概率可以是若干元素的加权组合，诸如道路用户的参数和/或分类、天气条件、到停止线913的距离等。
在一些实施例中，使用机器学习算法来识别道路用户的危险行为。例如，可以基于一天中的时间、道路用户的类别(行人、私人车辆、卡车等)、天气条件(雨水、能见度等)、速度、加速度、方位、过去轨迹、到停止线913的距离以及阶段状态(例如，绿色、黄色)创建制动预测模型(例如RNN)。可以根据来自特定真实世界位置的数据(例如，交叉口900)和通用数据集(例如，包括来自多个交叉口的数据的数据库)来训练机器学习模型。
在另一个示例中，创建了物理模型(例如，使用经典力学)。物理模型基于道路用户的类别(例如重型卡车与私人车辆)、速度、加速度、方位和至停止线的距离来估计制动时间(和距离)，道路用户的类别确定典型的减速度。
道路用户在红灯期间穿过交叉口900的概率是基于制动时间(例如，如使用上述模型所计算的)和该阶段的剩余绿灯时间(使用对数函数所计算的)之间的关系。当穿过红灯的概率上升到预定义的阈值以上(例如闯红灯的概率为80％)时，控制单元906将闯红灯(RLR)警报消息(例如，SAE J2735中的交叉口碰撞避免消息)发送到控制单元906周边的已连接的道路用户。该消息通常与道路用户的最新状态(即位置、加速度、方位、速度等)以及闯红灯的概率一起发送。
在图9C中，示意性地描述了用于警报可能的碰撞的方法。
周期性地，例如至少每0.1秒(即，以10hz)计算所有道路用户(包括已连接的道路用户)(例如车辆915和916)的虚拟地图。
例如，如上所述，确定交叉口900的位置处的天气条件。
对于每个道路用户(例如，车辆915)，基于来自虚拟地图的数据(每个道路用户的位置、速度、加速度)和天气条件，计算与每个其它道路用户(例如，其周边的车辆916)的碰撞时间(TTC)。TTC可以被加权。加权的TTC可以是参数的组合，诸如：
-制动时的TTC-基于两个道路用户之间的距离(使用上述距离函数所计算的)、他们的速度、方位和制动时间的估计(可以如上所述计算的)计算的交通工程世界的标准度量
-制动概率，如上所述计算的。
当道路用户的TTC上升到预定义的阈值(例如1秒)以上时，控制单元906将碰撞警告消息(例如，SAE J2735中的交叉口碰撞避免消息)发送到控制单元906周边的已连接的道路用户(例如，车辆916)。该消息通常与道路用户(例如车辆915)的最新状态(即位置、加速度、方位、速度等)一起发送。
在图9D中，示意性地描述了一种用于警报道路用户有关危险道路用户的方法。
周期性地，例如至少每0.1秒(即，以10hz)计算所有道路用户(包括已连接的道路用户)的虚拟地图。
例如，如上所述，确定交叉口900的位置处的天气条件。
根据表现出危险行为(例如，不稳定的行驶方向和/或加速模式，诸如，失控行驶、曲折行驶、不留在车道中、行人跳入街道等)的多个道路用户的数据集并考虑以下因素来训练危险行为的分类器(诸如RNN))：道路用户的过去轨迹、速度、加速度、方位和类别以及其它道路用户的位置。还考虑了天气条件分类。
分类的结果是任何道路用户是否正常行动或表现出危险行为以及行为分类(例如失控)和处于该分类的置信度。
当分类器使用实时数据对表现出危险行为的道路用户(例如车辆915)进行分类并且置信度(概率)高于预定义的阈值(例如80％)时，控制单元906将警告消息与道路用户的最新状态、分类的行为(例如，失控)和置信度一起发送到在控制单元906周边的已连接的道路用户(例如，车辆916)。
本发明的实施例使得能够在对现有和未来挑战和机遇的多种解决方案中使用包括已连接的道路用户和未连接的道路用户的位置的信息。
本发明的实施例在安全性和舒适性方面带来实质性好处，并且还可以有助于改善和更精细的交通管理，提供用以防止或减少拥堵的更好的方式，并能够节省燃料并减少空气污染。

Claims (37)

1.一种用于检测在站点处的道路用户以用于交通控制的方法，所述方法包括：
在处理单元处接收在道路网络上的站点的传感器数据；
在所述处理单元处接收V2X通信；
根据所述传感器数据和所述V2X通信计算道路用户的位置；以及
基于所计算的位置，检测已连接的道路用户和未连接的道路用户。
2.根据权利要求1所述的方法，其包括：
基于所述传感器数据和所述V2X通信，将所述站点周边的所有道路用户与已连接的道路用户匹配；以及
基于所述匹配，检测已连接的道路用户和未连接的道路用户的位置。
3.根据权利要求2所述的方法，其包括：
创建虚拟地图，所述虚拟地图包括所述已连接的道路用户和所述未连接的道路用户的位置；以及
基于所述虚拟地图生成用于控制设备的信号。
4.根据权利要求3所述的方法，其包括：
根据所述传感器数据和所述V2X通信计算除位置之外的道路用户的参数；并且其中，所述虚拟地图包括特定已连接的道路用户和未连接的道路用户的所述参数。
5.根据权利要求3所述的方法，其包括：
基于所述虚拟地图计算特定道路用户在真实世界位置处的估计的到达时间即ETA；以及
基于所述ETA生成用以控制所述设备的信号。
6.根据权利要求3所述的方法，其包括：
基于所述虚拟地图检测特定道路用户的行为参数；以及
基于所述行为参数生成用以控制所述设备的信号。
7.根据权利要求1所述的方法，其中所述传感器数据包括光学图像数据、雷达数据和点云数据中的一个或多个。
8.根据权利要求1所述的方法，其包括基于所述传感器数据对特定道路用户进行分类。
9.根据权利要求1所述的方法，其包括：
确定未连接的道路用户的参数；
基于所述参数创建消息集；以及
经由V2X通信模块向已连接的道路用户发送所述消息集。
10.根据权利要求3所述的方法，其中所述设备包括道路网络基础设施。
11.根据权利要求10所述的方法，其包括：
基于所述传感器数据识别道路用户；
计算所识别的道路用户到所述道路网络上的预定位置的ETA；以及
基于所计算的ETA生成用以控制所述道路网络基础设施的信号。
12.根据权利要求11所述的方法，其包括基于现行道路网络规则生成用以控制所述道路网络基础设施的信号。
13.根据权利要求12所述的方法，其中所识别的道路用户是授权用户。
14.根据权利要求1所述的方法，其包括：
接收来自道路用户的抢占信息；
基于所述传感器数据识别所述道路用户；
比较授权道路用户与所识别的道路用户的纪录；以及
基于所述比较生成识别恶意道路用户的信号。
15.根据权利要求14所述的方法，其中所述识别恶意道路用户的信号导致将所述道路用户添加到可疑恶意用户的记录。
16.根据权利要求1所述的方法，其包括：
接收来自道路用户的抢占信息；
基于所述传感器数据对所述道路用户进行分类；
比较授权道路用户与经分类的道路用户的记录；以及
基于所述比较并且基于现行道路网络规则，生成用以控制道路网络基础设施的信号。
17.根据权利要求1所述的方法，其包括根据所述传感器数据和所述V2X通信计算V2X技术的采用率。
18.根据权利要求17所述的方法，其包括：
基于来自安装在所述站点周边的所述道路网络处的传感器的输入，计算在某个时间到达所述站点的道路用户的总数；
基于来自V2X通信模块的输入，计算在所述某个时间到达所述站点的已连接的道路用户的数量；
通过比较所述道路用户的总数与所述已连接的道路用户的数量，计算V2X技术的采用率；以及
使用所述采用率创建用以预测在所述道路网络上的所述站点处的未来道路用户的数量的模型。
19.根据权利要求1所述的方法，其包括：
基于所述传感器数据和所述V2X通信，计算在某个时间到达预定真实世界位置的道路用户的估计的数量；以及
基于所述估计的数量生成用以控制道路网络基础设施的信号。
20.一种模拟V2X通信的方法，所述方法包括：
使用处理器根据传感器数据确定未连接的道路用户的参数；
基于所述参数创建消息集；以及
经由V2X通信模块向已连接的道路用户和/或道路网络基础设施发送所述消息集。
21.根据权利要求20所述的方法，其中所述传感器数据包括道路网络上的站点的图像数据，所述方法包括：
在所述处理器处接收所述传感器数据；
在所述处理器处接收V2X通信；
根据所述传感器数据和所述V2X通信计算道路用户的位置；以及
基于所计算的位置，检测已连接的道路用户和未连接的道路用户。
22.根据权利要求20所述的方法，其中所述未连接的用户的所述参数包括以下项中的至少一个：位置、速度、加速度、方位、分类、过去轨迹和预测的轨迹。
23.根据权利要求20所述的方法，其中所述消息集包括以下项中的至少一个：所述未连接的用户的位置、速度、加速度、方位、分类、过去轨迹和预测的轨迹。
24.一种与道路网络基础设施通信的方法，所述方法包括：
使用处理器以：
基于传感器数据和V2X通信计算道路用户的位置，
创建包括所述道路用户的所述位置的虚拟地图，以及
基于所述虚拟地图生成用以控制所述道路网络基础设施的信号。
25.根据权利要求24所述的方法，其包括：
基于所述传感器数据识别道路用户；
计算所识别的道路用户在所述道路网络上的预定位置处的ETA；以及
基于所计算的ETA生成用以控制所述道路网络基础设施的信号。
26.根据权利要求25所述的方法，其包括基于现行道路网络规则生成用以控制所述道路网络基础设施的所述信号。
27.根据权利要求25所述的方法，其中所识别的道路用户为授权用户。
28.根据权利要求24所述的方法，其包括：
接收来自道路用户的抢占信息；
基于所述传感器数据识别所述道路用户；
比较授权道路用户与所识别的道路用户的纪录；以及
基于所述比较生成识别恶意道路用户的信号。
29.根据权利要求28所述的方法，其中所述识别恶意道路用户的信号导致将所述道路用户添加到可疑恶意用户的记录。
30.根据权利要求24所述的方法，其包括：
接收来自道路用户的抢占信息；
基于所述传感器数据对所述道路用户进行分类；
比较授权道路用户与经分类的道路用户的记录；以及
基于所述比较并且基于现行道路网络归则，生成用以控制所述道路网络基础设施的信号。
31.一种用于交通控制的方法，所述方法包括：
使用处理器以：
基于传感器数据和V2X通信计算道路用户的位置，
创建包括所述道路用户的所述位置的虚拟地图，
基于所述虚拟地图检测特定道路用户的行为参数，以及
基于检测到的行为参数生成用以控制设备的信号。
32.根据权利要求31所述的方法，其包括：
基于所述虚拟地图计算所述特定道路用户在真实世界位置处的估计的到达时间即ETA；以及
根据所述ETA生成用以控制所述设备的所述信号。
33.根据权利要求32所述的方法，其包括：
基于所述虚拟地图和并且基于所述检测到的行为参数计算危险事件的概率；以及
基于所述概率生成用以控制所述设备的信号。
34.根据权利要求33所述的方法，其包括：
在所述处理器处接收关于所述真实世界位置处的环境条件的输入；以及
基于所述环境条件计算所述危险事件的所述概率。
35.根据权利要求31所述的方法，其中所述信号包括与其它道路用户的V2X通信。
36.根据权利要求31所述的方法，其中所述信号用于控制道路网络基础设施。
37.根据权利要求31所述的方法，其包括通过使用分类器来确定危险道路用户行为，所述分类器根据表现出危险行为的多个道路用户的数据集进行训练。
CN201980031876.3A 2018-05-16 2019-05-15 用于使用v2x和传感器数据的系统和方法 Pending CN112106124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410677776.0A CN118447688A (zh) 2018-05-16 2019-05-15 用于使用v2x和传感器数据的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862672076P 2018-05-16 2018-05-16
US62/672,076 2018-05-16
PCT/IB2019/054006 WO2019220353A2 (en) 2018-05-16 2019-05-15 System and method for using v2x and sensor data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410677776.0A Division CN118447688A (zh) 2018-05-16 2019-05-15 用于使用v2x和传感器数据的系统和方法

Publications (1)

Publication Number Publication Date
CN112106124A true CN112106124A (zh) 2020-12-18

Family

ID=68541081

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980031876.3A Pending CN112106124A (zh) 2018-05-16 2019-05-15 用于使用v2x和传感器数据的系统和方法
CN202410677776.0A Pending CN118447688A (zh) 2018-05-16 2019-05-15 用于使用v2x和传感器数据的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410677776.0A Pending CN118447688A (zh) 2018-05-16 2019-05-15 用于使用v2x和传感器数据的系统和方法

Country Status (7)

Country Link
US (1) US11967230B2 (zh)
EP (1) EP3794571A4 (zh)
JP (2) JP2021524087A (zh)
CN (2) CN112106124A (zh)
CA (1) CA3099840A1 (zh)
IL (3) IL278230B2 (zh)
WO (1) WO2019220353A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202948A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensors

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019108142A1 (de) * 2019-03-29 2020-10-01 Bayerische Motoren Werke Aktiengesellschaft Auswählen einer Handlungsoption für ein automatisiertes Kraftfahrzeug
WO2021107943A1 (en) * 2019-11-27 2021-06-03 Otousa, Inc. Distributed hearing system for use with traffic signals
CN111105614A (zh) * 2019-12-06 2020-05-05 惠州市德赛西威汽车电子股份有限公司 一种基于道路社交圈的交通状况预测方法
US11353544B2 (en) 2019-12-18 2022-06-07 Continental Automotive Systems, Inc. Methods and systems for local to global frame transformation
US20210256842A1 (en) * 2020-02-14 2021-08-19 Huawei Technologies Co., Ltd. System, method and apparatus supporting navigation
US11594126B2 (en) 2020-08-28 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for a traffic flow monitoring and graph completion system
US11927967B2 (en) * 2020-08-31 2024-03-12 Woven By Toyota, U.S., Inc. Using machine learning models for generating human-like trajectories
CN112614359B (zh) * 2020-12-21 2022-06-28 阿波罗智联(北京)科技有限公司 控制交通的方法、装置、路侧设备和云控平台
JP2022104397A (ja) * 2020-12-28 2022-07-08 株式会社Subaru 車両の運転制御システム、及び、車両の管制装置
KR20230129421A (ko) * 2021-01-14 2023-09-08 엘지전자 주식회사 무선 통신 시스템에서 무선 신호 송수신 방법 및 장치
US11551553B2 (en) * 2021-04-22 2023-01-10 Ford Global Technologies, Llc Traffic control preemption according to vehicle aspects
CN113450564B (zh) * 2021-05-21 2022-08-23 江苏大学 一种基于narx神经网络和c-v2x技术的交叉路口的通行方法
US11610478B2 (en) * 2021-08-09 2023-03-21 Peltbeam Inc. Communication system and method for controlling cooperation between edge devices arranged in vehicle
US20230059897A1 (en) * 2021-08-12 2023-02-23 Lear Corporation System and method for vehicle-to-everything (v2x) collaborative perception
DE102021212130A1 (de) 2021-10-27 2023-04-27 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Betreiben eines Kommunikationssystems
GB2623049A (en) * 2022-08-09 2024-04-10 Samsung Electronics Co Ltd Time to collision analytics and exposure service
US20240214818A1 (en) * 2022-12-21 2024-06-27 Qualcomm Incorporated Managing privileged operation request misbehavior
CN117173896B (zh) * 2023-11-02 2024-01-16 深圳市地铁集团有限公司 基于arm技术体系的视觉通行控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444442A (en) * 1992-11-05 1995-08-22 Matsushita Electric Industrial Co., Ltd. Method for predicting traffic space mean speed and traffic flow rate, and method and apparatus for controlling isolated traffic light signaling system through predicted traffic flow rate
US20110193722A1 (en) * 2010-02-11 2011-08-11 David Randal Johnson Monitoring and Diagnostics of Traffic Signal Preemption Controllers
US20140032089A1 (en) * 2012-07-30 2014-01-30 Massachusetts Institute Of Technology System and method for providing driver behavior classification at intersections and validation on large naturalistic data sets
JP2014222475A (ja) * 2013-05-14 2014-11-27 株式会社オートネットワーク技術研究所 信号機制御システム及び車載通信装置
US20170200370A1 (en) * 2016-01-08 2017-07-13 Ford Global Technologies, Llc System and method for virtual transformation of standard or non-connected vehicles
US20180018874A1 (en) * 2016-07-14 2018-01-18 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle systems and methods for presenting penetration metric information on a route

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6036535U (ja) 1983-08-18 1985-03-13 川崎重工業株式会社 タ−ボコンパウンドエンジン
WO2008053912A1 (fr) 2006-11-02 2008-05-08 Panasonic Corporation Système d'aide à la navigation et procédé d'aide à la navigation
KR100900476B1 (ko) 2007-02-16 2009-06-03 삼성전자주식회사 이동통신 단말기 및 그것의 배터리 충전 방법
US8040254B2 (en) * 2009-01-06 2011-10-18 International Business Machines Corporation Method and system for controlling and adjusting traffic light timing patterns
US8229663B2 (en) 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
US20100321207A1 (en) 2009-06-23 2010-12-23 Craig Stephen Etchegoyen System and Method for Communicating with Traffic Signals and Toll Stations
EP2876621A1 (en) * 2009-07-28 2015-05-27 Toyota Jidosha Kabushiki Kaisha Vehicle control device, vehicle control method, and vehicle control system
US8760315B2 (en) 2009-09-04 2014-06-24 E-Views Safety Systems, Inc. System and method for expanding preemption and bus priority signals
US20120033123A1 (en) 2010-08-06 2012-02-09 Nikon Corporation Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program
US9544967B2 (en) 2011-04-15 2017-01-10 Wireless Environment, Llc Lighting device capable of maintaining light intensity in demand response applications
US20160234215A1 (en) 2012-02-29 2016-08-11 Google Inc. Method and system for managing data access within an enterprise
US9412271B2 (en) 2013-01-30 2016-08-09 Wavetronix Llc Traffic flow through an intersection by reducing platoon interference
JP2016001464A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
US20150381751A1 (en) 2014-06-30 2015-12-31 Autotalks Ltd. Method and apparatus for proxy operation in vehicular communications
JP6770299B2 (ja) 2015-03-25 2020-10-14 パナソニック株式会社 物体検出装置および物体検出方法
WO2016170785A1 (ja) 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
WO2016191858A1 (en) 2015-05-29 2016-12-08 Miovision Technologies Incorporated System and method for connecting traffic intersections
JP6520537B2 (ja) * 2015-08-04 2019-05-29 オムロン株式会社 車載器、通信装置およびこれらを備えた車両管理システム
JP2017068335A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 データ処理装置および車載通信装置
US9740202B2 (en) 2016-01-08 2017-08-22 Waymo Llc Fall back trajectory systems for autonomous vehicles
CN106157695B (zh) * 2016-08-03 2019-12-10 奇瑞汽车股份有限公司 危险驾驶行为的提醒方法和装置
US10324469B2 (en) * 2017-03-28 2019-06-18 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle in shared environment
WO2019142458A1 (ja) * 2018-01-22 2019-07-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車両監視装置、不正検知サーバ、および、制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444442A (en) * 1992-11-05 1995-08-22 Matsushita Electric Industrial Co., Ltd. Method for predicting traffic space mean speed and traffic flow rate, and method and apparatus for controlling isolated traffic light signaling system through predicted traffic flow rate
US20110193722A1 (en) * 2010-02-11 2011-08-11 David Randal Johnson Monitoring and Diagnostics of Traffic Signal Preemption Controllers
US20140032089A1 (en) * 2012-07-30 2014-01-30 Massachusetts Institute Of Technology System and method for providing driver behavior classification at intersections and validation on large naturalistic data sets
JP2014222475A (ja) * 2013-05-14 2014-11-27 株式会社オートネットワーク技術研究所 信号機制御システム及び車載通信装置
US20170200370A1 (en) * 2016-01-08 2017-07-13 Ford Global Technologies, Llc System and method for virtual transformation of standard or non-connected vehicles
US20180018874A1 (en) * 2016-07-14 2018-01-18 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle systems and methods for presenting penetration metric information on a route

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202948A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensors

Also Published As

Publication number Publication date
IL307426B1 (en) 2024-07-01
WO2019220353A3 (en) 2020-01-02
US20220013008A1 (en) 2022-01-13
US11967230B2 (en) 2024-04-23
EP3794571A2 (en) 2021-03-24
IL312911A (en) 2024-07-01
JP2021524087A (ja) 2021-09-09
WO2019220353A2 (en) 2019-11-21
CN118447688A (zh) 2024-08-06
IL278230B1 (en) 2023-11-01
IL278230B2 (en) 2024-03-01
CA3099840A1 (en) 2019-11-21
EP3794571A4 (en) 2022-01-26
IL307426A (en) 2023-12-01
JP2023179580A (ja) 2023-12-19
IL278230A (en) 2020-11-30

Similar Documents

Publication Publication Date Title
US11967230B2 (en) System and method for using V2X and sensor data
US11990036B2 (en) Driver behavior monitoring
US11847908B2 (en) Data processing for connected and autonomous vehicles
US11685360B2 (en) Planning for unknown objects by an autonomous vehicle
US20240290201A1 (en) Driver behavior monitoring
CN110603497B (zh) 自主车辆操作管理控制的自主车辆和方法
CN110431037B (zh) 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
US10431093B2 (en) System and method for collision avoidance
JP2023533225A (ja) 自律走行車ポリシーを動的にキュレーションする方法及びシステム
US20210191394A1 (en) Systems and methods for presenting curated autonomy-system information of a vehicle
CN115016474A (zh) 用于车路协同自动驾驶的控制方法、路侧设备、云控平台和系统
US11495064B2 (en) Value-anticipating cooperative perception with an intelligent transportation system station
US20210405641A1 (en) Detecting positioning of a sensor system associated with a vehicle
US20230419200A1 (en) Decentralized parking fulfillment service
JP2024513710A (ja) 光投影装置及び方法並びに記憶媒体
Caruntu et al. Cyber-physical systems-based architecture for signalized traffic corridors: Monitoring and synchronized coordination
US11881031B2 (en) Hierarchical processing of traffic signal face states
Pop et al. Sensor Networks as a Support Mechanism in Intelligent Transportation Systems
Reddy et al. On board assistant to GPS navigation of vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination