CN116746187A - 使用本地动态地图数据模型的车辆到一切(v2x)不当行为检测 - Google Patents
使用本地动态地图数据模型的车辆到一切(v2x)不当行为检测 Download PDFInfo
- Publication number
- CN116746187A CN116746187A CN202180090786.9A CN202180090786A CN116746187A CN 116746187 A CN116746187 A CN 116746187A CN 202180090786 A CN202180090786 A CN 202180090786A CN 116746187 A CN116746187 A CN 116746187A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- ldm
- message
- data model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013499 data model Methods 0.000 title claims abstract description 149
- 238000001514 detection method Methods 0.000 title description 9
- 238000000034 method Methods 0.000 claims abstract description 79
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000006399 behavior Effects 0.000 claims description 133
- 238000007726 management method Methods 0.000 claims description 93
- 238000012545 processing Methods 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 58
- 238000003860 storage Methods 0.000 description 33
- 230000004927 fusion Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000000926 separation method Methods 0.000 description 14
- 230000001413 cellular effect Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 230000008447 perception Effects 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- LHMQDVIHBXWNII-UHFFFAOYSA-N 3-amino-4-methoxy-n-phenylbenzamide Chemical compound C1=C(N)C(OC)=CC=C1C(=O)NC1=CC=CC=C1 LHMQDVIHBXWNII-UHFFFAOYSA-N 0.000 description 1
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 235000017060 Arachis glabrata Nutrition 0.000 description 1
- 241001553178 Arachis glabrata Species 0.000 description 1
- 235000010777 Arachis hypogaea Nutrition 0.000 description 1
- 235000018262 Arachis monticola Nutrition 0.000 description 1
- 102100035964 Gastrokine-2 Human genes 0.000 description 1
- 101001075215 Homo sapiens Gastrokine-2 Proteins 0.000 description 1
- 102100031269 Putative peripheral benzodiazepine receptor-related protein Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012554 master batch record Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
实施例包括由车辆内的车辆到一切(V2X)系统的处理器执行的方法,用于通过将在V2X消息中接收到的信息与本地动态地图数据进行比较来检测不当行为状况。各个实施例可以包括从其他V2X系统参与者接收V2X消息,通过将接收到的V2X消息中包含的数据与本地维护或存储的本地动态地图数据模型中的信息进行比较来确定是否检测到不当行为状况,检测不当行为状况,以及响应于接收到的V2X消息中的某些数据与本地动态地图之间的冲突或不一致,生成标识不当行为状况的不当行为报告。
Description
相关申请的交叉引用
本申请要求于2021年1月19日提交的题为“Vehicle-to-Everything(V2X)Misbehavior Detection Using an LDM Data Model”的美国临时申请第63/138,909号的优先权,出于所有目的,其全部内容通过引用并入本文。
背景技术
蜂窝车辆到一切(C-V2X)协议用作基于车辆的无线通信的基础,并且可以用于支持智能公路、自动和半自动车辆,并且提高了公路运输系统的整体效率和安全性。C-V2X定义了两种传输模式,它们共同为增强的道路安全和自动驾驶提供360°非视线感知和更高水平的可预测性。第一种传输模式包括直接C-V2X,其包括车辆到车辆(V2V)、车辆到基础设施(V2I)和车辆到行人(V2P),并在独立于蜂窝网络的专用智能运输系统(ITS)5.9千兆赫(GHz)频谱中提供增强的通信范围和可靠性。第二种传输模式包括移动宽带系统和技术中的车辆到网络通信(V2N),所述技术诸如第三代无线移动通信技术(3G)(例如,全球移动通信系统(GSM)演进(EDGE)系统、码分多址(CDMA)2000系统等)、第四代无线移动通信技术(4G)(例如,长期演进(LTE)系统、高级LTE系统、全球移动微波接入互操作性(移动WiMAX)系统等)、第五代无线移动通信技术(5G NR系统等)等。世界不同地区也在考虑其他V2X无线技术。本专利中描述的技术适用于任何V2X无线技术。
世界上多个地区正在开发用于基于车辆的通信系统和功能的标准,例如被开发用于北美的电气和电子工程师协会(IEEE)标准1609和汽车工程师协会(SAE)标准,或被开发用于欧洲的欧洲电信标准协会(ETSI)和欧洲标准化委员会(CEN)标准。该系统的一部分是用于车辆在北美广播基本安全消息(BSM)或在欧洲广播合作意识消息(CAM)的能力,其他车辆可以接收和处理这些消息以改善交通安全。发送和接收车辆中这样的消息的处理发生在提供V2X功能的车载设备(本文称为“V2X车载设备”)中。
发明内容
各个方面包括由在V2X设备处理器上操作的不当行为管理系统执行的方法,以通过将接收到的V2X消息中的数据与包含在本地维护或存储的本地动态地图(LDM)数据模型中的数据进行比较来检测接收到的V2X消息中的不当行为状况。该LDM聚合并合成V2X系统参与者从所有相关输入(包括但不限于V2X消息和本地传感器输入)接收到的信息,以创建V2X系统参与者周围的本地环境的模型。该LDM可以基于在LDM中跟踪的对象的观察到的动态以及基于新的输入来更新。
各个方面可以包括从另一个V2X系统参与者接收V2X消息,其中该V2X消息包含关于车辆周围环境的数据,将接收到的V2X消息中包含的数据与本地维护或存储的本地动态地图(LDM)数据模型中的数据进行比较以检测不当行为状况,响应于基于比较检测到不当行为状况,生成标识不当行为状况的不当行为报告,以及向不当行为管理机构发送生成的不当行为报告。
一些方面可以包括监测车辆中的多个传感器以收集关于车辆周围环境的附加数据,至少部分地基于从多个传感器收集的附加数据的聚合来生成表示车辆周围环境的LDM数据模型,以及在本地存储器中维护或存储LDM数据模型。
一些方面还可以包括响应于确定未检测到不当行为状况:基于LDM数据模型中的对象的观察到的动态中的至少一个或基于从V2X消息接收的新数据输入来执行计算;修改LDM数据模型以合并包括在该接收到的V2X消息中的计算和数据;以及用修改后的LDM模型替换在存储器中维护或存储的LDM数据模型。
在一些方面,向不当行为管理机构发送生成的不当行为报告可以包括发送LDM数据模型的表示。
在一些方面,该LDM数据模型的表示可以包括用于该LDM数据模型的不完整数据集。
一些方面还可以包括从该不当行为管理机构接收反馈,其中该反馈包括纠正措施以减轻该不当行为状况。
在一些方面,该接收到的V2X消息中包括的关于车辆周围环境的数据可以包括交通信息。在一些方面,该接收到的V2X消息中包括的关于车辆周围环境的数据包括基于全球导航卫星系统(GNSS)(例如全球定位系统(GPS))数据的邻近车辆的位置信息。在一些方面,该接收到的V2X消息中包括的关于车辆周围环境的数据包括详细说明道路几何形状和街道设施的地图数据。
在一些方面,将接收到的V2X消息中包括的数据与该本地维护或存储的LDM数据模型进行比较以检测不当行为状况可以包括确定该接收到的V2X消息中包括的任何数据是否与该本地维护或存储的LDM数据模型中的信息冲突。
在一些方面,将该接收到的V2X消息中包括的数据与该本地维护或存储的LDM数据模型进行比较以检测不当行为状况可以包括选择本地维护或存储的LDM数据模型中的数据元素子集,用于与接收到的V2X消息中包括的数据进行比较;以及确定该接收到的V2X消息中包括的任何数据是否与该本地维护或存储的LDM数据模型内的所选择的数据元素子集冲突。
在一些方面,将该接收到的V2X消息中包括的数据与该本地维护或存储的LDM数据模型进行比较以检测不当行为状况可以包括确定发送该接收到的V2X消息的邻近车辆的状态或位置信息是否与该本地维护或存储的LDM数据模型中邻近车辆的状态或位置信息冲突。
另外的方面可以包括V2X设备,其具有被配置为执行上述方法的一个或多个操作的处理器。另外的方面可以包括其上存储有处理器可执行指令的非暂时性处理器可读存储介质,该处理器可执行指令被配置为使V2X设备的处理器执行上述方法的操作。另外的方面包括V2X设备,其具有用于执行上述方法的功能的部件。
附图说明
并入本文并构成本说明书的一部分的附图示出了权利要求的示例性实施例,并且与上面给出的一般描述和下面给出的详细描述一起用于解释权利要求的特征。
图1A和图1B是示出适合用于实施各个实施例的车辆的组件框图。
图1C是示出适合用于实施各个实施例的车辆的组件的组件框图。
图1D是示出适合用于实施各个实施例的V2X通信系统的子集的示意框图。
图2A是示出根据各个实施例的示例车辆管理系统的组件的组件框图。
图2B是示出根据各个实施例的另一示例车辆管理系统的组件的组件框图。
图3是示出根据各个实施例的用于在车辆中使用的片上系统的组件的框图。
图4是示出根据各个实施例的被配置为生成本地动态地图数据的系统的组件框图。
图5是示出根据各个实施例的由V2X设备的处理器执行的方法的操作的过程流程图,该方法用于通过将接收到的V2X消息中的数据与LDM数据模型中的数据进行比较来检测V2X消息中的不当行为状况。
图6是示出根据各个实施例的方法的操作的过程流程图,该方法用于将接收到的V2X消息中的数据与LDM数据模型中的数据进行比较。
图7是示出适合与各个实施例一起使用的示例移动计算设备的组件框图。
图8是示出适合与各个实施例一起使用的示例移动计算设备的组件框图。
图9是示出适合与各个实施例一起使用的示例服务器的组件框图。
具体实施方式
将参照附图详细描述各个实施例。在可能的情况下,将在整个附图中使用相同的附图标记来指代相同或相似的部分。对特定示例和实施方式的引用是出于说明性目的,并不旨在限制权利要求的范围。
在V2X通信中,重要的是检测不准确的、损坏的或被攻击的(即不良的)数据,以防止这样的不准确数据进一步传播。如果V2X设备发送不准确的、损坏的或被攻击的(即不良的)数据,后果可能只是轻微的不便和交通拥堵,但也可能危及生命。因此,期望对不当行为状况的检测进行针对全面的信息集的严格分析,以确保可靠地检测到任何这样的不当行为状况。
术语“移动设备”在本文中用于指代无线路由器设备、无线电器、蜂窝电话、智能电话、便携式计算设备、个人或移动多媒体播放器、膝上型计算机、平板计算机、智能本、超极本、掌上电脑、无线电子邮件接收器、多媒体因特网使能的蜂窝电话、医疗设备和装备、生物识别传感器/设备、可穿戴设备(包括智能手表、智能服装、智能眼镜、智能腕带、智能珠宝(例如,智能戒指、智能手环等))、娱乐设备(例如,无线游戏控制器、音乐和视频播放器、卫星收音机等)、无线网络使能的物联网(IoT)设备(包括智能仪表/传感器、工业制造装备、针对家庭使用或企业使用的大型和小型机械和电器)、自动和半自动车辆内的无线通信元件、固定在或集成到各种移动平台的移动设备、全球定位系统设备,以及包括存储器、无线通信组件和可编程处理器的类似电子设备中的任何一种或全部。
术语“片上系统”(SOC)在本文中用于指代包含集成在单个基板上的多个资源和/或处理器的单个集成电路(IC)芯片。单个SOC可以包含用于数字、模拟、混合信号和射频功能的电路。单个SOC还可以包括任意数量的通用和/或专用处理器(数字信号处理器、调制解调器处理器、视频处理器等)、存储器块(例如ROM、RAM、闪存等)和资源(例如定时器、电压调节器、振荡器等)。SOC还可以包括用于控制集成资源和处理器以及用于控制外围设备的软件。
术语“系统级封装”(SIP)可以在本文中用于指代在两个或更多个IC芯片、基板或SOC上包含多个资源、计算单元、核和/或处理器的单个模块或封装。例如,SIP可以包括单个基板,多个IC芯片或半导体管芯以垂直配置堆叠在该基板上。类似地,SIP可以包括一个或多个多芯片模块(MCM),多个IC或半导体管芯在其上封装成统一基板。SIP还可以包括多个独立的SOC,这些SOC经由高速通信电路耦接在一起,并被紧密封装,诸如在单个主板上或单个移动设备中。SOC的接近性促进高速通信以及存储器和资源的共享。
如在本申请中使用的,术语“组件”、“系统”、“单元”、“模块”等包括与计算机相关的实体,诸如但不限于硬件、固件、硬件和软件的组合、软件或执行中的软件,它们被配置为执行特定操作或功能。例如,组件可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行的进程、程序和/或计算机。作为说明,在通信设备上运行的应用和该通信设备都可以称为组件。一个或多个组件可以驻留在执行的进程和/或线程内,并且组件可以位于一个处理器或内核上和/或分布在两个或更多个处理器或内核之间。此外,这些组件可以从其上存储有各种指令和/或数据结构的各种非暂时性计算机可读介质执行。组件可以通过本地和/或远程进程、函数或程序调用、电子信号、数据分组、存储器读/写以及其他已知的计算机、处理器和/或进程相关的通信方法进行通信。
总的来说,各个实施例包括方法和机构,用于由V2X系统参与者通过将接收到的V2X消息与车辆的本地动态地图(LDM)数据模型进行比较并确定在V2X消息中接收到的数据与本地维护或存储的LDM数据模型之间是否存在不一致来检测不当行为状况。
V2X系统和技术通过使车辆能够共享关于其位置、速度、行进方向、制动和其他可能对其他车辆碰撞避免和其他安全功能有用的因素的信息,对于改善交通流量和车辆安全性有巨大希望。配备有V2X/V2V车载设备的车辆将频繁(例如每秒最多20次)以称为基本安全消息(BSM)或CAM的分组的形式发送其车辆信息。由于所有配备V2X的车辆都发送这样的BSM/CAM消息,因此所有接收车辆都具有控制其自己的速度和方向以避免碰撞并有效和安全地相对于彼此定位车辆所需的信息。据设想,配备V2X的车辆可能能够通过安全地缩短间隔距离、将几辆车辆一起编队并避免车辆经历故障来改善交通流量。
为了便于参考,在本申请中使用在V2X中操作的不当行为管理系统术语来描述一些实施例。然而,应当理解,各个实施例涵盖任何或所有V2X/V2V或基于车辆的通信标准、消息或技术。这样,本申请中的任何内容都不应被解释为将权利要求限制为V2X/V2V系统,除非在权利要求中明确说明。此外,本文描述的实施例讨论了执行V2X/V2V通信的车载设备。在V2X/V2V系统中,系统参与者设备可以包括但不限于车载设备、移动设备和路侧单元(RSU)。RSU可以包括诸如交通信号、路侧信标、交通相机等的固定设备。每个系统参与者设备可以向其他系统参与者设备广播信息。系统参与者设备之间的V2X通信可以允许在每个系统参与者设备上执行的应用为车辆提供安全应用(例如,可以确定即将来临的危险的应用,诸如车辆急刹车或超速驶出盲道)或移动性(交通信号变化的规划),或在整个车辆运输系统内提供其他有用的功能。
本地动态地图(LDM)是一种数据模型,通常由移动设备构建以支持其环境中的导航。移动设备从一个或多个传感器获得关于其环境的信息,并且可以从其他移动设备(例如,经由V2X通信系统)或从诸如基于云的服务器的网络元素接收其他LDM数据,并使用这样的数据构建其LDM。即使没有接收到新数据,LDM仍然可以是随时间变化的动态数据模型,经由航位推算而不是通过来自那些其他V2X系统参与者的消息来更新其他V2X系统参与者的位置。该LDM数据模型可以聚合并合成由V2X系统参与者从所有相关输入(包括但不限于V2X消息和传感器输入)接收到的信息,以创建V2X系统参与者周围的本地环境的模型。该LDM可以基于在LDM中跟踪的对象的观察到的动态来更新以及基于新的输入来更新。
在V2X参与者的设备上操作的不当行为管理系统可以通过聚合从主车辆的一个或多个传感器(例如,相机、雷达、LIDAR等)、从一个或多个其他移动设备或经由V2X消息接收到的车辆和/或从远程数据源和网络元素(诸如基于云的服务器,诸如经由路侧单元)获得的信息来构建LDM。该车辆V2X系统可以处理该信息以可用或可呈现形式(诸如数字地图)生成和更新该本地维护或存储的LDM数据。LDM地图的部分也可以从外部源接收,诸如能够执行密集处理操作的计算设备。这样的LDM数据模型可以包括多种类型的信息,这些信息可以在多个层或数据元素中进行结构化或组织化。例如,LDM数据模型可以包括道路的物理地图,诸如从地图数据库下载的道路的物理地图、观察到的道路状况(例如,崎岖或平摊、潮湿、干燥或结冰等)的数据层、观察到的其他车辆位置和速度的数据层、网络报告道路变化(例如,施工,封闭车道)的数据层、关于附近交通信号(例如,本车辆前方交通信号灯的灯光周期时间)的数据层,以及对自动驾驶、碰撞避免和一般安全功能(例如,驾驶员警报)有用的其他信息。
不当行为管理系统使用的信息通常仅限于可以维护或存储在存储器中的数据(例如,静态地图)和来自车载传感器的数据。从车载传感器和其他移动设备接收的LDM数据可能会受到每个传感器的灵敏度、视野和感知限制的限制。从远程网络元素接收的LDM数据通常不包括移动设备的车辆附近的环境的最新变化,因此可能无法反映高度动态的环境状况(例如,道路封闭、施工、事故等)。通过组合关于车辆前方道路以及附近其他车辆的所有信息源,车辆系统(例如,不当行为管理系统)可以生成更全面的LDM数据模型,该模型可用于复杂过程,诸如自动驾驶和半自动驾驶员辅助功能。
LDM数据模型可以被结构化成多种类型,反映这样的信息可能动态变化的程度。例如,LDM数据可以分类(例如,在相关的ETSI标准中)为:类型1用于永久静态信息,诸如道路位置和地理特征,这可以被认为是地图数据;类型2用于瞬态静态信息,这可以包括地图数据中未包括的信号,诸如速度限制;类型3用于瞬态动态信息,诸如天气和交通拥堵以及其他交通状况信息;以及类型4用于高度动态信息,诸如汽车传感器数据、其他行驶中车辆的位置、行人、停放的车辆、交通信号的状态和其他高度瞬态状况。已报告的LDM实施方式的示例包括BoschTM和Tele AtlasTM的PG-LDM以及NAVTEQTM的NAVTEQ-LDM。PG-LDM实施方式采用PostgreSQL作为其数据库引擎,并提供PostGIS存储程序和空间操作。同时,NAVTEQ-LDM实施方式采用SQLite作为其数据库引擎。
在各个实施例中,在V2X设备处理器上操作的不当行为管理系统可以从一个或多个数据源而不是V2X系统参与者接收第一LDM数据,这些数据源可以包括邻近车辆、移动设备和RSU、可以发送CAM消息或分散的环境通知消息(DENM)消息的数据源,以及各种基于因特网或基于云的资源。在一些实施例中,接收到的第一LDM数据可以是类型4信息,或反映高度瞬态状况的“高度动态”信息。在一些实施例中,该接收到的LDM数据可以在阈值时间量内从传感器或另一信息源获得,诸如两秒、一秒、250毫秒或另一合适的阈值或时间窗口。在一些实施例中,该第一LDM数据可以包括由装配在车辆和移动设备上的多个传感器采集的数据。诸如传感器数据可以包括诸如速度、温度、每分钟转数、GPS位置、图像数据、音频数据或车辆/设备操作状态数据之类的数据。该不当行为管理系统可以聚合所有收集的传感器数据以及接收到的V2X消息数据,以生成表示V2X参与者周围环境的LDM数据模型。为了便于参考,各个实施例都通过将V2X参与者周围的环境称为车辆周围的环境进行描述;但是,V2X参与者可能是车辆之外的其他设备,诸如RSU和其他固定设备。
以这种方式生成的LDM数据模型可以用于评估接收到的V2X消息中包括的信息的准确性或真实性。因为LDM数据模型可以由从各种信息源接收的数据组成,它可以包括与V2X消息中提供的信息相关的一个或多个数据元素。但是,并非LDM数据模型中包括的所有信息都可以与要验证或证实的V2X消息中的信息相关。
各个实施例可以在各种车辆中实施,其示例车辆101在图1A和图1B中示出。参考图1A和图1B,车辆101可以包括控制单元140和多个传感器144-170,包括卫星地理定位系统接收器142,占用传感器144、146、148、150、152,轮胎压力传感器154、156,相机158、160,麦克风162、164,冲击传感器166,雷达168和激光雷达170。布置在车辆中或车辆上的多个传感器144-170可以用于各种目的,诸如自动和半自动导航和控制、碰撞避免、位置确定等,以及提供关于车辆101内或车辆101上的对象和人的传感器数据。该传感器144-170可以包括能够检测对导航和碰撞避免有用的各种信息的多种传感器中的一种或多种。传感器144-170中的每一个可以与控制单元140以及彼此进行有线或无线通信。具体地,该传感器可以包括一个或多个相机158、160或其他光学传感器或光电传感器。该传感器还可以包括其他类型的对象检测和测距传感器,诸如雷达168、激光雷达170、IR传感器和超声波传感器。该传感器还可以包括轮胎压力传感器154、156,湿度传感器,温度传感器,卫星地理定位传感器142,控制输入传感器145,加速度计,振动传感器,陀螺仪,重力仪,冲击传感器166,测力计,应力计,应变传感器,流体传感器,化学传感器,气体含量分析仪,pH传感器,辐射传感器、盖革计数器,中子检测器,生物材料传感器,麦克风162、164,占用传感器144、146、148、150、152,接近度传感器和其他传感器。
该车辆控制单元140可以配置有处理器可执行指令以使用从各个传感器,特别是相机158、160接收的信息来执行导航和碰撞避免操作。在一些实施例中,该控制单元140可以使用距离和相对位置(例如,相对方位角)来补充对相机图像的处理,该距离和相对位置可以从雷达168和/或激光雷达170传感器获得。该控制单元140还可以被配置为使用信息来控制车辆101在以自动或半自动模式操作时的转向、制动和速度,其中该信息是关于使用各个实施例确定的其他车辆的信息。
图1C是示出适合于实施各个实施例的组件和支持系统的通信系统100的组件框图。参考图1A-图1C所示,车辆101可以包括控制单元140,其可以包括用于控制该车辆101的操作的各种电路和设备。在图1D所示出的示例中,该控制单元140包括处理器140a、存储器140b、输入模块140c、输出模块140d和无线电模块140e。该控制单元140可以耦接到并被配置为控制该车辆101的驱动控制组件172a、导航组件172b以及一个或多个传感器172c。该处理器140a可以配置有处理器可执行指令以控制该车辆101的操纵、导航和/或其他操作,包括各个实施例的操作。该处理器140a可以耦接到该存储器140b。
无线电模块140e可以被配置用于无线通信。无线电模块140e可以经由通信链路122与网络收发器(例如,基站110)交换信号(例如,用于控制操纵的命令信号、来自导航设施的信号等),并且可以将该信号提供给处理器140a和/或导航单元172b。在一些实施例中,无线电模块140e可以使车辆101通过无线通信链路124与无线通信设备120进行通信。如所描述的,无线通信链路124可以是双向或单向通信链路,并且可以使用一个或多个通信协议。
输入模块140c可以接收来自一个或多个车辆传感器172c的传感器数据,以及来自其他组件(包括驱动控制组件172a和导航组件172b)的电子信号。该输出模块140d可以与该车辆101的各种组件进行通信,或者激活该车辆101的各种组件,包括驱动控制组件172a、导航组件172b和传感器172c。
控制单元140可以耦接到驱动控制组件172a以控制与车辆的操纵和导航相关的车辆101的物理元件,诸如发动机、马达、油门、转向元件、飞行控制元件、制动或减速元件等等。驱动控制组件172a还可以包括控制车辆的其他设备的组件,包括环境控制设备(例如,空调和加热设备)、外部和/或内部照明设备、内部和/或外部信息显示器(其可以包括显示屏或显示信息的其他设备)、安全设备(例如,触觉设备、声音警报器等)和其他类似设备。
控制单元140可以耦接到导航组件172b,并且可以从该导航组件172b接收数据并且被配置为使用这样的数据来确定车辆101的当前位置和朝向,以及朝向目的地的合适路线。导航组件172b可以包括或耦接到GNSS接收器系统(例如,一个或多个GPS接收器),使车辆101能够使用GNSS信号确定其当前位置。替代地或另外地,导航组件172b可以包括无线电导航接收器,用于从无线电节点,诸如Wi-Fi接入点、蜂窝网络站点、无线电站、远程计算设备、其他车辆等,接收导航信标或其他信号。通过驱动控制元件172a的控制,处理器140a可以控制车辆101进行导航和操纵。处理器140a和/或导航组件172b可以被配置为经由无线通信链路122、126与通信网络(例如,核心网132)中诸如服务器的网络元件进行通信,以接收控制操纵的命令,接收对导航有用的数据,提供实时位置报告,并评估其他数据。
控制单元140可以耦接到一个或多个传感器172c。传感器172c可以包括如所描述的传感器144-170,并且可以被配置为向处理器140a提供各种数据。
虽然控制单元140被描述为包括单独的组件,但在一些实施例中,组件中的一些或全部(例如,处理器140a、存储器140b、输入模块140c、输出模块140d和无线电模块140e)可以集成在单个设备或模块中,诸如片上系统(SOC)处理设备。这样的SOC处理设备可以被配置用于车辆中,并且被配置有诸如在处理器140a中执行的处理器可执行指令,以在安装在车辆中时使用LDM数据来执行导航和碰撞避免操作。
图1D示出了V2X系统103的一部分,包括三辆车辆12、14、16。在所示出的示例中,每个车辆12、14、16分别包括V2X车载设备102、104、106,其被配置为周期性地广播基本安全消息30、40、50以供其他车辆的车载设备(例如,102、104、106)接收和处理。通过共享车辆位置、速度、方向、制动和其他信息,车辆可以维持安全间隔并标识和避免潜在的碰撞。例如,从前车16接收基本安全消息40的尾随车辆12可以确定车辆16的速度和位置,反过来使车辆12能够匹配速度并维持安全间隔距离20。通过在前车16应用制动时通过基本安全消息40得到通知,即使在前车16突然停止时,尾随车辆12中的V2X设备102也可以同时应用制动以维持安全间隔距离20。作为另一示例,卡车车辆14内的V2X设备104可以从两辆车辆12、16接收基本安全消息30、50,并因此被告知卡车车辆14应该在交叉路口停下以避免碰撞。车辆V2X车载设备102、104、106中的每一个都可以使用多种近距离通信协议中的任何一种来相互通信。此外,该车辆能够通过通信网络18(例如,蜂窝、WiFi等)经由通信链路60、62向原始装备制造商(OEM)(70、72)和/或远程不当行为管理机构74发送关于检测到的基本安全消息以及检测到的不当行为报告的数据和信息。可以将MBR直接发送到不当行为管理机构74(例如,通过通信链路64、66)。在其他实施例中,MBR可以首先通过通信链路64、66被发送到诸如OEM服务器70、72的MBR预处理单元以进行预处理。然后可以通过通信链路64、66将该预处理的MBR从MBR预处理服务器70、72发送到该不当行为管理机构74。
图2A是示出示例不当行为管理系统200的组件的组件框图。车辆管理系统200可以包括可以在车辆101内使用的各种子系统、通信元件、计算元件、计算设备或单元。参考图1A-图2A,不当行为管理系统200内的各种计算元件、计算设备或单元可以在互连的计算设备(即,子系统)的系统内实施,它们相互传送数据和命令(例如,由图2A中的箭头指示)。在一些实施方式中,不当行为管理系统200内的各种计算元件、计算设备或单元可以在单个计算设备内实施,诸如单独的线程、进程、算法或计算元件。因此,图2A中所示出的每个子系统/计算元件在本文中通常也都被称为构成不当行为管理系统200的计算“栈”内的“层”。然而,在描述各个实施例中使用术语层和栈并不旨在暗示或要求在单个自动(或半自动)车辆管理系统计算设备内实施相应的功能,尽管这是一个潜在的实施方式实施例。相反,术语“层”的使用旨在涵盖具有独立处理器的子系统、在一个或多个计算设备中运行的计算元素(例如,线程、算法、子例程等),以及子系统和计算元素的组合。
不当行为管理系统栈可以包括雷达感知层202、相机感知层204、定位引擎层206、地图融合和仲裁层208、路线规划层210、传感器融合和道路世界模型(RWM)管理层212、运动规划和控制层214以及行为规划和预测层216。层202-216仅仅是不当行为管理系统栈200的一个示例配置中的一些层的示例。在其他配置中,可以包括其他层,诸如用于其他感知传感器的附加层(例如,LIDAR感知层等)、用于规划和/或控制的附加层、用于建模等的附加层等等,和/或层202-216中的某些层可以从该不当行为管理系统栈200中排除。如图2A中的箭头所示,层202-216中的每一层可以交换数据、计算结果和命令。此外,不当行为管理系统栈200可以接收和处理来自传感器(例如,雷达、激光雷达、相机、惯性测量单元(IMU)等)、导航系统(例如,GPS接收器、IMU等)、车辆网络(例如,控制器局域网(CAN)总线)和存储器中的数据库(例如,数字地图数据)的数据。不当行为管理系统栈200可以将车辆控制命令或信号输出到线控驱动(DBW)系统/控制单元220,其是直接与车辆转向、油门和制动控制对接的系统、子系统或计算设备。图2A中所示出的不当行为管理系统栈200和DBW系统/控制单元220的配置仅是示例配置,并且可以使用车辆管理系统和其他车辆组件的其他配置。作为示例,图2A中所示出的不当行为管理系统栈200和DBW系统/控制单元220的配置可用于车辆,该车辆被配置用于自动或半自动操作,而不同的配置可用于非自动车辆中。
雷达感知层202可以从一个或多个检测和测距传感器接收数据,诸如雷达(例如,132)和/或激光雷达(例如,138),并处理该数据以识别和确定车辆100附近的其他车辆和对象的位置。雷达感知层202可以包括使用神经网络处理和人工智能方法来识别对象和车辆,并将这样的信息传递到传感器融合和RWM管理层212。
相机感知层204可以从一个或多个相机,诸如相机(例如,158、160),接收数据,并处理该数据以识别和确定车辆100附近其他车辆和对象的位置。相机感知层204可以包括使用神经网络处理和人工智能方法来识别对象和车辆,并将这样的信息传递到传感器融合和RWM管理层212。
定位引擎层206可以从各个传感器接收数据并处理该数据以确定该车辆100的位置。各个传感器可以包括但不限于GPS传感器、IMU和/或经由CAN总线连接的其他传感器。定位引擎层206还可以利用来自一个或多个相机,诸如相机(例如,158、160)的输入,和/或任何其他可用传感器,诸如雷达、LIDAR等。
不当行为管理系统200可以包括或耦接到车辆无线通信子系统230。无线通信子系统230可以被配置为与其他车辆计算设备和公路通信系统进行通信,诸如经由车辆到车辆(V2V)通信链路,和/或传送到远程信息源,诸如基于云的资源,经由蜂窝无线通信系统,诸如5G网络。在各个实施例中,该无线通信子系统230可以经由无线通信链路与其他V2X系统参与者进行通信以接收LDM数据。
地图融合和仲裁层208可以访问从其他V2X系统参与者接收的LDM数据,接收从定位引擎层206接收的输出,以及处理该数据以进一步确定车辆101在地图内的位置,诸如在交通车道内的位置、街道地图内的位置等。LDM数据可以被维护或存储在车辆的存储器(例如,存储器432)中。例如,该地图融合和仲裁层208可以将来自GPS的纬度和经度信息转换成LDM数据中道路的表面地图内的位置。GPS位置确定包括错误,因此地图融合和仲裁层208可以用于基于GPS坐标和LDM数据之间的仲裁来确定该车辆在道路内的最佳猜测位置。例如,虽然GPS坐标可以将该车辆放置在LDM数据中的两车道道路的中间附近,但是该地图融合和仲裁层208可以根据行驶方向确定该车辆最有可能与车道对准,该车道与行驶方向一致。地图融合和仲裁层208可以将基于地图的位置信息传递给传感器融合和RWM管理层212。
路线规划层210可以利用LDM数据以及来自操作员或调度员的输入来规划车辆101到特定目的地要遵循的路线。路线规划层210可以将基于地图的位置信息传递给传感器融合和RWM管理层212。然而,不需要由其他层(诸如传感器融合和RWM管理层212等)使用以前的地图。例如,其他栈可以在没有提供地图的情况下仅基于感知数据来操作和/或控制车辆,在接收到感知数据时构建车道、边界和本地地图的概念。
传感器融合和RWM管理层212可以接收由雷达感知层202、相机感知层204、地图融合和仲裁层208以及路线规划层210产生的数据和输出,并使用这样的输入中的一些或全部来估计或细化车辆101相对于道路、道路上的其他车辆以及车辆100附近的其他对象的位置和状态。例如,传感器融合和RWM管理层212可以将来自相机感知层204的图像数据与来自地图融合和仲裁层208的仲裁地图位置信息相结合,以细化车辆在交通车道内的确定位置。作为另一示例,传感器融合和RWM管理层212可以将来自相机感知层204的对象识别和图像数据与来自雷达感知层202的对象检测和测距数据相结合,以确定和细化该车辆附近的其他车辆和对象的相对位置。作为另一示例,传感器融合和RWM管理层212可以从车辆到车辆(V2V)通信(诸如经由CAN总线)接收关于其他车辆位置和行驶方向的信息,并将该信息与来自雷达感知层202和相机感知层204的信息组合以细化其他车辆的位置和运动。传感器融合和RWM管理层212可以将车辆100的细化后的位置和状态信息以及该车辆附近的其他车辆和对象的细化后的位置和状态信息输出到运动规划和控制层214和/或行为规划和预测层216。
作为进一步的示例,传感器融合和RWM管理层212可以使用动态交通控制指令引导车辆101改变速度、车道、行驶方向或其他导航元素,并将该信息与其他接收到的信息组合以确定细化后的位置和状态信息。传感器融合和RWM管理层212可以将车辆101的细化后的位置和状态信息以及车辆100附近的其他车辆和对象的细化后的位置和状态信息经由无线通信,诸如通过C-V2X连接、其他无线连接等,输出到运动规划和控制层214、行为规划和预测层216和/或远离该车辆10的设备,诸如数据服务器、其他车辆等。
作为又一示例,传感器融合和RWM管理层212可以监测来自各个传感器的感知数据,诸如来自雷达感知层202、相机感知层204、其他感知层等的感知数据,和/或来自一个或多个传感器本身的数据,以分析车辆传感器数据中的状况。传感器融合和RWM管理层212可以被配置为检测传感器数据中的状况,诸如在阈值处、高于阈值或低于阈值的传感器测量、正在发生的某些类型的传感器测量等,并且可以将作为提供的车辆101的细化后的位置和状态信息的一部分的传感器数据,经由无线通信,诸如通过C-V2X连接、其他无线连接等,输出到行为规划和预测层216和/或远离车辆100的设备,诸如数据服务器、其他车辆等。
细化后的位置和状态信息可以包括与车辆和车主和/或操作员相关联的车辆描述符,诸如:车辆规格(例如,尺寸、重量、颜色、车载传感器类型等);车辆位置、速度、加速度、行驶方向、姿态、朝向、目的地、燃料/功率电平和其他状态信息;车辆应急状态(例如,车辆是应急车辆还是紧急情况下的私人车辆);车辆限制(例如,重载/宽载、转弯限制、高乘载车辆(HOV)授权等);车辆的能力(例如,全轮驱动、四轮驱动、雪地轮胎、链条、支持的连接类型、车载传感器操作状态、车载传感器分辨率级别等);设备问题(例如,低胎压、刹车不灵、传感器故障等);车主/操作员出行偏好(例如,首选车道、道路、路线和/或目的地、避免收费或高速公路的偏好、对最快路线的偏好等);向数据代理服务器提供传感器数据的权限(例如,184);和/或车主/操作员识别信息。
自动车辆系统栈200的行为规划和预测层216可以使用车辆101的细化后的位置和状态信息以及从传感器融合和RWM管理层212输出的其他车辆和对象的位置和状态信息来预测其他车辆和/或对象的未来行为。例如,行为规划和预测层216可以使用这样的信息来基于自己的车辆位置和速度以及其他车辆位置和速度来预测该车辆附近的其他车辆的未来相对位置。这样的预测可以考虑来自LDM数据和路线规划的信息,以预测当主车辆和其他车辆沿着道路行驶时相对车辆位置的变化。行为规划和预测层216可以将其他车辆和对象行为和位置预测输出到运动规划和控制层214。附加地,行为规划和预测层216可以结合位置预测使用对象行为来规划和生成用于控制车辆101的运动的控制信号。例如,基于路线规划信息、道路信息中的细化后的位置以及其他车辆的相对位置和运动,行为规划和预测层216可以确定车辆101需要改变车道和加速度,诸如与其他车辆维持或实现最小间距,和/或准备转弯或退出。结果,行为规划和预测层216可以计算或以其他方式确定车轮的转向角和要向运动规划和控制层214和DBW系统/控制单元220命令对油门设置的改变以及实现这样的变道和加速所需的这样的各种参数。一个这样的参数可以是计算的方向盘命令角。
运动规划和控制层214可以接收来自传感器融合和RWM管理层212的数据和信息输出以及其他车辆和对象行为以及来自行为规划和预测层216的位置预测,并且使用该信息来规划和生成用于控制车辆101的运动的控制信号并验证这样的控制信号是否满足车辆100的安全要求。例如,基于路线规划信息、道路信息中的细化后的位置以及其他车辆的相对位置和运动,运动规划和控制层214可以验证各个控制命令或指令并将其传递给DBW系统/控制单元220。
DBW系统/控制单元220可以从运动规划和控制层214接收命令或指令,并将这样的信息转换成用于控制车辆100的车轮角度、制动器和油门的机械控制信号。例如,DBW系统/控制单元220可以通过向方向盘控制器发出相应的控制信号来响应计算的方向盘命令角。
在各个实施例中,无线通信子系统230可以经由无线通信链路与其他V2X系统参与者进行通信,以发送传感器数据、位置数据、车辆数据以及由车载传感器采集的关于车辆周围的环境的数据。其他V2X系统参与者可以使用这样的信息来更新LDM数据以中继到其他V2X系统参与者。
在各个实施例中,不当行为管理系统栈200可以包括执行安全检查或监督可能影响车辆和乘员安全的各个层的各个命令、规划或其他决策的功能。这样的安全检查或监督功能可以在专用层内实施或分布在各个层之间并作为功能的一部分被包括在内。在一些实施例中,各种安全参数可以存储在存储器中,并且安全检查或监督功能可以将确定的值(例如,到附近车辆的相对间距、与道路中心线的距离等)与一个或多个相应的安全参数进行比较,如果违背或即将违背安全参数,则发出警告或命令。例如,行为规划和预测层216(或单独的层)中的安全或监督功能可以确定另一车辆(由该传感器融合和RWM管理层212定义)与该车辆之间的当前或未来间隔距离(例如,基于由该传感器融合和RWM管理层212细化的世界模型),将该间隔距离与存储在存储器中的安全间隔距离参数进行比较,并且如果当前或预测的间隔距离违反该安全间隔距离参数,则向运动规划和控制层214发出指令以加快、减慢或转弯。作为另一示例,运动规划和控制层214(或单独的层)中的安全或监督功能可以将确定的或命令的方向盘命令角度与安全的车轮角度限制或参数进行比较,并响应于超过该安全车轮角度限制的命令角发出超控命令和/或警报。
存储在存储器中的一些安全参数可以是静态的(即不随时间变化),诸如最大车速。存储在存储器中的其他安全参数可以是动态的,因为可以基于车辆状态信息和/或环境状况连续或周期性地确定或更新该参数。安全参数的非限制性示例包括最大安全速度、最大制动压力、最大加速度和安全车轮角度限制,所有这些都可以是道路和天气状况的函数。
图2B示出了车辆管理系统250内的子系统、计算元件、计算设备或单元的示例,其可以在车辆101内使用。参考图1A-图2B,在一些实施例中,不当行为管理系统栈200的层202、204、206、208、210、212和216可以类似于参考图2A描述的那些,并且除了不当行为管理系统栈250可以将各种数据或指令传递给车辆安全与碰撞避免系统252而不是DBW系统/控制单元220之外,不当行为管理系统栈250可以类似于不当行为管理系统栈200进行操作。例如,图2B中示出的不当行为管理系统栈250和车辆安全与碰撞避免系统252的配置可以用于非自动车辆。
在各个实施例中,行为规划和预测层216和/或传感器融合和RWM管理层212可以将数据输出到车辆安全与碰撞避免系统252。例如,传感器融合和RWM管理层212可以将传感器数据作为提供的车辆101的细化后的位置和状态信息的一部分输出到车辆安全与碰撞避免系统252。车辆安全与碰撞避免系统252可以使用车辆101的细化后的位置和状态信息来做出关于车辆101和/或车辆100的乘员的安全确定。作为另一示例,行为规划和预测层216可以将与其他车辆的运动相关的行为模型和/或预测结果输出到该车辆安全与碰撞避免系统252。该车辆安全与碰撞避免系统252可以使用与其他车辆的运动相关的行为模型和/或预测结果来做出关于该车辆101和/或该车辆101的乘员的安全确定结果。
在各个实施例中,该车辆安全与碰撞避免系统252可以包括执行安全检查或监督可能影响车辆和乘员安全的各种层的各种命令、规划或其他决策、以及人类驾驶员的行为的功能。在一些实施例中,各种安全参数可以存储在存储器中,并且该车辆安全与碰撞避免系统252可以将确定的值(例如,与附近车辆的相对间距、与道路中心线的距离等)与一个或多个相应的安全参数进行比较,如果违背或即将违背安全参数,发出警告或命令。例如,车辆安全与碰撞避免系统252可以确定另一车辆(由该传感器融合和RWM管理层212定义)与该车辆之间的当前或未来间隔距离(例如,基于由该传感器融合和RWM管理层212细化的世界模型),将该间隔距离与存储在存储器中的安全间隔距离参数进行比较,并且如果当前或预测的间隔距离违反该安全间隔距离参数,向驾驶员发出指令以加快、减慢或转弯。作为另一示例,车辆安全与碰撞避免系统252可以将人类驾驶员在方向盘角度的变化与安全的车轮角度限制或参数进行比较,并响应于超过该安全车轮角度限制的方向盘角度发出超驰命令和/或警报。
图3示出了适用于在车辆中实施各个实施例的处理设备SOC 300的示例片上系统(SOC)架构。参考图1A-图3,处理设备SOC 300可以包括多个异构处理器,诸如数字信号处理器(DSP)303、调制解调器处理器304、图像和对象识别处理器306、移动显示处理器307、应用处理器308,以及资源和功率管理(RPM)处理器317。处理设备SOC 300还可以包括连接到异构处理器303、304、306、307、308、317中的一个或多个的一个或多个协处理器310(例如,矢量协处理器)。处理器中的每一个可以包括一个或多个核心,以及独立/内部时钟。每个处理器/核心可以独立于其他处理器/核心执行操作。例如,处理设备SOC 300可以包括执行第一类型操作系统(例如FreeBSD、LINUX、OS X等)的处理器和执行第二类型操作系统(例如Microsoft Windows)的处理器。在一些实施例中,应用处理器308可以是SOC 300的主处理器、中央处理单元(CPU)、微处理器单元(MPU)、算术逻辑单元(ALU)等。图形处理器306可以是图形处理单元(GPU)。
处理设备SOC 300可以包括模拟电路和定制电路314,用于管理传感器数据、模数转换、无线数据传输,以及用于执行其他专门操作,诸如处理编码音频和视频信号以在网页浏览器中渲染。处理设备SOC 300还可以包括系统组件和资源316,诸如电压调节器、振荡器、锁相环、外围桥、数据控制器、存储器控制器、系统控制器、访问端口、定时器,以及用于支持在计算设备上运行的处理器和软件客户端(例如,网页浏览器)的其他类似组件。
处理设备SOC 300还包括用于相机驱动和管理处理器305的专用电路,处理器305包括、提供、控制和/或管理一个或多个相机158、160(例如,主相机、网络相机、3D相机等)的操作、来自相机固件的视频显示数据、图像处理、视频预处理、视频前端(VFE)、在线JPEG、高清视频编解码器等。相机致动和管理处理器305可以是独立的处理单元和/或包括独立或内部时钟。
在一些实施例中,图像和对象识别处理器306可以配置有处理器可执行指令和/或被配置为执行各个实施例中涉及的图像处理和对象识别分析的专用硬件。例如,图像和对象识别处理器306可以被配置为经由相机致动和管理处理器305对从相机(例如,158、160)接收的图像执行处理操作,以识别和/或标识其他车辆,并以其他方式执行如所述的相机感知层204的功能。在一些实施例中,处理器306可以被配置为处理雷达或激光雷达数据,并执行所描述的雷达感知层202的功能。
系统组件和资源316、模拟和定制电路314和/或相机驱动和管理处理器305可以包括与外围设备对接的电路,诸如相机158、160,雷达168,激光雷达170,电子显示器,无线通信设备,外部存储芯片等。处理器303、304、306、307、308可以经由互连/总线模块324互连到一个或多个存储器元件312、系统组件和资源316、模拟和定制电路314、相机驱动和管理处理器305以及RPM处理器317,其可以包括可重新配置的逻辑门阵列和/或实施总线架构(例如,CoreConnect、AMBA等)。通信可以由高级互连提供,诸如高性能片上网络(NoC)。
处理设备SOC 300还可以包括输入/输出模块(未示出),用于与SOC外部的资源,诸如时钟318和电压调节器320,进行通信。SOC外部的资源(例如,时钟318、电压调节器320)可以由两个或更多个内部SOC处理器/核心(例如,DSP 303、调制解调器处理器304、图形处理器306、应用处理器308等)共享。
在一些实施例中,处理设备SOC 300可以包括在控制单元(例如,140)中以用于车辆(例如,100)中。如所述的,该控制单元可以包括用于与电话网络(例如,180)、因特网和/或网络服务器(例如,184)进行通信的通信链路。
处理设备SOC 300还可以包括适用于从传感器收集传感器数据的附加硬件和/或软件组件,包括运动传感器(例如,IMU的加速度计和陀螺仪)、用户界面元件(例如,输入按钮、触摸屏显示器等)、麦克风阵列、用于监测物理状况的传感器(例如,位置、方向、运动、朝向、振动、压力等)、相机、指南针、GPS接收器、通信电路(例如,蓝牙、WLAN、WiFi等),以及现代电子设备的其他已知组件。
图4是示出根据各个实施例的被配置为生成本地动态地图数据模型的系统400的组件框图。在一些实施例中,系统400可以包括一个或多个V2X设备的计算平台402和/或一个或多个其他V2X系统参与者404。参考图1A-图4和图7-图9,V2X设备402可以包括处理器(例如,434、702、802)。V2X设备402可以由机器可执行指令406配置。机器可执行指令406可以包括一个或多个指令模块。指令模块可以包括计算机程序模块。指令模块可以包括LDM数据接收模块408、LDM数据集成模块410、LDM数据确定模块412、LDM数据提供模块414、地图生成模块416、地图发送模块418和/或其他指令模块中的一个或多个。
LDM数据接收模块408可以被配置为接收用于在V2X设备处理器上运行的不当行为管理系统的新LDM数据。在一些实施例中,LDM数据接收模块408可以被配置为从其他V2X系统参与者404接收注册消息。在一些实施例中,LDM数据接收模块408可以被配置为从其他V2X系统参与者404接收规划路线信息。在一些实施例中,LDM数据接收模块408可以被配置为从其他V2X系统参与者404接收移动设备运动学信息。在一些实施例中,LDM数据接收模块408可以被配置为从其他V2X系统参与者404接收数据,诸如传感器数据、图像数据、音频数据或由其他V2X系统参与者404获得的操作状态数据。
LDM数据集成模块410可以被配置为将新的LDM数据集成到LDM数据模型中。
LDM数据确定模块412可以被配置为确定与其他特定V2X系统参与者404相关的LDM数据模型的LDM数据。在一些实施例中,LDM数据确定模块412可以被配置为基于包括在注册消息中的信息来确定与另一特定V2X系统参与者404相关的LDM数据。在一些实施例中,LDM数据确定模块412可以被配置为基于规划路线信息来确定与另一特定V2X系统参与者相关的LDM数据。在一些实施例中,LDM数据确定模块412可以被配置为基于运动学信息来确定与另一特定V2X系统参与者404相关的LDM数据。在一些实施例中,LDM数据确定模块412可以被配置为从接收到的数据确定与该LDM数据相关的信息。
LDM数据提供模块414可以被配置为将确定的相关LDM数据提供给其他V2X系统参与者404。在一些实施例中,确定的相关LDM数据可以包括高度动态的LDM信息。
地图生成模块416可以被配置为生成涵盖其他V2X系统参与者的预定距离内的区域的数字地图。在一些实施例中,地图发送模块418可以被配置为向其他V2X系统参与者404发送数字地图。可以以适用于其他V2X系统参与者404的自动导航的格式生成和发送数字地图。
在一些实施方式中,V2X设备402、其他V2X系统参与者设备404和/或外部资源430可以经由一个或多个电子通信链路可操作地链接。例如,可以至少部分地经由诸如因特网和/或其他网络的网络来建立这样的电子通信链路。应当理解,这不旨在进行限制,并且本公开的范围包括其中可以经由一些其他通信介质可操作地链接V2X设备402、其他V2X系统参与者404和/或外部资源430的实施方式。
其他V2X系统参与者404中的每一个都可以包括一个或多个被配置为执行计算机程序模块的处理器。计算机程序模块可以被配置为使与给定V2X系统参与者404相关联的专家或用户能够与系统400和/或外部资源430对接,和/或提供本文归属于其他V2X系统参与者404的其他功能。
外部资源430可以包括V2X系统400之外的信息源、参与V2X系统400的外部实体和/或其他资源。在一些实施方式中,本文归属于外部资源430的一些或全部功能可以由包括在系统400中的资源提供。
V2X设备402可以包括电子存储器432、一个或多个处理器434和/或其他组件。V2X设备402可以包括通信线路或端口以实现与网络和/或其他计算平台的信息交换。图4中的V2X设备402的图示不旨在进行限制。V2X设备402可以包括多个硬件、软件和/或固件组件,它们一起操作以提供本文归属于V2X设备402的功能。例如,该V2X设备402可以由计算平台云实施,该计算平台云与V2X设备402一起操作。
电子存储器432可以包括以电子方式存储信息的非暂时性存储介质。该电子存储器432的电子存储介质可以包括系统存储器和/或可移除存储器中的一个或两个,其中该系统存储器与V2X设备402一体地(即,基本上不可移除地)提供,并且该可移除的存储器可以经由例如端口(例如,通用串行总线(USB)端口、火线端口等)或驱动器(例如,磁盘驱动器等)可移除地连接到V2X设备402。电子存储器432可以包括光学可读存储介质(例如,光盘等)、磁性可读存储介质(例如,磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如,EEPROM、RAM等)、固态存储介质(例如,闪存驱动器等)和/或其他电子可读存储介质中的一种或多种。电子存储器432可以包括一个或多个虚拟存储资源(例如,云存储器、虚拟专用网络和/或其他虚拟存储资源)。电子存储器432可以存储软件算法、由一个或多个处理器434确定的信息、从V2X设备402接收的信息、从其他一个或多个V2X系统参与者404接收的信息和/或使V2X设备402能够如本文描述的工作的其他信息。
(多个)处理器434可以被配置为在V2X设备402中提供信息处理能力。这样,(多个)处理器434可以包括数字处理器、模拟处理器、设计用于处理信息的数字电路、设计用于处理信息的模拟电路、状态机和/或用于电子处理信息的其他机构中的一个或多个。尽管(多个)处理器434在图4中显示为单个实体,但这仅用于说明目的。在一些实施方式中,(多个)处理器434可以包括多个处理单元。这些处理单元可以物理地位于同一设备内,或者(多个)处理器434可以表示协同操作的多个设备的处理功能。(多个)处理器434可以被配置为执行模块408、410、412、414、416、418和/或其他模块。(多个)处理器434可以被配置为通过软件;硬件;固件;软件、硬件和/或固件的某种组合;和/或用于在(多个)处理器434上配置处理能力的其他机构来执行模块408、410、412、414、416、418和/或其他模块。如本文所用,术语“模块”可以指代执行归属于模块的功能的任何组件或组件集。这可以包括在执行处理器可读指令期间的一个或多个物理处理器、处理器可读指令、电路、硬件、存储介质或任何其他组件。
应该理解,尽管模块408-418在图4中示出为在单个处理单元内实施,但在(多个)处理器434包括多个处理单元的实施方式中,模块408-418中的一个或多个可以远离其他模块实施。下面描述的不同模块408-418提供的功能的描述是出于说明性目的,而不是限制性的,因为模块408-418中的任何一个可以提供比所描述的更多或更少的功能。例如,模块408-418中的一个或多个可以被消除,并且其一些或全部功能可以由该模块408-418中的其他模块提供。作为另一示例,(多个)处理器434可以被配置为执行一个或多个附加模块,这些附加模块可以执行以下归属于模块408-418之一的一些或全部功能。
图5是示出由观察车辆的V2X设备的处理器执行的方法500的操作的过程流程图,该V2X设备用于通过将接收到的V2X消息与车辆的本地动态地图(LDM)数据模型进行比较并确定在V2X消息中接收到的数据与本地维护或存储的LDM数据模型之间是否存在不一致来检测不当行为状况。参考图1-图5,该方法500的操作可以由观察车辆V2X设备(例如,图1D中的车辆12)的处理器执行。
在框502中,处理器可以监测与观察车辆(例如,车辆12)的控制操纵、导航和/或其他操作相关的多个车辆传感器。通过监测来自车辆自身传感器的数据,在观察车辆的V2X设备402上运行的不当行为管理系统可以开始收集数据,该数据可以用于生成表示该观察车辆周围环境的LDM数据模型。这可以包括有关发出V2X消息的可疑车辆的信息,该消息具有指示不当行为状况的数据。此外,LDM数据模型可以包括关于邻近车辆的信息。
在框504中,表示观察车辆周围环境的LDM数据模型可以由V2X设备402至少部分地基于从多个传感器收集的附加数据的聚合来生成,如上文关于图2A-图4所讨论的。LDM数据模型可以包含类型1-4数据。在框506中,生成的LDM数据模型可以本地维护或存储在存储器(例如,电子存储器432)中。
在框508中,在V2X设备处理器上运行的不当行为管理系统可以从另一个V2X系统参与者404接收V2X消息。该V2X消息可以包含交通信息、从报告车辆的车载设备计算和/或由邻近车辆本身提供的报告车辆和其他邻近车辆的GPS信息,和/或详细说明道路几何形状和街道特点的地图数据。
在确定框510中,V2X消息,在V2X设备处理器上运行的不当行为管理系统可以通过将接收到的V2X消息中包含的数据与本地维护或存储的LDM数据模型进行比较以检测不当行为状况来确定接收到的V2X消息是否包括指示不当行为状况的数据。例如,即时车辆(称为观察车辆)可以接收V2X消息,该V2X消息包括指示另一车辆(称为报告车辆)可能正在两辆邻近车辆之间经过的数据。在一些实施例中,报告车辆和两辆邻近车辆都可以是V2X系统参与者。然而,在一些情况下,报告车辆和两辆邻近车辆都不是V2X系统参与者。在其他情况下,报告车辆和两辆邻近车辆中的一些车辆可以是V2X系统参与者,而其他车辆不是。
在该示例中,观察车辆可以通过观察车辆自身的传感器获得关于报告车辆以及两辆邻近车辆的位置/方位、行驶方向、速度、操作等信息。例如,安装在观察车辆上的相机和激光雷达。此外,观察车辆可以从报告车辆和两辆邻近车辆中的任何一个/或全部接收V2X消息。这样的接收到的V2X消息可以包含相机和/或LIDAR信息,这些信息可确认观察车辆对报告车辆以及两辆邻近车辆的位置/方位、行驶方向、速度、操作等的观察结果。此外,来自报告车辆或两辆邻近车辆中的任何一辆的V2X消息可以包括GPS位置/方位信息、速度计数据等。可以从RSU V2X系统参与者接收关于报告车辆或两辆邻近车辆中的任何一辆的更进一步的相机和LIDAR信息。
在各种V2X消息中接收到的该数据的任何一个或全部都可以增强观察车辆创建的本地维护的LDM数据模型,以表示观察车辆周围的环境。因此,观察车辆的LDM数据模型可以包括关于报告车辆和两辆邻近车辆的位置/方位、行驶方向和速度的数据。观察车辆可以通过将接收到的V2X消息中包含的数据与观察车辆的LDM数据模型中的数据进行比较来检测不当行为状况。例如,从报告车辆接收到的V2X消息可以指示报告车辆正在两辆邻近车辆之间经过。然而,基于由观察车辆已收集的所有其他信息,观察车辆的LDM数据模型可以指示报告车辆没有足够的空间通过两辆邻近车辆。因此,在观察车辆的V2X设备处理器上操作的不当行为管理系统可以将从报告车辆接收到的V2X消息标识为包含或证明不当行为状况。在V2X消息中从报告车辆接收到的指示位置/方位、速度、行驶方向等的数据都可能是不准确的、损坏的或被恶意更改的。
响应于确定从报告车辆接收到的V2X消息包括基于框510中的比较结果指示不当行为状况的数据(即,确定结果510=是),在观察车辆的V2X设备402中操作的不当行为管理系统可以在框512中生成标识不当行为状况和发出V2X消息的可疑车辆的不当行为报告(MBR)。
在框514中,在观察车辆的V2X设备402中操作的不当行为管理系统可以向不当行为管理机构(MA)发送MBR,以用于进一步分析、报告和纠正措施。例如,MA可以向可疑车辆发出需要维修或更换其传感器的消息。为了对不当行为状况进行准确和全面的分析,MA可以利用LDM数据模型内的数据,使得可以确定对导致不当行为状况的情况的整体分析。此外,通过分析LDM数据模型内的数据,可以发布更合适和有效的纠正措施,以减轻不当行为状况。为了实现这一点,一些实施例包括提供更好质量的不当行为检测(诸如提供更少的假阴性检测)、提高V2X系统103的鲁棒性和弹性的不当行为管理系统。
然而,随着越来越多的车辆配备了V2X设备,可能检测到的不当行为的数量正以指数速度增长。此外,由于要发送的MBR数量很大,在给定带宽限制的情况下,可能包含有MBR的数据量可能非常大。为了解决这个问题并减少可以与MBR一起发送的数据量,在一些实施例中,不当行为管理系统可以仅向MA发送LDM数据模型的表示。在一些实施例中,不当行为管理系统可以在向MA发送MBR时发送用于LDM数据模型的不完整数据集,诸如仅包括与检测到的不当行为状况最相关的数据和/或排除与不当行为状况无关的数据。
在框514中向MA发送MBR之后,在观察车辆的V2X设备402中操作的不当行为管理系统可以再次执行框502中的操作以继续监测观察车辆的传感器以收集关于观察车辆周围环境的数据。
响应于确定接收到的V2X消息中包括的数据不指示不当行为状况(即,确定510=否),不当行为管理系统可以基于LDM数据模型中的对象的观察到的动态中的至少一个或从V2X消息接收到的新数据输入来执行计算,然后在框516中修改LDM数据模型以合并基于并包括在接收到的V2X消息中的计算和数据,以增强、改进或以其他方式更新观察车辆的LDM数据模型,然后在框506中存储更新的LDM数据。因此,在观察车辆的V2X设备402中操作的不当行为管理系统可以不断细化LDM数据模型。更新后的LDM数据模型可以包括来自V2X消息的附加数据,该附加数据改进和/或细化表示观察车辆周围环境的LDM数据模型。在框506中,更新的LDM数据模型可以本地维护或存储在存储器中。
如所描述的,在框514中向MA传输MBR或在框506中存储更新的LDM数据模型之后,在观察车辆的V2X设备402中操作的不当行为管理系统可以继续在框508中接收其他V2X消息。
在一些实施例中,在观察车辆的V2X设备402中操作的不当行为管理系统也可以周期性地执行框502中的操作以继续监测观察车辆的传感器以收集关于观察车辆周围环境的数据。以这种方式,表示观察车辆周围环境的数据范围可以不断扩展,以改进和更新LDM,使得可以更准确地检测到不当行为状况。
图6是示出可以作为方法500的部分框510来执行的示例操作的过程流程图,该方法500用于确定在接收到的V2X消息中是否检测到不当行为状况。参考图1A-图6,框510的操作可以由在观察车辆的V2X设备402中操作的不当行为管理系统执行。
在方法500的框508中接收到V2X消息之后,不当行为管理系统可以在框518中从接收到的V2X消息中获得所选择的数据(例如,位置/方位、速度、行驶方向、温度等)。作为框518中的操作的一部分,接收到的V2X消息的初始发送者的标识符可以被获得。
在可选框519中,不当行为管理系统可以选择数据元素或LDM数据模型内的数据元素以用于确定V2X消息中报告的信息是否指示不当行为或者是不当行为的产物。如前所述,LDM数据模型将包括定义车辆周围环境和附近其他车辆的许多数据元素,其中许多元素可以用于评估在V2X消息中接收到的信息的准确性或可靠性。因此,在一些实施例中,不当行为管理系统可以选择LDM数据模型内的某些数据元素(例如,信息子集)以用于验证或证实接收到的V2X消息。在一些实施例中,不当行为管理系统可以基于或响应于在接收到的V2X消息内的信息类型来选择LDM数据模型内的信息或元素。例如,如果V2X消息包括另一辆车的位置或本车辆前方道路危险的位置,则不当行为管理系统可以选择LDM数据模型中与位置相关的数据元素以用于证实或V2X消息,以及避免访问与速度、天气状况、道路状况或本车辆后方位置相关的数据元素。作为另一示例,如果V2X消息包括关于另一车辆的动态信息(例如,转弯角度、速度、制动状态等),则LDM数据模型中的静态或旧数据元素将无法用于评估V2X消息。通过在LDM数据模型中选择和访问与验证或证实接收到的V2X消息中的信息相关的信息子集,不当行为管理系统可以节省处理资源和内存利用率,并且使能比如果LDM数据模型中的所有数据都用于消息评估过程的情况更快地评估消息。
在框520中,在观察车辆的V2X设备中操作的不当行为管理系统可以将接收到的V2X消息中包含的解析数据与维护或存储在观察车辆的存储器(例如,存储装置432)中的LDM数据模型内的数据进行比较。
在确定框522中,不当行为管理系统可以确定接收到的V2X消息中包含的任何解析数据是否与LDM数据模型内的数据冲突或不一致,该LDM数据模型被维护或存储在观察车辆的存储器(例如,存储装置432)中。
例如,在确定框522中,不当行为管理系统可以分析发出接收到的V2X消息的车辆的位置信息以确定在V2X消息中报告的信息是否与LDM数据模型中的位置信息不一致或冲突(例如,指示与另一车辆在LDM中的位置相对应的位置)。
作为可以在确定框522中使用LDM数据检测到的可能的不当行为状况的另一个示例,观察车辆可以通过观察车辆的传感器来跟踪邻近车辆。邻近车辆可能不是V2X系统参与者。可疑车辆可以向观察车辆发出V2X消息,暗示可疑车辆所处的方位与被跟踪的邻近车辆的方位重叠,其中被跟踪的邻近车辆的方位由观察车辆的传感器观察和确定。换句话说,可疑车辆可以向观察车辆发出V2X消息,暗示可疑车辆位置与被跟踪的邻近车辆的方位一致,其中被跟踪的邻近车辆的方位由观察车辆的传感器(例如相机)观察和确定。在这种情况下,观察车辆从可疑车辆接收到的V2X消息包含与观察车辆的LDM数据模型中的数据冲突或不一致的数据。因此,观察车辆可以生成指示可疑车辆的不当行为状况的MBR。
在确定框522中可以使用LDM数据检测到的可能的不当行为状况的另一示例中,道路中可能存在障碍物。例如,正在运输的沙发可能从平板卡车上掉下来。观察车辆可以通过观察车辆的传感器检测到障碍物。观察车辆可以从可疑车辆接收V2X消息,该V2X消息包括暗示可疑车辆维持其行驶方向和速度使得可疑车辆行驶通过障碍物而不减速的数据。在这种情况下,观察车辆从可疑车辆接收到的V2X消息包含与观察车辆的LDM数据模型中的数据冲突或不一致的数据。因此,观察车辆可以生成指示该可疑车辆的不当行为状况的MBR。
作为可以在确定框522中使用LDM数据检测到的可能的不当行为状况的另一个示例,观察车辆可以通过观察车辆的传感器跟踪邻近车辆。邻近车辆可能不是V2X系统参与者。邻近车辆的视线可能会暂时被障碍物遮挡(即,有东西在短时间内挡住了路,因此观察车辆无法直接看到AV),然后再次变得可追踪。在遮挡期间,可疑车辆可以向观察车辆发出有关可疑车辆行驶方向(即,轨迹)的V2X消息。观察车辆可以重建在邻近车辆不可见时该邻近车辆可以行驶的路线。基于该信息,观察车辆可以注意到所有可能的路线都暗示了可疑车辆与邻近车辆之间的碰撞。由于观察车辆没有记录到碰撞,因此观察车辆从可疑车辆接收到的V2X消息包含与观察车辆的LDM数据模型中的数据冲突或不一致的数据。因此,观察车辆可以生成指示可疑车辆的不当行为状况的MBR。
作为可以在确定框522中使用LDM数据检测到的可能的不当行为状况的另一个示例,观察车辆可以从RSU接收到指示交通信号灯为红色的V2X交通信号消息。观察车辆可以接收来自可疑车辆的V2X消息,该消息指示可疑车辆正在驶过交叉路口。虽然可疑车辆实际上可能正在闯红灯,但是观察车辆从可疑车辆接收到的V2X消息似乎包含与该观察车辆的LDM数据模型中的数据冲突或不一致的数据。因此,观察车辆可以生成指示可疑车辆的不当行为状况的MBR。
作为可以在确定框522中使用LDM数据检测到的可能的不当行为状况的另一个示例,观察车辆可以接收到来自RSU的V2X消息,该消息指示道路建设正在导致车道偏移。车道偏移未显示在观察车辆可用的静态地图中。然而,基于传入的V2X消息,观察车辆注意到所有邻近车辆都表现得好像发生了车道偏移,即它们都在特定位置将一条车道的宽度向左偏移。可疑车辆可以发出一条V2X消息,暗示可疑车辆没有观察到车道偏移,即,即使驾驶员应该可以看到其他邻近车辆正在车道偏移,可疑车辆也似乎是直接驶过。这意味着可疑车辆的消息是由不知道车道偏移的目击者远程生成到实际位置的。在这种情况下,观察车辆从可疑车辆接收到的V2X消息包含与观察车辆的LDM数据模型中的数据冲突或不一致的数据。因此,观察车辆可以生成指示该可疑车辆的不当行为状况的MBR。
响应于确定接收到的V2X消息中包含的解析数据与维护或存储在观察车辆的存储器(例如,存储装置432)中的LDM数据模型内的数据冲突或不一致(即,确定522=是),在观察车辆的V2X设备402中操作的不当行为管理系统可以执行方法500的框512中的操作以生成所描述的MBR。
响应于确定接收到的V2X消息中包含的解析数据与维护或存储在观察车辆的存储器(例如,存储器432)中的LDM数据模型内的数据不冲突或一致(即,确定522=否),在观察车辆的V2X设备402中操作的不当行为管理系统可以执行框516中的操作以修改或更新所描述的LDM数据模型。
各个实施例(包括但不限于以上参考图1A-图6描述的实施例)可以在包括车载设备以及移动计算设备的多种计算系统中实施,其中适用于与各个实施例一起使用的示例在图7中示出。移动计算设备700可以包括耦接到触摸屏控制器704和内部存储器706的处理器702。处理器702可以是被指定用于一般或特定处理任务的一个或多个多核集成电路。内部存储器706可以是易失性或非易失性存储器,也可以是安全和/或加密存储器,或不安全和/或未加密存储器,或其任何组合。可以利用的存储器类型的示例包括但不限于DDR、LPDDR、GDDR、WIDEIO、RAM、SRAM、DRAM、P-RAM、R-RAM、M-RAM、STT-RAM和嵌入式DRAM。触摸屏控制器704和处理器702也可以耦接到触摸屏面板712,诸如电阻感应触摸屏、电容感应触摸屏、红外感应触摸屏等。附加地,该移动计算设备700的显示器不需要具有触摸屏功能。
移动计算设备700可以具有一个或多个无线电信号收发器708(例如,Peanut、蓝牙、ZigBee、Wi-Fi、RF无线电)和天线710,用于发送和接收通信,彼此耦接和/或耦接到处理器702。收发器708和天线710可以与上述电路一起使用以实施各种无线传输协议栈和接口。移动计算设备700可以包括蜂窝网络无线调制解调器芯片716,其能够经由蜂窝网络进行通信并且耦接到处理器。
移动计算设备700可以包括耦接到处理器702的外围设备连接接口718。外围设备连接接口718可以单独配置为接受一种类型的连接,或者可以配置为接受各种类型的物理和通信连接,公共的或专有的连接,诸如通用串行总线(USB)、FireWire、Thunderbolt或PCIe。外围设备连接接口718也可以耦接到类似配置的外围设备连接端口(未示出)。
移动计算设备700还可以包括用于提供音频输出的扬声器714。移动计算设备700还可以包括由塑料、金属或各种材料组合构成的外壳720,用于包含本文描述的所有或一些组件。本领域普通技术人员可以认识到,在车载实施例中,外壳720可以是车辆的仪表板控制台。移动计算设备700可以包括耦接到处理器702的电源722,诸如一次性或可充电电池。该可充电电池还可以耦接到外围设备连接端口以从移动计算设备700外部的源接收充电电流。移动计算设备700还可以包括用于接收用户输入的物理按钮724。移动计算设备700还可以包括用于打开和关闭移动计算设备700的电源按钮726。
各个实施例(包括但不限于以上参考图1A-图6描述的实施例)可以在包括膝上型计算机800的多种计算系统中实施,其中的一个示例在图8中示出。许多膝上型计算机包括用作计算机的定点设备的触摸板触摸表面817,因此可以接收与在如上所述配备有触摸屏显示器的计算设备上实施的那些类似的拖动、滚动和轻弹手势。膝上型计算机800通常将包括耦接到易失性存储器812和大容量非易失性存储器的处理器802,例如闪存的磁盘驱动器813。附加地,计算机800可以具有一个或多个天线808,用于发送和接收电磁辐射,该天线可以连接到无线数据链路和/或耦接到处理器802的蜂窝电话收发器816。计算机800还可以包括软盘驱动器814和耦接到处理器802的光盘(CD)驱动器815。在笔记本配置中,计算机外壳包括触摸板817、键盘818和显示器819,它们都耦接到处理器802。计算设备的其他配置可以包括众所周知的耦接到处理器(例如,经由USB输入)的计算机鼠标或轨迹球,其也可以与各个实施例结合使用。
各个实施例(包括但不限于以上参考图1A-6描述的实施例)还可以包括利用固定计算系统的不当行为管理机构,诸如各种商业上可用的服务器中的任何一个。图9中示出了示例服务器900。这样的服务器900通常包括耦接到易失性存储器902和大容量非易失性存储器的一个或多个多核处理器配件901,诸如磁盘驱动器904。如图9所示,可以通过将多核处理器配件901插入到该配件的机架中来将多核处理器配件901添加到服务器900。服务器900还可以包括耦接到多核处理器配件901的网络访问端口907,用于建立与网络908连接的网络对接,诸如耦接到其他广播系统计算机和服务器的局域网、因特网、公共交换电话网络和/或蜂窝数据网络(例如,CDMA、TDMA、GSM、PCS、3G、4G、5G、LTE或任何其他类型的蜂窝数据网络)。
许多不同的蜂窝和移动通信服务和标准在未来都是可用的或可预期的,所有这些都可以实施并受益于各个实施例。这样的服务和标准包括例如第三代合作伙伴计划(3GPP)、长期演进(LTE)系统、第三代无线移动通信技术(3G)、第四代无线移动通信技术(4G)、第五代无线移动通信技术(5G)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、3GSM、通用分组无线服务(GPRS)、码分多址(CDMA)系统(例如cdmaOne、CDMA1020TM)、用于GSM演进的增强的数据速率(EDGE)、高级移动电话系统(AMPS)、数字AMPS(IS-136/TDMA)、演进数据优化(EV-DO)、数字增强无绳电信(DECT)、全球互通微波访问(WiMAX)、无线局域网(WLAN)、Wi-Fi保护访问I和II(WPA、WPA2)和集成数字增强网络(iDEN)。这些技术中的每一个都涉及例如语音、数据、信令和/或内容消息的传输和接收。应当理解,对与单个电信标准或技术相关的术语和/或技术细节的任何引用仅用于说明目的,并不旨在将权利要求的范围限制为特定的通信系统或技术,除非在权利要求的语言中特别说明。
以下段落中描述了实施方式示例。虽然根据示例方法描述了以下一些实施方式示例,但进一步的示例实施方式可以包括:由在V2X设备处理器上运行的不当行为管理系统实施的以下段落中讨论的示例方法,该V2X设备处理器可以是车载单元、移动设备单元、移动计算单元或包括有处理器的固定路侧单元,该处理器配置有处理器可执行指令以执行以下实施方式示例的方法的操作;由V2X设备实施的以下段落中讨论的示例方法,该V2X设备包括用于执行以下实施方式示例的方法的功能的部件;并且在以下段落中讨论的示例方法可以被实施为在其上存储有处理器可执行指令的非暂时性处理器可读存储介质,该处理器可执行指令被配置为使V2X设备的处理器执行以下实施示例的方法的操作。
示例1.一种由车辆的处理器检测车辆到一切(V2X)系统中的不当行为状况的方法,包括从另一个V2X系统参与者接收V2X消息,其中V2X消息包含关于车辆周围环境的数据;将接收到的V2X消息中包含的数据与本地维护或存储的本地动态地图(LDM)数据模型中的数据进行比较以检测不当行为状况;响应于基于比较结果检测到不当行为状况,生成标识不当行为状况的不当行为报告;以及向不当行为管理机构发送生成的不当行为报告。
示例2.根据权利要求1所述的方法,还包括监测车辆中的多个传感器以采集关于车辆周围环境的附加数据;至少部分地基于从多个传感器采集的附加数据的聚合来生成表示车辆周围环境的LDM数据模型;以及将LDM数据模型存储在存储器中。
示例3.根据示例1或示例2中任一项所述的方法,还包括响应于确定未检测到不当行为状况:基于在LDM数据模型中的对象的观察到的动态中的至少一个或基于从V2X消息接收的新数据输入执行计算;修改LDM数据模型以合并包括在接收到的V2X消息中的计算结果和数据;以及用修改后的LDM模型替换在存储器中本地维护或存储的LDM数据模型。
示例4.根据权利要求1-3中任一项所述的方法,其中向不当行为管理机构发送生成的不当行为报告包括LDM数据模型的表示。
示例5.根据权利要求4所述的方法,其中该LDM数据模型的表示包括用于该LDM数据模型的不完整数据集。
示例6.根据权利要求1-5中任一项所述的方法,还包括从该不当行为管理机构接收反馈,其中该反馈包括用于减轻不当行为状况的纠正措施。
示例7.根据权利要求1-6中任一项所述的方法,其中,该接收到的V2X消息中包括的关于车辆周围环境的数据包括交通信息。
示例8.根据权利要求1-7中任一项所述的方法,其中,该接收到的V2X消息中包括的关于车辆周围环境的数据包括基于GNSS(例如,GPS)数据的邻近车辆的位置信息。
示例9.根据权利要求1-8中任一项所述的方法,其中,该接收到的V2X消息中包括的关于车辆周围环境的数据包括详细说明道路几何形状和街道设施的地图数据。
示例10.根据权利要求1-9中任一项所述的方法,其中,将接收到的V2X消息中包括的数据与本地维护或存储的LDM数据模型进行比较以检测不当行为状况包括确定接收到的V2X消息中包括的任何数据是否与本地维护或存储的LDM数据模型中的信息冲突。
示例11.根据权利要求1-10中任一项所述的方法,其中,将该接收到的V2X消息中包括的数据与该本地维护或存储的LDM数据模型进行比较以检测不当行为状况包括在本地维护或存储的LDM数据模型中选择数据元素的子集,用于与接收到的V2X消息中包括的数据进行比较;以及确定该接收到的V2X消息中包括的任何数据是否与该本地维护或存储的LDM数据模型内的所选择的数据元素的子集冲突。
示例12.根据权利要求1-11中任一项所述的方法,其中将该接收到的V2X消息中包括的数据与本地维护或存储的LDM数据模型进行比较以检测不当行为状况包括确定接收到的V2X消息中包括的第一邻近车辆的位置是否与本地维护或存储的LDM数据模型中的第二邻近车辆的位置一致。
示例13.根据权利要求1-12中任一项所述的方法,其中,将该接收到的V2X消息中包括的数据与本地维护或存储的LDM数据模型进行比较以检测不当行为状况包括确定发送接收到的V2X消息的邻近车辆的状态信息是否与本地维护或存储的LDM数据模型中邻近车辆的状态信息冲突。
所示出和描述的各个实施例仅作为示例提供以示出该权利要求的各种特点。然而,关于任何给定实施例显示和描述的特点不一定限于相关联的实施例并且可以与显示和描述的其他实施例一起使用或组合。此外,该权利要求不旨在受限于任何一个示例实施例。
前述方法的描述和过程流程图仅作为说明性示例提供,并不旨在要求或暗示各个实施例的操作必须按照所呈现的顺序执行。如本领域技术人员将理解的,前述实施例中的操作顺序可以以任何顺序执行。诸如“此后”、“那么”、“下一个”等词语并非旨在限制操作的顺序;这些词用于引导读者通读方法的描述。此外,以单数形式对权利要求要素的任何引用,例如,使用冠词“一”、“一个”或“该”不应被解释为将要素限制为单数。
结合本文公开的实施例的各种说明性的逻辑块、模块、组件、电路、和算法操作可以被实施为电子硬件、计算机软件或两个的组合。为了清楚地示出硬件和软件的这种可互换性,上面已经对各种说明性组件、块、模块、电路和操作在其功能方面进行总体描述。将这种功能性实施为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以不同方式实施所描述的功能性,但是这种实施例决策不应被解释为导致脱离权利要求的范围。
结合本文公开的实施例描述的用于实现各种说明性逻辑、逻辑块、模块和电路的硬件可以用被设计为执行在本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其它可编程逻辑设备、分立门或晶体管逻辑、分立硬件组件、或它们的任何组合来实施或执行。通用处理器可以是微处理器,但可替代地,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以实现成接收器智能物体的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器、或任何其他这样的配置。可替代地,某些操作和方法可以由特定于给定功能的电路来执行。
在一个或多个实施例中,可以以硬件、软件、固件或其任何组合来实施所描述的功能。如果在软件中实施,可以将功能作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或非暂时性处理器可读存储介质上。本文公开的方法或算法的操作可以体现在处理器可执行软件模块或处理器可执行指令中,其可以驻留在非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。通过示例的方式而不是限制的方式,这种非暂时性计算机可读或处理器可读存储介质可以包括RAM、ROM、EEPROM、闪存存储器、CD-ROM或其它光盘存储、磁盘存储或其它磁存储智能物体、或者可以用来以指令或数据结构的形式存储所需的程序代码,并且可以由计算机存取的任何其他介质。如本文使用的盘和碟包括压缩碟(CD)、激光碟、光碟、数字多功能碟(DVD)、软盘和蓝光碟,其中盘通常磁性地再现数据,而碟则利用激光光学地再现数据。上述的组合也包括在非暂时性计算机可读介质和处理器可读介质的范围内。附加地,方法或算法的操作可以作为一个或任何组合或一组代码和/或指令位于非暂时性处理器可读存储介质和/或计算机可读存储介质上,它们可以并入计算机程序产品中。
提供公开的实施例先前描述的说明书以使本领域任何技术人员能够做出或使用权利要求。针对这些实施例的各种修改对于本领域技术人员而言将是显而易见的,并且在不脱离权利要求的范围的情况下,本文中定义的一般原理可以应用于其他实施例。因此,本公开不旨在限于本文所示的实施例,而应被赋予与本文公开的下文权利要求以及原理和新颖性特征一致的最广泛范围。
Claims (32)
1.一种由车辆的处理器检测车辆到一切(V2X)系统中的不当行为状况的方法,包括:
从另一个V2X系统参与者接收V2X消息,其中,所述V2X消息包含关于所述车辆周围环境的数据;
将接收到的V2X消息中包含的数据与本地维护或存储的本地动态地图(LDM)数据模型进行比较,以检测不当行为状况;
响应于基于所述比较检测到不当行为状况,生成标识所述不当行为状况的不当行为报告;以及
向不当行为管理机构发送生成的不当行为报告。
2.根据权利要求1所述的方法,还包括:
监测所述车辆中的多个传感器以收集关于所述车辆周围环境的附加数据;
至少部分地基于从所述多个传感器收集的所述附加数据的聚合来生成表示所述车辆周围环境的所述LDM数据模型;以及
将所述LDM数据模型存储在存储器中。
3.根据权利要求1所述的方法,还包括:
响应于确定未检测到不当行为状况:
基于所述LDM数据模型中的对象的观察到的动态中的至少一个或者基于从所述V2X消息接收的新数据输入来执行计算;
修改所述LDM数据模型以合并包括在接收到的V2X消息中的计算和数据;以及
用修改后的LDM数据模型替换存储器中维护或存储的所述LDM数据模型。
4.根据权利要求1所述的方法,其中,向不当行为管理机构发送生成的不当行为报告包括发送所述LDM数据模型的表示。
5.根据权利要求4所述的方法,其中,所述LDM数据模型的所述表示包括用于所述LDM数据模型的不完整数据集。
6.根据权利要求1所述的方法,还包括从所述不当行为管理机构接收反馈,其中所述反馈包括纠正措施以减轻所述不当行为状况。
7.根据权利要求1所述的方法,其中,所述接收到的V2X消息中包括的关于所述车辆周围环境的所述数据包括交通信息。
8.根据权利要求1所述的方法,其中,所述接收到的V2X消息中包括的关于所述车辆周围环境的所述数据包括基于全球导航卫星系统数据的邻近车辆的位置信息。
9.根据权利要求1所述的方法,其中,所述接收到的V2X消息中包括的关于所述车辆周围环境的所述数据包括详细说明道路几何形状和街道设施的地图数据。
10.根据权利要求1所述的方法,其中,将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况包括确定所述接收到的V2X消息中包括的任何数据是否与所述本地维护或存储的LDM数据模型中的信息冲突。
11.根据权利要求1所述的方法,其中,将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况包括:
选择所述本地维护或存储的LDM数据模型内的数据元素子集,用于与所述接收到的V2X消息中包括的数据进行比较;以及
确定所述接收到的V2X消息中包括的任何数据是否与所述本地维护或存储的LDM数据模型内的所选择的数据元素子集冲突。
12.根据权利要求1所述的方法,其中,将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况包括确定发送所述接收到的V2X消息的邻近车辆的状态或位置信息是否与所述本地维护或存储的LDM数据模型中所述邻近车辆的状态或位置信息冲突。
13.一种车辆到一切(V2X)处理设备,包括:
处理器,其被配置有处理器可执行指令,以:
从另一个V2X系统参与者接收V2X消息,其中,所述V2X消息包含关于车辆周围环境的数据,所述V2X处理设备安装在所述车辆中;
将接收到的V2X消息中包含的数据与本地维护或存储的本地动态地图(LDM)数据模型进行比较,以检测不当行为状况;
响应于基于所述比较检测到不当行为状况,生成标识所述不当行为状况的不当行为报告;以及
向不当行为管理机构发送生成的不当行为报告。
14.根据权利要求13所述的V2X处理设备,其中,所述处理器还配置有处理器可执行指令以:
监测所述车辆中的多个传感器以收集关于所述车辆周围环境的附加数据;
至少部分地基于从所述多个传感器收集的所述附加数据的聚合来生成表示所述车辆周围环境的所述LDM数据模型;以及
将所述LDM数据模型存储在存储器中。
15.根据权利要求13所述的V2X处理设备,其中,所述处理器还配置有处理器可执行指令,以:
响应于确定未检测到不当行为状况,基于所述LDM数据模型中的对象的观察到的动态中的至少一个或者基于从所述V2X消息接收的新数据输入来执行计算;
修改所述LDM数据模型以合并包括在所述接收到的V2X消息中的计算和数据;以及
用修改后的LDM数据模型替换存储器中维护或存储的所述LDM数据模型。
16.根据权利要求13所述的V2X处理设备,其中,所述处理器还配置有处理器可执行指令,以将所述LDM数据模型的表示包括在被发送到所述不当行为管理机构的生成的不当行为报告中。
17.根据权利要求16所述的V2X处理设备,其中,所述LDM数据模型的所述表示包括用于所述LDM数据模型的不完整数据集。
18.根据权利要求13所述的V2X处理设备,其中,所述处理器还配置有处理器可执行指令以从所述不当行为管理机构接收反馈,其中,所述反馈包括纠正措施以减轻所述不当行为状况。
19.根据权利要求13所述的V2X处理设备,其中,所述接收到的V2X消息中包括的关于所述车辆周围环境的所述数据包括交通信息。
20.根据权利要求13所述的V2X处理设备,其中,所述接收到的V2X消息中包括的关于所述车辆周围环境的所述数据包括基于全球导航卫星系统数据的邻近车辆的位置信息。
21.根据权利要求13所述的V2X处理设备,其中,所述接收到的V2X消息中包括的关于所述车辆周围环境的所述数据包括详细说明道路几何形状和街道设施的地图数据。
22.根据权利要求13所述的V2X处理设备,其中,所述处理器还配置有处理器可执行指令以将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况进而确定所述接收到的V2X消息中包括的任何数据是否与所述本地维护或存储的LDM数据模型中的信息冲突。
23.根据权利要求13所述的V2X处理设备,其中,所述处理器还配置有处理器可执行指令以通过以下方式将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况:
选择所述本地维护或存储的LDM数据模型内的数据元素子集,用于与所述接收到的V2X消息中包括的数据进行比较;以及
确定所述接收到的V2X消息中包括的任何数据是否与所述本地维护或存储的LDM数据模型内的所选择的数据元素子集冲突。
24.根据权利要求13所述的V2X处理设备,其中,所述处理器还配置有处理器可执行指令以将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况进而确定发送所述接收到的V2X消息的邻近车辆的状态或位置信息是否与所述本地维护或存储的LDM数据模型中所述邻近车辆的状态或位置信息冲突。
25.一种车辆到一切(V2X)处理设备,包括:
用于从另一个V2X系统参与者接收V2X消息的部件,其中,所述V2X消息包含关于车辆周围环境的数据,所述V2X处理设备安装在所述车辆中;
用于将接收到的V2X消息中包含的数据与本地维护或存储的本地动态地图(LDM)数据模型进行比较以检测不当行为状况的部件;
用于响应于基于所述比较检测到不当行为状况来生成标识所述不当行为状况的不当行为报告的部件;以及
用于向不当行为管理机构发送生成的不当行为报告的部件。
26.根据权利要求25所述的V2X处理设备,还包括:
用于监测所述车辆中的多个传感器以收集关于所述车辆周围环境的附加数据的部件;
用于至少部分地基于从所述多个传感器收集的所述附加数据的聚合来生成表示所述车辆周围环境的所述LDM数据模型的部件;以及
用于存储所述LDM数据模型的部件。
27.根据权利要求25所述的V2X处理设备,还包括:
用于响应于确定未检测到不当行为状况,基于所述LDM数据模型中的对象的观察到的动态中的至少一个或者基于从所述V2X消息接收的新数据输入来执行计算的部件;
用于修改所述LDM数据模型以合并包括在所述接收到的V2X消息中的计算和数据的部件;以及
用于用修改后的LDM数据模型替换存储器中维护或存储的所述LDM数据模型的部件。
28.根据权利要求25所述的V2X处理设备,其中,用于向不当行为管理机构发送生成的不当行为报告的部件包括用于发送所述LDM数据模型的表示的部件。
29.根据权利要求25所述的V2X处理设备,还包括用于从所述不当行为管理机构接收反馈的部件,其中所述反馈包括纠正措施以减轻所述不当行为状况。
30.根据权利要求25所述的V2X处理设备,其中,用于将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况的部件包括用于确定所述接收到的V2X消息中包括的任何数据是否与所述本地维护或存储的LDM数据模型中的信息冲突的部件。
31.根据权利要求25所述的V2X处理设备,其中,用于将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况的部件包括:
用于选择所述本地维护或存储的LDM数据模型中的数据元素子集以用于与所述接收到的V2X消息中包括的数据进行比较的部件;以及
用于确定所述接收到的V2X消息中包括的任何数据是否与所述本地维护或存储的LDM数据模型内的所选择的数据元素子集冲突的部件。
32.根据权利要求25所述的V2X处理设备,其中,用于将所述接收到的V2X消息中包括的数据与所述本地维护或存储的LDM数据模型进行比较以检测不当行为状况的部件包括用于确定发送所述接收到的V2X消息的邻近车辆的状态或位置信息是否与所述本地维护或存储的LDM数据模型中所述邻近车辆的状态或位置信息冲突的部件。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/138,909 | 2021-01-19 | ||
US17/483,593 | 2021-09-23 | ||
US17/483,593 US12008895B2 (en) | 2021-01-19 | 2021-09-23 | Vehicle-to-everything (V2X) misbehavior detection using a local dynamic map data model |
PCT/US2021/060919 WO2022159173A1 (en) | 2021-01-19 | 2021-11-29 | Vehicle-to-everything (v2x) misbehavior detection using a local dynamic map data model |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116746187A true CN116746187A (zh) | 2023-09-12 |
Family
ID=87904813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180090786.9A Pending CN116746187A (zh) | 2021-01-19 | 2021-11-29 | 使用本地动态地图数据模型的车辆到一切(v2x)不当行为检测 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116746187A (zh) |
-
2021
- 2021-11-29 CN CN202180090786.9A patent/CN116746187A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11807247B2 (en) | Methods and systems for managing interactions between vehicles with varying levels of autonomy | |
CN113228129B (zh) | 用于车辆的消息广播 | |
US11589236B2 (en) | Detecting misbehavior conditions in vehicle-to-everything (V2X) messages | |
US12008895B2 (en) | Vehicle-to-everything (V2X) misbehavior detection using a local dynamic map data model | |
US11743700B2 (en) | Evaluating vehicle-to-everything (V2X) information | |
US11834071B2 (en) | System to achieve algorithm safety in heterogeneous compute platform | |
WO2022159173A1 (en) | Vehicle-to-everything (v2x) misbehavior detection using a local dynamic map data model | |
US20220258739A1 (en) | Method and System for Generating a Confidence Value in a Position Overlap Check Using Vehicle Threshold Models | |
EP4292315A1 (en) | Method and system for protecting proprietary information used to determine a misbehavior condition for vehicle-to-everything (v2x) reporting | |
CN116746187A (zh) | 使用本地动态地图数据模型的车辆到一切(v2x)不当行为检测 | |
CN116830622A (zh) | 用于保护用来确定违规行为状况的专有信息以用于车联网(v2x)报告的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |