CN111353375A - 决定数据处理的优先级的系统和方法 - Google Patents
决定数据处理的优先级的系统和方法 Download PDFInfo
- Publication number
- CN111353375A CN111353375A CN201911321331.4A CN201911321331A CN111353375A CN 111353375 A CN111353375 A CN 111353375A CN 201911321331 A CN201911321331 A CN 201911321331A CN 111353375 A CN111353375 A CN 111353375A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- current
- sensor data
- sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012913 prioritisation Methods 0.000 claims abstract description 45
- 230000001960 triggered effect Effects 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000003672 processing method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
- G06F9/4831—Task transfer initiation or dispatching by interrupt, e.g. masked with variable priority
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
Abstract
本公开涉及决定数据处理的优先级的系统和方法。车辆数据处理系统包括一组传感器和控制器。所述一组传感器被布置在车辆上，并可操作为检测和捕捉驾驶事件。所述控制器耦接到所述一组传感器，并可操作为从所述一组传感器接收指示驾驶事件数据的一个或多个数据流。所述控制器还可操作为(i)分析所述一个或多个数据流，(ii)基于所述一个或多个数据流，确定车辆的当前运行状态，(iii)确定车辆的当前运行状态是否触发所述一个或多个数据流的优先处理，和(iv)当确定优先处理被触发时，应用所述优先处理。
Description
技术领域
本文中说明的实施例一般涉及供车辆使用的决定数据处理的优先级的系统和方法，更具体地，涉及基于车辆的当前运行状态，决定数据处理的优先级的系统和方法。
背景技术
由车辆生成和传送的数据量急剧上升。一些车辆已产生大量的数据，这些数据被处理并被传送给远程计算机系统，比如通过云网络。这样的数据处理和传送已经非常昂贵。预计此类费用只会增加。
车辆可能遇到需要大体实时的确定的驾驶事件。为了关于各种驾驶事件作出实时确定，车辆计算系统可能需要快速处理大量的车辆数据。如果大量的车辆数据大体同时地被处理，那么处理器可能不会返回车辆的当前运行状态所需的结果。例如，与检测附近的建筑物相比，自主车辆可能需要优先级更高地识别移动中的行人，从而处理器可能以不同的顺序处理车辆数据。此外，处理器可能因同时的数据处理而过载，从而导致效率低下和/或延迟。因而，需要提供基于车辆的当前运行状态，决定车辆数据的处理的优先级的系统和方法。另外，需要提供用于确定与可能触发或规定优先处理的处理优先级关联的车辆的当前运行状态的系统和方法。
发明内容
在一个实施例中，车辆数据处理系统包括一组传感器、控制器和通信接口。所述一组传感器被布置在车辆上，并可操作为检测和捕捉驾驶事件数据。所述控制器耦接到所述一组传感器，可操作为从所述一组传感器接收指示驾驶事件数据的一个或多个数据流。所述控制器还可操作为(i)分析所述一个或多个数据流，(ii)基于所述一个或多个数据流，确定车辆的当前运行状态，(iii)确定车辆的当前运行状态是否触发所述一个或多个数据流的优先处理，和(iv)当确定优先处理被触发时，应用所述优先处理。
在另一个实施例中，车辆数据处理系统包括多个传感器、处理器和存储器。所述多个传感器收集与车辆的驾驶事件相关的一个或多个数据点。所述处理器耦接到所述多个传感器，并可操作为接收所述一个或多个数据点。所述处理器还可操作为基于所述一个或多个数据点，确定车辆的当前动作。所述存储器耦接到所述处理器，并保存状态管理器程序和用于保存在当前参考点之前的一组传感器数据的传感器数据队列。当由所述处理器执行时，所述状态管理器程序使所述处理器基于车辆的当前动作，决定由所述多个传感器在当前参考点处收集的当前传感器数据和在传感器数据队列中排队的所述一组传感器数据的优先级，并处理所述当前传感器数据和所述一组传感器数据。
在另一个实施例中，车辆数据处理方法包括以下步骤：(i)利用多个传感器，收集与车辆的驾驶事件相关的一个或多个数据点，(ii)把在当前参考点之前已收集的一组传感器数据保存在传感器数据队列中，(iii)在处理器处接收来自所述多个传感器的一个或多个数据点，(iv)基于所述一个或多个数据点，确定车辆的当前动作，和(v)利用所述处理器，基于车辆的当前动作，决定由所述多个传感器在当前参考点处收集的当前传感器数据和在传感器数据队列中排队的所述一组传感器数据的优先级，并处理所述当前传感器数据和所述一组传感器数据。
结合附图，鉴于以下详细说明，将更充分地理解本公开的实施例所提供的这些及其他特征。
附图说明
附图中列出的实施例在性质上是说明性和例证性的，并不意图限制本公开。当结合以下附图阅读时，可以理解例证实施例的以下详细说明，附图中相同的结构用相同的附图标记指示，附图中：
图1示意描述按照本文中所示和说明的一个或多个实施例的连接的汽车系统；
图2示意描述按照本文中所示和说明的一个或多个实施例的车辆数据优先处理系统的方框图；
图3描述执行在图2的车辆数据优先处理系统中使用的优先处理算法的流程图；
图4A描述按照本文中所示和说明的一个或多个实施例，确定和进行优先处理的流程图；
图4B描述按照本文中所示和说明的一个或多个实施例，触发或规定优先处理的各种因素；
图5描述按照本文中所示和说明的一个或多个实施例，执行第一优先算法的流程图；
图6描述按照本文中所示和说明的一个或多个实施例，执行第二优先算法的流程图；
图7描述传感器数据集的例证分级优先级层次。
具体实施方式
连接的汽车可被配备成利用通过无线和/或蜂窝网络可用的连接性，与其他设备通信。连接的汽车可以连接到并与它们的周围环境通信。连接的汽车可以通过各种通信模型，包括车辆对基础设施(“V2I”)、车辆对车辆(“V2V”)、车辆对云(“V2C”)和车辆对一切(“V2X”)通信模型进行通信。V2I通信模型便利车辆与一个或多个基础设施设备之间的通信，这可使车辆生成的数据及关于基础设施的信息的交换成为可能。V2V通信模型便利车辆之间的通信，并允许交换周围车辆生成的数据，包括周围车辆的速度和位置信息。V2C通信模型便利车辆与云系统之间的信息的交换。V2X通信模型将所有类型的车辆和基础设施系统相互连接起来。
如上所述，连接的汽车可操作为捕捉和生成关于车辆、周围的车辆、环境等的大量数据。连接的汽车可把这类数据无缝传送给周围的车辆、云服务器、其他基础设施等，并通过网络与它们通信。本文中公开的实施例包括基于车辆的当前运行状况，决定车辆数据的处理的优先级的系统和方法。本文中说明的决定车辆数据的处理的优先级的系统和方法的实施例可提供供连接的汽车使用的优点。例如，实施例可基于预定的优先级，或者优先级的预定分组层次，有效地处理大量的车辆数据。这可导致车辆数据的更快、更高效处理，并可使车辆能够响应于驾驶事件作出确定。
在本文中公开的实施例中，车辆数据的优先处理可减少在特定时间点处理的车辆数据的大小或体积。在本文中公开的实施例中，可基于预定的优先级进行车辆数据的处理，而不是同时处理。在一些实施例中，可基于表示车辆的当前运行状态的多个因素，比如数据的性质、数据的用途、场景中的识别物体、车辆的位置、自主车辆的程序化车辆操作等，进行优先处理。基于当前运行状态和各种驾驶事件，所述多种因素可能有所不同并可进行修改。
在本文中公开的实施例中，可以确定诸如传感器数据和视频数据之类的车辆数据是否指示车辆的预定运行状态。在一些实施例中，这样的确定与是否需要优先处理的确定关联。取决于车辆的当前运行状态，某些数据可能经历优先处理。例如，高速行驶的车辆(例如，行驶在高速公路上时)可对来自与车辆速度相关的车辆传感器的数据流应用优先处理。再例如，如果车辆沿着城市街道行驶并计划右转，那么可以按照决定优先级的系统，处理来自与右转相关的车辆传感器(比如捕捉在车辆右侧附近的移动物体的相机)的数据流。
本文中说明的实施例涉及基于数据处理相对于车辆的运行的急需，决定数据处理的优先级。在一些实施例中，基于数据的使用，决定处理和/或传送来自各个传感器的数据的优先顺序。例如，就把图像数据用于导航、防撞或其他相关系统的车辆来说，与步行交通相关(例如，与识别的行人相关)的图像数据可被优先处理，而包含背景建筑物的数据或图像或部分图像可以稍后处理，因为与诸如建筑物之类相对静态的图片相比，可能优先考虑更新动态数据(比如行人交通数据)。下面将具体参考对应附图，更详细地说明决定车辆数据的处理的优先级的各种系统和方法。
图1示意描述包括车辆100和云计算系统20的连接的汽车系统10。车辆100包括音响主机(head unit)120、存储装置140和包含各种传感器150的一组传感器。音响主机120基于从传感器150捕捉和发送的数据点，控制车辆100的运行。存储装置140耦接到音响主机120，在音响主机120的控制下保存一组数据点。传感器150包括在车辆100中使用的各种类型的传感器。在一些实施例中，传感器150包括一个或多个相机、LIDAR传感器、雷达传感器、超声波传感器、加速度计、接近传感器、制动传感器、运动传感器等。在车辆100中使用的传感器150可不局限于此，并可以实现其他传感器。
在一些实施例中，车辆100还从可布置在车辆100外部的一组传感器170接收数据点。例如，传感器170可布置在诸如停车场、市政基础设施、车辆100的周围环境之类的建筑物上或附近。车辆100可通过网络200，从传感器170接收数据点。在其他实施例中，车辆100可通过V2V通信信道，从周围的车辆210接收数据点。传感器170可包括各种类型的传感器，比如一个或多个相机、LIDAR传感器、加速度计、接近传感器、制动传感器、运动传感器等。
如图1中所示，车辆100包括在车辆100和网络200之间交换数据和信息的通信单元180。如图1中所示，车辆100可以与一个或多个边缘服务器220、240和260连接并通信。边缘服务器220、240和260可以与中央服务器300连接并通信。中央服务器300可以与接收器280、285通信。接收器280、285也与车辆100和210通信。
参见图2，详细说明按照本文中所示和说明的一个或多个实施例的车辆数据优先处理系统400的结构和操作。车辆数据优先处理系统400包括处理器410、存储器420和一组传感器460。控制器局域网(CAN)总线440连接到处理器410、存储器420和一组传感器460，并起通信接口的作用。传感器460向处理器410提供各种数据点，而处理器410又为各种目的处理这些数据点。处理器410分析来自传感器460的数据点，以作出各种决定。在一些实施例中，处理器410分析数据，以确定是保存还是丢弃这些数据点，如果保存的话，是保存在车上还是保存在外部。在其他实施例中，处理器410分析数据，以确定对数据点的必要动作或反应。例如，处理器410从诸如加速度计之类的传感器接收数据点，分析数据点，并发现车辆100可能有撞车的危险。处理器410随后可确定使诸如停止车辆100、或者输出要求减慢车辆100的驾驶速度的警告之类的动作发生。
另一方面或者另外地，处理器410分析来自传感器460的数据点，以确定车辆100的运行状况、速度、转速、加速、减速、转向、物体的移动等。在其他实施例中，处理器410可确定车辆100的各个组件的工作状况、维护需求等，比如车辆100的发动机是否存在一些维护问题。
在一些实施例中，车辆数据优先处理系统400可在如图1中所示的音响主机120中实现。在其他实施例中，可以独立于音响主机120并与之分离地实现车辆数据优先处理系统400。在一些实施例中，车辆数据优先处理系统400可包含在车辆100中。
在一些实施例中，存储器420包括优先处理算法430和预定运行状态435。优先处理算法430被配置成基于各种因素，决定数据处理的优先级。在一些实施例中，优先处理算法430被配置成基于数据处理相对于车辆100的运行的急需，决定数据处理的优先级。在其他实施例中，优先处理算法430被配置成基于车辆数据的使用、车辆运行状况、车辆100的位置、所需响应时间、数据处理要求或者它们的组合，决定数据处理的优先级。
在一些实施例中，存储器420包括一组预定的运行状态435，运行状态435可与给予每个运行状态的优先级相关联。例如，对自主车辆的驾驶来说，与静态特征相比，可能优先考虑诸如行人移动之类的动态特征的处理和检测。再例如，当车辆停在十字路口时，对车辆、行人和物体的追踪可能具有优先级。又例如，可优先考虑处理与完成或补充车辆的下一个移动序列有关的车辆数据。又例如，就把图像数据用于导航、防撞或其他相关系统的车辆来说，与步行交通相关(例如，与识别的行人相关)的图像数据可被优先处理，而包含背景建筑物的数据或图像或部分图像可以稍后处理，因为其更新可能不像更新步行交通那样急需。在一些实施例中，所述一组预定的运行状态435定义可能触发或规定基于优先级的处理的车辆状况、运行、驾驶事件背景等。
在一些实施例中，优先处理算法430包括处理数据点的基于机器语言的程序。另外或另一方面，存储器420可保存一个或多个机器学习算法或程序，例如，深度学习程序、神经网络程序、模式识别程序等。机器学习算法可使系统能够学习车辆100的驾驶模式，预测可能导致车辆100的撞车或碰撞的情形，等等。在其他实施例中，存储器420进一步保存识别和更改用户简档的程序，以致可以相应地改变车辆设定。存储器420进一步保存与传感器150和/或传感器170的数据点的分析相关的各种程序。存储器420还保存各种应用程序，比如媒体播放器、导航程序、在车辆设定中使用的程序，等等。
参见图3，详细说明执行优先处理算法430的处理500的流程图。处理器410从传感器460接收数据点(步骤510)。如上所述，传感器460包括生成指示车辆100的不同运行状况的数据流的各种不同的传感器集合。基于接收的数据点，处理器410确定车辆100的当前运行状态(步骤520)。在一些实施例中，车辆100的当前运行状态包括驾驶速度、驾驶位置、驾驶环境(例如，道路状况、天气状况)、车辆维护状况(例如，组件故障、组件更换等)、或者它们的组合。另外或另一方面，当前运行状态可包括可能导致车辆数据的优先处理的确定的任意指标。另外，当前运行状态可进一步指示车辆数据的重要性和/或使用。
在一些实施例中，当前运行状态可指示是否需要优先处理。例如，指示驾驶速度、驾驶位置、驾驶环境、维护状况、车辆数据的重要性、车辆数据的使用或者它们的组合的当前运行状态可能触发、规定或调用优先处理。当前运行状态和优先处理将在下面结合图4A和4B更详细地讨论。返回参见图3，一旦确定数据点对应于当前运行状态(步骤530)，就可应用与当前运行状态关联的优先处理(步骤540)。随后，处理器410基于该优先处理，生成输出(步骤550)。
图4A描述关于确定车辆数据点是否对应于当前运行状态(步骤610)，图解说明步骤530的进一步细节的流程图。当前运行状态可触发或规定处理器410进行优先处理。在一些实施例中，当前运行状态可指示其中可能需要实时响应，可能涉及车辆的下一次移动，可能涉及损害和/或伤害的减轻，可能涉及紧急情况的预防等等的情形。另外或另一方面，当前运行状态可指示与当前驾驶事件相对更相关和紧急的背景或情形。如图4A中所示，车辆数据点对应于例如其中数据点涉及防撞(步骤620)、行人追踪(步骤630)、下一个操作序列(步骤640)等的当前运行状态。这些运行状态仅仅是例子，车辆数据优先处理系统400不限于此。在一些实施例中，当车辆数据点对应于指示防撞的当前运行状态时(步骤620)，进行优先处理(步骤660)。如果当前运行状态指示接近事故或者事故情形，那么处理器410进行车辆数据点的优先处理，于是可提供更快和必要的响应。更快和必要的响应可能导致碰撞避免。
当车辆数据点对应于指示行人追踪的当前运行状态时(步骤630)，进行优先处理(步骤660)。例如，当诸如自主动驾驶车辆之类的车辆停在十字路口时，可能需要优先处理行人的追踪。再例如，当车辆驾驶在拥挤区域时，可能需要优先处理与行人追踪关联的数据。当车辆驾驶时，对诸如行人之类的运动物体的追踪可能比诸如建筑物、树木之类的静态物体的检测更重要。又例如，车辆的当前运行状态可包括确定车辆周围的交通状况，车辆所处的位置(例如高速公路、乡村道路、城市街道)、车辆行驶的速度、走走停停的频率或者它们的组合等。通过进行优先处理，处理器410可以快速确定车辆所处的情形，并提供针对所述情形的快速响应。
在其他实施例中，在自主车辆的情况下，与其他处理需求相比，可使处理资源优先满足创建三维(3D)景观的需求，因为自主车辆依赖于当前景观。另外或另一方面，在3D景观内，无论是否在自主车辆的情况下，诸如行人移动之类的动态特征的处理和检测都优先于诸如更新建筑物、树木等的位置之类的静态特征。
如图4A中所示，如果数据点不对应于当前运行状态，那么处理器410可基于常规处理的预定顺序，处理这些数据点(步骤650)。在一些实施例中，预定顺序可基于多个因素，比如在处理器410收到数据点的时间，处理那些数据点所需的处理时间，在处理器410的当前处理负荷，是否存在来自云或者车辆的任意其他组件的对数据点的外部请求，或者它们的组合。基于所述预定顺序，进行处理(步骤670)。
图4B描述可能触发或规定优先处理690的各种情形。在一些实施例中，各种情形包括当前运行状态、当前动作、驾驶事件、驾驶状况、驾驶环境、车辆数据的性质和用途、处理和/或响应时间、计算资源等。如图4B中所示，各种情形的一个例子包括数据重要性680。在一些实施例中，可基于信息的重要性和/或其使用，决定信息的处理或传输的优先顺序。例如，与行人有关的信息可基于车辆的地理位置立即被传送给车辆，而与天气状况有关的信息则可稍后传送给中央服务器。
另一个因素可包括事故避免682。例如，就把图像数据用于导航、防撞或其他相关系统的车辆来说，与步行交通相关(例如，与识别的行人相关)的图像数据可被首先处理，而包含背景建筑物的数据或图像或部分图像可以稍后处理，因为与步行交通相比，可不优先考虑更新这些数据。
在相关情形下可优先考虑车辆维护684。例如，考虑到在车辆在运动时，用于对道路进行导航的图像数据，可不优先考虑关于油况、油位等的发动机状态数据。当车辆停止时，如果计算资源可用，那么可以优先考虑并处理与发动机和/或车辆的维护状态关联的数据。
各种情形的另一个例子包括响应时间688。在一些实施例中，确定处理数据的优先级可基于处理数据以获得结果需要多长时间，和/或将信息发送到车外(即，传送给另一个车辆或服务器)以便处理并接收结果的响应时间的估计来确定。在一些情况下，尤其是当需要处理大量的数据或者获得复杂图像时，可能理想的是把数据分发给其他本地计算设备，以实现结果的所需优先级。决定优先级可包括在本地分发网络、区域分发网络和中央分发网络之间传送数据的顺序。
各种情形的又一个例子包括车辆的行驶位置692。例如，当车辆驾驶在高速公路或城市街道上时，优先处理可能变化。举例来说，在车辆驾驶在高速公路上时，处理图像数据，以便对高速公路进行导航可能优先于在车辆不运动或低速驾驶时可以处理的数据点的处理。又例如，在车辆驾驶在城市街道的十字路口时，与移动中的行人、邻近的车辆等相关的数据点的处理可能优先于检测诸如附近建筑物之类的静态物体。
又例如，可按照优先级，处理与驾驶状况和/或驾驶环境686相关的传感器数据。例如，可优先考虑处理道路状况的确定(例如，诸如坑洼之类的道路异常的识别)。
另一个因素可包括数据点694的急需。在一些实施例中，急需可基于车辆的当前动作来定义。例如，考虑到在车辆在运动时，用于对道路进行导航的图像数据，可不优先考虑关于油况、油位等的发动机状态数据，因为对车辆的运动来说，图像数据可能存在所述急需。
尽管图4B描述了可能触发优先处理690的几个因素，不过，这些因素可能在一定程度上重叠。例如，数据重要性680也可以与急需694关联。在其他实施例中，位置692可能会影响数据重要性680和急需694。驾驶状况和驾驶环境686可能会影响车辆维护684和事故避免682。
在一些实施例中，基于车辆的当前情形、对源于数据点的结果的需要，和/或可用的处理资源，可以优先考虑来自车辆的传感器460的数据点的处理和/或传输。例如，如果考虑到在车辆在运动时用于对道路进行导航的图像数据，已不优先考虑关于油况、油位等的发动机状态数据，那么当车辆停止时，可发生发动机状态的重新优先级决定和处理。再例如，确定道路状况可能优先于进行车辆健康评估和确定是否需要维护。
在一些实施例中，随着车辆的运行状况变化，可以修改和更新不同的各个传感器数据集之间的优先级。换句话说，由于车辆的变化的运行状况可能影响建立的优先级，因此可能会进行不被优先考虑或被优先考虑的数据点的重新优先级决定。在一些实施例中，不同数据点之间的优先级可以是相对优先级。
在一些实施例中，车辆数据优先处理系统400可能在从车辆内的多个传感器460和各个组件收集数据。存储器420可包括例如指示车辆的当前动作(比如在高速公路上巡航、导航城市街道、在红灯前停车、停在停车场等)的状态管理器程序。存储器420还保存传感器460当前正在收集的传感器数据，和过去被给予较低优先级、目前在排队的传感器数据。例如，考虑到车辆正在运动中的当前动作，关于油况、油位等的发动机状态数据未被优先考虑并在排队中。在当前动作是车辆正在运动中时，当前正在收集的图像数据经历优先处理，以便对道路导航。当车辆静止时，如果计算资源可用，那么发动机状态数据可以从不被优先考虑状态变更并被处理。
图5描述按照本文中所示和说明的一个或多个实施例，执行第一优先算法700的流程图。处理器410从多个传感器460和/或云服务器接收数据点(步骤710)。基于所述数据点，处理器410可基于接收的数据点识别当前运行状态(步骤720)。处理器410随后根据当前运行状态，确定数据点的重要性(步骤730)。下一步是数据点是否满足优先处理的标准(步骤740)。如果数据点满足优先处理的标准，那么这些数据点经历优先处理(步骤760)。如果所述标准未被满足，那么可以取回数据点的处理的预定顺序(步骤750)。稍后可基于取回的预定顺序，处理数据点(步骤755)。
图6描述按照本文中所示和说明的一个或多个实施例，执行第二优先算法800的流程图。处理器410从多个传感器460和/或云服务器接收数据点(步骤810)。基于所述数据点，处理器410可基于接收的数据点识别当前运行状态(步骤820)。处理器410随后访问当前正在收集的传感器数据和过去按不同优先级排队的传感器数据(步骤830)。处理器410基于车辆的当前运行，决定传感器数据处理的优先级(步骤840)。车辆的当前运行可能变化。在一些实施例中，车辆的当前运行可能是在运动中，然后改变为停止。在其他实施例中，车辆的当前运行也可能从在高速公路上驾驶变为在城市街道上驾驶。由于车辆的当前运行可能变化，因此队列中的传感器数据的优先级可能被调整(步骤850)。处理器410生成与处理相关的输出(步骤860)。
图7描述保存在数据队列900中的来自多个传感器460的传感器数据的分级优先级层次的一个例子。保存在数据队列900中的传感器数据可能具有不同等级的优先级。在一些实施例中，防撞具有较高的优先级910，可能导致撞车的数据920可成为下一个优先级。导致直接事故情形的硬件故障930可以是下一个较低的优先级。可以用新组件替换的组件故障940可以是最低的优先级。图7中所示的分级关系是例子，本文中说明的优先处理系统和方法不限于此。
在其他实施例中，当车辆停在十字路口时，较高的优先级可包括车辆、行人和移动物体的追踪。这种情况下，例如与检测行人追踪相比，物体的检测和定义本地环境可能优先级较低。再例如，较高的优先级可包括其中如果路线已知或者预料下一步行动，比如转向，那么处理与完成或补充所述“下一步行动”相关的传感器数据的优先级高于处理其他传感器数据，比如天气处理、车辆间通信和请求的情形。又例如，在自主车辆的情况下，与其他处理需求相比，可使处理资源优先满足创建3D景观的需求，因为自主车辆依赖于当前景观。另外或另一方面，在3D景观内，无论是否在自主车辆的情况下，诸如行人移动之类的动态特征的处理和检测都优先于诸如更新建筑物、树木等的位置之类的静态特征。
在一个实施例中，车辆数据处理系统包括一组传感器、控制器和通信接口。所述一组传感器被布置在车辆上，并可操作为检测和捕捉驾驶事件。所述控制器耦接到所述一组传感器，并可操作为从所述一组传感器接收指示驾驶事件数据的一个或多个数据流。所述通信接口耦接到所述一组传感器和控制器，以便进行数据传输。所述控制器还可操作为(i)分析所述一个或多个数据流，(ii)基于所述一个或多个数据流，确定车辆的当前运行状态，(iii)确定车辆的当前运行状态是否触发所述一个或多个数据流的优先处理，和(iv)当确定优先处理被触发时，应用所述优先处理。
在再一个实施例中，当前运行状态指示防撞、移动物体追踪或这两者。在另一个实施例中，当前运行状态指示车辆的速度、车辆的位置、驾驶环境或者它们的组合。在另一个实施例中，当前运行状态指示自主车辆的下一个操作序列。
在另一个实施例中，所述控制器还可操作为(i)基于所述一个或多个数据流的第一集合，确定车辆的第一驾驶事件，(ii)基于所述一个或多个数据流的第二集合，确定车辆的第二驾驶事件，和(iii)基于车辆的当前运行状态，确定第一驾驶事件与第二驾驶事件之间的优先级。
在另一个实施例中，所述控制器还可操作为随着车辆的当前运行状态改变，调整第一驾驶事件与第二驾驶事件之间的优先级。
在另一个实施例中，所述控制器还可操作为在计算资源可用时，处理不被优先考虑的驾驶事件的一个或多个数据流。
在另一个实施例中，车辆数据处理系统包括多个传感器、处理器和存储器。所述多个传感器收集与车辆的驾驶事件相关的一个或多个数据点。所述处理器耦接到所述多个传感器，并可操作为接收所述一个或多个数据点。所述处理器还可操作为基于所述一个或多个数据点，确定车辆的当前动作。所述存储器耦接到所述处理器，并保存状态管理器程序和用于保存在当前参考点之前的一组传感器数据的传感器数据队列。当由所述处理器执行时，所述状态管理器程序使所述处理器基于车辆的当前动作，决定由所述多个传感器在当前参考点处收集的当前传感器数据和在传感器数据队列中排队的所述一组传感器数据的优先级，并处理所述当前传感器数据和所述一组传感器数据。
在另一个实施例中，随着车辆的当前动作改变，所述处理器还可操作为重新决定所述当前传感器数据和所述一组传感器数据的优先级。在另一个实施例中，当车辆的当前动作变成静止动作时，所述处理器还可操作为处理按较低优先级排队的所述一组传感器数据。在另一个实施例中，当计算资源可用时，所述处理器还可操作为处理按较低优先级排队的所述一组传感器数据。在另一个实施例中，所述处理器还可操作为优先考虑车辆的当前动作所需的一个或多个数据点的处理。
在另一个实施例中，所述处理器还可操作为基于车辆的当前动作，不优先考虑所述当前传感器数据和保存在传感器数据队列中的所述一组传感器数据中的一个或多个。
在另一个实施例中，车辆数据处理方法包括以下步骤：(i)利用多个传感器收集与车辆的驾驶事件相关的一个或多个数据点，(ii)把在当前参考点之前已收集的一组传感器数据保存在传感器数据队列中，(iii)在处理器处接收来自所述多个传感器的一个或多个数据点，(iv)基于所述一个或多个数据点，确定车辆的当前动作，和(v)利用所述处理器，基于车辆的当前动作，决定由所述多个传感器在当前参考点处收集的当前传感器数据和在传感器数据队列中排队的所述一组传感器数据的优先级，并处理所述当前传感器数据和所述一组传感器数据。
在另一个实施例中，车辆数据处理方法还包括随着车辆的当前动作改变，重新决定所述当前传感器数据和所述一组传感器数据的优先级的步骤。车辆数据处理方法还包括当车辆的当前动作变成静止动作时，处理按较低优先级排队的所述一组传感器数据。车辆数据处理方法还包括当计算资源可用时，处理按较低优先级排队的所述一组传感器数据。
在另一个实施例中，车辆数据处理方法还包括优先处理车辆的当前动作所需的一个或多个数据点。车辆数据处理方法还包括基于车辆的当前动作，不优先考虑所述当前传感器数据和保存在传感器数据队列中的所述一组传感器数据中的一个或多个。
在另一个实施例中，所述车辆数据处理方法还包括以下步骤：(i)基于所述一个或多个数据点的第一集合，确定车辆的第一驾驶事件，(ii)基于所述一个或多个数据点的第二集合，确定车辆的第二驾驶事件，和(iii)基于车辆的当前运行状态，确定第一驾驶事件与第二驾驶事件之间的优先级。
尽管本文中例示和说明了特定实施例，不过应明白的是可以作出各种其他变化和修改，而不脱离要求保护的主题的精神和范围。此外，尽管本文中说明了要求保护的主题的各个方面，不过不必组合地利用这些方面。于是，附加的权利要求书意图覆盖在要求保护的主题的范围内的所有这样的变化和修改。
Claims (15)
1.一种车辆数据处理系统，包括：
一组传感器，所述一组传感器被布置在车辆上，并可操作为检测和捕捉驾驶事件数据；
控制器，所述控制器耦接到所述一组传感器，并可操作为从所述一组传感器接收指示驾驶事件数据的一个或多个数据流；
其中所述控制器还可操作为：
分析所述一个或多个数据流；
基于所述一个或多个数据流，确定车辆的当前运行状态；
确定车辆的当前运行状态是否触发所述一个或多个数据流的优先处理；和
当确定优先处理被触发时，应用所述优先处理。
2.按照权利要求1所述的车辆数据处理系统，其中所述当前运行状态指示包含在从多组事件中选择的一组事件中的一个或多个事件，所述多组事件包括：
包含防撞、移动物体追踪或这二者的第一组事件；
包含车辆的速度、车辆的位置、驾驶环境或者它们的组合的第二组事件；和
包含自主车辆的下一个操作序列的第三组事件。
3.按照权利要求1或2所述的车辆数据处理系统，其中所述控制器还可操作为：
基于所述一个或多个数据流的第一集合，确定车辆的第一驾驶事件；
基于所述一个或多个数据流的第二集合，确定车辆的第二驾驶事件；和
基于车辆的当前运行状态，确定第一驾驶事件与第二驾驶事件之间的优先级。
4.按照权利要求1或2所述的车辆数据处理系统，其中所述控制器还可操作为：
随着车辆的当前运行状态改变，调整第一驾驶事件与第二驾驶事件之间的优先级；和
在计算资源可用时，处理不被优先考虑的驾驶事件的一个或多个数据流。
5.一种车辆数据处理系统，包括：
多个传感器，所述多个传感器收集与车辆的驾驶事件相关的一个或多个数据点；
处理器，所述处理器耦接到所述多个传感器，并可操作为接收所述一个或多个数据点，所述处理器还可操作为基于所述一个或多个数据点，确定车辆的当前动作；
存储器，所述存储器耦接到所述处理器，并保存状态管理器程序和用于保存在当前参考点之前的一组传感器数据的传感器数据队列，
其中当由所述处理器执行时，所述状态管理器程序使所述处理器基于车辆的当前动作，决定由所述多个传感器在当前参考点处收集的当前传感器数据和在传感器数据队列中排队的所述一组传感器数据的优先级，并处理所述当前传感器数据和所述一组传感器数据。
6.按照权利要求5所述的车辆数据处理系统，其中所述处理器还可操作为随着车辆的当前动作改变，重新决定所述当前传感器数据和所述一组传感器数据的优先级。
7.按照权利要求5或6所述的车辆数据处理系统，其中所述处理器还可操作为在车辆的当前动作变为静止动作时，处理按较低优先级排队的所述一组传感器数据。
8.按照权利要求5或6所述的车辆数据处理系统，其中所述处理器还可操作为在计算资源可用时，处理按较低优先级排队的所述一组传感器数据。
9.按照权利要求5或6所述的车辆数据处理系统，其中所述处理器还可操作为优先处理车辆的当前动作所需的一个或多个数据点。
10.按照权利要求5或6所述的车辆数据处理系统，其中所述处理器还可操作为基于车辆的当前动作，不优先考虑所述当前传感器数据和保存在传感器数据队列中的所述一组传感器数据中的一个或多个。
11.一种车辆数据处理方法，包括：
利用多个传感器收集与车辆的驾驶事件相关的一个或多个数据点；
把在当前参考点之前已收集的一组传感器数据保存在传感器数据队列中；
在处理器处接收来自所述多个传感器的一个或多个数据点；
基于所述一个或多个数据点，确定车辆的当前动作；和
利用所述处理器，基于车辆的当前动作，决定由所述多个传感器在当前参考点处收集的当前传感器数据和在传感器数据队列中排队的所述一组传感器数据的优先级，并处理所述当前传感器数据和所述一组传感器数据。
12.按照权利要求11所述的车辆数据处理方法，还包括：
随着车辆的当前动作改变，重新决定所述当前传感器数据和所述一组传感器数据的优先级。
13.按照权利要求11或12所述的车辆数据处理方法，还包括：
在车辆的当前动作变为静止动作时，或者在计算资源可用时，处理按较低优先级排队的所述一组传感器数据。
14.按照权利要求12所述的车辆数据处理方法，其中重新决定优先级的步骤还包括：
优先处理车辆的当前动作所需的一个或多个数据点；和
基于车辆的当前动作，不优先考虑所述当前传感器数据和保存在传感器数据队列中的所述一组传感器数据中的一个或多个。
15.按照权利要求11或12所述的车辆数据处理方法，还包括：
基于所述一个或多个数据点的第一集合，确定车辆的第一驾驶事件；
基于所述一个或多个数据点的第二集合，确定车辆的第二驾驶事件；和
基于车辆的当前运行状态，确定第一驾驶事件与第二驾驶事件之间的优先级。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/227,787 | 2018-12-20 | ||
| US16/227,787 US11042159B2 (en) | 2018-12-20 | 2018-12-20 | Systems and methods for prioritizing data processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111353375A true CN111353375A (zh) | 2020-06-30 |
Family
ID=71097647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911321331.4A Pending CN111353375A (zh) | 2018-12-20 | 2019-12-20 | 决定数据处理的优先级的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11042159B2 (zh) |
| JP (1) | JP7068260B2 (zh) |
| CN (1) | CN111353375A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344345A (zh) * | 2021-05-21 | 2021-09-03 | 深圳裹动智驾科技有限公司 | 用于自动驾驶车辆的数据处理方法、装置及计算机设备 |
| WO2022104945A1 (zh) * | 2020-11-20 | 2022-05-27 | 辰芯科技有限公司 | 通信数据调度处理方法、装置、计算机设备及存储介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11042153B2 (en) * | 2018-12-21 | 2021-06-22 | Zoox, Inc. | Adaptive multi-network vehicle architecture |
| US20190318257A1 (en) * | 2019-06-28 | 2019-10-17 | Helen Adrienne Frances Gould | Assessment and response mechanism for autonomous systems |
| US11550322B1 (en) | 2019-09-30 | 2023-01-10 | Aurora Operations, Inc. | External environment sensor data prioritization for autonomous vehicle |
| US11526175B1 (en) * | 2019-09-30 | 2022-12-13 | Aurora Operations, Inc. | Sensor data prioritization for autonomous vehicle based on vehicle operation data |
| US20210362749A1 (en) * | 2020-05-20 | 2021-11-25 | Gm Cruise Holdings Llc | Hardware accelerated network interface for an autonomous vehicle switched-network |
| US20220388534A1 (en) * | 2021-06-02 | 2022-12-08 | Argo AI, LLC | Method and system for predicting behavior of actors in an environment of an autonomous vehicle |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101238375A (zh) * | 2005-08-05 | 2008-08-06 | 丰田自动车株式会社 | 车辆数据记录设备 |
| CN107206985A (zh) * | 2015-01-23 | 2017-09-26 | 克诺尔商用车制动系统有限公司 | 具有外部操控装置的电子停车制动系统 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7146260B2 (en) | 2001-04-24 | 2006-12-05 | Medius, Inc. | Method and apparatus for dynamic configuration of multiprocessor system |
| JP2006134232A (ja) | 2004-11-09 | 2006-05-25 | Toyota Motor Corp | 車両用立体物検出装置 |
| JP5147874B2 (ja) | 2010-02-10 | 2013-02-20 | 日立オートモティブシステムズ株式会社 | 車載画像処理装置 |
| US8923147B2 (en) | 2011-10-03 | 2014-12-30 | Qualcomm Incorporated | Method and apparatus for filtering and processing received vehicle peer transmissions based on reliability information |
| US9147336B2 (en) | 2012-02-29 | 2015-09-29 | Verizon Patent And Licensing Inc. | Method and system for generating emergency notifications based on aggregate event data |
| GB2523351B (en) | 2014-02-21 | 2017-05-10 | Jaguar Land Rover Ltd | Automatic recognition and prioritised output of roadside information |
| JP2017161998A (ja) | 2016-03-07 | 2017-09-14 | トヨタ自動車株式会社 | 車両用画像生成装置 |
| US10029698B2 (en) * | 2016-07-19 | 2018-07-24 | Futurewei Technologies, Inc. | Adaptive passenger comfort enhancement in autonomous vehicles |
| JP2018036796A (ja) | 2016-08-30 | 2018-03-08 | 日立オートモティブシステムズ株式会社 | 外界情報処理装置 |
| US10114374B2 (en) * | 2016-11-16 | 2018-10-30 | Baidu Usa Llc | Emergency handling system for an autonomous driving vehicle (ADV) |
| KR20180094725A (ko) * | 2017-02-16 | 2018-08-24 | 삼성전자주식회사 | 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법 |
| EP3386827A1 (en) * | 2017-03-03 | 2018-10-17 | Baidu.com Times Technology (Beijing) Co., Ltd. | Longitude cascaded controller preset for controlling autonomous driving vehicle reentering autonomous driving mode |
| US10257582B2 (en) * | 2017-03-17 | 2019-04-09 | Sony Corporation | Display control system and method to generate a virtual environment in a vehicle |
| US11373552B2 (en) * | 2017-08-17 | 2022-06-28 | Virginia Commonwealth University | Anatomically accurate brain phantoms and methods for making and using the same |
| US10948919B2 (en) * | 2017-09-11 | 2021-03-16 | Baidu Usa Llc | Dynamic programming and gradient descent based decision and planning for autonomous driving vehicles |
| US10328947B1 (en) * | 2018-04-20 | 2019-06-25 | Lyft, Inc. | Transmission schedule segmentation and prioritization |
| US10782684B2 (en) * | 2018-04-20 | 2020-09-22 | Lyft, Inc. | Secure communication between vehicle components via bus guardians |
| US11403517B2 (en) * | 2018-09-27 | 2022-08-02 | Intel Corporation | Proximity-based distributed sensor processing |
-
2018
- 2018-12-20 US US16/227,787 patent/US11042159B2/en active Active
-
2019
- 2019-12-19 JP JP2019229146A patent/JP7068260B2/ja active Active
- 2019-12-20 CN CN201911321331.4A patent/CN111353375A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101238375A (zh) * | 2005-08-05 | 2008-08-06 | 丰田自动车株式会社 | 车辆数据记录设备 |
| CN107206985A (zh) * | 2015-01-23 | 2017-09-26 | 克诺尔商用车制动系统有限公司 | 具有外部操控装置的电子停车制动系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022104945A1 (zh) * | 2020-11-20 | 2022-05-27 | 辰芯科技有限公司 | 通信数据调度处理方法、装置、计算机设备及存储介质 |
| CN113344345A (zh) * | 2021-05-21 | 2021-09-03 | 深圳裹动智驾科技有限公司 | 用于自动驾驶车辆的数据处理方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020125098A (ja) | 2020-08-20 |
| US11042159B2 (en) | 2021-06-22 |
| US20200201325A1 (en) | 2020-06-25 |
| JP7068260B2 (ja) | 2022-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7068260B2 (ja) | データ処理を優先順位付けするシステム及び方法 | |
| CN108974009B (zh) | 用于自动驾驶控制的方法、介质和系统 | |
| US11967230B2 (en) | System and method for using V2X and sensor data | |
| US20190370581A1 (en) | Method and apparatus for providing automatic mirror setting via inward facing cameras | |
| US11565716B2 (en) | Method and system for dynamically curating autonomous vehicle policies | |
| US20210191394A1 (en) | Systems and methods for presenting curated autonomy-system information of a vehicle | |
| US11549815B2 (en) | Map change detection | |
| US10755565B2 (en) | Prioritized vehicle messaging | |
| EP3900412A1 (en) | Adaptive multi-network vehicle architecture | |
| CN112238862A (zh) | 用于自主驾驶平台的开放和安全监视系统 | |
| US20220198839A1 (en) | Distributed data processing task allocation systems and methods for autonomous vehicles | |
| EP4202886A1 (en) | Using maps at multiple resolutions and scale for trajectory prediction | |
| US11626012B2 (en) | Hierarchical integrated traffic management system for managing vehicles | |
| WO2021128278A1 (en) | Driving safety systems | |
| US20230256999A1 (en) | Simulation of imminent crash to minimize damage involving an autonomous vehicle | |
| US20230182734A1 (en) | Vehicle localization | |
| US20230192077A1 (en) | Adjustment of object trajectory uncertainty by an autonomous vehicle | |
| EP3889944A1 (en) | A vehicle, fleet management and traffic light interaction architecture design via v2x | |
| WO2022168286A1 (ja) | 通信管理装置、通信管理方法、通信管理プログラム、運転支援装置、運転支援方法及び運転支援プログラム | |
| KR102562381B1 (ko) | 차량 호라이즌에서 오브젝트를 컨텍스트화 하기 위한 시스템 및 방법 | |
| JP6812337B2 (ja) | 移動対象物における所定事象の発生傾向を推定するプログラム、装置及び方法 | |
| US11881031B2 (en) | Hierarchical processing of traffic signal face states | |
| Farhat et al. | A novel cooperative collision avoidance system for vehicular communication based on deep learning | |
| EP4202476A1 (en) | Anomaly prioritization using dual-mode adaptive radar | |
| US20230182729A1 (en) | Vehicle localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |