CN115702404A - 基础设施交互系统和方法 - Google Patents

基础设施交互系统和方法 Download PDF

Info

Publication number
CN115702404A
CN115702404A CN202180043925.2A CN202180043925A CN115702404A CN 115702404 A CN115702404 A CN 115702404A CN 202180043925 A CN202180043925 A CN 202180043925A CN 115702404 A CN115702404 A CN 115702404A
Authority
CN
China
Prior art keywords
infrastructure system
collision conditions
vehicle
infrastructure
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180043925.2A
Other languages
English (en)
Inventor
S·卡拉曼
A·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Electronics Inc
Original Assignee
Magna Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna Electronics Inc filed Critical Magna Electronics Inc
Publication of CN115702404A publication Critical patent/CN115702404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种方法、计算机程序产品和计算系统，其用于从基础设施系统接收情境数据；处理该情境数据以识别一个或更多个AV碰撞状况；至少部分地基于这一个或更多个AV碰撞状况来生成AV指令；以及向一个或更多个自主车辆提供这些AV指令。

Description

基础设施交互系统和方法
相关申请
本申请主张于2020年5月4日提交的美国临时申请No.63/019,898的权益，其全部内容被通过引用并入本文。
技术领域
本公开涉及基础设施，并且更具体地涉及基础设施与自主车辆的交互。
背景技术
随着交通走向自主(即无人驾驶)车辆，这些自主车辆的制造商和设计者必须定义在这些自主车辆内的一个或更多个系统发生故障时出现的意外情况。
众所周知，自主车辆包含多个电子控制单元(ECU)，其中这些ECU中的每一个均可执行特定的功能。例如，这些不同的ECU可以计算车辆的安全轨迹(例如，用于将车辆导航到其预期目的地)，并且可以向车辆的致动器、推进系统和制动系统提供控制信号。典型地，一个ECU(例如，自主控制单元)可以负责规划和计算车辆的轨迹，并且可以(例如，通过控制转向ECU、制动ECU和动力传动ECU)向其他ECU提供可能导致车辆移动的命令。
正如预期的那样，这种自主车辆可能需要做出考虑其周围环境/环境的导航决策。并且有时，这些自主车辆并没有足够的关于其周围环境/环境的信息，以做出正确的知情决策。
发明内容
在一个实现方式中，计算机实现方法在计算装置上执行并且包括：从基础设施系统接收情境数据；处理该情境数据以识别一个或更多个AV碰撞状况；至少部分地基于这一个或更多个AV碰撞状况来生成AV指令；以及向一个或更多个自主车辆提供AV指令。
可包括以下特征中的一个或更多个。处理情境数据以识别一个或更多个AV碰撞状况可包括：使一个或多车辆监视器能够处理情境数据，以识别一个或更多个AV碰撞状况。至少部分地基于这一个或更多个AV碰撞状况来生成AV指令可以包括：使一个或更多个车辆监视器能够至少部分地基于这一个或更多个AV碰撞状况来生成AV指令。一个或更多个车辆监视器可以包括：一个或更多个人类车辆监视器。一个或更多个AV碰撞状况可包括：危险状况；紧急情况；低效状框；诱导时延状况；以及恶劣的天气状况。基础设施系统可以包括以下中的一个或更多个：道路基础设施系统的一部分；桥梁基础设施系统的一部分；渡口基础设施系统的一部分；以及隧道基础设施系统的一部分。情境数据可以包括由以下中的一个或更多个提供的数据：被结合到基础设施系统中的基于图像的监控系统；被结合到基础设施系统中的天气监测系统；被结合到基础设施系统中的环境监测系统；以及被结合到基础设施系统中的拥堵监测系统。
在另一实现方式中，计算机程序产品存在于计算机可读介质上并存储有多个指令。当由处理器执行时，这些指令致使处理器执行操作，这些操作包括：从基础设施系统接收情境数据；处理该情境数据以识别一个或更多个AV碰撞状况；至少部分地基于这一个或更多个AV碰撞状况来生成AV指令；以及向一个或更多个自主车辆提供AV指令。
可包括以下特征中的一个或更多个。处理情境数据以识别一个或更多个AV碰撞状况可包括：使一个或多车辆监视器能够处理情境数据，以识别一个或更多个AV碰撞状况。至少部分地基于一个或更多个AV碰撞状况生成AV指令可以包括：使一个或更多个车辆监视器能够至少部分地基于这一个或更多个AV碰撞状况来生成AV指令。一个或更多个车辆监视器可以包括：一个或更多个人类车辆监视器。一个或更多个AV碰撞状况可包括：危险状况；紧急情况；低效状况；诱导时延状况；以及恶劣的天气状况。基础设施系统可以包括以下中的一个或更多个：道路基础设施系统的一部分；桥梁基础设施系统的一部分；渡口基础设施系统的一部分；以及隧道基础设施系统的一部分。情境数据可以包括由以下中的一个或更多个提供的数据：被结合到基础设施系统中的基于图像的监控系统；被结合到基础设施系统中的天气监测系统；被结合到基础设施系统中的环境监测系统；以及被结合到基础设施系统中的拥堵监测系统。
在另一实现方式中，计算系统包括处理器和存储器，其被配置为执行操作，这些操作包括：从基础设施系统接收情境数据；处理情境数据以识别一个或更多个AV碰撞状况；至少部分地基于这一个或更多个AV碰撞状况来生成AV指令；以及向一个或更多个自主车辆提供AV指令。
可包括以下特征中的一个或更多个。处理情境数据以识别一个或更多个AV碰撞状况可包括：使一个或更多个车辆监视器能够处理情境数据，以识别一个或更多个AV碰撞状况。至少部分地基于这一个或更多个AV碰撞状况来生成AV指令可以包括：使一个或更多个车辆监视器能够至少部分地基于这一个或更多个AV碰撞状况来生成AV指令。一个或更多个车辆监视器可以包括：一个或多人类车辆监视器。这一个或更多个AV碰撞状况可包括：危险状况；紧急情况；低效状况；诱导时延状况；以及恶劣的天气状况。基础设施系统可以包括以下中的一个或更多个：道路基础设施系统的一部分；桥梁基础设施系统的一部分；渡口基础设施系统的一部分；以及隧道基础设施系统的一部分。情境数据可以包括由以下中的一个或更多个提供的数据：被结合到基础设施系统中的基于图像的监控系统；被结合到基础设施系统中的天气监测系统；被结合到基础设施系统中的环境监测系统；以及被结合到基础设施系统中的拥堵监测系统。
一个或更多个实现方式的细节在附图和下面的描述中予以阐述。其他特征和优点将通过说明书、附图和权利要求书而变得明显。
附图说明
图1是根据本公开实施例的自主车辆的示意图；
图2A是根据本公开实施例的图1的自主车辆内包括的多种系统的一个实施例的示意图；
图2B是根据本公开实施例的图1的自主车辆内包括的多种系统的另一实施例的示意图；
图3是根据本公开实施例的图1的自主车辆内包括的多种系统的另一实施例的示意图；
图4是根据本公开实施例的多个车辆监视器的示意图；
图5是根据本公开实施例的基础设施系统的示意图；和
图6是用于与根据本公开实施例的图5的基础设施进行交互的基础设施交互过程的流程图。
不同视图中的相同的附图标记表示相同的元件。
具体实施方式
自主车辆概述
参考图1，示出了自主车辆10。如本领域所知，自主车辆(例如，自主车辆10)是一种能够感测其环境并在具有很少或没有人类输入的情况下移动的车辆。自主车辆(例如自主车辆10)可以结合多种传感器系统来感知其周围环境，其示例可以包括但不限于雷达、计算机视觉、激光雷达、GPS、里程表、温度和惯性传感器，其中这种传感器系统可被配置成解释道路上的车道和标记、路标、停车灯、行人、其他车辆、路边物体、危险等。
自主车辆10可包括多个传感器(例如传感器12)、多个电子控制单元(例如ECU 14)和多个致动器(例如致动器16)。因此，自主车辆10内的传感器12可以监控自主车辆10运行的环境，其中传感器12可以向ECU 14提供传感器数据18。ECU 14可以处理传感器数据18以确定自主车辆10的移动方式。ECU 14可以随后向致动器16提供控制数据20，使得自主车辆10可以以由ECU 14决定的方式移动。例如，包括在传感器12内的机器视觉传感器可以“读取”限速标志，该限速标志表明自主车辆10所行驶的道路上的限速现在是每小时35英里。包括在传感器12内的该机器视觉传感器可以向ECU 14提供传感器数据18，其表明自主车辆10所行驶的道路上的速度现在是35英里/小时(mph)。一旦接收到传感器数据18，ECU 14就可以处理传感器数据18并且可以确定自主车辆10(当前正以45mph的速度行驶)行驶得过快并且需要减速。因此，ECU 14可以向致动器16提供控制数据20，其中控制数据20可以例如施加自主车辆10的制动或消除当前正施加到加速器的任何致动信号(从而允许自主车辆10滑行，直到自主车辆10的速度降低到35mph为止)。
系统冗余
正如所想象到的那样，由于自主车辆10正由被包括在其中的多种电子系统(例如传感器12、ECU 14和致动器16)控制，因此在设计自主车辆10时，应考虑这些系统中的一个或更多个系统的潜在故障，并可采用适当的应急计划。
例如并且还参考图2A，自主车辆10内包括的多种ECU(例如，ECU 14)可以被分隔开，使得可以在逻辑方面对多种ECU(例如，ECU 14)的职能进行分组。例如，ECU 14可以包括自主控制单元50，该自主控制单元可以从传感器12接收传感器数据18。
自主控制单元50可被配置成执行多种功能。例如，自主控制单元50可以接收和处理外部感知传感器数据(例如，传感器数据18)，可以估计自主车辆10在其运行环境中的位置，可以计算自主车辆10的周围环境的表示，可以计算自主车辆10的安全轨迹，并且可以命令其他ECU(特别是车辆控制单元)使自主车辆10执行所期望的策略。自主控制单元50可以包括相当大的运算能力、永久性存储器和内存。
因此，自主控制单元50可以处理传感器数据18，以确定自主车辆10的运行方式。自主控制单元50可以随后向车辆控制单元54提供车辆控制数据52，其中车辆控制单元54可以随后处理车辆控制数据52，以确定各个控制系统(例如动力传动系统56、制动系统58和转向系统60)应该作出响应以便在车辆控制数据52内获得由自主控制单元50所定义的轨迹的方式。
车辆控制单元54可被配置成控制自主车辆10内的其他ECU。例如，车辆控制单元54可控制转向控制单元、动力传动控制单元和制动控制单元。例如，车辆控制单元54可以：向动力传动控制单元64提供动力传动控制信号62；向制动控制单元68提供制动控制信号66；以及向转向控制单元72提供转向控制信号70。
动力传动控制单元64可处理动力传动控制信号62，使得可以向动力传动系统56提供适当的控制数据(通常由控制数据20表示)。此外，制动控制单元68可处理制动控制信号66，使得可以向制动系统58提供适当的控制数据(通常由控制数据20表示)。此外，转向控制单元72可以处理转向控制信号70，使得可以向转向系统60提供适当的控制数据(通常由控制数据20表示)。
动力传动系统控制单元64可被配置成控制自主车辆10内的变速器(未示出)和发动机/牵引马达(未示出)；而制动控制单元68可被配置成控制自主车辆10内的机械/再生制动系统(未示出)；并且转向控制单元72可被配置成控制自主车辆10内的转向柱/转向齿条(未示出)。
自主控制单元50可以是高度复杂的计算系统，其可以提供密集处理能力(例如，具有多核处理器、离散协同处理单元、千兆字节内存和永久性存储器的工作站级计算系统)。相比之下，车辆控制单元54可以是一种简单得多的装置，其可以提供与包括在自主车辆10内的其他ECU(例如，具有适度的微处理器(CPU频率小于200兆赫)、小于1兆字节的系统内存和无永久性存储器的计算系统)等效的处理能力。由于这些更为简单的设计，导致车辆控制单元54可以比自主控制单元50具有更大的可靠性和耐久性。
为了进一步提高冗余性和可靠性，自主车辆10内包括的ECU(ECU 14)中的一个或更多个可被以冗余的方式配置。例如并且还参考图2B，示出了ECU 14的一种实现方式，其中使用了多个车辆控制单元。例如，该特定实现方式被示出为包括两个车辆控制单元，即第一车辆控制单元(例如，车辆控制单元54)和第二车辆控制单元(例如，车辆控制单元74)。
在该特定配置中，两个车辆控制单元(例如车辆控制单元54、74)可被以多种方式配置。例如，两个车辆控制单元(例如车辆控制单元54、74)可被配置成主动-被动配置，其中例如车辆控制器54执行处理车辆控制数据52的主动角色，而车辆控制器74承担被动角色并且基本上处于备用模式。在车辆控制单元54发生故障的情况下，车辆控制单元74可以从被动角色转变为主动角色，并承担处理车辆控制数据52的角色。作为选择，两个车辆控制单元(例如车辆控制单元54、74)可被配置成主动-主动配置，其中例如车辆控制单元52和车辆控制单元74两者都执行处理车辆控制数据54的主动角色(例如分摊工作负载)，其中在车辆控制单元54或车辆控制单元72发生故障的情况下，幸存的车辆控制单元可处理所有车辆控制数据52。
虽然图2B示出了自主车辆10内包括的多种ECU(例如ECU 14)可被以冗余的方式配置的方式的一个示例，但这仅出于说明的目的且并不旨在限制本公开，因为其他配置是可能的并且被认为处于本公开的范围内。例如，自主控制单元50可被以冗余的方式配置，其中第二自主控制单元(未示出)被包括在自主车辆10内并且被以主动-被动或主动-主动的方式配置。此外，可以预见的是，一个或更多个传感器(例如，传感器12)和/或一个或更多个致动器(例如，致动器16)可被以冗余的方式配置。因此，所明白的是，关于自主车辆10可实现的冗余水平可能仅由自主车辆10的设计标准和预算约束限制。
自主计算子系统
还参考图3，自主车辆10的多种ECU可以被分组/布置/配置以实现多种功能。
例如，一个或更多个ECU 14可被配置成实现/形成感知子系统100，其中感知子系统100可被配置成处理来自车载传感器的数据(例如，传感器数据18)，以计算自主车辆10附近的关注对象的简明表示(其示例可包括但不限于其他车辆、行人、交通信号灯、交通标志、道路标记、危险等)并识别可帮助确定自主车辆10的位置的环境特征。此外，一个或更多个ECU14可被配置成实现/形成状态估计子系统102，其中状态估计子系统102可被配置成处理来自车载传感器的数据(例如，传感器数据18)，以估计自主车辆10在其运行环境内的位置、定向和速度。此外，ECU 14中的一个或更多个可被配置成实现/形成规划子系统104，其中规划子系统104可被配置成(使用感知输出106和状态估计输出108)计算预期车辆轨迹。更进一步地，一个或更多个ECU 14可被配置成实现/形成轨迹控制子系统110，其中轨迹控制子系统110使用规划输出112和状态估计输出108(结合反馈和/或前馈控制技术)来计算致动器命令(例如控制数据20)，这些致动器命令可致使自主车辆10在其运行环境内实现其预期轨迹。
出于冗余的目的，上述子系统可被分布在多种装置(例如，自主控制单元50和车辆控制单元54、74)上。另外/作为选择，由于增大的计算需求，导致感知子系统100和规划子系统104可被几乎完全定位在自主控制单元50内，该自主控制单元50(如上所述)具有比车辆控制单元54、74高得多的计算能力。相反并且由于它们的低计算需求，导致在车辆控制单元54、74具有必要的计算能力的情况下，状态估计子系统102和轨迹控制子系统110可被完全定位在车辆控制单元54、74上；和/或被部分地定位在车辆控制单元54、74上以及部分地定位在自主控制单元50上。然而，状态估计子系统102和轨迹控制子系统110的位置在任何应急规划体系结构的设计中可能是至关重要的，因为这些子系统的位置可以决定如何计算、传输和/或实现应急计划。
轨迹计算
在自主车辆10的典型运行期间，上述自主子系统反复执行以下功能：
·使用车载传感器(例如使用传感器12)测量周围环境；
·(例如，使用感知子系统100)估计周围车辆、行人、骑车人、自主车辆10附近的其他物体的位置、速度和未来轨迹以及对位置确定有用的环境特征；
·(例如，使用状态估计子系统102)估计自主车辆10在运行环境内的位置、定向和速度；
·(例如，使用规划子系统104)规划自主车辆10所要遵循的标称轨迹，该标称轨迹使自主车辆10更为接近自主车辆10的预期目的地；以及
·(例如，使用轨迹控制子系统110)生成命令(例如，控制数据20)以致使自主车辆10实现预期轨迹
在每次迭代期间，规划子系统104可以计算可能跨越数米(距离)和数秒(时间)行程的轨迹。然而，可以更为频繁地(例如，每十毫秒)计算上述循环的每次迭代。因此，可以期望自主车辆10在计算新轨迹(由于例如感测到的环境变化，导致其可能与先前计算的轨迹不同)之前仅实现每个规划轨迹的一小部分。
轨迹实现
上述轨迹可被表示为描述自主车辆10的预期未来路径的参数曲线。在实现上述轨迹时，控制自主车辆的技术主要有两类：a)前馈控制和b)反馈控制。
在标称状况下，使用反馈控制来实现轨迹，其中反馈轨迹控制算法可以使用例如自主车辆10的运动动力学模型、每个车辆的配置参数以及对自主车辆10的位置、定向、速度进行的连续计算估计，以计算向包括在自主车辆10内的多种ECU提供的命令。
前馈轨迹控制算法可以使用自主车辆10的运动动力学模型、每个车辆的配置参数以及对于自主车辆10的初始位置、定向和速度进行的单一估计，以计算向自主车辆内包括的多种ECU提供的命令序列，其中在不使用(例如来自传感器12的)任何实时传感器数据或其他信息的情况下执行该命令序列。
为了实现上述轨迹，自主控制单元50可以使用车辆控制单元54/74作为中介而与多种ECU通信(并可以向其提供命令)。在上述轨迹实现循环的每次迭代中，自主控制单元50可以计算向它们各自的ECU(例如，分别为动力传动控制单元64、制动控制单元68和转向控制单元72)提供的转向命令、动力传动命令和制动命令，并且可将这些命令发送至车辆控制单元54/74。车辆控制单元54/74可随后验证这些命令并且可将它们传递到各个ECU(例如，分别为动力传动控制单元64、制动控制单元68和转向控制单元72)。
车辆监视器
如上所述并且在自主车辆10的典型运行期间，上述自主子系统可反复执行以下功能：使用车载传感器(例如使用传感器12)测量周围环境；(例如，使用感知子系统100)估计周围车辆、行人、骑车人、自主车辆10附近的其他物体的位置、速度和未来轨迹以及对位置确定有用的环境特征；(例如，使用状态估计子系统102)估计自主车辆10在运行环境内的位置、定向和速度；(例如，使用规划子系统104)规划自主车辆10的使自主车辆10更为接近自主车辆10的预期目的地的标称轨迹；以及(例如，使用轨迹控制子系统110)生成命令(例如，控制数据20)以使自主车辆10实现预期轨迹。
自主车辆10的运行可由车辆监视器(例如，人类车辆监视器)监控。具体地并且以与空中交通控制器监控一架或多架飞机的运行的方式类似的方式，车辆监视器可以监控一个或多个自主车辆(例如，自主车辆10)的运行。
例如并且还参考图4，车辆监视器(例如，车辆监视器200、202、204)可被定位在集中位置(例如远程监控和操作中心)中并且可以监控多个自主车辆(例如，自主车辆10)的运行。例如，车辆监视器200、202、204可以(在本示例中)监控九个自主车辆(例如，自主车辆#1至自主车辆#9)的运行，其中每一个自主车辆都在车辆监视器200、202、204的显示器上被表示为唯一的圆圈。具体地并且对于本示例，假设车辆监视器200正在监控三辆自主车辆(即，自主车辆1-3)，车辆监视器202正在监控四辆自主车辆(即，自主车辆4-7)，并且车辆监视器204正在监控两辆自主车辆(即，自主车辆8-9)。
基础设施交互过程250可以是服务器应用程序并且可以驻留在计算装置252上并且可以由计算装置252执行，计算装置252可被连接到网络254(例如，因特网或局域网)。计算装置252的示例可包括但不限于：个人计算机、膝上型计算机、笔记本计算机、服务器计算机、一系列服务器计算机、微型计算机、大型计算机或基于云的计算网络。
可被存储在与计算装置252耦合的存储装置256上的基础设施交互过程250的指令集和子程序可由计算装置252内包括的一个或更多个处理器(未示出)和一个或更多个存储器体系结构(未示出)执行。存储装置256的示例可包括但不限于：硬盘驱动器；RAID装置；随机存取存储器(RAM)；只读存储器(ROM)；以及所有形式的闪存存储装置。
网络254(例如，互联网或局域网)可以将计算装置252耦合到(分别)由车辆监视器200、202、204使用的客户端电子装置(例如，客户端电子装置258、260、262)。客户端电子装置258、260、262的示例可以包括但不限于数据使能的蜂窝电话、膝上型计算机、个人数字助理、个人计算机、笔记本计算机、工作站计算机、智能电视和专用网络设备。客户端电子装置258、260、262可以各自执行操作系统，其示例可包括但不限于Microsoft Windowstm、Androidtm、WebOStm、iOStm、Redhat Linuxtm或定制操作系统。
基础设施系统264可被耦合到网络254并且可以向基础设施交互过程250提供情境数据266。基础设施系统264的示例可以包括但不限于以下中的一种或多种：
·道路基础设施系统的一部分，例如联邦州际公路系统、州公路系统、县公路系统和地方公路系统；
·桥梁基础设施系统的一部分，例如国际桥梁、州际桥梁、州内桥梁和堤道；
·渡口基础设施系统的一部分，例如国际渡口、州际渡口和州内渡口；和
·隧道基础设施系统的一部分，例如国际隧道、州际隧道和州内隧道。
情境数据266的示例可以包括但不限于由以下中的一个或更多个提供的数据：
·由结合到基础设施系统264中的基于图像的监控系统提供的情境数据266，该基于图像的监控系统例如为位于路标上的摄像头、位于交通信号灯上的摄像头、位于交叉路口处的摄像头以及位于道路/桥梁/渡口/隧道上的摄像头；
·由结合到基础设施系统264中的天气监测系统提供的情境数据266，该天气检测系统例如为位于路标上的气象站、位于交通信号灯上的气象站、位于交叉路口处的气象站以及位于道路/桥梁/渡口/隧道上的气象站；
·由结合到基础设施系统264中的环境监测系统提供的情景数据266，该环境监测系统例如为位于路标上的臭氧/烟雾监测器、位于交通信号灯上的臭氧/烟雾监测器、位于交叉路口处的臭氧/烟雾监测器以及位于道路/桥梁/渡口/隧道上的臭氧/烟雾监测器；和
·由结合到基础设施系统264中的拥堵监测系统提供的情境数据266，该拥堵监测系统例如为位于路标上的交通流量监测器、位于交通信号灯上的交通流量监测器、位于交叉路口处的交通流量监测器以及位于道路/桥梁/渡口/隧道上的交通流量监测器。
还参考图5，示出了基础设施系统(例如，基础设施系统264)的一个示例，自主车辆(例如，自主车辆10)可以行驶通过该基础设施系统。在该具体示例中，基础设施264是两条地方道路(例如，地方道路302、304)的交叉路口(例如，交叉路口300)。在基础设施264内(一般来说)和交叉路口300处(具体来说)，摄像头306被定位成允许观察接近道路302、304上的交叉路口300的交通，从而生成观测数据266。例如，观测数据266可以包括基于视频的信息，该信息示出了接近交叉路口300的车辆(例如，人力驾驶车辆308和自主车辆310、312)。
虽然在以下示例中，观测数据266将被描述为被提供给远程监控和操作中心314(例如，以供车辆监视器200、202再次查看)，但这仅出于说明的目的而并不旨在限制本公开，因为其他配置是可能的并且被认为处于本公开的范围内。例如，观测数据266可被作为选择/另外提供给在交叉路口300附近行驶的自主车辆310、312。
还参考图6，基础设施交互过程250可以从基础设施系统(例如，基础设施系统264)接收350情境数据(例如，情境数据266)，并且可以处理352情境数据(例如，情境数据268)以识别一个或更多个AV碰撞状况(例如，AV碰撞状况268)。一个或更多个AV碰撞状况(例如，AV碰撞状况268)的示例可以包括但不限于：
·基础设施系统264内的危险状况，例如车辆(例如，车辆308)以可能潜在地表明车辆308可能不会在交叉路口300停车的速度快速地接近交叉路口300、交叉路口300附近的人质状况以及交叉路口300附近的骚乱/抗议；
·基础设施系统264内的紧急状况，例如救护车(未示出)接近交叉路口300，其将需要清理通过交叉路口300的通道、交叉路口300附近的跨接线和交叉路口300附近的警方响应；
·基础设施系统264内的低效状况，例如交叉路口300附近的高交通状况、交叉路口300附近的限速降低状况以及交叉路口300附近的前方车道消失状况；
·基础设施系统264内的诱导时延状况，例如交叉路口300附近的事故、交叉路口300附近的道路封闭以及交叉路口300附近的结构火灾；和
·基础设施系统264内的不利天气状况，例如交叉路口300附近的结冰状况、交叉路口300附近多风状况和交叉路口300附近的雪情。
当处理352情境数据(例如，情境数据266)以识别一个或更多个AV碰撞状况(例如，AV碰撞状况268)时，基础设施交互过程250可以使354一个或更多个车辆监视器(例如，车辆监视器200、202)能够处理情境数据(例如，情境数据266)，以便识别一个或更多个AV碰撞状况(例如，AV碰撞状况268)。因此且在情境数据(例如，情境数据266)是示出了接近交叉路口300的车辆(人力驾驶车辆308和自主车辆310、312)的基于视频的信息的该示例中，车辆监视器200、202可以通过观看情境数据(例如，情境数据266)来处理352这些情境数据以识别一个或更多个AV碰撞状况(例如，AV碰撞状况268)。对于该示例，假设情景数据(例如，情境数据266)表明人力驾驶车辆308正以高速朝向交叉路口300处的红灯行驶，并且人力驾驶车辆308将有可能在交叉路口300处闯红灯。因此，基础设施交互过程250可以将该AV碰撞状况(例如，AV碰撞状况268)识别为人力驾驶车辆308可能在交叉路口300闯红灯的危险状况。
作为选择，基础设施交互过程250可以通过算法处理352情境数据(例如，情境数据266)，以经由例如人工智能识别一个或更多个AV碰撞状况(例如，AV碰撞状况268)。
一旦识别出一个或更多个AV碰撞状况(例如，AV碰撞状况268)，基础设施交互过程250就可以至少部分地基于一个或更多个AV碰撞状况(例如，AV碰撞状况268)生成356AV指令(例如，AV指令270)。当至少部分地基于一个或更多个AV碰撞状况(例如，AV碰撞状况268)生成356AV指令(例如，AV指令270)时，基础设施交互过程250可以使358一个或更多个车辆监视器(例如，车辆监视器200、202)能够至少部分地基于一个或更多个AV碰撞状况(例如，AV碰撞状况268)生成AV指令(例如，AV指令270)。因此并继续基础设施交互过程250将AV碰撞状况(例如，AV碰撞状况268)识别为人力驾驶车辆308可能在交叉路口300处闯红灯的危险状况的示例，基础设施交互过程250可以使358车辆监视器200、202能够生成AV指令270，这些AV指令270指示自主车辆310、312立即停车并且不进入交叉路口300，直到该为限情况消失为止。
作为选择，基础设施交互过程250可以至少部分地基于一个或更多个AV碰撞状况(例如，AV碰撞状况268)经由例如人工智能在算法上生成356AV指令(例如，AV指令270)。
一旦基础设施交互过程250生成356AV指令(例如，AV指令270)，基础设施交互过程250就可以向一个或更多个自主车辆(例如，自主车辆310、312)提供360AV指令(例如，AV指令270)。例如，基础设施交互过程250可以向自主车辆310、312无线地发送AV指令270。
通则
如本领域技术人员将理解的那样，本公开可被具体表现为方法、系统或计算机程序产品。因此，本公开可以采用完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或结合软件和硬件方面的实施例的形式，这些实施例在本文中通常被称为“电路”、“模块”或“系统”。此外，本公开可以采用计算机可用存储介质上的计算机程序产品的形式，该计算机可用存储介质具有具体体现在该介质中的计算机可用程序代码。
可以使用任何适用的计算机可用或计算机可读介质。计算机可用或计算机可读介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备、装置或传播介质。计算机可读介质的更具体的示例(非详尽列表)可包括以下内容：具有一根或多根导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、诸如支持因特网或内联网的传输介质之类的传输介质或磁性存储装置。计算机可用或计算机可读介质也可以是其上打印程序的纸或其他适用的介质，因为该程序可经由例如对纸或其他介质进行光学扫描而被以电子的方式捕获，然后根据需要以适用的方式进行编译、解释或以其他方式进行处理，并且随后存储在计算机存储器中。在本文献的上下文中，计算机可用或计算机可读介质可以是可以包含、存储、传送、传播或传输程序以供指令执行系统、设备或装置使用或与之相关联的任何介质。计算机可用介质可以包括所传播的数据信号，其中在基带中或作为载波的一部分具体体现了计算机可用程序代码。计算机可用程序代码可被使用任何适当的介质(包括但不限于互联网、有线、光纤电缆、RF等)来传输。
用于执行本公开的操作的计算机程序代码可被以诸如Java、Smalltalk、C++等之类的面向对象编程语言编写。然而，用于执行本公开的操作的计算机程序代码也可被以常规程序编程语言(例如“C”编程语言或类似的编程语言)编写。程序代码可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包，部分在用户的计算机上执行，部分在远程计算机上执行或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可被通过局域网/广域网/因特网(例如，网络14)连接到用户的计算机。
参考根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述本公开。将会明白的是，流程图图示和/或框图的每个块以及流程图图示中的块和/或框图中的块的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机/专用计算机/其他可编程数据处理设备的处理器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建了用于实现流程图和/或框图的一个或更多个块中指定的功能/动作的装置。
这些计算机程序指令也可被存储在计算机可读存储器中，这些计算机程序指令可以指示计算机或其他可编程数据处理设备以特定的方式运行，使得存储在计算机可读存储器中的指令产生包括实现在流程图和/或框图的一个或更多个块中指定的功能/动作的指令装置的制品。
计算机程序指令也可被加载到计算机或其他可编程数据处理设备上，以致使在计算机或其他编程设备上执行一系列操作步骤，以便产生计算机实现过程，使得在计算机或其他可编程设备上执行的指令提供用于实现在流程图和/或框图的一个或更多个块中指定的功能/动作的步骤。
附图中的流程图和框图可以说明根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现方式的体系结构、功能和操作。在这方面，流程图或框图中的每个块可以表示代码的模块、分段或部分，其包括用于实现指定逻辑功能的一个或更多个可执行指令。还应注意的是，在一些替代实现方式中，块中指出的功能可以有别于图中指出的顺序而出现。例如，事实上，根据所涉及的功能，连续显示的两个块可以基本上同时执行，或者这些块有时可以按照相反的顺序执行。还将注意到的是，框图和/或流程图图示的每个块以及框图和/或者流程图图示中的块的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
本文中使用的术语仅出于描述具体实施例的目的且并不旨在限制本公开。如本文所用，单数形式“一种”、“一”和“该”也旨在包括复数形式，除非上下文另有明确规定。将进一步明白的是，当在本专利说明书中使用时，术语“包括”和/或“包含”指定了所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。
所附权利要求书中的所有装置或步骤加功能元件的相应结构、材料、动作和等效物旨在包括用于与具体要求保护的其他所要求保护的元件组合执行功能的任何结构、材料或动作。对于本公开的描述已经出于说明和描述的目的而呈现，但并不旨在是穷尽的或受限于处于所公开形式的本公开。在不脱离本公开的范围和精神的情况下，许多修改和变化对于本领域技术人员来说都是显而易见的。选择和描述该实施例以便最好地解释本公开的原理和实际应用，并使本领域技术人员能够理解具有适合于预期的特定用途的各种修改的各种实施例的公开内容。
已经描述了许多实现方式。已经如此详细地描述了本申请的公开内容并通过参考其实施例，显而易见的是，在不脱离所附权利要求书中限定的公开内容的范围的情况下，可以进行修改和变化。

Claims (21)

1.一种在计算装置上执行的计算机实现方法，包括：
从基础设施系统接收情境数据；
处理所述情境数据以识别一个或更多个AV碰撞状况；
至少部分地基于所述一个或更多个AV碰撞状况来生成AV指令；以及
向一个或更多个自主车辆提供所述AV指令。
2.如权利要求1所述的计算机实现方法，其中，处理所述情境数据以识别一个或更多个AV碰撞状况包括：
使得一个或更多个车辆监视器能够处理所述情境数据以识别所述一个或多个AV碰撞状况。
3.如权利要求2所述的计算机实现方法，其中，至少部分地基于所述一个或更多个AV碰撞状况来生成AV指令包括：
使得所述一个或更多个车辆监视器能够至少部分地基于所述一个或更多个AV碰撞状况来生成所述AV指令。
4.如权利要求3所述的计算机实现方法，其中，所述一个或更多个车辆监视器包括：
一个或更多个人类车辆监视器。
5.如权利要求1所述的计算机实现方法，其中，所述一个或更多个AV碰撞状况包括：
危险状况；
紧急情况；
低效状态；
诱导时延状况；和
恶劣的天气状况。
6.如权利要求1所述的计算机实现方法，其中，所述基础设施系统包括以下中的一种或多种：
道路基础设施系统的一部分；
桥梁基础设施系统的一部分；
渡口基础设施系统的一部分；和
隧道基础设施系统的一部分。
7.如权利要求1所述的计算机实现方法，其中，所述情境数据包括由以下中的一种或多种提供的数据：
被结合到所述基础设施系统中的基于图像的监控系统；
被结合到所述基础设施系统中的天气监测系统；
被结合到所述基础设施系统中的环境监测系统；和
被结合到所述基础设施系统中的拥堵监测系统。
8.一种存在于其上存储有多个指令的计算机可读介质上的计算机程序产品，所述多个指令在由处理器执行时致使所述处理器执行操作，所述操作包括：
从基础设施系统接收情境数据；
处理所述情境数据以识别一个或更多个AV碰撞状况；
至少部分地基于所述一个或更多个AV碰撞状况来生成AV指令；以及
向一个或更多个自主车辆提供所述AV指令。
9.如权利要求8所述的计算机程序产品，其中，处理所述情境数据以识别一个或更多个AV碰撞状况包括：
使得一个或更多个车辆监视器能够处理所述情境数据以识别所述一个或更多个AV碰撞状况。
10.如权利要求9所述的计算机程序产品，其中，至少部分地基于所述一个或更多个AV碰撞状况来生成AV指令包括：
使得所述一个或更多个车辆监视器能够至少部分地基于所述一个或更多个AV碰撞状况来生成所述AV指令。
11.如权利要求10所述的计算机程序产品，其中，所述一个或更多个车辆监视器包括：
一个或更多个人类车辆监视器。
12.如权利要求8所述的计算机程序产品，其中，所述一个或更多个AV碰撞状况包括：
危险状况；
紧急情况；
低效状况；
诱导时延状况；和
恶劣的天气状况。
13.如权利要求8所述的计算机程序产品，其中，所述基础设施系统包括以下中的一种或更多种：
道路基础设施系统的一部分；
桥梁基础设施系统的一部分；
渡口基础设施系统的一部分；和
隧道基础设施系统的一部分。
14.如权利要求8所述的计算机程序产品，其中，所述情境数据包括由以下中的一个或更多个提供的数据：
被结合到所述基础设施系统中的基于图像的监控系统；
被结合到所述基础设施系统中的天气监测系统；
被结合到所述基础设施系统中的环境监测系统；和
被结合到所述基础设施系统中的拥堵监测系统。
15.一种计算系统，所述计算系统包括被配置为执行操作的处理器和存储器，所述操作包括：
从基础设施系统接收情境数据；
处理所述情境数据以识别一个或更多个AV碰撞状况；
至少部分地基于所述一个或更多个AV碰撞状况来生成AV指令；以及
向一个或更多个自主车辆提供所述AV指令。
16.如权利要求15所述的计算系统，其中，处理所述情境数据以识别一个或更多个AV碰撞状况包括：
使得一个或更多个车辆监视器能够处理所述情境数据以识别所述一个或更多个AV碰撞状况。
17.如权利要求16所述的计算系统，其中，至少部分地基于所述一个或更多个AV碰撞状况来生成AV指令包括：
使得所述一个或更多个车辆监视器能够至少部分地基于所述一个或更多个AV碰撞状况来生成所述AV指令。
18.如权利要求17所述的计算系统，其中，所述一个或更多个车辆监视器包括：
一个或更多个人类车辆监视器。
19.如权利要求15所述的计算系统，其中，所述一个或更多个AV碰撞状况包括：
危险状况；
紧急情况；
低效状况；
诱导时延状况；和
恶劣的天气状况。
20.如权利要求15所述的计算系统，其中，所述基础设施系统包括以下中的一种或更多种：
道路基础设施系统的一部分；
桥梁基础设施系统的一部分；
渡口基础设施系统的一部分；和
隧道基础设施系统的一部分。
21.如权利要求15所述的计算系统，其中，所述情境数据包括由以下中的一个或更多个提供的数据：
被结合到所述基础设施系统中的基于图像的监控系统；
被结合到所述基础设施系统中的天气监测系统；
被结合到所述基础设施系统中的环境监测系统；和
被接合到所述基础设施系统中的拥堵监测系统。
CN202180043925.2A 2020-05-04 2021-05-04 基础设施交互系统和方法 Pending CN115702404A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063019898P 2020-05-04 2020-05-04
US63/019,898 2020-05-04
PCT/US2021/030637 WO2021226073A1 (en) 2020-05-04 2021-05-04 Infrastructure interaction system and method

Publications (1)

Publication Number Publication Date
CN115702404A true CN115702404A (zh) 2023-02-14

Family

ID=78292422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180043925.2A Pending CN115702404A (zh) 2020-05-04 2021-05-04 基础设施交互系统和方法

Country Status (4)

Country Link
US (1) US20210339766A1 (zh)
EP (1) EP4147107A1 (zh)
CN (1) CN115702404A (zh)
WO (1) WO2021226073A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9701306B2 (en) * 2014-12-23 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Risk mitigation for autonomous vehicles relative to turning objects
US9298186B2 (en) * 2015-02-01 2016-03-29 Thomas Danaher Harvey Methods for operation of autonomous vehicles in special control zones
US9494439B1 (en) * 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles
US10458807B2 (en) * 2018-02-17 2019-10-29 Iteris, Inc. Augmented reality system for visualization of traffic information in a transportation environment
DE102019205900A1 (de) * 2019-04-25 2020-10-29 Robert Bosch Gmbh Situationsabhängige Steuerung von Fahrzeugsensoren und/oder Komponenten
US11928961B2 (en) * 2019-06-24 2024-03-12 Google Llc Phantom traffic jam detection and avoidance
WO2021042049A1 (en) * 2019-08-30 2021-03-04 Optimus Ride, Inc. Monitor assignment system and method

Also Published As

Publication number Publication date
WO2021226073A1 (en) 2021-11-11
EP4147107A1 (en) 2023-03-15
US20210339766A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
US11511762B2 (en) Redundancy system and method
US11307579B2 (en) Fault-tolerant control of an autonomous vehicle with multiple control lanes
US10338594B2 (en) Navigation of autonomous vehicles to enhance safety under one or more fault conditions
US11724708B2 (en) Fail-safe handling system for autonomous driving vehicle
US20200353949A1 (en) Cost calculation system and method
US11756461B2 (en) Display system and method
US20210341941A1 (en) Mapping System and Method
US20190359222A1 (en) Contingency plan system and method
US20210061303A1 (en) Monitor assignment system and method
US20210339766A1 (en) Infrastructure Interaction System and Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination