CN113905940B - 基于与遮蔽区域相关联的风险的自主车辆操纵 - Google Patents
基于与遮蔽区域相关联的风险的自主车辆操纵 Download PDFInfo
- Publication number
- CN113905940B CN113905940B CN201980096961.8A CN201980096961A CN113905940B CN 113905940 B CN113905940 B CN 113905940B CN 201980096961 A CN201980096961 A CN 201980096961A CN 113905940 B CN113905940 B CN 113905940B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- road
- speed
- obscured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 39
- 230000035484 reaction time Effects 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 77
- 238000010586 diagram Methods 0.000 description 18
- 230000000873 masking effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012502 risk assessment Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本文描述了一种自主车辆(AV,110)。所述AV(110)被配置来标识其中传感器的视野的一部分被对象(108)遮蔽的遮蔽区域(126)。所述AV(110)进一步被配置来假设对象(128)存在于所述遮蔽区域中并且正在所述遮蔽区域中移动。所述AV(110)再进一步被配置来基于存在于所述遮蔽区域(126)中的所假设的对象(128)执行驾驶操纵。
Description
背景技术
自主车辆(AV)是被配置来基于由AV的传感器输出的传感器信号在道路上导航的车辆,其中AV在无需来自人类的输入的情况下在道路上导航。AV被配置来基于由AV的传感器输出的传感器信号标识和跟踪对象(诸如车辆、行人、自行车、静态对象等等),并且基于所标识和所跟踪的对象执行驾驶操纵(诸如加速、减速、转弯、停车等)。
然而,存在AV关于空间区域不具有或具有有限可视性(例如,由于对象遮蔽一个或多个传感器信号,由于道路几何形状,由于固有的传感器限制等)的情景。AV不具有或具有有限可视性的空间区域在本文中称为遮蔽区域。存在与此遮蔽区域相关联的不确定性,因为AV可能无法明确遮蔽区域中是否存在对象,对象是否正在遮蔽区域中移动等等。
在具体示例中,AV可能沿着道路的车道行进并且可能遇到停在道路车道中间的卡车(例如,卡车可能是并排停放的,卡车可能被禁用等)。随着AV移动接近卡车的后部,AV的传感器的视场的一部分被卡车遮蔽,从而产生覆盖道路的相邻车道的至少一部分(其中相邻车道包括迎驶交通)的遮蔽区域(从AV的角度来看)。传统上,由于AV缺乏到遮蔽区域中的可视性,AV无法行动。而是,自主车辆保持“卡”在卡车后面,直到卡车移动为止或直到人类控制AV为止。
发明内容
以下是本文更详细描述的主题的简要概述。此概述并不意图限制权利要求的范围。
本文描述了与自主车辆(AV)有关的各种技术,所述AV被配置来基于由所述AV的传感器输出的传感器信号标识遮蔽区域并且进一步被配置来基于对应于所述遮蔽区域的风险评估选择和执行驾驶操纵。更具体地,所述AV:1)通过标识所述AV缺乏可视性的空间区域来定义所述遮蔽区域;2)假设车辆(或诸如自行车或行人的其他对象)存在于所述遮蔽区域中(例如,在最接近所述AV的所述遮蔽区域的边界处或靠近所述边界);3)估计所假设的车辆的速度;4)估计所假设的车辆对所述AV的反应;以及5)基于所述遮蔽区域的所述边界、所假设的车辆的所估计的速度和所假设的车辆对所述AV的所估计的反应来标识和执行驾驶操纵。
在具体示例中,所述AV正在双车道道路的第一车道中行进,其中双车道道路的第二车道中的交通在与第一车道中的交通流动相反的方向上流动。AV在沿着路线行进时遇到停在道路的第一车道中的卡车。AV标识卡车,并且进一步基于所标识的卡车和卡车相对于AV位置的位置来标识遮蔽区域。所述遮蔽区域(例如,AV由于卡车的存在而“致盲”的空间区域)涵盖第二车道的一部分。为了到达其预期目的地,AV需要继续沿着道路行进并且因此必须离开第一车道并进入(迎驶交通的)第二车道以便越过卡车。
AV结合评估关于是否离开第一车道并进入第二车道的风险来标识遮蔽区域的边界,并且进一步确定遮蔽区域包括第二车道的至少一部分。AV假设车辆正以一定估计速度在遮蔽区域中的第二车道中行进。例如,AV可推断所假设的车辆正好位于遮蔽区域的边界之外(即,从AV的角度来看,车辆几乎被卡车遮蔽)并且正以一定恒定速度在第二车道中行进。AV然后可推断所假设的车辆对AV的反应。
更具体地,AV可推断所假设的车辆在遮蔽区域中车辆将首先可观察到AV的位置处。AV可基于AV的当前位置、AV的物理配置文件、遮蔽区域的边界和所假设的车辆的驾驶员的估计位置来计算此位置(使得对于驾驶员存在到AV的一部分的的视线)。AV然后可估计所假设的车辆在观察到AV时对AV作出反应所需的时间量(例如,AV可估计所假设的车辆的驾驶员的反应时间)。此外,一旦所假设的车辆对AV作出反应,AV就可估计所假设的车辆的减速度。因此,AV可推断在时间t0(当前时间),所假设的车辆将首先观察到AV,其中假定所假设的车辆在所计算的位置处。AV可另外推断在时间t1,所假设的车辆在观察到AV时将作出反应并开始(以一定合理的减速度)放缓速度。
基于这些推断,AV可选择和执行驾驶操纵。所选择的驾驶操纵可包括从卡车后面加速并进入交通的第二车道(例如,由于AV估计AV和所假设的车辆将能够在可能发生碰撞之前停止)。在另一个示例中,驾驶操纵可包括移动以改变遮蔽区域的边界(以向AV提供对道路的第二车道的更好视野)。在又另一个示例中,驾驶操纵可包括越过迎驶交通的车道以执行穿过迎驶交通的车道的转弯。当AV的传感器输出指示传感器的视场中存在对象的传感器信号时,AV可基于所标识的对象进行操作。
以上概述呈现简化的概述以便提供对本文所述的系统和/或方法的一些方面的基本理解。此概述并非本文所讨论的系统和/或方法的广泛概述。此概述并不意图标识关键/决定性元件或者叙述此类系统和/或方法的范围。此概述的唯一目的是以简化形式呈现一些概念,以作为稍后呈现的更详细的描述的序言。
附图说明
图1是示出自主车辆(AV)基于对从AV的传感器的角度来看被遮蔽的空间区域内车辆存在风险的评估来执行驾驶操纵的示意图。
图2是AV中包括的示例性计算系统的功能框图。
图3是示出被AV的传感器的视场中的对象遮蔽的多个区域的示意图。
图4至图6是示出在AV标识遮蔽区域时AV的示例性操作的示意图。
图7至图9是示出在AV标识遮蔽区域时AV的示例性操作的示意图,其中AV基于道路几何形状来操作。
图10至图11是示出在AV标识遮蔽区域时AV的示例性操作的示意图,其中AV正试图完成穿过迎驶交通的车道的转弯。
图12是示出在存在从AV的角度来看的遮蔽区域的交叉路口处AV的示例性操作的示意图。
图13是示出在存在从AV的角度来看的遮蔽区域时AV的示例性操作的示意图,其中所述遮蔽区域是由环境因素和/或传感器限制引起的。
图14是描绘划分成带的一部分道路的示意图。
图15是示出在AV标识遮蔽区域时以及进一步地在AV观察进入遮蔽区域的对象时AV的操作的示意图。
图16是示出在AV标识遮蔽区域时由AV执行的示例性方法的流程图。
图17是示出在AV标识进入遮蔽带的对象时由AV执行的示例性方法的流程图。
图18是示例性计算系统。
具体实施方式
本文现在参考附图描述与自主车辆(AV)有关的各种技术,在附图中,相同的附图标记用于始终指代相同的元件。在以下描述中,出于说明的目的,阐述许多具体细节以便提供对一个或多个方面的透彻理解。然而,显然可在没有这些具体细节的情况下实践一个或多个这样的方面。在其他情况下,以框图形式示出众所周知的结构和装置,以便有助于描述一个或多个方面。另外,应理解,描述为由某些系统部件执行的功能可由多个部件执行。类似地,例如,部件可被配置来执行描述为由某些系统部件执行的功能。
此外,术语“或”意图意指包含性“或”而非排他性“或。也就是说,除非另外规定或从上下文清楚得知,否则短语“X采用A或B”意图意指自然包含性置换中的任何一个。也就是说,短语“X采用A或B”满足以下情况中的任一种:X采用A;X采用B;或X采用A和B两者。此外,除非另外规定或从上下文中清楚得知是针对单数形式,否则如本申请和所附权利要求中所用的冠词“一个”和“一种”一般应当理解为意指“一个或多个”。
另外,如本文所用,术语“部件”、“系统”和“模块”意图涵盖配置有在由处理器执行时致使执行某些功能的计算机可执行指令的计算机可读数据存储设备。计算机可执行指令可包括例程、功能等。还应理解,部件、模块或系统可定位在单个装置上或者跨若干装置分布。另外,如本文所用,术语“示例性”意图意指“用作某物的说明或示例”。
本文描述了与一种AV有关的各种技术,所述AV能够在AV缺乏最优可视性时操纵,同时确保感兴趣区域(AV要行进通过的道路部分)没有AV可能潜在地与之交互的道路使用者。当AV在道路上导航时,AV被配置来确保自主车辆与其他道路使用者之间有足够的空间和时间缓冲以避免不安全状况。当AV能够感知每个道路使用者时,可容易地实施这些缓冲。然而,当AV缺乏对AV周围的环境部分的可视性时,很难实施此类缓冲。可视性的这种缺乏可由多种原因引起,诸如:1)世界上的对象,诸如其他道路使用者;遮蔽感兴趣区域的城市基础设施等;2)道路几何形状(诸如道路弯曲);3)降低传感器功效的环境因素(例如,雾、雨等);4)传感器发生故障;5)固有的传感器限制(例如,感测距离);等等。
本文所述的AV能够对与AV缺乏可视性的空间区域相关联的不确定性进行建模。AV进一步能够评估关于在此类空间区域内操纵的风险,并且AV基于此风险评估来操作。因此,甚至当AV无法“看到”其周围的所有环境时,AV也能够安全地操纵。
现在参考图1,示出了描绘AV的操作环境100的示意图。操作环境100包括道路102,道路102包括第一车道104和第二车道106,其中第一车道104中的交通和第二车道106中的交通在相反方向上流动。另外,在示例性环境100中,第一车道104紧邻第二车道106。
在所示的环境100中,卡车108停在第一车道104中,并且在第一车道104中行进的AV 110跟在第一车道104中的卡车108后面。为了到达其预期目的地,AV 110打算沿着其当前行进方向沿着道路102继续。为此,AV 110必须等待卡车108恢复在第一车道104中移动或者必须绕过卡车108导航。为了绕过卡车108导航,AV 110必须离开第一车道104,进入第二车道106,并逆着第二车道106的交通在第二车道106中行进。AV 110可采用本文所述的技术来安全地绕过卡车108导航。
AV 110的部件用插图编号112示出。AV 110包括传感器114、机械系统116和计算系统118。虽然将AV 110示出为包括传感器114和单个机械系统116,但应理解,AV 110可包括多个传感器和多个机械系统。例如,AV 110可包括视觉传感器(例如,摄影机)、激光雷达传感器、雷达传感器、声纳传感器、全球定位系统(GPS)传感器等等。类似地,可包括在AV 110中的机械系统包括推进系统(内燃发动机、电动马达、混合系统等)、制动系统、转向系统等等。计算系统118可操作地联接到传感器114和机械系统116。计算系统118包括处理器120和存储器122,其中控制系统124加载在存储器122中。控制系统124被配置来基于由传感器114输出的传感器信号控制机械系统116的操作。
由于卡车108在第一车道104中相对于AV 110位置的位置,AV 110关于环境100的某些部分缺乏可视性。例如,当AV 110接近卡车108的后部时,传感器114的视场的一部分被卡车108遮蔽(例如,传感器114无法“看到”卡车108周围)。因此,存在从AV 110的角度来看的遮蔽区域126。遮蔽区域126是AV 110具有很少或不具有可视性的空间区域——例如,AV110无法以100%确定性确定在遮蔽区域126中是否存在道路使用者,道路使用者是否正在遮蔽区域126中移动等。遮蔽区域126包括道路的第二车道106的一部分,并且因此,有可能车辆正在道路的第二车道106中行进但由于车辆在遮蔽区域126中而不能被AV 110标识。如下面将描述的,控制系统124被配置来评估在AV 110离开第一车道104并进入第二车道106以绕过遮蔽传感器114的视场的对象(卡车108)导航的情况下的AV 110的风险。
现在参考图2,示出了计算系统118的功能框图。计算系统118包括处理器120和存储器122。计算系统118另外包括数据存储202,其中所述数据存储202可包括车辆配置文件204、AV配置文件206和AV 110在其中操作的环境的地图207。车辆配置文件204包括在道路上行进的车辆的模型,并且因此,车辆配置文件204可包括诸如最大速度、最大加速度、加速度曲线(例如,当车辆以不同速度行进时车辆的潜在加速度和减速度)、车辆的物理配置文件等等数据。AV配置文件206可包括AV 110的模型,并且因此可包括AV 110的物理配置文件(AV 110的长度和宽度、AV 110上的传感器118的位置等)、AV 110的最大加速度、AV 110的最大速度、AV 110的加速度曲线、AV 110的转弯半径等。地图207是AV 110在其中操作的环境的详细地图,并且可包括车道边界的位置、交通标志和信号的位置、人孔位置、道路限速等。
如上所指出,控制系统124被配置来基于由传感器114输出的传感器信号控制AV110的机械系统116。为此,控制系统124包括对象标识器模块208,所述对象标识器模块208被配置来基于由传感器114输出的传感器信号标识传感器114的视场中的对象。此外,对象标识器模块208可被配置来随时间推移跟踪所标识的对象。可由对象标识器模块208标识的示例性对象包括例如卡车、汽车、自行车、行人、植物、静态对象(诸如建筑桶)等等。
控制系统124还包括遮蔽区域定义器模块210,所述遮蔽区域定义器模块210被配置来基于AV 110的传感器114(和AV 110的其他传感器)的输出定义遮蔽区域。例如,计算系统118可接收由AV 110的传感器输出的传感器信号,并且可基于传感器信号和地图207来创建AV 110的环境的三维模型。遮蔽区域定义器模块210可标识模型中缺少来自传感器信号的数据的部分;遮蔽区域定义器模块可定义AV 110的环境中对应于缺少来自传感器信号的数据的模型部分是遮蔽区域的空间区域。
控制系统124还包括反应估计器模块212,所述反应估计器模块212被配置来估计在车辆在遮蔽区域126中朝向AV 110行进的情况下(遮蔽区域126中的)车辆对AV 110的反应。返回到图1,反应估计器模块212可假设车辆128正在道路102的第二车道106中在与AV110的行进方向相反的方向上行进。具体地,反应估计器模块212可假设车辆128在遮蔽区域126中的“最坏情况”位置处,在这种情况下,车辆128几乎无法观察到AV 110,但车辆128包括在遮蔽区域126中并且因此未被捕获到由传感器114输出的传感器信号中。当车辆128在假设位置处时,反应估计器模块212可进一步向车辆128分配速度。另外,反应估计器模块212可计算车辆128对AV 110的反应。例如,反应估计器模块212可推断在车辆128能够观察到AV 110之后车辆128将继续以恒定速度行进持续一段时间,然后将开始(以合理的减速率)减速以便避免与AV 110的潜在碰撞。反应估计器模块212可估计车辆128将开始减速(直到车辆128停止为止)以避免与AV 110的碰撞。
返回到图2,反应估计器模块212包括位置标识器模块214,所述位置标识器模块214计算遮蔽区域126中车辆128预计首先观察到AV 110的位置。位置估计器模块214可基于车辆128的驾驶员的估计位置、AV 110的物理配置文件(如AV配置文件206中定义的)与由遮蔽区域定义器模块210标识的遮蔽区域之间的视线来计算此位置。
因此,位置估计器模块214可计算车辆128正好在遮蔽区域126内在车辆128能看到AV 110的一部分但AV 110缺乏可视性的位置处。
反应估计器模块212可另外包括时间估计器模块216,所述时间估计器模块216估计车辆128关于AV 110的反应时间,其中所述反应时间是车辆128首先观察到AV 110时与响应于观察到AV 110车辆128进行驾驶操纵时(例如,车辆128的驾驶员开始刹车时)之间的时间量。
反应估计器模块212另外包括速度估计器模块218,所述速度估计器模块218被配置来估计当车辆在由位置标识器模块214计算的位置处时车辆128的速度。速度估计器模块218可基于以下项来估计车辆128的速度:例如道路102的第二车道106的限速、一天中的时间、一周中的一天、第二车道106的宽度(车辆倾向于在受限空间内驾驶较慢)、如由AV 110观察到的道路102上的其他车辆的速度、关于交通的众包数据、道路102上的交通标志或信号(红绿灯、停止标志、让行标志等)的位置、道路102的几何形状等。因此,反应估计器模块212可基于由位置标识器模块214输出的车辆128的位置、由速度估计器模块218输出的车辆128的速度和由时间估计器模块216输出的时间来推断车辆128将如何行动。此外,反应估计器模块212可基于AV 110要执行的操纵类型来推断车辆128将如何行动。
例如,当AV 110将进入道路的第二车道106并潜在地在迎驶交通方向上行进时,反应估计器模块212可推断车辆128将在观察到AV 110时试图在第二车道106中完全停止。相应地,反应估计器模块212可计算交互点,其中所述交互点是第二车道106中预计车辆128在观察到AV 110时停止移动的位置。反应估计器模块212可基于以下项来计算交互点:1)由位置标识器模块214标识的车辆128的位置;2)由速度估计器模块218输出的车辆128在所述位置处的速度;3)由时间估计器模块216输出的反应时间;以及4)车辆128的估计减速度。具体地,反应估计器模块212可推断车辆128在由位置标识器模块208计算的位置时正在第二车道106中以由速度估计器模块218输出的速度朝向AV 110行进。反应估计器模块212可进一步推断车辆128将继续以所述速度行进持续由时间估计器模块216输出的时间量,并且因此,反应估计器模块212可计算车辆128的预计车辆开始放慢速度的第二位置。基于此第二位置、所估计的速度和估计减速度,反应估计器模块212可计算车辆128的交互点。
在具体示例中,反应估计器模块212可通过使用以下算法来计算车辆128的交互点:
其中Sinteract是距由位置估计器模块214输出的车辆128的位置的距离,υi是由速度估计器模块218分配给车辆128的速度,τ是如由时间估计器模块216输出的车辆128的反应时间,tvisible指示从由位置估计器模块24输出的位置行进的车辆128能够观察到AV 110时之间的时间量(其中tvisible是如地图207和AV 110的路径中指示的函数或道路几何形状),并且adecel是由反应估计器模块212分配给车辆128的减速度。
在另一个示例中,当AV 110将驾驶穿过交通的第二车道106时(例如,当执行穿过交通的第二车道106的左转弯时),反应估计器模块212可计算预计车辆128到达预定义位置(例如,两条道路之间的交叉路口)之前的时间量。反应估计器模块212可基于以下项来计算所述时间量:由位置标识器模块214输出的车辆128的位置、由速度估计器模块218输出的车辆218在所述位置处的所估计的速度、由时间估计器模块216输出的反应时间、车辆128的估计减速度和车辆128的最小阈值速度(其中推断车辆128的速度将不会低于最小阈值速度)。
具体地,反应估计器模块212可推断车辆128在由位置标识器模块208计算的位置时正在第二车道106中以由速度估计器模块218输出的速度朝向AV 110行进。反应估计器模块212可进一步推断车辆128将继续以所述速度行进持续由时间估计器模块216输出的时间量,并且因此,反应估计器模块212可计算车辆128的预计车辆128开始放慢速度的第二位置。基于此第二位置、所估计的速度、估计减速度、车辆128的最小阈值速度和预定义位置,反应估计器模块212可计算车辆128将到达预定义位置时的时间。
在具体示例中,反应估计器模块212可使用以下算法估计当AV 110穿过车道转弯时车辆128在(从当前时间开始)不同时间点的速度:
其中υ(t)是车辆128在未来时间t的速度(0是当前时间),υi是由速度估计器模块218分配给车辆128的初始速度,υf是以上所提及的最小阈值速度(例如,某人在观察到AV110时将放慢的最终速度),τ是由时间估计器模块216输出的所估计的反应时间),并且α是分配给车辆128的恒定减速度(直到车辆达到速度υf为止)。给定由位置标识器模块214分配给车辆128的初始位置,可对υ(t)进行积分以及时导出车辆128的位置;因此,反应估计器模块212可计算预计车辆128到达预定义位置时的时间。
控制系统124还可包括完成估计器模块220,所述完成估计器模块220被配置来计算:1)AV 110的速度曲线(其中如果AV 110遵循速度曲线,则AV 110能够在所计算的交互点之前停止),其中所述速度曲线基于AV配置文件206和地图207来计算;和/或2)AV 110通过以上所提及的预定义位置所需的时间量(例如,AV 110在执行左转弯时行进穿过第二车道106所需的时间量),其中所述时间量基于AV配置文件206和地图207来计算。在图1所描绘的示例中,AV 110必须进入第二车道106并在迎驶交通的方向上行进持续一定未知距离以绕过卡车108导航并重新进入第一车道104。因此,在这种示例中,反应估计器模块212可计算交互点,并且完成估计器模块220可计算AV 110的速度曲线,其中所述速度曲线指示在仍然能够在交互点之前停止的同时AV 110可多快地加速。当交互点在AV 110后面时和/或当速度曲线中的最大速度低于阈值时,AV 110可避免进入第二车道106。而是,AV 110可(在第一车道104内)移动减少在遮蔽区域126内的第二车道106的量。
在(以上所提及的)另一个示例性情景中,AV 110可需要左转弯到交叉街道上并且因此必须穿过第二车道106。在这种示例中,反应估计器模块212计算车辆128将到达预定义位置(例如,交叉路口的边缘)时的时间,并且完成估计器模块220计算AV 110越过交叉路口所需的量。完成估计器模块220可基于地图207以及AV配置文件206的内容来计算此时间量,所述内容诸如交叉路口的角度、进行转弯时AV 110的最大速度、AV 110的物理配置文件(长度和宽度)等等。
控制系统124另外包括操纵标识器模块222,所述操纵标识器模块222被配置来基于反应估计器模块212的输出和完成估计器模块220的输出标识要由AV 110进行的操纵。在图1所描绘的情景中,例如,操纵标识器模块222可基于由完成估计器模块220计算的速度曲线和由反应估计器模块210计算的交互点来确定AV 110将快速地加速并进入第二车道106(即,操纵标识器模块222可确定AV 110可快速地加速以试图绕过卡车108导航而不与可能在遮蔽区域126中的任何车辆碰撞,因为AV 110将能够在所计算的交互点之前停止)。在AV110将在转弯时行进穿过第二车道106的示例中,基于由反应估计器模块212和完成估计器模块220输出的时间值,操纵标识器模块222可明确AV 110是否将立即发起转弯(即,如果有足够的时间完成转弯而不用担心与可能在遮蔽区域126中的任何车辆碰撞,则操纵标识器模块222可确定AV 110将执行转弯)。控制系统124可基于由操纵标识器模块222标识的操纵来控制AV 110的机械系统116。
虽然控制系统214的动作已经关于车辆128加以描述,但应理解,控制系统214可被配置来针对可能在遮蔽区域126中的假设自行车、行人和/或其他道路使用者执行类似的计算。例如,反应估计器模块212可假设自行车正相对于AV 110在遮蔽区域126中的“最坏情况”位置处行进(例如,正好在第一车道104中的卡车108旁边,但朝向AV 110行进)。反应估计器模块212然后可推断自行车对AV 110的反应,如以上关于车辆128所述(其中所述反应可包括交互点或自行车估计到达预定义位置时的时间)。完成估计器模块220可如上所述地行动,并且操纵标识器模块222可基于反应估计器模块212和完成估计器模块220的输出来选择AV 110要进行的操纵。另外,如以上所提到,控制系统124可评估移动行人在遮蔽区域126中、静止行人在遮蔽区域126中、动物在遮蔽区域126中等等的风险,并且可基于此所评估的风险控制AV 110的操作。
现在参考图3,示出了展示AV 110的示例性驾驶环境300的示意图。在环境300中,存在从AV 110的角度来看的两个遮蔽区域:由卡车108相对于AV 110位置的位置引起的第一遮蔽区域302和由交通桶306在道路102的第二车道106中的位置引起的第二遮蔽区域304。控制系统124可同时针对遮蔽区域302和304中的每一者执行上述处理,并且控制系统124可控制AV 110以在仍然允许AV 110在环境300中操纵的同时将风险最小化。例如,反应估计器模块212可计算两个交互点:可能包括在遮蔽区域302中的车辆的第一交互点和可能包括在遮蔽区域304中的自行车的第二交互点。完成估计器模块220然后可计算两个速度曲线:对应于第一交互点的第一速度曲线和对应于第二交互点的第二速度曲线。操纵标识器模块222可基于第一速度曲线和第二速度曲线来选择AV 110要执行的操纵——也就是说,操纵标识器模块222可选择与最少的风险量相关联的操纵。例如,操纵标识器模块222可选择与允许AV 110最快速停止的速度曲线相对应的操纵。控制系统124然后可基于由操纵标识器模块222选择的操纵来控制AV 110。
现在参考图4至图6,呈现了展示AV 110的示例性驾驶环境400的示意图。仅参考图4,AV 110正在道路102的第一车道104中行进并遇到卡车108,从而产生从AV 110的角度来看的遮蔽区域(由虚线402和404表示)。如上所述,反应估计器模块212推断(假设)车辆128对AV 110的反应。更具体地,位置标识器模块214计算车辆128的位置,其中车辆128在遮蔽区域中,但车辆128可观察到AV 110。速度估计器模块218估计车辆128在所计算的位置处的速度(并假定车辆128正以恒定速度行进),并且时间估计器模块216输出车辆128的估计反应时间。反应估计器模块212基于此类输出计算交互点406,其中交互点406表示预计车辆128(如果其存在于遮蔽区域中)停止移动的位置。
完成估计器模块220标识AV 110的速度曲线,其中AV 110可根据速度曲线加速,离开第一车道104,进入第二车道106,并根据速度曲线减速以在到达交互点406之前停止。因此,尽管不能够“看到”卡车108周围,但AV 110可评估关于离开第一车道104并进入第二车道106以绕过卡车108导航的风险,并且然后根据所评估的风险进行操纵。
转到图5,在所示的示例中,AV 110开始朝向第二车道106操纵(以绕过卡车108导航),这改变AV 110相对于卡车108的位置,这进而致使遮蔽区域的边界发生变化(如通过图4与图5之间的比较所明确的)。另外,如图5所描绘,仍然没有在第二车道106中并且不在遮蔽区域中的其他道路使用者。因此,反应估计器模块212执行上述操作以重新计算交互点406(现在离AV 110更远)。完成估计器模块220基于所重新计算的交互点406重新计算AV110的速度曲线,并且操纵标识器模块222基于所重新计算的速度曲线标识AV 110要进行的操纵。
现在参考图6,将AV 110示出为正离开第一车道104并进入道路102的第二车道106(并且根据所计算的速度曲线进行操作)。同样,这改变AV 110相对于卡车108的位置,这进而改变遮蔽区域的边界402和404。反应估计器模块212重新计算交互点406(同样离AV 110更远),并且完成估计器模块220基于这个交互点406重新计算速度曲线。操纵标识器模块222标识AV 110的驾驶操纵,其中所述驾驶操纵被选择成致使AV 110在考虑与在第二车道106中在相反方向上行进的(遮蔽)车辆碰撞的风险的同时尽可能快地绕过卡车108导航。虽然未示出,但如果当AV 110进入第二车道106并且由传感器114输出的传感器信号指示在第二车道106中存在迎驶车辆时,则控制系统124可基于传感器信号来控制AV 110的操作。例如,控制系统124可致使AV 110重新进入第一车道104。在另一个示例中,控制系统124可致使AV 110缓慢驾驶并接近卡车108的侧面,使得第二车道106中的车辆能够绕过AV 110导航。
现在参考图7,描绘了另一个示例性驾驶环境700。在示例性驾驶环境700中,道路102包括弯曲部分。反应估计器模块212在估计(假设)车辆128的反应时可将道路102的几何形状考虑在内。例如,速度估计器模块218在估计假设车辆128在遮蔽区域中的速度时可将道路102的几何形状考虑在内。虽然将道路102示出为弯曲的,但也设想了其他道路几何形状,诸如标高变化。反应估计器模块212可基于保留在数据存储202中的地图207明确道路几何形状。因此,反应估计器模块212可基于地图207中表示的道路几何形状来计算交互点406。此外,完成估计器模块220可基于地图207中表示的道路几何形状来计算速度曲线。例如,完成估计器模块220可明确AV 110将不得不在距AV 110相对较短的距离处急速右转弯。
因此,完成估计器模块220可确定AV 110在绕过卡车108导航时的最大速度(使得AV 110足够慢地行进以安全地在道路102中的弯道上导航)。
现在参考图8,同样描绘了环境700,其中AV 110已经开始绕过卡车108移动,这致使遮蔽区域的边界被改变。基于道路102的几何形状,位置标识器模块214更新(假设)车辆128在遮蔽区域中的位置。换句话讲,位置标识器模块214计算车辆128在绕过道路102的弯道时的位置,这可能影响由速度估计器模块218输出的速度。反应估计器模块212计算交互点406,并且完成估计器模块220基于交互点406计算AV 110的速度曲线。
图9同样描绘了驾驶环境700,其中AV 110已经离开第一车道104并进入道路102的第二车道106。位置标识器模块214更新车辆128在遮蔽区域中的位置,并且反应估计器模块212基于车辆128的所更新的位置(和地图207)重新计算交互点408。
现在参考图10,示出了另一个示例性驾驶环境1000,其中AV 110将执行左转弯通过交叉路口,并且进一步地其中迎驶交通中的车辆不需要在交叉路口停止。更具体地,AV110正沿着第一道路1002驾驶,所述第一道路1002包括第一车道1004(其中AV 110正在第一方向上行进)和第二车道1006(其中第二车道1006中的车辆在与第一方向相反的方向上行进)。驾驶环境1000还包括第二车道1008,其中所述第二车道1008包括第一车道1010和第二车道1012,其中车辆在第一车道1010中从第一道路1002进入第二道路1008,并且车辆从第二车道1012离开第二道路1008并进入第一道路1002。在图10所示的示例中,为了到达其预期目的地,AV 110将执行左转弯以离开第一道路1002的第一车道1004,行进穿过第一道路1002的第二车道1006,并进入第二道路1008的第一车道1010。
对象标识器模块208可在传感器114的视场中标识卡车108。遮蔽区域定义器模块210在传感器114的视场中定义遮蔽区域(其中所述遮蔽区域是由AV 110相对于卡车108位置的位置引起的),其中所述遮蔽区域由虚线1012和1014表示。反应估计器模块212然后假设车辆128存在于遮蔽区域中并正在第一道路1002的第二车道1006中朝向AV 110行进。更具体地,位置标识器模块214计算车辆128在遮蔽区域中(预计车辆128的驾驶员首先观察到AV 110)的位置,速度估计器模块218估计车辆218的速度,并且时间估计器模块216估计车辆128的驾驶员的反应时间。
与驾驶情景400相反,在驾驶情景1000中,反应估计器模块212不假定车辆128在观察到AV 110时愿意停止。而是,反应估计器模块212推断车辆128将在观察到AV 110时放慢到阈值最小速度。例如,反应估计器模块212可假定车辆128将以一定减速率从25英里/小时的初始速度放慢到18英里/小时。反应估计器模块212可进一步假定当车辆128达到最小速度时,车辆128将继续以所述最小速度行进直到AV 110已经通过道路1002与1008之间的交叉路口为止。
完成估计器模块220可计算AV 110完成左转弯以使得整个AV 110位于第一道路1002的第二车道1006之外所需的时间量。完成估计器模块220可基于AV 110的当前位置和取向、地图207和AV配置文件206的内容来计算所述时间量。地图207可指示道路1002与1008之间的角度,并且AV配置文件206可指示AV 110的物理配置文件、AV 110关于AV 110将进行的转弯的最大加速度、AV 110在进行转弯时的最大速度等等。完成估计器模块220可在计算前述时间量时放宽某些约束;例如,如果AV 110比正常情况更急速地转弯,则完成估计器模块220可放宽边界约束,使得完成估计器模块220可计算AV 110完成转弯所需的时间量。
基于如由完成估计器模块220计算的AV 110完成左转弯所需的时间量,并且进一步基于如由反应估计器模块212计算的假设车辆128将到达交叉路口时的估计时间,操纵标识器模块222可标识AV 110要执行的操纵。例如,当由反应估计器模块212和完成估计器模块220输出的时间指示AV 110将在AV 110与(假设)车辆128之间发生任何可能的碰撞之前很好地完成左转弯时,操纵标识器模块222可明确AV 110将执行左转弯。例如,当在AV 110将完成左转弯时与预计(假设)车辆128到达交叉路口时之间有至少N秒间隔时,操纵标识器模块222可标识AV 110将执行左转弯。
在另一个示例中,基于由反应估计器模块212和完成估计器模块220计算的时间,操纵标识器模块222可确定碰撞风险过高,并且可标识致使AV 110改善其对第一道路1002的第二车道1006的视野的操纵。因此,操纵标识器模块222可标识致使AV 110缓慢地朝向第一道路1002的第二车道1006移动以使得第二车道1006包括在遮蔽区域中的部分减少的驾驶操纵。
图11描绘驾驶环境1000,其中操纵标识器模块222已经标识出AV 110将执行左转弯,并且控制系统124控制AV 110的与完成左转弯相关的机械系统116。如图11所示,车辆1102正在第一道路1002的第二车道1006中行进。AV 110能够在车辆1102到达第一道路1002与第二道路1008之间的交叉路口之前安全地完成操纵(如由操纵标识器模块222明确的)。虽然图10和图11描绘其中AV 110正进行穿过交通车道的左转弯的驾驶环境1000,但应理解,所述技术可在AV 110正进行穿过交通车道的右转弯时采用。
现在参考图12,其中描绘了另一个示例性驾驶环境1200。驾驶环境1200包括第一道路1202,所述第一道路1202包括第一车道1204(其中AV 110正在第一车道1204中行进)和第二车道1206,其中交通在相反方向上在第一车道1204和第二车道1206中流动。环境1200另外包括与第一道路1202交叉的第二道路1208,其中所述第二道路1208包括第一车道1210和第二车道1212。在所示的环境1200中,AV 110正在第一道路的第一车道1204中行进并且倾向于进入第二道路1208的第一车道1210,使得AV 110将越过第一道路1202的第二车道1206。
障碍物1214诸如桥梁支座、杆等存在于第一道路1202中,这致使从AV 110的角度来看存在遮蔽区域(边界由虚线1216和1218表示)。AV 110可明确遮蔽区域覆盖第一道路1202的第二车道1206的一部分,其中所述部分足够大以包括道路使用者(例如,车辆128)。AV 110如上所述地行动,其中遮蔽区域定义器模块210定义遮蔽区域,反应估计器模块212推断车辆128对AV 110的反应,并且完成估计器模块220计算AV 110完成以上所提及的转弯所需的时间。操纵标识器模块222基于由反应估计器模块212计算的(假设)车辆128到达道路1202与1208之间的交叉路口的时间,并且进一步基于如由完成估计器模块220计算的AV110完成转弯所需的时间来标识AV 110要执行的操纵。控制系统124基于由操纵标识器模块222标识的操纵来控制AV 110。
现在参考图13,描绘了另一个示例性驾驶环境1300。驾驶环境包括道路1202和1208以及道路1202的车道1204、1206和道路1208的车道1210、1212。在图13所描绘的示例中,AV 110意图离开第一道路1202并穿过交叉路口进入第二道路1208,并且因此意图越过第一道路1202的第二车道1206。固有的传感器限制和/环境条件(诸如雾)导致在距AV 110一定距离处的遮蔽区域(边界由虚线1302表示),其中所述遮蔽区域包括第一道路1202的第二车道1206的一部分。例如,传感器114可被配置来生成取决于特定距离D的数据,使得遮蔽区域存在于距AV 110所述距离之外。
遮蔽区域定义器模块210可基于从AV 110的传感器接收的数据以及地图207来定义遮蔽区域。位置标识器模块214可定位在遮蔽区域的边界处的假设车辆128,在边界之外,AV 110将看到车辆128。时间估计器模块216和速度估计器模块218可如上所述地行动,并且反应估计器模块212可计算车辆128将到达道路1202与1208之间的交叉路口时的时间。完成估计器模块220可计算预计AV 110完成转弯时的时间,并且操纵标识器模块222可基于由反应估计器模块212计算的时间和由完成估计器模块220计算的时间来标识AV 110要执行的操纵。控制系统124根据所标识的操纵来控制机械系统116。
转到图14,同样描绘了驾驶环境400。在示例性驾驶环境400中,AV 110限定遮蔽区域(由虚线402和404表示),其中遮蔽区域包括若干个遮蔽带1402-1420。在一个示例性实施例中,在地图207中,道路可划分成横跨道路的车道宽度的若干个带,其中这些区域可具有预定义长度。当遮蔽区域定义器模块210明确存在覆盖道路的车道的一部分的遮蔽区域时,遮蔽区域定义器模块210可将全部或部分包括在遮蔽区域中的道路带标记为遮蔽带。因此,在图14所示的示例中,带1402-1420可标记为遮蔽带,而带1422-1426不标记为遮蔽带。以此方式划分道路和将带标记为遮蔽带(或非遮蔽带)与处理优点相关联并且允许随时间推移跟踪遮蔽带。
现在参考图15,同样示出了驾驶环境700,其中道路进入和离开遮蔽区域(由虚线402和404表示)。因此,AV 110关于进入第二车道1006中的遮蔽区域的车辆具有可视性并且另外关于离开第二车道1006中的遮蔽区域的车辆具有可视性,但在遮蔽区域本身中缺乏可视性。在图15所示的示例中,在第一时间点,AV检测到车辆1502以一定速度和加速度进入遮蔽区域。当车辆1502在遮蔽区域中时,反应估计器模块212可基于在车辆进入遮蔽区域时对车辆1502的观察(以及道路几何形状)来计算交互点406。随着时间流逝,反应估计器模块212可更新关于遮蔽区域中的(假设)车辆128的估计。例如,如果在一段时间内AV 110没有观察到车辆进入遮蔽区域,则AV 110可估计(假设)车辆128停止或者正在非常缓慢地移动。类似地,当AV 110观察到车辆1502进入遮蔽区域但在一段时间之后没有观察到车辆离开遮蔽区域时,AV 110可推断车辆1502已经在遮蔽区域中停止或者正在遮蔽区域中非常缓慢地行进。反应估计器模块212可基于对已经进入遮蔽区域的道路使用者的观察随时间推移重新计算交互点406,并且完成估计器模块220可基于交互点406计算AV 110的速度曲线。
图16和图17示出涉及评估与从AV的角度来看的遮蔽区域相关联的风险以及基于所述风险评估进行操纵的示例性方法。虽然方法示出和描述为按序列执行的一系列动作,但应理解和了解,方法不受序列次序的限制。例如,一些动作可按与本文所述的次序不同的次序发生。此外,一个动作可与另一个动作同时发生。另外,在一些情况下,可不需要所有动作都实现本文所述的方法。
此外,本文所述的动作可以是可由一个或多个处理器实施和/或存储在一个或多个计算机可读介质上的计算机可执行指令。计算机可执行指令可包括例程、子例程、程序、执行线程等。更进一步地,方法的动作结果可存储在计算机可读介质中,显示在显示装置上等。如本文所用,术语“计算机可读介质”不涵盖传播信号。
现在参考图16,示出了用于控制AV的操作的示例性方法1600。方法1600在1602处开始,并且在1604处,从AV的传感器接收传感器数据。传感器可以是激光雷达传感器、雷达传感器、相机等。在1606处,确定是否存在从AV的角度来看的遮蔽区域。如先前所指示,在1606做出的确定可基于地理区域的三维模型,所述三维模型是基于由AV的传感器输出的传感器信号和所述区域的地图生成的。如果模型中没有缺少数据的部分,则在1608处,基于由传感器输出的传感器信号来控制AV。然后,方法1600返回到1604。
如果在1606处确定存在从AV的角度来看的遮蔽区域,则在1610处,标识遮蔽带。如先前所指出,道路可在地图中划分成若干个预定义长度(例如,5米、3米、1米等)的带。遮蔽带可以是至少部分地包括在遮蔽区域中的带。因此,传感器信号中的每个像素可分配指示像素是否属于遮蔽带的标记,并且另外,像素可被标记来标识特定遮蔽带。遮蔽区域可包括多个遮蔽带,并且可随时间推移跟踪遮蔽带。相邻遮蔽带的集合形成一个遮蔽区域,但一个遮蔽区域可包括单个遮蔽带。
在1612处,计算假设车辆在遮蔽区域中的位置,并且进一步将假设车辆的速度分配给所述车辆。在一个示例性实施例中,假设车辆可被分配最接近AV的位置,同时保持在遮蔽区域内。在另一个示例中,假设车辆可被分配遮蔽区域中假设车辆估计首先能够观察到AV的位置。
在1614处,估计假设车辆的反应时间,其中所述反应时间是假设车辆首先能够观察到AV时与预计车辆响应于车辆观察到AV而执行动作时之间的时间量。
在1616处,基于分配给遮蔽区域中的假设车辆的位置、分配给遮蔽区域中的假设车辆的速度、AV的所估计的反应时间和分配给假设车辆的减速度来估计假设车辆对AV的反应。例如,所估计的反应可以是或包括(上述)交互点的计算。在另一个示例中,所估计的反应可以是预计假设车辆到达预定义位置(例如,交叉路口的边缘)时的时间。
在1618处,基于假设车辆的所估计的反应来标识驾驶操纵。驾驶操纵可以是加速、减速、转向、完成穿过交通车道的转弯、从并排停放的车辆后面驶出等。在1620处,致使AV执行所标识的驾驶操纵,并且方法返回到1604。
现在参考图17,示出了用于控制AV的操作的示例性方法1700。方法1700在1702处开始,并且在1704处,从AV的传感器接收传感器信号。在1706处,确定传感器的视场的一部分是否被遮蔽。如果在1706处确定传感器的视场未被遮蔽,则方法1700前进到1708,在1708处,基于传感器信号来控制AV。然后,方法1700返回到1704。如果在1706处确定传感器的视场的一部分被遮蔽,则在1710处,定义遮蔽区域。方法1700随后前进到1712,在1712处,确定对象(例如,车辆、行人、自行车等)是否进入遮蔽区域。如果确定没有车辆进入遮蔽带区域,遮蔽带被AV观察到,则方法1700可前进到方法1700的步骤1610。
如果在1712处确定对象已经进入遮蔽区域,则在1714处,标识对象在其进入遮蔽区域时的速度和加速度。这向控制系统124提供关于预计对象何时离开遮蔽区域的另外的信息(因为遮蔽区域的宽度是已知的并且道路几何形状是已知的)。在1716处,基于对象进入遮蔽区域的对象的速度和加速度、自对象进入遮蔽区域以来的时间量和任选地诸如限速、道路几何形状等其他因素来估计预计对象离开遮蔽区域时的时间。另外,可估计对象在遮蔽区域中的速度和/或加速度。
在1718处,基于预计对象离开遮蔽区域时的所估计的时间、对象在遮蔽区域中的所估计的速度和/或对象在遮蔽区域中的所估计的加速度来标识AV要进行的驾驶操纵。例如,如果确定对象将在一段相对较长的时间内不离开遮蔽区域,则可标识AV有时间完成无保护的左转弯。在1720处,致使AV执行在1718处标识的驾驶操纵,并且方法1700返回到1704。
现在参考图15,示出了可根据本文所公开的系统和方法使用的示例性计算装置1500的高级图示。例如,计算装置1500可以是或包括计算系统118。计算装置1500包括执行存储在存储器1504中的指令的至少一个处理器1502。指令可以是例如用于实现描述为由以上所讨论的一个或多个模块和系统执行的功能的指令或用于实现上述方法中的一种或多种的指令。处理器1502可以是一个GPU、多个GPU、多核心处理器等。处理器1502可通过系统总线1506访问存储器1504。除了存储可执行指令之外,存储器1504还可存储车辆配置文件、AV配置文件、地图、计算的交互点、遮蔽区域的边界等。
计算装置1500另外包括可由处理器1502通过系统总线1506访问的数据存储1508。数据存储1508可包括可执行指令、传感器数据、车辆配置文件、AV配置文件、地图等。计算装置1500还包括允许外部装置与计算装置1500通信的输入接口1510。例如,输入接口1510可用于从外部计算机装置等接收指令。计算装置1500还包括将计算装置1500与一个或多个外部装置接口连接的输出接口1512。例如,计算装置1500可通过输出接口1512将控制信号传输到机械系统116。
另外,虽然示出为单个系统,但应理解,计算装置1500可以是分布式系统。因此,例如,若干装置可通过网络连接进行通信并且可共同执行描述为由计算装置1500执行的任务。
本文所述的各种功能可以在硬件、软件或其任何组合中实现。如果在软件中实现,则功能可作为一个或多个指令或代码存储在计算机可读介质上或通过所述计算机可读介质传输。计算机可读介质包括计算机可读存储介质。计算机可读存储介质可以是可由计算机访问的任何可用存储介质。例如但不限于,此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储装置、磁碟存储装置或其他磁性存储装置、或可用于以指令或数据结构形式承载或存储所需程序代码并且可由计算机访问的任何其他介质。如本文所用的磁盘和光盘包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘(BD),其中磁盘通常磁性地再现数据,而光盘用激光器光学地再现数据。另外,传播信号不包括在计算机可读存储介质的范围内。计算机可读存储介质还包括通信介质,所述通信介质包括有助于将计算机程序从一个地方传送到另一个地方的任何介质。连接例如可以是通信介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包括在通信介质的定义内。以上的组合也应当包括在计算机可读介质的范围内。
替代地或除此之外,本文所述的功能可至少部分地由一个或多个硬件逻辑部件来执行。可使用的说明性类型的硬件逻辑部件包括例如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑装置(CPLD)等。
以上所述内容包括一个或多个实施例的示例。当然,不可能为了描述前述方面而描述以上装置或方法的每个可构想到的修改和更改,但本领域普通技术人员可认识到,对各种方面的许多另外的修改和置换是可能的。因此,所述方面意图涵盖落在所附权利要求的精神和范围内的所有此类更改、修改和变化。此外,就详细描述或权利要求中所用的术语“包括”而言,这种术语意图以与术语“包含”在“包含”在权利要求中用作过渡词时被解释时类似的方式具有包含性。
Claims (19)
1.一种由自主车辆(AV)的计算系统执行的方法,所述方法包括:
基于所述AV的传感器的输出定义遮蔽区域,其中所述遮蔽区域是所述AV缺乏可视性的空间区域,并且进一步地其中所述遮蔽区域包括道路的一部分;
假设车辆正在所述遮蔽区域中的所述道路的一部分上朝向所述AV行驶;
推断所述车辆将在所述车辆的驾驶员看到所述AV时减速,其中推断所述车辆将减速包括计算由于所述车辆的所述驾驶员看到所述AV而预计所述车辆将在减速之后停止的交互点;
基于所计算的交互点,标识所述AV要进行的驾驶操纵;以及
响应于标识所述驾驶操纵,致使所述AV执行所标识的驾驶操纵。
2.如权利要求1所述的方法,其中定义所述遮蔽区域包括:
标识在所述传感器的视场中的对象;以及
响应于标识所述对象,确定所述对象相对于所述AV的位置,其中所述遮蔽区域基于所述对象相对于所述AV的所确定的位置来定义。
3.如权利要求1所述的方法,还包括:
计算预计所述车辆的所述驾驶员首先看到所述AV时的所述车辆所在的位置,其中所述位置在所述遮蔽区域内,并且进一步地其中所述驾驶操纵基于所计算的位置来标识。
4.如权利要求3所述的方法,还包括:
估计所述车辆的反应时间,其中所述车辆的所述反应时间是所述车辆的所述驾驶员首先看到所述AV时与所述车辆在观察到所述AV时将开始减速时之间的时间,并且进一步地其中所述驾驶操纵基于所估计的反应时间来标识。
5.如权利要求4所述的方法,还包括:
估计所述车辆在所计算的位置处的速度,其中所述驾驶操纵基于所述车辆在所计算的位置处的所估计的速度来标识。
6.如权利要求5所述的方法,还包括:
基于所述车辆的保留在计算机可读存储中的配置文件来向所述车辆分配减速度;
计算指示所述车辆将到达预定义位置时的时间值,其中所述时间值基于所述车辆的所计算的位置、所述车辆的所述反应时间、所述车辆的所估计的速度和分配给所述车辆的所述减速度来计算;以及
计算所述AV完成所述驾驶操纵所需的时间量,其中所述驾驶操纵基于所述时间值和所述AV完成所述驾驶操纵所需的所述时间量来标识。
7.如权利要求6所述的方法,其中所述驾驶操纵是穿过交叉路口的转弯。
8.如权利要求5所述的方法,还包括:
基于所述车辆的保留在计算机可读存储中的配置文件来向所述车辆分配减速度;
其中所计算的交互点基于所述车辆的所计算的位置、所述车辆的所述反应时间、所述车辆的所估计的速度和分配给所述车辆的所述减速度来计算。
9.如权利要求8所述的方法,其中标识所述驾驶操纵包括:
基于所计算的交互点来计算所述AV的速度曲线,其中所述速度曲线指示随时间推移所述AV的速度,其中当所述AV根据所述速度曲线进行操作时,所述AV将减速并且在所计算的交互点之前停止,并且进一步地其中所述速度曲线基于以下项来计算:
所述AV与所计算的交互点之间的距离;以及
所述AV的计算机可读配置文件,所述AV的所述计算机可读配置文件包括指示所述AV的最大速度、所述AV的最大加速度和所述AV的最大减速度的数据,并且进一步地其中所述驾驶操纵基于所述AV的所计算的速度曲线来标识。
10.如权利要求9所述的方法,其中所述驾驶操纵包括离开第一车道并进入第二车道中以绕过引起从所述AV的角度来看的所述遮蔽区域存在的障碍物导航,其中所述第一车道和所述第二车道中的交通在相反方向上流动。
11.一种自主车辆(AV),其包括:
传感器,所述传感器被配置来输出传感器信号;以及
计算系统,所述计算系统与所述传感器通信,所述计算系统编程有在由所述计算系统执行时致使所述计算系统执行动作的指令,所述动作包括:
基于由所述传感器输出的所述传感器信号,标识从所述AV的角度来看的遮蔽区域,其中所述遮蔽区域是所述AV缺乏可视性的空间区域,并且进一步地其中所述遮蔽区域包括道路的一部分;
响应于标识所述遮蔽区域,假设车辆正在所述遮蔽区域中的所述道路的一部分上朝向所述AV行驶;
推断所述车辆将在所述车辆的驾驶员看到所述AV时减速,其中推断所述车辆将减速包括计算由于所述车辆的所述驾驶员看到所述AV而预计所述车辆将在减速之后停止的位置;
基于所计算的位置来标识驾驶操纵;以及
响应于标识所述驾驶操纵,致使所述AV执行所述驾驶操纵。
12.如权利要求11所述的AV,其中标识所述遮蔽区域包括:
基于地图和所述传感器信号来构建地理区域的模型;以及
标识所述模型中缺少信息的区域,其中所述遮蔽区域对应于所述模型中的所述区域。
13.如权利要求11所述的AV,其中所述AV位于道路的第一车道中,对象位于所述道路的所述第一车道中的所述AV前面,其中所述对象是车辆,所述遮蔽区域包括所述道路的第二车道与所述道路的所述第一车道相邻的一部分,并且进一步地其中所述第一车道和所述第二车道中的交通在相反方向上流动。
14.如权利要求13所述的AV,其中所述驾驶操纵包括离开所述道路的所述第一车道并进入所述道路的所述第二车道以导航绕过所述道路的所述第一车道中的所述对象。
15.如权利要求13所述的AV,其中所述驾驶操纵包括在执行穿过交叉路口的转弯时离开所述第一车道并越过所述第二车道。
16.如权利要求13所述的AV,其中所述车辆正在与所述AV的行进方向相反的方向上在所述第二车道中行进,所述动作进一步包括估计所述车辆的所述驾驶员看到所述AV时所述车辆的速度和减速度。
17.如权利要求16所述的AV,其中所计算的位置基于所估计的速度和减速度来计算。
18.一种自主车辆(AV),其包括:
计算系统,所述计算系统包括:
处理器;以及
存储器,所述存储器存储在由所述处理器执行时致使所述处理器执行动作的指令,所述动作包括:
定义从所述AV的角度来看的遮蔽区域,其中所述遮蔽区域是所述AV缺乏可视性的空间区域,其中所述遮蔽区域包括车辆在与所述AV行进方向相反的方向上行进的交通车道的一部分;
假设车辆正在所述遮蔽区域中朝向所述交通车道中的所述AV行驶;
推断所述车辆将在所述车辆的驾驶员看到所述AV时减速;
计算由于所述车辆的所述驾驶员看到所述AV而预计所述车辆将在减速之后停止的位置;以及
基于推断所述车辆将在所述车辆的所述驾驶员看到所述AV时减速及所计算的位置,致使所述AV进入所述交通车道而不管所述遮蔽区域可能包括正在所述交通车道中行进的车辆。
19.如权利要求18所述的AV,所述动作还包括:
将减速值分配给所述车辆和将速度值分配给所述车辆,其中基于所述减速值和所述速度值计算预计所述车辆在减速后停止的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/371,012 US11420621B2 (en) | 2019-03-31 | 2019-03-31 | Autonomous vehicle maneuvering based upon risk associated with occluded regions |
US16/371,012 | 2019-03-31 | ||
PCT/US2019/068683 WO2020205022A1 (en) | 2019-03-31 | 2019-12-27 | Autonomous vehicle maneuvering based upon risk associated with occluded regions |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113905940A CN113905940A (zh) | 2022-01-07 |
CN113905940B true CN113905940B (zh) | 2023-03-24 |
Family
ID=69192113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980096961.8A Active CN113905940B (zh) | 2019-03-31 | 2019-12-27 | 基于与遮蔽区域相关联的风险的自主车辆操纵 |
Country Status (4)
Country | Link |
---|---|
US (5) | US11433883B2 (zh) |
EP (1) | EP3934955A1 (zh) |
CN (1) | CN113905940B (zh) |
WO (1) | WO2020205022A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102624434B1 (ko) * | 2015-02-10 | 2024-01-15 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
US11625045B2 (en) * | 2017-08-31 | 2023-04-11 | Uatc, Llc | Systems and methods for controlling an autonomous vehicle with occluded sensor zones |
EP3759560B8 (en) * | 2018-02-28 | 2022-03-30 | Nissan North America, Inc. | Transportation network infrastructure for autonomous vehicle decision making |
US11433883B2 (en) | 2019-03-31 | 2022-09-06 | Gm Cruise Holdings Llc | Autonomous vehicle maneuvering based upon risk associated with occluded regions |
US11354912B2 (en) * | 2019-08-27 | 2022-06-07 | Waymo Llc | Detecting potentially occluded objects for autonomous vehicles |
US20210229641A1 (en) * | 2020-01-29 | 2021-07-29 | GM Global Technology Operations LLC | Determination of vehicle collision potential based on intersection scene |
GB2595856A (en) * | 2020-06-08 | 2021-12-15 | Daimler Ag | A method for determining a trajectory of an autonomous motor vehicle, as well as an assistance system |
CN114643996A (zh) * | 2020-12-19 | 2022-06-21 | 荷兰移动驱动器公司 | 辅助驾驶方法以及车辆 |
CN112650243B (zh) * | 2020-12-22 | 2023-10-10 | 北京百度网讯科技有限公司 | 车辆控制方法、装置、电子设备和自动驾驶车辆 |
JP2022147924A (ja) * | 2021-03-24 | 2022-10-06 | 株式会社Subaru | 運転支援装置 |
KR20230018919A (ko) * | 2021-07-30 | 2023-02-07 | 현대자동차주식회사 | 차량의 정차 제어 장치 및 그 방법 |
CN113554874B (zh) * | 2021-07-30 | 2022-06-28 | 新石器慧通(北京)科技有限公司 | 无人车控制方法、装置、电子设备及存储介质 |
CN114274979B (zh) * | 2022-01-07 | 2024-06-14 | 中国第一汽车股份有限公司 | 自动驾驶的目标关注度等级判别方法、装置及存储介质 |
CN114852055B (zh) * | 2022-04-27 | 2024-05-24 | 重庆长安汽车股份有限公司 | 一种停车场环境下的危险行人感知认知方法及系统 |
CN116592880B (zh) * | 2023-07-06 | 2023-11-17 | 中国科学院空天信息创新研究院 | 一种uwb_ins组合定位系统自主完好性检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106114503A (zh) * | 2015-05-05 | 2016-11-16 | 沃尔沃汽车公司 | 用于确定安全车辆轨迹的方法和装置 |
CN106706341A (zh) * | 2017-02-14 | 2017-05-24 | 特路(北京)科技有限公司 | 自动驾驶车辆换道能力的测试方法及测试场 |
CN107444406A (zh) * | 2016-05-30 | 2017-12-08 | 奥迪股份公司 | 车辆辅助驾驶系统及方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000007758A (ko) * | 1998-07-07 | 2000-02-07 | 윤종용 | 셀룰러 단말기의 의사잡음부호 탐색방법 |
DE112010000079B4 (de) * | 2009-03-04 | 2023-04-20 | Continental Autonomous Mobility Germany GmbH | Verfahren zur automatischen Erkennung eines Fahrmanövers eines Kraftfahrzeugs und ein dieses Verfahren umfassendes Fahrerassistenzsystem |
US9381916B1 (en) | 2012-02-06 | 2016-07-05 | Google Inc. | System and method for predicting behaviors of detected objects through environment representation |
US9633564B2 (en) * | 2012-09-27 | 2017-04-25 | Google Inc. | Determining changes in a driving environment based on vehicle behavior |
US9367065B2 (en) | 2013-01-25 | 2016-06-14 | Google Inc. | Modifying behavior of autonomous vehicles based on sensor blind spots and limitations |
US9254846B2 (en) | 2013-05-03 | 2016-02-09 | Google Inc. | Predictive reasoning for controlling speed of a vehicle |
DE102013216994A1 (de) * | 2013-08-27 | 2015-03-05 | Robert Bosch Gmbh | Geschwindigkeitsassistent für ein Kraftfahrzeug |
US9493157B2 (en) | 2015-01-29 | 2016-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Autonomous vehicle operation in obstructed occupant view and sensor detection environments |
DE102015205930A1 (de) | 2015-04-01 | 2016-10-06 | Volkswagen Aktiengesellschaft | Automatisches Führen eines Fahrzeugs |
US9910442B2 (en) | 2016-06-28 | 2018-03-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Occluded area detection with static obstacle maps |
US10146223B1 (en) | 2016-10-21 | 2018-12-04 | Waymo Llc | Handling sensor occlusions for autonomous vehicles |
US10281920B2 (en) * | 2017-03-07 | 2019-05-07 | nuTonomy Inc. | Planning for unknown objects by an autonomous vehicle |
US11625045B2 (en) * | 2017-08-31 | 2023-04-11 | Uatc, Llc | Systems and methods for controlling an autonomous vehicle with occluded sensor zones |
US9947228B1 (en) | 2017-10-05 | 2018-04-17 | StradVision, Inc. | Method for monitoring blind spot of vehicle and blind spot monitor using the same |
US10955851B2 (en) * | 2018-02-14 | 2021-03-23 | Zoox, Inc. | Detecting blocking objects |
US10642275B2 (en) | 2018-06-18 | 2020-05-05 | Zoox, Inc. | Occulsion aware planning and control |
US11016492B2 (en) | 2019-02-28 | 2021-05-25 | Zoox, Inc. | Determining occupancy of occluded regions |
US11433883B2 (en) * | 2019-03-31 | 2022-09-06 | Gm Cruise Holdings Llc | Autonomous vehicle maneuvering based upon risk associated with occluded regions |
US11643115B2 (en) * | 2019-05-31 | 2023-05-09 | Waymo Llc | Tracking vanished objects for autonomous vehicles |
EP3786919A1 (en) * | 2019-08-29 | 2021-03-03 | Aptiv Technologies Limited | Method and system for determining awareness data |
-
2019
- 2019-03-31 US US16/371,088 patent/US11433883B2/en active Active
- 2019-03-31 US US16/371,083 patent/US11400924B2/en active Active
- 2019-03-31 US US16/371,012 patent/US11420621B2/en active Active
- 2019-12-27 CN CN201980096961.8A patent/CN113905940B/zh active Active
- 2019-12-27 WO PCT/US2019/068683 patent/WO2020205022A1/en unknown
- 2019-12-27 EP EP19842769.2A patent/EP3934955A1/en active Pending
-
2022
- 2022-06-27 US US17/850,994 patent/US11767011B2/en active Active
-
2023
- 2023-08-17 US US18/451,812 patent/US20230391323A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106114503A (zh) * | 2015-05-05 | 2016-11-16 | 沃尔沃汽车公司 | 用于确定安全车辆轨迹的方法和装置 |
CN107444406A (zh) * | 2016-05-30 | 2017-12-08 | 奥迪股份公司 | 车辆辅助驾驶系统及方法 |
CN106706341A (zh) * | 2017-02-14 | 2017-05-24 | 特路(北京)科技有限公司 | 自动驾驶车辆换道能力的测试方法及测试场 |
Also Published As
Publication number | Publication date |
---|---|
US11767011B2 (en) | 2023-09-26 |
US11420621B2 (en) | 2022-08-23 |
US20200307567A1 (en) | 2020-10-01 |
US20230391323A1 (en) | 2023-12-07 |
EP3934955A1 (en) | 2022-01-12 |
WO2020205022A1 (en) | 2020-10-08 |
CN113905940A (zh) | 2022-01-07 |
US11433883B2 (en) | 2022-09-06 |
US11400924B2 (en) | 2022-08-02 |
US20220324439A1 (en) | 2022-10-13 |
US20200310425A1 (en) | 2020-10-01 |
US20200307566A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113905940B (zh) | 基于与遮蔽区域相关联的风险的自主车辆操纵 | |
US20230347877A1 (en) | Navigation Based on Detected Size of Occlusion Zones | |
EP3548846B1 (en) | Systems and methods for navigating with sensing uncertainty | |
US10618519B2 (en) | Systems and methods for autonomous vehicle lane change control | |
US12007769B2 (en) | Lane change detection system and method for an autonomous vehicle | |
US10303178B1 (en) | Collision mitigation static occupancy grid | |
EP3640105A1 (en) | Modified responsibility sensitivity safety model | |
EP3832419A1 (en) | Navigational system with imposed constraints | |
US11480977B2 (en) | Sharing sensor data to assist in maneuvering of an autonomous vehicle | |
CN114258366A (zh) | 对于自主车辆的折线轮廓表示 | |
US20220153266A1 (en) | Vehicle adaptive cruise control system, method and computer readable medium for implementing the method | |
CN115593429A (zh) | 自动驾驶车辆对紧急车辆的响应 | |
CN114830202A (zh) | 通过自主运载工具针对未知对象的规划 | |
CN117279816A (zh) | 用于控制自主车辆的方法 | |
WO2024004532A1 (ja) | 運転制御装置、運転制御方法、情報提示制御装置及び情報提示制御方法 | |
WO2023047148A1 (ja) | 走行支援方法及び 走行支援装置 | |
JP2023184097A (ja) | 運転支援システム、運転支援方法、及び運転支援プログラム | |
JP2023075667A (ja) | 運転支援方法及び運転支援装置 | |
CN117360514A (zh) | 一种车辆控制方法、装置、计算机设备及存储介质 | |
JP2019191732A (ja) | 車両用衝突予測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |