CN111038482B - 用于车辆路径自动控制的系统和方法 - Google Patents
用于车辆路径自动控制的系统和方法 Download PDFInfo
- Publication number
- CN111038482B CN111038482B CN201910411600.XA CN201910411600A CN111038482B CN 111038482 B CN111038482 B CN 111038482B CN 201910411600 A CN201910411600 A CN 201910411600A CN 111038482 B CN111038482 B CN 111038482B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- path
- lane
- road profile
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 20
- 238000004891 communication Methods 0.000 claims abstract description 37
- 230000005540 biological transmission Effects 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
一种自动车辆，包括：至少一个致动器，其配置为控制车辆转向；至少一个传感器，其配置为检测接近车辆的行驶路面的轮廓；以及与致动器和传感器通信的至少一个控制器。该控制器配置为识别可驾驶车道内的多个潜在路径，为每个相应潜在路径确定至少一个道路轮廓参数，基于对多个潜在路径的相应路轮廓参数的比较来识别期望路径，以及控制致动器根据期望路径行驶车辆。
Description
技术领域
本公开涉及由自动驾驶系统控制的车辆，特别是那些配置为在没有人为干预的驾驶过程中自动控制转向、加速和制动的车辆。
背景技术
现代车辆的操作变得越来越自动化，即能够在越来越少的驾驶员干预下提供驾驶控制。车辆自动化被划分为从零到五的多个数值等级，第零级对应于没有自动化并需要完全人为控制，第五级对应于完全自动化并没有人为控制。各种自动驾驶辅助系统，如巡航控制、自适应巡航控制和停车辅助系统，对应于较低的自动化水平，而真正的“无人驾驶”车辆对应于较高的自动化水平。
发明内容
根据本公开的自动车辆包括配置为控制车辆转向的至少一个致动器、配置为检测接近车辆的行驶路面的轮廓的至少一个传感器以及与致动器和传感器通信的至少一个控制器。该控制器被配置为识别可驾驶车道内的多个潜在路径，为每个相应潜在路径确定至少一个道路轮廓参数，基于对多个潜在路径的相应道路轮廓参数的比较来识别期望路径，以及控制致动器根据期望路径来行驶车辆。
在示例性实施例中，该车辆还包括具有驾驶员侧和乘客侧的车身。可驾驶车道以驾驶员侧车道边界和乘客侧车道边界为边界，该多个潜在路径限定为，对于每个相应路径，驾驶员侧位于驾驶员侧车道边界内以及乘客侧位于乘客侧车道边界内。
在示例性实施例中，控制器还被配置为在与可驾驶车道相邻的第二可驾驶车道内限定第二多个潜在路径。在该实施例中，期望路径是基于对多个潜在路径的道路轮廓参数的比较和基于对第二多个潜在路径的相应道路轮廓参数的比较。
在示例性实施例中，该至少一个道路轮廓参数包括基于该相应路径的横向道路轮廓的第一加权因子、基于该相应路径的垂直道路轮廓的第二加权因子以及基于该相应路径的道路摩擦系数的第三加权因子。在该实施例中，第一加权因子、第二加权因子和第三加权因子的相应权重可以基于操控者偏好输入确定。
在示例性实施例中，该至少一个道路轮廓参数包括基于该相应路径上识别的一个或多个障碍物的加权因子。
根据本公开的控制自动车辆的方法包括向车辆提供:至少一个致动器，其配置为控制车辆转向；至少一个传感器，其配置为检测接近车辆的行驶路面的轮廓；以及至少一个控制器，其与至少一个致动器和至少一个传感器通信。该方法还包括通过控制器识别可驾驶车道内的多个潜在路径。该方法还包括通过控制器为每个相应潜在路径确定至少一个道路轮廓参数。该方法还包括通过控制器根据对多个潜在路径的相应道路轮廓参数的比较来识别期望路径。该方法还包括通过控制器自动控制致动器以根据期望路径行驶车辆。
在示例性实施例中，可驾驶车道以驾驶员侧车道边界和乘客侧车道边界为边界，并且多个潜在路径限定为，对于每个相应路径，车辆位于驾驶员侧车道边界和乘客侧车道边界之间。
在示例性实施例中，该方法还包括通过控制器识别第二可驾驶车道内的第二多个潜在路径。第二可驾驶车道与该可驾驶车道相邻。在该实施例中，期望路径是基于对多个潜在路径的相应道路轮廓参数的比较和基于对第二多个潜在路径的相应道路轮廓参数的比较。
在示例性实施例中，该至少一个道路轮廓参数包括基于该相应路径的横向道路轮廓的第一加权因子、基于该相应路径的垂直道路轮廓的第二加权因子以及基于该相应路径的道路摩擦系数的第三加权因子。在该实施例中，可以基于操控者偏好输入确定第一加权因子、第二加权因子和第三加权因子的各自权重。
在示例性实施例中，该至少一个道路轮廓参数包括基于该相应路径上识别的一个或多个障碍物的加权因子。
根据本公开的实施例提供了多个优点。例如，本公开提供了一种系统和方法，用于基于道路概况和用户偏好根据单车道内的不同路径自动控制车辆，从而提高乘客满意度。
结合附图，本公开的上述优点和其它优点和特征在以下优选实施例的详细描述中变得显而易见。
附图说明
图1是包括根据本公开的实施例的自动控制车辆的通信系统的示意图；
图2是根据本公开的实施例的用于车辆的自动驾驶系统(ADS)的示意图；
图3是根据本公开的实施例控制车辆的方法的流程图；以及
图4A-4B是根据本公开的实施例正在控制车辆的示意图。
具体实施方式
本文描述了本公开的实施例。然而，应当理解的是，所公开的实施例仅仅是示例，其它实施例可以采取多种不同的形式。这些附图不一定是按比例描绘的；有些特征可能被放大或缩小，以显示特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为是限制性的，而它们仅仅是具有代表性的。参照附图中的任何一个中示出和描述的各种特征可以与在一个或多个其它附图中示出的特征相结合，以形成未明确说明或描述的实施例。示出的特征的组合为典型应用提供了具有代表性的实施例。然而，与本公开的教导相一致的特征的多种组合和改进可以适用于特定的应用或实施方式。
图1示意性地示出了包括用于机动车辆12的移动车辆通信和控制系统10的操作环境。用于车辆12的通信和控制系统10通常包括一个或多个无线载波系统60、陆地通信网络62、计算机64、移动设备57(例如智能电话)和远程访问中心78。
图1所示的车辆12在图示的实施例中为乘用车，但应当理解，也可以使用任何其它交通工具，包括摩托车、卡车、运动型多功能车辆(SUV)、休旅车(RV)、船舶、飞机等。车辆12包括推进系统13，其在多个实施例中可以包括内燃机、电机(例如牵引电机)和/或燃料电池推进系统。
车辆12还包括变速器14，该变速器14配置为根据可选择的速度比率将动力从推进系统13处传输到多个车轮15。根据多个实施例，变速器14可以包括有级自动变速器、无级变速器或其它合适的变速器。车辆12还包括配置为向车轮15提供制动力矩的车轮制动器17。在多个实施例中，车轮制动器17可以包括摩擦制动器、再生制动系统(例如电机)和/或其它合适的制动系统。
车辆12还包括转向系统16。虽然出于说明性目的转向系统16包括方向盘，但在本公开的范围内的一些实施例中，转向系统16可能不包括方向盘。
车辆12包括无线通信系统28，其配置为与其它车辆(“V2V”)和/或基础设施(“V2I”)进行无线通信。在示例性实施例中，无线通信系统28被配置为通过专用短距离通信(DSRC)信道进行通信。DSRC信道是指单向或双向的短程到中程的无线通信通道以及相应的一套协议和标准，这些无线通信通道专门为汽车使用而设计。然而，配置为通过诸如IEEE802.11的附加或替代无线通信标准进行通信，同时在本公开的范围内也可以考虑通过蜂窝数据通信进行通信。
推进系统13、变速器14、转向系统16和车轮制动器17与至少一个控制器22通信或处于至少一个控制器22的控制下。出于说明的目的控制器22被描述为单个单元，但控制器22可另外包括一个或多个其它控制器，统称为“控制器”。控制器22可以包括与多种类型的计算机可读存储设备或介质通信的微处理器或中央处理单元(CPU)。例如，计算机可读存储设备或介质可以包括在只读存储器(ROM)、随机存取存储器(RAM)和磨损修正系数存储器(KAM)中的易失性和非易失性存储。KAM是持久性或非易失性存储器，可用于在CPU关闭时存储各种操作变量。计算机可读存储设备或介质可以使用许多已知的存储设备中的任意一个来实现，如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROMS(电可擦除PROM)、FLASH存储器，或任何其它能够存储数据的电、磁、光学或组合存储设备，其中有些存储设备存储可执行指令，这些指令由控制器22使用以控制车辆。
控制器22包括自动驱动系统(ADS)24，用于自动控制车辆中的多个致动器。在示例性实施例中，ADS 24是被称为三级自动化系统。三级系统表示“条件自动化”，指的是由满足动态驾驶任务的各个方面的自动驾驶系统执行特定驾驶模式，期望人类驾驶员对干预请求作出适当的反应。
根据本公开的其它实施例可以实现一级或二级自动化系统。一级系统表示“驾驶员辅助”，指的是由能够转向或加速的驾驶员辅助系统使用驾驶环境的信息执行特定驾驶模式，并期望人类驾驶员执行动态驾驶任务的所有剩余方面。二级系统表示“部分自动化”，指的是由能够转向和加速的一个或多个驾驶员辅助系统使用驾驶环境的信息执行特定驾驶模式，并期望人类驾驶员执行动态驾驶任务的所有剩余方面。
另外，根据本公开的其它实施例也可以实现四级或五级自动化系统。四级系统表示“高度自动化”，指的是满足动态驾驶任务的各个方面的自动驾驶系统执行特定驾驶模式，即使驾驶员对干预请求没有作出适当的反应。五级系统表示“完全自动化”，指的是在所有道路和环境条件下由满足动态驾驶任务的所有方面自动驾驶系统全职执行，其中道路和环境条件可由人类驾驶员管理。
在示例性实施例中，ADS 24被配置为控制推进系统13、变速器14、转向系统16和车轮制动器17，以分别控制车辆加速、转向和制动，而无需响应于来自多个传感器26的输入而通过多个致动器30进行人为干预，这些传感器包括GPS、雷达、激光雷达、光学摄像机、热摄像机、超声波传感器，和/或额外合适的传感器。
图1示出了能够与车辆12的无线通信系统28通信的几种网络设备。可以通过无线通信系统28与车辆12通信的网络设备之一是移动设备57。移动设备57可以包括计算机处理器、能够使用短距离无线协议进行通信的收发器和可视智能电话显示器59。计算机处理器包括可编程设备形式的微处理器，其包括存储在内部存储器结构中的一个或多个指令，并且这些指令应用于接收二进制输入以创建二进制输出。在一些实施例中，移动设备57包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其它实施例中，移动设备57包括蜂窝通信功能，使得移动设备57使用本文中所述的一个或多个蜂窝通信协议在无线载波系统60上执行语音和/或数据通信。可视智能手机显示器59还可以包括触摸屏图形用户界面。
无线载波系统60优选为蜂窝电话系统，其包括多个蜂窝塔70(仅示出一个)、一个或多个移动交换中心(MSC)72，以及利用陆地通信网络62连接无线载波系统60与所需的任何其它网络组件。每个蜂窝塔70包括发送天线和接收天线和基站，来自不同蜂窝塔的基站直接或通过诸如基站控制器等中间设备连接到MSC 72。无线载波系统60可实现任何合适的通信技术，例如，模拟技术如AMPS，或数字技术如CDMA(例如CDMA 2000)或GSM/GPRS。其它蜂窝塔/基站/MSC配置也可以采用，并且可以与无线载波系统60一起使用。例如，基站和蜂窝塔可以位于同一地点，也可以彼此相距较远，每个基站可以负责单个蜂窝塔，或者单个基站可以为各种蜂窝塔服务，或者多个基站可以耦合到单个MSC，仅列举几个可能的布置。
除使用无线载波系统60外，采用卫星通信形式的第二无线载波系统可用于提供与车辆12的单向或双向通信。这可以使用一个或多个通信卫星66和上行链路传输站67来完成。单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)被传输站67接收，被打包以便上传，然后被发送到卫星66，卫星66向用户播送节目。双向通信可以包括例如使用卫星66在车辆12和传输站67之间传达电话通信的卫星电话服务。除了无线载波系统60之外，还可以使用卫星电话。
陆地网络62可以是连接到一个或多个固定电话的传统陆基电信网络，并将无线载波系统60连接到远程接入中心78。例如，陆地网络62可以包括公共交换电话网(PSTN)，例如用于提供硬有线电话、分组交换数据通信和互联网基础设施的电话网。一段或多段陆地网络62可以通过使用标准有线网络、光纤或其它光网络、电缆网络、输电线、其它无线网络(例如无线局域网(WLAN)或提供宽带无线接入(BWA)的网络或其中的任意组合)来实现。此外，远程访问中心78不需要通过陆地网络62连接，而是可以包括无线电话设备，以便能够直接与无线网络(例如无线载波系统60)通信。
虽然如图1所示，计算机64是单个设备，但是计算机64可以包括一些可通过专用网络或如诸互联网的公共网络进行访问的计算机。每台计算机64可用于一个或多个目的。在示例性实施例中，计算机64可被配置为可由车辆12通过无线通信系统28和无线载波系统60进行访问的web服务器。其它计算机64可以包括，例如：服务中心计算机，其可以通过无线通信系统28从车辆处上传诊断信息和其它车辆数据；或第三方存储库，其中通过与车辆12、远程访问中心78、移动设备57或与以上组合进行通信，从而将车辆数据或其它信息提供给第三方存储库或从第三方存储库处提供这些数据或信息。计算机64可以保留可搜索的数据库和数据库管理系统，允许输入、删除和修改数据，以及接收在数据库中查找数据的请求。计算机64还可用于提供诸如DNS服务之类的互联网连接，或者用作使用DHCP或其它适当协议向车辆12分配IP地址的网络地址服务器。除车辆12外，计算机64还可以与至少一个辅助车辆通信。车辆12和任意辅助车辆可统称为车队。
如图2所示，ADS 24包括多个不同的控制系统，包括至少一个感知系统32，用于确定车辆附近检测到的特征或目标的存在、位置、分类和路径。感知系统32被配置为接收来自多个传感器(诸如图1所示的传感器26)的输入，并对多个传感器输入进行整合和处理以生成用作ADS 24的其它控制算法的输入的参数。
感知系统32包括传感器融合和预处理模块34，该模块对来自传感器26的多种类型的传感器数据27进行处理和整合。传感器融合和预处理模块34执行传感器数据27的校准，包括但不限于激光雷达到激光雷达的校准、摄像机到激光雷达的校准、激光雷达到底盘的校准以及激光雷达光束强度校准。传感器融合和预处理模块34输出预处理后的传感器输出35。
分类和分割模块36接收预处理后的传感器输出35，并执行目标分类、图像分类、交通灯分类、目标分割、地面分割和目标跟踪处理。目标分类包括但不限于对周围环境中的目标的识别和分类(包括交通信号和标志的识别和分类)、雷达融合和跟踪以描述传感器的位置和视场(FOV)，以及通过激光雷达融合消除城市环境中存在的许多误报的误报排除，例如井盖、桥梁、头顶的树或灯杆以及其它障碍物，这些物体具有较高雷达横截面但不影响车辆沿着其路径行驶。由分类和分割模块36执行的其它目标分类和跟踪过程包括但不限于自由空间检测和高级别跟踪，它们融合来自雷达跟踪、激光雷达分割、激光雷达分类、图像分类、目标形状匹配模型、语义信息、运动预测、光栅地图、静态障碍地图和其它来源的数据，以获得高质量的目标跟踪。分类和分割模块36还执行交通控制设备分类和执行交通控制设备与车道关联和交通控制设备行为模型的融合。分类和分割模块36生成目标分类和分割输出37，其包括目标识别信息。
定位和映射模块40使用目标分类和分割输出37来计算参数，包括(但不限于)估计车辆12在常见的和具有挑战性的驾驶场景中的位置和定向。这些具有挑战性的驾驶场景包括但不限于有许多汽车存在的动态环境(例如，繁忙的交通)、有大规模障碍物的环境(例如道路工程或建筑工地)、山丘、多车道道路、单车道道路、具有多种道路标记和道路建筑或缺乏这些道路标记和道路建筑(例如，住宅区与商业区)、和桥梁和立交桥(无论是位于车辆所处当前路段的上方还是下方)。
定位和映射模块40还接入由于扩展映射领域而收集到的新数据，该扩展映射领域是通过由车辆12在操作期间执行的车载映射功能以及借助无线通信系统28将映射数据“推送”到车辆12来获得的。定位和映射模块40利用新的信息(例如，新的车道标记、新的建筑结构、增加或移除建筑区域等)更新以前的地图数据，同时不修改未受影响的地图区域。生成或更新地图数据的示例包括但不限于：屈服线分类、车道边界生成、车道连接、主要和次要道路的分类、左右转弯分类以及创建交叉车道。定位和映射模块40生成定位和映射输出41，其包括车辆12相对于检测到的障碍物和道路特征的位置和定向。
车辆测距模块46从车辆传感器26接收数据27，并产生车辆测距输出47，其包括例如车辆前进方向和速度信息。绝对定位模块42接收定位和映射输出41和车辆测距信息47，并生成用于下文讨论的单独计算中的车辆位置输出43。
目标预测模块38使用目标分类和分割输出37来生成参数，这些参数包括但不限于检测到的障碍物相对于车辆的位置、检测到的障碍物相对于车辆的预测路径以及交通车道相对于车辆的位置和定向。关于目标(包括行人、周围的车辆和其它移动目标)的预测路径的数据作为目标预测输出39的输出，并用于下文所讨论的单独计算中。
ADS 24还包括观察模块44和解释模块48。观察模块44生成观察输出45，观察输出45被解释模块48接收。观察模块44和解释模块48允许通过远程访问中心78访问。解释模块48生成解释输出49，其中包括由远程访问中心78提供的额外输入(如果有的话)。
路径规划模块50对从在线数据库或远程访问中心78接收到的目标预测输出39、解释输出49和额外路径选择信息79进行处理和整合，以确定要遵循的车辆路径，以便使车辆在遵守交通规则和避开任何检测到的障碍物的同时保持在期望路径上。路径规划模块50采用的算法被配置为避开在车辆附近检测到的任意障碍物、使车辆保持在当前的交通车道上，以及使该车辆保持在期望路径上。路径规划模块50输出车辆路径信息作为路径规划输出51。路径规划输出51包括基于车辆路径的车辆指挥路径、相对于该路径的车辆位置、交通车道的位置和定向，以及任意检测到的障碍物的存在和路径。
第一控制模块52对路径规划输出51和车辆位置输出43进行处理和整合以生成第一控制输出53。第一控制模块52还接入由远程访问中心78在车辆的远程接管操作模式下提供的路径选择信息79。
车辆控制模块54接收第一控制输出53以及由车辆测距模块46接收的速度和前进方向信息47，并生成车辆控制输出55。车辆控制输出55包括一组致动器命令，以实现来自车辆控制模块54的指挥路径，该组致动器指令包括但不限于转向命令、换挡命令、油门命令和制动命令。
车辆控制输出55被传送到致动器30。在示例性实施例中，致动器30包括转向控制、换挡器控制、油门控制和制动控制。例如，该转向控制可以控制如图1所示的转向系统16。例如，该换挡器控制可以控制如图1所示的变速器14。例如，该油门控制可以控制如图1所示的推进系统13。例如，该制动控制可以控制如图1所示的车轮制动器17。
已知的算法通常被配置为保持相对于当前驾驶车道的预定义位置，例如在车道标线之间的中点。然而，在某些行驶路面上，使车辆保持在相对于车道的不同位置也是可取的。这类行驶路面的示例包括：道路顶部是偏离中心的、道路有车辙、道路上有一系列坑洞，或者道路有火车或电车轨道贯穿其中。
参考图3，该流程图示出了根据本公开的控制车辆的方法。在示例性实施例中，该算法是由控制器22中的ADS 24执行，例如，由路径规划模块50与额外的模块一起执行。
如框100所示，获取主车辆参数。主车辆参数指的是车辆配置特定值，车辆配置特定值是存储在与控制器22通信的非瞬态数据存储器中。主车辆参数包括但不限于车辆宽度、轴距和轮胎宽度。
在可选步骤中，如框102所示，接收用户偏好。在示例性实施例中，通过与控制器22通信的人机接口(HMI)的用户输入接收用户偏好。用户偏好可以指示用户在车道内的期望驾驶位置，例如位于驾驶员侧或乘客侧车道标线的中心或附近。用户还可以指示用户对于不同操作类型的接受程度，例如，对最平稳行驶的偏好或对更具运动感的偏好。
如框104所示，对于当前路段上的每条可驾驶车道，获取其车道数据。车道数据包括但不限于车道的宽度和弯曲度。可驾驶车道是指当前的车辆车道和车流方向与当前车辆车道的车流方向相同的任意相邻车道。
如框106所示，限定可驾驶车道内的一个或多个潜在路径。这些路径是根据车道数据和主车辆参数来限定的。在图4A和图4B的示例性实施例中，车辆12位于以驾驶员侧车道边缘82和乘客侧车道边缘84为边界的车道80中。在车道80内限定第一路径86、第二路径88和第三路径90。第一路径86被限定为当车辆12的中心线在第一路径86上方时，车辆12不会伸过驾驶员侧车道边缘82。第二路径88是基于驾驶员侧车道边缘82和乘客侧车道边缘84之间的中点限定的。第三路径90被限定为当车辆12的中心线在第三路径90上方时，车辆12不会伸过乘客侧车道边缘84。在多个实施例中，可以在每个可驾驶车道内限定更多或更少的路径。
如框108所示，对于每条路径，获取横向道路轮廓。横向道路轮廓指的是沿着相应路径的行驶路面在横向方向上(即，平行于车辆12的侧轴线)的形状。在第一示例性实施例中，通过控制器22基于来自一个或多个传感器26的信号实时计算横向道路轮廓。在第二示例性实施例中，从地形图数据获取横向道路轮廓，地形图数据存储在与控制器22通信的非瞬态数据存储器中。
如框110所示，对于每条路径，获得垂直道路轮廓。垂直道路轮廓指的是沿着相应路径的行驶路面在垂直方向上(即，平行于车辆12的上下轴线)的形状。在第一示例性实施例中，通过控制器22基于来自一个或多个传感器26的信号实时计算垂直道路轮廓。在第二示例性实施例中，从地形图数据获取垂直道路轮廓，地形图数据存储在与控制器22通信的非瞬态数据存储器中。
如框112所示，对于每条路径，估计道路摩擦系数。在示例性实施例中，道路摩擦系数是基于来自传感器26中的一个或多个的信号来估计的，传感器26例如是指示在相应路径上存在雪、雨或冰的光学摄像机。然而，在其它实施例中，可以使用任何用于估计道路摩擦力的合适技术。
如框114所示，然后可以根据交通密度和/或障碍物的存在进行调整。在示例性实施例中，可以评估来自传感器26中的一个或多个的信号，以确定在相邻车道中是否存在车辆或障碍物，以响应于相邻车道中的哪些路径可从备选中排除或给予较低的权重。
如框116所示，对于每个路径，基于横向道路轮廓计算横向因子，基于垂直道路轮廓计算垂直因子，并基于摩擦系数计算摩擦因子。在示例性实施例中，使用基于历史数据、云数据、众包(crowed-sourced)数据、实时传感器数据或其中任意组合的模型来计算横向因子，以整合横向道路轮廓成为表示车辆在相应路径上的预期横向加速度和位移的参数。同样，可以使用基于历史数据、云数据、人群数据、实时传感器数据或其中任意组合的模型来计算垂直因子，以整合垂直道路轮廓集成为表示车辆在相应路径上的预期垂直加速度和位移的参数。此外，可以使用基于历史数据、云数据、众包数据、实时传感器数据或其中任意组合的模型来计算摩擦因子，以整合所计算的摩擦系数成为表示在相应路径上的道路摩擦的参数。
如框118所示，对于每条可驾驶车道，根据横向因子、垂直因子、摩擦因子和用户偏好选择最佳路径。在示例性实施例中，根据第一权重因子对横向因子进行加权，根据第二权重因子对垂直因子进行加权，根据第三权重因子对第三横向因子进行加权。在这些实施例中，权重因子可以是由制造商提供的、基于用户偏好确定的或以上两者组合。在示例性实施例中，通过对应用于可驾驶车道内的每个路径的成本函数最小化来选择最佳路径；然而，也可以使用用于选择路径的其它方法。
如框120所示，期望车道和路径是基于对每条车道中的最佳路径的比较来选择的。在基于成本函数选择最佳路径的实施例中，可以比较路径的各自成本以选择总体最佳路径和相应的车道。然而，也可以使用其它选择期望车道和路径的方法。在示例性实施例中，期望车道和路径可以作为路径规划输出51的一部分被输出。
如框122所示，车辆根据选择的车道和路径自动控制。在示例性实施例中，这是通过控制器22中的ADS 24(例如第一控制模块52和车辆控制模块54)控制致动器30来实现的。在图4B的示例性说明中，车道80包括具有偏离中心的顶部的行驶路面，由此可以根据第一路径86对车辆12进行控制，从而产生更加合适和舒适的定向12’。此外，根据第一路径86的控制可以形成更平稳的驾驶，因为不需要ADS来校正车辆存在的倾向于斜坡的趋势。
由此可见，本公开提供了一种系统和方法，用于基于道路概况和用户偏好根据单车道内的不同路径自动控制车辆，从而提高乘客满意度。
虽然上面描述了示例性实施例，但这些实施例并没有描述了权利要求所包括的所有可能的形式。在说明书中使用的词语是描述性的而不是限制性的，应当理解可以在不偏离公开的方案和范围的情况下进行多种更改。如前所述，可以结合各个实施例的特征以形成没有明确描述或说明的本公开的其它示例。多个实施例可以被描述为相对于其它实施例或现有技术提供了优势或优点，但本领域普通技术人员的应当理解，可以牺牲一个或多个特征来实现期望的整个系统属性，这取决于特定的应用和实施例。这些属性可以包括但不限于成本、强度、耐久性、寿命周期成本、可销售性、外观、包装、尺寸、可服务性、重量、可制造性、易装配性等。因此，在一个或多个特性上表现不如其它实施例或现有技术的实施例并不在本公开的范围之外，这些实施例对于特定的应用是可取的。
Claims (3)
1.一种自动车辆，包括：
至少一个致动器，其配置为用于控制车辆转向；
至少一个传感器，其配置为检测接近车辆的行驶路面的轮廓；以及
至少一个控制器，其与所述至少一个致动器和至少一个传感器通信，所述至少一个控制器配置为识别可驾驶车道内的多个潜在路径，为每个相应潜在路径确定至少一个道路轮廓参数，基于对多个潜在路径的相应道路轮廓参数的比较来识别期望路径，以及控制致动器根据期望路径来行驶车辆；
其中所述至少一个控制器进一步配置为在第二可驾驶车道内限定第二多个潜在路径，所述第二可驾驶车道与所述可驾驶车道相邻，以及其中期望路径是基于对所述多个潜在路径的相应道路轮廓参数的比较以及基于对所述第二多个潜在路径的相应道路轮廓参数的比较；
其中所述至少一个道路轮廓参数包括基于相应潜在路径的横向道路轮廓的第一加权因子、基于相应潜在路径的垂直道路轮廓的第二加权因子以及基于相应潜在路径的道路摩擦系数的第三加权因子；
其中所述第一加权因子、第二加权因子和第三加权因子的相应权重是基于操控者偏好输入确定。
2.根据权利要求1所述的自动车辆，进一步包括具有驾驶员侧和乘客侧的车身，其中可驾驶车道以驾驶员侧车道边界和乘客侧车道边界为边界，和其中所述多个潜在路径限定为，对于每个相应路径，驾驶员侧位于驾驶员侧车道边界内以及乘客侧位于乘客侧车道边界内。
3.根据权利要求1所述的自动车辆，其中所述至少一个道路轮廓参数包括基于在相应潜在路径上识别的一个或多个障碍物的加权因子。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/158,648 | 2018-10-12 | ||
| US16/158,648 US10800412B2 (en) | 2018-10-12 | 2018-10-12 | System and method for autonomous control of a path of a vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111038482A CN111038482A (zh) | 2020-04-21 |
| CN111038482B true CN111038482B (zh) | 2023-01-10 |
Family
ID=69954828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910411600.XA Active CN111038482B (zh) | 2018-10-12 | 2019-05-17 | 用于车辆路径自动控制的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10800412B2 (zh) |
| CN (1) | CN111038482B (zh) |
| DE (1) | DE102019114792B4 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3097504B1 (fr) * | 2019-06-18 | 2021-09-17 | Continental Automotive | Procédé et dispositif de prédiction d’un coefficient de friction personnalisé pour un véhicule sur un segment routier |
| CN112937588B (zh) * | 2021-04-01 | 2022-03-25 | 吉林大学 | 一种冰雪车辙路况的车辆稳定性分析方法 |
| US20230296404A1 (en) * | 2022-03-21 | 2023-09-21 | Here Global B.V. | System and method for updating a map according to feature locations |
| DE102022109423A1 (de) * | 2022-04-19 | 2023-10-19 | Valeo Schalter Und Sensoren Gmbh | Verfahren zur lateralen Lokalisierung eines Fahrzeugs auf einer Straße, Computerprogramm und Fahrerassistenzsystem |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1069598A (ja) * | 1996-08-29 | 1998-03-10 | Fuji Heavy Ind Ltd | 車両の衝突防止装置 |
| CN105292116A (zh) * | 2014-06-05 | 2016-02-03 | 通用汽车环球科技运作有限责任公司 | 自动驾驶车辆的车道变换路径规划算法 |
| DE102015201878A1 (de) * | 2015-02-04 | 2016-08-04 | Continental Teves Ag & Co. Ohg | Halbautomatisierter Spurwechsel |
| US10074279B1 (en) * | 2017-03-07 | 2018-09-11 | Denso International America, Inc. | Inference-aware motion planning |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6718248B2 (en) * | 2002-06-19 | 2004-04-06 | Ford Global Technologies, Llc | System for detecting surface profile of a driving road |
| DE102009033219A1 (de) * | 2009-01-23 | 2010-07-29 | Daimler Ag | Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur |
| DE102010013178A1 (de) * | 2010-03-27 | 2010-12-30 | Daimler Ag | Verfahren zum Steuern einer Fahrdynamik eines eine Fahrbahn befahrenden Fahrzeugs |
| US20140118552A1 (en) * | 2011-06-13 | 2014-05-01 | Taku Takahama | Road shape determining device, in-vehicle image recognizing device, imaging axis adjusting device, and lane recognizing method |
| US8775006B2 (en) | 2011-07-14 | 2014-07-08 | GM Global Technology Operations LLC | System and method for enhanced vehicle control |
| US9555801B2 (en) | 2014-03-05 | 2017-01-31 | Denso International America, Inc. | Active steering safety system |
| JP6025273B2 (ja) | 2015-03-17 | 2016-11-16 | 富士重工業株式会社 | 車両の走行制御装置 |
| WO2016183074A1 (en) * | 2015-05-10 | 2016-11-17 | Mobileye Vision Technologies Ltd. | Road profile along a predicted path |
| KR102366402B1 (ko) * | 2015-05-21 | 2022-02-22 | 엘지전자 주식회사 | 운전자 보조 장치 및 그 제어방법 |
| US10214206B2 (en) * | 2015-07-13 | 2019-02-26 | Magna Electronics Inc. | Parking assist system for vehicle |
| JP7052174B2 (ja) * | 2016-01-05 | 2022-04-12 | モービルアイ ビジョン テクノロジーズ リミテッド | 将来経路を推定するシステム及び方法 |
| DE102016207436A1 (de) | 2016-04-29 | 2017-11-02 | Ford Global Technologies, Llc | System und Verfahren zum Steuern- und/oder Regeln eines Lenksystems eines Fahrzeugs sowie Fahrzeug |
| US10054454B2 (en) * | 2016-05-06 | 2018-08-21 | Ford Global Technologies, Llc | Network based storage of vehicle and infrastructure data for optimizing vehicle routing |
| US20170345295A1 (en) * | 2016-05-26 | 2017-11-30 | Amir MATTAR | System and method for traffic flow management using an adaptive lane system |
| US11248925B2 (en) * | 2016-07-28 | 2022-02-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Augmented road line detection and display system |
| EP3494445B1 (en) | 2016-08-02 | 2020-11-04 | PCMS Holdings, Inc. | System and method for optimizing autonomous vehicle capabilities in route planning |
| US10227075B2 (en) * | 2016-09-28 | 2019-03-12 | Baidu Usa Llc | System delay estimation method for autonomous vehicle control |
| JP6799150B2 (ja) * | 2017-05-25 | 2020-12-09 | 本田技研工業株式会社 | 車両制御装置 |
| US11453393B2 (en) * | 2017-10-09 | 2022-09-27 | Magna Electronics Inc. | Autonomous vehicle with path planning system |
| EP3495220B1 (en) * | 2017-12-11 | 2024-04-03 | Volvo Car Corporation | Path prediction for a vehicle |
| US11186293B2 (en) * | 2018-06-07 | 2021-11-30 | Here Global B.V. | Method and system for providing assistance to a vehicle or driver thereof |
| US11170299B2 (en) * | 2018-12-28 | 2021-11-09 | Nvidia Corporation | Distance estimation to objects and free-space boundaries in autonomous machine applications |
-
2018
- 2018-10-12 US US16/158,648 patent/US10800412B2/en active Active
-
2019
- 2019-05-17 CN CN201910411600.XA patent/CN111038482B/zh active Active
- 2019-06-03 DE DE102019114792.1A patent/DE102019114792B4/de active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1069598A (ja) * | 1996-08-29 | 1998-03-10 | Fuji Heavy Ind Ltd | 車両の衝突防止装置 |
| CN105292116A (zh) * | 2014-06-05 | 2016-02-03 | 通用汽车环球科技运作有限责任公司 | 自动驾驶车辆的车道变换路径规划算法 |
| DE102015201878A1 (de) * | 2015-02-04 | 2016-08-04 | Continental Teves Ag & Co. Ohg | Halbautomatisierter Spurwechsel |
| US10074279B1 (en) * | 2017-03-07 | 2018-09-11 | Denso International America, Inc. | Inference-aware motion planning |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102019114792B4 (de) | 2024-05-02 |
| US10800412B2 (en) | 2020-10-13 |
| US20200114912A1 (en) | 2020-04-16 |
| CN111038482A (zh) | 2020-04-21 |
| DE102019114792A1 (de) | 2020-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111038482B (zh) | 用于车辆路径自动控制的系统和方法 | |
| CN111204340B (zh) | 用于控制自主车辆的系统和方法 | |
| US20190337511A1 (en) | System and Method for Controlling an Autonomous Vehicle | |
| US10399600B2 (en) | Diagnostic method for an actuator in an autonomous vehicle | |
| US20200172106A1 (en) | System and method for control of an autonomous vehicle | |
| CN111216724B (zh) | 用于控制自动驾驶车辆的系统及方法 | |
| US20190061756A1 (en) | System and method for following distance adjustment for an autonomous vehicle | |
| CN111532254B (zh) | 用于控制自主车辆的系统和方法 | |
| US10739809B2 (en) | Pedal assembly for a vehicle | |
| CN110626330B (zh) | 用于检测自主车辆中的对象的系统和方法 | |
| CN111038483B (zh) | 用于车辆自主控制的系统和方法 | |
| CN110789515B (zh) | 机动车辆中用于硬件验证的系统和方法 | |
| US20210146827A1 (en) | Systems and methods to communicate an intended vehicle maneuver | |
| US11747164B2 (en) | Methods for multi-dimensional lane matching for autonomous vehicle localization | |
| US20200101979A1 (en) | System and method for autonomous control of a vehicle | |
| CN111103596A (zh) | 激光雷达系统及其控制方法 | |
| CN110920612B (zh) | 用于车辆自主控制的系统和方法 | |
| US20190369614A1 (en) | System and method for controlling an autonomous vehicle | |
| US20200183415A1 (en) | System and method for control of an autonomous vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |