CN107702727B - 一种自动驾驶过程中使车辆位置平滑的装置及方法 - Google Patents
一种自动驾驶过程中使车辆位置平滑的装置及方法 Download PDFInfo
- Publication number
- CN107702727B CN107702727B CN201710786122.1A CN201710786122A CN107702727B CN 107702727 B CN107702727 B CN 107702727B CN 201710786122 A CN201710786122 A CN 201710786122A CN 107702727 B CN107702727 B CN 107702727B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- value
- maxyaw
- vehicle position
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
Abstract
本发明涉及一种自动驾驶过程中使车辆位置平滑的装置及方法,此装置由初始模型,车辆位置信息,车辆位置预测和车辆航向约束四大模块组成;此装置使用的方法是:结合滤波模型与车辆行进过程中最大横摆角速度,对车辆位置进行平滑处理;通过本发明降低了自动驾驶系统运行过程中,由于车身位置抖动而造成的方向盘抖动,从而使自动驾驶系统控制车辆更好地运行,有效提升用户的驾乘体验,可以广泛运用于汽车自动驾驶系统领域。
Description
技术领域
本发明涉及汽车自动驾驶领域,特别是涉及一种自动驾驶过程中使车辆位置平滑的装置及方法。
背景技术
自动驾驶系统在运行过程中,实时获取的车辆位置信息是从高精度组合惯导获取,国内如星网宇达、迈普时空等厂商从事这类组合惯导的生产。但现有设备输出的车辆位置均存在一定的抖动现象,会造成自动驾驶系统在运行过程中车身的抖动,进而有可能会给乘客造成头晕等不适的驾乘体验。
造成这种现象的原因是车辆在直线行驶过程中,在较短的时间周期内,按照等时间间隔对车辆位置进行采样,并将这些位置按照时间顺序连接,理论上这种连接应该得到一条近似直线的折线段。但实际上,从组合惯导设备获取的位置信息计算出的折线段经常会呈现Z字形等异常形状,尤其是在车辆拐弯的时候变形更大,导致车身产生更大的抖动,致使乘客产生不适体验。
以往的算法中,直接运用历史位置与当前位置的均值或者使用一次函数进行拟合当前位置,效果并不理想,自动驾驶时车身的抖动仍然很明显。
发明内容
根据现有技术的不足,本发明的目的在于提供一种自动驾驶过程中使车辆位置平滑的装置及方法,以降低车辆位置的抖动,使得自动驾驶系统控制车辆更好地运行,有效提升用户的体验。
为了实现上述目的,本发明采取的技术方案如下:
本发明公开的一种自动驾驶过程中使车辆位置平滑的装置,所述装置包括如下部分:建立初始模型,设定参数建立滤波模型,设定最大偏航数值的初始值,由初始值赋值给偏航数值,偏航数值用来给车辆行进轨迹的航向进行约束;车辆位置信息模块,获取车辆位置数据,对滤波模型进行初始化;车辆位置预测模块,利用滤波模型对当前车辆位置进行预测,并结合惯导获取的当前车辆位置的观测值进行校正;车辆航向约束模块,对校正后的车辆位置进行修正,获取更新的车辆位置,若车辆位置出现异常跳动时偏航数值会变大,车辆位置恢复正常时偏航值逐渐恢复其初始值。
在上述技术方案中,所述初始化模块中,所述滤波模型为卡尔曼滤波模型,所述卡尔曼滤波模型使用OpenCV库提供的函数进行计算,卡尔曼滤波模型公式如下:
其中,x为车辆的经度,y为车辆的纬度,vx为车辆的东向速度,vy为车辆的北向速度,(x y vx vy)T k表示时刻k车辆的状态,(x y vx vy)T k+1表示时刻k+1车辆的状态。
在上述技术方案中,所述车辆航向约束模块中,当校正后的位置满足车辆的航向约束时,将校正后的位置输出,若校正后的位置不满足航向约束时,则对校正后的车辆位置进行修正,并将修正后的位置参数输出,利用车辆的偏航数值对车辆的行进轨迹进行航向约束。
在上述技术方案中,所述车辆航向约束模块中,偏航数值初始值MaxYaw0是最大横摆角速度与获取车辆当前时刻和上一时刻位置的时间差的乘积,MaxYaw0赋值给MaxYaw,车辆位置出现异常情况时,MaxYaw会进行更新,车辆位置出现异常情况是指上上一个时刻位置与上一个时刻位置的连线和上一个时刻位置与当前时刻位置的连线的向量夹角大于某个给定的阈值,车辆位置恢复正常时指上述向量夹角小于偏航数值且偏航数值大于偏航数值初始值。
在上述技术方案中,所述车辆位置信息模块中,从高精度组合惯导中提取经度、纬度、东向速度和北向速度参数,确定车辆位置信息。
本发明公开的一种自动驾驶过程中使车辆位置平滑的方法,所述方法包括以下步骤:步骤1)设定参数建立滤波模型,设定最大偏航数值的初始值,由初始值赋值给偏航数值,偏航数值用来给车辆行进轨迹的航向进行约束;步骤2)获取车辆位置数据;步骤3)判断当前模型是否初始化,若没有初始化,则进入步骤4),若已经初始化,则进入步骤5);步骤4)根据当前时刻车辆的位置数据,对滤波模型进行初始化,将当前时刻车辆的位置输出,跳转到步骤7);步骤5)利用滤波模型对当前车辆位置进行预测,并结合惯导获取的当前车辆位置的观测值进行校正;步骤6)根据车辆的航向约束初始值,对校正后的车辆位置进行修正,获取更新的车辆位置,若车辆位置出现异常跳动时偏航数值会变大,车辆位置恢复正常时偏航值逐渐恢复其初始值;步骤7)等待下一时刻,跳转到步骤2)。
在上述技术方案中,所述步骤1)中,所述滤波模型为卡尔曼滤波模型,所述卡尔曼滤波模型使用OpenCV库提供的函数进行计算,卡尔曼滤波模型公式如下:
其中,x为车辆的经度,y为车辆的纬度,vx为车辆的东向速度,vy为车辆的北向速度,(x y vx vy)T k表示时刻k车辆的状态,(x y vx vy)T k+1表示时刻k+1车辆的状态。
在上述技术方案中,所述步骤6)中,当校正后的位置满足车辆的航向约束时,将校正后的位置输出;若校正后的位置不满足航向约束时,则对校正后的车辆位置进行修正,并将修正后的位置参数输出,利用车辆的偏航数值对车辆的行进轨迹进行航向约束。
在上述技术方案中,所述步骤6)偏航数值初始值MaxYaw0是最大横摆角速度与获取车辆当前时刻和上一时刻位置的时间差的乘积,MaxYaw0赋值给MaxYaw,车辆位置出现异常情况时,MaxYaw会进行更新,车辆位置出现异常情况是指上上一个时刻位置与上一个时刻位置的连线和上一个时刻位置与当前时刻位置的连线的向量夹角大于某个给定的阈值,车辆位置恢复正常时指上述向量夹角小于偏航数值且偏航数值大于偏航数值初始值。
在上述技术方案中,所述步骤1)中,从高精度组合惯导中提取经度、纬度、东向速度和北向速度参数,确定车辆位置信息。
本发明自动驾驶过程中使车辆位置平滑的方法,具有以下有益效果:结合卡尔曼滤波与车辆行驶合理横摆角速度,使用OpenCV库提供的函数进行计算,使用了本方法之后,车身的抖动有了明显的降低,取得了良好的效果。
附图说明
图1为本发明自动驾驶过程中使车辆位置平滑的装置结构示意图;
图2为本发明自动驾驶过程中使车辆位置平滑的方法流程示意图;
图3为本发明自动驾驶过程中使车辆位置平滑的方法中对位置进行修正的示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述
如图1所示装置包括以下四大模块:
第一 建立初始模型
该模块主要是用经度x、纬度y、东向速度vx和北向速度vy,建立四维卡尔曼滤波模型。设定航向偏转值MaxYaw0,并将MaxYaw0(车辆最大横摆角速度与获取车辆当前时刻和上一时刻位置的时间差的乘积)的值赋给MaxYaw,MaxYaw这个值用于后面给车辆行进轨迹的航向进行约束,并设置最大偏转角度的乘积因子MultConf。
第二 车辆位置信息获取模块
该模块主要功能是获取车辆的位置信息数据,判断卡尔曼滤波模型是否初始化。
第三 车辆位置预测模块
该模块主要功能是通过卡尔曼滤波模型对当前车辆位置进行预测,并结合从惯导中获取的当前位置信息进行校正。
第四 车辆航向约束模块
该模块主要功能是结合车辆的航向约束值MaxYaw,当经过卡尔曼滤波器校正后的车辆位置满足航向约束时,将校正后的位置赋值给P;若校正后的位置不满足航向约束,则对校正后的车辆位置进行修正,并将修正后的位置赋值给P。
由图2所示自动驾驶中使车辆平滑的具体方法如下:
步骤一 初始模型
输入每秒钟获取车辆位置的次数FPS(每秒传输帧数),由此可算出获取车辆当前时刻与上一时刻位置的时间差。以经度x、纬度y、东向速度vx和北向速度vy建立四维卡尔曼滤波模型。将初始化标记设置为false,并将MaxYaw0(车辆最大横摆角速度与获取车辆当前时刻和上一时刻位置的时间差的乘积)的值赋给MaxYaw,MaxYaw这个值用于后面给车辆行进轨迹的航向进行约束。并设置最大偏转角度的乘积因子MultConf。
建立的卡尔曼滤波系统模型为
其中,(x y vx vy)T k表示时刻k车辆的状态,(x y vx vy)T k+1表示时刻k+1车辆的状态。
步骤二 获取当前时刻车辆的位置数据
获取当前时刻车辆的经度x、纬度y、东向速度vx、北向速度vy。
步骤三
判断当前模型是否已经初始化,若没有初始化,则跳转到步骤四;若已经初始化,则跳转到步骤五(判断是否已经初始化的依据为初始化标记是否为true,如果初始化标记为true,说明已经初始化,如果初始化标记为false,说明没有初始化)。
步骤四
根据当前时刻车辆的位置数据,对卡尔曼滤波器进行初始化。
将x0设置为x,将y0设置为y。将卡尔曼滤波器的状态量设置为(0,0,vx,vy)。将初始化标记设置为true。将位置P设置为(x,y)。跳转到步骤八。
步骤五
利用卡尔曼滤波模型对当前车辆位置进行预测,并结合从惯导中获取的当前位置信息进行校正。
步骤六
根据车辆的航向约束,对校正后的车辆位置进行修正,获取最后的车辆位置。
当校正后的位置满足车辆的航向约束时,将校正后的位置赋值给P;若校正后的位置不满足航向约束,则对校正后的车辆位置进行修正,并将修正后的位置赋值给P。
如图3所示假设当前时刻的根据卡尔曼滤波校正后的位置为A,上一时刻处理后的位置为B,上上一个时刻处理后的位置为C,计算BA与CB的夹角,若此夹角大于某一个阈值MaxYaw时,则开始对当前时刻的位置A进行修正。
假设CB的延长线为M,若角ABM大于MaxYaw,表明车辆的实际位置不会达到A,为了使得车辆的行进轨迹更为平滑,需要对A的位置进行修正,也即使得将车辆当前时刻的位置修正到点A’,同时使得角MBA’=MaxYaw,以及满足条件BA’=BA。
步骤七MaxYaw更新
车辆在静止等某些异常情况下会造成轨迹异常抖动,为了降低这些抖动,对MaxYaw进行修正更新。A,B,C,M的意义如步骤六所述,当角ABM大于30度时,将MaxYaw放大MultConf倍;当角ABM小于MaxYaw,且MaxYaw大于MaxYaw0时,将MaxYaw降低MultConf倍。
步骤八
将位置P输出。
步骤九
等待下一个时刻,跳转到步骤二。
以上所述即为本发明的具体实施方式。
说明书中未阐述的部分均为现有技术或公知常识。本实施方式仅用于说明该发明,而不用于限制本发明的范围,本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。
Claims (6)
1.一种自动驾驶过程中使车辆位置平滑的装置,其特征在于:所述装置包括如下部分:
建立初始模型,设定参数建立滤波模型,设定最大偏航数值初始值MaxYaw0,所述最大偏航数值初始值MaxYaw0是最大横摆角速度与获取车辆当前时刻和上一时刻位置的时间差的乘积;由所述最大偏航数值初始值MaxYaw0赋值给偏航数值MaxYaw,所述滤波模型为卡尔曼滤波模型,所述卡尔曼滤波模型使用OpenCV库提供的函数进行计算,卡尔曼滤波模型公式如下:
车辆位置信息模块,获取车辆位置信息数据,对滤波模型进行初始化;
车辆位置预测模块,利用滤波模型对当前车辆位置进行预测,并结合惯导获取的当前车辆位置的观测值进行校正;
车辆航向约束模块,根据所述偏航数值MaxYaw,对校正后的车辆位置进行修正,获取更新的车辆位置;具体包括:当校正后的位置满足车辆的航向约束时,将校正后的位置输出;若校正后的位置不满足航向约束时,则对校正后的车辆位置进行修正,并将修正后的位置参数输出,利用车辆的偏航数值MaxYaw对车辆的行进轨迹进行航向约束。
2.根据权利要求1所述自动驾驶过程中使车辆位置平滑的装置,其特征在于:所述车辆航向约束模块中,所述最大偏航数值初始值MaxYaw0赋值给偏航数值MaxYaw,车辆位置出现异常情况时,所述偏航数值MaxYaw会进行更新,车辆位置出现异常情况是指上上一个时刻位置与上一个时刻位置的连线和上一个时刻位置与当前时刻位置的连线的向量夹角大于某个给定的阈值,车辆位置恢复正常时指上述向量夹角小于所述偏航数值MaxYaw且偏航数值MaxYaw大于最大偏航数值初始值MaxYaw0。
3.根据权利要求1至2中任一项所述自动驾驶过程中使车辆位置平滑的装置,其特征在于:所述车辆位置信息模块中,从高精度组合惯导中提取经度、纬度、东向速度、北向速度参数,确定车辆位置信息。
4.一种自动驾驶过程中使车辆位置平滑的方法,其特征在于:所述方法包括以下步骤:
步骤1)设定参数建立滤波模型,设定最大偏航数值初始值MaxYaw0,所述最大偏航数值初始值MaxYaw0是最大横摆角速度与获取车辆当前时刻和上一时刻位置的时间差的乘积;所述最大偏航数值初始值MaxYaw0赋值给偏航数值MaxYaw,所述滤波模型为卡尔曼滤波模型,所述卡尔曼滤波模型使用OpenCV库提供的函数进行计算,卡尔曼滤波模型公式如下:
步骤2)获取车辆位置数据;
步骤3)判断当前模型是否初始化,若没有初始化,则进入步骤4),若已经初始化,则进入步骤5);
步骤4)根据当前时刻车辆的位置数据,对滤波模型进行初始化,将当前时刻车辆的位置输出,跳转到步骤7);
步骤5)利用滤波模型对当前车辆位置进行预测,并结合惯导获取的当前车辆位置的观测值进行校正;
步骤6)根据车辆的航向约束偏航数值MaxYaw,对校正后的车辆位置进行修正,获取更新的车辆位置;具体包括:当校正后的位置满足车辆的航向约束时,将校正后的位置输出,若校正后的位置不满足航向约束时,则对校正后的车辆位置进行修正,并将修正后的位置参数输出,利用车辆的偏航数值MaxYaw对车辆的行进轨迹进行航向约束;
步骤7)等待下一时刻,跳转到步骤2)。
5.根据权利要求4所述自动驾驶过程中使车辆位置平滑的方法,其特征在于:所述步骤6)中,所述最大偏航数值初始值MaxYaw0赋值给偏航数值MaxYaw,车辆位置出现异常情况时,所述偏航数值MaxYaw会进行更新,车辆位置出现异常情况是指上上一个时刻位置与上一个时刻位置的连线和上一个时刻位置与当前时刻位置的连线的向量夹角大于某个给定的阈值,车辆位置恢复正常时指上述向量夹角小于偏航数值MaxYaw且偏航数值MaxYaw大于所述最大偏航数值初始值MaxYaw0。
6.根据权利要求4至5中任一项所述自动驾驶过程中使车辆位置平滑的方法,其特征在于:所述步骤1)中,从高精度组合惯导中提取经度、纬度、东向速度、北向速度参数,确定车辆位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710786122.1A CN107702727B (zh) | 2017-09-04 | 2017-09-04 | 一种自动驾驶过程中使车辆位置平滑的装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710786122.1A CN107702727B (zh) | 2017-09-04 | 2017-09-04 | 一种自动驾驶过程中使车辆位置平滑的装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107702727A CN107702727A (zh) | 2018-02-16 |
CN107702727B true CN107702727B (zh) | 2020-02-04 |
Family
ID=61171953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710786122.1A Active CN107702727B (zh) | 2017-09-04 | 2017-09-04 | 一种自动驾驶过程中使车辆位置平滑的装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107702727B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458733B (zh) * | 2020-01-22 | 2022-05-24 | 武汉光庭科技有限公司 | 一种结合gps定位与车身信息的位姿校正方法及装置 |
CN113766426B (zh) * | 2020-06-29 | 2024-04-12 | 京东城市(北京)数字科技有限公司 | 车辆行驶风险的预警方法、预警装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1221586A3 (en) * | 2001-01-08 | 2004-06-16 | Motorola, Inc. | Position and heading error-correction method and apparatus for vehicle navigation systems |
CN102336191A (zh) * | 2011-07-05 | 2012-02-01 | 昆山力久新能源汽车技术有限公司 | 一种基于模型的电机驱动车辆的防抖控制方法 |
CN103868523A (zh) * | 2012-12-07 | 2014-06-18 | 现代自动车株式会社 | 获取车辆的偏航率传感器的偏差的系统和方法 |
JP2016137820A (ja) * | 2015-01-28 | 2016-08-04 | Ntn株式会社 | 車両姿勢制御装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10317421B2 (en) * | 2014-03-31 | 2019-06-11 | Stmicroelectronics S.R.L | Positioning apparatus comprising an inertial sensor and inertial sensor temperature compensation method |
-
2017
- 2017-09-04 CN CN201710786122.1A patent/CN107702727B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1221586A3 (en) * | 2001-01-08 | 2004-06-16 | Motorola, Inc. | Position and heading error-correction method and apparatus for vehicle navigation systems |
CN102336191A (zh) * | 2011-07-05 | 2012-02-01 | 昆山力久新能源汽车技术有限公司 | 一种基于模型的电机驱动车辆的防抖控制方法 |
CN103868523A (zh) * | 2012-12-07 | 2014-06-18 | 现代自动车株式会社 | 获取车辆的偏航率传感器的偏差的系统和方法 |
JP2016137820A (ja) * | 2015-01-28 | 2016-08-04 | Ntn株式会社 | 車両姿勢制御装置 |
Non-Patent Citations (3)
Title |
---|
Autonomous convoy driving by night: The vehicle tracking system;Carsten Fries;《2015 IEEE International Conference on Technologies for Practical Robot Applications (TePRA)》;20150827;第1-6页 * |
基于MEMS陀螺的自动驾驶仪设计;魏华;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20080115(第01期);第C032-56页 * |
面向自动驾驶的动态路径规划避障算法;周慧子 等;《计算机应用》;20170310;第37卷(第03期);第883-888页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107702727A (zh) | 2018-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020253854A1 (zh) | 移动机器人姿态角解算方法 | |
CN110414365B (zh) | 基于社会力模型的过街行人轨迹预测方法、系统及介质 | |
CN103568953B (zh) | 全景监控影像系统以及监控方法 | |
US10809719B2 (en) | Systems and methods of controlling an autonomous vehicle using an enhanced trajectory following configuration | |
US11698642B2 (en) | Information processing apparatus, mobile object, control system, and information processing method | |
CN107702727B (zh) | 一种自动驾驶过程中使车辆位置平滑的装置及方法 | |
US10629071B1 (en) | Adaptive traffic control using vehicle trajectory data | |
CN110779538A (zh) | 相对于自主导航而跨本地和基于云的系统来分配处理资源 | |
KR20200050959A (ko) | 화상 처리 디바이스, 화상 처리 방법, 및 프로그램 | |
CN112433531A (zh) | 一种自动驾驶车辆的轨迹跟踪方法、装置及计算机设备 | |
WO2019156072A1 (ja) | 姿勢推定装置 | |
CN111458733B (zh) | 一种结合gps定位与车身信息的位姿校正方法及装置 | |
US10474148B2 (en) | Navigating an unmanned aerial vehicle | |
DE102013016243A1 (de) | Verfahren und Vorrichtung zur Koppelnavigation eines Fahrzeugs mittels fahrzeugspezifischer Bewegungsparameter | |
CN111880557A (zh) | 一种无人机集群编队飞行控制方法及装置 | |
CN114771551A (zh) | 自动驾驶车辆轨迹规划方法、装置和自动驾驶车辆 | |
US10380435B2 (en) | Image processing apparatus | |
JP7112255B2 (ja) | 車両データの時刻同期装置及び方法 | |
CN112902973A (zh) | 车辆定位信息修正方法及相关设备 | |
CN106601076B (zh) | 一种基于捷联惯导和面阵相机的汽车自助训练装置及方法 | |
CN111854788B (zh) | 基于惯性测量单元的ar导航补偿系统 | |
CN107745677A (zh) | 一种基于3d全景影像系统的4d车底透明系统的方法 | |
CN112752693A (zh) | 车辆数据弹道估计 | |
CN114581511A (zh) | 无人机视觉定位轨迹平滑方法、电子设备及存储介质 | |
JP2019129341A (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |