CN111854678A - 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法 - Google Patents

一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法 Download PDF

Info

Publication number
CN111854678A
CN111854678A CN202010691536.8A CN202010691536A CN111854678A CN 111854678 A CN111854678 A CN 111854678A CN 202010691536 A CN202010691536 A CN 202010691536A CN 111854678 A CN111854678 A CN 111854678A
Authority
CN
China
Prior art keywords
point
camera
measurement
semantic segmentation
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010691536.8A
Other languages
English (en)
Other versions
CN111854678B (zh
Inventor
高飞
邱琪
葛一粟
卢书芳
翁立波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010691536.8A priority Critical patent/CN111854678B/zh
Publication of CN111854678A publication Critical patent/CN111854678A/zh
Application granted granted Critical
Publication of CN111854678B publication Critical patent/CN111854678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法,它包括对测量场地进行标定;对测量物体拍摄并制作数据集进行语义分割的训练;通过训练出的模型实现图像定位,结合本文的数学模型实现位置和姿态的测量。本发明基于单目视觉测量和语义分割,能适应各种宽度已知高度未知的物体,相关参数经过卡尔曼滤波优化,能够快速准确地实现定位。

Description

一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
技术领域
本发明涉及视觉测量技术领域,具体是一种单目视觉下基于语义分割和卡尔曼滤波对目标物体相对于参照物的位置和姿态测量的方法。
背景技术
视觉测量是以计算机视觉为理论基础,对物体几何尺寸、位置或姿态的精确 测量。它具有非接触性、测量精度高和速度快等特点,在质量监控、机器人导航、 辅助泊车和港口自动化等多个领域有广阔的应用。近年来,区域间的交流协作日 益紧密。港口作为全球贸易的流通载体,在区域经济发展中具有重要地位。面对 港口集装箱吞吐量的不断增长,集装箱码头对装卸效率的要求越来越高。自动化 地识别集装箱或集装箱卡车,辅助装卸货的位姿测量方法能极大地提高港口效率。
为了提高陆侧集装箱装卸作业的效率,国内外学术界、工业界提出了许多基 于视觉方法实现集装箱卡车的无人引导。其中较为接近的方法包括:Jerney Mrovlj(MrovljeJ,
Figure BDA0002589556630000011
D.Automatic detection of the truck position using stereoscopy[C]//IEEE International Conference on Industrial Technology.IEEE,2012:755-759.)提出在集卡车架侧面安置标识块,然后用一 对平行于地面的双目相机,识别标志块的精确位置,根据先验知识计算集装箱可 能的位置并给出停靠建议。该方案的缺陷在于需要在集卡上安装标识块,对外来 集卡不适用,而且该方案无法提供集卡相对于停车线的水平位置及偏斜角信息。 汪韬(一种基于双目视觉的集卡定位与引导的方法及其系统,专利号:ZL201510599986.3)提出使用一对平行于地面,光轴与停车线共面的双目相机, 先使用双目相机完成地面的标定,然后使用其中一个相机实现集卡定位,最后在 显示屏中显示出清晰的示意图。该方案的缺陷一个是使用双目相机比单目相机成 本更高,一个是相机安装难度较高,容易出现安装误差。发明专利(公开号: CN101096262A,名称:集装箱起重机的集卡车对位系统和方法)利用摄像机拍摄 集卡图像并与起重机吊具轮廓比对完成粗定位,然后利用激光扫描集卡进行精确 定位,该方案效率低、成本高。
综上所述,当前解决方案都有一定的局限性,无法在简易安装的基础上准确、 经济地解决集卡位姿测量问题。
发明内容
为克服现有技术上的不足,本发明的目的在于提供一种单目视觉下基于语义 分割实现集卡位姿测量的方法。它以语义分割对单目相机拍摄的图像进行图像定 位,再结合卡尔曼滤波优化后的停车场地的物理参数,准确实现集卡位姿测量, 并在显示屏上给出直观的结果。
所述的一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法,其特征 在于包括如下步骤:
步骤1:根据实际场地大小定制一张正方形黑白格组成的标定板,将标定板 边界平行于停车线放置在待测地面,固定相机拍取20幅图像,使用张氏标定法得 到相机的内参矩阵K、外参矩阵R和T,并选择其中一幅清晰图像计算该图像对 应的图像坐标到待测地面坐标的转换矩阵M;
步骤2:以步骤1中选取的图像建立待测地面的世界坐标系,具体为:取标 定板中最接近停车线与车道交点的内部角点为原点,以标定板中平行于停车线的 边界作为Y轴,平行于车道的边界作为X轴,垂直于地面向上过原点的射线为Z 轴;此时,相机坐标系中相机坐标为(0,0,0),根据式(1)计算得到对应的世界坐 标系中相机坐标为(Xw,Yw,Zw);
Figure BDA0002589556630000021
其中,R和T为步骤1中的相机外参矩阵;
步骤3:使用工业相机拍摄至少3000张集卡不同位姿的图像作为样本,使用 特征提取网络MobileNetV2和语义分割网络BiseNet,训练得到对集卡顶部的语义 分割模型;
步骤4:记集卡端部线段的两个端点分别为A点和B点,点E为连接相机光 心和点A的直线与待测平面的交点,点F为连接相机光心和点B的直线与待测平 面的交点,由步骤3中语义分割得到点E、F的图像坐标,分别代入式(2)计算对 应的世界坐标,再根据式(3)计算得到线段EF长度LEF
Figure BDA0002589556630000031
Figure BDA0002589556630000032
其中,M为相机的图像坐标到世界坐标的转换矩阵,(u,v,0)表示待测平面上点 的图像坐标,(X,Y,0)表示该点对应的世界坐标,(XE,YE,0)和(XF,YF,0)分别 表示点E、F对应的世界坐标;
步骤5:根据方程组(4)对LEF进行kmax次迭代测量,其中,第k次迭代测量 得到的LEF的结果记为
Figure BDA0002589556630000033
将k=0时LEF的值记为
Figure BDA0002589556630000034
从后续迭代测量开始,
即k=1,2,…,实现对LEF真值的逼近测量;
Figure BDA0002589556630000035
其中,
Figure BDA0002589556630000036
Pk-1分别表示第k-1次对LEF的迭代测量结果和对应的协方差,P0设置为0,
Figure BDA0002589556630000037
分别表示第k次对LEF的估计值和对应的协方差,Lk、Kk分别 表示第k次直接测量结果和卡尔曼增益,R为事先设置的环境误差,其取值范围 为0.01≤R≤10,kmax为最大测量次数;
步骤6:将步骤5迭代计算得到的
Figure BDA0002589556630000038
作为最终的LEF代入式(5),计算出集 卡端部相对于停车线的实际距离l;
根据式(6)计算集卡端部直线与停车线的相对角度degree;计算得到l和degree,即实现了集卡的精确定位;
Figure BDA0002589556630000039
degree=arctan((YE-YF)/(XE-XF)) (6)
其中,LAB表示集卡端部线段AB的长度,LEF表示该线段在待测平面上的投影EF 的长度,Xmin为点E和F的X坐标中的最小值,X1为相机垂直投影点的X坐标的 绝对值,degree表示车端部与停车线的相对角度,arctan为反正切函数,(XE,YE, 0)和(XF,YF,0)分别表示点E、F的世界坐标。
与现有技术相比,本发明的有益效果为:本发明基于单目视觉测量和语义分 割,成本低廉,算法鲁棒性高,能适应各种宽度已知高度未知的物体,计算速度 优于双目视觉,相关参数经过卡尔曼滤波优化,能够快速准确地实现集卡定位, 并且安装难度低,对相机安装角度无特殊要求,只需停车线和车端部在相机视野 即可。
附图说明
图1为标定地面所需黑白格标定布示例;
图2为单目视觉车辆定位模型,以标定板中平行于停车线的边界作为Y轴, 平行于车道的边界作为X轴,过两者交点Ow垂直于平面O的直线为Z轴建立世 界坐标系,其中c为单目相机,A′B′为物体端部直线AB在图像平面的投影,CD 作为AB在平面O上的垂直投影;
图3为对XOZ平面的侧投影模型灰度图,其中h表示车端部到地面高度,H 表示相机到地面高度,X1为相机到停车线水平距离,b表示测量误差CE,c表示 实际停车距离,Ow为世界坐标原点,表示停车线L位置;
图4为AB在平面O上投影示意图,EF为AB沿着相机正方向在平面O上的 投影;
图5为验证程序效果图灰度图。
具体实施方式
下面结合说明书附图和实例,对本发明进行进一步的说明。
如图1-5所示,本发明的一种单目视觉下基于语义分割和卡尔曼滤波的位姿 测量方法,具体包括如下步骤:
步骤1:根据实际场地大小定制一张如图1所示的正方形黑白格组成的标定 板,将标定板边界平行于停车线放置在待测地面,固定相机拍取20幅图像,使用 张氏标定法得到相机的内参矩阵K、外参矩阵R和T,并选择其中一幅清晰图像 计算该图像对应的相机的图像坐标到待测地面坐标的转换矩阵M;
步骤2:如图2所示,以步骤1中选取的图像建立待测地面的世界坐标系, 具体为:取标定板中最接近停车线与车道交点的内部角点为原点,以标定板中平 行于停车线的边界作为Y轴,平行于车道的边界作为X轴,垂直于地面向上过原 点的射线为Z轴;此时,相机坐标系中相机坐标为(0,0,0),并根据式(1)计算得 到世界坐标系中对应的相机坐标(Xw,Yw,Zw);
Figure BDA0002589556630000051
其中,R和T为步骤1中的相机外参矩阵;
步骤3:使用工业相机拍取3000张集卡不同位姿的图像作为样本,使用特征 提取网络MobileNetV2和语义分割网络BiseNet,训练得到对集卡顶部的语义分割 模型;
步骤4:如图3所示,集卡端部线段的两个端点分别为A点和B点,X1为 相机垂直投影点的X坐标的绝对值,C为A点在待测平面的垂直投影,D为B 点的垂直投影,点E为连接相机光心和点A的直线与待测平面的交点,点F为连 接相机光心和点B的直线与待测平面的交点,由步骤3中语义分割得到点E、F 的图像坐标,分别代入式(2)计算对应的世界坐标,再根据式(3)计算得到线段EF 长度LEF
Figure BDA0002589556630000052
Figure BDA0002589556630000053
其中,M为相机的图像坐标到世界坐标的转换矩阵,(u,v,0)表示待测平面上点 的图像坐标,(X,Y,0)表示该点对应的世界坐标,(XE,YE,0)和(XF,YF,0)分别 表示点E、F对应的世界坐标;
步骤5:根据方程组(4)对LEF进行kmax次迭代测量,其中,第k次迭代测量 得到的LEF的结果记为
Figure BDA0002589556630000061
将k=0时LEF的值记为
Figure BDA0002589556630000062
从后续迭代测量开始, 即k=1,2,…,实现对LEF真值的逼近测量;
Figure BDA0002589556630000063
其中,
Figure BDA0002589556630000064
Pk-1分别表示第k-1次对LEF的迭代测量结果和对应的协方差,P0设置为0,
Figure BDA0002589556630000065
分别表示第k次对LEF的估计值和对应的协方差,Lk、Kk分别 表示第k次直接测量结果和卡尔曼增益,R为事先设置的环境误差,其取值范围 为0.01≤R≤10,kmax为最大测量次数,即方程组(4)迭代计算的终止条件;在本实 施例中,考虑停车测量的实时性及测量环境,设置kmax=10,R=0.1;
步骤6:将步骤5迭代计算得到的
Figure BDA0002589556630000066
作为最终的LEF代入式(5),计算出集 卡端部相对于停车线的实际距离l;根据式(6)计算集卡端部直线与停车线的相对 角度degree;计算得到l和degree,即实现了集卡的精确定位;
Figure BDA0002589556630000067
degree=arctan((YE-YF)/(XE-XF)) (6)
其中,LAB表示集卡端部线段AB的长度,LEF表示该线段在待测平面上的投影EF 的长度,Xmin为点E和F的X坐标中的最小值,X1为相机垂直投影点的X坐标的 绝对值,degree表示车端部与停车线的相对角度,arctan为反正切函数,(XE,YE, 0)和(XF,YF,0)分别表示点E、F的世界坐标;
步骤7:如图5所示,在程序中根据上述步骤计算结果,使用GDI绘制车道、 停车线以及车辆相对位置,为集卡司机呈现直观的结果。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的 保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也 及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法,其特征在于包括如下步骤:
步骤1:根据实际场地大小定制一张正方形黑白格组成的标定板,将标定板边界平行于停车线放置在待测地面,固定相机拍取20幅图像,使用张氏标定法得到相机的内参矩阵K、外参矩阵R和T,并选择其中一幅清晰图像计算该图像对应的图像坐标到待测地面坐标的转换矩阵M;
步骤2:以步骤1中选取的图像建立待测地面的世界坐标系,具体为:取标定板中最接近停车线与车道交点的内部角点为原点,以标定板中平行于停车线的边界作为Y轴,平行于车道的边界作为X轴,垂直于地面向上过原点的射线为Z轴;此时,相机坐标系中相机坐标为(0,0,0),根据式(1)计算得到对应的世界坐标系中相机坐标为(Xw,Yw,Zw);
Figure FDA0002589556620000011
其中,R和T为步骤1中的相机外参矩阵;
步骤3:使用工业相机拍摄至少3000张集卡不同位姿的图像作为样本,使用特征提取网络MobileNetV2和语义分割网络BiseNet,训练得到对集卡顶部的语义分割模型;
步骤4:记集卡端部线段的两个端点分别为A点和B点,点E为连接相机光心和点A的直线与待测平面的交点,点F为连接相机光心和点B的直线与待测平面的交点,由步骤3中语义分割得到点E、F的图像坐标,分别代入式(2)计算对应的世界坐标,再根据式(3)计算得到线段EF长度LEF
Figure FDA0002589556620000012
Figure FDA0002589556620000013
其中,M为相机的图像坐标到世界坐标的转换矩阵,(u,v,0)表示待测平面上点的图像坐标,(X,Y,0)表示该点对应的世界坐标,(XE,YE,0)和(XF,YF,0)分别表示点E、F对应的世界坐标;
步骤5:根据方程组(4)对LEF进行kmax次迭代测量,其中,第k次迭代测量得到的LEF的结果记为
Figure FDA0002589556620000021
将k=0时LEF的值记为
Figure FDA0002589556620000022
从后续迭代测量开始,即k=1,2,…,实现对LEF真值的逼近测量;
Figure FDA0002589556620000023
其中,
Figure FDA0002589556620000024
Pk-1分别表示第k-1次对LEF的迭代测量结果和对应的协方差,P0设置为0,
Figure FDA0002589556620000025
分别表示第k次对LEF的估计值和对应的协方差,Lk、Kk分别表示第k次直接测量结果和卡尔曼增益,R为事先设置的环境误差,其取值范围为0.01≤R≤10,kmax为最大测量次数;
步骤6:将步骤5迭代计算得到的
Figure FDA0002589556620000026
作为最终的LEF代入式(5),计算出集卡端部相对于停车线的实际距离l;根据式(6)计算集卡端部直线与停车线的相对角度degree;计算得到l和degree,即实现了集卡的精确定位;
Figure FDA0002589556620000027
degree=arctan((YE-YF)/(XE-XF)) (6)
其中,LAB表示集卡端部线段AB的长度,LEF表示该线段在待测平面上的投影EF的长度,Xmin为点E和F的X坐标中的最小值,X1为相机垂直投影点的X坐标的绝对值,degree表示车端部与停车线的相对角度,arctan为反正切函数,(XE,YE,0)和(XF,YF,0)分别表示点E、F的世界坐标。
CN202010691536.8A 2020-07-17 2020-07-17 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法 Active CN111854678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010691536.8A CN111854678B (zh) 2020-07-17 2020-07-17 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010691536.8A CN111854678B (zh) 2020-07-17 2020-07-17 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法

Publications (2)

Publication Number Publication Date
CN111854678A true CN111854678A (zh) 2020-10-30
CN111854678B CN111854678B (zh) 2022-02-15

Family

ID=73002048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010691536.8A Active CN111854678B (zh) 2020-07-17 2020-07-17 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法

Country Status (1)

Country Link
CN (1) CN111854678B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114323020A (zh) * 2021-12-06 2022-04-12 纵目科技(上海)股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050261573A1 (en) * 2004-05-14 2005-11-24 Canon Kabushiki Kaisha Method and apparatus for determining position and orientation
CN101216937A (zh) * 2007-01-05 2008-07-09 上海海事大学 港口运动集装箱定位系统的参数标定方法
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN109961476A (zh) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 基于视觉的地下停车场的定位方法
CN110412635A (zh) * 2019-07-22 2019-11-05 武汉大学 一种环境信标支持下的gnss/sins/视觉紧组合方法
CN110543612A (zh) * 2019-06-27 2019-12-06 浙江工业大学 一种基于单目视觉测量的集卡定位方法
WO2019242628A1 (en) * 2018-06-19 2019-12-26 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for pose determination
US20200132471A1 (en) * 2017-06-05 2020-04-30 Hitachi Automotive Systems, Ltd. Position Estimating Device
US20200217668A1 (en) * 2019-01-04 2020-07-09 Ford Global Technologies, Llc Localization technique

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050261573A1 (en) * 2004-05-14 2005-11-24 Canon Kabushiki Kaisha Method and apparatus for determining position and orientation
CN101216937A (zh) * 2007-01-05 2008-07-09 上海海事大学 港口运动集装箱定位系统的参数标定方法
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
US20200132471A1 (en) * 2017-06-05 2020-04-30 Hitachi Automotive Systems, Ltd. Position Estimating Device
CN109961476A (zh) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 基于视觉的地下停车场的定位方法
WO2019242628A1 (en) * 2018-06-19 2019-12-26 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for pose determination
US20200217668A1 (en) * 2019-01-04 2020-07-09 Ford Global Technologies, Llc Localization technique
CN110543612A (zh) * 2019-06-27 2019-12-06 浙江工业大学 一种基于单目视觉测量的集卡定位方法
CN110412635A (zh) * 2019-07-22 2019-11-05 武汉大学 一种环境信标支持下的gnss/sins/视觉紧组合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAO FEI: "Research on container loading problem based on the packing tree algorithm", 《INFORMATION AND CONTROL》 *
高飞: "基于空间平面约束的视觉定位模型研究", 《仪器仪表学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114323020A (zh) * 2021-12-06 2022-04-12 纵目科技(上海)股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质
CN114323020B (zh) * 2021-12-06 2024-02-06 纵目科技(上海)股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111854678B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN110148185B (zh) 确定成像设备坐标系转换参数的方法、装置和电子设备
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN103559711A (zh) 基于三维视觉系统图像特征和三维信息的运动估计方法
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
Chen et al. Identification of autonomous landing sign for unmanned aerial vehicle based on faster regions with convolutional neural network
CN109448059B (zh) 一种快速x角点亚像素检测方法
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和系统
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
CN109870106A (zh) 一种基于无人机图片的建筑物体积测量方法
CN110766761A (zh) 用于相机标定的方法、装置、设备和存储介质
Ye et al. Extrinsic calibration of a monocular camera and a single line scanning Lidar
CN111854678B (zh) 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN110751693A (zh) 用于相机标定的方法、装置、设备和存储介质
CN110543612B (zh) 一种基于单目视觉测量的集卡定位方法
CN116160458B (zh) 一种移动机器人多传感器融合快速定位方法、设备及系统
CN116091603A (zh) 一种基于点特征的箱体工件位姿测量方法
CN110322508A (zh) 一种基于计算机视觉的辅助定位方法
CN109815966A (zh) 一种基于改进sift算法的移动机器人视觉里程计实现方法
CN107292932B (zh) 基于图像膨胀率的迎面视频测速方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN116091401A (zh) 基于目标检测和复合目标码的航天器装配件识别定位方法
CN114963981A (zh) 一种基于单目视觉的筒状零件对接非接触式测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant