CN110543612A - 一种基于单目视觉测量的集卡定位方法 - Google Patents

一种基于单目视觉测量的集卡定位方法 Download PDF

Info

Publication number
CN110543612A
CN110543612A CN201910569622.9A CN201910569622A CN110543612A CN 110543612 A CN110543612 A CN 110543612A CN 201910569622 A CN201910569622 A CN 201910569622A CN 110543612 A CN110543612 A CN 110543612A
Authority
CN
China
Prior art keywords
ground
container
truck
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910569622.9A
Other languages
English (en)
Other versions
CN110543612B (zh
Inventor
高飞
邱琪
刘浩然
卢书芳
张元鸣
陆佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910569622.9A priority Critical patent/CN110543612B/zh
Publication of CN110543612A publication Critical patent/CN110543612A/zh
Application granted granted Critical
Publication of CN110543612B publication Critical patent/CN110543612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目视觉测量实现集卡定位的方法,包括如下步骤:步骤1:测量得到集卡的实际高度h,单目相机相对于地面的高度H,根据实际场地大小定制一张正方形黑白格组成的标定板;步骤2:以步骤1中选取的图片建立待测地面的默认坐标系,步骤3:当集卡未装载集装箱时,依次对拍摄到的车端部图像进行灰度化、基于多结构元的形态学混合滤波和边缘检测;当集卡装载集装箱时使用Hog+SVM来识别图像中的集卡端部锁孔位置;步骤4:根据式(2)计算集卡停车位置误差b:步骤5:计算出集卡端部相对于停车线的实际距离以及集卡端部直线与停车线的相对角度,实现精确的集卡定位。本发明的有益效果为:成本低廉,能够快速准确地实现集卡定位。

Description

一种基于单目视觉测量的集卡定位方法
技术领域
本发明涉及视觉测量技术领域,具体设计一种基于单目视觉测量集卡定位方 法。
背景技术
近年来,区域间的交流协作日益紧密。港口作为全球贸易的流通载体,在区 域经济发展中具有重要地位。面对港口集装箱吞吐量的不断增长,集装箱码头对 装卸效率的要求越来越高。集装箱码头日益自动化,然而,在海侧与陆侧作业中, 依然需要人力协助完成。
为了提高陆侧集装箱装卸作业的效率,国内外学术界、工业界提出了许多基 于视觉方法实现集装箱卡车的无人引导。其中较为接近的方法包括:Jerney Mrovlj(MrovljeJ,D.Automatic detection of the truck position using stereoscopy[C]//IEEE International Conference on Industrial Technology.IEEE,2012:755-759.)提出在集卡(集装箱卡车)车架侧面安置标 识块,然后用一对平行于地面的双目相机,识别标志块的精确位置,根据先验知 识计算集装箱可能的位置并给出停靠建议。该方案的缺陷在于需要在集卡上安装 标识块,对外来集卡不适用,而且该方案无法提供集卡相对于停车线的水平位置 及偏斜角信息。(专利号:ZL201510599986.3,名称为:一种基于双目视觉的集卡定位与引导的方法及其系统)提出使用一对平行于地面,光轴与停车线共面的 双目相机,先使用双目相机完成地面的标定,然后使用其中一个相机实现集卡定 位,最后在显示屏中显示出清晰的示意图。该方案的缺陷一个是使用双目相机比 单目相机成本更高,一个是相机安装难度较高,容易出现安装误差。(发明专利 公开号:CN101096262A,名称:集装箱起重机的集卡车对位系统和方法)利用摄 像机拍摄集卡图像并与起重机吊具轮廓比对完成粗定位,然后利用激光扫描集卡 进行精确定位,该方案效率低、成本高。
综上所述,当前解决方案都有一定的局限性,无法在简易安装的基础上准确、 经济地解决集卡定位问题。
发明内容
为克服现有技术上的不足,本发明的目的在于提供一种基于单目视觉测量实 现集卡定位的方法。它以单目相机拍摄的图片,结合停车场地的物理参数,准确 实现集卡定位,并在显示屏上给出直观的结果。
本发明技术方案如下:一种基于单目视觉测量实现集卡定位的方法,其特征 在于,包括如下步骤:
步骤1:测量得到集卡的实际高度h,单目相机相对于地面的高度H,根据实 际场地大小定制一张正方形黑白格组成的标定板,将标定板边界平行于停车线放 置在待测地面,固定相机拍取10-30幅图片,使用张氏标定法,标定待测地面得 到相机的内参矩阵K,外参矩阵R和T,并选择其中一幅清晰图片计算该图片对 应的相机的图像坐标到待测地面坐标的转换矩阵M;
步骤2:以步骤1中选取的图片建立待测地面的默认坐标系,具体为:取最 接近停车线与车道交点的内部角点为原点,以标定板中平行于停车线的边界作为 Y轴,平行于车道的边界作为X轴,垂直于地面过原点的直线为Z轴;在此基础 上,测量出停车线到Y轴的距离S,此时,相机坐标系中相机坐标为[0,0,0]T,并 根据式(1)计算得到对应的地面坐标系中相机坐标[Xw,Yw,Zw];
步骤3:当集卡未装载集装箱时,依次对拍摄到的车端部图像进行灰度化、 基于多结构元的形态学混合滤波和边缘检测,并筛选出图像中车端部直线位置; 当集卡装载集装箱时使用Hog+SVM来识别图像中的集装箱锁孔位置,根据图像 中的集卡端部直线位置或者集装箱锁孔位置和转换矩阵M,换算出地面坐标系下 的直线位置,其中,图像中直线或锁孔位置由两端点P1(Xp1,Yp1)和P2(Xp2,Yp2)表示, 与转换矩阵M相乘换算得到两点对应世界坐标系下在地面的投影点坐标 Pw1(Xpw1,Ypw1),Pw2(Xpw2,Ypw2);
步骤4:根据式(2)计算集卡停车位置误差b:
其中,a表示Pw1或Pw2计算所得停车距离,h表示车端部到地面高度,H表示 相机到地面高度,X1、X2分别为相机到停车线水平距离、停车线与世界坐标Y轴 距离,式(2)中变量单位皆为mm,若取Pw1、Pw2两点中X较小值为a代入式 (2),解得误差b,此时实际停车距离记为c=a-b;
步骤5:根据式(3)-(7)进行矫正,即可计算出集卡端部相对于停车线的实际距 离以及集卡端部直线与停车线的相对角度,实现精确的集卡定位:
k1=(Ycamera-Ypw1)/(Xcamera-Xpw1) (3)
k2=(Ycamera-Ypw2)/(Xcamera-Xpw2) (4)
Ytrue1=Ypw1-k1(Xcamera-Xpw1) (5)
Ytrue2=Ypw2-k2(Xcamera-Xpw2) (6)
Xtrue=a-b-X2 (7)
degree=Atan((Ytrue2-Ytrue1)/(Xtrue2-Xtrue1)) (8)
其中,Xtrue、Ytrue表示地面坐标系下真实车端坐标在地平面的投影点坐标的X,Y值,Xcamera、Ycamera表示相机在地面坐标系下在地平面的投影点坐标,记为点cam, k1、k2表示点cam分别与点Pw1、Pw2连线的斜率,a、b分别表示测量停车距离 和对应误差,degree表示车端部与停车线相对角度。
与现有技术相比,本发明的有益效果为:本发明基于单目视觉测量,成本低 廉,计算速度优于双目视觉,能够快速准确地实现集卡定位,并且安装难度低, 对相机安装角度无特殊要求,只需停车线和车端部在相机视野即可。同时为基于 单目视觉测量的应用提供了一种新思路。
附图说明
图1为标定地面所需黑白格标定布示例;
图2方框部分为集装箱锁孔位置模型示意图,横线为集卡车端部位置模型示 意图;
图3为单目视觉车辆定位模型示意图;
图4为单目视觉车辆定位误差示意图;
图5为误差侧面图,其中a表示测量停车距离,h表示车端部到地面高度,H 表示相机到地面高度,X1、X2分别为相机到停车线水平距离、停车线与世界 坐标Y轴距离,b表示测量误差,c表示实际停车距离,o为世界坐标原点, 表示停车线位置;
图6为验证程序效果图。
具体实施方式
下面结合附图和实例,对本发明进行进一步的说明。
本发明的基于单目视觉测量集卡定位方法,具体包括如下步骤:
步骤1:测量得到集卡的实际高度h,单目相机相对于地面的高度H,根据实 际场地大小定制一张正方形黑白格组成的标定板,如图1所示;将标定板边界平 行于图2所示停车线平铺在待测地面,固定相机拍取20幅图片,使用张氏标定法, 标定待测地面得到相机的内参矩阵K,外参矩阵R和T,并选择其中一幅清晰图 片结合其角点坐标使用最小二乘法计算该图片对应的相机图像坐标到待测地面坐 标的转换矩阵M;
步骤2:以步骤1中选取的图片建立待测地面的默认坐标系,如图3所示具 体为:取最接近停车线与车道交点的内部角点为原点,以标定板中平行于停车线 的边界作为Y轴,平行于车道的边界作为X轴,垂直于地面过原点的直线为Z轴; 在此基础上,测量出停车线到Y轴的距离S,此时,相机坐标系中相机坐标为 [0,0,0]T,并根据式(1)计算得到对应的地面坐标系中相机坐标[Xw,Yw,Zw];
步骤3:当集卡未装载集装箱时,依次对拍摄到的车端部图像进行灰度化、 基于多结构元的形态学混合滤波和边缘检测,并筛选出图像中车端部直线位置; 当集卡装载集装箱时使用Hog+SVM来识别图像中的集装箱锁孔位置,根据图像 中集卡端部直线位置或者集装箱锁孔位置和转换矩阵M,可以初步换算出地面坐 标系下的直线位置,其中,图像中直线或锁孔位置由两端点P1(Xp1,Yp1)和P2(Xp2,Yp2) 表示,与转换矩阵M相乘换算得到两点对应世界坐标系下在地面的投影点坐标 Pw1(Xpw1,Ypw1),Pw2(Xpw2,Ypw2);
步骤4:如图4所示,由于相机安装角度与待测地面不垂直,步骤3中得到 的车端部两端点坐标存在误差,当前测得端点坐标实际为与相机、实际车端点共 线的地面点的投影坐标,可由三角形相似原理,根据式(2)计算集卡停车位置误差 b:
其中,a表示Pw1或Pw2计算所得停车距离,h表示车端部到地面高度,H表示 相机到地面高度,X1、X2分别为相机到停车线水平距离、停车线与世界坐标Y轴 距离,式(2)中变量单位皆为mm,若取Pw1、Pw2两点中X较小值记为停车距 离a,由式(2)解得b,则实际停车距离记为c=a-b;
步骤5:根据式(3)-(8)进行矫正,即可计算出集卡端部相对于停车线的实际距 离以及集卡端部直线与停车线的相对角度,实现精确的集卡定位;
k1=(Ycamera-Ypw1)/(Xcamera-Xpw1) (3)
k2=(Ycamera-Ypw2)/(Xcamera-Xpw2) (4)
Ytrue1=Ypw1-k1(Xcamera-Xpw1) (5)
Ytrue2=Ypw2-k2(Xcamera-Xpw2) (6)
Xtrue=a-b-X2 (7)
degree=Atan((Ytrue2-Ytrue1)/(Xtrue2-Xtrue1)) (8)
其中,Xtrue、Ytrue表示地面坐标系下真实车端坐标在地平面的投影点坐标的X, Y值,Xcamera、Ycamera表示相机在地面坐标系下在地平面的投影点坐标,记为点cam, k1、k2表示点cam分别与点Pw1、Pw2连线的斜率,a、b分别表示测量停车距离 和对应误差,degree表示车端部与停车线相对角度;
步骤6:如图6所示,在程序中根据上述步骤计算结果,使用GDI绘制车道, 停车线,以及车辆相对位置,为集卡司机呈现直观的结果。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的 保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也 及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于单目视觉测量实现集卡定位的方法,其特征在于,包括如下步骤:
步骤1:测量得到集卡的实际高度h,单目相机相对于地面的高度H,根据实际场地大小定制一张正方形黑白格组成的标定板,将标定板边界平行于停车线放置在待测地面,固定相机拍取10-30幅图片,使用张氏标定法,标定待测地面得到相机的内参矩阵K,外参矩阵R和T,并选择其中一幅清晰图片计算该图片对应的相机的图像坐标到待测地面坐标的转换矩阵M;
步骤2:以步骤1中选取的图片建立待测地面的默认坐标系,具体为:取最接近停车线与车道交点的内部角点为原点,以标定板中平行于停车线的边界作为Y轴,平行于车道的边界作为X轴,垂直于地面过原点的直线为Z轴;在此基础上,测量出停车线到Y轴的距离S,此时,相机坐标系中相机坐标为[0,0,0]T,并根据式(1)计算得到对应的地面坐标系中相机坐标[Xw,Yw,Zw];
步骤3:当集卡未装载集装箱时,依次对拍摄到的车端部图像进行灰度化、基于多结构元的形态学混合滤波和边缘检测,并筛选出图像中车端部直线位置;当集卡装载集装箱时使用Hog+SVM来识别图像中的集装箱锁孔位置,根据图像中的集卡端部直线位置或者集装箱锁孔位置和转换矩阵M,换算出地面坐标系下的直线位置,其中,图像中直线或锁孔位置由两端点P1(Xp1,Yp1)和P2(Xp2,Yp2)表示,与转换矩阵M相乘换算得到两点对应世界坐标系下在地面的投影点坐标Pw1(Xpw1,Ypw1),Pw2(Xpw2,Ypw2);
步骤4:根据式(2)计算集卡停车位置误差b:
其中,a表示Pw1或Pw2计算所得停车距离,h表示车端部到地面高度,H表示相机到地面高度,X1、X2分别为相机到停车线水平距离、停车线与世界坐标Y轴距离,式(2)中变量单位皆为mm,若取Pw1、Pw2两点中X较小值为a代入式(2),解得误差b,此时实际停车距离记为c=a-b;
步骤5:根据式(3)-(7)进行矫正,即可计算出集卡端部相对于停车线的实际距离以及集卡端部直线与停车线的相对角度,实现精确的集卡定位:
k1=(Ycamera-Ypw1)/(Xcamera-Xpw1) (3)
k2=(Ycamera-Ypw2)/(Xcamera-Xpw2) (4)
Ytrue1=Ypw1-k1(Xcamera-Xpw1) (5)
Ytrue2=Ypw2-k2(Xcamera-Xpw2) (6)
Xtrue=a-b-X2 (7)
degree=Atan((Ytrue2-Ytrue1)/(Xtrue2-Xtrue1)) (8)
其中,Xtrue、Ytrue表示地面坐标系下真实车端坐标在地平面的投影点坐标的X,Y值,Xcamera、Ycamera表示相机在地面坐标系下在地平面的投影点坐标,记为点cam,k1、k2表示点cam分别与点Pw1、Pw2连线的斜率,a、b分别表示测量停车距离和对应误差,degree表示车端部与停车线相对角度。
CN201910569622.9A 2019-06-27 2019-06-27 一种基于单目视觉测量的集卡定位方法 Active CN110543612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910569622.9A CN110543612B (zh) 2019-06-27 2019-06-27 一种基于单目视觉测量的集卡定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910569622.9A CN110543612B (zh) 2019-06-27 2019-06-27 一种基于单目视觉测量的集卡定位方法

Publications (2)

Publication Number Publication Date
CN110543612A true CN110543612A (zh) 2019-12-06
CN110543612B CN110543612B (zh) 2023-04-07

Family

ID=68709738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910569622.9A Active CN110543612B (zh) 2019-06-27 2019-06-27 一种基于单目视觉测量的集卡定位方法

Country Status (1)

Country Link
CN (1) CN110543612B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111854678A (zh) * 2020-07-17 2020-10-30 浙江工业大学 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
CN115180512A (zh) * 2022-09-09 2022-10-14 湖南洋马信息有限责任公司 基于机器视觉的集装箱卡车自动装卸方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332163A1 (en) * 2008-03-07 2010-12-30 Rte Edf Transport Methods, device and installation for locating a defect in an electric link
CN105303555A (zh) * 2015-09-18 2016-02-03 浙江工业大学 一种基于双目视觉的集卡定位与引导的方法及其系统
CN105488808A (zh) * 2015-12-30 2016-04-13 江苏阳明船舶装备制造技术有限公司 基于三维空间拍摄定位技术的合拢管现场测量装置及方法
CN107609510A (zh) * 2017-09-11 2018-01-19 上海海事大学 一种岸桥下集卡定位方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332163A1 (en) * 2008-03-07 2010-12-30 Rte Edf Transport Methods, device and installation for locating a defect in an electric link
CN105303555A (zh) * 2015-09-18 2016-02-03 浙江工业大学 一种基于双目视觉的集卡定位与引导的方法及其系统
CN105488808A (zh) * 2015-12-30 2016-04-13 江苏阳明船舶装备制造技术有限公司 基于三维空间拍摄定位技术的合拢管现场测量装置及方法
CN107609510A (zh) * 2017-09-11 2018-01-19 上海海事大学 一种岸桥下集卡定位方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高飞;葛一粟;汪韬;卢书芳;张元鸣;: "基于空间平面约束的视觉定位模型研究" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111854678A (zh) * 2020-07-17 2020-10-30 浙江工业大学 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
CN111854678B (zh) * 2020-07-17 2022-02-15 浙江工业大学 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
CN115180512A (zh) * 2022-09-09 2022-10-14 湖南洋马信息有限责任公司 基于机器视觉的集装箱卡车自动装卸方法及系统
CN115180512B (zh) * 2022-09-09 2023-01-20 湖南洋马信息有限责任公司 基于机器视觉的集装箱卡车自动装卸方法及系统

Also Published As

Publication number Publication date
CN110543612B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112669393B (zh) 一种激光雷达与相机联合标定方法
US11157766B2 (en) Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
CN111505606B (zh) 多相机与激光雷达系统相对位姿检校方法及装置
CN110148169B (zh) 一种基于ptz云台相机的车辆目标三维信息获取方法
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN104200086B (zh) 宽基线可见光相机位姿估计方法
CN110390695A (zh) 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN110189314A (zh) 基于机器视觉的汽车仪表盘图像定位方法
CN112907676A (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN102778207B (zh) 一种结构件应力应变的测量方法、装置及系统
CN112270713A (zh) 标定方法以及装置、存储介质、电子装置
CN110082775B (zh) 基于激光装置的车辆定位方法和系统
CN108847026A (zh) 一种基于矩阵坐标转换实现数据叠加显示的方法
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
CN106097332A (zh) 一种基于角点检测的集装箱轮廓定位方法
CN112902874A (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN110543612B (zh) 一种基于单目视觉测量的集卡定位方法
WO2023103679A1 (zh) 一种车载环视相机快速自动标定方法和装置
CN113989766A (zh) 道路边缘检测方法、应用于车辆的道路边缘检测设备
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN104268884A (zh) 一种基于车联网的车道偏离预警的标定系统和方法
CN112102396B (zh) 桥吊下的车辆定位方法、装置、设备及存储介质
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant