CN106325278B - 一种基于椭圆识别的机器人定位导航方法 - Google Patents

一种基于椭圆识别的机器人定位导航方法 Download PDF

Info

Publication number
CN106325278B
CN106325278B CN201610872220.2A CN201610872220A CN106325278B CN 106325278 B CN106325278 B CN 106325278B CN 201610872220 A CN201610872220 A CN 201610872220A CN 106325278 B CN106325278 B CN 106325278B
Authority
CN
China
Prior art keywords
robot
pattern
oval shapes
navigation
air navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610872220.2A
Other languages
English (en)
Other versions
CN106325278A (zh
Inventor
刘新华
王润泽
王勇
郝敬宾
司垒
史耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201610872220.2A priority Critical patent/CN106325278B/zh
Publication of CN106325278A publication Critical patent/CN106325278A/zh
Application granted granted Critical
Publication of CN106325278B publication Critical patent/CN106325278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于椭圆识别的机器人定位导航方法，基于空间外置摄像机，通过工作区域上方预设高度所设置的一个或多个摄像机，针对设计于机器人顶部的椭圆形图案进行图像捕获、分析，实现针对机器人在工作区域内的高效定位和导航，克服了现有机器人定位导航的缺点，无需在机器人上安装相关传感器及管线，减少了机器人的重量、芯片的负荷，极大地简化了移动机器人设备及其定位导航方法，并且椭圆形图案的设计采用，在检测机器人位置的同时，能够确定机器人的方向，而且较之长短轴不一的菱形检测，在检测参数数量相同的基础上，椭圆形图案的检测速度较快，应用更为广泛，进而提高了本发明所设计基于椭圆识别的机器人定位导航方法的广泛应用性。

Description

一种基于椭圆识别的机器人定位导航方法
技术领域
本发明涉及一种基于椭圆识别的机器人定位导航方法，属于机器视觉及机械自动化技术领域，具体涉及机器人定位导航技术领域。
背景技术
移动机器人是一种在可复杂环境下工作，具有自规划、自组织、自适应能力的机器人，具有行动快捷、工作效率高、结构简单、可控性强、安全性好等优势，目前在国内外正在被广泛的应用。
导航技术是移动机器人的一项核心技术之一，它是指移动机器人通过传感器感知环境信息和自身状态，实现在环境中面向目标的自主运动。目前，移动机器人主要的导航方式包括：磁导航，惯性导航，视觉导航等。磁导航灵活性较好，但导航方式会受环路通过的金属等硬物的机械损伤，对导航有一定的影响。惯性导航灵活性好，但定位准确度差，运动过程中容易产生并累积偏差，适合短距离移动。传统的视觉导航一般采用多目视觉的方式，定位精度可以达到很高，但在运动过程中的实时运算量很大，实时性不佳。
现有的机器人导航方式大多需要在机器人上安装大量的传感器及管线，用于机器人信息的获取，这些传感器及管线增加了机器人的重量、芯片的负荷，甚至可能影响机器人的正常运转和动作。
发明内容
本发明所要解决的技术问题是提供一种基于空间外置摄像机，能够通过针对机器人在工作区域中的图像捕获、分析，实现高效率定位导航的基于椭圆识别的机器人定位导航方法。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于椭圆识别的机器人定位导航方法，基于机器人工作区域上方、预设高度所设置的至少一台摄像机，实现针对机器人的定位导航，其中，所有摄像机拍摄区域的组合区域覆盖机器人工作区域，所述定位导航方法，包括如下步骤：
步骤001.在机器人顶部水平平面区域设置椭圆形图案，椭圆形图案的面积大小与所设水平平面区域的面积大小相适应，且椭圆形图案的长轴与机器人直线前后移动路径相平行，椭圆形图案的短轴与机器人直线前后移动路径相垂直，然后进入步骤002；
步骤002.针对各个摄像机的参数进行标定，获得所有摄像机拍摄区域的组合区域图像，确定该组合区域图像与所对应三维空间的映射关系，然后基于该映射关系，针对该组合区域图像实现背景模型建模，获得背景模型，然后实时循环执行如下步骤003至步骤004，实现针对机器人的定位与导航；
步骤003.实时针对所有摄像机拍摄区域的组合区域图像进行处理，获得机器人工作区域的边缘图像，并基于背景模型，实时识别其中的椭圆形图案，以及实时获得椭圆形图案的中心坐标(p,q)，椭圆形图案的长半轴a、短半轴b、转角θ，然后进入步骤004；
步骤004.根据椭圆形图案的中心坐标(p,q)，实现椭圆形图案所对应机器人的实时定位，并根据椭圆形图案的中心坐标(p,q)、椭圆形图案的长半轴a，转角θ，以及预设导航路径，实时获得椭圆形图案所对应机器人的移动方向，再结合预设导航路径，实现机器人的实时导航，并返回步骤003。
作为本发明的一种优选技术方案：所述实时循环执行步骤003至步骤004，实现针对机器人的定位与导航的同时，按预设时长周期间隔执行步骤002，实现背景模型的周期更新。
作为本发明的一种优选技术方案：还包括控制中心，其中，控制中心分别与所述各台摄像机，以及所述机器人相通信，控制中心获得所有摄像机的拍摄区域图像，处理构成组合区域图像，并且控制中心根据步骤002获得背景模型，然后通过步骤003、步骤004的操作，基于内置的预设导航路径，实现机器人的定位，以及向机器人发送移动控制指令，实现机器人的导航。
作为本发明的一种优选技术方案：所述各台摄像机阵列分布设置在所述机器人工作区域上方的预设高度位置。
作为本发明的一种优选技术方案：所述摄像机为深度摄像机。
作为本发明的一种优选技术方案：所述步骤002中，采用张正友标定法针对各个摄像机的参数进行标定。
作为本发明的一种优选技术方案：所述步骤002中，基于该映射关系，针对该组合区域图像，采用背景差分法实现背景模型建模，获得背景模型。
作为本发明的一种优选技术方案：所述步骤003中，实时针对所有摄像机拍摄区域的组合区域图像，依次进行去噪、二值化、形态学膨胀、腐蚀运算和边缘检测，获得机器人工作区域的边缘图像。
作为本发明的一种优选技术方案：所述步骤003中，根据所述机器人工作区域的边缘图像，并基于所述背景模型，采用基于Hough变换的椭圆检测算法，实时识别其中的椭圆形图案，以及实时获得椭圆形图案的中心坐标(p,q)，椭圆形图案的长半轴a、短半轴b、转角θ。
本发明所述一种基于椭圆识别的机器人定位导航方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明所设计的基于椭圆识别的机器人定位导航方法，基于空间外置摄像机，通过工作区域上方预设高度所设置的一个或多个摄像机，针对设计于机器人顶部的椭圆形图案进行图像捕获、分析，实现针对机器人在工作区域内的高效定位和导航，克服了现有机器人定位导航的缺点，无需在机器人上安装相关传感器及管线，减少了机器人的重量、芯片的负荷，极大地简化了移动机器人设备及其定位导航方法，并且椭圆形图案的设计采用，在检测机器人位置的同时，能够确定机器人的方向，而且较之长短轴不一的菱形检测，在检测参数数量相同的基础上，椭圆形图案的检测速度较快，应用更为广泛，进而提高了本发明所设计基于椭圆识别的机器人定位导航方法的广泛应用性。
附图说明
图1是本发明设计基于椭圆识别的机器人定位导航方法的原理示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
如图1所示，本发明设计了一种基于椭圆识别的机器人定位导航方法，在具体的实际应用当中，包括控制中心，以及基于机器人工作区域上方、预设高度所设置的至少一台深度摄像机，其中，各台深度摄像机阵列分布设置在所述机器人工作区域上方的预设高度位置，实现针对机器人的定位导航，其中，所有深度摄像机拍摄区域的组合区域覆盖机器人工作区域，控制中心分别与各台深度摄像机，以及机器人相通信，所述定位导航方法，具体包括如下步骤：
步骤001.在机器人顶部水平平面区域设置椭圆形图案，即机器人顶部设置椭圆形图案的上部无遮挡，能够被上方所设置的深度摄像机准确识别，椭圆形图案的面积大小与所设水平平面区域的面积大小相适应，且椭圆形图案的长轴与机器人直线前后移动路径相平行，椭圆形图案的短轴与机器人直线前后移动路径相垂直，然后进入步骤002。
步骤002.采用张正友标定法针对各个深度摄像机的参数进行标定，由控制中心获得所有深度摄像机分别所拍摄的区域图像，然后由控制中心以各个深度摄像机的坐标位置为依据，针对各个深度摄像机所拍摄的区域图像进行处理组合，构成组合区域图像，即覆盖整个机器人工作区域的组合区域图像，并由控制中心确定该组合区域图像与所对应三维空间的映射关系，然后控制中心基于该映射关系，针对该组合区域图像，采用背景差分法实现背景模型建模，获得背景模型，然后，控制中心实时循环执行如下步骤003至步骤004，实现针对机器人的定位与导航。
步骤003.控制中心实时针对所有摄像机拍摄区域的组合区域图像，依次进行去噪、二值化、形态学膨胀、腐蚀运算和边缘检测，获得机器人工作区域的边缘图像，并且控制中心根据所述机器人工作区域的边缘图像，并基于所述背景模型，采用基于Hough变换的椭圆检测算法，实时识别其中的椭圆形图案，以及实时获得椭圆形图案的中心坐标(p,q)，椭圆形图案的长半轴a、短半轴b、转角θ，然后进入步骤004。
上述步骤003中，采用基于Hough变换的椭圆检测算法，实时识别其中的椭圆形图案，具体包括如下步骤：
步骤(1).控制中心针对机器人工作区域的边缘图像，将边缘像素点的坐标存入数组V中,数组大小为N，将数组V中的像素点提取出有用的8类有用斜率设为L1～L8，并初始化一个二维累加数组A(m,n)＝0；其中m，n为原始图像的行列大小。
步骤(2).针对L1～L4各类坐标点，分别计算各类坐标点的中点坐标(x,y)，使累加器数组A(x,y)加1。
步骤(3).分别在L5中取(x1,y1)，在L6中取(x2,y2)，计算(x1,y1)与(x2,y2)之间的中点坐标，并使对应的累加器数组A(x,y)加1。同样的方法，在L7中取(x3,y3)，在L8中取(x4,y4),计算(x3,y3)与(x4,y4)之间的中点坐标，并使对应的累加器数组A(x,y)加1。
步骤(4).设置一个适当的阈值T，将A中的累计值大于T的所有坐标点存入数组C，并称为待定中心C；遍历待定中心C的各个元素(pi,qi)，将(pi,qi)代入椭圆的参数方程，从边缘像素的坐标数组V中选取数据，在三维空间中采用Hough变换对参数ai，bi，θi进行统计，峰值超过一定阈值的一组参数即为一个有效椭圆，否则(pi,qi)为虚假中心。
由上述步骤可得到椭圆的五个参数(pi,qi，ai，bi，θi)，从而确定获得椭圆形图案的中心坐标(p,q)，椭圆形图案的长半轴a、短半轴b、转角θ。
步骤004.控制中心根据椭圆形图案的中心坐标(p,q)，实现椭圆形图案所对应机器人的实时定位，即椭圆形图案的中心坐标(p,q)为对应机器人的实时位置，并且椭圆形图案的长半轴a即为机器人移动路径所在的瞬时直线，然后根据椭圆形图案的中心坐标(p,q)、椭圆形图案的长半轴a，转角θ，以及内置在控制中心中的预设导航路径，实时获得椭圆形图案所对应机器人的移动方向，再结合内置在控制中心中的预设导航路径，由控制中心向机器人发送移动控制指令，控制机器人的前进、转弯等前进动作，实现机器人的实时导航，并返回步骤003。
所述步骤002中，实现背景模型建模，获得背景模型的方法属于非回归背景建模法，随着时间推移，背景中不可避免会发生变化，因此如果一直使用最初建立的背景模型，长时间后会发生较大的误差。为了使背景模型能够适应这种变化，需要在非回归背景建模法中引入反馈机制，定时对背景模型进行更新，如此设计在上述实时循环执行步骤003至步骤004，实现针对机器人的定位与导航的同时，按预设时长周期间隔执行步骤002，实现背景模型的周期更新，即在实时实现针对机器人的定位与导航的同时，每隔预设时长周期，执行一遍步骤002，实现背景模型的更新，并在后续实时实现针对机器人定位与导航的过程中，采用更新后的背景模型去实现定位与导航。
上述技术方案所设计基于椭圆识别的机器人定位导航方法，基于空间外置摄像机，通过工作区域上方预设高度所设置的一个或多个摄像机，针对设计于机器人顶部的椭圆形图案进行图像捕获、分析，实现针对机器人在工作区域内的高效定位和导航，克服了现有机器人定位导航的缺点，无需在机器人上安装相关传感器及管线，减少了机器人的重量、芯片的负荷，极大地简化了移动机器人设备及其定位导航方法，并且椭圆形图案的设计采用，在检测机器人位置的同时，能够确定机器人的方向，而且较之长短轴不一的菱形检测，在检测参数数量相同的基础上，椭圆形图案的检测速度较快，应用更为广泛，进而提高了本发明所设计基于椭圆识别的机器人定位导航方法的广泛应用性。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种基于椭圆识别的机器人定位导航方法，其特征在于：基于机器人工作区域上方、预设高度所设置的至少一台摄像机，实现针对机器人的定位导航，其中，所有摄像机拍摄区域的组合区域覆盖机器人工作区域，所述定位导航方法，包括如下步骤：
步骤001.在机器人顶部水平平面区域设置椭圆形图案，椭圆形图案的面积大小与所设水平平面区域的面积大小相适应，且椭圆形图案的长轴与机器人直线前后移动路径相平行，椭圆形图案的短轴与机器人直线前后移动路径相垂直，然后进入步骤002；
步骤002.针对各个摄像机的参数进行标定，获得所有摄像机拍摄区域的组合区域图像，确定该组合区域图像与所对应三维空间的映射关系，然后基于该映射关系，针对该组合区域图像实现背景模型建模，获得背景模型，然后实时循环执行如下步骤003至步骤004，实现针对机器人的定位与导航；
步骤003.实时针对所有摄像机拍摄区域的组合区域图像，依次进行去噪、二值化、形态学膨胀、腐蚀运算和边缘检测，获得机器人工作区域的边缘图像，并基于背景模型，实时识别其中的椭圆形图案，以及实时获得椭圆形图案的中心坐标(p,q)，椭圆形图案的长半轴a、短半轴b、转角θ，然后进入步骤004；
步骤004.根据椭圆形图案的中心坐标(p,q)，实现椭圆形图案所对应机器人的实时定位，并根据椭圆形图案的中心坐标(p,q)、椭圆形图案的长半轴a，转角θ，以及预设导航路径，实时获得椭圆形图案所对应机器人的移动方向，再结合预设导航路径，实现机器人的实时导航，并返回步骤003。
2.根据权利要求1所述一种基于椭圆识别的机器人定位导航方法，其特征在于：所述实时循环执行步骤003至步骤004，实现针对机器人的定位与导航的同时，按预设时长周期间隔执行步骤002，实现背景模型的周期更新。
3.根据权利要求1所述一种基于椭圆识别的机器人定位导航方法，其特征在于：还包括控制中心，其中，控制中心分别与所述各台摄像机，以及所述机器人相通信，控制中心获得所有摄像机的拍摄区域图像，处理构成组合区域图像，并且控制中心根据步骤002获得背景模型，然后通过步骤003、步骤004的操作，基于内置的预设导航路径，实现机器人的定位，以及向机器人发送移动控制指令，实现机器人的导航。
4.根据权利要求1所述一种基于椭圆识别的机器人定位导航方法，其特征在于：所述各台摄像机阵列分布设置在所述机器人工作区域上方的预设高度位置。
5.根据权利要求1或4所述一种基于椭圆识别的机器人定位导航方法，其特征在于：所述摄像机为深度摄像机。
6.根据权利要求1所述一种基于椭圆识别的机器人定位导航方法，其特征在于：所述步骤002中，采用张正友标定法针对各个摄像机的参数进行标定。
7.根据权利要求1所述一种基于椭圆识别的机器人定位导航方法，其特征在于：所述步骤002中，基于该映射关系，针对该组合区域图像，采用背景差分法实现背景模型建模，获得背景模型。
8.根据权利要求1所述一种基于椭圆识别的机器人定位导航方法，其特征在于：所述步骤003中，根据所述机器人工作区域的边缘图像，并基于所述背景模型，采用基于Hough变换的椭圆检测算法，实时识别其中的椭圆形图案，以及实时获得椭圆形图案的中心坐标(p,q)，椭圆形图案的长半轴a、短半轴b、转角θ。
CN201610872220.2A 2016-09-30 2016-09-30 一种基于椭圆识别的机器人定位导航方法 Active CN106325278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610872220.2A CN106325278B (zh) 2016-09-30 2016-09-30 一种基于椭圆识别的机器人定位导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610872220.2A CN106325278B (zh) 2016-09-30 2016-09-30 一种基于椭圆识别的机器人定位导航方法

Publications (2)

Publication Number Publication Date
CN106325278A CN106325278A (zh) 2017-01-11
CN106325278B true CN106325278B (zh) 2019-05-31

Family

ID=57820619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610872220.2A Active CN106325278B (zh) 2016-09-30 2016-09-30 一种基于椭圆识别的机器人定位导航方法

Country Status (1)

Country Link
CN (1) CN106325278B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106931945B (zh) * 2017-03-10 2020-01-07 上海木木机器人技术有限公司 机器人导航方法和系统
CN109300155A (zh) * 2018-12-27 2019-02-01 常州节卡智能装备有限公司 一种避障路径规划方法、装置、设备和介质
CN113807118B (zh) * 2020-05-29 2024-03-08 苏州科瓴精密机械科技有限公司 机器人沿边工作方法、系统，机器人及可读存储介质
CN111504270A (zh) * 2020-06-16 2020-08-07 常州市盈能电气有限公司 一种机器人定位装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312386A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Topological-based localization and navigation
CN102135429B (zh) * 2010-12-29 2012-06-13 东南大学 一种基于视觉的机器人室内定位导航方法
US8525836B1 (en) * 2012-02-07 2013-09-03 Google Inc. Systems and methods for representing information associated with objects in an area
US8798357B2 (en) * 2012-07-09 2014-08-05 Microsoft Corporation Image-based localization
CN103680291B (zh) * 2012-09-09 2016-12-21 复旦大学 基于天花板视觉的同步定位与地图绘制的方法
CN103147789B (zh) * 2013-03-07 2015-03-25 中国矿业大学 煤矿井下救援机器人控制系统及控制方法
CN205352386U (zh) * 2015-08-07 2016-06-29 浙江海洋学院 一种基于机器人的分布式视觉定位系统
CN105486311B (zh) * 2015-12-24 2019-08-16 青岛海通机器人系统有限公司 室内机器人定位导航方法及装置
CN105785989B (zh) * 2016-02-24 2018-12-07 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法

Also Published As

Publication number Publication date
CN106325278A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106325278B (zh) 一种基于椭圆识别的机器人定位导航方法
CN105234943B (zh) 一种基于视觉识别的工业机器人示教装置及方法
CN107148639B (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN103353758B (zh) 一种室内机器人导航方法
CN109074083A (zh) 移动控制方法、移动机器人及计算机存储介质
CN104184932B (zh) 球机控制方法及装置
CN108499054B (zh) 一种基于slam的车载机械臂捡球系统及其捡球方法
CN105486311A (zh) 室内机器人定位导航方法及装置
WO2022001748A1 (zh) 目标跟踪方法、装置、电子设备及移动载具
CN108303972A (zh) 移动机器人的交互方法及装置
CN108399639A (zh) 基于深度学习的快速自动抓取与摆放方法
CN109753076A (zh) 一种无人机视觉追踪实现方法
CN108109174A (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和系统
CN110202573A (zh) 全自动手眼标定、工作平面标定方法及装置
CN106153050A (zh) 一种基于信标的室内定位系统和方法
CN106054924A (zh) 一种无人机伴飞方法、伴飞装置和伴飞系统
CN109669474B (zh) 基于先验知识的多旋翼无人机自适应悬停位置优化算法
WO2018014420A1 (zh) 一种基于发光目标识别的无人机跟踪控制系统及方法
CN106370160A (zh) 一种机器人室内定位系统和方法
CN110433467A (zh) 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备
CN106646441A (zh) 结合环境信息的室内移动机器人定位系统及方法
CN106595601A (zh) 一种无需手眼标定的相机六自由度位姿精确重定位方法
CN106733686B (zh) 一种基于视觉和码盘数据融合的流水线物体定位方法
CN109900272A (zh) 视觉定位与建图方法、装置及电子设备
CN109754420A (zh) 一种目标距离估计方法、装置及无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant