CN110738739B - 一种面向机器人装配的数字孪生系统的构建系统 - Google Patents
一种面向机器人装配的数字孪生系统的构建系统 Download PDFInfo
- Publication number
- CN110738739B CN110738739B CN201911007304.XA CN201911007304A CN110738739B CN 110738739 B CN110738739 B CN 110738739B CN 201911007304 A CN201911007304 A CN 201911007304A CN 110738739 B CN110738739 B CN 110738739B
- Authority
- CN
- China
- Prior art keywords
- assembly
- digital
- physical
- model
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明涉及一种面向机器人装配的数字孪生系统的构建系统，包括物理空间、承载数字孪生系统的数字空间，以及连接物理空间和数字空间的通信接口；物理空间包括装配机器人、装配用设备、装配目标物、主端控制器、装配环境和数字传感器，数字传感器安装于工作场景，采集装配机器人、装配用设备、装配目标物和环境的几何信息和物理信息，并通过通信接口发送至数字空间。与现有技术相比，本发明具有虚拟模型考虑全面等优点。
Description
技术领域
本发明涉及智能装配领域，尤其是涉及一种面向机器人装配的数字孪生系统的构建系统。
背景技术
在企业的生产流程中，装配作业需要耗费大量的人力、物力，在整个生产成本中占有很大的比例，随着科研技术的不断提升，装配机器人被研发，并广泛地运用在制造业中。然而由于工业技术和信息技术的迅速发展，装配工业愈发复杂，导致装配故障率增加，维修成本上升。因此，准确、实时地监测和优化机器人装配过程逐渐称为研究的热点。为满足和适应社会化、个性化和智能化等制造发展的需求和趋势，世界各国相继提出了各自的制造发展战略，先进的传感器技术、强大的计算机建模技术和不断提高的算力使得数字孪生技术应运而生。数字孪生技术是指充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多尺度的仿真过程，在虚拟空间完成映射，从而反映实体系统的全生命周期过程。因此将数字孪生技术应用于机器人装配系统中，有助与操作人员全方位、准确、实时地了解装配系统运行状态，优化装配过程，提高产线制造效率。然而如何建立一个真实的映射关系是一个关键问题，也是将数字孪生技术应用于系统优化和故障诊断等的基础。
中国专利CN109359507A公开了一种车间人员数字孪生体模型快速建模方法，该方法通过对车间全局范围内的视觉传感器采集到的图像，利用深度卷积神经网络对图像中的人员进行识别和检测，获得物理世界中实时的人员位置信息，以此构建人员的数字孪生体。单该方法只考虑建立车间人员的数字孪生模型，并不适用自动装配环境。
中国专利CN109571476A公开了一种工业机器人数字孪生实时作业控制、监测与精度补偿方法，改方法利用实时关节数据来驱动机器人数字模型，并利用真实机器人的关节角信息和数字孪生模型的实时关节角信息对比进行关节角补偿更新，但该方法只对机器人的关节信息进行补偿，没有建立装配系统的物理模型，缺乏一般性。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种虚拟模型考虑全面的面向机器人装配的数字孪生系统的构建系统，通过建立真实空间的精确虚拟映射、真实和虚拟空间之间的信息传输策略来搭建机器人装配场景下的数字孪生系统，有助与操作人员全方位、准确、实时地了解装配系统运行状态，优化装配过程，提高产线制造效率。
本发明的目的可以通过以下技术方案来实现：
一种面向机器人装配的数字孪生系统的构建系统，包括物理空间、承载数字孪生系统的数字空间，以及连接物理空间和数字空间的通信接口；
所述物理空间包括装配机器人、装配用设备、装配目标物、主端控制器、装配环境和数字传感器，所述数字传感器安装于工作场景，采集装配机器人、装配用设备、装配目标物和环境的几何信息和物理信息，并通过通信接口发送至数字空间。
所述数字传感器至少包括：
深度传感器和RGB传视觉感器，均设有多个，分别从多个角度采集工作场景中装配机器人、装配用设备、装配目标物的深度信息和色彩，形成系统的三维点云数据集；
力矩传感器，安装于装配机器人各关节处，用于获得运动的力、力矩方向及作用点信息；
电气传感器，安装于各装配用设备内部，用于采集各设备内部包括电流电压在内的电气参数；
环境传感器，用于采集包括温度在内的环境数据。
所述通信接口包括无线通信接口和有线通信接口。
所述数字空间包括用于建立物理世界的准确、多维数字映射的多维虚拟模型，该多维虚拟模型包括：
几何表达模块，用于建立系统的几何模型；
物理参数化表达模块，用于反映机电系统的本质关系。
所述几何表达模块将不同视角下的点云数据进行配准转换到同一坐标系下融合，并采用经典的迭代最近点配准算法进行刚性配准，其最小化目标点云集和源点云集的最近点对距离以得到平移向量和旋转矩阵：
其中：pi和qi是目标点云集和源点云集上的最近点对，R为平移向量，T为旋转矩阵。
所述物理参数化表达模块利用多领域建模语言Modelica，采用面向对象的方式构建。
所述数字空间还包括用于通过构建虚拟模型评价函数，设计模型更新策略并对多维虚拟模型更新的模型更新控制模块。
所述数字空间还包括三维展示与控制平台，该三维展示与控制平台利用虚拟现实技术对多维虚拟模型进行沉浸式渲染，并提供人与装配系统交互接口，使操作人员可以在三维环境中实时观察机器人装配系统的运行情况，并在必要时对其进行人工干预指导。
与现有技术相比，本发明具有以下有益效果：融合了实际系统的几何模型、物理模型，从多角度对系统进行数字映射，其中物理模型利用多领域建模语言Modelica，采用面向对象的方式构建，方便实现复杂物理系统多模型融合，可以真实地反映机电系统的本质关系；针对系统通讯量和模型准确度之间的矛盾，为了提高系统的鲁棒性，减小传输压力，本发明基于多维虚拟模型，以装配效率等为主要匹配度指标建立模型评价函数，构建模型的更新策略。
附图说明
图1为本发明的结构示意图；
图2为模型更新策略示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种面向机器人装配的数字孪生系统的构建系统，如图1所示，包括物理空间、承载数字孪生系统的数字空间，以及连接物理空间和数字空间的通信接口；
物理空间包括装配机器人、装配用设备、装配目标物、主端控制器、装配环境和数字传感器，数字传感器安装于工作场景，采集装配机器人、装配用设备、装配目标物和环境的几何信息和物理信息，并通过通信接口发送至数字空间。主端控制器控制机器人运行、生产调度和物理空间的信息传输。
数字传感器至少包括：
深度传感器和RGB传视觉感器，均设有多个，分别从多个角度采集工作场景中装配机器人、装配用设备、装配目标物的深度信息和色彩，形成系统的三维点云数据集；
力矩传感器，安装于装配机器人各关节处，用于获得运动的力、力矩方向及作用点信息；
电气传感器，安装于各装配用设备内部，用于采集各设备内部包括电流电压在内的电气参数；
环境传感器，用于采集包括温度在内的环境数据。
通信接口包括无线通信接口和有线通信接口，主要有Wifi、5G和TCP/IP等，用于连接物理空间和数字空间，保证可靠的实时数据通信。
数字空间包括用于建立物理世界的准确、多维数字映射的多维虚拟模型，该多维虚拟模型包括：
几何表达模块，用于建立系统的几何模型；
物理参数化表达模块，用于反映机电系统的本质关系。
由于单视角下的点云信息只能采集到实体表面的部分数据，因此要建立整个系统的几何模型，需要将不同视角下的数据进行配准转换到同一坐标系下融合。几何建模模块采用经典的迭代最近点(Iterative Closet Point,ICP)配准算法进行刚性配准，其基本思路是最小化目标点云集和源点云集的最近点对距离，其最小化目标点云集和源点云集的最近点对距离以得到平移向量和旋转矩阵：
其中：pi和qi是目标点云集和源点云集上的最近点对，R为平移向量，T为旋转矩阵。最小化上式可以获得平移向量T和旋转矩阵R，使得转换后的目标点云集合源点云尽可能重合。至此，得到整体的形状和布局等，完成物理空间的几何表达。
物理参数化表达模块利用多领域建模语言Modelica，采用面向对象的方式构建，方便实现复杂物理系统多模型融合，可以真实的反映机电系统的本质关系，其主要包括机械子系统和电气子系统。
数字空间还包括用于通过构建虚拟模型评价函数，设计模型更新策略并对多维虚拟模型更新的模型更新控制模块。
如图2所示，考虑到非必须的信息实时传输需求，减小带宽压力，模型更新控制模块通过构建虚拟模型评价函数，设计模型更新策略，有条件地对多维虚拟模型更新。具体地，首先基于几何表达模块和物理参数化表达模块搭建可调参数数据库，根据环境场景数据库，建立以虚拟场景中机器人轨迹精度、重复定位精度、位置精度、姿态精度和装配效率为主的匹配度模型，通过聚类分析分类历史交互任务，根据不同类型的装配任务及其主要性能要求，分配不同匹配度指标的权重，构建基于可调模型参数为变量的虚拟模型评价函数。模型更新控制模块根据物理空间的数据定时检测当前多维虚拟模型的状态，当评价函数输出即匹配度指标小于设定阈值时，认为当前时刻需对虚拟模型进行更新，以此确定虚拟模型更新的频率；考虑到可调参数强耦合性和系统高效传输要求，基于因子分析对可调参数库进行降维处理，并根据数字孪生模型评价函数将可调参数按权重从大到小排列成一区间，通过尺取法，从大权重至小权重不断扩大参数选择区间，直至满足匹配度要求，以此确定虚拟模型更新的参数。然后通过通信接口将所需更新参数请求发送回物理空间，物理空间根据请求发回相应的参数，继而完成多维虚拟模型的更新。
由于显示数据的多源性和复杂的装配环境，数字空间还包括三维展示与控制平台，该三维展示与控制平台利用虚拟现实技术对多维虚拟模型进行沉浸式渲染，并提供人与装配系统交互接口，使操作人员可以在三维环境中实时观察机器人装配系统的运行情况，并在必要时对其进行人工干预指导。
Claims (1)
1.一种面向机器人装配的数字孪生系统的构建系统，其特征在于，包括物理空间、承载数字孪生系统的数字空间，以及连接物理空间和数字空间的通信接口，
所述物理空间包括装配机器人、装配用设备、装配目标物、主端控制器、装配环境和数字传感器，所述数字传感器安装于工作场景，采集装配机器人、装配用设备、装配目标物和环境的几何信息和物理信息，并通过通信接口发送至数字空间；
所述数字传感器至少包括：
深度传感器和RGB传视觉感器，均设有多个，分别从多个角度采集工作场景中装配机器人、装配用设备、装配目标物的深度信息和色彩，形成系统的三维点云数据集，
力矩传感器，安装于装配机器人各关节处，用于获得运动的力、力矩方向及作用点信息，
电气传感器，安装于各装配用设备内部，用于采集各设备内部包括电流电压在内的电气参数，
环境传感器，用于采集包括温度在内的环境数据；
所述通信接口包括无线通信接口和有线通信接口；
所述数字空间包括用于建立物理世界的准确、多维数字映射的多维虚拟模型，该多维虚拟模型包括：
几何表达模块，用于建立系统的几何模型，
物理参数化表达模块，用于反映机电系统的本质关系；
所述几何表达模块将不同视角下的点云数据进行配准转换到同一坐标系下融合，并采用经典的迭代最近点配准算法进行刚性配准，其最小化目标点云集和源点云集的最近点对距离以得到平移向量和旋转矩阵：
其中：pi和qi是目标点云集和源点云集上的最近点对，R为平移向量，T为旋转矩阵；
所述物理参数化表达模块利用多领域建模语言Modelica，采用面向对象的方式构建；
所述数字空间还包括用于通过构建虚拟模型评价函数，设计模型更新策略并对多维虚拟模型更新的模型更新控制模块；
所述数字空间还包括三维展示与控制平台，该三维展示与控制平台利用虚拟现实技术对多维虚拟模型进行沉浸式渲染，并提供人与装配系统交互接口，使操作人员可以在三维环境中实时观察机器人装配系统的运行情况，并对其进行人工干预指导；
首先基于几何表达模块和物理参数化表达模块搭建可调参数数据库，根据环境场景数据库，建立以虚拟场景中机器人轨迹精度、重复定位精度、位置精度、姿态精度和装配效率为主的匹配度模型，通过聚类分析分类历史交互任务，根据不同类型的装配任务及其主要性能要求，分配不同匹配度指标的权重，构建基于可调模型参数为变量的虚拟模型评价函数；模型更新控制模块根据物理空间的数据定时检测当前多维虚拟模型的状态，当评价函数输出即匹配度指标小于设定阈值时，认为当前时刻需对虚拟模型进行更新，以此确定虚拟模型更新的频率；考虑到可调参数强耦合性和系统高效传输要求，基于因子分析对可调参数库进行降维处理，并根据数字孪生模型评价函数将可调参数按权重从大到小排列成一区间，通过尺取法，从大权重至小权重不断扩大参数选择区间，直至满足匹配度要求，以此确定虚拟模型更新的参数；然后通过通信接口将所需更新参数请求发送回物理空间，物理空间根据请求发回相应的参数，继而完成多维虚拟模型的更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911007304.XA CN110738739B (zh) | 2019-10-22 | 2019-10-22 | 一种面向机器人装配的数字孪生系统的构建系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911007304.XA CN110738739B (zh) | 2019-10-22 | 2019-10-22 | 一种面向机器人装配的数字孪生系统的构建系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738739A CN110738739A (zh) | 2020-01-31 |
| CN110738739B true CN110738739B (zh) | 2022-08-16 |
Family
ID=69270873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911007304.XA Active CN110738739B (zh) | 2019-10-22 | 2019-10-22 | 一种面向机器人装配的数字孪生系统的构建系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738739B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111251304B (zh) * | 2020-03-12 | 2023-08-01 | 广东博智林机器人有限公司 | 一种机器人控制系统和方法 |
| CN111496781B (zh) * | 2020-03-17 | 2021-08-03 | 浙江大学 | 数字孪生驱动的机械臂建模、控制与监测一体化集成系统 |
| CN111652964B (zh) * | 2020-04-10 | 2021-09-10 | 合肥工业大学 | 基于数字孪生的电力巡检无人机辅助定位方法和系统 |
| CN111563446B (zh) * | 2020-04-30 | 2021-09-03 | 郑州轻工业大学 | 一种基于数字孪生的人-机交互安全预警与控制方法 |
| CN111964575B (zh) * | 2020-07-06 | 2022-02-01 | 北京卫星制造厂有限公司 | 一种面向移动机器人铣削加工的数字孪生建模方法 |
| CN112440281A (zh) * | 2020-11-16 | 2021-03-05 | 浙江大学 | 一种基于数字孪生的机器人轨迹规划方法 |
| CN113219948B (zh) * | 2021-05-06 | 2022-08-26 | 中车青岛四方车辆研究所有限公司 | 基于面向对象的机器人性能评价方法、系统、设备及介质 |
| CN113673894B (zh) * | 2021-08-27 | 2024-02-02 | 东华大学 | 一种基于数字孪生的多人协作ar装配方法和系统 |
| CN113917851A (zh) * | 2021-09-16 | 2022-01-11 | 北京天玛智控科技股份有限公司 | 一种基于数字孪生的虚拟测试环境搭建方法 |
| CN115049811B (zh) * | 2022-06-20 | 2023-08-15 | 北京数字冰雹信息技术有限公司 | 一种数字孪生虚拟三维场景的编辑方法、系统及存储介质 |
| CN115464661B (zh) * | 2022-11-14 | 2023-01-17 | 网思科技股份有限公司 | 一种基于数字孪生的机器人控制系统 |
| CN116168164B (zh) * | 2023-04-25 | 2023-07-04 | 深圳墨影科技有限公司 | 基于机器人产业链的数字孪生可视化方法 |
| CN116341341B (zh) * | 2023-05-29 | 2023-07-28 | 中国航空工业集团公司金城南京机电液压工程研究中心 | 一种数字样机及其虚拟传感方法 |
| CN117422205B (zh) * | 2023-12-18 | 2024-04-19 | 天津电力工程监理有限公司 | 基于数字孪生的装配式钢结构变电站建造管理系统和方法 |
| CN117621090B (zh) * | 2024-01-25 | 2024-05-14 | 青岛创新奇智科技集团股份有限公司 | 一种工业机器人的控制方法、系统及工业机器人 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7899243B2 (en) * | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
| US9343903B2 (en) * | 2013-03-14 | 2016-05-17 | Mark Hauenstein | Methods and systems architecture to virtualize energy functions and processes into a cloud based model |
| US10762475B2 (en) * | 2015-02-25 | 2020-09-01 | Siemens Schweiz Ag | Digital twins for energy efficient asset maintenance |
| US11204815B2 (en) * | 2017-05-09 | 2021-12-21 | Microsoft Technology Licensing, Llc | Creation of modular applications with corresponding twins in the cloud |
| US10452078B2 (en) * | 2017-05-10 | 2019-10-22 | General Electric Company | Self-localized mobile sensor network for autonomous robotic inspection |
| CN108107841B (zh) * | 2017-12-26 | 2020-12-18 | 山东大学 | 一种数控机床数字孪生建模方法 |
| CN108806364A (zh) * | 2018-06-08 | 2018-11-13 | 潍坊护理职业学院 | 一种基于双网互联的智慧仿真型护理教学系统及构建方法 |
| CN109116751B (zh) * | 2018-07-24 | 2022-03-08 | 西安西电电气研究院有限责任公司 | 基于数字孪生技术的数字化系统及其构建方法 |
| CN109613895A (zh) * | 2018-11-12 | 2019-04-12 | 中国电子科技集团公司第三十八研究所 | 一种智能生产线数字孪生系统 |
| CN109819233B (zh) * | 2019-01-21 | 2020-12-08 | 合肥哈工热气球数字科技有限公司 | 一种基于虚拟成像技术的数字孪生系统 |
| CN109754665A (zh) * | 2019-03-08 | 2019-05-14 | 闽南理工学院 | 一种机械制造模具虚拟装配培训信息处理系统及培训方法 |
| CN110163797B (zh) * | 2019-05-31 | 2020-03-31 | 四川大学 | 一种标定转台位姿关系实现任意角点云拼接的方法及装置 |
| CN110320873A (zh) * | 2019-07-05 | 2019-10-11 | 武汉魅客科技有限公司 | 一种基于分布式传感网络的实时三维呈现系统 |
-
2019
- 2019-10-22 CN CN201911007304.XA patent/CN110738739B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738739A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738739B (zh) | 一种面向机器人装配的数字孪生系统的构建系统 | |
| CN111210359B (zh) | 面向智能矿山场景的数字孪生演化机理及方法 | |
| CN111968004A (zh) | 一种基于数字孪生的高精密产品装调一体化系统 | |
| WO2022021739A1 (zh) | 一种语义智能变电站机器人仿人巡视作业方法及系统 | |
| CN111633644A (zh) | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 | |
| CN111159793B (zh) | 基于数字孪生五维模型3d打印机建模方法及模型系统 | |
| CN113065276A (zh) | 一种基于数字孪生的智能建造方法 | |
| CN111300381A (zh) | 基于数字孪生三维模型的软体机器人或驱动器系统及其建模方法 | |
| CN110988586B (zh) | 一种配网带电作业机器人作业精准定位方法及系统 | |
| CN102435228B (zh) | 基于三维建模仿真的大型桥梁结构健康监测方法 | |
| CN111243017B (zh) | 基于3d视觉的智能机器人抓取方法 | |
| CN111381515A (zh) | 基于数字孪生五维模型的软体机器人或驱动器系统及其建模方法 | |
| CN112085261A (zh) | 基于云端融合和数字孪生技术的企业生产现状诊断方法 | |
| CN108756292B (zh) | 一种基于物联网技术的建筑同步顶升控制方法及系统 | |
| CN103995478A (zh) | 基于现实虚拟互动的模块化液压机械臂实验平台及方法 | |
| CN115099075A (zh) | 一种基于智能化棒、线、型车间数字孪生方法 | |
| CN112231966B (zh) | 一种基于数字孪生的协作机器人可装配性预测系统及方法 | |
| CN114750154A (zh) | 一种配网带电作业机器人的动态目标识别定位与抓取方法 | |
| CN109352649A (zh) | 一种基于深度学习的机械手控制方法及系统 | |
| CN116690988A (zh) | 一种大型建筑模型3d打印系统和方法 | |
| CN109656229B (zh) | 基于ga-rbf网络的机器人末端性能预测模型的构建方法 | |
| Liu et al. | Analytical design of optimal fractional order pid control for industrial robot based on digital twin | |
| CN115354708A (zh) | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 | |
| Walker et al. | Digital Twin Technology for CNC Machining: A Review | |
| Hou et al. | Obstacle Detection in the surrounding Environment of manipulators based on Point Cloud data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |