CN110851966B - 一种基于深度神经网络的数字孪生模型修正方法 - Google Patents
一种基于深度神经网络的数字孪生模型修正方法 Download PDFInfo
- Publication number
- CN110851966B CN110851966B CN201911041964.XA CN201911041964A CN110851966B CN 110851966 B CN110851966 B CN 110851966B CN 201911041964 A CN201911041964 A CN 201911041964A CN 110851966 B CN110851966 B CN 110851966B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- deep neural
- digital twin
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Navigation (AREA)
Abstract
本发明涉及一种基于深度神经网络的数字孪生模型修正方法,包括:步骤S1:布置传感器,并获取传感器采集的数据;步骤S2:基于传感器采集的数据构建物理数据空间;步骤S3:基于传感器采集的数据作为边界条件,通过仿真建模构建虚拟数据空间;步骤S4:对比虚拟数据空间与物理数据空间,并判断误差是否超过阈值,若是,则利用深度神经网络进行误差学习修正误差并执行步骤S5,反之,则执行步骤S5;步骤S5:提取物理数据空间与虚拟数据空间的特征数据以修正数字孪生模型。与现有技术相比,本发明具有虚拟空间与物理空间的模型一致性高等优点。
Description
技术领域
本发明涉及数字孪生模型领域,尤其是涉及一种基于深度神经网络的数字孪生模型修正方法。
背景技术
随着大数据、机器学习、人工智能等技术的持续发展和深化应用,产品设计研发正朝着数字化、信息化、智能化深度融合的方向发展,基于多源数据融合的数字孪生技术作为该方向的重要支撑理论和技术得到更多关注与认可。数字孪生模型构建的基础是物理空间与虚拟空间的数据有效性,物理空间数据可通过精密的传感器采集及数据预处理与标定过程获取,但虚拟空间数据的有效性则一直被业界广泛质疑,虚拟空间与物理空间数据往往存在很大误差。究其原因,这主要是由于虚拟空间数据主要借助数理统计及物理建模手段构建的简化模型,模型往往是针对物理世界的简化数学表达过程,而且模型还存在着计算时长与模型精度相斥的矛盾,这对数字孪生模型构建及应用带来挑战。因此,提高数字孪生模型精度是推动数字孪生技术发展的关键问题。
当前基于计算科学与数据密集型科学的基本范式,是改善模型精度或求解难题的关键手段,主要应用数据挖掘算法及深度神经网络学习方法替代基于科学实验与数值计算的理论模型。但这种应用深度神经网络进行建模的方法存在三大缺陷,一是模型的普适性不强,二是模型不可解释,三是算力要求高。上述缺陷不利于数字孪生模型动态的演绎与推理,因此很难实现数字孪生模型的构建。针对上述问题,本发明公开了一种基于深度神经网络的数字孪生模型修正方法及其应用于数字孪生模型构建的一般流程。以第一范式科学实验为主的物理数据空间构建和以第二范式理论科学及第三范式计算科学为主的虚拟数据空间构建为基础,进一步通过第四范式为主的深度神经网络与历史大数据实现数字孪生模型的修正。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度神经网络的数字孪生模型修正方法。
本发明的目的可以通过以下技术方案来实现:
一种基于深度神经网络的数字孪生模型修正方法,包括:
步骤S1:布置传感器,并获取传感器采集的数据;
步骤S2:基于传感器采集的数据构建物理数据空间;
步骤S3:基于传感器采集的数据作为边界条件,通过仿真建模构建虚拟数据空间;
步骤S4:对比虚拟数据空间与物理数据空间,并判断误差是否超过阈值,若是,则利用深度神经网络进行误差学习修正误差并执行步骤S5,反之,则执行步骤S5;
步骤S5:提取物理数据空间与虚拟数据空间的特征数据以修正数字孪生模型。
所述步骤S5具体包括:
步骤S51:提取物理数据空间与虚拟数据空间的特征数据实现历史孪生大数据存储;
步骤S52:利用经过深度神经网络修正的虚拟数据空间与物理数据空间进行虚实融合生成数字孪生模型。
所述数字孪生模型通过GUI界面进行动态输出及场景模拟。
所述步骤S4中利用深度神经网络进行误差学习修正误差的过程具体包括:
步骤S401:通过聚类学习对误差较大的虚拟空间数据进行分类;
步骤S402:联合对映的历史孪生大数据作为输入,利用深度神经网络进行误差学习;
步骤S403:输出修正系数,修正虚拟数据空间的误差数据。
所述数字孪生模型的建模对象为无人机。
所述传感器的种类至少包括:惯导单元、加速度传感器、陀螺仪、磁罗盘、气压传感器、超声波雷达、动补摄像头;
传感器采集的信息至少包括:电机转速及转动惯量、三维方向的无人机飞行速度、加速度,无人机俯仰-翻滚-旋转的角动量、角加速度,无人机坐标信息。
所述物理数据空间通过模拟/数字输入输出接口、网络通信设备、GPU/CPU/FPGA微处理器、数据存储单元实现传感器数据的计算分析及存储管控。
所述传感器采集的数据被经过预处理后存入数据存储单元,所述预处理包括:传感信息时序同步、噪声滤波处理、信号放大与单位换算。
与现有技术相比,本发明具有以下有益效果:可以减小基于数学建模与物理规律构建数字孪生平台的误差,保证虚拟空间与物理空间的模型一致性。
附图说明
图1为本发明方法的主要步骤流程示意图;
图2为数字孪生模型修正方法流程示意图;
图3为无人机物理数据空间系统架构示意图;
图4聚类算法与深度神经网络的融合模型示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于深度神经网络的数字孪生模型修正方法,如图1所示,包括:
步骤S1:布置传感器,并获取传感器采集的数据;
步骤S2:基于传感器采集的数据构建物理数据空间,物理数据空间为非可视化空间,物理数据空间是完全还原传感器数据的加工流程及数理逻辑的非完全静态信息空间;
步骤S3:基于传感器采集的数据作为边界条件,通过仿真建模构建虚拟数据空间;
步骤S4:对比虚拟数据空间与物理数据空间,并判断误差是否超过阈值,若是,则利用深度神经网络进行误差学习修正误差并执行步骤S5,反之,则执行步骤S5;
其中利用深度神经网络进行误差学习修正误差的过程具体包括:
步骤S401:通过聚类学习对误差较大的虚拟空间数据进行分类;
步骤S402:联合对映的历史孪生大数据作为输入,利用深度神经网络进行误差学习;
步骤S403:输出修正系数,修正虚拟数据空间的误差数据。
步骤S5:提取物理数据空间与虚拟数据空间的特征数据以修正数字孪生模型,具体包括:
步骤S51:提取物理数据空间与虚拟数据空间的特征数据实现历史孪生大数据存储;
步骤S52:利用经过深度神经网络修正的虚拟数据空间与物理数据空间进行虚实融合生成数字孪生模型,其中,数字孪生模型通过GUI界面进行动态输出及场景模拟。
数字孪生模型的建模对象为无人机。
传感器的种类至少包括:惯导单元、加速度传感器、陀螺仪、磁罗盘、气压传感器、超声波雷达、动补摄像头;
传感器采集的信息至少包括:电机转速及转动惯量、三维方向的无人机飞行速度、加速度,无人机俯仰-翻滚-旋转的角动量、角加速度,无人机坐标信息。
物理数据空间通过模拟/数字输入输出接口、网络通信设备、GPU/CPU/FPGA微处理器、数据存储单元实现传感器数据的计算分析及存储管控。
物理数据空间的数据不完全性体现在传感器功能的不完备性,例如通过无人机可以测得电机的转速,但不能测得旋翼所遇到的空气阻力及叶片的气压分布。物理数据空间的静态属性体现在传感器的时效性与采样频率,这要求物理数据空间的信息来源不能脱离香农定理与奈奎斯特定理进行数据预测或估算。物理数据空间的数据需要进行标定,以保障空间数据的有效性。
传感器采集的数据被经过预处理后存入数据存储单元,预处理包括:传感信息时序同步、噪声滤波处理、信号放大与单位换算。
虚拟数据空间是基于物理原理、数学建模方法及统计理论等构建的仿真模型,仿真建模需要通过相应的传感器数据进行标定,以保障模型的精准度。虚拟数据空间是对物理数据空间的数据变化性、相关性、和参考性规律的建模、预测、优化和管理。虚拟数据空间可极大弥补物理数据空间的时效性及不完全性限制。以无人机为例,虚拟数据空间可以在传感器数据基础上对无人机进行建模,获得无人机动力学信息。例如利用传感器获取的电机转速可以通过空气动力学建模获取无人机的空气推力及阻力。
具体的,如图2所示,一种基于深度神经网络的数字孪生模型修正方法,包括传感器数据采集及数据预处理、物理数据空间构建、虚拟数据空间构建、误差分析及修正、可视化输出等环节。
以无人机为例,传感器数据采集及数据预处理环节主要利用惯导单元、加速度传感器、陀螺仪、磁罗盘、气压传感器、超声波雷达、动补摄像头等传感单元,采集无人机电机转速及转动惯量,XYZ方向的无人机飞行速度、加速度,无人机俯仰-翻滚-旋转的角动量、角加速度,及无人机所在空域的坐标信息等。数据预处理过程包括传感信息时序同步、噪声滤波处理、信号放大与单位换算等操作。
以无人机为例,其物理数据空间构建的系统架构如图3所示。无人机机载传感器通过随身数采终端设备实现传感器的信息采集及预处理,通过网关及WiFI通信方式实现数据从无人机端传输至服务器端。另外,无人机室内空域搭建了基于视觉的无人机动作捕捉系统,并将机载Mark点的三维坐标及运动数据经动补系统网络节点、网关设备传输至服务器端。服务器端搭建Hadoop分布式大数据系统,实现无人机集群传感器数据的计算分析及存储管控。
以无人机为例,其虚拟数据空间构建主要对无人机进行三维建模,在几何模型基础上,以传感器数据为边界条件结合运动学、动力学、流体力学、电磁学等构建无人机电机模型及动力学模型,并通过传感器数据进行标定。虚拟数据空间可以改善物理数据空间的不完全性及时效性。例如利用传感器获取的电机转速可以通过空气动力学建模获取无人机的空气推力及阻力,还可以用于模拟无人机相撞的场景及可能发生的结果。
无人机虚拟数据空间与物理数据空间存在误差,当误差不满足要求时,可基于深度神经网络进行模型修正。修正方法及流程如图4所示。在误差分析基础上初始化参数空间,设置聚类中心数目及聚类中心点的误差属性映射模型。初始化聚类中心,基于参数空间划分计算矩阵,求解计算标准测度函数,经过最大迭代次数以后明确聚类中心点,匹配历史孪生数据,导入深度神经网络进行误差修正。
Claims (6)
1.一种基于深度神经网络的数字孪生模型修正方法,其特征在于,所述数字孪生模型的建模对象为无人机,方法包括:
步骤S1:布置传感器,并获取传感器采集的数据,
步骤S2:基于传感器采集的数据构建物理数据空间,
步骤S3:基于传感器采集的数据作为边界条件,通过仿真建模构建虚拟数据空间,
步骤S4:对比虚拟数据空间与物理数据空间,并判断误差是否超过阈值,若是,则利用深度神经网络进行误差学习修正误差并执行步骤S5,反之,则执行步骤S5,
步骤S5:提取物理数据空间与虚拟数据空间的特征数据以修正数字孪生模型;
所述步骤S4中利用深度神经网络进行误差学习修正误差的过程具体包括:
步骤S401:通过聚类学习对误差较大的虚拟空间数据进行分类,
步骤S402:联合对映的历史孪生大数据作为输入,利用深度神经网络进行误差学习,
步骤S403:输出修正系数,修正虚拟数据空间的误差数据。
2.根据权利要求1所述的一种基于深度神经网络的数字孪生模型修正方法,其特征在于,所述步骤S5具体包括:
步骤S51:提取物理数据空间与虚拟数据空间的特征数据实现历史孪生大数据存储;
步骤S52:利用经过深度神经网络修正的虚拟数据空间与物理数据空间进行虚实融合生成数字孪生模型。
3.根据权利要求2所述的一种基于深度神经网络的数字孪生模型修正方法,其特征在于,所述数字孪生模型通过GUI界面进行动态输出及场景模拟。
4.根据权利要求1所述的一种基于深度神经网络的数字孪生模型修正方法,其特征在于,所述传感器的种类至少包括:惯导单元、加速度传感器、陀螺仪、磁罗盘、气压传感器、超声波雷达、动补摄像头;
传感器采集的信息至少包括:电机转速及转动惯量、三维方向的无人机飞行速度、加速度,无人机俯仰-翻滚-旋转的角动量、角加速度,无人机坐标信息。
5.根据权利要求1所述的一种基于深度神经网络的数字孪生模型修正方法,其特征在于,所述物理数据空间通过模拟/数字输入输出接口、网络通信设备、GPU/CPU/FPGA微处理器、数据存储单元实现传感器数据的计算分析及存储管控。
6.根据权利要求1所述的一种基于深度神经网络的数字孪生模型修正方法,其特征在于,所述传感器采集的数据被经过预处理后存入数据存储单元,所述预处理包括:传感信息时序同步、噪声滤波处理、信号放大与单位换算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911041964.XA CN110851966B (zh) | 2019-10-30 | 2019-10-30 | 一种基于深度神经网络的数字孪生模型修正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911041964.XA CN110851966B (zh) | 2019-10-30 | 2019-10-30 | 一种基于深度神经网络的数字孪生模型修正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110851966A CN110851966A (zh) | 2020-02-28 |
CN110851966B true CN110851966B (zh) | 2021-07-20 |
Family
ID=69599414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911041964.XA Active CN110851966B (zh) | 2019-10-30 | 2019-10-30 | 一种基于深度神经网络的数字孪生模型修正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110851966B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461431B (zh) * | 2020-03-31 | 2022-05-27 | 广东工业大学 | 一种基于手机制造中锁螺丝工艺的优化方法和系统 |
CN111537173B (zh) * | 2020-04-21 | 2021-08-03 | 武汉大学 | 一种基于数字孪生的微电子产品跌落冲击可靠性评估方法 |
CN112367109B (zh) * | 2020-09-28 | 2022-02-01 | 西北工业大学 | 空地网络中由数字孪生驱动的联邦学习的激励方法 |
CN112428272A (zh) * | 2020-11-16 | 2021-03-02 | 同济大学 | 一种面向数字孪生的机器人-环境动态交互渲染系统和方法 |
CN112365580B (zh) * | 2020-11-16 | 2022-10-28 | 同济大学 | 一种面向人机技能传授的虚拟作业演示系统 |
CN112380704B (zh) * | 2020-11-16 | 2022-05-20 | 北京航空航天大学 | 一种基于机器视觉的数字孪生模型修正方法与系统 |
CN112781903B (zh) * | 2020-12-28 | 2022-07-08 | 杭州哲达科技股份有限公司 | 基于数字孪生系统的高炉鼓风机和trt机组故障诊断方法 |
CN112762100B (zh) * | 2021-01-14 | 2021-08-10 | 哈尔滨理工大学 | 一种基于数字孪生的轴承全生命周期监测方法 |
CN112818595B (zh) * | 2021-01-28 | 2024-04-05 | 西安交通大学 | 一种火电厂蒸发区的数字孪生模型数据的修正方法及系统 |
CN113011085B (zh) * | 2021-02-26 | 2021-10-26 | 青岛弯弓信息技术有限公司 | 一种设备数字孪生建模方法及系统 |
CN113065223B (zh) * | 2021-03-02 | 2022-07-15 | 哈尔滨慧维科技有限公司 | 一种塔桅集群数字孪生模型多等级概率修正方法 |
CN113093743B (zh) * | 2021-03-30 | 2022-08-30 | 西北农林科技大学 | 基于虚拟雷达模型和深度神经网络的导航控制方法 |
CN113378939B (zh) * | 2021-06-11 | 2022-08-09 | 福州大学 | 基于物理驱动神经网络的结构数字孪生建模与参数识别法 |
CN113536467A (zh) * | 2021-07-24 | 2021-10-22 | 深圳市北斗云信息技术有限公司 | 一种无人机远程操作显示系统 |
CN113495577B (zh) * | 2021-09-07 | 2021-12-10 | 南京航空航天大学 | 一种面向数字孪生仿真的无人机集群传感器模型校正方法 |
CN114332368B (zh) * | 2021-12-28 | 2023-03-24 | 汇鲲化鹏(海南)科技有限公司 | 一种基于多源时空数据的场景孪生方法 |
CN114595773B (zh) * | 2022-03-10 | 2022-11-15 | 天津科技大学 | 基于工厂生产过程的多源异构孪生数据融合方法及系统 |
CN114970086B (zh) * | 2022-04-08 | 2023-03-24 | 北京航空航天大学 | 一种基于数据空间的复杂系统级数字孪生构建方法 |
CN114596919B (zh) * | 2022-05-10 | 2022-09-02 | 安徽瑞邦数科科技服务有限公司 | 指标预测方法、系统以及其在磷酸生产中的应用 |
CN114814759B (zh) * | 2022-06-28 | 2022-10-28 | 湖南师范大学 | 基于数字孪生的机载雷达信号处理与数据存储方法及组件 |
CN114841021B (zh) * | 2022-07-04 | 2022-10-11 | 北京航空航天大学杭州创新研究院 | 数字孪生模型的修正方法、装置、电子设备和存储介质 |
CN115392077B (zh) * | 2022-08-16 | 2023-07-25 | 中国人民解放军军事科学院国防科技创新研究院 | 基于深度学习的卫星物理场级数字孪生模型构建方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180136617A1 (en) * | 2016-11-11 | 2018-05-17 | General Electric Company | Systems and methods for continuously modeling industrial asset performance |
US20190102494A1 (en) * | 2017-10-03 | 2019-04-04 | Endurica, LLC | System for tracking incremental damage accumulation |
CN108446451A (zh) * | 2018-02-27 | 2018-08-24 | 天津大学 | 一种基于elm的低噪声放大器温度特性建模方法 |
US10310760B1 (en) * | 2018-05-21 | 2019-06-04 | Pure Storage, Inc. | Layering communication fabric protocols |
CN109657354B (zh) * | 2018-12-20 | 2020-07-10 | 华中科技大学 | 一种基于数字孪生的混流装配车间快速重构方法及系统 |
CN109927297A (zh) * | 2019-02-21 | 2019-06-25 | 河北工业大学 | 一种基于数字孪生的浆料微流挤出成形智能化方法 |
CN110222353A (zh) * | 2019-03-12 | 2019-09-10 | 上海大学 | 一种基于数字孪生与机器学习技术的智能车间生产加工系统及方法 |
CN110045608B (zh) * | 2019-04-02 | 2022-04-05 | 太原理工大学 | 基于数字孪生的机械设备零部件结构参数动态优化方法 |
CN109866876A (zh) * | 2019-04-10 | 2019-06-11 | 江苏科技大学 | 基于数字孪生的船舶分段建造精度控制方法 |
-
2019
- 2019-10-30 CN CN201911041964.XA patent/CN110851966B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110851966A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110851966B (zh) | 一种基于深度神经网络的数字孪生模型修正方法 | |
CN112347840B (zh) | 视觉传感器激光雷达融合无人机定位与建图装置和方法 | |
CN113485392B (zh) | 基于数字孪生的虚拟现实交互方法 | |
JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
CN111508021B (zh) | 一种位姿确定方法、装置、存储介质及电子设备 | |
US10983217B2 (en) | Method and system for semantic label generation using sparse 3D data | |
CN109947126B (zh) | 四旋翼无人机的控制方法、装置、设备及可读介质 | |
CN103914068A (zh) | 一种基于栅格地图的服务机器人自主导航方法 | |
CN111860493A (zh) | 一种基于点云数据的目标检测方法及装置 | |
CN110018691A (zh) | 小型多旋翼无人机飞行状态估计系统和方法 | |
CN106774374B (zh) | 一种无人机自动巡检方法及系统 | |
CN110208783B (zh) | 基于环境轮廓的智能车辆定位方法 | |
CN111680596B (zh) | 基于深度学习的定位真值校验方法、装置、设备及介质 | |
CN111862215B (zh) | 一种计算机设备定位方法、装置、计算机设备和存储介质 | |
CN113763549B (zh) | 融合激光雷达和imu的同时定位建图方法、装置和存储介质 | |
CN111309035B (zh) | 多机器人协同移动与动态避障方法、装置、设备及介质 | |
CN115436920A (zh) | 一种激光雷达标定方法及相关设备 | |
CN113129377B (zh) | 一种三维激光雷达快速鲁棒slam方法和装置 | |
CN117115252A (zh) | 一种基于视觉的仿生扑翼无人机空间位姿估计方法 | |
Gao et al. | Design of mobile robot based on cartographer SLAM algorithm | |
CN116205983A (zh) | 一种标定方法、装置、电子设备及存储介质 | |
CN116878488B (zh) | 一种建图方法、装置、存储介质及电子装置 | |
CN115388893B (zh) | 基于遗传的滤波slam算法的移动机器人建图方法 | |
CN116167114B (zh) | 一种风机叶片曲线数据的确定方法、装置以及电子设备 | |
CN115077467B (zh) | 清洁机器人的姿态估计方法、装置及清洁机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |