CN113342168A - 多模态智能化大型设备安拆培训系统 - Google Patents
多模态智能化大型设备安拆培训系统 Download PDFInfo
- Publication number
- CN113342168A CN113342168A CN202110646425.XA CN202110646425A CN113342168A CN 113342168 A CN113342168 A CN 113342168A CN 202110646425 A CN202110646425 A CN 202110646425A CN 113342168 A CN113342168 A CN 113342168A
- Authority
- CN
- China
- Prior art keywords
- training
- installation
- removal
- scale equipment
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种多模态智能化大型设备安拆培训系统,系统包括:安拆培训模块:根据虚拟现实技术对大型设备安拆现场进行建模;操作说明模块:包含安拆技术标准、操作技术规范;用于对不正确的操作进行提示和惩罚,并能够对技术标准和技术规范进行调整,实现安拆系统的自我优化;数据信息管理模块包括安拆培训系统的各组成部分以及管理不同大型设备的相关信息。本发明系统采用设备三维建模与融合多模态信息,能很好地解决多种大型特种设备的细腻度安拆培训,并能根据虚拟现实及深度学习技术对特种设备的安拆过程进行动态跟踪,完成安拆培训系统的智能化运行、升级、优化,为培养大型设备安拆人员提供了一个有效学习的手段。
Description
技术领域
本发明属于教育培训系统设计技术领域,属于大型设备安拆施工教育培训系统设计技术领域,涉及一种多模态智能化大型设备安拆培训系统及方法。
背景技术
目前,科技日新月异,城市建设的速度也在逐年变快,大型特种设备作为施工中最重要的机械之一,使用量逐年飞速增加,随之而来的大型特种设备施工安全问题一直是近年比较关注的。由于大型特种设备具有复杂的结构、安装过程复杂,不仅在安装拆卸过程中需注意施工安全,同时也要保证满足安装完成后的大型设备使用过程的安全要求。大型特种设备安拆作业必须具有一定经验和技能,这就需要对工作人员进行一系列的培训。目前所采用的大型特种设备安拆装工作人员的培训方式局限于安拆说明书,现场指导等,培训损耗巨大,危险系数很高。不仅给企业带来了经济上的约束,并且培训质量不高。
公开号为CN 108711326A的中国专利公开了“一种基于基于虚拟仿真的汽车教育培训系统”,根据通过VR眼镜使得学员可以看到立体化的汽车培训环境,来增加学院的实际经验,同时减少对设备的磨损。但是该技术仅仅通过图像数据进行培训,无法利用利用现有的大量文本数据,如操作说明书、操作日志等,进而使得培训效果局限于认为设定的图像数据中。而大型特种设备结构复杂,且在安拆过程中安全性、稳定性要求更高。同时,针对大型特种设备的安拆说明有明确的操作手册和规范要求,所以利用相关文本信息与图像信息融合可实现更加完善的大型特种设备安拆培训系统。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于多模态数据智能化大型设备安拆培训系统。本发明系统不仅考虑大型设备局部组件安拆过程中的安全稳定性,同时考虑设备安拆过程中全局的稳定性;提供并实现更加具有细腻度、安全性更高的大型特种设备安拆培训。
本发明解决了传统大型设备安拆培训效率低,体验性弱和交互性差等问题。
本发明通过以下技术方案实现:
多模态智能化大型设备安拆培训系统,其特征在于:系统包括安拆培训模块、操作说明模块和数据信息管理模块;
安拆培训模块:根据虚拟现实技术对大型设备安拆现场进行建模;
操作说明模块:包含:安拆技术标准,操作技术规范;用于对不正确的操作进行提示和惩罚,并能够对技术标准和技术规范进行调整,实现安拆系统的自我优化;
数据信息管理模块:包括安拆培训系统的各组成部分以及管理不同大型设备的相关信息。
本发明利用虚拟现实技术,构建出三维运行场景,并结合多模态提高模型的真实度。本发明利用大型设备的图像信息、相关参数以及操作手册文本,融合多种模态的信息,并充分考虑大型设备安拆过程中可能出现的问题应对处理手段,设计了标准化、功能化的虚拟现实互动功能的安拆培训模块。针对于设备安拆过程中的一些步骤、说明以及相关的一些经验,构建操作说明模块,并根据反馈意见对模型进行不断的微调,以提升培训质量。对不同的大型设备构建数据信息管理模块,用于存储培训系统的一些相关信息以及不同设备的相关信息,以能够根据不同的大型设备进行更加细腻度的安拆工作。
本发明系统的三个模块具体描述如下:
安拆培训模块:根据虚拟现实技术对大型设备安拆现场进行建模。本发明提出了一种多模块智能化的建模方式。根据大型设备的图像输出模型,并结合不同大型设备的各零件的参数以及说明,对安拆场景进行更准确的建模。
所述安拆培训模块是利用深度学习模型ResNet提取安拆现场图像特征;循环神经网络(GRU)提取安拆操作相关文本信息特征,将图像特征向量与文本特征向量进行融合构建的用于三维建模的特征向量构建特种设备三维模型,然后使用重建后的图像进行测试,如果输出的结果是匹配的,那么说明图像的重建是达到标准的,否则进一步对重建后的模型进行渲染,再进行测试,直到达到标准为止。
操作说明模块:包括安拆技术标准,能够对每一个操作进行规范,对一些不正确的操作进行惩罚,并进一步对模块进行调整,以实现安拆系统的自我优化。同时,相关培训人员记录各自安拆的经验,将这些经验归入到培训系统中,完成安拆培训系统的智能化运行、升级、优化。
数据信息管理模块:介绍整个安拆培训系统的各组成部分以及管理不同大型设备的相关信息。根据大型设备的不同选择安拆系统的培训模式,实现一个系统就能处理多种大型设备的安拆工作。
数据信息管理模块包括相关培训资料的视频和操作手册;相关培训资料保存于数据库中,并随着培训次数的累积逐步增加培训资料丰富安拆培训数据。
本发明安拆培训模块用于对大型设备安拆现场进行建模,不同与传统的利用建模软件进行建模的方法,本发明中三维建模方法利用大型特种设备安拆现场的图像信息进行三维建模,大大减少了三维建模的时间成本。同时考虑到大型特种设备的安拆建模过程不同于简单场景的建模,其大型特种设备结构复杂,设备安拆过程精细化程度要求更高,仅仅利用图像信息对大型特种设备进行三维建模无法很好的展现安拆过程中设备不同组件连接的细节信息。而大型特种设备安拆过程中操作说明文档信息丰富详尽,本发明提出的建模方法利用大型特种设备安拆现场的图像和安拆操作相关的文本信息进行三维建模。利用深度学习模型ResNet提取安拆现场图像特征;循环神经网络(GRU)提取安拆操作相关文本信息特征,将图像特征向量与文本特征向量进行融合构建的用于三维建模的特征向量构建特种设备三维模型,然后使用重建后的图像进行测试,如果输出的结果是匹配的,那么说明图像的重建是达到标准的,否则进一步对重建后的模型进行渲染,再进行测试,直到达到标准为止。
本发明操作说明模块由大型特种设备操作说明手册形成的安拆技术标准和操作技术规范构成,当受训人员穿戴好VR外设/跟踪器时,VR外设根据相关接口连接到已经进行三维建模好的安拆场景中,根据定位装置以及操作装置对大型设备依据构建好的操作说明进行安拆操作,此模块可实现培训系统有监督式的反馈和优化。区别于现有培训系统的不同,可以基于预先输入的安拆技术标准和操作技术规范及时发现受训人员可能存在的不正确或不规范的操作,受训人员的操作一旦与安拆技术标准和操作技术规范不符就会进行相应的提示和惩罚,便于受训人员对不正确或不规范的操作进行实时的调整或重新培训。
本发明数据信息管理模块用于培训人员了解大型特种设备安拆培训系统,并通过数据信息管理模块了解不同大型特种设备特性及相关专家经验。在进行人机交互模拟培训之前,通过视频及安拆关键点说明对相关人员进行初步的培训。该模块的主要功能为集成相关培训材料(视频,操作手册等),将相关资料保存于数据库中并随着培训次数的增加逐步增加培训材料丰富安拆培训经验。
相比现有技术,本发明系统采用设备三维建模与融合多模态信息,能很好地解决多种大型特种设备的细腻度安拆培训,并能根据虚拟现实及深度学习技术对特种设备的安拆过程进行动态跟踪,完成安拆培训系统的智能化运行、升级、优化。
本发明多模态智能化大型设备安拆培训系统利用多模态信息对大型设备以及安拆培训环境进行了更加准确的三维建模,同时根据培训过程中的相关反馈对培训系统进行修正、调整,实现了整个人员培训的智能化管理,为培养大型设备安拆人员提供了一个有效学习的手段。
附图说明
图1是本发明实施例多模态智能化大型设备安拆培训系统模块架构示意图;
图2是本发明系统中三维建模流程图;
图3是本发明系统中将多模态信息进行融合的算法框架图;
图4是本发明系统中人机交互流程示意图;
图5是本发明系统中VR设备应用部署图;
图6是本发明系统中培训人员在培训过程中进行模拟安拆操作流程;
图7是本发明系统中培训系统整体框架。
具体实施方式
下面结合具体实施方式对本发明进一步说明,具体实施方式是对本发明原理的进一步说明,不以任何方式限制本发明,与本发明相同或类似技术均没有超出本发明保护的范围。同时,以下所描述的实施方式中所涉及到的技术只要彼此之间未构成冲突还可以相互组合。
结合附图。
多模态智能化大型设备安拆培训系统,系统包括安拆培训模块、操作说明模块和数据信息管理模块;
安拆培训模块:根据虚拟现实技术对大型设备安拆现场进行建模;
操作说明模块:包含:安拆技术标准,操作技术规范;用于对不正确的操作进行提示和惩罚,并能够对技术标准和技术规范进行调整,实现安拆系统的自我优化;
数据信息管理模块:包括安拆培训系统的各组成部分以及管理不同大型设备的相关信息。
本发明多模态智能化大型设备安拆培训系统,对于图像,采用CNN提取特征,对于文本,采用GRU提取特征。卷积神经网络能够较好的提取图像特征,GRU能够较好的提取文本特征。利用ResNet对使用Faster-CNN得到的36个图像区域进行提取特征,最后将其进行全局平均池化,得图像的特征向量,其维度是2048维。利用GRU获得文本的特征向量,GRU在skip-thoughts模型上进行预训练,最终得到文本表示的特征向量的维度是2400维。然后利用矩阵W_v-和W_t-将这两个向量映射到同一个特征空间中在进行逐元素相乘。实际上他们都对应着Rank-1向量信息,为了充分表示这两种模态的信息,将其扩展到Rank-R表示,最后将每一个Rank的结果进行相加,如图3所示。整个模型的训练使用自适应的学习率方法Adam进行训练,批量大小设置为128,共训练50个epoch,并每隔10个epoch将学习率设置为原来的1/2。
然后将每一个神经元所学习到的特征向量进行相加融合,如公式(2)所示:
融合后的信息最终通过一个全连接层和sigmoid函数,用于判别重建正确与否,如公式(3)所示:
SIT(Ip,Tq)=Sigmoid(Wmf) (3)
也就是将重建正确与否变为“匹配”和“不匹配”的二分类问题。Srr(Ip,Tp)表示的是重建组件和原始组件之间的相似度。(Ip,Tq)表示每一个图像和文本对。同时,主要关注于难样本挖掘,最终损失函数定义如公式(4)所示:
L(Ip,Tq)=[α-SIT(Ip,Tp)+SIT(Ip,Th)]+ (4)
其中α是一个限制参数,[z]+表示函数max(0,z)。
对于设备参数文本和操作手册文本信息的融合,与图像和文本信息融合类似,如公式(5)所示:
其损失定义如公式(6)所示:
L(Tp,Tq)=[α-STT(Tp,Tq)+STT(Tp,Th)]+ (6)
整个融合过程如图3所示。首先利用原始的图像加分文本信息进行网络的训练,然后使用重建后的图像进行测试,如果输出的结果是匹配的,那么说明图像的重建是达到标准的,否则进一步对重建后的模型进行渲染,再进行测试,直到达到标准为止。
在设备的安拆场景建模中,也要考虑的大型设备的各组件、形状、颜色之间的关系,比如需要安拆的大型设备的两组件之间形状往往互补、颜色大致相同,因此对于安拆的那部分连接处,需要根据实际情况进行模型的调整,避免由于三维模型的不准确而导致安拆过程中的误差。在虚拟三维模型建立好以后,培训人员和机器之间需要进行交互,具体交互流程如图4所示。在进行人机交互之前,受训人员需要进入到数据信息管理模块,以大致了解整个多模态智能化大型设备安拆培训系统以及不同大型设备之间的信息。然后阅读操作说明模块中大致的系统的操作流程以及对安拆过程中的一些规范和相关培训人员的经验。最后才能够选择想要培训的设备的安拆模块。
受训人员穿戴好VR外设/跟踪器,VR外设根据相关接口连接到已经进行三维建模好的安拆场景中,根据定位装置以及操作装置对大型设备进行安拆操作。安拆操作说明来自操作说明模块,并对受训人员进行相关操作提示。受训人员完成安拆操作之后,相关操作的结果存储到操作说明模块中,并对刚才安拆操作进行反馈,如果是正确的安拆操作,则可以进行到下一项的模拟中,如果是不合格的操作,则根据结果给出反馈意见,已调整安拆操作直到合格,合格之后再进行下一步的操作,具体交互示意图如图5所示。信息反馈流程如图6所示。综上,整个多模态智能化大型设备安拆培训系统平台的运行流程如图7所示。本发明提出了多模态智能化大型设备安拆培训系统。本发明提出的系统与传统系统相比,利用多模态信息对大型设备以及安拆培训环境进行了更加准确的三维建模,同时根据培训过程中的相关反馈对培训系统进行修正、调整,实现了整个人员培训的智能化管理,为培养大型设备安拆人员提供了一个有效学习的手段。
Claims (5)
1.多模态智能化大型设备安拆培训系统,其特征在于:系统包括安拆培训模块、操作说明模块和数据信息管理模块;
安拆培训模块:根据虚拟现实技术对大型设备安拆现场进行建模;
操作说明模块:包含:安拆技术标准,操作技术规范;用于对不正确的操作进行提示和惩罚,并能够对技术标准和技术规范进行调整,实现安拆系统的自我优化;
数据信息管理模块:包括安拆培训系统的各组成部分以及管理不同大型设备的相关信息。
2.根据权利要求1所述的多模态智能化大型设备安拆培训系统,其特征在于:所述安拆培训模块是根据大型设备的图像输出模型,并结合大型设备各零件的参数以及说明,对安拆场景进行准确的建模。
3.根据权利要求2所述的多模态智能化大型设备安拆培训系统,其特征在于:所述安拆培训模块是利用深度学习模型ResNet提取安拆现场图像特征;循环神经网络(GRU)提取安拆操作相关文本信息特征,将图像特征向量与文本特征向量进行融合构建的用于三维建模的特征向量构建特种设备三维模型,然后使用重建后的图像进行测试,如果输出的结果是匹配的,那么说明图像的重建是达到标准的,否则进一步对重建后的模型进行渲染,再进行测试,直到达到标准为止。
4.根据权利要求3所述的多模态智能化大型设备安拆培训系统,其特征在于:所述操作说明模块包括安拆技术标准,用于对每一个操作进行规范,对不正确的操作进行惩罚,并进一步对模块进行调整,实现安拆系统的自我优化;并记录培训人员各自安拆操作信息,将这些操作信息归入到培训系统中,完成安拆培训系统的智能化运行、升级、优化。
5.根据权利要求所述的多模态智能化大型设备安拆培训系统,其特征在于:所述数据信息管理模块包括相关培训资料的视频和操作手册;所述相关培训资料保存于数据库中,并随着培训次数的累积逐步增加培训资料丰富安拆培训数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110646425.XA CN113342168B (zh) | 2021-06-10 | 2021-06-10 | 多模态智能化大型设备安拆培训系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110646425.XA CN113342168B (zh) | 2021-06-10 | 2021-06-10 | 多模态智能化大型设备安拆培训系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113342168A true CN113342168A (zh) | 2021-09-03 |
CN113342168B CN113342168B (zh) | 2023-09-22 |
Family
ID=77476203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110646425.XA Active CN113342168B (zh) | 2021-06-10 | 2021-06-10 | 多模态智能化大型设备安拆培训系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113342168B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103838922A (zh) * | 2014-02-17 | 2014-06-04 | 国网吉林省电力有限公司培训中心 | 安全行为仿真培训系统 |
CN108711328A (zh) * | 2018-05-16 | 2018-10-26 | 上海新奥新能源技术有限公司 | 一种加气站安全教育方法、装置及系统 |
CN110544402A (zh) * | 2019-08-08 | 2019-12-06 | 南京莱斯信息技术股份有限公司 | 基于大数据融合的化工园区虚拟仿真应急推演系统 |
US20200193231A1 (en) * | 2018-12-17 | 2020-06-18 | International Business Machines Corporation | Training Model Generation |
CN111428801A (zh) * | 2020-03-30 | 2020-07-17 | 新疆大学 | 改进融合层与损失函数交替更新的图文匹配方法 |
WO2020186484A1 (zh) * | 2019-03-20 | 2020-09-24 | 深圳大学 | 图片自动生成描述的方法、系统、电子装置及存储介质 |
CN112906149A (zh) * | 2021-01-20 | 2021-06-04 | 中广核(北京)仿真技术有限公司 | 一种基于虚拟现实的核电重大设备拆装系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3772709A1 (en) * | 2019-08-06 | 2021-02-10 | Robert Bosch GmbH | Deep neural network with equilibrium solver |
CN112241468A (zh) * | 2020-07-23 | 2021-01-19 | 哈尔滨工业大学(深圳) | 一种基于多头目自注意力机制的跨模态视频检索方法、系统及存储介质 |
-
2021
- 2021-06-10 CN CN202110646425.XA patent/CN113342168B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103838922A (zh) * | 2014-02-17 | 2014-06-04 | 国网吉林省电力有限公司培训中心 | 安全行为仿真培训系统 |
CN108711328A (zh) * | 2018-05-16 | 2018-10-26 | 上海新奥新能源技术有限公司 | 一种加气站安全教育方法、装置及系统 |
US20200193231A1 (en) * | 2018-12-17 | 2020-06-18 | International Business Machines Corporation | Training Model Generation |
WO2020186484A1 (zh) * | 2019-03-20 | 2020-09-24 | 深圳大学 | 图片自动生成描述的方法、系统、电子装置及存储介质 |
CN110544402A (zh) * | 2019-08-08 | 2019-12-06 | 南京莱斯信息技术股份有限公司 | 基于大数据融合的化工园区虚拟仿真应急推演系统 |
CN111428801A (zh) * | 2020-03-30 | 2020-07-17 | 新疆大学 | 改进融合层与损失函数交替更新的图文匹配方法 |
CN112906149A (zh) * | 2021-01-20 | 2021-06-04 | 中广核(北京)仿真技术有限公司 | 一种基于虚拟现实的核电重大设备拆装系统 |
Non-Patent Citations (1)
Title |
---|
陈奇朋等: "基于虚拟现实技术的电力作业仿真培训系统", 《计算机工程与应用》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113342168B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977356B (zh) | 识别文本纠错方法及装置 | |
CN106980873B (zh) | 基于深度学习的锦鲤筛选方法及装置 | |
CN103838836B (zh) | 基于判别式多模态深度置信网多模态数据融合方法和系统 | |
CN110070183A (zh) | 一种弱标注数据的神经网络模型训练方法及装置 | |
CN106650725A (zh) | 基于全卷积神经网络的候选文本框生成和文本检测方法 | |
CN102053563A (zh) | 模拟机飞行训练数据采集及质量评估系统 | |
CN110083110A (zh) | 基于自然智能的端到端控制方法和控制系统 | |
CN110349467A (zh) | 一种基于增强现实的通航维修培训系统及方法 | |
CN102855486A (zh) | 一种广义图像目标检测方法 | |
CN110334720A (zh) | 业务数据的特征提取方法、装置、服务器和存储介质 | |
CN114782967B (zh) | 一种基于代码可视化学习的软件缺陷预测方法 | |
CN114037653A (zh) | 基于二阶段知识蒸馏的工业机器视觉缺陷检测方法和系统 | |
CN112801211A (zh) | 基于图像识别技术的电网缺陷精确识别方法 | |
CN113342168A (zh) | 多模态智能化大型设备安拆培训系统 | |
Zhang et al. | Research on traffic decision making method based on image analysis case based reasoning | |
CN116362598A (zh) | 跨模态特征融合的工程认证课堂质量智能评价方法和系统 | |
Yu et al. | Construction of garden landscape design system based on multimodal intelligent computing and deep neural network | |
CN117632098B (zh) | 一种基于aigc的建筑智能设计系统 | |
CN117251599B (zh) | 一种视频语料智能测试优化方法、装置和存储介质 | |
CN116303559B (zh) | 表格问答的控制方法、系统及存储介质 | |
KR102474170B1 (ko) | 모델 학습을 위한 합성 데이터 생성 장치 및 방법 | |
CN116030418B (zh) | 一种汽车吊运行状态监测系统及方法 | |
CN115481692B (zh) | 一种基于sgan的水泵机组故障诊断方法 | |
Zeng | Semantic Analysis and Correction System of Pronunciation Action based on Multidimensional Synthesis of Heterogeneous Images | |
CN117591896A (zh) | 一种基于人工智能的数字人机交互平台系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |