CN107967057B - 一种基于Leap Motion的虚拟装配示教方法 - Google Patents
一种基于Leap Motion的虚拟装配示教方法 Download PDFInfo
- Publication number
- CN107967057B CN107967057B CN201711240326.1A CN201711240326A CN107967057B CN 107967057 B CN107967057 B CN 107967057B CN 201711240326 A CN201711240326 A CN 201711240326A CN 107967057 B CN107967057 B CN 107967057B
- Authority
- CN
- China
- Prior art keywords
- assembly
- virtual
- parts
- model
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于Leap Motion的虚拟装配示教方法,先对装配体的零部件进行三维建模并进行正确装配,得到装配体模型,然后进行格式转换,导入3dsMax,对材质进行统一,再导出成FBX的通用格式,得到三维模型;在Unity3D中进行虚拟装配场景的搭建,进行零部件的装配,再进行手势动作信息的获取与控制视图方法的编写,利用人手的动作信息实现对虚拟零部件的抓取移动以及视图缩放操作,装配者通过观察零部件颜色变化来判断装配状态,最终完成装配;本发明可以准确的捕捉手部精细动作,实现对界面的控制及零部件的抓取并完成装配,并且将多种格式的零部件或装配体模型通过3dsMax格式转换后,进行虚拟装配,具有一定的通用性。
Description
技术领域
本发明涉及虚拟装配技术领域,具体涉及一种基于Leap Motion的虚拟装配示教方法。
背景技术
随着高等教育和职业技术教育的快速发展,几乎所有工科类院校都设有机械工程相关专业,而机器的构造和拆、装过程是培养机械类人才的重要环节。传统装配、维修课程的培训有着场地和装配器材不足,培训时间和地点的局限性且容易发生安全事故等缺点。而虚拟装配培训系统,能够让更多的学员在真实的装配训练之前进行多次重复的练习,学员可以比较自由的安排自己的时间选择装配课程进行学习,提供一个可供真实操作前的过渡训练所使用的虚拟装配环境。这样可以提高培训质量,降低了经验不足造成的安全隐患,对提高装配培训的效率和质量以及改善该领域教育资源不均衡的现状有着特殊的意义。
然而,现有虚拟装配方法大多存在以下不足:首先,多数虚拟装配主要依靠鼠标来控制虚拟手进行装配,不涉及真实手部动作与装配过程的交互,即使某些系统具有动作捕捉器如Kinect等,但其对于手指精细动作的捕捉都不够准确;其次,目前的虚拟装配方法多是针对特定的模型或部件设计和开发,没有考虑到对机械产品的通用性,一旦发生产品结构更改,就需要对装配系统重新进行设计。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供了一种基于Leap Motion的虚拟装配示教方法,可以准确的捕捉手部精细动作,实现对界面的控制及零部件的抓取并完成装配,并且可以将多种格式的零部件或装配体模型通过3dsMax格式转换后,进行虚拟装配,具有一定的通用性。
为了达到上述目的,本发明是通过以下技术方案实现的:
一种基于Leap Motion的虚拟装配示教方法,包括以下步骤:
步骤1,对装配体的零部件进行三维建模并进行正确装配,按以下步骤进行:
步骤1-1,使用CAD建模软件建立零部件模型,保证零部件的尺寸比例一致,CAD建模软件为Proe或SolidWorks;
步骤1-2,利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型,装配结束后要检查零部件是否发生干涉,若发生干涉则转至步骤1-1,进一步改进装配过程,若未干涉,则进行步骤2;
步骤2,对已建立的装配体模型进行格式转换,格式转化软件采用3dsMax软件,将建立好的装配体模型导入3dsMax,对材质进行统一,再导出成FBX的通用格式,得到三维模型;
步骤3,完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建,按以下具体步骤进行:
步骤3-1,对虚拟装配场景进行灯光及背景贴图的设计,使界面符合人机工程学的要求;
步骤3-2,在虚拟装配场景中加入两组相同的上述三维模型,两组三维模型的区别如下:
1)一组作为示范三维模型,用来示范零件正确的装配位置,呈半透明状态,位置固定,没有刚体碰撞属性;
2)另一组作为待装配三维模型,与人产生互动,位置不固定,具有刚体碰撞属性,能够和虚拟手模型产生碰撞;
步骤3-3,虚拟装配场景中虚拟手模型的建立,包括左右两个,左手模型为半透明状态,用来控制视图的旋转与缩放,右手模型为实体状态,进行装配操作;
步骤4,在步骤3搭建的虚拟装配场景中进行零部件的装配,装配方法按以下具体步骤进行:
步骤4-1,在计算机显示屏上获取待装配零件在装配体中的正确位置,此过程通过查找步骤3-2中半透明示范三维模型中的相应零件位置获得;
步骤4-2,获取待装配零件当前位置与正确位置的距离L,通过改变零件材质颜色提醒装配者零件即将到达指定位置,设定接近距离d1、正确距离d2:
1)当L>d1时,零件呈颜色1,即零件还未接近正确位置;
2)当d1>L>d2时,零件呈颜色2,即零件已接近正确位置;
3)当L<d2时,零件呈颜色3,即判定零件已到达正确位置,零件被吸合到正确位置,且解除零件的碰撞属性以避免手的误碰,完成一次零件的装配;
步骤5,手势动作信息的获取与控制视图方法的编写,按以下具体步骤进行:
步骤5-1,装配者手势动作信息的获取依靠Leap Motion数据采集器对人手动作的捕捉,Leap Motion数据采集器能够在150度的空间视场范围内同时追踪全部10只手指,并且Leap Motion数据采集器将捕捉的人手动作信息转换为数字信息传输给计算机,以便在计算机中处理,通过计算机显示屏显示,并通过视觉反馈给装配者;
步骤5-2,使用基于混合高斯模型下的背景剪除方法获取手部数据,实现对人手动作数据的处理,并将手势动作与虚拟模型手进行绑定,实现真实手部动作与虚拟手势动作的一致同步性;
步骤5-3,手势控制视图的具体方法为:
1)首先利用相关函数得到人手的旋转数据和手部离原点的距离;
2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机,使虚拟摄像机围绕零件旋转以改变视角,改变虚拟摄像机焦距以改变视场大小,从而实现手势对视图的控制;
步骤6,利用步骤5中获得的手部动作信息实现对步骤4虚拟零部件的抓取移动以及视图缩放操作,装配者通过观察零部件颜色变化来判断装配状态,最终完成装配。
本发明与现有技术相比,显示了如下优越性:
1、本发明采用Leap Motion的硬件系统,着重于对手掌、手指信息采集,可以实时获取它们的位置、手势和动作,在150度的空间视场范围内可以同时追踪全部10只手指,精度高达0.01毫米,增强了虚拟装配过程的人机交互作用,使装配者获得更好的沉浸感;
2、本发明通过将零部件或装配体模型通过3ds Max转换成FBX格式,导入Unity3D中,即可实现虚拟装配,具有一定的通用性。
附图说明
图1是本发明的方法流程图。
图2是本发明的虚拟装配方法流程图。
图3是本发明硬件连接示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
如图1所示,一种基于Leap Motion的虚拟装配示教方法,包含以下步骤:
步骤1,对装配体的零部件进行三维建模并进行正确装配,按以下步骤进行:
步骤1-1,零部件三维建模使用市面上任一种常用的CAD建模软件,如Proe、SolidWorks等,通过建立拉伸、回转、凸台、倒角及孔特征,使用拔模、阵列、加强筋等工具,以及使用曲面功能建立零部件模型,保证零部件的尺寸比例一致;
步骤1-2,利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型,装配结束后要检查零部件是否发生干涉,若发生干涉则转至步骤1-1,进一步改进装配过程,若未干涉,则进行步骤2;
步骤2,对已建立的装配体模型进行格式转换,格式转化软件采用3dsMax软件,将建立好的装配体模型导入3dsMax,对材质进行统一,再导出成FBX的通用格式,得到三维模型,以便导入Unity3D;
步骤3,完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建,按以下具体步骤进行:
步骤3-1,对虚拟装配场景进行灯光及背景贴图的设计,使界面符合人机工程学的要求;
步骤3-2,对虚拟装配场景中加入两组相同的上述三维模型,两组三维模型的区别如下:
1)一组作为示范三维模型,用来示范零件正确的装配位置,呈半透明状态,位置固定,没有刚体碰撞属性;
2)另一组作为待装配三维模型,与人产生互动,位置不固定,具有刚体碰撞属性,能够和虚拟手模型产生碰撞;
步骤3-3,虚拟装配场景中虚拟手模型的建立,包括左右两个,左手模型为半透明状态,用来控制视图的旋转与缩放,右手模型为实体状态,进行装配操作;
步骤4,在步骤3搭建的虚拟装配场景中进行零部件的装配,参照图2,以下以一个零件的装配为例说明装配方法,具体为:
步骤4-1,在计算机显示屏E上获取待装配零件在装配体中的正确位置,此过程通过查找步骤3-2中半透明示范三维模型中的相应零件位置获得;
步骤4-2,获取待装配零件当前位置与正确位置的距离L,通过改变零件材质颜色提醒装配者零件即将到达指定位置,设定接近距离3、正确距离1:
1)当L>3时,零件呈灰色,即零件还未接近正确位置;
2)当3>L>1时,零件呈红色,即零件已接近正确位置;
3)当L<1时,零件呈白色,即判定零件已到达正确位置,零件被吸合到正确位置,且解除零件的碰撞属性以避免手的误碰,完成一次零件的装配;
步骤5,手势动作信息的获取与控制视图方法的编写,按以下具体步骤进行:
步骤5-1,如图3所示,装配者A手势动作信息的获取依靠Leap Motion数据采集器C对人手B动作的捕捉,Leap Motion数据采集器C能够在150度的空间视场范围内同时追踪全部10只手指,并且Leap Motion数据采集器C将捕捉的人手B动作信息转换为数字信息传输给计算机D,以便在计算机D中处理,通过计算机显示屏E显示,并通过视觉反馈给装配者A;
步骤5-2,使用基于混合高斯模型下的背景剪除方法获取手部数据,实现对人手B动作数据的处理,并将手势动作与虚拟模型手进行绑定,实现真实手部动作与虚拟手势动作的一致同步性;
步骤5-3,手势控制视图的具体方法为:
1)首先利用相关函数得到人手B的旋转数据和手部离原点的距离;
2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机,使虚拟摄像机围绕零件旋转以改变视角,改变虚拟摄像机焦距以改变视场大小,从而实现手势对视图的控制;
步骤6,利用步骤5中获取的人手B的动作信息实现对步骤4虚拟零部件的抓取移动以及视图的缩放等操作,装配者通过观察零部件颜色变化来判断装配状态,最终完成装配。
Claims (1)
1.一种基于LeapMotion的虚拟装配示教方法,其特征在于,包括以下步骤:
步骤1,对装配体的零部件进行三维建模并进行正确装配,按以下步骤进行:
步骤1-1,零部件三维建模使用CAD建模软件,建立零部件模型,保证零部件的尺寸比例一致,CAD建模软件为Proe或SolidWorks;
步骤1-2,利用步骤1-1所述建模软件中的装配功能对零部件进行正确装配得到装配体模型,装配结束后要检查零部件是否发生干涉,若发生干涉则转至步骤1-1,进一步改进装配过程,若未干涉,则进行步骤2;
步骤2,对已建立的装配体模型进行格式转换,格式转化软件采用3dsMax软件,将建立好的装配体模型导入3dsMax,对材质进行统一,再导出成FBX的通用格式,得到三维模型;
步骤3,完成三维模型建立后要在Unity3D中进行虚拟装配场景的搭建,按以下具体步骤进行:
步骤3-1,对虚拟装配场景进行灯光及背景贴图的设计,使界面符合人机工程学的要求;
步骤3-2,对虚拟装配场景中加入两组相同的上述三维模型,两组三维模型的区别如下:
1)一组作为示范三维模型,用来示范零件正确的装配位置,呈半透明状态,位置固定,没有刚体碰撞属性;
2)另一组作为待装配三维模型,与人产生互动,位置不固定,具有刚体碰撞属性,能够和虚拟手模型产生碰撞;
步骤3-3,虚拟装配场景中虚拟手模型的建立,包括左右两个,左手模型为半透明状态,用来控制视图的旋转与缩放,右手模型为实体状态,进行装配操作;
步骤4,在步骤3搭建的虚拟装配场景中进行零部件的装配,装配方法按以下具体步骤进行:
步骤4-1,在计算机显示屏上获取待装配零件在装配体中的正确位置,此过程通过查找步骤3-2中半透明示范三维模型中的相应零件位置获得;
步骤4-2,获取待装配零件当前位置与正确位置的距离L,通过改变零件材质颜色提醒装配者零件即将到达指定位置,设定接近距离d1、正确距离d2:
1)当L>d1时,零件呈颜色1,即零件还未接近正确位置;
2)当d1>L>d2时,零件呈颜色2,即零件已接近正确位置;
3)当L<d2时,零件呈颜色3,即判定零件已到达正确位置,零件被吸合到正确位置,且解除零件的碰撞属性以避免手的误碰,完成一次零件的装配;
步骤5,手势动作信息的获取与控制视图方法的编写,按以下具体步骤进行:
步骤5-1,装配者手势动作信息的获取依靠LeapMotion数据采集器对人手动作的捕捉,LeapMotion数据采集器能够在150度的空间视场范围内同时追踪全部10只手指,并且LeapMotion数据采集器将捕捉的人手动作信息转换为数字信息传输给计算机,以便在计算机中处理,通过计算机显示屏显示,并通过视觉反馈给装配者;
步骤5-2,使用基于混合高斯模型下的背景剪除方法获取手部数据,实现对人手动作数据的处理,并将手势动作与虚拟模型手进行绑定,实现真实手部动作与虚拟手势动作的一致同步性;
步骤5-3,手势控制视图的具体方法为:
1)首先利用相关函数得到人手的旋转数据和手部离原点的距离;
2)将旋转数据和距离数据赋予Unity3D中的虚拟摄像机,使虚拟摄像机围绕零件旋转以改变视角,改变虚拟摄像机焦距以改变视场大小,从而实现手势对视图的控制;
步骤6,利用步骤5中获得的手部动作信息实现对步骤4虚拟零部件的抓取移动以及视图缩放操作,装配者通过观察零部件颜色变化来判断装配状态,最终完成装配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711240326.1A CN107967057B (zh) | 2017-11-30 | 2017-11-30 | 一种基于Leap Motion的虚拟装配示教方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711240326.1A CN107967057B (zh) | 2017-11-30 | 2017-11-30 | 一种基于Leap Motion的虚拟装配示教方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107967057A CN107967057A (zh) | 2018-04-27 |
CN107967057B true CN107967057B (zh) | 2020-03-31 |
Family
ID=61999250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711240326.1A Active CN107967057B (zh) | 2017-11-30 | 2017-11-30 | 一种基于Leap Motion的虚拟装配示教方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107967057B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110389652B (zh) * | 2019-01-03 | 2023-04-28 | 上海工程技术大学 | 一种基于Leap Motion的起落架虚拟维修教学方法 |
CN110515455B (zh) * | 2019-07-25 | 2023-03-03 | 山东科技大学 | 一种基于Leap Motion和局域网内协同的虚拟装配方法 |
CN111028597B (zh) * | 2019-12-12 | 2022-04-19 | 塔普翊海(上海)智能科技有限公司 | 混合现实的外语情景、环境、教具教学系统及其方法 |
CN113947053A (zh) * | 2021-10-21 | 2022-01-18 | 黄航 | 基于ar的电路板布局方法及系统 |
CN113961080B (zh) * | 2021-11-09 | 2023-08-18 | 南京邮电大学 | 一种基于手势交互的三维建模软件框架及设计方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101563298B1 (ko) * | 2014-07-23 | 2015-10-26 | 동서대학교산학협력단 | 수부 모션인식 기반의 수부 재활치료 시스템 |
CN105741348A (zh) * | 2016-01-28 | 2016-07-06 | 北京航空航天大学 | 一种结构自适应的三维模型编辑方法 |
CN106980385A (zh) * | 2017-04-07 | 2017-07-25 | 吉林大学 | 一种虚拟装配装置、系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9430588B2 (en) * | 2008-07-11 | 2016-08-30 | Autodesk, Inc. | Assembly connection method for attaching virtual parts in a computer aided design software environment |
US20140240227A1 (en) * | 2013-02-26 | 2014-08-28 | Corel Corporation | System and method for calibrating a tracking object in a vision system |
CN104778894B (zh) * | 2015-04-28 | 2017-06-20 | 关宏刚 | 一种虚拟仿真正骨手法培训系统及其建立方法 |
CN105278685B (zh) * | 2015-09-30 | 2018-12-21 | 陕西科技大学 | 一种基于eon的辅助教学系统及教学方法 |
CN106023304A (zh) * | 2016-05-09 | 2016-10-12 | 西安工程大学 | 基于Unity3D的西服个性化定制与三维虚拟展示方法 |
-
2017
- 2017-11-30 CN CN201711240326.1A patent/CN107967057B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101563298B1 (ko) * | 2014-07-23 | 2015-10-26 | 동서대학교산학협력단 | 수부 모션인식 기반의 수부 재활치료 시스템 |
CN105741348A (zh) * | 2016-01-28 | 2016-07-06 | 北京航空航天大学 | 一种结构自适应的三维模型编辑方法 |
CN106980385A (zh) * | 2017-04-07 | 2017-07-25 | 吉林大学 | 一种虚拟装配装置、系统及方法 |
Non-Patent Citations (1)
Title |
---|
增强现实环境下汽车发动机装配训练系统研究;赵阳;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20151115(第 11 期);C035-27 * |
Also Published As
Publication number | Publication date |
---|---|
CN107967057A (zh) | 2018-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107967057B (zh) | 一种基于Leap Motion的虚拟装配示教方法 | |
Ueda et al. | A hand-pose estimation for vision-based human interfaces | |
Nee et al. | Augmented reality applications in design and manufacturing | |
CN111443619B (zh) | 一种虚实融合的人机协作仿真方法和系统 | |
CN105278685B (zh) | 一种基于eon的辅助教学系统及教学方法 | |
Zawadzki et al. | Employee training in an intelligent factory using virtual reality | |
CN106200983A (zh) | 一种结合虚拟现实与bim实现虚拟现实场景建筑设计的系统 | |
CN110515455B (zh) | 一种基于Leap Motion和局域网内协同的虚拟装配方法 | |
WO2019041900A1 (zh) | 增强现实环境中识别装配操作、模拟装配的方法和装置 | |
CN108153932B (zh) | 桌面式三维虚拟维修模型的建模系统 | |
CN103778301A (zh) | 一种基于虚拟样机技术的机械臂仿真方法 | |
CN109732593B (zh) | 一种机器人的远端控制方法、装置及终端设备 | |
CN107368314B (zh) | 基于移动ar的机械制造工艺课程设计教学辅助系统及开发方法 | |
CN110162179A (zh) | 一种智能感知虚拟装配系统 | |
Jiang et al. | A new constraint-based virtual environment for haptic assembly training | |
Pan et al. | Application of an assistant teaching system based on mobile augmented reality (AR) for course design of mechanical manufacturing process | |
Xiong et al. | A framework for interactive assembly task simulationin virtual environment | |
Wang et al. | Assembly design and evaluation based on bare-hand interaction in an augmented reality environment | |
CN115481489A (zh) | 基于增强现实的白车身与生产线适配性验证系统及方法 | |
Talaba et al. | Virtual reality in product design and robotics | |
Yan et al. | AGRMTS: A virtual aircraft maintenance training system using gesture recognition based on PSO‐BPNN model | |
Mateus et al. | Τέκτων to Τέχνη: Going back to the Classical Roots of Architecture using Virtual Reality | |
Xiong | The Application of Computer Three-dimensional Modelling Technology in Environmental Art Design Major | |
Yu et al. | Modeling technology of virtual assembly system based on UML | |
Bin et al. | Virtual Reality Design of industrial robot teaching based on unity3D |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |