CN114647315A - 基于博物馆导览ar眼镜的人机交互方法 - Google Patents
基于博物馆导览ar眼镜的人机交互方法 Download PDFInfo
- Publication number
- CN114647315A CN114647315A CN202210300090.0A CN202210300090A CN114647315A CN 114647315 A CN114647315 A CN 114647315A CN 202210300090 A CN202210300090 A CN 202210300090A CN 114647315 A CN114647315 A CN 114647315A
- Authority
- CN
- China
- Prior art keywords
- glasses
- control mode
- voice
- museum
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 53
- 230000003993 interaction Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004424 eye movement Effects 0.000 claims abstract description 31
- 230000004438 eyesight Effects 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000004399 eye closure Effects 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 210000001508 eye Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009967 tasteless effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于博物馆导览AR眼镜的人机交互方法，属于增强现实技术领域，包括以下步骤：S1、穿戴识别单元识别穿戴信号，控制主机开机；S2、视频采集单元采集眼部视线范围内的场景图像；S3、语音识别单元识别语音信号，对控制模式进行选择，控制模式包括眼动控制模式、手势控制模式和语音控制模式；S4、视觉追踪单元获取眼部活动信息，并转换为对应控制信号进行交互；S5、手势识别单元获取用户手部动作，并转换为对应控制信号进行交互；S6、语音识别单元识别语音信号，并转换为对应控制信号进行交互，游客可根据需要选择通过眼动、手势或语音来与AR眼镜进行互动，让游客获得与AR眼镜实时、逼真的互动体验。
Description
技术领域
本发明属于增强现实技术领域，具体涉及一种基于博物馆导览AR眼镜的人机交互方法。
背景技术
导览或讲解一直都是博物馆深度体验的关键，因为静态的展品往往不能向普通的参观者传达出足够的信息，而大段的文字解释又显得枯燥无味，因此产生了很多博物馆导览方法。如依靠说明牌、电子语音讲解器、团队人员讲解、二维码扫描导览及智能语音导览等方式。
这些传统的导览形式在独具优势的同时也存在着不同程度的弊端，无法满足观众深入了解的要求。说明牌只能简明扼要地介绍展品的信息，而且主要以图文介绍为主，难易调动观众的积极性。电子语音讲解器只能收听事先录制好的语音内容，内容存在一定的局限性，不能满足观众多方面的内容需求，特别是有时还会存在精度不高的问题。专业讲解员讲解内容会受到周围环境的影响，以致观众听不清楚讲解的内容，逐渐失去了继续参观的积极性。语音导览系统信号源分布会出现重叠或缺失，因而造成讲解内容与展陈实物不符的情况；二维码扫描导览其互动性和体验感较差，不能让用户较好地融入到空间环境中。因此，大多数参观者在参观时游览的质量不够高。
发明内容
本发明所要解决的技术问题是：提供一种基于博物馆导览AR眼镜的人机交互方法，让游客在参观展品的同时，能够选择合适的方式，通过增强现实技术获得与AR眼镜实时、逼真的互动体验。
为解决上述技术问题，本发明的技术方案是：
基于博物馆导览AR眼镜的人机交互方法，所述AR眼镜包括主机及与所述主机电连接的穿戴识别单元、视频采集单元、视觉追踪单元、手势识别单元、语音识别单元、语音输出单元、显示输出单元以及定位单元；
所述人机交互方法，包括以下步骤：
S1、通过所述穿戴识别单元识别穿戴信号，控制主机开机；
S2、所述视频采集单元采集眼部视线范围内的场景图像；
S3、通过语音识别单元识别语音信号，对控制模式进行选择，所述控制模式包括眼动控制模式、手势控制模式和语音控制模式，若为所述眼动控制模式，进入S4，若为所述手势控制模式，进入S5，若为所述语音控制模式，进入S6；
S4、所述视觉追踪单元获取眼部活动信息，并转换为对应控制信号与所述AR眼镜进行交互；
S5、所述手势识别单元获取用户手部动作，并转换为对应控制信号与所述AR眼镜进行交互；
S6、所述语音识别单元识别语音信号，并转换为对应控制信号与所述AR眼镜进行交互。
进一步的，所述S4、S5和S6中与所述AR眼镜的交互为展品讲解，具体包括：
S7a、选择视线范围内需要进行介绍的展品；
S7b、所述视频采集单元将所述展品的图片与所述主机内存储的数据相匹配，获取相应展品的文字和图片的介绍信息；
S7c、所述显示输出单元生成文字和图片形式的虚拟信息，投影在展品旁边，所述语音输出单元输出语音介绍。
进一步的，所述S4、S5和S6中与所述AR眼镜的交互为参观导航，具体包括：
S8a、通过所述显示输出单元显示博物馆地图，所述博物馆地图显示有各展品位置以及通过所述定位单元定位的用户位置；
S8b、选择所述博物馆地图上的展品；
S8c、规划出相应路线，并对用户进行导航。
进一步的，所述S8c为所述博物馆地图显示规划路线，并通过所述显示输出单元显示投影进行导航。
进一步的，所述S8c为通过所述语音输出单元进行语音提示导航。
进一步的，所述定位单元为UWB接收器。
进一步的，所述视觉追踪单元为用于检测用户眼动参数的眼动追踪传感器。
进一步的，所述眼动参数包括眼跳次数、注视次数、注视时长和注视时长眼球闭合时长。
进一步的，所述穿戴识别单元为在所述AR眼镜的多个人体接触区域分别设置的若干压敏传感器，所述压敏传感器均被按压时，所述主机开机。
进一步的，所述手势识别单元为安装于所述AR眼镜下端的手势识别摄像头，所述手势识别摄像头的拍摄方向为用户水平视线下方。
采用了上述技术方案后，本发明的有益效果是：
由于本发明的基于博物馆导览AR眼镜的人机交互方法包括以下步骤：S1、通过穿戴识别单元识别穿戴信号，控制主机开机；S2、视频采集单元采集眼部视线范围内的场景图像；S3、通过语音识别单元识别语音信号，对控制模式进行选择，控制模式包括眼动控制模式、手势控制模式和语音控制模式，若为眼动控制模式，进入S4，若为手势控制模式，进入S5，若为语音控制模式，进入S6；S4、视觉追踪单元获取眼部活动信息，并转换为对应控制信号与AR眼镜进行交互；S5、手势识别单元获取用户手部动作，并转换为对应控制信号与AR眼镜进行交互；S6、语音识别单元识别语音信号，并转换为对应控制信号与AR眼镜进行交互，游客可根据需要选择通过眼动、手势或语音来与AR眼镜进行互动，让游客在参观展品的同时，能够选择合适的方式，通过增强现实技术获得与AR眼镜实时、逼真的互动体验，从而提高游客的参观质量。
附图说明
图1是本发明基于博物馆导览AR眼镜的人机交互方法的流程示意图；
图2是展品讲解的交互流程示意图；
图3是参观导航的交互流程示意图，。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本说明书中涉及到的方位均以附图所示为准，仅代表相对位置关系，不代表绝对位置关系。
如图1所示，基于博物馆导览AR眼镜的人机交互方法，AR眼镜包括主机及与主机电连接的穿戴识别单元、视频采集单元、视觉追踪单元、手势识别单元、语音识别单元、语音输出单元、显示输出单元以及定位单元。
人机交互方法，包括以下步骤：
S1、通过穿戴识别单元识别穿戴信号，控制主机开机。穿戴识别单元为在AR眼镜的多个人体接触区域分别设置的若干压敏传感器，压敏传感器均被按压时，主机开机，不需要用户手动控制，使用方便，还可防止误触碰。
S2、视频采集单元采集眼部视线范围内的场景图像。视频采集单元为采集摄像头，安装于AR眼镜上端，镜头方向为眼睛水平视线方向，采集人眼看到景象。
S3、通过语音识别单元识别语音信号，对控制模式进行选择，控制模式包括眼动控制模式、手势控制模式和语音控制模式，若为眼动控制模式，进入S4，若为手势控制模式，进入S5，若为语音控制模式，进入S6。
S4、视觉追踪单元获取眼部活动信息，并转换为对应控制信号与AR眼镜进行交互。视觉追踪单元为用于检测用户眼动参数的眼动追踪传感器，其中，眼动参数包括眼跳次数、注视次数、注视时长和注视时长眼球闭合时长，本申请可选用注视时长作为控制触发参数，如可以为5s。
S5、手势识别单元获取用户手部动作，并转换为对应控制信号与AR眼镜进行交互。手势识别单元为安装于AR眼镜下端的手势识别摄像头，手势识别摄像头的拍摄方向为用户水平视线下方，当输入手势与主机内存储手势一致时，将该手势转换为对应控制信号。
S6、语音识别单元识别语音信号，并转换为对应控制信号与AR眼镜进行交互。语音识别单元为拾音传感器。
如图2所示，S4、S5和S6中与AR眼镜的交互为展品讲解，具体包括：
S7a、选择视线范围内需要进行介绍的展品；
S7b、视频采集单元将展品的图片与主机内存储的数据相匹配，获取相应展品的文字和图片的介绍信息；
S7c、显示输出单元生成文字和图片形式的虚拟信息，投影在展品旁边，语音输出单元输出语音介绍。
如图3所示，S4、S5和S6中与AR眼镜的交互为参观导航，具体包括：
S8a、通过显示输出单元显示博物馆地图，博物馆地图显示有各展品位置以及通过定位单元定位的用户位置，博物馆地图和各展品位置提前载入主机中。
S8b、选择博物馆地图上的展品。
S8c、规划出相应路线，并对用户进行导航。S8c可以为通过博物馆地图显示规划路线，并通过显示输出单元显示投影进行导航；S8c也可以为通过语音输出单元进行语音提示导航。本申请优选使用两种方式同时为用户导航。其中，定位单元为UWB接收器，博物馆中安装有若干UWM发射器。UWB(Ultra Wide Band)超宽带技术能够在室内精确定位，与传统的窄带系统相比，具有穿透力强、功耗低、抗干扰效果好、安全性高、系统复杂度低、能提供精确定位精度等优点。UWB接收器还可用于接收博物馆控制中心发出的通信信息，如将博物馆地图、各展品位置、展品介绍、手势动作、眼动控制触发参数等输入主机。
本发明的基于博物馆导览AR眼镜的人机交互方法通过穿戴识别单元识别穿戴信号，控制主机开机，并通过语音对控制模式进行选择，游客可通过眼动、手势或语音与AR眼镜进行互动，让游客在参观展品的同时，能够选择合适的方式，通过增强现实技术获得与AR眼镜实时、逼真的互动体验，从而提高游客的参观质量。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应该理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，这些仅仅是举例说明，本发明的保护范围是由所述权利要求书限定。本领域的技术人员在不背离本发明的原理和实质的前提下，在没有经过任何创造性的劳动下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述AR眼镜包括主机及与所述主机电连接的穿戴识别单元、视频采集单元、视觉追踪单元、手势识别单元、语音识别单元、语音输出单元、显示输出单元以及定位单元；
所述人机交互方法，包括以下步骤：
S1、通过所述穿戴识别单元识别穿戴信号，控制主机开机；
S2、所述视频采集单元采集眼部视线范围内的场景图像；
S3、通过语音识别单元识别语音信号，对控制模式进行选择，所述控制模式包括眼动控制模式、手势控制模式和语音控制模式，若为所述眼动控制模式，进入S4，若为所述手势控制模式，进入S5，若为所述语音控制模式，进入S6；
S4、所述视觉追踪单元获取眼部活动信息，并转换为对应控制信号，所述AR眼镜进行交互；
S5、所述手势识别单元获取用户手部动作，并转换为对应控制信号与所述AR眼镜进行交互；
S6、所述语音识别单元识别语音信号，并转换为对应控制信号与所述AR眼镜进行交互。
2.根据权利要求1所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述S4、S5和S6中与所述AR眼镜的交互为展品讲解，具体包括：
S7a、选择视线范围内需要进行介绍的展品；
S7b、所述视频采集单元将所述展品的图片与所述主机内存储的数据相匹配，获取相应展品的文字和图片的介绍信息；
S7c、所述显示输出单元生成文字和图片形式的虚拟信息，投影在展品旁边，所述语音输出单元输出语音介绍。
3.根据权利要求1所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述S4、S5和S6中与所述AR眼镜的交互为参观导航，具体包括：
S8a、通过所述显示输出单元显示博物馆地图，所述博物馆地图显示有各展品位置以及通过所述定位单元定位的用户位置；
S8b、选择所述博物馆地图上的展品；
S8c、规划出相应路线，并对用户进行导航。
4.根据权利要求3所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述S8c为所述博物馆地图显示规划路线，并通过所述显示输出单元显示投影进行导航。
5.根据权利要求3所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述S8c为通过所述语音输出单元进行语音提示导航。
6.根据权利要求3所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述定位单元为UWB接收器。
7.根据权利要求1所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述视觉追踪单元为用于检测用户眼动参数的眼动追踪传感器。
8.根据权利要求7所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述眼动参数包括眼跳次数、注视次数、注视时长和注视时长眼球闭合时长。
9.根据权利要求1所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述穿戴识别单元为在所述AR眼镜的多个人体接触区域分别设置的若干压敏传感器，所述压敏传感器均被按压时，所述主机开机。
10.根据权利要求1至9任一项所述的基于博物馆导览AR眼镜的人机交互方法，其特征在于，所述手势识别单元为安装于所述AR眼镜下端的手势识别摄像头，所述手势识别摄像头的拍摄方向为用户水平视线下方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210300090.0A CN114647315A (zh) | 2022-03-25 | 2022-03-25 | 基于博物馆导览ar眼镜的人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210300090.0A CN114647315A (zh) | 2022-03-25 | 2022-03-25 | 基于博物馆导览ar眼镜的人机交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114647315A true CN114647315A (zh) | 2022-06-21 |
Family
ID=81994990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210300090.0A Pending CN114647315A (zh) | 2022-03-25 | 2022-03-25 | 基于博物馆导览ar眼镜的人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114647315A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100742A (zh) * | 2022-06-23 | 2022-09-23 | 上海妙文会展服务有限公司 | 一种基于隔空手势操作的元宇宙展览展示体验系统 |
| CN115390675A (zh) * | 2022-09-22 | 2022-11-25 | 未石互动科技股份有限公司 | 一种非触摸互动投影方法及系统 |
| CN115482818A (zh) * | 2022-08-24 | 2022-12-16 | 北京声智科技有限公司 | 控制方法、装置、设备以及存储介质 |
| CN117557238A (zh) * | 2024-01-11 | 2024-02-13 | 天禹文化集团有限公司 | 一种基于虚拟现实的博物馆展品参观管理方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107816984A (zh) * | 2017-08-28 | 2018-03-20 | 深圳市赛亿科技开发有限公司 | 一种基于ar眼镜的导览方法及系统 |
| CN108227933A (zh) * | 2018-01-30 | 2018-06-29 | 北京小米移动软件有限公司 | 眼镜的控制方法及装置 |
| CN109739353A (zh) * | 2018-12-27 | 2019-05-10 | 重庆上丞科技有限公司 | 一种基于手势、语音、视线追踪识别的虚拟现实交互系统 |
| CN113566829A (zh) * | 2021-07-19 | 2021-10-29 | 上海极赫信息技术有限公司 | 基于高精度定位技术的混合现实的导览方法、系统及mr设备 |
| CN113709410A (zh) * | 2020-05-21 | 2021-11-26 | 幻蝎科技(武汉)有限公司 | 基于mr眼镜的人眼视觉能力增强的方法、系统及设备 |
| CN114063771A (zh) * | 2021-10-14 | 2022-02-18 | 内蒙古雲图计算机软件开发有限公司 | 一种基于ar技术的园区场景互动展示系统 |
-
2022
- 2022-03-25 CN CN202210300090.0A patent/CN114647315A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107816984A (zh) * | 2017-08-28 | 2018-03-20 | 深圳市赛亿科技开发有限公司 | 一种基于ar眼镜的导览方法及系统 |
| CN108227933A (zh) * | 2018-01-30 | 2018-06-29 | 北京小米移动软件有限公司 | 眼镜的控制方法及装置 |
| CN109739353A (zh) * | 2018-12-27 | 2019-05-10 | 重庆上丞科技有限公司 | 一种基于手势、语音、视线追踪识别的虚拟现实交互系统 |
| CN113709410A (zh) * | 2020-05-21 | 2021-11-26 | 幻蝎科技(武汉)有限公司 | 基于mr眼镜的人眼视觉能力增强的方法、系统及设备 |
| CN113566829A (zh) * | 2021-07-19 | 2021-10-29 | 上海极赫信息技术有限公司 | 基于高精度定位技术的混合现实的导览方法、系统及mr设备 |
| CN114063771A (zh) * | 2021-10-14 | 2022-02-18 | 内蒙古雲图计算机软件开发有限公司 | 一种基于ar技术的园区场景互动展示系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100742A (zh) * | 2022-06-23 | 2022-09-23 | 上海妙文会展服务有限公司 | 一种基于隔空手势操作的元宇宙展览展示体验系统 |
| CN115482818A (zh) * | 2022-08-24 | 2022-12-16 | 北京声智科技有限公司 | 控制方法、装置、设备以及存储介质 |
| CN115390675A (zh) * | 2022-09-22 | 2022-11-25 | 未石互动科技股份有限公司 | 一种非触摸互动投影方法及系统 |
| CN117557238A (zh) * | 2024-01-11 | 2024-02-13 | 天禹文化集团有限公司 | 一种基于虚拟现实的博物馆展品参观管理方法和系统 |
| CN117557238B (zh) * | 2024-01-11 | 2024-03-29 | 天禹文化集团有限公司 | 一种基于虚拟现实的博物馆展品参观管理方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114647315A (zh) | 基于博物馆导览ar眼镜的人机交互方法 | |
| US20210131790A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| CN109923462B (zh) | 感测眼镜 | |
| US11704874B2 (en) | Spatial instructions and guides in mixed reality | |
| Van Krevelen et al. | A survey of augmented reality technologies, applications and limitations | |
| US20150277699A1 (en) | Interaction method for optical head-mounted display | |
| US7817104B2 (en) | Augmented reality apparatus and method | |
| KR100911376B1 (ko) | 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치 | |
| US20130321390A1 (en) | Augmented books in a mixed reality environment | |
| CN107562186B (zh) | 基于注意力辨识进行情感运算的3d校园导览方法 | |
| JP6492673B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
| US11907434B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| KR20220057388A (ko) | Ar 버츄얼 단말 및 그의 제어 방법 | |
| US12243552B2 (en) | Wearable speech input-based to moving lips display overlay | |
| US11803058B1 (en) | Blind assist glasses with remote assistance | |
| US10885716B1 (en) | Mixed reality system user interface placement | |
| US12295905B2 (en) | Enabling the visually impaired with AR using force feedback | |
| US20240079031A1 (en) | Authoring tools for creating interactive ar experiences | |
| US20240050831A1 (en) | Instructor avatars for augmented reality experiences | |
| US20240077983A1 (en) | Interaction recording tools for creating interactive ar stories | |
| US20240077984A1 (en) | Recording following behaviors between virtual objects and user avatars in ar experiences | |
| US20240119928A1 (en) | Media control tools for managing communications between devices | |
| US20240403080A1 (en) | Devices, methods, and graphical user interfaces for displaying views of physical locations | |
| KR20250048040A (ko) | 가상 마커들과 상관되는 확대된 오버레이들 | |
| CN114779926A (zh) | 基于增强现实的博物馆交互式眼镜 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |