CN116152450A - 一种增强现实三维网络地图服务的方法和系统 - Google Patents
一种增强现实三维网络地图服务的方法和系统 Download PDFInfo
- Publication number
- CN116152450A CN116152450A CN202211397800.2A CN202211397800A CN116152450A CN 116152450 A CN116152450 A CN 116152450A CN 202211397800 A CN202211397800 A CN 202211397800A CN 116152450 A CN116152450 A CN 116152450A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- map
- modeling
- modeling data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Abstract
本发明公开了一种增强现实三维网络地图服务的方法和系统，通过下载映射2D标记信息和3D建模数据的映射信息文件；从地图数据提供服务器接收包括2D标记信息的地图数据；通过从地图数据检测2D标识信息并搜索映射信息文件，提取3D建模数据的标识；使用3D建模数据的标识从3D建模数据库提取对应检测的2D标记信息的3D建模数据；在处理3D建模数据之后另外渲染3D建模数据至帧缓冲区；将所渲染的数据渲染在屏幕上。本发明可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。
Description
技术领域
本发明属于虚拟现实技术领域，具体涉及一种增强现实三维网络地图服务的方法和系统。
背景技术
增强现实系统，是显示人用眼看到的现实世界与具有更详细信息作为单一特征的虚拟世界的虚拟现实技术，其为将现实环境与虚拟环境结合的混合虚拟现实系统。增强现实是将现实世界与虚拟世界相结合的概念。虽然增强现实使用电脑图形制作的虚拟环境，但是其主要部分是现实环境。电脑图形另外提供现实环境所需信息，并使用户看到的三维(3D)虚拟图像与现实图像重叠，因此分不清楚现实世界与虚拟图像。
因此，虚拟增强系统需要就某一点或现实世界对象获取对应物3D坐标。从理论上说，要求两个摄像头必须都以人通过两个眼睛所感知到的深度的原则为基础获取3D坐标。但是，通常使用一个单一相机，并且因为单一相机很难在现实世界感知3D位置而使用标记。
为将这一原则应用于3D网络地图服务，需要大量的数据，如成百上千的点的信息、纹理信息、相应的纹理图像等等，来表现整个3D对象。此外，所有信息必须传送到网络来在网络地图服务中向用户表现3D对象。但是，3D网络地图服务体系，在执行网络传输数据时与渲染时间相比具有明显更高的负载，因此提供实时服务几乎是不可能的。
但是，虽然在用户计算机上提前存储3D物体或每次通过使用超高速缓存(caching)传输大量数据的问题已被解决，但是在地图上的准确位置描绘出之前存储对象的是非常困难的，因为地图的方向和偏角必须根据在3D网络地图服务中的用户输入而不同。
发明内容
本发明的目的在于提供一种增强现实三维网络地图服务的方法和系统，以解决上述背景技术中提出现有技术中的问题。
为实现上述目的，本发明采用了如下技术方案：
一种增强现实三维网络地图服务的方法，包括如下步骤：
下载映射2D标记信息和3D建模数据的映射信息文件；
从地图数据提供服务器接收包括所述2D标记信息的地图数据；
使用所述接收的地图数据提前将地图渲染至帧缓冲区；
通过从所述地图数据检测所述2D标识信息并搜索所述映射信息文件，提取所述3D建模数据的标识；
使用所述3D建模数据的所述标识从3D建模数据库提取对应所述检测的2D标记信息的所述3D建模数据；
在处理所述3D建模数据之后另外渲染所述3D建模数据至所述帧缓冲区；
将所渲染的数据渲染在屏幕上。
进一步的，本发明提出一种增强现实三维网络地图服务的系统，包括：
用于存储映射2D标记信息和3D建模数据的映射信息文件的3D建模数据库；
用于从地图数据提供服务器接收包括2D标记信息的地图数据的接收单元；
用于通过从地图数据检测2D标识信息并搜索映射信息文件，提取3D建模数据的ID，并使用3D建模数据的ID，从3D建模数据库提取对应检测的2D标记信息的3D建模数据的提取单元；
用于使用图数据提前将地图渲染至帧缓冲区，处理3D建模数据，并另外渲染3D建模数据至帧缓冲区的渲染单元。
优选的，所述接收单元、提取单元及渲染单元依次连接，且接收单元、3D建模数据库及渲染单元依次连接。
优选的，所述接收单元通过网络从互联地图数据提供服务器接收包括2D标记信息的地图数据；所述接收单元可接收2D标记信息与3D建模数据被映射了的映射信息文件。
优选的，所述3D建模数据库表用于渲染游戏或3D渲染的所有数据，其包括由ACE、X文件、或3D Max生产的数据、Quake中使用的数据。
优选的，所述提取器通过分析帧缓冲区并接受图像处理，检测缓冲区中是否存在与包含在映射信息文件中的2D标记信息相同的标记信息帧，并通过搜索映射信息文件，提取对应检测的标记信息的3D建模数据。
优选的，所述3D建模数据库提前执行下载3D建模数据并存储在2D标记信息和3D建模数据被映射的映射文件信息中，所述渲染单元通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据渲染到预定的位置，并将渲染的结果，即3D地图数据，渲染到屏幕上。
优选的，所述2D地图数据包括2D标记信息，3D地图数据是2D标记信息和3D建模信息映射到2D标记信息的合成状态。
优选的，还包括3D地图网络服务系统；所述3D地图网络服务系统可以提前执行以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。
本发明的技术效果和优点：本发明提出的一种增强现实三维网络地图服务的方法和系统，与现有技术相比，具有以下优点：
本发明可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。
附图说明
图1为本发明实施例中使用增强现实的三维(3D)网络地图服务系统与地图数据提供服务器间的互通关系示意图；
图2为本发明实施例中增强现实三维网络地图服务的系统框图；
图3为本发明实施例中的2D标记信息的示例图；
图4为本发明实施例中的3D建模数据的示例图；
图5为本发明实施例中2D标记信息与3D建模数据之间的映射关系的示例图；
图6为本发明实施例中2D标记信息的ID与3D建模数据的ID被映射了的映射信息文件的示例图；
图7为本发明实施例中2D标记信息与映射至2D标记信息的3D建模数据的合成状态的示例图；
图8为本发明实施例中增强现实三维网络地图服务的方法流程图；
图9为本发明实施例中通过检测2D标记信息并搜索映射信息文件来实施提取3D建模数据的ID的操作的的一个示例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提供了一种增强现实三维网络地图服务的系统，示例性的，如图1-图2所示的。该系统包括：3D建模数据库，其存储映射了2D标记信息和3D建模数据的映射信息文件；接收单元，其从地图数据提供服务器接收包括所述2D标记信息的地图数据；提取器，其通过从所述地图数据检测所述2D标识信息并搜索所述映射信息文件，提取所述3D建模数据的ID，并使用所述3D建模数据的所述ID，从所述3D建模数据库提取对应所述检测的2D标记信息的所述3D建模数据；和渲染单元，其使用所述图数据提前将地图渲染至帧缓冲区，处理所述3D建模数据，并另外渲染所述3D建模数据至所述帧缓冲区。具体的，所述接收单元、提取单元及渲染单元依次连接，且接收单元、3D建模数据库及渲染单元依次连接。
如图1示出根据本发明的使用增强现实的三维(3D)网络地图服务系统与地图数据提供服务器间的互通关系。参考图1，3D网络地图服务系统100提前下载2D标记信息和3D建模数据被映射了的映射信息文件。此外，3D网络地图服务系统100通过网络110从互联地图数据提供服务器120接收包括2D标记信息的地图数据。
所述3D网络地图服务系统100，使用收到的数据将地图渲染至帧缓冲区，从地图数据检测2D标记信息，并搜索地图信息文件以提取3D建模数据(ID)的标识。此外，所述3D网络地图服务系统100使用提取的3D建模数据的ID，从3D建模数据库中提取对应检测的2D标记信息的3D建模数据。3D网络地图服务系统100处理提取的3D建模数据，另外将3D建模数据渲染至帧缓冲区，并将渲染的数据渲染到屏幕上。
如图2示出根据本发明的一个示例实施例的使用增强现实的3D网络地图服务系统的配置。参考图2，3D网络地图服务系统100包括接收单元210、提取单元220、渲染单元230和3D建模数据库240。接收单元210通过网络110从互联地图数据提供服务器120接收包括2D标记信息的地图数据。
如图3示出2D标记信息的一个示例。参照图3，根据本发明的2D标记信息310至340可逆算方向和距离，在每个方向具有单一模式的每个数字可用作2D标记信息。但是，由于标记信息350和360可能不逆算方向和距离，根据本发明其可能不能用作2D标记信息。另外，接收单元210可接收2D标记信息与3D建模数据被映射了的映射信息文件。
如图4示出3D建模数据的一个示例。参考图4，3D建模数据410至430代表用于渲染游戏或3D渲染的所有数据，其可包括由ACE、X文件、或3D Max生产的数据、Quake中使用的数据如MD3等。
如图5示出2D标记信息与3D建模数据之间的映射关系的一个示例。参考图5，第一标记是一个正方形，其被与63大厦的3D建模数据匹配，第二标记是一个包括圆形的正方形，其被与一个女人人物对象的3D建模数据匹配，第三标记是一个包含三角形的正方形，其被与韩国化妆品大厦的3D建模数据匹配。如上所述，2D标记信息和3D建模数据被一对一匹配。
如图6示出2D标记信息的ID与3D建模数据的ID被映射了的映射信息文件的一个示例。参考图6，在映射信息文件中2D标记信息的ID和3D建模数据的ID被一对一映射。第一标记是一个正方形，其ID被映射至63大厦的ID，第二标记是一个包括圆形的正方形，其ID被映射至一个女人人物对象的3D建模数据的ID，第三标记是一个包含三角形的正方形，其ID被映射至韩国化妆品大厦的3D的ID。
提取器220从地图数据检测2D标记信息，搜索映射信息文件，并提取3D建模数据的ID。此外，提取器220使用3D建模数据的ID从3D建模数据库240提取对应检测的2D标记信息的3D建模数据。也就是说，提取器220，通过分析帧缓冲区并接受图像处理，检测缓冲区中是否存在与包含在映射信息文件中的2D标记信息相同的标记信息帧，并通过搜索映射信息文件，提取对应检测的标记信息的3D建模数据。
渲染单元230使用接收的地图数据提前将地图渲染至帧缓冲区，处理所述3D建模数据，并另外将3D建模数据渲染至帧缓冲区。3D建模数据库240提前执行下载3D建模数据并存储在2D标记信息和3D建模数据被映射的映射文件信息中，如图6所示。也就是说，渲染单元230通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据渲染到预定的位置。
如图7示出2D标记信息与映射至2D标记信息的3D建模数据的合成状态的一个示例。参考图7，2D地图数据710包括2D标记信息711，3D地图数据720是2D标记信息和3D建模信息721映射到2D标记信息的合成状态。提取器220检测缓冲区中是否存在与包含在所述映射信息文件中的2D标记信息711相同的标记信息帧，并通过搜索映射信息文件，从3D建模数据库240提取对应检测的标记信息的3D建模数据721。另外，渲染单元230通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据721渲染到预定的位置，并将渲染的结果，即3D地图数据，渲染到屏幕上。
如上所述，根据本发明的3D地图网络服务系统100，可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。
如图8是示出根据本发明的一个示例实施例的用于使用增强现实的3D网络地图服务的方法的流程图。参照图1至图8，在操作S810，3D网络地图服务系统100执行下载映射了2D标记信息和3D建模数据的映射信息文件。此外，在操作S810，3D网络地图服务系统100可提前执行下载3D建模数据。此外，在操作S810，3D网络地图服务系统100可在3D建模数据库中记录并维护3D建模数据。
在操作S820，3D网络地图服务系统100通过网络110从互联地图数据提供服务器120接收包括2D标记信息的地图数据。
在操作S830，3D网络地图服务系统100使用收到的地图数据提前将地图渲染至帧缓冲区。
在操作S840，3D网络地图服务系统100从地图数据检测2D标记信息，并搜索映射信息文件来提取3D建模数据的ID。以下将参考图9详细描述检测2D标记信息和搜索映射信息文件来提取3D建模数据的ID。
图9示出通过检测2D标记信息并搜索映射信息文件来实施提取3D建模数据的ID的操作的的一个示例。
参照图1至图9，在操作S910，3D网络地图服务系统100通过分析所述帧缓冲区并接受图像处理，检测缓冲区中是否存在与包含在映射信息文件中的2D标记信息相同的标记信息帧。
在操作S920，3D网络地图服务系统100搜索映射信息文件，并提取对应检测的2D标记信息的3D建模数据的ID。也就是说，在操作S920，3D网络地图服务系统100搜索映射信息文件，并提取对应检测的2D标记信息的3D建模数据的ID，如图6所示。
在操作S850，3D网络地图服务系统100使用3D建模数据的ID从3D建模数据库提取检测的2D标记信息对应的3D建模数据。
在操作S860，3D网络地图服务系统100处理3D建模数据并另外将处理的3D建模数据渲染至帧缓冲区。也就是说，在操作S860，3D网络地图服务系统100，通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据渲染到预定的位置。
在操作S870，3D网络地图服务系统100将渲染的数据渲染到屏幕上。也就是说，在操作S870，作为在地图上渲染3D建模数据的结果，3D网络地图服务系统100可渲染3D地图数据720至屏幕上，如图7所示。
如上所述，所述3D地图网络服务方法，可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务
另外，根据本发明实施例的使用增强现实的3D网络地图服务方法，可被记录在由各种通过计算机手段执行的程序指令构成的计算机可读介质中。所述计算机可读介质可包括单独或组合的程序指令、数据文件、数据结构等。计算机可读记录介质的例子包括硬盘、软盘和磁带之类的磁介质，CD ROM和DVD之类的光记录介质，光盘之类的磁光介质，以及只读存储器(ROM)、随机存取存储器(RAM)、闪存等之类的专门配置为存储和执行程序指令的硬件设备。所述介质还可以是包括传输存储有程序指令、数据结构等的信号的载波的光缆或金属线、波导管等传输介质。程序指令的例子，不仅包括由编译器之类产生的机器语言代码之类，还包括含有使用解释程序由计算机执行的高级语言代码。所述硬件设备可配置为一个或多个软件模块以执行上面所述的本发明的实施例的操作。
在本实施例中可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种增强现实三维网络地图服务的方法，其特征在于，包括如下步骤：
下载映射2D标记信息和3D建模数据的映射信息文件；
从地图数据提供服务器接收包括所述2D标记信息的地图数据；
使用所述接收的地图数据提前将地图渲染至帧缓冲区；
通过从所述地图数据检测所述2D标识信息并搜索所述映射信息文件，提取所述3D建模数据的标识；
使用所述3D建模数据的所述标识从3D建模数据库提取对应所述检测的2D标记信息的所述3D建模数据；
在处理所述3D建模数据之后另外渲染所述3D建模数据至所述帧缓冲区；
将所渲染的数据渲染在屏幕上。
2.一种增强现实三维网络地图服务的系统，其特征在于，包括：
用于存储映射2D标记信息和3D建模数据的映射信息文件的3D建模数据库；
用于从地图数据提供服务器接收包括2D标记信息的地图数据的接收单元；
用于通过从地图数据检测2D标识信息并搜索映射信息文件，提取3D建模数据的ID，并使用3D建模数据的ID，从3D建模数据库提取对应检测的2D标记信息的3D建模数据的提取单元；
用于使用图数据提前将地图渲染至帧缓冲区，处理3D建模数据，并另外渲染3D建模数据至帧缓冲区的渲染单元。
3.根据权利要求2所述的一种增强现实三维网络地图服务的系统，其特征在于：所述接收单元、提取单元及渲染单元依次连接，且接收单元、3D建模数据库及渲染单元依次连接。
4.根据权利要求3所述的一种增强现实三维网络地图服务的系统，其特征在于：所述接收单元通过网络从互联地图数据提供服务器接收包括2D标记信息的地图数据；所述接收单元可接收2D标记信息与3D建模数据被映射了的映射信息文件。
5.根据权利要求4所述的一种增强现实三维网络地图服务的系统，其特征在于：所述3D建模数据库表用于渲染游戏或3D渲染的所有数据，其包括由ACE、X文件、或3D Max生产的数据、Quake中使用的数据。
6.根据权利要求5所述的一种增强现实三维网络地图服务的系统，其特征在于：所述提取器通过分析帧缓冲区并接受图像处理，检测缓冲区中是否存在与包含在映射信息文件中的2D标记信息相同的标记信息帧，并通过搜索映射信息文件，提取对应检测的标记信息的3D建模数据。
7.根据权利要求6所述的一种增强现实三维网络地图服务的系统，其特征在于：所述3D建模数据库提前执行下载3D建模数据并存储在2D标记信息和3D建模数据被映射的映射文件信息中，所述渲染单元通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据渲染到预定的位置，并将渲染的结果，即3D地图数据，渲染到屏幕上。
8.根据权利要求7所述的一种增强现实三维网络地图服务的系统，其特征在于：所述2D地图数据包括2D标记信息，3D地图数据是2D标记信息和3D建模信息映射到2D标记信息的合成状态。
9.根据权利要求2所述的一种增强现实三维网络地图服务的系统，其特征在于：还包括3D地图网络服务系统；所述3D地图网络服务系统可以提前执行以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211397800.2A CN116152450A (zh) | 2023-02-17 | 2023-02-17 | 一种增强现实三维网络地图服务的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211397800.2A CN116152450A (zh) | 2023-02-17 | 2023-02-17 | 一种增强现实三维网络地图服务的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152450A true CN116152450A (zh) | 2023-05-23 |
Family
ID=86355149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211397800.2A Pending CN116152450A (zh) | 2023-02-17 | 2023-02-17 | 一种增强现实三维网络地图服务的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152450A (zh) |
-
2023
- 2023-02-17 CN CN202211397800.2A patent/CN116152450A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100277504A1 (en) | Method and system for serving three dimension web map service using augmented reality | |
| Zollmann et al. | Visualization techniques in augmented reality: A taxonomy, methods and patterns | |
| CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
| JP2022524891A (ja) | 画像処理方法及び装置、電子機器並びにコンピュータプログラム | |
| KR101545138B1 (ko) | 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기 | |
| CN107084740B (zh) | 一种导航方法和装置 | |
| KR102402580B1 (ko) | 메타버스 환경에서의 영상 처리 시스템 및 방법 | |
| KR101851303B1 (ko) | 3차원 공간 재구성 장치 및 방법 | |
| CN112529097B (zh) | 样本图像生成方法、装置以及电子设备 | |
| CN109034214B (zh) | 用于生成标记的方法和装置 | |
| Dong et al. | Real-time occlusion handling for dynamic augmented reality using geometric sensing and graphical shading | |
| CN113761618A (zh) | 一种基于实数据的3d仿真道路网自动化构建方法及系统 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| CN116152450A (zh) | 一种增强现实三维网络地图服务的方法和系统 | |
| CN109917906A (zh) | 一种基于增强现实技术实现景点互动的方法及系统 | |
| CN109118576A (zh) | 基于bds位置服务的大型场景三维重建系统及重建方法 | |
| CN116074485A (zh) | 一种基于增强现实的通话方法及终端 | |
| Kim et al. | Vision-based all-in-one solution for augmented reality and its storytelling applications | |
| EP4120202A1 (en) | Image processing method and apparatus, and electronic device | |
| KR101640020B1 (ko) | 강화 이미지 제공 시스템 및 방법 | |
| CN108920598A (zh) | 全景图浏览方法、装置、终端设备、服务器及存储介质 | |
| US11836437B2 (en) | Character display method and apparatus, electronic device, and storage medium | |
| US20230368482A1 (en) | Registration of 3d augmented scene to structural floor plans | |
| KR20240053224A (ko) | 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 | |
| CN115457180A (zh) | 一种三维地形坡度渲染方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |