CN111354062B - 一种多维空间数据渲染方法及装置 - Google Patents
一种多维空间数据渲染方法及装置 Download PDFInfo
- Publication number
- CN111354062B CN111354062B CN202010054729.2A CN202010054729A CN111354062B CN 111354062 B CN111354062 B CN 111354062B CN 202010054729 A CN202010054729 A CN 202010054729A CN 111354062 B CN111354062 B CN 111354062B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- data
- tiles
- transformation
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种多维空间数据渲染方法及装置，属于空间数据可视化表达技术领域。其中方法包括：获取多维空间数据，对多维空间数据进行类型过滤，并对每一类数据进行维度过滤，得到每类数据下的二维数据和三维数据；将每类数据下的二维数据和三维数据进行对应的投影变换，得到每类数据的矢量瓦片和三维瓦片；根据显示场景的维度要求，对得到的每类数据的矢量瓦片和三维瓦片进行相应维度的场景变换，根据场景变换结果进行渲染显示。本发明对每种类型的每种维度的数据进行统一渲染，提高渲染的效率，并且还可以根据显示场景的维度要求将矢量瓦片和三维瓦片进行相应维度的场景变换，实现了空间数据不同场景维度的显示，显示更加全面、更加准确。
Description
技术领域
本发明涉及一种多维空间数据渲染方法及装置，属于空间数据可视化表达技术领域。
背景技术
源于地图管理与叠加分析的GIS，早期管理的空间数据大多是二维的、平面化的地图数据。现代社会的不断发展，城市空间层次愈加复杂(立交桥、摩天大楼、城市管网)、空间观测手段愈加丰富(卫星、雷达、红外、声呐)，这些发展变化，一方面为GIS分析应用提供了更加全面、更加立体的空间数据，另一方面却也给GIS空间数据的可视化表达提出了新的挑战。
目前，主流的GIS空间数据渲染模型可以分为基于地图-图层(Map-Layer)的二维GIS渲染模型和基于场景-节点(Viewer-Node)的三维GIS渲染模型。但是，两种渲染模型在应用时并不相通，二维GIS渲染模型因为缺乏透视投影相关的底层图形变换算法，无法表达三维特征，也不支持旋转等变换；三维GIS渲染模型大多是逐个对象进行渲染，在大量相同类型的物体渲染时效率较低，且不支持物体覆盖顺序的手动变换。
现有技术中对空间数据的渲染显示，要么只用二维数据进行渲染显示，要么只用三维数据进行渲染显示，无法有效利用所有的空间数据进行可视化和分析，导致显示结果不全面，不准确。
发明内容
本申请的目的在于提供一种多维空间数据渲染方法及装置，用以解决现有空间数据渲染结果不全面、不准确的问题。
为实现上述目的，本发明提出一种多维空间数据渲染方法，包括以下步骤：
获取多维空间数据，对多维空间数据按照空间形态类型进行类型过滤，再对每一类数据进行维度过滤，得到每类数据下的二维数据和三维数据；
将每类数据下的二维数据和三维数据进行对应的投影变换，得到每类数据的矢量瓦片和三维瓦片；
根据显示场景的维度要求，对得到的每类数据的矢量瓦片和三维瓦片进行相应维度的场景变换，根据场景变换结果进行渲染显示，所述显示场景的维度包括二维、2.5维、三维中的其中一种。
另外，本发明还提出一种多维空间数据渲染装置，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现上述多维空间数据渲染方法。
有益效果是：本发明通过对多维空间数据进行类型过滤，可以将同一类型的数据进行统一绘制，由于同一类型的数据绘制方式相同，因此可以提高绘制效率，也就是提高渲染的效率；对每一类数据进行维度过滤，得到每种数据类型下的二维数据和三维数据，进而得到每类数据的矢量瓦片和三维瓦片，最终根据显示场景的维度要求将矢量瓦片和三维瓦片进行相应维度的场景变换，根据场景变换结果进行显示，渲染显示结果中既包含为二维数据，也包含有三维数据，显示更加全面、更加准确，而且还实现了空间数据不同场景维度的显示。
进一步的，上述多维空间数据渲染方法及装置中，为了更加准确的得到矢量瓦片和三维瓦片，二维数据的投影变换方式为正视投影，得到的矢量瓦片中包括屏幕坐标和元数据；三维数据的投影变换方式为透视投影，得到的三维瓦片中每个瓦片代表一个要素或一个要素集，包括屏幕坐标和树形空间数据索引。
进一步的，上述多维空间数据渲染方法及装置中，为了实现二维场景的显示，若显示场景的维度要求为二维，二维的场景变换包括：限制倾斜操作，矢量瓦片与三维瓦片均不进行矩阵变换，直接读取矢量瓦片和三维瓦片中的屏幕坐标进行渲染显示。
进一步的，上述多维空间数据渲染方法及装置中，为了实现2.5维场景的显示，若显示场景的维度要求为2.5维，2.5维的场景变换包括：倾斜角度固定为设定角度，将矢量瓦片和三维瓦片中的屏幕坐标根据设定角度进行矩阵变换，根据变换结果进行渲染显示。
进一步的，上述多维空间数据渲染方法及装置中，为了实现三维场景的显示，若显示场景的维度要求为三维，三维的场景变换包括：倾斜角度不固定，将矢量瓦片的屏幕坐标经过墨卡托反向求解后，得到新的矢量瓦片的屏幕坐标，将新的矢量瓦片与三维瓦片中的屏幕坐标在不同的倾斜角度下进行矩阵变换，根据变换结果进行渲染显示。
附图说明
图1是本发明多维空间数据渲染方法的流程图；
图2是本发明多维空间数据渲染模型的原理图；
图3是本发明矢量瓦片的形成流程图；
图4是本发明基于WebGL的空间数据二维渲染显示；
图5是本发明基于WebGL的空间数据2.5维渲染显示；
图6是本发明基于WebGL的空间数据三维渲染显示。
具体实施方式
多维空间数据渲染方法实施例：
本发明的主要构思在于，将多维空间数据输入本发明建立的渲染模型中，在渲染模型中，对多维空间数据进行类型过滤和维度过滤，进而得到每类数据下的二维数据和三维数据；将每类数据下的二维数据和三维数据进行对应的投影变换，得到每类数据的矢量瓦片和三维瓦片；根据显示场景的维度要求，对得到的每类数据的矢量瓦片和三维瓦片进行相应维度的场景变换，在渲染模型中将场景变换的结果进行输出显示。
本实施例提出的多维空间数据渲染方法，如图1所示，包括以下步骤：
1)获取多维空间数据。
2)将多维空间数据输入渲染模型中，对多维空间数据按照空间形态类型进行类型过滤，再对每一类数据进行维度过滤，得到每类数据下的二维数据和三维数据。
建立如图2所示的多维空间数据渲染模型(简称渲染模型)。
基于渲染框架建立渲染模型。GIS主流的空间数据渲染框架可以分为基于GDI/GDI+的二维渲染框架和基于openGL(Open Graphics Library)的三维渲染框架，基于这两种方式的GIS产品如表一所示：
表一GIS主流的数据渲染模型
基于GDI(Graphics Device Interface)/GDI+的渲染框架对仿射变换以及透视投影变换的支持需要在原生框架上进行扩展，基于openGL的渲染框架则从底层函数上支持的所有的变换，因此，本发明采用基于openGL的渲染框架。根据显示终端的类型，可以分别采用GLEW(OpenGL Extension Wrangler Library)、openGL ES(OpenGL for EmbeddedSystems)和WebGL(Web Graphics Library)三种具体的图形渲染API，其中，GLEW用于PC本地端程序空间数据的多维渲染、openGL ES用于手机、pad等移动端程序空间数据的多维渲染、WebGL用于网页端空间数据的多维渲染。
在渲染模型中，对多维空间数据(也即时空数据)进行类型过滤(进行类型过滤的本质为进行类型分类，可以分为A类对象-点采样形态、B类对象-线采样形态、C类对象-面采样形态以及*类对象-体采样形态等，也即对多粒度时空对象进行类型过滤)，再对每一类数据进行维度过滤，得到每类数据下的二维数据和三维数据。
进行类型过滤和维度过滤的依据为多维空间数据的空间形态类型，现有的空间形态类型如表二所示：
表二 空间形态的类型与典型示例
3)将每类数据下的二维数据和三维数据进行对应的投影变换，得到每类数据的矢量瓦片和三维瓦片。
二维数据的投影变换方式为正视投影，并且直接渲染绘制生成矢量瓦片；矢量瓦片(Vector Tile)的生成过程如图3所示：提前对矢量数据进行多级别分割处理的结果，它将每一级需要显示的矢量数据坐标转换为屏幕坐标，存储在对应级别的描述文件中，在渲染绘制时，根据场景的维度和窗口范围，访问不同的矢量瓦片描述文件。
基于数据类型过滤后，同一数据类型的二维数据被组织到矢量瓦片的同一图层中，比如：居民地，道路，每一个矢量瓦片的图片块，包含所有的坐标信息和元数据(元数据是该图层的属性信息编码，用属性字段索引和属性字段值索引两个标识号进行编码)。矢量瓦片中的几何数据(即坐标信息)被定义为屏幕坐标系，显示时，可以直接按照矢量切片中的坐标进行绘制而不需要再进行坐标变换，基于这一特性，二维空间数据直接渲染保存为矢量瓦片。
三维数据的投影变换方式为透视投影，生成三维瓦片。三维瓦片集(3D Tiles)是用于流式传输大规模异构3D地理空间数据集的开放式规范，支持的3D要素类型包括海量建筑物、BIM、树木、点云等，其基于GLTF规范(GL TransmissionFormat，图形语言交换格式)，提供LOD多层次表达，可以简单理解为，三维瓦片集是用树形空间数据结构组织的三维瓦片集合。一个三维瓦片代表一个要素或一个要素集，包括屏幕坐标和树形空间数据索引，比如：一个三维建筑模型或某个区域的全部三维建筑模型，将多个要素组织在一个三维瓦片中，可以统一绘制格网点后再统一贴纹理，可以有效提高绘制效率。基于三维瓦片的这些特性，可以将同一类多粒度时空对象的三维形态组织为一个三维瓦片，以JSON格式进行存储。
矢量瓦片生成和三维瓦片的生成有比较成熟的规范，矢量瓦片生成规范是MapBox公司提出的，三维瓦片生成规范是Cesium公司提出的，两种瓦片提出目的是提高空间信息传输效率和绘制效率。
4)根据显示场景的维度要求，对得到的每类数据的矢量瓦片和三维瓦片进行相应维度的场景变换，根据场景变换结果进行渲染显示，显示场景的维度包括二维、2.5维、三维中的其中一种。
基于生成的矢量瓦片和三维瓦片，针对不同维度的可视化显示场景，只需要访问矢量瓦片和三维瓦片的节点坐标，将矢量瓦片和三维瓦片进行不同的几何变换(平移、缩放)和透视变换(旋转)便可完成空间数据的多维度表达。矢量瓦片和三维瓦片其实都是平面上的坐标，不过矢量瓦片直接绘制出来给人的感觉是一个平面，三维瓦片直接绘制出来给人一种近大远小的三维视错觉。既然都是平面上的坐标，所以后期无论是几何变换还是透视变换，都支持，只是针对不同的场景限制变换方式，如果是二维场景，变换方式只支持平移与缩放；如果是2.5维场景，进行固定倾斜变换；如果是三维场景，支持任意倾斜变换。
二维场景的场景变换过程为：限制倾斜操作(只支持平移和缩放，也即几何变换)，矢量瓦片与三维瓦片均不进行矩阵变换(矩阵变换也即旋转变换)，可以进行不同的几何变换，通过直接读取瓦片中的屏幕坐标进行绘制。以WebGL渲染场景为例，二维表达的原理如图4所示，所获取的空间数据在一个平面进行渲染，且该平面在WebGL渲染场景中深度h为零，进行透视投影计算时，等同于进行正视投影，不产生投影变形。因此，在这一模式下，如果限制场景的倾斜交互方式(大部情况是按住鼠标滚轮进行的三维交互)，那么显示效果就与传统的基于Canvas下的渲染效果一致，且因为可以利用GPU的并行绘制能力，在绘制效率上反而有所提升。
2.5维场景的场景变换过程为：倾斜角度固定为一定的角度(支持固定倾角、平移和缩放，固定倾角的变换也即透视变换，又即固定旋转)，由此产生一个新的透视投影矩阵，将矢量瓦片与三维瓦片中的屏幕坐标根据设定旋转角度进行矩阵变换，即可形成2.5维场景。以WebGL渲染场景为例，2.5维显示表达的原理如图5所示，其主要原理是渲染平面的倾斜带来透视投影效果，不同的倾斜角度产生不同的视距深度h，在这一情形下，因为网格面深度h不为零，透视投影会带来网格的变形，视距深度控制网格面的变形程度。如果在上叠加简单的三维矢量瓦片，不同的深度下三维瓦片的“高度”不一样，立体效果会更为显著。
三维场景的场景变换过程为：倾斜角度不固定(不固定角度旋转、平移和缩放)，将矢量瓦片的屏幕坐标经过墨卡托反向求解后，存储为球形表面的新的矢量瓦片的屏幕坐标，根据倾斜角度产生的变换矩阵，将新的矢量瓦片与三维瓦片中的屏幕坐标统一进行计算求解与渲染。以WebGL渲染场景为例，三维显示表达的原理如图6所示，空间数据在三维空间中渲染，与基于OpenGL的三维绘制原理相同，因为透视投影的存在，会产生透视变形和可视裁剪。
至此，多维空间数据的多维表达与渲染完毕，从渲染模型中根据需求输出不同维度场景的渲染结果。本发明在进行场景展示时，既可以支持传统的二维地图图层操作，即关闭或显示某一类对象；也可以支持三维场景的节点操作，即关闭或显示某一节点。在这一渲染模型支持下，多粒度时空对象空间数据的表达的类型和维度将不再受限制，给空间数据的表达方法实现提供了模型基础。
本发明的主要思想相当于对多维空间数据进行了一次逻辑剖分与数据再组织，从实用角度出发，对多维空间数据进行统一渲染，并根据应用场景的维度不同灵活应用图形变换方法，提供一种连续的、灵活的可视化空间数据表达场景。
多维空间数据渲染装置实施例：
本实施例提出的多维空间数据渲染装置包括存储器和处理器，处理器用于执行存储在存储器中的指令以实现多维空间数据渲染方法。
多维空间数据渲染方法的具体实施过程在多维空间数据渲染方法实施例已经介绍，这里不做过多赘述。
Claims (2)
1.一种多维空间数据渲染方法，其特征在于，包括以下步骤：
获取多维空间数据，对多维空间数据按照空间形态类型进行类型过滤，再对每一类数据进行维度过滤，得到每类数据下的二维数据和三维数据；
将每类数据下的二维数据和三维数据进行对应的投影变换，得到每类数据的矢量瓦片和三维瓦片；
根据显示场景的维度要求，对得到的每类数据的矢量瓦片和三维瓦片进行相应维度的场景变换，根据场景变换结果进行渲染显示，所述显示场景的维度包括二维、2.5维、三维中的其中一种；
二维数据的投影变换方式为正视投影，得到的矢量瓦片中包括屏幕坐标和元数据；三维数据的投影变换方式为透视投影，得到的三维瓦片中每个瓦片代表一个要素或一个要素集，包括屏幕坐标和树形空间数据索引；若显示场景的维度要求为二维，二维的场景变换包括：限制倾斜操作，矢量瓦片与三维瓦片均不进行矩阵变换，直接读取矢量瓦片和三维瓦片中的屏幕坐标进行渲染显示；若显示场景的维度要求为2.5维，2.5维的场景变换包括：倾斜角度固定为设定角度，将矢量瓦片和三维瓦片中的屏幕坐标根据设定角度进行矩阵变换，根据变换结果进行渲染显示；若显示场景的维度要求为三维，三维的场景变换包括：倾斜角度不固定，将矢量瓦片的屏幕坐标经过墨卡托反向求解后，得到新的矢量瓦片的屏幕坐标，将新的矢量瓦片与三维瓦片中的屏幕坐标在不同的倾斜角度下进行矩阵变换，根据变换结果进行渲染显示。
2.一种多维空间数据渲染装置，其特征在于，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现如权利要求1所述的多维空间数据渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010054729.2A CN111354062B (zh) | 2020-01-17 | 2020-01-17 | 一种多维空间数据渲染方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010054729.2A CN111354062B (zh) | 2020-01-17 | 2020-01-17 | 一种多维空间数据渲染方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111354062A CN111354062A (zh) | 2020-06-30 |
| CN111354062B true CN111354062B (zh) | 2023-03-14 |
Family
ID=71197013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010054729.2A Active CN111354062B (zh) | 2020-01-17 | 2020-01-17 | 一种多维空间数据渲染方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111354062B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111773706A (zh) * | 2020-08-07 | 2020-10-16 | 网易（杭州）网络有限公司 | 一种游戏场景的渲染方法和装置 |
| CN112184871A (zh) * | 2020-10-15 | 2021-01-05 | 洛阳众智软件科技股份有限公司 | 空间数据二三维联动方法、装置、设备和存储介质 |
| CN112256897B (zh) * | 2020-11-04 | 2022-04-08 | 重庆市地理信息和遥感应用中心 | 一种三维场景下矢量瓦片加载方法 |
| CN112800144B (zh) * | 2021-01-21 | 2024-03-08 | 北京博阳世通信息技术有限公司 | 多粒度时空对象的生成方法及装置 |
| CN113781619A (zh) * | 2021-09-14 | 2021-12-10 | 重庆比特数图科技有限公司 | 一种在三维地图中使用mvt服务的方法 |
| CN114254056B (zh) * | 2021-12-23 | 2023-08-08 | 北京世冠金洋科技发展有限公司 | 一种多维插值表的处理方法和装置 |
| CN114972663B (zh) * | 2022-04-21 | 2024-04-05 | 武汉市测绘研究院 | 一种移动端城市地质数据融合和可视化分析系统 |
| CN114706936B (zh) * | 2022-05-13 | 2022-08-26 | 高德软件有限公司 | 地图数据处理方法及基于位置的服务提供方法 |
| CN115761188A (zh) * | 2022-11-07 | 2023-03-07 | 四川川云智慧智能科技有限公司 | 一种基于WebGL的多媒体与三维场景融合的方法和系统 |
| CN116302579B (zh) * | 2023-05-25 | 2023-08-04 | 智成时空(西安)创新科技有限公司 | 面向Web端的时空大数据高效加载渲染方法及系统 |
| CN117392331B (zh) * | 2023-12-12 | 2024-03-12 | 天津市城市规划设计研究总院有限公司 | 基于矢量瓦片序列化的cad文件在三维场景下可视化方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100520708B1 (ko) * | 2003-10-20 | 2005-10-14 | 엘지전자 주식회사 | 3차원 지도의 표시방법 |
| JP4398785B2 (ja) * | 2004-05-18 | 2010-01-13 | 日本電信電話株式会社 | 多次元データ符号化方法、多次元データ復号方法、テクスチャ画像作成方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム |
| CN101923542A (zh) * | 2009-06-12 | 2010-12-22 | 如临其境创意(上海)有限公司 | 一种用于网络多维空间数据表达的MDDRQ-Tree索引结构 |
| CN104123343B (zh) * | 2013-12-26 | 2017-09-19 | 中国科学院遥感与数字地球研究所 | 一种面向渲染的空间数据实时坐标变换/投影转换方法 |
| US10438312B2 (en) * | 2014-04-05 | 2019-10-08 | Sony Interactive Entertainment LLC | Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters |
| CN105224288B (zh) * | 2014-06-27 | 2018-01-23 | 北京大学深圳研究生院 | 双目三维图形渲染方法及相关系统 |
| CN104268145B (zh) * | 2014-08-21 | 2019-07-26 | 中国科学院遥感与数字地球研究所 | 一种复杂矢量数据的地图快速绘制方法 |
| CN108133044B (zh) * | 2018-01-12 | 2020-10-02 | 适普远景遥感信息技术（北京）有限公司 | 基于属性分离的空间大数据三维可视化方法及平台 |
-
2020
- 2020-01-17 CN CN202010054729.2A patent/CN111354062B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 张孝勇 ; 沈蕊 ; 温丹琪 ; .建筑信息模型与3D WebGIS平台集成方法研究.2019,(04),全文. * |
| 徐照 ; 张路 ; 索华 ; 迟英姿 ; .基于工业基础类的建筑物3D Tiles数据可视化.2019,(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111354062A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354062B (zh) | 一种多维空间数据渲染方法及装置 | |
| CN112270756B (zh) | 一种应用于bim模型文件的数据渲染方法 | |
| US11372519B2 (en) | Reality capture graphical user interface | |
| CN107369205B (zh) | 一种移动终端城市二三维联动显示方法 | |
| CN102722885B (zh) | 一种加快三维图形显示的方法 | |
| CN110675496B (zh) | 基于三维城市地质模型的网格剖分和可视化方法及其系统 | |
| CN113593051B (zh) | 一种实景可视化方法及大坝可视化方法及计算机设备 | |
| WO2012037157A2 (en) | System and method for displaying data having spatial coordinates | |
| CN112256790A (zh) | 基于WebGL的三维可视化展现系统及数据可视化方法 | |
| CN114820990B (zh) | 一种基于数字孪生的流域防洪可视化方法及系统 | |
| US20120229463A1 (en) | 3d image visual effect processing method | |
| CN105205861A (zh) | 基于Sphere-Board的树木三维可视化模型实现方法 | |
| CN104299255A (zh) | 一种三维地形模型的渲染方法 | |
| CN117274527A (zh) | 一种发电机设备三维可视化模型数据集构建方法 | |
| CN115908733A (zh) | 一种角点网格地质模型的实时切分及三维可视化方法 | |
| CN114862998A (zh) | 一种dem编辑处理方法和装置 | |
| CN114020390A (zh) | Bim模型显示方法、装置、计算机设备和存储介质 | |
| Qi | Computer aided design simulation of 3D garden landscape based on virtual reality | |
| CN109493419B (zh) | 一种倾斜摄影数据获取数字表面模型的方法及装置 | |
| Congote et al. | Volume ray casting in WebGL | |
| CN115329697B (zh) | 仿三维线路图生成方法、装置、系统和存储介质 | |
| CN111354081A (zh) | 大规模三维森林绘制方法 | |
| CN109191556B (zh) | 一种从lod分页表面纹理模型提取栅格化数字高程模型的方法 | |
| Sui et al. | Constructing rules and scheduling technology for 3D building models | |
| Zhu et al. | Reconstruction of 3D maps for 2D satellite images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |