CN110544318A - 一种基于显示窗口的场景分辨率的海量模型加载方法 - Google Patents
一种基于显示窗口的场景分辨率的海量模型加载方法 Download PDFInfo
- Publication number
- CN110544318A CN110544318A CN201910839018.3A CN201910839018A CN110544318A CN 110544318 A CN110544318 A CN 110544318A CN 201910839018 A CN201910839018 A CN 201910839018A CN 110544318 A CN110544318 A CN 110544318A
- Authority
- CN
- China
- Prior art keywords
- model
- resolution
- lod
- loading
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于显示窗口的场景分辨率的海量模型加载方法,属于计算机图形技术领域,包括步骤:S1:利用透视投影法获取当前视角的视场范围;S2:计算最小分辨率:构造一个模型的包围球,计算单个像素点所占的模型大小即为最小分辨率;S3:加载模型最小分辨率;S4:加载模型:包括预处理阶段和实时加载阶段;在预处理阶段对模型数据块根据模型分辨率的高低进行分层编号,并根据最低分辨率模型构造包围球,将模型根据该数据结构组织到LOD实体中,然后进行实时加载。本发明基于显示窗口的场景分辨率进行模型加载,实现了根据显示窗口的场景分辨率的不同,自适应加载不同精度的模型场景。
Description
技术领域
本发明属于计算机图形技术领域,涉及一种基于显示窗口的场景分辨率的海量模型加载方法。
背景技术
海量模型加载技术一直是三维大场景加载里的热点问题之一。海量模型加载的主要问题是模型加载次序的问题。
模型三维场景的实时快速显示是虚拟现实的基础内容,也是关键的核心环节之一,在一般硬件条件下如何实现实时动态显示一直是一个重点研究领域,细节层次模型(level of detail,LOD)就是其中的典型代表算法。LOD技术是指物体细节随着改物体与观察者的距离的增加而降低,该算法能通过减少构成物体的多边形面熟从而显著提升渲染速度。在现实世界重人们观察物体时,遵循近大远小的规律,越远的物体其细节程度应当越低,当物体距离人眼达到一定距离时,其在人眼中呈现出的印象可能仅仅是一个点,此时若是采用大量资源去精确描绘该物体的纹理细节显然是不合理的。对于远距离的物体仅仅使用一个点来进行描绘与使用大量资源去精确描绘物体对于观察者来说是没有区别的。
LOD算法分为静态LOD和动态LOD,静态LOD为预先构造模型的多级细节层次表示,在加载时根据所需的细节表示进行调用,但由于存放了多个细节层次表示,因此占据了大量的存储空间。动态LOD根据视点的变化实时动态生成细节层次模型,但生成模型带来的时间开销很大,加载效率较低。
在每次加载前,我们都动态的更新模型LOD,只加载我们需要的模型。离观察者越远,细节越少,模型越粗糙;离观察者近,细节越多,模型越精确。
由于传统动态LOD算法加载模型效率低下的主要原因在于对视野之外的无需加载的模型节点依然进行加载,而且考虑到传统LOD模型仅参考视点与物体距离,对于不同屏幕分辨率有着不同的显示效果的。
常规判断模型是否加载,都是基于LOD技术,以往的LOD显示技术,都是基于视点和模型的距离判断是否显示,而屏幕是直接给人的反馈,通过反复实验调整LOD参数可以近似给人一种看似最完美的视觉感受,现在出现了很多2k、4k屏幕,拥有着很高的分辨率,但是仍然有许多开发者用着五六年前的显示屏,这两种显示屏在相同大小的窗口下窗口分辨率有着很大的差别,而且显示屏分辨率是物理性质,无法从软件层面去改变。
发明内容
有鉴于此,本发明的目的在于提供一种基于显示窗口的场景分辨率的海量模型加载,对动态LOD技术进行改进,实现了根据显示窗口的场景分辨率的不同,自适应加载不同精度的模型场景。
为达到上述目的,本发明提供如下技术方案:
一种基于显示窗口的场景分辨率的海量模型加载方法,包括以下步骤:
S1:利用透视投影法获取当前视角的视场范围;
S2:计算最小分辨率:构造一个模型的包围球,计算单个像素点所占的模型大小即为最小分辨率;
S3:加载模型最小分辨率:建立LOD评价函数,根据模型在原点,视线与模型垂直,视点与模型距离为1的状态计算出来的LOD评价函数值为最小阈值参照,依次按照一定的倍数递增得到若干个阈值,对得到的所有LOD评价函数值进行判断属于哪个阈值区间,并进一步卸载或加载模型对应LOD实体中的高低LOD模型;
S4:加载模型:包括预处理阶段和实时加载阶段;在预处理阶段对模型数据块根据模型分辨率的高低进行分层编号,并根据最低分辨率模型构造包围球,将模型根据该数据结构组织到LOD实体中,然后进行实时加载。
进一步,步骤S1具体包括:利用透视投影法获取该当前视角的视场范围,设视点位置为P,视点到该模型最远投影面的垂直距离是D,视场角为α,计算出最远投影面的高度H=2D·tan(α/2),H即为所计算的视场范围。
进一步,步骤S2具体包括:
S21:构造一个模型的包围球,对于不规则立方体数据块,对其端点ABCDEFGH进行分析,按照x、y、z正负六个方向最远距离进行分类,然后分别计算x方向两个点的距离、y方向两个点的距离、z方向两个点的距离;选取距离最大的两个点,将两个点的连线作为包围球的直径,构建包围球,并存储包围球的直径R;
S22:计算最小分辨率,R为包围球的直径长度,d为球心到视点的距离,β为球心到视点连线与视线方向夹角,获取当前窗口分辨率为x·y,则h=y,所求最小分辨率即为单个像素点所占的模型大小,因此最小分辨率为:
进一步,步骤S3具体包括:
建立LOD评价函数,令μ=f(K),f(K)=K·δ,δ为所述LOD的调整参数,根据不同的场景对δ进行调整,同一种场景情况下的f(K)为线性变化;δ也依据视觉心理进行确定,对于模型密集与模型稀疏的地方,屏幕中间和屏幕四周的地方,δ的值各不相同,对于确定的f(K),根据模型在原点,视线与模型垂直,视点与模型距离为1的状态计算出来的f(K)值为最小阈值参照,依次按照一定的倍数递增,即若干个阈值ε1、ε2、……εn,对得到的μ值进行判断属于哪个阈值区间,并卸载或加载模型对应LOD实体中的高低LOD模型。
本发明的有益效果在于:因为每一个窗口的分辨率不同,若使用现有技术中的LOD技术,在高分辨率的显示屏上和低分辨率的显示屏上所显示的模型效果不一样,屏幕分辨率是无法通过软件进行改变的,并且显示屏幕是最直接给人眼反馈的,本发明让模型的加载去适应显示窗口的场景分辨率,让显示效果更加合理。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明所述获取视场范围示意图;
图2为本发明所述不规则立方体包围球构造图;
图3为本发明所述计算最小分辨率示意图;
图4为预处理阶段分层编号示意图;
图5为实时动态LOD模型生成流程示意图;
图6为本发明实施例所述简易LOD模型示意图;
图7为本发明实施例所述数据结构图;
图8为本发明实施例所述μ值为38时只加载了A层的数据示意图;
图9为本发明实施例所述μ值为8.9时加载了A、B层的数据示意图,此时,窗口较为精细地显示场景,无法包含全部场景,其中虚线部分为无法显示的剩余场景部分;
图10为本发明实施例所述μ值为0.521时加载了A、B、C层的数据示意图,此时,窗口较为精细地显示场景,无法包含全部场景,其中虚线部分为无法显示的剩余场景部分。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
一种基于显示窗口的场景分辨率的海量模型加载方法,包括以下步骤:
步骤1:获取视场范围。
利用透视投影法获取该当前视角的视场范围,如图1所示:设视点位置为P,视点到该模型最远投影面的垂直距离是D,视场角为α,则可以计算出最远投影面的高度H=2D·tan(α/2),H即为所计算的视场范围。
步骤2:计算最小分辨率
1)首先对单个模型构造一个包围球,方法如下:
构造一个模型的包围球,以不规则立方体为例子,如图2所示,其中,立方体ABCDEFGH是立方体的数据块,对这六个点进行分析,按照x、y、z正负六个方向最远距离进行分类,然后分别计算x方向两个点的距离、y方向两个点的距离、z方向两个点的距离。选取距离最大的两个点,将两个点的连线作为包围球的直径,构建包围球,并存储包围球的直径R。
2)计算最小分辨率
如图3所示,R为包围球的直径长度,d为球心到视点的距离,β为球心到视点连线与视线方向夹角。获取当前窗口分辨率为x·y,则h=y。所求最小分辨率即为单个像素点所占的模型大小,所以最小分辨率为:
步骤3:加载模型最小分辨率:
建立LOD评价函数,令μ=f(K),f(K)=K·δ,δ为所述LOD的调整参数,根据不同的场景对δ进行调整,同一种场景情况下的f(K)为线性变化。同样δ也依据视觉心理进行确定,例如对于模型密集与模型稀疏的地方,屏幕中间和屏幕四周的地方,δ的值各不相同。δ值的确定包括但不限于上述特点。对于确定的f(K),我们根据模型在原点,视线与模型垂直,视点与模型距离为1的状态计算出来的f(K)值为参照(此时f(K)值为最小阈值),之后依次按照一定的倍数递增,即ε1、ε2、……εn等若干个阈值,对得到的μ值进行判断属于哪个阈值区间,并进一步卸载或加载模型对应LOD实体中的高低LOD模型。
步骤4:加载模型
本方案将整个加载过程分为预处理阶段和实时加载阶段。
如图4所示,在预处理阶段对模型数据块根据模型分辨率的高低进行分层编号,并根据最低分辨率模型构造包围球。将模型根据该数据结构组织到LOD实体中。
实时动态LOD模型生成流程如图5所示。
实施例:
为了更好的说明本发明方法,本发明切合实际需求,以简易圆柱体模型为例,说明本加载技术。
如图6所示,为简易LOD模型,右边为低分辨率模的模型结构,中间为一般分辨率的模型结构,左边为高分辨率的模型结构。左边模型由64个顶点和124个三角面构成,中间模型由32个顶点和60个三角面构成,右边模型由16个顶点和28个三角面构成。三个模型数据关系为高分辨率模模型包含一般分辨率模型,一般分辨率模型包含低分辨率模型。
右边的低分辨率模型结构,对应图7的数据结构中的A层(根节点),中间的一般分辨率模型结构对应B层,左边的低分辨率模型结构对应C层,其中与实线相连的点依次对应上面三个模型的数据块,虚线连接的点则为LOD模型其他未展示的模型。
按照图7的数据结构将模型组织到LOD实体中。且仅对根节点的A数据进行遍历,分析出包围球的球心和直径,构建包围球,储存球心坐标和直径长度。
此时,视点到该模型最远投影面的垂直距离是1000,视场角为60°,计算出最大视场范围H=2×1000×tan(60°/2)=1154,当前窗口分辨率为500×400,模型到视点距离为10,包围球直径为5,球心到视点连线与视线方向夹角为0°,所以计算出当前最小分辨率K
由于本次场景几乎不变,我们直接将δ设定为1,我们根据模型在原点,视线与模型垂直,视点与模型距离为1的状态计算出来的f(K)值为参照(此时f(K)值为最小阈值),之后依次以十倍递增。
此时ABC层的阈值区间分别为[144,14.4],[14.4,1.44],[1.44,0.144]。
如图8所示(模型周围的正四面体为模拟场景),此时μ值为38,在区间[144,14.4]内,此时只加载了A层的数据。
如图9所示(模型周围的正四面体为模拟场景),此时μ值为8.9在区间[14.4,1.44]内,此时加载了A、B层的数据。
如图10所示(模型周围的正四面体为模拟场景),此时μ值为0.521在区间[1.44,0.144]内,此时加载了A、B、C层的数据。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于显示窗口的场景分辨率的海量模型加载方法,其特征在于:包括以下步骤:
S1:利用透视投影法获取当前视角的视场范围;
S2:计算最小分辨率:构造一个模型的包围球,计算单个像素点所占的模型大小即为最小分辨率;
S3:加载模型最小分辨率:建立LOD评价函数,根据模型在原点,视线与模型垂直,视点与模型距离为1的状态计算出来的LOD评价函数值为最小阈值参照,依次按照一定的倍数递增得到若干个阈值,对得到的所有LOD评价函数值进行判断属于哪个阈值区间,并卸载或加载模型对应LOD实体中的高低LOD模型;
S4:加载模型:包括预处理阶段和实时加载阶段;在预处理阶段对模型数据块根据模型分辨率的高低进行分层编号,并根据最低分辨率模型构造包围球,将模型根据该数据结构组织到LOD实体中,然后进行实时加载。
2.根据权利要求1所述的基于显示窗口的场景分辨率的海量模型加载方法,其特征在于:步骤S1具体包括:利用透视投影法获取该当前视角的视场范围,设视点位置为P,视点到该模型最远投影面的垂直距离是D,视场角为α,计算出最远投影面的高度H=2D·tan(α/2),H即为所计算的视场范围。
3.根据权利要求2所述的基于显示窗口的场景分辨率的海量模型加载方法,其特征在于:步骤S2具体包括:
S21:构造一个模型的包围球,对于不规则立方体数据块,对其端点ABCDEFGH进行分析,按照x、y、z正负六个方向最远距离进行分类,然后分别计算x方向两个点的距离、y方向两个点的距离、z方向两个点的距离;选取距离最大的两个点,将两个点的连线作为包围球的直径,构建包围球,并存储包围球的直径R;
S22:计算最小分辨率,R为包围球的直径长度,d为球心到视点的距离,β为球心到视点连线与视线方向夹角,获取当前窗口分辨率为x·y,则h=y,所求最小分辨率即为单个像素点所占的模型大小,因此最小分辨率为:
4.根据权利要求3所述的基于显示窗口的场景分辨率的海量模型加载方法,其特征在于:步骤S3具体包括:
建立LOD评价函数,令μ=f(K),f(K)=K·δ,δ为所述LOD的调整参数,根据不同的场景对δ进行调整,同一种场景情况下的f(K)为线性变化;δ也依据视觉心理进行确定,对于模型密集与模型稀疏的地方,屏幕中间和屏幕四周的地方,δ的值各不相同,对于确定的f(K),根据模型在原点,视线与模型垂直,视点与模型距离为1的状态计算出来的f(K)值为最小阈值参照,依次按照一定的倍数递增,即若干个阈值ε1、ε2、……εn,对得到的μ值进行判断属于哪个阈值区间,并卸载或加载模型对应LOD实体中的高低LOD模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910839018.3A CN110544318B (zh) | 2019-09-05 | 2019-09-05 | 一种基于显示窗口的场景分辨率的海量模型加载方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910839018.3A CN110544318B (zh) | 2019-09-05 | 2019-09-05 | 一种基于显示窗口的场景分辨率的海量模型加载方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110544318A true CN110544318A (zh) | 2019-12-06 |
CN110544318B CN110544318B (zh) | 2022-11-25 |
Family
ID=68712567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910839018.3A Active CN110544318B (zh) | 2019-09-05 | 2019-09-05 | 一种基于显示窗口的场景分辨率的海量模型加载方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110544318B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111432116A (zh) * | 2020-03-16 | 2020-07-17 | 浙江大华技术股份有限公司 | 电子摄像设备的自动变倍方法、装置、设备及存储介质 |
CN112650461A (zh) * | 2020-12-15 | 2021-04-13 | 广州舒勇五金制品有限公司 | 一种基于相对位置的展示系统 |
CN117214068A (zh) * | 2023-11-08 | 2023-12-12 | 季华实验室 | 一种运动微粒成像探测系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040139080A1 (en) * | 2002-12-31 | 2004-07-15 | Hauke Schmidt | Hierarchical system and method for on-demand loading of data in a navigation system |
US20050243082A1 (en) * | 2004-02-12 | 2005-11-03 | Pixar | Multiresolution geometry caching based on ray differentials with modifications |
CN107886561A (zh) * | 2017-11-30 | 2018-04-06 | 公安部物证鉴定中心 | 基于犯罪现场点云数据的存储调度与显示方法 |
CN108664284A (zh) * | 2018-05-09 | 2018-10-16 | 国网上海市电力公司 | 基于多细节层次技术进行场景显示的方法及存储介质 |
-
2019
- 2019-09-05 CN CN201910839018.3A patent/CN110544318B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040139080A1 (en) * | 2002-12-31 | 2004-07-15 | Hauke Schmidt | Hierarchical system and method for on-demand loading of data in a navigation system |
US20050243082A1 (en) * | 2004-02-12 | 2005-11-03 | Pixar | Multiresolution geometry caching based on ray differentials with modifications |
CN107886561A (zh) * | 2017-11-30 | 2018-04-06 | 公安部物证鉴定中心 | 基于犯罪现场点云数据的存储调度与显示方法 |
CN108664284A (zh) * | 2018-05-09 | 2018-10-16 | 国网上海市电力公司 | 基于多细节层次技术进行场景显示的方法及存储介质 |
Non-Patent Citations (3)
Title |
---|
全蕾等: "多分辨率LOD模型的简化算法――基于实时漫游的TIN地形", 《科技经济市场》 * |
王倩等: "基于四叉树包围球和屏幕误差的LOD算法", 《微电子学与计算机》 * |
陈华鸿等: "基于移动终端屏幕分辨精度的网格简化算法", 《计算机应用》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111432116A (zh) * | 2020-03-16 | 2020-07-17 | 浙江大华技术股份有限公司 | 电子摄像设备的自动变倍方法、装置、设备及存储介质 |
CN112650461A (zh) * | 2020-12-15 | 2021-04-13 | 广州舒勇五金制品有限公司 | 一种基于相对位置的展示系统 |
CN112650461B (zh) * | 2020-12-15 | 2021-07-13 | 广州舒勇五金制品有限公司 | 一种基于相对位置的展示系统 |
CN117214068A (zh) * | 2023-11-08 | 2023-12-12 | 季华实验室 | 一种运动微粒成像探测系统 |
CN117214068B (zh) * | 2023-11-08 | 2024-01-26 | 季华实验室 | 一种运动微粒成像探测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110544318B (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Weier et al. | Foveated real‐time ray tracing for head‐mounted displays | |
US20230053462A1 (en) | Image rendering method and apparatus, device, medium, and computer program product | |
US8570322B2 (en) | Method, system, and computer program product for efficient ray tracing of micropolygon geometry | |
US7940279B2 (en) | System and method for rendering of texel imagery | |
CN110544318B (zh) | 一种基于显示窗口的场景分辨率的海量模型加载方法 | |
US7102636B2 (en) | Spatial patches for graphics rendering | |
CN105453139A (zh) | 用于3d表面重建的稀疏gpu体素化 | |
CN110602477B (zh) | 一种显示方法、显示装置、电子设备及存储介质 | |
Rushmeier et al. | Perceptual issues in substituting texture for geometry | |
CN112070909A (zh) | 一种基于3D Tiles的工程三维模型LOD输出方法 | |
WO2023004559A1 (en) | Editable free-viewpoint video using a layered neural representation | |
Lengyel | Voxel-based terrain for real-time virtual simulations | |
Scholz et al. | Real‐time isosurface extraction with view‐dependent level of detail and applications | |
CN116109803B (zh) | 信息构建方法、装置、设备及存储介质 | |
Scholz et al. | Level of Detail for Real-Time Volumetric Terrain Rendering. | |
Lee et al. | Bimodal vertex splitting: Acceleration of quadtree triangulation for terrain rendering | |
Beacco et al. | A flexible approach for output‐sensitive rendering of animated characters | |
CN115035231A (zh) | 阴影烘焙方法、装置、电子设备和存储介质 | |
JPH10198823A (ja) | 映像生成装置 | |
US20040181373A1 (en) | Visual simulation of dynamic moving bodies | |
Mora et al. | Visualization and computer graphics on isotropically emissive volumetric displays | |
WO2023109582A1 (zh) | 处理光线数据的方法、装置、设备和存储介质 | |
Manson et al. | Contouring discrete indicator functions | |
Sußner et al. | Hexagonal LOD for interactive terrain rendering | |
Chen et al. | Two-level hierarchical Z-buffer with compression technique for 3D graphics hardware |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |