CN108564654B - 三维大场景的画面进入方式 - Google Patents
三维大场景的画面进入方式 Download PDFInfo
- Publication number
- CN108564654B CN108564654B CN201810287688.4A CN201810287688A CN108564654B CN 108564654 B CN108564654 B CN 108564654B CN 201810287688 A CN201810287688 A CN 201810287688A CN 108564654 B CN108564654 B CN 108564654B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- picture
- map
- panoramic
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 15
- 238000001514 detection method Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T3/08—
Abstract
本发明涉及一种三维大场景的画面进入方式，选取一组定位点为定位终点，投影坐标沿三维模型的空间轴向移动至该定位终点，移动过程中三维图片向全景图片融合过渡；移动过程中，通过三维图片和全景图片融合实现二维与三维的衔接，在进入或者飞出漫游过程中，观察者处于三维图片观察模式，保证视觉投影效果，提高浏览体验，保证呈现真实和立体的投影效果的三维模型。
Description
技术领域
本发明涉及三维成像建模技术领域，具体涉及一种三维大场景的画面进入方式。
背景技术
现有三维大场景的画面飞入飞出方式采用的是webgl引擎的THREE.js技术。
目前为止，市场提供的漫游体验主要有两种：只通过三维的方式、只通过二维的方式。只通过三维的方式就是用三维引擎技术，一般仅有三维模型而没有二维全景图，这种方式的展示效果是：当移动相机的时候是真实地在三维场景中漫游。但是现有技术的三维模型一般做的比较粗糙，直接导致这种方式缺乏逼真的呈现效果。而第二种方式，如果是传统网页的二维渲染技术，如百度街景和谷歌街景，只能做二维部分的漫游，呈现效果不够真实和立体。
因此，无论是单纯三维的方式还是单纯二维的方式，呈现效果上都缺乏真实和立体感的，主要原因还是在技术上无法实现二维与三维的衔接。
发明内容
为了解决上述问题，提供一种实现二维与三维衔接、呈现真实和立体感的投影效果的三维模型，本发明设计了一种三维大场景的画面进入方式。
本发明的具体技术方案为：一种三维大场景的画面进入方式，包括如下步骤：
a.通过球幕相机进行实时实地图像采集，得到至少一组具有特征点的二维全景图片，对球幕相机进行定位；
b.基于一组具有特征点的二维全景照片进行识别与匹配；
c.进行三维数字化建模，建立结构化的三维模型，对三维模型进行贴图，得到三维贴图，二维全景图片为全景贴图，三维模型内设有相对应的全景贴图定位点；
d.画面进入时，选取一组定位点为定位终点，投影坐标沿三维模型的空间轴向移动至该定位终点，移动过程中三维贴图向全景贴图融合过渡；
e.到达定位终点处三维贴图淡去，全景贴图显示。
作为优选地，步骤d中，投影坐标的移动速率变化为慢-快-慢。
作为优选地，步骤e中，到达定位终点后三维模型或天空盒逐渐出现。
作为优选地，步骤d中，三维贴图通过图像数据渐变运算向全景贴图融合过渡。所述图像数据渐变运算公式如下：
color＝colorFromTexture*progress+colorFromPanos*(1-progress)；
其中color是最终颜色，colorFromTexture是三维贴图上的颜色，colorFromPanos是全景贴图上的颜色，progress随着画面进入由1向0渐变。
作为优选地，画面飞出时，投影坐标沿三维模型的空间轴向飞出，移动过程中全景贴图向三维贴图融合过渡，画面飞出后全景贴图淡去，三维贴图显示。
画面飞出时，投影坐标的移动速率变化为慢-快-慢。
有益技术效果：选取一组定位点为定位终点，投影坐标沿三维模型的空间轴向移动至该定位终点，移动过程中三维贴图向全景贴图融合过渡；移动过程中，通过三维贴图和全景贴图融合实现二维与三维的衔接，在进入或者飞出漫游过程中，观察者处于三维贴图观察模式，保证视觉投影效果，提高浏览体验，保证呈现真实和立体的投影效果的三维模型。
附图说明
图1为投影坐标移动速率变化图；
图2为本发明的实施示意图一；
图3为本发明的实施示意图二；
图4为本发明的实施示意图三；
图5为本发明的实施示意图四；
图6为本发明的实施示意图五；
图7为本发明的实施示意图六；
图8为本发明的实施示意图七；
图9为本发明的实施示意图八。
具体实施方式
以下将结合实施例对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
一种三维大场景的画面进入方式，包括如下步骤：
a.通过球幕相机进行实时实地图像采集，得到至少一组具有特征点的二维全景图片，对球幕相机进行定位；
b.基于一组具有特征点的二维全景照片进行识别与匹配；
c.进行三维数字化建模，建立结构化的三维模型，对三维模型进行贴图，得到三维贴图，二维全景图片为全景贴图，三维贴图内设有相对应的全景贴图定位点；
在这个步骤中，全景贴图的定位点就是采集二维全景图片的定位点，采集的时候可以直接保存也可以直接通过VSLAM算法算出来。
d.画面进入时，选取一组定位点为定位终点，投影坐标沿三维模型的空间轴向移动至该定位终点，移动过程中三维贴图向全景贴图融合过渡；
具体地，所述图像数据渐变运算公式如下：
color＝colorFromTexture*progress+colorFromPanos*(1-progress)；
其中color是最终颜色，colorFromTexture是三维贴图上的颜色，colorFromPanos是全景贴图上的颜色，progress随着画面进入由1向0渐变。
e.到达定位终点处三维贴图淡去，全景贴图显示。
其中在步骤a、b中，经过VSLAM算法定位后的位置信息，即为对球幕相机进行定位得到的球幕相机位置信息。需要进一步说明的是，通过VSLAM算法对球幕相机所拍摄的二维全景照片提取特征点，对这些特征点进行三角化的处理，恢复出移动终端的三维空间位置(即把二维坐标转换成三维坐标)。
具体的说，VSLAM算法的定位流程：
step1：传感器信息读取，在视觉SLAM中主要为相机图像信息的读取和预处理的操作过程，在移动终端的单目SLAM中进行的工作主要为移动终端采集的二维全景照片的操作过程；
step2：视觉里程计，又称前端，其任务是估算相邻图像间相机的运动轨迹，以及局部地图的大概轮廓和形貌，在此实施例中，移动终端的球幕相机镜头采集二维全景照片，对每一张二维全景照片提取特征点；通过多张二维全景照片之间多视觉集合原理计算出相机位置。；
step 3：后端优化，又称后端，其任务是接受不同时刻视觉里程计测量的相机位姿，以及回环检测的信息，对之前计算出的位置进行优化，用最小二乘法的公式优化出一整条轨迹和地图。
step4:回环检测：已经到过的场景会有特征保存，新提取的特征与之前保存的特征进行匹配，即一个相似性检测过程。对于曾经到过的场景，两者的相似值会很高，即确定曾经来过此处，并利用新的特征点对曾经的场景位置进行纠正。
step 5：建图，其任务是根据后端优化后的估计的轨迹，建立与任务要求对应的地图。
单目的VSLAM还可进行多视觉集合管理，即可基于两帧图像之间进行三角化处理，也可基于多帧视频流进行三角化处理，将上述两者结合之后就会得到一致的轨迹，进一步对轨迹进行优化处理，数据源是球幕相机拍摄得到的二维全景照片，通过VSLAM的算法得出在大场景中行走的轨迹。
需要说明的是，三维贴图就是大场景的三维模型贴图，全景贴图指的是贴近真实的二维图片，选取所需要的定位点进入三维模型，进入过程中透射坐标发生移动，移动过程中，通过三维贴图和全景贴图融合实现二维与三维的衔接，在进入或者飞出漫游过程中，观察者处于三维贴图观察模式，保证视觉投影效果，提高浏览体验，保证呈现真实和立体的投影效果的三维模型。
步骤d中，投影坐标的移动速率变化为慢-快-慢。时间点和速度可以设置。根据三维贴图与全景贴图融合过程控制投影坐标位移速率变化，提高成像效果，同时保证渲染过程中的流畅性、真实性。
步骤e中，到达定位终点后三维模型或天空盒逐渐出现。步骤c中，三维贴图通过图像数据渐变运算向全景贴图融合过渡。
简而言之，画面进入的方式就是从二维投影相机到三维投影相机的切换，通过对呈现模式的变化凸显真实、立体性。在进入过程的位移中，呈现出三维的立体效果，进入完成后，全景贴图与三维贴图完成融合过渡，给观察者呈现真实性较高的全景贴图。
画面飞出时，投影坐标沿三维模型的空间轴向飞出，移动过程中全景贴图向三维贴图融合过渡，画面飞出后全景贴图淡去，三维贴图显示。
画面飞出时，投影坐标的移动速率变化为慢-快-慢。画面飞出的时候，用的是二维投影相机进行景象投射，漫游(投射坐标位移)的时候用的是三维投影相机进行景象投射。既能够通过三维贴图满足对立体性的需求，有可以利用全景贴图实现细节化显示，保证投射过程中对逼真的呈现效果的需求。
本发明通过球幕相机进行三维建模时，需要至少一个或一组球幕相机，本发明的步骤a、b、c的内容，可细分为下列更具体的步骤：
S1球幕相机进行实时定位，得到至少一组照片或者视频流；
S2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配；
S3基于球幕相机三维数字化建模的闭环进行自动检测；
S4检测后，进行数字化建模；
S5结构化模型贴图。
需要说明的是，在所述一组照片或者视频流中，对单张照片用SIFT描述符进行特征点(图片上的像素点)提取同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。
需要说明的是，所述闭环检测为：用当前算出所述球幕相机位置与过去所述球幕相机位置进行比较，检测有无距离相近；若检测到两者距离在一定阈值范围内，就认为所述球幕相机又回到原来走过的地方，此时启动闭环检测。
需要进一步说明的是，本发明为基于空间信息而非时间序列的闭环检测。
需要进一步说明的是，所述步骤S4中看可以为：
S4.1初步计算出所述球幕相机位置得到部分有噪音点稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；
S4.2对稀疏点云做标记即整体点云中，并进行对应的标记；
S4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
S4.4将被射线包围的空间抠出来；
S4.5基于图论最短路径的方式做闭合空间。
需要说明的是，所述稀疏点云为每个所述球幕相机可看见过滤之后所获得的。其中步骤S4.3也可理解为以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
需要进一步说明的是，过滤指的是：在确认了二维图片中某一点对应的三维坐标位置后，将这个三维坐标点重新投影到原来的球幕照片上，再次确认是否仍是那个点。其原因是，二维图片的点与其在三维世界的点的位置是一一对应关系，所以在确认了二维图片中某一点的三维坐标点后，可以将这个三维坐标点重新投射回去验证二维坐标点是否仍在原来的位置，以此来决定该像素点是否为噪点，是否需要过滤。需要说明的是，在照片或视频流中确定一张来自于某个所述球幕相机的最优图片。
在步骤S5中，需要进一步说明的是，对二维全景图片，利用公式计算出对应的相机及其拍到的图形颜色，获得颜色信息：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
对建好后的三维模型进行贴图，需要说明的是，即当多部所述球幕相机都看到某一目标并捕捉到画面，选取使用其中最优的一张二维全景图片进行贴图。需要说明的是，所述最优一张二维全景图片为某一所述球幕相机能够得到目标的像素最多，则所述球幕相机为最优。
在这个步骤中，得到二维全景图片的颜色信息后，挑选最优一张二维全景图片自动对三维模型进行贴图，将在空间某一位置的球幕相机拍摄到的二维全景照片贴到三维模型对应的位置上，类似于从眼睛看到一堵墙是白色，就把白色放到模型对应的墙上。这里的眼睛相当于球幕相机镜头，球幕相机在某一位置将空间中的颜色信息拍摄保存下来，在建模的时候，通过反投影将二维全景照片中的颜色信息再映射回去，对三维模型建好后的三维模型进行贴图。
实施例
通过附图进一步对本发明的三维建模进行描述，本发明主要的实施方法为：
S1球幕相机进行实时定位，得到至少一组照片或者视频流；
S2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配；
S3基于球幕相机三维数字化建模的闭环进行自动检测；
S4检测后，进行数字化建模；
S5结构化模型贴图。
基于上述，需要指出的是，所述闭环检测是一个动态过程，在拍摄球幕相片的过程中是持续进行的。
进一步的，如图5所示，是对一张球幕照片(样图)自动提取特征点，图中主要通过图片上的那些点表现；
更进一步的，如图6所示，是对提取后的特征点进行匹配；需要说明的是，在实际操作中可对拍摄某一场景的所有照片的特征点进行匹配；
更进一步的，如图7所示，是基于图6进一步进行处理，即可得到二维图片中各特征点的三维空间位置和相机位置，形成稀疏点(图片中面积较小的点就是稀疏点云，面积较大的是相机位置)；
更进一步的，如图8所示，通过图7处理后得到点云，并进行结构化建模；
更进一步的，如图9所示，建模后，基于图8的空间结构进行自动化贴图，形成与现实世界吻合的虚拟空间模型。
在进行以上步骤后，本发明已建立好三维大场景，如图2所示，为三维大场景的迷你模型，也就是从外界的视角来看三维大场景，还未进入三维大场景中。
如图3所示，为步骤d的示例图片，画面进入时，选取一组定位点为定位终点，投影坐标沿三维模型的空间轴向移动至该定位终点，移动过程中三维贴图向全景贴图融合过渡，其中的三维贴图和全景贴图同时显示。
如图4所示，为步骤e的示例图片，此时画面已进入到某一定位终点，三维贴图淡去，全景贴图已完全显示。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。
Claims (5)
1.一种三维大场景的画面进入方式，其特征在于，包括如下步骤：
a. 通过球幕相机进行实时实地图像采集，得到至少一组具有特征点的二维全景图片，对球幕相机进行定位，所述球幕相机定位为通过VSLAM算法进行计算定位；
b. 基于一组具有特征点的二维全景照片进行识别与匹配；
c. 进行三维数字化建模，建立结构化的三维模型，对三维模型进行贴图，得到三维贴图，二维全景图片为全景贴图，三维贴图内设有相对应的全景贴图定位点，所述全景贴图定位点为通过VSLAM算法进行定位；所述三维数字化建模包含：
初步计算出所述球幕相机位置得到部分有噪音点稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；
对稀疏点云做标记；
以每个稀疏点云为起点，以对应的球幕相机为终点作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
将被射线包围的空间抠出来；
基于图论最短路径的方式做闭合空间；
d. 画面进入时，选取一组定位点为定位终点，投影坐标沿三维模型的空间轴向移动至该定位终点，移动过程中三维贴图通过图像数据渐变运算向全景贴图融合过渡，此时三维贴图和全景贴图同时显示；
e. 到达定位终点处三维贴图淡去，全景贴图显示；
f. 画面飞出时，投影坐标沿三维模型的空间轴向飞出，移动过程中全景贴图向三维贴图融合过渡，画面飞出后全景贴图淡去，三维贴图显示。
2.根据权利要求1所述的三维大场景的画面进入方式，其特征在于，步骤d中，投影坐标的移动速率变化为慢-快-慢。
3.根据权利要求2所述的三维大场景的画面进入方式，其特征在于，步骤e中，到达定位终点后三维模型或天空盒逐渐出现。
4.根据权利要求3所述的三维大场景的画面进入方式，其特征在于，所述图像数据渐变运算公式如下：
color = colorFromTexture * progress+ colorFromPanos * (1-progress) ；
其中color 是最终颜色，colorFromTexture 是三维贴图上的颜色，colorFromPanos是全景贴图上的颜色，progress随着画面进入由1向0渐变。
5.根据权利要求4所述的三维大场景的画面进入方式，其特征在于，画面飞出时，投影坐标的移动速率变化为慢-快-慢。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810287688.4A CN108564654B (zh) | 2018-04-03 | 2018-04-03 | 三维大场景的画面进入方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810287688.4A CN108564654B (zh) | 2018-04-03 | 2018-04-03 | 三维大场景的画面进入方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108564654A CN108564654A (zh) | 2018-09-21 |
| CN108564654B true CN108564654B (zh) | 2020-07-31 |
Family
ID=63533931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810287688.4A Active CN108564654B (zh) | 2018-04-03 | 2018-04-03 | 三维大场景的画面进入方式 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108564654B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109782272A (zh) * | 2018-12-30 | 2019-05-21 | 中国电子科技集团公司第十五研究所 | 三维雷达体的布尔融合方法 |
| CN112967390B (zh) * | 2019-11-30 | 2022-02-25 | 北京城市网邻信息技术有限公司 | 场景切换方法及装置、存储介质 |
| CN113593052B (zh) * | 2021-08-06 | 2022-04-29 | 贝壳找房(北京)科技有限公司 | 场景朝向确定方法及标记方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101655979A (zh) * | 2009-08-20 | 2010-02-24 | 长宽高（北京）科技有限公司 | 三维场景中扩展全景应用的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150172628A1 (en) * | 2011-06-30 | 2015-06-18 | Google Inc. | Altering Automatically-Generated Three-Dimensional Models Using Photogrammetry |
| CN106296783B (zh) * | 2016-07-28 | 2019-01-11 | 众趣（北京）科技有限公司 | 一种结合空间全局3d视图和全景图片的空间展示方法 |
-
2018
- 2018-04-03 CN CN201810287688.4A patent/CN108564654B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101655979A (zh) * | 2009-08-20 | 2010-02-24 | 长宽高（北京）科技有限公司 | 三维场景中扩展全景应用的方法 |
Non-Patent Citations (1)
| Title |
|---|
| Point twin-bit RRAM in 3D interweaved cross-point array by Cu BEOL process;Yung-Wen Chin等;《IEEE Xplore》;20150223;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108564654A (zh) | 2018-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615703B (zh) | 增强现实的图像展示方法、装置及设备 | |
| US5625765A (en) | Vision systems including devices and methods for combining images for extended magnification schemes | |
| CN107169924B (zh) | 三维全景图像的建立方法和系统 | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| JP2015521419A (ja) | コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| JP2010109783A (ja) | 電子カメラ | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| CN108629829A (zh) | 一种球幕相机与深度相机结合的三维建模方法和系统 | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| CN108830925B (zh) | 一种基于球幕视频流的三维数字化建模方法 | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| CN108629828B (zh) | 三维大场景的移动过程中的场景渲染过渡方法 | |
| JP2019045991A (ja) | 生成装置、生成方法、及びプログラム | |
| WO2022047701A1 (zh) | 图像处理方法和装置 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| CN107918948B (zh) | 4d视频渲染方法 | |
| EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
| US11328436B2 (en) | Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map | |
| RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
| US20140347352A1 (en) | Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images | |
| JP2003319388A (ja) | 画像処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |