CN117593487B - 基于偏振三维成像的数据集制作方法 - Google Patents
基于偏振三维成像的数据集制作方法 Download PDFInfo
- Publication number
- CN117593487B CN117593487B CN202410083425.7A CN202410083425A CN117593487B CN 117593487 B CN117593487 B CN 117593487B CN 202410083425 A CN202410083425 A CN 202410083425A CN 117593487 B CN117593487 B CN 117593487B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- curved surface
- polarization
- dimensional curved
- polarized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 70
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 238000005286 illumination Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及偏振三维成像技术领域,尤其涉及一种基于偏振三维成像的数据集制作方法。包括:S1:随机生成二维频谱图,并进行掩膜处理;S2:将经掩膜处理后的二维频谱图进行二维傅里叶逆变换处理,获得三维曲面;S3:利用二维差分法计算并获得三维曲面的法向量图;S4:构建目标光照模型,生成三维曲面的镜面反射光强和漫反射光强;S5:根据三维曲面的法向量、镜面反射光强和漫反射光强生成四个不同偏振角度的偏振图像;S6:将四个不同偏振角度的偏振图像与三维曲面的法向量图、天顶角图和方位角图进行堆叠,制作三维曲面的一组数据集。本发明随机生成任意数量的偏振三维成像数据集,极大的降低了偏振三维成像的数据集的制作成本。
Description
技术领域
本发明涉及偏振三维成像技术领域,尤其涉及一种基于偏振三维成像的数据集制作方法。
背景技术
与双目深度估计、结构光的三维成像方法相比,偏振三维成像在弱纹理、高反光和远距离对象上的三维成像更具优势,这意味着未来此项技术在星载和机载对地三维成像领域有着广阔的应用前景。但是由于传统的偏振三维成像方法受制于探测器的噪声以及光学系统的偏振像差等因素,成像精度普遍较差。随着深度学习技术的发展,研究人员采用将深度学习与偏振图像相结合的方法计算曲面的三维形貌。现有的偏振三维成像数据集如DeepSfP和SPW数据集,由于制作困难导致DeepSfP和SPW数据集的数量普遍偏小,这使得用于深度学习的模型的泛化性能以及收敛性变差,限制了基于深度学习的偏振三维成像算法的发展。
发明内容
本发明为解决现有的数据集制作困难,导致数据集的数量偏小,使用于深度学习的模型的泛化性能和收敛性变差的缺点,提供一种基于偏振三维成像的数据集制作方法,利用光照模型并结合三维曲面的反射光的偏振特性,随机生成任意数量的偏振三维成像数据集,极大的降低了偏振三维成像的数据集的制作成本。
本发明提出的基于偏振三维成像的数据集制作方法,具体包括如下步骤:
S1:随机生成二维频谱图,并将二维频谱图进行掩膜处理;
S2:将经掩膜处理后的二维频谱图进行二维傅里叶逆变换处理,获得三维曲面;
S3:利用二维差分法计算并获得三维曲面的法向量图、天顶角图和方位角图;
S4:构建目标光照模型,并利用目标光照模型生成三维曲面的镜面反射光强图像和漫反射光强图像;
S5:根据三维曲面的法向量、镜面反射光强图像和漫反射光强图像生成四个不同偏振角度的偏振图像;
S6:将四个不同偏振角度的偏振图像与三维曲面的法向量图、天顶角图和方位角图进行堆叠,制作三维曲面的一组数据集。
优选地,步骤S1具体包括如下步骤:
S11:通过下式随机生成二维频谱图:
其中,和/>分别为二维频谱图的横纵坐标,/>和/>分别为二维频谱图的宽和高,rand( )为随机数生成器;
S12:根据三维曲面的目标平滑度将上限截止频率设为,通过下式将二维频谱图进行掩膜处理:
(2);
(3);
其中,为经掩膜处理后的二维频谱图,mask为掩膜公式。
优选地,二维傅里叶逆变换公式为:
(4);
其中,fft为二维傅里叶逆变换,为三维曲面,x和y分别为三维曲面在三维坐标系的横纵坐标。
优选地,步骤S3具体包括如下步骤:
S31:采用二维差分法计算三维曲面的方向梯度值:
(5);
(6);
其中,为三维曲面的空间高度坐标,/>为采样步长,dx为x方向的梯度,dy为y方向的梯度;
S32:根据三维曲面的方向梯度值,通过下式计算三维曲面的法向量,获得三维曲面的法向量图:
(7);
其中,n为非零向量;
S33:将法向量进行归一化处理,并根据归一化的法向量通过下式计算三维曲面的天顶角和方位角,对应获得三维曲面的天顶角图和方位角图:
(8);
其中,为归一化的法向量,/>为天顶角,/>为方位角。
优选地,步骤S4具体包括如下步骤:
S41:在三维曲面的表面均匀设有m个点光源,通过设置点光源的光源参数和探测器的位置构建目标光照模型;
S42:利用目标光照模型对三维曲面进行镜面反射和漫反射的光照场分布的模拟,对应获得三维曲面的镜面反射光强和漫反射光强。
优选地,在利用目标光照模型对三维曲面进行镜面反射和漫反射的光照场分布的模拟时,还需设置点光源的位置坐标、相机的位置坐标、点光源的强度、漫反射系数和镜面反射系数。
优选地,步骤S5具体包括如下步骤:
S51:根据法向量的天顶角,通过下式计算镜面反射模型和漫反射模型的偏振度:
其中,为镜面反射模型的偏振度,/>为漫反射模型的偏振度,/>为三维曲面的表面折射系数;
S52:根据镜面反射模型和漫反射模型的偏振度,将三维曲面的入射光和反射光所在的平面作为反射面,通过下式计算平行于反射面的光强和垂直于反射面的光强:
(11);
其中,、/>、/>和/>分别是平行于反射面的光强、垂直于反射面的光强、漫反射光强和镜面反射光强,/>、/>分别为垂直方向和平行方向的误差因子。
S53:根据步骤S52的计算结果,通过下式计算四个偏振角度的偏振图像:
(12);
(13);
(14);
(15);
其中,为偏振角度为0°的偏振图像,/>是垂直于反射光的反射平面的偏振相位角,/>为偏振角度为45°的偏振图像,/>为偏振角度为90°的偏振图像,/>为偏振角度为135°的偏振图像。
优选地,反射平面的偏振相位角的计算公式为:
(16);
其中,为所述三维曲面的方位角。
与现有技术相比,本发明能够取得如下有益效果:
本发明采用软件仿真的方法,利用光照模型并结合三维曲面的反射光的偏振特性,随机生成任意数量的偏振三维成像数据集,极大的降低了偏振三维成像数据集的制作成本,且将偏振三维成像数据集用于网络的预训练,可加快网络的收敛速度,提升网络的泛化性能和法向量的计算精度。
附图说明
图1是根据本发明实施例提供的基于偏振三维成像的数据集制作方法的流程示意图;
图2是根据本发明实施例提供的点光源分布示意图;
图3是根据本发明实施例提供的随机生成的二维频谱图;
图4是根据本发明实施例提供的三维曲面的结构示意图;
图5(a)是根据本发明实施例提供的偏振角度为0°的偏振图像;
图5(b)是根据本发明实施例提供的偏振角度为45°的偏振图像;
图5(c)是根据本发明实施例提供的偏振角度为90°的偏振图像;
图5(d)是根据本发明实施例提供的偏振角度为135°的偏振图像。
具体实施方式
在下文中,将参考附图描述本发明的实施例。在下面的描述中,相同的模块使用相同的附图标记表示。在相同的附图标记的情况下,它们的名称和功能也相同。因此,将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
图1示出了根据本发明实施例提供的基于偏振三维成像的数据集制作方法的流程;图2示出了根据本发明实施例提供的点光源分布;图3示出了根据本发明实施例提供的随机生成的二维频谱图,图4示出了根据本发明实施例提供的三维曲面的结构。
如图1-图4所示,本发明实施例提出的基于偏振三维成像的数据集制作方法,具体包括如下步骤:
S1:随机生成二维频谱图,并将二维频谱图进行掩膜处理。
步骤S1具体包括如下步骤:
S11:通过下式随机生成二维频谱图:
其中,和/>分别为二维频谱图的横纵坐标,/>和/>分别为二维频谱图的宽和高,rand( )为随机数生成器;
S12:根据三维曲面的目标平滑度将上限截止频率设为,通过下式将二维频谱图进行掩膜处理:
(2);
(3);
其中,为经掩膜处理后的二维频谱图,mask为掩膜公式。
S2:将经掩膜处理后的二维频谱图进行二维傅里叶逆变换处理,获得三维曲面。
二维傅里叶逆变换公式为:
(4);
其中,fft为二维傅里叶逆变换,为三维曲面,x和y分别为三维曲面在三维坐标系的横纵坐标。
S3:利用二维差分法计算并获得三维曲面的法向量图、天顶角图和方位角图。
步骤S3具体包括如下步骤:
S31:采用二维差分法计算三维曲面的方向梯度值:
(5);
(6);
其中,为三维曲面的空间高度坐标,/>为采样步长,dx为x方向的梯度,dy为y方向的梯度;
S32:根据三维曲面的方向梯度值,通过下式计算三维曲面的法向量,获得三维曲面的法向量图:
(7);
其中,n为非零向量;
S33:将法向量进行归一化处理,并根据归一化的法向量通过下式计算三维曲面的天顶角和方位角,对应获得三维曲面的天顶角图和方位角图:
(8);
其中,为归一化的法向量,/>为天顶角,/>为方位角。
S4:构建目标光照模型,并利用目标光照模型生成三维曲面的镜面反射光强图像和漫反射光强图像。
步骤S4具体包括如下步骤:
S41:在三维曲面的表面均匀设有m个点光源,通过设置点光源的光源参数和探测器的位置构建目标光照模型;
S42:利用目标光照模型对三维曲面进行镜面反射和漫反射的光照场分布的模拟,对应获得三维曲面的镜面反射光强和漫反射光强。
在利用目标光照模型对三维曲面进行镜面反射和漫反射的光照场分布的模拟时,还需设置点光源的位置坐标、相机的位置坐标、点光源的强度、漫反射系数和镜面反射系数。
S5:根据三维曲面的法向量、镜面反射光强图像和漫反射光强图像生成四个不同偏振角度的偏振图像。
步骤S5具体包括如下步骤:
S51:根据法向量的天顶角,通过下式计算镜面反射模型和漫反射模型的偏振度:
其中,为镜面反射模型的偏振度,/>为漫反射模型的偏振度,/>为三维曲面的表面折射系数;
S52:根据镜面反射模型和漫反射模型的偏振度,将三维曲面的入射光和反射光所在的平面作为反射面,通过下式计算平行于反射面的光强和垂直于反射面的光强:
(11);
其中,、/>、/>和/>分别是平行于反射面的光强、垂直于反射面的光强、漫反射光强和镜面反射光强,/>、/>分别为垂直方向和平行方向的误差因子。
S53:根据步骤S52的计算结果,通过下式计算四个偏振角度的偏振图像:
(12);
(13);
(14);
(15);
其中,为偏振角度为0°的偏振图像,/>是垂直于反射光的反射平面的偏振相位角,/>为偏振角度为45°的偏振图像,/>为偏振角度为90°的偏振图像,/>为偏振角度为135°的偏振图像。
反射平面的偏振相位角的计算公式为:
(16);
其中,为所述三维曲面的方位角。
S6:将四个不同偏振角度的偏振图像与三维曲面的法向量图、天顶角图和方位角图进行堆叠,制作三维曲面的一组数据集。
图5(a)示出了根据本发明实施例提供的偏振角度为0°的偏振图像,图5(b)示出了根据本发明实施例提供的偏振角度为45°的偏振图像,图5(c)示出了根据本发明实施例提供的偏振角度为90°的偏振图像,图5(d)示出了根据本发明实施例提供的偏振角度为135°的偏振图像。
根据本发明实施例提出的基于偏振三维成像的数据集制作方法计算四个偏振角度的偏振图像如图5(a)-(d),四个偏振角度为0°、45°、90°和135°。
本发明实施例制作的数据集可用于深度神经网络的预训练,有利于加快网络的收敛速度,提升网络的泛化性能。本发明实施例提出的基于偏振三维成像的数据集制作方法对于基于深度学习的偏振三维成像具有重大意义。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (7)
1.一种基于偏振三维成像的数据集制作方法,其特征在于,具体包括如下步骤:
S1:随机生成二维频谱图,并将所述二维频谱图进行掩膜处理;
S2:将经掩膜处理后的二维频谱图进行二维傅里叶逆变换处理,获得三维曲面;
S3:利用二维差分法计算并获得所述三维曲面的法向量图、天顶角图和方位角图;
所述步骤S3具体包括如下步骤:
S31:采用二维差分法计算所述三维曲面的方向梯度值:
(1);
(2);
其中,为所述三维曲面的空间高度坐标,/>为采样步长,dx为x方向的梯度,dy为y方向的梯度;
S32:根据所述三维曲面的方向梯度值,通过下式计算所述三维曲面的法向量,获得所述三维曲面的法向量图:
(3);
其中,n为非零向量;
S33:将所述法向量进行归一化处理,并根据归一化的法向量通过下式计算所述三维曲面的天顶角和方位角,对应获得所述三维曲面的天顶角图和方位角图:
(4);
其中,为归一化的法向量,/>为天顶角,/>为方位角;
S4:构建目标光照模型,并利用所述目标光照模型生成所述三维曲面的镜面反射光强图像和漫反射光强图像;
S5:根据所述三维曲面的法向量、所述镜面反射光强图像和所述漫反射光强图像生成四个不同偏振角度的偏振图像;
S6:将四个不同偏振角度的偏振图像与所述三维曲面的法向量图、天顶角图和方位角图进行堆叠,制作所述三维曲面的一组数据集。
2.根据权利要求1所述的基于偏振三维成像的数据集制作方法,其特征在于,所述步骤S1具体包括如下步骤:
S11:通过下式随机生成二维频谱图:
其中,和/>分别为所述二维频谱图的横纵坐标,/>和/>分别为所述二维频谱图的宽和高,rand( )为随机数生成器;
S12:根据所述三维曲面的目标平滑度将上限截止频率设为,通过下式将所述二维频谱图进行掩膜处理:
(6);
(7);
其中,为经掩膜处理后的二维频谱图,mask为掩膜公式。
3.根据权利要求1所述的基于偏振三维成像的数据集制作方法,其特征在于,所述二维傅里叶逆变换公式为:
(8);
其中,fft为二维傅里叶逆变换,为三维曲面,x和y分别为所述三维曲面在三维坐标系的横纵坐标。
4.根据权利要求1所述的基于偏振三维成像的数据集制作方法,其特征在于,所述步骤S4具体包括如下步骤:
S41:在所述三维曲面的表面均匀设有m个点光源,通过设置所述点光源的光源参数和所述探测器的位置构建目标光照模型;
S42:利用所述目标光照模型对所述三维曲面进行镜面反射和漫反射的光照场分布的模拟,对应获得所述三维曲面的镜面反射光强和漫反射光强。
5.根据权利要求4所述的基于偏振三维成像的数据集制作方法,其特征在于,在利用所述目标光照模型对所述三维曲面进行镜面反射和漫反射的光照场分布的模拟时,还需设置点光源的位置坐标、相机的位置坐标、点光源的强度、漫反射系数和镜面反射系数。
6.根据权利要求4所述的基于偏振三维成像的数据集制作方法,其特征在于,所述步骤S5具体包括如下步骤:
S51:根据所述法向量的天顶角,通过下式计算镜面反射模型和漫反射模型的偏振度:
其中,为所述镜面反射模型的偏振度,/>为所述漫反射模型的偏振度,/>为所述三维曲面的表面折射系数;
S52:根据所述镜面反射模型和所述漫反射模型的偏振度,将所述三维曲面的入射光和反射光所在的平面作为反射面,通过下式计算平行于反射面的光强和垂直于反射面的光强:
(11);
其中,、/>、/>和/>分别是平行于反射面的光强、垂直于反射面的光强、漫反射光强和镜面反射光强,/>、/>分别为垂直方向和平行方向的误差因子;
S53:根据所述步骤S52的计算结果,通过下式计算四个偏振角度的偏振图像:
(12);
(13);
(14);
(15);
其中,为偏振角度为0°的偏振图像,/>是垂直于反射光的反射平面的偏振相位角,为偏振角度为45°的偏振图像,/>为偏振角度为90°的偏振图像,/>为偏振角度为135°的偏振图像。
7.根据权利要求6所述的基于偏振三维成像的数据集制作方法,其特征在于,所述反射平面的偏振相位角的计算公式为:
(16);
其中,为所述三维曲面的方位角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410083425.7A CN117593487B (zh) | 2024-01-19 | 2024-01-19 | 基于偏振三维成像的数据集制作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410083425.7A CN117593487B (zh) | 2024-01-19 | 2024-01-19 | 基于偏振三维成像的数据集制作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117593487A CN117593487A (zh) | 2024-02-23 |
CN117593487B true CN117593487B (zh) | 2024-04-02 |
Family
ID=89913817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410083425.7A Active CN117593487B (zh) | 2024-01-19 | 2024-01-19 | 基于偏振三维成像的数据集制作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117593487B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101520306A (zh) * | 2009-03-30 | 2009-09-02 | 哈尔滨工业大学 | 基于空间载波的干涉共焦测量装置与方法 |
CN105093552A (zh) * | 2015-09-17 | 2015-11-25 | 清华大学深圳研究生院 | 立体透视方法及系统 |
CN111815544A (zh) * | 2020-09-11 | 2020-10-23 | 南京理工大学智能计算成像研究院有限公司 | 一种数字全息频谱中心亚像素搜索方法 |
-
2024
- 2024-01-19 CN CN202410083425.7A patent/CN117593487B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101520306A (zh) * | 2009-03-30 | 2009-09-02 | 哈尔滨工业大学 | 基于空间载波的干涉共焦测量装置与方法 |
CN105093552A (zh) * | 2015-09-17 | 2015-11-25 | 清华大学深圳研究生院 | 立体透视方法及系统 |
CN111815544A (zh) * | 2020-09-11 | 2020-10-23 | 南京理工大学智能计算成像研究院有限公司 | 一种数字全息频谱中心亚像素搜索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117593487A (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102999942B (zh) | 三维人脸重建方法 | |
CN109932689A (zh) | 一种适用于特定定位场景的任意阵列优化方法 | |
CN105261059A (zh) | 一种基于在屏幕空间计算间接反射高光的渲染方法 | |
CN105631844A (zh) | 一种摄像机标定方法 | |
CN107632964A (zh) | 一种平面地磁异常场向下延拓递归余弦变换法 | |
CN113298947A (zh) | 一种基于多源数据融合的变电站三维建模方法介质及系统 | |
CN109856676B (zh) | 一种实现地震共反射面叠加参数优化的方法 | |
CN111402395A (zh) | 一种基于cnn校正的被动偏振三维重建方法 | |
Fan et al. | Underwater optical 3-D reconstruction of photometric stereo considering light refraction and attenuation | |
Komatsu et al. | 360 depth estimation from multiple fisheye images with origami crown representation of icosahedron | |
CN114067075A (zh) | 基于生成对抗网络的点云补全方法及装置 | |
CN112734824A (zh) | 一种基于广义光度立体模型的三维重建方法 | |
CN113484865A (zh) | 一种基于声学传感器阵列的非视域声源目标探测与定位方法 | |
CN117593487B (zh) | 基于偏振三维成像的数据集制作方法 | |
Meng et al. | An accelerated SBR method for RCS prediction of electrically large target | |
CN107610216B (zh) | 基于粒子群优化多视角立体点云生成方法及应用的摄像机 | |
CN109345571A (zh) | 一种基于扩展高斯图像的点云配准方法 | |
CN109887012B (zh) | 一种结合自适应搜索点集的点云配准方法 | |
Chen et al. | Model-free method for intrinsic camera parameters calibration and lens distortion correction | |
CN113124821B (zh) | 一种基于曲面镜和平面镜的结构测量方法 | |
CN117233699A (zh) | 一种基于改进的粒子群算法的室内可见光定位方法 | |
CN116091562A (zh) | 基于二维投影线段的建筑物点云自动配准的方法 | |
Huang et al. | Real-time measurement of model attitude based on NDT and ICP | |
CN112419421B (zh) | 一种相机标定方法和装置 | |
CN109472862A (zh) | 一种变电站三维建模系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |