CN111340183A - 基于深度学习的散射成像装置和方法 - Google Patents
基于深度学习的散射成像装置和方法 Download PDFInfo
- Publication number
- CN111340183A CN111340183A CN202010088568.9A CN202010088568A CN111340183A CN 111340183 A CN111340183 A CN 111340183A CN 202010088568 A CN202010088568 A CN 202010088568A CN 111340183 A CN111340183 A CN 111340183A
- Authority
- CN
- China
- Prior art keywords
- layer
- lens
- neural network
- convolution
- speckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的散射成像装置,包括准直光源、第一透镜、第二透镜、线偏振片、空间光调制器、分束镜、第三透镜、散射介质、光电探测器、图像重建模块;所述准直光源、第一透镜、第二透镜、线偏振片、分束镜依次沿第一光轴设置,所述空间光调制器、第三透镜、散射介质、光电探测器沿第二光轴设置,第一光轴与第二光轴在分束镜处相交且第二光轴垂直于第一光轴方向,其中,散射介质设置在第三透镜的焦平面上;图像重建模块用于根据光电探测器记录的散斑信息对散斑图像重建。本发明的光路结构简单,对光路准确度的要求不高,构建的神经网络能够自动补偿光路中存在的各类误差。
Description
技术领域
本发明属于散射成像技术,具体为一种基于深度学习的散射成像装置和方法。
背景技术
生活中,散射介质无处不在。光波在散射介质中传播时,介质内部无序的散射颗粒将会阻碍光波的自由传播,并且使光波矢方向和相位随机改变。因此光波在经过无序介质后,会呈现出随机散斑图样。这些散斑图样,看似已经失去了原先光场的稳定分布和相关性,但是研究表明,散斑中的弹道光依然保留了部分相干性,因此这些散斑图案中仍然有足够的信息来重建物体的图像。
实现散射成像的方法主要有:(1)基于反馈控制的波前整形法(2)相位共轭法(3)基于散斑关联特性的记忆效应法等。但是以上方法各有优缺点和适用条件,波前整形法和相位共轭法成像校准时间很长,难以应对动态或变化较快的无序介质环境;基于散斑关联特性的记忆效应法面对较厚的散射介质时会失效,且由于它是一种介观效应,当被观察物体尺寸较大时也会失效。同时,以上方法都对光路的准确度要求极高,实现的光路也较为复杂。
发明内容
本发明的目的在于提出了一种基于深度学习的散射成像装置。
实现本发明目的的技术解决方案为:一种基于深度学习的散射成像装置,包括准直光源、第一透镜、第二透镜、线偏振片、空间光调制器、分束镜、第三透镜、散射介质、光电探测器、图像重建模块;
所述准直光源、第一透镜、第二透镜、线偏振片、分束镜依次沿第一光轴设置,所述空间光调制器、第三透镜、散射介质、光电探测器沿第二光轴设置,第一光轴与第二光轴在分束镜处相交且第二光轴垂直于第一光轴方向,其中,散射介质设置在第三透镜的焦平面上;
图像重建模块用于根据光电探测器记录的散斑信息对散斑图像重建。
优选地,所述图像重建模块由混合神经网络构成,所述混合神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一重构层、第一丢弃层、第一全连接层、第二丢弃层、第二全连接层、上采样层、第四卷积层、第五卷积层和第六卷积层。
优选地,所述第一卷积层采用3*3的卷积核,对输入散斑图提取特征边缘、线条和角等层级,所述第一池化层对第一卷积层提取的特征图进行压缩,得到32*32*16的三维特征图;所述第二卷积层采用3*3的卷积核,从第一卷积层提取的特征中迭代提取特征,并经过第二池化层压缩,得到16*16*32的三维特征图;第三卷积层采用3*3的卷积核,从第二卷积层提取的特征中迭代提取特征,并经第三池化层压缩得到8*8*64的三维特征图;所述第一重构层将8*8*64的三维特征图拉直成1*4096的向量,所述第一丢弃层,通过忽略全连接层中的部分神经元节点,有效防止神经网络过拟合现象;所述第一全连接层设置1024个神经元,后面紧接第二丢弃层,用来防止神经网络过拟合;所述第二全连接层设置196个神经元;第二全连接层中的每个神经元与其前一层的所有神经元进行全连接,用于整合卷积层和池化层中具有类别区分性的局部信息,最终得到1*196向量;第二重构层将1*196向量变为14*14*1的三维特征图;上采样层将14*14*1的三维特征图放大为28*28*1的三维特征图;第四卷积层,采用3*3的卷积核,从28*28*1的三维特征图提取抽象特征,得到28*28*32的三维特征图;第五卷积层采用1*1的卷积核,对第四卷积层输出的28*28*64三维特征图进行降维,得到28*28*16的三维特征图;第六卷积层采用1*1的卷积核,对第五卷积层输出的28*28*16的三维特征图再次降维,得到28*28像素的图片输出。
优选地,所述混合神经网络为训练完成的混合神经网络,训练过程具体为:
将光电探测器采集的前2000张散斑图作为训练集散斑图对应的2000张MNIST手写数字原始图片作为标签集,计算损失函数,采用Adam算法优化神经网络,其中,损失函数为:
其中,y表示真实值,pred表示预测值,N表示样本数量。
优选地,所述准直光源为连续型激光器。
优选地,所述散射介质为毛玻璃。
一种基于深度学习的散射成像方法,具体为:
步骤1、将2100张MNIST手写数字图片逐张加载在空间光调制器上,进行幅度调制,用光电探测器逐个记录每张图片对应的散斑图案;
步骤2、将光电探测器记录的前2000张散斑图片信息作为混合神经网络的输入,把每张散斑对应的原始图片作为标签,并将损失函数设置为MSE函数:
其中,y表示真实值,pred表示预测值,N表示样本数量;
采用Adam优化器对神经网络进行训练并保存最优权重。
步骤3、将待重建图片加载在空间光调制器上,进行幅度调制,用光电探测器记录待重建图片对应的散斑图案,将散斑图案输入训练好的混合神经网络,获得重建图片。
本发明与现有技术相比,其显著优点为:
(1)本发明的光路结构简单,对光路准确度的要求不高,构建的神经网络能够自动补偿光路中存在的各类误差;
(2)本发明在完成神经网络的训练后,成像速度极快,每张散斑图恢复原始物体的时间不到1s,且成像效果较好;
(3)本发明构建的混合神经网络结构简单,所需要的训练样本数量较少,大大减少了计算机的运行负担和训练神经网络所花费的时间。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1是基于深度学习的散射成像装置示意图
图2是构建的混合神经网络结构示意图。
图3是利用构建的混合神经网络恢复的结果图,图3(a)为散斑图,图3(b)为混合神经网络恢复的结果图,图3(c)为原始物体图片。
具体实施方式
如图1所示,一种基于深度学习的散射成像装置,包括准直光源1、第一透镜2、第二透镜3、线偏振片4、空间光调制器5、分束镜6、第三透镜7、散射介质8、光电探测器9、图像重建模块10;
所述准直光源1、第一透镜2、第二透镜3、线偏振片4、分束镜6依次沿第一光轴设置,所述空间光调制器5、第三透镜7、散射介质8、光电探测器9沿第二光轴设置,第一光轴与第二光轴在分束镜6处相交且第二光轴垂直于第一光轴方向,其中散射介质8设置在第三透镜7的焦平面上;
准直光源1发出的光经过第一透镜2、第二透镜3扩束,经线偏振片4后由分束镜6分束,反射光照射在空间光调制器5上进行调制,调制后的光透过分束镜,经过第三透镜7、散射介质8后,出射的散射光被光电探测器9接收;
图像重建模块10用于根据光电探测器9记录的散斑信息对散斑图像重建。
进一步的实施例中,所述图像重建模块10由混合神经网络构成,如图2所示,本发明的混合神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一重构层、第一丢弃层、第一全连接层、第二丢弃层、第二全连接层、上采样层、第四卷积层、第五卷积层和第六卷积层。
采集得到的散斑图,任意提取64*64像素作为神经网络的输入,第一卷积层采用3*3的卷积核,对输入散斑图提取一些低级的特征边缘、线条和角等层级后,第一池化层对第一卷积层提取的特征图进行压缩,去除冗余信息,提取主要特征,得到32*32*16的三维特征图;第二卷积层采用3*3的卷积核,从第一卷积层提取的低级特征中迭代提取复杂的特征,并经过第二池化层压缩,得到16*16*32的三维特征图;第三卷积层采用3*3的卷积核,从第二卷积层提取的复杂特征中迭代提取更复杂特征,并经第三池化层压缩得到8*8*64的三维特征图;然后,第一重构层Reshape layer将8*8*64的三维特征图拉直成1*4096的向量,后面紧接第一丢弃层,在每一次的训练批次中,通过忽略全连接层中的部分神经元节点,从而有效的防止神经网络过拟合现象;第一全连接层设置1024个神经元,后面紧接第二丢弃层,用来防止神经网络过拟合;第二全连接层设置196个神经元;全连接层中的每个神经元与其前一层的所有神经元进行全连接,用于整合卷积层和池化层中具有类别区分性的局部信息,最终得到1*196向量;第二重构层将1*196向量变为14*14*1的三维特征图;上采样层将14*14*1的三维特征图放大为28*28*1的三维特征图;第四卷积层,采用3*3的卷积核,从28*28*1的三维特征图提取抽象特征,得到28*28*32的三维特征图;第五卷积层采用1*1的卷积核,对第四卷积层输出的28*28*64三维特征图进行降维,得到28*28*16的三维特征图;第六卷积层采用1*1的卷积核,对第五卷积层输出的28*28*16的三维特征图再次降维,得到28*28像素的图片输出。这样,就可以用28*28像素的MNIST手写数字原图片作为标签直接计算损失函数。
将光电探测器采集的前2000张散斑图作为训练集散斑图对应的2000张MNIST手写数字原始图片作为标签集,计算损失函数,采用AdamAdaptive Moment Estimation优化算法对神经网络进行训练。其中,损失函数为:
其中,y表示真实值,pred表示预测值,N表示样本数量。
本发明在实际训练过程中,可以根据需要选择不同的学习率、批次大小。
进一步的实施例中,所述准直光源1为连续型激光器,发出的光为连续型可见的准直激光。
进一步的实施例中,所述散射介质8为毛玻璃。
将光电探测器采集的剩余100张散斑图随机抽取10张作为测试图片,神经网络训练完成后,将测试的散斑图片,如图3a所示,作为混合神经网络输入,得到对应的成像恢复图,如图3b所示,然后与原图,如图3c所示比较,评估成像效果。
本发明采用深度学习的方法实现散射成像,深度学习中神经网络的训练可以在各种计算机上进行,一般为了提高运行速度,该训练多是在含单个或多个GPU的计算机上完成。
一种基于深度学习的散射成像方法,具体步骤为:
步骤1、将2100张MNIST手写数字图片逐张加载在空间光调制器5上,进行幅度调制,用光电探测器9逐个记录每张图片对应的散斑图案。
步骤2、用计算机构建如图2所示的混合神经网络,把光电探测器记录的前2000张散斑图片信息作为混合神经网络的输入,把每张散斑对应的原始图片作为标签,并将损失函数设置为MSE函数:
其中,y表示真实值,pred表示预测值,N表示样本数量。
采用Adam优化器对神经网络进行训练并保存最优权重。
步骤3、将待重建图片加载在空间光调制器5上,进行幅度调制,用光电探测器9记录待重建图片对应的散斑图案,将散斑图案输入训练好的混合神经网络,获得重建图片。
在某些实施例中,在混合神经网络训练完后,对混合神经网络进行测试,具体为:
将剩余的100张散斑图随机抽取10张作为测试图片,对完成训练的神经网络进行测试,验证完成训练后的神经网络对物体散斑图像的恢复效果,如图3所示,(a)为散斑图,(b)为混合神经网络恢复的结果图,(c)为原始物体图片。
Claims (7)
1.一种基于深度学习的散射成像装置,其特征在于,包括准直光源(1)、第一透镜(2)、第二透镜(3)、线偏振片(4)、空间光调制器(5)、分束镜(6)、第三透镜(7)、散射介质(8)、光电探测器(9)、图像重建模块(10);
所述准直光源(1)、第一透镜(2)、第二透镜(3)、线偏振片(4)、分束镜(6)依次沿第一光轴设置,所述空间光调制器(5)、第三透镜(7)、散射介质(8)、光电探测器(9)沿第二光轴设置,第一光轴与第二光轴在分束镜(6)处相交且第二光轴垂直于第一光轴方向,其中,散射介质(8)设置在第三透镜(7)的焦平面上;
图像重建模块(10)用于根据光电探测器(9)记录的散斑信息对散斑图像重建。
2.根据权利要求1所述的基于深度学习的散射成像装置,其特征在于,所述图像重建模块(10)由混合神经网络构成,所述混合神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一重构层、第一丢弃层、第一全连接层、第二丢弃层、第二全连接层、上采样层、第四卷积层、第五卷积层和第六卷积层。
3.根据权利要求2所述的基于深度学习的散射成像装置,其特征在于,所述第一卷积层采用3*3的卷积核,对输入散斑图提取特征边缘、线条和角等层级,所述第一池化层对第一卷积层提取的特征图进行压缩,得到32*32*16的三维特征图;所述第二卷积层采用3*3的卷积核,从第一卷积层提取的特征中迭代提取特征,并经过第二池化层压缩,得到16*16*32的三维特征图;第三卷积层采用3*3的卷积核,从第二卷积层提取的特征中迭代提取特征,并经第三池化层压缩得到8*8*64的三维特征图;所述第一重构层将8*8*64的三维特征图拉直成1*4096的向量,所述第一丢弃层,通过忽略全连接层中的部分神经元节点,有效防止神经网络过拟合现象;所述第一全连接层设置1024个神经元,后面紧接第二丢弃层,用来防止神经网络过拟合;所述第二全连接层设置196个神经元;第二全连接层中的每个神经元与其前一层的所有神经元进行全连接,用于整合卷积层和池化层中具有类别区分性的局部信息,最终得到1*196向量;第二重构层将1*196向量变为14*14*1的三维特征图;上采样层将14*14*1的三维特征图放大为28*28*1的三维特征图;第四卷积层,采用3*3的卷积核,从28*28*1的三维特征图提取抽象特征,得到28*28*32的三维特征图;第五卷积层采用1*1的卷积核,对第四卷积层输出的28*28*64三维特征图进行降维,得到28*28*16的三维特征图;第六卷积层采用1*1的卷积核,对第五卷积层输出的28*28*16的三维特征图再次降维,得到28*28像素的图片输出。
5.根据权利要求1所述的基于深度学习的散射成像装置,其特征在于,所述准直光源(1)为连续型激光器。
6.根据权利要求1所述的基于深度学习的散射成像装置,其特征在于,所述散射介质(8)为毛玻璃。
7.基于权利要求1~6任一所述的成像装置的方法,其特征在于,具体为:
步骤1、将2100张MNIST手写数字图片逐张加载在空间光调制器(5)上,进行幅度调制,用光电探测器(9)逐个记录每张图片对应的散斑图案;
步骤2、将光电探测器记录的前2000张散斑图片信息作为混合神经网络的输入,把每张散斑对应的原始图片作为标签,并将损失函数设置为MSE函数:
其中,y表示真实值,pred表示预测值,N表示样本数量;
采用Adam优化器对神经网络进行训练并保存最优权重。
步骤3、将待重建图片加载在空间光调制器(5)上,进行幅度调制,用光电探测器(9)记录待重建图片对应的散斑图案,将散斑图案输入训练好的混合神经网络,获得重建图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010088568.9A CN111340183B (zh) | 2020-02-12 | 2020-02-12 | 基于深度学习的散射成像装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010088568.9A CN111340183B (zh) | 2020-02-12 | 2020-02-12 | 基于深度学习的散射成像装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340183A true CN111340183A (zh) | 2020-06-26 |
CN111340183B CN111340183B (zh) | 2022-08-16 |
Family
ID=71183872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010088568.9A Active CN111340183B (zh) | 2020-02-12 | 2020-02-12 | 基于深度学习的散射成像装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340183B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111740307A (zh) * | 2020-07-01 | 2020-10-02 | 中国工程物理研究院激光聚变研究中心 | 激光器谐振腔的智能调节系统和方法 |
CN111739116A (zh) * | 2020-07-16 | 2020-10-02 | 南京理工大学 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
CN112287571A (zh) * | 2020-12-31 | 2021-01-29 | 南京理工大学 | 基于物理驱动的散射泛化成像方法和实验方法 |
CN112434749A (zh) * | 2020-12-02 | 2021-03-02 | 电子科技大学中山学院 | 一种基于U-Net的多模光纤散斑图重建与识别方法 |
CN113985566A (zh) * | 2021-09-10 | 2022-01-28 | 西南科技大学 | 一种基于空间光调制及神经网络的散射光聚焦方法 |
CN114721143A (zh) * | 2020-12-22 | 2022-07-08 | 南京理工大学 | 一种图像透过散射介质后重建的装置和方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
CN110274877A (zh) * | 2019-05-21 | 2019-09-24 | 西安电子科技大学 | 一种基于散射介质的3d光谱成像系统及方法 |
-
2020
- 2020-02-12 CN CN202010088568.9A patent/CN111340183B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110274877A (zh) * | 2019-05-21 | 2019-09-24 | 西安电子科技大学 | 一种基于散射介质的3d光谱成像系统及方法 |
CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111740307A (zh) * | 2020-07-01 | 2020-10-02 | 中国工程物理研究院激光聚变研究中心 | 激光器谐振腔的智能调节系统和方法 |
CN111739116A (zh) * | 2020-07-16 | 2020-10-02 | 南京理工大学 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
CN112434749A (zh) * | 2020-12-02 | 2021-03-02 | 电子科技大学中山学院 | 一种基于U-Net的多模光纤散斑图重建与识别方法 |
CN114721143A (zh) * | 2020-12-22 | 2022-07-08 | 南京理工大学 | 一种图像透过散射介质后重建的装置和方法 |
CN112287571A (zh) * | 2020-12-31 | 2021-01-29 | 南京理工大学 | 基于物理驱动的散射泛化成像方法和实验方法 |
CN112287571B (zh) * | 2020-12-31 | 2021-05-14 | 南京理工大学 | 基于物理驱动的散射泛化成像方法和实验方法 |
CN113985566A (zh) * | 2021-09-10 | 2022-01-28 | 西南科技大学 | 一种基于空间光调制及神经网络的散射光聚焦方法 |
CN113985566B (zh) * | 2021-09-10 | 2023-09-12 | 西南科技大学 | 一种基于空间光调制及神经网络的散射光聚焦方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111340183B (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340183B (zh) | 基于深度学习的散射成像装置和方法 | |
CN110675326B (zh) | 基于U-Net网络的计算鬼成像重建恢复的方法 | |
Singh et al. | Single image dehazing for a variety of haze scenarios using back projected pyramid network | |
CN110490818B (zh) | 基于cgan的计算鬼成像重建恢复方法 | |
Shamshad et al. | Compressed sensing-based robust phase retrieval via deep generative priors | |
Ding et al. | Kd-mvs: Knowledge distillation based self-supervised learning for multi-view stereo | |
Li et al. | Hdrnet: Single-image-based hdr reconstruction using channel attention cnn | |
US20220156891A1 (en) | Methods and systems for deblurring blurry images | |
CN114894740A (zh) | 一种太赫兹单像素成像方法与系统 | |
CN114387164A (zh) | 一种太赫兹单像素超分辨成像方法和系统 | |
CN111028302B (zh) | 一种基于深度学习的压缩对象成像方法及系统 | |
Weng et al. | Boosting event stream super-resolution with a recurrent neural network | |
Tong et al. | Quantitative pure-phase object reconstruction under single-shot Fourier measurement via deep learning | |
Hattori et al. | Learning self-prior for mesh denoising using dual graph convolutional networks | |
Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
Cheng et al. | Super-resolution imaging through the diffuser in the near-infrared via physically-based learning | |
Zhang et al. | Iterative multi‐scale residual network for deblurring | |
Bricman et al. | CocoNet: A deep neural network for mapping pixel coordinates to color values | |
Wang et al. | VPU: A video-based point cloud upsampling framework | |
CN116091640A (zh) | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 | |
Zou et al. | Target recognition based on pre-processing in computational ghost imaging with deep learning | |
DE102018127265A1 (de) | Multi-einzelbild-videointerpolation mit optischem fluss | |
Xu et al. | Interactive algorithms in complex image processing systems based on big data | |
CN114119428A (zh) | 一种图像去模糊方法和装置 | |
CN113379614A (zh) | 基于Resnet网络的计算鬼成像重建恢复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |