CN111739116A - 基于深度神经网络透过散射介质的目标定位和重建方法 - Google Patents
基于深度神经网络透过散射介质的目标定位和重建方法 Download PDFInfo
- Publication number
- CN111739116A CN111739116A CN202010684446.6A CN202010684446A CN111739116A CN 111739116 A CN111739116 A CN 111739116A CN 202010684446 A CN202010684446 A CN 202010684446A CN 111739116 A CN111739116 A CN 111739116A
- Authority
- CN
- China
- Prior art keywords
- network
- positioning
- scattering medium
- depth
- channel network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开基于深度神经网络透过散射介质目标定位和重建方法,其基于DINet,能用于同时预测深度信息和从单个散斑图重建目标图像;利用系统配置采集实验的图像数据和物体与散射介质间的距离;将不同位置产生的散斑模式统计模型系统配置用于采集实验的图像数据和物体与散射介质之间的距离;散斑图经过双通道网络,经定位通道网络产生深度预测值和成像通道网络进行图像复原重建。本方法能够有效地解决多任务的挑战,在复杂散射情况能够获取多个物理信息。利用多任务总损失函数,对网络的学习和训练具有更强约束力,使得多任务协同训练在定位任务中具更佳性能,提高定位精度和成像质量。
Description
技术领域
本发明属于机器学习与图像重建领域,具体涉及基于深度神经网络透过散射介质的目标定位和重建方法。
背景技术
通过散射介质对隐藏物体进行探测在大气光学和生物光子学等诸多领域具有广阔的应用前景。但是散射会对观测对象的原始信息造成干扰退化,限制了对物体的成像和测量。
目前,已经提出了一些传统物理方法来解决散射成像问题,但其只是对散斑图像进行恢复,不包含其他方面的物理信息。
散射环境下对目标的测距和定位对大气或生物应用领域至关重要。目前为止,已有一些技术可以获得隐藏对象的深度信息,比如相干门控法,PSF操纵法, 色差补偿法和基于傅里叶滑窗的相空间测量法。这些传统的深度检测方法很难建立完备的物理模型来获取绝对深度信息。并且以上方法难以协同工作,同时获取多个物理信息。这些检测方法对获取物理信息的有着苛刻的环境要求,也限制了其在实际应用中的实施。
与构建复杂的物理模型不同,深度学习能够有效地解决复杂的映射关系,并生成由大量数据驱动的优化模型,简化实验的硬件设施。在透过散射介质成像方面,深度学习方法已成功地用于透过磨砂玻璃、多模光纤和脂肪悬浊液进行图像重建。然而,由于散射干扰和模型能力的原因,无论有无先验信息,之前都无法利用神经网络对隐藏目标的空间位置信息进行有效地测量。因此,需要一种基于深度神经网络透过散射介质的目标定位和重建方法。
发明内容
本发明的目的在于提出了一种基于深度神经网络透过散射介质的目标定位和重建方法。
实现本发明目的的技术方案为:基于深度神经网络透过散射介质的目标定位和重建方法,具体步骤为:
步骤1、设计一个多任务深度预测和图像重建网络DINet,用于同时预测深度信息和从单个散斑图重建目标图像;利用系统配置采集实验的图像数据和物体与散射介质之间的距离;
步骤2、将不同位置产生的散斑模式统计模型系统配置用于采集实验的图像数据和物体与散射介质之间的距离;
步骤3、散斑图经过双通道网络,通过定位通道网络产生深度预测值和成像通道网络进行图像复原重建。
优选地,步骤1设计的多任务深度预测和图像重建网络DINet具有不同属性的两个通道网络:定位通道网络由离散傅里叶变换(DFT)、编码模块和全连接层组成,用于提取定位特征和回归深度值,产生深度预测值;成像通道网络采用编码-解码的结构,并利用跳层连接对成像质量进行提升,进行图像复原重建。
优选地,在训练多任务深度预测和图像重建网络DINet的过程中,使用平均绝对误差(MAE)和平均平方误差(MSE)作为损失函数来训练网络模型。
优选地,对深度通道网络的MAE损失函数和成像通道网络的MSE损失函数计算,两者的损失函数之和为整体网络的训练损失函数,定义为:
其中Di和Dgt分别为预测距离值和实际真值,Ii和Igt分别是重建图像结果和相对应的真实图像,i是训练数据集的索引序列,N是一次训练选区的样本数。
进一步的,散斑图的DFT处理帮助定位通道网络对距离特征进行有效地提取和深度值的准确预测。
进一步的,多任务深度预测和图像重建网络DINet通过有效的数据挖掘和强大的拟合能力对深度值进行回归,将复杂的映射关系优化为如下关系:
其中F是由多任务深度预测和图像重建网络DINet学习得到的映射关系,S获取的散斑图像,d0是CMOS和散射介质之间的距离,λ系统光源的中心波长。
进一步的,在光学系统实际采集的数据集上对多任务深度预测和图像重建网络DINet进行训练和测试,使用MAE和峰值信噪比(PSNR)定量地评估深度预测和图像重建网络DINet的定位能力和成像性能,
进一步的,手写数字实验的散板图像数据的获取方式为:采用COMS相机在DMD触发时采集散斑图像。
本发明的有益效果为:
本发明与现有技术相比,其显著优点为:
(1)本发明提出了一个解决散射问题中测量深度信息的深度神经网络模型;
(2)本发明利用里多任务总损失函数,对网络的学习和训练具有更强的约束能力,使得多任务协同训练在定位任务中具有更好的性能,提高了深度预测和图像重建网络DINet的定位精度和成像质量。
附图说明
图1是实验采集装置示意图;
图2是景深测量光路展开示意图;
图3是多任务深度预测和图像重建网络DINet网络结构示意图;
图4是5个位置的深度预测、对应的误差值、目标真值和重建结果;
图5是5个位置散斑重建图像的MAE和PSNR计算结果;
图6和图7是多任务深度预测和图像重建网络DINet在工作行程两端细分区间的性能测试及评价结果。
附图标记:1-LED光源,2-光瞳准直透镜,3-TIR棱镜,4-数字微镜装置DMD,5-可移动平台,6-散射介质,7-光瞳,8-滤光片,9-CMOS相机。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
一种基于深度神经网络透过散射介质的目标定位和重建方法,具体步骤为:
步骤1、提出一个多任务深度预测和图像重建网络DINet,用于学习训练由不同位置产生的散斑模式统计模型;
系统配置如图1-3所示,系统配置用于采集实验的图像数据和物体与散射介质之间的距离。图2为实验系统对距离描述的光路展开图。 多任务深度预测和图像重建网络DINet的网络结构如图3所示,散斑图经过双通道网络,通过定位通道网络产生深度预测值和成像通道网络进行图像复原重建。如图1所示,LED光源1位于光瞳准直透镜2下方,TIR棱镜3位于光瞳准直透镜2正上方,数字微镜装置DMD4位于TIR棱镜3上方。可移动平台5位于光瞳准直透镜2和 TIR棱镜3的右侧,可移动平台5的上方设有CMOS相机9,CMOS相机9的前面设有滤光片8,滤光片8的前面设有散射介质6,光瞳7位于滤光片8与散射介质6之间。
多任务网络的关键结构是基于高效残差模块的网络层。定位通道网络由离散傅里叶变换(DFT)、编码模块和全连接层组成,用于提取定位特征和回归深度值。成像通道网络采用了编码-解码的结构,并利用跳层连接对成像质量进行提升。
在多任务训练深度预测和图像重建网络DINet的过程中,损失函数定义如下:
如公式1所示,使用平均绝对误差(MAE)和平均平方误差(MSE)作为损失函数来训练网络模型。对深度通道网络的MAE损失函数和成像通道网络的MSE损失函数计算,两者的损失函数之和为整体网络的训练损失函数:
其中Di和Dgt分别为预测距离值和实际真值,Ii和Igt分别是重建图像结果和相对应的真实图像,i是训练数据集的索引序列,N是一次训练选区的样本数。
通过深度预测和图像重建损失函数之和来反向传播迭代优化多任务深度预测和图像重建网络DINet网络模型。
从于物体位置深度变化会使相空间频域图像发生规律性变化这一可见的现象,散
斑图的拟合斜率与变化的深度值如所示呈负相关关系。因此,散斑图的DFT
处理可以帮助定位通道网络对距离特征进行有效地提取和深度值的准确预测。多任务深度
预测和图像重建网络DINet可以通过有效的数据挖掘和强大的拟合能力对深度值进行回
归,将复杂的映射关系优化为如下关系:
其中F是由多任务深度预测和图像重建网络DINet学习得到的映射关系,S获取的散斑图像,d0是CMOS和散射介质之间的距离,λ系统光源的中心波长。
步骤2、将不同位置产生的散斑模式统计模型系统配置用于采集实验的图像数据和物体与散射介质之间的距离;
在光学系统实际采集的数据集上对多任务深度预测和图像重建网络DINet进行训练和测试,数据采集系统装置如图1所示。 从MINIST数据集中选取手写数字目标作为目标图像,并使用一个数字微镜装DMD(像素数:1024*768, 像素间距:13.68μm)来显示。使用一块TIR棱镜来折叠光路,方便探测器捕捉数字微镜装置DMD显示的图案。选用一块磨砂玻璃作为系统的散射介质 (Thorlabs, DG100X100-220)。LED光源(Thorlabs, M625L4)与一个窄带滤光片(Thorlabs, FL632.8-1,中心波长:632.8±0.2nm)相结合,作为系统的窄带部分相干照明光源。通过移动位移台可以得到不同位置对应的散斑图。如图2所示,将光路从数字微镜装置DMD和CMOS相机(Balser, acA1920-155um)之间的TIR棱镜展开。虚线框中的设备相对固定,以确保d0是一个常数值。因此,在虚线框内的实验设置被机动阶段移动,以获得隐藏对象变化的深度dx。
步骤3、散斑图经过双通道网络,通过定位通道网络产生深度预测值和成像通道网络进行图像复原重建;
对多任务深度预测和图像重建网络DINet进行训练时,每个位置一共记录1100个散斑图,选取1000个散斑图作为训练数据,50个散斑图作为验证数据,50个散斑图作为测试数据。训练时每次选取32张散斑图进行同批次处理,并使用Adam优化器一共训练400次,前200次学习率设置为1E-3,后200次学习率设置为1E-4,训练共耗时8小时。多任务深度预测和图像重建网络DINet网络在PyTorch 1.3.1 Python环境下,运行在一张NVIDIA GeForceTitan RTX图形处理单元上。
为定量地评估多任务深度预测和图像重建网络DINet的定位能力和成像性能,使用MAE和峰值信噪比(PSNR)来衡量定位精度和成像质量。
如图4所示,为整个工作行程的多任务测试结果,其中包括定位测试结果和与真值对应的重建实例。物体运动范围为350至1150mm,每次移动间隔为200mm。横坐标为测试样本序列,每个位置有50个样本。多任务深度预测和图像重建网络DINet可以有效地预测散斑不同分布情况的深度值,并还原隐藏在介质后方的目标图像。平均深度误差为0.04541mm,用绿色虚线表示。通过与平均深度误差的比较,可以清晰地看出定位精度和误差与距离关系的分布情况,即定位精度随着距离的增加而降低。
利用MAE和PSNR进行成像通道网络的评价结果如图5所示。随着距离的增加,成像质量略有下降,重建的平均峰值信噪比达到24.7dB。
如图4和图5所示,多任务深度预测和图像重建网络DINet具有良好的定位能力和成像性能。然而,随着距离的增加,采集到的散斑图数量受到CMOS灵敏度的限制。此外,还会引入更多的系统噪声,如杂散光和位移台准直误差等。所有这些因素都会导致定位精度和成像质量的性能下降。
多任务深度预测和图像重建网络DINet具有从大范围到小尺度的细分定位及成像能力。如图6和图7所示,选择工作行程的两端测试,间隔从200mm细分到2mm, 多任务深度预测和图像重建网络DINet可以在多任务的中依然可以保持较高的分辨率。与起始行程350mm附近区间相对应,在工作行程末端1150毫米附近范围,多任务深度预测和图像重建网络DINet也可以完成多个任务。但在相同细分间隔的情况下,末端行程范围的精度低于开始行程部分,预测的距离值平均误差从0.00948mm降到0.07622mm。从另一个角度也证明了之前误差分布与定位深度范围相关性分析的正确性。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (6)
1.一种基于深度神经网络透过散射介质的目标定位和重建方法,其特征在于,具体步骤在于:
步骤1、建立一个多任务深度预测和图像重建网络DINet,用于预测深度信息和从单个散斑图重建目标图像;建立一个系统配置用于采集实验的图像数据和物体与散射介质之间的距离;
步骤2、利用系统配置采集不同位置产生的散斑模式的图像数据和物体与散射介质之间的距离;
步骤3、将采集到的图像数据经过双通道网络,通过定位通道网络产生深度预测值和成像通道网络进行图像复原重建。
2.根据权利要求1所述基于深度神经网络透过散射介质的目标定位和重建方法,其特征在于,步骤1设计的多任务深度预测和图像重建网络DINet的结构包括网络层、定位通道网络、成像通道网络;所述网络层为基于高效残差模块的网络层,所述定位通道网络由离散傅里叶变换DFT、编码模块和全连接层组成,用于提取定位特征和回归深度值;所述成像通道网络采用了编码-解码的结构,利用跳层连接对成像质量进行提升;使用平均绝对误差MAE和平均平方误差MSE作为损失函数来训练网络模型。
5.根据权利要求1所述的基于深度神经网络透过散射介质的目标定位和重建方法,其特征在于,在光学系统实际采集的数据集上对多任务深度预测和图像重建网络进行训练和测试,从MINIST数据集中选取手写数字目标作为目标图像,使用一个数字微镜装置DMD来显示;使用一块TIR棱镜折叠光路,选用一块磨砂玻璃作为系统的散射介质;LED与一个窄带滤光片相结合,作为系统的窄带部分相干照明光源;通过移动位移台采集不同位置对应的散斑图。
6.根据权利要求2所述的基于深度神经网络透过散射介质的目标定位和重建方法,其特征在于,使用平均绝对误差MAE和峰值信噪比PSNR来衡量定位精度和成像质量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010684446.6A CN111739116B (zh) | 2020-07-16 | 2020-07-16 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010684446.6A CN111739116B (zh) | 2020-07-16 | 2020-07-16 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111739116A true CN111739116A (zh) | 2020-10-02 |
CN111739116B CN111739116B (zh) | 2021-01-19 |
Family
ID=72654750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010684446.6A Active CN111739116B (zh) | 2020-07-16 | 2020-07-16 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111739116B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434749A (zh) * | 2020-12-02 | 2021-03-02 | 电子科技大学中山学院 | 一种基于U-Net的多模光纤散斑图重建与识别方法 |
CN112862081A (zh) * | 2021-03-18 | 2021-05-28 | 清华大学 | 基于傅立叶变换的人工神经网络的多模光纤成像方法 |
CN113191959A (zh) * | 2021-03-08 | 2021-07-30 | 浙江大学 | 一种基于退化标定的数字成像系统极限像质提升方法 |
CN113362412A (zh) * | 2021-06-02 | 2021-09-07 | 中国工程物理研究院激光聚变研究中心 | 一种基于深度学习的散斑频谱信息重建方法及装置 |
CN114384780A (zh) * | 2020-10-16 | 2022-04-22 | 深圳大学 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
CN115984368A (zh) * | 2023-01-12 | 2023-04-18 | 中国科学院宁波材料技术与工程研究所 | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019063760A1 (en) * | 2017-09-28 | 2019-04-04 | Koninklijke Philips N.V. | DISPERSION CORRECTION BASED ON DEEP LEARNING |
CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
CN111340183A (zh) * | 2020-02-12 | 2020-06-26 | 南京理工大学 | 基于深度学习的散射成像装置和方法 |
CN111366557A (zh) * | 2020-03-24 | 2020-07-03 | 东南大学 | 一种基于薄散射介质的相位成像方法 |
-
2020
- 2020-07-16 CN CN202010684446.6A patent/CN111739116B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019063760A1 (en) * | 2017-09-28 | 2019-04-04 | Koninklijke Philips N.V. | DISPERSION CORRECTION BASED ON DEEP LEARNING |
CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
CN111340183A (zh) * | 2020-02-12 | 2020-06-26 | 南京理工大学 | 基于深度学习的散射成像装置和方法 |
CN111366557A (zh) * | 2020-03-24 | 2020-07-03 | 东南大学 | 一种基于薄散射介质的相位成像方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114384780A (zh) * | 2020-10-16 | 2022-04-22 | 深圳大学 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
CN114384780B (zh) * | 2020-10-16 | 2024-02-09 | 深圳大学 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
CN112434749A (zh) * | 2020-12-02 | 2021-03-02 | 电子科技大学中山学院 | 一种基于U-Net的多模光纤散斑图重建与识别方法 |
CN113191959A (zh) * | 2021-03-08 | 2021-07-30 | 浙江大学 | 一种基于退化标定的数字成像系统极限像质提升方法 |
CN113191959B (zh) * | 2021-03-08 | 2022-06-17 | 浙江大学 | 一种基于退化标定的数字成像系统极限像质提升方法 |
CN112862081A (zh) * | 2021-03-18 | 2021-05-28 | 清华大学 | 基于傅立叶变换的人工神经网络的多模光纤成像方法 |
CN113362412A (zh) * | 2021-06-02 | 2021-09-07 | 中国工程物理研究院激光聚变研究中心 | 一种基于深度学习的散斑频谱信息重建方法及装置 |
CN115984368A (zh) * | 2023-01-12 | 2023-04-18 | 中国科学院宁波材料技术与工程研究所 | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111739116B (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111739116B (zh) | 基于深度神经网络透过散射介质的目标定位和重建方法 | |
Zu et al. | Mapping stellar content to dark matter haloes using galaxy clustering and galaxy–galaxy lensing in the SDSS DR7 | |
Tonry et al. | A survey of galaxy redshifts. I-Data reduction techniques | |
CN112287571B (zh) | 基于物理驱动的散射泛化成像方法和实验方法 | |
CN110650340B (zh) | 一种时空复用的压缩视频成像方法 | |
CN106970024A (zh) | 基于相机和可控频闪光源的限界检测测距方法及系统 | |
CN103472256A (zh) | 基于面阵ccd空间滤波器的流动二维速度场测量方法及装置 | |
US20120330162A1 (en) | Modulated aperture imaging for automatic moving target detection | |
Chaudhari et al. | Deep learning super-resolution enables rapid simultaneous morphological and quantitative magnetic resonance imaging | |
Edgar et al. | Real-time computational photon-counting LiDAR | |
Torres et al. | Least-squares reverse time migration via deep learning-based updating operators | |
Song et al. | Comparison of multichannel signal deconvolution algorithms in airborne LiDAR bathymetry based on wavelet transform | |
O’donoughue et al. | Comparison of three full-field optical measurement techniques applied to vibration analysis | |
CN113466489A (zh) | 一种低粒子密度的单相机粒子图像测速方法 | |
Stapp et al. | Simulation of a Fourier telescopy imaging system for objects in low earth orbit | |
CN113298700A (zh) | 一种在散射场景中的高分辨图像重构方法 | |
US11892801B2 (en) | Systems and methods for simultaneous multi-channel off-axis holography | |
KR20190106570A (ko) | 라이트 필드 이미지의 깊이 추정 방법 및 장치 | |
Pellizzari et al. | Intensity interferometry experiments and simulations | |
Molnar et al. | Spectral deconvolution with deep learning: removing the effects of spectral PSF broadening | |
EP3582183B1 (en) | Deflectometric techniques | |
Sett et al. | Image-based searches for pulsar candidates using MWA VCS data | |
Min et al. | Grid-free localization algorithm using low-rank Hankel matrix for super-resolution microscopy | |
Xi et al. | Coincidence imaging for Jones matrix with a deep-learning approach | |
Zhu et al. | Synchronous locating and imaging behind scattering medium in a large depth based on deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |