CN113610732B - 基于交互对抗学习的全聚焦图像生成方法 - Google Patents
基于交互对抗学习的全聚焦图像生成方法 Download PDFInfo
- Publication number
- CN113610732B CN113610732B CN202110911218.2A CN202110911218A CN113610732B CN 113610732 B CN113610732 B CN 113610732B CN 202110911218 A CN202110911218 A CN 202110911218A CN 113610732 B CN113610732 B CN 113610732B
- Authority
- CN
- China
- Prior art keywords
- full
- unfocused
- focus image
- focus
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005429 filling process Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims 1
- 230000007704 transition Effects 0.000 abstract description 6
- 230000000295 complement effect Effects 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像信息处理技术领域,提供了一种基于交互对抗学习的全聚焦图像生成方法。本发明的全聚焦图像生成方法利用了交互对抗学习的方式,首先利用了非聚焦模糊检测任务与边缘检测任务的互补关系,更好地定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域;其次,目前常见的方法大多需要成对的非聚焦图像及其对应的全聚焦真值图像,而这种成对的图像难以获得。而本发明的方法不存在这个问题,仅利用不成对的全聚焦图像作参考,便可以实现具有全局一致性的、自然的全聚焦图像生成网络。
Description
技术领域
本发明属于图像信息处理技术领域,特别是涉及全聚焦图像生成的方法。
背景技术
目前,与本专利相关的方法包括两方面:第一是非聚焦模糊检测算法;第二是基于生成对抗的图像生成算法。
非聚焦模糊检测方法主要分为两类:基于人工设计的传统方法,这种大多通过人工设计提取特征的方式,通常会利用图像梯度、频率及其他特征来构造检测器,完成非聚焦模糊区域检测。Golestaneh等人在文献《Spatially-varying blur detection based onmultiscale fused and sorted transform coefficients of gradient magnitudes》中提出基于高频多尺度融合和梯度大小排序变换的空间变化模糊检测方法,在每个像素处进行局部计算,确定模糊水平,通过人工设计特征提取的方式,设定参数搭建模型,因此模型复杂度较低,但也存在难以提取深层特征、鲁棒性较差的问题;基于卷积神经网络的深度学习方法,在这些方法中,大多以源图像作为输入,以非聚焦区域检测真值作为监督,使用多尺度或者多级特征融合等信息获取最终的检测结果图。Park等人在文献《A unifiedapproach of multi-scale deep and hand-crafted features for defocus detection》中将基于人工设计提取的特征与卷积神经网络提取的特征进行了结合,在图像块级别上检测非聚焦模糊,其中卷积神经网络用于从图像块中提取高维特征,所有特征级联后用于构建非聚焦模糊特征向量,并输入到全连接的神经网络分类器中来确定非聚焦模糊程度。相比较传统检测方法而言,深度学习的方法能够利用卷积神经网络提取更深层次的特征,从而提高非聚焦模糊区域的检测效果。
基于生成对抗的图像生成算法大多通过生成对抗网络来完成图像风格的转换。Christian等人在文献《Photo-realistic single image super-resolution usingagenerative adversarialnetwork》中提出了一种用于图像超分辨率重建的生成对抗网络,通过鉴别器的对抗损失来使生成结果更加接近自然图像,通过内容损失来注重于视觉上的相似性而不是在像素空间上的相似性,从而提升图像生成算法的效果。
将生成过程分为两个阶段:对非聚焦模糊图进行估计;利用生成对抗网络生成全聚焦图像。主要思想是使用一个对抗损失与参考图像,迫使生成的图像是高质量的。这提供了一种利用生成对抗网络来克服成对图像依赖性的潜在解决方案。
针对非聚焦模糊检测阶段,定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域仍旧是两个具有挑战性的问题。对于全聚焦图像生成阶段,最大的难题是获取成对的聚焦与非聚焦图像,因此,如何利用不成对的聚焦与非聚焦图像来完成该任务是当前研究的焦点。
发明内容
针对非聚焦过渡区域边界定位问题和纹理信息较少的同质区域检测问题,提出了一种基于交互对抗的全聚焦图像生成方法。它可以适用于多样、复杂的非聚焦模糊场景,均可以得到较好的全聚焦图像。它通过镂空-填充的交互学习,优化检测结果中聚焦到非聚焦过渡区域的边界,减少同质区域的黑洞噪声,从而得到准确的非聚焦模糊检测图,进行后续全聚焦图像生成。
本发明的技术方案:
一种全聚焦图像生成方法,步骤如下:
分为非聚焦模糊检测和全聚焦图像生成两个阶段,其中非聚焦模糊检测采用镂空-填充交互学习的方式,改善模糊检测任务中聚焦到非聚焦过渡区域的边界检测,减少了聚焦区域中的黑洞噪声;全图像非聚焦区域检测是获得较好的全聚焦图像的前提,而不准确的检测结果会导致去模糊后的图像一致性差,利用这一特点,聚焦图像生成采用对抗学习的方式,将图像中检测到的非聚焦区域送入生成器做去模糊处理,再与聚焦区域进行组合,利用对抗学习与全聚焦图像尽可能的接近,这样在得到自然的全聚焦图像的同时,也约束了非聚焦模糊检测得到更加准确的检测结果。
在非聚焦模糊检测阶段,采用VGG16的前13层作为编码器,以双线性上采样结合卷积层作为解码器,从而构造基础网络来提取非聚焦特征,从而生成非聚焦模糊检测图;
E1-E5这5个卷积块和VGG16的前13层结构相同,由卷积层和池化层组成,是网络的特征编码器。E1的输入是一幅3×320×320的三通道RGB图像,E5的输出是512×20×20的特征。随后是D1-D4这4个解码块,每个解码块都是由两层卷积和双线性上采样层组成。对每个解码块的输出特征进行1×1的卷积降维和Sigmoid归一化,获得边缘或者区域检测结果再进行监督。考虑到区域监测的单任务中,网络提取的特征是偏区域的,边缘检测的任务中,网络提取的特征是偏边缘的。因此采用双支路交互的方式,交互方式如公式(1-1)所示,在两个支路网络中同时进行区域和边缘这两个任务,在中间过程进行双任务特征的镂空-填充交互,并在每一条支路的解码器中依次顺序重复镂空和填充的过程,对区域特征进行镂空能指导边缘特征的自身优化,对边缘特征进行填充有助于区域特征减少噪声。在各个阶段辅以监督,更新整体网络参数,从而提高网络提取特征的能力,提升非聚焦检测效果。
其中,Di_E和Di_R表示第i个边缘和区域的解码块,X表示解码块的输入特征,Y表示编码块的输出特征,表示特征图拼接,每一个检测结果都对应边缘或区域的监督。
得到模糊检测图后,进入全聚焦图像生成阶段,以12个卷积层作为生成器,以7个卷积层结合全局平均池化作为鉴别器,从而构造生成对抗网络来生成全聚焦图像,生成过程如公式(1-2)所示。
其中,表示第i个区域解码块所输出的非聚焦模糊检测图像,Gi(·)表示第i个全聚焦图像生成器,Ii表示其输出的全聚焦图像。
在网络训练阶段,为减小输出异常值的影响,非聚焦模糊区域检测结果使用的是均方差(MSE)损失函数:
其中,gdk表示非聚焦模糊检测图中第k个像素对应的真值,ydk表示其预测值,N表示图像中像素总个数。
非聚焦模糊边缘检测结果使用的是二分类交叉熵(BCE)损失函数:
其中,gek表示非聚焦模糊边缘检测图中第k个像素对应的真值,yek表示其预测值,N表示图像中像素总个数。
全聚焦图像生成结果使用的是生成对抗(GAN)损失函数:
其中,Di(·)表示鉴别器,Gi(·)表示全聚焦图像生成器,zc为全聚焦图像样本,Zc为全聚焦图像集合,其中zc∈Zc。zs为生成器输出的全聚焦图像样本,Zs为生成器输出的全聚焦图像集合,其中zs∈Zs。表示取整个样本集合的平均值。
最终网络总的损失函数为:
其中λ1、λ2、λ3用于平衡三种损失。
本发明的有益效果:本发明的全聚焦图像生成方法利用了交互对抗学习的方式,首先利用了非聚焦模糊检测任务与边缘检测任务的互补关系,更好地定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域;其次,目前常见的方法大多需要成对的非聚焦图像及其对应的全聚焦真值图像,而这种成对的图像难以获得。而本发明的方法不存在这个问题,仅利用不成对的全聚焦图像作参考,便可以实现具有全局一致性的、自然的全聚焦图像生成网络。
附图说明
图1为全聚焦图像生成网络整体的训练方法流程图。
图2为全聚焦图像生成网络的整体网络结构示意图。
图3为生成器网络的具体结构示意图。
图4为鉴别器网络的具体结构示意图。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
图一为全聚焦图像生成网络整体的训练方法流程图,首先搭建非聚焦模糊检测网络,得到中间输出,即非聚焦模糊检测图,然后将其同输入图像一同输入到全聚焦图像生成网络中,得到全聚焦图像,利用式(1-6)作为损失函数进行监督,当生成器与鉴别器达到最终的动态平衡点时,结束本模型的训练。经过这一过程,我们可以得到一个性能良好的全聚焦图像生成器。
总的来说,本方法设计了一种基于交互对抗学习的全聚焦图像生成方法,可以有效的完成具有全局一致性的、自然的全聚焦图像生成过程。
Claims (1)
1.一种基于交互对抗学习的全聚焦图像生成方法,其特征在于,步骤如下:
该基于交互对抗学习的全聚焦图像生成方法分为非聚焦模糊检测和全聚焦图像生成两个阶段;
第一阶段,非聚焦模糊检测采用镂空-填充交互学习的方式
在非聚焦模糊检测阶段,采用VGG16的前13层作为编码器,以双线性上采样结合卷积层作为解码器,构造基础网络来提取非聚焦特征,从而生成非聚焦模糊检测图;
E1-E5这5个卷积块和VGG16的前13层结构相同,由卷积层和池化层组成,是网络的特征编码器;E1的输入是一幅3×320×320的三通道RGB图像,E5的输出是512×20×20的特征;D1-D4这4个解码块,每个解码块都是由两层卷积和双线性上采样层组成;对每个解码块的输出特征进行1×1的卷积降维和Sigmoid归一化,获得边缘或区域检测结果再进行监督;考虑到区域监测的单任务中,网络提取的特征是偏区域的,边缘检测的任务中,网络提取的特征是偏边缘的;因此采用双支路交互的方式,交互方式如公式(1-1)所示,在两个支路网络中同时进行区域和边缘这两个任务,在中间过程进行双任务特征的镂空-填充交互,并在每一条支路的解码器中依次顺序重复镂空和填充的过程,对区域特征进行镂空能指导边缘特征的自身优化,对边缘特征进行填充有助于区域特征减少噪声;在各个阶段辅以监督,更新整体网络参数,从而提高网络提取特征的能力,提升非聚焦检测效果;
其中,Di_E和Di_R分别表示第i个边缘和区域的解码块,X表示解码块的输入特征,Y表示编码块的输出特征,表示特征图拼接,每一个检测结果都对应边缘或区域的监督;
第二阶段,全聚焦图像生成采用对抗学习的方式
得到模糊检测图后,进入全聚焦图像生成阶段,以12个卷积层作为生成器,以7个卷积层结合全局平均池化作为鉴别器,从而构造生成对抗网络来生成全聚焦图像,生成过程如公式(1-2)所示:
其中,表示第i个区域解码块所输出的非聚焦模糊检测图像,Gi(·)表示第i个全聚焦图像生成器,Ii表示其输出的全聚焦图像;
在网络训练阶段,为减小输出异常值的影响,非聚焦模糊区域检测结果使用的是均方差损失函数:
其中,gdk表示非聚焦模糊检测图中第k个像素对应的真值,ydk表示其预测值,N表示图像中像素总个数;
非聚焦模糊边缘检测结果使用的是二分类交叉熵损失函数:
其中,gek表示非聚焦模糊边缘检测图中第k个像素对应的真值,yek表示其预测值,N表示图像中像素总个数;
全聚焦图像生成结果使用的是生成对抗损失函数:
其中,Di(·)表示鉴别器,Gi(·)表示全聚焦图像生成器,zc为全聚焦图像样本,Zc为全聚焦图像集合,其中zc∈Zc;zs为生成器输出的全聚焦图像样本,Zs为生成器输出的全聚焦图像集合,其中zs∈Zs;表示取整个样本集合的平均值;
最终网络总的损失函数为:
其中,λ1、λ2、λ3用于平衡三种损失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911218.2A CN113610732B (zh) | 2021-08-10 | 2021-08-10 | 基于交互对抗学习的全聚焦图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911218.2A CN113610732B (zh) | 2021-08-10 | 2021-08-10 | 基于交互对抗学习的全聚焦图像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610732A CN113610732A (zh) | 2021-11-05 |
CN113610732B true CN113610732B (zh) | 2024-02-09 |
Family
ID=78307846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110911218.2A Active CN113610732B (zh) | 2021-08-10 | 2021-08-10 | 基于交互对抗学习的全聚焦图像生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610732B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092520B (zh) * | 2021-11-19 | 2023-12-26 | 电子科技大学长三角研究院(湖州) | 基于生成对抗网络的地面运动目标重聚焦方法及系统 |
CN115439871A (zh) * | 2022-09-13 | 2022-12-06 | 北京航星永志科技有限公司 | 档案自动化采集方法、装置和电子设备 |
CN117237235B (zh) * | 2023-11-13 | 2024-02-02 | 大连理工大学 | 图像散焦检测攻击的去模糊方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533623A (zh) * | 2019-09-06 | 2019-12-03 | 兰州交通大学 | 一种基于监督学习的全卷积神经网络多聚焦图像融合方法 |
CN111223057A (zh) * | 2019-12-16 | 2020-06-02 | 杭州电子科技大学 | 基于生成对抗网络的增量式聚焦的图像到图像转换方法 |
CN112215788A (zh) * | 2020-09-15 | 2021-01-12 | 湖北工业大学 | 基于改进生成对抗网络的多聚焦图像融合算法 |
CN113034404A (zh) * | 2021-04-20 | 2021-06-25 | 北京大学深圳研究生院 | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 |
-
2021
- 2021-08-10 CN CN202110911218.2A patent/CN113610732B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533623A (zh) * | 2019-09-06 | 2019-12-03 | 兰州交通大学 | 一种基于监督学习的全卷积神经网络多聚焦图像融合方法 |
CN111223057A (zh) * | 2019-12-16 | 2020-06-02 | 杭州电子科技大学 | 基于生成对抗网络的增量式聚焦的图像到图像转换方法 |
CN112215788A (zh) * | 2020-09-15 | 2021-01-12 | 湖北工业大学 | 基于改进生成对抗网络的多聚焦图像融合算法 |
CN113034404A (zh) * | 2021-04-20 | 2021-06-25 | 北京大学深圳研究生院 | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于监督学习的全卷积神经网络多聚焦图像融合算法;李恒;张黎明;蒋美容;李玉龙;;激光与光电子学进展(08);145-152 * |
Also Published As
Publication number | Publication date |
---|---|
CN113610732A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113610732B (zh) | 基于交互对抗学习的全聚焦图像生成方法 | |
Wang et al. | Esrgan: Enhanced super-resolution generative adversarial networks | |
Meng et al. | Single-image dehazing based on two-stream convolutional neural network | |
CN111242238B (zh) | 一种rgb-d图像显著性目标获取的方法 | |
Wang et al. | Domain adaptation for underwater image enhancement | |
CN113283444B (zh) | 一种基于生成对抗网络的异源图像迁移方法 | |
CN113205096B (zh) | 一种基于注意力的联合图像与特征自适应的语义分割方法 | |
CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
CN112381716B (zh) | 一种基于生成式对抗网络的图像增强方法 | |
CN113191969A (zh) | 一种基于注意力对抗生成网络的无监督图像除雨方法 | |
CN113870124B (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
CN113222875B (zh) | 一种基于色彩恒常性的图像和谐化合成方法 | |
Yue et al. | IENet: Internal and external patch matching ConvNet for web image guided denoising | |
CN113762277B (zh) | 一种基于Cascade-GAN的多波段红外图像融合方法 | |
CN116012255A (zh) | 一种基于循环一致性生成对抗网络的低光图像增强方法 | |
Zhao et al. | Detecting deepfake video by learning two-level features with two-stream convolutional neural network | |
Feng et al. | U²-Former: Nested U-Shaped Transformer for Image Restoration via Multi-View Contrastive Learning | |
CN115146763A (zh) | 一种非配对图像阴影去除方法 | |
CN114639002A (zh) | 一种基于多模式特征的红外与可见光图像融合方法 | |
Yin et al. | Multiscale depth fusion with contextual hybrid enhancement network for image dehazing | |
CN112686913B (zh) | 基于边界注意力一致性的目标边界检测和目标分割模型 | |
Zhang et al. | A parallel and serial denoising network | |
CN114359626A (zh) | 基于条件生成对抗网络的可见光-热红外显著目标检测方法 | |
CN116523794A (zh) | 一种基于卷积神经网络的低光照图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |