CN113706395A - 一种基于对抗神经网络的图像去雾方法 - Google Patents
一种基于对抗神经网络的图像去雾方法 Download PDFInfo
- Publication number
- CN113706395A CN113706395A CN202010433635.6A CN202010433635A CN113706395A CN 113706395 A CN113706395 A CN 113706395A CN 202010433635 A CN202010433635 A CN 202010433635A CN 113706395 A CN113706395 A CN 113706395A
- Authority
- CN
- China
- Prior art keywords
- network
- model
- image
- defogging
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 230000003042 antagnostic effect Effects 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 title abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013142 basic testing Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于对抗神经网络的图像去雾系统,包括包括以下步骤:步骤S1:选取RGBD的图像数据集,采用大气散射模型制作去雾数据集;步骤S2:将数据集中图片大小规范化到a*a;步骤S3:搭建对抗神经网络去雾模型,该模型分为两个部分:生成网络和判别网络;步骤S4:使用数据集训练该对抗神经网络模型;步骤S5:保存训练好的模型,输入一幅有雾图像,得出清晰图像。本发明不需要手工提取特征,有效避免中间变量预测误差,实现端到端去雾,且方法简单且适用性广。
Description
技术领域
本发明主要涉及图像处理领域,尤其涉及一种基于对抗神经网络的图像去雾系统。
背景技术
雾霾天气下,空气中存在大量诸如水蒸气、粉尘等悬浮颗粒。它们吸收并散射光线,致使设备采集的图片出现严重颜色衰减,清晰度、对比度下降,视觉效果差,这对后续计算机视觉任务造成严重影响。因此,对雾霾图像有效去雾是很有必要的。
近年来,图像去雾算法研究取得了重大进展。现阶段,图像去雾研究主要分成两种,基于特征和先验的方法以及基于学习的方法。基于特征和先验的去雾算法侧重对透射图的估计,其难点在于特征和先验的选择。基于学习的去雾算法可以分为两种,分步学习算法和端到端的学习算法。分步学习算法与传统方法类似,侧重对中间变量的预测。而端到端的学习方法端到端图像去雾算法避开传统大气散射理论,通过搭建全卷积神经网络模型,实现图像去雾。
事实上,上述方法均存在缺陷,基于特征和先验的方法和分步学习的算法预测中间变量时会存在误差,在根据大气散射模型进行公式计算时,误差依旧存在。而端到端的去雾方法,可以避免这些缺陷,但存在模型无法解释和网络训练困难的问题。因此,如何提高中间变量预测的准确率,降低相应的公式计算误差,无疑成为去雾问题的关键。
发明内容
针对现有技术的上述缺陷,本发明提供一种基于对抗神经网络的图像去雾系统,包括如下步骤:
步骤S1:选取RGBD(带景深)的图像数据集,根据大气散射模型制作数据集;在实验中,选取NYU Depth Dataset V2带场景深度的图像数据集,并且利用大气散射模型合成雾天图像数据集。
步骤S2:将数据集中图片大小规范化到256*256;
步骤S3:搭建对抗神经网络去雾模型,该模型分为两个部分:生成网络和判别网络;这里生成网络为专门设计的去雾网络;
生成网络模型包括多尺度特征提取模块、中间变量大气光值预测模块、中间变量透射图预测模块以及公式计算模块4个部分构成。
多尺度特征提取模块:采用InceptionV1模型,本发明中采用1*1,3*3,5*5 和7*7大小的卷积核进行多尺度特征提取;
中间变量大气光值预测模块:本发明中采用的使用Sequeeze-and-Excitation(SE)Block网络结构来估计全局大气光值,其主要操作包括:全局平均池化 (GlobalAverage pooling,GAP),全连接操作(FC),ReLu激活函数,如公式(1),全连接操作,Sigmoid激活函数如公式(2),resize操作。
式中,x代表任意位置的特征值。
中间变量透射图预测模块:该模块为全卷积神经网络模块,具体结构可以根据实际任务的复杂程度而定。本次发明采用的是多尺度的全卷积DenseNet (FC-DenseNet),其主要包括编码(encoder)和解码(decoder)两个部分。编码部分由4个Denselayer组成。其中,每个Denselayer包含Dense Block(DB) 及相应池化模块的Transition Down(TD);解码部分同样由4个Denselayer组成,这里Denselayer包含Dense Block(DB)及相应池化模块的Transition Up(TU)。在该模块的最后使用通道数为1,激活函数为双曲正切(hyperbolictangent,tanh) 函数公式(3)的卷积层作为输出层。
一个DB包含4层layer层,每个layer层包含批标准化(BN)层,修正线性单元(Relu)层,卷积(Conv)层,通道数为16;TD包含了BN层、Relu层、通道数为64的Conv层以及最大池化层;TU为上采样层操作。
式中,x代表任意位置的特征值。
公式计算模块:本发明利用大气散射模型计算出无雾图像作为整个生成网络的输出。大气散射模型的公式如下式(4):
I(x)=J(x)t(x)+A(x)(1-t(x)) (4) 式中,I(x)为有雾图像,J(x)为无雾图像,A(x)是大气光值,t(x)为透射图,表示光线通过大气媒介传播到达成像设备过程中没有被散射的部分,x代表像素位置。当大气同质,即A(x)均匀时,透射图表示为t(x)=e-βd(x),其中,β表示大气的衰减系数,d(x)是指场景深度。
损失函数:本发明模型是在WGAN的基础上搭建出来的。原始WGAN的损失函数如下式(5)
这里,D是满足Lipschitz连续的非线性函数集,Pg为生成数据分布,Pr为真实数据分布,在使用Wasserstein距离优化方式训练WGAN时,判别网络D需要满足 Lipschitz连续性,即判别值近似于K·W(Pr,Pg),其中K作为Lipschitz常数,代表判别网络梯度值的上界,而W(Pr,Pg)为Wasserstein距离,在网络训练时,通过将判别网络权值限制为[-c,c]的方式,确保权值参数的有界性,进而间接限制其梯度信息。
这里重新定义了损失函数,如下式(6):
l=lGAN+λ·lcontent (6)
其中,λ置为100。lcontent为生成网络模型的损失函数,lGAN为对抗损失。lcontent具体公式如下式(7):
这里,是生成网络预测的去雾结果,为有雾图像对应的标签。lg表示生成图像的内容损失,其中包含均方误差损失和感知损失两个部分。通道数N为3,F 为感知损失中特征提取网络,这里使用的是VGG特征提取网络,C为提取特征的通道数,W×H为图像或特征的维度大小。而lGAN为对抗损失,其计算公式如下式(8):
其中,Pg为生成清晰图像的数据分布,D(x)为判别器的输出。
表1网络结构详细参数
步骤S4:将制作好的数据集输入到对抗神经网络模型进行训练。模型参数初始化设置如下:在网络训练阶段,每层卷积核初始化为高斯分布,偏置初始化为0,学习率初始化为0.0001,模型训练采用小批量训练的方式,batch-size为2。本发明使用Keras深度学习架构,采用RMSprop算法优化模型参数,训练次数为 100。实验机器为带有Nvidia GTX1080GPU的计算机。
步骤S5:保存训练好的模型,输入一幅有雾图像,得出清晰图像。
本发明的优点是:本发明不需要手工提取特征,有效避免中间变量预测的误差,可以实现端到端去雾,且方法简单且适用性广。
附图说明
图1是本实用新型的结构框图;
图2是本实用新型的流程图;
图3是本实用新型的网络结构图;
图4是本实施例中对合成数据集的去雾效果对比图;
图5是本实施例中对真实场景图的去雾效果对比图。
具体实施方式
下面结合附图和实施例进一步对本发明加以说明。
如图1-2所示:一种基于对抗神经网络的图像去雾方法,其关键在于按如下步骤进行:
步骤S1:选取RGBD(带景深)的图像数据集,根据大气散射模型制作数据集;在实验中,选取NYU Depth Dataset V2带场景深度的图像数据集,并且利用大气散射模型合成雾天图像数据集。
步骤S2:将数据集中图片大小规范化到256*256;
步骤S3:搭建对抗神经网络去雾模型,该模型分为两个部分:生成网络和判别网络;这里生成网络为专门设计的去雾网络,网络结构如图2所示;
生成网络模型包括多尺度特征提取模块、中间变量大气光值预测模块、中间变量透射图预测模块以及公式计算模块4个部分构成。
多尺度特征提取模块:采用InceptionV1模型,本发明中采用1*1,3*3,5*5 和7*7大小的卷积核进行多尺度特征提取;
中间变量大气光值预测模块:本发明中采用的使用Sequeeze-and-Excitation(SE)Block网络结构来估计全局大气光值,其主要操作包括:全局平均池化 (GlobalAverage pooling,GAP),全连接操作(FC),ReLu激活函数,如公式(1),全连接操作,Sigmoid激活函数如公式(2),resize操作。
式中,x代表任意位置的特征值。
中间变量透射图预测模块:该模块为全卷积神经网络模块,具体结构可以根据实际任务的复杂程度而定。本次发明采用的是多尺度的全卷积DenseNet (FC-DenseNet),其主要包括编码(encoder)和解码(decoder)两个部分。编码部分由4个Denselayer组成。其中,每个Denselayer包含Dense Block(DB) 及相应池化模块的Transition Down(TD);解码部分同样由4个Denselayer组成,这里Denselayer包含Dense Block(DB)及相应池化模块的Transition Up(TU)。在该模块的最后使用通道数为1,激活函数为双曲正切(hyperbolictangent,tanh) 函数公式(3)的卷积层作为输出层。
一个DB包含4层layer层,每个layer层包含批标准化(BN)层,修正线性单元(Relu)层,卷积(Conv)层,通道数为16;TD包含了BN层、Relu层、通道数为64的Conv层以及最大池化层;TU为上采样层操作。
式中,x代表任意位置的特征值。
公式计算模块:本发明利用大气散射模型计算出无雾图像作为整个生成网络的输出。大气散射模型的公式如下式(4):
I(x)=J(x)t(x)+A(x)(1-t(x)) (4)
式中,I(x)为有雾图像,J(x)为无雾图像,A(x)是大气光值,t(x)为透射图,表示光线通过大气媒介传播到达成像设备过程中没有被散射的部分,x代表像素位置。当大气同质,即A(x)均匀时,透射图表示为t(x)=e-βd(x),其中,β表示大气的衰减系数,d(x)是指场景深度。
损失函数:本发明模型是在WGAN的基础上搭建出来的。原始WGAN的损失函数如下式(5)
这里,D是满足Lipschitz连续的非线性函数集,Pg为生成数据分布,Pr为真实数据分布,在使用Wasserstein距离优化方式训练WGAN时,判别网络D需要满足 Lipschitz连续性,即判别值近似于K·W(Pr,Pg),其中K作为Lipschitz常数,代表判别网络梯度值的上界,而W(Pr,Pg)为Wasserstein距离,在网络训练时,通过将判别网络权值限制为[-c,c]的方式,确保权值参数的有界性,进而间接限制其梯度信息。
这里重新定义了损失函数,如下式(6):
l=lGAN+λ·lcontent (6) 其中,λ置为100。lcontent为生成网络模型的损失函数,lGAN为对抗损失。lcontent具体公式如下式(7):
这里,是生成网络预测的去雾结果,为有雾图像对应的标签。lg表示生成图像的内容损失,其中包含均方误差损失和感知损失两个部分。通道数N为3,F 为感知损失中特征提取网络,这里使用的是VGG特征提取网络,C为提取特征的通道数,W×H为图像或特征的维度大小。而lGAN为对抗损失,其计算公式如下式(8):
其中,Pg为生成清晰图像的数据分布,D(x)为判别器的输出。
表1网络结构详细参数
步骤S4:将制作好的数据集输入到对抗神经网络模型进行训练。模型参数初始化设置如下:在网络训练阶段,每层卷积核初始化为高斯分布,偏置初始化为0,学习率初始化为0.0001,模型训练采用小批量训练的方式,batch-size为2。本发明使用Keras深度学习架构,采用RMSprop算法优化模型参数,训练次数为 100。实验机器为带有Nvidia GTX1080GPU的计算机。
步骤S5:保存训练好的模型,输入一幅有雾图像,得出清晰图像。
本发明采用NYU Depth Dataset V2作为基础数据集,该数据集包含1449张 640*480的室内彩色图像及其场景深度图。本文选取其中1200张图片作为基础训练数据集,选取其余200张图片作为基础测试数据集。针对每一张图片,随机生成4组大气光值α和大气衰减系数β,其中,α∈[0.7,1],β∈[0.6,1.6],然后根据大气散射模型公式计算出4组透射图和合成有雾图像。本文共生成4800张有雾图像及其透射图作为训练集,生成800张有雾图像作为合成图像测试集。为验证本文模型的泛化能力,本发明收集了100张真实场景图片作为真实场景测试集。其数据表现形式如下表所示。具体的去雾效果图见实施例1和2。
表2合成图像测试集上该模型的表现
Claims (5)
1.一种基于对抗神经网络的图像去雾系统,其特征在于,包括以下步骤:
步骤S1:选取RGBD的图像数据集,采用大气散射模型制作去雾数据集;
步骤S2:将数据集中图片大小规范化到a*a;
步骤S3:搭建对抗神经网络去雾模型,该模型分为两个部分:生成网络和判别网络;
步骤S4:使用数据集训练该对抗神经网络模型;
步骤S5:保存训练好的模型,输入一幅有雾图像,得出清晰图像。
2.根据权利要求1所述的基于对抗神经网络的图像去雾系统,其特征在于:所述步骤S2中图像大小a为256*256。
3.根据权利要求2所述的基于对抗神经网络的图像去雾系统,其特征在于:所述步骤S3中生成网络包括以下工序:
S3.1:对图像进行多尺度特征提取;
S3.2:使用全卷积神经网络预测中间变量,获取透射图;
S3.3:使用Sequeeze-and-Excitation Block网络结构来预测中间变量,获取大气光值;
S3.4:利用大气散射模型的公式计算得到相应的无雾图像。
4.根据权利要求3所述的基于对抗神经网络的图像去雾系统,其特征在于:所述步骤S3中判别网络采用二分类卷积神经网络,使用Wasserstein Generative AdversarialNetworks框架判别网络最后一层并没有使用Sigmoid激活函数,同时判别网络的参数限制在[-0.01,0.01]范围内。
5.根据权利要求1所述的基于对抗神经网络的图像去雾系统,其特征在于:所述步骤S4中,对抗神经网络模型参数初始化设置如下:在网络训练阶段,每层卷积核初始化为高斯分布,偏置初始化为0,学习率初始化为0.0001,模型训练采用小批量训练的方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010433635.6A CN113706395A (zh) | 2020-05-21 | 2020-05-21 | 一种基于对抗神经网络的图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010433635.6A CN113706395A (zh) | 2020-05-21 | 2020-05-21 | 一种基于对抗神经网络的图像去雾方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113706395A true CN113706395A (zh) | 2021-11-26 |
Family
ID=78645769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010433635.6A Pending CN113706395A (zh) | 2020-05-21 | 2020-05-21 | 一种基于对抗神经网络的图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706395A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
CN110322419A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种遥感图像去雾方法及系统 |
CN110992275A (zh) * | 2019-11-18 | 2020-04-10 | 天津大学 | 一种基于生成对抗网络的细化单幅图像去雨方法 |
-
2020
- 2020-05-21 CN CN202010433635.6A patent/CN113706395A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
CN110322419A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种遥感图像去雾方法及系统 |
CN110992275A (zh) * | 2019-11-18 | 2020-04-10 | 天津大学 | 一种基于生成对抗网络的细化单幅图像去雨方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539887B (zh) | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 | |
CN111753698B (zh) | 一种多模态三维点云分割系统和方法 | |
CN104299192B (zh) | 一种基于大气光散射物理模型的单幅图像去雾方法 | |
CN110349093B (zh) | 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法 | |
CN105354806A (zh) | 基于暗通道的快速去雾方法及系统 | |
CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
CN111597920B (zh) | 一种自然场景下的全卷积单阶段的人体实例分割方法 | |
CN110675340A (zh) | 一种基于改进的非局部先验的单幅图像去雾方法及介质 | |
CN110517270B (zh) | 一种基于超像素深度网络的室内场景语义分割方法 | |
CN103971340A (zh) | 一种高位宽数字图像动态范围压缩和细节增强方法 | |
CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
CN110766640B (zh) | 一种基于深度语义分割的图像去雾方法 | |
CN107093173A (zh) | 一种图像雾霾浓度的估计方法 | |
CN113744146A (zh) | 一种基于对比学习和知识蒸馏的图像去雾方法 | |
CN114897781A (zh) | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 | |
CN105023246B (zh) | 一种基于对比度和结构相似度的图像增强方法 | |
Singh et al. | Visibility enhancement and dehazing: Research contribution challenges and direction | |
CN115937019A (zh) | 一种lsd二次分割和深度学习相结合的不均匀去雾方法 | |
CN113870145A (zh) | 基于贝叶斯框架下深度卷积神经网络的图像去雾方法 | |
CN112907461B (zh) | 一种红外雾天降质图像去雾增强方法 | |
CN116452450A (zh) | 一种基于3d卷积的偏振图像去雾方法 | |
Jin et al. | Reliable image dehazing by NeRF | |
CN113706395A (zh) | 一种基于对抗神经网络的图像去雾方法 | |
Hartanto et al. | Single image dehazing using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211126 |
|
RJ01 | Rejection of invention patent application after publication |