CN112102184A - 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 - Google Patents
基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 Download PDFInfo
- Publication number
- CN112102184A CN112102184A CN202010923783.6A CN202010923783A CN112102184A CN 112102184 A CN112102184 A CN 112102184A CN 202010923783 A CN202010923783 A CN 202010923783A CN 112102184 A CN112102184 A CN 112102184A
- Authority
- CN
- China
- Prior art keywords
- scale
- image
- block
- convolution
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 17
- 238000011084 recovery Methods 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于数字图像处理领域，涉及一种基于Scale‑Encoder‑Decoder‑Net的图像去模糊方法。该方法利用Scale‑Encoder‑Decoder‑Net网络实现模糊图像复原,目的在于解决现存深度学习去模糊算法存在的复原时间长、图像细节恢复效果较差等问题。本发明提出了Scale‑Encoder‑Decoder‑Net网络，旨在解决现有深度学习去模糊算法存在的缺点,通过对比现有最优算法，本发明在复原时间上提升了0.12s，在复原图像性能上平均提升了0.8dB。
Description
技术领域
本发明属于数字图像处理领域，涉及一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法。
背景技术
在智能手机、相机等摄影设备广泛普及的今天，拍照成为人们定格瞬间、记录生活的重要方式。当手持拍摄时，无论是使用手机、卡片机，还是专业单反相机，都很容易由于相机的抖动而产生不同程度的模糊，模糊在一定意义上严重影响图像的成像质量，带来糟糕的视觉观感。
图像去模糊技术是图像和视频处理中图像预处理的重要技术。在模糊程度高的数据上，人脸识别、车牌识别、车辆识别、行人检测等人工智能算法的准确性会有显著下降。如果能够先用图像去模糊技术复原出相应的清晰图像，再将清晰图像作为上述人工智能算法的输入，算法输出结果的准确性会大大提高。同时图像去模糊技术也影响着图像的编码性能。因此，研究一种高效的图像去模糊算法具有很大的价值。
文献1-2介绍了图像去模糊技术，深度学习去模糊算法；文献1：Nah S,Kim T H,Lee K M.Deep multi-scale convolutional neural network for dynamic scenedeblurring[C]//CVPR.2017,1(2):3。文献2：Kupyn O,Budzan V,Mykhailych M,etal.DeblurGAN:Blind Motion Deblurring Using Conditional Adversarial Networks[J].arXiv preprint arXiv:1711.07064,2017。
一般来说，图像去模糊算法可以分为基于数字图像处理领域的传统去模糊算法和基于深度学习的去模糊算法。传统算法以卷积模型为模糊原因，将相机抖动产生模糊图像视为模糊核对清晰图像卷积的过程。在模糊核未知的情况下还原清晰图像，这一问题称为不适定(ill-posed)问题，或者称为逆问题(Inverse Problem)。所以通常需要先对模糊核进行估计，再利用估计的模糊核进行反卷积操作得到复原图像。基于深度学习的去模糊算法则利用深层网络结构获取图像的深层特征信息，从而实现模糊图像的复原。深度学习去模糊算法可以实现模糊核估计和非盲反卷积两个操作来进行图像复原，同时也可以采用端到端(End-to-End)的方式进行盲去模糊，从而实现模糊图像的复原。本专利旨在解决去模糊算法存在的缺点：
1)复原时间长
2)图像细节恢复效果较差。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，旨在解决现有深度学习去模糊算法存在的缺点,通过对比现有最优算法，本发明在时间复杂度上提升了0.12s，在复原图像性能上平均提升了0.8dB。
技术方案
一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，其特征在于：Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；每一尺度网络包括1个输入块、2个编码块、1个解码块和一个输出块；采用损失函数
训练网络，其中，Ii和
代表第i尺度的清晰图像和复原图像，Ni代表第i尺度的图像像素个数：去模糊步骤如下：
步骤1：以第n尺度的模糊图像作为输入，通过卷积核尺寸为5x5，卷积核个数为32、步长为1的卷积层输出浅层特征；
步骤2：卷积层输出的浅层特征通过3个残差块得到输入块的深度特征；
步骤3：将输入块输出的深度特征通过卷积核尺寸为5x5，卷积核个数为64、步长为2的卷积层下采样为编码块1的浅层特征；
步骤4：编码块1的浅层特征通过3个残差块得到编码块1的深层特征；将编码块1输出的深度特征通过卷积核尺寸为5x5，卷积核个数为128、步长为2的卷积层下采样为编码块2的浅层特征；
步骤5：编码块2的浅层特征通过3个残差块得到编码块2的深层特征；编码块2的深层特征通过解码块1的3个残差块，获得基本特征，并经过解码块1的卷积核尺寸为4x4，卷积核个数为64、步长为2的卷积层上采样且降维，得到解码块1的降维特征；
步骤6：解码块1的降维特征和编码块1的深层特征共同作为解码块2的输入，通过解码块2的3个残差块，进一步压缩特征，并经过解码块2的卷积核尺寸为4x4，卷积核个数为32、步长为2的卷积层上采样且降维，得到解码块2的降维特征；
步骤7：解码块2的降维特征和编码块2的深层特征共同作为输出块的输入，通过输出块的3个残差块，并经过输出块的卷积核尺寸为5x5，卷积核个数为3、步长为1的卷积层输出该尺度的复原图像；
步骤8：第n层尺度的复原图像经过上采样，与第n-1层尺度的模糊图像共同作为第n-1层尺度的输入，并重复步骤1-9，直到尺度n为1为止；
步骤10：尺度为1时，复原图像为Scale-Encoder-Decoder-Net网络最终复原图像。
所述第n尺度图像尺寸为第n+1尺度图像尺寸的两倍，第1尺度图像尺寸最大，为原始模糊图像的大小。
有益效果
本发明提出的一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，采用Scale-Encoder-Decoder-Net网络作为图像去模糊的复原网络与现有技术相比有如下技术效果：
1.复原时间短
传统的图像去模糊方法需要经过模糊核的估计和根据估计的模糊核反卷积复原两个过程，因此单帧图像去模糊的算法运行时间缓慢。基于Scale-Encoder-Decoder-Net网络的图像去模糊算法采用盲去模糊和端到端的方式，减少了算法的复原时间。
2.图像细节恢复效果好
对比传统方法，传统方法中图像去模糊的效果严重依赖估计的模糊核，若模糊核估计的不准确，图像细节恢复效果则会很差。基于Scale-Encoder-Decoder-Net网络的图像去模糊算法通过连接Encoder编码和Decoder解码，实现了不同层次特征的连接，从而带来了很好的图像细节恢复效果。
附图说明
图1为本发明的图像去模糊机制；
图2为本发明的Scale-Encoder-Decoder-Net网络结构；
图3a-d为本发明与其他算法的复原效果对比；
图3a：模糊图像；
图3b：Nah等人的复原效果；
图3c：Kupyn等人的复原效果；
图3d：Scale-Encoder-Decoder-Net的复原效果。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明采用Scale-Encoder-Decoder-Net网络实现图像去模糊，Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；不同的Scale尺度之间图像大小不同，尺度较大可实现复原模糊图像的全局信息，尺度较小可实现复原模糊图像的局部信息；Encoder编码用于提取模糊图像的深层特征并减少图像尺寸；Decoder解码用于将提取到的模糊图像深层特征复原为复原图像，同时恢复图像尺寸。Scale-Encoder-Decoder-Net的每一尺度网络包括1个输入块、2个编码块、1个解码块和一个输出块。
步骤如下：
1)第n尺度的模糊图像作为输入，通过卷积核尺寸为5x5，卷积核个数为32、步长为1的卷积层输出浅层特征；
2)卷积层输出的浅层特征通过3个残差块得到输入块的深度特征；
3)将输入块输出的深度特征通过卷积核尺寸为5x5，卷积核个数为64、步长为2的卷积层下采样为编码块1的浅层特征；
4)编码块1的浅层特征通过3个残差块得到编码块1的深层特征；
5)将编码块1输出的深度特征通过卷积核尺寸为5x5，卷积核个数为128、步长为2的卷积层下采样为编码块2的浅层特征；
6)编码块2的浅层特征通过3个残差块得到编码块2的深层特征；
7)编码块2的深层特征通过解码块1的3个残差块，获得基本特征，并经过解码块1的卷积核尺寸为4x4，卷积核个数为64、步长为2的卷积层上采样且降维，得到解码块1的降维特征；
8)解码块1的降维特征和编码块1的深层特征共同作为解码块2的输入，通过解码块2的3个残差块，进一步压缩特征，并经过解码块2的卷积核尺寸为4x4，卷积核个数为32、步长为2的卷积层上采样且降维，得到解码块2的降维特征；
9)解码块2的降维特征和编码块2的深层特征共同作为输出块的输入，通过输出块的3个残差块，并经过输出块的卷积核尺寸为5x5，卷积核个数为3、步长为1的卷积层输出该尺度的复原图像；
10)第n层尺度的复原图像经过上采样，与第n-1层尺度的模糊图像共同作为第n-1层尺度的输入，并重复步骤1)-9)；
11)尺度为1时，复原图像为Scale-Encoder-Decoder-Net网络最终复原图像；
步骤10)按照规定的尺度数n为4，重复步骤1)-9)，直到尺度n为1为止。
第n尺度图像尺寸为第n+1尺度图像尺寸的两倍，第1尺度图像尺寸最大，为原始模糊图像的大小。
具体实施方式：
图1为本发明的图像去模糊机制。其中，不同尺度的模糊图像经过不同尺度层的Scale-Encoder-Decoder-Net网络复原为不同尺度的去模糊图像，高尺度复原全局特征信息，低尺度复原局部特征信息。
本发明实施例的具体步骤如下：
(1)设计Scale-Encoder-Decoder-Net网络，原理如图2所示。模糊图像通过Scale-Encoder-Decoder-Net网络得到去模糊图像。
(2)采用如下的损失函数训练网络，
其中，L代表多尺度的总损失函数，Ii和
代表第i尺度的清晰图像和复原图像，Ni代表第i尺度的图像像素个数。最终计算各个尺度的复原图像和清晰图像之间的损失，以最小化各个尺度的损失和为目的，训练整个网络。
整个Scale-Encoder-Decoder-Net网络训练好后用于作为图像去模糊模型。
该Scale-Encoder-Decoder-Net网络结构图中参数见表1.网络结构参数表。
表1.网络结构参数表
如图2所示，Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；不同的Scale尺度之间图像大小不同，尺度较大可实现复原模糊图像的全局信息，尺度较小可实现复原模糊图像的局部信息；Encoder编码用于提取模糊图像的深层特征并减少图像尺寸；Decoder解码用于将提取到的模糊图像深层特征复原为复原图像，同时恢复图像尺寸。
Scale-Encoder-Decoder-Net的每一尺度网络包括1个输入块、2个编码块、1个解码块和一个输出块。
本发明实施与其他算法的对比结果详见表2。表2算法的比较基于运动模糊GoPro数据集。
图3a-d为本发明与其它算法的复原对比。图3a为模糊图像，图3b为Nah等人的复原效果，图3c为Kupyn等人的复原效果，图3d为本发明的Scale-Encoder-Decoder-Net的复原效果。从图3中可以发现，对于人像的模糊图像，Scale-Encoder-Decoder-Net网络复原的效果最好，复原细节清晰。对于时钟等模糊图像，经过Scale-Encoder-Decoder-Net网络复原后纹理细节更加清晰。从复原效果对比中可以看出，本发明对模糊图像的去模糊效果明显。
Claims (2)
1.一种基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，其特征在于：Scale-Encoder-Decoder-Net网络共有三部分：Scale尺度，Encoder编码和Decoder解码；每一尺度网络包括1个输入块、2个编码块、1个解码块和一个输出块；采用损失函数
训练网络，其中，Ii和
代表第i尺度的清晰图像和复原图像，Ni代表第i尺度的图像像素个数：去模糊步骤如下：
步骤1：以第n尺度的模糊图像作为输入，通过卷积核尺寸为5x5，卷积核个数为32、步长为1的卷积层输出浅层特征；
步骤2：卷积层输出的浅层特征通过3个残差块得到输入块的深度特征；
步骤3：将输入块输出的深度特征通过卷积核尺寸为5x5，卷积核个数为64、步长为2的卷积层下采样为编码块1的浅层特征；
步骤4：编码块1的浅层特征通过3个残差块得到编码块1的深层特征；将编码块1输出的深度特征通过卷积核尺寸为5x5，卷积核个数为128、步长为2的卷积层下采样为编码块2的浅层特征；
步骤5：编码块2的浅层特征通过3个残差块得到编码块2的深层特征；编码块2的深层特征通过解码块1的3个残差块，获得基本特征，并经过解码块1的卷积核尺寸为4x4，卷积核个数为64、步长为2的卷积层上采样且降维，得到解码块1的降维特征；
步骤6：解码块1的降维特征和编码块1的深层特征共同作为解码块2的输入，通过解码块2的3个残差块，进一步压缩特征，并经过解码块2的卷积核尺寸为4x4，卷积核个数为32、步长为2的卷积层上采样且降维，得到解码块2的降维特征；
步骤7：解码块2的降维特征和编码块2的深层特征共同作为输出块的输入，通过输出块的3个残差块，并经过输出块的卷积核尺寸为5x5，卷积核个数为3、步长为1的卷积层输出该尺度的复原图像；
步骤8：第n层尺度的复原图像经过上采样，与第n-1层尺度的模糊图像共同作为第n-1层尺度的输入，并重复步骤1-9，直到尺度n为1为止；
步骤10：尺度为1时，复原图像为Scale-Encoder-Decoder-Net网络最终复原图像。
2.根据权利要求1所述基于Scale-Encoder-Decoder-Net网络的图像去模糊方法，其特征在于：所述第n尺度图像尺寸为第n+1尺度图像尺寸的两倍，第1尺度图像尺寸最大，为原始模糊图像的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923783.6A CN112102184A (zh) | 2020-09-04 | 2020-09-04 | 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923783.6A CN112102184A (zh) | 2020-09-04 | 2020-09-04 | 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102184A true CN112102184A (zh) | 2020-12-18 |
Family
ID=73757731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010923783.6A Pending CN112102184A (zh) | 2020-09-04 | 2020-09-04 | 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102184A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846820A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市唯特视科技有限公司 | 一种基于尺度递归网络的深度图像去模糊方法 |
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN109410146A (zh) * | 2018-11-02 | 2019-03-01 | 北京大学深圳研究生院 | 一种基于Bi-Skip-Net的图像去模糊算法 |
| CN110782397A (zh) * | 2018-12-13 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
| CN111316316A (zh) * | 2019-04-10 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| CN111476745A (zh) * | 2020-01-13 | 2020-07-31 | 杭州电子科技大学 | 一种进行运动模糊超分辨的多分支网络及方法 |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
-
2020
- 2020-09-04 CN CN202010923783.6A patent/CN112102184A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN108846820A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市唯特视科技有限公司 | 一种基于尺度递归网络的深度图像去模糊方法 |
| CN109410146A (zh) * | 2018-11-02 | 2019-03-01 | 北京大学深圳研究生院 | 一种基于Bi-Skip-Net的图像去模糊算法 |
| CN110782397A (zh) * | 2018-12-13 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
| CN111316316A (zh) * | 2019-04-10 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| CN111476745A (zh) * | 2020-01-13 | 2020-07-31 | 杭州电子科技大学 | 一种进行运动模糊超分辨的多分支网络及方法 |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Ji et al. | Robust video denoising using low rank matrix completion | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| TW202134997A (zh) | 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| CN109949234B (zh) | 基于深度网络的视频复原模型训练方法及视频复原方法 | |
| Akbari et al. | Joint sparse learning with nonlocal and local image priors for image error concealment | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN113724136A (zh) | 一种视频修复方法、设备及介质 | |
| Chen et al. | High-dynamic range, night vision, image-fusion algorithm based on a decomposition convolution neural network | |
| CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| CN114331913A (zh) | 基于残差注意力块的运动模糊图像复原方法 | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| CN112150363B (zh) | 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质 | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| CN112102184A (zh) | 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法 | |
| CN115272113A (zh) | 一种基于多尺度频率分离网络的图像去模糊方法 | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201218 |
|
| RJ01 | Rejection of invention patent application after publication |