CN110648286A - 一种毫米波图像非盲目去模糊的方法 - Google Patents

一种毫米波图像非盲目去模糊的方法 Download PDF

Info

Publication number
CN110648286A
CN110648286A CN201910713849.6A CN201910713849A CN110648286A CN 110648286 A CN110648286 A CN 110648286A CN 201910713849 A CN201910713849 A CN 201910713849A CN 110648286 A CN110648286 A CN 110648286A
Authority
CN
China
Prior art keywords
image
fuzzy
noise
kernel
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910713849.6A
Other languages
English (en)
Inventor
程良伦
梁广宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910713849.6A priority Critical patent/CN110648286A/zh
Publication of CN110648286A publication Critical patent/CN110648286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种毫米波图像非盲目去模糊的方法，包括以下步骤：基于梯度的核估计方法以图像金字塔的方式估计模糊核K值，再通过原图像应用模糊核添加高斯噪声合成模糊图像；将模糊图像输入到CNN降噪器得到图像先验信息，同时采用批量归一化和残差学习来加速训练；将图像先验信息集成到半二次分裂模型中，通过引入辅助变量z对半二次分裂模型进行迭代优化，得到去模糊的图像。本发明改善了图像的质量，提高了毫米波图像的清晰度，促进了毫米波图像的应用。

Description

一种毫米波图像非盲目去模糊的方法
技术领域
本发明涉及毫米波图像技术领域，更具体的，涉及一种毫米波图像非盲目去模糊的方法。
背景技术
目前对于主动式毫米波安检图像的处理，主动式成像系统发射毫米波信号并对目标散射的回波信号进行处理，从而获得目标图像。虽然主动成像环境适应性要远强于被动成像。但是由于目前硬件系统的局限性，毫米波成像的图像质量普遍较低，极大的影响了毫米波图像物体的识别精度。
现有的方法一般采用诸如小波变换，插值和直方图均衡的图像处理方法来增强和去噪毫米波图像。但传统的图像增强算法对噪声敏感。并且很容易导致毫米波图像太弱或过度增强。近年来，在单幅图像去模糊方面取得了重大进展。最近提出了一些特定领域的基于统计特性的去模糊方法，例如文本，人脸和低照度图像的去模糊。
以上现有技术存在较差的成像清晰度和较低的分辨率、边缘轮廓不清晰的缺点，使其成为阻碍毫米波图像应用的主要因素之一。
发明内容
本发明为了解决现有技术存在较差的成像清晰度和较低的分辨率、边缘轮廓不清晰的问题，提供了一种毫米波图像非盲目去模糊的方法，其提升了毫米波图像的质量和丰富了图像的细节。
为实现上述本发明目的，采用的技术方案如下：一种毫米波图像非盲目去模糊的方法，所述该方法包括以下步骤：
S1：基于梯度的核估计方法以图像金字塔的方式估计模糊核K值，然后通过原图像应用模糊核添加高斯噪声合成模糊图像；
S2：将模糊图像输入到CNN降噪器得到图像先验信息，同时采用批量归一化和残差学习来加速训练；
S3：将图像先验信息集成到半二次分裂模型中，其中所述模型的表达式如下：
Figure BDA0002154667270000021
式中，H表示模糊操作符，x表示清晰图像，y表示模糊图像，β为权重参数，Φ(x)表示图像先验；
S4：通过引入辅助变量z对半二次分裂模型进行迭代优化，得到去模糊的图像。
优选地，步骤S1，估计模糊核K的具体步骤如下：
S101：通过对输入原图像进行粗略地初始化K值；
S102：在确定其他变量时，通过最小化I,u,g求解公式(2)，得到潜像I，公式(2)表达式如下：
式中：α、β均表示惩罚参数；u、g均表示辅助变量；λ、ω均表示权重参数；D(I)表示范数；
其中，式(2)中第一项限制了潜像和模糊核的卷积结果与输入的模糊图像相似，第二项在图像梯度上保留大的梯度；
S103：根据步骤S102得到的得到潜像I，通过快速傅里叶变换求解公式(3)
得到模糊核K，
Figure BDA0002154667270000023
式中：γ是权重参数；
S104：将步骤S103得到的模糊核K带入公式(2)中进行反复迭代i次，最后输出模糊核K和潜像的中间值。
进一步地，所述步骤S1，合成模糊图像的具体公式表达式如下：
Figure BDA0002154667270000024
式中，B表示模糊图像，N表示高斯噪声，
Figure BDA0002154667270000025
为卷积操作。
再进一步地，步骤S2，所述CNN降噪器为卷积神经网络，其包括n层膨胀卷积，从第一层到最后一层的扩张因子分别设定为a1，a2，a3……an，其中每层的膨胀卷积的特征图维度为k。
再进一步地，在所述的第w层中具有扩张因子aw的膨胀卷积在每个特征图的边界中进行对称填充或零填充处理，其中1≤w≤n。
再进一步地，步骤S4，通过引入辅助变量z，公式(4)可表述为约束的优化问题，如下列公式(5)所示：
Figure BDA0002154667270000031
其中z＝x，最小化以下损失函数，如公式(6)所示
Figure BDA0002154667270000032
其中，μ为惩罚参数，非降序迭代地变化；将公式(6)通过以下迭代方案解决：
Figure BDA0002154667270000033
Figure BDA0002154667270000034
其中，
Figure BDA0002154667270000035
为噪声级，公式(7)通过采用傅里叶变换来实现，由(8)可得，图像先验Φ(z)由降噪器先验进行隐式替换；
参数设置方面，β在迭代期间保持固定，μ表示控制降噪器的噪声水平，由于半二次分裂模型是基于降噪的，所以在每次迭代中设置降噪器的噪声级别来确定μ；所述降噪器噪声级别设置为从大到小
根据以上的迭代优化，得到清晰图像x。
再进一步地，所述的噪声级别
Figure BDA0002154667270000037
设置从49指数衰减到1～15之间。
本发明的有益效果如下：
1.本发明所述的毫米波图像非盲目去模糊的方法，先通过估计原图像的模糊核，然后原图像应用模糊核添加高斯噪声合成模糊图像，输入到CNN降噪器得到图像先验，最后通过基于模型的优化方法得到去模糊后的毫米波图像。基于本发明的法方，其有效的改善了图像的质量，提高了毫米波图像的清晰度，促进了毫米波图像的应用。
2.本发明所述的模糊核是图像去模糊任务的一个不可或缺的参数，本发明采用基于梯度的核估计方法更准确，模糊核估计的过程可以以图像金字塔的方式执行。同时借助半二次分裂(HQS)可以将降噪器集成到基于模型的优化方法中，对图像恢复的效果有提升，通过指定退化矩阵H可以灵活地处理各种图像恢复任务，对于具有不同噪声水平的图像，可以处理不同噪声水平的任务。
附图说明
图1是本实施例所述方法的步骤流程图。
图2是本实施例CNN降噪器的网络结构示意图。
图3是本实施例毫米波图像非盲目去模糊的效果示意图。
图4是本实施例与现有技术处理后的效果对比图。
图3中(a)和(c)为模糊的毫米波原图，其中(b)为(a)的非盲目去模糊后的效果图，(d)为(c)的非盲目去模糊后的效果图。
其中，图中右下方的图为图像处理后的局部效果图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示，一种毫米波图像非盲目去模糊的方法，所述该方法包括以下步骤：
S1：将模糊图像可以看作由潜像和模糊核通过卷积运算得到，其模糊过程如公式(1)所示：
Figure BDA0002154667270000043
式中，B表示模糊图像，N表示高斯噪声，
Figure BDA0002154667270000044
为卷积操作。
基于梯度的核估计方法以图像金字塔的方式估计模糊核K值，本实施例通过以下步骤估计模糊核K：
S101：通过对输入原图像进行粗略地初始化K值；
S102：在确定其他变量时，通过最小化I,u,g求解公式(2)，得到潜像I，公式(2)表达式如下：
Figure BDA0002154667270000041
式中：α、β均表示惩罚参数；u、g均表示辅助变量；λ、ω均表示权重参数；D(I)表示范数；
其中，式(2)中第一项限制了潜像和模糊核的卷积结果与输入的模糊图像相似，第二项在图像梯度上保留大的梯度；
S103：根据步骤S102得到的得到潜像I，通过快速傅里叶变换求解公式(3)
得到模糊核K，
Figure BDA0002154667270000042
式中：γ是权重参数；
S104：将步骤S103得到的模糊核K带入公式(2)中进行反复迭代i次，最后输出模糊核K和潜像的中间值。
将得到的模糊核K和潜像的中间值代入公式(1)可求得模糊图像。
S2：将模糊图像输入到CNN降噪器得到图像先验信息，本实施例所述的CNN降噪器为卷积神经网络，其包括7层膨胀卷积，从第一层到最后一层的扩张因子分别设定为1，2，3，4，3，2，1；其中每层的膨胀卷积的特征图维度为64，本实施例使用的激活函数都是ReLU函数。
其中，为了捕获内容信息，通过连续的膨胀卷积扩大感受野，同时使用批量规范化和残差学习来加速训练，本实施例从第二层开始使用批量归一化，通过采用批量归一化和残差学习来加速训练。
为了降低引入的边界伪像，本实施例使用小尺寸的训练样本。由于卷积的特性，CNN降噪器的去噪图像可能在没有适当处理的情况下引入边界伪像。有两种常见的方法可以解决这个问题，即对称填充和零填充。本实施例采用零填充策略，在第四层中具有扩张因子4的扩张卷积中，每个特征图的边界中填充4个零。
S3：将图像先验信息集成到半二次分裂模型(HQS)中，其中所述模型的表达式如下：
Figure BDA0002154667270000051
式中，H表示模糊操作符，x表示清晰图像，y表示模糊图像，β为权重参数，Φ(x)表示图像先验。
S4：基于模型(HQS)的优化方法旨在采用迭代的优化方法直接求解公式(4)，本实施例通过引入辅助变量z对半二次分裂模型(HQS)进行迭代优化，得到去模糊的图像：
公式(4)可表述为约束的优化问题，如下列公式(5)所示：
Figure BDA0002154667270000052
其中z＝x，最小化以下损失函数，如公式(6)所示
Figure BDA0002154667270000053
其中，μ为惩罚参数，非降序迭代地变化；将公式(6)通过以下迭代方案解决：
Figure BDA0002154667270000061
Figure BDA0002154667270000062
其中，
Figure BDA0002154667270000063
为噪声级，公式(7)通过采用傅里叶变换来实现，由(8)可得，图像先验Φ(z)由降噪器先验进行隐式替换；
参数设置方面，β在迭代期间保持固定，μ表示控制降噪器的噪声水平，由于半二次分裂模型是基于降噪的，所以在每次迭代中设置降噪器的噪声级别来确定μ；所述降噪器噪声级别
Figure BDA0002154667270000064
设置为从大到小
本实施例所述的噪声级别
Figure BDA0002154667270000065
设置从49指数衰减到1～15之间。
基于本实施例所述的方法，得到的毫米波图像的峰值信噪比(PSNR)可以达到27.49dB。本实施例所述的方法得到的平均PSNR高于其他去模糊方法，如表1所示。这个方法改善了图像的质量，提高了毫米波图像的清晰度，促进了毫米波图像的应用。本实施例还通过与现有技术文献【1】、文献【2】、文献【3】所提供的方法进行相应实验得到的峰值信噪比(PSNR)如表1所示，得到的效果图，如图4所示。
表1
Method 文献【1】 文献【2】 文献【3】 本实施例
PSNR(dB) 22.80 23.41 23.82 27.49
从表1中可以相比与现有技术文献【1】、文献【2】、文献【3】所提供的方法，本实施例所述的方法取得的技术效果更加显著，从图4中可以看出，本实施例所述的方法处理后的技术效果相比于文献【1】、文献【2】、文献【3】更清晰。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
文献【1】Krishnan D,Tay T,and Fergus R.Blind deconvolution using anormalized sparsity measure[C].CVPR,Colorado Springs,CO,USA,2011:233-240.
文献【2】Pan J S,Liu R S,Su Z X,et al.Motion blur kernel estimation viasalient edges and low rank prior[C].ICME,Chengdu,China,2014:1-6.
文献【3】Pan J S,Hu Z,Su Z X,et al.Deblurring Text Images via L0-Regularized Intensity and Gradient Prior[C].CVPR,Columbus,OH,USA,2014:2901-2908.

Claims (7)

1.一种毫米波图像非盲目去模糊的方法，其特征在于：所述该方法包括以下步骤：
S1：基于梯度的核估计方法以图像金字塔的方式估计模糊核K值，然后通过原图像应用模糊核添加高斯噪声合成模糊图像；
S2：将模糊图像输入到CNN降噪器得到图像先验信息，同时采用批量归一化和残差学习来加速训练；
S3：将图像先验信息集成到半二次分裂模型中，其中所述模型的表达式如下：
Figure FDA0002154667260000011
式中，H表示模糊操作符，x表示清晰图像，y表示模糊图像，β为权重参数，Φ(x)表示图像先验；
S4：通过引入辅助变量z对半二次分裂模型进行迭代优化，得到去模糊的图像。
2.根据权利要求1所述的毫米波图像非盲目去模糊的方法，其特征在于：步骤S1，估计模糊核K的具体步骤如下：
S101：通过对输入原图像进行粗略地初始化K值；
S102：在确定其他变量时，通过最小化I,u,g求解公式(2)，得到潜像I，公式(2)表达式如下：
Figure FDA0002154667260000012
式中：α、β均表示惩罚参数；u、g均表示辅助变量；λ、ω均表示权重参数；D(I)表示范数；
其中，式(2)中第一项限制了潜像和模糊核的卷积结果与输入的模糊图像相似，第二项在图像梯度上保留大的梯度；
S103：根据步骤S102得到的得到潜像I，通过快速傅里叶变换求解公式(3)得到模糊核K，
Figure FDA0002154667260000013
式中：γ是权重参数；
S104：将步骤S103得到的模糊核K带入公式(2)中进行反复迭代i次，最后输出模糊核K和潜像的中间值。
3.根据权利要求2所述的毫米波图像非盲目去模糊的方法，其特征在于：所述步骤S1，合成模糊图像的具体公式表达式如下：
Figure FDA0002154667260000021
式中，B表示模糊图像，N表示高斯噪声，
Figure FDA0002154667260000022
为卷积操作。
4.根据权利要求3所述的毫米波图像非盲目去模糊的方法，其特征在于：步骤S2，所述CNN降噪器为卷积神经网络，其包括n层膨胀卷积，从第一层到最后一层的扩张因子分别设定为a1，a2，a3……an，其中每层的膨胀卷积的特征图维度为k。
5.根据权利要求4所述的毫米波图像非盲目去模糊的方法，其特征在于：在所述的第w层中具有扩张因子aw的膨胀卷积层中，在每个特征图的边界中进行对称填充或零填充处理，其中1≤w≤n。
6.根据权利要求4所述的毫米波图像非盲目去模糊的方法，其特征在于：步骤S4，通过引入辅助变量z，公式(4)可表述为约束的优化问题，如下列公式(5)所示：
其中z＝x，最小化以下损失函数，如公式(6)所示
Figure FDA0002154667260000024
其中，μ为惩罚参数，非降序迭代地变化；将公式(6)通过以下迭代方案解决：
xk+1＝(HTH+μI)-1(HTy+μzk) (7)
Figure FDA0002154667260000025
其中，
Figure FDA0002154667260000026
为噪声级，公式(7)通过采用傅里叶变换来实现，由(8)可得，图像先验Φ(z)由降噪器先验进行隐式替换；
参数设置方面，β在迭代期间保持固定，μ表示控制降噪器的噪声水平，由于半二次分裂模型是基于降噪的，所以在每次迭代中设置降噪器的噪声级别来确定μ；所述降噪器噪声级别
Figure FDA0002154667260000027
设置为从大到小根据以上的迭代优化，得到清晰图像x。
7.根据权利要求6所述的毫米波图像非盲目去模糊的方法，其特征在于：所述的噪声级别
Figure FDA0002154667260000031
设置从49指数衰减到1～15之间。
CN201910713849.6A 2019-08-02 2019-08-02 一种毫米波图像非盲目去模糊的方法 Pending CN110648286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910713849.6A CN110648286A (zh) 2019-08-02 2019-08-02 一种毫米波图像非盲目去模糊的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713849.6A CN110648286A (zh) 2019-08-02 2019-08-02 一种毫米波图像非盲目去模糊的方法

Publications (1)

Publication Number Publication Date
CN110648286A true CN110648286A (zh) 2020-01-03

Family

ID=69009502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713849.6A Pending CN110648286A (zh) 2019-08-02 2019-08-02 一种毫米波图像非盲目去模糊的方法

Country Status (1)

Country Link
CN (1) CN110648286A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340733A (zh) * 2020-02-28 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177890A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113763290A (zh) * 2021-08-26 2021-12-07 武汉高德红外股份有限公司 基于自适应梯度稀疏先验的鲁棒性红外图像反卷积方法
CN114372927A (zh) * 2021-12-21 2022-04-19 南方医科大学 深度网络训练方法、内镜图像处理方法、装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292836A (zh) * 2017-06-02 2017-10-24 河海大学常州校区 基于外部图像块先验信息与稀疏表示的图像盲去模糊方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292836A (zh) * 2017-06-02 2017-10-24 河海大学常州校区 基于外部图像块先验信息与稀疏表示的图像盲去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG等: "Learning Deep CNN Denoiser Prior for Image Restoration", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
张鑫: "单幅运动模糊图像复原的关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340733A (zh) * 2020-02-28 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
WO2021169136A1 (zh) * 2020-02-28 2021-09-02 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111340733B (zh) * 2020-02-28 2022-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177890A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177890B (zh) * 2021-04-27 2023-04-18 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113763290A (zh) * 2021-08-26 2021-12-07 武汉高德红外股份有限公司 基于自适应梯度稀疏先验的鲁棒性红外图像反卷积方法
CN114372927A (zh) * 2021-12-21 2022-04-19 南方医科大学 深度网络训练方法、内镜图像处理方法、装置和存储介质
CN114372927B (zh) * 2021-12-21 2024-03-29 南方医科大学 内镜图像处理方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN110648286A (zh) 一种毫米波图像非盲目去模糊的方法
US8380000B2 (en) Methods of deblurring image and recording mediums having the same recorded thereon
US9142009B2 (en) Patch-based, locally content-adaptive image and video sharpening
CN106875353B (zh) 超声图像的处理方法及处理系统
CN111210395B (zh) 基于灰度值映射的Retinex水下图像增强方法
CN111047544B (zh) 一种基于非线性退化模型的饱和图像去模糊方法
CN108648162B (zh) 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法
CN109360157B (zh) 基于tv和小波正则化的空间变化模糊图像复原方法
CN108564544A (zh) 基于边缘感知的图像盲去模糊组合稀疏优化方法
JP2007018379A (ja) 画像処理方法及び画像処理装置
Montefusco et al. An Iterative $ L_ {1} $-Based Image Restoration Algorithm With an Adaptive Parameter Estimation
CN115578289A (zh) 一种基于边界邻域梯度差值的散焦图像去模糊方法
CN107146202B (zh) 基于l0正则化和模糊核后处理的图像盲去模糊的方法
Srivastava et al. Restoration algorithm for gaussian corrupted MRI using non-local averaging
Simi et al. An inverse mathematical technique for improving the sharpness of magnetic resonance images
CN111652821B (zh) 基于梯度信息的微光视频图像降噪处理方法、装置和设备
Rama Lakshmi et al. A Review on Image Denoising Algorithms for Various Applications
Thierry et al. Shock filter coupled with a high-order PDE for additive noise removal and image quality enhancement
Fukushima et al. Accelerating redundant DCT filtering for deblurring and denoising
Chen et al. Enhancement and denoising method for low-quality MRI, CT images via the sequence decomposition Retinex model, and haze removal algorithm
CN116228553A (zh) 一种可同时增强高照度和低照度区域清晰度的图像增强方法
CN111583124A (zh) 用于对图像去模糊的方法、装置、系统及存储介质
CN114862714A (zh) 一种基于结构提取的自然图像去模糊方法
Dasgupta Comparative analysis of non-blind deblurring methods for noisy blurred images
Xiao Blind Image Restoration Based on l 1-l 2 Blur Regularization.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103