CN112802145A - 一种基于深度学习的彩色计算鬼成像方法 - Google Patents
一种基于深度学习的彩色计算鬼成像方法 Download PDFInfo
- Publication number
- CN112802145A CN112802145A CN202110112327.8A CN202110112327A CN112802145A CN 112802145 A CN112802145 A CN 112802145A CN 202110112327 A CN202110112327 A CN 202110112327A CN 112802145 A CN112802145 A CN 112802145A
- Authority
- CN
- China
- Prior art keywords
- color
- information
- imaged
- image
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000004364 calculation method Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000011084 recovery Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000002310 reflectometry Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的彩色计算鬼成像方法，使用彩色光源连续向物体投射经过编码的彩色照明散斑图案，并用单像素探测器采集物体的反射或透射光强度，然后依据信息恢复算法生成信息图；对已知的不同物体生成相应的信息图,从而得到训练数据集；构建生成式对抗网络模型，通过深度学习方法将信息图与物体图像进行对比训练，得到训练好的网络参数；最后将待成像物体的信息图输入到训练好的网络中，得到矫正和提高的待成像物体彩色图像。由于本方法使用的是随机编码方式，降低了彩色鬼成像中照明散斑编码的复杂性；同时所提出的信息恢复算法，利用深度学习方法将信息图中的彩色信息重构，实现了良好的对物体彩色鬼成像效果。
Description
技术领域
本发明属于计算鬼成像技术领域，具体设计一种基于深度学习的彩色计算鬼成像方法。
背景技术
鬼成像是一种基于光场涨落的关联特性，通过测量参考光场与目标探测光场之间的强度关联函数，可以非局域性地获取目标图像信息的新型成像技术。
计算鬼成像是传统鬼成像的发展与延伸。
计算鬼成像理论指出，参考光路的目的是为了测量到达成像物体的光场光强分布，因此可以用空间光调制器或者数字微反射镜对光场进行调控，再通过计算的方式得到光场到达成像物体时的强度分布。
目前，基于计算鬼成像理论已经实现了对灰度图像的成像。一般来说，采用三个对光谱过滤的单像素光电探测器，分别在红绿蓝三色光谱上进行灰度级成像后再将三色图像组合，也可以实现彩色成像。但这种方法无疑至少将测量时间提高了三倍。
如果只用一个单像素探测器对信号光的光强进行探测，色彩的相互交叠将会导致成像过程中不同色彩信息置乱，无法正确重建出物体图像及颜色。
最近有研究人员提出了一种基于特殊彩色散斑场的计算鬼成像方法，该方法虽然利用单像素探测器实现了对彩色物体成像，但是对不同彩色物体需要进行对应的特殊标定和编码。
近年来，随着硬件设备及计算能力的不断发展和提高，深度学习算法的进步非常迅速，并被广泛应用于各个领域。深度学习算法可通过在大规模图像识别数据集上训练的方式，来学习合适的图像特征表达，进而实现退化图像的恢复和还原。
发明内容
鉴于上述和/或现有存在的问题，提出了本发明。
本发明的目的，就是提供一种基于深度学习的彩色鬼成像方法，无需对不同彩色物体需要进行对应的特殊标定和编码，实现对细节丰富物体(而非简单的字母或数字)进行彩色成像。
计算鬼成像的一个主要特征，就是使用光源连续向待成像物体投射不同的、经过编码的照明光场，同时使用单像素探测器连续采集待成像物体的反射光信号；而物体的成像信息则被这些不同编码的照明光场，与单像素探测器接收到的光强信号之间的关联过程收集起来。
但对于一个彩色物体，如果使用一个单像素探测器同时接收所有颜色通道的信息，将会使这些色彩相互交叠，从而导致成像过程中不同色彩信息被置乱。
本发明提出一种信息恢复算法，利用这些置乱的信息生成一张包含有待成像物体彩色信息的信息图；通过这样的方式，一方面可以避免复杂的特定照明光场编码，另一方面可以减少重构算法的计算量。
生成信息图的具体方法如下：
由于彩色光源所投射的彩色照明光场是通过编码产生的，因此到达成像物体时光场的光强分布是已知的。
对于一幅彩色图像的光强分布，可以分解为三个大小为m×n的二维矩阵Ir，Ig和Ib来表示，矩阵中各个元素分别代表着其对红、绿或蓝色波段的反射率。
设由彩色照明光源投射出的红绿蓝三色照明散斑，其所构成的测量矩阵分别为Sr(N×M)，Sg(N×M)和Sb(N×M)，其中N＝m×n表示图像的像素个数，M表示采样次数。
则信息采集模块中，单像素探测器所得到的光强测量序列为：
L＝αrIrSr+αgIgSg+αbIbSb， (1)
其中αr，αg，αb分别代表单像素探测器对红、绿和蓝三种颜色光的响应系数。
借鉴传统鬼成像的算法，将光强测量序列和彩色照明散斑序列进行关联运算，可以得到物体的信息图
求解信息图的具体方法为：
较佳的，虽然信息图
各个颜色通道由于色彩交叠而产生了串扰，但待成像物体的信息依旧包含在其中。
将不同的成像物体与其对应的信息图组成训练对，并构成训练数据集。
对于一个生成式对抗网络，其中存在生成器和判别器两个卷积神经网络；并且它的训练方式为对抗训练，即在训练过程中，生成器的目标就是尽量生成真实的图片去欺骗判别器，而判别器的目标则是尽量判别出生成器产生的假图片和真实图片。
较优地，设置生成式对抗网络中生成器和判别器的各个网络层的初始参数，将训练数据集输入上述神经网络中，对网络进行对抗训练。
对待成像物体进行信息采集，并生成信息图；将待成像物体信息图输入训练好的生成对抗网络中，实现对该物体彩色成像。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：
图1为本发明提供的第一种实施例中所述彩色照明散斑示意图；
图2为本发明提供的第一种实施例中的待成像物体示意图；
图3为本发明提供的第一种实施例中的待成像物体信息图；
图4为本发明提供的第一种实施例中的生成式对抗网络中生成器模型示意图；
图5为本发明提供的第一种实施例中的生成式对抗网络中判别器模型示意图；
图6为本发明提供的第一种实施例中待成像物体重建彩色像示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
步骤1：采集信息图数据集。
步骤1-1：由计算机控制的数字光投影仪产生的如图1所示大小为32*32*3像素的随机编码彩色照明散斑图案，这些彩色散斑被连续地投射到待成像的物体上。
步骤1-2：如图2所示的彩色照片颜色信息，可由它对红、绿和蓝三色光的反射率矩阵描述，具体可表述为Ir(64×64)，Ig(64×64)和Ib(64×64)；采用单像素探测器连续采集成像物体的反射光信号，得到总光强幅值序列L＝αrIrSr+αgIgSg+αbIbSb，然后依据恢复算法生成成像物体的信息图
如图3所示；
将彩色照片和其信息图构成一对样本；
步骤1-3：重复上述方法，得到多对样本，逐渐扩充构成训练数据集。
步骤2：设计与训练生成式网络模型
步骤2-1：设计一个如图4所示的生成器模型，输入信息图；紧接着输入层是3个卷积层，K为卷积核的个数，S代表卷积的步长。在这个过程中，图像的通道数不断增加，图像的尺寸不断减小，从而不断获取图像的抽象特征。选取Leaky-ReLU函数为激活函数,而放宽稀疏性限制；中间部分为10个残差稠密块，它将残差块和稠密块结合在一起来捕捉图像的语义信息；最后通过具有3个卷积核的卷积层得到生成器输出大小为32*32*3的图像。
判别器模型如图5所示，在判别器模型中，输入为生成器产生的图像和原始图像的图像对，图中的K为卷积核个数，S为卷积步长，F代表卷积核的大小。多个卷积层分别对原始图像和生成器产生图像进行特征提取，判别器会比较与其对应的抽象的特征图之间的差异，这有利于提高判别器分类的精确度。
将训练数据集输入所述神经网络中，对网络进行训练。
步骤3：通过上述方法采集待成像物体信息，生成信息图。将该信息图输入到训练好的生成对抗网络中，将会输出待成像物体相应的彩色像，成像效果如图6所示，彩色重建情况与图2非常接近。
总的来说，本发明基于深度学习成功地实现了利用一个单像素探测器合并检测多个波长的光信号，并从中恢复了物体的彩色像，为实时的彩色鬼成像或单像素成像的实际运用打下了基础。
Claims (3)
1.一种基于深度学习的彩色计算鬼成像方法，其特征在于包括以下步骤：
1)使用彩色光源连续向待成像物体投射不同的、经过编码的彩色照明散斑图案，并采用单像素探测器连续采集待成像物体的反射光或透射光信号，然后依据信息恢复算法生成信息图；
2)采用步骤1)的方法，针对已知的不同物体图像产生与其相应的信息图作为多个样本对，并构成训练集；
3)设置生成对抗神经网络的各个网络层的初始参数，将训练集输入该对抗神经网络中，对网络进行训练；
4)将步骤1)中所得到的待成像物体信息图，输入到已训练好的对抗神经网络中，得到相应的待成像物体图像，从而最终实现利用计算鬼成像方法对彩色物体成像。
2.如权利要求1所述的一种基于深度学习的彩色计算鬼成像方法，其特征在于，被编码的彩色照明散斑图案投射到待成像物体上后，所产生的各种波长的反射光或透射光信号都同时被一个单像素探测器接收。
3.如权利要求1所述的一种基于深度学习的彩色计算鬼成像方法，其特征在于，生成信息图的信息恢复算法为：
设由彩色照明光源投射出的红绿蓝三色照明散斑，其所构成的测量矩阵分别为Sr(N×M)，Sg(N×M)和Sb(N×M)，其中N＝m×n表示图像的像素个数，M表示采样次数；依据待成像物体对彩色散斑图案中红、绿或蓝色波段的透射率或反射率，各像素点光强分布表示为Ir，Ig和Ib；彩色光源每次投射一幅彩色照明散斑，单像素探测器对应接收一个总光强信号幅值，第c次的测量结果表示为：Lc＝[αrIrSr+αgIgSg+αbIbSb]c，其中αr，αg，αb分别代表单像素探测器对红、绿和蓝三种颜色光的响应系数；多次测量后得到的总光强信号幅值组成了一个光强幅值序列L(1×N)；由这个光强幅值序列生成信息图的算法为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112327.8A CN112802145A (zh) | 2021-01-27 | 2021-01-27 | 一种基于深度学习的彩色计算鬼成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112327.8A CN112802145A (zh) | 2021-01-27 | 2021-01-27 | 一种基于深度学习的彩色计算鬼成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112802145A true CN112802145A (zh) | 2021-05-14 |
Family
ID=75812123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110112327.8A Pending CN112802145A (zh) | 2021-01-27 | 2021-01-27 | 一种基于深度学习的彩色计算鬼成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112802145A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240610A (zh) * | 2021-05-27 | 2021-08-10 | 清华大学深圳国际研究生院 | 一种基于仿人眼机制的双通道鬼成像重建方法及系统 |
| CN113938573A (zh) * | 2021-09-16 | 2022-01-14 | 四川大学 | 基于混沌映射和dna编码的计算鬼成像图像加密方法 |
| CN117201691A (zh) * | 2023-11-02 | 2023-12-08 | 湘江实验室 | 一种基于深度学习的全景扫描关联成像方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097269A (zh) * | 2016-06-11 | 2016-11-09 | 华南理工大学 | 基于计算鬼成像的高分辨率微视觉系统及获取图像的方法 |
| US20180172981A1 (en) * | 2016-12-16 | 2018-06-21 | Fusao Ishii | Wearable display |
| US20180232596A1 (en) * | 2015-08-12 | 2018-08-16 | Yada Research And Development Co. Ltd. | Detection of point sources with variable emission intensity in sequences of images with different point spread functions |
| CN110071798A (zh) * | 2019-03-21 | 2019-07-30 | 深圳大学 | 一种等效密钥获取方法、装置及计算机可读存储介质 |
| CN110111366A (zh) * | 2019-05-06 | 2019-08-09 | 北京理工大学 | 一种基于多级损失量的端到端光流估计方法 |
| CN110319790A (zh) * | 2019-04-23 | 2019-10-11 | 首都师范大学 | 一种基于彩色散斑场的全彩色计算鬼成像方法 |
| CN110490818A (zh) * | 2019-07-24 | 2019-11-22 | 西安理工大学 | 基于cgan的计算鬼成像重建恢复方法 |
| CN110646810A (zh) * | 2019-09-27 | 2020-01-03 | 北京理工大学 | 一种散斑优化压缩感知鬼成像方法及系统 |
| CN110930317A (zh) * | 2019-10-30 | 2020-03-27 | 西安交通大学 | 一种基于卷积神经网络的鬼成像方法 |
| CN111652059A (zh) * | 2020-04-27 | 2020-09-11 | 西北大学 | 基于计算鬼成像的目标识别模型构建、识别方法及装置 |
| CN111708176A (zh) * | 2020-03-19 | 2020-09-25 | 北京理工大学 | 一种自适应异构变分辨率鬼成像方法及系统 |
| CN111833248A (zh) * | 2020-06-19 | 2020-10-27 | 西北大学 | 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统 |
-
2021
- 2021-01-27 CN CN202110112327.8A patent/CN112802145A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180232596A1 (en) * | 2015-08-12 | 2018-08-16 | Yada Research And Development Co. Ltd. | Detection of point sources with variable emission intensity in sequences of images with different point spread functions |
| CN106097269A (zh) * | 2016-06-11 | 2016-11-09 | 华南理工大学 | 基于计算鬼成像的高分辨率微视觉系统及获取图像的方法 |
| US20180172981A1 (en) * | 2016-12-16 | 2018-06-21 | Fusao Ishii | Wearable display |
| CN110071798A (zh) * | 2019-03-21 | 2019-07-30 | 深圳大学 | 一种等效密钥获取方法、装置及计算机可读存储介质 |
| CN110319790A (zh) * | 2019-04-23 | 2019-10-11 | 首都师范大学 | 一种基于彩色散斑场的全彩色计算鬼成像方法 |
| CN110111366A (zh) * | 2019-05-06 | 2019-08-09 | 北京理工大学 | 一种基于多级损失量的端到端光流估计方法 |
| CN110490818A (zh) * | 2019-07-24 | 2019-11-22 | 西安理工大学 | 基于cgan的计算鬼成像重建恢复方法 |
| CN110646810A (zh) * | 2019-09-27 | 2020-01-03 | 北京理工大学 | 一种散斑优化压缩感知鬼成像方法及系统 |
| CN110930317A (zh) * | 2019-10-30 | 2020-03-27 | 西安交通大学 | 一种基于卷积神经网络的鬼成像方法 |
| CN111708176A (zh) * | 2020-03-19 | 2020-09-25 | 北京理工大学 | 一种自适应异构变分辨率鬼成像方法及系统 |
| CN111652059A (zh) * | 2020-04-27 | 2020-09-11 | 西北大学 | 基于计算鬼成像的目标识别模型构建、识别方法及装置 |
| CN111833248A (zh) * | 2020-06-19 | 2020-10-27 | 西北大学 | 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 曹非: "《鬼成像技术及应用研究》", 《中国优秀博士学位论文全文数据库》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240610A (zh) * | 2021-05-27 | 2021-08-10 | 清华大学深圳国际研究生院 | 一种基于仿人眼机制的双通道鬼成像重建方法及系统 |
| CN113240610B (zh) * | 2021-05-27 | 2023-05-12 | 清华大学深圳国际研究生院 | 一种基于仿人眼机制的双通道鬼成像重建方法及系统 |
| CN113938573A (zh) * | 2021-09-16 | 2022-01-14 | 四川大学 | 基于混沌映射和dna编码的计算鬼成像图像加密方法 |
| CN117201691A (zh) * | 2023-11-02 | 2023-12-08 | 湘江实验室 | 一种基于深度学习的全景扫描关联成像方法 |
| CN117201691B (zh) * | 2023-11-02 | 2024-01-09 | 湘江实验室 | 一种基于深度学习的全景扫描关联成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112802145A (zh) | 一种基于深度学习的彩色计算鬼成像方法 | |
| Lin et al. | Spatial-spectral encoded compressive hyperspectral imaging | |
| Cheng et al. | Recurrent neural networks for snapshot compressive imaging | |
| CN108895985B (zh) | 一种基于单像素探测器的物体定位方法 | |
| US9900562B2 (en) | System and method for light-field imaging | |
| CN110650340B (zh) | 一种时空复用的压缩视频成像方法 | |
| CN109741407A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 | |
| CN111563562B (zh) | 基于卷积神经网络的单帧散射图像的彩色目标重建方法 | |
| Pouli et al. | Image statistics in visual computing | |
| Rego et al. | Robust lensless image reconstruction via psf estimation | |
| CN101482398B (zh) | 一种快速三维形貌测量的方法及装置 | |
| US20200404248A1 (en) | System and method for compressed sensing light field camera | |
| CN115484410B (zh) | 基于深度学习的事件相机视频重建方法 | |
| CN110319790A (zh) | 一种基于彩色散斑场的全彩色计算鬼成像方法 | |
| CN103954357B (zh) | 压缩光谱成像系统测量矩阵的获取方法 | |
| CN109798978B (zh) | 一种采用异形蓝色噪声编码孔径的光谱成像方法 | |
| CN113781352B (zh) | 去光照方法、装置、电子设备与存储介质 | |
| CN105784113B (zh) | 区分荧光辐射光谱图像和反射光谱图像的成像系统及方法 | |
| CN115994983B (zh) | 一种基于快照式编码成像系统的医药高光谱重构方法 | |
| CN111130556B (zh) | 一种对Hadamard测量基进行排序的方法 | |
| CN106842195A (zh) | 基于计算关联成像的多物体同时成像及加密方法 | |
| CN116337010A (zh) | 智能优化散斑的关联成像重建恢复方法 | |
| CN117132704A (zh) | 一种动态结构光的三维重建方法及其系统、计算设备 | |
| CN112950507B (zh) | 基于深度学习提高散射环境下单像素彩色成像性能的方法 | |
| Zhao et al. | Redundant compressed single-pixel hyperspectral imaging system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210514 |
|
| RJ01 | Rejection of invention patent application after publication |