CN113160055A - 一种基于深度学习的图像超分辨率重建方法 - Google Patents
一种基于深度学习的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN113160055A CN113160055A CN202110371235.1A CN202110371235A CN113160055A CN 113160055 A CN113160055 A CN 113160055A CN 202110371235 A CN202110371235 A CN 202110371235A CN 113160055 A CN113160055 A CN 113160055A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- images
- training
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
Abstract
图像分辨率的降低会导致图像质量严重下降,极大地影响人们的视觉体验,针对现有基于深度学习的图像超分辨率重建方法,其对细节纹理恢复过程中容易产生伪纹理,并且没有充分利用原始低分辨率图像丰富的局部特征层信息的问题,提出一种新型的基于深度学习的图像超分辨率重建方法,该方法中生成器部分由全局多路径残差块构成,由密集残差块和边缘分支组成,提高图像信息的提取效率。采用了GN层和Randomized LeakyReLU激活函数,通过改进的网络模型,极大的改善了图像的视觉质量,本发明用于超分辨率图像重建,极大的提高了恢复图像的质量问题。
Description
技术领域
本发明涉及图像处理领域,具体涉及了一种基于深度学习的图像超分辨率重建方法。
背景技术
伴随着科学技术的发展和互联网的普及,海量的信息被呈现在人类面前。作为信息传递的主要载体,图像、视频和音频的信息量均以爆炸性的速度增长。相关研究指出人类最终所接受的媒体信息,通过视觉获取的占60%~80%,因此图像成为人类获得信息的重要方式之一。但在实际生活中,图像的质量往往受到成像系统等硬件设备和图像传输过程中带宽的约束,使得最终呈现细节缺失的低分辨率图像。图像分辨率的降低会导致图像质量严重下降,极大地影响人们的视觉体验,更无法满足工业生产中对图像质量的性能指标要求。由此可见,提高图像分辨率以获得高质量图像已成为研究界急需解决的问题。
目前提升图像分辨率主要有硬件和软件两种途径。第一种是从升级图像传感器和光学器件等硬件设备入手,这种方式成本过高,在实际应用中很难得到推广。另一种是利用软件来提高图像的分辨率,通过采用一些机器学习算法和数字图像处理技术对低分辨率图像进行处理,也就是图像超分辨率重建技术。这种软件技术将已有的低分辨率图像输入训练好的图像重建模型,来生成细节更丰富、纹理更清晰的高分辨率图像。
将自然场景下,高分辨率的图像进行降低分辨率处理,从而获得在同一场景下,同一个光照强度下,高分辨率和低分辨率图像的训练数据对。提出一种新型的基于深度学习的图像超分辨率重建方法,该方法中生成器部分由全局多路径残差块构成,由密集残差块和边缘分支组成,提高图像信息的提取效率。采用了GN层和 Randomized Leaky ReLU激活函数,通过改进的网络模型,极大的改善了图像的视觉质量。
发明内容
为了解决背景技术中存在的问题,本发明的目的在于提供了一种基于深度学习的图像超分辨率重建方法。
生成器网络是以一个随机向量作为输入,将其解码成一张“伪造”图像。判别器网络以生成器生成的“伪造”图像作为输入,分析判断图片是数据集内的图片还是生成的“伪造”图片。训练生成器网络的目的是使其能够欺骗判别器网络,因此随着训练的进行,它能够逐渐生成越来越逼真的图像,甚至达到以假乱真的程度,以至于判别器网络无法区分二者。同时,判别器网络也在不断地提高“鉴伪”能力,为生成图像的真实性设置了很高的标准。训练结束后,生成器就可将输入空间中的任何点转换为一张真实可信的图像。
本发明采用的技术方案包括如下步骤:
(1)使用来自ImageNet数据库的35万张图像的随机样本,其中图像包括动物、建筑物、食物、景观、人、植物等,利用下采样将HR图像转换成LR图像,生成训练对。
(2)将样本图像分成小批次,使用小批次的样本数据用于在NVIDIA Tesla M40GPU上训练目标网络。
(3)将LR图像输入到设计的生成器上,经过多路径残差块提取更多的图像细节。
(4)通过卷积核进行降维操作,最后连接一层全连接层压平维度,输出生成的伪图像。
(5)为了区分真实的HR图像和生成的SR样本,设计一个鉴别器,将原始高分辨率图像与步骤4中生成的伪图像输入到鉴别器。
(6)使用VGG网络进行特征提取对比,条纹卷积来降低图像分辨率,以获得样本分类的概率。
(7)训练生成模型G,其目的是欺骗可区分的鉴别器D,该鉴别器被训练以区分超分辨图像和真实图像,通过这种方法,我们的生成器可以学习创建与真实图像高度相似的解决方案。
所述的数据集选用其中图像包括动物、建筑物、食物、景观、人、植物等。
所述步骤(1)具体为:
(1.1)将数据集里的高分辨率图像进行降率操作,下采样HR图像(BGR,C=3)来获得LR图像具有下采样因子r=4的双三次核。
所述步骤(2)具体为:
(2.1)每个小批量,裁剪16个不同训练图像的随机96×96HR子图像,分别输入到生成器模型与判别器当中用于模型训练,其训练主要公式为:
其中,训练一个生成函数G,对于一个给定的输入图像LR,能够估计出对应的HR图像。为了实现这个效果,需要将生成网络训练成一个前馈卷积神经网络G。这里θG={W1:L;b1:L}表示一个L层深度网络的权重和偏置,它可以通过优化关于SR的损耗函数lSR获得,训练高分辨率图像为,以及其对应的低分辨率图像
所述步骤(3)具体为:
(3.1)两层卷积层分别设置64个5*5的卷积核和64个3*3的卷积核,两层卷积层的激活函数分别设为随机纠正线性单元(RReLU)激活,RReLU也是Leaky ReLU的一个变体,采用的多路径残差块,采用跨两个残差块的短连接,各残差块结果都连接最后残差块,提取更多的特征。
所述步骤(4)具体为:
(4.1)使用两个卷积层,小的3×3内核和64个特征映射,采用了GN层归一化层和Randomized Leaky ReLU 激活函数,在残差块的基础上每两层之间加上跳跃连接,构成一个全局多路径残差块,用两个经训练的子像素卷积层来增加输入图像的分辨率。
所述步骤(5)具体为:
(5.1)使用了Adam算法,其中β1=0.9,对于SRResnet,学习率为10-4,迭代次数为106次,为了防止陷入局部最优解,在训练时我们使用了训练好的基于MSE的SRResNet作为生成器的初始值,所有SRGAN的参数首先以10-4为学习率迭代105次,再以105为学习率迭代105次。
所述步骤(6)具体为:
(6.1)包含VGG网络中的8个卷积核大小为8的卷积层,但对应特征图谱的数量以放大因子2逐渐增多,从64到512,此外,随着特征图谱数的增加,使用了步长卷积方法来降低图像的分辨率,以保持总像素数不变,最终生成的512个特征图谱后有两个dense层。
所述步骤(7)具体为:
(7.1)通过固定鉴别器,训练生成器,然后固定生成器训练生成器,不断地迭代,利用相应的损失函数达到一个相对满意的网络模型,其损失函数定义为:
像素方式的MSE损失计算为:
将VGG损失定义为重建图像的特征表示与参考图像IHR之间的欧氏距离:
其Hi,j中Wi,j和描述VGG网络内各个特征图的尺寸。
本发明与传统图像超分辨率重建相比,其视觉效果更好,在图像细节上更加逼真,在医疗领域、通信领域、公共安全领域等领域极大程度的降低拍摄设备的成本,并且提高图像质量,因此具有重要的实用意义和广阔的发展前景。
附图说明
本发明的超分辨率重建网络模型示意图:图1为整体的网络结构图,图2为生成器网络结构图,图3为密集残差块,图4为密集网络结构,图5为插值后得到的图像,图6为本发明重建出的图像。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
本发明实施例如下:
步骤1:使用来自ImageNet数据库的35万张图像的随机样本,利用下采样将HR图像转换成LR图像,生成训练对。
(1.1)选用的数据集包含图像包括动物、建筑物、食物、景观、人、植物等,将数据集里的高分辨率图像进行降率操作,下采样HR图像(BGR,C=3)来获得LR图像具有下采样因子r=4的双三次核。
步骤2:将样本图像分成小批次,使用小批次的样本数据用于在NVIDIATesla M40GPU上训练目标网络。
(2.1)每个小批量,裁剪16个不同训练图像的随机96×96HR子图像,分别输入到生成器模型与判别器当中用于模型训练。其训练主要公式为
其中,训练一个生成函数G,对于一个给定的输入图像LR,能够估计出对应的HR图像。为了实现这个效果,需要将生成网络训练成一个前馈卷积神经网络G。θG={W1:L;b1:L}这里表示一个L层深度网络的权重和偏置,它可以通过优化关于SR的损耗函数lSR获得。训练高分辨率图像为,以及其对应的低分辨率图像
步骤3:将LR图像输入到设计的生成器上,经过多路径残差块提取更多的图像细节。
(3.1)两层卷积层分别设置64个5*5的卷积核和64个3*3的卷积核,两层卷积层的激活函数分别设为随机纠正线性单元(RReLU)激活,RReLU也是Leaky ReLU的一个变体,采用的多路径残差块,采用跨两个残差块的短连接,各残差块结果都连接最后残差块,提取更多的特征。
步骤4:通过卷积核进行降维操作,最后连接一层全连接层压平维度,输出生成的伪图像。
(4.1)使用两个卷积层,小的3×3内核和64个特征映射,采用了GN层归一化层和Randomized Leaky ReLU激活函数,在残差块的基础上每两层之间加上跳跃连接,构成一个全局多路径残差块。用两个经训练的子像素卷积层来增加输入图像的分辨率。
步骤5:为了区分真实的HR图像和生成的SR样本,设计一个鉴别器。将原始高分辨率图像与步骤4 中生成的伪图像输入到鉴别器。
(5.1)使用了Adam算法,其中β1=0.9。对于SRResnet,学习率为10-4,迭代次数为106次。为了防止陷入局部最优解,在训练时我们使用了训练好的基于MSE的SRResNet作为生成器的初始值。所有SRGAN的参数首先以10-4为学习率迭代105次,再以105为学习率迭代105次。
步骤6:使用VGG网络进行特征提取对比,条纹卷积来降低图像分辨率,以获得样本分类的概率。
(6.1)包含VGG网络中的8个卷积核大小为8的卷积层,但对应特征图谱的数量以放大因子2逐渐增多,从64到512。此外,随着特征图谱数的增加,使用了步长卷积方法来降低图像的分辨率,以保持总像素数不变。最终生成的512个特征图谱后有两个dense层。
步骤7:训练生成模型G,其目的是欺骗可区分的鉴别器D,该鉴别器被训练以区分超分辨图像和真实图像。通过这种方法,我们的生成器可以学习创建与真实图像高度相似的解决方案。
(7.1)通过固定鉴别器,训练生成器,然后固定生成器训练生成器,不断地迭代,利用相应的损失函数达到一个相对满意的网络模型。其损失函数定义为:
像素方式的MSE损失计算为:
将VGG损失定义为重建图像的特征表示与参考图像IHR之间的欧氏距离:
其中Hi,j和Wi,j描述VGG网络内各个特征图的尺寸。
Claims (8)
1.一种基于深度学习的图像超分辨率重建方法,其特征是,包括以下步骤:
(1)使用来自ImageNet数据库的35万张图像的随机样本,其中图像包括动物、建筑物、食物、景观、人、植物等,利用下采样将HR图像转换成LR图像,生成训练对。
(2)将样本图像分成小批次,使用小批次的样本数据用于训练目标网络。
(3)将LR图像输入到设计的生成器上,经过多路径残差块提取更多的图像细节。
(4)通过卷积核进行降维操作,最后连接一层全连接层压平维度,输出生成的伪图像。
(5)为了区分真实的HR图像和生成的SR样本,设计一个鉴别器,将原始高分辨率图像与步骤4中生成的伪图像输入到鉴别器。
(6)使用VGG网络进行特征提取对比,条纹卷积来降低图像分辨率,以获得样本分类的概率。
(7)训练生成模型G,其目的是欺骗可区分的鉴别器D,该鉴别器被训练以区分超分辨图像和真实图像,通过这种方法,我们的生成器可以学习创建与真实图像高度相似的解决方案。
2.根据权利要求1所述的一种基于深度学习的图像超分辨率重建方法,其特征是:所述步骤(1)具体为:
(1.1)将数据集里的高分辨率图像进行降率操作,下采样HR图像(BGR,C=3)来获得LR图像具有下采样因子r=4的双三次核。
4.根据权利要求1所述的一种基于深度学习的图像超分辨率重建方法,其特征是:所述步骤(3)具体为:
(3.1)两层卷积层分别设置64个5*5的卷积核和64个3*3的卷积核,两层卷积层的激活函数分别设为随机纠正线性单元(RReLU)激活,RReLU也是Leaky ReLU的一个变体,采用的多路径残差块,采用跨两个残差块的短连接,各残差块结果都连接最后残差块,提取更多的特征。
5.根据权利要求1所述的一种基于深度学习的图像超分辨率重建方法,其特征是:所述步骤(4)具体为:
(4.1)使用两个卷积层,小的3×3内核和64个特征映射,采用了GN层归一化层和Randomized Leaky ReLU激活函数,用两个经训练的子像素卷积层来增加输入图像的分辨率。
6.根据权利要求1所述的一种基于深度学习的图像超分辨率重建方法,其特征是:所述步骤(5)具体为:
(5.1)使用了Adam算法,其中β1=0.9,对于SRResnet,学习率为10-4,迭代次数为106次,为了防止陷入局部最优解,在训练时我们使用了训练好的基于MSE的SRResNet作为生成器的初始值,所有SRGAN的参数首先以10-4为学习率迭代105次,再以105为学习率迭代105次。
7.根据权利要求1所述的一种基于深度学习的图像超分辨率重建方法,其特征是:所述步骤(6)具体为:
(6.1)包含VGG网络中的8个卷积核大小为8的卷积层,但对应特征图谱的数量以放大因子2逐渐增多,从64到512,此外,随着特征图谱数的增加,使用了步长卷积方法来降低图像的分辨率,以保持总像素数不变,最终生成的512个特征图谱后有两个dense层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110371235.1A CN113160055A (zh) | 2021-04-07 | 2021-04-07 | 一种基于深度学习的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110371235.1A CN113160055A (zh) | 2021-04-07 | 2021-04-07 | 一种基于深度学习的图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113160055A true CN113160055A (zh) | 2021-07-23 |
Family
ID=76888539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110371235.1A Pending CN113160055A (zh) | 2021-04-07 | 2021-04-07 | 一种基于深度学习的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160055A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763244A (zh) * | 2021-08-18 | 2021-12-07 | 济宁安泰矿山设备制造有限公司 | 一种用于智能泵腔体故障诊断的内窥镜图像超分辨率重建方法 |
CN114021422A (zh) * | 2021-09-23 | 2022-02-08 | 大连理工大学 | 一种基于跨孔雷达和深度学习的地下结构内部缺陷识别方法 |
CN113763244B (zh) * | 2021-08-18 | 2024-05-14 | 济宁安泰矿山设备制造有限公司 | 一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110189253A (zh) * | 2019-04-16 | 2019-08-30 | 浙江工业大学 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
CN111383173A (zh) * | 2020-02-12 | 2020-07-07 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
CN111640060A (zh) * | 2020-04-30 | 2020-09-08 | 南京理工大学 | 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法 |
CN112381722A (zh) * | 2020-07-23 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
CN112488923A (zh) * | 2020-12-10 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像超分辨率重建方法、装置、存储介质及电子设备 |
-
2021
- 2021-04-07 CN CN202110371235.1A patent/CN113160055A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
CN110189253A (zh) * | 2019-04-16 | 2019-08-30 | 浙江工业大学 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN111383173A (zh) * | 2020-02-12 | 2020-07-07 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
CN111640060A (zh) * | 2020-04-30 | 2020-09-08 | 南京理工大学 | 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法 |
CN112381722A (zh) * | 2020-07-23 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
CN112488923A (zh) * | 2020-12-10 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像超分辨率重建方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
CHRISTIAN LEDIG 等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
米恒等: "基于改进生成式对抗网络的图像超分辨率重建", 《计算机应用与软件》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763244A (zh) * | 2021-08-18 | 2021-12-07 | 济宁安泰矿山设备制造有限公司 | 一种用于智能泵腔体故障诊断的内窥镜图像超分辨率重建方法 |
CN113763244B (zh) * | 2021-08-18 | 2024-05-14 | 济宁安泰矿山设备制造有限公司 | 一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法 |
CN114021422A (zh) * | 2021-09-23 | 2022-02-08 | 大连理工大学 | 一种基于跨孔雷达和深度学习的地下结构内部缺陷识别方法 |
CN114021422B (zh) * | 2021-09-23 | 2024-04-26 | 大连理工大学 | 一种基于跨孔雷达和深度学习的地下结构内部缺陷识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
Dong et al. | RRSGAN: Reference-based super-resolution for remote sensing image | |
CN109685716B (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
CN110738605A (zh) | 基于迁移学习的图像去噪方法、系统、设备及介质 | |
CN111242846A (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
CN112381716B (zh) | 一种基于生成式对抗网络的图像增强方法 | |
Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
CN112669214A (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
CN112396554B (zh) | 一种基于生成对抗网络的图像超分辨率方法 | |
CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
CN115526777A (zh) | 一种盲超分网络建立方法、盲超分方法及存储介质 | |
CN113160055A (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
Liu et al. | Facial image inpainting using multi-level generative network | |
CN114596233A (zh) | 基于注意引导和多尺度特征融合的低照度图像增强方法 | |
CN113096015B (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
Sui et al. | Gcrdn: Global context-driven residual dense network for remote sensing image super-resolution | |
CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
Lei et al. | HFF-SRGAN: super-resolution generative adversarial network based on high-frequency feature fusion | |
CN105528772B (zh) | 一种基于指导性滤波的图像融合方法 | |
CN111986079A (zh) | 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置 | |
CN116152061A (zh) | 一种基于模糊核估计的超分辨率重建方法 | |
Wang | Single image super-resolution with u-net generative adversarial networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210723 |