CN113362255A - 一种基于改进dcgan的文字图像修复方法及系统 - Google Patents

一种基于改进dcgan的文字图像修复方法及系统 Download PDF

Info

Publication number
CN113362255A
CN113362255A CN202110750669.2A CN202110750669A CN113362255A CN 113362255 A CN113362255 A CN 113362255A CN 202110750669 A CN202110750669 A CN 202110750669A CN 113362255 A CN113362255 A CN 113362255A
Authority
CN
China
Prior art keywords
dcgan
layer
attention
image
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110750669.2A
Other languages
English (en)
Inventor
刘学平
杨子昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110750669.2A priority Critical patent/CN113362255A/zh
Publication of CN113362255A publication Critical patent/CN113362255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请公开了一种基于改进DCGAN的文字图像修复方法及系统，涉及深度学习技术领域。该方法包括以下步骤：获取包括多张汉字图像的图像数据集；汉字图像为包含至少一种中文字体的图像；对图像数据集进行数据增强处理得到样本数据集；构建attention‑DCGAN模型；利用训练集训练attention‑DCGAN模型，得到训练好的attention‑DCGAN模型；再将待修复的文字图像输入训练好的attention‑DCGAN模型，得到修复后的文字图像。本申请用于在文字图像具有较强烈的背景噪声、大面积遮挡、部分笔画丢失的情况下仍可以得到较为清晰的修复图像。

Description

一种基于改进DCGAN的文字图像修复方法及系统
技术领域
本申请涉及深度学习技术领域，尤其涉及一种基于改进DCGAN的文字图像修复方法及系统。
背景技术
深度学习起源于对人工神经网络的研究，目的在于模拟人脑来获取和辨别事物。其特点在于组合低层特征形成抽象的高层，从而发现数据的分布式特征。对抗式生成网络(GAN)的特点是能够提取样本中的特征分布，并且能获取某种映射，将从随机空间中的向量映射到样本的分布上，以实现虚拟样本的自动生成。
DCGAN(深度卷积生成对抗网络)的判别器和生成器都使用了卷积神经网络(CNN)来替代GAN中的多层感知机，同时为了使整个网络可微，拿掉了CNN中的池化层，另外将全连接层以全局池化层替代以减轻计算量。大量图像修复算法从原理上都是基于DCGAN网络完成，但是在使用DCGAN网络对文字图像进行修复时，会出现一些错误的汉字，由于文字图像的特殊性，生成的图像在语义上的偏差会导致结果出现无法接受的错误。
发明内容
本申请的提供一种基于改进DCGAN的文字图像修复方法及系统，将多个self-attention结构嵌入至DCGAN网络中，使输出的特征图权重具有全局感受野，综合了各个通道的信息，增强了特征图的表达能力，避免了因笔画丢失部位、遮挡部位以及噪声的干扰而无法准确修复图像的弊端。
一方面，为达到上述目的，本申请提供了一种基于改进DCGAN的文字图像修复方法，包括以下步骤：
获取包括多张汉字图像的图像数据集；其中，所述汉字图像为包含至少一种中文字体的图像；
对所述图像数据集进行数据增强处理得到样本数据集；
将至少一个self-attention结构嵌入DCGAN网络，得到attention-DCGAN模型；
利用样本数据集训练attention-DCGAN模型，得到训练好的attention-DCGAN模型；
将待修复的文字图像输入训练好的attention-DCGAN模型，得到修复后的文字图像。
进一步地是，将至少一个self-attention结构嵌入DCGAN网络，得到attention-DCGAN模型的步骤具体包括：
构建DCGAN网络，其中，DCGAN网络包括生成器和判别器，所述生成器采用编码器-解码器结构，所述编码器包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，所述解码器包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层；
在编码器的第一卷积层和第二卷积层之后以及解码器的第三反卷积层和第四反卷积层之前均连接一个self-attention结构，得到attention-DCGAN模型。
进一步地是，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层的卷积核的尺寸均为5×5，步长为2的卷积层，所述第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层的卷积核的尺寸均为5×5，步长为2的反卷积层，每个卷积层及反卷积层均用leakyReLU作为激活函数，并进行批标准化操作。
进一步地是，每个所述self-attention结构的特征图的输入尺寸分别与其连接的卷积层或反卷积层的特征图的输出尺寸相同。
进一步地是，所述数据增强处理的方法包括缩放、裁剪、仿射变换、掩膜重叠、增加噪声中的一种或几种。
进一步地是，所述汉字图像为人工合成的且包含19种中文文字的二值化图像。
另一方面，本申请还提供一种基于改进DCGAN的文字图像修复系统，包括：
获取模块：获取包括多张汉字图像的图像数据集；其中，所述汉字图像为包含至少一种中文字体的图像；
数据增强处理模块：对所述图像数据集进行数据增强处理得到样本数据集；
模型训练模块：构建attention-DCGAN模型，并利用样本数据集训练attention-DCGAN模型。
另一方面,本申请还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现一种基于改进DCGAN的文字图像修复方法的步骤。
本申请相比现有技术具有以下有益效果：本申请可用于碑刻文物上模糊字迹的虚拟修复。当文字图像中含大量的噪声、大面积遮挡以及笔画丢失时，模型仍能够准确地修复图像，减少图像中错误笔画的生成，提高了修复的准确度。由于attention-DCGAN使用self-attention结构，输出的特征图权重具有全局感受野，综合了各个通道的信息，增强了特征图的表达能力，提升了模型在笔画残留区域的检测效果，削弱了笔画丢失部位、遮挡部位以及噪声的干扰。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为attention-DCGAN网络结构图；
图2为self-attention的结构图；
图3为attention-DCGAN修复结果图；
图4为DCGAN修复效果图；
图5为实施例1的基于改进DCGAN的图像修复方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
一种基于改进DCGAN的文字图像修复方法，包括以下步骤：
S1：获取包括多张汉字图像的图像数据集；其中，汉字图像为包含至少一种中文字体的图像；
S2：对图像数据集进行数据增强处理得到样本数据集；
S3：将至少一个self-attention结构嵌入DCGAN网络，得到attention-DCGAN模型。
S4：利用样本数据集训练attention-DCGAN模型，得到训练好的attention-DCGAN模型；
将待修复的文字图像输入训练好的attention-DCGAN模型，得到修复后的文字图像。
作为本发明一个优选的实施例，S3步骤具体包括：
构建DCGAN网络，DCGAN网络包括生成器和判别器，生成器采用编码器-解码器结构，编码器包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，解码器包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层。
作为本发明一个优选的实施例，self-attention结构可以在单个卷积层上设置，也可以在不同的卷积层上设置，或只在编码层或解码层设置。当self-attention结构设置在不同的卷积层时，能够提取不同深度的特征。
作为本发明一个优选的实施例，每个self-attention结构的特征图的输入尺寸分别与其连接的卷积层或反卷积层的特征图的输出尺寸相同。
作为本发明一个优选的实施例，数据增强处理的方法包括缩放、裁剪、仿射变换、掩膜重叠、增加噪声中的一种或几种。
作为本发明一个优选的实施例，汉字图像为人工合成的且包含19种中文文字的二值化图像。
实施例1：参见图5，本申请实施例提供了一种基于改进DCGAN的文字图像修复方法，具体包括以下步骤：
S1：获取包括大量汉字图像的图像数据集；其中，汉字图像为人工合成的且包含19种中文文字的二值化图像，图像的分辨率为128×128。
S2：对图像数据集进行数据增强处理得到样本数据集。数据增强处理的方法可以包括但不限于缩放、裁剪、仿射变换、掩膜重叠、增加噪声中的一种或几种。从样本数据集中随机选取训练集，剩余的作为测试集。
S3：参见图1、图2，构建attention-DCGAN模型
S31：首先搭建开发平台，CPU选用Intel(R)Core(TM)i9，GPU选用NVIDIA GeForceGTX 2080Ti，操作系统选用Windows 7，深度学习框架为Pytorch。
S32：搭建基于GPU加速的DCGAN网络
DCGAN网络包括生成器和判别器，生成器采用编码器-解码器结构，编码器包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，解码器包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层；第一卷积层、第二卷积层、第三卷积层和第四卷积层均采用的卷积核的尺寸均为5×5，步长为2的卷积层；第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层均采用的卷积核的尺寸均为5×5，步长为2的反卷积层；每个卷积层及反卷积层均用leakyReLU作为激活函数，并进行批标准化操作。
S33：搭建attention-DCGAN模型
在编码器的第一卷积层和第二卷积层之后以及编码器中与第一卷积层和第二卷积层相对应的反卷积层之前均连接一个self-attention结构，得到attention-DCGAN模型。其中，每个self-attentinon结构的特征图的输入尺寸分别与其对应的卷积层或反卷积层的特征图的输出尺寸相同。self-attention结构设置在不同的卷积层，能够提取不同深度的特征。
参见图2，由于self-attention结构的输入与输出是同尺寸的，不会改变输入特征图的尺寸与通道数，因此可以直接将self-attention结构连接在DCGAN的编码器和解码器的卷积层上。
self-attentinon层的输入经过三个不同的1×1的卷积核后得到三个特征矩阵Query(记为Q)、Key(记为K)以及Value(记为V)，对QTK进行归一化softmax操作后，再左乘V矩阵对其进行加权，最后输出与输入同尺寸的特征图。
S4：利用训练集训练attention-DCGAN模型
将步骤S3搭建的attention-DCGAN模型在训练集上从头开始训练100次。具体参数设置如下：批处理数为128，梯度优化使用Adam算法，初始学习率为0.00001，生成器学习率为0.00001，判别器学习率为0.00001。保存训练过程中的数据，训练结束后保存权重数据。
S5：加载S4的权重数据，在测试集上对训练好的attention-DCGAN模型进行验证。具体参数设置如下：DCGAN批处理数为64，attention-GAN批处理数为16，最终得到如图3所示的修复图片。
参见图3、图4，实施例1中训练的attention-DCGAN的模型的性能测试。
在DCGAN模型以及训练好的attention-DCGAN模型中分别加载权重数据，并在测试集上进行验证，具体参数设置如下：DCGAN批处理数为64，attention-GAN批处理数为16，最终得到修复图片，如图3、4所示。
从图3、4中可以看出，在测试集上，DCGAN的修复效果不佳，存在大量虚影和错误笔画，而attention-DCGAN的修复效果明显更佳，对于多数模糊图像都能较完整地修复，只有在掩膜遮挡量过大时，才会出现部分虚影，显然，attention-DCGAN提取了模糊图像中的语义信息，修复效果更贴近真实情况。
实施例2：一种基于改进DCGAN的文字图像修复系统，包括：
获取模块：获取包括多张汉字图像的图像数据集；其中，汉字图像为包含至少一种中文字体的图像；
数据增强处理模块：对图像数据集进行数据增强处理得到样本数据集。
模型训练模块：构建attention-DCGAN模型，并利用训练集训练attention-DCGAN模型。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于改进DCGAN的文字图像修复方法，其特征在于，包括以下步骤：
获取包括多张汉字图像的图像数据集；其中，所述汉字图像为包含至少一种中文字体的图像；
对所述图像数据集进行数据增强处理得到样本数据集；
将至少一个self-attention结构嵌入DCGAN网络，得到attention-DCGAN模型；
利用样本数据集训练attention-DCGAN模型，得到训练好的attention-DCGAN模型；
将待修复的文字图像输入训练好的attention-DCGAN模型，得到修复后的文字图像。
2.根据权利要求1所述的一种基于改进DCGAN的文字图像修复方法，其特征在于，将至少一个self-attention结构嵌入DCGAN网络，得到attention-DCGAN模型的步骤具体包括：
构建DCGAN网络，其中，DCGAN网络包括生成器和判别器，所述生成器采用编码器-解码器结构，所述编码器包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，所述解码器包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层；
在编码器的第一卷积层和第二卷积层之后以及解码器的第三反卷积层和第四反卷积层之前均连接一个self-attention结构，得到attention-DCGAN模型。
3.根据权利要求2所述的一种基于改进DCGAN的文字图像修复方法，其特征在于，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层的卷积核的尺寸均为5×5，步长为2的卷积层，所述第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层的卷积核的尺寸均为5×5，步长为2的反卷积层；每个卷积层及反卷积层均用leakyReLU作为激活函数，并进行批标准化操作。
4.根据权利要求3所述的一种基于改进DCGAN的文字图像修复方法，其特征在于，每个所述self-attention结构的特征图的输入尺寸分别与其连接的卷积层或反卷积层的特征图的输出尺寸相同。
5.根据权利要求1所述的一种基于改进DCGAN的文字图像修复方法，其特征在于，所述数据增强处理的方法包括缩放、裁剪、仿射变换、掩膜重叠、增加噪声中的一种或几种。
6.根据权利要求1所述的一种基于改进DCGAN的文字图像修复方法，其特征在于，所述汉字图像为人工合成的且包含19种中文文字的二值化图像。
7.一种基于改进DCGAN的文字图像修复系统，其特征在于，包括：
获取模块：获取包括多张汉字图像的图像数据集；其中，所述汉字图像为包含至少一种中文字体的图像；
数据增强处理模块：对所述图像数据集进行数据增强处理得到样本数据集；
模型训练模块：构建attention-DCGAN模型，并利用样本数据集训练attention-DCGAN模型。
8.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至6中任一项所述方法的步骤。
CN202110750669.2A 2021-07-01 2021-07-01 一种基于改进dcgan的文字图像修复方法及系统 Pending CN113362255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110750669.2A CN113362255A (zh) 2021-07-01 2021-07-01 一种基于改进dcgan的文字图像修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110750669.2A CN113362255A (zh) 2021-07-01 2021-07-01 一种基于改进dcgan的文字图像修复方法及系统

Publications (1)

Publication Number Publication Date
CN113362255A true CN113362255A (zh) 2021-09-07

Family

ID=77537978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110750669.2A Pending CN113362255A (zh) 2021-07-01 2021-07-01 一种基于改进dcgan的文字图像修复方法及系统

Country Status (1)

Country Link
CN (1) CN113362255A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330237A (zh) * 2021-12-31 2022-04-12 湘潭大学 一种基于嵌套编-解码网络的中文字体生成方法及系统
CN115797216A (zh) * 2022-12-14 2023-03-14 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法
CN116091363A (zh) * 2023-04-03 2023-05-09 南京信息工程大学 一种书法汉字图像修复方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GE SONG ET AL.: "Occluded offline handwritten Chinese character inpainting via generative adversarial network and self-attention mechanism", 《NEUROCOMPUTING》, vol. 415, 28 July 2020 (2020-07-28), pages 146 - 156, XP086287401, DOI: 10.1016/j.neucom.2020.07.046 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330237A (zh) * 2021-12-31 2022-04-12 湘潭大学 一种基于嵌套编-解码网络的中文字体生成方法及系统
CN115797216A (zh) * 2022-12-14 2023-03-14 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法
CN115797216B (zh) * 2022-12-14 2024-05-24 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法
CN116091363A (zh) * 2023-04-03 2023-05-09 南京信息工程大学 一种书法汉字图像修复方法及系统

Similar Documents

Publication Publication Date Title
CN109377452B (zh) 基于vae和生成式对抗网络的人脸图像修复方法
CN110136154A (zh) 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN111612708B (zh) 一种基于对抗生成网络的图像修复方法
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN114092833B (zh) 遥感图像分类方法、装置、计算机设备和存储介质
CN115018727B (zh) 一种多尺度图像修复方法、存储介质及终端
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN113362255A (zh) 一种基于改进dcgan的文字图像修复方法及系统
CN112580782A (zh) 基于通道增强的双注意力生成对抗网络及图像生成方法
CN113592007B (zh) 一种基于知识蒸馏的不良图片识别系统、方法、计算机及存储介质
CN111274999B (zh) 数据处理、图像处理方法、装置及电子设备
CN113298736B (zh) 一种基于面部样式的人脸图像修复方法
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN115223012A (zh) 一种去遮罩人脸恢复的方法、装置、计算机设备和介质
CN111291704A (zh) 干扰去除方法、装置、计算机设备和存储介质
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN113095156A (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
CN115909172A (zh) 深度伪造视频检测分割识别系统、终端及存储介质
CN116630183A (zh) 一种基于生成式对抗网络的文字图像修复方法
CN110675311A (zh) 一种素描序约束下的素描生成的方法、装置及存储介质
CN117036368A (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN114387524A (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN114862696A (zh) 一种基于轮廓和语义引导的人脸图像修复方法
CN113449620A (zh) 基于语义分割的表格检测方法、装置、设备和介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210907

RJ01 Rejection of invention patent application after publication