CN109345441A - 一种基于生成对抗网络的图像去水印方法和系统 - Google Patents
一种基于生成对抗网络的图像去水印方法和系统 Download PDFInfo
- Publication number
- CN109345441A CN109345441A CN201811221718.8A CN201811221718A CN109345441A CN 109345441 A CN109345441 A CN 109345441A CN 201811221718 A CN201811221718 A CN 201811221718A CN 109345441 A CN109345441 A CN 109345441A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- watermarked
- generator
- confrontation network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012545 processing Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 28
- 238000012512 characterization method Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000017105 transposition Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种基于生成对抗网络的图像去水印方法和系统，大大提升了图像去水印的效果。其技术方案为：将图像输入生成网络中，生成对抗网络中的生成网络根据输入图像生成相应的无水印图像，然后对抗网络根据生成网络输出图像的整体和局部特征判断是否为符合要求的图像，在此基础上再针对生成网络和对抗网络进行了部分优化。
Description
技术领域
本发明涉及图像处理技术，具体涉及一种应用于图像处理和视频处理领域的图像去水印的方法和系统。
背景技术
在数字化的背景下，很多企业机构为提升工作效率，降低人力成本，纷纷引入扫描和OCR等技术，实现公司资料、合同文档、证件文书等纸质信息的高速录入。在文档资料电子化过程中，会有一定比例的文档存在有水印的情况，如工商局加盖水印的内档文件、客户增加手写签名的底稿文件等。这些加盖水印的文档正常难以进行文字识别，给后期的文本挖掘造成了障碍。因此，想要达到比较好的文本挖掘效果，需要对这些加盖水印的文档进行处理。
传统去水印的方法包括锐化、维纳滤波、小波变换等，但这些方法都有比较大的使用局限，造成的结果是水印去除不彻底以及原有图像信息的丢失。随着近年来计算机的发展以及深度学习的不断研究，使用更有效的深度学习方法来解决传统的研究问题显得更加的有效可行。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种基于生成对抗网络的图像去水印方法和系统，大大提升了图像去水印的效果。
本发明的技术方案为：本发明揭示了一种基于生成对抗网络的图像去水印方法，包括：
准备数据集，其中数据集包括至少一张带水印图像和对应的原始的无水印图像；
将带水印图像输入生成网络，生成网络根据定义的神经元类型、数目及连接方式进行计算处理，输出处理后为无水印图像；
将生成网络输出的无水印图像和对应的原始的无水印图像共同输入至对抗网络，以使对抗网络对输入数据进行区别分类，以判断生成网络输出的无水印图像是否符合要求；
重复前两步，对抗网络的输出反馈至生成网络，基于对抗网络的输出反馈结果来优化生成网络。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，在将带水印图像输入生成网络之前还包括：
对数据集进行包括尺度归一化在内的图像预处理。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，图像预处理还包括对图像进行降噪处理以去除图像中的干扰颜色，以及先裁剪图像周围的空白区域再进行尺度归一化处理。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，生成网络包括一个用于处理图像整体的全局生成器和多个用于处理图像局部细节的局部生成器。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，全局生成器的处理过程包括：
先通过卷积前端处理进行卷积操作，提取带水印图像的整体的图像空间表征；
再利用残差网络建立深度卷积层；
最后通过卷积后端处理进行反向卷积操作，在学习到的整体的图像空间表征的基础上通过上采样构建无水印图像。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，残差网络通过在多层神经网络的连接中添加多个捷径以实现梯度远距离传递，避免梯度弥散的出现，其中残差网络中包括残差块，残差块由卷积层、InstanceNorm层和Relu激活函数层共同构成。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，局部生成器的处理过程包括：
先通过卷积前端处理进行卷积操作，提取带水印图像的局部细节的图像空间表征；
最后通过卷积后端处理进行反向卷积操作，在学习到的局部细节的图像空间表征的基础上通过上采样构建无水印图像。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，全局生成器和局部生成器进行特征匹配损失的处理。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，包括全局生成器和多个局部生成器的生成网络的训练处理过程包括：
一次将多个带水印图像输入到生成网络中，先单独训练全局生成器一定轮数，再单独训练局部生成器一定轮数，最后将全局生成器和局部生成器的网络参数加以保持并加载单独训练的网络参数后进一步训练全局生成器和局部生成器。
根据本发明的基于生成对抗网络的图像去水印方法的一实施例，采用多个不同尺度的对抗网络，各个生成器的输出与对应尺度的对抗网络的输入相连，每一尺度的对抗网络的输出再反馈至对应的生成器。
本发明还揭示了一种基于生成对抗网络的图像去水印系统的一实施例，包括：
数据集预备模块，准备数据集，其中数据集包括至少一张带水印图像和对应的原始的无水印图像；
生成网络处理模块，将带水印图像输入生成网络，生成网络根据定义的神经元类型、数目及连接方式进行计算处理，输出处理后为无水印图像；
对抗网络处理模块，将生成网络输出的无水印图像和对应的原始的无水印图像共同输入至对抗网络，以使对抗网络对输入数据进行区别分类，以判断生成网络输出的无水印图像是否符合要求；
其中对抗网络处理模块的输出反馈至生成网络处理模块，基于对抗网络处理模块的输出反馈结果来优化生成网络。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，系统还包括：
图像预处理模块，对数据集进行包括尺度归一化在内的图像预处理。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，图像预处理模块还配置为对图像进行降噪处理以去除图像中的干扰颜色，以及先裁剪图像周围的空白区域再进行尺度归一化处理。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，生成网络处理模块中包括一个用于处理图像整体的全局生成器和多个用于处理图像局部细节的局部生成器。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，全局生成器包括：
第一卷积前端模块，通过卷积前端处理进行卷积操作，提取带水印图像的整体的图像空间表征；
残差网络模块，利用残差网络建立深度卷积层；
第一转置卷积后端模块，通过卷积后端处理进行反向卷积操作，在学习到的整体的图像空间表征的基础上通过上采样构建无水印图像。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，残差网络模块通过在多层神经网络的连接中添加多个捷径以实现梯度远距离传递，避免梯度弥散的出现，其中残差网络模块中包括残差块，残差块由卷积层单元、InstanceNorm层单元和Relu激活函数层单元共同构成，其中InstanceNorm层单元用于对数据进行归一化，Relu激活函数层单元用于将非线性特性引入神经网络以方便梯度传递。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，局部生成器包括：
第二卷积前端模块，通过卷积前端处理进行卷积操作，提取带水印图像的局部细节的图像空间表征；
第二转置卷积后端模块，通过卷积后端处理进行反向卷积操作，在学习到的局部细节的图像空间表征的基础上通过上采样构建无水印图像。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，全局生成器和局部生成器进行特征匹配损失的处理。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，包括全局生成器和多个局部生成器的生成网络处理模块被配置为：一次将多个带水印图像输入到生成网络中，先单独训练全局生成器一定轮数，再单独训练局部生成器一定轮数，最后将全局生成器和局部生成器的网络参数加以保持并加载单独训练的网络参数后进一步训练全局生成器和局部生成器。
根据本发明的基于生成对抗网络的图像去水印系统的一实施例，对抗网络处理模块采用多个不同尺度的对抗网络，各个生成器的输出与对应尺度的对抗网络的输入相连，每一尺度的对抗网络的输出再反馈至对应的生成器。
本发明还揭示了一种基于生成对抗网络的图像去水印系统，包括：
处理器；以及
存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，
其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行前述的方法。
本发明还揭示了一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计算装置执行时，使得计算装置进行前述的方法。
本发明对比现有技术有如下的有益效果：本发明主要通过构建生成对抗网络，利用深度去水印算法，提供一种更加高效显著的文档去水印方法。在实际使用中将图像输入生成网络中，生成对抗网络中的生成网络根据输入图像生成相应的无水印图像，然后鉴别网络(对抗网络)根据生成网络输出图像的整体和局部特征判断是否为符合要求的图像，在此基础上再针对生成网络和鉴别网络进行了部分优化。
相较于现有的去水印方法，本发明有几方面优势：1、引入了生成对抗网络，能较好的模拟图像的真实分布，有效去除水印而不会破坏图像原本的像素；2、引入了多维度的生成器(生成网络)和鉴别器(对抗网络)，能更好的区分水印和原本图片的差异，保留原本图片的细节；3、支持任意分辨率图像文件。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了本发明的基于生成对抗网络的图像去水印方法的一实施例的流程图。
图2示出了全局生成器G1的原理图。
图3示出了残差块的原理图。
图4示出了局部生成器G2的原理图。
图5示出了对抗网络的原理图。
图6示出了本发明的基于生成对抗网络的图像去水印系统的一实施例的原理图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
请参见图1，图1示出了本发明的基于生成对抗网络的图像去水印方法的实施例的实现流程。下面对本发明的方法中各实施步骤进行详述。
步骤S1：准备数据集，所述数据集包括多张真实有水印图像和对应的无水印图像。
步骤S2：针对数据集进行图像预处理，进行尺度归一化生成M×M的图像，从而建立图像数据库，其中M取正整数。
较佳的，在本步骤中，使用OpenCV或其他机器学习方法进行图像降噪，去除图像中的一些干扰颜色，输入较为干净的图像。
较佳的，在本步骤中，先裁剪图像周围的空白区域，再压缩图像到M×M的尺寸，确保图像精度的同时降低了后期计算量。
步骤S3：将带水印图像输入生成网络，生成网络根据定义的神经元类型、数目及连接方式进行计算处理，输出处理后为无水印图像。这个处理过程相当于对输入图像进行“编码-解码”过程，生成无水印图像。
在本步骤中，构建多个局部生成器和一个全局生成器所组成的生成网络，局部生成器处理图片的细节部分，全局生成器处理图片的整体，使得处理后的图像整体和细节效果均更好，提升图像处理效果。例如，生成网络拆分成两个子网络G＝{G1,G2}，其中G1是全局生成器，G2是局部生成器。
如图2所示，全局生成器G1由卷积前端模块残差网络模块和转置卷积后端模块组成。卷积前端模块用于获取图像表征；残差网络模块利用残差网络，帮助建立深度卷积层；卷积后端模块在前面学习到的图像表征的基础上通过上采样构建无水印图像。其中卷积前端模块由3*3卷积层单元和2倍下采样层单元组成。3*3卷积层单元和2倍下采样层单元通过将卷积核设置为3*3，步幅为2进行卷积操作，提取图片空间表征。残差网络模块由第一残差层单元和第二残差层单元组成，其中第一残差层单元由3个残差块(Residual Block)组成，第二残差层单元由1个残差块组成，第一残差层单元和第二残差层单元均用于实现残差网络的功能。转置卷积后端模块由2倍上采样层单元和3*3卷积层单元组成。3*3卷积层单元和2倍上采样层单元通过将卷积核设置为3*3，步幅为2的反向卷积操作，实现图片生成。
传统卷积神经网络模型都以层叠卷积层的方式提高网络深度，从而提高识别精度。但层叠过多的卷积层会出现梯度弥散(Vanishing)问题，反向传播无法有效地把梯度更新到前面的网络层，导致前面的层参数无法更新。
残差网络模块用于避免多层神经网络的梯度消失(亦即梯度弥散)和梯度爆炸等现象，具体而言是残差块通过在多层神经网络的连接中，添加多个“捷径”(shortcutconnection)，帮助梯度远距离传递，从而避免上述问题。残差网络模块可以是包含残差块的神经网络，也可以指一个或多个残差块。在本实施例中，如图3所示，一个残差块具体是由5*5卷积层单元、InstanceNorm层单元和Relu激活函数层单元组成。InstanceNorm层单元用于对数据进行归一化，对防止模型过拟合有效果。Relu激活函数层单元中的Relu激活函数是常用激活函数之一，激活函数的作用是将非线性特性引入神经网络，而Relu激活函数本身特性之一就是方便梯度传递，并对防止梯度消失有一定效果。
如图4所示，局部生成器G2由卷积前端模块和转置卷积后端模块组成。卷积前端模块用于获取图像表征；卷积后端模块在前面学习到的图像表征的基础上通过上采样构建无水印图像。其中卷积前端模块由3*3卷积层单元和2倍下采样层单元组成。转置卷积后端模块由2倍上采样层单元和3*3卷积层单元组成。局部生成器G2的2倍上采样层单元、3*3卷积层单元和2倍下采样层单元所实现的功能和全局生成器G1的对应部分相同，因此不再赘述。
由于生成器要产生不同尺度的图像，为使训练更加稳定，这里引入特征匹配损失：
其中表示特征匹配损失，x表示生成出的无水印图像，s表示真实无水印图像，表示判别器(判别器就是对抗网络)，Dk提取的第i层特征，T为总的层数，Ni为该层总元素的个数。于是，总的目标函数(目标函数就是生成网络需要优化的对象，通过优化目标函数来调整网络参数)如下：
其中，λ是一个通过训练调整的参数，用来控制加好左右两边式子的重要性；其他符号前面已说明。
在本步骤中，一次将一个数组(数组是图像的数据形式)输入到生成网络中，先单独训练全局生成器一定轮数，再单独训练局部生成器一定轮数，将他们的网络参数(网络参数泛指模型中的训练权重和偏置变量)保存下来，然后加载单独训练的网络参数，同时在加载网络参数后进一步训练局部生成器和全局生成器。
步骤S4：将生成网络输出的无水印图像和原始无水印图像共同输入至对抗网络，以使对抗网络对其进行区别分类。
对抗网络的功能是对输出的无水印图像和原始无水印图像进行对比判断，具体分类见下面的关于sigmiod/softmax的区别，分类的结果会反馈给生成器，生成器根据结果调整网络参数。
在本步骤中，采用多个不同尺度的对抗网络，生成器的输出与对抗网络的输入相连，对抗网络的输出再反馈至生成器。
如图5所示，对抗网络由3×3卷积层模块、Relu激活函数层模块、全连接层模块和sigmiod/softmax层模块组成。Relu激活函数层模块给模型添加非线性特征，全连接层模块和sigmiod/softmax层模块进行判别的类型分类。例如，如果使用sigmoid，那就是二元分类，判别的类别就是“符合要求”，“不符合要求”。如果提前设定多个特征，则使用softmax。其中sigmiod/softmax层模块根据标签类型数量(标签类型数量是指判别的类别数量)进行选择，当标签类型数量小于等于2时采用sigmiod，当标签类型数量大约2时采用softmax进行处理。
步骤S5：重复步骤S3和步骤S4，调整生成网络，拟合生成网络的细节部分直至消除水印，保存生成网络训练过程中得到的网络模型与参数数值。
图6示出了本发明的基于生成对抗网络的图像去水印系统的一实施例的原理。请参见图6，本实施例的系统包括：数据集预备模块、生成网络处理模块、对抗网络处理模块。较佳的，还可以包括图像预处理模块。
数据集预备模块用于准备数据集，其中数据集包括至少一张带水印图像和对应的原始的无水印图像。
图像预处理模块用于对数据集进行包括尺度归一化在内的图像预处理。此外，图像预处理模块还配置为对图像进行降噪处理以去除图像中的干扰颜色，以及先裁剪图像周围的空白区域再进行尺度归一化处理。
生成网络处理模块用于将带水印图像输入生成网络，生成网络根据定义的神经元类型、数目及连接方式进行计算处理，输出处理后为无水印图像。这个处理过程相当于对输入图像进行“编码-解码”过程，生成无水印图像。
生成网络处理模块中包括一个用于处理图像整体的全局生成器和多个用于处理图像局部细节的局部生成器。例如，生成网络拆分成两个子网络G＝{G1,G2}，其中G1是全局生成器，G2是局部生成器。使得处理后的图像整体和细节效果均更好，提升图像处理效果。
全局生成器进一步包括第一卷积前端模块、残差网络模块和第一转置卷积后端模块。
第一卷积前端模块用于通过卷积前端处理进行卷积操作，提取带水印图像的整体的图像空间表征。
第一卷积前端模块由3*3卷积层单元和2倍下采样层单元组成。3*3卷积层单元和2倍下采样层单元通过将卷积核设置为3*3，步幅为2进行卷积操作，提取图片空间表征。
传统卷积神经网络模型都以层叠卷积层的方式提高网络深度，从而提高识别精度。但层叠过多的卷积层会出现梯度弥散(Vanishing)问题，反向传播无法有效地把梯度更新到前面的网络层，导致前面的层参数无法更新。残差网络模块用于利用残差网络建立深度卷积层。残差网络模块通过在多层神经网络的连接中添加多个捷径以实现梯度远距离传递，避免梯度弥散的出现，其中残差网络模块中包括残差块，残差块由卷积层单元、InstanceNorm层单元和Relu激活函数层单元共同构成，其中InstanceNorm层单元用于对数据进行归一化，Relu激活函数层单元用于将非线性特性引入神经网络以方便梯度传递。
第一转置卷积后端模块用于通过卷积后端处理进行反向卷积操作，在学习到的整体的图像空间表征的基础上通过上采样构建无水印图像。
第一转置卷积后端模块由2倍上采样层单元和3*3卷积层单元组成。3*3卷积层单元和2倍上采样层单元通过将卷积核设置为3*3，步幅为2的反向卷积操作，实现图片生成。
局部生成器包括第二卷积前端模块和第二转置卷积后端模块。
第二卷积前端模块通过卷积前端处理进行卷积操作，提取带水印图像的局部细节的图像空间表征。
第二转置卷积后端模块通过卷积后端处理进行反向卷积操作，在学习到的局部细节的图像空间表征的基础上通过上采样构建无水印图像。
其中第二卷积前端模块由3*3卷积层单元和2倍下采样层单元组成。第二转置卷积后端模块由2倍上采样层单元和3*3卷积层单元组成。局部生成器的2倍上采样层单元、3*3卷积层单元和2倍下采样层单元所实现的功能和全局生成器的对应部分相同，因此不再赘述。
全局生成器和局部生成器进行特征匹配损失的处理。由于生成器要产生不同尺度的图像，为使训练更加稳定，这里引入特征匹配损失：
其中表示特征匹配损失，x表示生成出的无水印图像，s表示真实无水印图像，表示判别器(判别器就是对抗网络)，Dk提取的第i层特征，T为总的层数，Ni为该层总元素的个数。于是，总的目标函数(目标函数就是生成网络需要优化的对象，通过优化目标函数来调整网络参数)如下：
其中，λ是一个通过训练调整的参数，用来控制加好左右两边式子的重要性；其他符号前面已说明。
包括全局生成器和多个局部生成器的生成网络处理模块被配置为：一次将多个带水印图像输入到生成网络中，先单独训练全局生成器一定轮数，再单独训练局部生成器一定轮数，最后将全局生成器和局部生成器的网络参数加以保持并加载单独训练的网络参数后进一步训练全局生成器和局部生成器。
对抗网络处理模块用于将生成网络输出的无水印图像和对应的原始的无水印图像共同输入至对抗网络，以使对抗网络对输入数据进行区别分类，以判断生成网络输出的无水印图像是否符合要求，对抗网络处理模块的输出反馈至生成网络处理模块，基于对抗网络处理模块的输出反馈结果来优化生成网络。
对抗网络的功能是对输出的无水印图像和原始无水印图像进行对比判断，具体分类见下面的关于sigmiod/softmax的区别，分类的结果会反馈给生成器，生成器根据结果调整网络参数。
对抗网络处理模块采用多个不同尺度的对抗网络，各个生成器的输出与对应尺度的对抗网络的输入相连，每一尺度的对抗网络的输出再反馈至对应的生成器。
如图5所示，对抗网络处理模块由3×3卷积层模块、Relu激活函数层模块、全连接层模块和sigmiod/softmax层模块组成。Relu激活函数层模块给模型添加非线性特征，全连接层模块和sigmiod/softmax层模块进行判别的类型分类。例如，如果使用sigmoid，那就是二元分类，判别的类别就是“符合要求”，“不符合要求”。如果提前设定多个特征，则使用softmax。其中sigmiod/softmax层模块根据标签类型数量(标签类型数量是指判别的类别数量)进行选择，当标签类型数量小于等于2时采用sigmiod，当标签类型数量大约2时采用softmax进行处理。
此外，本发明还公开了一种基于生成对抗网络的图像去水印系统，系统包括处理器和存储器。存储器被配置为存储一系列计算机可执行的指令以及与这一系列计算机可执行的指令相关联的计算机可访问的数据，其中，当这一系列计算机可执行的指令被处理器执行时，使得处理器进行如前述实施例中的方法。
本发明还公开了一种非临时性计算机可读存储介质，非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当这一系列可执行的指令被计算装置执行时，使得计算装置进行如前述实施例中的方法。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
Claims (22)
1.一种基于生成对抗网络的图像去水印方法，其特征在于，包括：
准备数据集，其中数据集包括至少一张带水印图像和对应的原始的无水印图像；
将带水印图像输入生成网络，生成网络根据定义的神经元类型、数目及连接方式进行计算处理，输出处理后为无水印图像；
将生成网络输出的无水印图像和对应的原始的无水印图像共同输入至对抗网络，以使对抗网络对输入数据进行区别分类，以判断生成网络输出的无水印图像是否符合要求；
重复前两步，对抗网络的输出反馈至生成网络，基于对抗网络的输出反馈结果来优化生成网络。
2.根据权利要求1所述的基于生成对抗网络的图像去水印方法，其特征在于，在将带水印图像输入生成网络之前还包括：
对数据集进行包括尺度归一化在内的图像预处理。
3.根据权利要求2所述的基于生成对抗网络的图像去水印方法，其特征在于，图像预处理还包括对图像进行降噪处理以去除图像中的干扰颜色，以及先裁剪图像周围的空白区域再进行尺度归一化处理。
4.根据权利要求1所述的基于生成对抗网络的图像去水印方法，其特征在于，生成网络包括一个用于处理图像整体的全局生成器和多个用于处理图像局部细节的局部生成器。
5.根据权利要求4所述的基于生成对抗网络的图像去水印方法，其特征在于，全局生成器的处理过程包括：
先通过卷积前端处理进行卷积操作，提取带水印图像的整体的图像空间表征；
再利用残差网络建立深度卷积层；
最后通过卷积后端处理进行反向卷积操作，在学习到的整体的图像空间表征的基础上通过上采样构建无水印图像。
6.根据权利要求5所述的基于生成对抗网络的图像去水印方法，其特征在于，残差网络通过在多层神经网络的连接中添加多个捷径以实现梯度远距离传递，避免梯度弥散的出现，其中残差网络中包括残差块，残差块由卷积层、InstanceNorm层和Relu激活函数层共同构成。
7.根据权利要求4所述的基于生成对抗网络的图像去水印方法，其特征在于，局部生成器的处理过程包括：
先通过卷积前端处理进行卷积操作，提取带水印图像的局部细节的图像空间表征；
最后通过卷积后端处理进行反向卷积操作，在学习到的局部细节的图像空间表征的基础上通过上采样构建无水印图像。
8.根据权利要求4所述的基于生成对抗网络的图像去水印方法，其特征在于，全局生成器和局部生成器进行特征匹配损失的处理。
9.根据权利要求4所述的基于生成对抗网络的图像去水印方法，其特征在于，包括全局生成器和多个局部生成器的生成网络的训练处理过程包括：
一次将多个带水印图像输入到生成网络中，先单独训练全局生成器一定轮数，再单独训练局部生成器一定轮数，最后将全局生成器和局部生成器的网络参数加以保持并加载单独训练的网络参数后进一步训练全局生成器和局部生成器。
10.根据权利要求1所述的基于生成对抗网络的图像去水印方法，其特征在于，采用多个不同尺度的对抗网络，各个生成器的输出与对应尺度的对抗网络的输入相连，每一尺度的对抗网络的输出再反馈至对应的生成器。
11.一种基于生成对抗网络的图像去水印系统，其特征在于，包括：
数据集预备模块，准备数据集，其中数据集包括至少一张带水印图像和对应的原始的无水印图像；
生成网络处理模块，将带水印图像输入生成网络，生成网络根据定义的神经元类型、数目及连接方式进行计算处理，输出处理后为无水印图像；
对抗网络处理模块，将生成网络输出的无水印图像和对应的原始的无水印图像共同输入至对抗网络，以使对抗网络对输入数据进行区别分类，以判断生成网络输出的无水印图像是否符合要求；
其中对抗网络处理模块的输出反馈至生成网络处理模块，基于对抗网络处理模块的输出反馈结果来优化生成网络。
12.根据权利要求11所述的基于生成对抗网络的图像去水印系统，其特征在于，系统还包括：
图像预处理模块，对数据集进行包括尺度归一化在内的图像预处理。
13.根据权利要求12所述的基于生成对抗网络的图像去水印系统，其特征在于，图像预处理模块还配置为对图像进行降噪处理以去除图像中的干扰颜色，以及先裁剪图像周围的空白区域再进行尺度归一化处理。
14.根据权利要求11所述的基于生成对抗网络的图像去水印系统，其特征在于，生成网络处理模块中包括一个用于处理图像整体的全局生成器和多个用于处理图像局部细节的局部生成器。
15.根据权利要求14所述的基于生成对抗网络的图像去水印系统，其特征在于，全局生成器包括：
第一卷积前端模块，通过卷积前端处理进行卷积操作，提取带水印图像的整体的图像空间表征；
残差网络模块，利用残差网络建立深度卷积层；
第一转置卷积后端模块，通过卷积后端处理进行反向卷积操作，在学习到的整体的图像空间表征的基础上通过上采样构建无水印图像。
16.根据权利要求15所述的基于生成对抗网络的图像去水印系统，其特征在于，残差网络模块通过在多层神经网络的连接中添加多个捷径以实现梯度远距离传递，避免梯度弥散的出现，其中残差网络模块中包括残差块，残差块由卷积层单元、InstanceNorm层单元和Relu激活函数层单元共同构成，其中InstanceNorm层单元用于对数据进行归一化，Relu激活函数层单元用于将非线性特性引入神经网络以方便梯度传递。
17.根据权利要求14所述的基于生成对抗网络的图像去水印系统，其特征在于，局部生成器包括：
第二卷积前端模块，通过卷积前端处理进行卷积操作，提取带水印图像的局部细节的图像空间表征；
第二转置卷积后端模块，通过卷积后端处理进行反向卷积操作，在学习到的局部细节的图像空间表征的基础上通过上采样构建无水印图像。
18.根据权利要求14所述的基于生成对抗网络的图像去水印系统，其特征在于，全局生成器和局部生成器进行特征匹配损失的处理。
19.根据权利要求14所述的基于生成对抗网络的图像去水印系统，其特征在于，包括全局生成器和多个局部生成器的生成网络处理模块被配置为：一次将多个带水印图像输入到生成网络中，先单独训练全局生成器一定轮数，再单独训练局部生成器一定轮数，最后将全局生成器和局部生成器的网络参数加以保持并加载单独训练的网络参数后进一步训练全局生成器和局部生成器。
20.根据权利要求11所述的基于生成对抗网络的图像去水印系统，其特征在于，对抗网络处理模块采用多个不同尺度的对抗网络，各个生成器的输出与对应尺度的对抗网络的输入相连，每一尺度的对抗网络的输出再反馈至对应的生成器。
21.一种基于生成对抗网络的图像去水印系统，其特征在于，包括：
处理器；以及
存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，
其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如权利要求1至10中任一项所述的方法。
22.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计算装置执行时，使得计算装置进行如权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811221718.8A CN109345441A (zh) | 2018-10-19 | 2018-10-19 | 一种基于生成对抗网络的图像去水印方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811221718.8A CN109345441A (zh) | 2018-10-19 | 2018-10-19 | 一种基于生成对抗网络的图像去水印方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109345441A true CN109345441A (zh) | 2019-02-15 |
Family
ID=65310512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811221718.8A Pending CN109345441A (zh) | 2018-10-19 | 2018-10-19 | 一种基于生成对抗网络的图像去水印方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345441A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245459A (zh) * | 2019-06-28 | 2019-09-17 | 北京师范大学 | 激光清洗效果预览方法及装置 |
| CN110298804A (zh) * | 2019-07-01 | 2019-10-01 | 东北大学 | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 |
| CN111105336A (zh) * | 2019-12-04 | 2020-05-05 | 山东浪潮人工智能研究院有限公司 | 一种基于对抗网络的图像去水印的方法 |
| CN111144361A (zh) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | 一种基于二值化cgan网络的公路车道检测方法 |
| CN111918144A (zh) * | 2020-08-12 | 2020-11-10 | 桂林电子科技大学 | 一种基于深度学习的去除视频水印的方法 |
| CN111932431A (zh) * | 2020-07-07 | 2020-11-13 | 华中科技大学 | 基于水印分解模型的可见水印去除方法和电子设备 |
| CN112487369A (zh) * | 2020-12-16 | 2021-03-12 | 湖南大学 | 一种抗帧丢失的gif动态图像版权认证方法 |
| CN112950458A (zh) * | 2021-03-19 | 2021-06-11 | 润联软件系统(深圳)有限公司 | 基于对抗生成网络的图像印章去除方法、装置及相关设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934780A (zh) * | 2017-03-15 | 2017-07-07 | 中山大学 | 一种基于图像修复的自动水印去除方法 |
| CN107590518A (zh) * | 2017-08-14 | 2018-01-16 | 华南理工大学 | 一种多特征学习的对抗网络训练方法 |
| CN107590774A (zh) * | 2017-09-18 | 2018-01-16 | 北京邮电大学 | 一种基于生成对抗网络的车牌清晰化方法及装置 |
| CN107871142A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 一种基于深度卷积对抗网络模型的空洞卷积方法 |
| CN107943751A (zh) * | 2017-11-14 | 2018-04-20 | 华南理工大学 | 一种基于深度卷积对抗网络模型的独立通道卷积方法 |
| CN107993190A (zh) * | 2017-11-14 | 2018-05-04 | 中国科学院自动化研究所 | 图像水印去除装置 |
| CN108470196A (zh) * | 2018-02-01 | 2018-08-31 | 华南理工大学 | 一种基于深度卷积对抗网络模型生成手写数字的方法 |
-
2018
- 2018-10-19 CN CN201811221718.8A patent/CN109345441A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934780A (zh) * | 2017-03-15 | 2017-07-07 | 中山大学 | 一种基于图像修复的自动水印去除方法 |
| CN107590518A (zh) * | 2017-08-14 | 2018-01-16 | 华南理工大学 | 一种多特征学习的对抗网络训练方法 |
| CN107590774A (zh) * | 2017-09-18 | 2018-01-16 | 北京邮电大学 | 一种基于生成对抗网络的车牌清晰化方法及装置 |
| CN107871142A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 一种基于深度卷积对抗网络模型的空洞卷积方法 |
| CN107943751A (zh) * | 2017-11-14 | 2018-04-20 | 华南理工大学 | 一种基于深度卷积对抗网络模型的独立通道卷积方法 |
| CN107993190A (zh) * | 2017-11-14 | 2018-05-04 | 中国科学院自动化研究所 | 图像水印去除装置 |
| CN108470196A (zh) * | 2018-02-01 | 2018-08-31 | 华南理工大学 | 一种基于深度卷积对抗网络模型生成手写数字的方法 |
Non-Patent Citations (4)
| Title |
|---|
| 代具亭 等: "基于彩色-深度图像和深度学习的场景语义分割网络", 《科学技术与工程》, vol. 18, no. 20, 18 July 2018 (2018-07-18) * |
| 代具亭 等: "基于彩色-深度图像和深度学习的场景语义分割网络", 《科学技术与工程》, vol. 18, no. 20, pages 286 - 291 * |
| 应自炉 等: "面向图像超分辨率的紧凑型多径卷积神经网络算法研究", 《信号处理》, vol. 34, no. 6, 25 June 2018 (2018-06-25) * |
| 应自炉 等: "面向图像超分辨率的紧凑型多径卷积神经网络算法研究", 《信号处理》, vol. 34, no. 6, pages 668 - 679 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245459A (zh) * | 2019-06-28 | 2019-09-17 | 北京师范大学 | 激光清洗效果预览方法及装置 |
| CN110245459B (zh) * | 2019-06-28 | 2021-06-01 | 北京师范大学 | 激光清洗效果预览方法及装置 |
| CN110298804A (zh) * | 2019-07-01 | 2019-10-01 | 东北大学 | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 |
| CN111105336A (zh) * | 2019-12-04 | 2020-05-05 | 山东浪潮人工智能研究院有限公司 | 一种基于对抗网络的图像去水印的方法 |
| CN111144361A (zh) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | 一种基于二值化cgan网络的公路车道检测方法 |
| CN111932431A (zh) * | 2020-07-07 | 2020-11-13 | 华中科技大学 | 基于水印分解模型的可见水印去除方法和电子设备 |
| CN111932431B (zh) * | 2020-07-07 | 2023-07-18 | 华中科技大学 | 基于水印分解模型的可见水印去除方法和电子设备 |
| CN111918144A (zh) * | 2020-08-12 | 2020-11-10 | 桂林电子科技大学 | 一种基于深度学习的去除视频水印的方法 |
| CN112487369A (zh) * | 2020-12-16 | 2021-03-12 | 湖南大学 | 一种抗帧丢失的gif动态图像版权认证方法 |
| CN112950458A (zh) * | 2021-03-19 | 2021-06-11 | 润联软件系统(深圳)有限公司 | 基于对抗生成网络的图像印章去除方法、装置及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345441A (zh) | 一种基于生成对抗网络的图像去水印方法和系统 | |
| Pan et al. | Digital watermarking with improved SMS applied for QR code | |
| David et al. | Deeppainter: Painter classification using deep convolutional autoencoders | |
| JP6162283B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
| Agarwal et al. | Gray-scale image watermarking using GA-BPN hybrid network | |
| EP3469521A1 (en) | Neural network and method of neural network training | |
| Hatoum et al. | Using deep learning for image watermarking attack | |
| Subbiah Parvathy et al. | A novel approach in multimodality medical image fusion using optimal shearlet and deep learning | |
| Koenderink et al. | Eidolons: Novel stimuli for vision research | |
| CN109859288A (zh) | 基于生成对抗网络的图像上色方法及装置 | |
| CN110276726A (zh) | 一种基于多通道网络先验信息引导的图像去模糊方法 | |
| CN110084773A (zh) | 一种基于深度卷积自编码网络的图像融合方法 | |
| Ram et al. | Image denoising using nl-means via smooth patch ordering | |
| CN110148088A (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| Levy et al. | Genetic algorithms and deep learning for automatic painter classification | |
| CN110349102A (zh) | 图像美化的处理方法、图像美化的处理装置以及电子设备 | |
| Guo et al. | Multifeature extracting CNN with concatenation for image denoising | |
| Singh et al. | A study of crossover operators in genetic algorithms | |
| Bentley et al. | Evolving through the looking glass: Learning improved search spaces with variational autoencoders | |
| Sharma et al. | HGSmark: An efficient ECG watermarking scheme using hunger games search and Bayesian regularization BPNN | |
| CN109658627A (zh) | 一种基于区块链的智能物流取件系统 | |
| CN112862712A (zh) | 美颜处理方法、系统、存储介质和终端设备 | |
| CN110298807A (zh) | 基于改进Retinex及量子菌群算法的NSCT域红外图像增强方法 | |
| CN116091891A (zh) | 图像识别方法及系统 | |
| CN114742693B (zh) | 基于自适应实例归一化的妆容迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210707 Address after: 100098 fb106-30, ground floor, building 1, yard 13, Dazhongsi, Haidian District, Beijing Applicant after: Beijing youfatian Technology Co.,Ltd. Address before: 200120 5th floor, building 28, 498 GuoShouJing Road, Pudong New Area, Shanghai Applicant before: SHANGHAI WIZLAWGIC INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190215 |
|
| RJ01 | Rejection of invention patent application after publication |