CN111598761A - 一种基于图像降噪的抗打印拍摄图像数字水印方法 - Google Patents

一种基于图像降噪的抗打印拍摄图像数字水印方法 Download PDF

Info

Publication number
CN111598761A
CN111598761A CN202010306180.1A CN202010306180A CN111598761A CN 111598761 A CN111598761 A CN 111598761A CN 202010306180 A CN202010306180 A CN 202010306180A CN 111598761 A CN111598761 A CN 111598761A
Authority
CN
China
Prior art keywords
image
layer
watermark
noise
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010306180.1A
Other languages
English (en)
Other versions
CN111598761B (zh
Inventor
林夏娜
倪江群
张木水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202010306180.1A priority Critical patent/CN111598761B/zh
Publication of CN111598761A publication Critical patent/CN111598761A/zh
Application granted granted Critical
Publication of CN111598761B publication Critical patent/CN111598761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • G06T5/70

Abstract

本发明提供的一种基于图像降噪的抗打印拍摄图像数字水印方法,采用生成对抗网络构建一个能够抵抗图像在打印拍摄过程中可能存在的噪声攻击的图像降噪层,能够抵抗多种噪声的同时攻击,实现更好的降噪效果,保证图像具有高保真度;并且将图像降噪层加入到整个水印嵌入与提取的训练框架中,图像降噪层实现了抵抗噪声攻击的功能,在一定程度上保证了鲁棒性,使得水印编解码器可以更专注于提高水印嵌入后的视觉效果、水印的检测准确率和嵌入容量,从而实现鲁棒性、视觉效果和嵌入容量三种指标的均衡。

Description

一种基于图像降噪的抗打印拍摄图像数字水印方法
技术领域
本发明涉及计算机视觉与图像信息隐藏技术领域,更具体的,涉及一种基于图像降噪的抗打印拍摄图像数字水印方法。
背景技术
近年来,多媒体技术的快速发展使得信息传播变得高效方便,给用户访问、获取、打印或存储图像、视频、文本等多媒体数据带来了极大的便利,同时也给假冒伪造者降低了媒体信息篡改、伪造和盗用等的门槛。图像数字水印方法将特定标识信息嵌入图像中且不破坏图像视觉效果,是版权保护和认证防伪中常用的方法。
现有的方法分为传统图像处理方法和深度学习方法,传统方法包括了基于变换域的方法如基于傅里叶-梅林变换、小波变、离散余弦变换等,基于特征点的方法和基于自相关序列的方法,深度学习方法包括了HiDDeN、StegaStamp、CDTF和WMNet等网络,基本上由三个模块组成,分别是水印编码器、噪声层和水印解码器。
基于变换域不变量的传统方法的缺点在于抗打印拍摄的鲁棒性相对较差,而基于深度学习的方法中,HiDDeN和StegaStamp等网络为了兼顾鲁棒性和视觉效果,嵌入容量相对较小。而CDTF和SteganoGAN网络为了有较大的嵌入容量,减弱了中间噪声层的强度或是不考虑噪声层,导致了其抗打印拍摄的鲁棒性也明显地降低了。
因此,现有技术大多只考虑了水印嵌入、噪声建模和水印提取模块,而这些模块的学习能力无法匹配兼顾鲁棒性、嵌入容量和视觉效果三个指标的目的,使得它们往往这三者中进行取舍,难以很好地均衡三者的效果。
发明内容
本发明为克服现有的图像数字水印方法只考虑了水印嵌入、噪声建模和水印提取模块,存在无法同时兼顾鲁棒性、嵌入容量和视觉效果三者效果的技术缺陷,提供一种基于图像降噪的抗打印拍摄图像数字水印方法。
为解决上述技术问题,本发明的技术方案如下:
一种基于图像降噪的抗打印拍摄图像数字水印方法,包括以下步骤:
S1:对打印拍摄过程中的噪声进行建模,构建噪声层;根据噪声层对生成式对抗网络GANs进行对抗训练,构建图像降噪层;
S2:将原始图像和经过噪声层的噪声图像作为对抗训练后的图像降噪层的输入,得到一个对畸变过程具有一定鲁棒性的降噪层;
S3:对降噪层进行预训练并构建水印编码器、水印解码器;
S4:随机生成水印信息,将原始图像和水印信息输入水印编码器中,将水印信息嵌入到原始图像中,输出水印图像;
S5:将水印图像经过噪声层和预训练的降噪层,模拟水印图像的畸变过程和降噪过程,得到降噪后的水印图像;
S6:利用水印解码器对降噪后的水印图像进行解码,得到解码后的水印信息;
S7:根据水印信息和解码后的水印信息判断解码正确率,若符合训练标准,则完成抗打印拍摄图像数字水印方法;若否,使用交叉熵函数对水印解码器的解码器正确率进行训练,返回执行步骤S4。
上述方案中,采用了生成对抗网络来构建一个能够抵抗图像在打印拍摄过程中可能存在的噪声攻击的图像降噪层,与基于传统去噪的水印检测方法相比较,基于生成对抗网络的降噪方法能够抵抗多种噪声的同时攻击,实现更好的降噪效果,保证图像具有高保真度;并且将图像降噪层加入到整个水印嵌入与提取的训练框架中,图像降噪层实现了抵抗噪声攻击的功能,在一定程度上保证了鲁棒性,使得水印编解码器可以更专注于提高水印嵌入后的视觉效果、水印的检测准确率和嵌入容量,从而实现鲁棒性、视觉效果和嵌入容量三种指标的均衡。
上述方案中,本发明提供的一种基于图像降噪的抗打印拍摄图像数字水印方法,在不破坏视觉效果的前提下将给定的标识信息嵌入到图像载体上,确保在经过各种通信过程攻击后的图像载体上使用特定的解码器仍然可以将肉眼不可察觉的标识信息检测出来,达到版权保护、隐蔽通信、认证与防伪等目的。
其中,所述步骤S1包括以下步骤:
S11:对打印拍摄过程的噪声进行建模,得到噪声层;
S12:将原始输入图像输入噪声层对图像进行噪声攻击;
S13:通过GANs的生成器对经过噪声攻击后的图像进行降噪,得到去噪图像并计算生成器的代价函数;
S14:将去噪图像和原始输入图像均进行相同的分块操作,由生成式对抗网络GANs的判别器计算对应图像块对的损失,将所有图像块对的损失和作为判别器的总损失,得到判别器的损失函数;
S15:根据损失函数对代价函数进行训练,得到优化后的生成器,并将该生成器作为图像降噪层,完成图像降噪层的构建。
其中,所述步骤S11具体为:
对打印拍摄过程的噪声进行建模,根据打印拍摄过程中造成的畸变进行测量和分析,包括几何畸变、运动模糊、颜色变换、噪点攻击和JPEG压缩,具体分析为:
几何畸变主要有打印过程中可能发生纸张放置不妥当而造成的图像轻微扭曲和拍摄过程中未对准目标中心而导致图像位置的偏移,使用随机仿射变换矩阵进行模拟;
运动模糊主要来源于拍摄时存在的相机运动和相机失焦,分别使用随机角度的直线模糊核和高斯模糊核与图像的卷积来模拟;
颜色变换包括了色调、饱和度、亮度和对比度的调整,是打印和拍摄过程中都会发生的攻击,色调和饱和度的变换通过随机调整RGB各通道的权重或用灰度值进行插值来实现,亮度和对比度的调整则通过直方图缩放进行模拟;
噪点攻击是打印拍摄过程中固有的噪声,采用高斯噪声模型进行模拟;
JPEG压缩可能发生在图像打印前的传输过程,采用现有的可微分JPEG算法,采用反向传播对网络进行训练从而进行模拟;
通过对打印拍摄过程中造成的畸变进行测量、分析和模拟,完成对噪声层建模。
其中,所述步骤S13、S14的过程具体为:
生成器首先使用特征金字塔网络FPN对经过噪声攻击后的图像进行特征提取,包括5层特征映射;
自底向上的阶段通过卷积神经网络CNN来实现,该卷积神经网络由5个网络单元组成,除最顶层的网络单元只采用卷积层外,其余的每个网络单元均由卷积层和最大池化层组成,卷积层的感受野大小均为3*3,步长为1,最大池化层感受野为2*2,步长为2;
自顶向下的阶段也由5个网络单元组成,除最顶层的网络单元只采用步长为1,感受野大小为3*3的卷积层外,其余的每个网络单元均由上采样倍数为2的上采样层和相同参数的卷积层组成,该阶段对自底向上阶段中的每个输出特征图进行1*1卷积后送入到本阶段对应尺寸的网络单元相加,因此本阶段中卷积层的输入除了本阶段中上一个网络单元的输出外,还有自底向上阶段中对应网络单元的输出信息;
然后进行残差图的重建,先对自顶向下阶段中的前3个网络单元的输出分别进行倍数为8、4和2的上采样操作,再与第4个网络单元的输出拼接后进行卷积和倍数为2的上采样操作,接着与第5个网络单元的输出先拼接后卷积,最后经过一个包含上采样层和卷积层的网络单元;
最后将残差图与输入的噪声图像进行相加作为生成器的最终结果图像;
以上的每个网络单元除了残差图重建中最后的网络单元使用tanh激活函数,其余的网络单元均采用Relu激活函数;具体的:
生成器的代价函数LG主要包括三部分,分别是输出图像与原始图像的L2范数距离Lm(使用MSE)、视觉距离Lp(使用VGG19距离)和判别器的评估分数Ld,表示为式(1):
LG=0.5*Lm+0.005*Lp+0.01*Ld (式1)
判别器由6层卷积层组成,每层卷积层的感受野大小为3*3,步长为2,并使用Relu激活函数;根据基于生成式对抗网络的图像去噪算法,使用PatchGAN能够获得更为清晰的结果,因此将图像均等分割成4块,用RaGAN-LS损失函数,即式2计算每个图像块的损失:
Figure BDA0002455874180000041
其中,D(·)表示判别器,G(·)表示生成器,x表示原始输入图像块,z表示噪声图像;最后取所有图像块的损失和作为判别器的总损失。
其中,在所述步骤S3中,所述降噪层进行预训练过程具体为将降噪层的参数进行冻结。
其中,在所述步骤S3中,所述水印编码器、水印解码器的构建过程具体为:
水印编码器和水印解码器分别使用生成式对抗网络和卷积神经网络实现,其中水印编码器接收原始图像和水印信息,然后输出嵌入水印后的水印图像,再经过噪声层和图像降噪层,最后将去噪后的图像送入水印解码器进行水印信息的提取;具体的:
水印编码器采用WGAN-GP实现,包含了生成器和判别器,其中生成器融合原始图像和水印信息后生成水印图像,判别器则鉴别其输入图像是原始图像还是水印图像,帮助生成器提高生成水印图像的质量;
生成器采用U-Net结构,主要包含了5层不同尺寸的特征映射;首先将水印信息送入一个输出维度为7500的全连接层,然后将其变形成50*50*3的矩阵,在长和宽方向上各复制n遍使得尺寸与图像尺寸一致,再将两者按深度方向进行拼接后作为生成器的输入;
先经过一个步长为1的卷积层,接着是4个步长为2的卷积层,再送入4个网络单元,每个网络单元均由上采样层、卷积层、拼接层和卷积层组成;其中上采样层对上个网络层的输入进行倍数为2的上采样操作,然后送入第一个卷积层进行步长为1的卷积操作后与最开始步长为2的卷积层中尺寸相等的输出进行拼接,最后送入第二个步长为1的卷积层;
以上的卷积层均使用Relu激活函数,感受野大小均为3*3;最后经过一个输出深度为3、感受野大小为1*1且没有激活函数的卷积层得到水印残差图,与原始图像相加得到水印图像;
生成器的代价函数LWG主要包括三部分,分别是输出图像与原始图像的L2范数距离Lwm(使用MSE)、视觉距离Lwp(使用lpips分数)和判别器的评估分数Lwd,表示为式(3):
LwG=0.5*Lwm+Lwp+0.5*Lwd (式3)
判别器由5个步长为2的3*3卷积层组成,除最后一层卷积层外,其他层使用Relu激活函数,取最后卷积层的输出平均值作为评估分数;采用的WGAN-GP判别器代价函数为式(4):
Figure BDA0002455874180000051
其中,D(·)表示判别器,G(·)表示生成器,x表示原始图像,z表示水印图像,y表示介于x与z之间的中间值;
水印解码器由8个网络单元组成,第1个网路单元只有一个卷积层,第2到第4个网络单元由3个卷积层和最大池化层组成,第5个网络单元包含3个卷积层,第6到第8个网络单元由1个转置卷积层和3个卷积层组成,最后的网络单元叠加了一个全局平均池化层以使网络的输出维度等于水印信息的长度;除最后一层卷积层使用sigmoid激活函数外,其他卷积层均使用Relu激活函数,感受野大小均为3*3。
其中,在所述步骤S7中,所述交叉熵函数具体如式(5)所示:
Figure BDA0002455874180000061
其中,n为信息长度,x为水印编码器的输出,a为输入的水印信息。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供的一种基于图像降噪的抗打印拍摄图像数字水印方法,采用生成对抗网络构建一个能够抵抗图像在打印拍摄过程中可能存在的噪声攻击的图像降噪层,能够抵抗多种噪声的同时攻击,实现更好的降噪效果,保证图像具有高保真度;并且将图像降噪层加入到整个水印嵌入与提取的训练框架中,图像降噪层实现了抵抗噪声攻击的功能,在一定程度上保证了鲁棒性,使得水印编解码器可以更专注于提高水印嵌入后的视觉效果、水印的检测准确率和嵌入容量,从而实现鲁棒性、视觉效果和嵌入容量三种指标的均衡。
附图说明
图1为本发明所述方法流程示意图;
图2为降噪层的生成器框架示意图;
图3为降噪层的训练流程示意图;
图4为水印编码器的生成器框架示意图;
图5为水印编码器的整体流程框图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,本发明提供了一种基于图像降噪的抗打印拍摄图像数字水印方法,主要通过在水印信息解码器前构造一个强大的图像降噪器,来对抗打印拍摄过程中图像所经历过的噪声攻击,尽可能地降低了打印拍摄过程给水印信息的嵌入和提取过程所带来的影响。主要包括:图像降噪层的构造、水印编解码器的结构设计和对抗性训练过程。具体包括以下步骤:
S1:对打印拍摄过程中的噪声进行建模,构建噪声层;根据噪声层对生成式对抗网络GANs进行对抗训练,构建图像降噪层;
S2:将原始图像和经过噪声层的噪声图像作为对抗训练后的图像降噪层的输入,得到一个对畸变过程具有一定鲁棒性的降噪层;
S3:对降噪层进行预训练并构建水印编码器、水印解码器;
S4:随机生成水印信息,将原始图像和水印信息输入水印编码器中,将水印信息嵌入到原始图像中,输出水印图像;
S5:将水印图像经过噪声层和预训练的降噪层,模拟水印图像的畸变过程和降噪过程,得到降噪后的水印图像;
S6:利用水印解码器对降噪后的水印图像进行解码,得到解码后的水印信息;
S7:根据水印信息和解码后的水印信息判断解码正确率,若符合训练标准,则完成抗打印拍摄图像数字水印方法;若否,使用交叉熵函数对水印解码器的解码器正确率进行训练,返回执行步骤S4。
在具体实施过程中,本发明采用了生成对抗网络来构建一个能够抵抗图像在打印拍摄过程中可能存在的噪声攻击的图像降噪层,与基于传统去噪的水印检测方法相比较,基于生成对抗网络的降噪方法能够抵抗多种噪声的同时攻击,实现更好的降噪效果,保证图像具有高保真度;并且将图像降噪层加入到整个水印嵌入与提取的训练框架中,图像降噪层实现了抵抗噪声攻击的功能,在一定程度上保证了鲁棒性,使得水印编解码器可以更专注于提高水印嵌入后的视觉效果、水印的检测准确率和嵌入容量,从而实现鲁棒性、视觉效果和嵌入容量三种指标的均衡。
在具体实施过程中,本发明提供的一种基于图像降噪的抗打印拍摄图像数字水印方法,在不破坏视觉效果的前提下将给定的标识信息嵌入到图像载体上,确保在经过各种通信过程攻击后的图像载体上使用特定的解码器仍然可以将肉眼不可察觉的标识信息检测出来,达到版权保护、隐蔽通信、认证与防伪等目的。
更具体的,所述步骤S1包括以下步骤:
S11:对打印拍摄过程的噪声进行建模,得到噪声层;
S12:将原始输入图像输入噪声层对图像进行噪声攻击;
S13:通过GANs的生成器对经过噪声攻击后的图像进行降噪,得到去噪图像并计算生成器的代价函数;
S14:将去噪图像和原始输入图像均进行相同的分块操作,由生成式对抗网络GANs的判别器计算对应图像块对的损失,将所有图像块对的损失和作为判别器的总损失,得到判别器的损失函数;
S15:根据损失函数对代价函数进行训练,得到优化后的生成器,并将该生成器作为图像降噪层,完成图像降噪层的构建。
在具体实施过程中,本发明对打印拍摄过程的噪声进行建模,然后让输入图像经过该模拟的噪声层,再使用生成式对抗网络(Generative Adversarial Networks,GANs)对经过噪声攻击后的图像进行降噪,使之尽可能恢复回原始输入图像;需要注意的是,为了确保图像降噪层在后续的水印嵌入与提取过程中具有抗打印拍摄的降噪意义,该降噪层需要单独提前完成训练,并且在水印编解码器等其他模块的训练过程中应保持不变。
更具体的,所述步骤S11具体为:
对打印拍摄过程的噪声进行建模,主要根据打印拍摄过程中可能造成的畸变进行测量和分析,主要存在几何畸变、运动模糊、颜色变换、噪点攻击和JPEG压缩等。具体分析为:
几何畸变主要有打印过程中可能发生纸张放置不妥当而造成的图像轻微扭曲和拍摄过程中未对准目标中心而导致图像位置的偏移,使用随机仿射变换矩阵进行模拟;
运动模糊主要来源于拍摄时存在的相机运动和相机失焦,分别使用随机角度的直线模糊核和高斯模糊核与图像的卷积来模拟;
颜色变换包括了色调、饱和度、亮度和对比度的调整,是打印和拍摄过程中都会发生的攻击,色调和饱和度的变换通过随机调整RGB各通道的权重或用灰度值进行插值来实现,亮度和对比度的调整则通过直方图缩放进行模拟;
噪点攻击是打印拍摄过程中固有的噪声,采用高斯噪声模型进行模拟;
JPEG压缩可能发生在图像打印前的传输过程,采用现有的可微分JPEG算法,采用反向传播对网络进行训练从而进行模拟;
通过对打印拍摄过程中造成的畸变进行测量、分析和模拟,完成对噪声层建模。
在具体实施过程中,使用生成式对抗网络对噪声图像进行降噪,因为传统的方法如高斯滤波、小波变换、变分法等均无法自适应地对打印拍摄过程中强度不一的畸变进行恢复,而生成式对抗网络可以很好地学习到原始图像的分布,并将噪声图像分布映射到原始图像分布。更具体的,所述步骤S13、S14的过程具体为:
生成器首先使用特征金字塔网络FPN对经过噪声攻击后的图像进行特征提取,包括5层特征映射;
自底向上的阶段通过卷积神经网络CNN来实现,该卷积神经网络由5个网络单元组成,除最顶层的网络单元只采用卷积层外,其余的每个网络单元均由卷积层和最大池化层组成,卷积层的感受野大小均为3*3,步长为1,最大池化层感受野为2*2,步长为2;
自顶向下的阶段也由5个网络单元组成,除最顶层的网络单元只采用步长为1,感受野大小为3*3的卷积层外,其余的每个网络单元均由上采样倍数为2的上采样层和相同参数的卷积层组成,该阶段对自底向上阶段中的每个输出特征图进行1*1卷积后送入到本阶段对应尺寸的网络单元相加,因此本阶段中卷积层的输入除了本阶段中上一个网络单元的输出外,还有自底向上阶段中对应网络单元的输出信息;
然后进行残差图的重建,先对自顶向下阶段中的前3个网络单元的输出分别进行倍数为8、4和2的上采样操作,再与第4个网络单元的输出拼接后进行卷积和倍数为2的上采样操作,接着与第5个网络单元的输出先拼接后卷积,最后经过一个包含上采样层和卷积层的网络单元;
最后将残差图与输入的噪声图像进行相加作为生成器的最终结果图像;降噪层生成器的框架如图2所示。
以上的每个网络单元除了残差图重建中最后的网络单元使用tanh激活函数,其余的网络单元均采用Relu激活函数;具体的:
生成器的代价函数LG主要包括三部分,分别是输出图像与原始图像的L2范数距离Lm、视觉距离Lp和判别器的评估分数Ld,表示为式(1):
LG=0.5*Lm+0.005*Lp+0.01*Ld (式1)
判别器由6层卷积层组成,每层卷积层的感受野大小为3*3,步长为2,并使用Relu激活函数;根据基于生成式对抗网络的图像去噪算法,使用PatchGAN能够获得更为清晰的结果,因此将图像均等分割成4块,用RaGAN-LS损失函数,即式2计算每个图像块的损失:
Figure BDA0002455874180000101
其中,D(·)表示判别器,G(·)表示生成器,x表示原始输入图像块,z表示噪声图像;最后取所有图像块的损失和作为判别器的总损失。
在具体实施过程中,首先将原始图像经过模拟噪声层得到噪声图像,然后把噪声图像输入到生成器中得到去噪图像,计算生成器代价函数式(1);再把去噪图像和原始图像均进行相同的分块操作,得到对应图像块对的损失函数式(2)并相加,判别器与生成器的目标函数交替训练,将优化后的生成器作为图像降噪层即可。对抗训练流程参见附图3。
其中,在所述步骤S3中,所述降噪层进行预训练过程具体为将降噪层的参数进行冻结。
其中,在所述步骤S3中,所述水印编码器、水印解码器的构建过程具体为:
水印编码器和水印解码器分别使用生成式对抗网络和卷积神经网络实现,其中水印编码器接收原始图像和水印信息,然后输出嵌入水印后的水印图像,再经过噪声层和图像降噪层,最后将去噪后的图像送入水印解码器进行水印信息的提取;具体的:
水印编码器采用WGAN-GP实现,包含了生成器和判别器,其中生成器融合原始图像和水印信息后生成水印图像,判别器则鉴别其输入图像是原始图像还是水印图像,帮助生成器提高生成水印图像的质量;
生成器采用U-Net结构,主要包含了5层不同尺寸的特征映射;首先将水印信息送入一个输出维度为7500的全连接层,然后将其变形成50*50*3的矩阵,在长和宽方向上各复制n遍使得尺寸与图像尺寸一致,再将两者按深度方向进行拼接后作为生成器的输入;
先经过一个步长为1的卷积层,接着是4个步长为2的卷积层,再送入4个网络单元,每个网络单元均由上采样层、卷积层、拼接层和卷积层组成;其中上采样层对上个网络层的输入进行倍数为2的上采样操作,然后送入第一个卷积层进行步长为1的卷积操作后与最开始步长为2的卷积层中尺寸相等的输出进行拼接,最后送入第二个步长为1的卷积层;
以上的卷积层均使用Relu激活函数,感受野大小均为3*3;最后经过一个输出深度为3、感受野大小为1*1且没有激活函数的卷积层得到水印残差图,与原始图像相加得到水印图像;水印编码器的生成器框图如图4所示;
生成器的代价函数LWG主要包括三部分,分别是输出图像与原始图像的L2范数距离Lwm、视觉距离Lwp和判别器的评估分数Lwd,表示为式(3):
LWG=0.5*Lwm+Lwp+0.5*Lwd (式3)
判别器由5个步长为2的3*3卷积层组成,除最后一层卷积层外,其他层使用Relu激活函数,取最后卷积层的输出平均值作为评估分数;采用的WGAN-GP判别器代价函数为式(4):
Figure BDA0002455874180000111
其中,D(·)表示判别器,G(·)表示生成器,x表示原始图像,z表示水印图像,y表示介于x与z之间的中间值;
水印解码器由8个网络单元组成,第1个网路单元只有一个卷积层,第2到第4个网络单元由3个卷积层和最大池化层组成,第5个网络单元包含3个卷积层,第6到第8个网络单元由1个转置卷积层和3个卷积层组成,最后的网络单元叠加了一个全局平均池化层以使网络的输出维度等于水印信息的长度;除最后一层卷积层使用sigmoid激活函数外,其他卷积层均使用Relu激活函数,感受野大小均为3*3。
其中,在所述步骤S7中,所述交叉熵函数具体如式(5)所示:
Figure BDA0002455874180000112
其中,n为信息长度,x为水印编码器的输出,a为输入的水印信息。
在具体实施过程中,首先将原始图像和经过噪声层的噪声图像作为图像降噪层的输入,得到一个对畸变过程具有一定鲁棒性的降噪层,并在后续训练过程中冻结降噪层的参数,然后将原始图像和随机生成的水印信息作为水印编码器中生成器的输入,生成器将水印信息嵌入到原始图像中输出水印图像,把原始图像和水印图像送入判别器,式(3)和式(4)分别优化水印编码器中的生成器和判别器。接着使水印图像经过噪声层和完成了预训练的降噪层,以此模拟水印图像可能经受的畸变过程和降噪过程。最后将降噪后的水印图像送入水印解码器,得到解码后的水印信息,并使用交叉熵函数训练解码器的解码正确率;水印编解码器的训练流程如图5所示。
实施例2
更具体的,本发明提供的方法包括:
1、图像降噪层的训练,参见步骤11)-12)
11)对打印拍摄过程的噪声进行建模,主要包括了几何畸变、运动模糊、颜色变换、加性噪声和JPEG攻击等,分别使用仿射变换、模糊核卷积、通道插值、直方图缩放、加性高斯噪声和可微JPEG算法等进行模拟。
12)使用生成式对抗网络对噪声图像进行降噪,将原始图像Iinput输入到噪声层,得到带噪图像Inoise并送入到降噪层中的生成器,生成器的输出为降噪后的图像Idenoise,将原始图像Iinput和降噪后的图像Idenoise代入到优化函数式1,并将它们作为降噪层中判别器的输入,进行相同的分块操作后代入式2得到判别器的优化分数,最后通过反向传播更新生成器和判别器的参数。
2、水印编解码器的训练,参见步骤21)-22)
21)水印编码器的训练:将随机生成的水印信息Mencode与原始图像Iinput一起送入编码器的生成器中,得到嵌入水印信息后的图像Iencode,将原始图像和水印图像代入到式3来对生成器进行优化,并送入判别器,得到优化函数式4。
22)水印解码器的训练:首先让水印图像Iencode经过噪声层,得到噪声图像
Figure BDA0002455874180000121
在冻结降噪层参数的前提下,对
Figure BDA0002455874180000122
进行降噪,得到
Figure BDA0002455874180000123
解码器接收降噪后的水印图像
Figure BDA0002455874180000124
通过一系列卷积层进行特征信息提取后,最后经过全局平均池化层输出解码出来的水印信息Mdecode,与嵌入信息Mencode一起代入式5计算交叉熵,以此对编码器进行优化。
在具体实施过程中,本发明提供的一种基于图像降噪的抗打印拍摄图像数字水印方法,采用生成对抗网络构建一个能够抵抗图像在打印拍摄过程中可能存在的噪声攻击的图像降噪层,能够抵抗多种噪声的同时攻击,实现更好的降噪效果,保证图像具有高保真度;并且将图像降噪层加入到整个水印嵌入与提取的训练框架中,图像降噪层实现了抵抗噪声攻击的功能,在一定程度上保证了鲁棒性,使得水印编解码器可以更专注于提高水印嵌入后的视觉效果、水印的检测准确率和嵌入容量,从而实现鲁棒性、视觉效果和嵌入容量三种指标的均衡。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于图像降噪的抗打印拍摄图像数字水印方法,其特征在于,包括以下步骤:
S1:对打印拍摄过程中的噪声进行建模,构建噪声层;根据噪声层对生成式对抗网络GANs进行对抗训练,构建图像降噪层;
S2:将原始图像和经过噪声层的噪声图像作为对抗训练后的图像降噪层的输入,得到一个对畸变过程具有一定鲁棒性的降噪层;
S3:对降噪层进行预训练并构建水印编码器、水印解码器;
S4:随机生成水印信息,将原始图像和水印信息输入水印编码器中,将水印信息嵌入到原始图像中,输出水印图像;
S5:将水印图像经过噪声层和预训练的降噪层,模拟水印图像的畸变过程和降噪过程,得到降噪后的水印图像;
S6:利用水印解码器对降噪后的水印图像进行解码,得到解码后的水印信息;
S7:根据水印信息和解码后的水印信息判断解码正确率,若符合训练标准,则完成抗打印拍摄图像数字水印方法;若否,使用交叉熵函数对水印解码器的解码器正确率进行训练,返回执行步骤S4。
2.根据权利要求1所述的一种基于图像降噪的抗打印拍摄图像数字水印方法,其特征在于,所述步骤S1包括以下步骤:
S11:对打印拍摄过程的噪声进行建模,得到噪声层;
S12:将原始输入图像输入噪声层对图像进行噪声攻击;
S13:通过GANs的生成器对经过噪声攻击后的图像进行降噪,得到去噪图像并计算生成器的代价函数;
S14:将去噪图像和原始输入图像均进行相同的分块操作,由生成式对抗网络GANs的判别器计算对应图像块对的损失,将所有图像块对的损失和作为判别器的总损失,得到判别器的损失函数;
S15:根据损失函数对代价函数进行训练,得到优化后的生成器,并将该生成器作为图像降噪层,完成图像降噪层的构建。
3.根据权利要求2所述的一种基于图像降噪的抗打印拍摄图像数字水印方法,其特征在于,所述步骤S11具体为:
对打印拍摄过程的噪声进行建模,根据打印拍摄过程中造成的畸变进行测量和分析,包括几何畸变、运动模糊、颜色变换、噪点攻击和JPEG压缩,具体分析为:
几何畸变主要有打印过程中可能发生纸张放置不妥当而造成的图像轻微扭曲和拍摄过程中未对准目标中心而导致图像位置的偏移,使用随机仿射变换矩阵进行模拟;
运动模糊主要来源于拍摄时存在的相机运动和相机失焦,分别使用随机角度的直线模糊核和高斯模糊核与图像的卷积来模拟;
颜色变换包括了色调、饱和度、亮度和对比度的调整,是打印和拍摄过程中都会发生的攻击,色调和饱和度的变换通过随机调整RGB各通道的权重或用灰度值进行插值来实现,亮度和对比度的调整则通过直方图缩放进行模拟;
噪点攻击是打印拍摄过程中固有的噪声,采用高斯噪声模型进行模拟;
JPEG压缩可能发生在图像打印前的传输过程,采用现有的可微分JPEG算法,采用反向传播对网络进行训练从而进行模拟;
通过对打印拍摄过程中造成的畸变进行测量、分析和模拟,完成对噪声层建模。
4.根据权利要求2所述的一种基于图像降噪的抗打印拍摄图像数字水印方法,其特征在于,所述步骤S13、S14的过程具体为:
生成器首先使用特征金字塔网络FPN对经过噪声攻击后的图像进行特征提取,包括5层特征映射;
自底向上的阶段通过卷积神经网络CNN来实现,该卷积神经网络由5个网络单元组成,除最顶层的网络单元只采用卷积层外,其余的每个网络单元均由卷积层和最大池化层组成,卷积层的感受野大小均为3*3,步长为1,最大池化层感受野为2*2,步长为2;
自顶向下的阶段也由5个网络单元组成,除最顶层的网络单元只采用步长为1,感受野大小为3*3的卷积层外,其余的每个网络单元均由上采样倍数为2的上采样层和相同参数的卷积层组成,该阶段对自底向上阶段中的每个输出特征图进行1*1卷积后送入到本阶段对应尺寸的网络单元相加,因此本阶段中卷积层的输入除了本阶段中上一个网络单元的输出外,还有自底向上阶段中对应网络单元的输出信息;
然后进行残差图的重建,先对自顶向下阶段中的前3个网络单元的输出分别进行倍数为8、4和2的上采样操作,再与第4个网络单元的输出拼接后进行卷积和倍数为2的上采样操作,接着与第5个网络单元的输出先拼接后卷积,最后经过一个包含上采样层和卷积层的网络单元;
最后将残差图与输入的噪声图像进行相加作为生成器的最终结果图像;
以上的每个网络单元除了残差图重建中最后的网络单元使用tanh激活函数,其余的网络单元均采用Relu激活函数;具体的:
生成器的代价函数LG主要包括三部分,分别是输出图像与原始图像的L2范数距离Lm、视觉距离Lp和判别器的评估分数Ld,表示为式(1):
LG=0.5*Lm+0.005*Lp+0.01*Ld (式1)
判别器由6层卷积层组成,每层卷积层的感受野大小为3*3,步长为2,并使用Relu激活函数;根据基于生成式对抗网络的图像去噪算法,使用PatchGAN能够获得更为清晰的结果,因此将图像均等分割成4块,用RaGAN-LS损失函数,即式2计算每个图像块的损失:
Figure FDA0002455874170000031
其中,D(·)表示判别器,G(·)表示生成器,x表示原始输入图像块,z表示噪声图像;最后取所有图像块的损失和作为判别器的总损失。
5.根据权利要求1所述的一种基于图像降噪的抗打印拍摄图像数字水印方法,其特征在于,在所述步骤S3中,所述降噪层进行预训练过程具体为将降噪层的参数进行冻结。
6.根据权利要求1所述的一种基于图像降噪的抗打印拍摄图像数字水印方法,其特征在于,在所述步骤S3中,所述水印编码器、水印解码器的构建过程具体为:
水印编码器和水印解码器分别使用生成式对抗网络和卷积神经网络实现,其中水印编码器接收原始图像和水印信息,然后输出嵌入水印后的水印图像,再经过噪声层和图像降噪层,最后将去噪后的图像送入水印解码器进行水印信息的提取;具体的:
水印编码器采用WGAN-GP实现,包含了生成器和判别器,其中生成器融合原始图像和水印信息后生成水印图像,判别器则鉴别其输入图像是原始图像还是水印图像,帮助生成器提高生成水印图像的质量;
生成器采用U-Net结构,主要包含了5层不同尺寸的特征映射;首先将水印信息送入一个输出维度为7500的全连接层,然后将其变形成50*50*3的矩阵,在长和宽方向上各复制n遍使得尺寸与图像尺寸一致,再将两者按深度方向进行拼接后作为生成器的输入;
先经过一个步长为1的卷积层,接着是4个步长为2的卷积层,再送入4个网络单元,每个网络单元均由上采样层、卷积层、拼接层和卷积层组成;其中上采样层对上个网络层的输入进行倍数为2的上采样操作,然后送入第一个卷积层进行步长为1的卷积操作后与最开始步长为2的卷积层中尺寸相等的输出进行拼接,最后送入第二个步长为1的卷积层;
以上的卷积层均使用Relu激活函数,感受野大小均为3*3;最后经过一个输出深度为3、感受野大小为1*1且没有激活函数的卷积层得到水印残差图,与原始图像相加得到水印图像;
生成器的代价函数LwG主要包括三部分,分别是输出图像与原始图像的L2范数距离Lwm、视觉距离Lwp和判别器的评估分数Lwd,表示为式(3):
LwG=0.5*Lwm+Lwp+0.5*Lwd (式3)
判别器由5个步长为2的3*3卷积层组成,除最后一层卷积层外,其他层使用Relu激活函数,取最后卷积层的输出平均值作为评估分数;采用的WGAN-GP判别器代价函数为式(4):
Figure FDA0002455874170000041
其中,D(·)表示判别器,G(·)表示生成器,x表示原始图像,z表示水印图像,y表示介于x与z之间的中间值;
水印解码器由8个网络单元组成,第1个网路单元只有一个卷积层,第2到第4个网络单元由3个卷积层和最大池化层组成,第5个网络单元包含3个卷积层,第6到第8个网络单元由1个转置卷积层和3个卷积层组成,最后的网络单元叠加了一个全局平均池化层以使网络的输出维度等于水印信息的长度;除最后一层卷积层使用sigmoid激活函数外,其他卷积层均使用Relu激活函数,感受野大小均为3*3。
7.根据权利要求6所述的一种基于图像降噪的抗打印拍摄图像数字水印方法,其特征在于,在所述步骤S7中,所述交叉熵函数具体如式(5)所示:
Figure FDA0002455874170000051
其中,n为信息长度,x为水印编码器的输出,a为输入的水印信息。
CN202010306180.1A 2020-04-17 2020-04-17 一种基于图像降噪的抗打印拍摄图像数字水印方法 Active CN111598761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010306180.1A CN111598761B (zh) 2020-04-17 2020-04-17 一种基于图像降噪的抗打印拍摄图像数字水印方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010306180.1A CN111598761B (zh) 2020-04-17 2020-04-17 一种基于图像降噪的抗打印拍摄图像数字水印方法

Publications (2)

Publication Number Publication Date
CN111598761A true CN111598761A (zh) 2020-08-28
CN111598761B CN111598761B (zh) 2023-11-17

Family

ID=72190365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010306180.1A Active CN111598761B (zh) 2020-04-17 2020-04-17 一种基于图像降噪的抗打印拍摄图像数字水印方法

Country Status (1)

Country Link
CN (1) CN111598761B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200710A (zh) * 2020-10-08 2021-01-08 东南数字经济发展研究院 一种基于深度学习的自适应隐形水印同步检测方法
CN112308754A (zh) * 2020-10-30 2021-02-02 东南数字经济发展研究院 面向大容量鲁棒水印应用的多解码端并行提取机制设计
CN112487369A (zh) * 2020-12-16 2021-03-12 湖南大学 一种抗帧丢失的gif动态图像版权认证方法
CN112801909A (zh) * 2021-02-05 2021-05-14 福州大学 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN113052745A (zh) * 2021-04-25 2021-06-29 景德镇陶瓷大学 数字水印模型训练方法、陶瓷水印图像的制作方法及陶瓷
CN113095987A (zh) * 2021-03-26 2021-07-09 贵州大学 一种基于多尺度特征学习的弥散加权图像的鲁棒水印方法
CN113158583A (zh) * 2021-05-24 2021-07-23 南京信息工程大学 一种端到端的基于深度学习的文本图像水印模型建立方法
CN113222804A (zh) * 2021-06-02 2021-08-06 景德镇陶瓷大学 面向陶瓷工艺的上采样陶瓷水印模型训练方法和嵌密方法
CN113284037A (zh) * 2021-06-22 2021-08-20 南京信息工程大学 一种基于深度神经网络的陶瓷水印载体恢复方法
CN113379585A (zh) * 2021-06-23 2021-09-10 景德镇陶瓷大学 无边框定位的陶瓷水印模型训练方法和嵌密方法
CN113592697A (zh) * 2021-08-16 2021-11-02 齐鲁工业大学 基于卷积神经网络去噪思想的数字水印攻击方法及系统
CN116308985A (zh) * 2023-05-23 2023-06-23 贵州大学 一种面向弥散张量图像的鲁棒水印方法
CN116977220A (zh) * 2023-08-07 2023-10-31 中国矿业大学 基于图像质量启发的盲图像去运动模糊算法
CN117437108A (zh) * 2023-12-21 2024-01-23 武汉圆周率软件科技有限公司 一种针对图像数据的水印嵌入方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013138A1 (en) * 2000-08-03 2002-02-14 Digital Copyright Technologies Ag Method for adaptive digital watermarking robust against geometric transforms
CN109993678A (zh) * 2019-03-26 2019-07-09 南京联创北斗技术应用研究院有限公司 一种基于深度对抗生成网络的鲁棒信息隐藏方法
CN110728629A (zh) * 2019-09-03 2020-01-24 天津大学 一种用于对抗攻击的图像集增强方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013138A1 (en) * 2000-08-03 2002-02-14 Digital Copyright Technologies Ag Method for adaptive digital watermarking robust against geometric transforms
CN109993678A (zh) * 2019-03-26 2019-07-09 南京联创北斗技术应用研究院有限公司 一种基于深度对抗生成网络的鲁棒信息隐藏方法
CN110728629A (zh) * 2019-09-03 2020-01-24 天津大学 一种用于对抗攻击的图像集增强方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200710A (zh) * 2020-10-08 2021-01-08 东南数字经济发展研究院 一种基于深度学习的自适应隐形水印同步检测方法
CN112200710B (zh) * 2020-10-08 2023-05-23 东南数字经济发展研究院 一种基于深度学习的自适应隐形水印同步检测方法
CN112308754A (zh) * 2020-10-30 2021-02-02 东南数字经济发展研究院 面向大容量鲁棒水印应用的多解码端并行提取机制设计
CN112308754B (zh) * 2020-10-30 2023-08-18 东南数字经济发展研究院 面向大容量鲁棒水印应用的多解码端并行提取方法
CN112487369A (zh) * 2020-12-16 2021-03-12 湖南大学 一种抗帧丢失的gif动态图像版权认证方法
CN112801909A (zh) * 2021-02-05 2021-05-14 福州大学 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN112801909B (zh) * 2021-02-05 2022-06-14 福州大学 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN113095987A (zh) * 2021-03-26 2021-07-09 贵州大学 一种基于多尺度特征学习的弥散加权图像的鲁棒水印方法
CN113095987B (zh) * 2021-03-26 2022-02-01 贵州大学 一种基于多尺度特征学习的弥散加权图像的鲁棒水印方法
CN113052745B (zh) * 2021-04-25 2022-01-07 景德镇陶瓷大学 数字水印模型训练方法、陶瓷水印图像的制作方法及陶瓷
CN113052745A (zh) * 2021-04-25 2021-06-29 景德镇陶瓷大学 数字水印模型训练方法、陶瓷水印图像的制作方法及陶瓷
CN113158583A (zh) * 2021-05-24 2021-07-23 南京信息工程大学 一种端到端的基于深度学习的文本图像水印模型建立方法
CN113222804A (zh) * 2021-06-02 2021-08-06 景德镇陶瓷大学 面向陶瓷工艺的上采样陶瓷水印模型训练方法和嵌密方法
CN113222804B (zh) * 2021-06-02 2022-03-15 景德镇陶瓷大学 面向陶瓷工艺的上采样陶瓷水印模型训练方法和嵌密方法
CN113284037A (zh) * 2021-06-22 2021-08-20 南京信息工程大学 一种基于深度神经网络的陶瓷水印载体恢复方法
CN113379585B (zh) * 2021-06-23 2022-05-27 景德镇陶瓷大学 无边框定位的陶瓷水印模型训练方法和嵌密方法
CN113379585A (zh) * 2021-06-23 2021-09-10 景德镇陶瓷大学 无边框定位的陶瓷水印模型训练方法和嵌密方法
CN113592697B (zh) * 2021-08-16 2023-11-21 齐鲁工业大学 基于卷积神经网络去噪思想的数字水印攻击方法及系统
CN113592697A (zh) * 2021-08-16 2021-11-02 齐鲁工业大学 基于卷积神经网络去噪思想的数字水印攻击方法及系统
CN116308985B (zh) * 2023-05-23 2023-07-25 贵州大学 一种面向弥散张量图像的鲁棒水印方法
CN116308985A (zh) * 2023-05-23 2023-06-23 贵州大学 一种面向弥散张量图像的鲁棒水印方法
CN116977220A (zh) * 2023-08-07 2023-10-31 中国矿业大学 基于图像质量启发的盲图像去运动模糊算法
CN116977220B (zh) * 2023-08-07 2024-02-13 中国矿业大学 基于图像质量启发的盲图像去运动模糊算法
CN117437108A (zh) * 2023-12-21 2024-01-23 武汉圆周率软件科技有限公司 一种针对图像数据的水印嵌入方法
CN117437108B (zh) * 2023-12-21 2024-03-08 武汉圆周率软件科技有限公司 一种针对图像数据的水印嵌入方法

Also Published As

Publication number Publication date
CN111598761B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN111598761B (zh) 一种基于图像降噪的抗打印拍摄图像数字水印方法
Tian et al. Deep learning on image denoising: An overview
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN106204468B (zh) 一种基于ReLU卷积神经网络的图像去噪方法
CN113222800B (zh) 一种基于深度学习的鲁棒图像水印嵌入与提取方法及系统
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN114549273A (zh) 基于深度神经网络的自适应鲁棒水印嵌入方法及系统
Fang et al. Encoded feature enhancement in watermarking network for distortion in real scenes
CN115115500A (zh) 一种结合水下图像增强的水印嵌入方法
CN113158583A (zh) 一种端到端的基于深度学习的文本图像水印模型建立方法
Lu et al. Wavelet-based CNN for robust and high-capacity image watermarking
CN113628090B (zh) 抗干扰消息隐写与提取方法、系统、计算机设备、终端
Liao et al. GIFMarking: The robust watermarking for animated GIF based deep learning
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
Xu et al. SFRNet: Feature extraction-fusion steganalysis network based on squeeze-and-excitation block and RepVgg Block
Huynh-The et al. Robust image watermarking framework powered by convolutional encoder-decoder network
CN116152061A (zh) 一种基于模糊核估计的超分辨率重建方法
CN114638743A (zh) 图像艺术风格迁移方法、系统、电子设备、存储介质
Li et al. Realistic single-image super-resolution using autoencoding adversarial networks
Abdollahi et al. Image steganography based on smooth cycle-consistent adversarial learning
Li et al. Adversarial feature hybrid framework for steganography with shifted window local loss
Li et al. Dual branch parallel steganographic framework based on multi-scale distillation in framelet domain
Zhangjie et al. The secure steganography for hiding images via GAN
CN117408893B (zh) 一种基于浅层神经网络的水下图像增强方法
Weiguo et al. Exposing Face-Swap Images based on Deep Learning and ELA Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant