CN117274023A - 一种使用聚频dct变换引导的抗多噪音水印方法 - Google Patents
一种使用聚频dct变换引导的抗多噪音水印方法 Download PDFInfo
- Publication number
- CN117274023A CN117274023A CN202311223908.4A CN202311223908A CN117274023A CN 117274023 A CN117274023 A CN 117274023A CN 202311223908 A CN202311223908 A CN 202311223908A CN 117274023 A CN117274023 A CN 117274023A
- Authority
- CN
- China
- Prior art keywords
- frequency
- watermark
- noise
- dct
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000002441 reversible effect Effects 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 27
- 238000009792 diffusion process Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 36
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000010076 replication Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims description 2
- RRAMGCGOFNQTLD-UHFFFAOYSA-N hexamethylene diisocyanate Chemical compound O=C=NCCCCCCN=C=O RRAMGCGOFNQTLD-UHFFFAOYSA-N 0.000 claims description 2
- 108091006146 Channels Proteins 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种使用聚频DCT变换引导的抗多噪音水印方法，包括：使用聚频DCT变换对载体图像进行处理，并得到聚频DCT系数；通过扩散提取消息处理器生成与聚频DCT系数跨膜态一致的水印特征图；基于可逆神经网络的正向过程将聚频DCT系数和水印特征图生成水印图像；将水印图像输入噪声层，在噪声层中使用组合噪音或并行叠加噪音得到噪声图像；使用高频预测网络获取正向过程中丢弃的高频内容；基于可逆神经网络的逆向过程对噪声图像与高频内容进行提取处理；通过扩散提取消息处理器得到恢复后的水印信息；该水印信息在不可感知性和鲁棒性方面具有出色的性能。
Description
技术领域
本发明涉及图像水印技术领域，具体涉及一种使用聚频DCT变换引导的抗多噪音水印方法。
背景技术
近年来，基于可逆神经网络的数字水印方法得到了广泛研究，这些方法将水印的嵌入过程与提取过程视作一对互逆函数，由于共享一组参数，因此特征可以很好的耦合，从而提升整个方法的不可见性和鲁棒性。通用做法是将载体图像与水印信息作为两个分支送入可逆神经网络，该网络的正向过程对应水印的嵌入，以产生水印图像。在噪音层中引入模拟真实的噪音以提高鲁棒性。可逆神经网络的逆向过程对施加了噪音的水印图像进行水印信息的提取。可逆神经网络常基于标准化流的生成网络，通过精心设计的耦合层，可以直接计算网络分布的密度，从而使用最大似然法进行训练。给定一个目标图像实例x～PX(x)后，通过学习fθ(x)＝z，其中fθ(·)是网络学习的双射函数，变量z遵循一个简单分布PZ(z)，则可以使用进行图像的生成工作。但图像在网络中传输会遭遇复杂叠加噪音问题，例如图像在上传到微博会遭遇一系列的预处理操作(有损压缩、裁剪等)，剽窃者若是知晓从社交媒体上下载的图像嵌有水印，可以再次施加一个二次噪音攻击以去除水印。
发明内容
本发明的目的在于，提供一种使用聚频DCT变换引导的抗多噪音水印方法，有效应对剽窃者的二次噪音攻击，最大程度保证水印图像的安全。
为实现上述目的，本申请的技术方案为：一种使用聚频DCT变换引导的抗多噪音水印方法，包括：
使用聚频DCT变换对载体图像进行处理，并得到聚频DCT系数；
通过扩散提取消息处理器生成与聚频DCT系数跨膜态一致的水印特征图；
基于可逆神经网络的正向过程将聚频DCT系数和水印特征图生成水印图像；
将水印图像输入噪声层，在噪声层中使用组合噪音或并行叠加噪音得到噪声图像；
使用高频预测网络获取正向过程中丢弃的高频内容；
基于可逆神经网络的逆向过程对噪声图像与高频内容进行提取处理；
通过扩散提取消息处理器得到恢复后的水印信息。
进一步地，使用聚频DCT变换对载体图像进行处理，并得到聚频DCT系数，具体为：首先将载体图像的像素域分割成多个非重叠块，对每个非重叠块进行二维DCT变换得到DCT频域系数，然后将相同频率下(即每个非重叠块中的相同位置)的DCT频域系数聚合在一个通道；最后，按照RGB的顺序将通道依次叠加得到聚频DCT系数。
进一步地，所述二维DCT变换方式为：
其中，是2D-DCT的基函数，f2d是非重叠块，H、W分别是f2d的高度和宽度；/>是该函数的输出，即IDCT。
进一步地，通过扩散提取消息处理器生成与聚频DCT系数跨膜态一致的水印特征图，具体为：水印消息输入至扩散提取消息处理器内，首先将水印消息经过全连接引入冗余信息，从一维形式变换为二维形式，然后通过通道扩展卷积层得到第一种尺寸的水印特征张量，再将第一种尺寸的水印特征张量经过亚像素卷积得到与原始载体图像大小一致的水印特征张量，最后经过聚频DCT变换得到水印特征图；
所述扩散提取消息处理器实现过程如下：
其中，Ocopy、Ocat、Opixel-shuffle分别表示复制、通道连接、亚像素卷积，Γfc、Γconv分别表示全连接、3×3ConvBNReLU；是水印特征图张量。
进一步地，基于可逆神经网络的正向过程将聚频DCT系数和水印特征图生成水印图像，具体为：聚频DCT系数和水印特征图被送入连续n个可逆块中，使用可逆块的前向过程进行水印嵌入；对水印特征图采用增强仿射变换后作为水印残差掩码，该水印残差掩码与原始载体图像进行跳跃连接后得到水印图像；对于聚频DCT系数，采用加性变换得到高频内容的潜在表征，高频内容将在前向过程中被丢弃。
更进一步地，在噪声层中使用组合噪音或并行叠加噪音得到噪声图像，具体为：从噪音池中至少随机挑选A、B两种不同的噪音，并以AB和BA的顺序施加至水印图像和复制的水印图像副本上，得到两张噪声图像。
更进一步地，所述高频预测网络以噪声图像作为输入，经过多个密集块后生成预测的高频冗余信息。
更进一步地，所述可逆神经网络的逆向过程，以噪声图像的聚频DCT系数和高频冗余信息作为输入，经过可逆耦合层之间的逆加强仿射变换与逆加性变换得到输出。
作为进一步地，扩散提取消息处理器使用逆聚频DCT变换对逆向过程的输出进行变换，同时使二维的变换结果变为一维，并使用全连接得到水印信息，将水印信息采用平均输出，公式如下:
其中，Oavg表示对三个通道特征图提取的水印进行平均操作，Γfc表示全连接；是水印特征图张量。
作为进一步地，训练正向过程的损失函数为LForwardI，LForwardI用以辅助可逆神经网络生成高质量水印图像；
其中，Ic为载体图像，Iw为水印图像，Min为水印信息，fHMDI表示可逆神经网络的正向过程；
训练逆向过程的损失函数LBackwardM为：
其中，Mout为解码恢复后的水印信息，表示可逆神经网络的逆向过程。
本发明采用的以上技术方案，与现有技术相比，具有的优点是：在可逆神经网络中使用了聚频DCT变换，解决可逆神经网络在组合噪音下鲁棒性不足的问题，并且水印消息处理器使用亚像素卷积进行上采样结合聚频DCT变换保持跨膜态一致性有效提升了图像质量，高频预测网络能提升整体透明性与鲁棒性。并行叠加噪音的训练方案相比于现有技术可以明显提高水印方法在面对叠加噪音时的鲁棒性。
附图说明
图1为本发明的总体架构图；
图2为聚频DCT变换示意图；
图3为扩散提取消息处理器结构图；
图4为高频预测网络结构图；
图5为并行叠加噪音训练方案示意图；
图6为在组合噪音下的视觉质量测试图；
图7为与其他方法在12种噪音下的水印提取准确率对比图；
图8为与其他方法在JPEG压缩噪声训练下的数据对比图；
图9为与其他方法在叠加噪音下的水印提取准确率对比图；
图10为验证并行叠加噪音的鲁棒性对比图；
图11为在提出的真实噪音环境下的鲁棒性展示图；
图12为在提出的真实噪音环境展示图；
图13为嵌入不同水印信息长度的鲁棒性对比图；
图14为验证聚频DCT变换的数据对比图；
图15为验证可逆块数量对算法性能影响的展示图；
图16为验证网络结构的视觉效果对比图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述：以此为例对本申请做进一步的描述说明。
本发明提出了聚频DCT变换JF-DCT，以先验的方式指导可逆神经网络寻找多噪音下的鲁棒嵌入域。并且该变换将高低频系数以通道的方式进行分离，以一种优雅的方式配合可逆耦合层进行通道交互。基于JF-DCT的扩散提取消息处理器对水印消息进行扩散预处理与后置提取操作。高频预测网络对通用INN种的辅助矩阵r进行预测，目标是减少错误的引入而破坏可逆性。此外，在训练中使用针对叠加噪音的有效训练方案，有效应对剽窃者的二次噪音攻击，该方案能有效提升可逆神经网络针对叠加噪音的鲁棒性，最大程度的保证水印图像的安全。
如图1所示，一种使用聚频DCT变换引导的抗多噪音水印方法整体流程包括：
S1：使用聚频DCT变换对载体图像进行处理，并得到聚频DCT系数；
在一种实施例中，将聚频DCT变换定义为JF-DCT(·)，具体过程如图2.a所示，首先将3×H×W大小原始载体图像Ic的像素域分割成大小为8×8的非重叠块。对每个非重叠块进行二维DCT变换从而得到Ic的DCT频域系数IDCT∈3×H×W，然后将相同频率下(即每个非重叠块中的相同位置)的DCT频域系数聚合在一个通道，聚合顺序按照图4.b所示的之字形排列。最后，按RGB的顺序将通道依次叠加。
最终的输出为IJF·DCT＝JF-DCT(Ic)，其大小为192×H/8×W/8。
其中，是2D-DCT的基函数，f2d是输入，H、W分别是f2d的高度和宽度。/>是该函数的输出，即IDCT。
S2：通过扩散提取消息处理器生成与聚频DCT系数跨膜态一致的水印特征图；
在一种实施例中，扩散提取消息处理器以水印消息作为输入，首先对水印消息进行全连接卷积运算引入冗余，然后进行格式变换转换为二维，再通过通道扩展卷积层、亚像素卷积层生成载体图像尺寸的张量，最后对该张量进行聚频DCT变换得到水印消息特征图。
如图3所示，顶部和底部分别对应了正向过程和逆向过程中的水印处理。在正向过程中：MP首先接收长度为L的消息Min∈{0,1}，为了保持水印与图像通道数的一致，需要先复制三份Min的副本。对不同的分别应用不同的全连接(FC)产生长度为256的冗余水印。随后，将其整形为三维形式/>为了保持与IJF·DCT的跨膜态一致性，对/>进行上采样以方便进行聚频DCT变换。为避免使用反卷积上采样引起额外的棋盘状伪影，故通过一个3×3的ConvBNReLU层对通道进行扩展得到/>并结合亚像素卷积操作最终得到/>从而有效减少伪影并降低上采样操作的计算复杂度。最后，通过串联/>得到Men∈R3×128×128。对Men应用聚频DCT变换后与IJF·DCT一起馈入可逆神经网络。整个过程公式如下:
其中，Ocopy、Ocat、Opixel-shuffle分别表示复制、通道连接、亚像素卷积，Γfc、Γconv分别表示全连接、3×3ConvBNReLU。是水印特征图张量。
S3：基于可逆神经网络的正向过程将聚频DCT系数和水印特征图生成水印图像；
具体的，可逆神经网络以载体图像的聚频DCT系数和水印特征图作为输入，经过可逆耦合层对两个分支进行通道交互与信息融合，上分支的输出作为无用高频信息被丢弃，下分支的输出经过逆聚频DCT变换后与原始载体图像做跳跃连接得到水印图像。
在一种实施例中，载体图像的聚频DCT系数作为上分支的输入，水印消息特征图作为下分支的输入。对上分支采用的是加性变换，对下分支采用的是增强仿射变换，以增强嵌入容量。其中，图1中的变换函数φ(·)，ρ(·)，η(·)采用了一种紧密连接的卷积块。函数ρ(·)后面紧跟一个sigmoid激活函数，以防止由于exp(·)函数而产生的数值爆炸。注意图1省略了函数ρ中的exp(·)。
S4：将水印图像输入噪声层，在噪声层中使用组合噪音或并行叠加噪音得到噪声图像；
具体的，噪声层将水印图像作为输入经过相应的噪声生成带噪声的图像，使用不同的噪音进行训练会得到不同的针对指定噪音具有鲁棒性的网络；在网络的训练过程中，可使用组合噪音训练以使本方法对多种单一噪音同时具有鲁棒性，或者使用并行叠加噪音训练以使本方法对多类叠加噪音具有鲁棒性；
在一种实施例中，为了提高抵抗各种图像攻击的能力，在每次迭代时从组合噪音池{RealJpeg(Q＝50)、Crop(p＝3.5％)、GaussianBlur(σ＝2)、Resize(R＝0.5)、Identity}中随机选择一个加入噪声层中。如图5所示：为了抵抗叠加噪音，每次迭代时从噪音池{RealJpeg(Q＝50)、Crop(p＝30％)、GaussianBlur(σ＝2)、GaussianNoise(σ＝25)、Resize(R＝0.5)、Identity}中至少随机挑选A、B两种不同的噪音，并以AB和BA的顺序施加至水印图像和复制的副本上，然后分别送入可逆网络的逆向过程，并对提取的水印做一致性损失。经过训练，HDMI能够改善在面对不同顺序的两次攻击时网络性能参差不齐的问题，使得每个配对中的性能趋于接近，这种方案为并行噪音训练方案，注意，不是对所有的噪音对都使用这种方案。
S5：使用高频预测网络获取正向过程中丢弃的高频内容；
在一种实施例中，高频预模块以噪音图像为输入，经过多个紧密连接的卷积块对可逆网络正向过程中丢弃的无用高频信息进行预测，以保证逆向过程的对称性。通过一个高频预测网络来预测被丢弃的频域信息，如图4.a所示。它以被攻击的水印图像为输入，经过几个紧密连接的卷积块(DB)后生成预测的高频冗余信息。密集块可以重用之前所有的特征(见图4.b)。
S6：基于可逆神经网络的逆向过程对噪声图像与高频内容进行提取处理得到另一水印特征图；
在一种实施例中，反向过程采用与正向过程相反的操作进行提取。
其中，提取过程中的最终结果采用平均输出。公式如下:
可逆块如图1中部所示，经过处理后的输入图像IJF·DCT与输入水印被送入连续n个可逆块中，使用可逆块的前向过程进行水印嵌入、后向过程进行水印提取。可逆块的主体是可逆耦合层架构，即方程如下所示：
分别用代表IJF·DCT与/>在第n个耦合层中的输入，/>代表当前耦合层的输出图像和水印。对水印分支/>采用增强仿射变换，以增加网络容量并输出作为水印残差掩码，残差掩码将与原始载体图像做一个跳跃连接后做为最终的加水印图像被输出。对于图像分支/>采用加性变换以进一步分离低高频输入，并输出独立且合理分布的高频内容的潜在表征，这部分内容将在前向过程中被丢弃，如图1右部所示。
S7：通过扩散提取消息处理器得到恢复后的水印信息。
具体的，扩散提取消息处理器将步骤S6中的水印特征图作为输入，经过逆聚频DCT变换、维度变换与全连接后，得到提取后的水印信息。
为了评估所提出网络的普适性和有效性，使用来自COCO数据集的20000张随机图像作为训练集，然后使用来自ImageNet数据集的5000张图像作为测试集，在加载图像时，采用随机翻转和随机裁剪等数据增强操作增加训练的数据量。图像H和W的尺寸都被设置为128。长度L设定为30或者64。每个网络被训练200个epoch，batch大小设置为32。使用Adam函数进行梯度优化，并将学习率设置为0.001。对于视觉质量测量，使用PSNR和SSIM作为评估度量。对于鲁棒性测试，使用解码后的消息Mout与原始水印消息Min之间的误码率(BER)或者提取准确率(Acc)作为评估度量。
在整个训练阶段，首先在无噪声情况下训练网络，此时损失权重分别设置为λ1＝1,λ2＝1,λ3＝1,λ4＝0。接下来，在组合噪声Ncombine下分别训练网络以抵抗不同的噪声，此过程实在训练好的无噪音网络上进行的，损失权重分别设置为λ1＝1,λ2＝1,λ3＝0,λ4＝0。最后，在叠加噪音NnoisePool下训练网络以抵抗不同的叠加噪音，损失权重分别设置为λ1＝1,λ2＝1,λ3＝0,λ4＝1。
训练的轮次预设是100或者300，训练完成后从记录的训练日志中根据验证集的总损失选择几个极小值对应的训练轮次作为测试要使用的网络。
测试过程中要强调的是训练过程中的水印图像和测试过程中是有所不同的。训练过程中网络的正向过程生成的水印图像是直接输入到噪声层中参与整个训练，而在测试过程中水印信息处理器、可逆网络、高频预测网络的权重参数是固定的。在设置好测试的参数后，将之前选择的训练权重导入进行测试，根据测试集图像的结果取平均值代表测试的总体性能。
测试结果：
附图6展示了所提方法在组合噪音Ncombine下的视觉质量。此外，由于噪声Identity、Cropout和Dropout几乎与输入图像相似，省略了它们的展示结果。令人惊喜的是，观察到图像Ic和Iw在视觉上几乎无法区分，由于对水印特征图进行上采样时使用了亚像素卷积层，这减少了传统反卷积上采样的嵌入效应，此外，网络采用了可逆神经网络结构，这种紧密的连接减少了信息丢失从而使网络具有出色的不可感知性。
附图7展示分别与SOTA方法比较了在12种噪音下的鲁棒性比较结果，可以看到，在组合噪声下，本方法可以取得最好的鲁棒性。特别的，面对JPEG强噪音，相比同样使用可逆结构的CIN在提取准确率方面提升了2.7％，这表明提出的JF-DCT克服了鲁棒嵌入域冲突的问题。尽管PSNR稍低于CIN，但要远高于MBRS方法6db以上。这也可以看出可逆神经网络相比端到端的算法在深度水印领域的巨大潜力。
附图8展示了本发明对JPEG压缩的鲁棒性以及与其他方案的水印图像进行比较结果，本发明相比CIN实现了更低的误码率与更高的PSNR和SSIM。与MBRS相比，在不引入强度因子时，本发明不仅在图像质量方面领先，并且误码率明显更低。
附图9展示网络在叠加噪音攻击下的鲁棒性。具体的测试过程如下：首先，使用经过组合噪音训练的网络生成了100张带水印的图像，这些图像来源于DIV2K数据集。然后，将这些含水印图像上传到Facebook社交平台。最后，对下载下来的图像施加图9中列出的各种噪音，并进行水印提取测试。如图9所示，Identity代表只将图像上传并下载，只有本方法达到了100％的准确率，这证明本方案可以完美的应用于实际的在线社交平台。在叠加了二次噪音处理方法下，提出方法也表现出较高的水平，特别在GausNoise、SaltPepper、Brightness、Saturation、Contrast和Hue的处理方法下，提出方法的水印提取率明显优于其他两种方法。值本方案在这四类叠加噪音下都取得了超过95％提取准确率，足以应对潜在的剽窃风险。
附图10左部分显示了并行叠加噪音训练方案的动机来源。经过常规叠加噪音的训练，发现网络在大部分叠加噪音对下都表现出相似的鲁棒性。因此，针对包含JPEG的噪音采用了并行叠加噪音训练方案进行训练，而其他噪音则采用了分支常规训练。图10右部分显示了训练后的网络鲁棒性。可以明显看出，使用并行叠加噪音训练方案训练后，叠加JPEG噪音的鲁棒性明显提升。
附图11为将使用并行叠加噪音训练好后的网络生成的12张水印图像分别上传到Facebook、Twitter、Weibo和WeChat四个社交媒体平台上，以验证其实际可行性。此外，以Facebook为标杆，对下载后的图像使用美图秀秀进行二次处理，即添加噪音，以模拟剽窃者对下载后的图像进行真实的二次攻击。验证在实际场景中的有效性。结果表明，在四种社交媒体平台上，本发明在水印比特提取方面实现了100％的成功率。此外，面对潜在的剽窃威胁(即二次噪音攻击)，通过提出的并行叠加噪音训练方案，几乎实现了零误差的水印提取率。
附图12为美图秀秀的不同二次噪音效果展示。
附图13展示了嵌入水印长度L为30和64时的不同性能。在水印长度L＝30时，PNSR明显高于参考方法，而BER更低。在L＝64时，的方法比MBRS、CIN明显更健壮，并且PNSR更高。与两种SOTA方法相比，本方法在鲁棒性和不可感知性方面取得了出色的结果。
附图14展示了不同聚频度的对比结果。当jd＝8时，图像的所有频率系数都聚合在同一个通道中，这不利于网络对于鲁棒系数的选择，因此性能较低。随着jd的减小，聚频程度增加。图像质量和鲁棒性呈现线性提升。由此可见，聚频DCT变换方案高度匹配了可逆耦合层的通道交互与解耦操作，从而实现了最佳效果。
附图15可逆块数目的不同对所提方案性能的影响，随着可逆块的增加，本方法具有更好的性能。但当块数从8增加到10时，显示出了这种性能增加具有瓶颈。因此，在衡量了运行时间以及参数总量等因素后，最终选择了网络中使用8个可逆块。
附图16展示了聚频DCT变换方案和高频信息预测的有效性；交替使用了辅助变量z和分支复制来替代HFPM，使用Haar小波变换来替代提出的聚频DCT变换。在针对各类任务定制的常见可逆神经网络网络中，Haar小波变换是常见的预处理方法。而引入辅助变量z或者分支复制也是最为常见的替代丢弃分支信息的方式。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。
Claims (10)
1.一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，包括：
使用聚频DCT变换对载体图像进行处理，并得到聚频DCT系数；
通过扩散提取消息处理器生成与聚频DCT系数跨膜态一致的水印特征图；
基于可逆神经网络的正向过程将聚频DCT系数和水印特征图生成水印图像；
将水印图像输入噪声层，在噪声层中使用组合噪音或并行叠加噪音得到噪声图像；
使用高频预测网络获取正向过程中丢弃的高频内容；
基于可逆神经网络的逆向过程对噪声图像与高频内容进行提取处理；
通过扩散提取消息处理器得到恢复后的水印信息。
2.根据权利要求1所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，使用聚频DCT变换对载体图像进行处理，并得到聚频DCT系数，具体为：首先将载体图像的像素域分割成多个非重叠块，对每个非重叠块进行二维DCT变换得到DCT频域系数，然后将相同频率下的DCT频域系数聚合在一个通道；最后，按照RGB的顺序将通道依次叠加得到聚频DCT系数。
3.根据权利要求2所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，所述二维DCT变换方式为：
其中，是2D-DCT的基函数，f2d是非重叠块，H、W分别是f2d的高度和宽度；/>是该函数的输出，即IDCT。
4.根据权利要求1所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，通过扩散提取消息处理器生成与聚频DCT系数跨膜态一致的水印特征图，具体为：水印消息输入至扩散提取消息处理器内，首先将水印消息经过全连接引入冗余信息，从一维形式变换为二维形式，然后通过通道扩展卷积层得到第一种尺寸的水印特征张量，再将第一种尺寸的水印特征张量经过亚像素卷积得到与原始载体图像大小一致的水印特征张量，最后经过聚频DCT变换得到水印特征图；
所述扩散提取消息处理器实现过程如下：
其中，Ocopy、Ocat、Opixel-shuffle分别表示复制、通道连接、亚像素卷积，Γfc、Γconv分别表示全连接、3×3ConvBNReLU；是水印特征图张量。
5.根据权利要求1所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，基于可逆神经网络的正向过程将聚频DCT系数和水印特征图生成水印图像，具体为：聚频DCT系数和水印特征图被送入连续n个可逆块中，使用可逆块的前向过程进行水印嵌入；对水印特征图采用增强仿射变换后作为水印残差掩码，该水印残差掩码与原始载体图像进行跳跃连接后得到水印图像；对于聚频DCT系数，采用加性变换得到高频内容的潜在表征，高频内容将在前向过程中被丢弃。
6.根据权利要求1所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，在噪声层中使用组合噪音或并行叠加噪音得到噪声图像，具体为：从噪音池中至少随机挑选A、B两种不同的噪音，并以AB和BA的顺序施加至水印图像和复制的水印图像副本上，得到两张噪声图像。
7.根据权利要求1所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，所述高频预测网络以噪声图像作为输入，经过多个密集块后生成预测的高频冗余信息。
8.根据权利要求7所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，所述可逆神经网络的逆向过程，以噪声图像的聚频DCT系数和高频冗余信息作为输入，经过可逆耦合层之间的逆加强仿射变换与逆加性变换得到输出。
9.根据权利要求8所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，扩散提取消息处理器使用逆聚频DCT变换对逆向过程的输出进行变换，同时使二维的变换结果变为一维，并使用全连接得到水印信息，将水印信息采用平均输出，公式如下:
其中，Oavg表示对三个通道特征图提取的水印进行平均操作，Γfc表示全连接；是水印特征图张量。
10.根据权利要求1所述一种使用聚频DCT变换引导的抗多噪音水印方法，其特征在于，训练正向过程的损失函数为LForwardI：
其中，Ic为载体图像，Iw为水印图像，Min为水印信息，fHMDI表示可逆神经网络的正向过程；
训练逆向过程的损失函数LBackwardM为：
其中，Mout为解码恢复后的水印信息，表示可逆神经网络的逆向过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311223908.4A CN117274023A (zh) | 2023-09-21 | 2023-09-21 | 一种使用聚频dct变换引导的抗多噪音水印方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311223908.4A CN117274023A (zh) | 2023-09-21 | 2023-09-21 | 一种使用聚频dct变换引导的抗多噪音水印方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117274023A true CN117274023A (zh) | 2023-12-22 |
Family
ID=89205644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311223908.4A Pending CN117274023A (zh) | 2023-09-21 | 2023-09-21 | 一种使用聚频dct变换引导的抗多噪音水印方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274023A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994119A (zh) * | 2024-04-07 | 2024-05-07 | 中国科学技术大学 | 一种应用于扩散模型的性能无损图像水印的方法 |
-
2023
- 2023-09-21 CN CN202311223908.4A patent/CN117274023A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994119A (zh) * | 2024-04-07 | 2024-05-07 | 中国科学技术大学 | 一种应用于扩散模型的性能无损图像水印的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ernawan et al. | A robust image watermarking technique with an optimal DCT-psychovisual threshold | |
| Guan et al. | DeepMIH: Deep invertible network for multiple image hiding | |
| Mandal et al. | Digital image steganography: A literature survey | |
| Yoo et al. | Image restoration by estimating frequency distribution of local patches | |
| Roy et al. | A hybrid domain color image watermarking based on DWT–SVD | |
| CN117274023A (zh) | 一种使用聚频dct变换引导的抗多噪音水印方法 | |
| Ahmad et al. | An improved Quad and RDE-based medical data hiding method | |
| CN105469353B (zh) | 水印图像的嵌入方法和装置及提取方法和装置 | |
| CN112381701B (zh) | 一种基于FFST和Hessenberg分解的抗RST攻击立体图像零水印方法 | |
| Li et al. | Quality assessment of end-to-end learned image compression: The benchmark and objective measure | |
| Jiang et al. | Mlic: Multi-reference entropy model for learned image compression | |
| CN113673675A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| Xu et al. | A compact neural network-based algorithm for robust image watermarking | |
| Liao et al. | GIFMarking: The robust watermarking for animated GIF based deep learning | |
| Singh et al. | A recent survey on data hiding techniques | |
| Ouyang et al. | A semi-fragile reversible watermarking method based on qdft and tamper ranking | |
| Xie et al. | A Turtle Shell based RDH scheme with two-dimensional histogram shifting | |
| Peng et al. | Lightweight Adaptive Feature De-drifting for Compressed Image Classification | |
| Prabakaran et al. | Dual wavelet transform in color image steganography method | |
| Nam et al. | WAN: Watermarking attack network | |
| Vaithiyanathan et al. | An evolved wavelet library based on genetic algorithm | |
| Uddin et al. | Counter-act against GAN-based attacks: A collaborative learning approach for anti-forensic detection | |
| CN116778539A (zh) | 基于注意力机制的人脸图像超分辨率网络模型及处理方法 | |
| Wu et al. | Enhancing Robustness and Imperceptibility of Blind Watermarking with Improved Message Processor | |
| Alam et al. | An investigation into image hiding steganography with digital signature framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |