CN116029887A - 一种基于小波神经网络的图像大容量鲁棒水印方法 - Google Patents

Abstract

本发明针对现有技术的局限性，提出了一种基于小波神经网络的图像大容量鲁棒水印方法，在网络结构上进行了改进，采用了小波变换操作和小波逆变换操作来分别替代普通的卷积上采样和下采样操作，这种改进能使得网络在下采样时能够保留更多的高频信息，以及对噪声更加鲁棒。

Description

一种基于小波神经网络的图像大容量鲁棒水印方法

技术领域

本发明涉及多媒体内容安全技术领域，具体地，涉及跨媒体转换能力的图像水印技术；更具体的，涉及一种基于小波神经网络的图像大容量鲁棒水印方法。

背景技术

近年来，随着人们对抗打印扫描、抗打印拍摄、抗屏幕拍摄等水印的需求愈发强烈，具备跨媒体转换能力的图像水印，即“物理”水印，的研究变得尤为重要。一般来说，“物理”水印不仅要保证图像视觉质量和足够大的嵌入容量，更重要的是要尽可能地提升抵抗跨媒体转换攻击的鲁棒性。

公开日：2022-05-24，公告号：CN114529442A的中国发明专利：一种采用两阶段预编码和小波网络的鲁棒图像水印方法，将两阶段水印信息预处理方案与掩膜机制严密切合，能够通过冗余编码使得水印信息均匀地分布在图像中，同时结合掩膜机制，在图像富纹理区域嵌入强度更高的水印并且降低了水印在图像平滑区域的嵌入强度，保障了图像的视觉质量；而在水印容量上，一方面小波集成神经网络对鲁棒水印有所提升；另一方面，两阶段水印信息预处理方案的嵌入机制允许手动控制水印的冗余度，从而提升了容量。

上述方案的创新点主要在于使用了两阶段、分块冗余编码的方法让水印嵌入过程更灵活，而如何设计更合理的神经网络结构，使得图像经过网络处理后，能够往其中嵌入视觉质量好、能抵御各种信道攻击、且大容量的水印信息，仍是一个值得研究的方向。

发明内容

针对现有技术的局限，本发明提出一种基于小波神经网络的图像大容量鲁棒水印方法，本发明采用的技术方案是：

一种基于小波神经网络的图像大容量鲁棒水印方法，通过以下步骤进行水印嵌入：

S11，获取水印信息以及载体图像；

S12，对所述水印信息进行维度扩充；

S13，将维度扩充的结果与所述载体图像拼接后，输入经过训练的基于小波神经网络的编码器中，获得残差图像；

S14，将所述残差图像与载体图像相加得到水印图像。

相较于现有技术，本发明在网络结构上进行了改进，采用了小波变换操作和小波逆变换操作来分别替代普通的卷积上采样和下采样操作，这种改进能使得网络在下采样时能够保留更多的高频信息，以及对噪声更加鲁棒。

作为一种优选方案，所述编码器中依序包括一个通道数为32的卷积层、三个基于小波变换的第一小波分解模块、一个通道数为512的卷积层、三个基于小波逆变换的小波重构模块以及一个通道数为3的卷积层；其中：

所述小波重构模块与所述小波分解模块对称设置，所述第一小波分解模块输出的小波子带通过跳跃连接输入到对应位置的所述小波重构模块；所述第一小波分解模块用于对输入的特征进行小波分解，对得到的特征的各小波子带分别处理，实现下采样的功能；所述小波重构模块用于对输入的各频率的特征作预处理，对这些特征进行小波逆变换的操作，实现上采样的功能；

通道数为3的卷积层的输入为所述编码器的输入、通道数为32的卷积层的输出以及最后一个小波重构模块的输出的拼接结果。

进一步的，在所述第一小波分解模块中：对第一小波分解模块的输入特征进行小波分解，获得该输入特征的中高频子带LH、HL、HH以及低频子带LL；使用一个卷积层对所述低频子带LL进行处理，将处理后的结果与所述低频子带LL进行拼接；将拼接后得到的特征输出到下一级；将拼接后得到的特征连同所述高频子带LH、HL、HH一起通过跳跃连接输出到对应位置的所述小波重构模块。

更进一步的，在所述小波重构模块中：分别使用一个卷积层对输入所述小波重构模块的小波子带中的中高频子带LH、HL、HH进行处理；将输入所述小波重构模块的小波子带中的低频子带LL与从上一级输入所述小波重构模块的特征进行拼接，使用一个卷积层使该拼接结果的通道数与经过处理后的中高频子带的通道数一致；对以上经过处理后通道数相同的各小波子带使用小波逆变换操作进行上采样，使用一个卷积层减少上采样结果的通道数后输出到下一级。

作为一种优选方案，在所述步骤S12中，包括以下过程：

通过一个全连接层将所述水印信息中的比特序列扩展成长度为7500的向量，通过向量折叠的方式将该向量重塑为大小50×50的三通道图像，用最近邻插值将该三通道图像上采样到与所述载体图像一样的大小。

作为一种优选方案，通过以下步骤进行水印提取：

S21，获取嵌入有水印信息的待解码图像；

S22，将所述待解码图像输入经过训练的基于小波神经网络的解码器中，还原出所述待解码图像中的水印信息；

所述解码器中依序包括空间网络变换模块、一个步长为1的卷积层、三个基于小波变换的第二小波分解模块，还包括四个步长为2的卷积层以及两个全连接层；

在所述解码器中：所述空间网络变换模块用于对待解码图像作初步校正；经过各第二小波分解模块提取得到的特征，会通过步长为2的卷积层与等尺度的含水印信息的特征进行拼接，逐级对这些特征进行降维和提纯，最终通过两个全连接层来还原其中的水印信息。

进一步的，在所述第二小波分解模块中：对所述第二小波分解模块的输入特征进行小波分解，获得该输入特征的中高频子带LH、HL、HH以及低频子带LL；使用一个卷积层对所述低频子带LL进行处理，将处理后的结果与所述低频子带LL进行拼接，将拼接后得到的特征输出到下一级；分别对所述中高频子带LH、HL、HH进行第二次小波分解，保留第二次小波分解获得的低频子带LL作为输出的小波子带。

进一步的，在所述编码器以及解码器的训练过程中，以使得所述编码器生成的水印图像中的嵌入痕迹尽量无法被感知，且在噪声攻击下仍能保证解码的准确率为优化目标；

在所述编码器以及解码器的训练过程中：

以预设的判别器对载体图像以及所述编码器生成的水印图像是否为真实进行判断，通过进行所述判别器与编码器的对抗学习，交替优化更新；

以预设的噪声层对所述编码器生成的水印图像进行仿射变换、运动和模糊滤波、色调变化、加性噪声、JPEG压缩在内的模拟攻击；将经过模拟攻击后的水印图像作为输入所述解码器的待解码图像。

进一步的，在所述编码器以及解码器的训练过程中的总损失函数L按以下公式表示：

L＝λ_rL_r+λ_pL_p+λ_sL_s+λ_GL_G；

其中，L_r为带掩膜的内容损失函数，L_p为图像块感知相似损失函数，L_s为解码信息的交叉熵损失函数，L_G为判别损失函数；各损失函数的权重λ为可调节的超参数。

本发明还提供以下内容：

一种计算机存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现前述的基于小波神经网络的图像大容量鲁棒水印方法的步骤。

附图说明

图1为本发明实施例1提供的基于小波神经网络的图像大容量鲁棒水印方法进行水印嵌入的流程示意图；

图2为本发明实施例1提供的编码器结构示意图；

图3为本发明实施例1提供的第一小波分解模块示意图；

图4为本发明实施例1提供的小波重构模块示意图；

图5为本发明实施例1提供的水印信息处理过程示意图；

图6为本发明实施例1提供的基于小波神经网络的图像大容量鲁棒水印方法进行水印提取的流程示意图；

图7为本发明实施例1提供的解码器结构示意图；

图8为本发明实施例1的空间网络变换模块示意图；

图9为本发明实施例1提供的第二小波分解模块示意图；

图10为本发明实施例1的判别器结构示意图；

图11为本发明实施例1的噪声层的模拟攻击流程示意图；

图12为本发明实施例1的图像内容自适应的掩膜提取的流程示意图；

图13为本发明实施例1的掩膜提取效果的一个示例；

图14为本发明实施例1关于图像之间的感知距离的计算流程示意图；

图15为为本发明实施例1提供的基于小波神经网络的图像大容量鲁棒水印方法的整体框架示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。以下结合附图和实施例对本发明做进一步的阐述。

为了解决现有技术的局限性，本实施例提供了一种技术方案，下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

请参考图1，一种基于小波神经网络的图像大容量鲁棒水印方法，通过以下步骤进行水印嵌入：

S11，获取水印信息以及载体图像；

S12，对所述水印信息进行维度扩充；

S13，将维度扩充的结果与所述载体图像拼接后，输入经过训练的基于小波神经网络的编码器中，获得残差图像；

S14，将所述残差图像与载体图像相加得到水印图像。

相较于现有技术，本发明在网络结构上进行了改进，采用了小波变换操作和小波逆变换操作来分别替代普通的卷积上采样和下采样操作，这种改进能使得网络在下采样时能够保留更多的高频信息，以及对噪声更加鲁棒。

具体的，本发明在于对传统的完全基于卷积神经网络的端对端深度学习框架进行改进，将可反向传播的小波变换模块加入到神经网络的设计中，以强鲁棒性的StegaStamp框架为基础，利用小波神经网络重新设计其编码器和解码器，从而提出了一个端对端的小波神经网络数字图像水印框架，以显著提升图像水印的容量。

接下来，将先介绍本实施例涉及的原理，即神经网络中小波变换的实现。对于离散小波变换，可以通过常见的滤波方式实现之外，还可以利用矩阵运算的方式进行，例如二维图像X的离散小波变换可以由如下的矩阵乘法运算表示：

其中，L_d和H_d是小波的低通分解滤波器和高通分解滤波器扩张而成的矩阵，具体而言，对于低通分解滤波器L＝{l_k}_k∈Z和高通分解滤波器H＝{h_k}_k∈Z，L_d和H_d矩阵的具体元素可以写为：

相应的，由各个小波子带恢复原来的图像可以由下面的矩阵乘法表示：

其中，L_r和H_r是小波的低通重构滤波器和高通重构滤波器扩张而成的矩阵，构造方式与L_d和H_d相同。同样的，在进行梯度回传的时候，小波分解的梯度回传可由如下的全微分公式表示：

而小波逆变换的梯度回传可由如下的全微分公式表示：

利用这个实现方法，在深度网络的构建时可以按需求加入小波变换和逆变换操作，以对深层次的特征进行分解和重构。本方法在小波编码网络以及小波解码网络中选择的是哈尔小波。

接下来将对本实施例所涉及的网络架构进行进一步的说明；

作为一种优选实施例，请参阅图2，所述编码器中依序包括一个通道数为32的卷积层、三个基于小波变换的第一小波分解模块、一个通道数为512的卷积层、三个基于小波逆变换的小波重构模块以及一个通道数为3的卷积层；其中：

所述小波重构模块与所述小波分解模块对称设置，所述第一小波分解模块输出的小波子带通过跳跃连接输入到对应位置的所述小波重构模块；所述第一小波分解模块用于对输入的特征进行小波分解，对得到的特征的各小波子带分别处理，实现下采样的功能；所述小波重构模块用于对输入的各频率的特征作预处理，对这些特征进行小波逆变换的操作，实现上采样的功能；

通道数为3的卷积层的输入为所述编码器的输入、通道数为32的卷积层的输出以及最后一个小波重构模块的输出的拼接结果。

具体的，输出通道数为3的卷积层不使用激活函数，相对于现有的U-net的结构，对应的下采样和上采样的模块全部替换为了基于小波变换和逆变换设计的第一小波分解模块和小波重构模块，在说明书附图中分别简称为DWT模块和IDWT模块。

进一步的，请参阅图3，在所述第一小波分解模块中：对第一小波分解模块的输入特征进行小波分解，获得该输入特征的中高频子带LH、HL、HH以及低频子带LL；使用一个卷积层对所述低频子带LL进行处理，将处理后的结果与所述低频子带LL进行拼接；将拼接后得到的特征输出到下一级；将拼接后得到的特征连同所述高频子带LH、HL、HH一起通过跳跃连接输出到对应位置的所述小波重构模块。

具体的，这样的处理可以有下列优势：一、减少了进行维度扩充时所需的卷积核的参数数量；二、在网络层次不断加深的同时，可以尽可能地保留原始特征地主要内容。

更进一步的，请参阅图4，在所述小波重构模块中：分别使用一个卷积层对输入所述小波重构模块的小波子带中的中高频子带LH、HL、HH进行处理；将输入所述小波重构模块的小波子带中的低频子带LL与从上一级输入所述小波重构模块的特征进行拼接，使用一个卷积层使该拼接结果的通道数与经过处理后的中高频子带的通道数一致；对以上经过处理后通道数相同的各小波子带使用小波逆变换操作进行上采样，使用一个卷积层减少上采样结果的通道数后输出到下一级。

具体的，编码器的输入是400×400的RGB图像和一定长度的二进制比特信息序列，请参阅图5，作为一种优选实施例，在所述步骤S12中，包括以下过程：

通过一个全连接层将所述水印信息中的比特序列扩展成长度为7500的向量，通过向量折叠的方式将该向量重塑为大小50×50的三通道图像，用最近邻插值将该三通道图像上采样到与所述载体图像一样的大小。

作为一种优选实施例，请参阅图6，通过以下步骤进行水印提取：

S21，获取嵌入有水印信息的待解码图像；

S22，将所述待解码图像输入经过训练的基于小波神经网络的解码器中，还原出所述待解码图像中的水印信息；

请参阅图7，所述解码器中依序包括空间网络变换(Spatial TransformerNetwork，STN)模块、一个步长为1的卷积层、三个基于小波变换的第二小波分解模块，还包括四个步长为2的卷积层以及两个全连接层；

在所述解码器中：所述空间网络变换模块用于对待解码图像作初步校正；经过各第二小波分解模块提取得到的特征，会通过步长为2的卷积层与等尺度的含水印信息的特征进行拼接，逐级对这些特征进行降维和提纯，最终通过两个全连接层来还原其中的水印信息。

具体的，图7中带*的数字表示步长为2的卷积，所述第二小波分解模块与第一小波分解模块不同，记为DWT₂模块。所述空间网络变换模块(STN模块)会对需要进行解码的图像在被捕捉和分离时产生的微小几何畸变作初步校正，对图像需要校正的空间网络变换(Spatial Transformer Network，STN)的参数进行学习，完成对解码图像的初步校正。

更具体的，所述空间网络变换模块的具体结构如图8所示，主要包括定位网络(Localisation Network)、网格生成器(Grid Genator)和采样器(Sampler)。定位网络对仿射变换的参数θ进行学习，然后网格生成器根据学习到的参数对输入特征或者图像作仿射变换，最后由采样器将校正后的特征或图像的尺寸规整到与输入时的尺寸相一致。

进一步的，请参阅图9，在所述第二小波分解模块中：对所述第二小波分解模块的输入特征进行小波分解，获得该输入特征的中高频子带LH、HL、HH以及低频子带LL；使用一个卷积层对所述低频子带LL进行处理，将处理后的结果与所述低频子带LL进行拼接，将拼接后得到的特征输出到下一级；分别对所述中高频子带LH、HL、HH进行第二次小波分解，保留第二次小波分解获得的低频子带LL作为输出的小波子带，由此达到集中能量和降低维度的目的。

进一步的，在所述编码器以及解码器的训练过程中，以使得所述编码器生成的水印图像中的嵌入痕迹尽量无法被感知，且在噪声攻击下仍能保证解码的准确率为优化目标；

在所述编码器以及解码器的训练过程中：

以预设的判别器对载体图像以及所述编码器生成的水印图像是否为真实进行判断，通过进行所述判别器与编码器的对抗学习，交替优化更新；

以预设的噪声层对所述编码器生成的水印图像进行仿射变换、运动和模糊滤波、色调变化、加性噪声、JPEG压缩在内的模拟攻击；将经过模拟攻击后的水印图像作为输入所述解码器的待解码图像。

具体的，所述判别器的结构如图10所示，它以原始载体图像和未经过噪声层处理的水印图像作为输入，对输入的图像是否为真实进行判断。判别器与编码网络进行对抗学习，交替优化更新，组成GAN的框架。所有卷积步长(stride)均为2。网络整体结构较为简单，网络结构包括5层卷积(Conv)模块和1层全局均值池化层组成，前4层卷积模块由卷积层和ReLu激活函数组成，最后1层卷积模块不使用激活函数，最后通过全局均值池化后输出一个值进行判别，取值越大表示判别器认为图像真实程度越高。

所述噪声层的模拟攻击过程如图11所示。

进一步的，在所述编码器以及解码器的训练过程中的总损失函数L按以下公式表示：

L＝λ_rL_r+λ_pL_p+λ_sL_s+λ_GL_G；

其中，L_r为带掩膜的内容损失函数，L_p为图像块感知相似损失函数，L_s为解码信息的交叉熵损失函数，L_G为判别损失函数；各损失函数的权重λ为可调节的超参数。在网络训练时，解码损失函数的权重λ_s保持不变，而其他权重λ_r、λ_p、λ_G在网络训练初始时置零，随网络训练的进程线性增长，直到达到预设的阈值后保持不变。

具体的，现有的StegaStamp在载体图像进行较大容量的嵌入时，往往会在载体图像的平滑区域进行大幅度修改，使水印图像的视觉效果变差。一般而言，在载体图像的纹理复杂区域进行修改，对图像视觉效果的影响会比在载体图像的平滑区域进行修改要小。而如果对水印残差的修改幅值进行限制，水印的嵌入容量则难以进一步提升。因此，本实施例尝试通过图像掩膜的方式，提高在图像平滑区域进行修改的代价，在提升水印图像质量的同时减少对整体水印框架鲁棒性和嵌入容量的影响。

图像内容自适应的掩膜提取的流程如图12所示，首先对载体图像使用Canny算子进行边缘检测，对得到的图像边缘使用不同大小的结构单元进行膨胀操作，结构单元为全1矩阵，选用的结构单元大小为2、4、6、8、10、12、14、16，然后对得到的不同膨胀后的边缘进行加权求和，结构单元尺寸越大的边缘所占的权重越小，最终得到一个越远离图像纹理复杂区域(区域边界)时取值越大的图像掩膜，最后将掩膜的值归一化到[0,1]区间，图13给出了掩膜提取效果的一个示例。

得到了内容自适应的掩膜后，将其作用于L_r损失函数的度量中。具体而言，L_r损失会计算载体图像和水印图像之间的度量，而掩膜通过强度控制参数λ_mask增加图像非纹理区域的权重，提升在图像纹理区域进行修改的代价，从而引导网络集中在纹理复杂区域进行修改，具体公式可如下表示：

L_r＝||(I+λ_mask·mask(X))(X-X′)||₂

其中，I表示全部元素的值均为1的矩阵，X和X′分别表示载体图像和水印图像，mask(X)表示载体图像的掩膜。λ_mask在网络训练早期固定为0，在网络训练稳定后线性增长到指定阈值。

因此可以认为，本实施例中引入了图像掩膜，并在此基础上设计了新的损失度量，引导神经网络去学习更加内容自适应的水印嵌入方法，从而改善水印图像的视觉质量。在原始的StegaStamp方法中，网络倾向于往图像纹理简单的区域嵌入大面积水印，对这类区域进行大幅度修改会引起视觉效果的明显下降。为了达到改善水印视觉效果的目的，本方法首先利用边缘检测方法得到输入图像的边缘信息，而后再对边缘信息进一步处理以得到内容自适应的图像掩膜，并根据该图像掩膜设计自适应的损失函数，加大平滑区域的嵌入代价，从而在神经网络训练过程中引导神经网络将水印信息隐藏至图像的视觉不可感知区域中。

图像块感知相似(Learned Perceptual Image Patch Similarity,LPIPS)损失函数L_p，通过使用深度网络对人的图像评判方法进行模拟，给出两张输入图像之间的感知距离，来反映两者在视觉上的差异度。其计算过程如图14所示，感知度量的计算通过计算深度网络中输入图像之间的距离实现。这个距离的计算首先需要一个训练好的深度网络模型，将需要进行感知距离度量的两张图像x、x₀分别作为训练好的网络的输入进行计算，选取一部分计算过程中的得到的中间结果对这些结果作差，然后对差值按通道数l进行归一化，接着对每个归一化的差值的不同通道赋予不同的权重W_l，算出加权后差值的l₂范数的平方，最后对各个范数平方的结果按特征尺寸、w单位化后求和，得到基于深度网络的图像x和x₀之间的距离度量。整个过程可以由以下公式进行概括：

解码信息的交叉熵损失函数L_s的作用是对错误的解码结果进行惩罚，其公式如下，其中，N是嵌入的水印信息的长度，S＝{s_k}和R＝{r_k}分别表示原始的水印信息和解码网络恢复的水印信息。

判别损失函数L_G是在GAN的网络框架中常见的一种损失，生成网络和判别网络之间的博弈是通过交替进行优化更新实现的，连接两者的桥梁就是判别损失函数L_G。作为一种可选实施例，判别损失函数L_G可以使用文献[Arjovsky M,Chintala S,L,etal.Wasserstein generative adversarial networks[C]//International Conferenceon Machine Learning.PMLR,2017]提出的Wasserstein损失函数,具体形式如下式所示：

网络在训练时采用了含25000张图像的MIR Flickr数据集作为训练集，训练图像尺寸为400×400，在训练时随图像输入网络的比特信息是随机生成的，每个批次的样本量设置为4，生成网络部分使用Adam优化器，学习率为0.0001，判别网络使用RMSProp优化器，学习率为0.00001，迭代180000次。

网络训练完毕后，即可用于水印的编码与解码。由于打印和翻拍过程会引入大量的噪声，导致比特序列无法完全解码正确，可能会出现少量的错误比特，因此送入编码器网络的比特序列通常会使用纠错码，以加强水印的鲁棒性。在水印提取时，显示在屏幕上或被打印出来的含水印图像经过翻拍后，可以使用边缘检测或现成的分割网络模型来对水印区域进行检测与定位，再使用仿射变换变换回400×400大小的图像，然后送入解码器，便可以得到解码后的二进制比特序列。对该二进制比特序列进行纠错码的解码和转换，便可以得到文本或图像形式的隐藏水印信息。

本发明的整体框架可参阅图15。总体而言，本发明的具有水印容量更高，水印图像质量更好的优点。

首先，本发明的水印容量更高，这得益于在神经网络中引入小波分解的操作。其会带来以下几方面好处：

在进行水印嵌入编码时，对输入特征下采样的过程中，可以通过小波变换将下采样过程变为一个没有信息损失的操作过程，本身小波变换操作不会带来信息损失，可以通过分解后的各个小波子带进行原始输入信息的精确重构。

小波分解在神经网络中的应用能有效集中特征的能量，使嵌入的水印信号趋向于集中在特征的能量富集区域，也就是特征的小波低频分量中，对水印整体框架鲁棒性的提升起到了积极的作用。

在水印信息的提取时，应用小波变换方法能快速地将嵌入的水印信息从特征中提取出来，由于进行水印信息的嵌入时小波神经网络将大部分水印信号嵌入在特征的小波低频分量中，对特征进行小波分解能快速地将其中的水印信号分离出来，以便于神经网络进一步地对其中的水印信息进行提纯，提升了解码网络对水印信息的提取能力。

其次，本发明的水印图像质量更好，通过引入了以图像掩膜为基础的损失函数来实现的，提高在图像平滑区域进行修改的代价，在提升水印图像质量的同时减少对整体水印框架鲁棒性和嵌入容量的影响，引导神经网络去学习更加内容自适应的水印嵌入方法。

接下来，本实施例将结合具体的测试进一步展示本发明的有益效果。先简要介绍一下本实施例相关的评价指标，包括鲁棒性指标和图像质量评价指标。模型的鲁棒性由模拟攻击后的水印图像解码准确率来评价。而常见的图像质量评价指标有结构相似度(Structural SIMilarity，SSIM)和峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)。其中SSIM的计算公式如下所示，μ代表均值，σ代表标准差，而σ_xy代表协方差。

图像x与图像y的PSNR的计算公式如下所示，其中MAX_xy代表图像像素的最大值。

在这些评价指标中，模拟攻击后的解码准确率越高，代表水印算法的鲁棒性越强；PSNR和SSIM的取值越大，代表图像客观指标越优秀。

在相同的实验条件下，将StegaStamp和本实施例提出方案(WNN)进行对比。对ImageNet中随机选取的100张图片进行测试，得到结果如表1和表2所示。

从表1可以看出，在小嵌入容量(<200比特)时，本发明提出的WNN在鲁棒性上与StegaStamp框架相当，但WNN的水印图像质量相比StegaStamp得到了显著的提升。在中等的嵌入容量(200～400比特)时，WNN在图像质量和鲁棒性上对比StegaStamp有了明显提升，控制训练时PSNR在30dB左右时，可以看到WNN的解码准确率相比StegaStamp得到了明显的提升。

表1中小嵌入容量下的性能测试结果

在大嵌入容量(>500比特)时，结果如表2所示。StegaStamp模型此时已不能收敛，但WNN仍然能够在维持一定水平的鲁棒性，同时保持一定水平的图像质量。控制训练时PSNR在28dB左右时，可以看到解码准确率仍然可以在保持83％以上。

表2大嵌入容量下的性能测试结果

嵌入容量(比特)	水印框架	PSNR	SSIM	准确率(％)
					500	WNN(本发明)	32.62	0.9760	83.81
600	WNN(本发明)	31.28	0.9603	84.41
					700	WNN(本发明)	30.70	0.9523	85.42
800	WNN(本发明)	27.89	0.9186	84.68

实施例2

一种计算机存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现实施例1中的基于小波神经网络的图像大容量鲁棒水印方法的步骤。

实施例3

一种计算机设备，包括计算机存储介质、处理器以及储存在所述计算机存储介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现实施例1中的基于小波神经网络的图像大容量鲁棒水印方法的步骤。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，通过以下步骤进行水印嵌入：

S11，获取水印信息以及载体图像；

S12，对所述水印信息进行维度扩充；

S13，将维度扩充的结果与所述载体图像拼接后，输入经过训练的基于小波神经网络的编码器中，获得残差图像；

S14，将所述残差图像与载体图像相加得到水印图像。

2.根据权利要求1所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，所述编码器中依序包括一个通道数为32的卷积层、三个基于小波变换的第一小波分解模块、一个通道数为512的卷积层、三个基于小波逆变换的小波重构模块以及一个通道数为3的卷积层；其中：

所述小波重构模块与所述小波分解模块对称设置，所述第一小波分解模块输出的小波子带通过跳跃连接输入到对应位置的所述小波重构模块；所述第一小波分解模块用于对输入的特征进行小波分解，对得到的特征的各小波子带分别处理，实现下采样的功能；所述小波重构模块用于对输入的各频率的特征作预处理，对这些特征进行小波逆变换的操作，实现上采样的功能；

通道数为3的卷积层的输入为所述编码器的输入、通道数为32的卷积层的输出以及最后一个小波重构模块的输出的拼接结果。

3.根据权利要求2所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，在所述第一小波分解模块中：对第一小波分解模块的输入特征进行小波分解，获得该输入特征的中高频子带LH、HL、HH以及低频子带LL；使用一个卷积层对所述低频子带LL进行处理，将处理后的结果与所述低频子带LL进行拼接；将拼接后得到的特征输出到下一级；将拼接后得到的特征连同所述高频子带LH、HL、HH一起通过跳跃连接输出到对应位置的所述小波重构模块。

4.根据权利要求3所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，在所述小波重构模块中：分别使用一个卷积层对输入所述小波重构模块的小波子带中的中高频子带LH、HL、HH进行处理；将输入所述小波重构模块的小波子带中的低频子带LL与从上一级输入所述小波重构模块的特征进行拼接，使用一个卷积层使该拼接结果的通道数与经过处理后的中高频子带的通道数一致；对以上经过处理后通道数相同的各小波子带使用小波逆变换操作进行上采样，使用一个卷积层减少上采样结果的通道数后输出到下一级。

5.根据权利要求1所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，在所述步骤S12中，包括以下过程：

通过一个全连接层将所述水印信息中的比特序列扩展成长度为7500的向量，通过向量折叠的方式将该向量重塑为大小50×50的三通道图像，用最近邻插值将该三通道图像上采样到与所述载体图像一样的大小。

6.根据权利要求1所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，通过以下步骤进行水印提取：

S21，获取嵌入有水印信息的待解码图像；

S22，将所述待解码图像输入经过训练的基于小波神经网络的解码器中，还原出所述待解码图像中的水印信息；

所述解码器中依序包括空间网络变换模块、一个步长为1的卷积层、三个基于小波变换的第二小波分解模块，还包括四个步长为2的卷积层以及两个全连接层；

在所述解码器中：所述空间网络变换模块用于对待解码图像作初步校正；经过各第二小波分解模块提取得到的特征，会通过步长为2的卷积层与等尺度的含水印信息的特征进行拼接，逐级对这些特征进行降维和提纯，最终通过两个全连接层来还原其中的水印信息。

7.根据权利要求6所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，在所述第二小波分解模块中：对所述第二小波分解模块的输入特征进行小波分解，获得该输入特征的中高频子带LH、HL、HH以及低频子带LL；使用一个卷积层对所述低频子带LL进行处理，将处理后的结果与所述低频子带LL进行拼接，将拼接后得到的特征输出到下一级；分别对所述中高频子带LH、HL、HH进行第二次小波分解，保留第二次小波分解获得的低频子带LL作为输出的小波子带。

8.根据权利要求6所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，在所述编码器以及解码器的训练过程中，以使得所述编码器生成的水印图像中的嵌入痕迹尽量无法被感知，且在噪声攻击下仍能保证解码的准确率为优化目标；

在所述编码器以及解码器的训练过程中：

以预设的判别器对载体图像以及所述编码器生成的水印图像是否为真实进行判断，通过进行所述判别器与编码器的对抗学习，交替优化更新；

以预设的噪声层对所述编码器生成的水印图像进行仿射变换、运动和模糊滤波、色调变化、加性噪声、JPEG压缩在内的模拟攻击；将经过模拟攻击后的水印图像作为输入所述解码器的待解码图像。

9.根据权利要求6所述的基于小波神经网络的图像大容量鲁棒水印方法，其特征在于，在所述编码器以及解码器的训练过程中的总损失函数L按以下公式表示：

L＝λ_rL_r+λ_pL_p+λ_sL_s+λ_GL_G；

其中，L_r为带掩膜的内容损失函数，L_p为图像块感知相似损失函数，L_s为解码信息的交叉熵损失函数，L_G为判别损失函数；各损失函数的权重λ为可调节的超参数。

10.一种计算机存储介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的基于小波神经网络的图像大容量鲁棒水印方法的步骤。

Images