CN114549273A - 基于深度神经网络的自适应鲁棒水印嵌入方法及系统 - Google Patents

Abstract

本发明涉及深度学习与鲁棒水印交叉领域，为基于深度神经网络的自适应鲁棒水印嵌入方法及系统，包括：随机选取载体图像和生成水印序列信息；对载体图像和水印序列进行预处理；对预处理后的载体图像和水印序列信息进行编码，输出修改比例图；对载体图像进行高斯滤波，计算嵌入水印序列信息时允许修改的最大值，输出阈值图；计算由水印信息映射而成的特征噪声模板，生成水印图像；对水印图像添加噪声和进行图像攻击处理操作，生成被攻击的水印图像；接收被攻击的水印图像，输出预测的水印信息序列。本发明可自适应嵌入水印信息，对于载体图像纹理复杂区域修改量大，而对于平滑区域修改量小，具有更好的视觉质量，同时有很强的鲁棒性。

Description

基于深度神经网络的自适应鲁棒水印嵌入方法及系统

技术领域

本发明涉及深度学习与鲁棒水印交叉领域，具体为基于深度神经网络的自适应鲁棒水印嵌入方法及系统。

背景技术

互联网的普及，推动了数字多媒体的进一步发展，图像、视频成为了互联网时代中信息传递的最重要的载体之一。然而在数字多媒体蓬勃发展的同时，图像、视频作品的盗版侵权问题也越来越严重，对盗窃拍摄的图像和视频作品进行版权认证，保护作者知识产权和著作权变得迫在眉睫。

鲁棒水印技术是一种以视觉上不可感知的方式将水印信息嵌入到载体图像中的技术，嵌入水印后的图像在受到噪声干扰的情况下仍然可以可靠地提取出水印消息，从而实现版权认证的作用。衡量一个鲁棒水印系统性能的两大关键指标为鲁棒性和视觉不可察觉性，鲁棒性意味着水印图像在承受一定的噪声攻击和图像处理操作后，可以完整地提取出水印信息；视觉不可察觉性意味着嵌入水印后的图像和原来的载体图像难以区分。

在过去几年中，随着深度学习在计算机视觉和模式识别领域的巨大成功，一系列基于深度学习的数字水印方法逐渐涌现。基于深度学习的方法往往采用端到端的方式训练模型，编码器网络接收载体图像和水印信息并输出含水印图像；解码器网络接收经过噪声攻击的水印图像并尝试恢复出水印信息。然而现有的基于深度学习的鲁棒水印方法在生成水印图像过程中，对图像的修改量并没有做出明确限定，生成的水印图像偶尔会出现很明显的噪点，因此视觉质量有待提升；另一方面，现有的方法对于一些其他噪声比如莫尔条纹噪声的鲁棒性也有待提升。

发明内容

本发明提供基于深度神经网络的自适应鲁棒水印嵌入方法及系统，相较于现有的基于深度学习的鲁棒水印方案，本发明能在保证在各种常见噪声攻击下都达到较高的解码精度，与此同时，本发明实现了水印信息自适应嵌入，提升了水印图像的视觉质量，增强了水印图像的不可感知度。

本发明方法采用以下技术方案来实现：基于深度神经网络的自适应鲁棒水印嵌入方法，包括以下步骤：

S1、随机选取载体图像I_c和生成随机0-1水印序列信息Msg作为训练数据集；

S2、对载体图像和水印序列信息进行预处理；

S3、对预处理后的载体图像和水印序列信息进行编码，输出修改比例图M_map；

S4、对载体图像进行高斯滤波，并计算嵌入相应的水印序列信息时允许修改的最大值，根据计算结果输出阈值图T_map；

S5、计算由水印序列信息映射而成的特征噪声模板N_pat，将特征噪声模板叠加到载体图像I_c上生成水印图像I_w；

S6、对水印图像I_w进行相应的图像攻击处理操作和添加噪声，生成被攻击的水印图像I′_w；

S7、对被攻击的水印图像I′_w进行解码，输出预测的水印信息序列Msg^p。

在优选的实施例中，步骤S2的预处理包括以下步骤：

S21、将水印序列信息经过全连接变成一维张量，并重塑为3维形式的图像张量，再将所述图像张量进行上采样，使得水印序列信息变成和载体图像相同维度大小的3维水印张量；

S22、将步骤S21得到的水印张量与载体图像按照通道叠加，作为编码器的输入。

在优选的实施例中，步骤S4中阈值图T_map的生成过程包括以下步骤：

S41、对载体图像I_c进行高斯平滑滤波，得到滤波后的载体图像I_g；

S42、对高斯平滑滤波后的载体图像I_g使用Sobel算子在水平方向上K_h和垂直方向上K_v的一阶差分，并求和作为阈值图，

在优选的实施例中，步骤S5中水印图像的生成过程包括以下步骤：

S51、将修改比例图和阈值图做矩阵点积，生成特征噪声模板N_pat；

S52、将水印序列信息映射而成的特征噪声模板添加到水印图像上，生成水印图像I_w：I_w＝I_c+N_pat。

本发明系统采用以下技术方案来实现：基于深度神经网络的自适应鲁棒水印嵌入系统，包括：

数据集输入模块，用于随机选取载体图像I_c和生成随机0-1水印序列信息Msg作为训练数据集；

预处理模块，用于将输入的数据集进行预处理，将水印序列信息转换为和载体图像相同大小的张量矩阵；

编码器模块，用于根据载体图像和水印序列信息生成修改比例图，所述修改比例图用于表明嵌入水印序列信息时所需要修改像素值的比例大小；

阈值图生成模块，用于计算出载体图像I_c的纹理复杂度，并将纹理复杂度作为阈值图，所述阈值图用于表明嵌入水印序列信息时不引起人眼察觉的最大修改量；

水印图像生成模块，用于整合阈值图和修改比例图，生成特征噪声模板，并加入到载体图像I_c中，最终生成水印图像；

噪声攻击模块，用于模拟对水印图像进行图像攻击处理操作和添加噪声，生成对应的被攻击水印图像I′_w；

解码器模块，用于对被攻击的水印图像I′_w进行解码，输出预测的水印信息序列Msg^p。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明采用了自适应的嵌入方式，由水印信息映射得到的特征噪声模板具有自适应性，在纹理复杂度高的地方强度大，在图像平滑的区域强度低一些，因而对于载体图像主要的修改量都集中在纹理复杂区域，使得图像的视觉质量更好，生成的水印图像没有明显的噪点。

2、本发明考虑了莫尔条纹噪声对于解码精度的影响，引入了莫尔条纹噪声到解码器的训练之中，使得解码器对于莫尔条纹噪声具有更强的鲁棒性，对于盗版拍摄图像的情况之下，鲁棒性较好。

3、本发明训练出来的模型，很好地兼顾了鲁棒性和视觉质量，在视觉质量好的同时，解码精度非常高，可以抵抗打印拍摄过程中的各种噪声。

4、本发明具有较好的时间性能，鲁棒水印模型训练的时间复杂低，训练时间短，网络易收敛。

附图说明

图1是本发明实施例中嵌入方法的模型训练流程图；

图2是本发明实施例中嵌入系统的总体框架图。

具体实施方式

总的来说，本发明将要嵌入的水印信息通过深度神经网络自适应地映射成特征噪声模板，然后添加到载体图像上；同时训练一个神经网络解码器，使得该解码器即使在水印图像被其它噪声攻击和干扰下也能识别出原来的特征噪声模板并解码恢复出原来的水印信息。由本发明映射得到的特征噪声模板具有自适应性，在纹理复杂度高的地方噪声强度大，在平滑区域噪声强度低一些，因此本发明生成的含水印图像视觉质量较好。下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例基于深度神经网络的自适应鲁棒水印嵌入方法，主要涉及如下技术特征：1)水印自适应嵌入，将水印信息序列映射为特征噪声模板，此特征噪声模板对于载体图像纹理复杂区域的强度大，对于纹理平滑区域的强度小，因此添加到载体图像后生成的水印图像视觉质量高。2)模拟真实世界中存在的噪声，引入到解码器的训练之中，以提升水印模型的鲁棒性。

如图1所示，本实施例自适应鲁棒水印嵌入方法，具体步骤如下：

S1、通过数据集输入模块完成载体图像的读取和随机水印序列信息的生成。首先从Mirflickr数据集中随机选取25000张图像进行归一化处理，作为水印嵌入的载体图像I_c，

其中H、W、C分别表示载体图像的高、宽、通道数，在本实施例中，H＝400,W＝400,C＝3。与此同时，随机生成0-1水印序列信息Msg作为训练数据集，Msg∈{0,1}^L，L表示水印序列信息的长度。

S2、通过预处理模块完成对载体图像和水印序列信息的预处理操作，预处理结果作为水印编码器的输入。具体的预处理步骤包括：

S21、将水印序列信息经过全连接变成一维张量，并重塑为3维形式的图像张量，再将所述图像张量进行上采样，使得水印序列信息转换成与载体图像相同维度(HWC)大小的3维水印张量。

S22、将步骤S21得到的水印张量与载体图像按照通道叠加，作为编码器的输入。

S3、通过编码器模块接收预处理后的载体图像和水印序列信息进行编码，输出修改比例图M_map。其中，编码器模块采用Unet的结构，最后一层采用tanh函数激活，使得相应解码器输出的修改比例图的值归一化到[-1,1]之间，修改比例图的值表示嵌入对应的水印信息所需要修改像素值的比例大小。

S4、通过阈值图生成模块接收载体图像作为输入，进行高斯滤波，并计算嵌入相应的水印序列信息时允许修改的最大值，根据计算结果输出阈值图T_map。阈值图T_map用于表明嵌入水印序列信息时不引起人眼察觉的最大修改量，其生成过程具体如下：

S41、对载体图像I_c进行高斯平滑滤波，得到滤波后的载体图像I_g。其中高斯平滑滤波采用高斯滤波核，核长为k＝5，方差sigma＝0.8。

S42、对高斯平滑滤波后的载体图像I_g使用Sobel算子计算在水平方向上(K_h)和垂直方向上(K_v)的一阶差分，并求和作为阈值图T_map，

S5、通过水印图像生成模块完成水印图像的生成，首先计算由水印序列信息映射而成的特征噪声模板N_pat，然后将特征噪声模板叠加到载体图像I_c上生成水印图像I_w。水印图像的具体生成过程如下：

S51、将修改比例图和阈值图做矩阵点积，生成特征噪声模板：N_pat＝ε*M_map*T_map。

其中，ε为控制嵌入水印强度因子。需要注意的是，在训练的前期，将ε设置为较大的值，训练到一定时间，需要将ε逐渐减小。在本实施例中，ε初始化设置为0.8，在训练120000步后，逐渐线性衰减为0.25。

S52、将水印序列信息映射而成的特征噪声模板N_pat添加到载体图像I_c上，生成水印图像：I_w＝I_c+N_pat。

S6、通过噪声攻击模块完成对水印图像I_w进行相应的图像攻击处理操作和添加噪声，生成被攻击的水印图像I′_w，噪声攻击过程具体如下：

S61、对水印图像I_w进行透视变换攻击，训练过程中，对透视变换允许的坐标偏移限制在一定范围内，限制式如下所示：

|x-x′|＜W*τ,|y-y′|＜H*τ

其中(x,y)表示图像的原坐标，(x’,y’)表示经过透视变换后的坐标，H为图像的高，W为图像的宽，τ表示坐标偏移允许的最大值。在本实施例中，H＝400,W＝400，τ＝0.1，此限制式表明了透视变换的前后坐标偏移最大允许值为40。以此为限制条件，生成透视变换矩阵，对水印图像进行透视变换操作。

S62、对水印图像I_w进行莫尔条纹噪声攻击。根据莫尔条纹的光栅方程，生成和水印图像相同维度(HWC)的莫尔条纹噪声M，然后将莫尔条纹噪声以α融合的方式，添加到水印图像中，如下式所示：I′_w＝(1-α)I_w+αM，在本实施例中，α＝0.3。

S63、对水印图像I_w进行Jpeg压缩攻击。模拟标准Jpeg压缩流程对图像进行压缩处理，首先将图像由RGB模式转换为YCbCr模式，然后将图像分成8*8的小块，进行离散余弦变换(DCT)，然后按照下式进行量化操作：

其中，Q_i,j为标准量化表，S_i,j为DCT系数子块；β为常数，在本实施例中，β随机选取在范围[0.1,1.1]内的值。量化完成后，依次进行反量化、反离散余弦变换，变换模式为RGB，完成Jpeg压缩攻击。

S64、对水印图像I_w进行颜色变换攻击。对水印图像亮度、对比度进行一定的偏移，模拟图像传输过程中，受到的色差、亮度、对比度的改变。偏移公式为：bI_w+c，在本实施例中，b随机选取在范围[0.6,1.4]内的值，c随机选取在范围[-0.2,0.2]之间的值。

S65、对水印图像添加高斯噪声N(μ,σ²)，在本实施例中，设置μ＝0，σ随机选取范围[0,0.18]内的值。

其中，所有噪声在刚开始训练时，强度较小，随着训练步长递增到一定值后，强度保持不变。本实施例中，设置训练从第0步到15000步各种噪声强度逐渐递增，15000步以后强度保持在一定范围内不变。

S7、通过解码器接收被攻击的水印图像I′_w作为输入，解码并输出预测的水印信息序列Msg^p，其中解码器由8层卷积层加2层全连接层构成。

S8、计算信息预测误差损失和图像重建损失，并反向传播，更新编码器和解码器网络参数，具体过程如下。

S81、计算信息预测误差损失，信息预测误差损失采用sigmoid交叉熵函数，其定义如下：

其中，I_i,_j＝Msg,I′_i,_j＝sigmoid(Msg^p)，N表示批样本的大小，L表示嵌入比特序列的长度。

S82、计算图像视觉质量损失，视觉质量损失包括均方误差损失L_mse和图像感知相似度差异L_lpips，分别定义如下：

L_lpips＝calculate_Lpips(I_w，I_c)

其中，Lpips为神经网络学习的视觉质量指标，N表示批样本的大小，H为载体图像的高，W为载体图像的宽，I_c为载体图像，I_w为水印图像。

S83、按一定权重联合信息预测误差损失、均方误差损失和图像感知相似度差异，作为总损失。总损失的计算公式如下：

L＝λ₁L_ce+λ₂L_mse+λ₃L_lpips

在本实施例中，λ₁＝3,λ₂＝0.5,λ₃＝2.4。

S84、根据总损失L计算梯度，反向传播。本实施例中，优化器采用Adam优化器，学习率设置为0.0001。

S9、循环S1-S8的过程，直到训练到神经网络收敛下来停止，在本实施例中，一共训练360000步。

本发明鲁棒水印模型的视觉质量性能和鲁棒性测试评估结果如表1所示，从测试评估结果可以看出，本发明可以兼顾视觉质量和鲁棒性，既取得很高的解码精度，又保证了较好的视觉质量。

表1本发明鲁棒水印性能

实施例2

本实施例与实施例1基于相同的发明构思，为基于深度神经网络的自适应鲁棒水印嵌入系统，其包括以下模块：

数据集输入模块，用于随机选取载体图像I_c和生成随机0-1水印序列信息Msg作为训练数据集；

预处理模块，用于将输入的数据集进行预处理，将水印序列信息转换为和载体图像相同大小的张量矩阵；

编码器模块，用于根据载体图像和水印序列信息生成修改比例图，所述修改比例图用于表明嵌入水印序列信息时所需要修改像素值的比例大小；

阈值图生成模块，用于计算出载体图像I_c的纹理复杂度，并将纹理复杂度作为阈值图，所述阈值图用于表明嵌入水印序列信息时不引起人眼察觉的最大修改量；

水印图像生成模块，用于整合阈值图和修改比例图，生成特征噪声模板，并加入到载体图像I_c中，最终生成水印图像；

噪声攻击模块，用于模拟对水印图像进行图像攻击处理操作和添加噪声，生成对应的被攻击水印图像I′_w；

解码器模块，用于对被攻击的水印图像I′_w进行解码，输出预测的水印信息序列Msg^p；

损失函数计算模块，用于计算生成的水印图像和原来载体图像的重建损失，以及水印序列信息的预测误差损失，并反向传播，更新编码器和解码器的网络权重，使得神经网络逐渐收敛。

在阈值图生成模块中，阈值图T_map的生成过程为：对载体图像I_c进行高斯平滑滤波，得到滤波后的载体图像I_g；对高斯平滑滤波后的载体图像I_g使用Sobel算子在水平方向上K_h和垂直方向上K_v的一阶差分，并求和作为阈值图，

在水印图像生成模块中，将修改比例图和阈值图做矩阵点积，生成特征噪声模板N_pat；将水印序列信息映射而成的特征噪声模板添加到水印图像上，生成水印图像I_w。

本实施例的各模块用于实现实施例1鲁棒水印嵌入方法的各步骤，其具体过程不再赘述。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于深度神经网络的自适应鲁棒水印嵌入方法，其特征在于，包括以下步骤：

S1、随机选取载体图像I_c和生成随机0-1水印序列信息Msg作为训练数据集；

S2、对载体图像和水印序列信息进行预处理；

S3、对预处理后的载体图像和水印序列信息进行编码，输出修改比例图M_map；

S4、对载体图像进行高斯滤波，并计算嵌入相应的水印序列信息时允许修改的最大值，根据计算结果输出阈值图T_map；

S5、计算由水印序列信息映射而成的特征噪声模板N_pat，将特征噪声模板叠加到载体图像I_c上生成水印图像I_w；

S6、对水印图像I_w进行相应的图像攻击处理操作和添加噪声，生成被攻击的水印图像I′_w；

S7、对被攻击的水印图像I′_w进行解码，输出预测的水印信息序列Msg^p。

2.根据权利要求1所述的自适应鲁棒水印嵌入方法，其特征在于，还包括以下步骤：

S8、计算信息预测误差损失和图像重建损失，并反向传播，更新编码器和解码器的网络参数；

S9、循环S1-S8的过程，直到训练至神经网络收敛。

3.根据权利要求1所述的自适应鲁棒水印嵌入方法，其特征在于，步骤S2的预处理包括以下步骤：

S21、将水印序列信息经过全连接变成一维张量，并重塑为3维形式的图像张量，再将所述图像张量进行上采样，使得水印序列信息变成和载体图像相同维度大小的3维水印张量；

S22、将步骤S21得到的水印张量与载体图像按照通道叠加，作为编码器的输入。

4.根据权利要求3所述的自适应鲁棒水印嵌入方法，其特征在于，编码器采用Unet结构，最后一层采用tanh函数激活。

5.根据权利要求1所述的自适应鲁棒水印方法，其特征在于，步骤S4中阈值图T_map的生成过程包括以下步骤：

S41、对载体图像I_c进行高斯平滑滤波，得到滤波后的载体图像I_g；

S42、对高斯平滑滤波后的载体图像I_g使用Sobel算子在水平方向上K_h和垂直方向上K_v的一阶差分，并求和作为阈值图，

6.根据权利要求1所述的自适应鲁棒水印方法，其特征在于，步骤S5中水印图像的生成过程包括以下步骤：

S51、将修改比例图和阈值图做矩阵点积，生成特征噪声模板N_pat；

S52、将水印序列信息映射而成的特征噪声模板添加到水印图像上，生成水印图像I_w：I_w＝I_c+N_pat。

7.根据权利要求1所述的自适应鲁棒水印方法，其特征在于，步骤S6包括以下步骤：

S61、对水印图像进行透视变换攻击；

S62、对水印图像进行莫尔条纹噪声攻击，将生成的莫尔条纹噪声M以α融合的方式添加到载体图像中，I′_w＝(1-α)I_w+αM；

S63、对水印图像进行Jpeg压缩攻击；

S64、对水印图像进行颜色变换攻击，对水印图像亮度、对比度进行偏移，模拟图像传输过程中受到的色差、亮度、对比度的改变；

S65、对图像添加高斯噪声。

8.基于深度神经网络的自适应鲁棒水印嵌入系统，其特征在于，包括以下模块：

数据集输入模块，用于随机选取载体图像I_c和生成随机0-1水印序列信息Msg作为训练数据集；

预处理模块，用于将输入的数据集进行预处理，将水印序列信息转换为和载体图像相同大小的张量矩阵；

编码器模块，用于根据载体图像和水印序列信息生成修改比例图，所述修改比例图用于表明嵌入水印序列信息时所需要修改像素值的比例大小；

阈值图生成模块，用于计算出载体图像I_c的纹理复杂度，并将纹理复杂度作为阈值图，所述阈值图用于表明嵌入水印序列信息时不引起人眼察觉的最大修改量；

水印图像生成模块，用于整合阈值图和修改比例图，生成特征噪声模板，并加入到载体图像I_c中，最终生成水印图像；

噪声攻击模块，用于模拟对水印图像进行图像攻击处理操作和添加噪声，生成对应的被攻击水印图像I′_w；

解码器模块，用于对被攻击的水印图像I′_w进行解码，输出预测的水印信息序列Msg^p。

9.根据权利要求8所述的自适应鲁棒水印嵌入系统，其特征在于，还包括：

损失函数计算模块，用于计算生成的水印图像和原来载体图像的重建损失，以及水印序列信息的预测误差损失，并反向传播，更新编码器和解码器的网络权重，使得神经网络逐渐收敛。

10.根据权利要求8所述的自适应鲁棒水印嵌入系统，其特征在于，

在阈值图生成模块中，阈值图T_map的生成过程为：对载体图像I_c进行高斯平滑滤波，得到滤波后的载体图像I_g；对高斯平滑滤波后的载体图像I_g使用Sobel算子在水平方向上K_h和垂直方向上K_v的一阶差分，并求和作为阈值图，

在水印图像生成模块中，将修改比例图和阈值图做矩阵点积，生成特征噪声模板N_pat；将水印序列信息映射而成的特征噪声模板添加到水印图像上，生成水印图像I_w。

Images