CN116342363B - 基于两阶段深度神经网络的可见水印去除方法 - Google Patents

Abstract

本发明公开基于两阶段深度神经网络的可见水印去除方法，涉及数字水印技术领域，包括以下步骤：S1：建立水印定位网络，以图像融合算法为主要网络架构，并设置了四层编码器，在每层编码器中设置了输入层、特征提取层、特征融合层；S2：建立水印去除及修复网络，以ResNet为网络的主要架构，加入递归计算及注意力模块。本发明要解决的技术问题是提供基于两阶段深度神经网络的可见水印去除方法，不仅实现了将可见水印图像上的水印信息完整的去除掉，并且会把水印去除的后的图像进行修复，恢复了水印去除给图像带来的内容损失，使去除水印后的图像也不影响使用。

Description

基于两阶段深度神经网络的可见水印去除方法

技术领域

本发明涉及数字水印技术领域，具体地讲，涉及基于两阶段深度神经网络的可见水印去除方法。

背景技术

可见图像水印是一种数字图像技术，图像版权的所有者通过将水印信息嵌入到图像中，用于保护图像的版权和身份验证。可见水印是通过在图像中添加可视的标识来识别图像的来源和拥有者。然而，随着数字图像技术的发展，越来越多的可见水印技术已经被攻击者攻破，例如通过简单的图像处理技术来移除可见水印。因此，研究如何提高水印的鲁棒性和可靠性，以及如何有效地检测和去除水印成为一个热门的研究课题。可见水印技术在数字图像处理中扮演着重要的角色，但其安全性和可靠性仍然是一个研究的热点。研究可见水印去除的方法和技术可以帮助提高水印的鲁棒性和可靠性，从而保护数字图像的版权和所有权。通过开发更加有效的水印技术和更加强大的水印去除方法，可以使数字图像处理更加安全和可靠，从而促进数字图像处理的应用和发展。此外，研究可见水印去除的方法和技术也可以帮助提高数字版权管理和身份验证的效率和准确性，进一步推动数字化的发展。因此我们决定通过研究出效果更好的可见水印去除方法，来促进可见水印技术的发展，从而达到“以攻促守”的目的。目前一些基于深度学习的方法已经被证明在去除可见水印方面产生效果。这些方法使用神经网络来学习如何去除水印，然后将其应用于需要去除水印的图像。例如使用图像去噪算法去除水印，是将水印图像上的水印信息看作噪声，使用去噪网络将水印去除。但该方法去除水印效果较差，且会对图像的内容造成一定程度的损伤。

目前数字图像可见水印技术的发展陷入停滞，可见水印去除技术也始终停留在常规的传统方法，如使用图像PS技术，简单的图像处理或图像去噪方法等。这些传统的去除可见水印的方法不仅水印去除效果较差，无法完全将水印信息抹去，而且常规方法还会对数字图像的原始内容造成一定程度的破坏，影响图像使用。

发明内容

本发明要解决的技术问题是提供基于两阶段深度神经网络的可见水印去除方法，不仅实现了将可见水印图像上的水印信息完整的去除掉，并且会把水印去除的后的图像进行修复，恢复了水印去除给图像带来的内容损失，使去除水印后的图像也不影响使用。

本发明采用如下技术方案实现发明目的：

基于两阶段深度神经网络的可见水印去除方法，其特征在于，包括以下步骤：

S1：建立水印定位网络，以图像融合算法为主要网络架构，并设置了四层编码器，在每层编码器中设置了输入层、特征提取层、特征融合层；

S2：建立水印去除及修复网络，以ResNet为网络的主要架构，加入递归计算及注意力模块 ，以利用深度网络特征跨阶段的依赖性，形成渐进递归网络；

S3：建立水印数据集；

S4：验证水印去除的效果。

作为本技术方案的进一步限定，所述S1中，在所述水印定位网络中添加掩码细化校准模块，将前三层的编码器跳跃连接MRC模块，最后一层编码器得到融合后的水印特征图像经过解码器解码成水印掩码，并放入掩码细化校准模块中；

掩码细化校准模块根据前三层的学习对水印掩码进行细化校准，制作出精细的水印掩码；

使用表示预测的水印掩码/>，并使用二进制交叉熵损失/>来强制/>来接近事实水印掩码/>：

（1）

其中：表示了事实水印掩码与相对应的预测水印掩码的条目。

作为本技术方案的进一步限定，所述水印去除及修复网络的输入是第一阶段制作好的水印掩码以及可见水印图像，水印掩码在第二阶段网络中起到定位的作用，使所述水印去除及修复网络更好的去除可见水印，而不会对图像其余部分造成影响。

作为本技术方案的进一步限定，所述水印去除及修复网络包括水印去除网络及图像修复网络。

作为本技术方案的进一步限定，所述水印去除网络由若干个卷积层、反卷积层、残差块和上采样、下采样组成；

残差块的作用是在网络中加入跳跃连接，有效地避免梯度消失问题，提高网络的训练效率和收敛速度；

上采样和下采样有效地增加网络的感受野，提高特征的表达能力，从而提高网络的性能。

作为本技术方案的进一步限定，在所述水印去除网络中加入递归计算及注意力模块在注意力机制的帮助下网络更好的定位到需要去除的水印位置，并且设置了多层循环的去除模块，防止水印去除不干净。

作为本技术方案的进一步限定，所述图像修复网络利用反卷积层进行上采样操作，将特征图的尺寸扩大，增加感受野和特征表达能力，再次经过上下文融合模块进行特征提取和处理，并多次循环学习，最终输出去除水印和修复后的图像，使其质量更高。

作为本技术方案的进一步限定，在所述水印去除及修复网络使用结构相似性损失和感知损失的组合作为损失函数，进一步提高网络的视觉效果；

结构相似性损失和感知损失的组合表示为：

（2）

其中：和/>是权重参数，用来平衡两种损失函数的重要性；

代表结构相似性损失：

（3）

其中：代表原始图像；

代表去除水印后的图像；

表示原始图像与去除水印后图像的结构相似度；

表示训练数量；

代表感知损失：

（4）

其中：表示预训练的卷积神经网络，用来提取图像特征；

表示特征图之间的欧几里得距离。

作为本技术方案的进一步限定，在所述S4中，为了衡量水印去除后的图像质量以及与原始图像的结构相似度，采用PSNR与SSIM作为评价指标；

PSNR的计算方法如下：

（5）

其中：表示原始图像；

表示去除水印后的图像；

表示整幅图像像素值的x轴坐标；

表示整幅图像像素值的y轴坐标；

表示图像的高度；

表示图像的宽度；

表示图像像素的最大值；

SSIM表示两张图像之间结构相似性的度量，其取值范围在0到1之间，数值越大表示两张图像之间越相似，SSIM的计算公式如下：

（6）

其中：表示原始图像；

表示水印去除后的图像；

和/>分别表示两张图像的像素值的平均值；

和/>分别表示两张图像的像素值的方差；

表示两张图像的像素值的协方差；

和/>是常数，用来避免分母为零的情况。

与现有技术相比，本发明的优点和积极效果是：

发明采用了两阶段深度神经网络的结构，第一阶段专注于水印定位，第二阶段专注于水印去除与修复，这种结构可以提高整个水印去除过程的效率和准确性。水印定位网络的设计和实现，该网络能够快速、准确地定位水印区域，并生成水印掩码。水印去除与修复网络的设计和实现，该网络能够根据水印掩码去除水印，并对去除水印后的图像进行修复，提高图像质量。

本方法具有高效性、高精度、通用性及自适应性。高效性：该方法通过两个阶段的深度神经网络实现水印定位、去除和修复，整个过程自动化、高效，可以在短时间内完成大量图像的水印去除。高精度：该方法在水印定位阶段通过引入注意力机制和多尺度特征融合，能够快速、准确地定位水印位置，同时在水印去除和修复阶段，利用深度神经网络提取图像特征，从而实现高精度的水印去除和图像修复。通用性：该方法不仅适用于单一类型的水印，还可以处理多种类型的水印，具有很强的通用性。自适应性：该方法采用了自适应学习方法，可以自动适应不同类型和不同强度的水印，从而适应各种实际场景的需求。

本发明的应用领域包括图像处理、版权保护等，具有广泛的应用前景。

附图说明

图1为本发明的两阶段深度神经网络架构。

具体实施方式

下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

本发明包括以下步骤：

两阶段深度神经网络可见水印去除算法具有很好的水印去除效果以及图像修复效果。该算法包括两个阶段的网络并相互串联，第一阶段的网络是水印定位网络WLNet，主要作用是用于定位图像上水印信息的位置，在下一步水印去除时可以使网络更专注于水印信息的位置进行水印去除，减少对图像其他部分进行操作造成多余影响。在水印定位网络中我们使用图像特征融合算法，并加入掩码细化校准模块MRC(Mask refinementcalibration)。通过将含可见水印图像与原始图像输入到第一阶段网络当中，在图像融合算法及掩码细化校准模块的作用下进行训练并制作出精细化的水印掩码，至此第一阶段的任务完成。第二阶段的网络是水印去除及修复网络AED-WRRN，其主要作用是借助第一阶段制作好的水印掩码将可见水印图像上的水印信息去除掉，并将去除水印后的图像进行修复。在水印去除及修复网络当中我们使用ResNet作为网络底层架构，并对主网络进行循环，在水印去除的部分我们加入了注意力模块AED，使网络更专注于水印信息位置进行去除。在图像修复部分我们进行多次循环，是网络充分进行上下文联系及融合，对水印去除后的缺失部分进行修复，使修复后的图像更接近原始图像。

S1：建立水印定位网络，以图像融合算法为主要网络架构，并设置了四层编码器，在每层编码器中设置了输入层、特征提取层、特征融合层。

输入层用于接收含水印图像和原始图像，特征提取层设置多层卷积和池化操作，用于提取含水印图像与原始图像的敏感特征，特征融合层则根据不同来源的特征的重要性，给每个来源的图像特征赋予不同的权重，然后将加权后的特征向量相加或拼接在一起。

所述S1中，在所述水印定位网络中添加掩码细化校准模块MRC，在未加入该模块前我们得到的水印掩码通常是不完整的，分析其原因可能是不同的图像中的水印具有不同的形状、图案、透明度以及图像本身的明暗强度也有所不同。因此一个全局的图像融合算法很难提取完整且细致的不同类型水印。因此我们考虑根据每个图像的水印特征来设置一个掩码细化校准模块，将前三层的Encoder跳跃连接掩码细化校准模块MRC，最后一层编码器得到融合后的水印特征图像经过解码器解码成水印掩码，并放入掩码细化校准模块MRC中；

掩码细化校准模块MRC根据前三层的学习对水印掩码进行细化校准，制作出精细的水印掩码；

使用表示预测的水印掩码/>，并使用二进制交叉熵损失/>来强制/>来接近事实水印掩码/>：

（1）

其中：表示了事实水印掩码与相对应的预测水印掩码的条目。

S2：建立水印去除及修复网络，以ResNet为网络的主要架构，加入递归计算及注意力模块AED ，以利用深度网络特征跨阶段的依赖性，形成渐进递归网络。

所述水印去除及修复网络的输入是第一阶段制作好的水印掩码以及可见水印图像（需要去除水印的含可见水印图像），水印掩码在第二阶段网络中起到定位的作用，使所述水印去除及修复网络更好的去除可见水印，而不会对图像其余部分造成影响。

所述水印去除及修复网络包括水印去除网络及图像修复网络。

所述水印去除网络由若干个卷积层、反卷积层、残差块和上采样、下采样等组成；

残差块的作用是在网络中加入跳跃连接，有效地避免梯度消失问题，提高网络的训练效率和收敛速度；

上采样和下采样有效地增加网络的感受野，提高特征的表达能力，从而提高网络的性能。

在所述水印去除网络中加入递归计算及注意力模块AED在注意力机制的帮助下网络更好的定位到需要去除的水印位置，并且设置了多层循环的去除模块，防止水印去除不干净。

所述图像修复网络利用反卷积层进行上采样操作，将特征图的尺寸扩大，增加感受野和特征表达能力，再次经过上下文融合模块进行特征提取和处理，并多次循环学习，最终输出去除水印和修复后的图像，使其质量更高。

在所述水印去除及修复网络使用结构相似性损失（SSIM）和感知损失（PerceptualLoss）的组合作为损失函数，进一步提高网络的视觉效果；

结构相似性损失和感知损失的组合表示为：

（2）

其中：和/>是权重参数，用来平衡两种损失函数的重要性；

代表结构相似性损失：

（3）

其中：代表原始图像；

代表去除水印后的图像；

表示原始图像与去除水印后图像的结构相似度；

表示训练数量；

代表感知损失：

（4）

其中：表示预训练的卷积神经网络，用来提取图像特征；

表示特征图之间的欧几里得距离;

损失函数是两个损失函数的加权和，通过调整权重参数可以平衡两个损失函数的重要性，进而提高网络的性能。

S3：建立水印数据集。

训练所使用的可见水印数据集是LVW数据集，该数据集包含了上万张带水印图像，包含了80种来自于公司、组织和个人的水印，包括了中文、英文和logo等不同样式，每种水印对应750张图像，其中还有相对应的原始图像，满足了我们的训练需求。我们的网络训练环境使用以python为基础的torch框架，硬件条件使用GPU A100进行训练。我们将LVW可见水印数据集进行检查，将缺失图像，出错图像剔除，并选择一万张可见水印图像与相对应的原始图像作为训练数据集，选出200张含可见水印图像作为测试数据集。将准备好的训练集输入到两阶段深度神经网络当中，让网络进行自适应学习的训练。

S4：验证水印去除的效果。

在所述S4中，将训练好的网络进行测试，把准备好的只含可见水印图像的测试集输入到训练好的两阶段网络当中，得到水印去除后的图像。然后将水印去除后的图像与原始图像进行比较，来验证其水印去除的效果。为了衡量水印去除后的图像质量以及与原始图像的结构相似度，采用PSNR（图像峰值信噪比）与SSIM（图像结构相似度）作为评价指标；

PSNR的计算方法如下：

（5）

其中：表示原始图像；

表示去除水印后的图像；

表示整幅图像像素值的x轴坐标；

表示整幅图像像素值的y轴坐标；

表示图像的高度；

表示图像的宽度；

表示图像像素的最大值；

SSIM表示两张图像之间结构相似性的度量，其取值范围在0到1之间，数值越大表示两张图像之间越相似，SSIM的计算公式如下：

（6）

其中：表示原始图像；

表示水印去除后的图像；

和/>分别表示两张图像的像素值的平均值；

和/>分别表示两张图像的像素值的方差；

表示两张图像的像素值的协方差；

和/>是常数，用来避免分母为零的情况。

要计算图像的峰值信噪比（PSNR）和结构相似性指数（SSIM）之前，需要先获取该图像的像素值。获取像素值的方法因应用场景而异，我们使用的方法是使用MATLAB获取图像像素值，在MATLAB中可以使用'imread'命令读取图像文件并返回一个表示图像像素值的矩阵。后续的PSNR和SSIM的计算也同样在MATLAB上进行，将读取的图像像素值代入PSNR及SSIM公式中可直接进行计算。

本发明的网络结构和算法设计，包括水印定位网络和水印去除与修复网络的具体实现方法。

本发明的应用领域和应用场景，包括但不限于图像处理、版权保护等领域。

本发明的技术方案和技术特点，包括两阶段深度神经网络的结构、感知损失函数的使用等。

本发明的应用效果和经济效益，包括去除水印的效果、图像质量的提高、版权保护的意义等。

以上公开的仅为本发明的具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (4)

1.基于两阶段深度神经网络的可见水印去除方法，其特征在于，包括以下步骤：

S1：建立水印定位网络，以图像融合算法为主要网络架构，并设置了四层编码器，在每层编码器中设置了输入层、特征提取层、特征融合层；

S2：建立水印去除及修复网络，以ResNet为网络的主要架构，加入递归计算及注意力模块 ，以利用深度网络特征跨阶段的依赖性，形成渐进递归网络；

S3：建立水印数据集；

S4：验证水印去除的效果；

所述S1中，在所述水印定位网络中添加掩码细化校准模块，将前三层的编码器跳跃连接掩码细化校准模块，最后一层编码器得到融合后的水印特征图像经过解码器解码成水印掩码，并放入掩码细化校准模块中；

掩码细化校准模块根据前三层的学习对水印掩码进行细化校准，制作出精细的水印掩码；

使用表示预测的水印掩码/>，并使用二进制交叉熵损失/>来强制/>来接近事实水印掩码/>：

（1）

其中：表示了事实水印掩码与相对应的预测水印掩码的条目；

所述水印去除及修复网络包括水印去除网络及图像修复网络；

所述水印去除网络由若干个卷积层、反卷积层、残差块和上采样、下采样组成；

在所述水印去除网络中加入递归计算及注意力模块，并且设置了多层循环的去除模块；

所述图像修复网络利用反卷积层进行上采样操作，将特征图的尺寸扩大，增加感受野和特征表达能力，再次经过上下文融合模块进行特征提取和处理，并多次循环学习，最终输出去除水印和修复后的图像，使其质量更高。

2.根据权利要求1所述的基于两阶段深度神经网络的可见水印去除方法，其特征在于：所述水印去除及修复网络的输入是第一阶段制作好的水印掩码以及可见水印图像。

3.根据权利要求2所述的基于两阶段深度神经网络的可见水印去除方法，其特征在于：在所述水印去除及修复网络使用结构相似性损失和感知损失的组合作为损失函数，进一步提高网络的视觉效果；

结构相似性损失和感知损失的组合表示为：（2）

其中：和/>是权重参数，用来平衡两种损失函数的重要性；

代表结构相似性损失：/>（3）

其中：代表原始图像；

代表去除水印后的图像；

表示原始图像与去除水印后图像的结构相似度；

表示训练数量；

代表感知损失：/>（4）

其中：表示预训练的卷积神经网络，用来提取图像特征；

表示特征图之间的欧几里得距离。

4.根据权利要求3所述的基于两阶段深度神经网络的可见水印去除方法，其特征在于：在所述S4中，为了衡量水印去除后的图像质量以及与原始图像的结构相似度，采用PSNR与SSIM作为评价指标；

PSNR的计算方法如下：

（5）

其中：表示原始图像；

表示去除水印后的图像；

表示整幅图像像素值的x轴坐标；

表示整幅图像像素值的y轴坐标；

表示图像的高度；

表示图像的宽度；

表示图像像素的最大值；

SSIM表示两张图像之间结构相似性的度量，其取值范围在0到1之间，数值越大表示两张图像之间越相似，SSIM的计算公式如下：

（6）

其中：表示原始图像；

表示水印去除后的图像；

和/>分别表示两张图像的像素值的平均值；

和/>分别表示两张图像的像素值的方差；

表示两张图像的像素值的协方差；

和/>是常数，用来避免分母为零的情况。