CN112308754A - 面向大容量鲁棒水印应用的多解码端并行提取机制设计 - Google Patents

Abstract

本发明公开了面向大容量鲁棒水印应用的多解码端并行提取机制设计，将图片训练集放入网络模型中训练，按照不同的方案，生成不同类型的模型文件，根据用户的安全等级和需要将不同的模型发送给用户；在嵌入端使用模型将指定的信息嵌入到图片中；将打印和拍摄后含有水印的图像通过不同的模型提取出不同的水印信息。本发明提出的多解码端并行提取网络能够提升水印信息的嵌入提取能力，既能保证大容量数据嵌入，还能保持解码准确率，本方法能够嵌入200bits信息，并且准确率保持在93％左右，提出的多解码端并行提取网络，支持多种信息安全分级管理模式，如此可提高信息的分级管理水平，扩大应用范围。

Description

面向大容量鲁棒水印应用的多解码端并行提取机制设计

技术领域

本发明涉及图片水印处理领域，具体是面向大容量鲁棒水印应用的多解码端并行提取机制设计。

背景技术

近年来，随着我国信息化社会的飞速发展，多媒体(图片，音频，电子文本等)在我们生活中占的比重越来越大。但是基于多媒体的版权纠纷，信息泄露等问题正在不断的发生损害人们的权益。鲁棒水印技术作为一种有效地保护图片版权和进行溯源追踪的技术近年来不断地被研究和发展，其中大部分鲁棒水印技术仅要求能够抵挡部分针对数字图像的操作攻击，例如图片拉伸，压缩和裁剪等。然而现实生活中，图片载体很多情况下都要通过物理通道的传输例如打印和拍摄，物理通道中会给图片造成更大更加复杂的图片失真，例如打印时的带来的颜色色差，图片模糊，手机拍摄时带来的透视变换，运动模糊失真和摩尔纹干扰等，因此，实现一种能够抵抗上述物理通道的噪声攻击同时保证提取信息准确率的新型鲁棒水印技术意义重大。

Stegastamp作为一种基于深度学习网络的鲁棒水印技术，其可抵抗打印、拍摄等物理通道的噪声攻击，并通过解码网络实施对秘密信息的提取。目前，该网络可实现的嵌入容量较小。对于512*512尺寸的彩色图像，其嵌入容量仅为56bits，同时解码准确率较低。随着嵌入容量的增加，解码准确率更无法保证。基于此，在Stegastamp基础上，设计一个解码能力更强、提取秘密信息更多的优化网络意义重大。

发明内容

本发明要解决的技术问题就是克服以上的技术缺陷，提供一种面向大容量鲁棒水印应用的多解码端并行提取机制设计。

为了解决上述问题，本发明的技术方案为：面向大容量鲁棒水印应用的多解码端并行提取机制设计，包括以下步骤：

(1)将图片训练集放入网络模型中训练，按照不同的方案，生成不同类型的模型文件，根据用户的安全等级和需要将不同的模型发送给用户；

(2)在嵌入端使用模型将指定的信息嵌入到图片中；

(3)将打印和拍摄后含有水印的图像通过不同的模型提取出不同的水印信息。

进一步，所述步骤(1)中的网络模型包括编码网络，噪声网络和解码网络，所述编码网络采用的是U型残差网络，输入原图像和水印信息，生成残差图，将残差图与原图像相加得到含有水印信息的图像，所述噪声网络主要是模拟现实中物理通道中传输可能带来的噪声攻击，分别包含了透视变换攻击，亮度噪声攻击，饱和度噪声攻击，色彩度噪声攻击，高斯噪声攻击以及Jpeg压缩噪声攻击，所述解码网络采用的是普通的卷积层加上全连接层，将含有水印的图像经过卷积全连接操作压缩为长度为200的秘密信息。

进一步，所述步骤(1)中的网络模型采用总失真函数用于引导神经网络不断迭代优化网络参数来实现所需的性能。

进一步，所述总失真函数由

失真函数和Loss_lpips失真函数组成，所述

失真函数表示如下：

其中，Y_O',U_O',V_O'表示原图像转换到YUV通道Y,U,V通道分量，Y_w',U_w',V_w'表示水印图像转换到YUV通道Y,U,V分量，W_Y,W_U,W_V分别表示在YUV三个通道上的权重。

所述Loss_lpips失真函数表示如下：

其中，X,Y分别表示编码网络输入的水印序列和解码网络输出的水印序列,X由0,1的二进制序列表示,Y由0-1之间的概率表示。

所述总失真函数表示如下：

其中，

W_message分别表示损失的权重

进一步，所述

W_message分别设置为6，2，6；同时通过分阶段添加失真函数作为训练方法，其中W_message始终设为常数6，

从40000到50000次迭代过程中，从0线性增加到2，

从0到200000次迭代过程中，从0线性增加到6；其中总共训练600000次，学习步长余弦指数下降。

进一步，所述步骤(2)中模型只是提取端不同，但是嵌入端始终是相同的。

本发明与现有的技术相比的优点在于：

(1)本发明提出的多解码端并行提取网络能够提升水印信息的嵌入提取能力，即在保证大容量信息嵌入的同时，保持解码准确率不下降。相比较原来嵌入的100bits信息，本方法能够嵌入200bits信息，并且准确率保持在93％左右；

(2)本发明提出的多解码端并行提取网络，支持多种信息安全分级管理模式，即单一提取模式、同安全等级多方式提取模式、不同安全等级提取模式。如此可提高信息的分级管理水平，扩大应用范围。

附图说明

图1是本发明实施流程示意图——多解码端并行提取网络结构。

图2本发明中可实现信息安全分级管理模式的多解码端并行提取网络变形子结构图。

图3本发明中U型残差编码网示意图。

图4本发明中解码网络示意图。

具体实施方式

以下通过具体实施例进一步描述本发明，但本发明不仅仅限于以下实施例。在本发明的范围内或者在不脱离本发明的内容、精神和范围内，对本发明进行的变更、组合或替换，对于本领域的技术人员来说是显而易见的，且包含在本发明的范围之内。

本发明基于现有的Stegastamp图片水印技术，给出了一种可实现大容量嵌入的多解码端水印并行提取网络框架。其中该发明给出的多解码端水印并行提取网络，解决了原来Stegast amp技术中解码网络参数较少导致无法保证大容量水印提取准确率不高的问题。此外，该多解码端并行提取网络框架可通过各模块输出内容的不同组合，为用户提供多种使用权限，起到安全分级的功能。

如图1所示，Stegastamp借助深度学习下的网络技术，并利用编码网络，噪声网络和解码网络分别模拟了现实中的水印嵌入，物理通道噪声(打印，拍摄)，水印提取等操作，训练网络使得水印具有抵抗物理通道传输过程中噪声的攻击。但是原有的解码网络参数过少，使得不具有解码大容量水印的能力。因此本发明提出了一种多解码端并行提取网络取代原有的单解码端网络，将整个水印的大小等分为n段分别使用n个解码网络进行并行解码，降低单个解码网络解码水印的大小，在提升了容量的同时保证了较高的准确率。现有嵌入容量能够从100bits提升至200bits以上，同时保证解码准确率不低于93％。

此外，还给出的多解码端并行提取网络，不仅能够保证较高信息提取准确率，还能够其给出的多个输出自由组合构建出多种信息安全分级管理模式，提高版权信息的使用安全性。如图2所示，本发明具体构造了三种信息安全分级管理方案以及其相应的网络子结构。方案A(单一提取模式)：类似于传统Stegastamp模型的单解码器网络输出，本方案将多解码端并行提取网络中所有的解码器输出顺序拼接成一个更长的版权水印信息进行输出。如此可通过更多的解码网络参数提高水印嵌入容量和提取能力。方案B(同安全等级多方式提取模式)：将多解码端并行提取网络的输出自由组合存储为多个模型文件B₁-B_m，每个模型文件能各自提取出独立的长度不同的水印信息。假设多个接收端均是拥有同种安全等级的员工，如此可保证每个人只能提取各自相关水印信息，同时他人信息保证不可见。方案C(不同安全等级提取模式)：结合方案A和方案B，生成多个模型文件C₁-C_m、C_m+1，其中C₁-C_m模型提取的水印信息依然是独立而且长度不同的，但是C_m+1模型能够提取其他模型中的所有水印信息。如此可以保证一般个体仅能接收到各自相关水印信息，同时更高权限管理人员可以看到所有水印信息。

综上所述，本发明提出的多解码端并行提取网络一方面可以提高信息嵌入和提取能力，其多模式的提取信息组合方式进一步给出了信息安全分级管理模式。

本发明的具体实施流程如下：

(1)将图片训练集放入网络模型中训练，按照不同的方案，生成不同类型的模型文件，根据用户的安全等级和需要将不同的模型发送给用户；

(2)所有的模型只是提取端不同，但是嵌入端始终是相同的，在嵌入端使用模型将指定的信息嵌入到图片中；

(3)将打印和拍摄后含有水印的图像通过不同的模型提取出不同的水印信息。

下面就训练网络的模型进一步说明：

本发明输入网络训练的图片大小为1024*1024，嵌入的容量为200bits。网络组成部分主要包括编码网络，噪声网络和解码网络。如图3所示，其中编码网络采用的是U型残差网络，输入原图像和水印信息，生成残差图，将残差图与原图像相加得到含有水印信息的图像。该网络的具体功能包含下采样卷积和上采样卷积两部分组成，下采样卷积部分的作用是将原图像压缩成高维的特征，而上采样卷积部分的作用是将高维特征逐层降维并且与下采样卷积部分相加得到残差图。其中噪声网络主要是模拟现实中物理通道中传输可能带来的噪声攻击，分别包含了透视变换攻击，亮度噪声攻击，饱和度噪声攻击，色彩度噪声攻击，高斯噪声攻击以及Jpeg压缩噪声攻击。如图4所示，其中解码网络采用的是普通的卷积层加上全连接层，将含有水印的图像经过卷积全连接操作压缩为长度为200的秘密信息。

下面就失真函数的设计进行进一步的说明：

失真函数用于引导神经网络不断迭代优化网络参数从而使网络模型能够实现所需的性能。本发明所提出的网络模型能够实现抗物理通道噪声攻击的鲁棒水印技术。因此失真函数应满足如下两方面要求：(1)视觉质量，即编码网络输入图像和输出水印图像之间失真尽可能小，保证水印图像的视觉质量，使得水印嵌入过程不被人眼所察觉；(2)准确率，即编码网络输入的水印信息和解码网络输出的水印信息应该尽可能保持一致，减少错码误码概率。基于此，失真函数包含图像质量失真和水印错码失真两部分。

图像质量失真由

失真损失和Loss_lpips失真损失所组成，其中

失真损失由水印图像与原图像之间的差值的平方和均值表示，表示如下:

其中I_O表示原图像，I_w表示水印图像，h,w表示图像的长和宽。

通常来说，图像在亮度上面的失真相比于色度，更不容易引起人眼察觉，因此水印更倾向于嵌入图像亮度分量，而不改变色度分量。因此，可以对

进行如下改进：将RGB通道图像I_O，I_w转换到YUV通道图像I_O′，I_w′。让Y_O′，U_O′，V_O′和Y_w′，U_w′，V′_w分别表示I_O′，I_w′中的Y,U,V通道分量。

可以表示如下：

其中W_Y，W_U，W_V分别表示在YUV三个通道上的权重。通常而言，W_U，W_V会设置较大，而W_Y设置较小，如此可保证图像UV通道(色度分量)的修改会产生更大的失真，因此迫使网络倾向于改变图像Y通道(亮度分量)进行信息嵌入。

Loss_lpips失真用于表示两幅图像之间的最大结构相似度。当输入两幅图像，可通过现有的网络计算两者间的结构相似度失真，表示如下：

Loss_lpips＝λ(I_O，I_w)

其中λ(I_O，I_w)表示网络判别两幅图像的结构损失的输出。

水印错码失真可以由输入的水印信息和输出水印信息之间的交叉熵损失表示，表示如下:

其中X，Y分别表示编码网络输入的水印序列和解码网络输出的水印序列，其中X由0,1的二进制序列表示，而Y由0-1之间的概率表示。

综上所述，总的失真函数可以表示如下:

其中

W_message分别表示各个损失的权重。

下面就超参数的设计思路和训练方法进行进一步的说明：

超参数的设计以及网络的训练方法会影响最终网络的收敛和水印图像的视觉质量,根据现有的实验经验，超参数

W_message在本发明中分别设置为6,2,6；在同一时间内，过多的训练目标会导致网络的不收敛，因此在本发明中采用的训练的方法是分阶段添加失真函数，其中W_message始终设为常数6；

从40000到50000次迭代过程中，从0线性增加到2；

从0到200000次迭代过程中，从0线性增加到6；其中总共训练600000次，学习步长余弦指数下降。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (6)

1.面向大容量鲁棒水印应用的多解码端并行提取机制设计，其特征在于，包括以下步骤：

(1)将图片训练集放入网络模型中训练，按照不同的方案，生成不同类型的模型文件，根据用户的安全等级和需要将不同的模型发送给用户；

(2)在嵌入端使用模型将指定的信息嵌入到图片中；

(3)将打印和拍摄后含有水印的图像通过不同的模型提取出不同的水印信息。

2.根据权利要求1所述的面向大容量鲁棒水印应用的多解码端并行提取机制设计，其特征在于：所述步骤(1)中的网络模型包括编码网络，噪声网络和解码网络，所述编码网络采用的是U型残差网络，输入原图像和水印信息，生成残差图，将残差图与原图像相加得到含有水印信息的图像，所述噪声网络主要是模拟现实中物理通道中传输可能带来的噪声攻击，分别包含了透视变换攻击，亮度噪声攻击，饱和度噪声攻击，色彩度噪声攻击，高斯噪声攻击以及Jpeg压缩噪声攻击，所述解码网络采用的是普通的卷积层加上全连接层，将含有水印的图像经过卷积全连接操作压缩为长度为200的秘密信息。

3.根据权利要求1所述的面向大容量鲁棒水印应用的多解码端并行提取机制设计，其特征在于：所述步骤(1)中的网络模型采用总失真函数用于引导神经网络不断迭代优化网络参数来实现所需的性能。

4.根据权利要求3所述的面向大容量鲁棒水印应用的多解码端并行提取机制设计，其特征在于：所述总失真函数由

失真函数和Loss_lpips失真函数组成，所述

失真函数表示如下：

其中，Y_O′，U_O′，V_O′表示原图像转换到YUV通道Y,U,V通道分量，Y_w′，U_w′，V′_w表示水印图像转换到YUV通道Y,U,V分量，W_Y,W_U,W_V分别表示在YUV三个通道上的权重。

所述Loss_lpips失真函数表示如下：

其中，X,Y分别表示编码网络输入的水印序列和解码网络输出的水印序列,X由0,1的二进制序列表示,Y由0-1之间的概率表示。

所述总失真函数表示如下：

其中，

W_message分别表示损失的权重。

5.根据权利要求4所述的面向大容量鲁棒水印应用的多解码端并行提取机制设计，其特征在于：所述

W_message分别设置为6，2，6；同时通过分阶段添加失真函数作为训练方法，其中W_message始终设为常数6，

从40000到50000次迭代过程中，从0线性增加到2，

从0到200000次迭代过程中，从0线性增加到6；其中总共训练600000次，学习步长余弦指数下降。

6.根据权利要求1所述的面向大容量鲁棒水印应用的多解码端并行提取机制设计，其特征在于：所述步骤(2)中模型只是提取端不同，但是嵌入端始终是相同的。

Images