CN112200710B - 一种基于深度学习的自适应隐形水印同步检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的自适应隐形水印同步检测方法，基于Adam优化器，框架中共包括2个U型子网络和一个CNN子网络，分别是标记网络、检测网络和辨别器，在嵌入标记时，标记网络通过将提取水印图像四个角固定大小的方形区域作为标记网络的输入，输出带有位置信息的四张残差图像并依次将其放回原图中获得标记图像，在检测标记时，将拍摄的标记图像送入检测网络中，输出显示残差图像位置的掩码图，从而确定水印图像的四个角点，再使用透视变换实现水印图像与拍摄的标记图像的同步，辨别器进行区分原水印图像和水印标记图像。本发明涉及的一种基于深度学习的自适应隐形水印同步检测方法，在保证视觉效果的前提下极大的提高了水印的解码准确率。

Description

一种基于深度学习的自适应隐形水印同步检测方法

技术领域

本发明涉及图像处理技术领域，具体是指一种基于深度学习的自适应隐形水印同步检测方法。

背景技术

目前，大多数鲁棒图像水印所面临的最大问题就是几何攻击，而现有水印技术大都难以抵抗几何变换类攻击，如旋转，尺度变换等，由于几何攻击破坏了水印分量的同步，即使微小幅度的图像旋转或尺度变换都可能导致水印检测过程失败。

而且，在拍摄水印图像并对其进行解码的过程中，由于拍摄的距离、角度等因素的影响，所拍摄的水印图像通常会较原图像会存在一定的扭曲和变形，也称之为几何形变失真。水印图像的几何形变失真会导致水印图像无法被准确解码，因此通常在对水印图像进行解码之前需要先进行几何失真校正。目前矫正的方法主要是添加可见标记点或边框来引导计算机对水印图像进行校正。然而可见标记点的引入会降低水印的视觉效果，增加了水印被感知的风险。

发明内容

基于以上技术问题，提供一种基于深度学习的自适应隐形水印同步检测方法，其可以判断载体在遭受几何攻击并进行逆变换，保证水印检测准确率。

为解决上述技术问题，本发明提供的技术方案为：

一种基于深度学习的自适应隐形水印同步检测方法，包括以下具体方法：

1)总体框架和网络结构的构建：框架基于Adam优化器，框架中共包括2个U型子网络和一个CNN子网络，分别是标记网络、检测网络和辨别器，在嵌入标记时，标记网络通过将提取水印图像四个角固定大小的方形区域作为标记网络的输入，输出带有位置信息的四张残差图像并依次将其放回原图中获得标记图像，在检测标记时，将拍摄的标记图像送入检测网络中，输出显示残差图像位置的掩码图，从而确定水印图像的四个角点，再使用透视变换实现水印图像与拍摄的标记图像的同步，辨别器进行区分原水印图像和水印标记图像；

2)构建噪声层：噪声层包括打印和拍摄时会存在的噪声，噪声层设置在标记网络和检测网络之间来模拟图片被打印和拍摄后的效果；

3)构建水印同步层：水印同步层设置在检测网络之后，用以获取拍摄图像的水印区域并对该区域进行校正，当拍摄的图像进入检测网络后，输出掩码图像，其中像素值为0的区域为背景，像素值为1的区域为标记区域，根据轮廓查找算法,可以获得标记区域的轮廓，使用I(x，y)表示图像在(x，y)处的灰度值，图像空间距离m_ji的计算公式为：

m_ji＝∑_x，y(I(x，y)×xⁱ×yⁱ)，

轮廓区域的质心为

为：

确定轮廓区域的质心后，水印同步层首先判断是否存在4个质心，若存在，则认为4个质心所包裹的区域为水印图像；再使用透视变换将其变换为与原水印图像大小相同的图像，实现水印同步；

4)构建损失函数：使用LPIPS损失和L2损失来联合监督标记网络：

其中x为输入图像，

为输出图像，α₁和α₂分别为L2损失和LPIPS损失的权重；

图像中的每一个像素点做二分类，0类表示背景区域，1类表示嵌有标记信息的图像块。使用交叉熵作为损失函数，以衡量检测的准确性：

其中N代表输入图片的大小为N×N，i代表图片中每个像素的位置，yi代表每个像素的真实类别，

代表预测为真实类别的概率；

增加一个额外的辨别器来分辨图像是否含有标记信息，当更新标记网络与检测网络时，辨别器可作为一个loss加入训练：

其中

为标记网络生成的图像，α₄为辨别器的损失权重，/>

为辨别器对标记图片预测为标记图片的概率，因此，网络的总体损失函数L_total为：

L_total＝L_encoder+L_detector+L_{discriminator_fix}；

当更新辨别器时，使用L2损失作为损失函数，以衡量辨别器的性能：

通过对标记网络、检测网络与辨别网络的交替迭代更新网络权重，最终得到训练好的标记网络可以用于生成带标记的水印图片，检测网络提取并获得具体水印的位置，可对标记水印图像进行水印同步并提取秘密信息。

作为改进，所述标记网络、检测网络及辨别器在步骤1)实施前需要进行模型训练，Adam优化器中的标记网络与检测网络的学习率为0.0001，辨别器的学习率为0.0001，损失函数的输入权重为α₁＝3.0，α₂＝1.5，α₃＝2.0，α₄＝0.5，批次大小为8，根据需求不同可以选择不同的数值，训练过程中标记网络、检测网络训练的次数与辨别器的训练次数相同，即更新一次标记、检测网络后，更新一次辨别器，网络框架的总体迭代训练设置为400000，噪声层的强度设置由弱到强逐渐叠加。

作为改进，所述噪声层包括几何失真、运动模糊、随机噪点、色彩变化、亮度变化和JPEG压缩。

作为改进，所述噪声层中通过运用仿射变换，对图像四个角的区域进行随机的拉伸和缩小处理，拉伸缩小的强度限制在10个像素点以内用以模拟几何失真对图像造成的攻击。

作为改进，所述噪声层中设置一个随机角度在0到360，大小为7个像素高斯核且高斯核的方差sigma在[0.01,1]的区间内取值用以模拟图像运动模糊的效果。

作为改进，所述噪声层引入均值为0，方差为0.02的高斯噪声模拟拍摄所产生的随机噪点。

作为改进，所述噪声层对图像的每一个信道增加一个[-0.1,0.1]之间的随机偏移值来模拟色彩变化失真。

作为改进，所述噪声层对图像的每个像素增加一个[-0.3,0.3]之间随机偏移值用于模拟图片的亮度变化。

作为改进，所述模型训练的具体算法为：

S1:在训练集中随机获取n个大小为400×400×3图片{x⁽¹⁾，x⁽²⁾，x⁽³⁾，…，x⁽ⁿ⁾}，提取每张图片随机位置中大小为32×32×3像素的图像块，得到4n张图片{p¹，p²，p³，…，p⁴ⁿ}，由于已知掩码图的大小和位置，对原图片做处理：对每一个像素点做二分类，0类表示背景区域，1类表示嵌有标记信息的图像块。可得到n个大小为400×400×3的原始掩码图{m⁽¹⁾，m⁽²⁾，m⁽³⁾…，m⁽ⁿ⁾}；

S2:将4n张图像输入标记网络，得到4n张带有标记信息的残差图{r¹，r²，r³，…，r⁴ⁿ}；

S3:将4n张残差图{r¹，r²，r³，…，r⁴ⁿ}与标记网络的输入的图像{p¹，p²，p³，…，p⁴ⁿ}相加，放回原图中的四个角

得到n张标记图片{x′^(1′)，x′⁽²⁾，x′⁽³⁾…，x′⁽ⁿ⁾},计算原图与标记图片的L_encoder；

S4:将n张标记图片{x′⁽¹⁾，x′⁽²⁾，x′⁽³⁾…，x′⁽ⁿ⁾}送入辨别器得到L_{discriminator}；

S5:将n张标记图片{x′⁽¹⁾，x′⁽²⁾，x′⁽³⁾…，x′⁽ⁿ⁾}送入噪声层得到n张含有噪声的标记图片{n⁽¹⁾，n⁽²⁾，n⁽³⁾…，n⁽ⁿ⁾}；

S5:将含有噪声的标记图片{n⁽¹⁾，n⁽²⁾，n⁽³⁾…，n⁽ⁿ⁾}输入检测网络中得到n张预测掩码图{m′⁽¹⁾，m′⁽²⁾，m′⁽³⁾…，m′⁽ⁿ⁾}，计算原始掩码图{m⁽¹⁾，m⁽²⁾，m⁽³⁾…，m⁽ⁿ⁾}和预测掩码图{m′⁽¹⁾，m′⁽²⁾，m′⁽³⁾…，m′⁽ⁿ⁾}的L_detector；

S6:使用随机梯度更新编码与解码网络使L_total最小:

L_total＝L_encoder+L_detector+L_{discriminator_fix}；

使用随机梯度更新辨别器使L_{discriminator}最小:

采用以上结构后，本发明具有如下优点：

本发明使用标记网络可以在图像四个角一定大小区域隐藏标记信息，利用语义分割网络检测标记区域，再通过轮廓查找、质心计算以及透视变换的方法同步水印。相对于目前主流添加标记点的水印同步方法，该方法可以在视觉上不可见或低可见的前提下，起到辅助水印同步的功能，在保证视觉效果的前提下极大的提高了水印的解码准确率。

附图说明

图1是本发明专利名称的总体框架系统示意图。

图2是本发明专利名称标记网络系统示意图。

图3是本发明专利名称检测网络系统示意图。

图4是本发明专利名称辨别器工作示例示意图。

图5是本发明专利名称噪声层工作示例示意图。

图6是本发明专利名称水印同步层工作示例示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

总体框架如图1所示，在框架中共包括2个U型子网络和一个CNN子网络，分别是标记网络、检测网络和辨别器。在嵌入标记时，标记网络通过将提取水印图像四个角固定大小的方形区域作为标记网络的输入，输出带有位置信息的四张残差图像并依次将其放回原图中获得标记图像。在检测标记时，将拍摄的标记图像送入检测网络D中，输出显示残差图像位置的掩码图，从而确定了水印图像的四个角点，再使用透视变换实现水印图像与拍摄的标记图像的同步。辨别器作为标记网络的辅助网络，只作用于网络的训练过程，辨别器的功能是区分原水印图像和水印标记图像，若标记网络生成的水印标记图像无法被辨别器区分，则标记网络参数达到最优。

标记网络：标记网络的作用是将标记信息嵌入水印图像载体，如图2，输入为32×32×3的RGB图像，输出为32×32×3的残差图像,主要由下采样网络和上采网络两部分构成。图像先通过由4层由卷积层组成的下采样网络来逐渐展现环境信息，再通过上采样网络并结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度，最终将得到的和原输入图像尺寸相同的残差图像作为网络的输出。将残差图像与原图像叠加，即可得到最终的标记图像，重复四次即可获得嵌有四个标记信息的水印标记图像。

检测网络：检测网络运用了语义分割的技术，目标是获取嵌有标记信息的图像块的位置，如图3所示，输入为400×400×3的RGB图像，输出为400×400×2的双通道类别图,对通道维数求最大值索引，可得到语义分割掩码图像。在掩码图像中，像素值为0的区域表示背景，像素值为1的区域表示标记。检测网络的网络主体结构与标记网络的结构相似，主要的不同是检测网络最后一层卷积输出的是双通道类别图。

辨别器：辨别器引入借鉴了GAN的思想，目标是通过不断增强辨别器的辨别能力让标记网络的学习任务更难，从而让标记网络生成残差图像的能力不断提高达到整体的优化。如图4，辨别器输入400×400×3的RGB图像，经过四次3×3，步长为2，激活函数为RELU的卷积层和一次3×3，步长为1的卷积层，输出拥有25×25个预测值的特征图，最后，对特征图上的各预测值求平均值可以得到预测图片为带标记图片的概率。

噪声层的设计：

由于嵌入标记信息的图像块需要具备抵抗打印/拍摄攻击的能力，才能确保水印图像在被拍摄的时发挥定位与辅助同步的作用。因此在模型训练的过程中，在标记网络和检测网络之间添加噪声层来模拟图片被打印和拍摄后的效果，可以极大的提升检测网络的鲁棒性。如图5，噪声层主要包括打印、拍摄时可能会存在的噪声，如几何失真、运动模糊、打印产生的色彩变化、不同光照造成的亮度改变、图像JPEG压缩等多种影响。

几何失真

在图像的拍摄过程中，由于拍摄的角度距离等因素的影响，成像后的图像与原图像相比，会产生比例失调或者扭曲，通过运用仿射变换，对图像四个角的区域进行随机的拉伸和缩小处理(拉伸缩小的强度限制在10个像素点以内)，可模拟几何失真对图像造成的攻击。

运动模糊

相机在拍摄过程中由于移动或者对焦不准确，会产生一定的运动模糊，在噪声层中设置一个随机角度在0到360，大小为7个像素高斯核(高斯核的方差sigma在[0.01,1]的区间内取值)可以模拟图像运动模糊的效果。

随机噪点

由于相机曝光时间，拍摄环境，感光元件老化等因素的影响，在成像过程中难免会产生噪点，通过引入均值为0，方差为0.02的高斯噪声可以很好的模拟拍摄所产生的噪点。

色彩变化

图像在打印或印刷到纸质载体的过程中，由于墨水的含量、纸张的质量、相机设置等因素，打印出的图片较原图会有一定程度的色彩失真，对图像的每一个信道增加一个[-0.1,0.1]之间的随机偏移值来模拟色彩的失真。

亮度变化

图像的拍摄环境复杂多样，不同的拍摄环境会导致成像图片的亮度有所改变，为了模拟不同光照条件下对图像产生的影响，对图像的每个像素增加一个[-0.3,0.3]之间随机偏移值。

JPEG压缩

现如今互联网上绝大部分数码相机拍摄所得的图片都使用了JPEG压缩技术，JPEG压缩会导致图片的高频信息损失，为了训练检测模型以抵抗这种损失，在此使用论文[2]的方法，产生可微分的JPEG压缩，模拟图像经过压缩后的效果，质量因子在区间[50,100]随机取值。

水印同步层的目标是获取拍摄图像的水印区域并对该区域进行校正，如图6，当拍摄的图像进入检测网络后，输出掩码图像，其中像素值为0的区域为背景，像素值为1的区域为标记区域，根据轮廓查找算法，可以获得标记区域的轮廓。使用I(x，y)表示图像在(x，y)处的灰度值，图像空间距离m_ji的计算公式为：

m_ji＝∑_x，y(I(x，y)×xⁱ×yⁱ)，

轮廓区域的质心为

为：

确定轮廓区域的质心后，水印同步层首先判断是否存在4个质心，若存在，则认为4个质心所包裹的区域为水印图像；再使用透视变换将其变换为与原水印图像大小相同的图像，实现水印同步；

4)构建损失函数：使用LPIPS损失和L2损失来联合监督标记网络：

其中x为输入图像，

为输出图像，α₁和α₂分别为L2损失和LPIPS损失的权重；

图像中的每一个像素点做二分类，0类表示背景区域，1类表示嵌有标记信息的图像块。使用交叉熵作为损失函数，以衡量检测的准确性：

其中N代表输入图片的大小为N×N，i代表图片中每个像素的位置，yi代表每个像素的真实类别，

代表预测为真实类别的概率；

增加一个额外的辨别器来分辨图像是否含有标记信息，当更新标记网络与检测网络时，辨别器可作为一个loss加入训练：

其中

为标记网络生成的图像，α₄为辨别器的损失权重，/>

为辨别器对标记图片预测为标记图片的概率，因此，网络的总体损失函数L_total为：

L_total＝L_encoder+L_detector+L_{discriminator_fix}；

当更新辨别器时，使用L2损失作为损失函数，以衡量辨别器的性能：

通过对标记网络、检测网络与辨别网络的交替迭代更新网络权重，最终得到训练好的标记网络可以用于生成带标记的水印图片，检测网络提取并获得具体水印的位置，可对标记水印图像进行水印同步并提取秘密信息。

本发明对数据的输入有一定的约束：首先，需要提供一定数量的RGB图像作为网络的训练数据；其次，对图像的输入大小有一定要求，图片的输入大小需为400×400的统一格式。

在实施过程中，水印嵌入者首先在大小为400×400×3的矩形图片中距离边界32像素的矩形区域嵌入水印，截取原图片四个角中大小为32×32×3像素的四个图像块作为标记网络的输入。将标记网络输出的残差图片与标记网络的输入的图像叠加并放回原图像中得到水印标记图像。水印标记图像可以通过互联网或打印文件的方式传送给水印接收者，水印接收者拥有对应的检测网络、同步层与解码网络，即可对标记水印图像进行水印同步并提取秘密信息。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：包括以下具体方法：

1)总体框架和网络结构的构建：框架基于Adam优化器，框架中共包括2个U型子网络和一个CNN子网络，分别是标记网络、检测网络和辨别器，在嵌入标记时，标记网络通过将提取水印图像四个角固定大小的方形区域作为标记网络的输入，输出带有位置信息的四张残差图像并依次将其放回原图中获得标记图像，在检测标记时，将拍摄的标记图像送入检测网络中，输出显示残差图像位置的掩码图，从而确定水印图像的四个角点，再使用透视变换实现水印图像与拍摄的标记图像的同步，辨别器进行区分原水印图像和水印标记图像；

2)构建噪声层：噪声层包括打印和拍摄时会存在的噪声，噪声层设置在标记网络和检测网络之间来模拟图片被打印和拍摄后的效果；

3)构建水印同步层：水印同步层设置在检测网络之后，用以获取拍摄图像的水印区域并对该区域进行校正，当拍摄的图像进入检测网络后，输出掩码图像，其中像素值为0的区域为背景，像素值为1的区域为标记区域，根据轮廓查找算法,可以获得标记区域的轮廓，使用I(x，y)表示图像在(x，y)处的灰度值，图像空间距离m_ji的计算公式为：

m_ji＝∑_x，y(I(x，y)×xⁱ×yⁱ)，

轮廓区域的质心为

为：

确定轮廓区域的质心后，水印同步层首先判断是否存在4个质心，若存在，则认为4个质心所包裹的区域为水印图像；再使用透视变换将其变换为与原水印图像大小相同的图像，实现水印同步；

4)构建损失函数：使用LPIPS损失和L2损失来联合监督标记网络：

其中x为输入图像，

为输出图像，α₁和α₂分别为L2损失和LPIPS损失的权重；

图像中的每一个像素点做二分类，0类表示背景区域，1类表示嵌有标记信息的图像块，使用交叉熵作为损失函数，以衡量检测的准确性：

其中N代表输入图片的大小为N×N，i代表图片中每个像素的位置，y_i代表每个像素的真实类别，

代表预测为真实类别的概率；

增加一个额外的辨别器来分辨图像是否含有标记信息，当更新标记网络与检测网络时，辨别器可作为一个loss加入训练：

其中

为标记网络生成的图像，α₄为辨别器的损失权重，/>

为辨别器对标记图片预测为标记图片的概率，因此，网络的总体损失函数L_total为：

L_total＝L_encoder+L_detector+L_{discriminator_fix}；

当更新辨别器时，使用L2损失作为损失函数，以衡量辨别器的性能：

/>

通过对标记网络、检测网络与辨别网络的交替迭代更新网络权重，最终得到训练好的标记网络可以用于生成带标记的水印图片，检测网络提取并获得具体水印的位置，可对标记水印图像进行水印同步并提取秘密信息。

2.根据权利要求1所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述标记网络、检测网络及辨别器在步骤1)实施前需要进行模型训练，Adam优化器中的标记网络与检测网络的学习率为0.0001，辨别器的学习率为0.0001，损失函数的输入权重为α₁＝3.0，α₂＝1.5，α₃＝2.0，α₄＝0.5，批次大小为8，根据需求不同可以选择不同的数值，训练过程中标记网络、检测网络训练的次数与辨别器的训练次数相同，即更新一次标记、检测网络后，更新一次辨别器，网络框架的总体迭代训练设置为400000，噪声层的强度设置由弱到强逐渐叠加。

3.根据权利要求2所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述噪声层包括几何失真、运动模糊、随机噪点、色彩变化、亮度变化和JPEG压缩。

4.根据权利要求3所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述噪声层中通过运用仿射变换，对图像四个角的区域进行随机的拉伸和缩小处理，拉伸缩小的强度限制在10个像素点以内用以模拟几何失真对图像造成的攻击。

5.根据权利要求3所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述噪声层中设置一个随机角度在0到360，大小为7个像素高斯核且高斯核的方差sigma在[0.01,1]的区间内取值用以模拟图像运动模糊的效果。

6.根据权利要求3所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述噪声层引入均值为0，方差为0.02的高斯噪声模拟拍摄所产生的随机噪点。

7.根据权利要求3所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述噪声层对图像的每一个信道增加一个[-0.1,0.1]之间的随机偏移值来模拟色彩变化失真。

8.根据权利要求3所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述噪声层对图像的每个像素增加一个[-0.3,0.3]之间随机偏移值用于模拟图片的亮度变化。

9.根据权利要求3所述的一种基于深度学习的自适应隐形水印同步检测方法，其特征在于：所述模型训练的具体算法为：

S1:在训练集中随机获取n个大小为400×400×3图片{x⁽¹⁾，x⁽²⁾，x⁽³⁾，…，x⁽ⁿ⁾}，提取每张图片随机位置中大小为32×32×3像素的图像块，得到4n张图片{p¹，p²，p³，...，p⁴ⁿ}，由于已知掩码图的大小和位置，对原图片做处理：对每一个像素点做二分类，0类表示背景区域，1类表示嵌有标记信息的图像块，可得到n个大小为400×400×3的原始掩码图{m⁽¹⁾，m⁽²⁾，m⁽³⁾...，m⁽ⁿ⁾}；

S2：将4n张图像输入标记网络，得到4n张带有标记信息的残差图{r¹，r²，r³，...，r⁴ⁿ}；

S3：将4n张残差图{r¹，r²，r³，...，r⁴ⁿ}与标记网络的输入的图像{p¹，p²，p³，...，p⁴ⁿ}相加，放回原图中的四个角得到n张标记图片{x′^(1′)，x′⁽²⁾，x′⁽³⁾...，x′⁽ⁿ⁾}，计算原图与标记图片的L_encoder；

S4：将n张标记图片{x′⁽¹⁾，x′⁽²⁾，x′⁽³⁾...，x′⁽ⁿ⁾}送入辨别器得到L_{discriminator}；

S5：将n张标记图片{x′⁽¹⁾，x′⁽²⁾，x′⁽³⁾...，x′⁽ⁿ⁾}送入噪声层得到n张含有噪声的标记图片{n⁽¹⁾，n⁽²⁾，n⁽³⁾...，n⁽ⁿ⁾}；

S5：将含有噪声的标记图片{n⁽¹⁾，n⁽²⁾，n⁽³⁾...，n⁽ⁿ⁾}输入检测网络中得到n张预测掩码图{m′⁽¹⁾，m′⁽²⁾，m′⁽³⁾...，m′⁽ⁿ)}，计算原始掩码图{m⁽¹⁾，m⁽²⁾，m⁽³⁾...，m⁽ⁿ⁾}和预测掩码图{m′⁽¹⁾，m′⁽²⁾，m′⁽³⁾...，m′⁽ⁿ⁾}的L_detector；

S6：使用随机梯度更新编码与解码网络使L_total最小：

L_total＝L_encoder+L_detector+L_{discriminator_fix}；

使用随机梯度更新辨别器使L_{discriminator}最小：

/>

Images