CN110211016B

CN110211016B - 一种基于卷积特征的水印嵌入方法

Info

Publication number: CN110211016B
Application number: CN201810167872.5A
Authority: CN
Inventors: 周燕; 袁常青; 曾凡智; 钱杰昌
Original assignee: Foshan University
Current assignee: Foshan University
Priority date: 2018-02-28
Filing date: 2018-02-28
Publication date: 2022-11-01
Anticipated expiration: 2038-02-28
Also published as: CN110211016A

Abstract

本公开提出了一种基于卷积特征的水印嵌入方法，将待水印嵌入图像通过卷积深度网络产生卷积特征图，通过卷积特征图组合形成水印信息，并将该水印信息嵌入待水印嵌入图像中，生成水印嵌入图像。在提取图像水印时，利用篡改块具有局部聚集的特性，通过统计及阈值剪切，去除大部分的误判块，达到误判修正的目的。本公开生成的水印嵌入图像在隐秘性和鲁棒性均优于传统方法生成的水印嵌入图像并可对特征对象的类别进行保护。

Description

一种基于卷积特征的水印嵌入方法

技术领域

本公开涉及图像处理技术，尤其涉及一种基于卷积特征的水印嵌入方法，适用于将卷积特征对象图作为水印嵌入到图像内。

背景技术

在目前拥有的基于内容的数字图像水印的现有技术中，水印的方法可以分为三类，一类是直接在空间域中根据图像内容特征产生水印，将水印嵌入到最低有效位(LSB)，第二类是进行域的变换，如DCT(离散余弦变换)，DWT(离散小波变换)，SVD(奇异值分解)等将图像变换到频率域，根据频率域的特征产生水印；第三类是进行压缩变换如压缩感知，MPEG2(运动图像压缩编码标准的工作组制定的视频和音频有损压缩国际通用标准之一)等的压缩，根据压缩数据的特征产生水印。在水印的众多水印产生的形式与方法中，都基于一个基本原则，那就是提取较为鲁棒的特征作为水印，并且用一种鲁棒的方法嵌入水印。现有水印嵌入技术中，均无法提供对特征对象的类别进行保护。此外，现有方法生成的水印在其隐秘性和鲁棒性的效果均不理想。

发明内容

本公开的目的是解决现有技术的不足，本公开提出了一种基于卷积特征的水印嵌入方法，由图像内容产生卷积特征，并将卷积特征作为水印嵌入到图像内，这样嵌入水印可对特征对象的类别进行保护。本公开将待水印嵌入图像通过深度网络产生卷积特征图，通过卷积特征图组合形成水印信息，并将该水印信息嵌入待水印嵌入图像中，生成水印嵌入图像。

为了实现上述目的，本公开提出一种基于卷积特征的水印嵌入方法，具体包括以下步骤：

步骤1，对原始图像分块；

步骤2，生成卷积特征水印；

步骤3，对原始图像分块DCT变换，依次对原始图像的RGB层的子层R层、G层、B层(红、绿、蓝三个通道的颜色层)每一个子块进行DCT变换，并进行Zig-Zag扫描(“之”字形扫描，量化系数的Z行排序)；

步骤4，在原始图像分块高频系数中嵌入卷积特征水印，依次在原始图像的R层、G层、B层每一个子块的高频系数中嵌入卷积特征水印；

步骤5，对嵌入水印的图像分块水印检测。

进一步地，在步骤2中，生成卷积特征水印包括以下子步骤：已训练的深度网络读取原始图像提取卷积特征图，将卷积特征图的所有像素点序列化，通过阈值将卷积特征像素序列分成两个部分C₁和C₂，并且计算属于每一个类的数量，根据C₁和C₂生成卷积特征水印w_i，按照公式

生成水印信息，其中i＝1，2，3。

进一步地，在步骤2中，采用训练好的深度网络读取原始图像提取卷积特征图包括以下子步骤：

步骤2.1，搭建基于BN层(批量归一化层)的深度网络；

步骤2.2，随机初始化深度网络参数；

步骤2.3，用候选区域(ROI)训练集图片作为训练数据，分批次输入搭建好的深度网络；

步骤2.4，深度网络对提取的候选区域数据集进行卷积操作；

步骤2.5，用候选区域训练集图片训练深度网络的批量归一化层与其它所有层参数；

步骤2.6，获得训练好的深度网络；

步骤2.7，测试图片通过训练好的深度网络；

步骤2.8，提取卷积特征图作为特征对象区域，采用具有五个卷积核的卷积深度网络分别提取五幅卷积特征图，将所述五幅卷积特征图的灰度值的平均值作为新的卷积特征图。

进一步地，在步骤3中，对原始图像分块DCT变换包括以下子步骤：依次对原始图像的RGB层每一个子块进行DCT变换，并进行Zig-Zag扫描，对于图像的每一个分块D_lh，用RGB层代表每个8×8分块的三个颜色层，通过DCT变换得到分块的三个颜色层的DCT系数。

进一步地，在步骤4中，在原始图像分块高频系数中嵌入卷积特征水印包括以下子步骤：依次在原始图像的RGB层的子层R层、G层、B层每一个子块的高频系数中嵌入卷积特征水印，在原始图像的R层、G层、B层每一个子块的高频系数中嵌入卷积特征水印嵌入位置为b＝[k,k+2,k+4]，k＝11,12,...,60，取k＝25，嵌入规则为：

若((w_i＝＝1)&&X^R(b(l))≤X^R(b(l-1))，

X^R(b(l))＝(X^R(b(l))+X^R(b(l-1)))/2+a,X^R(b(l-1))＝(X^R(b(l))+X^R(b(l-1)))/2-a，

若((w_i＝＝0)&&X^R(b(l))≥X^R(b(l-1))，

X^R(b(l))＝(X^R(b(l))+X^R(b(l-1)))/2-a,X^R(b(l-1))＝(X^R(b(l))+X^R(b(l-1)))/2+a，

其中，l＝1,2,3；w_i为水印；X^R为原始图像分块；b(l)代表水印嵌入位置，每个水印被重复嵌入3次；a为水印嵌入强度。

进一步地，在步骤5中，对嵌入水印的图像分块水印检测包括以下子步骤：

(a)采用下列公式提取每一个块的水印信息，w″_i∈{0,1},i＝1,2,3

(b)采用多数投票的方式获取分块上RGB层的RGB颜色的水印值；

(c)按照公式

计算矩阵，其中，w_i为分块水印，水印的区域大小为L₁×L₂，L_r＝L₁/B，L_c＝L₂/B，B＝8；l＝1,2,..,L_r；h＝1,2,...,L_c；abs()函数为取绝对值函数；

(d)对于分块D_lh，采用篡改系数MC(l，h)降低误判率，并判断MT(l,h)≥2或者 MT(l,h)＝＝1&&TC(l,h)≥T_C是否成立，若成立则标注分块D_lh被篡改，若不成立则标注分块D_lh没有被篡改，其中，T_C＝3；l＝1,2,..,L_r；h＝1,2,...,L_c；

(e)按照步骤(a)到步骤(d)处理完图像中所有的分块，输出图像篡改检测结果。

进一步地，在步骤5中，采用多数投票的方式获取分块上RGB层的RGB颜色的水印值的方法，多数投票的方式为下列公式，

w_i为分块水印；其中多数投票函数Maj()函数定义为

其中，x_i为分块；#()函数为计数函数，用于统计x_i分块上RGB层的RGB颜色的水印值。

进一步地，在步骤5中，计算分块D_lh的距离d邻域内的篡改相关系数MC(l，h)如下：

其中，l＝1,2,..,L_r；h＝1,2,...,L_c；d＝2。

本公开的有益效果为：在提取图像水印时，利用篡改块具有局部聚集的特性，通过统计及阈值剪切，去除大部分的误判块，达到误判修正的目的，本公开生成的水印嵌入图像在隐秘性和鲁棒性均优于传统方法生成的水印嵌入图像并可对特征对象的类别进行保护。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为本公开的一种基于卷积特征的水印嵌入方法的简要流程图；

图2所示为本公开的一种基于卷积特征的水印嵌入方法的具体实施方案流程图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。

图1所示为根据本公开的一种基于卷积特征的水印嵌入方法的流程图，图2所示为本公开的一种基于卷积特征的水印嵌入方法的具体实施方案流程图，下面结合图1与图2来阐述根据本公开的实施方式的基于卷积特征的水印嵌入方法。

在本实施例中，提供了一种基于卷积特征的水印嵌入方法，根据本公开的一方面，提供一种轻量级密码加密方法，包括步骤：

步骤1，读取原始图像，对原始图像进行8×8分块，L_r＝M/8,L_c＝N/8，每一个8×8的子块可以用D_lh表示。

步骤2，生成卷积特征水印：生成卷积特征水印具体方法为：采用训练好的深度网络读取原始图像提取卷积特征图，将卷积特征图的所有像素点序列化，通过阈值将卷积特征像素序列分成两个部分C1和C2，并且计算属于每一个类的数量，根据C1和C2生成卷积特征水印，其中，采用训练好的深度网络读取原始图像提取卷积特征图的具体步骤为：

步骤2.1，搭建基于BN层(批量归一化层)的深度网络；

步骤2.2，随机初始化深度网络参数；

步骤2.4，深度网络对提取的候选区域数据集进行卷积操作；

步骤2.6，获得训练好的深度网络；

步骤2.7，测试图片通过训练好的深度网络；

步骤2.8，提取卷积特征图，采用具有五个卷积核的卷积深度网络分别提取五幅卷积特征图，将所述五幅卷积特征图的灰度值的平均值作为新的卷积特征图。

其中，在提取卷积特征图的步骤2.8中，搭建基于BN层(批量归一化层)的深度网络由卷积池化层、全链接层，以及边框回归层和分类层组成。

其中，卷积池化层由20个子层构成，包括：卷积层1(Conv1)、批规范化层1(BN1)、激活层1(ReLU1)、池化层1(Pool1)、卷积层2(Conv2)、批规范化层2(BN2)、激活层2(ReLU2)、池化层2(Pool2)、卷积层3(Conv3)、批规范化层3(BN3)、激活层3(ReLU3)、池化层3(Pool3)、卷积层4(Conv4)、批规范化层4(BN4)、激活层4(ReLU4)、池化层4(Pool4)、卷积层5(Conv5)、批规范化层5(BN5)、激活层5(ReLU5)、ROI特征映射层(ROIPool)。

其中，Conv1～5为卷积层，用于提取卷积特征。其中，BN1～5为批规范化层，用于对数据进行归一化，并且不丢失数据的分布规律。其中，ReLU1～5为激活层，用于深度网络对输入数据响应，采用这种响应可以防止过拟合。其中，Pool1～4为池化层，用于对数据有降维的作用。其中，ROIPool为ROI特征映射层：将图像中ROI对应的卷积特征池化到固定的维度7×7。

其中，全链接层由5个子层构成，包括激活层6(ReLU6)、全链接子层6(FC6)、批规范化层(BN)、全链接子层6(FC7)、激活层7(ReLU7)。

其中，ReLU6～7为激活层，用于深度网络对输入数据响应，BN为批规范化层，用于对数据进行归一化，FC6～7为将7×7的特征图变成1×n的向量其中，n范围为1～4096。

其中，边框回归层，由5个子层构成，包括：类别预测层(predcls)、边框预测层(predbbox)、类别误差层(losscls)、边框误差层(lossbbox)、综合误差层(Loss)其中，predcls为类别预测层，用于根据输入的特征向量预测类别，表示形式为与最初定义的类别的相似度。predbbox为类别预测层，用于根据输入的特征向量边框位置。losscls为类别误差层，用于根据预测的类别计算计算与真是类别的误差。lossbbox为边框误差层，用于根据预测的边框位置计算与真实位置的误差。Loss为综合误差层，用于根据类别误差和边框误差计算综合误差。

具体的深度网络的数据流从数据集输入开始，依次经过卷积池化层，全链接层，以及边框回归层，最后到分类层输出；训练深度网络时，所有的层参数同时一起学习受到训练(即BN层参数修改一次，其他层参数也修改一次)。

其中，在步骤2.2中，随机初始化深度网络参数:γ^(k)，β^(k)，K＝0～2500。

其中，在步骤2.3中，ROI区域训练集图片的获取方式为，由于候选区域(ROI)由像素间相关性聚合而形成，

候选区域的提取公式为：

s(r_i,r_j)＝a₁s_color(r_i,r_j)+a₂s_texture(r_i,r_j)+a₃s_size(r_i,r_j)+a₄s_fill(r_i,r_j)；

其中，a_i∈[0,1]，表示这种特征有没有用到，s(r_i,r_j)函数为像素矩阵，其中每一张训练图像可形成ROI区域范围为0～2500个。

其中，在步骤2.4中，深度网络对提取的候选区域数据集进行卷积操作还包括以下的子步骤：

步骤2.4.1，输入图像序列{Im}ⁿ；

步骤2.4.2，候选区域(ROI)由像素间相似性提取得到，每一张图片最多可提取2500个候选区域.候选区域的提取可用公式

s(r_i,r_j)＝a₁s_color(r_i,r_j)+a₂s_texture(r_i,r_j)+a₃s_size(r_i,r_j)+a₄s_fill(r_i,r_j)描述，其中，a_i∈[0,1],表示这种特征有没有用到。

步骤2.4.3，经过多层卷积、批规范化、池化形成m×n×256维的特征图；

步骤2.4.4，对于每一个ROI区域，通过7×7的比例映射到卷积特征图中实现ROI的卷积特征提取，ROIPool结构将ROI区域的特征维度都下采样在7×7的固定维度上，形成7×7×256维的特征图。

步骤2.4.5，经过两个全卷积深度网络形成4096维的高度抽象特征；

步骤2.4.6，在分类过程中同时进行了分类和定位，分类上可以实现1000种对象的分类，定位上采用边框回归的方法，可以实现对象位置的拟合；

步骤2.4.7，误差函数为分类误差和位置误差的和：

L_cls为分类误差，由真实分类u的概率决定；

l_cls＝-logP_u，L_loc为位置误差，它是通过比较预测的参数t^u与真实需要平移缩放参数t^*之间的误差：

其中g为Smooth L1误差函数

步骤2.4.8，当相邻ROI区域的误差函数绝对值小于学习率0.01时重复步骤2.4.2～步骤2.4.7。

步骤2.4.9，输出：检测结果

其中，在卷积池化过程中，由于卷积核具有平滑滤波的作用，可去除噪声得到较为平滑的信息。池化层能够提取分块中较为重要的信息进行降维。通过一系列卷积池化最终可得到较为鲁棒的图像特征信息，而这种信息与原图具有位置的映射关系，通过映射关系寻找图像块和水印信息的对应关系，将水印信息嵌入到对应的图像块中可实现图像内容认证。

其中，在步骤2.5中，用候选区域训练集图片训练深度网络的批量归一化层与其它所有层参数还包括以下的子步骤：

步骤2.5.1，输入可训练参数γ^(k),β^(k)；输入数据集{x⁽¹⁾,x⁽²⁾...x^(k)}；

步骤2.5.2，输出每一个数据集的归一化数据:y^(k)，K＝0～2500；

步骤2.5.3，随机初始化参数:γ^(k),β^(k)；

步骤2.5.4，重复K次运用公式

计算所有数据集的归一化数据y^(k)，其中：γ^(k)，β^(k)是重构参数，k＝1...k；

步骤2.5.5，保存每个数据集的平均值和方差:E[x]＝E_β(E[x^(k)])，

步骤2.5.6，计算y^(k),如下列公式所示

γ＝γ^(k),β＝β^(k)；

步骤2.5.7，重复K次步骤2.5.5～步骤2.5.6进行计算所有的归一化数据y^(k)，k＝1...k。

其中，在步骤2.6～步骤2.8中，提取卷积特征图作为特征对象区域如下步骤：训练好的深度网络采用反向传播进行参数调整，每一层都用梯度下降的方法进行反向传播，其中的参数调整过程为：

其中，l为误差，x_i为输入的数据，σ_β为输入数据的方差，u_β为输入数据的平均值，

为输入数据的归一化值，γ，β为重构参数。

其中，BN层不仅可以替代现有技术中的dropout层、L2正则项、局部响应归一化层等，还可以大幅度提升学习率，使训练速度大幅提升并不影响分类效果，并且在参数初始化的时候不用追求初始参数的精确性，只需要随机初始化就可以使得训练快速收敛。BN层是对训练数据随机批量处理的一种归一化层，对于一个BN层，首先是将数据的归一化到均值为0、方差为1的随机分布空间内，其目的一是使训练数据与测试数据以及各批训练数据的分布大致相同，减少参数的变化次数；二是对于激活函数的输入，数据分布在零附近，可以防止梯度弥散。归一化公式为：

其中，x(k)表示一批数据，E[x(k)]表示这批数据的均值，Var[x(k)]表示这批数据的方差。

但是这种归一化破坏了原来样本的特征分布。

其中，在提取出来的卷积特征中，由于卷积图大小刚好是原图的1/8，由映射关系可得到，卷积图中像素点F(l,h)对应原图的一个字块D_lh，l＝1,2,...,L_r；h＝1,2,...,L_c；卷积图中任一像素点F(l,h)都有一个维度为256的序列与之对应，记序列为F(l,h,k)，

l＝1,2,...,L_r；h＝1,2,...,L_c；k＝1,2,...,256。L_r＝L₁/B，L_c＝L₂/B，卷积特征图的大小为L1×L2，通过阈值将序列分成两个部分，并且计算属于每一个类的数量，用公式

其中，#()函数为计数函数，表示，由于图像的数据做了归一化处理，所以卷积特征图中像素值都比较低，因此T一般在15～60之间，本实施例中T＝40，按照公式

生成水印信息，其中i＝1，2，3；

步骤3，对原始图像分块DCT变换，对原图R层的每一个子块D_lh进行DCT变换，并进行Zig-Zag扫描。

步骤4，在原始图像分块高频系数中嵌入卷积特征水印，对于R层的每一个子块，按照公式在该子块高频系数中嵌入水印，嵌入位置为b＝[k,k+2,k+4]，k＝11,12,...,60，一般取k＝25。

嵌入规则为：

若((w_i＝＝1)&&X^R(b(l))≤X^R(b(l-1))，

X^R(b(l))＝(X^R(b(l))+X^R(b(l-1)))/2+a,X^R(b(l-1))＝(X^R(b(l))+X^R(b(l-1)))/2-a若((w_i＝＝0)&&X^R(b(l))≥X^R(b(l-1))

X^R(b(l))＝(X^R(b(l))+X^R(b(l-1)))/2-a,X^R(b(l-1))＝(X^R(b(l))+X^R(b(l-1)))/2+a

其中，l＝1,2,3；w_i为分块水印；X^R为原始图像分块；b(l)代表水印嵌入位置，每个水印被重复嵌入3次以增强水印的鲁棒性。a为水印嵌入强度，a太小会导致鲁棒性不够使内容认证水印难以被检测，a太大会破坏水印的透明性，本实施例a＝5，重复步骤3、步骤4处理G层、B层嵌入各块的水印认证信息。

步骤5，对嵌入水印的图像分块水印检测，其中，水印检测步骤如下：

(b)采用多数投票的方式获取分块上RGB层的RGB颜色的水印值；

(c)按照公式

(d)对于分块D_lh，采用篡改系数MC(l，h)降低误判率，并判断MT(l,h)≥2或者MT(l,h)＝＝1&&TC(l,h)≥T_C是否成立，若成立则标注分块D_lh被篡改，若不成立则标注分块D_lh没有被篡改，其中，T_C＝3；l＝1,2,..,L_r；h＝1,2,...,L_c；

w_i为分块水印；其中多数投票函数Maj()函数定义为

其中，l＝1,2,..,L_r；h＝1,2,...,L_c；d＝2。

(g)按照步骤(a)到步骤(f)处理完图像中所有的分块，输出图像篡改检测结果。

在卷积池化过程中，由于卷积核具有平滑滤波的作用，可去除噪声得到较为平滑的信息。池化层能够提取分块中较为重要的信息进行降维。通过一系列卷积池化最终可得到较为鲁棒的图像特征信息，而这种信息与原图具有位置的映射关系，通过映射关系寻找图像块和水印信息的对应关系，将水印信息嵌入到对应的图像块中可实现图像内容认证。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims

1.一种基于卷积特征的水印嵌入方法，其特征在于，包括如下步骤：

步骤1，对原始图像分块；

步骤2，生成卷积特征水印；

步骤3，对原始图像分块DCT变换；

步骤4，在原始图像分块高频系数中嵌入卷积特征水印；

步骤5，对嵌入水印的图像分块水印检测；

在步骤2中，生成卷积特征水印包括以下子步骤：已训练的深度网络读取原始图像提取卷积特征图，将卷积特征图的所有像素点序列化，通过阈值将卷积特征像素序列分成两个部分

和

，并且计算属于每一个类的数量，根据

和

生成卷积特征水印

，按照公式

生成水印信息，其中i=1，2，3；

在步骤2中，采用训练好的深度网络读取原始图像提取卷积特征图包括以下子步骤：

步骤2.1，搭建基于批量归一化层的深度网络；

步骤2.2，随机初始化深度网络参数；

步骤2.3，用候选区域训练集图片作为训练数据，分批次输入搭建好的深度网络；

步骤2.4，深度网络对提取的候选区域数据集进行卷积操作；

步骤2.6，获得训练好的深度网络；

步骤2.7，测试图片通过训练好的深度网络；

步骤2.8，提取卷积特征图作为特征对象区域，采用具有五个卷积核的深度网络分别提取五幅卷积特征图，将所述五幅卷积特征图的灰度值的平均值作为新的卷积特征图。

2.根据权利要求1所述的一种基于卷积特征的水印嵌入方法，其特征在于，在步骤3中，对原始图像分块DCT变换包括以下子步骤：依次对原始图像的RGB层每一个子块进行DCT变换，并进行Zig-Zag扫描，对于图像的每一个分块

，用RGB层代表每个8×8分块的三个颜色层，通过DCT变换得到分块的三个颜色层的DCT系数。

3.根据权利要求1所述的一种基于卷积特征的水印嵌入方法，其特征在于，在步骤4中，在原始图像分块高频系数中嵌入卷积特征水印包括以下子步骤：依次在原始图像的RGB层的子层R层、G层、B层每一个子块的高频系数中嵌入卷积特征水印，在原始图像的R层、G层、B 层每一个子块的高频系数中嵌入卷积特征水印嵌入位置为