CN109472733A - 基于卷积神经网络的图像隐写分析方法 - Google Patents

Abstract

本发明属于图像处理、计算机视觉技术领域，为提出一种能够在抑制原有图像细节特征的前提下，有效提取到隐写图像中隐写特征，提高图像隐写分析效果的方法。为此，本发明采用的技术方案是，基于卷积神经网络的图像隐写分析方法，通过训练卷积神经网络，使得网络损失值达到最小，得到最优参数值P^*，进而提高网络模型的检测性能，其中，图像经过卷积神经网络预处理层、特征提取层处理后，还需要全连接层来对提取出的特征进行分类，全连接层中softmax层对提取出的特征进行分类。本发明主要应用于图像处理场合。

Description

基于卷积神经网络的图像隐写分析方法

技术领域

本发明属于图像处理、计算机视觉技术领域，具体讲，涉及基于卷积神经网络的图像隐写分析方法。

背景技术

人们多把隐写分析问题看作是二分类问题，目标是区分正常图像和载密图像。图像隐写分析的困难在于隐写操作引入到图像中的隐写噪声信号通常是很微弱的，隐写前后图像差异很小，且这种差异很容易被不同图像内容间的差异性掩盖。而当嵌入到图像中的信息量逐渐减少时,隐写分析的困难性还将进一步加大。尤其是近年来提出的内容自适应隐写术在进行信息嵌入时可以优先将隐写信号隐藏到难以统计建模的图像复杂纹理区域。因此在低嵌入率条件下，自适应隐写术可以更好的发挥其优势，也更难检测。

为了更准确地去检测出隐写图像，研究人员进行了广泛的研究，将图像去雨分为了三个步骤：图像预处理、特征提取和分类。图像预处理就是预处理通过利用高通滤波(残差预测算子)对空域图像进行卷积操作，提取出图像的高频信息，即边缘和纹理复杂的区域，这些区域也是隐写术嵌入的区域。特征提取是指对图像进行特征提取，并根据图像的特征，利用多维向量对图像进行表示。其中，多维向量的一个维度即为卷积神经网络提取的一个特征图像，特征图像的数量即为多维向量的维数。在图像隐写分析中，特征提取是关键的一步，为了对抗自适应隐写术，传统方法中的特征设计需要考虑更复杂的图像统计特性，特征也向着复杂化、高维化发展。但是，有效特征的设计更多的依赖于人的经验，而且需要花费大量的时间。在深度学习方法中，模型中的卷积结构在捕捉图像局部区域像素间的相关性方面具有优势，但是卷积神经网络(convolutional neural network，CNN)在特征抽取过程中对于全局信息的利用方面，一般是通过卷积层的缩放或是池化(pooling)等操作逐层的融合局部区域的信息，该方式存在本身的限制性。

发明内容

为克服现有技术的不足，本发明旨在提出一种能够在抑制原有图像细节特征的前提下，有效提取到隐写图像中隐写特征，提高图像隐写分析效果的方法。为此，本发明采用的技术方案是，基于卷积神经网络的图像隐写分析方法，具体关系为：

y＝H_p(x)

式中，H_P(·)表示卷积神经网络，p表示网络参数，x表示输入图像，通过训练卷积神经网络，使得网络损失值达到最小，得到最优参数值P^*，进而提高网络模型的检测性能，其中，图像经过卷积神经网络预处理层、特征提取层处理后，还需要全连接层来对提取出的特征进行分类，全连接层中softmax层对提取出的特征进行分类。

具体地，

首先将需要处理的图像进行预处理，即将图像通过高通滤波器进行卷积操作，以提取出图像的高频信息，便于之后进入网络进行处理；

然后，利用卷积神经网络对图像进行特征提取，具体地：

膨胀卷积如下式所示：

式中：X₀，X₀，…，X_n-1为一系列的图像，k₀，k₁，…，k_n-1为一系列的3×3滤波器，为以指数增长的膨胀卷积；

对于X_j+1中的元素p，它的感受野定义为形成X_j+1(p)这个值所需要的X₀中的所有元素，感受野的大小即为X₀中这些元素的大小，所以在X_j+1中，每个元素的感受野大小为(2^j+2-1)×(2^j+2-1)；

利用膨胀卷积，提取不同尺度感受野的图像特征。

全连接层构成了网络模型中的分类模块，每层全连接层均包括多个神经单元，且两层之间根据下式进行计算：

其中，表示第i层全连接层的第i输入单元，表示连接第l层全连接层的第i输入单元和第j输出单元的权重，表示第l层全连接层的第j输出单元的偏置；这里，每个单元均与前一层的所有单元连接，其中第一层与卷积层的最后一层相连，其最后一层与输出层相连，每层的输出作为下一层的输入；f(x)为激活函数，其中最后一层全连接层中元素的激活函数为softmax函数，如下式所示：

其中i＝1，2表示分类类别。

残差图像x是输入图像I和高通滤波器K两者卷积生成：

x＝I*K

式中，I表示原始输入图像，K表示高通滤波器，*表示卷积操作，选择KV滤波器作为高通滤波器：

具体地，针对网络的训练目标，网络中的参数通过最小化softmax函数来学习：

式中y_i表示样本x_i的标签，δ(·)表示delta函数，N表示训练样本数，K表示标签数，o_ik(x_i，θ)指表示是第i个样本在第k个标签时的输出，θ表示网络的参数，对于一个神经网络模型来说，θ一般指的是权重矩阵w或者是偏置向量b，每一层的权重矩阵和偏置向量是通过梯度衰减来更新的，更新公式如下：

式中α是学习率，使用小批量随机梯度下降来优化网络。

本发明的特点及有益效果是：

1)本发明采用卷积神经网络提取图像特征，相较以往人工设计特征的方法，本发明适应自适应隐写隐写术，具有更好的鲁棒性。

2)本发明将膨胀卷积运用到基于卷积神经网络图像隐写分析中，与现有其他方法相比，可以更好提取不同尺度感受野的图像特征可以使得到的图像信息更为丰富，有利于提高后续对非线性映射关系估计的准确性，达到更好的检测效果。

3)本发明相对于传统基于人工设计特征的方法，将特征提取模块和分类模块整合到一个可训练的网络模型框架下，以数据驱动的形式自动的学习特征并实现分类，从而大大减少了对人的经验和时间的需求。

附图说明：

图1算法流程。

图2膨胀卷积感受野范围大小，(a)3×3感受野，(b)7×7感受野，(c)15×15感受野。

图3网络结构

图4样本制作

其中，(a)为原始图像，(b)隐写术为S_UNIWARD的载密位置图像(嵌入率为0.1bpp)，(c)隐写术为MiPOD的载密位置图像(嵌入率为0.1bpp)，(d)隐写术为WOW的载密位置图像(嵌入率为0.1bpp)。

具体实施方式

通过综合利用嵌入图像的高频特征和卷积神经网络，研究一种能够在抑制原有图像细节特征的前提下，有效提取到隐写图像中隐写特征，提高图像隐写分析效果的方法。本发明实现了一种基于卷积神经网络的图像隐写分析方法。

本发明将膨胀卷积和卷积神经网络结合起来，实现了一种基于卷积神经网络的图像隐写分析方法。图像隐写分析的目标是准确区分正常图像和载密图像。本发明基于卷积神经网络实现这一目标，具体关系可以为：

y＝H_p(x)

式中，H_P(·)表示卷积神经网络，p表示网络参数，x表示输入图像。通过训练卷积神经网络，使得网络损失值达到最小，得到最优参数值P^*，进而提高网络模型的检测性能。

为了提高图像隐写分析的检测效果，图像经过预处理层、卷积层等处理后，还需要全连接层来构成完整的卷积神经网络模型，全连接层的主要作用相当于是对前面步骤提取出的特征进行分类，并用softmax层作为分类器。具体技术方案详述如下：

1预处理

大量实验证明，直接将图像样本输入网络模型中可能会使得网络不收敛，因此和传统隐写分析方法一样，输入到网络模型中图像样本需要进行相应的预处理操作。所以，本发明首先将需要处理的图像进行预处理，即将图像通过高通滤波器进行卷积操作，以提取出图像的高频信息，便于之后进入网络进行处理。

由于嵌密过程可以看成是在强信号(图像内容)中隐匿弱信号(隐秘信息),图像内容本身的巨大差异性，其往往掩盖了隐秘信息这一弱信号给图像带来的影响，使得信息隐藏检测具有很大的难度。利用高通滤波等手段先对图像做预处理，尽可能的抑制图像内容，放大隐写分析中更关注的隐写信号，从而减少图像内容差异性带来的影响，促进学习更有效的特征表达。从数学公式上讲，残差图像x是输入图像I和高通滤波器K两者卷积生成：

x＝I*K

式中，I表示原始输入图像，K表示高通滤波器，*表示卷积操作。本文选择KV滤波器作为高通滤波器。

2特征提取

在很多图像隐写分析的研究中，将图像在空域中进行处理是一种常见的方法。这种方法相当于利用一系列不同卷积核的滤波器对图像进行卷积，得到的结果即为基于不同方法的原始图像特征表示。本文利用卷积神经网络对图像进行特征提取，得到的特征图像相较于人为选择的特征图像，更加适合于图像隐写分析。因此，算法具有更好的检测效果。

膨胀卷积可以使感受野的大小呈指数方式增长，同时不会减少和遗漏感受野的覆盖区域。膨胀卷积如下式所示。

式中：X₀，X₀，…，X_n-1为一系列的图像，k₀，k₁，…，k_n-1为一系列的3×3滤波器，为以指数增长的膨胀卷积。

对于X_j+1中的元素p，它的感受野定义为形成X_j+1(p)这个值所需要的X₀中的所有元素。感受野的大小即为X₀中这些元素的大小。所以在X_j+1中，每个元素的感受野大小为(2^j+2-1)×(2^j+2-1)。

利用膨胀卷积，提取不同尺度感受野的图像特征可以使得到的图像信息更为丰富，有利于提高后续对非线性映射关系估计的准确性。所以，在原来卷积神经网络的基础上加入了膨胀卷积，构成了提取多尺度图像特征的卷积神经网络。

3分类

全连接层构成了网络模型中的分类模块，每层全连接层均包括多个神经单元，且两层之间根据下式进行计算：

其中，表示第i层全连接层的第i输入单元，表示连接第l层全连接层的第i输入单元和第j输出单元的权重，表示第l层全连接层的第j输出单元的偏置；这里，每个单元均与前一层的所有单元连接，其中第一层与卷积层的最后一层相连，其最后一层与输出层相连，每层的输出作为下一层的输入；f(x)为激活函数，其中最后一层全连接层中元素的激活函数为softmax函数，如下式所示：

其中i＝1,2表示分类类别。

下面结合算法流程框图对本发明进行详细的描述。

如图1所示，本发明提供一种基于卷积神经网络的图像隐写方法，其包括以下步骤：

步骤1：预处理

实验发现直接用正常或载密图像作为网络模型的输入，并以分类标签作为监督信息来进行训练时，网络不能收敛。也就是说，这种情况下，网络模型学不到区分正常图像和载密图像的有效特征表达。

针对这一问题，本文借鉴了传统隐写分析领域中的预处理方法，利用高通滤波等手段先对图像做预处理，尽可能的抑制图像内容，放大隐写分析中更关注的隐写信号，从而减少图像内容差异性带来的影响，促进学习更有效的特征表达。传统隐写分析中所用到的高通滤波核可以分为两类：线性滤波核和非线性滤波核。本发明使用的是线性滤波，其形式如下：

式中N_ij是像素X_ij的邻域，且该邻域不包括X_ij本身，是预测子，用于对像素X_ij值进行预测。该类高通滤波的思想是利用邻域像素对中心像素进行预测，然后与中心像素进行差值，来抑制图像内容，使得滤波后的图像中隐写信号更为显著，从而有利于特征提取。隐写分析中，高通滤波后的图像称为噪声残差图像。线性滤波核又可分为方向性滤波核和非方向性滤波核两种，其中方向性滤波核对于图像中特定方向的边缘、纹理比较敏感，非方向性滤波则不区分特定方向的纹理。

本发明使用非方向性线性滤波核，因为非线性滤波核对某些方向性的边缘较为敏感，且由于目前最优秀的特征提取过程中通常需要采用不同的残差滤波以尽可能捕捉更多的图像纹理特性，不同的非线性滤波增加了滤波核之间的差异性。

步骤2：训练样本制作和网络训练

为了提高网络对载密图像的检测准确率这一目标，需要对构建的卷积神经网络进行训练，网络结构如图2所示。发明中使用的数据集是隐写分析中常用的标准库BOSSbase1.01。该图像库包含了10000张大小为512×512的正常载体图片(cover)，这些图像均是PGM格式。将数据库中10000张图片裁剪成40000张相互间无重叠的大小为256×256的图片。实验中，从数据库分别地随机划分出其中的30000张图片作为训练集，剩下的10000张图片做测试集。并且对于后面的所有试验保持相同的划分，以方便进行对比。当给定嵌入算法和嵌入率,便可通过嵌入操作得到训练和测试集中的另一类图像,即载密图像(stego)。因此,由BOSS1.01数据库得到的训练集和测试集分别包括30000和10000个cover/stego图像对。

针对网络的训练目标，网络中的参数通过最小化softmax函数来学习：

式中y_i表示样本x_i的标签，δ(·)表示delta函数，N表示训练样本数，K表示标签数(K＝2)。o_ik(x_i，θ)指表示是第i个样本在第k个标签时的输出，θ表示网络的参数。对于一个神经网络模型来说，θ一般指的是权重矩阵w或者是偏置向量b，每一层的权重矩阵和偏置向量是通过梯度衰减来更新的。更新公式如下：

式中α是学习率。根据上面的式子可知，所有的训练样本都跟总损失L的计算相关。为了减少计算量，使用小批量随机梯度下降来优化网络。

对于每个卷积层的权重参数，利用均值为0，标准差为0.1的高斯分布进行随机初始化。本发明所有网络的训练过程都是在Tensorflow环境下进行的。

步骤3：特征提取

构建的卷积神经网络训练好之后，将得到的最优参数值载入网络，并将预处理得到的输入图像输入网络，网络首先要对输入图像进行特征提取。

利用膨胀卷积，结合网络模型对输入残差图像特征进行提取。本发明网络共五层，每个卷积层的卷积核大小为3×3，卷积层的后面，均接有修正线性单元(rectified linearunit,ReLU)激励层。通过调整每个卷积层的膨胀因子，可以得到感受野大小不同的特征图像。在本发明中，前两个卷积层的膨胀因子均设为1，得到的特征图像的感受野大小为5×5；第三和第四两个卷积层的膨胀因子分别设为1、2，得到的特征图像的感受野大小分别为7×7和15×15；最后一个卷积层的膨胀因子设为2，得到的特征图像的感受野大小为31×31。然后将得到的多尺度特征图像通过完全连接层构成一个集合，用于后面对非线性映射关系的估计。

网络得到的特征图像构成的集合总共包含n张特征图像。由于提取不同尺度感受野的图像特征可以使得到的图像信息更为丰富，有利于提高后续对非线性映射关系估计的准确性。

步骤4：分类

全连接层构成了网络模型中的分类模块，每层全连接层均包括多个神经单元，且两层之间根据下式进行计算：

其中，表示第i层全连接层的第i输入单元，表示连接第l层全连接层的第i输入单元和第j输出单元的权重，表示第l层全连接层的第j输出单元的偏置。通过第二步对图像特征的提取，得到了n张特征图像。将n张特征图像根据映射关系转化为二进制标签。这里选择大小为1000的全连接层，利用softmax激活函数来估计并实现由特征图像到二进制标签的映射关系。虽然可以利用多个全连接层来估计和实现映射关系，但是多个全连接层会增加网络参数，提高模型和算法的复杂度。经过综合考虑，本发明选择使用一个全连接层完成这一步的操作。

Claims (4)

1.一种基于卷积神经网络的图像隐写分析方法，其特征是，具体关系为：

y＝H_p(x)

式中，H_P(·)表示卷积神经网络，p表示网络参数，x表示输入图像，通过训练卷积神经网络，使得网络损失值达到最小，得到最优参数值P^*，进而提高网络模型的检测性能，其中，图像经过卷积神经网络预处理层、特征提取层处理后，还需要全连接层来对提取出的特征进行分类，全连接层中softmax层对提取出的特征进行分类。

2.如权利要求1所述的基于卷积神经网络的图像隐写分析方法，其特征是，具体地，首先将需要处理的图像进行预处理，即将图像通过高通滤波器进行卷积操作，以提取出图像的高频信息，便于之后进入网络进行处理；然后，利用卷积神经网络对图像进行特征提取，具体地，膨胀卷积如下式所示：

式中：X₀，X₀，…，X_n-1为一系列的图像，k₀，k₁，…，k_n-1为一系列的3×3滤波器，为以指数增长的膨胀卷积；

对于X_j+1中的元素p，它的感受野定义为形成X_j+1(p)这个值所需要的X₀中的所有元素，感受野的大小即为X₀中这些元素的大小，所以在X_j+1中，每个元素的感受野大小为(2^j+2-1)×(2^j+2-1)；

利用膨胀卷积，提取不同尺度感受野的图像特征。

3.如权利要求1所述的基于卷积神经网络的图像隐写分析方法，其特征是，全连接层构成了网络模型中的分类模块，每层全连接层均包括多个神经单元，且两层之间根据下式进行计算：

其中，表示第i层全连接层的第i输入单元，表示连接第l层全连接层的第i输入单元和第j输出单元的权重，表示第l层全连接层的第j输出单元的偏置；这里，每个单元均与前一层的所有单元连接，其中第一层与卷积层的最后一层相连，其最后一层与输出层相连，每层的输出作为下一层的输入；f(x)为激活函数，其中最后一层全连接层中元素的激活函数为softmax函数，如下式所示：

其中i＝1,2表示分类类别。

4.如权利要求1所述的基于卷积神经网络的图像隐写分析方法，其特征是，残差图像x是输入图像I和高通滤波器K两者卷积生成：

x＝I*K

式中，I表示原始输入图像，K表示高通滤波器，*表示卷积操作，选择KV滤波器作为高通滤波器：

具体地，针对网络的训练目标，网络中的参数通过最小化softmax函数来学习：

式中y_i表示样本x_i的标签，δ(·)表示delta函数，N表示训练样本数，K表示标签数，o_ik(x_i，θ)指表示是第i个样本在第k个标签时的输出，θ表示网络的参数，对于一个神经网络模型来说，θ一般指的是权重矩阵w或者是偏置向量b，每一层的权重矩阵和偏置向量是通过梯度衰减来更新的，更新公式如下：

式中α是学习率，使用小批量随机梯度下降来优化网络。