CN110503157A - 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 - Google Patents

Abstract

本发明公开了一种基于细粒度图像的多任务卷积神经网络的图像隐写分析方法，其步骤包括：1获取数据集，对数据集进行处理；2搭建多任务卷积神经网络模型；3训练多任务卷积神经网络；4利用训练好的网络模型对其他测试集图像进行隐写分析，以此判断图像是否为载密图像。本发明首次将显著性检测技术和隐写分析相结合，把提取的细粒度图像作为输入，采用并行训练的方式已达到共享数据源中的不同信息，同时通过修改卷积核的步长从而没有使用池化操作，从而避免了图像特征的丢失，提高了网络的检测精度。

Description

基于细粒度图像的多任务卷积神经网络的图像隐写分析方法

技术领域

本发明涉及图像分类、模式识别、图像隐写分析领域，具体涉及一种基于细粒度图像和多属性融合的多任务卷积神经网络的图像隐写分析方法。

背景技术

隐写术是尽量将秘密信息隐藏在一个特定的原始图像中，尽量减少原始图像的变化，使隐写术在视觉质量和统计特征上接近原始数据。同时，隐写分析运用信号处理和机器学习理论，分析载密与载体图像之间的统计差异。通过增加特征个数，提高分类器性能，提高了检测精度。

目前，已有的隐写分析方法包括特定的隐写分析算法和通用的隐写分析算法。早期的隐写分析方法主要针对检测特定的隐写算法，而通用的隐写分析算法通常使用统计特征和机器学习。常用的统计特征包括二进制相似性测度特征、DCT和小波系数特征、共现矩阵特征等。近年来，基于相邻像素间相关性的高阶统计特征已成为隐写分析的主流。这些特征通过捕获与图像隐写相关的复杂统计特征，如SPAM、富模型及其几个变体，提高了检测性能。然而，这些高级方法基于包含成千上万特性的丰富模型。处理这样的高维特征必然会导致训练时间的增加、过度拟合等问题。此外，基于特征的隐析器能否成功地检测出载密的细微变化在很大程度上取决于特征的构造。特色构造需要大量的人为干预和专业知识。

基于卷积神经网络的图像分类是近些年计算机视觉领域较为前沿的研究课题。通过使用神经网络的算法结构，能够自动获取数据的多个抽象级别，发现数据集中隐含的复杂结构，人们将该项技术运用到隐写分析中，发现卷积神经网络(CNN)在各种隐写分析检测器中表现良好。CNN可以自动从图像中提取复杂的统计相关性，提高检测精度，Tan等人使用了一个包含四个卷积层的CNN网络来进行图像隐写分析。实验表明，随机初始化权值的CNN通常不能收敛，用KV核初始化第一层权值可以提高精度。Xu等人提出了一种CNN结构，其中包含了一些用于图像分类的技术，如批量归一化(BN)、1×1卷积和全局平均池。他们还使用高通滤波器进行预处理，并使用绝对激活层(ABS)。他们的实验显示出更好的性能。通过对Xu-CNN的改进，实现了性能更加稳定的性能。在JPEG域，Xu等人提出了一种基于图像解压的网络，比传统的JPEG域方法具有更好的检测精度。Ye等人提出了一种带一组高通滤波器的CNN结构进行预处理，并采用了一组混合激活函数来更好地捕捉嵌入信号。然而，这些高级方法基于包含成千上万特性的丰富模型。处理这样的高维特征必然会导致训练时间的增加、过度拟合等问题。此外，基于特征的隐写分析模型能否成功地检测出载密的细微变化在很大程度上取决于特征的构造。特征构造需要大量的人为干预和专业知识，并且上述研究都没有考虑到输入图像的大小，因为现实世界中的图像大小是任意的。对于隐写分析来说，这不是一个好的实践，因为像素之间的关系非常弱且独立。分类前调整大小会影响模型的精度。这些问题在本方案中都得到了改善。

发明内容

本发明为克服现有技术存在的不足之处，提供了一种基于细粒度图像的多任务卷积神经网络的图像隐写分析方法，以期避免图像特征的丢失，减少网络参数，缩短训练时间，并提高网络的检测精度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于细粒度图像的多任务卷积神经网络的图像隐写分析方法的特点是按如下步骤进行：

步骤1、构建训练样本：

步骤1.1、获取灰度图像集Z＝{z_k|k＝1,2,…m}，其中，z_k表示第k张灰度图像；对所述k张灰度图像z_k进行剪裁，得到长×宽为a×a的剪裁后的灰度图像x_k，从而得到剪裁后的灰度图像集X＝{x_k|k＝1,2,...m}；

步骤1.2、对剪裁后的灰度图像集X中的每个灰度图像进行隐写加密处理，得到载密图像集Y＝{y_k|k＝1,2,...m}，其中，y_k表示对第k张剪裁后的灰度图像x_k进行隐写加密后的载密图像；

步骤1.3、采用基于谱残差的显著性检测算法对所述第k张剪裁后的灰度图像x_k进行定位剪裁，得到长×宽为b×b的细粒度图像集其中，表示对第k张剪裁后的灰度图像x_k进行定位剪裁后的第j张细粒度图像；

步骤1.4、根据所述第k张剪裁后的灰度图像x_k的细粒度图像集中每张细粒度图像依次对第k张载密图像y_k进行剪裁，从而得到剪裁后的载密图像集其中，表示根据第j张细粒度图像对第k张载密图像y_k进行剪裁后的载密图像；

步骤1.5、由所述细粒度图像集中每张细粒度图像依次与剪裁后的载密图像集中每张载密图像构成j+1对训练样本，其中，第j+1对训练样本为第j张细粒度图像和第j张剪裁后的载密图像；从而由m张剪裁后的灰度图像的细粒度图像集与其对应的剪裁后的载密图像集构成m×(j+1)对训练样本；

步骤2、构建多任务卷积神经网络，包括：一个输入模块、一个预处理模块、w个可分离卷积模块、q个基本模块、一个空间金字塔池模块以及全连接层；

步骤3、初始化多任务卷积神经网络：

以Relu作为激活函数，使用高通滤波器对所述预处理模块中的参数进行初始化，并使用Xavier初始化方法对w个可分离卷积模块和q个基本模块进行参数初始化；

步骤4、将所述第k张剪裁后的灰度图像x_k及其细粒度图像集并行输入到多任务神经网络中，并在所述预处理模块中加入选择通道，从而相应得到第k个大小为a×a的S₀张灰度残差特征图R和大小为b×b的j×S₀张细粒度残差特征图H，其中，S₀表示预处理模块中滤波器数目；

步骤5、将所述灰度残差特征图R和细粒度残差特征图H输入到可分离卷积模块：

步骤5.1、定义变量p，并初始化p＝1；

步骤5.2、将所述灰度残差特征图R和细粒度残差特征图H输入到第p个可分离卷积模块的第一层卷积层中得到第k个大小为a×a的张灰度残差特征图和大小为b×b的张细粒度残差特征图 表示第p个可分离卷积模块中第一层卷积层滤波器数目；

步骤5.3、将灰度残差特征图和细粒度残差特征图输入到第p个可分离卷积模块的第二层卷积层中得到第k个大小为a×a的张灰度残差特征图和大小为b×b的张细粒度残差特征图其中，表示第p个可分离卷积模块中第二层卷积层滤波器数目；

步骤5.4、令p+1赋值给p，判断p＞w是否成立，若成立，则表示得到第w个可分离卷积模块输出的具有空间和信道相关性的灰度残差特征图和细粒度残差特征图否则，将和分别赋值给R和H后，执行步骤5.2；

步骤6、将所述灰度残差特征图和细粒度残差特征图输入到基本模块中：

步骤6.1、定义变量t，并初始化t＝1；

步骤6.2、将灰度残差特征图和细粒度残差特征图输入到第t个基本模块中，并经过步长为c₁的卷积核的卷积处理后得到第k个大小为a′×a′的S_t张灰度残差特征图R_t和大小为b′×b′的j×S_t张细粒度残差特征图H_t，其中，S_t表示第t个基本模块中卷积层滤波器数目；

步骤6.3、令t+1赋值给t，判断t＞q-1是否成立，若成立，则表示得到第q-1个基本模块输出的灰度残差特征图R_q-1和细粒度残差特征图H_q-1，并执行步骤6.4；否则，将R_t和H_t分别赋值给和后，执行步骤6.2；

步骤6.4、将第q-1个基本模块输出的灰度残差特征图R_q-1和细粒度残差特征图H_q-1输入到第q个基本模块中，并经过步长为“1”的卷积核的卷积处理后得到第q个基本模块输出的第k个大小为a′×a′的S_q张灰度残差特征图R_q和大小为b′×b′的j×S_q张细粒度残差特征图H_q，其中，S_q表示第q个基本模块中卷积层滤波器数目；

步骤7、将所述灰度残差特征图R_q和细粒度残差特征图H_q输入空间金字塔池模块中：

步骤7.1、定义临时变量α，并初始化α＝1；

步骤7.2、对于L级金字塔中任意第α级金字塔设有n_α×n_α个空间金字塔分层分网格数；

令第α级金字塔窗口大小为步长大小其中，表示取上限操作，表示取下限操作；

步骤7.3、将所述灰度残差特征图R_q和细粒度残差特征图H_q输入第α级金字塔，获得长度为n_α×n_α的第α个生成特征；

步骤7.4、令α+1赋值给α后，判断α＞L是否成立，若成立，则表示得到L个生成特征，否则，返回步骤7.2；

步骤7.5、将所述L个生成特征进行叠加，得到长度为K×M的一维输出特征；其中，K表示S_q和j×S_q之和；M表示L个生成特征的长度累加和，即

步骤8、将所述长度为K×M的一维输出特征输入到全连接层中，并经过sofxmax函数的处理，得到隐写概率，以所述隐写概率来判断相应输入所述多任务卷积神经网络的灰度图像是否为载密图像。

与现有技术相比，本发明的有益效果在于：

1、本发明首次将显著性检测技术和隐写分析相结合，把提取的细粒度图像作为输入，采用并行训练的方式已达到共享数据源中的不同信息，使神经网络提取到的目标特征更具有独特性和区分性，能够获得输入图像本身具有的多属性特征。

2、本发明在基本模块通过修改卷积核的步长而没有使用池化操作，从而避免了图像特征的丢失，提高了网络的检测精度。

3、本发明加入了空间金字塔池，空间金字塔池可以对任意尺度或大小的图像进行特征聚合，并把它映射到固定大小的特征向量上，从而避免了输入图像大小不一致影响网络的精度。

附图说明

图1是本发明网络模型架构图；

图2是本发明基于细粒度图像和多任务的卷积神经网络流程图；

图3是本发明卷积神经网络模块1、2的具体网络模型结构图；

图4是本发明卷积神经网络模块3、4、5、6的具体网络模型结构图；

图5是本发明卷积神经网络模块8的空间金字塔池模型结构图。

具体实施方式

本实施例中，如图1所示，一种基于细粒度图像的多任务卷积神经网络的图像隐写分析方法是一个由原始图像集X＝{x_k|k＝1,2,...m}和对应细粒度图像集集作为输入，采用并行训练的方式已达到共享数据源中的不同信息，同时，多个softmax损失函数应用于反向传播，这些损失函数的权重之和为1，具体的说，该方法按如下步骤进行：

步骤1、构建训练样本：

步骤1.1、获取灰度图像集Z＝{z_k|k＝1,2,…m}，其中，z_k表示第k张灰度图像；对k张灰度图像z_k进行剪裁，得到长×宽为a×a的剪裁后的灰度图像x_k，从而得到剪裁后的灰度图像集X＝{x_k|k＝1,2,...m}，本实例选择采用BOSSBasev1.01和Bows2两种数据集，BOSSBase由10，000幅大小为512×512的灰度图像组成，从未压缩，来自7个不同的摄像机；Bows2由10,000个尺寸为512×512的灰度级图像组成，从未压缩，其分布接近BossBase。将BOSSBase图像随机分成一组4，000个载体和载密图像对，一个包含1，000个图像对的验证集，以及一个包含5，000个图像对的测试集。为了进行公平的比较，本文针对嵌入算法WOW和S-UNIWARD在有效载荷0.2BPP和0.4BPP，Bows2也是如此；

步骤1.2、对剪裁后的灰度图像集X中的每个灰度图像进行隐写加密处理，得到载密图像集Y＝{y_k|k＝1,2,...m}，其中，y_k表示对第k张剪裁后的灰度图像x_k进行隐写加密后的载密图像；

步骤1.3、采用基于谱残差的显著性检测算法对第k张剪裁后的灰度图像x_k进行定位剪裁，得到长×宽为b×b的细粒度图像集其中，表示对第k张剪裁后的灰度图像x_k进行定位剪裁后的第j张细粒度图像；

步骤1.4、根据第k张剪裁后的灰度图像x_k的细粒度图像集中每张细粒度图像依次对第k张载密图像y_k进行剪裁，从而得到剪裁后的载密图像集其中，表示根据第j张细粒度图像对第k张载密图像y_k进行剪裁后的载密图像；

步骤1.5、由细粒度图像集中每张细粒度图像依次与剪裁后的载密图像集中每张载密图像构成j+1对训练样本，其中，第j+1对训练样本为第j张细粒度图像和第j张剪裁后的载密图像；从而由m张剪裁后的灰度图像的细粒度图像集与其对应的剪裁后的载密图像集构成m×(j+1)对训练样本；

步骤2、构建多任务卷积神经网络，包括：一个输入模块、一个预处理模块、w个可分离卷积模块、q个基本模块、一个空间金字塔池模块以及全连接层，如图2所示，两个可分离卷积模块、五个基本模块；

步骤3、初始化多任务卷积神经网络：

以Relu作为激活函数，使用高通滤波器对预处理模块中的参数进行初始化，并使用Xavier初始化方法对w个可分离卷积模块和q个基本模块进行参数初始化；

步骤4、将第k张剪裁后的灰度图像x_k及其细粒度图像集并行输入到多任务神经网络中，并在预处理模块中加入选择通道，从而相应得到第k个大小为a×a的S₀张灰度残差特征图R和大小为b×b的j×S₀张细粒度残差特征图H，其中，S₀表示预处理模块中滤波器数目，本实例使用的是5个5×5×1以及25个3×3×1的卷积核组成的卷积层，其输入的特征图与残差失真的L1范数的期望上界作为选择通道的统计测量的矩阵相加作为下面网络的输入；

步骤5、将灰度残差特征图R和细粒度残差特征图H输入到可分离卷积模块：

步骤5.1、定义变量p，并初始化p＝1；

步骤5.2、将灰度残差特征图R和细粒度残差特征图H输入到第p个可分离卷积模块的第一层卷积层中得到第k个大小为a×a的张灰度残差特征图和大小为b×b的张细粒度残差特征图 表示第p个可分离卷积模块中第一层卷积层滤波器数目；

步骤5.3、将灰度残差特征图和细粒度残差特征图输入到第p个可分离卷积模块的第二层卷积层中得到第k个大小为a×a的张灰度残差特征图和大小为b×b的张细粒度残差特征图其中，表示第p个可分离卷积模块中第二层卷积层滤波器数目；

步骤5.4、令p+1赋值给p，判断p＞w是否成立，若成立，则表示得到第w个可分离卷积模块输出的具有空间和信道相关性的灰度残差特征图和细粒度残差特征图否则，将和分别赋值给R和H后，执行步骤5.2；

本实例选择两种不同大小的卷积核：一种是卷积核大小为3×3或者1×1的卷积，卷积间隔为1；另一种卷积核的大小为3×3，卷积步长2。

步骤6、如图3和图4所示，将灰度残差特征图和细粒度残差特征图输入到基本模块中：

步骤6.1、定义变量t，并初始化t＝1；

步骤6.2、将灰度残差特征图和细粒度残差特征图输入到第t个基本模块中，并经过步长为c₁的卷积核的卷积处理后得到第k个大小为a′×a′的S_t张灰度残差特征图R_t和大小为b′×b′的j×S_t张细粒度残差特征图H_t，其中，S_t表示第t个基本模块中卷积层滤波器数目；

步骤6.3、令t+1赋值给t，判断t＞q-1是否成立，若成立，则表示得到第q-1个基本模块输出的灰度残差特征图R_q-1和细粒度残差特征图H_q-1，并执行步骤6.4；否则，将R_t和H_t分别赋值给和后，执行步骤6.2；

步骤6.4、将第q-1个基本模块输出的灰度残差特征图R_q-1和细粒度残差特征图H_q-1输入到第q个基本模块中，并经过步长为“1”的卷积核的卷积处理后得到第q个基本模块输出的第k个大小为a′×a′的S_q张灰度残差特征图R_q和大小为b′×b′的j×S_q张细粒度残差特征图H_q，其中，S_q表示第q个基本模块中卷积层滤波器数目；

本实例选择相同大小的卷积核，不同的卷积步长，前四个基本模块的卷积步长为2，最后一个基本模块的卷积步长为1。

步骤7、如图5所示，将灰度残差特征图R_q和细粒度残差特征图H_q输入空间金字塔池模块中：

步骤7.1、定义临时变量α，并初始化α＝1；

步骤7.2、对于L级金字塔中任意第α级金字塔设有n_α×n_α个空间金字塔分层分网格数；

令第α级金字塔窗口大小为步长大小其中，表示取上限操作，表示取下限操作；

步骤7.3、将灰度残差特征图R_q和细粒度残差特征图H_q输入第α级金字塔，获得长度为n_α×n_α的第α个生成特征；

步骤7.4、令α+1赋值给α后，判断α＞L是否成立，若成立，则表示得到L个生成特征，否则，返回步骤7.2；

步骤7.5、将L个生成特征进行叠加，得到长度为K×M的一维输出特征；其中，K表示S_q和j×S_q之和；M表示L个生成特征的长度累加和，即

步骤8、将长度为K×M的一维输出特征输入到全连接层中，并经过softmax函数的处理，得到隐写概率，以隐写概率来判断相应输入多任务卷积神经网络的灰度图像是否为载密图像。

本实例使用三级金字塔池(4×4，2×2，1×1)，即空间金字塔分层分网格数为21(4×42×21×1)。对于给定大小的图像，我们预先计算出输出固定长度向量的大小.假设在基本模块之后有一个a×a(例如，32×32)大小特征映射。当池级为4×4时，将32×32特征映射划分为16个小块，即每个小块的大小为8×8。然后对每个8×8块进行GAP，得到16维特征向量。2×2和1×1的池级相似。最后得到一个(4×42×21×1)×k维向量，其中k是最后卷积层的滤波器数。

Claims (1)

1.一种基于细粒度图像的多任务卷积神经网络的图像隐写分析方法，其特征是按如下步骤进行：

步骤1、构建训练样本：

步骤1.1、获取灰度图像集Z＝{z_k|k＝1,2,…m}，其中，z_k表示第k张灰度图像；对所述k张灰度图像z_k进行剪裁，得到长×宽为a×a的剪裁后的灰度图像x_k，从而得到剪裁后的灰度图像集X＝{x_k|k＝1,2,...m}；

步骤1.2、对剪裁后的灰度图像集X中的每个灰度图像进行隐写加密处理，得到载密图像集Y＝{y_k|k＝1,2,...m}，其中，y_k表示对第k张剪裁后的灰度图像x_k进行隐写加密后的载密图像；

步骤1.3、采用基于谱残差的显著性检测算法对所述第k张剪裁后的灰度图像x_k进行定位剪裁，得到长×宽为b×b的细粒度图像集其中，表示对第k张剪裁后的灰度图像x_k进行定位剪裁后的第j张细粒度图像；

步骤1.4、根据所述第k张剪裁后的灰度图像x_k的细粒度图像集中每张细粒度图像依次对第k张载密图像y_k进行剪裁，从而得到剪裁后的载密图像集其中，表示根据第j张细粒度图像对第k张载密图像y_k进行剪裁后的载密图像；

步骤1.5、由所述细粒度图像集中每张细粒度图像依次与剪裁后的载密图像集中每张载密图像构成j+1对训练样本，其中，第j+1对训练样本为第j张细粒度图像和第j张剪裁后的载密图像；从而由m张剪裁后的灰度图像的细粒度图像集与其对应的剪裁后的载密图像集构成m×(j+1)对训练样本；

步骤2、构建多任务卷积神经网络，包括：一个输入模块、一个预处理模块、w个可分离卷积模块、q个基本模块、一个空间金字塔池模块以及全连接层；

步骤3、初始化多任务卷积神经网络：

以Relu作为激活函数，使用高通滤波器对所述预处理模块中的参数进行初始化，并使用Xavier初始化方法对w个可分离卷积模块和q个基本模块进行参数初始化；

步骤4、将所述第k张剪裁后的灰度图像x_k及其细粒度图像集并行输入到多任务神经网络中，并在所述预处理模块中加入选择通道，从而相应得到第k个大小为a×a的S₀张灰度残差特征图R和大小为b×b的j×S₀张细粒度残差特征图H，其中，S₀表示预处理模块中滤波器数目；

步骤5、将所述灰度残差特征图R和细粒度残差特征图H输入到可分离卷积模块：

步骤5.1、定义变量p，并初始化p＝1；

步骤5.2、将所述灰度残差特征图R和细粒度残差特征图H输入到第p个可分离卷积模块的第一层卷积层中得到第k个大小为a×a的张灰度残差特征图和大小为b×b的张细粒度残差特征图 表示第p个可分离卷积模块中第一层卷积层滤波器数目；

步骤5.3、将灰度残差特征图和细粒度残差特征图输入到第p个可分离卷积模块的第二层卷积层中得到第k个大小为a×a的张灰度残差特征图和大小为b×b的张细粒度残差特征图其中，表示第p个可分离卷积模块中第二层卷积层滤波器数目；

步骤5.4、令p+1赋值给p，判断p＞w是否成立，若成立，则表示得到第w个可分离卷积模块输出的具有空间和信道相关性的灰度残差特征图和细粒度残差特征图否则，将和分别赋值给R和H后，执行步骤5.2；

步骤6、将所述灰度残差特征图和细粒度残差特征图输入到基本模块中：

步骤6.1、定义变量t，并初始化t＝1；

步骤6.2、将灰度残差特征图和细粒度残差特征图输入到第t个基本模块中，并经过步长为c₁的卷积核的卷积处理后得到第k个大小为a′×a′的S_t张灰度残差特征图R_t和大小为b′×b′的j×S_t张细粒度残差特征图H_t，其中，S_t表示第t个基本模块中卷积层滤波器数目；

步骤6.3、令t+1赋值给t，判断t＞q-1是否成立，若成立，则表示得到第q-1个基本模块输出的灰度残差特征图R_q-1和细粒度残差特征图H_q-1，并执行步骤6.4；否则，将R_t和H_t分别赋值给和后，执行步骤6.2；

步骤6.4、将第q-1个基本模块输出的灰度残差特征图R_q-1和细粒度残差特征图H_q-1输入到第q个基本模块中，并经过步长为“1”的卷积核的卷积处理后得到第q个基本模块输出的第k个大小为a′×a′的S_q张灰度残差特征图R_q和大小为b′×b′的j×S_q张细粒度残差特征图H_q，其中，S_q表示第q个基本模块中卷积层滤波器数目；

步骤7、将所述灰度残差特征图R_q和细粒度残差特征图H_q输入空间金字塔池模块中：

步骤7.1、定义临时变量α，并初始化α＝1；

步骤7.2、对于L级金字塔中任意第α级金字塔设有n_α×n_α个空间金字塔分层分网格数；

令第α级金字塔窗口大小为步长大小其中，表示取上限操作，表示取下限操作；

步骤7.3、将所述灰度残差特征图R_q和细粒度残差特征图H_q输入第α级金字塔，获得长度为n_α×n_α的第α个生成特征；

步骤7.4、令α+1赋值给α后，判断α＞L是否成立，若成立，则表示得到L个生成特征，否则，返回步骤7.2；

步骤7.5、将所述L个生成特征进行叠加，得到长度为K×M的一维输出特征；其中，K表示S_q和j×S_q之和；M表示L个生成特征的长度累加和，即

步骤8、将所述长度为K×M的一维输出特征输入到全连接层中，并经过sofxmax函数的处理，得到隐写概率，以所述隐写概率来判断相应输入所述多任务卷积神经网络的灰度图像是否为载密图像。