CN108717680B - 基于全稠密连接网络的空域图像隐写分析方法 - Google Patents

Abstract

本发明提供了一种基于全稠密连接网络的空域图像隐写分析方法。该方法包括：构建包括多个稠密连接块的全稠密连接网络，稠密连接块包括多组卷积层和一层平均池化层，相邻的稠密连接块相连，按照从低层到高层的顺序稠密连接块的网络宽度以2的指数倍增长；通过卷积操作获取待识别的空域图像的原始特征图，将原始特征图输入到全稠密连接网络，对原始特征图进行多层的卷积和池化操作，得到多维的特征向量；通过全连接层将多维的特征向量降维为2维的特征向量，将2维的特征向量输入softmax激活函数，得到空域图像是隐写图像还是普通图像的预测概率值。本发明可以促进更广泛的图像特征重用，强化了隐写的微弱信号在网络中的传播，提升了隐写分析的检测性能。

Description

基于全稠密连接网络的空域图像隐写分析方法

技术领域

本发明涉及数字图像信息隐藏与分析技术领域，尤其涉及一种基于全稠密连接网络的空域图像隐写分析方法。

背景技术

网络信息技术的发展促使数字媒体成为政治、军事、商业等机构以及个人传递信息的重要载体。与此同时，互联网中的数字通信容易受恶意干扰、非法窃听等活动的威胁。加密技术是主要的信息安全保护手段，但加密的缺点为加密后密文为乱码，容易引起攻击者的注意，从而导致通信被干扰或拦截。在这种背景下，信息安全不仅意味着保证传输信息过程中信息的内容安全，而且要隐藏信息传输过程的存在性。因此，隐写的出现顺应时势，得到了越来越多的关注。

隐写利用常见的数字媒体载体中存在的人类感知系统不敏感的冗余特性，将秘密信息嵌入到数字媒体载体中的冗余信息中，然后传输数字媒体载体，即实现了秘密信息的传输。除了通信双方以外，第三方基本察觉不到数字媒体载体中秘密信息的存在，从而可以有效防止恶意攻击，保证安全隐蔽地传输信息。随着网络时代的到来，大量的隐写算法被提出，且有一些已被开发成专业的隐写工具。

然而，技术是一把双刃剑，隐写在为人们提供可靠安全的通信手段的同时，也会被不法分子利用，近年来有关隐写被用于恐怖袭击、间谍、违法犯罪等新闻时有报道。恶意使用隐写已经造成对国家机密、军事情报以及个人隐私的信息安全的严重威胁。在这种情况下，如何监督隐写的使用，阻止非法应用隐写的行为，已经成为各国安全、商业等相关部门的迫切需求。隐写分析是保证隐写不被恶意使用的关键技术。隐写分析通过对载体的统计特性进行分析，判断给定载体中是否包含秘密信息。隐写分析的研究在防止机密信息泄露、维护互联网通信安全、打击恐怖主义等方面具有重要的研究价值。

数字图像具有易获取、易传输、冗余性大等特点，基于数字图像的隐写分析得到了更多的研究。目前，现有技术中的隐写分析方法包括：用二分类问题来处理隐写分析，处理步骤一般包括预处理、特征提取和分类器训练三个部分。其中，预处理主要是抑制图像内容本身带来的影响，特征提取过程是提取经人工设计的能够区分载体图像和载密图像的高阶统计量，分类器训练使用常用的机器学习算法。

上述现有技术中的隐写分析方法的缺点包括：依靠人工设计的特征的隐写分析对隐写分析者有很强的经验要求，而且特征参数的调节需要花费大量的时间精力。虽然基于人工设计特征的隐写分析已经取得了很大进步，但由于隐写研究的不断发展进步和隐写分析自身存在的困难，隐写分析正面临严峻的挑战，特别是近年来出现的内容自适应的隐写算法等先进的隐写算法，它们可以保持更复杂的邻域相关性等统计特性，使得隐写分析者必须考虑更复杂的图像统计特性，才能进行有效的检测。

发明内容

本发明的实施例提供了一种基于全稠密连接网络的空域图像隐写分析方法，以实现对空域图像进行有效的隐写分析。

为了实现上述目的，本发明采取了如下技术方案。

一种基于全稠密连接网络的空域图像隐写分析方法，包括：

构建全稠密连接网络，所述全稠密连接网络包括多个稠密连接块，每个稠密连接块包括多组卷积层和一层平均池化层，相邻的稠密连接块相连，后面的稠密连接块以相连的前一个的稠密连接块输出的特征图作为输入，按照从低层到高层的顺序稠密连接块的网络宽度以2的指数倍增长；

通过卷积操作获取待识别的空域图像的原始特征图，将所述原始特征图输入到所述全稠密连接网络，所述全稠密连接网络对所述原始特征图进行多层的卷积和池化操作，得到多维的特征向量；

通过全连接层将所述多维的特征向量降维为2维的特征向量，将所述2维的特征向量输入softmax激活函数，得到所述待识别的空域图像是隐写图像还是普通图像的预测概率值。

进一步地，所述的通过卷积操作获取待识别的空域图像的原始特征图之前，还包括：

使用高通滤波核对待识别的空域图像进行滤波处理，得到图像的残差图像，将残差图像传输给卷积部分；

所述残差图像的计算公式为式(1)所示。

R＝K*X (1)

其中X是输入的图像，K高通滤波核，*是卷积操作，R是卷积之后的得到的残差图像。

进一步地，所述高通滤波核为5×5高通滤波核KV，其形式如式(2)所示：

进一步地，所述的构建全稠密连接网络，所述全稠密连接网络包括多个稠密连接块，每个稠密连接块包括多组卷积层和一层平均池化层，相邻的稠密连接块相连，后面的稠密连接块以相连的前一个的稠密连接块输出的特征图作为输入，按照从低层到高层的顺序稠密连接块的网络宽度以2的指数倍增长，包括：

设置25层的卷积层，将所述卷积层分为第一层卷积层和全稠密连接部分，所述全稠密连接部分包含第一层卷积层以后的24层卷积层，分为4个稠密连接块：稠密连接块1、稠密连接块2、稠密连接块3和稠密连接块4，每个稠密连接块包含3组卷积层，每组卷积层包含一个1×1卷积层和一个3×3卷积层，稠密连接块1以第一层卷积层输出的特征图作为输入，稠密连接块2以稠密连接块1输出的特征图作为输入，稠密连接块3以稠密连接块2输出的特征图作为输入，稠密连接块4以稠密连接块3输出的特征图作为输入，稠密连接块1、稠密连接块2、稠密连接块3和稠密连接块4中每组卷积层输出的特征图数量依次为k₀、2k₀、4k₀和8k₀，k₀为设定的正整数，每个稠密连接块的最后都使用一层平均池化层对卷积得到结果进行降维处理。

进一步地，所述的通过卷积操作获取待识别的空域图像的原始特征图，包括：

将所述残差图像输入到所述第一层卷积层，所述第一层卷积层对所述残差图像进行卷积操作后，输出8个特征图；

所述卷积操作的形式如下式(3)所示：

其中f(x)表示非线性函数，

表示第l层输出的第j个特征图，

表示第l-1层输出的第i个特征图，

是连接特征图i和j的可学习的卷积核，

表示第l层输出的第j个特征图的可学习偏置参数，*表示卷积操作；

所述池化层中使用的池化函数的形式为式(5)所示：

其中R_i是特征图中第i个池化区域，α_j是R_i的第j个元素。

进一步地，所述的将所述原始特征图输入到所述全稠密连接网络，所述全稠密连接网络对所述原始特征图进行多层的卷积和池化操作，得到多维的特征向量，包括：

所述第一层卷积层中卷积核大小为5×5，卷积步长为1，输出特征图大小为256×256，数量为8，所述第一层卷积层后的平均池化层将所述第一层卷积层输出的特征图降维为128×128；

将第2-7层卷积层构成稠密连接块1，每相邻的两层卷积层为一组卷积层，每组卷积层的前一层卷积核大小为1×1，输出特征图数量为4k₀，后一层卷积核大小为3×3，输出特征图数量为k₀，稠密连接块1以第一层卷积层输出并经过池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第2-7层卷积输出的特征图大小都为128×128，第7层卷积后有一个平均池化层，池化窗口大小为5×5，池化步长为2，该平均池化层将前面所有层输出的特征图降维为64×64；

将第8-13层卷积层构成稠密连接块2，每相邻两层卷积层为一组卷积层，每组卷积层的前一层卷积核大小为1×1，输出特征图数量为8k₀，后一层卷积核大小为3×3，输出特征图数量为2k₀，稠密连接块2以稠密连接块1输出并池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第8-13层卷积输出的特征图大小都为64×64，第13层卷积后有一个平均池化层，池化窗口大小为5×5，池化步长为2，该平均池化层将前面所有层输出的特征图降维为32×32；

将第14-19层构成稠密连接块3，每相邻两层卷积层为一组卷积层，分别输出特征图数量为16k₀和4k₀，稠密连接块3以稠密连接块2输出并池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第14-19层卷积输出的特征图大小都为32×32，第19层卷积层后有一个平均池化层，池化窗口大小为5×5，池化步长为2，该平均池化层将前面所有层输出的特征图降维为16×16；

将第20-25层构成稠密连接块4，每相邻两层卷积层为一组卷积层，分别输出特征图数量为32k₀和8k₀，卷稠密连接块4以稠密连接块3输出并池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第20-25层卷积输出的特征图大小都为16×16，第25层卷积层后有一个全局平均池化层，池化窗口大小为16×16，池化步长为1，该平均池化层将前面所有层输出的特征图降维为1×1。通过全局池化，得到了一个548维的特征向量。

进一步地，所述的通过全连接层将所述多维的特征向量降维为2维的特征向量，将所述2维的特征向量输入softmax激活函数，得到所述待识别的空域图像是隐写图像还是普通图像的预测概率值，包括：

将所述稠密连接块4输出的548维的特征向量输入到全连接层，所述全连接层将所述548维的特征向量降维为2维的特征向量；

所述全连接层的表示形式为式(6)所示：

其中，

表示第l层全连接层第j个特征图，

表示第l-1层第i个特征图，

是连接特征图i和j的可学习的权值，

表示第l层第j个特征图的可学习偏置参数；

所述全连接层输出的2维的特征向量输入到softmax激活函数，所述softmax激活函数输出所述待识别的空域图像是隐写图像还是普通图像的预测概率值；

所述softmax激活函数的函数形式如公式(7)所示：

其中i＝1,2，表示分类类别有两类，x_i是神经元i的输入，y_i是输出的预测概率值。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法使用全稠密连接网络将网络中所有先前层(preceding)的输出连接起来作为后续层的输入，增加了后续层输入的多样性，将原始稠密连接网络中的固定的网络宽度改成以数字2的指数倍增长的网络宽度，可以促进更广泛的图像特征重用，这有利于增强隐写的微弱信号在网络中的传播，强化了隐写的微弱信号在网络中的传播，可以有效地提升隐写分析的检测性能。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于全稠密连接网络的空域图像隐写分析方法的实现原理示意图；

图2为本发明实施例提供的方法与SRM及TLU-CNN在检测3种隐写算法时的检测错误率随嵌入率的变化对比示意图，其中，(a)HILL；(b)WOW；(c)S-UNIWARD；

图3为本发明实施例提供的不同实验设置条件下训练时验证误差随着迭代次数的变化对比示意图，其中，(a)不同稠密连接块数及不同深度的网络对比；(b)不同初始网络宽度网络的对比。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

近年来，深度学习成为相关领域内的研究热点，深度学习是一个由多层的非线性结构单元组成的网络结构，通过优化训练自动学习得到数据的特征。借助深度学习的思想，隐写分析有了新的解决思路。利用深度学习中的自动学习的特点，自动挖掘数据的内在特征，降低对人的经验和精力的要求。

目前基于深度学习的空域图像隐写分析已经出现了一些工作，这些工作大都从图像预处理层面入手，使用浅层的网络结构(不超过10层)设计隐写分析方法。但网络结构探索则是深度学习研究的重要组成部分，网络的深度是网络构造必不可少的部分。然而，只加深网络层数，输入图像的信息或者梯度会随着多层网络的传输逐渐消失。稠密连接网络将同一块中所有层的输出连接起来作为后续层的输入，通过特征重用，增加了后续层输入的多样性，获取网络的特征表达能力。

本发明实施例以稠密连接网络为设计基础，提出一种基于全稠密连接网络的空域图像隐写分析方法，最终提升隐写分析的检测性能。为了促进更广泛的特征重用，达到提升隐写分析的检测性能，本发明实施例在原始稠密连接网络的基础上，进行了两个改进：

(1)建立全稠密连接网络。原始稠密连接网络中不同块之间有一个1×1卷积层和一个2×2的平均池化层作为转换层，起到降低特征维数的作用，为了更好地促进特征重用，本发明所提框架将原始稠密连接网络中块与块之间不相连改为每两层之间都相连，去掉转换层中的卷积层，只保留平均池化层，且平均池化层改为大小为5×5，步长(Stride)为2，得到全稠密连接网络，增强了特征的传播，有效防止过拟合。即使不同块之间的特征图尺寸不一样，降采样后也能组合连接(Concatenate)。

(2)使用以2的指数倍增长的网络宽度(Growth Rate)k，k＝2^mk₀，其中m＝0,1,...，k₀是初始块中网络的宽度。原始稠密连接网络中的网络宽度在不同的块中是相同的常量，每一卷积层都增加k个新的特征图，稠密连接网络中越深的网络层对高层次的特征依赖更明显，使用逐步增长的网络宽度，能够增加高层次特征比例，由此增加深层中与高层次特征相关联的那些特征的比例。

实施例一

本发明实施例提供的一种基于全稠密连接网络的空域图像隐写分析方法的实现原理示意图如图1所示，共包含三个部分，分别是预处理部分、卷积部分和分类部分。空域图像指的是图像的存储格式类型为bmp、tif等的位图(bitmap)，还有一类图像是经过JPEG压缩后存储为jpg格式的，称为变换域存储图像。这两种图像在电脑上的存储方式有区别。

1：预处理部分

预处理部分在网络中增加一个高通滤波层，使用高通滤波核对输入的待识别的图像进行滤波处理，得到图像的残差图像，将残差图像传输给卷积部分。其目的是抑制图像内容的影响，同时增强图像中的信噪比(SNR)，从而有助于网络学到更有效的特征。

残差图像的计算公式为式(1)所示。

R＝K*X (1)

其中X是输入的图像，K高通滤波核，*是卷积操作，R是卷积之后的得到的残差图像。

预处理部分使用的高通滤波核为常用的5×5高通滤波核KV，其形式如式(2)所示：

2：卷积部分

首先构建全稠密连接网络，全稠密连接网络包括多个稠密连接块，每个稠密连接块包括多组卷积层和一层平均池化层，相邻的稠密连接块相连，后面的稠密连接块以相连的前一个的稠密连接块输出的特征图作为输入，按照从低层到高层的顺序稠密连接块的网络宽度以2的指数倍增长。

通过卷积操作获取待识别的空域图像的原始特征图，将所述原始特征图输入到所述全稠密连接网络，所述全稠密连接网络对所述原始特征图进行多层的卷积和池化操作，得到多维的特征向量。

卷积部分包含25层卷积，分为两个部分，第一部分是第一层卷积层，它以预处理层输出的残差图像作为输入，输出8个特征图，其作用相当于特征提取器。

卷积层的操作方式如下式(3)所示：

其中f(x)表示非线性函数，主要有TanH，Sigmoid，ReLU，它们的函数形式为式(4)所示：

表示第l层输出的第j个特征图，

表示第l-1层输出的第i个特征图，

是连接特征图i和j的可学习的卷积核，

表示第l层输出的第j个特征图的可学习偏置参数，*表示卷积操作。第一层的l-1层为输入的残差图像，预处理层的l-1层为输入的原始图像。

所述平均池化层使用的池化函数的形式为式(5)所示：

其中R_i是特征图中第i个池化区域，α_j是R_i的第j个元素。

卷积部分的第二个部分是全稠密连接部分，全稠密连接部分包含第一层卷积层以后的24层卷积层，分为4个稠密连接块：稠密连接块1、稠密连接块2、稠密连接块3和稠密连接块4。每个稠密连接块包含3组卷积层，每组卷积层包含一个1×1卷积层和一个3×3卷积层，1×1卷积层输出的特征图数量为4k，3×3卷积层输出的特征图数量为k。稠密连接块1以第一层卷积的输出作为输入，稠密连接块1中每组卷积层输出的特征图数量都为k₀，本发明中使用的k₀＝12，也就是说稠密连接块1中每组卷积输出的特征图数量为12，因此，稠密连接块1总共输出特征图数量为8+12×3＝44。

稠密连接块2以稠密连接块1的44个输出特征图作为输入，稠密连接块2中每组卷积输出的特征图数量为2k₀，也就是24，因此稠密连接块2的总输出的特征图数量为44+24×3＝116；稠密连接块3以稠密连接块2的116个输出特征图作为输入，稠密连接块3中每组卷积层输出的特征图数量为4k₀，也就是48，因此稠密连接块3的总输出的特征图数量为116+48×3＝260；稠密连接块4以稠密连接块3的260个输出特征图作为输入，稠密连接块4中每组卷积层输出的特征图数量为8k₀，也就是96，因此稠密连接块4的总输出的特征图数量为260+96×3＝548。每个卷积层后面都使用了BN(Batch Normalization，批量归一化层)层。

3：分类部分

分类部分包含一个全连接层和一个softmax层。通过全连接层将所述多维的特征向量降维为2维的特征向量，将所述2维的特征向量输入softmax激活函数，得到所述待识别的空域图像是隐写图像还是普通图像的预测概率值。

分类部分的作用是将卷积部分输出的特征图首先传入全连接层，然后使用softmax激活函数输出上述待识别图像是隐写图像还是普通图像的预测概率值。

全连接层的表示形式为式(6)所示：

其中，

表示第l层全连接层第j个特征图，

表示第l-1层第i个特征图，

是连接特征图i和j的可学习的权值，

表示第l层第j个特征图的可学习偏置参数。在本发明中，公式(6)是一个通用的公式，j维是一个可以设置的参数，在本发明中j＝2，全连接层以稠密连接块4的所有输出特征图作为输入，输出一个二维的向量。然后，全连接层的输出被输入softmax激活函数产生分类标签，隐写分析用到的是2路softmax，它的函数形式如公式(7)所示：

其中i＝1,2，表示分类类别有两类。x_i是神经元i的输入，y_i是输出的预测概率。

softmax为一种分类激活函数，在机器学习中，目前在分类中，softmax的使用最为广泛。

网络的训练过程使用的是反向传播算法，需要最小化的目标损失函数为softmax-loss，其形式如下式(8)所示：

loss＝-logy_i (8)

其中i＝1,2。

目标损失函数是自己定义的并且在训练过程中需要最优化的函数，根据网络输出的预测概率值计算得到网络的预测损失，损失越小，预测越准确，网络的训练过程就是不断减小损失的过程。

表1为基于全稠密连接网络的CNN隐写分析框架细节，表中“Conv”表示“Conv-BN-ReLU”三个连续操作

上述表1的详细流程为：

首先将一个尺寸为256×256大小的图像输入到网络中，经过预处理得到与输入相同大小的残差图像。第一层卷积层以残差图像作为输入，卷积核大小为5×5，卷积步长为1，输出特征图大小为256×256，数量为8。跟随第一层卷积层有一个平均池化层，池化窗口大小为5×5，池化步长为2，将第一层卷积层输出的特征图降维为128×128。第2-7层卷积属于稠密连接块1，第2层和第3层为一组，第4层和第5层为一组，第6层和第7层为一组，每组的前一层卷积核大小为1×1，输出特征图数量为4k，后一层卷积核大小为3×3，输出特征图数量为k。在稠密连接块1中，k＝k₀＝12。稠密连接块1以第一层卷积层输出并池化后的特征图作为输入，以后每一层都以前一层的输出作为输入。第2-7层卷积输出的特征图大小都为128×128，第7层卷积后有一个平均池化层，池化窗口大小为5×5，池化步长为2，将前面所有层输出的特征图降维为64×64。类似地，第8-13层属于第2个稠密连接块，每相邻两层为一组，输出特征图数量为4k和k。稠密连接块2中k＝24，卷积输出的特征图大小都为64×64，第13层卷积后有一个平均池化层，池化窗口大小为5×5，池化步长为2，将前面所有层输出的特征图降维为32×32。第14-19层属于第3个稠密连接块，每相邻两层为一组，输出特征图数量为4k和k。稠密连接块3中k＝48，卷积输出的特征图大小都为32×32，第19层卷积后有一个平均池化层，池化窗口大小为5×5，池化步长为2，将前面所有层输出的特征图降维为16×16。第20-25层属于第4个稠密连接块，每相邻两层为一组，输出特征图数量为4k和k。稠密连接块4中k＝96，卷积输出的特征图大小都为16×16，第25层卷积后有一个全局平均池化层，池化窗口大小为16×16，池化步长为1，将前面所有层输出的特征图降维为1×1。通过全局池化，得到了一个548维的特征向量。

然后，将上述548维的特征向量输入全连接层，得到2维的特征向量，最后通过softmax输出每类的预测概率值(介于0和1之间)。训练时使用softmax-loss函数计算损失值，然后使用反向传播算法更新参数。

实施例二

本发明实施例提供的基于全稠密连接网络的空域图像隐写分析方法的使用包括几个步骤：安装实验环境、准备实验数据、训练网络模型和测试待检测对象。

安装实验环境的步骤是在英伟达GPU上安装改动的Caffe toolbox。

准备实验数据的步骤是首先获取原始载体图像数据集，本发明中使用的数据集为标准库BossBase.10.1版，它包括10000张未压缩的原始图像(PGM格式)，由七个相机拍摄导出RAW格式，然后转成8位灰度图，再将灰度图截取成512×512大小。数据集中图像内容涵盖了物品、建筑、风景、人物、动物、生活等不同场景。在图片纹理特性上，数据库中既包括纹理较复杂的图像，也含有平滑区域较多的图像。在此基础上，考虑到计算能力和训练速度，同时为了提高模型的泛化能力、防止训练过程中的过拟合情况，对原始数据集进行了修改，在每个图的左上角、左下角、右上角、右下角和中心分别截取大小为256×256的图像块，形成50000张大小的图像库。与原图对应的隐写图像将由现有隐写方法的MATLAB仿真代码嵌入得到，总共是载体/载密图像50000对。实验用到的自适应隐写算法有HILL、WOW和S-UNIWARD，嵌入率为0.05bpp、0.1bpp、0.2bpp、0.3bpp、0.4bpp和0.5bpp共六个嵌入率。所有数据被随机地分成两份，比例为4:1，

训练网络模型的步骤为：首先将设计好的需要训练的网络形成prototxt文件，并设置各项训练参数，实验使用mini-batch SGD训练卷积神经网络，动量参数设置为0.9，权重衰减参数0.0005。初始学习率0.001，每5000次迭代减少10％，训练时mini-batch数量是32(16对)，测试时的mini-batch是10(5对)，所有的实验最大训练迭代次数是480000。卷积层的权值初始化方式是均值为零和方差服从式(7)的高斯分布。

其中w_i,j表示连接两个特征图的权值，c_l当前层的输入通道数量。偏置值初始化为0，且在卷积层中不使用，在BN层中恢复。最后一层的全连接层初始方式是“Xavier”。除了全连接层，其他层都不使用权重衰减。

然后将准备好的图像数据按照4:1的比例分成训练数据和测试数据，40000对数据用来做训练，10000对数据用来做测试。训练数据集中又随机选取1/5的数据作为验证集。最后将训练数据输入网络进行训练，并在训练过程中保存训练好的模型。

评价方法有效性的标准为测试集上最小的检测错误率，它包含虚警率(FalseAlarmed Rate)P_FA和漏检率(Miss Detected Rate)P_MD，检测错误率越低，说明检测使用的方法性能越好。检测错误率定义如下式(8)：

测试待检测对象的步骤为：选取训练时验证误差最小的模型测试给定的待检测对象，得到最终的测试准确率。

为了有效说明本发明的性能，下面利用附图和表格数据对实验结果进行展示和分析，以此证明本发明具有优良的性能。

本发明将所提方法与传统基于人工设计的空域富模型SRM[10]以及基于深度学习的方法TLU-CNN[91]进行了比较，实验结果见表2。

表2不同方法检测6种不同嵌入率下隐写方法的性能对比，检测指标为检测错误率(P_E)

本发明的实验针对不同算法在不同嵌入率下分别训练单个CNN模型，使用迁移学习训练低嵌入率下的检测模型，0.05bpp和0.1bpp嵌入率下的模型训练是在0.4bpp嵌入率下训练的模型上进行微调，其余嵌入率下都是直接训练CNN模型。每5000次迭代保存一次中间模型结果，测试时选取保存的验证误差最小的模型进行测试，得到表中的检测误差。考虑计算条件限制及计算时间，在提取传统隐写分析特征时只使用了从中心截取的大小为256×256的图像块共10000张进行实验。从表2中实验结果可以看出，针对典型的空域图像隐写算法进行检测时，所提出的方法相比传统方法SRM都有相应的性能提升。对比基于深度学习的方法TLU-CNN时，所提方法检测HILL算法和S-UNIWARD算法的性能超越了TLU-CNN；检测WOW算法时性能相当，在高嵌入率情况下有所超越。

为了更好地突出实验结果对比，图2展示了检测错误率随嵌入率的变化示意图，可以看到，检测三种典型算法时，所提方法的检测性能总是优于SRM。

本发明的方法在探索所提网络结构各部分的作用时，进行了不同的尝试，总结如下：

1：探索稠密连接块数量的影响，在固定每个稠密连接块的卷积组数及网络宽度的情况下，在所提网络上减少或者增加一个稠密连接块。

2：探索稠密连接块中卷积层组(一个1×1卷积层和一个3×3卷积层)数量对网络性能的影响，改变每个稠密连接块中卷积组的数量，其余设置不变

3：探索初始网络宽度k₀的影响，令k₀＝4,8,24,32，其余设置相同。

下述表3列出了不同实验的名称和在验证集上的错误率(P_E)，包括不同实验设置下对嵌入率为0.4bpp下的S-UNIWARD训练时验证误差。

表3

每一项修改都是以所提网络作为基线网络(Baseline)控制其他变量而做出的修改。实验针对的检测算法为0.4bpp嵌入率下的S-UNIWARD算法。由表中实验观察可知，无论是增加稠密连接块的个数，还是增加块中卷积的层数，实质上都是训练更深的网络。事实上对比拥有3个稠密连接块和4个稠密连接块的网络可以看到适当增加深度有利于提升网络性能，但是增加深度过大过拟合现象严重，验证误差不升反降。所以说网络深度对性能的影响很大。而网络宽度的初始值选取对网络性能也有一定影响，但是总体差别不大，选择太小的初始网络宽度性能不够，太大的容易产生计算资源浪费，拖慢收敛速度，因此根据实验，所提方法选择了与原始稠密连接网络中提供的固定常量k＝12相同的初始网络宽度。

图3在是不同实验设置条件下训练时验证误差随着迭代次数的变化示意图，图3的(a)是基线网络与拥有不同稠密连接块数及不同深度的网络对比，图3的(b)是基线网络与使用不同初始网络宽度的对比曲线。从图3可以看出，图中黑色基线网络的验证误差随着迭代次数逐渐下降，性能最好。随着训练次数的增加，网络越深、过拟合的可能性越大，63层的网络在验证集上的误差在40000次迭代以后就停止下降，然后开始上升，因此训练时进行了早停。相同的情况出现在了47层的网络中，只不过过拟合出现得更晚。拥有3个稠密连接块和5个稠密连接块的网络收敛速度不一，但是结果趋于一致，性能不如基线网络，训练后期有过拟合倾向。如图3(b)所示，使用不同初始网络宽度的网络在收敛速度上有所区别，初始网络宽度越小，收敛速度越快。初始网络宽度越大，出现过拟合的倾向越早。

综上所述，本发明实施例的方法基于深度学习设计全稠密连接网络，将网络中所有先前层的输出连接起来作为后续层的输入，增加了后续层输入的多样性，将原始稠密连接网络中的固定的网络宽度改成以数字2的指数倍增长的网络宽度，使层学习到的所有特征能被后续层使用，由此增加深层网络中与高层次的特征相关联的那些特征的比例，可以促进更广泛的图像特征重用，这有利于增强隐写的微弱信号在网络中的传播，减少信息丢失和缓解训练过程中的梯度消失等问题，有效防止过拟合。该方法融合了实体映射、深度监督和多样性深度等重要特点，缓和了梯度消失的问题，强化了隐写的微弱信号在网络中的传播，可以有效地提升隐写分析的检测性能。

基于全稠密连接网络本发明训练了更深的25层网络。对比传统隐写分析方法以及其他基于深度学习的隐写分析方法，所提方法检测性能有所提升。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于全稠密连接网络的空域图像隐写分析方法，其特征在于，包括：

构建全稠密连接网络，所述全稠密连接网络包括多个稠密连接块，每个稠密连接块包括多组卷积层和一层平均池化层，相邻的稠密连接块相连，后面的稠密连接块以相连的前一个的稠密连接块输出的特征图作为输入，按照从低层到高层的顺序稠密连接块的网络宽度以2的指数倍增长；

通过卷积操作获取待识别的空域图像的原始特征图，将所述原始特征图输入到所述全稠密连接网络，所述全稠密连接网络对所述原始特征图进行多层的卷积和池化操作，得到多维的特征向量；

通过全连接层将所述多维的特征向量降维为2维的特征向量，将所述2维的特征向量输入softmax激活函数，得到所述待识别的空域图像是隐写图像还是普通图像的预测概率值；

所述的构建全稠密连接网络，所述全稠密连接网络包括多个稠密连接块，每个稠密连接块包括多组卷积层和一层平均池化层，相邻的稠密连接块相连，后面的稠密连接块以相连的前一个的稠密连接块输出的特征图作为输入，按照从低层到高层的顺序稠密连接块的网络宽度以2的指数倍增长，包括：

设置25层的卷积层，将所述卷积层分为第一层卷积层和全稠密连接部分，所述全稠密连接部分包含第一层卷积层以后的24层卷积层，分为4个稠密连接块：稠密连接块1、稠密连接块2、稠密连接块3和稠密连接块4，每个稠密连接块包含3组卷积层，每组卷积层包含一个1×1卷积层和一个3×3卷积层，稠密连接块1以第一层卷积层输出的特征图作为输入，稠密连接块2以稠密连接块1输出的特征图作为输入，稠密连接块3以稠密连接块2输出的特征图作为输入，稠密连接块4以稠密连接块3输出的特征图作为输入，稠密连接块1、稠密连接块2、稠密连接块3和稠密连接块4中每组卷积层输出的特征图数量依次为k₀、2k₀、4k₀和8k₀，k₀为设定的正整数，每个稠密连接块的最后都使用一层平均池化层对卷积得到结果进行降维处理；

所述的通过卷积操作获取待识别的空域图像的原始特征图，包括：

将残差图像输入到所述第一层卷积层，所述第一层卷积层对所述残差图像进行卷积操作后，输出8个特征图；

所述卷积操作的形式如下式(3)所示：

其中f(x)表示非线性函数，

表示第l层输出的第j个特征图，

表示第l-1层输出的第i个特征图，

是连接特征图i和j的可学习的卷积核，

表示第l层输出的第j个特征图的可学习偏置参数，*表示卷积操作；

所述池化层中使用的池化函数的形式为式(5)所示：

其中R_i是特征图中第i个池化区域，α_j是R_i的第j个元素；

所述的将所述原始特征图输入到所述全稠密连接网络，所述全稠密连接网络对所述原始特征图进行多层的卷积和池化操作，得到多维的特征向量，包括：

所述第一层卷积层中卷积核大小为5×5，卷积步长为1，输出特征图大小为256×256，数量为8，所述第一层卷积层后的平均池化层将所述第一层卷积层输出的特征图降维为128×128；

将第2-7层卷积层构成稠密连接块1，每相邻的两层卷积层为一组卷积层，每组卷积层的前一层卷积核大小为1×1，输出特征图数量为4k₀，后一层卷积核大小为3×3，输出特征图数量为k₀，稠密连接块1以第一层卷积层输出并经过池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第2-7层卷积输出的特征图大小都为128×128，第7层卷积后有一个平均池化层，池化窗口大小为5×5，池化步长为2，该平均池化层将前面所有层输出的特征图降维为64×64；

将第8-13层卷积层构成稠密连接块2，每相邻两层卷积层为一组卷积层，每组卷积层的前一层卷积核大小为1×1，输出特征图数量为8k₀，后一层卷积核大小为3×3，输出特征图数量为2k₀，稠密连接块2以稠密连接块1输出并池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第8-13层卷积输出的特征图大小都为64×64，第13层卷积后有一个平均池化层，池化窗口大小为5×5，池化步长为2，该平均池化层将前面所有层输出的特征图降维为32×32；

将第14-19层构成稠密连接块3，每相邻两层卷积层为一组卷积层，分别输出特征图数量为16k₀和4k₀，稠密连接块3以稠密连接块2输出并池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第14-19层卷积输出的特征图大小都为32×32，第19层卷积层后有一个平均池化层，池化窗口大小为5×5，池化步长为2，该平均池化层将前面所有层输出的特征图降维为16×16；

将第20-25层构成稠密连接块4，每相邻两层卷积层为一组卷积层，分别输出特征图数量为32k₀和8k₀，卷稠密连接块4以稠密连接块3输出并池化后的特征图作为输入，以后每一层都以前一层输出的特征图作为输入，第20-25层卷积输出的特征图大小都为16×16，第25层卷积层后有一个全局平均池化层，池化窗口大小为16×16，池化步长为1，该全局平均池化层将前面所有层输出的特征图降维为1×1，得到了一个548维的特征向量。

2.根据权利要求1所述的方法，其特征在于，所述的通过卷积操作获取待识别的空域图像的原始特征图之前，还包括：

使用高通滤波核对待识别的空域图像进行滤波处理，得到图像的残差图像，将残差图像传输给卷积部分；

所述残差图像的计算公式为式(1)所示：

R＝K*X (1)

其中X是输入的图像，K高通滤波核，*是卷积操作，R是卷积之后的得到的残差图像。

3.根据权利要求2所述的方法，其特征在于，所述高通滤波核为5×5高通滤波核KV，其形式如式(2)所示：

4.根据权利要求1所述的方法，其特征在于，所述的通过全连接层将所述多维的特征向量降维为2维的特征向量，将所述2维的特征向量输入softmax激活函数，得到所述待识别的空域图像是隐写图像还是普通图像的预测概率值，包括：

将所述稠密连接块4输出的548维的特征向量输入到全连接层，所述全连接层将所述548维的特征向量降维为2维的特征向量；

所述全连接层的表示形式为式(6)所示：

其中，

表示第l层全连接层第j个特征图，

表示第l-1层第i个特征图，

是连接特征图i和j的可学习的权值，

表示第l层第j个特征图的可学习偏置参数；

所述全连接层输出的2维的特征向量输入到softmax激活函数，所述softmax激活函数输出所述待识别的空域图像是隐写图像还是普通图像的预测概率值；

所述softmax激活函数的函数形式如公式(7)所示：

其中i＝1,2，表示分类类别有两类，x_i是神经元i的输入，y_i是输出的预测概率值。

Images