CN111711821A - 基于深度学习的信息隐藏方法 - Google Patents

Abstract

基于深度学习的信息隐藏方法，涉及通讯安全技术的技术领域。包括如下步骤：训练一个评估网络；利用评估网络来训练编码器ε和解码器D；利用自然图像的概率分布

中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息。训练开始后，将待将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像；判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像。本发明能够达到普适性、高安全性和高可靠性，为下一代保密通信提供技术支持和有效保障。

Description

基于深度学习的信息隐藏方法

技术领域

本发明涉及通讯安全技术的技术领域，尤其涉及基于深度学习的信息隐藏方法的技术领域。

背景技术

随着数字通信技术在全球范围内快速发展，数字信息已成为一种重要的信息传输方式。借助计算机网络，人与人之间通信变得方便、快捷。在计算机网络的大环境下，数字信息传输在世界各个网络中，随即，这种便捷所带来风险也应运而生。互联网具有互联性、开放性以及连接形式多样性，使得通过互联网传输的数据信息很容易受到攻击或窃取，破坏了信息传输的安全性。与此同时，信息安全也成为人们日益关注的问题。

信息隐藏技术应运而生，它是在公开传输的信息中嵌入真正需要传递的信息，以公开信息为载体将隐藏信息传输出去。其原理就是利用人的感觉器官的局限性，以数字媒体作为载体，通过某种隐藏算法将秘密信息嵌入到载体中，并且不易被察觉，从而达到对传输信息保护的目的，增加了信息传输的安全性。因此有必要对信息隐藏技术进行进一步研究。

图像隐写的标准算法是HUGO(高度不可检测的steGO)，这是一种基于成本函数的算法，使用手工特征以衡量通过修改图像中特定位置的像素值而引入的失真。给定一组要嵌入的N比特，HUGO使用失真功能来识别可以修改的前N个像素，同时保证整个图像的总失真降至最低。

另一种方法是JSteg算法，该算法专门为JPEG图像隐写设计。JPEG压缩的工作原理是使用离散余弦变换将图像变换到频域并去除高频分量，从而减小图像文件的大小。JSteg使用相同的方法使之变换到频域，但是修改了频率系数的最低有效位。

现有图像隐写方案仅能做到最高承载每个像素0.4比特的有效载荷，且产生容易被检测到的噪声阴影；需要基于图像统计特征变化来判断是否存在隐藏信息；相对于信息隐藏技术的广泛应用，滞后的信息隐藏理论研究使得信息隐藏技术无法进一步发展，无法提供强有力的理论支撑。

发明内容

发明目的：

本发明提供了一种基于深度学习的信息隐藏方法，达到普适性、高安全性和高可靠性，为下一代保密通信提供技术支持和有效保障。

技术方案：基于深度学习的信息隐藏方法，包括如下步骤：

步骤S1：训练一个评估网络；

步骤S2：利用评估网络来训练编码器ε和解码器D；

步骤S3：利用自然图像的概率分布

中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息。

优选的是，本发明步骤S1训练一个评估网络，具体包括如下步骤：

S11：训练开始后，将待将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，作为宽度和高度填充矩阵；

S12：取训练序号i＝0，RGB通道载体图像Ci预编码为数据向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像Si；

S13：判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像，若为否，执行下一步，若为是，则取i＝i+1，重新执行步骤S12；

S14：判断是否达到训练次数，若为是，执行下一步，若为否，取i＝i+1，重新执行步骤S12。

优选的是，本发明步骤S2中的评估网络为：

为实现解码错误率p和自然图像与隐写图像间分布间的距离

最小化，训练一个评估网络C(·)来估计

令参数

以及

是两个宽度和高度相同的感知器，但深度可能是D和D′两个不相同值，然后

是沿深度轴方向的两个张量的级联；令

是将输入张量X映射到宽度和高度、深度可能不同的特征图Φ的卷积块；这个卷积块包含了一个内核大小为3，步幅为1，填充为“相同”的卷积层，其后是一个leaky ReLU激活函数以及批标准化；如果卷积块是网络中的最后一个块，则激活函数和批标准化操作可省略。

优选的是，本发明步骤S2中的训练编码器，具体包括如下步骤：

S21：编码器网络含有一张载体图像和秘密信息M∈{0，1}^D×W×H，M是一个形状为D×W×H的二进制数据张量，其中D是我们试图隐藏在载体图片每个像素中的比特数；

S22：使用卷积块处理载体图像C以获得张量a；

a＝Conv_3→32(C) (4.1)

将秘密信息M连接到张量a，然后用卷积块处理结果以获得新的张量b；

b＝Conv_32+D→32(Cat(a，M)) (4.2)；

S23：若编码器体系结构的变体模型为基础模型：我们依次将两个卷积块应用于新的张量b并生成隐写图像，表示为如下形式：

ε_b(C，M)＝Conv_32+D→21(Cat(a，M)) (4.3)

隐写图像只是最后一个卷积块的输出；

S24：若编码器体系结构的变体模型为残差模型：通过将载体图像C添加到其输出中来修改基本模型的编码器，以使编码器学习生成残差图像，表示为如下形式：

ε_r(C，M)＝C+ε_b(C，M) (4.4)；

S25：若编码器体系结构的变体模型为密集模型：使用密集连接将提高嵌入率，表示为如下形式：

S26：基础模型、残差模型、密集模型的输出是一个与载体图像C分辨率、和深度相同的隐写图像S＝ε_{b，r，d}(C，M)。

优选的是，本发明步骤S2中的解码器接收由编码器产生的隐写图像S，表示为如下形式：

解码器生成

试图恢复数据张量M。

优选的是，本发明步骤S2中的训练过程为：

为了优化编-解码器网络，我们联合优化三个损失：

①使用交叉熵损失的解码精度：

②均方误差下隐写图像与载体图像的相似度：

③判别网络隐写图像的真实性：

训练目标是使下式最小化

为训练判别网络，我们要使Wasserstein损失最小化

在每次迭代中，我们将每一个载体图像C与由伯努利分布M～Ber(0.5)采样随机生成D×W×H比特序列的数据张量M；在预处理流程中，对于载体图像C，应用了包括水平翻转和随机裁剪在内的标准数据增强程序；使用学习率为1e^-4的Adam优化器，剪裁梯度均方为0.25，剪裁判别系数为[-0.1，0.1]，训练32轮。

有益效果：本发明提出一种对抗训练方法以解决隐写任务，并能够承载每个像素4比特的有效载荷，比其他具有相同峰值信噪比的基于深度学习的隐写方案高10倍。采用了几种定量指标用以评估基于深度学习的隐写算法的能力，从而可以传统方案进行比较。通过使用传统用于检测图像是否存在隐写的隐写分析工具来评估本方案隐写性能。即使以大于每像素4比特的嵌入率将秘密信息嵌入载体图像时，仍然能得到传统隐写分析工具检测auROC低于0.6的结果。我们亦使用基于深度学习的隐写检测工具对方案进行评估。根据Ye最新提出的理论，我们使用方案模型生成的样本训练了一个自动化隐写分析模型。当我们要求模型生成检测率最高0.8auROC时，我们发现模型仍然可以隐藏最高每像素2比特秘密信息。提出了一套完整的基于深度学习的隐写方案，同时还有数据集以及用于基于深度学习的隐写技术的预训练模型。

附图说明

图1是本发明评估网络的流程图。

图2是本发明神经网络的结构图。

图3是本发明密集模型的接收器工作特性曲线图。

图4是本发明所使用的探测器在各种相对载荷和不同训练集大小下的性能数据示意图。

具体实施方式

基于深度学习的信息隐藏方法，包括如下步骤：

步骤S1：训练一个评估网络；

步骤S2：利用评估网络来训练编码器ε和解码器D；

步骤S3：利用自然图像的概率分布

中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息。

如图1所示，本发明步骤需要训练的评估网络，具体包括如下步骤：

S11：训练开始后，将待将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，作为宽度和高度填充矩阵；

S12：取训练序号i＝0，RGB通道载体图像Ci预编码为数据向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像Si；

S13：判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像，若为否，执行下一步，若为是，则取i＝i+1，重新执行步骤S12；

S14：判断是否达到训练次数，若为是，执行下一步，若为否，取i＝i+1，重新执行步骤S12。

简要来说，隐写技术仅需要两项操作：编码和解码。编码操作获取载体图像和二进制消息，并生成隐写图像。解码操作获取隐写图像并恢复二进制消息。下面具体介绍本发明所采用的网络模型，展示模型架构并描述训练过程。

一、变体模型设计

1、模型参数和符号

本发明用C和S分别表示宽度和高度相同的RGB通道载体图像和隐写图像，代表被隐藏在载体图像中的二进制信息。D代表相对载荷的上限，实际相对载荷是能可靠解码的比特数(1-2p)D，其中p∈[0，1]是错误率。

载体图像C是从所有自然图像的概率分布

中采样得到的。隐写图像S是由一个完成学习的编码器ε(C，M)生成的，秘密信息

是由一个完成学习的解码器D(S)提取得到的。优化的任务是通过一个给定的混合信息分布，来训练编码器ε和解码器D以使解码错误率p和自然图像与隐写图像间分布间的距离

最小化。因此，为了优化编码器和解码器，我们也需要训练一个评估网络C(·)来估计

令参数

以及

是两个宽度和高度相同的感知器，但深度可能是D和D′两个不相同值，然后

是沿深度轴方向的两个张量的级联。令

是将输入张量X映射到宽度和高度、深度可能不同的特征图Φ的卷积块。这个卷积块包含了一个内核大小为3，步幅为1，填充为“相同”的卷积层，其后是一个leaky ReLU激活函数以及批标准化。如果卷积块是网络中的最后一个块，则激活函数和批标准化操作可省略。

令

代表表示自适应平均空间池化操作，该操作计算张量X的每个特征图中的W×H的平均值。

2、模型体系结构

本发明展示了一种生成对抗网络HCSGAN用以在载体图像中隐藏任意位向量。我们预期的神经网络结构如图2所示，包括三个模块：

①一个编码器，用于获取载体图像和数据张量或信息并生成隐写图像；

②一个解码器，用以获取隐写图像并尝试恢复数据张量；

③一个判别网络，用以评估载体图像和隐写图像的质量。

2.1编码器

编码器网络含有一张载体图像和秘密信息M∈{0，1}^D×W×H。因此，M是一个形状为D×W×H的二进制数据张量，其中D是我们试图隐藏在载体图片每个像素中的比特数。

我们尝试了三种具有不同连接模式的编码器体系结构的变体模型。三种变体模型都采用如下操作开始：

(1)使用卷积块处理载体图像C以获得张量a；

a＝Conv_3→32(C) (4.1)

(2)将秘密信息M连接到张量a，然后用卷积块处理结果以获得新的张量b；

b＝Conv_32+D→32(Cat(a，M)) (4.2)

基础模型：我们依次将两个卷积块应用于新的张量b并生成隐写图像，如图2b所示，其可以表示为如下形式：

ε_b(C，M)＝Conv_32+D→21(Cat(a，M)) (4.3)

隐写图像只是最后一个卷积块的输出。

残差模型：残差连接的使用已被证明可以改善模型的稳定性和收敛性，因此我们假定使用残差连接可以提高隐写图像的质量。为此，我们通过将载体图像C添加到其输出中来修改基本模型的编码器，以使编码器学习生成如图2c所示的残差图像，其可以表示为如下形式：

ε_r(C，M)＝C+ε_b(C，M) (4.4)

密集模型：在密集模型变体中，我们尝试在卷积块之间引入了其他连接，以便将较早的块生成的特征图连接到由较后的块生成的特征图，如图2d所示。这种连通模式受到DenseNet结构的启发，该结构已被证明可以优化功能复用和缓解消失的梯度问题。因此，我们假定使用密集连接将提高嵌入率。它可以表示为如下形式：

最后，各种变体模型的输出是一个与载体图像C分辨率、和深度相同的隐写图像S＝ε_{b，r，d}(C，M)。

2.2解码器

解码器接收由编码器产生的隐写图像S。它可以表示为如下形式：

解码器生成

换而言之它试图恢复数据张量M。

2.3判别网络

为了提供有关编码器性能的反馈并生成更逼真的图像，我们引入了对抗性判别网络。判别网络由三个卷积块组成，后接一个具有一个输出通道的卷积层。为了生成标量分数，我们将自适应均值池应用于卷积层的输出。它可以表示为如下形式：

二、训练过程

我们迭代优化编-解码器网络和判别网络。为了优化编-解码器网络，我们联合优化三个损失：

①使用交叉熵损失的解码精度：

②均方误差下隐写图像与载体图像的相似度：

③判别网络隐写图像的真实性：

训练目标是使下式最小化

为训练判别网络，我们要使Wasserstein损失最小化

在每次迭代中，我们将每一个载体图像C与由伯努利分布M～Ber(0.5)采样随机生成D×W×H比特序列的数据张量M。除此以外，在预处理流程中，对于载体图像C，应用了包括水平翻转和随机裁剪在内的标准数据增强程序。本文使用了学习率为1e^-4的Adam优化器，剪裁梯度均方为0.25，剪裁判别系数为[-0.1，0.1]，训练32轮。

三、性能评估及分析

3.1数据集测试

本发明使用Div2k和COCO数据集对模型进行训练和测试。实验对象为第3节所述的三种模型变体，对其以六种不同深度D进行训练。数据深度D代表每像素的目标比特数，则随机生成的数据张量尺寸为DWH。

实验中，使用了Div2K和COCO数据集的创建者提议的默认训练/测试拆分方法，并且在表1中展示了该测试集的平均RS-BPP，PSNR和SSIM。我们的模型在GeForceGTX 1080的GPU上进行了培训。对于Div2K，每轮训练时间约为10分钟；对于COCO，则为2小时。

训练结束模型后，在保留的测试集上计算期望的准确率，并使用前文讨论的Reed-Solomon编码方案对其进行调整，以产生上文所述的每像素位指标，如表4.1所示。

表4.1各性能指标测试结果

实验结果如表4.1所示，每个指标都是根据训练过程中未对模型显示的保留图像测试集计算得出的。需要注意的是，相对载荷和图像质量之间不可避免地存在权衡取舍；假设我们已经在Pareto边界上，那么相对载荷的增加将导致相似度下降。可以观察到，模型的所有变体在COCO数据集上的表现都优于Div2K数据集。此现象可以归因于两个数据集内容类型的差异。Div2K数据集中的图像倾向于开阔的风景，而COCO数据集中的图像倾向于更加杂乱且包含多个对象，这种特性为本文所述的模型提供了更多的表面和纹理，从而可以成功地嵌入数据。

此外，还可以发现，密集变体在相对载荷和图像质量上均表现出最佳性能，残差变体排在第二位，其显示出可较好的图像质量，但相对载荷较低。基本版本在所有指标上的表现都最差，相对负载和图像质量得分比密集版本低15-25％。

最后，本文指出，尽管相对载荷增加了，但根据密集模型产生的载体图像和隐写图像之间的平均峰值信噪比所测得的图像相似性与Zhu中的相当^[33]。

3.2隐写图像检测

隐写技术通常还通过其抵御避隐写分析工具检测的能力对其进行评估。在本节中，我们将尝试使用两种开源的隐写分析算法，并评估模型生成不可检测的隐写图像的能力。

3.2.1基于统计的隐写分析

为了评估我们的方法对于这些技术进行抵御检测的有效性，我们从测试集中随机选择了1000个载体图像，使用数据深度为6的密集模型结构生成了相应的隐写图像，并使用stegExpose进行测试检查。密集模型的接收器工作特性曲线如图3所示。可以观察到StegExpose工具在ROC曲线值为0.59以下区域仅比随机猜测略微有效，即有效载荷最高为每像素4比特。这表明本文的模型可以成功抵御标准隐写分析工具，满足了成为可用隐写算法的最低要求。

3.2.2基于神经网络的隐写分析

在典型情况下，尝试检测隐写图像的一方可以知晓用于创建隐写图像的算法。而在我们的示例中，则是HCSGAN的实例，该实例由预训练的模型权重而非精确模型进行参数化。使用3.2.1节中的密集结构和COCO数据集，我们尝试通过以下实验设置来复制此方案：

1、我们用不同的随机数种子训练了N个HCSGAN架构实例；

2、对于每一个完成训练的模型中，都会生成一组1000个隐写图像；

3、拿出第N个模型生成的图像作为测试集，我们在增加剩余图像的子集上训练了隐写分析模型{1}，{1，2}，{1，2，3}，...，{1，2，3，...，N-1}；

4、将每个实验重复3次，并展示接收器工作曲线下的平均面积。

以上步骤模拟了一个现实的设置，创建自动检测模型的一方将无法接触到使用中的特定HCSGAN模型，但可能会使用到用于训练模型的软件。图4显示了本文所使用的探测器在各种相对载荷和不同训练集大小下的性能数据。

首先可以注意到，检测器性能即接收器工作特性曲线下面积(auROC)会随着我们增加图像中编码的每个像素的比特数而增加。此外，还需要强调的是，当我们增加用于训练HCSGAN模型的数量，ROC曲线下的面积没有明显的变化趋势。这表明外部人员将很难建立一个可以在不知道确切模型参数的情况下就能够检测HCSGAN所生成隐写图像的模型。

最后，我们将HCSGAN生成的图像的检测误差与三种最先进的隐写算法(WOW，S-UNIWARD和HILL)所生成的图像的检测误差进行比较。考虑到这些技术是在不同的数据集上评估的，因此结果仅是在特定数据集上可获得的实际相对载荷的近似估计。对于20％的固定检测错误率，我们发现WOW能够编码至多0.3bpp，S-UNIWARD能够编码至多0.4bpp，HILL能够编码至多0.5bpp，而HCSGAN能够编码高达2.0bpp。

Claims (6)

1.基于深度学习的信息隐藏方法，其特征在于包括如下步骤：

步骤S1：训练一个评估网络；

步骤S2：利用评估网络来训练编码器ε和解码器D；

步骤S3：利用自然图像的概率分布

中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息。

2.根据权利要求1所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S1训练一个评估网络，具体包括如下步骤：

S11：训练开始后，将待将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，作为宽度和高度填充矩阵；

S12：取训练序号i＝0，RGB通道载体图像Ci预编码为数据向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像Si；

S13：判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像，若为否，执行下一步，若为是，则取i＝i+1，重新执行步骤S12；

S14：判断是否达到训练次数，若为是，执行下一步，若为否，取i＝i+1，重新执行步骤S12。

3.根据权利要求1所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S2中的的评估网络为：

为实现解码错误率p和自然图像与隐写图像间分布间的距离

最小化，训练一个评估网络C(·)来估计

令参数

以及

是两个宽度和高度相同的感知器，但深度可能是D和D′两个不相同值，然后

是沿深度轴方向的两个张量的级联；令

是将输入张量X映射到宽度和高度、深度可能不同的特征图Φ的卷积块；这个卷积块包含了一个内核大小为3，步幅为1，填充为“相同”的卷积层，其后是一个leaky ReLU激活函数以及批标准化；如果卷积块是网络中的最后一个块，则激活函数和批标准化操作可省略。

4.根据权利要求3所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S2中的训练编码器，具体包括如下步骤：

S21：编码器网络含有一张载体图像和秘密信息M∈{0，1}^D×W×H，M是一个形状为D×W×H的二进制数据张量，其中D是我们试图隐藏在载体图片每个像素中的比特数；

S22：使用卷积块处理载体图像C以获得张量a；

a＝Conv_3→32(C) (4.1)

将秘密信息M连接到张量a，然后用卷积块处理结果以获得新的张量b；

b＝Conv_32+D→32(Cat(a，M)) (4.2)；

S23：若编码器体系结构的变体模型为基础模型：我们依次将两个卷积块应用于新的张量b并生成隐写图像，表示为如下形式：

ε_b(C，M)＝Conv_32+D→21(Cat(a，M)) (4.3)

隐写图像只是最后一个卷积块的输出；

S24：若编码器体系结构的变体模型为残差模型：通过将载体图像C添加到其输出中来修改基本模型的编码器，以使编码器学习生成残差图像，表示为如下形式：

ε_r(C，M)＝C+ε_b(C，M) (4.4)；

S25：若编码器体系结构的变体模型为密集模型：使用密集连接将提高嵌入率，表示为如下形式：

S26：基础模型、残差模型、密集模型的输出是一个与载体图像C分辨率、和深度相同的隐写图像S＝ε_{b，r，d}(C，M)。

5.根据权利要求3所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S2中的解码器接收由编码器产生的隐写图像S，表示为如下形式：

解码器生成

试图恢复数据张量M。

6.根据权利要求4或5所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S2中的训练过程为：

为了优化编-解码器网络，我们联合优化三个损失：

①使用交叉熵损失的解码精度：

②均方误差下隐写图像与载体图像的相似度：

③判别网络隐写图像的真实性：

训练目标是使下式最小化

为训练判别网络，我们要使Wasserstein损失最小化

在每次迭代中，我们将每一个载体图像C与由伯努利分布M～Ber(0.5)采样随机生成D×W×H比特序列的数据张量M；在预处理流程中，对于载体图像C，应用了包括水平翻转和随机裁剪在内的标准数据增强程序；使用学习率为1e^-4的Adam优化器，剪裁梯度均方为0.25，剪裁判别系数为[-0.1，0.1]，训练32轮。

Images