CN111711821B - 基于深度学习的信息隐藏方法 - Google Patents

基于深度学习的信息隐藏方法 Download PDF

Info

Publication number
CN111711821B
CN111711821B CN202010545261.7A CN202010545261A CN111711821B CN 111711821 B CN111711821 B CN 111711821B CN 202010545261 A CN202010545261 A CN 202010545261A CN 111711821 B CN111711821 B CN 111711821B
Authority
CN
China
Prior art keywords
image
steganographic
encoder
training
carrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010545261.7A
Other languages
English (en)
Other versions
CN111711821A (zh
Inventor
曹寅
潘子宇
赵扶坤
陈静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202010545261.7A priority Critical patent/CN111711821B/zh
Publication of CN111711821A publication Critical patent/CN111711821A/zh
Application granted granted Critical
Publication of CN111711821B publication Critical patent/CN111711821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

基于深度学习的信息隐藏方法，涉及通讯安全技术的技术领域。包括如下步骤：训练一个评估网络；利用评估网络来训练编码器ε和解码器D；利用自然图像的概率分布
Figure DDA0002538660280000011
中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息。训练开始后，将待将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像；判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像。本发明能够达到普适性、高安全性和高可靠性，为下一代保密通信提供技术支持和有效保障。

Description

基于深度学习的信息隐藏方法
技术领域
本发明涉及通讯安全技术的技术领域，尤其涉及基于深度学习的信息隐藏方法的技术领域。
背景技术
随着数字通信技术在全球范围内快速发展，数字信息已成为一种重要的信息传输方式。借助计算机网络，人与人之间通信变得方便、快捷。在计算机网络的大环境下，数字信息传输在世界各个网络中，随即，这种便捷所带来风险也应运而生。互联网具有互联性、开放性以及连接形式多样性，使得通过互联网传输的数据信息很容易受到攻击或窃取，破坏了信息传输的安全性。与此同时，信息安全也成为人们日益关注的问题。
信息隐藏技术应运而生，它是在公开传输的信息中嵌入真正需要传递的信息，以公开信息为载体将隐藏信息传输出去。其原理就是利用人的感觉器官的局限性，以数字媒体作为载体，通过某种隐藏算法将秘密信息嵌入到载体中，并且不易被察觉，从而达到对传输信息保护的目的，增加了信息传输的安全性。因此有必要对信息隐藏技术进行进一步研究。
图像隐写的标准算法是HUGO(高度不可检测的steGO)，这是一种基于成本函数的算法，使用手工特征以衡量通过修改图像中特定位置的像素值而引入的失真。给定一组要嵌入的N比特，HUGO使用失真功能来识别可以修改的前N个像素，同时保证整个图像的总失真降至最低。
另一种方法是JSteg算法，该算法专门为JPEG图像隐写设计。JPEG压缩的工作原理是使用离散余弦变换将图像变换到频域并去除高频分量，从而减小图像文件的大小。JSteg使用相同的方法使之变换到频域，但是修改了频率系数的最低有效位。
现有图像隐写方案仅能做到最高承载每个像素0.4比特的有效载荷，且产生容易被检测到的噪声阴影；需要基于图像统计特征变化来判断是否存在隐藏信息；相对于信息隐藏技术的广泛应用，滞后的信息隐藏理论研究使得信息隐藏技术无法进一步发展，无法提供强有力的理论支撑。
发明内容
发明目的：
本发明提供了一种基于深度学习的信息隐藏方法，达到普适性、高安全性和高可靠性，为下一代保密通信提供技术支持和有效保障。
技术方案：基于深度学习的信息隐藏方法，包括如下步骤：
步骤S1：训练一个评估网络；
步骤S2：利用评估网络来训练编码器ε和解码器D；
步骤S3：利用自然图像的概率分布
Figure BDA0002538660260000029
中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息。
优选的是，本发明步骤S1训练一个评估网络，具体包括如下步骤：
S11：训练开始后，将待将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，作为宽度和高度填充矩阵；
S12：取训练序号i＝0，RGB通道载体图像Ci预编码为数据向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像Si；
S13：判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像，若为否，执行下一步，若为是，则取i＝i+1，重新执行步骤S12；
S14：判断是否达到训练次数，若为是，执行下一步，若为否，取i＝i+1，重新执行步骤S12。
优选的是，本发明步骤S2中的评估网络为：
为实现解码错误率p和自然图像与隐写图像间分布间的距离
Figure BDA0002538660260000021
最小化，训练一个评估网络C(·)来估计
Figure BDA0002538660260000022
令参数
Figure BDA0002538660260000023
以及
Figure BDA0002538660260000024
是两个宽度和高度相同的感知器，但深度可能是D和D′两个不相同值，然后
Figure BDA0002538660260000025
Figure BDA0002538660260000026
是沿深度轴方向的两个张量的级联；令
Figure BDA0002538660260000027
Figure BDA0002538660260000028
是将输入张量X映射到宽度和高度、深度可能不同的特征图Φ的卷积块；这个卷积块包含了一个内核大小为3，步幅为1，填充为“相同”的卷积层，其后是一个leaky ReLU激活函数以及批标准化；如果卷积块是网络中的最后一个块，则激活函数和批标准化操作可省略。
优选的是，本发明步骤S2中的训练编码器，具体包括如下步骤：
S21：编码器网络含有一张载体图像和秘密信息M∈{0，1}D×W×H，M是一个形状为D×W×H的二进制数据张量，其中D是我们试图隐藏在载体图片每个像素中的比特数；
S22：使用卷积块处理载体图像C以获得张量a；
a＝Conv3→32(C) (4.1)
将秘密信息M连接到张量a，然后用卷积块处理结果以获得新的张量b；
b＝Conv32+D→32(Cat(a，M)) (4.2)；
S23：若编码器体系结构的变体模型为基础模型：我们依次将两个卷积块应用于新的张量b并生成隐写图像，表示为如下形式：
εb(C，M)＝Conv32+D→21(Cat(a，M)) (4.3)
隐写图像只是最后一个卷积块的输出；
S24：若编码器体系结构的变体模型为残差模型：通过将载体图像C添加到其输出中来修改基本模型的编码器，以使编码器学习生成残差图像，表示为如下形式：
εr(C，M)＝C+εb(C，M) (4.4)；
S25：若编码器体系结构的变体模型为密集模型：使用密集连接将提高嵌入率，表示为如下形式：
Figure BDA0002538660260000031
S26：基础模型、残差模型、密集模型的输出是一个与载体图像C分辨率、和深度相同的隐写图像S＝ε{b，r，d}(C，M)。
优选的是，本发明步骤S2中的解码器接收由编码器产生的隐写图像S，表示为如下形式：
Figure BDA0002538660260000032
解码器生成
Figure BDA0002538660260000033
试图恢复数据张量M。
优选的是，本发明步骤S2中的训练过程为：
为了优化编-解码器网络，我们联合优化三个损失：
①使用交叉熵损失的解码精度：
Figure BDA0002538660260000041
②均方误差下隐写图像与载体图像的相似度：
Figure BDA0002538660260000042
③判别网络隐写图像的真实性：
Figure BDA0002538660260000043
训练目标是使下式最小化
Figure BDA0002538660260000044
为训练判别网络，我们要使Wasserstein损失最小化
Figure BDA0002538660260000045
在每次迭代中，我们将每一个载体图像C与由伯努利分布M～Ber(0.5)采样随机生成D×W×H比特序列的数据张量M；在预处理流程中，对于载体图像C，应用了包括水平翻转和随机裁剪在内的标准数据增强程序；使用学习率为1e-4的Adam优化器，剪裁梯度均方为0.25，剪裁判别系数为[-0.1，0.1]，训练32轮。
有益效果：本发明提出一种对抗训练方法以解决隐写任务，并能够承载每个像素4比特的有效载荷，比其他具有相同峰值信噪比的基于深度学习的隐写方案高10倍。采用了几种定量指标用以评估基于深度学习的隐写算法的能力，从而可以传统方案进行比较。通过使用传统用于检测图像是否存在隐写的隐写分析工具来评估本方案隐写性能。即使以大于每像素4比特的嵌入率将秘密信息嵌入载体图像时，仍然能得到传统隐写分析工具检测auROC低于0.6的结果。我们亦使用基于深度学习的隐写检测工具对方案进行评估。根据Ye最新提出的理论，我们使用方案模型生成的样本训练了一个自动化隐写分析模型。当我们要求模型生成检测率最高0.8auROC时，我们发现模型仍然可以隐藏最高每像素2比特秘密信息。提出了一套完整的基于深度学习的隐写方案，同时还有数据集以及用于基于深度学习的隐写技术的预训练模型。
附图说明
图1是本发明评估网络的流程图。
图2是本发明神经网络的结构图。
图3是本发明密集模型的接收器工作特性曲线图。
图4是本发明所使用的探测器在各种相对载荷和不同训练集大小下的性能数据示意图。
具体实施方式
基于深度学习的信息隐藏方法，包括如下步骤：
步骤S1：训练一个评估网络；
步骤S2：利用评估网络来训练编码器ε和解码器D；
步骤S3：利用自然图像的概率分布
Figure BDA0002538660260000051
中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息。
如图1所示，本发明步骤需要训练的评估网络，具体包括如下步骤：
S11：训练开始后，将待将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，作为宽度和高度填充矩阵；
S12：取训练序号i＝0，RGB通道载体图像Ci预编码为数据向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像Si；
S13：判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像，若为否，执行下一步，若为是，则取i＝i+1，重新执行步骤S12；
S14：判断是否达到训练次数，若为是，执行下一步，若为否，取i＝i+1，重新执行步骤S12。
简要来说，隐写技术仅需要两项操作：编码和解码。编码操作获取载体图像和二进制消息，并生成隐写图像。解码操作获取隐写图像并恢复二进制消息。下面具体介绍本发明所采用的网络模型，展示模型架构并描述训练过程。
一、变体模型设计
1、模型参数和符号
本发明用C和S分别表示宽度和高度相同的RGB通道载体图像和隐写图像，代表被隐藏在载体图像中的二进制信息。D代表相对载荷的上限，实际相对载荷是能可靠解码的比特数(1-2p)D，其中p∈[0，1]是错误率。
载体图像C是从所有自然图像的概率分布
Figure BDA0002538660260000052
中采样得到的。隐写图像S是由一个完成学习的编码器ε(C，M)生成的，秘密信息
Figure BDA0002538660260000068
是由一个完成学习的解码器D(S)提取得到的。优化的任务是通过一个给定的混合信息分布，来训练编码器ε和解码器D以使解码错误率p和自然图像与隐写图像间分布间的距离
Figure BDA0002538660260000061
最小化。因此，为了优化编码器和解码器，我们也需要训练一个评估网络C(·)来估计
Figure BDA0002538660260000062
令参数
Figure BDA0002538660260000063
以及
Figure BDA0002538660260000064
是两个宽度和高度相同的感知器，但深度可能是D和D′两个不相同值，然后
Figure BDA0002538660260000065
是沿深度轴方向的两个张量的级联。令
Figure BDA0002538660260000066
是将输入张量X映射到宽度和高度、深度可能不同的特征图Φ的卷积块。这个卷积块包含了一个内核大小为3，步幅为1，填充为“相同”的卷积层，其后是一个leaky ReLU激活函数以及批标准化。如果卷积块是网络中的最后一个块，则激活函数和批标准化操作可省略。
令
Figure BDA0002538660260000067
代表表示自适应平均空间池化操作，该操作计算张量X的每个特征图中的W×H的平均值。
2、模型体系结构
本发明展示了一种生成对抗网络HCSGAN用以在载体图像中隐藏任意位向量。我们预期的神经网络结构如图2所示，包括三个模块：
①一个编码器，用于获取载体图像和数据张量或信息并生成隐写图像；
②一个解码器，用以获取隐写图像并尝试恢复数据张量；
③一个判别网络，用以评估载体图像和隐写图像的质量。
2.1编码器
编码器网络含有一张载体图像和秘密信息M∈{0，1}D×W×H。因此，M是一个形状为D×W×H的二进制数据张量，其中D是我们试图隐藏在载体图片每个像素中的比特数。
我们尝试了三种具有不同连接模式的编码器体系结构的变体模型。三种变体模型都采用如下操作开始：
(1)使用卷积块处理载体图像C以获得张量a；
a＝Conv3→32(C) (4.1)
(2)将秘密信息M连接到张量a，然后用卷积块处理结果以获得新的张量b；
b＝Conv32+D→32(Cat(a，M)) (4.2)
基础模型：我们依次将两个卷积块应用于新的张量b并生成隐写图像，如图2b所示，其可以表示为如下形式：
εb(C，M)＝Conv32+D→21(Cat(a，M)) (4.3)
隐写图像只是最后一个卷积块的输出。
残差模型：残差连接的使用已被证明可以改善模型的稳定性和收敛性，因此我们假定使用残差连接可以提高隐写图像的质量。为此，我们通过将载体图像C添加到其输出中来修改基本模型的编码器，以使编码器学习生成如图2c所示的残差图像，其可以表示为如下形式：
εr(C，M)＝C+εb(C，M) (4.4)
密集模型：在密集模型变体中，我们尝试在卷积块之间引入了其他连接，以便将较早的块生成的特征图连接到由较后的块生成的特征图，如图2d所示。这种连通模式受到DenseNet结构的启发，该结构已被证明可以优化功能复用和缓解消失的梯度问题。因此，我们假定使用密集连接将提高嵌入率。它可以表示为如下形式：
Figure BDA0002538660260000071
最后，各种变体模型的输出是一个与载体图像C分辨率、和深度相同的隐写图像S＝ε{b，r，d}(C，M)。
2.2解码器
解码器接收由编码器产生的隐写图像S。它可以表示为如下形式：
Figure BDA0002538660260000072
解码器生成
Figure BDA0002538660260000073
换而言之它试图恢复数据张量M。
2.3判别网络
为了提供有关编码器性能的反馈并生成更逼真的图像，我们引入了对抗性判别网络。判别网络由三个卷积块组成，后接一个具有一个输出通道的卷积层。为了生成标量分数，我们将自适应均值池应用于卷积层的输出。它可以表示为如下形式：
Figure BDA0002538660260000074
二、训练过程
我们迭代优化编-解码器网络和判别网络。为了优化编-解码器网络，我们联合优化三个损失：
①使用交叉熵损失的解码精度：
Figure BDA0002538660260000081
②均方误差下隐写图像与载体图像的相似度：
Figure BDA0002538660260000082
③判别网络隐写图像的真实性：
Figure BDA0002538660260000083
训练目标是使下式最小化
Figure BDA0002538660260000084
为训练判别网络，我们要使Wasserstein损失最小化
Figure BDA0002538660260000085
在每次迭代中，我们将每一个载体图像C与由伯努利分布M～Ber(0.5)采样随机生成D×W×H比特序列的数据张量M。除此以外，在预处理流程中，对于载体图像C，应用了包括水平翻转和随机裁剪在内的标准数据增强程序。本文使用了学习率为1e-4的Adam优化器，剪裁梯度均方为0.25，剪裁判别系数为[-0.1，0.1]，训练32轮。
三、性能评估及分析
3.1数据集测试
本发明使用Div2k和COCO数据集对模型进行训练和测试。实验对象为第3节所述的三种模型变体，对其以六种不同深度D进行训练。数据深度D代表每像素的目标比特数，则随机生成的数据张量尺寸为DWH。
实验中，使用了Div2K和COCO数据集的创建者提议的默认训练/测试拆分方法，并且在表1中展示了该测试集的平均RS-BPP，PSNR和SSIM。我们的模型在GeForceGTX 1080的GPU上进行了培训。对于Div2K，每轮训练时间约为10分钟；对于COCO，则为2小时。
训练结束模型后，在保留的测试集上计算期望的准确率，并使用前文讨论的Reed-Solomon编码方案对其进行调整，以产生上文所述的每像素位指标，如表4.1所示。
表4.1各性能指标测试结果
Figure BDA0002538660260000091
实验结果如表4.1所示，每个指标都是根据训练过程中未对模型显示的保留图像测试集计算得出的。需要注意的是，相对载荷和图像质量之间不可避免地存在权衡取舍；假设我们已经在Pareto边界上，那么相对载荷的增加将导致相似度下降。可以观察到，模型的所有变体在COCO数据集上的表现都优于Div2K数据集。此现象可以归因于两个数据集内容类型的差异。Div2K数据集中的图像倾向于开阔的风景，而COCO数据集中的图像倾向于更加杂乱且包含多个对象，这种特性为本文所述的模型提供了更多的表面和纹理，从而可以成功地嵌入数据。
此外，还可以发现，密集变体在相对载荷和图像质量上均表现出最佳性能，残差变体排在第二位，其显示出可较好的图像质量，但相对载荷较低。基本版本在所有指标上的表现都最差，相对负载和图像质量得分比密集版本低15-25％。
最后，本文指出，尽管相对载荷增加了，但根据密集模型产生的载体图像和隐写图像之间的平均峰值信噪比所测得的图像相似性与Zhu中的相当[33]。
3.2隐写图像检测
隐写技术通常还通过其抵御避隐写分析工具检测的能力对其进行评估。在本节中，我们将尝试使用两种开源的隐写分析算法，并评估模型生成不可检测的隐写图像的能力。
3.2.1基于统计的隐写分析
为了评估我们的方法对于这些技术进行抵御检测的有效性，我们从测试集中随机选择了1000个载体图像，使用数据深度为6的密集模型结构生成了相应的隐写图像，并使用stegExpose进行测试检查。密集模型的接收器工作特性曲线如图3所示。可以观察到StegExpose工具在ROC曲线值为0.59以下区域仅比随机猜测略微有效，即有效载荷最高为每像素4比特。这表明本文的模型可以成功抵御标准隐写分析工具，满足了成为可用隐写算法的最低要求。
3.2.2基于神经网络的隐写分析
在典型情况下，尝试检测隐写图像的一方可以知晓用于创建隐写图像的算法。而在我们的示例中，则是HCSGAN的实例，该实例由预训练的模型权重而非精确模型进行参数化。使用3.2.1节中的密集结构和COCO数据集，我们尝试通过以下实验设置来复制此方案：
1、我们用不同的随机数种子训练了N个HCSGAN架构实例；
2、对于每一个完成训练的模型中，都会生成一组1000个隐写图像；
3、拿出第N个模型生成的图像作为测试集，我们在增加剩余图像的子集上训练了隐写分析模型{1}，{1，2}，{1，2，3}，...，{1，2，3，...，N-1}；
4、将每个实验重复3次，并展示接收器工作曲线下的平均面积。
以上步骤模拟了一个现实的设置，创建自动检测模型的一方将无法接触到使用中的特定HCSGAN模型，但可能会使用到用于训练模型的软件。图4显示了本文所使用的探测器在各种相对载荷和不同训练集大小下的性能数据。
首先可以注意到，检测器性能即接收器工作特性曲线下面积(auROC)会随着我们增加图像中编码的每个像素的比特数而增加。此外，还需要强调的是，当我们增加用于训练HCSGAN模型的数量，ROC曲线下的面积没有明显的变化趋势。这表明外部人员将很难建立一个可以在不知道确切模型参数的情况下就能够检测HCSGAN所生成隐写图像的模型。
最后，我们将HCSGAN生成的图像的检测误差与三种最先进的隐写算法(WOW，S-UNIWARD和HILL)所生成的图像的检测误差进行比较。考虑到这些技术是在不同的数据集上评估的，因此结果仅是在特定数据集上可获得的实际相对载荷的近似估计。对于20％的固定检测错误率，我们发现WOW能够编码至多0.3bpp，S-UNIWARD能够编码至多0.4bpp，HILL能够编码至多0.5bpp，而HCSGAN能够编码高达2.0bpp。

Claims (4)

1.基于深度学习的信息隐藏方法，其特征在于包括如下步骤：
步骤S1：训练一个评估网络；
步骤S2：利用评估网络来训练编码器ε和解码器D；
步骤S3：利用自然图像的概率分布
Figure FDA0003576442980000011
中采样得到RGB通道载体图像C，编码器ε隐写图像S，代表被隐藏在载体图像中的二进制信息；
其中，上述步骤S2中的训练编码器，具体包括如下步骤：
S21：编码器网络含有一张载体图像C和秘密信息M∈{0,1}D×W×H，M是一个形状为D×W×H的二进制数据张量，其中D是试图隐藏在载体图片每个像素中的比特数；
S22：使用卷积块处理载体图像C以获得张量a；
a＝Conv3→32(C) (4.1)
将秘密信息M连接到张量a，然后用卷积块处理结果以获得新的张量b；
b＝Conv32+D→32(Cat(a,M)) (4.2)；
其中，Cat表示张量的级联；
S23：若编码器体系结构的变体模型为基础模型：依次将两个卷积块应用于新的张量b并生成隐写图像，表示为如下形式：
εb(C,M)＝Conv32+D→21(Cat(a,M)) (4.3)
隐写图像只是最后一个卷积块的输出；
S24：若编码器体系结构的变体模型为残差模型：通过将载体图像C添加到其输出中来修改基本模型的编码器，以使编码器学习生成残差图像，表示为如下形式：
εr(C,M)＝C+εb(C,M) (4.4)；
S25：若编码器体系结构的变体模型为密集模型：使用密集连接将提高嵌入率，表示为如下形式：
Figure FDA0003576442980000012
S26：基础模型、残差模型、密集模型的输出是一个与载体图像C分辨率、和深度相同的隐写图像S＝ε{b,r,d}(C,M)∈{εb(C,M),εr(C,M),εd(C,M)}；
上述步骤S2中的解码器接收由编码器产生的隐写图像S，表示为如下形式：
Figure FDA0003576442980000021
解码器生成
Figure FDA0003576442980000022
试图恢复数据张量M,Ds(·)表示解码器的解码操作。
2.根据权利要求1所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S1训练一个评估网络，具体包括如下步骤：
S11：训练开始后，将待隐写的秘密信息分为n组秘密信息片，并对每片秘密信息片编码得到若干组秘密信息位向量，作为宽度和高度填充矩阵；
S12：取训练序号i＝0，RGB通道载体图像Ci预编码为数据向量，使用深度神经网络模型，以载体图片与秘密信息作为驱动，输入到神经网络的编码器模块生成隐写图像Si；
S13：判别网络将隐写图像与载体图像联合进行分析，比较相似度，判断是否为隐写图像，若为否，执行下一步，若为是，则取i＝i+1,重新执行步骤S12；
S14：判断是否达到训练次数，若为是，执行下一步，若为否，取i＝i+1,重新执行步骤S12。
3.根据权利要求1所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S2中的评估网络为：
为实现解码错误率p和自然图像与隐写图像间分布间的距离
Figure FDA0003576442980000023
最小化，训练一个评估网络C(·)来估计
Figure FDA0003576442980000024
令参数
Figure FDA0003576442980000025
以及
Figure FDA0003576442980000026
是两个宽度和高度相同的感知器，深度分别是D和D′两个不相同值，然后
Figure FDA0003576442980000027
Figure FDA0003576442980000028
是沿深度轴方向的两个张量的级联；令
Figure FDA0003576442980000029
Figure FDA00035764429800000210
是将输入张量X映射到宽度和高度、深度相同或不同的特征图Φ的卷积块；这个卷积块包含了一个内核大小为3，步幅为1，填充为“相同”的卷积层，其后是一个leaky ReLU激活函数以及批标准化；如果卷积块是网络中的最后一个块，则激活函数和批标准化操作可省略；
其中，
Figure FDA00035764429800000211
为自然图像的概率分布，
Figure FDA00035764429800000212
为隐写图像的概率分布，D为参数X的深度，D′为参数Y的深度，W为参数X和参数Y的宽度，H为参数X和参数Y的高度，Φ为沿深度轴方向的参数X和参数Y的级联。
4.根据权利要求1所述的基于深度学习的信息隐藏方法，其特征在于上述步骤S2中的训练过程为：
为了优化编-解码器网络，联合优化三个损失：
①使用交叉熵损失的解码精度：
Figure FDA0003576442980000031
②均方误差下隐写图像与载体图像的相似度：
Figure FDA0003576442980000032
③判别网络隐写图像的真实性：
Figure FDA0003576442980000033
训练目标是使下式最小化
Figure FDA0003576442980000034
为训练判别网络，要使Wasserstein损失最小化
Figure FDA0003576442980000035
其中，
Figure FDA0003576442980000036
表示当服从
Figure FDA0003576442980000037
分布时的数学期望，ε(X,M)为编码器输出的隐写图像；
在每次迭代中，将每一个载体图像C与由伯努利分布M～Ber(0.5)采样随机生成D×W×H比特序列的数据张量M；在预处理流程中，对于载体图像C，应用了包括水平翻转和随机裁剪在内的标准数据增强程序；使用学习率为1e-4的Adam优化器，剪裁梯度均方为0.25，剪裁判别系数为[-0.1,0.1]，训练32轮。
CN202010545261.7A 2020-06-15 2020-06-15 基于深度学习的信息隐藏方法 Active CN111711821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010545261.7A CN111711821B (zh) 2020-06-15 2020-06-15 基于深度学习的信息隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010545261.7A CN111711821B (zh) 2020-06-15 2020-06-15 基于深度学习的信息隐藏方法

Publications (2)

Publication Number Publication Date
CN111711821A CN111711821A (zh) 2020-09-25
CN111711821B true CN111711821B (zh) 2022-06-10

Family

ID=72540864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010545261.7A Active CN111711821B (zh) 2020-06-15 2020-06-15 基于深度学习的信息隐藏方法

Country Status (1)

Country Link
CN (1) CN111711821B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205821B (zh) * 2021-04-25 2023-08-29 广州大学 一种基于对抗样本的语音隐写方法
US20220366222A1 (en) * 2021-05-11 2022-11-17 Huawei Technologies Co., Ltd. System, method and storage medium for processing probability distributions in neural networks
CN113435488B (zh) * 2021-06-17 2023-11-07 深圳大学 一种图像采样概率提升方法及其应用
CN113542767B (zh) * 2021-07-14 2022-06-10 广东工业大学 一种信息隐藏图像处理模型构建方法、装置、终端及介质
WO2023063929A1 (en) * 2021-10-12 2023-04-20 Google Llc Systems and methods for steganographic embedding of metadata in media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084734A (zh) * 2019-04-25 2019-08-02 南京信息工程大学 一种基于物体局部生成对抗网络的大数据权属保护方法
CN110533570A (zh) * 2019-08-27 2019-12-03 南京工程学院 一种基于深度学习的通用隐写方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410414B2 (en) * 2016-10-10 2022-08-09 Insurance Services Office, Inc. Systems and methods for detection and localization of image and document forgery
WO2020012061A1 (en) * 2018-07-12 2020-01-16 Nokia Technologies Oy Watermark embedding techniques for neural networks and their use
CN109102024B (zh) * 2018-08-14 2021-08-31 中山大学 一种用于物体精细识别的层次语义嵌入模型及其实现方法
KR20200036352A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 신경망의 동작 방법과 학습 방법 및 그 신경망

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084734A (zh) * 2019-04-25 2019-08-02 南京信息工程大学 一种基于物体局部生成对抗网络的大数据权属保护方法
CN110533570A (zh) * 2019-08-27 2019-12-03 南京工程学院 一种基于深度学习的通用隐写方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Embedding Ration Estimating for Each Bit Plane of Image;Chungfang Yang,et al;《International Workshop on Information Hiding》;20090610;全文 *

Also Published As

Publication number Publication date
CN111711821A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111711821B (zh) 基于深度学习的信息隐藏方法
Wang et al. Optimized feature extraction for learning-based image steganalysis
CN102142258A (zh) 一种基于小波变换和Arnold的自适应灰度水印嵌入方法
Zhang et al. Image robust adaptive steganography adapted to lossy channels in open social networks
CN112132737B (zh) 一种无参考生成的图像鲁棒隐写方法
CN116029887A (zh) 一种基于小波神经网络的图像大容量鲁棒水印方法
Bai et al. A data hiding scheme based on the difference of image interpolation algorithms
CN103279914A (zh) 一种基于蛙跳优化的图像压缩感知隐写方法及装置
Yao et al. High invisibility image steganography with wavelet transform and generative adversarial network
Lu et al. Multipurpose image watermarking method based on mean-removed vector quantization
CN116957896A (zh) 基于量子纠错编码的量子彩色图像水印方法
CN116226804A (zh) 一种基于水印嵌入的神经网络模型的版权验证方法
CN1614634A (zh) 图像篡改内容可恢复的定位型认证水印的生成与认证方法
Zhang et al. Adaptive Robust Blind Watermarking Scheme Improved by Entropy‐Based SVM and Optimized Quantum Genetic Algorithm
Tan et al. WaterDiff: Perceptual Image Watermarks Via Diffusion Model
Nazari et al. Secure information transmission using steganography and morphological associative memory
CN114390154A (zh) 基于信道匹配网络选择嵌入通道的鲁棒隐写方法及系统
Amita et al. Reversible data hiding in absolute moment block truncation coding compressed images using adaptive multilevel histogram shifting technique
Fadel et al. A Fast and Low Distortion Image Steganography Framework Based on Nature-Inspired Optimizers
Singhal et al. Local binary pattern operator based steganography in wavelet domain
Ren et al. Reversible Data Hiding Scheme based on Fractal Image Coding.
Song et al. A New Watermarking Frame Based on the Genetic Algorithms and Wavelet Packet Decomposition.
Taj et al. Reversible watermarking method with low distortion for the secure transmission of medical images
Agaian et al. A new secure adaptive steganographic algorithm using Fibonacci numbers
Zhong et al. An optimal wavelet-based image watermarking via genetic algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant