CN111882476B - 基于深度强化学习的自动学习嵌入代价的图像隐写方法 - Google Patents

Abstract

本发明涉及信息隐藏技术领域，具体为基于深度强化学习的自动学习嵌入代价的图像隐写方法。其方法包括：构建强化学习隐写框架，包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元；根据输入的原始图像输出策略矩阵，依据策略矩阵获得修改点并形成修改图像，输入的原始图像和修改图像在掩密图像生成单元中相加获得掩密图像，为修改点赋予奖励，根据所赋予的奖励生成相应的损失函数以训练策略网络；利用训练好的策略网络，计算得到嵌入代价，结合编码方法生成隐密图像，实现图像隐写处理。本发明通过构建强化学习隐写框架，进行代理方和环境方的互动，自动学习嵌入代价，提高了图像隐写的安全性与稳定性。

Description

基于深度强化学习的自动学习嵌入代价的图像隐写方法

技术领域

本发明涉及信息隐藏技术领域，具体为基于深度强化学习的自动学习嵌入代价的图像隐写方法。

背景技术

图像隐写技术的目的是往数字图像中隐藏秘密信息，在现有技术中，隐写性能较好的方法是在最小失真策略下设计的，将其掩密图像的失真表示为加性形式，并修改元素嵌入代价累加而成。在过去的十几年，学术界提出了不相同的有效的嵌入代价计算方式，包括基于启发式设计的计算方式和统计模型的计算方式。同时，通过引入相邻元素的相关性信息，使加性失真可以逼近非加性失真。

另一方面，图像隐写分析的目的是检测图像中是否藏有秘密信息，大部分的隐写分析方法是利用分类器对人工设计的高维统计特征进行分类，其检测性能可通过引入选择信道的知识进一步提高。近年来，基于卷积神经网络的隐写分析方法获得了飞速的发展，其性能的提升来自于精致的网络设计和现有的隐写分析算法的领域知识。

尽管深度学习技术在隐写分析领域迅速发展，但在隐写领域上的发展却较为缓慢。实际上，隐写和隐写分析的对抗可通过生成对抗网络生成器和判别器进行交替更新模拟。然而，现有的基于生成对抗网络的隐写方法并不能保证信息的无错提取，因而，提出了ASDL-GAN(automatic steganographic distortion learning framework with GAN，自动隐写失真学习框架)以解决该技术问题。在ASDL-GAN中，生成器为原始图像学习嵌入概率图，然后基于神经网络的嵌入模拟器TES以成对的嵌入概率和随机噪声作为输入，产生修改点，将修改点组成修改图后，与原始图像相加得到掩密图像；判别器则对原始图像和掩密图像进行分类。当完成训练后，嵌入概率可以反向转换为嵌入代价，并通过编码方法STC实现信息的稳定嵌入和提取。随后，在相同的框架下，提出了UT-GAN。UT-GAN用了U-Net作为生成器，增强版的Xu-Net作为判别器，与Double-Tanh模块作为嵌入模拟器，其性能超过了人工设计嵌入代价的隐写方法。

尽管ASDL-GAN和UT-GAN有着不错的安全性能，但是它们依然有所不足。首先，它们的基于神经网络的嵌入模拟器与最优模拟器有所不同。ASDL-GAN和UT-GAN的嵌入模拟器的输出层采用了Sigmoid和Tanh激活函数，因此产生了连续取值的修改点，不同于真实信息嵌入场景下的离散取值的修改点，而且激活函数的饱和特性还可能带来潜在的梯度消失的问题；若在更深的饱和区域产生修改点，修改误差会更小，但是梯度也会消失，反之亦然。因此，基于神经网络的嵌入模拟器无法同时减少修改误差和增强梯度传播。而且，该嵌入模拟器还需要人工设计和精心训练，依赖于科学家的经验知识，进行反复调试。另外，它们的优化目标并未能充分利用神经网络对元素级别嵌入代价的学习能力，且在ASDL-GAN和UT-GAN中，生成器的对抗损失是判别器的损失函数的负值，是在图像级别计算的。因此，一些更加细粒度的元素级别的信息可能会被忽略掉，不利于学习元素级别的嵌入代价。

发明内容

为解决现有技术所存在的技术问题，本发明提供基于深度强化学习的自动学习嵌入代价的图像隐写方法，通过构建强化学习隐写框架SPAR-RL(Steganographic Pixel-wise Actions and Rewards with Reinforcement Learning)，进行代理方和环境方的互动，自动学习嵌入代价，采用随机采样的嵌入模拟器，在产生精准修改点的同时，能避免梯度消失，从而提高图像隐写的安全性与稳定性。

本发明采用以下技术方案来实现：基于深度强化学习的自动学习嵌入代价的图像隐写方法，包括以下步骤：

一、构建强化学习隐写框架，所构建的强化学习隐写框架包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元；

策略网络根据输入的原始图像输出策略矩阵，修改图像生成单元依据策略矩阵获得修改点并形成修改图像，输入的原始图像和修改图像在掩密图像生成单元中相加获得掩密图像；环境网络为修改点赋予奖励，奖励损失计算单元根据所赋予的奖励生成相应的损失函数以训练策略网络；

二、利用训练好的策略网络，计算得到嵌入代价，结合编码方法生成隐密图像，实现图像隐写处理。

在优选的实施例中，步骤一包括以下步骤：

利用策略网络为原始图像学习策略矩阵；

对策略矩阵中的元素进行采样得到相应的修改点，根据修改点获得修改图像，并通过原始图像和修改图像相加获得模拟隐写图像；

利用环境网络为修改点赋予奖励；

基于对修改点所赋予的奖励，生成相应的策略网络损失函数以训练策略网络。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过构建强化学习隐写框架SPAR-RL，进行代理方和环境方的互动，自动学习嵌入代价，采用随机采样的嵌入模拟器，在产生精准修改点的同时，能避免梯度消失，从而提高图像隐写的安全性与稳定性。

2、本发明的强化学习隐写框架SPAR-RL中，策略网络的损失函数由元素级别的奖励组成，可以有效区别不同修改点的贡献，并直接用于调整策略网络中的嵌入策略。

附图说明

图1是本发明的图像隐写方法流程图；

图2是强化学习隐写框架的结构示意图；

图3是本发明稳定性测评在0.4bpp检测错误率随着迭代次数的变化情况图；

图4是本发明稳定性测评在0.1bpp检测错误率随着迭代次数的变化情况图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例基于深度强化学习的自动学习嵌入代价的图像隐写方法，主要包括以下步骤：

一、构建强化学习隐写框架SPAR-RL，获得恰当的奖励损失，训练策略网络。

如图2所示，所构建的强化学习隐写框架SPAR-RL，包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元。本实施例中，策略网络、环境网络采用卷积神经网络来实现。

步骤S1、代理方利用策略网络为原始图像学习策略矩阵。

本实施例中，代理方使用了策略网络，其参数用θ表示，策略网络以原始图像X＝(x_i,j)^H×W作为输入，输出临时矩阵Q＝(q_i,j)^H×W，其中H和W分别表示图像的长和宽，q_i,j为原始图像中元素x_i,j对应的临时元素；并采用元素级别的嵌入策略，输出策略矩阵元素

其中/>

是原始图像元素x_i,j的策略，a_i,j是原始图像元素x_i,j采取的行动。策略矩阵元素的具体计算公式如下所示：

步骤S2、代理方对策略矩阵中的元素进行采样得到相应的修改点，根据修改点获得修改图像，并通过原始图像X和修改图像M相加获得模拟隐写图像，即掩密图像。

首先，生成噪声矩阵N＝(n_i,j)^H×W，其中噪声矩阵中每一个元素n_i,j符合[0,1]之间的均匀分布。然后，根据以下公式，以策略矩阵中的元素作为概率分布，根据噪声矩阵中的元素对策略矩阵中的元素进行采样并得到修改点m_i,j：

根据修改点m_i,j获得修改图M＝(m_i,j)^H×W，将原始图像X和修改图M相加获得掩密图像Y＝(y_i,j)^H×W，其中y_i,j为掩密图像Y中的元素。

步骤S3、环境方利用环境网络为修改图像的修改点赋予奖励。

本实施例中，环境方为修改点赋予奖励，主要是用于衡量代理方采取的各个原始图像元素级别的行动对欺骗隐写分析器的贡献度。在强化学习隐写框架SPAR-RL中，主要是基于环境网络中对应原始图像元素的梯度g_i,j和修改点m_i,j的方向计算奖励。

具体地，环境方使用了环境网络，环境网络的参数用ω表示，利用环境网络获得梯度矩阵G＝(g_i,j)^H×W，为修改点赋予像素级别的奖励R＝(r_i,j)^H×W，其中设ξ为奖励强度，m_i,j为对应策略矩阵元素的修改点，g_i,j为环境网络中对应原始图像元素的梯度，r_i,j为修改点m_i,j的元素：

r_i,j＝ξ×sign(m_i,j)×g_i,j

步骤S4、代理方基于对修改点所赋予的奖励，生成相应的损失函数以训练策略网络。

本实施例中，代理方主要是为了最大化环境方的奖励R，因此，梯度g_i,j无需经过嵌入模拟器，直接从奖励R以奖励损失的形式传送至策略网络。所以，强化学习隐写框架SPAR-RL可采用基于随机采样的嵌入模拟器，进而产生精准的修改点m_i,j的同时，能够避免梯度g_i,j消失的问题。在强化学习隐写框架SPAR-RL中，策略网络的损失函数l_A由元素级别的奖励R组成，主要用于区别不同修改点m_i,j的贡献，并直接用于更新、调整策略网络中的嵌入策略。

具体地，策略网络的损失函数l_A是容量损失l_C和奖励损失l_R的加权平均，其中α和β为加权因子，C为目标容量，A为搜索空间。策略网络的损失函数l_A、容量损失l_C和奖励损失l_R的具体计算公式分别如下所示：

l_A＝α×l_R+β×l_C

步骤S5、环境方基于原始图像和掩密图像更新环境网络。

根据如下所示的交叉熵损失函数l_E更新环境网络中的参数：

l_E＝-(z'₀logz₀-z′₁logz₁)

其中，z₀和z₁分别是环境网络对于原始图像X和模拟隐写图像Y的输出，而z'₀和z₁'分别是z₀和z₁对应的标签。

二、利用训练好的策略网络，计算得到嵌入代价，再采用编码方法SCT生成真实隐密图像，实现图像隐写处理。

步骤S6、当学习过程结束后，根据学习到的策略

获得嵌入代价/>

在三元嵌入中m＝{-1,+1,0}，嵌入代价按照如下公式获得：

最终根据嵌入代价，结合编码方法SCT生成真实隐密图像，获得隐写后的图像。本步骤中，隐密图像的获得采用真实嵌入的方式获得，而不是前述步骤S2模拟嵌入的方式获得。

在本实施例中，利用不同的隐写方法进行安全性能测评，包括SPAR-RL-v2和SPAR-RL-v1，在GAN框架下的UT-GAN和ASDL-GAN，和现有的人工设计的隐写方法HILL。其中SPAR-RL-v2的策略网络和环境网络与UT-GAN的生成器和判别器有相同的结构，SPAR-RL-v2的策略网络和环境网络与ASDL-GAN的生成器和判别器有相同的结构。在公平的环境下比较不同框架的安全性能。使用四种不同的隐写分析器进行性能测评，包括现有的特征提取隐写分析器SRM和深度学习隐写分析器Xu-Net。在10000张256×256的BOSSBase图像库上进行测评，其中SRM采用1:1的比例随机划分训练集和测试集，而Xu-Net采用5:1:4的比例划分训练集、校验集和测试集。测试集上的错误率P_E用作测评指标，其中错误率为漏检率P_MD和虚警率P_FA的平均值。深度强化学习隐写框架SPAR-RL下空域加性隐写算法的检测错误率(％)如表1所示，可见，在大部分情况下，SPAR-RL-v1和SPAR-RL-v2比ASDL-GAN和UT-GAN有更好的安全性能，也超过了HILL。譬如，在0.4bpp的情况下，SPAR-RL-v2和SPAR-RL-v1分别比UT-GAN和ASDL-GAN在不同隐写分析器下获得了1.0％，1.9％,2.47％,3.65％的提升。

表1

如图3、4所示，本实施例中，利用SPAR-RL-v2和UT-GAN进行稳定性测评实验。由实验结果可见，在0.4bpp下，UT-GAN和SPAR-RL-v2从10000代后开始展现较好的性能。UT-GAN在60000代获得最优的安全性能，但是性能在80000代后开始急剧下降。另一方面，SPAR-RL-v2在100000代获得最好的安全性能，而且可以稳定保持。在0.1bpp下，通过课程训练的设置，UT-GAN可以通过直接使用0.4bpp下训练的模型，从而获得较好的安全性能。但是在不同的设置下，UT-GAN的安全性能均有衰退的现象。而SPAR-RL-v2则可以有稳定的性能。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于深度强化学习的自动学习嵌入代价的图像隐写方法，其特征在于，包括以下步骤：

一、构建强化学习隐写框架，所构建的强化学习隐写框架包括策略网络、环境网络、掩密图像生成单元、修改图像生成单元及奖励损失计算单元；

策略网络根据输入的原始图像输出策略矩阵，修改图像生成单元依据策略矩阵获得修改点并形成修改图像，输入的原始图像和修改图像在掩密图像生成单元中相加获得掩密图像；环境网络为修改点赋予奖励，奖励损失计算单元根据所赋予的奖励生成相应的损失函数以训练策略网络；

二、利用训练好的策略网络，计算得到嵌入代价，结合编码方法生成隐密图像，实现图像隐写处理；

步骤一包括以下步骤：

利用策略网络为原始图像学习策略矩阵；

对策略矩阵中的元素进行采样得到相应的修改点，根据修改点获得修改图像，并通过原始图像和修改图像相加获得模拟隐写图像；

利用环境网络为修改点赋予奖励；

基于对修改点所赋予的奖励，生成相应的策略网络损失函数以训练策略网络；

策略网络以原始图像X＝(x_i,j)^H×W作为输入，输出临时矩阵Q＝(q_i,j)^H×W，其中H和W分别表示图像的长和宽，q_i,j为原始图像中元素x_i,j对应的临时元素；并采用元素级别的嵌入策略，输出策略矩阵元素

其中/>

是原始图像元素x_i,j的策略，a_i,j是原始图像元素x_i,j采取的行动；

生成噪声矩阵N＝(n_i,j)^H×W，以策略矩阵中的元素作为概率分布，根据噪声矩阵中的元素对策略矩阵中的元素进行采样得到修改点m_i,j：

其中噪声矩阵中每一个元素n_i,j符合[0,1]之间的均匀分布；

基于环境网络中对应原始图像元素的梯度和修改点的方向计算奖励；

策略网络损失函数l_A是容量损失l_C和奖励损失l_R的加权平均：

l_A＝α×l_R+β×l_C

其中α和β为加权因子，C为目标容量，A为搜索空间。

2.根据权利要求1所述的图像隐写方法，其特征在于，步骤一还包括以下步骤：基于原始图像和掩密图像更新环境网络。

3.根据权利要求1所述的图像隐写方法，其特征在于，策略矩阵元素的计算公式如下：

4.根据权利要求1所述的图像隐写方法，其特征在于，利用环境网络获得梯度矩阵G＝(g_i,j)^H×W，为修改点赋予像素级别的奖励R＝(r_i,j)^H×W，r_i,j为修改点m_i,j的元素：

r_i,j＝ξ×sign(m_i,j)×g_i,j

而H和W分别表示图像的长和宽，ξ为奖励强度，m_i,j为对应策略矩阵元素的修改点，g_i,j为环境网络中对应原始图像元素的梯度。

5.根据权利要求2所述的图像隐写方法，其特征在于，根据交叉熵损失函数l_E更新环境网络中的参数：

l_E＝-(z'₀logz₀-z₁'logz₁)

其中，z₀和z₁分别是环境网络对于原始图像和模拟隐写图像的输出，而z'₀和z₁'分别是z₀和z₁对应的标签。

Images