CN114969785B - 一种基于可逆神经网络的无载体图像隐写方法 - Google Patents

Abstract

本发明涉及通信加密技术，特别涉及一种基于可逆神经网络的无载体图像隐写方法。在编码时，将秘密信息按照固定的长度划分为一个个比特组，并使一个比特组对应一个范围内的数值；在解码时，根据数据中每个数值所在的范围，得到其所对应的比特组，将各个比特组连接起来，得到秘密信息；在可逆神经网络中将Glow模型与生成式对抗网络结合，构建先验分布与真实图像分布之间的双向映射；将Glow模型与生成对抗样本结合，生成含密图像。可逆神经网络的逆向过程是无损的，可以藏入更多的秘密，隐写容量更高，同时将基于Glow模型与生成式对抗网络生成模型结合，生成图像更加真实，可靠，将对抗样本生成融入到生成模型中，生成对抗样本，提高隐写方法的安全性。

Description

一种基于可逆神经网络的无载体图像隐写方法

技术领域

本发明涉及通信加密技术，特别涉及一种基于可逆神经网络的无载体图像隐写方法。

背景技术

隐写是一种将秘密信息隐藏于载体进行隐蔽通信的技术，在信息安全、数据通信等诸多方面都发挥着重要作用，对保障数据安全、维护社会稳定具有重要意义。在隐写领域应用最广泛的是基于图像的隐写技术，在隐写过程中，嵌入秘密信息之前的原始图像称为载体图像，嵌入秘密信息之后的图像称为隐写图像。然而只要对载体图像进行像素修改，那隐写分析就有迹可循。无载体图像隐写是一种全新的隐写方式，它不需要原始的载体图像，更不需要对载体图像进行像素修改，而是根据秘密信息选择或者合成载体。由于没有动态的嵌入过程且所获得载体图像本身已经携带秘密信息，所以无载体图像隐写没有像素修改痕迹，对于传统的隐写分析具有天然的抵抗能力，是图像隐写领域的研究重点。

目前主流基于生成式对抗网络(Generative Adversarial Networks,GAN)的无载体图像隐写模型如图1所示，加密者通过秘密信息映射得到先验分布，先验分布再通过生成网络得到含密图像，解密者通过解码器恢复秘密信息，在这一过程中，攻击者会与生成网络进行对抗训练，使得生成的含密图像更加真实，安全。

在基于GAN的无载体图像隐写中，解码器是由神经网络构成的，而神经网络是存在一定损失误差的，秘密信息的恢复准确率往往较低。秘密信息一般是随机的比特序列，解码器解码能力有限，所以隐写容量就较低。例如，如果秘密信息有10000个比特，那么解码器就需要给出10000维的输出，并且这10000个输出随机性很强，这对于神经网络是难以做到的。同时，隐写模型的生成效果有限，生成图像对于真实图像还有一定差距，对于基于深度学习的隐写分析抵抗性较差。图2是基于GAN的无载体图像隐写中，隐写容量与秘密恢复准确率的关系，可以看到，随着隐写容量的增高，秘密信息的恢复准确率越来越低。

发明内容

本发明提供一种基于可逆神经网络的无载体图像隐写方法，旨在解决通过可逆神经网络对信息进行加密和解密。

本发明提供一种基于可逆神经网络的无载体图像隐写方法，在编码时，将秘密信息按照固定的长度划分为一个个比特组，并使一个比特组对应一个范围内的数值；在解码时，根据数据中每个数值所在的范围，得到其所对应的比特组，将各个比特组连接起来，得到秘密信息；在可逆神经网络中将Glow模型与生成式对抗网络结合，构建先验分布与真实图像分布之间的双向映射；将Glow模型与生成对抗样本结合，生成含密图像；

基于上述框架执行以下过程：

加密过程：加密者将秘密信息编码进去先验分布中，并通过Glow模型生成图像，此时图像即为含密图像；

解密过程：解密者得到含密图像后，通过Glow模型的逆过程得到秘密信息；

对抗过程：在加密、解密过程中，攻击者进行隐写分析以鉴别含密图像和非含密图像；Glow模型与攻击者进行对抗训练，最终得到无载体图像隐写模型。

作为本发明的进一步改进，在可逆神经网络中将Glow模型与生成式对抗网络结合得到公式：

其中θ^*是G_θ中网络参数的目标值，φ^*是D_φ中网络参数的目标值，λ₁是超参数，G_θ代表生成器，D_φ代表鉴别器，其中θ和φ分别是生成器和鉴别器的参数，V为联合训练过程，θ是网络参数，E是期望，p_θ(x)是生成模型G_θ所对应的生成分布，p_data为真实的数据分布，x的取值为{x₁,x₂,…,x_m from p_data}。

作为本发明的进一步改进，在编码和解码过程中，具体还包括：

a1.在编码时，首先将秘密信息按照设定的固定长度划分为一个个比特组，该固定长度为比特组的位数，接着使每个比特组对应一定范围内的数值，比特组之间对应的数值范围不重叠；

a2.从标准正态分布中随机采样，采样得到的数据记为z_a，再通过改变数据顺序的方式，使新的数据z_b中每个数据所在的范围，对应的比特组，正是秘密信息中的比特组；

a3.在解码时，只需要根据数据中每个数所在的范围，得到它所对应的比特组，最终将这些比特组连接起来，即为秘密信息。

作为本发明的进一步改进，所述步骤a2中，对从标准正态分布中随机采样得到的数据通过伪随机数产生器得到密钥序列，再通过异或密码来对秘密信息进行加密，得到随机的秘密信息，使每个比特组出现概率相同。

作为本发明的进一步改进，通过格雷编码将步骤a1中的多个比特组进行分组，在对一比特组数值的编码中，若任意两个相邻的代码只有一位二进制数不同，则这种编码为格雷码，格雷码从对应的n位二进制码字中直接得到n位格雷码码字，如公式所示：

其中GC代表格雷码，GC_i代表格雷码的第i+1位，B_i代表n位二进制码字中的第i+1位，并且当i＝n-1时，B_i+1＝0。

作为本发明的进一步改进，所述步骤a2中，为了提高编码效率执行以下步骤：

a21.将z_a中各个数值范围的数据分别存储起来，放入队列中，队列是一种先进先出的数据结构；

a22.初始化一个空数组z_b,对秘密信息以比特组为单位进行遍历，根据遍历到的不同比特组，来弹出对应范围内的值，加入z_b中。

a23.从组内数值数量多的比特组中提前预留出数据，将剩余的数据打乱顺序加在z_b中。

作为本发明的进一步改进，将Glow模型与生成对抗样本结合，生成含密图像的过程具体包括步骤：

b1.利用基于Glow模型中的可逆神经网络结构，在Glow模型中，先验分布作为图像的潜在特征，和图像之间是可以无损互相转化的，通过训练调整模型的参数，使模型生成的图像全部为对抗样本，并被隐写分析模型认为是真实图像；

b2.对于先验分布z，生成器G生成图像为G(z)，训练目标是让隐写分析网络A认为由生成器G生成的图像是真实图像，得到损失函数为：

loss₁＝-log(1-A(G(z)))；

b3.保留最开始训练好的模型G*，加入平均绝对值误差损失：

loss₂＝-log(1-A(G(z)))+λ₂|G^*(z)-G(z)|

其中λ₂是超参数。

本发明的有益效果是：本隐写方法通过可逆神经网络进行加密和解密。由于可逆神经网络的逆向过程是无损的，所以可以藏入更多的秘密，隐写容量更高，同时将基于流的生成模型与生成式对抗网络生成模型结合，生成图像更加真实，可靠，将对抗样本生成融入到生成模型中，生成的图像即为对抗样本，提高隐写方法的安全性。

附图说明

图1是本发明现有技术中基于GAN的无载体图像隐写流程图；

图2是本发明现有技术中基于GAN的无载体图像隐写中隐写容量(bpp)与秘密恢复准确率(SIRA)的关系图；

图3是本发明中基于可逆神经网络的无载体图像隐写流程图；

图4是本发明中Glow网络中耦合层示意图；

图5是本发明中z_b与z_c之间MAE的累积分布函数；

图6是本发明中比特组位数为2时数据范围所占概率示意图；

图7是本发明中出错点直方分布图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

本发明将基于流的生成模型(Glow模型)与生成式对抗网络结合，实现了一种全新的基于可逆神经网络的图像无载体隐写方法。模型采用Glow模型，Glow模型是基于流的生成模型，其通过精巧的网络结构设计实现了可逆神经网络，可以构建先验分布与真实图像分布之间的双向映射。加密者将秘密信息编码进去先验分布中，并通过Glow模型生成效果足够好的图像，此时图像即为含密图像，解密者得到含密图像后，可以通过Glow模型的逆过程得到秘密信息。在这一过程中，攻击者会试图区分隐写图像和没有含有秘密的普通图像，与Glow模型进行对抗训练，三者共同工作，从而实现可靠安全的无载体图像隐写模型，整体流程如图3所示，基于上述框架执行以下过程：

加密过程：加密者将秘密信息编码进去先验分布中，并通过Glow模型生成图像，此时图像即为含密图像；

解密过程：解密者得到含密图像后，通过Glow模型的逆过程得到秘密信息；

对抗过程：在加密、解密过程中，攻击者进行隐写分析以鉴别含密图像和非含密图像；Glow模型与攻击者进行对抗训练，最终得到无载体图像隐写模型。

以下针对本发明隐写方法的创新点进行描述。

(一)基于流的生成模型与生成式对抗网络的结合。

在生成模型中，训练目标是通过生成器G_θ学习得到一个生成分布pθ，并使其尽可能的接近于真实的数据分布p_data，其中θ是网络的参数，θ^*是网络参数的目标值，这一过程可以表示为：

假设有两个概率密度函数π(z)和p(x)，并且这两个概率密度分布存在以下变换关系x＝f(z)，那么可以得到关系式：

其中是函数f的雅可比行列式的逆矩阵。

基于流的生成模型的优化目标θ^*可以表示为：

其中G^-1是生成网络的逆过程，J_Gθ ^-1是G_θ的雅可比行列式的逆矩阵，结合公式(2.1)、(2.3)也可以将上面公式简写为：

其中θ是网络参数，E是期望，p_θ(x)是生成模型G_θ所对应的生成分布。基于流的生成网络的优化目标即优化真实数据分布的最大似然。公式中需要满足生成网络的逆过程可以被计算，Glow网络是通过精巧的网络结构设计实现这一点的，其主要结构耦合层如图4所示：

其中F和H都是神经网络结构，一般采取卷积神经网络，网络在运算时，输入x与输出y的大小完全相同，记x形状为(b,c,w,h)的张量，首先将其分割为形状都为(b,c/2,w,h)的x₁,x₂，输出可得到同样形状的y₁,y₂；其中x、y代表输入、输出。

y₁＝x₁ (2.5)

y₂＝F(x₁)·x₂+H(x₁) (2.6)

网络在逆向运算时，输入y₁,y₂，输出可得到x₁,x₂：

x₁＝y₁ (2.7)

x₂＝(y₂-H(x₁))÷F(x₁) (2.8)

对抗式生成网络是在对抗中训练，G_θ代表生成器，D_φ代表鉴别器，其中θ和φ分别是生成器和鉴别器的参数，其联合训练过程V可以表示为：

将基于流的生成模型与生成式对抗网络结合起来，公式如(2.10)所示，其中θ^*是G_θ中网络参数的目标值，φ^*是D_φ中网络参数的目标值，λ₁是超参数，两种模型的结合使生成的图像更加真实自然，而且构建了先验分布与图像的双映射关系，解码的损失大幅度降低。

(二)基于数值与比特组映射的编码解码方式。

在隐写模型中第一步需要将秘密信息m映射到先验分布z中，而且不可以改变z的分布，这样才不会影响生成效果。在模型中，z是一个标准正态分布。对于正态分布而言，每个数据都是独立分布的，改变数据顺序并不会影响数据的分布，所以提出了一种基于数值与比特组映射的编码解码方式。

在编码时，首先将秘密信息按照某个固定的长度划分为一个个比特组，这一长度称作比特组的位数，用b来表示。如b＝2时，比特组共有四种情况：‘00’，‘01’‘11’，‘10’。接着使每个比特组对应一定范围内的数值，比特组之间对应的数值范围不会重叠，b＝2时，比特组与数值的映射示例如表1所示：

表2-1比特组位数为2时，对应数据范围示例

从标准正态分布中随机采样，采样得到的数据记为z_a，再通过改变数据顺序的方式，使新的数据中每个数据所在的范围，其对应的比特组，正是秘密信息中的比特组。此时新的数据记为z_b；在解码时，只需要根据数据中每个数所在的范围，得到它所对应的比特组，最终将这些比特组连接起来，即为秘密信息，编码示例如以下所示。

z_a＝[-1.2，-0.3，1.3，-0.5，0.6，0.5，0.7，-0.8，...]

m＝01000111l110

m＝01 00 01 11 11 10

z_b＝[-0.5，-1.2，-0.3，0.6，0.5，1.3，...]

为了尽可能的使用z_a中的数据，每个比特组出现的概率应当和它所对应的数值范围在标准正态分布中所占的概率相同。而秘密信息内容不同，可能会导致不同比特组出现的概率不同。例如如果秘密信息全为0，那么二位比特组中，‘00’出现的概率为1，其余比特组出现概率为0。为了解决这一问题，使用了伪随机数产生器(Cryptographically SecurePseudo-Random Number Generator，CSPRNG)得到密钥序列k，再通过异或密码来对秘密信息进行加密，从而得到随机的秘密信息，使每个比特组出现概率相同，异或加密方式如公式(2.11)所示。

由于图像生成时为-0.5～0.5之间的浮点数，而保存时会是0～255的整数，图像传输过程中是有损失的，所以解密者得到的先验分布数据会与z_b稍不相同，记这一数据为z_c，其中z_b与z_c之间的平均绝对值误差(Mean Absolute Error，MAE)的累积分布函数(Cumulative Distribution Function，CDF)如图5所示，可以看到，z_b与z_c之间还是有一定差距的，这会影响到秘密信息恢复的准确率。

以比特组位数为2为例，在图6中，四个主要区域的颜色部分所占面积相同，在其中点1由于误差，可能会变为点2或点3，由于点1和点3在同一个范围内，所以并不会出错，而点2和点1不在一个范围内，所以映射的比特会由01变为00，如果点1变为了点2，就将点1称为出错点。如果出错点是由于像点1到点2那样，到了邻近数据范围从而导致出错，那么将这个出错点记为邻居出错点，统计了出错点占所有点的比率和邻居出错点占总出错点的比率，如表2所示，其中b是比特组的位数。

表2-2出错点情况统计

根据数据分析，发现b越大，出错的概率更高，而出错位置更倾向于临近的位置，所以提出了使用格雷编码将比特组分组。在一组数的编码中，若任意两个相邻的代码只有一位二进制数不同，则称这种编码为格雷码(Gray Code，GC)，格雷码可以从对应的n位二进制码字中直接得到n位格雷码码字，如公式所示：

其中GC代表格雷码，GC_i代表格雷码的第i+1位，B_i代表n位二进制码字中的第i+1位，并且当i＝n-1时，B_i+1＝0，三位格雷码示例：‘000’，‘001’，‘011’，‘010’，‘110’，‘111’，‘101’，‘100’。使用格雷编码后，出错点大概率只会导致一位比特的错误，可以有效提高秘密恢复的准确率。

统计了10000个数据中出错点的数量，如图7所示。

图7与图6对应，可以看到，在边缘处的点更容易出现错误。所以，可以去掉这些在边缘处的点，当在进行编码时，这一部分值不参与编码。如图6所示，左起第一区域和第二区域之间的粗线部分、左起第二区域和第三区域之间的粗线部分不进行编码，设冗余度r，表示为每个粗线部分出现的概率，如果比特组中比特数量为b，那么比特组共有2^b种，最边缘两处位置(图6中左起第一个区域的色块和左起第四个区域的色块)只有一处粗线部分，其余都有两个粗线部分，不能使用的数据出现的概率p_drop为:

p_drop＝r((2^b-2)×2+2) (2.13)

对于一张通道数为c，图片形状为w×h的图像，计算数据中元素数量的函数记为len，由于可逆神经网络的设计，满足下面等式：

len(z_a)＝len(z_b)＝len(z_c)＝c×w×h (2.14)

可以隐写的理论最大秘密比特的数量为：

len(m)＝b×c×w×h×(1-r((2^k-2)×2+2)) (2.15)

为了提高编码效率，首先将z_a中各个数值范围的数据分别存储起来，放入队列中，队列是一种先进先出的数据结构。图中红色部分不进行编码的数据单独存储进一个队列中。接着初始化一个空数组z_b，对秘密信息以比特组为单位进行遍历，根据遍历到的不同比特组，来弹出对应范围内的值，加入z_b中。虽然理论上不同比特组出现的概率是相同的，但是在实际中往往某一个比特组的数量会稍微多出一些，其对应范围内的数据将会比其他比特组提前使用完，所以需要提前留出一些数据，最后将剩余的数据打乱顺序加在z_b中。

具体编码伪代码如下：

解码伪代码如下：

(三)对抗样本。

为了进一步增强隐写模型的安全性和不影响秘密恢复的准确性，基于可逆神经网络结构，提出了一种全新的将生成模型与生成对抗样本结合的方法，生成的图像即是含密图像，同时也是对抗样本，隐写分析会将含密图像误判为没有含有秘密的普通图像，从而提高安全性。

再次利用到了基于流的生成模型中的可逆神经网络结构，在基于流的生成模型中，先验分布作为图像的潜在特征，和图像之间是可以无损互相转化的，可以通过训练调整模型的参数，使模型生成的图像全部为对抗样本，并被隐写分析模型认为是真实图像。隐写分析是二分类任务，其交叉熵损失函数如下：

loss_en＝-(ylog(p(x))+(1-y)log(1-p(x))) (2.16)

其中p(x)是预测x为正例的概率，y代表标签。设含密图像为正例，真实图像为负例，隐写分析网络为A，其网络参数保持不变。对于先验分布z，生成器G生成图像为G(z)，训练目标是让A认为由生成器G生成的图像是真实图像，所以损失函数为：

loss₁＝-log(1-A(G(z))) (2.17)

通过上面损失函数可以使A认为G生成的图像是真实图像，但是如果训练目标只是骗过A的话会导致G生成效果受到影响，无法再生成正常的图像。所以需要保留最开始训练好的模型G*，加入MAE(平均绝对误差)损失：

loss₂＝-log(1-A(G(z)))+λ₂|G^*(z)-G(z)| (2.18)

其中λ₂是超参数，通过损失函数，可以在保证G生成效果的同时，产生对抗样本。

本发明将基于流的生成网络和对抗式生成网络结合，生成的图像更加自然真实，同时使用了可逆神经网络，图像与秘密之间可以近乎无损相互转换，所以也大幅度提高了隐写容量。本发明将对抗样本生成与含密图像生成结合，无论是面临传统的隐写分析还是基于深度学习的隐写分析检测，本发明提出的无载体图像隐写方法的安全性都有较大保证。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于可逆神经网络的无载体图像隐写方法，其特征在于，在编码时，将秘密信息按照固定的长度划分为一个个比特组，并使一个比特组对应一个范围内的数值；在解码时，根据数据中每个数值所在的范围，得到其所对应的比特组，将各个比特组连接起来，得到秘密信息；在可逆神经网络中将Glow模型与生成式对抗网络结合，构建先验分布与真实图像分布之间的双向映射；将Glow模型与生成对抗样本结合，生成含密图像；

基于上述框架执行以下过程：

加密过程：加密者将秘密信息编码进去先验分布中，并通过Glow模型生成图像，此时图像即为含密图像；

解密过程：解密者得到含密图像后，通过Glow模型的逆过程得到秘密信息；

对抗过程：在加密、解密过程中，攻击者进行隐写分析以鉴别含密图像和非含密图像；Glow模型与攻击者进行对抗训练，最终得到无载体图像隐写模型。

2.根据权利要求1所述基于可逆神经网络的无载体图像隐写方法，其特征在于，在可逆神经网络中将Glow模型与生成式对抗网络结合得到公式：

其中θ^*是G_θ中网络参数的目标值，φ^*是D_φ中网络参数的目标值，λ₁是超参数，G_θ代表生成器，D_φ代表鉴别器，其中θ和φ分别是生成器和鉴别器的参数，V为联合训练过程，θ是网络参数，E是期望，p_θ(x)是生成模型G_θ所对应的生成分布，p_data为真实的数据分布，x的取值为{x₁,x₂,…,x_m from p_data}。

3.根据权利要求1所述基于可逆神经网络的无载体图像隐写方法，其特征在于，在编码和解码过程中，具体还包括：

a1.在编码时，首先将秘密信息按照设定的固定长度划分为一个个比特组，该固定长度为比特组的位数，接着使每个比特组对应一定范围内的数值，比特组之间对应的数值范围不重叠；

a2.从标准正态分布中随机采样，采样得到的数据记为z_a，再通过改变数据顺序的方式，使新的数据z_b中每个数据所在的范围，对应的比特组，正是秘密信息中的比特组；

a3.在解码时，只需要根据数据中每个数所在的范围，得到它所对应的比特组，最终将这些比特组连接起来，即为秘密信息。

4.根据权利要求3所述基于可逆神经网络的无载体图像隐写方法，其特征在于，所述步骤a2中，对从标准正态分布中随机采样得到的数据通过伪随机数产生器得到密钥序列，再通过异或密码来对秘密信息进行加密，得到随机的秘密信息，使每个比特组出现概率相同。

5.根据权利要求3所述基于可逆神经网络的无载体图像隐写方法，其特征在于，通过格雷编码将步骤a1中的多个比特组进行分组，在对一比特组数值的编码中，若任意两个相邻的代码只有一位二进制数不同，则这种编码为格雷码，格雷码从对应的n位二进制码字中直接得到n位格雷码码字，如公式所示：

其中GC代表格雷码，GC_i代表格雷码的第i+1位，B_i代表n位二进制码字中的第i+1位，并且当i＝n-1时，B_i+1＝0。

6.根据权利要求3所述基于可逆神经网络的无载体图像隐写方法，其特征在于，所述步骤a2中，为了提高编码效率执行以下步骤：

a21.将z_a中各个数值范围的数据分别存储起来，放入队列中，队列是一种先进先出的数据结构；

a22.初始化一个空数组z_b,对秘密信息以比特组为单位进行遍历，根据遍历到的不同比特组，来弹出对应范围内的值，加入z_b中；

a23.从组内数值数量多的比特组中提前预留出数据，将剩余的数据打乱顺序加在z_b中。

7.根据权利要求1所述基于可逆神经网络的无载体图像隐写方法，其特征在于，将Glow模型与生成对抗样本结合，生成含密图像的过程具体包括步骤：

b1.利用基于Glow模型中的可逆神经网络结构，在Glow模型中，先验分布作为图像的潜在特征，和图像之间是可以无损互相转化的，通过训练调整模型的参数，使模型生成的图像全部为对抗样本，并被隐写分析模型认为是真实图像；

b2.对于先验分布z，生成器G生成图像为G(z)，训练目标是让隐写分析网络A认为由生成器G生成的图像是真实图像，得到损失函数为：

loss₁＝-log(1-A(G(z)))；

b3.保留最开始训练好的模型G*，加入平均绝对值误差损失：

loss₂＝-log(1-A(G(z)))+λ₂|G^*(z)-G(z)|

其中λ₂是超参数。