CN112767226A - 基于gan网络结构自动学习失真的图像隐写方法和系统 - Google Patents

Abstract

本发明公开了一种基于GAN网络结构自动学习失真的图像隐写方法和系统，其将增强载体图像输入预设的改进U‑Net网络，依次生成初始像素改变概率图和初始含密图像，将初始含密图像输入判别网络，得到判别结果，根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络，将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像。

Description

基于GAN网络结构自动学习失真的图像隐写方法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于GAN网络结构自动学习失真的图像隐写方法和系统。

背景技术

图像隐写是一种将秘密信息隐藏于载体图像中进行隐蔽通信的技术。该技术在信息安全、数据通信等多方面都发挥着重要作用，对保障数据安全、维护社会稳定都具有重要意义。然而图像隐写存在着较大的挑战：定义隐写失真代价函数的准则是启发式原则，设计失真代价函数的过程依赖于人为经验知识，缺少统计检测的验证交互。

近年来，深度学习的研究与发展进入了爆发时期，在计算机视觉等领域产生了许多研究成果，相比于传统根据先验知识手工设计的方法，深度学习具有强大的特征学习能力。研究者们将深度学习引入图像隐写中，让网络学习更隐蔽的隐写行为，如使用GAN网络生成更适于隐写的载体图像、自动学习隐写失真，使用编码-解码网络直接生成含密图像。但这些方法依然存在一些问题，如训练不稳定、图像质量差影响隐写的安全性等。随着隐写分析器与神经网络结构的结合发展，隐写分析检测准确率持续上升，图像隐写始终面临着挑战，需要进一步提升安全性能。

发明内容

针对以上问题，本发明提出一种隐蔽性好、训练高效的基于GAN网络结构自动学习失真的图像隐写方法和系统。

为实现本发明的目的，提供一种基于GAN网络结构自动学习失真的图像隐写方法，包括如下步骤：

S20，将增强载体图像输入预设的改进U-Net网络，生成初始像素改变概率图；

S30，令初始像素改变概率图模拟最优嵌入过程，生成初始含密图像；

S40，将初始含密图像输入判别网络，得到判别结果；所述判别结果包括将初始含密图像识别为载体图像或含密图像；

S50，根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络；所述生成式对抗网络包括改进U-Net网络和判别网络；

S60，将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像。

在一个实施例中，将增强载体图像输入预设的改进U-Net网络包括：

采用图像边缘增强方法对载体图像进行预处理操作，得到增强载体图像，将增强载体图像输入预设的改进U-Net网络。

在一个实施例中，改进U-Net网络的设置过程包括：

在U-Net网络结构的基础上增加浅层的网络连接和深层的网络连接，以强化生成网络提取到的特征信息，得到改进U-Net网络。

一种基于GAN网络结构自动学习失真的图像隐写系统，包括：

第一输入模块，用于将增强载体图像输入预设的改进U-Net网络，生成初始像素改变概率图；

生成模块，用于根据初始像素改变概率图模拟最优嵌入过程，生成初始含密图像；

第二输入模块，用于将初始含密图像输入判别网络，得到判别结果；所述判别结果包括将初始含密图像识别为载体图像或含密图像；

计算模块，用于根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络；所述生成式对抗网络包括改进U-Net网络和判别网络；

第三输入模块，用于将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像。

上述基于GAN网络结构自动学习失真的图像隐写方法，具有如下有益效果：

1、使用图像边缘算法对图像进行预处理，减少网络的搜索空间和训练时间，利于提升网络整体的学习效率；

2、使用改进的U-Net网络结构作为生成网络，提高有效特征的复用率，使生成的嵌入改变概率图更准确；3、使用XuNet网络结构作为判别网络，实时检测生成网络的训练效果，提高隐写的隐蔽性；4、使用对抗损失和容量损失优化网络，使生成网络生成准确的嵌入改变概率图，在此基础上得到的含密图像可以有效抵抗隐写分析的检测，同时保证嵌入的秘密信息满足要求的嵌入容量。

附图说明

图1是一个实施例的基于GAN网络结构自动学习失真的图像隐写方法流程图；

图2是另一个实施例的基于GAN网络结构自动学习失真的图像隐写方法流程图；

图3是一个实施例中不同图像边缘增强算法下得到的像素嵌入改变概率图；

图4是一个实施例的U-Net网络结构；

图5是一个实施例的XuNet网络结构；

图6是一个实施例的GAN网络模型。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，本申请一方面提供一种基于GAN网络结构自动学习失真的图像隐写方法，包括如下步骤：

S20，将增强载体图像输入预设的改进U-Net网络，生成初始像素改变概率图。

S30，令初始像素改变概率图模拟最优嵌入过程，生成初始含密图像。

S40，将初始含密图像输入判别网络，得到判别结果；所述判别结果包括将初始含密图像识别为载体图像或含密图像。

上述判别网络可以包括XuNet网络，此时可以构建XuNet网络结构作为判别网络，将生成的初始含密图像输入判别网络进行判别，输出二分类结果：载体图像或含密图像。

S50，根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络；所述生成式对抗网络包括改进U-Net网络和判别网络。

上述生成式对抗网络也可以称为GAN网络。上述判别结果被用于计算生成网络的对抗损失，再根据目前的隐写容量计算容量损失，二者构成总损失函数优化生成网络，使之生成更准确的像素改变概率，同时保证嵌入的信息容量达到目标载荷。上述判别结果被用于计算判别网络的对抗损失，最小化生成网络的总损失函数和判别网络的对抗损失使GAN网络最优化，当损失下降并达到稳定时，GAN网络训练结束。

S60，将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像。

在实际应用中，使用训练好的生成网络生成像素改变概率并计算嵌入失真，根据最经典的STC编码(伴随式矩阵编码)嵌入秘密信息，以得到所需的含密图像(原始图像对应的隐写图像)。

上述基于GAN网络结构自动学习失真的图像隐写方法，将增强载体图像输入预设的改进U-Net网络，生成初始像素改变概率图，根据初始像素改变概率图模拟最优嵌入过程，生成初始含密图像，将初始含密图像输入判别网络，得到判别结果，根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络；所述生成式对抗网络包括改进U-Net网络和判别网络，将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像，传输所得到的隐写图像，使相关接收方在获取到所需图像的同时，提升所传输的图像(隐写图像)在传输过程中的安全性。

在一个实施例中，将增强载体图像输入预设的改进U-Net网络包括：

采用图像边缘增强方法对载体图像进行预处理操作，得到增强载体图像，将增强载体图像输入预设的改进U-Net网络。

本实施例采用增强载体图像作为改进U-Net网络的输入部分，突出显示了图像的高频区域。具体可以在Laplacian(拉普拉斯)、Sobel(索伯)、Prewitt、Roberts(罗伯茨)四个图像边缘增强算法中选取最合适的图像边缘增强方法，对载体图像进行预处理操作，将增强后的载体图像输入生成网络，减少生成网络的搜索空间，提升网络的训练速度。

在一个实施例中，改进U-Net网络的设置过程包括：

在U-Net网络结构的基础上增加浅层的网络连接和深层的网络连接，以强化生成网络提取到的特征信息，得到改进U-Net网络。

本实施例可以实现U-Net网络结构调整，在U-Net网络结构的基础上增加浅层的网络连接和深层的网络连接，提高有效特征的复用率，强化生成网络提取到的特征信息。用调整后的U-Net网络结构作为生成网络，生成像素改变概率图，使生成的像素改变概率图更精确有效。

在一个实施例中，采用GAN网络结构，使用生成网络U-Net生成像素的嵌入改变概率图，通过判别网络XuNet实时检测图像隐写的隐蔽性，大大减少了人为参与，提高了隐写的安全性能。由于隐写分析难以发现图像高频区域统计特征的异常情况，使用图像边缘增强算法突出显示图像像素值发生突变的区域，将增强后的图像输入生成网络，大大减少了网络的搜索空间，减少网络训练的时间。调整U-Net网络结构，使网络结构更紧凑，增强有效特征的复用率，进一步增强修改概率图的准确性，从而提高图像隐写的隐蔽性。上述基于GAN网络结构自动学习失真的图像隐写方法也可以参考图2所示，包括如下过程：

(1)选取图像边缘增强算法

为了使网络更快发现图像中适于隐写的区域、学习合理的失真函数，使用图像边缘增强算法突出显示图像像素值发生突变的区域，也称为边缘区域。常用的图像边缘增强算法包括Laplacian，Sobel，Prewitt和Roberts，由于Sobel，Prewitt和Roberts算子都是基于一阶梯度的增强算法，具有方向性，不能对所有方向的边缘产生相同的增强效果，而Laplacian算子基于二阶微分，具有各同向性。使用XuNet和SRNet隐写分析网络对这四种图像边缘增强算法进行效性进行验证，产生的嵌入改变概率图如图3所示，由Laplacian算子对应的像素改变概率图计算得到的含密图像更能抵抗隐写分析的检测。因此，选取Laplacian算子对图像进行图像增强。

(2)调整U-Net网络结构，搭建所需的生成网络(改进U-Net网络)，生成像素改变概率图

以U-Net网络结构构建的生成网络可以有效学习载体图像的像素变化概率，然而U-Net结构没有充分利用不同层次的有效特征。密集连接的U-Net++网络结构在每一层特征之间都添加了跳跃连接，但需要训练的参数数量更大。为了使网络结构更轻量，同时保证有效特征的复用率，获得更多细粒度的特征，调整U-Net网络结构，适当增加不同网络层之间的跳跃连接，加强网络对原始图像中有效特征的学习。对U-Net不同的收缩路径上采样，使用XuNet和SRNet隐写分析网络检测不同生成网络得到的像素改变概率图的有效性，验证可得，分别在收缩路径的第2层和第7层进行上采样得到的像素改变概率图最为有效，图4所示为本实施例的U-Net网络结构。

(3)模拟最优嵌入过程，生成含密图像

在得到像素改变概率图后，模拟真实环境中像素点的修改情况，最理想的最优模拟嵌入为：

其中，m_i,j代表了(i,j)像素点的修改值，n_i,j是[0,1]之间的随机数，p_i,j是(i,j)像素点的改变概率。由于阶跃函数不支持导数的反向传播，因此这个函数不能直接用于网络的训练。因此，可以使用TES网络进一步模拟这个阶跃函数，或者使用式(2)模拟：

其中，tanh(·)是双曲正切函数，λ控制了阶跃处的连续程度，λ值越大，式(2)越接近于阶跃函数，值为0，式(2)为常数0，为了使函数连续，λ取60。由于TES网络需要提前训练，增加了额外的时间开销，因此使用式(2)进一步模拟阶跃函数，可以得到原始图像对应的像素修改图。根据式(3)就可以模拟生成含密图像：

y_i,j＝x_i,j+m_i,j (3)

其中，y_i,j代表模拟的含密图像，x_i,j代表原始载体图像。

(4)构建XuNet网络结构，作为判别网络

为了对生成器的性能进行评价并提升训练效果，判断像素嵌入失真是否合理，即生成的像素改变概率是否合理，同时考虑整个网络的实现效率，选择最常用的隐写分析器XuNet作为判别器，区分模拟生成的含密图像与载体图像。构建的XuNet网络结构如图5所示。

(5)根据对抗损失和容量损失训练GAN网络

在整个网络的训练过程中，生成器和判别器的性能需要同时提升，图6为本实施例的GAN网络模型。判别器的目标是区分载体图像和当前生成的含密图像，因此总损失函数L_D被定义为：

其中，y_i'代表真实标签，y_i代表判别器中softmax函数的输出。

对于生成器，损失函数除了式(5)对抗损失L_G1，还包含容量损失，使网络学习像素改变失真的同时保证秘密信息的嵌入负载达到容量需求。用数学期望来评价图像中的嵌入信息的平均容量，如式(6)所示。

L_G1＝-L_D (5)

其中，C代表基于像素改变概率的嵌入容量，M和N分别代表图像的长和宽，i和j分别代表图像像素行和列的位置。

对于给定的嵌入容量Q，图像可以嵌入的秘密信息的容量H为：

H＝M×N×Q (7)

因此，容量损失L_G2可以定义为式(8)，保证当前训练情况下图像可以隐藏足够的秘密信息。

L_G2＝(C-H)² (8)

结合对抗损失L_G1和容量损失L_G2，生成器整体的损失函数定义为：

L_G＝α×L_G1+β×L_G2 (9)

其中，α和β被用于控制对抗损失和容量损失的权重。

(6)使用训练好的生成网络生成像素改变概率并计算嵌入失真，根据STC编码嵌入秘密信息，得到含密图像

网络训练结束之后，使用生成网络生成像素改变概率，根据式(10)计算像素的嵌入失真。在实际的嵌入过程中，结合载体图像、秘密信息、像素嵌入代价、密钥，使用伴随式矩阵编码(syndrome-trellis codes,STC)得到含密图像。在秘密信息的提取方，使用相同的密钥，可以实现秘密信息的无损提取。

ρ_i,j＝ln(1/p_i,j-2) (10)

式中，ρ_i,j表示像素嵌入式真。

综上所述，本实施例所述的基于GAN网络结构自动学习失真的图像隐写方法，充分结合了图像隐写的先验知识与网络强大的学习能力；使用图像边缘增强算法，将增强的载体图像输入生成网络，减少了网络的搜索空间与训练时间；调整U-Net网络结构，增加了有效特征的复用率，生成有效的像素修改概率，提高隐写的隐蔽性能；采用隐写分析网络作为判别网络，对生成网络的性能做实时判别，提高模型抗隐写分析检测的能力。

上述基于GAN网络结构自动学习失真的图像隐写方法，具有如下有益效果：

1、使用图像边缘算法对图像进行预处理，减少网络的搜索空间和训练时间，利于提升网络整体的学习效率；

2、使用改进的U-Net网络结构作为生成网络，提高有效特征的复用率，使生成的嵌入改变概率图更准确；3、使用XuNet网络结构作为判别网络，实时检测生成网络的训练效果，提高隐写的隐蔽性；4、使用对抗损失和容量损失优化网络，使生成网络生成准确的嵌入改变概率图，在此基础上得到的含密图像可以有效抵抗隐写分析的检测，同时保证嵌入的秘密信息满足要求的嵌入容量。

本申请另一方面提供一种基于GAN网络结构自动学习失真的图像隐写系统，包括：

第一输入模块，用于将增强载体图像输入预设的改进U-Net网络，生成初始像素改变概率图；

生成模块，用于根据初始像素改变概率图模拟最优嵌入过程，生成初始含密图像；

第二输入模块，用于将初始含密图像输入判别网络，得到判别结果；所述判别结果包括将初始含密图像识别为载体图像或含密图像；

计算模块，用于根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络；所述生成式对抗网络包括改进U-Net网络和判别网络；

第三输入模块，用于将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像。

关于基于GAN网络结构自动学习失真的图像隐写系统的具体限定可以参见上文中对于基于GAN网络结构自动学习失真的图像隐写方法的限定，在此不再赘述。上述基于GAN网络结构自动学习失真的图像隐写系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于GAN网络结构自动学习失真的图像隐写方法，其特征在于，包括如下步骤：

S20，将增强载体图像输入预设的改进U-Net网络，生成初始像素改变概率图；

S30，令初始像素改变概率图模拟最优嵌入过程，生成初始含密图像；

S40，将初始含密图像输入判别网络，得到判别结果；所述判别结果包括将初始含密图像识别为载体图像或含密图像；

S50，根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络；所述生成式对抗网络包括改进U-Net网络和判别网络；

S60，将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像。

2.根据权利要求1所述的基于GAN网络结构自动学习失真的图像隐写方法，其特征在于，将增强载体图像输入预设的改进U-Net网络包括：

采用图像边缘增强方法对载体图像进行预处理操作，得到增强载体图像，将增强载体图像输入预设的改进U-Net网络。

3.根据权利要求1所述的基于GAN网络结构自动学习失真的图像隐写方法，其特征在于，改进U-Net网络的设置过程包括：

在U-Net网络结构的基础上增加浅层的网络连接和深层的网络连接，以强化生成网络提取到的特征信息，得到改进U-Net网络。

4.一种基于GAN网络结构自动学习失真的图像隐写系统，其特征在于，包括：

第一输入模块，用于将增强载体图像输入预设的改进U-Net网络，生成初始像素改变概率图；

生成模块，用于根据初始像素改变概率图模拟最优嵌入过程，生成初始含密图像；

第二输入模块，用于将初始含密图像输入判别网络，得到判别结果；所述判别结果包括将初始含密图像识别为载体图像或含密图像；

计算模块，用于根据判别结果计算判别网络的损失，根据判别结果和当前的隐写容量计算生成网络的总损失函数，以最小化损失函数为目标优化生成式对抗网络，当损失下降并保持稳定时认为训练结束，在训练结束后从生成式对抗网络中提取生成网络；所述生成式对抗网络包括改进U-Net网络和判别网络；

第三输入模块，用于将待传输的原始图像输入生成网络，得到像素改变概率，计算像素改变概率对应的嵌入失真，依据嵌入失真采用伴随式矩阵编码技术对秘密信息与待传输的原始图像进行编码，得到与原始图像对应的隐写图像。

Images