CN111768326A - 一种基于gan扩增图像前景物体的高容量数据保护方法 - Google Patents

Abstract

本发明公开了一种基于GAN扩增图像前景物体的高容量数据保护方法，通过应用多种GAN于信息隐藏，得到嵌入失真概率图，并根据嵌入失真概率图计算不适合隐写区域，在不适合隐写区域中通过固定区域物体生成及信息嵌入模块生成前景物体，在生成图像中隐藏秘密信息，主要步骤如下：(1)将原始图像输入隐写概率图生成器；(2)计算隐写概率图；(3)计算不适合隐写区域；(4)向原始图像中增加纹理物体；(5)进行信息隐藏算法嵌入秘密信息。本发明预先为图像计算出不适合隐藏区域，实现对信息隐藏中原图像不适合隐藏区域的定向隐藏能力提升；提供增加隐藏容量、高安全性的高容量数据保护方法。

Description

一种基于GAN扩增图像前景物体的高容量数据保护方法

技术领域

本发明涉及高容量数据保护方法，尤其涉及一种基于GAN扩增图像前景物体的高容量数据保护方法。

背景技术

随着大数据的到来和科技的快速发展，数据安全和隐私保护成为国家和个人的关注重点。随着信息时代的发展，信息安全领域中的信息隐藏技术被广泛提出，以实现更隐蔽、安全地保护秘密信息。

信息隐藏是指利用数字载体(包括文本、图像、音频、视频等)的冗余性，将秘密信息隐藏于其中，得到含密载体。由于秘密信息嵌入后具有不可察觉性，因此可以在不引起监测方怀疑的情况下将含密载体公开传递至接收方。接收方通过相关的算法提取秘密信息。以图像为载体的信息隐藏技术是信息隐藏领域中极其重要的一部分。早期，研究者提出通过修改图像的最低有效位隐藏秘密信息，但其安全性较低。

近年来，多种基于GAN的信息隐藏技术被提出，例如，《基于生成式对抗网络的自动隐写失真学习》(Tang W,Tan S,Li B,et al.Automatic steganographic distortionlearning using a generative adversarial network[J].IEEE Signal ProcessingLetters,2017,24(10):1547-1551.)和《基于生成式对抗网络的空间图像隐写》(Yang J,Liu K,Kang X,et al.Spatial image steganography based on generativeadversarial network[J].arXiv preprint arXiv:1804.07939,2018)，研究者通过增加隐写分析器作为GAN中的一个判别器，在生成器生成图像的同时，将秘密信息隐藏于图像中，通过隐写分析器的对抗，使得秘密信息隐藏于更加隐蔽的地方，实现对抗隐写分析的目的。这个方法的提出，对信息隐藏进一步提升安全性开辟了新的方向。

虽然信息隐藏的安全性有效提升了，但是信息隐藏仍有一个极其重要的指标，即隐藏容量。以上方法均未考虑到，若生成图像的纹理较为光滑，即本身不适用于信息隐藏，则无法在提升安全性的同时保证隐藏容量。申请号CN201910340335.0的专利《一种基于物体局部生成对抗网络的大数据权属保护方法》中记载有通过在纹理光滑的背景区域(即不适合隐藏区域)生成前景物体，从而提高纹理复杂度，将秘密信息隐藏于前景物体中；同时在GAN结构中增加隐写分析器，使得信息隐藏算法更加安全、隐蔽。但是该方法存在如下问题：1)虽然利用GAN生成适合嵌入信息的前景物体，但未评判原图像的隐藏能力，这样可能会导致生成的前景物体并非位于原图的不合适隐藏区域；2)可以实现的前提是原图像不含前景物体，仅为背景图像。因此针对的图像范围有限，而并非任意图像，导致该方法具有局限性；3)在实现过程中，需要通过GAN对原图像进行背景重建，该过程计算量高，并且会降低原图像的视觉保真度。

发明内容

发明目的：本发明的目的是提供一种有效提高隐写算法的隐藏容量和数据隐蔽传递安全性的基于GAN扩增图像前景物体的高容量数据保护方法。

技术方案：本发明所述的高容量数据保护方法，通过应用多种GAN于信息隐藏，根据信息隐藏隐写失真代价函数得到嵌入失真概率图，并根据嵌入失真概率图计算不适合隐写区域，在不适合隐写区域中通过固定区域物体生成及信息嵌入模块生成前景物体，在生成图像中隐藏秘密信息，实现高容量数据有效保护，主要步骤如下：(1)将原始图像输入隐写概率图生成器；(2)计算隐写概率图；(3)计算不适合隐写区域；(4)向原始图像中增加纹理物体；(5)进行信息隐藏算法嵌入秘密信息。

步骤(1)中将一个批次的随机采样原始图像输入到隐写概率图生成模块中，输出原始图像的隐写概率图。

步骤(2)通过模拟嵌入函数来模拟秘密信息的嵌入，将隐写概率图和一组随机数作为输入，得到含密图像；随后，将原始图像和含密图像输入到隐写分析判别器中，得到隐写分析判别器的损失；对图像中每个单元像素点的隐写能力进行判断，确定每个像素点隐写失真概率，进而得到原始图像在一定负载率下的嵌入能力，计算隐写概率图生成器的损失。

步骤(2)中选用随机梯度下降算法分别计算隐写分析判别器和隐写概率图生成器的梯度，进行更新参数，完成一次迭代；通过设置迭代次数得到隐写概率图生成模型，进而得到的隐写概率图。

步骤(3)根据步骤(2)中输出的隐写概率图得到原始图像的每个像素点隐写失真概率；然后，通过激活函数根据每个像素点的隐写失真概率选定不适合隐写的像素点，得到激活点阵，并通过矩形选择算法对这些像素点进行矩形框选点；当出现不适合隐写的像素点分布过为离散、不集中的情况时，或出现图像中不适合隐写的像素点较少的情况时，会导致无法框选出有效的矩形框，则不扩增此类图像的前景物体，认为此类图像的隐藏能力强，直接用于后续信息隐藏；在不适合隐写的像素点出现局部或全局集中的情况时，则通过矩形选择算法进行矩形框确定，得到区域选定图；对区域选定部分依次在数据集中随机选择其相对合适的实例掩膜(instance mask)，并对instance mask通过仿射变化得到instancemask_，使得instance mask符合图像的框选框位置及尺寸。

步骤(4)中将原始图像和步骤(3)得到的变换过的instance mask_依次输入到物体生成器中，输出生成载体图像；通过判别器监督instance mask_区域的物体生成，确保instance mask_区域生成的前景物体更加真实。

步骤(5)中在生成载体图像上使用信息隐藏算法嵌入秘密信息，实现高容量的数据保护。

有益效果：本发明与现有技术相比，其显著效果如下：1、本发明预先为图像计算出不适合隐藏区域，为后续基于生成前景物体提升图像隐藏能力提供了指向，实现了对信息隐藏中原图像不适合隐藏区域的定向隐藏能力提升；2、在相同安全性的前提下，隐藏容量更高；在相同隐藏容量的前提下，安全性更高；3、提供了增加隐藏容量、高安全性的高容量数据保护方法，并可设计一套实现图像信息隐藏容量增加、图像隐写高安全性的信息隐藏系统。

附图说明

图1为本发明的总框架流程示意图；

图2为本发明的隐写概率图生成模块；

图3为本发明的不适合隐写区域确定模块；

图4为本发明的固定区域物体生成及信息嵌入模块；

图5为本发明的隐写概率图；

图6为本发明的不适合区域前景物体增加效果图，其中(a)为原图、(b)表示在不适合区域增加前景物体后的图像。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。

本发明基于GAN扩增图像前景物体的高容量数据保护方法的框架主要分为三个部分：隐写概率图生成模块、不适合隐写区域确定模块、固定区域物体生成及信息嵌入模块，其详细计算方法如下：

(一)隐写概率图生成模块

该模块的主要任务是定义和选取图像中的不适合隐写区域，如图2所示。

首先，将尺寸为H×W的原始图像x₀输入到生成器中，生成器由U-Net结构构成，通过生成器，将原始图像转换为一张隐写概率图，隐藏能力(capacity)由这张概率图计算得到，capacity计算方式如下所示。

公式(3)中，P_i，j为每个像素点的隐写概率，

和

分别表示对每个像素点进行+1/-1/0操作后的概率值。

其次，将隐写概率图及一组随机数n_i，j通过嵌入模拟器，得到像素修改图m′_i，j,

公式(4)中，n_i，j∈[0，1]。

但由于公式m′_i，j是一个截断函数，在训练中无法反向传播，所以通过Tanh函数模拟m′_i，j，使其符合嵌入模拟器的需求。

m_i，j＝-0.5×taqnh(λ(P_i，j-2×n_i，j))+0.5×tanh(λ(P_i，j-2×(1-n_i，j))) (5)

公式(5)中，λ是换算系数,m_i，j为模拟m′_i，j后的结果。

通过修改图m′_i，j可以得到含密图像，并将含密图像输入到隐写分析判别器中，另将原始图像输入到隐写分析判别器中，通过判别器对含密图像和原始图像分类，计算结果反向传播，不断对抗生成器。使得最终生成的隐写概率图P_i，j达到最准确的状态。其中判别器使用的是Xu-Net结构，损失函数为：

公式(7)中，y₁和y₂是判别器的Softmax输出，y′₁和y′₂是对应的真实数据(groundtruth)。

生成器的损失函数主要包括两个损失，分别是对抗损失

和熵损失

即

公式(9)中，Q是嵌入负载率，H和W分别表示图像的长和宽，capacity为图像的隐藏能力如公式(3)。

(二)不适合隐写区域确定模块

由隐写概率图生成模块，可以得到原始图像的每个像素点的隐写失真概率，如图3所示。在不适合隐写区域确定模块，需要根据每个像素点的隐写失真概率选定不适合隐写的像素点，并通过矩形选择算法对这些像素点进行矩形框选。若出现不适合隐写的像素点分布过为离散、不集中的情况，或出现图像中不适合隐写的像素点较少的情况，会导致无法框选出有效的矩形框，则不扩增此类图像的前景物体，认为此类图像的隐藏能力强，直接用于后续信息隐藏。若不适合隐写的像素点出现局部或全局集中的情况，则可通过矩形选择算法进行矩形框确定，得到区域选定图，对区域选定部分依次在数据集中随机选择其相对合适的实例掩膜(instance mask)，并对这些instance mask进行尺度、位置变换得到instancemask_，使得这些instance mask符合图像的框选框位置及大小。依次将这些变换过的instance mask_输入到下述固定区域物体生成模块，依次在不同的不适合隐藏区域生成前景物体。

首先，不适合隐写区域确定模块根据隐写概率图生成模块得到的概率图，确定不适合隐写的像素点，采用自定义的激活函数：

公式(10)中，χ为自定义数值，在实践中根据经验确定，P_i，j由隐写概率图模块生成的原图像每个像素点的隐写失真概率。

其次，在激活不适合隐写像素点后，使用矩形选择算法对激活部分(不适合隐藏区域)进行矩形框框选，选用类似卷积操作构造矩形选择算法。首先，将激活后的不适合隐写像素点激活图按照图像尺寸分割成H×W的格状，令不适合隐藏的像素点对应的格状标亮，得到激活点阵。然后通过尺寸依次增大的卷积核对其卷积(卷积核中每个单元数值均永恒设为1)，若卷积部分中的标亮总元素l_i，j与卷积内总元素c_i，j的比值大于一定的阈值，则选择其作为一个候选矩形框，最终确定不同区域的最大面积矩形框；若更大的卷积核确定的候选矩形框与之前的矩形框有重合部分，则选择较大的矩形框作为区域选定部分。

最后，通过在数据集中随机选择instance mask，并通过仿射变换对其进行尺度和位置变换得到instance mask_。

(三)固定区域物体生成及信息嵌入模块

本模块中的固定区域物体生成模块主要通过GAN实现，结构如图4所示。通过不适合隐写区域确定模块，可以得到通过仿射变换后的instancemask_，由此可得到前景语义分布图M，M＝{M₁，...，M_T}，其中T是需要生成的前景物体数量，M_t∈{0，1}^H，W，N是一个二值化张量，其中N表示数据集中的物体种类数量，定义了每一个需生成物体的位置、大小、形状和类别，H和W分别表示图像的长和宽。物体生成器G_O共有两个输入，分别是语义分布图M和原始图像x_o。将语义分布图映射到原始图像上，在语义分布图的instance mask_部分生成对应的前景物体。判别器D_obj的作用主要是监督instance mask_部分的物体生成，使得instancemask_部分生成的前景物体更加真实。为方便理解，定义两个额外变量，分别是：聚合语义图M_syn＝max_t∈{1...T}M_t∈{0，1}^H×W×N、前景物体覆盖图：

其中，M_t(ijn)表示前景物体的每个像素点的二值化张量，该公式表示若前景物体对应的像素点与生成物体部分的像素点相重合，则值为1，否则为0。

若一张原始图像中，不适合隐写的间隔区域较多，即图中需要间隔生成多个物体，则采取依次生成物体的方法。每次根据一个instance mask_生成一个物体，得到的生成图像，作为下一个生成过程的输入，直至所有的instance mask_均生成结束。生成器依次生成图像

式(11)中，Z为随机噪声，

表示没有前景物体的区域,

是指前一个根据mask生成的图像，M_t为二值化张量，⊙代表矩阵的点乘法运算。

判别器D_obj主要包含所有生成物体的损失函数L_objs、局部物体生成损失函数L_obj和Salimans等人(Salimans T,Goodfellow I,Zaremba W,Cheung V,Radford A,and ChenX.Improved techniques for training gans.In NIPS,2016.)提出的特征匹配损失函数L_fm。

式(12)、(13)中，I是全可微双线性插值，使得物体边框与原始空间大小保持一致，x为真实图像，x_o为原始图像，G_O为物体生成器，D_obj为判别器。

为前景物体覆盖图，M_syn为语义聚合图，z为随机噪声。

总损失函数L为：

L＝L_objs+αL_obj+βL_fm (14)

式(14)中，α和β为调节的参数，具体数值在实践中根据及经验确定。

本发明实现的详细步骤如下：

(1)如图1所示的隐写概率图生成模块，首先将一个批次的随机采样原始图像

输入到隐写概率图生成器G_P中，输出原始图像

的隐写概率图

其中，隐写概率图生成器G_P的结构为U-Net结构，整体由5层卷积层和5层反卷积层构成，每层卷积(反卷积)之后接有正则化层(BatchNorm)和激活层(Relu)。

(2)通过模拟嵌入函数来模拟秘密消息的嵌入，即将隐写概率图

和一组随机数

作为输入，输入给用作模拟嵌入的tanh函数，输出像素修改图

即

此处λ设置为100。将原始图像

与像素修改图

相加得到含密图像x′^k。随后，将原始图像

和含密图像x′^k输入到隐写分析判别器D_S中，分别输出y_i和y′_i；计算损失函数

(2-1)计算隐写概率图生成器G_P的损失函数，其中，+1/-1/0的嵌入概率分别为

隐写能力

则可得隐写概率图生成器G_P的损失函数为

此处嵌入负载率Q设置为0.4；

(2-2)根据(2-1)计算所得的

和

以Adam为随机梯度下降算法分别计算隐写分析判别器D_S和概率图生成器G_P的梯度，从而更新参数，完成一次迭代。整个过程设置迭代次数为10,000。得到概率图生成模型

至此，隐写概率图生成模块结束。

(3)不适合隐写区域确定模块根据隐写概率图生成模块输出的隐写概率图

通过激活函数

确定出适合/不适合的图像单元(像素点)

此处χ设置为0.9。

上适合隐写的图像单元标暗(值置为0)，不适合的图像单元l_i，j标亮(值置为1)。然后，将选取卷积面积为c_i，j卷积核(大小依次为5×5，12×12，

)对

扫描，再根据卷积核内的标亮点所占比例(实践中采用

)，即

将区域候选部分

保存。最后，将最大标亮区域即区域选定部分

输出，并随机选取instancemask，进行仿射变换置入

即instancemask_，至此，不适合隐写区域确定模块结束。图像的隐写失真概率图如图5所示。

(4)通过不适合隐写区域确定模块输出的结果，可以得到通过仿射变换后的instancemask_，由此可得到语义分布图M＝{M₁，...，M_T}，以及一个二值化张量M_t∈{0，1}^H×W×N。之后，将原始图像

和语义分布图M^k输入到物体生成器G_O中，输出生成图像，即

(4-1)判别器D_obj从真实数据集随机采样图像掩膜对(x，M)，以及从物体生成器G_O生成得到的图像掩膜对

分别作为输入，得到D_obj(x，M)和

接下来计算判别器D_obj的损失，即计算

以及特征匹配损失L_fm，则判别器D_obj的总损失为L＝L_objs+αL_obj+βL_fm，具体实施中设α＝0.1，β＝1。

(4-2)通过Adam优化函数计算梯度，并为判别器D_obj更新参数，并与生成器共享梯度，使生成器完成更新参数。至此，完成一次固定区域物体生成模块的训练过程。

在使用中，根据原始图像

物体掩膜

如图4所示，每次完成一次前景物体的生成，即

从而完成前景物体的依次生成，也就完成了向原始图像中增加纹理物体的操作。在确定区域生成纹理更为复杂的前景物体的实验效果如图6所示。

(5)在生成载体图像

上进行信息隐藏算法嵌入秘密信息，实现高容量的数据保护。

综上所述，本发明可以对整张原始图像进行失真代价计算，得到隐写失真概率图，对图像中每个单元像素点的隐写能力进行判断，确定隐写能力较低的部分，使得物体生成区域具有针对性，从而有效提高数据的安全性。同时即使原图像中包含部分前景物体，也不会影响本发明保护方法的实现；另外，通过对GAN的改进，使得生成器在隐藏能力较低的区域生成隐藏能力更高的前景物体，同时通过判别器的对抗，使得生成物体符合原图像的概率分布，从而保证生成图像的图像质量，进而实现在保证安全性的前提下大幅提升隐藏能力，或在确定隐藏容量的前提下有效提高安全性。利用本发明的基于图像前景物体增加的数据保护方法，便可设计出一套实现图像信息隐藏容量增加、图像隐写高安全的信息隐藏系统。

Claims (7)

1.一种基于GAN扩增图像前景物体的高容量数据保护方法，其特征在于，通过应用多种GAN于信息隐藏，得到嵌入失真概率图，并根据嵌入失真概率图计算不适合隐写区域，在不适合隐写区域中通过固定区域物体生成及信息嵌入模块生成前景物体，在生成图像中隐藏秘密信息，，主要步骤如下：(1)将原始图像输入隐写概率图生成模块；(2)计算隐写概率图；(3)计算不适合隐写区域；(4)向原始图像中增加纹理物体；(5)进行信息隐藏算法嵌入秘密信息。

2.根据权利要求1所述的基于GAN扩增图像前景物体的高容量数据保护方法，其特征在于，步骤(1)中将一个批次的随机采样原始图像输入到隐写概率图生成模块中，输出原始图像的隐写概率图。

3.根据权利要求1所述的基于GAN扩增图像前景物体的高容量数据保护方法，其特征在于，步骤(2)通过模拟嵌入函数来模拟秘密信息的嵌入，将隐写概率图和一组随机数作为输入，得到含密图像；随后，将原始图像和含密图像输入到隐写分析判别器中，得到隐写分析判别器的损失；

对图像中每个单元像素点的隐写能力进行判断，确定每个像素点隐写失真概率，进而得到原始图像在一定负载率下的嵌入能力，计算隐写概率图生成器的损失。

4.根据权利要求1或3所述的基于GAN扩增图像前景物体的高容量数据保护方法，其特征在于，步骤(2)中选用随机梯度下降算法分别计算隐写分析判别器和隐写概率图生成器的梯度，进行更新参数，完成一次迭代；通过设置迭代次数得到隐写概率图生成模型，进而得到的隐写概率图。

5.根据权利要求1所述的基于GAN扩增图像前景物体的高容量数据保护方法，其特征在于，步骤(3)建立不适合隐写区域确定模块，根据步骤(2)中输出的隐写概率图得到原始图像的每个像素点隐写失真概率；然后，通过激活函数根据每个像素点的隐写失真概率选定不适合隐写的像素点，得到激活点阵，并通过矩形选择算法对这些像素点进行矩形框选；

当出现不适合隐写的像素点分布过为离散、不集中的情况时，或出现图像中不适合隐写的像素点较少的情况时，则不扩增此类图像的前景物体，，直接用于后续信息隐藏；

在不适合隐写的像素点出现局部或全局集中的情况时，则通过矩形选择算法进行矩形框确定，得到区域选定图；

对区域选定部分依次在数据集中随机选择其相对合适的实例掩膜instance mask，并对instance mask通过仿射变化得到instancemask_，使得instance mask符合图像的框选框位置及尺寸。

6.根据权利要求1所述的基于GAN扩增图像前景物体的高容量数据保护方法，其特征在于，步骤(4)中将原始图像和步骤(3)得到的变换过的instance mask_依次输入到所述固定区域物体生成及信息嵌入模块的物体生成器中，输出生成载体图像；通过判别器监督instance mask_区域的物体生成，确保instance mask_区域生成的前景物体更加真实。

7.根据权利要求1所述的基于GAN扩增图像前景物体的高容量数据保护方法，其特征在于，步骤(5)中在生成载体图像上使用信息隐藏算法嵌入秘密信息。

Images