CN113947512A - 一种大容量可控无载体图像隐写方法 - Google Patents

Abstract

本发明公开了一种大容量可控无载体图像隐写方法，其特征在于，包括以下步骤：S1、根据需要，选择语义图像；S2、根据语义图像，选择有一定关联的图像作为风格参考图像；S3、将语义图像和风格参考图像输入图像预处理工具进行预处理；S4、将经过预处理的图像输入领域对齐网络进行处理，处理过程中生成中间结果；S5、将中间结果和秘密图像合并之后输入隐藏网络，输出含密图像；S6、消息发送方将含密图像发送给持有训练完毕的秘密消息提取网络的消息接收方，消息接收方采用秘密消息提取网络将秘密图像重新提取。本发明利用了无载体隐写框架，不需要使用指定的载体图像来嵌入秘密数据，从根本上抵抗隐写分析工具的检测，显著提高了图像的安全性。

Description

一种大容量可控无载体图像隐写方法

技术领域

本发明属于图像信息隐藏领域技术领域，具体涉及一种大容量可控无载体图像隐写方法。

背景技术

传统的图像信息隐藏方法需要复杂的人类交互和先验知识，例如最原始的空域隐写方法包括有最低有效位(LeastSignificantBit，简称LSB)算法，±1嵌入算法等。同时这些算法所得到的含密图像都存在质量下降和统计特性发生变化等问题和缺陷。后来研究人员又针对该缺陷进行改进从而提出的自适应隐写算法，虽然能够减少秘密信息对载体图像统计特性造成的失真，但仍旧未能消除人为设计隐写算法在秘密信息嵌入过程中对载体图像造成的改动痕迹。现有的方法依赖于专家经验和专业知识，因此限制了进一步应用。随着深度学习在图像信息隐藏领域的应用实践，出现了越来越多的基于深度学习知识的隐写方法。但是这些方法大都延续了基于“嵌入失真+隐写编码”架构实现图像的自适应隐写思路，很难在图像质量和嵌入容量之间实现平衡。近几年在本领域内兴起了无载体隐写方法，利用图像合成技术来实现信息隐藏。但是目前的无载体隐写方法生成的含密图像或只能携带很少的秘密消息，或在图像质量上面不能达到要求。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种大容量可控无载体图像隐写方法，充分利用了无载体隐写框架的作用，不需要使用指定的载体图像来嵌入秘密数据，从根本上抵抗隐写分析工具的检测，显著提高了图像的安全性。

为了达到上述目的，本发明采用以下技术方案：

一种大容量可控无载体图像隐写方法，包括以下步骤：

S1、根据使用者的传输环境需要，选择语义图像；

S2、根据选择的语义图像，选择有一定关联的图像作为风格参考图像；

S3、将语义图像和风格参考图像输入图像预处理工具进行预处理，图像预处理工具包括图像剪切工具和图像伸缩工具，先将图像根据使用者输入的所期望的大小进行剪切，然后再将剪切之后的图像统一伸缩至256x256像素，得到待输入的对应图像；

S4、将经过预处理的对应图像输入领域对齐网络进行处理，处理过程中生成中间结果留给后续使用；

S5、将中间结果和秘密图像合并之后输入隐藏网络，输出所需要的含密图像；领域对齐网络和隐藏网络均为含密图像生成网络的组成；

S6、消息发送方持有含密图像，并将其发送给持有训练完毕的秘密消息提取网络的消息接收方，消息接收方采用秘密消息提取网络将秘密图像重新提取，得到提取的秘密图像。

进一步的，步骤S2具体为：

使用者根据通信语境选择合适的风格参考图，然后手动绘制或者在公共数据中选择一个相应的语义图像；

为了获得足够数量的训练数据，使用一个预训练的VGG19网络对所采用的数据集进行特征提取，然后进行两两相关性计算，相关性采用余弦距离来计算，从而建立每一个图像相对应的风格参考图像合集。

进一步的，领域对齐网络中，利用两个独立的特征提取器，建立语义图像和风格参考图像之间的语义关联；

其中，领域对齐网络包括特征提取部分和相似度计算部分；

特征提取部分用于将输入的图像提取出抽象特征提供至相似度计算部分进行相似度的计算；

特征提取部分具体包括以下步骤：首先将语义图像和风格参考图像输入两个独立的特征提取器，特征提取器第1个计算组包括一个卷积核大小为3，步长为1的卷积层，一个Instance Normalization归一化层和一个LeakyReLU激活函数层，该计算组接受3x256x256的图像输入，输出64x256x256的特征输出，第2个计算组包括一个卷积核大小为3，步长为2的卷积层，一个Instance Normalization归一化层和一个LeakyReLU激活函数层，该计算组接受64x256x256的图像输入，输出128x256x256的特征输出，第3个计算组和第1个计算组结构一致，该计算组接受128x256x256的特征输入，输出256x256x256的特征输出，第4个计算组和第2个计算组结构一致，第5个计算组和第1个计算组结构一致，经由第4个和第5个计算组得到512x64x64的特征，再将该特征输入3个连续的SPADE Resnet Block模块进行计算，经由这3个模块计算后特征由大小形状为512x64x64转换到同样大小的512x64x64的特征图，再转换到256x64x64；其中，两个特征提取器的网络结构一致，但经过模型训练阶段学习到的参数不同；SPADE Resnet Block模块为结合了SPADE技术的Resnet网络模块；

相似度计算部分用于将特征提取部分输入进来的两个图像特征通过计算得到一个关系矩阵，该关系矩阵描述最前端输入进来的语义图像和风格参考图像之间的语义对应关系；

相似度计算部分具体包括以下步骤：首先将特征提取部分输入进来的通过语义图像提取的特征和通过风格参考图像提取的特征分别输入进三个连续的Residual Block模块，特征形状大小保持256x64x64，接着将两个256x64x64的特征分别经由一个卷积核大小为1，步长为1的卷积计算层，最后将两个256x64x64的图像特征F_x和F_y放入关系矩阵计算层进行如下计算得到关系矩阵：

其中，F_x和F_y分别是经有语义图像和风格参考图像得到的特征，

和

分别是将F_x和F_y在特征通道层面进行均值计算得到的；Residual Block模块是残差网络的一个子模块。

进一步的，步骤S4具体包括以下子步骤：

S41、将语义图像和风格参考图像分别输入进一个特征提取器，提取出相应的特征图；

S42、将步骤S41提取到的两个特征图按通道进行归一化后计算每个特征点之间的相似度，得到一个关系矩阵；

S43、以步骤S42得到的关系矩阵作为系数，原始风格参考图像作为基，生成中间结果。

进一步的，步骤S5具体为：

风格参考图像通过关联矩阵进行语义转换，和三通道的秘密图像合并之后输入隐藏网络，生成可放入信道传输的含密图像；

含密图像在包括秘密图像的基础上还具有可控的语义和风格内容信息。

进一步的，隐藏网络具体包括下采样部分和上采样部分，下采样部分用于将输入的图像组合由大分辨率转化为小分辨率的特征图，达到增大感受野的目的，使同样3x3的卷积能在更大的图像范围上进行特征提取，并且方便后续上采样部分进行特征融合，上采样部分利用下采样部分得到的小尺寸特征图来合成含密图像；

下采样部分具体为，首先接受6x256x256的图像组合，该图像组合由秘密图像和经过步骤S43得到的中间结果组成，经由一个卷积计算组ConvolutionBlock的运算之后，生成64x256x256的特征图，再将该特征图经由一个MaxPool最大池化计算组将特征图的尺寸减半，变为64x128x128；

其中，ConvolutionBlock卷积计算组包含连续两个卷积层核大小为3，步长为1的卷积层，并且每个卷积层后面紧跟Batch Normalization归一化层和ReLU激活函数层；

MaxPool最大池化计算组的核大小为3，步长设为2；MaxPool最大池化计算组后面连续紧接三个由一个ConvolutionBlock卷积计算组加一个MaxPool最大池化计算组组成的组合，该三个组合的结构和作用与第一个组合的ConvolutionBlock卷积计算组和MaxPool最大池化计算组的完全一致，并且特征图由64x128x128变为512x16x16，最后再将该512x16x16的特征图输入到一个ConvolutionBlock卷积计算组中，生成1024x16x16的特征图；

上采样部分具体为，首先将由下采样部分得到的1024x16x16的特征图经过核大小为2，步长为2的ConvTranspose反卷积层变为256x32x32的特征图，并且，由下采样部分得到的1024x16x16的特征图还要同时经过一个核大小为2的Upsample上采样计算使得尺寸增倍，并经过一个SPADE Resnet Block模块，此时特征图变为256x32x32的形式，接着一个ConvolutionBlock卷积计算组同时接收这两条路径分别得到的256x32x32特征图，并且从同深度的下采样部分的ConvolutionBlock卷积计算组中获得512x32x32的特征图，即该ConvolutionBlock卷积计算组同时接受了三个不同路径下的特征图的输入，并生成512x32x32的特征图；再进行三次同样的运算操作，即一个ConvolutionBlock卷积计算组将接受来自ConvTranspose反卷积层计算后的特征图、来自SPADE Resnet Block模块计算后的特征图以及来自在下采样部分同深度的ConvolutionBlock卷积计算组输出的特征图，操作完成后，512x32x32的特征图变为64x256x256的特征图，最后利用一个卷积核大小为3，步长为1的卷积计算，将通道数由64变为3，即生成3x256x256的含密图像；

其中，引入SPADE Resnet Block模块用于在上采样部分引入经由步骤S43得到的中间结果，利用这个中间结果的语义特征更好的控制最终合成的含密图像的语义结构。

进一步的，秘密消息提取网络的具体结构为：

秘密消息提取网络接受由隐藏网络得到的3x256x256的含密图像的输入，经过一个包含核大小为3步长为1的卷积层、Batch Normalization归一化层和ReLU激活函数层的运算组后，生成64x256x256的特征图，再经过4个同样结构的运算组，每个运算组都不改变特征图的尺寸，仅将特征图的通道数进行增倍或者减半，经过4个运算组之后，生成64x256x256的特征图，最终经过一个核大小为3，步长为1的卷积计算层和Tanh激活函数层，将64x256x256的特征图变为3x256x256的输出，该输出即被提取出来的秘密图像。

进一步的，含密图像生成网络训练时，采用生成对抗网络的多尺度鉴别器，多尺度鉴别器接收生成的含密图像和真实图像的输入，进行真假二分类判断，与含密图像生成网络一起构成生成对抗网络，帮助含密图像生成网络的训练，其训练过程中的函数将采用Hinge损失：

其中，o和o′分别是合成的含密图像和真实图像。

进一步的，含密图像生成网络以输入进来的语义图像、风格参考图像以及秘密图像，合成一个含密图像；

在含密图像生成网络的训练过程中以五种损失作为损失函数进行约束，五种损失具体包括含密图像和原语义图像之间在语义上的感知损失、生成的含密图像和原风格参考图像之间风格上的Contextual损失、生成对抗网络中来自多尺度鉴别器判别损失、领域对齐损失和循环一致性损失；

训练过程中以Adam优化器来进行网络参数的更新；

其中，生成的含密图像和原语义图像之间在语义上的感知损失，使用预训练后的VGG19的高层特征做L2距离计算：

其中，o和x分别为生成的含密图像和原语义图像，

表示使用预训练后的VGG19提取到的第j层高层特征；

生成的含密图像和原风格参考图像之间风格上的Contextual损失，具体使用预训练后的VGG19的低层特征做余弦距离计算，通过对这些特征进行相似性度量来替代对图像的空间位置进行度量；由于这种纹理损失不是完全全局的，会有对特征的计算，所以约束到合成的含密图像的内容上：

其中，o和y分别是生成的含密图像和风格参考图像，

表示使用预训练后的VGG19提取到的第j层低层特征，N_L表示L层的特征数量，w_L表示不同层自身的重要程度；

生成对抗网络中来自多尺度鉴别器判别损失具体为：

其中，D表示生成对抗网络中的鉴别器；

领域对齐损失，该损失用于约束领域对齐网络中的两个特征提取器，使得它们将输入的语义图像和风格参考图像对齐到一个统一的特征空间中：

其中，o′是语义图像相对应的真实图像，F₁和F₂分别是约束领域对齐网络中的两个特征提取器；

循环一致性损失，该损失用于将风格参考图经过领域对齐网络生成的关系矩阵转成扭曲图像后，还要保证能够返还回原来的风格参考图，从而避免扭曲后的风格参考图变得与原来完全不相关；直接计算返还回的风格参考图和原来的风格参考图的L1损失：

其中，x和y分别是输入进来的语义图像和风格参考图像，C代表领域对齐网络，θ_C是该网络要学习的参数。

进一步的，秘密图像提取损失：

其中，s′和s分别是提取出来的秘密图像和原始输入的秘密图像；

针对生成对抗网络中的多尺度鉴别器的进行训练：

L_D＝E(max(0，1-D(o′)))+E(max(0，1+D(G(x，y，s))))

其中，D表示多尺度鉴别器，G表示与该多尺度鉴别器组成生成对抗网络的含密图像生成网络，x、y以及s分别是输入进含密图像生成网络的语义图像、风格参考图像以及秘密图像，o′是语义图像x所对应的真实图像。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明创造能够生成高质量且高容量的含密图像，这是由本发明创造所设计的整体网络框架和损失函数所带来的。它由3个网络组成：含密图像生成网络，秘密消息提取网络和生成对抗网络的多尺度鉴别器。含密图像生成网络又分为领域对齐网络和隐藏网络。

2、本发明创造能够实现根据秘密消息传输场景的需要控制含密图像的生成过程，有更高的实用性。这个效果是由于本发明创造使用了领域对齐网络，能够将输入进来的语义图像和风格参考图像之间做领域对齐，并且由于加上了损失函数列表中的正则损失，更好的将两者适应到同一特征空间中。

3、本发明创造能够在生成质量和秘密消息的可靠传输中取到很好的平衡，这是由于我们设计了在Unet的基础上增加Spatially-adaptive normalization技术，从而获得了适合隐写的图像合成网络。

4、本发明创造能够提高含密图像的安全性，这是由于我们采用了无载体隐写的思路，跳出了“嵌入载体”的一般隐写策略。

附图说明

图1是本发明实施整体流程图；

图2是本发明SPADEResnetBlock结构图；

图3是本发明ResidualBlock结构图；

图4是本发明含密图像生成流程。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明，一种大容量可控无载体图像隐写方法，包括以下步骤：

S1、根据使用者的传输环境需要，选择合适的语义图像，这个语义图像可以由使用者通过常规的画图工具绘画得到，也可以是从互联网获取；

S2、根据选择的语义图像，从图库中选择有一定关联的图像作为风格参考图像；为了获得足够数量的训练数据，使用一个预训练的VGG19网络对所采用的数据集进行特征提取，然后进行两两相关性计算，相关性采用余弦距离来计算，从而建立每一个图像相对应的风格参考图像合集。

S3、将语义图像和风格参考图像输入图像预处理工具，得到待输入的对应图像(C×H×W)；

其中，图像预处理工具包括图像剪切工具和图像伸缩工具，先将图像根据使用者输入的所期望的大小(大于256x256像素)进行剪切，然后再将剪切之后的图像统一伸缩至256x256像素，得到待输入的对应图像(C×H×W)。

S4、将经过预处理的图像输入领域对齐网络，生成中间结果留给后续使用；具体包括以下子步骤：

S41、将语义图像和风格参考图像分别输入进一个特征提取器，提取出相应的特征图；

S42、将步骤S41提取到的两个特征图按通道进行归一化后计算每个像素点之间的相似度，得到一个关系矩阵；

步骤4-2中的计算过程，用公式表达为如下：

其中，

和

分别表示两特征F_x和F_x的均值向量，

表示获得的关系矩阵。

S43、以步骤S42得到的关系矩阵作为系数，原始风格参考图像作为基，生成中间结果。

在本实施例中，领域对齐网络和隐藏网络均为含密图像生成网络的一部分，含密图像生成网络起传统隐写中编码器的作用，生成携带秘密消息的含密图像；

领域对齐网络中，利用两个独立的特征提取器，建立语义图像和风格参考图像之间的语义关联；

其中，领域对齐网络包括特征提取部分和相似度计算部分；

特征提取部分用于将输入的图像提取出抽象特征提供至相似度计算部分进行相似度的计算；具体为，首先将语义图像和风格参考图像输入两个独立的特征提取器，特征提取器第1个计算组包括一个卷积核大小为3，步长为1的卷积层，一个InstanceNormalization归一化层和一个LeakyReLU激活函数层，该计算组接受3x256x256的图像输入，输出64x256x256的特征输出，第2个计算组包括一个卷积核大小为3，步长为2的卷积层，一个Instance Normalization归一化层和一个LeakyReLU激活函数层，该计算组接受64x256x256的图像输入，输出128x256x256的特征输出，第3个计算组和第1个计算组结构一致，该计算组接受128x256x256的特征输入，输出256x256x256的特征输出，第4个计算组和第2个计算组结构一致，第5个计算组和第1个计算组结构一致，经由第4个和第5个计算组得到512x64x64的特征，再将该部分特征输入进3个连续的SPADE Resnet Block模块进行计算，经由这3个模块计算后特征由大小形状为512x64x64转换到同样大小的512x64x64的特征图，再转换到256x64x64；其中，两个特征提取器的网络结构一致，但经过模型训练阶段学习到的参数不同；SPADE Resnet Block模块为结合了SPADE技术的Resnet网络模块；

相似度计算部分用于将特征提取部分输入进来的两个图像特征通过计算得到一个关系矩阵，该关系矩阵描述最前端输入进来的语义图像和风格参考图像之间的语义对应关系；具体为，相似度计算部分首先将特征提取部分输入进来的通过语义图像提取的特征和通过风格参考图像提取的特征分别输入进三个连续的Residual Block模块，特征形状大小保持256x64x64，接着将两个256x64x64的特征分别经由一个卷积核大小为1，步长为1的卷积计算层，最后将两个256x64x64的图像特征F_x和F_y放入关系矩阵计算层进行如下计算得到关系矩阵：

其中，F_x和F_y分别是经有语义图像和风格参考图像得到的特征，

和

分别是将F_x和F_y在特征通道层面进行均值计算得到的；Residual Block模块是残差网络的一个子模块。

如下表1所示，为领域对齐网络的结构：

表1

“Conv2d/k3s1”表示一个卷积核大小kernel_size为3，步长stride为1的二维卷积计算层，其他同结构的符号均表达类似的意思，只是卷积核大小或者步长大小有所差别。“IN”表示一个Instance Normalization的归一化计算层。“LeakyReLU”表示一个名为LeakyReLU的激活函数。

“SPADEResnetBlock”代表了一种常见的自定义小模块SPADE resnet block。它包括了始终存在的两层SPADE->ReLU->3x3 conv结构，还包括了一个可选的分支，该分支同样是SPADE->ReLU->3x3 conv结构。可选分支文中当SPADE的输入和输出通道数一致，则保留该分支，否则去掉该分支，构成直通结构。SPADE resnet block能够接受segmentationmap，进行SPADE操作。如图2所示，为其构造图。

“ResidualBlock”表示了一个在残差网络ResNet中自定义的小模块“残差网络基础模块”，其结构如图3所示。

领域对齐网络中利用两个独立的特征提取器接受语义图像和风格参考图像的输入，建立了他们之间的语义关联。

S5、将得到的中间结果和秘密图像合并之后输入进隐藏网络中，输出含密图像，如图4所示，具体为：

风格参考图像通过关联矩阵进行语义转换，和三通道的秘密图像合并之后输入隐藏网络，从而生成了可以放入信道传输的含密图像；

含密图像在包含秘密图像的基础上还具有可控的语义和风格内容信息。

隐藏网络具体包括下采样部分和上采样部分，下采样部分用于将输入的图像组合由大分辨率转化为小分辨率的特征图，达到增大感受野的目的，使同样3x3的卷积能在更大的图像范围上进行特征提取，并且方便后续上采样部分进行特征融合，上采样部分利用下采样部分得到的小尺寸特征图来合成真实精细的含密图像；

下采样部分具体为，首先接受6x256x256的图像组合，该图像组合由秘密图像和经过步骤S43得到的中间结果组成，经由一个卷积计算组ConvolutionBlock的运算之后，生成64x256x256的特征图，再将该特征图经由一个MaxPool最大池化计算组将特征图的尺寸减半，变为64x128x128；

其中，ConvolutionBlock卷积计算组包含连续两个卷积层核大小为3，步长为1的卷积层，并且每个卷积层后面紧跟Batch Normalization归一化层和ReLU激活函数层；

MaxPool最大池化计算组的核大小为3，步长设为2；MaxPool最大池化计算组后面连续紧接三个由一个ConvolutionBlock卷积计算加一个MaxPool最大池化计算组组成的组合，其中它们的结构和作用都与第一个组合的ConvolutionBlock卷积计算组和MaxPool最大池化计算组完全一致，并且特征图由64x128x128变为512x16x16，最后再将该512x16x16的特征图输入到一个ConvolutionBlock卷积计算组中，生成1024x16x16的特征图；

上采样部分具体为，首先将由下采样部分得到的1024x16x16的特征图经过核大小为2，步长为2的ConvTranspose反卷积层变为256x32x32的特征图同时，由下采样部分得到的1024x16x16的特征图还要同时经过一个核大小为2的Upsample上采样计算使得尺寸增倍，并经过一个SPADE Resnet Block模块，此时特征图变为256x32x32的形式，接着一个ConvolutionBlock卷积计算组将同时接收这两条路径分别得到的256x32x32特征图，并且从同深度的下采样部分的ConvolutionBlock卷积计算组中获得512x32x32的特征图，即该ConvolutionBlock卷积计算组同时接受了三个不同路径下的特征图的输入，并生成512x32x32的特征图；再进行三次同样的运算操作，即一个ConvolutionBlock卷积计算组将接受来自ConvTranspose反卷积层计算后的特征图、来自SPADE Resnet Block模块计算后的特征图以及来自在下采样部分同深度的ConvolutionBlock卷积计算组输出的特征图，操作完成后，512x32x32的特征图变为64x256x256的特征图，最后利用一个卷积核大小为3，步长为1的卷积计算，将通道数由64变为3，即生成3x256x256的含密图像；

其中，引入SPADE Resnet Block模块用于在上采样部分引入经由步骤S43得到的中间结果，利用这个中间结果的语义特征更好的控制最终合成的含密图像的语义结构。

如下表2所示，为隐藏网络的结构：

表2

其中，“ConvolutionBlock/k3s1”表示了本发明的自定义模块。它包含了两个卷积层，其中每个卷积层后面紧跟着Batch Normalization均一化层和ReLU激活函数层，卷积层的核大小为3，步长为1。

“MaxPool/k2s2”表示了一个最大池化计算层，它的核大小为2，步长也为2。

“ConvTranspose/k2s2”表示了一个反卷积计算层，它的核大小为2，步长也为2。

“Upsample/s2”表示了一个上采样倍数scale_factor为2的上采样计算层。

S6、消息发送方持有含密图像，并将其发送给持有训练完毕的秘密消息提取网络的接收方；接收方根据秘密消息提取网络将秘密图像重新提取出来，得到提取的秘密图像。

秘密消息提取网络接受由隐藏网络得到的3x256x256的含密图像的输入，经过一个包含核大小为3步长为1的卷积层、Batch Normalization归一化层和ReLU激活函数层的运算组后，生成64x256x256的特征图，再经过4个同样结构的运算组，每个运算组都不改变特征图的尺寸，仅将特征图的通道数进行增倍或者减半，经过4个运算组之后，生成64x256x256的特征图，最终经过一个核大小为3，步长为1的卷积计算层和Tanh激活函数层，将64x256x256的特征图变为3x256x256的输出，该输出即被提取出来的秘密图像。

含密图像生成网络训练时，采用生成对抗网络的多尺度鉴别器，多尺度鉴别器接收生成的含密图像和真实图像的输入，进行真假二分类判断，与含密图像生成网络一起构成生成对抗网络，帮助含密图像生成网络的训练，其训练过程中的函数将采用Hinge损失：

其中，o和o′分别是合成的含密图像和真实图像。

含密图像生成网络以输入进来的语义图像、风格参考图像以及秘密图像，合成一个含密图像；

在含密图像生成网络的训练过程中以五种损失作为损失函数进行约束，五种损失具体包括含密图像和原语义图像之间在语义上的感知损失、生成的含密图像和原风格参考图像之间风格上的Contextual损失、生成对抗网络中来自多尺度鉴别器判别损失、领域对齐损失和循环一致性损失；

训练过程中以Adam优化器来进行网络参数的更新；

其中，生成的含密图像和原语义图像之间在语义上的感知损失，使用预训练后的VGG19的高层特征做L2距离计算；

其中，o和x分别为生成的含密图像和原语义图像，

表示使用预训练后的VGG19提取到的第j层高层特征；

生成的含密图像和原风格参考图像之间风格上的Contextual损失，具体使用预训练后的VGG19的低层特征做余弦距离计算，通过对这些特征进行相似性度量来替代对图像的空间位置进行度量；由于这种纹理损失不是完全全局的，会有对特征的计算，所以约束到合成的含密图像的内容上；

其中，o和y分别是生成的含密图像和风格参考图像，

表示使用预训练后的VGG19提取到的第j层低层特征，N_L表示L层的特征数量，w_L表示不同层自身的重要程度；

生成对抗网络中来自多尺度鉴别器判别损失具体为：

其中，D表示生成对抗网络中的鉴别器；

领域对齐损失，该损失用于约束领域对齐网络中的两个特征提取器，使得它们将输入的语义图像和风格参考图像对齐到一个统一的特征空间中：

其中，o′是语义图像相对应的真实图像，F₁和F₂分别是约束领域对齐网络中的两个特征提取器；

循环一致性损失，该损失用于将风格参考图经过领域对齐网络生成的关系矩阵转成扭曲图像后，还要保证能够返还回原来的风格参考图，从而避免扭曲后的风格参考图变得与原来完全不相关；直接计算返还回的风格参考图和原来的风格参考图的L1损失：

其中，x和y分别是输入进来的语义图像和风格参考图像。C代表的是领域对齐网络，θ_C是该网络要学习的参数。

如下表3所示，为秘密消息提取网络的结构：

表3

其中，“BN”表示Batch Normalization归一化计算层，“ReLU”和“Tanh”表示了两个不同的激活函数。

秘密图像提取损失：

其中，s′和s分别是提取出来的秘密图像和原始输入的秘密图像；

还需要针对生成对抗网络中的多尺度鉴别器的进行训练：

L_D＝E(max(0，1-D(o′)))+E(max(0，1+D(G(x，y，s))))

其中，D表示多尺度鉴别器，G表示与该多尺度鉴别器组成生成对抗网络的含密图像生成网络，x、y以及s分别是输入进含密图像生成网络的语义图像、风格参考图像以及秘密图像，o′是语义图像x所对应的真实图像。

相较于传统的隐写技术，本发明创造不需要使用者具备领域知识，可以直接使用封装好的工具对所需要发送给接收方的秘密图像进行隐秘传输。相较于现有广泛的基于深度学习技术的图像信息隐藏方法，本发明创造充分利用了无载体隐写框架的作用，不需要使用指定的载体图像来嵌入秘密数据，因此，它能从根本上抵抗隐写分析工具的检测，显著提高了图像的安全性。在同一无载体图像信息隐藏领域，本发明创造又能解决大部分无载体隐写方法过度依赖于合成图像和秘密消息之间的映射关系的问题，从而能够实现携带大容量的秘密消息，并且能够在图像质量上面较优于同类方法。特别地，由于独创性的引用了其他图像领域的技术，搭建独特的整体网络框架和改进损失函数，从而能够根据秘密消息传输场景的需要控制含密图像的生成过程，进一步提高了实用性。

还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种大容量可控无载体图像隐写方法，其特征在于，包括以下步骤：

S1、根据使用者的传输环境需要，选择语义图像；

S2、根据选择的语义图像，选择有一定关联的图像作为风格参考图像；

S3、将语义图像和风格参考图像输入图像预处理工具进行预处理，图像预处理工具包括图像剪切工具和图像伸缩工具，先将图像根据使用者输入的所期望的大小进行剪切，然后再将剪切之后的图像统一伸缩至256x256像素，得到待输入的对应图像；

S4、将经过预处理的对应图像输入领域对齐网络进行处理，处理过程中生成中间结果留给后续使用；

S5、将中间结果和秘密图像合并之后输入隐藏网络，输出所需要的含密图像；领域对齐网络和隐藏网络均为含密图像生成网络的组成；

S6、消息发送方持有含密图像，并将其发送给持有训练完毕的秘密消息提取网络的消息接收方，消息接收方采用秘密消息提取网络将秘密图像重新提取，得到提取的秘密图像。

2.根据权利要求1所述的一种大容量可控无载体图像隐写方法，其特征在于，步骤S2具体为：

使用者根据通信语境选择合适的风格参考图，然后手动绘制或者在公共数据中选择一个相应的语义图像；

为了获得足够数量的训练数据，使用一个预训练的VGG19网络对所采用的数据集进行特征提取，然后进行两两相关性计算，相关性采用余弦距离来计算，从而建立每一个图像相对应的风格参考图像合集。

3.根据权利要求1所述的一种大容量可控无载体图像隐写方法，其特征在于，领域对齐网络中，利用两个独立的特征提取器，建立语义图像和风格参考图像之间的语义关联；

其中，领域对齐网络包括特征提取部分和相似度计算部分；

特征提取部分用于将输入的图像提取出抽象特征提供至相似度计算部分进行相似度的计算；

特征提取部分具体包括以下步骤：首先将语义图像和风格参考图像输入两个独立的特征提取器，特征提取器第1个计算组包括一个卷积核大小为3，步长为1的卷积层，一个Instance Normalization归一化层和一个LeakyReLU激活函数层，该计算组接受3x256x256的图像输入，输出64x256x256的特征输出，第2个计算组包括一个卷积核大小为3，步长为2的卷积层，一个Instance Normalization归一化层和一个LeakyReLU激活函数层，该计算组接受64x256x256的图像输入，输出128x256x256的特征输出，第3个计算组和第1个计算组结构一致，该计算组接受128x256x256的特征输入，输出256x256x256的特征输出，第4个计算组和第2个计算组结构一致，第5个计算组和第1个计算组结构一致，经由第4个和第5个计算组得到512x64x64的特征，再将该特征输入3个连续的SPADE Resnet Block模块进行计算，经由这3个模块计算后特征由大小形状为512x64x64转换到同样大小的512x64x64的特征图，再转换到256x64x64；其中，两个特征提取器的网络结构一致，但经过模型训练阶段学习到的参数不同；SPADE Resnet Block模块为结合了SPADE技术的Resnet网络模块；

相似度计算部分用于将特征提取部分输入进来的两个图像特征通过计算得到一个关系矩阵，该关系矩阵描述最前端输入进来的语义图像和风格参考图像之间的语义对应关系；

相似度计算部分具体包括以下步骤：首先将特征提取部分输入进来的通过语义图像提取的特征和通过风格参考图像提取的特征分别输入进三个连续的Residual Block模块，特征形状大小保持256x64x64，接着将两个256x64x64的特征分别经由一个卷积核大小为1，步长为1的卷积计算层，最后将两个256x64x64的图像特征F_x和F_y放入关系矩阵计算层进行如下计算得到关系矩阵：

其中，F_x和F_y分别是经有语义图像和风格参考图像得到的特征，

和

分别是将F_x和F_y在特征通道层面进行均值计算得到的；Residual Block模块是残差网络的一个子模块。

4.根据权利要求3所述的一种大容量可控无载体图像隐写方法，其特征在于，步骤S4具体包括以下子步骤：

S41、将语义图像和风格参考图像分别输入进一个特征提取器，提取出相应的特征图；

S42、将步骤S41提取到的两个特征图按通道进行归一化后计算每个特征点之间的相似度，得到一个关系矩阵；

S43、以步骤S42得到的关系矩阵作为系数，原始风格参考图像作为基，生成中间结果。

5.根据权利要求4所述的一种大容量可控无载体图像隐写方法，其特征在于，步骤S5具体为：

风格参考图像通过关联矩阵进行语义转换，和三通道的秘密图像合并之后输入隐藏网络，生成可放入信道传输的含密图像；

含密图像在包括秘密图像的基础上还具有可控的语义和风格内容信息。

6.根据权利要求5所述的一种大容量可控无载体图像隐写方法，其特征在于，隐藏网络具体包括下采样部分和上采样部分，下采样部分用于将输入的图像组合由大分辨率转化为小分辨率的特征图，达到增大感受野的目的，使同样3x3的卷积能在更大的图像范围上进行特征提取，并且方便后续上采样部分进行特征融合，上采样部分利用下采样部分得到的小尺寸特征图来合成含密图像；

下采样部分具体为，首先接受6x256x256的图像组合，该图像组合由秘密图像和经过步骤S43得到的中间结果组成，经由一个卷积计算组ConvolutionBlock的运算之后，生成64x256x256的特征图，再将该特征图经由一个MaxPool最大池化计算组将特征图的尺寸减半，变为64x128x128；

其中，ConvolutionBlock卷积计算组包含连续两个卷积层核大小为3，步长为1的卷积层，并且每个卷积层后面紧跟Batch Normalization归一化层和ReLU激活函数层；

MaxPool最大池化计算组的核大小为3，步长设为2；MaxPool最大池化计算组后面连续紧接三个由一个ConvolutionBlock卷积计算组加一个MaxPool最大池化计算组组成的组合，该三个组合的结构和作用与第一个组合的ConvolutionBlock卷积计算组和MaxPool最大池化计算组的完全一致，并且特征图由64x128x128变为512x16x16，最后再将该512x16x16的特征图输入到一个ConvolutionBlock卷积计算组中，生成1024x16x16的特征图；

上采样部分具体为，首先将由下采样部分得到的1024x16x16的特征图经过核大小为2，步长为2的ConvTranspose反卷积层变为256x32x32的特征图，并且，由下采样部分得到的1024x16x16的特征图还要同时经过一个核大小为2的Upsample上采样计算使得尺寸增倍，并经过一个SPADE Resnet Block模块，此时特征图变为256x32x32的形式，接着一个ConvolutionBlock卷积计算组同时接收这两条路径分别得到的256x32x32特征图，并且从同深度的下采样部分的ConvolutionBlock卷积计算组中获得512x32x32的特征图，即该ConvolutionBlock卷积计算组同时接受了三个不同路径下的特征图的输入，并生成512x32x32的特征图；再进行三次同样的运算操作，即一个ConvolutionBlock卷积计算组将接受来自ConvTranspose反卷积层计算后的特征图、来自SPADE Resnet Block模块计算后的特征图以及来自在下采样部分同深度的ConvolutionBlock卷积计算组输出的特征图，操作完成后，512x32x32的特征图变为64x256x256的特征图，最后利用一个卷积核大小为3，步长为1的卷积计算，将通道数由64变为3，即生成3x256x256的含密图像；

其中，引入SPADE Resnet Block模块用于在上采样部分引入经由步骤S43得到的中间结果，利用这个中间结果的语义特征更好的控制最终合成的含密图像的语义结构。

7.根据权利要求1所述的一种大容量可控无载体图像隐写方法，其特征在于，秘密消息提取网络的具体结构为：

秘密消息提取网络接受由隐藏网络得到的3x256x256的含密图像的输入，经过一个包含核大小为3步长为1的卷积层、Batch Normalization归一化层和ReLU激活函数层的运算组后，生成64x256x256的特征图，再经过4个同样结构的运算组，每个运算组都不改变特征图的尺寸，仅将特征图的通道数进行增倍或者减半，经过4个运算组之后，生成64x256x256的特征图，最终经过一个核大小为3，步长为1的卷积计算层和Tanh激活函数层，将64x256x256的特征图变为3x256x256的输出，该输出即被提取出来的秘密图像。

8.根据权利要求1所述的一种大容量可控无载体图像隐写方法，其特征在于，含密图像生成网络训练时，采用生成对抗网络的多尺度鉴别器，多尺度鉴别器接收生成的含密图像和真实图像的输入，进行真假二分类判断，与含密图像生成网络一起构成生成对抗网络，帮助含密图像生成网络的训练，其训练过程中的函数将采用Hinge损失：

其中，o和o′分别是合成的含密图像和真实图像。

9.根据权利要求8所述的一种大容量可控无载体图像隐写方法，其特征在于，含密图像生成网络以输入进来的语义图像、风格参考图像以及秘密图像，合成一个含密图像；

在含密图像生成网络的训练过程中以五种损失作为损失函数进行约束，五种损失具体包括含密图像和原语义图像之间在语义上的感知损失、生成的含密图像和原风格参考图像之间风格上的Contextual损失、生成对抗网络中来自多尺度鉴别器判别损失、领域对齐损失和循环一致性损失；

训练过程中以Adam优化器来进行网络参数的更新；

其中，生成的含密图像和原语义图像之间在语义上的感知损失，使用预训练后的VGG19的高层特征做L2距离计算：

其中，o和x分别为生成的含密图像和原语义图像，

表示使用预训练后的VGG19提取到的第j层高层特征；

生成的含密图像和原风格参考图像之间风格上的Contextual损失，具体使用预训练后的VGG19的低层特征做余弦距离计算，通过对这些特征进行相似性度量来替代对图像的空间位置进行度量；由于这种纹理损失不是完全全局的，会有对特征的计算，所以约束到合成的含密图像的内容上：

其中，o和y分别是生成的含密图像和风格参考图像，

表示使用预训练后的VGG19提取到的第j层低层特征，N_L表示L层的特征数量，w_L表示不同层自身的重要程度；

生成对抗网络中来自多尺度鉴别器判别损失具体为：

其中，D表示生成对抗网络中的鉴别器；

领域对齐损失，该损失用于约束领域对齐网络中的两个特征提取器，使得它们将输入的语义图像和风格参考图像对齐到一个统一的特征空间中：

其中，o′是语义图像相对应的真实图像，F₁和F₂分别是约束领域对齐网络中的两个特征提取器；

循环一致性损失，该损失用于将风格参考图经过领域对齐网络生成的关系矩阵转成扭曲图像后，还要保证能够返还回原来的风格参考图，从而避免扭曲后的风格参考图变得与原来完全不相关；直接计算返还回的风格参考图和原来的风格参考图的L1损失：

其中，x和y分别是输入进来的语义图像和风格参考图像，C代表领域对齐网络，θ_C是该网络要学习的参数。

10.根据权利要求8所述的一种大容量可控无载体图像隐写方法，其特征在于，秘密图像提取损失：

其中，s′和s分别是提取出来的秘密图像和原始输入的秘密图像；

针对生成对抗网络中的多尺度鉴别器的进行训练：

L_D＝E(max(0,1-D(o′)))+E(max(0,1+D(G(x,y,s))))

其中，D表示多尺度鉴别器，G表示与该多尺度鉴别器组成生成对抗网络的含密图像生成网络，x、y以及s分别是输入进含密图像生成网络的语义图像、风格参考图像以及秘密图像，o′是语义图像x所对应的真实图像。

Images