CN110889797B - 基于对抗样本生成的深度自适应图像隐藏方法 - Google Patents

Abstract

基于对抗样本生成的深度自适应图像隐藏方法，包含如下几个步骤：首先，设计实验样本，确定需要隐藏的图(secret图)和将接受隐藏信息的图(cover图)；然后建立局部隐藏patch选择的SSD网络，找出cover图中最合适隐藏secret图的区域；之后，建立encode网络，secret图用对抗样本的方法，通过encode网络产生扰动，直接添加到cover图的选定区域产生藏有隐藏信息的container图；接着，建立decode网络，解出与secret图高度相似的revealed图；最后，训练和测试encode网络和decode网络，对每一组输入进行编码网络的更新，实现对于每组图像的个性化隐藏。通过以上三个主要步骤，本发明可以在保持编码得到很好的隐藏还原效果的同时，实现图像的自适应局部隐藏，提高图像隐藏的重建质量，拓展其实际应用范围。

Description

基于对抗样本生成的深度自适应图像隐藏方法

技术领域

本发明属于信息隐藏传输管理领域。通过图像隐藏，实现更灵活、更大容量和更安全的信息传输，针对图像隐藏存在的色差，以及图像隐藏只能达到全局隐藏的效果等问题，提出了一种基于对抗样本生成的深度自适应图像隐藏方法。

背景技术

最流行的图像隐藏算法是基于最低有效位(LSB)的方法，定义需要隐藏的图为secret图，将接受隐藏信息的图为cover图，通过encode网络加入隐藏信息的结果图为container图，由container图解析出来的图为revealed图。这些基于LSB的算法的主要思想是改变cover图像的至少4个有效位来放置隐藏信息。这样，在隐藏过程中cover图像的颜色变化可以最小化，并且所产生的失真通常是不可观测的。尽管基于LSB的方法具有显著的性能，但通常容易受到检测图像隐藏的统计分析方法的攻击。为了解决这一局限性，隐藏图像提出了更安全的算法，以保证在隐藏secret图像的同时保留图像统计信息，例如高度不可检测的图像隐藏(Hugo)和小波获得的权重(Wow)。然而，这些算法的有效载荷容量(覆盖图像可以包含的信息)相对较小。

最近，受卷积神经网络(CNN)的启发，提出了一种基于深度学习的图像隐藏算法。这些深度图像隐藏方法利用CNN隐式模拟隐藏过程中所涉及图像的分布，建立了一个完全基于CNN的隐藏系统。隐藏系统包括Preparing网络、Hiding网络和Revealing网络，Preparing网络接受secret图作为输入并应用预处理操作，然后将处理后的secret图像和cover图像输入Hiding网络，得到含有隐藏信息的container图像。Revealing网络的目的是将container图像解码为目标secret图像，所有的网络都以完全有监督的方式进行训练。这项工作表明利用CNN将整个secret图像中的大量信息隐藏到一个只有很少视觉失真的单一cover图像中是可行的。Meng等人进一步提出利用目标检测算法选择复杂纹理区域进行信息隐藏，最近的工作还将基于CNN的图像隐藏扩展到了视频方面。

对抗样本是经过修改的原图像版本，这些图像被故意干扰以攻击并达到混淆深层神经网络的效果。对抗样本不仅存在于深度分类网络，而且也存在于生成网络、循环神经网络和强化学习中。例如，对于生成网络，对抗样本可以通过添加一些干扰来将网络的输出更改为另一个图像，这些干扰仍然使受干扰的图像在视觉上与原始图像相似，这与深度图像隐藏的目标相匹配。

深度图像隐藏本质上也是一个图像重建问题。图像重建的目的是反转特征表示，即从目标特征重建整个图像。图像重建算法分为两类：基于在线图像优化的慢速图像重建和基于离线模型优化的快速图像重建。第一类迭代优化像素空间中的图像，通常从随机噪声开始，迭代直到满足所需的特征分布。第二类，快速图像重建，通过预先训练一个前馈网络来加速重建过程，将计算负担置于训练阶段。

现有技术的局限性总结起来有两个方面，第一是只应用于全局图像的隐藏，secret图的信息将整体隐藏到cover图中，从而导致攻击者不需要去确定隐藏的位置就可以直接进行攻击，影响安全性；同时全局隐藏使得一张cover图中只能隐藏一张secret图，隐藏的信息容量小。现有方法的第二个问题是差值图的暴露，将container图和cover做差值后，得到的差值图会和secret相似，从而降低了图像隐藏的安全性。导致这个问题的主要原因是这种模型一旦训练后，encode网络和decode网络参数全部固定，整体是一个泛化的模型，每一组的测试图片所使用的都是相同的权重，所以规律也容易被发现。

发明内容

本发明要克服现有技术的上述缺点，提出了一种基于对抗样本生成的深度自适应图像隐藏方法，使图像隐藏更加灵活和安全。本发明采用了一种自适应策略，将一个secret图像隐藏到特定的cover图的patch中。具体地说，本方法首先在secret图上运行一个对象检测器，并为secret图分配一个标签，作为具有最高可信度被检测对象的类别。然后，我们在cover图上使用相同的探测器，以获得与secret图相同但置信度最低的patch以隐藏secret图。如果找不到与secret图类别相同的对象，则可以随机选择patch，然后使用附加的标准图像隐藏方法对隐藏坐标进行加密。在完成初次训练之后，固定decode网络，在每一组测试图片进入的时候，更新迭代sender部分的网络，从而每一组的测试图片不仅仅拥有一个唯一的扰动，也拥有一个个性化的网络参数。

本发明允许自适应局部图像隐藏，通过一个看似矛盾的过程实现，该过程将secret图转换为对抗样本的扰动以实现隐藏。对多个数据集的实验结果表明，所提出的局部隐藏算法在数量和质量上均优于现有技术。此外，即使没有使用局部隐藏手段而是直接将对抗样本的方法直接应用于全局，效果仍然优于现有技术。

基于对抗样本生成的深度自适应图像隐藏方法，包含以下步骤：

1)设计实验样本；

使用VOC2007，ImageNet和Open Image三个数据集中的数据组成实验样本数据集。定义需要隐藏的图为secret图，将接受隐藏信息的图为cover图，通过encode网络加入隐藏信息的结果图为container图，由container图解析出来的图为revealed图。由于secret图需要局部隐藏于cover图中，secret图必须具有较小且内容单一的特点，故使用ImageNet为secret图集，三个数据集中的不交叉部分为cover图集。对于secret图和cover图组合，进行SSD的类别测试，获得cover图中与secret图类语义相似的区域作为之后局部隐藏的patch。最后，将secret图、cover图和其选定的patch组合获得实验的样本集；

2)建立局部隐藏patch选择的SSD网络；

首先，寻找cover图中适合隐藏secret图的patch，以实现图像隐藏的局部隐藏特性。由于语义相似的两个部分能够达到更好的隐藏效果，故建立SSD网络进行cover图中将被隐藏的patch的选择。组成19层卷积层的SSD网络，检测secret图的类别(例如类别A)。然后在SSD网络中输入cover图，寻找cover图中所有类别A的bounding box，采用0.5置信度的bounding box作为最后结果，使得在保存一定的语义条件下不容易被攻击方识别，从而完成局部隐藏的隐藏区域选择；

3)建立encode网络；

利用对抗样本的思路来实现图像隐藏方法，赋予当前认为只存在不利方面的对抗样本以有利的意义。encode网络首先输入secret图，按照生成对抗样本的方法生成扰动，对抗样本产生的方法如(1)所示。

min_ρ||ρ||₂s.t.C(I_c+ρ)＝l；I_c+ρ∈[0，1]^m (1)

其中，ρ是需要加入的扰动，I_c指的是原有的图像，C指的是网络分类器，l则是需要网络误分类的分类结果。由于所需要的扰动人眼不可见，所以设定条件||ρ||₂。

在cover图中选出的ρatch位置上直接加上encode网络产生的扰动，得到包含隐藏信息的container图。组成12层卷积层的encode网络，得到与cover图相似的container图，要求训练得到的container图不仅仅在定量测试的数值上，也要再定性观察的肉眼效果上达到安全隐藏的标准，即cover图与container图相似，且在添加过扰动后没有能用肉眼辨识出来的处理痕迹，如局部色差、亮度不一和边框凸显等问题；

4)建立decode网络；

总体结构与encode网络相似，组成12层卷积层的decode网络。在decode网络中，输入已经局部隐藏secret图信息的container图和局部隐藏的坐标信息，在经过和encode网络完全相反的操作后，输出revealed图，目标是revealed图与secret图相似，以完成重建操作。与encode网络的要求一样，在定量的数值测试和定性的肉眼效果上都要达到标准；

5)训练和测试encode和decode网络；

为完成更高的准确率，对每一组输入的图片都进行个性化的参数配置，对于encode网络和decode网络的联合训练采用两个阶段。

①初始训练：

构建上述结构的encode网络和decode网络后，同时训练两个网络，调整其参数。设置训练集数据量为2000张cover图和2000张secret图，batch size为1，学习率为10^-4。定义初始阶段训练的loss值为L_steg，如公式(2)所示有两个部分，一是secret图和revealed图的差值，保证decode还原出来的revealed图符合要求；二是扰动值尽量小，参考对抗样本的生成手法，以保证得到的container图与原来的cover图相似。

L_steg＝||ρ||₁+α||g(I_c+ρ)-I_s||₁ (2)

其中，α用来调节两种参数的比重，g为接收container图的decode网络，ρ为用对抗样本生成的扰动，I_c+ρ代表的就是container图，loss值使用L₁范数形式。

②二次训练和测试：

在使用2000对的cover图和secret图训练好初步的网络后，输入测试的图片对。在这个阶段，考虑到container图的接收方不能得到secret图的具体数值，固定decode网络的所有参数，对encode网络进行迭代更新。设置迭代更新的次数设置为100000，loss由两部分组成，与第一阶段的loss相同，分为secret图与revealed图的差值和扰动值。对于每一组图都进行个性化迭代，取得每一组的高质量隐藏和重建结果。

局部隐藏和整体隐藏在肉眼上的一个主要区别在于整体隐藏可以容许稍高一些container图和cover图的差值，只要在总体上肉眼辨识不出就符合标准，可以出现色差；而局部隐藏不允许出现色差，否则选定的patch部分在肉眼上与其周围部分将会出现很大的差距，存在明显的边缘线，故局部隐藏需要cover图和container图差值极小，即扰动值足够小。

本发明的优点：在保证decode网络重建reveal图与原本secret图相似的基础上，使用对抗样本的方式进行图像隐藏，实现局部隐藏的目的。在赋予对抗样本有利意义的同时，实现高质量自适应的图像隐藏效果，达到信息安全隐藏的目的。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

基于对抗样本生成的深度自适应图像隐藏方法，包含以下步骤：

1)设计实验样本；

使用VOC2007，ImageNet和Open Image三个数据集中的数据组成实验样本数据集。定义需要隐藏的图为secret图，将接受隐藏信息的图为cover图，通过encode网络加入隐藏信息的结果图为container图，由container图解析出来的图为revealed图。由于secret图需要局部隐藏于cover图中，secret图必须具有较小且内容单一的特点，故使用ImageNet为secret图集，三个数据集中的不交叉部分为cover图集。对于secret图和cover图组合，进行SSD的类别测试，获得cover图中与secret图类语义相似的区域作为之后局部隐藏的patch。最后，将secret图、cover图和其选定的patch组合获得实验的样本集；

2)建立局部隐藏patch选择的SSD网络；

具体实现流程如附图1所示。首先，寻找cover图中适合隐藏secret图的patch，以实现图像隐藏的局部隐藏特性。由于语义相似的两个部分能够达到更好的隐藏效果，故建立SSD网络进行cover图中将被隐藏的patch的选择。组成19层卷积层的SSD网络，检测secret图的类别(例如类别A)。然后在SSD网络中输入cover图，寻找cover图中所有类别A的bounding box，采用0.5置信度的bounding box作为最后结果，使得在保存一定的语义条件下不容易被攻击方识别，从而完成局部隐藏的隐藏区域选择；

3)建立encode网络；

利用对抗样本的思路来实现图像隐藏方法，赋予当前认为只存在不利方面的对抗样本以有利的意义。encode网络首先输入secret图，按照生成对抗样本的方法生成扰动，对抗样本产生的方法如(1)所示。

min_ρ||ρ||₂s.t.C(I_c+ρ)＝l；I_c+ρ∈[0，1]^m (1)

其中，ρ是需要加入的扰动，I_c指的是原有的图像，C指的是网络分类器，l则是需要网络误分类的分类结果。由于所需要的扰动人眼不可见，所以设定条件||ρ||₂。

在cover图中选出的patch位置上直接加上encode网络中产生的扰动，得到包含隐藏信息的container图。组成12层卷积层的encode网络，得到与cover图相似的container图，要求训练得到的container图不仅仅在定量测试的数值上，也要再定性观察的肉眼效果上达到安全隐藏的标准，即cover图与container图相似，且在添加过扰动后没有能用肉眼辨识出来的处理痕迹，如局部色差、亮度不一和边框凸显等问题；

4)建立decode网络；

总体结构与encode网络相似，组成12层卷积层的decode网络。在decode网络中，输入已经局部隐藏secret图信息的container图和局部隐藏的坐标信息，在经过和encode网络完全相反的操作后，输出revealed图，目标是revealed图与secret图相似，以完成重建操作。与encode网络的要求一样，在定量的数值测试和定性的肉眼效果上都要达到标准；

5)训练和测试encode和decode网络；

为完成更高的准确率，对每一组输入的图片都进行个性化的参数配置，对于encode网络和decode网络的联合训练采用两个阶段。

①初始训练：

构建上述结构的encode网络和decode网络后，同时训练两个网络，调整其参数。设置训练集数据量为2000张cover图和2000张secret图，batch size为1，学习率为10^-4。定义初始阶段训练的loss值为L_steg，如公式(2)所示有两个部分，一是secret图和revealed图的差值，保证decode还原出来的revealed图符合要求；二是扰动值尽量小，参考对抗样本的生成手法，以保证得到的container图与原来的cover图相似。

L_steg＝||ρ||₁+α||g(I_c+ρ)-I_s||₁ (2)

其中，α用来调节两种参数的比重，g为接收container图的decode网络，ρ为用对抗样本生成的扰动，I_c+ρ代表的就是container图，loss值使用L₁范数形式。

②二次训练和测试：

在使用2000对的cover图和secret图训练好初步的网络后，输入测试的图片对。在这个阶段，考虑到container图的接收方不能得到secret图的具体数值，固定decode网络的所有参数，对encode网络进行迭代更新。设置迭代更新的次数设置为100000，loss由两部分组成，与第一阶段的loss相同，分为secret图与revealed图的差值和扰动值。对于每一组图都进行个性化迭代，取得每一组的高质量隐藏和重建结果。

局部隐藏和整体隐藏在肉眼上的一个主要区别在于整体隐藏可以容许稍高一些container图和cover图的差值，只要在总体上肉眼辨识不出就符合标准，可以出现色差；而局部隐藏不允许出现色差，否则选定的patch部分在肉眼上与其周围部分将会出现很大的差距，存在明显的边缘线，故局部隐藏需要cover图和container图差值极小，即扰动值足够小。

通过上述五个步骤，可以建立起相关的encode网络和decode网络，使用两个不同阶段的训练过程更新迭代，对每一组输入图像对进行个性化的隐藏位置和扰动生成，实现对抗样本的引入和图像的局部隐藏，最大程度获得cover图和secret图高质量的重建结果。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于对抗样本生成的深度自适应图像隐藏方法，包含的主要步骤：

1)设计实验样本；

使用VOC2007，ImageNet和OpenImage三个数据集中的数据组成实验样本数据集；定义需要隐藏的图为secret图，将接受隐藏信息的图为cover图，通过encode网络加入隐藏信息的结果图为container图，由container图解析出来的图为revealed图；使用ImageNet为secret图集，三个数据集中的不交叉部分为cover图集；对于secret图和cover图组合，进行SSD的类别测试，获得cover图中与secret图类语义相似的区域作为之后局部隐藏的patch；最后，将secret图、cover图和其选定的patch组合获得实验的样本集；

2)建立局部隐藏patch选择的SSD网络；

首先，寻找cover图中适合隐藏secret图的patch，以实现图像隐藏的局部隐藏特性；由于语义相似的两个部分能够达到更好的隐藏效果，故建立SSD网络进行cover图中将被隐藏的patch的选择；组成19层卷积层的SSD网络，检测secret图的类别；然后在SSD网络中输入cover图，寻找cover图中所有类别A的bounding box，采用0.5置信度的bounding box作为最后结果，使得在保存一定的语义条件下不容易被攻击方识别，从而完成局部隐藏的隐藏区域选择；

3)建立encode网络；

利用对抗样本的思路来实现图像隐藏方法，赋予当前认为只存在不利方面的对抗样本以有利的意义；encode网络首先输入secret图，按照生成对抗样本的方法生成扰动，对抗样本产生的方法如公式(1)所示；

min_ρ||ρ||₂ s.t.C(I_c+ρ)＝l；I_c+ρ∈[0，1]^m (1)

其中，ρ是需要加入的扰动，I_c指的是原有的图像，C指的是网络分类器，l则是需要网络误分类的分类结果；由于所需要的扰动人眼不可见，所以设定条件||ρ||₂；

在cover图中选出的patch位置上直接加上encode网络产生的扰动，得到包含隐藏信息的container图；组成12层卷积层的encode网络，得到与cover图相似的container图，要求训练得到的container图不仅仅在定量测试的数值上，也要再定性观察的肉眼效果上达到安全隐藏的标准，即cover图与container图相似，且在添加过扰动后没有能用肉眼辨识出来的处理痕迹；

4)建立decode网络；

总体结构与encode网络相似，组成12层卷积层的decode网络；在decode网络中，输入已经局部隐藏secret图信息的container图和局部隐藏的坐标信息，在经过和encode网络完全相反的操作后，输出revealed图，目标是revealed图与secret图相似，以完成重建操作；与encode网络的要求一样，在定量的数值测试和定性的肉眼效果上都要达到标准；

5)训练和测试encode和decode网络；

为完成更高的准确率，对每一组输入的图片都进行个性化的参数配置，对于encode网络和decode网络的联合训练采用两个阶段；

①初始训练：

构建上述结构的encode网络和decode网络后，同时训练两个网络，调整其参数；设置训练集数据量为2000张cover图和2000张secret图，batch size为1，学习率为10^-4；定义初始阶段训练的loss值为L_steg，如公式(2)所示有两个部分，一是secret图和revealed图的差值，保证decode还原出来的revealed图符合要求；二是扰动值尽量小，参考对抗样本的生成手法，以保证得到的container图与原来的cover图相似；

L_steg＝||ρ||₁+α||g(I_c+ρ)-I_s||₁ (2)

其中，α用来调节两种参数的比重，g为接收container图的decode网络，ρ为用对抗样本生成的扰动，I_c+ρ代表的就是container图，loss值使用L₁范数形式；

②二次训练和测试：

在使用2000对的cover图和secret图训练好初步的网络后，输入测试的图片对；在这个阶段，考虑到container图的接收方不能得到secret图的具体数值，固定decode网络的所有参数，对encode网络进行迭代更新；设置迭代更新的次数设置为100000，loss由两部分组成，与第一阶段的loss相同，分为secret图与revealed图的差值和扰动值；对于每一组图都进行个性化迭代，取得每一组的高质量隐藏和重建结果；

局部隐藏和整体隐藏在肉眼上的一个主要区别在于整体隐藏可以容许稍高一些container图和cover图的差值，只要在总体上肉眼辨识不出就符合标准，可以出现色差；而局部隐藏不允许出现色差，否则选定的patch部分在肉眼上与其周围部分将会出现很大的差距，存在明显的边缘线，故局部隐藏需要cover图和container图差值极小，即扰动值足够小。

Images