CN114338093B - 一种通过胶囊网络进行多信道秘密信息传输的方法 - Google Patents

Abstract

本发明提出了一种通过胶囊网络进行多信道秘密信息传输的方法，通过训练同一个胶囊网络嵌入多份不同的秘密信息。针对多个接收者的秘密信息在胶囊网络训练过程中被嵌入在胶囊网络中。之后，接收者可利用自己的密钥在含密胶囊网络中提取对应的信息。而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取。由于秘密信息没有暴露，因此信息隐藏的安全性可得到保证。由于秘密信息在胶囊网络的训练过程中嵌入而不是训练之后用过修改网络权重嵌入，因此信息嵌入对网络原始任务的影响很小。此外，信息提取网络的参数由密钥直接生成，无需通过训练得到，因此也无需向接收者传送信息提取网络。只需持有正确密钥即可提取秘密信息。

Description

一种通过胶囊网络进行多信道秘密信息传输的方法

技术领域

本发明涉及秘密数据传输领域，具体涉及一种通过胶囊网络进行多信道秘密信息传输的方法。针对多个接收者的秘密信息被嵌入在胶囊网络中。之后，接收者可利用密钥在含密胶囊网络中提取对应的信息。而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取。

背景技术

近年来，深度学习技术广泛应用于人工智能领域，如图像识别、图像语义分割，自然语言处理等。大量标注的数据与计算资源被用来训练神经网络模型，如卷积神经网络、循环神经网络、生成对抗网络、残差网络、胶囊网络等。除了常规的智能任务外，神经网络模型还可用于信息隐藏，以在不引起怀疑的条件下通过神经网络模型传送秘密信息。

在某些应用场景中如指令分发等，指挥官(发送者)需要传送不同指令(秘密信息)给不同士兵(接收者)。为保证安全性与传送效率，携带指令的媒体只能传送一次。此种情况下，需将不同指令嵌入到同一媒体中同时传送给不同士兵(多信道)。因此需要多信道的信息隐藏方法。此外，现有神经网络信息隐藏方法均针对卷积神经网络设计。胶囊网络的雏形于2011年提出，之后在2017年通过路由协议得以完善。在胶囊网络中，多个神经元组成一个胶囊用以更好地表征实体的属性例如姿势、视角、速率等。低层胶囊通过转移矩阵将信息汇总，抵达高层胶囊。矩阵元素即为网络权重参数，权重值在训练过程中通过路由协议不断变化，从而引起胶囊连接强度的变化。这样的结构能更好地保持实体的可变特性。目前胶囊网络已在图像分类任务上表现出优异的性能，并且在多目标任务中体现出巨大的潜力。因此，胶囊网络也可用于进行多信道的信息隐藏。

发明内容

本发明的技术解决问题是：通过训练同一个胶囊网络嵌入多份不同的秘密信息。为此本发明的目的是提供一种通过胶囊网络进行多信道秘密信息传输的方法。本发明通过胶囊网络实现了多信道的信息隐藏。如图1所示，针对多个接收者的秘密信息被嵌入在胶囊网络中。之后，接收者可利用密钥在含密胶囊网络中提取对应的信息。而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取。由于秘密信息没有暴露，因此信息隐藏的安全性可得到保证。

为达到上述目的，本发明采用如下技术方案：

一种通过胶囊网络进行多信道秘密信息传输的方法，在胶囊网络的训练过程中，将多份不同的秘密信息嵌入到胶囊网络中；各接收者利用自己的密钥在含密胶囊网络中提取对应的信息，而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取；此外，信息提取网络的参数由密钥直接生成，无需通过训练得到，也无需向接收者传送信息提取网络，只需持有正确密钥即可提取秘密信息。

本发明在胶囊网络的训练过程中嵌入秘密信息以维持载体网络性能。在本发明中，信息提取网络的参数由密钥直接生成，而非通过训练得到。故无需向接收者传送信息提取网络，接收者可利用正确密钥提取与之对应的秘密信息，但对其他部分的秘密信息一无所知。本发明采用的胶囊网络架构如下：

采用的胶囊网络架构由两个卷积层(Conv1层与PrimaryCaps层)与一个全连接层(DightCaps层)组成。Conv1层包含256个大小为9×9的卷积核，步长为1，激活函数为ReLU，用于提取局部像素特征。PrimaryCaps层为胶囊层，包含32个胶囊。各胶囊包含8个大小为9×9的卷积核，步长为2，激活函数为ReLU。最后，DightCaps层包含10个16维的胶囊。各胶囊分别表示一个类，均与PrimaryCaps层全连接。胶囊模长表示输入图像属于此类的概率。PrimaryCaps层与DightCaps层间的参数通过路由协议传输与更新，从而增强激活的特征而抑制其余特征。设PrimaryCaps层中第i个胶囊的输出为u_i，其中i∈{1,2,...,32}，将u_i与一个大小为8×16的权重矩阵W_ij相乘得到预测向量之后，DightCaps层中第j个胶囊的输出v_j可由式(1)与(2)计算得到，j∈{1,2,...,10}。

其中c_ij为路由系数，通过路由协议得到，如式(3)所示；b_iz表示参数b_ij中j＝z的情况，z∈{1,2,...,10}，参数b_ij,初始状态为0，之后根据路由协议动态更新，如式(4)所示，共进行2次路由协议的迭代。

DightCaps层中每个输出向量v_j表示一个类，向量模长表示输入图像属于此类的概率。式(2)中的非线性函数保证了短向量收缩至0而长向量接近于1。

为叙述方便，上述胶囊网络架构简称为架构A。在架构A的基础上，本发明具体步骤如下：

(1)按架构A所述构建用于信息隐藏的胶囊网络架构。

(2)设共有n个接收者，构建n个全连接层分别作为n个接收者的信息提取网络，此n个信息提取网络均连接在架构A的预测向量上，即图3中/>为叙述方便，将预测向量/>上连接了n个信息提取网络的架构A简称为架构B。

(3)设{K₁,K₂,...,K_n}分别为各接收者的密钥，利用密钥{K₁,K₂,...,K_n}分别产生信息提取网络的n个全连接层参数。参数产生后在网络训练过程中保持不变。

(4)设需要向n个接收者传送的秘密信息向量分别为{M₁,M₂,...,M_n}，M_r＝[m_i(1),m_r(2),...,m_r(t)]^T∈{0,1}^t，r∈{1,2,...,n}，即各秘密信息向量均包含t个任意的二进制比特。设步骤(3)中n个信息提取网络的输出向量分别为{P_M1,P_M2,...,P_Mn}，其中P_Mr＝[p_mr(1),p_mr(2),...,p_mr(t)]^T∈[0,1]^t,即n个信息提取网络的输出向量均包含t个取值在0到1之间的小数。

(5)胶囊网络的损失函数由两部分组成，如式(5)与(6)所示。其中L_τ为原始胶囊网络的损失函数，用于保证网络的分类精度，而L_M用于促进信息嵌入。参数β＝1.5用于调整两部分损失的比重，其值越大越利于秘密信息的嵌入，但不利于网络分类精度，反之亦然。

L＝β·L_M+L_τ (5)

(6)以{M₁,M₂,...,M_n}为指导，以最小化式(6)所示的损失为目标，利用训练集图像训练架构B。其中训练集图像可以从MNIST图像数据集、CIFAR10图像数据集、ImageNet图像数据集等获得。选用何种图像数据集不为本发明内容，本发明旨在图像数据集已选定的情况下，通过训练架构B来在架构A中嵌入n份不同的秘密信息{M₁,M₂,...,M_n}。

(7)训练所得到的架构A即为可同时向n个接收者传送不同秘密信息的含密胶囊网络。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著的优点：

1.本发明可同时向多个接收者传送不同秘密信息，接收者可利用正确密钥提取与之对应的秘密信息，而对其他部分的秘密信息一无所知；

2.本发明方法具备较强的实用性，这是因为信息提取网络的参数由密钥直接生成，而不是通过训练得到，故无需向接收者传送信息提取网络，持有正确密钥即可提取秘密信息。

附图说明

图1是本发明优选实施例方法的原理示意图。

图2是本发明优选实施例采用的胶囊网络架构。

图3是本发明优选实施例设计的信息提取网络。

图4是本发明实施例二在MNIST图像库上测试了单接收者情况下，接收端秘密信息提取的错误率和分类准确率和嵌入量的曲线图。

图5是本发明实施例二在MNIST图像库上测试了多接收者情况下，接收端秘密信息提取的错误率和分类准确率和嵌入量的曲线图。

具体实施方式

下面结合附图，对本发明的优选实施例做进一步的说明。

实施例一：

参见图1～图3，本通过胶囊网络进行多信道秘密信息传输的方法。其特征在于，在胶囊网络的训练过程中将多份不同的秘密信息嵌入到胶囊网络中；各接收者可利用自己的密钥在含密胶囊网络中提取对应的信息，而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取；此外，信息提取网络的参数由密钥直接生成，无需通过训练得到，因此也无需向接收者传送信息提取网络，只需持有正确密钥即可提取秘密信息；

如图2所示，采用的胶囊网络架构由两个卷积层——Conv1层与PrimaryCaps层，与一个全连接层——DightCaps层组成；Conv1层包含256个大小为9×9的卷积核，步长为1，激活函数为ReLU，用于提取局部像素特征；PrimaryCaps层为胶囊层，包含32个胶囊，各胶囊包含8个大小为9×9的卷积核，步长为2，激活函数为ReLU；最后，DightCaps层包含10个16维的胶囊；各胶囊分别表示一个类，均与PrimaryCaps层全连接；胶囊模长表示输入图像属于此类的概率；PrimaryCaps层与DightCaps层间的参数通过路由协议传输与更新，从而增强激活的特征而抑制其余特征；设PrimaryCaps层中第i个胶囊的输出为u_i，其中i∈{1,2,...,32}，将u_i与一个大小为8×16的权重矩阵W_ij相乘得到预测向量之后，DightCaps层中第j个胶囊的输出v_j可由式(1)与(2)计算得到，j∈{1,2,...,10}；

其中c_ij为路由系数，通过路由协议得到，如式(3)所示；b_iz表示参数b_ij中j＝z的情况，z∈{1,2,...,10}，参数b_ij,初始状态为0，之后根据路由协议动态更新，如式(4)所示，共进行2次路由协议的迭代；

DightCaps层中每个输出向量v_j表示一个类，向量模长表示输入图像属于此类的概率；式(2)中的非线性函数保证了短向量收缩至0而长向量接近于1。为叙述方便，上述胶囊网络架构简称为架构A；在架构A的基础上，多通道秘密传输具体步骤如下：

(1)、按架构A所述构建用于信息隐藏的胶囊网络架构；

(2)、设共有n个接收者，构建n个全连接层分别作为n个接收者的信息提取网络。如图3所示。此n个信息提取网络均连接在架构A的预测向量上；为叙述方便，将预测向量/>上连接了n个信息提取网络的架构A简称为架构B；

(3)、设{K₁,K₂,...,K_n}分别为各接收者的密钥，利用密钥{K₁,K₂,...,K_n}分别产生信息提取网络的n个全连接层参数。参数产生后在网络训练过程中保持不变；

(4)、设需要向n个接收者传送的秘密信息向量分别为{M₁,M₂,...,M_n}，M_r＝[m_i(1),m_r(2),...,m_r(t)]^T∈{0,1}^t，r∈{1,2,...,n}，即各秘密信息向量均包含t个任意的二进制比特。设步骤(3)中n个信息提取网络的输出向量分别为{P_M1,P_M2,...,P_Mn}，其中P_Mr＝[p_mr(1),p_mr(2),...,p_mr(t)]^T∈[0,1]^t,即n个信息提取网络的输出向量均包含t个取值在0到1之间的小数；

(5)、胶囊网络的损失函数由两部分组成，如式(5)与(6)所示，其中L_τ为原始胶囊网络的损失函数，用于保证网络的分类精度，而L_M用于促进信息嵌入；参数β＝1.5用于调整两部分损失的比重，其值越大越利于秘密信息的嵌入，但不利于网络分类精度，反之亦然；

L＝β·L_M+L_τ (5)

(6)以{M₁,M₂,...,M_n}为指导，以最小化式(6)所示的损失为目标，利用训练集图像训练架构B。其中训练集图像可以从MNIST图像数据集、CIFAR10图像数据集、ImageNet图像数据集等获得；选用何种图像数据集不为本发明内容，在图像数据集已选定的情况下，通过训练架构B来在架构A中嵌入n份不同的秘密信息{M₁,M₂,...,M_n}；

(7)训练所得到的架构A即为可同时向n个接收者传送不同秘密信息的含密胶囊网络。

本实施例通过胶囊网络实现了多信道的信息隐藏。如图1所示，针对多个接收者的秘密信息被嵌入在胶囊网络中。之后，接收者可利用密钥在含密胶囊网络中提取对应的信息。而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取。由于秘密信息没有暴露，因此信息隐藏的安全性可得到保证。

实施例二：

如图1所示，一种通过胶囊网络进行多信道秘密信息传输的方法。本实例以MNIST图像数据集，同时向10个接收者传送秘密信息为例。

(1)按架构A所述构建用于信息隐藏的胶囊网络架构。

(2)构建10个全连接层分别作为10个接收者的信息提取网络，并分别连接在架构A的预测向量上。

(3)利用密钥{K₁,K₂,...,K₁₀}分别产生信息提取网络的10个全连接层参数。参数产生后在网络训练过程中保持不变。

(4)以{M₁,M₂,...,M₁₀}为指导，以最小化式(6)所示的损失为目标，利用MNIST图像数据集训练架构B。训练所得到的架构A即为可同时向10个接收者传送不同秘密信息的含密胶囊网络。

本实施例在MNIST图像库上测试了单接收者情况下，接收端秘密信息提取的错误率，如图4(a)所示，对应的分类准确率如图4(b)所示。可看出t<6000时秘密信息可正确提取，即本实施例的信息隐藏容量为6000比特。由图4(b)可看出神经网络嵌入信息后分类准确率仅有轻微下降，这是由于网络参数存在冗余。我们同样也在MNIST图像库上测试了多接收者情况下，接收端秘密信息提取的错误率，如图5(a)所示，对应的分类准确率如图5(b)所示。在多接收者情况中，由于总嵌入量分成了多份，对每位接收者的嵌入量小于单接收者情况。具体来说，在秘密信息正确提取(信息提取错误率为0)的前提下，n＝2时对每位接收者的嵌入量约为3000比特。而n＝3或4时，对每位接收者的嵌入量分别约为2000或1500比特，这与单接收者情况6000比特的总容量符合。这说明本发明能成功利用胶囊网络同时向多个接收者传送秘密信息。

本发明上述实施例通过胶囊网络进行多信道秘密信息传输的方法，通过训练同一个胶囊网络嵌入多份不同的秘密信息。针对多个接收者的秘密信息在胶囊网络训练过程中被嵌入在胶囊网络中。之后，接收者可利用自己的密钥在含密胶囊网络中提取对应的信息。而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取。由于秘密信息没有暴露，因此信息隐藏的安全性可得到保证。由于秘密信息在胶囊网络的训练过程中嵌入而不是训练之后用过修改网络权重嵌入，因此信息嵌入对网络原始任务的影响很小。此外，信息提取网络的参数由密钥直接生成，无需通过训练得到，因此也无需向接收者传送信息提取网络。只需持有正确密钥即可提取秘密信息。

上面结合附图对本发明实施例进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (1)

1.一种通过胶囊网络进行多信道秘密信息传输的方法，其特征在于：在胶囊网络的训练过程中，将多份不同的秘密信息嵌入到胶囊网络中；各接收者利用自己的密钥在含密胶囊网络中提取对应的信息，而对其他部分的秘密信息，该接收者无法确定秘密信息的存在性，更无法提取；此外，信息提取网络的参数由密钥直接生成，无需通过训练得到，也无需向接收者传送信息提取网络，只需持有正确密钥即可提取秘密信息；

采用的胶囊网络架构由Conv1层和PrimaryCaps层这两个卷积层、以及一个DightCaps层全连接层组成；Conv1层包含256个大小为9×9的卷积核，步长为1，激活函数为ReLU，用于提取局部像素特征；PrimaryCaps层为胶囊层，包含32个胶囊，各胶囊包含8个大小为9×9的卷积核，步长为2，激活函数为ReLU；最后，DightCaps层包含10个16维的胶囊；各胶囊分别表示一个类，均与PrimaryCaps层全连接；胶囊模长表示输入图像属于此类的概率；PrimaryCaps层与DightCaps层间的参数通过路由协议传输与更新，从而增强激活的特征而抑制其余特征；设PrimaryCaps层中第i个胶囊的输出为u_i，其中i∈{1,2,...,32}，将u_i与一个大小为8×16的权重矩阵W_ij相乘得到预测向量然后，DightCaps层中第j个胶囊的输出v_j由下式(1)与式(2)计算得到，其中，j∈{1,2,...,10}；

其中，c_ij为路由系数，通过路由协议得到，如下式(3)所示；b_iz表示参数b_ij中j＝z的情况，z∈{1,2,...,10}，参数b_ij,初始状态为0，之后根据路由协议动态更新，如式(4)所示，共进行2次路由协议的迭代；

DightCaps层中每个输出向量v_j表示一个类，向量模长表示输入图像属于此类的概率；式(2)中的非线性函数保证了短向量收缩至0而长向量接近于1；上述胶囊网络架构简称为架构A；在架构A的基础上，多通道秘密传输具体步骤如下：

(1)按架构A构建用于信息隐藏的胶囊网络架构；

(2)设共有n个接收者，构建n个全连接层分别作为n个接收者的信息提取网络；此n个信息提取网络均连接在架构A的预测向量上；将预测向量/>上连接了n个信息提取网络的架构A简称为架构B；

(3)设{K₁,K₂,...,K_n}分别为各接收者的密钥，利用密钥{K₁,K₂,...,K_n}分别产生信息提取网络的n个全连接层参数；参数产生后在网络训练过程中保持不变；

(4)设需要向n个接收者传送的秘密信息向量分别为{M₁,M₂,...,M_n}，M_r＝[m_i(1),m_r(2),...,m_r(t)]^T∈{0,1}^t，r∈{1,2,...,n}，即各秘密信息向量均包含t个任意的二进制比特；设在步骤(3)中n个信息提取网络的输出向量分别为其中 即n个信息提取网络的输出向量均包含t个取值在0到1之间的小数；

(5)胶囊网络的损失函数由两部分组成，如式(5)与(6)所示，其中L_τ为原始胶囊网络的损失函数，用于保证网络的分类精度，而L_M用于促进信息嵌入；参数β＝1.5用于调整两部分损失的比重，其值越大越利于秘密信息的嵌入，但不利于网络分类精度，反之亦然；

L＝β·L_M+L_τ (5)

(6)以{M₁,M₂,...,M_n}为指导，以最小化式(6)所示的损失为目标，利用训练集图像训练架构B；其中训练集图像从MNIST图像数据集、或CIFAR10图像数据集、或ImageNet图像数据集获得；在图像数据集已选定的情况下，通过训练架构B来在架构A中嵌入n份不同的秘密信息{M₁,M₂,...,M_n}；

(7)训练所得到的架构A即为可同时向n个接收者传送不同秘密信息的含密胶囊网络。