CN112507312A - 在深度学习系统中基于数字指纹的验证与追踪方法 - Google Patents

Abstract

本发明提供一种在深度学习系统中基于数字指纹的验证与追踪方法，设计了一种两层数字指纹结构，每个客户的数字指纹由社区关系代码与客户身份代码组成。社区关系代码将有助于服务器快速找到可疑的客户组。客户身份代码用于表示客户的唯一标识。为了提供所有权和叛徒追踪的证据，本发明将每个客户的数字指纹嵌入DNN的参数内。当服务提供商发现可疑的用户时，服务器将从盗版模型中提取并验证指纹，从而追踪非法分发其模型的叛徒。

Description

在深度学习系统中基于数字指纹的验证与追踪方法

技术领域

本发明涉及信息安全技术，具体涉及一种引用于深度学习模型的，具有端到 端所有权证明和无偏向叛徒追踪功能的数字指纹技术。

技术背景

包括卷积神经网络CNN、残差网络和递归神经网络RNN在内的各种深度神经 网络DNN已被应用于自主运输、自然语言处理和智能医疗保健等多种领域。为了 促进DNN的部署，许多技术巨头，例如Google、Amazon和Microsoft，都提供 了机器学习即服务MLaaS。与客户自己的培训目标模型相比，MLaaS作为快速发 展的业务服务以微不足道的价格提供专业、量身定制且令人满意的深度学习模型。

但是，MLaaS引起了服务提供商对其模型知识产权保护的广泛关注。实际上， 对于服务提供商而言，在构建深度学习模型的过程中需要处理大量训练样本，由 此将会带来大量费用。因此，这些结构合理的模型被认为是具有知识产权的商 业软件，应予以适当保护以保持所有者在市场上的竞争优势。另一方面，恶意客 户可能出于某些卑鄙的目的而故意使用购买的模型，例如，在黑市中将其出售以 牟利。此类恶意客户称为叛徒。因此，在将深度学习模型发布给客户之前，拥有 内置的所有权保护机制至关重要。

DNN中已应用了水印技术，以提供模型知识产权的验证渠道。但是，现有的 工作只专注于检测目标模型是否侵犯版权，很少考虑追踪叛徒。例如，通过修改 和分发盗版模型来破坏版权保护政策的叛徒。实际上，服务提供商可能会向大量 客户出售训练有素的模型。如果不嵌入叛徒追踪机制，当争端出现时，后续的 取证将非常困难。

发明内容

本发明所要解决的技术问题是，提供一种在深度学习系统中嵌入客户指纹以 保护模型所有权并追踪叛徒的方法。

本发明为解决上述技术问题所采用的技术方案是，在深度学习系统中基于数 字指纹的验证与追踪方法，包括以下步骤：

1)初始化步骤：云服务器为客户初始化深度学习模型Θ；

2)指纹生成和嵌入步骤：云服务器为客户生成数字指纹Z，Z＝(p||u)， 其中，p为客户所属社区的社区关系代码，u为客户的客户身份码，||为字符连 接符号；社区关系代码表示社交网络属性，社区间社区关系代码的相似度与社区 的社交网络属性的相似度呈正相关；云服务器再将数字指纹Z嵌入到训练深度学 习模型Θ的目标函数中；

3)模型发布步骤：深度学习模型Θ训练完成后，云服务器将训练好的深度 学习模型Θ发布给该客户；

4)指纹验证与追踪步骤：

4-1)云服务器从需要进行数字指纹验证与追踪的深度学习模型中提取数字 指纹Z；从数字指纹Z中提取社区关系代码p并与存储的各社区的社区关系代码表 进行比较，找到与社区关系代码p相同和相似的社区作为选定社区；

4-2)对将选定社区中的各客户，利用其客户身份代码来进行单个客户的验 证，当验证到匹配的客户身份代码，则完成单个客户的追踪。

进一步的，步骤2)中使用平衡不完全块设计BIBD技术来生成客户身份码u； 步骤4-2)中还能进行多个客户的平均串通验证。

本发明设计了一种两层数字指纹结构，每个客户的数字指纹由两部分组成， 即Z＝(社区关系代码||客户身份代码)。社区关系代码用于表示客户i的社交网 络属性。相同或相邻社区中的客户将被分配相似的社区代码，并且不相关客户之 间的社区代码将有很大的不同。社区关系代码将有助于服务器快速找到可疑的客 户组。客户身份代码用于表示客户的唯一标识。进一步的，利用平衡的不完整块 设计BIBD构建客户身份代码，还能确保多个客户的组合身份代码是唯一的。为 了提供所有权和叛徒追踪的证据，本发明将每个客户的数字指纹嵌入DNN的参数 (即权重)内。当服务提供商发现可疑的用户时，服务器将从盗版模型中提取并 验证指纹，从而追踪非法分发其模型的叛徒。

本发明的有益效果是，1)通过利用DNN中参数的高容量，在目标参数中嵌 入数字指纹，为所有权验证或叛徒追踪提供了基础；2)两层数字指纹的生成过 程中将客户的社交网络属性考虑在内，使得服务器提供商可以快速找到可疑客户 的组，然后跟踪叛徒。

具体实施方式

实施例提出一种新颖的具有端到端所有权保护和无偏向叛徒追踪的深度学 习框架SecureMark_DL。SecureMark_DL中包括1个云服务器和M个客户。 SecureMark_DL启用带有指纹的DNN的隐私保护训练，从而实现所有权验证和盗 版跟踪。令Θ表示云服务器要为客户i量身定制的DNN模型，i∈{1,2,…,M}。服 务器首先为客户i初始化Θ和数字指纹Z_i。然后，服务器训练DNN模型Θ，并将 指纹Z_i嵌入目标参数中。最终，一旦训练达到预期的收敛条件，云服务器就会将 模型Θ发布给客户i。如果发现可疑的盗版模型，则服务器可以从可疑的盗版模 型中提取数字指纹，并验证模型的所有权或追踪叛徒。具体包括以下步骤：

步骤1：初始化。服务器初始化深度学习模型Θ。

步骤2：指纹生成与嵌入。本步骤将为每个客户生成唯一指纹。在相同或相 似社区的人们更有可能被联系起来做同样的事情，而在不同社区的人们这样做的 几率非常低。基于此，本发明设计了一种新的双层指纹结构，即每个客户的指纹 Z_i由两部分组成，即Z_i＝(p_i||u_i)。其中，p_i为客户i的社区关系代码，u_i为客户 i的客户身份码，||为字符连接符号。在同一社区或邻近社区的客户会被分配相 似的社区代码，而在不相关的客户之间的社区代码则会大相径庭。具体步骤如下 所示：

2.1：生成社区关系代码p_i。为了保持原始模型的准确性和提升在高维向量 中搜索相似的社区代码效率。实施例采取原始邻域保存哈希NPH方法来生成社区 关系代码。具体基于NPH的社区代码生成方法：

2.1.1利用非负矩阵分解技术NMF生成目标函数。即给定一个用户的高维属 性非负矩阵B＝[b₁，b₂...b_M]∈R^E×M，其中B的每一列都是一个向量b_i， b_i＝b₁，b₂...b_M；b_i为客户i的社交网络属性，如性别、年龄、爱好等；E表示各 客户的社交网络特征的总个数，M表示客户的总个数，R表示实数域；NMF的目 标是找到两个非负矩阵G＝[g₁，g₂，...，g_T]∈R^E×T和P＝[p₁，p₂，...，p_M]∈R^T×M， G是字典矩阵，p_i是用来表示b_i的低维向量，即所求客户i的社区关系代码，T为 字典矩阵的列数。G与P的乘积是B的一个很好的近似。生成社区关系代码的目标 函数如下：

s.t.G≥0，P≥0

再根据2范数定义改写上式如下：

s.t.G≥0，P≥0

2.1.2利用局部线性嵌入LLE技术对生成社区关系代码的目标函数进行在 低维子空间中的相邻对象重建。即将上式修改为：

s.t.G≥0，P≥0

其中，T表示矩阵的转置，W为权重矩阵，W中的元素w_i，j表示客户i的与邻 居j的权重，满足

b为邻居j的社交网络属性，N(b_i)表示与b_i最 近邻居的合集，合集N(b_i)中的邻居数量为k；

2.1.3将生成社区关系代码的目标函数

视为两个独立的子问题，并在固定 其中一个变量的值的同时更新另一个变量。通过迭代的方式求得生成社区关系代 码的目标函数的最优解：

G_ij与P_ij分别表示矩阵G和P的第i行第j列的元素，G^k，P^k分别表示第k次迭 代的矩阵G和P；先给定初始的矩阵

对于任何i，j，两个子问 题为

和

使用第k次迭代求得的矩阵G^k来固定G，将目标函数

被重写为：

2.1.4采用投影梯度法求解重写的目标函数

得到第k+1次迭代的低维二进制矩阵P^k+1，从而得到第k+1次迭代的社区关系 代码p_i。

2.1.5使用第k+1次迭代求得的矩阵P^k+1固定P，将目标函数重写为：

2.1.6采取梯度投影法求解重写的目标函数

得到第k+1次迭代的矩阵G^k+1。

循环进行步骤2.1.4和步骤2.1.6直至求出最优解。

步骤2.2：生成客户身份代码。利用不平衡块设计BIBD技术为每个客户构 建放串通的身份代码ACC。给定的入射关联矩阵C_g×M和正交矩阵F_g×g＝ (f₁，f₂，...，f_g)，g为给定的正交矩阵行列数；先通过线性映射计算系数 e_ij＝2c_ij-1，c_ij为入射关联矩阵中第i行第j列的元素。计算每个客户 j(j∈{1，2，…，M})的客户身份代码u_j，

f_j＝f₁，f₂，...，f_g；BIBD 的原理为现有技术不在此赘述。

步骤2.3：嵌入指纹。在DNN模型Θ中选择一些适合嵌入指纹的隐藏层，将 择深度学习模型中的隐藏层称为目标层，目标层的参数表示为θ^sub∈Θ，Θ为DNN 模型的参数集合。在原始目标函数

中添 加了一个新项μMSE(Z_j-XΘ^sub)，其中，l表示损失函数，D为训练集，|D|为训练集 中的样本个数，x表示输入DNN模型Θ的样本，f_Θ(x)表示预测标签，y为样本原 有标签；MSE是均方误差函数，μ表示嵌入权重，Z_j为客户j的数字指纹，X是服 务器生成的秘密随机投影矩阵，Θ^sub是用于嵌入Z_j的θ^sub的平坦后的平均参数；

嵌入数字指纹Z_j后的训练DNN模型Θ的目标函数为：

步骤3：一旦训练达到预期的收敛条件，云服务器就会将深度学习模型发布 给客户j。

步骤4：指纹提取和验证。对于模型所有权验证，服务器需要对可疑模型执 行指纹提取和验证，以发现可能的盗版行为。具体过程如下所示：

步骤4.1：指纹提取。服务器需要对可疑模型执行指纹提取和验证，以发现 可能的盗版行为。本发明使用非盲提取的方式进行指纹提取，实施例服务器仅需 要在提取过程中获取目标层的参数θ^sub并计算平坦的平均版本Θ^sub，再利用 Z_j＝XΘ^sub恢复指纹Z_j，其中X是服务器生成的秘密随机投影矩阵；

步骤4.2：指纹验证。为了快速找到叛徒，我们首先选择Z_i的社区关系代码 p_j，并将其与本地哈希表进行比较以找到相似的社区作为选定社区。本地哈希表 中存储有各社区对应的社区关系代码。由于服务器将为相同或相邻社区中的客户 分配相似的社区代码，因此由多个恶意客户合成的社区代码与原始社区代码的区 别仍然很小。将选定社区中的所有客户视为潜在的叛徒，并利用客户身份代码的 属性来找到串通客户。本发明采用平衡不完全块设计BIBD技术为每个客户构建 防共谋ACC身份代码，从而确保任何K个或更少的用户身份代码的组合代码都是 唯一的。在这里，我们使用(7，3，1)-BIBD码本来说明利用客户标识码进行 共谋检测的工作流程。具体地，给定入射关联矩阵C，C中每一列对应一个客户，如

所示，7个客户的身份代码u₁，u₂，…，u₇如式

所示；其中F＝(f₁，f₂，…，f_g)是服务器选择 的正交矩阵。利用客户身份代码的属性来找到串通客户的过程包括识别单个客户 的窃取行为和多个客户的平均串通攻击。识别单个客户的窃取行为的步骤如 4.2.1所示，识别多个客户的平均串通攻击的步骤如4.2.2所示：

步骤4.2.1：识别单个客户的窃取行为。对于客户1，其系数向量e₁可计算 为

然后，可以通过逆线性映射

恢复入射关联矩阵的1列c₁。通过入射关联矩阵C和向量c₁的比 较相同，如是则c₁对应的单个客户为叛徒，否则判断为不属于c₁对应的单个客户 的窃取行为。

步骤4.2.2：识别多个客户的平均串通攻击。假设同谋者将他们持有的模型 参数的平均值作为新生成的模型的参数，在这里我们使用参数平均值

作为嵌 入指纹的目标层的已更改参数。为了检测共谋，服务器首先计算平均数字指纹

然后提取平均客户身份代码u^avg。通过e^avg＝(u^avg)^T F计算平均 系数向量e^avg，F为正交矩阵。假设

服务器利用阈 值τ计算

SecureMark_DL采用硬阈值检测器来跟 踪共谋者。给定

寻找共谋者的问题等同于解决从入 射关联矩阵C中找到列子集的问题，其中这些列的逻辑与完全等于c^avg。例如， 假设客户6和7是产生平均客户身份代码的串谋者，如

服务器计算系数向量e^ave， e^ave＝(u^avg)^T＝[1，1，0，-1，0，0，0]^T，利用系数向量e^ave中个各元素计算

得到平均入射关联列向量c^avg＝[1，1，0，0，0，0，0]^T。我们可 以观察到入射关联矩阵C中第6列和第7列的逻辑与完全等于c^avg，而对其他列 的运算不能产生相同的结果。此实例表明，可以通过基于BIBD的客户身份代码唯一地识别共谋者。

Claims (6)

1.在深度学习系统中基于数字指纹的验证与追踪方法，其特征在于，包括以下步骤：

1)初始化步骤：云服务器为客户初始化深度学习模型Θ；

2)指纹生成和嵌入步骤：云服务器为客户生成数字指纹Z，Z＝(p||u)，其中，p为客户所属社区的社区关系代码，u为客户的客户身份码，||为字符连接符号；社区关系代码表示社交网络属性，社区间社区关系代码的相似度与社区的社交网络属性的相似度呈正相关；云服务器再将数字指纹Z嵌入到训练深度学习模型Θ的目标函数中；

3)模型发布步骤：深度学习模型Θ训练完成后，云服务器将训练好的深度学习模型Θ发布给该客户；

4)指纹验证与追踪步骤：

4-1)云服务器从需要进行数字指纹验证与追踪的深度学习模型中提取数字指纹Z；从数字指纹Z中提取社区关系代码p并与存储的各社区的社区关系代码表进行比较，找到与社区关系代码p相同和相似的社区作为选定社区；

4-2)对将选定社区中的各客户，利用从数字指纹Z中提取客户身份代码来进行单个客户的验证，当验证到匹配的客户身份代码，则完成单个客户的追踪。

2.如权利要求1所述方法，其特征在于，步骤2)中使用平衡不完全块设计BIBD技术来生成客户身份码u。

3.如权利要求2所述方法，其特征在于，步骤4-2)中还能进行选定社区中的K个客户的平均串通验证，K大于等于2。

4.如权利要求3所述方法，其特征在于，步骤2)使用平衡不完全块设计BIBD技术来生成客户身份码的具体方法是：

利用给定的入射关联矩阵C_g×M和正交矩阵F_g×g＝(f₁，f₂，…，f_g)，g为给定的正交矩阵行列数，入射关联矩阵C中每一列对应一个客户，M表示客户的总个数；f_j为正交矩阵F中第j列；先通过线性映射计算系数e_ij，e_ij＝2c_ij-1，c_ij为入射关联矩阵C中第i行第j列的元素，得到M个客户身份代码分别为

步骤2)中将数字指纹Z嵌入到训练深度学习模型Θ的目标函数中的具体方式是，在原始目标函数中增加新项μMSE(Z_j-XΘ^sub)，其中，Z_j＝(p_j||u_j)，p_j为客户j所属社区的社区关系代码，u_j为客户j的客户身份码，μ表示嵌入权重，MSE是均方误差函数，X是服务器生成的秘密随机投影矩阵，Θ^sub是选择深度学习模型中嵌入指纹的目标层的参数平坦后的平均值，目标层是选定的嵌入数字指纹的隐藏层。

5.如权利要求4所述方法，其特征在于，步骤4-2)中进行单个客户的验证的方法是：利用客户身份代码u_j得到对应的系数向量e_j，

再通过逆线性映射恢复入射关联矩阵C的第j列c_j，入射关联矩阵C的j列c_j中每个元素为

T为转置，将恢复的入射关联向量c_j与入射关联矩阵C中逐列进行比较，如在入射关联矩阵C中发现相同列则将该列对应的客户身份代码作为匹配的客户身份代码，将该客户身份代码用作该客户的追踪。

6.如权利要求4所述方法，其特征在于，步骤4-2)中进行多个客户的平均串通验证的方法是：

云服务器从需要进行数字指纹验证与追踪的深度学习模型中提取参数Θ^sub作为参数平均值

再计算平均数字指纹

提取到客户身份代码平均值u^avg；利用客户身份代码平均值u^avg和正交矩阵F计算系数平均值向量e^avg，e^avg＝(u^avg)^TZ^avg，T为转置，

云服务器再利用阈值τ与系数平均值向量e^avg中各元素

来计算入射关联列向量中各元素平均值

从而得到平均入射关联列向量c^avg；

将平均入射关联列向量c^avg与入射关联矩阵C中任意K列进行逻辑与后的结果进行比较，如发现与逻辑与结果相同的，，将这K列对应的客户身份代码用作这K个客户的追踪。