CN111740959A - 在移动群智感知系统中可验证的隐私保护方法 - Google Patents

Abstract

本发明提供一种在移动群智感知系统中可验证的隐私保护方法，采用层次同态加密LHE加密所有与用户相关的数据，如模型的参数、用户的查询请求和验证结果，包括步骤：1)低次多项式生成步骤：服务器使用通用的函数逼近算法将神经网络中的非线性激活函数转化为低次多项式；2)敏感数据生成步骤：服务器生成通用的敏感样本来验证过程中模型参数的正确性；3)基于LHE的隐私保护：当传输高熵数据时，服务器使用进行原明文域下的LHE；当传输低熵数据时，服务器则先增加数据熵，再进行LHE。

Description

在移动群智感知系统中可验证的隐私保护方法

技术领域

本发明具体涉及信息安全技术，特别涉及在移动群智感知系统中可验证的隐私保护技术。

背景技术

深度学习作为一种新兴的技术，在人脸识别，遥感图像分类等方面有良好的应用前景。

遥感图像中包含着大量的数据信息，数据被广泛应用于各行各业。但是，对遥感图像分类是较为困难的，传统的遥感图像分类方法难以将有价值的信息准确分离出来。将深度学习技术应用于遥感图像分类中，通过建立合适的深度学习模型，同时结合使用特定的优化算法，则可以取得很好的分类效果，这已成为当前遥感图像分类技术的发展趋势。为了支持自动化服务，许多知名公司(如谷歌、Microsoft和Amazon)提供外包的深度学习服务，这些服务只需要用户将本地数据上传到云中。

然而，但将深度学习外包给云也带来了各种各样的安全和隐私问题。直观地说，一旦用户将其模型外包给服务器，服务器就有可能滥用用户的模型参数，甚至利用验证服务来收集用户的敏感数据。甚至可能通过篡改模型参数和压缩原模型结构，向用户返回不正确的结果。为了应对这一挑战，目前提出了一种在不可信云上验证深度神经网络执行的方法，将某些类型的深度学习网络转换成算术电路，然后通过与服务器的多次交互来验证返回结果的正确性，也有利用可信硬件、交互证明系统等多种技术实现了类似的任务。

然而，这些方法主要关注计算的完整性(或正确性)，它们很难检测到对模型完整性的攻击。而且现有的可验证方案大多没有考虑外包验证过程中的隐私保护问题。也就是说，用户的私有数据，如模型的参数、查询请求和推断结果都将向服务器公开。这就不可避免地为攻击者提供了一个大的攻击面来侵犯用户的隐私。因此,在外包验证模型的基础上设计一种通用的可验证协议，在保护用户隐私的同时对模型的变化保持敏感，是一个迫切需要解决的问题。

发明内容

本发明所要解决的技术问题是，提供一种适用于遥感图像分类的，对模型的完整性和用户的隐私安全而言有效的，可验证的方法。

本发明为解决上述技术问题所采用的技术方案是，在移动群智感知系统中可验证的隐私保护方法，采用层次同态加密LHE(Leveled Homomorphic Encryption)加密所有与用户相关的数据，如模型的参数、用户的查询请求和验证结果，包括以下步骤：

1)低次多项式生成步骤：服务器使用通用的函数逼近算法将神经网络中的非线性激活函数(如ReLU、Sigmoid、Tanh)转化为低次多项式；这将有助于LHE在一般深度神经网络DNNs中的高效实现。函数逼近算法给定一个确定的误差界ε，利用任何连续函数M(x)可以用Bernstein多项式拟合的定理，将原激活函数变换为一个低阶多项式P^*(x)；

2)敏感数据生成步骤：服务器生成通用的敏感样本来验证过程中模型参数的正确性。首先进行初始化，即定义的迭代的数量和分配一个随机的原始样品给敏感样本c；接着建立优化函数，使用梯度上升技术找到约束条件下的最佳灵敏度样本赋值给敏感样本c，再利用敏感样本对模型参数的正确性进行验证生成验证结果f(ω,c)，最后生成待返回给用户的敏感样本及验证结果{c,f(ω,c)}；

3)基于LHE的隐私保护：同态加密是指这样一种加密函数，对明文进行环上的加法和乘法运算再加密，与加密后对密文进行相应的运算，结果是等价的。层次同态加密是指同时满足加同态和乘同态性质，可以进行任意多次加和乘运算的加密函数。当数据是从一个大的域生成的则属于高熵数据。然而，考虑到效率和大多数样本是由向量构成的，图像的类别和像素值(对于有效的图像输入，所有像素的强度都限制在[0,255])属于枚举类型的低熵数据。而一个高熵的明文域才是设计安全加密算法的前提，它可以显著增加对手通过蛮力攻击获取明文信息的难度。因此，在本发明中为了解决低熵数据的安全加密性，通过在密文中加入额外的噪声项来增加原始数据的熵。即，本发明提供两种高效的水平层次同态加密方案(称为LHE1和LHE2)，当敏感的样本或验证结果为高熵数据时，服务器使用进行原明文域下的LHE(称为LHE1)；当敏感的样本或验证结果为低熵数据时，服务器则先增加数据熵，再进行LHE(称为LHE2)。

本发明首先将非线性激活函数转换为低次多项式，然后利用灵敏度样本验证模型参数的正确性。最后，使用水平同态加密LHE加密所有用户相关的数据。

本发明的有益效果是：

1)将复杂的非线性激活函数转换成多项式使得DNNs中LHE能高效实现；

2)设计了一种新的敏感样本生成方法来保护模型的完整性；

3)安全级别高。

附图说明

图1为本发明系统框架示意图。

具体实施方式

如图1所示，移动群智感知系统中有两个通用的实体：用户(也称为客户端)和云服务器。获得验证服务，用户首先外包其加密模式到云上。然后，云中的服务器分配资源付费模式，如分配计算和存储资源，并释放验证服务。在验证过程中，一旦云加密用户提交的查询请求，服务器执行预设的操作采购模型，并返回相应的LHE加密的验证结果(如分类和回归)给用户。

步骤1.生成低次多项式：设计了一个通用的函数逼近算法，将神经网络中的非线性激活函数转化为低次多项式。这将有助于LHE在一般深度神经网络中的高效实现。给定一个确定的误差界ε，利用任何连续函数M(x)可以用Bernstein多项式拟合的定理，将原激活函数变换为一个低阶多项式P^*(x)，x表示像素强度。生成低次多项式，具体包括以下步骤：

步骤1.1将近似多项式的次数N初始化为0，给定一个确定的误差界ε，并用N表示近似多项式的次数，P_N(x)为次数为N的多项式；

步骤1.2令N＝N+1，并利用Bernstein多项式拟合的定理，生成N次多项式P_N(x)；

步骤1.3判断|P_N(x)-M(x)|的值，判断是否符合|P_N(x)-M(x)|≥ε，如是，执行步骤1.2，否则执行步骤1.4；

步骤1.4令P^*(x)＝P_N(x)即为所求结果；

步骤2.敏感样本生成算法：生成通用的敏感样本来验证过程中模型参数的正确性。我们认为敌人的场景可能会将神经网络的外包模型函数f修改为函数f′，为了应对这一挑战，本发明生成少量的敏感样本和验证结果{(c,f(c)}，其中，f(c)是输入测试数据c(敏感样本)正确的输出(验证结果f(c))，然后用户把这些测试数据c发送到云并获得服务器相应的输出f′(c)并发送至用户，用户比较f(c)和f′(c)可以检查模型是否完好无损。

首先进行初始化，即定义的迭代的数量和分配一个随机的原始样品给c。通过求解敏感样本

的优化问题，可以找到最优的敏感样本，‖‖_F表示矩阵的Frobenius范数，ω为神经网络的模型参数集合。在某些情况下，模型的输入被限制在一定的范围内(表示为[B,Q])。例如，对于有效的图像输入，所有像素的强度都限制在[0,255]。因此，将上述优化问题修改如下：

s.t.c中各像素强度满足([0,255])^η,其中([0,255])^η是一个凸集，η表示样本的维数。

接着建立优化函数，使用梯度上升技术找到约束条件下的最佳灵敏度样本。最后服务器向用户返回敏感样本及验证结果{c,f(ω,c)}；敏感样本和验证结果的生成算法，具体步骤如下：

步骤2.1在原始样本集中随机抽取一个像素强度x₀作为敏感样本的初始值c，初始化总迭代次数I为任意一个非常大的正整数，学习速率l，迭代次数变量j＝0；

步骤2.2对于向量维数变量i∈[1,m]依次计算

其中

样本c中的各像素强度∈[0,255]；

f(ω,c)＝[f₁(ω,c),···,f_m(ω,c)]，f_i(ω,c),i＝[1,m]，m为向量总维数；

步骤2.3令中间数k＝0，对于i∈[1,m]依次更新

最后计算c＝c+l*k，并令j＝j+1；

步骤2.4判断c∈[0,255]和j<I是否同时成立，若同时成立，返回步骤2.3；否则进行步骤2.5；

步骤2.5得到敏感样本及验证结果{c,f(ω,c)}；

步骤3基于LHE的隐私保护验证：为了保护用户的隐私，本发明采用LHE加密所有与用户相关的数据。图像的类别和像素值都是低熵数据(对于有效的图像输入，所有像素的强度限制为[0，255])。为了解决这一问题，本发明通过在密文中加入额外的噪声项来增加原始数据的熵。基于LHE的隐私保护验证，具体包括以下步骤：

步骤3.1计算熵：计算用户的输入(查询请求)向量x＝(x₁,x₂,…x_η)的熵γ；x以概率分布D分布在[0,M)范围中。若熵γ大于80则表示x为高熵数据(γ大于80提供足够的安全,因为敌人需要超过十亿猜测成功找到一个碰撞的两个暗文)则执行步骤3.2的LHE1；否则，表示x为低熵数据，执行步骤3.3的LHE2；

步骤3.2LHE1：给定输入x＝(x₁,x₂,…x_η)，在云上有次数d的多项式P(x₁,x₂,x₃,···x_η),(即，步骤1中神经网络中的非线性激活函数转化为的低次多项式)在输入样本[0,M)与足够大的熵γ；LHE1方案由{密钥生成,加密,解密,相加,相乘}五个步骤组成；

步骤3.2.1密钥生成：给定一个安全参数λ，选定两个大的素数p∈[2^λ-1,2^λ],q∈[2^F-1,2^F]其中参数

且为了保证P(x₁,x₂,…x_η)<p满足p>(η+1)^dM^d；最后，用户自己保存p，把pq上传给云服务器；

步骤3.2.2加密：用户根据密钥p加密像素值x为Enc(x,p)＝c＝x+μp(mod pq)其中，μ,κ是从[1,q)随机选取的整数；

步骤3.2.3解密：用户通过执行Dec(c,p)＝c mod p对密文c进行解密；

步骤3.2.4相加：两个加密后的值c＝x+μp和c′＝x′+μ′p相加后的结果为Add(c,c′)＝x+x′+(μ+μ′)p(mod pq)，因为P(x₁,x₂,…x_η)<p，所以相加后的结果Add(c,c′)可以被直接解密，c′表示另一个密文，c′＝x′+μ′p；

步骤3.2.5相乘：两个加密后的像素值c＝x+μp和c′＝x′+μ′p相乘后的结果为Mult(c,c′)＝xx′+(x′μ+xμ′+μμ′p)p(mod pq)；同样的，因为P(x₁,x₂,…x_η)<p，所以用p模相乘后的结果Mult(c,^c′)可以被直接解密；

步骤3.3LHE2：给定输入x＝(x₁,x₂,…x_η),在云上有次数d的多项式P(x₁,x₂,x₃,···x_η),(即，步骤1中神经网络中的非线性激活函数转化为的低次多项式)为了解决输入的熵比较小这一问题，我们通过在密文中加入额外的噪声项来增加原始数据的熵。即添加整数σ的κ倍(κ的取值范围为0到σ)，所以熵γ将改变γ＝γ+lgσ,即足以防御蛮力猜测攻击。由于密文中添加额外的术语，因此计算多项式P(x₁,x₂,x₃,···x_η,σ)在输入样本[0,M)与足够大的熵γ；同样的LHE2方案由{密钥生成,加密,解密,相加,相乘}五个步骤组成；

步骤3.3.1密钥生成：给定一个安全参数λ，选定两个大的素数p∈[2^λ-1,2^λ]，q∈[2^F-1,2^F]，其中

且为了保证P(x₁+κ₁σ,x₂+κ₂σ,…x_η+κ_ησ)<p，κ₁,κ₂,…κ_η∈[0,σ)，需要满足p>(η+1)^d(M+σ²)^d。同时，为了保证P(x₁,x₂,…x_η)<σ，要求σ>(η+1)^dM^σ。最后，用户自己保存(p,σ)，把pq上传给云服务器；

步骤3.3.2加密：用户根据密钥(p,σ)加密像素值x为Enc(x,p,σ)＝c＝x+κσ+μp(mod pq)；μ,κ是从[1,q),[0,σ)随机选取的整数；

步骤3.3.3解密：用户通过Dec(x,p,σ)＝(c mod p)mod x,p,σ；

步骤3.3.4相加：两个加密后的像素值c＝x+cσ+μp和c′＝x′+κ′σ+μ′p相加后的结果为Add(c,c′)＝x+x′+(κ+κ′)σ+(μ+μ′)p(mod pq)；因为P(x₁+κ₁σ,x₂+κ₂σ,…x_η+κ_nσ)<p和P(x₁,x₂,…x_η)<σ，所以相加后的结果Add(c,c′)可以被直接解密；

步骤3.3.5相乘：两个加密后的像素值c＝x+κσ+μp和c′＝x′+κ′σ+μ′p相乘后的结果为Mult(c,c′)＝xx′+(x′κ+xκ′+κκ′σ+κμ′p)σ+(x′μ+xμ′+μμ′p+κ′μσ)p，同样的，因为P(x₁+κ₁σ,x₂+κ₂σ,…x_η+κ_ησ)<p和P(x₁,x₂,…x_η)<σ，所以相乘后的结果Mult(c,c′)可以被直接解密。

Claims (2)

1.在移动群智感知系统中可验证的隐私保护方法，其特征在于，包括以下步骤：

1)低次多项式生成步骤：服务器使用通用的函数逼近算法将神经网络中的非线性激活函数转化为低次多项式；

2)模型参数的正确性验证结果生成步骤：服务器通过生成敏感样本c，再利用敏感样本c对模型参数的正确性进行验证生成验证结果f(ω，c)，最后生成待返回给用户的敏感的样本及模型参数的正确性验证结果{c，f(ω，c)}；

3)基于层次同态加密LHE的隐私保护：服务器计算待传输的与用户相关的数据的熵，再判断熵是否大于预设值，则认为待传输的与用户相关的数据为高熵数据，直接使用LHE该用户相关的数据进行加密后传输，否则，认为待传输的与用户相关的数据为低熵数据，则增加该用户相关的数据的熵，再使用LHE对增熵后的用户相关的数据进行加密后传输；所述用户相关的数据包括神经网络的模型参数、用户的查询请求、用户的敏感样本和模型参数的正确性验证结果。

2.如权利要求1所述方法，特征在于，步骤2中敏感样本据c通过迭代求解以下得到：

s.t.c中各像素强度∈([B，Q])^η，η表示样本的维数,|| ||_F表示矩阵的Frobenius范数。

Images