CN112711767B - 一种可验证且隐私保护的支持向量机分类方法 - Google Patents

Abstract

本发明公开了一种可验证且隐私保护的支持向量机分类方法，涉及网络空间安全与人工智能交叉领域，包括以下算法：算法一，系统初始化，即生成支持向量机分类器，并产生对称密钥；算法二，分类器加密，即将支持向量机分类器转化成分类规则，进而构建密文索引，并外包存储；算法三，令牌生成，即将特征向量加密并产生分类结果查询令牌；算法四，安全决策，即根据查询令牌与密文索引生成加密的支持向量机分类结果；算法五，结果验证，即对加密分类结果进行验证；算法六，结果解密，即对通过结果验证的加密分类结果进行解密。本发明的优势：能够在恶意的云环境下进行隐私保护的分类；实现常数时间复杂度的微秒级分类，实现千字节级存储、通信开销。

Description

一种可验证且隐私保护的支持向量机分类方法

技术领域

本发明属于网络空间安全与机器学习交叉领域，涉及密文环境下的数据分类技术，具体为一种可验证且隐私保护的支持向量机分类方法。

背景技术

随着人工智能、云计算、物联网等新兴技术的快速发展，基于云的外包存储、计算、决策等服务得到了广泛的应用。其中，基于云计算的数据分类决策服务已经被广泛应用在临床决策、信用评估、语音识别等领域，并在这些领域取得了突破性的成果。在基于云计算的数据分类决策服务中，分类决策服务提供商通过机器学习方法从海量数据集中训练决策模型，并将训练好的决策模型外包存储在具有庞大计算与存储资源的云服务器中，进而依托云服务器为远程用户提供实时的分类决策服务。这种基于云计算的数据分类决策服务能够为用户提供无处不在的远程在线决策服务，使缺乏高性能计算设备、海量数据和机器学习专业知识的用户享受到新兴技术带来的生活便利。

然而，人们在使用云计算服务的同时，也向云服务器让渡了数据的实际控制权。在基于云计算的数据分类决策服务中，主要面临两个方面的隐私泄露风险。一方面，对于分类决策服务提供商而言，基于云计算的数据分类决策服务需要分类决策服务提供商向云服务器外包存储决策分类器，从而可能导致训练好的决策模型泄露。另一方面，用户在使用决策服务的同时，需要向云服务器上传自己的特征数据，并由云服务器返回决策结果。这种服务模式不仅可能会让用户自身的特征数据、决策结果泄露，也会因云服务器的错误计算导致决策结果出错。因此，基于云计算的数据分类决策服务主要面临两个方面的安全挑战：一方面，敏感数据，即分类决策模型、特征值、决策结果等数据的机密性受到威胁；另一方面，云服务器可能会篡改或删除数据，导致决策结果不准确。

支持向量机作为一种典型的数据分类方法，已经被广泛应用在临床决策、信用评估、语音识别等领域当中。目前，基于云计算的隐私保护支持向量机分类的研究主要存在安全与效率等两个方面的问题。从安全性的角度，目前已有的工作主要假设云服务器为诚实且好奇的敌手，即云服务器会遵循安全协议来执行数据分类计算。在这个假设前提下，目前已有的工作保护了敏感数据的机密性。然而，这种假设在云服务器收到内部或外部攻击时可能会失效，从而导致敏感数据被篡改、伪造、删除，进而影响分类决策的结果。从效率的角度，目前已有的工作主要采用同态加密、安全多方计算等技术来实现基于云计算的隐私保护支持向量机分类。由于同态加密和安全多方计算分别会带来昂贵的计算开销和通信开销，这些方法的效率往往较低。

发明内容

针对已有基于云计算的隐私保护支持向量机分类方法中存在的安全与效率两方面问题，本发明提出了一种可验证且隐私保护的支持向量机分类方法。该方法基于伪随机置换、伪随机函数、对称加密、和支持向量机分类器规则提取方法，并满足以下特征：

(1)能够在恶意的云服务器环境下进行隐私保护的支持向量机分类，保护用户查询数据、用户分类结果和支持向量机分类模型不被恶意的云服务器获悉，检测恶意的云服务器是否篡改用户分类结果，保证分类结果的正确性和完整性；

(2)一旦支持向量机分类模型训练完毕，云服务器能够在常数时间复杂度下实现微秒级隐私保护的支持向量机分类和千字节级存储、通信开销。

为了实现上述特征，本发明的技术方案是，一种可验证且隐私保护的支持向量机分类方法，包含以下六个算法：算法一，系统初始化，即由分类决策服务提供商根据训练数据集生成SVM分类器，并根据密钥生成算法产生多个对称密钥；算法二，分类器加密，即由分类决策服务提供商将SVM分类器转化成分类规则，进而为规则构建密文索引，并外包存储在云服务器；算法三，令牌生成，即用户将待分类的特征向量加密并产生分类结果查询令牌；算法四，安全决策，即用户将查询令牌提交到云服务器后，云服务器根据密文索引为用户生成加密的SVM分类结果；算法五，结果验证，即用户根据云服务器返回的加密分类结果进行验证；算法六，结果解密，即用户对通过结果验证的加密分类结果进行解密。

通过运行上述六个算法，本发明可以概括为两个阶段：即(1)参数分发与模型外包；和(2)决策请求与响应。各个阶段描述如下：

(1)参数分发与模型外包阶段：步骤一，分类决策服务提供商运行系统初始化算法，生成SVM分类器和多个对称密钥，并将对称密钥分发给用户；步骤二，分类服务提供商运行分类器加密算法，将SVM分类器转化成分类规则后构建密文索引，并将密文索引外包存储在云服务器中。经过上述两个步骤后，参数分发与模型外包阶段结束。

(2)决策请求与响应阶段：步骤一，用户运行令牌生成算法，将待分类的特征向量加密后，发送到云服务器；步骤二，云服务器运行安全决策算法，根据密文索引为用户生成加密的SVM分类结果；步骤三，用户运行结果验证算法，通过云服务器返回的加密结果和验证信息，验证加密SVM分类结果的有效性；步骤四，用户运行结果解密算法，将通过验证的加密SVM分类结果进行解密，并得到待分类特征向量的对应分类结果。经过上述四个步骤后，决策请求与响应阶段结束。

对本发明包含的算法的详细描述如下：

所述算法一，即系统初始化算法，包含以下两个步骤：

第一步：分类决策服务提供商利用SVM分类技术从数据集中训练出SVM分类器。其中，数据集的每一条数据均具有m个维度，即v＝{v₁，...，v_m}。对于数据集中每一个维度v_i，其数值皆归一化为一个正整数集合{1，...，n}，即

第二步：分类决策服务提供商根据安全参数κ，生成密钥K₀。其中，/>与/>为κ比特伪随机函数密钥，/>和/>为κ比特伪随机置换函数密钥，K₀为κ比特对称密钥。随后，分类决策服务提供商将/>K₀共享给用户。

所述算法二，即分类器加密算法，包含以下五个步骤：

第一步：分类决策服务提供商利用SVM分类规则提取方法，将SVM分类器提取为t条规则，即R＝{R₁，R₂，...，R_t}。其中，p＝{p₁，p₂，...，p_t}为R的对应分类结果。第i条规则R_i的特征为：{R_i|1≤i≤t}＝{R_i，1，R_i，2，...，R_i，j，...，R_i，m，p_i}。其中，R_i，j＝{lb_i，j，ub_i，j}代表R_i在第j个维度的下限和上限。

第二步：分类决策服务提供商根据R构建t×m个n比特布尔型向量，即I＝{I_1，1，...，I_1，m，...，I_t，1，...，I_t，m}。对于每一个布尔型向量I_i，j，其特征在于：对于向量中的每一个元素I_i，j[k]，满足：

第三步：分类决策服务提供商构建具有查询密文索引T₀，其特征在于：T₀具有t×m×n个元素，每个元素的值为：T₀[H₀(i||j||k)]←F₀(I_i，j[k]||i||j||k)。其中，H₀(i||j||k)为第i·m·n+j·n+k个元素由伪随机置换H₀及其密钥/>对字符串连接i||j||k产生的位置，F₀(I_i，j[k]||i||j||k)为伪随机函数F₀及其密钥/>对字符串连接I_i，j[k]||i||j||k产生的伪随机字符串。

第四步：分类决策服务提供商构建具有验证信息的密文索引T₁，其特征在于：对于所有p_i∈p，分类决策服务提供商计算c_i←Sym.Enc(K₀，p_i)和vc_i←F₁(H₁(i)||c_i)，并设置T₁[H₁(i)]←c_i||vc_i。其中，c_i为p_i由密钥K₀经对称加密后生成的密文，H₁(i)为第i个元素由伪随机置换H₁及其密钥/>产生的位置，F₁(H₁(i)||c_i)为伪随机函数F₁及其密钥/>对字符串连接H₁(i)||c_i产生的伪随机字符串。

第五步：分类决策服务提供商将T₀和T₁外包存储在云服务器。

所述算法三，即令牌生成算法，包含以下三个步骤：

第一步：用户随机生成t个对称密钥，即K₁，K₂，...，K_t。

第二步：对于特征向量v＝{v₁，...，v_m}，用户生成t个令牌，即TK(v)＝{TK₁(v)，...，TK_t(v)}。其特征在于：对于任意令牌TK_i(v)＝(α_i，β_i，γ_i，L_i)。其中， β_i＝Sym.Enc(K_i，0^κ)，γ_i＝Sym.Enc(K_i，H₁(i))，

第三步：用户将TK(v)提交到云服务器。

所述算法四，即安全决策算法，包含以下四个步骤：

第一步：云服务器接收T₀和T₁。

第二步：当云服务器接收到TK(v)后，初始化决策结果集合为空集，即令

第三步：对每一个TK_i(v)∈TK(v)，云服务器计算其中，/>接着，云服务器用K′_i解密β_i，并会出现以下两种情况：

情况一：若Sym.Enc(K′_i，β_i)＝0^κ，则云服务器查询T₁[Sym.Dec(K′_i，γ_i)]并得到c_i||vc_i。接着，云服务器将c_i添加到c(v)中，并生成PFi，即c(v)←c(v)∪{c_i}，PF_i←K′_i||vc_i。

情况二：若Sym.Enc(K′_i，β_i)≠0^κ，则云服务器添加空集到c(v)中，并生成PF_i，即/>

第四步：云服务器将c(v)和PF＝{PF₁，...，PF_i，...，PF_t}返回给用户。

所述算法五，即结果验证算法，包含以下三个步骤：

第一步：用户从云服务器处接收c(v)和PF。

第二步：对于每一个用户考虑以下两种情况：

情况一：若密文c_i∈c(v)，则用户验证K′_i和vc_i，即，若K_i≠K′_i或F₁(H₁(i)||c_i)≠vc_i，则输出拒绝(REJECT)。

情况二：若密文则用户验证PF_i，即，若/>F₀(0||i||j||v_j)≠T₀[H₀(i||j||v_j)]，则输出拒绝(REJECT)。

第三步：若上述步骤中没有输出拒绝(REJECT)，则用户接受c(v)并输出接受(ACCEPT)。

所述算法六，即结果解密算法，包含以下一个步骤：

步骤一：若用户接受(ACCEPT)c(v)，则对每一个c_i∈c(v)，用户经过计算得到：p(v)＝{p_i|p_i＝Sym.Dec(K₀，c_i)，c_i∈c(v)}。

针对现有技术存在的不足，本发明结合了伪随机置换、伪随机函数、对称加密、和支持向量机规则提取等技术，提出了一种可验证且隐私保护的支持向量机分类方法。在云数据外包计算的背景下，该技术利用云服务器庞大的计算和存储资源，为用户提供了实时、高效、无处不在的远程SVM决策服务。与此同时，该技术不仅保护SVM分类器、用户数据、和分类结果的机密性，还能够在恶意敌手的环境下保护数据的完整性。

与现有技术相比，本发明的有益效果是：

(1)本发明在恶意敌手的环境下保护了SVM分类器，用户数据，和分类结果的机密性。在本发明中，通过增加决策结果验证算法，可以有效防止云服务器伪造、篡改、删除用户的分类结果；通过采用对称密码算法，可以有效保护敏感数据的机密性。

(2)本发明降低了用户的计算、通信、存储开销。在整个SVM分类的过程中，用户只需要生成加密令牌和对返回的分类结果进行验证与解密。与其他隐私保护SVM分类方法相比，本发明采用对称密码算法来构建加密索引，极大地降低了数据计算开销。

附图说明

图1是本发明的系统模型图；

图2是支持向量机规则提取示意图；

图3是本发明各子算法的计算性能测试图。

具体实施方式

下面结合实例对本发明的实施方式进行进一步详细说明。

如图1所示，本发明提出的一种可验证且隐私保护的支持向量机分类方法，运行在一个包括分类决策服务提供商、云服务器、用户等三个实体的系统模型中。本发明包括两个阶段：即(1)参数分发与模型外包；和(2)决策请求与响应。各个阶段描述如下：

(1)参数分发与模型外包阶段：如图1中虚线箭头所示，在这个阶段，分类决策服务提供商与用户和云服务器进行一次交互，即向用户提供对称密钥，并向云服务器外包密文索引。这个阶段包括两个步骤：步骤一，分类服务提供商运行系统初始化算法，生成SVM分类器和多个对称密钥，并将对称密钥分发给用户；步骤二，分类服务提供商运行分类器加密算法，将SVM分类器转化成分类规则后构建密文索引，并将密文索引外包存储在云服务器中。其中，分类规则可以通过下述方法构造。如图2所示，在一个二维的空间里，支持向量机分类器可以用一条曲线来表示。因此，支持向量机即将向量空间一分为二的曲线(高维向量空间中的分离超平面)。对某一支持向量，作一条与某一维度平行的直线，可与其他维度交于分离超平面或向量空间边界，进而得到一个超矩形。通过提取的超矩形进行优化，可以得到覆盖某一分类的一组超矩形。如图2所示，R₁，R₂，R₃，R₄即为覆盖正类(Positive)的超矩形。通过对超矩形边界进行提取，即可得出支持向量机分类模型。如图2所示，若某一输入向量v＝{v₁，v₂}，满足矩形R₄的边界lb_4，1，ub_4，1，lb_4，2，ub_4，2，即lb_4，1≤v₁≤ub_4，1且lb_4.2≤v₂≤ub_4，2，则v的分类结果为正类。同理，根据图2的支持向量机分类器(曲线部分)，可以提取出9条规则，如表1所示。

1.表1图2例子中提取的分类规则

经过上述两个步骤后，参数分发与模型外包阶段结束。

(2)决策请求与响应阶段：如图1实线箭头所示，在这个阶段，用户与云服务器进行多次交互，即用户向云服务器上传查询令牌，并得到云服务器返回的加密结果和验证信息。这个阶段包括四个步骤：步骤一，用户运行令牌生成算法，将待分类的特征向量加密后，发送到云服务器；步骤二，云服务器运行安全决策算法，根据密文索引为用户生成加密的SVM分类结果；步骤三，用户运行结果验证算法，通过云服务器返回的加密结果和验证信息，验证加密SVM分类结果的有效性；步骤四，用户运行结果解密算法，将通过验证的加密SVM分类结果进行解密，并得到待分类特征向量的对应分类结果。经过上述四个步骤后，决策请求与响应阶段结束。

本发明在真实通用机器学习数据集进行了测试，并评估了本发明的有效性。

1)实验设置

本发明采用了配置为搭载Intel Core i7-8850H中央处理器和8GB内存的64比特VMware虚拟机(操作系统为Ubuntu 18.04)进行实验仿真。实验仿真分别通过AES-CBC-256和HMAC-256来实现对称加密方法和伪随机函数。其中，伪随机置换函数通过伪随机函数来产生。实验中采用了Breast-Cancer-Wisconsin数据集来测试本发明的时间开销和空间开销。其中，本发明首先通过线性支持向量机分类方法从该数据集中学习一个分类模型，并从中提取出19条分类规则。经测试，该19条分类规则在真实数据集中可以达到96.93％的分类准确率。

2)在真实数据集中本发明的平均时间开销与空间开销

本发明所提出的可验证且隐私保护的支持向量机分类方法在支持向量机规则提取后，能够实现常数级时间开销。因此，本实验通过1000次运行，测试了本发明在分类决策服务提供商、云服务器和用户三端所需的平均时间开销。与此同时，本实验还测试了云服务器的存储开销和用户的通信开销。如图3所示，在参数分发与模型外包阶段，分类决策服务提供商需要约3005微秒来完成参数分发和模型外包。由于该阶段只需要运行一次，因此这个开销对于分类决策服务提供商而言属于合理的时间开销。在决策请求与响应阶段，用户需要约468微秒来完成查询令牌生成、结果验证、解密等所有操作，而云服务器需要约107微秒来完成密文环境下的支持向量机分类。因此，不管是云服务器还是用户，均只需要微秒级的时间开销来完成每一次决策请求与响应，保证了决策请求与响应服务的高效性。与此同时，如图3所示，由于查询令牌与加密结果的平均空间开销分别为1725字节和3786字节，相较与当前通信网络的吞吐量而言，该平均通信开销较低。最后，加密索引的平均空间开销为47104字节，相较于目前云服务器的存储资源而言，该平均存储开销较低。因此，本发明具有良好的计算、通信、存储效率，适合实际环境下大规模部署。

Claims (1)

1.一种可验证且隐私保护的支持向量机(SVM)分类方法，其特征在于，包含以下六个算法：算法一，系统初始化，即由分类决策服务提供商根据训练数据集生成SVM分类器，并根据密钥生成算法产生多个对称密钥，其特征在于包括以下步骤：

(1)分类决策服务提供商利用SVM分类技术从数据集中训练出SVM分类器；其中，数据集的每一条数据均具有m个维度，即v＝{v₁，...，v_m}，对于数据集中每一个维度v_i，其数值皆归一化为一个正整数集合{1，...，n}，即

(2)分类决策服务提供商根据安全参数κ，生成密钥K₀，其中，/>与为k比特伪随机函数密钥，/>和/>为κ比特伪随机置换函数密钥，K₀为κ比特对称密钥；随后，分类决策服务提供商将/>K₀共享给用户；

算法二，分荚器加密，即由分荚决策服务提供商将SVM分荚器转化成分荚规则，进而为规则构建密文索引，并外包存储在云服务器，其特征在于，包含以下步骤：

(1)分类决策服务提供商利用SVM分类规则提取方法，将SVM分类器提取为t条规则，即R＝{R₁，R₂，...，T_t)；其中，p＝{p₁，p₂，...，p_t}为T的对应分类结果；第i条规则T_i的特征为：{R_i|1≤i≤t}＝{R_i，1，R_i,2，...，R_i,j，...，R_i,m，p_i}；其中，R_i,j＝{lb_i,j，ub_i,j}代表R_i在第j个维度的下限和上限；

(2)分类决策服务提供商根据R构建t×m个n比特布尔型向量，即I＝{I_1，1，...，I_1，m，...，I_t，1，...，I_t,m}；对于每一个布尔型向量I_i，j，其特征在于：对于向量中的每一个元素I_i，j[k]，满足：

(3)分类决策服务提供商构建具有查询密文索引T₀，其特征在于：T₀具有t×m×n个元素，每个元素的值为：T₀[H₀(i||j||k)]←F₀(I_i，j[k]||i||j||k)；其中， H₀(i||j||k)为第i·m·n+j·n+k个元素由伪随机置换H₀及其密钥/>对字符串连接i||j||k产生的位置，F₀(I_i，j[k]||i||j||k)为伪随机函数F₀及其密钥/>对字符串连接I_i，j[k]||i||j||k产生的伪随机字符串；

(4)分类决策服务提供商构建具有验证信息的密文索引T₁，其特征在于：对于所有p_i∈p，分类决策服务提供商计算c_i←Sym.Enc(K₀，p_i)和vc_i←F₁(H₁(i)||c_i)，并设置T₁[H₁(i)]←c_i||vc_i；其中，c_i为p_i由密钥K₀经对称加密后生成的密文，H₁(i)为第i个元素由伪随机置换H₁及其密钥/>产生的位置，F₁(H₁(i)||c_i)为伪随机函数F₁及其密钥/>对字符串连接H₁(i)||c_i产生的伪随机字符串；

(5)分类决策服务提供商将T₀和T₁外包存储在云服务器；

算法三，令牌生成，即用户将待分类的特征向量加密并产生分类结果查询令牌，其特征在于，包含以下步骤：

(1)用户随机生成t个对称密钥，即K₁，K₂，...，K_t；

(2)对于特征向量v＝{v₁，...，v_m}，用户生成t个令牌，即TK(v)＝{TK₁(v)，...，TK_t(v)}；其特征在于：对于任意令牌TK_i(v)＝(α_i，β_i，γ_i，L_i)；其中，γ_i＝Sym.Enc(K_i，H₁(i))，

(3)用户将TK(v)提交到云服务器；

算法四，安全决策，即用户将查询令牌提交到云服务器后，云服务器根据密文索引为用户生成加密的SVM分类结果，其特征在于，包含以下步骤：

(1)云服务器接收T₀和T₁；

(2)当云服务器接收到TK(v)后，初始化决策结果集合为空集，即令

(3)对每一个YK_i(v)∈TK(v)，云服务器计算其中，/>；接着，云服务器用K′_i解密β_i，并会出现以下两种情况：

1)若则云服务器查询T₁[Sym.Dec(K′_i，γ_i)]并得到c_i||vc_i；接着，云服务器将c_i添加到c(v)中，并生成PF_i，即c(v)←c(v)∪{c_i}，PF_i←K′_i||vc_i；

2)若则云服务器添加空集/>到c(v)中，并生成PF_i，即

(4)云服务器将c(v)和PF＝{PF₁，...，PF_i，...，PF_t}返回给用户；

算法五，结果验证，即用户根据云服务器返回的加密分类结果进行验证，其特征在于，包含以下步骤：

(1)用户从云服务器处接收c(v)和PF；

(2)对于每一个用户考虑以下两种情况：

1)若密文c_i∈c(v)，则用户验证K′_i和vc_i，即，若K_i≠K′_i或F₁(H₁(i)||c_i)≠vc_i，则输出拒绝(REJECT)；

2)若密文则用户验证PF_i，即，若/>F₀(0||i||j||v_j)≠T₀[H₀(i||j||v_j)]，则输出拒绝(REJECT)；

(3)若上述步骤中没有输出拒绝(REJECT)，则用户接受c(v)并输出接受(ACCEPT)；算法六，结果解密，即用户对通过结果验证的加密分类结果进行解密，其特征在于，包含以下步骤：

(1)若用户接受(ACCEPT)c(v)，则对每一个c_i∈c(v)，用户经过计算得到：p(u)＝{p_i|p_i＝Sym.Dec(K₀，c_i)，c_i∈c(v)}。