CN111669366A - 一种本地化差分隐私数据交换方法及存储介质 - Google Patents

Abstract

本发明公开了一种本地化差分隐私数据交换方法，首先定义伪随机数生成算法G、差分隐私预算参数∈和数据范围L；客户端根据差分隐私预算参数∈对原始数据x的独热向量V进行扰动，将V中值为1的位索引记为Info，将扰动后值为1的位数记为N；利用算法G从L个数据中选出均匀分布的N个互不相同的随机数，得到数组Indexes，对其中每个元素加上[0,L‑1]上均匀分布的随机数offset，得到扰动序列，将三元组<seed,N,offset>发送至服务器；服务器访问伪随机数生成器G(seed)，根据算法还原扰动向量。本发明还公开了基于上述方法的计算机存储介质。本发明在保障隐私数据传输精度的同时，大幅降低了传输和运算开销。

Description

一种本地化差分隐私数据交换方法及存储介质

技术领域

本发明涉及一种隐私数据交换方法，尤其涉及一种本地化差分隐私数据交换方法及存储介质。

背景技术

在现实生活中，有大量服务需要利用用户的各类信息进行统计分析，以提供更准确、多样化的服务，例如输入法中的词汇自动联想、购物应用中的商品推荐等。这些服务的有效性直接影响用户体验，因此需要高质量的用户信息，然而，这类信息通常与个人隐私密切相关，需要得到妥善保护。如何在保护用户隐私的同时兼顾服务质量，成为了一个亟待解决的问题。

针对这一类型的隐私保护问题，差分隐私(Differential Privacy)是其中最广泛应用的框架之一，其核心思想是由可信第三方收集所有原始数据，经过加噪处理后发布聚合的统计结果。由于从处理后的统计结果中无法精确分辨出某一用户的个人信息是否参与了该聚合统计，从而可实现对个人隐私的保护。然而，实际应用中可信第三方往往是不存在的，因此传统差分隐私的实际应用受到了限制。为了解决这一问题，本地化差分隐私(LocalDifferential Privacy,LDP)技术得到了越来越多的重视。

本地化差分隐私将数据处理阶段从可信第三方处转移到了各用户自身。针对自身的敏感信息，用户通过事先约定好的扰动机制对敏感信息加入噪声，然后将含噪数据发送给服务器，服务器对所有用户的含噪数据进行聚合，由于加入的噪声期望为0，当数据量足够大时，噪声的影响被消除，最终统计结果与原始准确值误差较小。常用的扰动机制主要是随机响应技术，其主要扰动方法如下：用户与服务器事先约定翻转概率，用户在汇报敏感数据时，将数据以独热编码形式进行处理，对敏感数据的每个二进制位以事先约定的概率进行翻转后发送。服务器端接收到大量用户汇报的信息后进行汇总，根据汇总的独热向量还原出原始数据的统计值。

然而，本地化差分隐私也存在应用上的难题。尤其是针对大量用户的多变量统计方面。独热编码要求对一个有N种不同取值的变量，需要以一个长度为N的向量编码，这对数据的收集和传输过程构成了挑战。例如，针对输入法的词频统计场景，常用的二元语法统计(2-gram)需要对每组词汇输入创建一个可以长达数百万位的比特向量，这对原始模型的正常运行构成了挑战，也限制了本地化差分隐私的实际应用。现有的优化算法(如Rappor,HCMS等)聚焦于将该比特向量以一定技术手段进行压缩，传输后在服务器端进行还原计算，这些方法有一定效果，但由于压缩损失了精度，且还原计算开销较高，针对较大规模的问题，其实用效果仍然有限。

发明内容

发明目的：本发明提出一种数据交换开销小、传输精度高、适用面广的隐私数据交换方法。本发明的另一目的在于提供基于该方法的计算机存储介质。

技术方案：本发明所述的本地化差分隐私数据交换方法，该方法包括步骤：

(1)服务器与客户端协商伪随机数生成算法G，并约定差分隐私预算参数∈和数据范围L；

(2)客户端根据差分隐私预算参数∈计算扰动概率p，对原始数据x的独热向量V∈{0,1)^L进行扰动模拟，计算扰动完成后Info位上的数字翻转情况以及向量中值为1的位数N；所述Info为独热向量V中唯一一个值为1的位索引，Info∈[1,L]，L为向量长度；

(3)客户端利用伪随机数生成算法G，选取随机数种子seed，从1,2,…,L中选出均匀分布的N个互不相同的随机数，得到数组Indexes；

(4)客户端根据平移规则，对数组Indexes中的每个元素加上offset，得到扰动序列，所述扰动序列为扰动向量V中元素值为1的下标序列，offset为在[0,L-1]上均匀分布的随机数；

(5)客户端将三元组<seed,N,offset>发送至服务器；

(6)服务器接收三元组<seed,N,offset>，访问伪随机数生成器G(seed)，生成N个随机数q₁,q₂,...,q_N，并获得传输的N个随机结果RST'＝{(q_i+offset)modN+1|i∈[1,N]}；初始化长度为L的序列Seq＝[0,0,...,0]，对于RST'中的每个元素RST'_i，将Seq[RST'_i]置换为1，置换后的序列V'＝V。

进一步地，步骤(2)包括：

(21)根据隐私预算参数∈计算扰动概率p，所述扰动概率为对独热向量V进行扰动的位翻转概率；其中，所述翻转为将向量中元素0变为1，元素1变为0；

(22)进行L次成功概率为p的伯努利试验，记录试验成功的次数N、第Info次实验的结果r_Info＝{Success/Fail}；若r_Info＝Success，表示Info位上的数字翻转成功，若r_Info＝Fail，表示Info位上的数字未被翻转。

进一步地，所述扰动概率为：

进一步地，步骤(3)包括：

(31)初始化数组Nums＝[1,2,...,L]，迭代次数Bound＝1；

(32)利用伪随机数生成器G(seed)生成一个[Bound,L]区间内的随机数t，将Nums[t]的值与Nums[Bound]的值交换，Bound＝Bound+1；

(33)迭代N次后，返回Indexes＝Nums[1,2,...,N]作为选取结果。

由于原始数组Nums中的L个元素各不相同，N次选择(迭代)中，每次被选中的元素都不会参与后续选择，这保证了选出的元素各不相同。

设第i次抽取得到的值为rst_i，任意值R被抽出的概率为P，则根据步骤(2)的抽取规则可知，对任意a≠b，都有rst_a≠rst_b，将第i个被抽出的元素是R的概率记作Pr[rst_i＝R]，则：

由此可知，步骤(3)保证了从L个数据中抽出N个随机数各不相同，且原始数组Nums中每个元素被抽中的概率相同，均为

即选出了均匀分布的N个互不相同的随机数。

进一步地，所述步骤(4)包括：

(44)若r_Info＝Fail，从数组Indexes中随机选取一个元素，记该元素的索引为j，令offset＝Info-j；

(45)若r_Info＝Success，从数组Nums中除去数组Indexes后的剩余元素中随机选取一个元素，记该元素的索引为j，令offset＝Info-j；

扰动序列为对数组Indexes中的每个元素加上offset，得到扰动序列。

若第Info位上的元素取值为0的概率为p，则取值为1的概率为(1-p)，而其余位上的元素取值为0的概率为(1-p)，取值为1的概率为p。

令扰动向量中第Info位的元素为t_Info，不失一般性，记其余位的某随机元素为t_j(j≠Info)，则：

Pr[t_Info＝0]＝Pr[r_Info＝Success]＝p

Pr[t_Info＝1]＝Pr[r_Info＝Fail]＝(1-p)

当r_Info＝Success时，offset是从Indexes的N个等概率元素中随机抽取的，

同理，当r_Info＝Fail时，offset是从(L-N)个未被选中的值中随机抽取的，

抽取的每个数字代表一个下标，表明扰动之后那一位是1。

因此，offset的取值为[0,L-1]上的均匀分布，且与随机试验的结果r_j无关。

步骤(2)-(4)为客户端的预处理过程，其中，步骤(2)的每次试验为常数时间，步骤(3)N个随机数的选择分别需要常数时间，步骤(4)中数组中的每个元素加上offset也需要常数时间。因此，客户端整体的时间复杂度是线性的。

步骤(6)为服务器的后处理计算过程，同理，其恢复数据的时间复杂度也是线性的。

本发明所述的计算机可读存储介质，其上存储有本地化差分隐私数据交换的程序，所述本地化差分隐私数据交换的程序被处理器执行时实现上述本地化差分隐私数据交换方法的部分或全部步骤。

有益效果：本发明具有以下优点：

1、大幅降低了数据交换过程的开销：对任意长度为L的位向量数据，客户端和服务器仅需要事先约定将要使用的伪随机数生成函数的集合，并各进行线性时间(O(L))的预处理与后处理计算，即可将传输的数据量缩减为常数个数据，传输时间复杂度为O(1)；

2、传输精度高：服务端可以根据客户端传递的参数精确还原出客户端发送的数据，而不引入额外的系统误差；

3、适用面广：传输原理与具体算法实现无关，可以在调整扰动方式后应用于各类本地化差分隐私算法随机响应机制部分的数据传输过程。

附图说明

图1是本发明所述本地化差分隐私数据交换方法的流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示，本发明所述的本地化差分隐私数据交换方法包括步骤：

(1)服务器与客户端协商伪随机数生成算法G，并约定差分隐私预算参数∈和数据范围L。

一个随机函数π满足]-本地化差分隐私(∈>0)，当且仅当对于任意输入v,v'，对π值域中的任意取值y，均有：

其中，Pr[π(v)＝y]表示函数π作用于输入v后，其输出结果等于y的概率。由定义可得，∈的值越小，函数π对两个具有微小差别的数据集的区分能力就越弱，换言之，保护数据集隐私的能力更强。

(2)客户端根据差分隐私预算参数∈对原始数据X的独热向量V∈{0,1}^L进行扰动模拟，独热向量中唯一一个值为1的位索引为Info∈[1,L]，统计扰动后扰动向量中值为1的位数N。

利用伪随机数生成算法G选取随机数种子seed，从L个数据中选出均匀分布的N个互不相同的随机数，得到数组Indexes。

(21)初始化数组Nums＝[1,2,...,L]，迭代次数Bound＝1；

(22)利用伪随机数生成器G(seed)生成一个[Bound,L]区间内的随机数t，将Nums[t]的值与Nums[Bound]的值交换，Bound＝Bound+1；

(23)迭代N次后，返回Indexes＝Nums[1,2,...,N]作为选取结果。

假设L＝7，独热向量为[0,0,0,1,0,0,0]。经过步骤(2)的扰动模拟后，获得本次扰动的具体信息，包括最终有几位被置为1，以及Info位的取值。假设获取到的随机结果是6个非信息位中有3位被置为1，同时Info位是0，即N＝3(总成功次数为3)，r_Info＝Fail。

从[0,1,2,…,L-1]共L个下标中抽取N＝3个Index，假设选中的是[1,3,4]。由于已知扰动向量的长度L，实际上扰动向量和扰动序列的信息量等同。此时的下标只满足了N的要求，不一定满足Info位的要求，需要进一步调整。

(3)客户端对数组Indexes中的每个元素加上offset，得到扰动序列，offset为在[0,L-1]上均匀分布的随机数。

本发明采用符合本地化差分隐私定义的随机响应机制作为扰动机制。例如，当被调查者被询问到某敏感的是/否问题时，首先不公开地掷一次硬币，如果是正面，则如实回答问题，如果是反面，则再次掷一次硬币，根据硬币的正反回答“是”或“否”。实际上，被调查者会以p的概率回答真实的答案。若调查结果中回答为“是”的比例为M，则现实中回答“是”的比例极大似然估计值为

根据本地化差分隐私的定义，本发明满足

的本地化差分隐私要求。

对于原始数据X，即某个离散变量，假设其有N种取值：x₁,x₂,…,x_n则可以将X＝x_i表示为长度为N的向量V，其中第i位取值为1，其余位取值均为0，V即为原始数据X的独热向量。由此可知，任意已知值域的离散状态均可通过独热编码表示为仅含[0,1]的确定长度的向量。

(31)根据隐私预算参数∈计算对原始数据x进行扰动的位翻转概率：

(32)进行L次成功概率为p的伯努利试验，记录试验成功的次数N、第Info次实验的结果r_Info＝{Success/Fail}；

(33)若r_Info＝Fail，从数组Indexes中随机选取一个元素，记该元素的索引为j，令offset＝j-Info；

(34)若r_Info＝Success，从数组Nums中除去数组Indexes后的剩余元素中随机选取一个元素，记该元素的索引为j，令offset＝j-Info；

(35)对数组Indexes中的每个元素加上offset，得到扰动序列，所述扰动序列为扰动向量中所有值为1的位的下标序列。

由于Info位为0，因此需要从(L-N)个未被选中的值。第1、3、4位已被选中，故从0、2、5、6中随机选择一个值，假设本次随机选到了j＝2，于是Offset＝Info-j＝1。

将Indexes的每一个位都加上Offset，获得“扰动序列”：[2,4,5]，则对应的“扰动向量”就是[0,0,1,0,1,1,0]。

(4)客户端将三元组<seed,N,offset>发送至服务器；

(5)服务器接收三元组<seed,N,offset>，访问伪随机数生成器G(seed)，生成N个随机数q1,q2,...,qN，并获得传输的N个随机结果RST'＝{(q_i+offset)modN+1|i∈[1,N]}；初始化长度为L的序列Seq＝[0,0,...,0]，对于RST'中的每个元素RST'_i，将Seq[RST'_i]置换为1，置换后的序列即为扰动向量。

本发明所述的计算机可读存储介质，其上存储有本地化差分隐私数据交换的程序，所述本地化差分隐私数据交换的程序被处理器执行时实现上述本地化差分隐私数据交换方法的部分或全部步骤。

Claims (6)

1.一种本地化差分隐私数据交换方法，其特征在于，该方法包括步骤：

(1)服务器与客户端协商伪随机数生成算法G，并约定差分隐私预算参数∈和数据范围L；

(2)客户端根据差分隐私预算参数∈计算扰动概率p，对原始数据x的独热向量V∈0,1)^L进行扰动模拟，计算扰动完成后Info位上的数字翻转情况以及向量中值为1的位数N；所述Info为独热向量V中唯一一个值为1的位索引，Info∈[1,L]，L为向量长度；

(3)客户端利用伪随机数生成算法G，选取随机数种子seed，从1,2,…,L中选出均匀分布的N个互不相同的随机数，得到数组Indexes；

(4)客户端根据平移规则，对数组Indexes中的每个元素加上offset，得到扰动序列，所述扰动序列为扰动向量V中元素值为1的下标序列，offset为在[0,L-1]上均匀分布的随机数；

(5)客户端将三元组<seed,N,offset>发送至服务器；

(6)服务器接收三元组<seed,N,offset>，访问伪随机数生成器G(seed)，生成N个随机数q₁,q₂,...,q_N，并获得传输的N个随机结果RST'＝{(q_i+offset)modN+1|i∈[1,N]}；初始化长度为L的序列Seq＝[0,0,...,0]，对于RST'中的每个元素RST'_i，将Seq[RST'_i]置换为1，置换后的序列V'＝V。

2.根据权利要求1所述的本地化差分隐私数据交换方法，其特征在于，步骤(2)包括：

(21)根据隐私预算参数∈计算扰动概率p，所述扰动概率为对独热向量V进行扰动的位翻转概率；其中，所述翻转为将向量中元素0变为1，元素1变为0；

(22)进行L次成功概率为p的伯努利试验，记录试验成功的次数N、第Info次实验的结果r_Info＝{Success/Fail}；若r_Info＝Success，表示Info位上的数字翻转成功，若r_Info＝Fail，表示Info位上的数字未被翻转。

3.根据权利要求1或2所述的本地化差分隐私数据交换方法，其特征在于，所述扰动概率为：

4.根据权利要求1所述的本地化差分隐私数据交换方法，其特征在于，步骤(3)包括：

(31)初始化数组Nums＝[1,2,...,L]，迭代次数Bound＝1；

(32)利用伪随机数生成器G(seed)生成一个[Bound,L]区间内的随机数t，将Nums[t]的值与Nums[Bound]的值交换，Bound＝Bound+1；

(33)迭代N次后，返回Indexes＝Nums[1,2,...,N]作为选取结果。

5.根据权利要求1所述的本地化差分隐私数据交换方法，其特征在于，所述步骤(4)包括：

(41)若r_Info＝Fail，从数组Indexes中随机选取一个元素，记该元素的索引为j，令offset＝Info-j；

(42)若r_Info＝Success，从数组Nums中除去数组Indexes后的剩余元素中随机选取一个元素，记该元素的索引为j，令offset＝Info-j；

(43)为对数组Indexes中的每个元素加上offset，得到扰动序列。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有本地化差分隐私数据交换的程序，所述本地化差分隐私数据交换的程序被处理器执行时实现如权利要求1至5中任一项所述本地化差分隐私数据交换方法的步骤。

Images