CN113300828B - 一种分布式差分隐私聚合方法 - Google Patents

Abstract

本发明属于分布式隐私保护的数据收集技术领域，具体涉及一种分布式差分隐私聚合方法。该方法包括以下步骤：基于中心化差分隐私算法服从分布的可加性，通过在用户端添加噪音的方式对中心化差分隐私算法进行分布式实现；在用户发送数据及数据聚合过程中，使用安全多方计算的方法，用户通过秘密分享的方式向各个聚合器发送通过差分隐私算法随机化后的数据，而后各聚合器之间交互获得最终的随机化的聚合结果。通过本发明提供的精确高效的分布式差分隐私聚合方法，分布式实现差分隐私算法提高了分布式隐私保护数据收集的精确性，且在数据收集方不可信的信任假设下，通过安全多方计算保证用户中间数据的安全性，并提高了安全数据聚合的效率。

Description

一种分布式差分隐私聚合方法

技术领域

本发明属于分布式隐私保护的数据收集技术领域，具体涉及一种分布式差分隐私聚合方法，该方法包括中心化差分隐私算法的分布式实现，以及基于安全多方计算的数据聚合。

背景技术

差分隐私技术，为统计数据中的个人隐私保护提供了严格的数学保证。随着大数据时代的发展，终端、移动端用户的相关使用和设置等信息的反馈，对于提升用户体验、恶意行为检测等方面有着重要的意义。

分布式的隐私保护数据收集方法，一般采用本地化差分隐私或者其扩展方法。这种方法中数据收集者是不可信的，这是对于用户来说是一种较为合理的信任假设，能够让用户更愿意参与到数据收集中，以达到更好的完善服务的目的。但本地化差分隐私的方法会引入较高的误差，对统计数据的可用性造成很大的影响。近期学术界提出了一种洗牌模型，该模型通过添加一组洗牌器作为第三方，洗牌器以用户添加噪音的数据作为输入，并对所有用户的输入进行洗牌，再将洗牌后的匿名数据集发送给不可信的服务器。洗牌模型通过引入的洗牌器为数据提供了匿名性从而提供隐私放大的效果，这一方式有效提高了分布式差分隐私方案的精确性。然而，尽管目前提出了通过本地化方案设计，或添加洗牌操作来达到隐私放大、降低误差的效果，但基于本地化差分隐私机制的实现仍然无法达到中心化差分隐私的精确程度。此外，洗牌操作的可验证性的保证，有一定程度上的效率损失。因此，针对分布式大规模数据收集的场景，保证用户隐私的同时，提高数据的精确性和实现的效率是重中之重。

发明内容

针对现有技术存在的不足之处，本发明提出了一种分布式差分隐私聚合方法，分布式实现差分隐私方法提高了分布式隐私保护数据收集的精确性。在数据收集方不可信的信任假设下，通过安全多方计算保证用户中间数据的安全性，并提高了安全数据聚合的效率。

为实现上述目的，本发明采用如下技术方案：

一种分布式差分隐私聚合方法，包括以下步骤，

步骤1、客户端与聚合器组协商所使用的参数，而后通过安全多方计算为每个用户分配随机数，用于后续数据收集时客户端安全地上传数据时使用；

步骤2、客户端通过一个本地的随机算法，以用户的真实数据为输入，分布式的生成带有噪音的数据，并将带有噪音的数据通过秘密分享的形式发送给一组不可信的聚合器；

步骤3、每个聚合器在收集到用户分享的部分信息后，在其本地进行聚合，待所有用户数据上传结束后，各个聚合器将自己的聚合公开并认证，计算最终的聚合结果，并将最终结果上传至服务器端。

本技术方案进一步的优化，所述步骤1聚合器组之间进行一次交互，通过同态加密的方式获取各自的随机数，而后聚合器组与客户端进行一次交互，以分配随机数。

本技术方案进一步的优化，所述步骤1聚合器之间交互前、客户端与聚合器组交互前，进行参数协商。

本技术方案更进一步的优化，所述参数包括用于安全多方计算参数：特定有限域、作为有限域模数的一个素数、模数对应的定点随机数的比特数、用于同态加密的数、输出数据保留的比特位数。

本技术方案更进一步的优化，所述参数包括用于差分隐私数据聚合的参数：参与数据收集的用户数、输入数据域、隐私预算。

本技术方案进一步的优化，所述步骤2客户端添加噪音满足在聚合时，所有噪音的和满足差分隐私。

本技术方案进一步的优化，所述步骤2所有用户添加的总噪音满足中心化差分隐私。

本技术方案进一步的优化，所述步骤2随机算法在真实数据x_i上添加两个服从伽马分布Ga(n,b)随机变量的差作为噪音，将该随机化过程记为y_i←R(x_i)＝x_i+γ_i,1-γ_i,2，得到随机化后的数据y_i。

区别于现有技术，上述技术方案具有如下有益效果：

1.提高了分布式隐私保护数据收集的精确性；

2.解决了在没有可信数据收集者情况下，数据隐私性与精确性的保证；

3.通过安全多方计算的方式，在服务器之间进行计算和交互，提高使用效率；

4.应用范围广，在多种需要进行用户信息收集和分析的场景都适用。

附图说明

图1是分布式差分隐私安全聚合示意图；

图2是中心化差分隐私算法的分布式实现示意图；

图3是基于秘密分享的安全多方计算进行数据聚合图；

图4是分布式差分隐私数据收集及安全聚合流程图；

图5是在不同隐私预算参数设定基于拉普拉斯算法的精确度图；

图6是在不同数量用户参与数据收集时的计算时间图；

图7是在不同数量用户参与数据收集时的通信量图；

图8是本发明与其他分布式差分隐私方案时间效率上的比较图；

图9是本发明与其他分布式差分隐私方案通信效率上的比较图；

图10是本发明与其他分布式差分隐私方案精确性上的比较图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

参阅图4所示，为分布式差分隐私数据收集及安全聚合流程图。一种精确高效的分布式差分隐私聚合方法，其具体步骤包括：

步骤1、如图4箭头①所示，聚合器组在收集数据前，客户端与聚合器组协商所使用的参数，而后通过安全多方计算为每个用户分配随机数，用于后续数据收集时客户端安全地上传数据时使用。

收集数据前，聚合器组之间进行一次交互，通过同态加密的方式获取各自的随机数。而后聚合器组与客户端进行一次交互，以分配随机数。通过安全多方计算保证聚合器中只要有一个聚合器是诚实的，聚合过程就是安全隐私的。此过程只需要执行一次，不会过度影响聚合的效率。

如图4箭头①、③、④所示，聚合器之间交互前、客户端与聚合器组交互前，需要进行参数协商。其中包括用于安全多方计算参数：特定有限域、作为有限域模数的一个素数、模数对应的定点随机数的比特数、用于同态加密的数、输出数据保留的比特位数；还包括用于差分隐私数据聚合的参数：参与数据收集的用户数、输入数据域、隐私预算等。

步骤2、如图4箭头②所示，客户端通过一个本地的随机算法，以用户的真实数据为输入，分布式的生成带有噪音的数据，并将带有噪音的数据通过秘密分享的形式发送给一组不可信的聚合器。

客户端在本地添加的噪音要满足在聚合时，所有噪音的和满足差分隐私。所有用户添加的总噪音满足中心化差分隐私的要求，而每个客户端按照特定的分布添加噪音是总噪音的小部分。通过此种分布式方法添加噪音结合安全聚合保证中间数值的隐私性，从而同时保证了聚合结果的隐私性与精确性。

将中心化差分隐私的算法进行分布式的实现。具体来说，根据中心化差分隐私算法添加噪音所服从分布的可加性，得出在客户端所需分布式添加的噪音应服从的分布，使得聚合后结果的噪音满足目标中心化差分隐私算法，该种算法具有较高的精确性。

如图4箭头⑤、⑦、⑧、⑩所示，客户端根据与聚合器交互得到的随机数，将本地随机化后的数据分成多份，发送给各个聚合器。每个聚合器只能得到用户的一部分数据，在聚合器观察下，数据是以随机数的形式存在的。只要存在一个诚实的聚合器，其余聚合器就不能恢复出用户上传的数据。

步骤3、如图四箭头⑩、

所示，每个聚合器在收集到用户分享的部分信息后，在其本地进行聚合，待所有用户数据上传结束后，各个聚合器将自己的聚合公开并认证，计算最终的聚合结果，并将最终结果上传至服务器端。

每个聚合器收集到用户通过秘密分享上传的部分数据，执行加法操作，将收集到的部分用户数据在聚合器本地聚合。直到所有用户上传数据后，各聚合器将各自的聚合结果公开，聚合器对聚合结果进行检查彼此是否正确地执行了聚合操作。若聚合结果正确，则将最终的聚合结果发送给服务器。在数据聚合阶段，各聚合器间只交互一次，保证了聚合操作的高效执行。

一种聚合实现分布式差分隐私的模型，包括一组参与数据收集的用户，一组不可信的聚合器，一个不可信的服务器，服务器收集用户信息进行数据统计分析。

1.用户通过本地客户端的随机算法以用户的真实数据作为输入，以添加了噪音的数据作为输出。

2.用户执行秘密分享算法，以添加了噪音的数据作为输入，将数据以秘密分享的形式发送至所有聚合器。

3.所有聚合器通过一个多方安全计算协议共同聚合所有用户上传的数据，具体来讲，每个服务器以每个用户上传的秘密分享的数据作为输入，在本地对所有用户上传数据进行求和。

4.所有聚合器共享各自的本地求和结果，得到最终所有用户上传数据的求和结果并进行认证。其中，本方案通过安全多方计算，保证用户的数据不会在聚合阶段遭到泄露。服务器收到的聚合数据是满足差分隐私定义的数据，保证了参与数据收集用户的隐私。

5.聚合器将认证后的最终聚合结果发送至服务器。

参阅图2所示，中心化差分隐私算法的分布式实现示意图。客户端将每个用户最初原始数据x_i输入随机算法R，在原始数据x_i上添加噪音R(x_i)＝(x_i→y_i)，并输出带有噪音的y_i。在传统的本地化随机算法中，以拉普拉斯机制为例，每个用户为了保证隐私都需要在真实数据上添加

量级的噪音。在该实施例中，由于存在一组聚合器执行聚合操作，只需要保证在聚合后的数据中添加一个服从拉普拉斯分布的噪音即可。对于最终收到聚合数据的服务器来讲，每个用户的真实数据就得到了同样的差分隐私保护。根据拉普拉斯分布的无限可分性，随机算法R只需要在用户的真实数据上添加一个较小的服从伽马分布的噪音，聚合器通过聚合操作得到的数据中将聚合为一个

量级的拉普拉斯噪音，与传统的本地化差分隐私方案相比噪音降低了n倍。该实施例分布式实现的差分隐私方法，可以提供等同中心化差分隐私模型的较高水平的精确性，同时不需要可信的数据收集方的信任假设。

具体描述中心化差分隐私的分布式实现方法，首先客户端与服务器端协商差分隐私相关参数，其中包括隐私预算参数ε,δ，参与用户总数n，数据保留精度比特位数l，输入数据范围大小参数a，以及选定的差分隐私算法。用户端根据协商的参数，设定本地的随机化机制，通过该机制对原始数据进行随机化，并保留所选的精度。服务器得到的聚合结果，即为满足中心化差分隐私算法的，且具有较高精确性的随机化数据。

该实施例提出的一种分布式差分隐私聚合方法，该方法包括：一组不可信的聚合器，用于提供高效的聚合操作。

传统的差分隐私数据聚合中，令服务器及数据分析方同时兼顾聚合器的角色，在聚合器与所有用户之间执行多方安全计算。这种模型设置使得多方安全计算在服务器与所有用户间进行，从而带来难以接受的通信开销。该实施例中用一组不可信聚合器作为第三方，可以有效降低多方安全计算的开销。该实施例将服务器与聚合器分离，设置一组聚合器(最少为2个)作为第三方执行聚合操作。多方安全计算协议主要在聚合器之间交互，聚合器与用户之间只需要在数据收集前，由各聚合器发给用户用于秘密分享时所用的随机数。在数据收集阶段，用户则只需要利用聚合器发送的随机数将数据分享给每个聚合器。因此，多方安全计算的主要在聚合器之间进行，极大的降低了参与多方安全计算的设备数量，从而保证聚合操作的高效执行。

具体描述基于安全多方计算的高效数据聚合方法，首先聚合器共同协商随机数域F_p，其中还包括素数p、该素数的比特位数L、一个用于同态加密的数M。随后各聚合器在F_p中生成随机数，并将该随机数分享给每个用户。用户将聚合器发送的随机数作为秘密分享的参数，将数据分享给所有聚合器。每个聚合器在接收到用户发送的部分数据后，现在本地将所有用户的数据相加，随后所有聚合器将各自的聚合结果公开，并检查聚合器的聚合结果是否正确，若正确则将数据发送至服务器端，否则终止本次聚合操作。

一种分布式差分隐私聚合方法。参阅图1所示，为分布式差分隐私安全聚合示意图。首先，是对中心化差分隐私模型的分布式实现。

假定当前聚合目标为计算各用户数据之和，用户数据在[-a,a]中。以使用拉普拉斯机制的差分隐私算法为例：对于中心化差分隐私中满足ε-差分隐私的拉普拉斯算法，添加噪音服从分布Lap(b)，其参数设定为

其中Δf为该求和数据的灵敏度，即改变一个用户的数据对总和带来的最大影响，根据用户数据所属的范围[-a,a]可知，Δf＝2a。参数ε为隐私预算，即通过该算法能够达到的差分隐私保护程度，它表示的是对于只有一个元素不同的两个数据集，其输出结果的不可区分性的大小通过ε来衡量。ε值越小，任意一条数据对整体输出结果的影响越小，隐私保护程度越高；反之ε值越大，任意一条数据对整体输出结果影响越明显，隐私保护程度越低，但输出结果的精确性更高，更接近于真实结果。通常ε取值在(0,1]中。

拉普拉斯分布具有无限可分性，即对于一个分布Lap(b)，存在一个伽马分布Ga(n,b)，其概率密度函数为：

使得

服从拉普拉斯分布Lap(b)；其中γ_i,1,γ_i,2都是服从伽马分布Ga(n,b)中的独立随机变量。因此，在参数b和n已知的情况下，每个客户端从伽马分布Ga(n,b)中获取两个独立随机变量γ_i,1,γ_i,2，在真实数据上添加这两个随机变量的差，就能使得最终n个用户随机化数据聚合结果中，所添加的噪声服从拉普拉斯分布，即满足中心化的拉普拉斯算法的差分隐私保证。

根据上述方式，分布式差分隐私方法的具体实现包括以下步骤：

1.在进行随机化数据上传和聚合之前，客户端和服务器端协商获得相关参数的设定值，包括上述的隐私预算ε、输入数据范围[-a,a]、随机化后数据保留的精度参数l，以及参与数据收集的总用户数n。

2.根据参数设定，客户端以真实数据x_i为输入，随机算法在真实数据x_i上添加两个服从伽马分布Ga(n,b)随机变量的差作为噪音，将该随机化过程记为y_i←R(x_i)＝x_i+γ_i,1-γ_i,2，得到随机化后的数据y_i。

3.根据数据保留的精度参数l，对y_i进行精度截取，即

随后将y_i发送至聚合器。

4.服务器端得到所有用户随机化数据的聚合结果，∑y_i≈∑x_i+L，其中L服从分布Lap(b)。

其次，通过安全多方计算的方法实现安全高效聚合。参阅图3所示，为基于秘密分享的安全多方计算进行数据聚合图。

1.在数据收集前，服务器组首先通过同态加密确定随机数。以两聚合器为例：聚合器A有一对同态加密的公钥和私钥(pk,sk)。具体步骤如下：

(1)首先，聚合器A选择一个随机数q₁，利用公钥pk加密随机数q₁，即F_pk(q₁)，随后将F_pk(q₁)发送至聚合器B；

(2)聚合器B选取两个随机数q₂和r₂，并利用聚合器A的公钥pk计算F_pk(q₁)+F_pk(q₂)-F_pk(r₂)，并将计算结果发送给聚合器A；

(3)聚合器A利用私钥sk解密，使得r₁＝F_sk(F_pk(p)+F_pk(q)-F_pk(r₂))。

(4)聚合器A和聚合器B分别将r₁和r₂发送至各客户端，客户端即获得了经过两聚合器协商后的随机数r＝r₁+r₂。

2.客户端i以收集到的随机数r计算MAC值m_i＝y_i×r，随后通过秘密分享技术将y_i,m_i拆分为(y_i1,m_i1)和(y_i2,m_i2)，其中y_i＝y_i1+y_i2,m_i＝m_i1+m_i2，并分别发送至聚合器A和聚合器B。把通过秘密分享拆分得到的数据，如y_i1,y_i2，用[[y_i]]来进行统一表示，同样的用[[m_i]]表示m_i拆分得到的秘密分享数据m_i1,m_i2。

3.聚合器A和收集到客户端发送的数据(y_i1,m_i1)后，计算M₁＝∑m_i1，Y₁＝∑y_i1。聚合器B计算M₂＝∑m_i2，Y₂＝∑y_i2，即分别聚合各自收集到的数据。

4.当收集到所有用户的数据后，聚合器A和聚合器B将Y₁和Y₂公开聚合结果为Y＝Y₁+Y₂，并检查M₁-Y×r₁+M₂-Y×r₂结果是否为0。当结果为0时，输出聚合结果Y，否则终止协议。

该实施例引入的拉普拉斯噪声均方误差如图5所示，为在不同隐私预算参数设定基于拉普拉斯算法的精确度图。该实施例的噪声与隐私参数ε的平方成正比，与参与查询的用户数量无关。

参阅图6和图7所示，分别为在不同数量用户参与数据收集时的计算时间图和在不同数量用户参与数据收集时的通信量图，该实施例的计算时间与通信量与参与数据收集的用户数量呈线性关系。

与近期提出的洗牌模型分布式差分隐私方案相比，本方法更更加高效，参阅图8和图9所示，分别为本发明与其他分布式差分隐私方案时间效率上的比较图和本发明与其他分布式差分隐私方案通信效率上的比较图，图8和图9显示了本方案在计算时间和通信量上本方案的优势。参阅图10所示，为本发明与其他分布式差分隐私方案精确性上的比较图，图10展示了本方案在精确性上的优势，本发明使用拉普拉斯机制或高斯机制，都比现有的洗牌模型方案更加精确。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (6)

1.一种分布式差分隐私聚合方法，其特征在于，包括以下步骤，

步骤1、客户端与不可信聚合器组协商所使用的参数，而后通过安全多方计算为每个用户分配随机数，用于后续数据收集时客户端安全地上传数据时使用；

步骤2、客户端通过一个本地的随机算法，以用户的真实数据为输入，分布式的生成带有噪音的数据，并将带有噪音的数据通过秘密分享的形式发送给不可信聚合器组；所述步骤2随机算法在真实数据x_i上添加两个服从伽马分布Ga(n,b)随机变量的差作为噪音，将该随机化过程记为y_i←R(x_i)＝x_i+γ_i,1-γ_i,2，得到随机化后的数据y_i；

步骤3、每个不可信聚合器在收集到用户分享的部分信息后，在其本地进行聚合，待所有用户数据上传结束后，各个不可信聚合器将自己的聚合公开并认证，计算最终的聚合结果，并将最终结果上传至服务器端。

2.如权利要求1所述的分布式差分隐私聚合方法，其特征在于，所述步骤1中通过安全多方计算为每个用户分配随机数具体是：不可信聚合器组之间进行一次交互，通过同态加密的方式获取各自的随机数，而后不可信聚合器组与客户端进行一次交互，以分配随机数。

3.如权利要求1所述的分布式差分隐私聚合方法，其特征在于，所述参数包括用于安全多方计算参数：特定有限域、作为有限域模数的一个素数、模数对应的定点随机数的比特数、用于同态加密的数和输出数据保留的比特位数。

4.如权利要求1所述的分布式差分隐私聚合方法，其特征在于，所述参数包括用于差分隐私数据聚合的参数：参与数据收集的用户数、输入数据域和隐私预算。

5.如权利要求1所述的分布式差分隐私聚合方法，其特征在于，所述步骤2客户端添加噪音满足在聚合时，所有噪音的和满足差分隐私。

6.如权利要求1所述的分布式差分隐私聚合方法，其特征在于，所述步骤2所有用户添加的总噪音满足中心化差分隐私。

Images