CN113961961A

CN113961961A - 一种基于scalable-ot的隐私集合求交方法及装置

Info

Publication number: CN113961961A
Application number: CN202111180326.3A
Authority: CN
Inventors: 李雪峰; 梁亮
Original assignee: Baibao Shanghai Technology Co ltd
Current assignee: Baibao Shanghai Technology Co ltd
Priority date: 2021-10-11
Filing date: 2021-10-11
Publication date: 2022-01-21

Abstract

本发明公开了一种基于scalable‑ot的隐私集合求交方法及装置，第一数据方利用第一哈希算法对当前第一待处理数据进行计算，获取第一计算结果，判断第一计算结果与当前已生成的所有第一哈希表是否存在哈希冲突，若存在，则生成新的第一哈希表存储当前第一待处理数据，重复上述步骤，直至所有第一待处理数据完成计算，第二数据方利用第二哈希算法对第二待处理数据进行计算，并根据得到的第二计算结果生成第二哈希表，根据所有第一哈希表以及第二哈希表计算所有第一待处理数据与第二待处理数据的交集数据，根据交集数据生成隐私交集。本发明可以避免多次重复整个计算流程来得到求交结果，大大减少了求交的计算量，提升了计算效率，使得整个计算流程更为简洁。

Description

一种基于scalable-ot的隐私集合求交方法及装置

技术领域

本发明涉及信息处理技术领域，特别是涉及一种基于scalable-ot的隐私集合求交方法及装置。

背景技术

随着互联网在我国的快速发展，各行各业都已经积累了大量的用户数据。在这些数据中不乏各种与用户个人隐私相关的数据，比如用户的消费习惯、用户的就医记录、用户还贷信息等数据。同时近年来政府也出台了相应的法律法规来保护公民的个人隐私安全。

为了在保护个人隐私安全的前提下，合规合法的联合各个行业已积累的各种数据进行建模、查询，联邦学习、差分隐私、多方安全计算等保护数据安全与个人隐私的技术领域近些年来也成为了研究的热点。通过使用这些技术就可以在保护数据安全的前提下完成满足各种应用场景下的建模，打破数据孤岛。由于数据存在于两方(或者多方)，在建模之前先要根据数据的唯一标识进行对齐，以便在两方(或者多方)对齐的数据上进行后续的特征工程以及模型训练。目前常用的数据对齐方案包括安全求交方案(也称隐私集合求交)等，比较主流的包括通过同态加密的方式、或者是通过OT的方式来完成。通过OT的方式通常是使用到哈希算法对数据进行相关计算，这也就不可避免的带来了哈希冲突问题。

然而，现有技术中的通过OT的方式等安全求交方案在解决哈希冲突问题时，需要多次重复整个计算流程来得到求交结果，这大大增加了安全求交的计算量，以及降低了计算效率。

综上所述，亟需提出一种新的隐私集合求交方法，以解决上述问题。

发明内容

为了解决现有技术的问题，本发明提供了一种基于scalable-ot的隐私集合求交方法及装置，在解决哈希冲突问题时，不需要多次重复整个计算流程来得到求交结果，大大减少了求交的计算量，提升了计算效率，使得整个计算流程更为简洁。

为解决上述一个或多个技术问题，本申请采用的技术方案是：

第一方面，提供了一种基于scalable-ot的隐私集合求交方法，所述方法包括：

第一数据方利用第一哈希算法对当前第一待处理数据进行计算，获取第一计算结果；

判断所述第一计算结果与当前已生成的所有第一哈希表是否存在哈希冲突，若存在，则生成新的第一哈希表存储所述当前第一待处理数据，重复上述步骤，直至所有第一待处理数据完成计算；

第二数据方利用第二哈希算法对第二待处理数据进行计算，并根据得到的第二计算结果生成第二哈希表；

根据所有所述第一哈希表以及所述第二哈希表计算所有所述第一待处理数据与所述第二待处理数据的交集数据，根据所述交集数据生成隐私交集。

进一步的，所述方法还包括：

第一数据方利用第一哈希算法进行首次计算时，根据获取的计算结果构建首张第一哈希表。

进一步的，所述方法还包括：

进一步的，所述第一哈希算法包括布谷鸟哈希算法，所述第一哈希表包括布谷鸟哈希表。

进一步的，所述第二哈希算法包括简单哈希算法，所述第二哈希表包括简单哈希表。

第二方面，还提供了一种基于scalable-ot的隐私集合求交装置，所述装置包括：

第一计算模块，用于第一数据方利用第一哈希算法对当前第一待处理数据进行计算，获取第一计算结果；

冲突判断模块，用于判断所述第一计算结果与当前已生成的所有第一哈希表是否存在哈希冲突；

数据存储模块，用于在所述第一计算结果与当前已生成的所有第一哈希表存在哈希冲突时，生成新的第一哈希表存储所述当前第一待处理数据；

第二计算模块，用于第二数据方利用第二哈希算法对第二待处理数据进行计算，并根据得到的第二计算结果生成第二哈希表；

数据求交模块，用于根据所有所述第一哈希表以及所述第二哈希表计算所有所述第一待处理数据与所述第二待处理数据的交集数据，根据所述交集数据生成隐私交集。

进一步的，所述数据存储模块还用于：

进一步的，所述数据求交模块用于：

所述第一数据方和所述第二数据方分别在每一所述第一哈希表上执行OT扩展协议，生成执行结果；

所述第一数据方对所述执行结果与所述第二数据方发送的所述第二哈希表进行求交计算，生成隐私交集。

第三方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现所述基于scalable-ot的隐私集合求交方法。

第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时，实现所述基于scalable-ot的隐私集合求交方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的基于scalable-ot的隐私集合求交方法及装置，通过第一数据方利用第一哈希算法对当前第一待处理数据进行计算，获取第一计算结果，判断所述第一计算结果与当前已生成的所有第一哈希表是否存在哈希冲突，若存在，则生成新的第一哈希表存储所述当前第一待处理数据，重复上述步骤，直至所有第一待处理数据完成计算，第二数据方利用第二哈希算法对第二待处理数据进行计算，并根据得到的第二计算结果生成第二哈希表，根据所有所述第一哈希表以及所述第二哈希表计算所有所述第一待处理数据与所述第二待处理数据的交集数据，根据所述交集数据生成隐私交集，通过在第一计算结果与当前已生成的所有第一哈希表存在哈希冲突时，生成新的第一哈希表存储当前第一待处理数据，避免后续在进行求交计算时多次重复整个计算流程来得到求交结果，大大减少了求交的计算量，提升了计算效率，使得整个计算流程更为简洁。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中通过OT的方式进行隐私集合求交方法的流程图；

图2和图3均是本发明一个实施例提供的基于scalable-ot的隐私集合求交方法的流程图；

图4是本发明一个实施例提供的基于scalable-ot的隐私集合求交装置的结构示意图；

图5是本发明一个实施例提供的计算机设备的架构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在计算领域中，哈希表(hash map)是一种实现关联数组抽象数据类型的数据结构，这种结构可以将关键码映射到给定值。哈希表使用哈希函数计算桶单元或槽位数组中的索引，从中可以找到所需的给定值。理想情况下，哈希函数会将每个关键码分配给一个唯一的存储桶单元，但是大多数哈希表设计都使用不完美的哈希函数，这可能会导致哈希冲突，也就是哈希函数会为多个关键码生成相同的索引。

如背景技术所述，现有技术中隐私集合求交方案中，通常包括客户端(client)和服务端(server)。参照图1所示，现有技术中通过OT的方式进行隐私集合求交时，通常在客户端和服务端先执行基础OT协议(即base-ot)，然后客户端将原始数据的ID进行布谷鸟哈希(cuckoo-hash)计算，形成布谷鸟哈希表(cuckoo-hash-table)，服务端将本方的数据ID进行简单哈希(simple-hash)计算，形成简单哈希表(simple-hash-table)，该过程中，对于存在冲突的ID客户端会将其存放到一个存储表(stash-table)的结构中去，其次，在客户端和服务端哈希计算完成后，对于cuckoo-hash-table中的数据两方执行扩展ot协议，接着，将扩展ot的计算结果在客户端进行求交计算(即PSI计算)，得到cuckoo-hash-table中的ID的求交结果，最后，查询存储表，如果存储表不为空，则从存储表中每次取出一条ID重复执行上述步骤，直到存储表中数据全部计算完成。综上所述，通过OT的方式进行隐私集合求交时，在解决哈希冲突问题时，需要多次重复整个计算流程来得到求交结果，这大大增加了安全求交的计算量，以及降低了计算效率。

为解决上述问题，本申请实施例中创造性的提出了一种基于scalable-ot的隐私集合求交方法，通过在第一计算结果与当前已生成的所有第一哈希表存在哈希冲突时，生成新的第一哈希表存储当前第一待处理数据，避免后续在进行求交计算时多次重复整个计算流程来得到求交结果，大大减少了求交的计算量，提升了计算效率，使得整个计算流程更为简洁。

下面将结合附图和各个实施例，对本申请的方案进行详细介绍。

实施例一

本发明实施例中提供了一种基于scalable-ot的隐私集合求交方法，该方法可以避免在进行求交计算时多次重复整个计算流程，大大减少了求交的计算量，提升了计算效率，使得整个计算流程更为简洁。

本发明实施例提供的基于scalable-ot的隐私集合求交方法主要涉及两方或多方，以两方为例，参照图2和3所示，该基于scalable-ot的隐私集合求交方法主要包括客户端(client)和服务端(server)。具体的，本发明实施例提供的基于scalable-ot的隐私集合求交方法包括如下步骤：

S1：第一数据方利用第一哈希算法对当前第一待处理数据进行计算，获取第一计算结果。

具体的，本发明实施例中，第一数据方包括但不限于客户端，第二数据方包括但不限于服务端。第一数据方和第二数据方首先执行基础OT协议，即base-ot，包括但不限于pinkas-base-ot。其次，第一数据方和第二数据方利用预设哈希算法分别对本地原始数据的ID(包括第一待处理数据和第二待处理数据)进行哈希计算。具体的，第一数据方利用第一哈希算法对当前第一待处理数据进行计算，获取第一计算结果。

S2：判断所述第一计算结果与当前已生成的所有第一哈希表是否存在哈希冲突，若存在，则生成新的第一哈希表存储所述当前第一待处理数据，重复上述步骤，直至所有第一待处理数据完成计算。

具体的，第一数据方在获取到第一计算结果后，首先会判断当前获取到的第一计算结果与当前已生成的所有第一哈希表是否存在哈希冲突，如果当前获取到的第一计算结果与当前已生成的所有第一哈希表都存在哈希冲突，则生成新的第一哈希表存储所述当前第一待处理数据，如果当前获取到的第一计算结果与当前已生成的所有第一哈希表有不存在哈希冲突的，则将所述当前第一待处理数据存储至该不存在哈希冲突的第一哈希表中，重复上述步骤，直至所有第一待处理数据完成计算。这里需要说明的是，本发明实施例中的所有第一哈希表为相同规模的哈希表。

本发明实施例中，由于为存在哈希冲突的第一待处理数据重新生成了一张新的第一哈希表进行存储，且所有哈希表具有同等规模，一方面，不影响后续求交计算，整个流程只需执行一次，不需要重复整个流程来得到求交结果，方案比较简洁，另一方面，第二数据方也不需要反复对第二待处理数据进行计算，大大提升了计算效率，节省了计算资源。

S3：第二数据方利用第二哈希算法对第二待处理数据进行计算，并根据得到的第二计算结果生成第二哈希表。

具体的，同样的，第二数据方会利用第二哈希算法对第二待处理数据进行计算，并根据得到的第二计算结果生成第二哈希表。这里的第二哈希算法与第一哈希算法可以是不同的哈希算法，这里不做具体限制。

S4：根据所有所述第一哈希表以及所述第二哈希表计算所有所述第一待处理数据与所述第二待处理数据的交集数据，根据所述交集数据生成隐私交集。

具体的，在第一数据方和第二数据方均计算完成后，根据计算获取到的所有第一哈希表和第二哈希表进行所述第一待处理数据与所述第二待处理数据的求交计算，获取交集数据，并根据所述交集数据生成隐私交集。

作为一种较优的实施方式，本发明实施例中，所述方法还包括：

具体的，本发明实施例中，第一数据方利用第一哈希算法进行首次计算时，会根据获取的计算结果构建首张第一哈希表，在后续计算过程中，会将获取到的第一计算结果先与该首张第一哈希表进行比较，判断是否存在哈希冲突，若存在，则生成新的第一哈希表存储对应的第一待处理数据，否则将对应的第一待处理数据存储至首张第一哈希表。当第一哈希表的数量超过一张时，会将获取到的第一计算结果与当前存在的所有第一哈希表进行比较，判断判断是否存在哈希冲突，若存在哈希冲突，则生成新的第一哈希表存储对应的第一待处理数据，若与当前存在的所有第一哈希表中有不存在哈希冲突的，则将对应的第一待处理数据存储至该不存在哈希冲突的第一哈希表中，重复上述步骤，直至所有第一待处理数据完成计算。

作为一种较优的实施方式，本发明实施例中，所述根据所有所述第一哈希表以及所述第二哈希表计算所有所述第一待处理数据与所述第二待处理数据的交集数据，根据所述交集数据生成隐私交集包括：

具体的，本发明实施例中，在第一数据方和第二数据方均计算完成后，第一数据方和第二数据方对所有的第一哈希表执行扩展的ot协议，生成执行结果，其中扩展的ot协议包括但不限于KK扩展ot协议。假设第一哈希表有N张(N为大于等于1的正整数)，则需要执行N次扩展的ot协议。然后在第一数据方对执行结果和第二哈希表根据扩展的ot协议进行求交计算，生成最终隐私交集。

作为一种较优的实施方式，本发明实施例中，所述第一哈希算法包括布谷鸟哈希算法，所述第一哈希表包括布谷鸟哈希表。

具体的，第一哈希算法包括但不限于布谷鸟哈希算法，对应地，第一哈希表包括但不限于布谷鸟哈希表。布谷鸟哈希算法(cuckoo-hash)可以使用简单的哈希函数来提高哈希表的利用率，同时保证查询时间。基本思想是使用2个哈希函数来处理碰撞，从而每个key(如第一待处理数据)都对应到2个位置。具体计算时，首先对key值进行hash，生成两个hashkey值，hashk1和hashk2，如果对应的两个位置上有一个为空，那么直接把key插入即可，否则，任选一个位置，把key值插入，把已经在那个位置的key值踢出来，被踢出来的key值，需要重新插入，直到没有key被踢出为止。

作为一种较优的实施方式，本发明实施例中，所述第二哈希算法包括简单哈希算法，所述第二哈希表包括简单哈希表。

具体的，第二哈希算法包括但不限于简单哈希算法，对应地，第二哈希表包括但不限于简单哈希表。

实施例二

对应于上述实施例一，本发明还提供了一种基于scalable-ot的隐私集合求交装置，其中，本实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不再赘述。参照图4示，该装置包括：

作为一种较优的实施方式，本发明实施例中，所述数据存储模块还用于：

作为一种较优的实施方式，本发明实施例中，所述数据求交模块用于：

实施例三

对应上述实施例一和二，本发明还提供了一种计算机设备，包括：处理器和存储器，存储器上存储有可在处理器上运行的计算机程序，当计算机程序被处理器执行时，执行上述任意一个实施例提供的基于scalable-ot的隐私集合求交方法。

其中，图5示例性的展示出了计算机设备，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。

其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明所提供的技术方案。

存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制电子设备运行的操作系统1521，用于控制电子设备的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及设备标识信息处理系统1525等等。上述设备标识信息处理系统1525就可以是本发明实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本发明所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。

输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。

另外，该电子设备还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明方案所必需的组件，而不必包含图中所示的全部组件。

实施例四

对应于上述实施例一至三，本发明实施例还提供了一种计算机可读存储介质，其中，本实施例中，与上述实施例一至三相同或相似的内容，可以参考上文介绍，后续不再赘述。

所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如下步骤：

在一些实施方式中，本申请实施例中，所述计算机程序被处理器执行时，还可以实现与实施例一所述方法对应的步骤，可以参考实施例一中的详细描述，此处不作赘述。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明所提供的技术方案，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于scalable-ot的隐私集合求交方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于scalable-ot的隐私集合求交方法，其特征在于，所述方法还包括：

3.根据权利要求1或2所述的基于scalable-ot的隐私集合求交方法，其特征在于，所述根据所有所述第一哈希表以及所述第二哈希表计算所有所述第一待处理数据与所述第二待处理数据的交集数据，根据所述交集数据生成隐私交集包括：

4.根据权利要求1或2所述的基于scalable-ot的隐私集合求交方法，其特征在于，所述第一哈希算法包括布谷鸟哈希算法，所述第一哈希表包括布谷鸟哈希表。

5.根据权利要求1或2所述的基于scalable-ot的隐私集合求交方法，其特征在于，所述第二哈希算法包括简单哈希算法，所述第二哈希表包括简单哈希表。

6.一种基于scalable-ot的隐私集合求交装置，其特征在于，所述装置包括：

7.根据权利要求6所述的基于scalable-ot的隐私集合求交装置，其特征在于，所述数据存储模块还用于：

8.根据权利要求6或7所述的基于scalable-ot的隐私集合求交装置，其特征在于，所述数据求交模块用于：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～5中任一项所述基于scalable-ot的隐私集合求交方法。

10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1～5中任一项所述基于scalable-ot的隐私集合求交方法。