CN112231309A - 纵向联邦数据统计的去重方法、装置、终端设备及介质 - Google Patents

Abstract

本发明公开了一种纵向联邦数据统计的去重方法、装置、终端设备及存储介质，通过纵向联邦中的任意一个参与方接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。本发明能够在确保各参与方数据隐私安全的前提下，有效的对纵向联邦中各参与方各自统计的数据进行去重。

Description

纵向联邦数据统计的去重方法、装置、终端设备及介质

技术领域

本发明涉及联邦数据去重技术领域，尤其涉及一种纵向联邦数据统计的去重方法、装置、终端设备及存储介质。

背景技术

时下，科学技术的发展早已步入数据信息化时代，而针对数据的统计应用也已经变得越来越广泛。在数据统计场景中，针对重复的数据进行去重处理是十分常见的操作，如，用户针对自己本地拥有的数据，选择特定的统计特征，然后，在检测到该统计特征下存在多条数据且该多条数据均相同的情况下，用户即针对该多条相同的数据进行去重从而仅在该统计特征下保留一条数据。

然而，在多个拥有自有数据的用户联合组成纵向的联邦场景之后，基于对各个用户自有数据的隐私安全考虑，则无法采取上述针对用户自有数据去重的方式。如此，尽管在用户针对自有数据进行统计应用的单边场景中，数据去重处理已经被广泛应用，但是，在由多个用户基于自有数据联合组建的联邦场景中，目前的数据去重方式尚无法达成保证用户自有数据隐私安全的要求。

发明内容

本发明的主要目的在于提供一种纵向联邦数据统计的去重方法、装置、终端设备及存储介质，旨在解决现有技术中，纵向联邦场景下的数据统计无法在确保各用户自有数据隐私安全的前提下，针对统计数据执行数据去重处理的技术问题。

为实现上述目的，本发明提供一种纵向联邦数据统计的去重方法，所述纵向联邦数据统计的去重方法应用于纵向联邦中的任意一个参与方，所述纵向联邦数据统计的去重方法包括：

接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；

基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；

将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；

确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

进一步地，所述基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值的步骤，包括：

在本地的自有数据中提取各第二待去重数据，并分别对各所述第二待去重数据进行哈希运算得到各哈希值；

利用所述公钥分别对各所述哈希值进行加密得到各第二加密值。

进一步地，所述在本地的自有数据中提取各第二待去重数据的步骤，包括：

接收预设数据去重请求，并解析所述预设数据去重请求得到待去重数据统计特征，其中，所述待去重数据统计特征的数量大于或者等于一；

在本地检测自有数据中各数据标签下属于所述待去重数据统计特征的特征数据；

将相同所述数据标签下的所述特征数据作为一条第二待去重数据，以提取到各所述第二待去重数据。

进一步地，所述将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果的步骤，包括：

分别检测各所述第一加密值各自在各所述第二加密值中对应位置的目标第二加密值；

将各所述第一加密值与各自对应的所述目标第二加密值进行叠加计算得到各计算结果。

进一步地，所述针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理的步骤，包括：

检测所述相同计算结果各自在所述自有数据中指向的第二数据标签；

在各所述第二数据标签中确定唯一的目标第二数据标签，并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据；

按照预设对应关系在所述其他参与方各自自有数据的各数据标签中，确定与所述目标第二数据标签相对应的目标第一数据标签，其中，所述预设对应关系通过预先与所述其他参与方协商得到；

向所述其他参与方分发携带有目标第一数据标签的去重指令，以供所述其他参与方在接收到所述去重指令后，仅保留各所述第一待去重数据中所述目标第一数据标签下的第一待去重数据。

进一步地，在所述并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据的步骤之后，还包括：

向所述其他参与方分发携带有所述相同计算结果的去重指令，以供所述其他参与方各自在本地，检测所述相同计算结果各自在自有数据中指向的第一数据标签，并确定各所述第一数据标签中唯一的目标第一数据标签，以仅保留各所述第一待去重数据中所述目标第一数据标签下的第一待去重数据。

进一步地，在所述接收纵向联邦中的其他参与方发送的各第一加密值的步骤之前，还包括：

生成用于在本地对自有数据中待去重数据进行加解密的密钥对，并将所述密钥对中的公钥分发至纵向联邦中的其他参与方。

此外，为实现上述目的，本发明还提供一种纵向联邦数据统计的去重装置，所述纵向联邦数据统计的去重装置应用于纵向联邦中的任意一个参与方，所述纵向联邦数据统计的去重装置包括：

接收模块，用于接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；

加密模块，用于基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；

计算模块，用于将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；

去重模块，用于确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

本发明纵向联邦数据统计的去重装置的各功能模块在运行时实现如上述中的纵向联邦数据统计的去重方法的步骤。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦数据统计的去重程序，所述纵向联邦数据统计的去重程序被所述处理器执行时实现如上述中的纵向联邦数据统计的去重方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的纵向联邦数据统计的去重方法的步骤。

本发明提出的纵向联邦数据统计的去重方法、装置、终端设备以及存储介质，通过纵向联邦中的任意一个参与方接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

本发明在由多个均拥有自有数据的参与方所组成的纵向联邦场景中，由该参与方中的任意一个当前参与方，接收其他参与方传递的各第一加密值，该各第一加密值由其他参与方分别在各自本地，利用公钥对自有数据中需要去重的各条第一待去重数据进行加密得到，然后，当前参与方同样采用与其他参与方所利用的相同的公钥，针对本端自有数据中需要去重的各条第二待去重数据进行加密以得到各第二加密值，当前参与方在本端将接收到的各第一加密值对应的与各第二加密值进行叠加计算得到各个计算结果，最后，当前参与方在该各个计算结果中，针对相同计算结果所对应的各条第一待去重数据和各条第二待去重数据进行去重处理。

本发明在纵向联邦场景中，基于各参与方利用相同的公钥针对自有数据中需要进行去重处理的待去重数据进行加密得到加密值，然后将加密值对应进行叠加得到计算结果，从而确认计算结果中相同结果对应的部分待去重数据为最终需要进行去重的部分数据，进而针对该部分数据进行去重处理，实现了在确保各参与方数据隐私安全的前提下，有效的对纵向联邦中各参与方各自统计的数据进行去重。

附图说明

图1是本发明实施例方案涉及终端设备的硬件运行的结构示意图；

图2是本发明一种纵向联邦数据统计的去重方法一实施例的流程示意图；

图3是本发明一种纵向联邦数据统计的去重方法一实施例中所涉及应用场景中纵向联邦的某一个参与方在本端统计的自有数据；

图4是本发明一种纵向联邦数据统计的去重方法一实施例中所涉及的一应用场景示意图；

图5是本发明一种纵向联邦数据统计的去重装置的模块结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及终端设备的硬件运行环境的结构示意图。

需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本发明实施例终端设备可以是PC，便携计算机等终端设备。

如图1所示，该终端设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及分布式任务的处理程序。其中，操作系统是管理和控制样本终端设备硬件和软件资源的程序，支持分布式任务的处理程序以及其它软件或程序的运行。

在图1所示的终端设备中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的纵向联邦数据统计的去重程序，并执行以下操作：

接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；

基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；

将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；

确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

进一步地，处理器1001可以调用存储器1005中存储的纵向联邦数据统计的去重程序，在执行针对所述时空轨迹查询请求进行编码得到查询索引之前，还执行以下操作：

在本地的自有数据中提取各第二待去重数据，并分别对各所述第二待去重数据进行哈希运算得到各哈希值；

利用所述公钥分别对各所述哈希值进行加密得到各第二加密值。

进一步地，处理器1001可以调用存储器1005中存储的纵向联邦数据统计的去重程序，还执行以下操作：

接收预设数据去重请求，并解析所述预设数据去重请求得到待去重数据统计特征，其中，所述待去重数据统计特征的数量大于或者等于一；

在本地检测自有数据中各数据标签下属于所述待去重数据统计特征的特征数据；

将相同所述数据标签下的所述特征数据作为一条第二待去重数据，以提取到各所述第二待去重数据。

进一步地，处理器1001可以调用存储器1005中存储的纵向联邦数据统计的去重程序，还执行以下操作：

分别检测各所述第一加密值各自在各所述第二加密值中对应位置的目标第二加密值；

将各所述第一加密值与各自对应的所述目标第二加密值进行叠加计算得到各计算结果。

进一步地，处理器1001可以调用存储器1005中存储的纵向联邦数据统计的去重程序，还执行以下操作：

检测所述相同计算结果各自在所述自有数据中指向的第二数据标签；

在各所述第二数据标签中确定唯一的目标第二数据标签，并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据；

按照预设对应关系在所述其他参与方各自自有数据的各数据标签中，确定与所述目标第二数据标签相对应的目标第一数据标签，其中，所述预设对应关系通过预先与所述其他参与方协商得到；

向所述其他参与方分发携带有目标第一数据标签的去重指令，以供所述其他参与方在接收到所述去重指令后，仅保留各所述第一待去重数据中所述目标第一数据标签下的第一待去重数据。

进一步地，处理器1001可以调用存储器1005中存储的纵向联邦数据统计的去重程序，在执行并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据之后，还执行以下操作：

向所述其他参与方分发携带有所述相同计算结果的去重指令，以供所述其他参与方各自在本地，检测所述相同计算结果各自在自有数据中指向的第一数据标签，并确定各所述第一数据标签中唯一的目标第一数据标签，以仅保留各所述第一待去重数据中所述目标第一数据标签下的第一待去重数据。

进一步地，处理器1001可以调用存储器1005中存储的纵向联邦数据统计的去重程序，在执行接收纵向联邦中的其他参与方发送的各第一加密值之前，还执行以下操作：

生成用于在本地对自有数据中待去重数据进行加解密的密钥对，并将所述密钥对中的公钥分发至纵向联邦中的其他参与方。

基于上述的结构，提出本发明纵向联邦数据统计的去重方法的各个实施例。

请参照图2，图2为本发明纵向联邦数据统计的去重方法第一实施例的流程示意图。

本发明实施例提供了纵向联邦数据统计的去重方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例纵向联邦数据统计的去重方法应用于上述作为纵向联邦中其中一个参与方的终端设备，本发明实施例终端设备可以是PC，便携计算机等终端设备，在此不做具体限制。

本实施例纵向联邦数据统计的去重方法包括：

步骤S100，接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；

需要说明的是，在本实施例中，请参照如图3所示的纵向联邦中各参与方各自在本地的数据统计形式，各参与方以用户的不同特征维度作为竖向的备选列，并以各用户分别作为横向的数据标签来建立数据统计表，并以各用户各自属于不同特征维度的特征数据填充至对应位置，以此形成各行数据来统计得到各参与方各自本端的自有数据。

在由多个参与方组建构成的纵向联邦中，除当前参与方之外的各个其他参与方在本地各自基于接收到到的预设数据去重请求，采用预先生成的公钥针对在各自本端的自有数据中选取的需要进行数据去重的各第一待去重数据进行同态加密得到各第一加密值，然后，当前参与方接收该其他参与方各自所上传的各个第一加密值。

需要说明的是，在本实施例中，预设数据去重请求具体可以由作为其他参与方终端设备自动触发或者基于该终端设备的用户人为触发，自动或者人为触发该预设数据去重请求时，同步配置用于在本端自有数据中提取要判断是否去重的数据的数据标签，以及配置要判断是否去重的数据所属的特征维度作为待去重数据统计特征，从而便于提取待去重数据进行加密。

具体地，例如，在由参与方A和参与方B联合构建的纵向联邦中，参与方B在本地利用特征维度：“年龄”、“收入”、“交易次数”以及“是否逾期”作为备选列，然后以设备号U1、U2....U6分别作为横向的数据标签进行统计得到的如图3所示的自有数据。然后，若参与方B接收到了基于工作人员通过配置U4、U5和U6作为待去重数据的数据标签，以及配置“年龄”、“收入”和“交易次数”作为待去重数据统计特征，从而触发的预设数据去重请求，则参与方B随即在本地从自有数据中，提取出U4、U5和U6三行数据中属于特征维度“年龄”、“收入”和“交易次数”下的9个特征数据作为第一待去重数据，然后，参与方B在本地利用预先生成的公钥针对U4这一行的三个特征数据、U5这一行的三个特征数据以及U6这一行的三个特征数据，分别进行同态加密得到U4这一行三个特征数据的第一加密值、U5这一行三个特征数据的第一加密值以及U6这一行三个特征数据的第一加密值。再然后，参与方B将得到该三个第一加密值传递给参与方A。

需要说明的是，在本实施例中，公钥具体可以由当前纵向联邦中的各参与方通过协商得出的可信任的其中一个参与方生成，或者，还可以由该纵向联邦中的协调方生成。应当理解的是，基于实际应用的不同设计需要，在其它可行的实施方式中，该公钥还可以在当前纵向联邦的外部生成，然后供该纵向联邦中的各参与方调用，本发明纵向联邦数据统计的去重方法并不针对该公钥进行具体限定。

进一步地，在一种可行的实施例中，在步骤S100之前，本发明实施例纵向联邦数据统计的去重方法，还可以包括：

步骤S500，生成用于在本地对自有数据中待去重数据进行加解密的密钥对，并将所述密钥对中的公钥分发至纵向联邦中的其他参与方。

纵向联邦中的各参与方在协商确定当前参与方可信时，当前参与方即可生成一个供各个参与方针对从自有数据中提取得到的待去重数据进行同态加密和解密的密钥对，然后，当前参与方再将该密钥对当中的公钥分发至所属纵向联邦中的各个其他参与方。

进一步地，在另一种可行的实施例中，若纵向联邦中的各参与方未协商确定可信的参与方来生成密钥对，则可以由除开当前接收待去重数据的加密值，以在本端联合自有数据进行数据去重处理的参与方之外，其他参与方当中的任意一个参与方来生成该密钥对，并将该密钥对当中的公钥分发至当前纵向联邦中的各个参与方。

具体地，例如，请参照如图4所示的应用场景，在由参与方A和参与方B联合构建的纵向联邦中，若确定由参与方A在本端接收参与方B传递的加密值来进行待去重数据的判断进而执行数据去重处理，则预先由参与方B在本地生成密钥对，然后将公钥传递至参与方A以供参与方A在后续也利用该公钥对自有数据中的待去重数据进行同态加密。如此，即使在参与方A和参与方B双方未协商确定各自是否可信的情况下，通过由参与方B生成密钥对并仅传递给参与方A公钥，既能够保证参与方A在接收到参与方B传递的待去重数据的加密值时，也无法针对该加密值进行解密，有效确保了参与方B的数据隐私安全。

步骤S200，基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；

当前参与方在接收到其他参与方传递的各自针对本地的各第一待去重数据进行同态加密得到的各第一加密值之后，当前参与方即在本地利用其它参与方加密各自第一待去重数据时所使用相同的公钥，针对从自有数据中提取得到的各第二待去重数据也进行同态加密以得到各第二加密值。

需要说明的是，在本实施例中，纵向联邦中的各参与方各自在本地利用相同公钥针对从自有数据中提取出的待去重数据进行同态加密，从而得到各待去重数据的加密值的过程是一致的。

进一步地，在一种可行的实施例中，步骤S200，可以包括：

步骤S201，在本地的自有数据中提取各第二待去重数据，并分别对各所述第二待去重数据进行哈希运算得到各哈希值；

步骤S202，利用所述公钥分别对各所述哈希值进行加密得到各第二加密值。

当前参与方同样基于从本端接收到的预设数据去重请求，从本端已经统计的自有数据中提取出需要判断以进行数据去重处理的各第二待去重数据，然后，先针对该各条第二待去重数据分别进行哈希运算得到每一条第二待去重数据对应的一个哈希值，再利用与其他参与方所使用相同的公钥分别针对该各个哈希值进行同态加密得到各第二加密值。

需要说明的是，在本实施例中，纵向联邦中的各参与方针对待去重数据进行哈希运算的过程，和利用公钥对经过哈希运算得到的哈希值进行同态加密的过程，均为时下成熟的哈希运算和同态加密运算操作，本发明纵向联邦数据统计的去重方法，并不针对参与方执行哈希运算和同态加密运算的具体过程进行限定。

进一步地，在一种可行的实施例中，在上述步骤S201中，“在本端的自有数据中提取各第二待去重数据”的步骤，可以包括：

步骤S2011，接收预设数据去重请求，并解析所述预设数据去重请求得到待去重数据统计特征，其中，所述待去重数据统计特征的数量大于或者等于一；

当前参与方在接收到其他参与方传递的各第一加密值之后，可在本端输出一提示消息然后接收基于该提示消息触发的预设数据去重请求，进而解析该预设数据去重请求以从该预设数据去重请求中，提取得到一个或者多个待去重数据统计特征。

需要说明的是，在本实施例中，待去重数据统计特征为作为当前参与方的终端设备，自动触发或者基于该终端设备的用户人为触发预设数据去重请求时，同步配置的一个或者多个特征维度。此外，提示消息具体可以为用于提醒作为当前参与方的终端设备的用户，其他参与方当前正发起针对各自自有数据判断是否需要进行去重处理的请求，以令用户确认是否响应该请求并选取本端自有数据中的待去重数据进行判断和执行数据去重处理，应当理解的是，基于实际应用的不同设计需要，该提示消息的具体内容可以被设定为任意要求内容，本发明纵向联邦数据统计的去重方法并不针对该提示消息的具体内容进行限定。

具体地，例如，请参照如图4所示的应用场景，在由参与方A和参与方B联合构建的纵向联邦中，当前参与方A在接收到参与方B针对从自有数据中提取的第一待去重数据进行哈希，并使用预先生成的密钥对中的公钥对哈希值进行同态加密得到的三个第一加密值之后，当前参与方A在本端输出一个提示消息，若当前参与方A接收到了基于用户或者本端自动输入的确认反馈从而触发的预设数据去重请求，则当前参与方A基于时下成熟的指令解析技术解析该预设数据去重请求，并从该预设数据去重请求中提取得到“年龄”、“收入”、“交易次数”以及“是否逾期”四个待去重数据统计特征。

步骤S2012，在本地检测自有数据中各数据标签下属于所述待去重数据统计特征的特征数据；

步骤S2013，将相同所述数据标签下的所述特征数据作为一条第二待去重数据，以提取到各所述第二待去重数据。

当前参与方在解析预设数据去重请求从而提取出待去重数据统计特征之后，当前参与方随即在本端已经统计的自有数据中，检测各个数据标签下属于该待去重数据统计特征的特征数据，然后，当前参与方将该特征数据中隶属相同的数据标签的各特征数据作为一条第二待去重数据，进而得到按照各个数据标签分类的各个第二待去重数据。

具体地，例如，当前参与方A按照与参与方B相同统计方式，在本地利用特征维度：“年龄”、“收入”、“交易次数”以及“是否逾期”作为备选列，并以设备号U1、U2和U3分别作为横向的数据标签进行统计得到自有数据。然后，当前参与方A基于从接收到的预设数据去重请求中解析出的“年龄”、“收入”、“交易次数”以及“是否逾期”四个待去重数据统计特征，在该自有数据中检测数据标签U1、U2和U3所标识的每一行特征数据中，各自属于该“年龄”、“收入”、“交易次数”以及“是否逾期”四个待去重数据统计特征的12个特征数据，最后，当前参与方A将该12个特征数据中，处于数据标签U1所标识行的4个特征数据作为一条第二待去重数据、处于数据标签U2所标识行的4个特征数据作为另一条第二待去重数据，以及处于数据标签U3所标识行的4个特征数据作为又一条第二待去重数据，从而得到本端自有数据中的三条第二待去重数据。

步骤S300，将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；

当前参与方在利用与其他参与方所使用的相同的公钥，对从自有数据中提取的各第二待去重数据进行同态加密得到各第二加密值之后，当前参与方按照接收到的各第一加密值与该各第二加密值之间一一对应的关系，分别将各第一加密值与各第二加密值进行叠加计算得到各计算结果。

进一步地，在一种可行的实施例中，步骤S300，可以包括：

步骤S301，分别检测各所述第一加密值各自在各所述第二加密值中对应位置的目标第二加密值；

步骤S302，将各所述第一加密值与各自对应的所述目标第二加密值进行叠加计算得到各计算结果。

当前参与方在本地依次检测接收到的各第一加密值中，每一个第一加密值各自与各第二加密值中在对应位置处的一个目标第二加密值，然后，当前参与方分别将该各第一加密值的每一个加密值分别与各自对应的目标第二加密值进行叠加。

具体地，例如，请参照如图4所示的应用场景，当前参与方A在接收到参与方B传递的三个第一加密值分别为b1、b2和b3，当前参与方A在本地针对自有数据中的各条第二待去重数据分别先进行哈希然后同态加密得到的三个第二加密值为a1、a2和a3，则当前参与方A按照一个第一加密值对应一个第二加密值，确定第一加密值b1在三个第二加密值中对应的一个目标第二加密值为a1、第一加密值b2在三个第二加密值中对应的一个目标第二加密值为a2以及第一加密值b3在三个第二加密值中对应的一个目标第二加密值为a3，然后，当前参与方A分别将b1与a1进行叠加计算得到一个计算结果ab1、将b2与a2进行叠加计算得到一个计算结果ab2，以及将b3与a3进行叠加计算得到一个计算结果ab3，从而完成将自身密文-各第二加密值与对方密文-各第一加密值相加。

步骤S400，确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

当前参与方在将分别将各第一加密值与各第二加密值进行叠加计算得到各计算结果之后，基于检测该各计算结果中相同的计算结果来确定该相同的计算结果各自对应的第一待去重数据和第二待去重数据，然后针对该第一待去重数据和第二待去重数据进行去重处理。

进一步地，在一种可行的实施例中，步骤S400，可以包括：

步骤S401，检测所述相同计算结果各自在所述自有数据中指向的第二数据标签；

当前参与方在得到各计算结果之后，优先检测该各计算结果中相同的计算结果分别在本端自有数据当中指向的各第二数据标签。

具体地，例如，请参照如图4所示的应用场景，若当前参与方A将自身密文-各第二加密值与对方密文-各第一加密值相加，即，当前参与方A分别将b1与a1、b2与a2以及b3与a3进行叠加计算，从而得到各计算结果ab1、ab2和ab3，若当前参与方A检测到该ab1、ab2和ab3中ab1和ab2相等，则当前参与方A将叠加计算得到ab1和ab2的各计算式--b1与a1和b2与a2中，第二加密值a1和a2提取出来，然后确定该第二加密值a1和a2各自在本端的自有数据中对应的第二数据标签分别为--U1和U2。

需要说明的是，在本实施例中，当前纵向联邦中的各参与方各自在本地通过针对从自有数据中提取出的待去重数据进行哈希运算，并利用公钥针对哈希运算的哈希值进行同态加密得到加密值之后，参与方将该加密值与待去重数据在自有数据中所属的数据标签进行关联映射形成对应的指向关系。例如，参与方B在针对从其本端自有数据中提取到的属于数据标签U4这一行的三个特征数据作为一条第一待去重数据，并通过哈希和同态加密过程计算得到第一加密值b1之后，参与方B将该第一加密值b1与数据标签U4关联映射以形成对应的指向关系。

步骤S402，在各所述第二数据标签中确定唯一的目标第二数据标签，并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据；

当前参与方在检测得到各计算结果中相同的计算结果分别在本端自有数据当中指向的各第二数据标签之后，当前参与方在该各第二数据标签当中随机确定一个唯一的目标第二数据标签，然后，在该各第二数据标签所对应的各第二待去重数据中，仅保留该唯一的目标第二数据标签所对应的一份第二待去重数据。

具体地，例如，请参照如图4所示的应用场景，当前参与方A在检测得到各计算结果ab1、ab2和ab3中相等的计算结果为ab1和ab2，并确定出该ab1和ab2各自计算式中第二加密值a1和a2各自在本端的自有数据中对应的第二数据标签分别为--U1和U2之后，当前参与方A确定第二数据标签--U1作为目标第二数据标签，然后，在自有数据中将第二数据标签--U2这一行的特征数据进行去除，以使该U1和U2两行数据中属于待去重数据统计特征：“年龄”、“收入”、“交易次数”以及“是否逾期”的两条第二待去重数据，仅保留数据标签--U1这一行的特征数据。

步骤S403，按照预设对应关系在所述其他参与方各自自有数据的各数据标签中，确定与所述目标第二数据标签相对应的目标第一数据标签，其中，所述预设对应关系通过预先与所述其他参与方协商得到；

需要说明的是，在本实施例中，预设对应关系具体可以为当前纵向联邦中的其他参与方在向当前参与方传递各第一加密值时，由其他参与方同步指定的自有数据中各第一待去重数据各自所属的第一数据标签分别与当前参与方本端自有数据中各第二数据标签之间的对应关系。

当前参与方在检测得到各计算结果中相同的计算结果分别在本端自有数据当中指向的各第二数据标签，并从该各第二数据标签中确定出唯一的目标第二数据标签之后，当前参与方进一步按照其他参与方指定的各自自有数据中各第一待去重数据所属的第一数据标签，分别与当前参与方本端自有数据中各第二数据标签之间的对应关系，确定出该目标第二数据标签在各第一数据标签中对应的目标第一数据标签。

具体地，例如，参与反B在向参与方A传递第一数据标签U4、U5和U6下三条第一待去重数据的第一加密值--b1、b2和b3时，参与方B同步下发该第一数据标签U4、U5和U6中，U4与参与方A本端自有数据的第二数据标签U1关联映射、U5与参与方A本端自有数据的第二数据标签U2关联映射，以及，U6与参与方A本端自有数据的第二数据标签U3关联映射的对应关系，从而，当前参与方A在确定第二数据标签中U1为唯一的目标第二数据标签之后，当前参与方即可同步确定第一数据标签U4为各第一数据标签中对应的目标第一数据标签。

步骤S404，向所述其他参与方分发携带有目标第一数据标签的去重指令，以供所述其他参与方在接收到所述去重指令后，仅保留各所述第一待去重数据中所述目标第一数据标签下的第一待去重数据。

当前参与方确定出目标第二数据标签在各第一数据标签中对应的目标第一数据标签之后，将该目标第一数据标签封装至分发给其他参与方的去重指令当中，其他参与方在接收到该去重指令并提取出该目标第一数据标签之后，即可在本地将各第一数据标签所对应的各第一待去重数据中，仅保留该唯一的目标第一数据标签所对应的一份第一待去重数据。

具体地，例如，当前参与方A确定第二数据标签--U1作为目标第二数据标签，并确定第一数据标签U4为各第一数据标签中对应的目标第一数据标签之后，当前参与方A随即向参与方B下发一个去重指令，并在该去重指令中携带该目标第一数据标签为U4，从而，参与方B在接收到该去重指令之后，提取得到目标第一数据标签U4，然后，在自有数据中将第一数据标签--U5这一行的特征数据进行去除，以使该U4和U5两行数据中属于待去重数据统计特征：“年龄”、“收入”和“交易次数”的两条第一待去重数据，仅保留数据标签--U4这一行的特征数据。

进一步地，在另一种可行的实施例中，在上述步骤S402，在各所述第二数据标签中确定唯一的目标第二数据标签，并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据之后，本发明纵向联邦数据统计的去重方法，还可以包括：

步骤S405，向所述其他参与方分发携带有所述相同计算结果的去重指令，以供所述其他参与方各自在本地，检测所述相同计算结果各自在自有数据中指向的第一数据标签，并确定各所述第一数据标签中唯一的目标第一数据标签，以仅保留各所述第一数据标签对应的第一待去重数据中，所述目标第一数据标签下的第一待去重数据。

当前参与方在得到各计算结果检测该各计算结果中相同的计算结果之后，还可以直接将该相同的计算结果封装至分发给其他参与方的去重指令当中，其他参与方在接收到该去重指令并提取出该相同的计算结果，然后检测该相同的计算结果分别在本端自有数据当中指向的各第一数据标签，并进一步在该各第第一数据标签当中随机确定一个唯一的目标第一数据标签，以及在该各第一数据标签所对应的各第一待去重数据中，仅保留该唯一的目标第一数据标签所对应的一份第一待去重数据。

具体地，例如，当前参与方A在检测得到各计算结果ab1、ab2和ab3中相等的计算结果为ab1和ab2之后，当前参与方A随即向参与方B下发一个去重指令，并在该去重指令中携带该相等的计算结果ab1和ab2，从而，参与方B在接收到该去重指令之后，提取得到该相等的计算结果ab1和ab2并将叠加计算得到ab1和ab2的各计算式--b1与a1和b2与a2中，第一加密值b1和b2提取出来，然后确定该第一加密值b1和b2各自在本端的自有数据中对应的第一数据标签分别为--U4和U5，然后，参与方B确定第一数据标签--U4作为目标第一数据标签，并在自有数据中将第一数据标签--U5这一行的特征数据进行去除，以使该U4和U5两行数据中属于待去重数据统计特征：“年龄”、“收入”和“交易次数”的两条第一待去重数据，仅保留数据标签--U4这一行的特征数据。

在本实施例中，通过在由多个均拥有自有数据的参与方所组成的纵向联邦场景中，由该参与方中的任意一个当前参与方，接收其他参与方传递的各第一加密值，该各第一加密值由其他参与方分别在各自本地，利用公钥对自有数据中需要去重的各条第一待去重数据进行加密得到，然后，当前参与方同样采用与其他参与方所利用的相同的公钥，针对本端自有数据中需要去重的各条第二待去重数据进行加密以得到各第二加密值，当前参与方在本端将接收到的各第一加密值对应的与各第二加密值进行叠加计算得到各个计算结果，最后，当前参与方在该各个计算结果中，针对相同计算结果所对应的各条第一待去重数据和各条第二待去重数据进行去重处理。

本发明在纵向联邦场景中，基于各参与方利用相同的公钥针对自有数据中需要进行去重处理的待去重数据进行加密得到加密值，然后将加密值对应进行叠加得到计算结果，从而确认计算结果中相同结果对应的部分待去重数据为最终需要进行去重的部分数据，进而针对该部分数据进行去重处理，实现了在确保各参与方数据隐私安全的前提下，有效的对纵向联邦中各参与方各自统计的数据进行去重。

此外，请参照图5，本发明实施例还提出一种纵向联邦数据统计的去重装置，所述纵向联邦数据统计的去重装置应用于纵向联邦中的任意一个参与方，所述纵向联邦数据统计的去重装置包括：

接收模块，用于接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；

加密模块，用于基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；

计算模块，用于将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；

去重模块，用于确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

优选地，所述加密模块，包括：

哈希单元，用于在本地的自有数据中提取各第二待去重数据，并分别对各所述第二待去重数据进行哈希运算得到各哈希值；

加密单元，用于利用所述公钥分别对各所述哈希值进行加密得到各第二加密值。

优选地，所述哈希单元，包括：

接收子单元，用于接收预设数据去重请求，并解析所述预设数据去重请求得到待去重数据统计特征，其中，所述待去重数据统计特征的数量大于或者等于一；

检测子单元，用于在本地检测自有数据中各数据标签下属于所述待去重数据统计特征的特征数据；

标记子单元，用于将相同所述数据标签下的所述特征数据作为一条第二待去重数据，以提取到各所述第二待去重数据。

优选地，所述计算模块，包括：

第一检测单元，用于分别检测各所述第一加密值各自在各所述第二加密值中对应位置的目标第二加密值；

叠加计算单元，用于将各所述第一加密值与各自对应的所述目标第二加密值进行叠加计算得到各计算结果。

优选地，所述去重模块，包括：

第二检测单元，用于检测所述相同计算结果各自在所述自有数据中指向的第二数据标签；

第一确定单元，用于在各所述第二数据标签中确定唯一的目标第二数据标签，并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据；

第二确定单元，用于按照预设对应关系在所述其他参与方各自自有数据的各数据标签中，确定与所述目标第二数据标签相对应的目标第一数据标签，其中，所述预设对应关系通过预先与所述其他参与方协商得到；

指令发送单元，用于向所述其他参与方分发携带有目标第一数据标签的去重指令，以供所述其他参与方在接收到所述去重指令后，仅保留各所述第一待去重数据中所述目标第一数据标签下的第一待去重数据。

优选地，所述指令发送单元，还用于向所述其他参与方分发携带有所述相同计算结果的去重指令，以供所述其他参与方各自在本地，检测所述相同计算结果各自在自有数据中指向的第一数据标签，并确定各所述第一数据标签中唯一的目标第一数据标签，以仅保留各所述第一数据标签对应的第一待去重数据中，所述目标第一数据标签下的第一待去重数据。

优选地，本发明纵向联邦数据统计的去重装置，还包括：

生成模块，用于生成用于在本地对自有数据中待去重数据进行加解密的密钥对，并将所述密钥对中的公钥分发至纵向联邦中的其他参与方。

其中，本发明纵向联邦数据统计的去重装置的各功能模块在运行时所实现的步骤，可参照上述本发明纵向联邦数据统计的去重方法的各个实施例，此处不再赘述。

此外，本发明实施例还提出一种终端设备，该终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦数据统计的去重程序，该纵向联邦数据统计的去重程序被所述处理器执行时实现如上述中的纵向联邦数据统计的去重方法的步骤。

其中，在所述处理器上运行的纵向联邦数据统计的去重程序被执行时所实现的步骤可参照本发明纵向联邦数据统计的去重方法的各个实施例，此处不再赘述。

此外，本发明实施例还提出一种存储介质，应用于计算机，该存储介质可以为非易失性计算机可读存储介质，该存储介质上存储有纵向联邦数据统计的去重程序，所述纵向联邦数据统计的去重程序被处理器执行时实现如上所述的纵向联邦数据统计的去重方法的步骤。

其中，在所述处理器上运行的纵向联邦数据统计的去重程序被执行时所实现的步骤可参照本发明纵向联邦数据统计的去重方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种纵向联邦数据统计的去重方法，其特征在于，所述纵向联邦数据统计的去重方法应用于纵向联邦中的任意一个参与方，所述纵向联邦数据统计的去重方法包括：

接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；

基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；

将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；

确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

2.如权利要求1所述的纵向联邦数据统计的去重方法，其特征在于，所述基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值的步骤，包括：

在本地的自有数据中提取各第二待去重数据，并分别对各所述第二待去重数据进行哈希运算得到各哈希值；

利用所述公钥分别对各所述哈希值进行加密得到各第二加密值。

3.如权利要求2所述的纵向联邦数据统计的去重方法，其特征在于，所述在本地的自有数据中提取各第二待去重数据的步骤，包括：

接收预设数据去重请求，并解析所述预设数据去重请求得到待去重数据统计特征，其中，所述待去重数据统计特征的数量大于或者等于一；

在本地检测自有数据中各数据标签下属于所述待去重数据统计特征的特征数据；

将相同所述数据标签下的所述特征数据作为一条第二待去重数据，以提取到各所述第二待去重数据。

4.如权利要求1所述的纵向联邦数据统计的去重方法，其特征在于，所述将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果的步骤，包括：

分别检测各所述第一加密值各自在各所述第二加密值中对应位置的目标第二加密值；

将各所述第一加密值与各自对应的所述目标第二加密值进行叠加计算得到各计算结果。

5.如权利要求1所述的纵向联邦数据统计的去重方法，其特征在于，所述针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理的步骤，包括：

检测所述相同计算结果各自在所述自有数据中指向的第二数据标签；

在各所述第二数据标签中确定唯一的目标第二数据标签，并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据；

按照预设对应关系在所述其他参与方各自自有数据的各数据标签中，确定与所述目标第二数据标签相对应的目标第一数据标签，其中，所述预设对应关系通过预先与所述其他参与方协商得到；

向所述其他参与方分发携带有目标第一数据标签的去重指令，以供所述其他参与方在接收到所述去重指令后，仅保留各所述第一待去重数据中所述目标第一数据标签下的第一待去重数据。

6.如权利要求5所述的纵向联邦数据统计的去重方法，其特征在于，在所述并仅保留各所述第二数据标签对应的第二待去重数据中，所述目标第二数据标签下的第二待去重数据的步骤之后，还包括：

向所述其他参与方分发携带有所述相同计算结果的去重指令，以供所述其他参与方各自在本地，检测所述相同计算结果各自在自有数据中指向的第一数据标签，并确定各所述第一数据标签中唯一的目标第一数据标签，以仅保留各所述第一数据标签对应的第一待去重数据中，所述目标第一数据标签下的第一待去重数据。

7.如权利要求1所述的纵向联邦数据统计的去重方法，其特征在于，在所述接收纵向联邦中的其他参与方发送的各第一加密值的步骤之前，还包括：

生成用于在本地对自有数据中待去重数据进行加解密的密钥对，并将所述密钥对中的公钥分发至纵向联邦中的其他参与方。

8.一种纵向联邦数据统计的去重装置，其特征在于，所述纵向联邦数据统计的去重装置应用于纵向联邦中的任意一个参与方，所述纵向联邦数据统计的去重装置包括：

接收模块，用于接收纵向联邦中的其他参与方发送的各第一加密值，其中，各所述第一加密值由所述其他参与方基于公钥针对各自的各第一待去重数据进行加密得到；

加密模块，用于基于所述公钥在本地针对自有数据中的各第二待去重数据进行加密得到各第二加密值；

计算模块，用于将各所述第一加密值分别与各所述第二加密值进行叠加计算得到各计算结果；

去重模块，用于确定各所述计算结果中的相同计算结果，并针对所述相同计算结果对应的各所述第一待去重数据和各所述第二待去重数据进行去重处理。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦数据统计的去重程序，所述纵向联邦数据统计的去重程序被所述处理器执行时实现如权利要求1至7中任一项所述的纵向联邦数据统计的去重方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的纵向联邦数据统计的去重方法的步骤。

Images