CN113591097A - 业务数据处理方法、装置、电子设备及存储介质 - Google Patents

业务数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113591097A
CN113591097A CN202110084293.6A CN202110084293A CN113591097A CN 113591097 A CN113591097 A CN 113591097A CN 202110084293 A CN202110084293 A CN 202110084293A CN 113591097 A CN113591097 A CN 113591097A
Authority
CN
China
Prior art keywords
sample
data processing
business
matched
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110084293.6A
Other languages
English (en)
Inventor
程勇
陶阳宇
刘舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110084293.6A priority Critical patent/CN113591097A/zh
Publication of CN113591097A publication Critical patent/CN113591097A/zh
Priority to EP22742073.4A priority patent/EP4198783A1/en
Priority to PCT/CN2022/071876 priority patent/WO2022156594A1/zh
Priority to US17/977,736 priority patent/US20230068770A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioethics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种业务数据处理方法，装置、电子设备、存储介质，方法包括：根据第一样本集合，确定与第一业务方设备相匹配的虚拟样本；确定样本集合交集；确定与第一业务方设备相匹配的第一密钥集合以及与第二业务方设备相匹配的第二密钥集合；利用小批量梯度下降算法对样本集合交集进行虚拟样本删除处理，获得与业务数据处理系统相匹配的训练样本；基于与业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数由此，在保证数据不交换的情况下，降低计算代价，提升业务数据处理的效率，能够在移动方设备中实现对业务数据的处理，节省用户的等待时间，保证隐私数据不泄露。

Description

业务数据处理方法、装置、电子设备及存储介质
技术领域
本发明涉及云网络中的数据处理技术，尤其涉及业务数据处理方法、装置、电子设备及存储介质。
背景技术
在不同的业务方对部分业务数据进行共享时，需要保证安全多方计算，即多方共同计算出一个函数的结果，而不泄露这个函数各方的输入数据，计算的结果公开给其中的一方或多方。相关技术中，由于加密传输的缺陷，经常性的会造成用户的隐私数据泄露，同时，在面对体量较大的待处理业务数据时，传统交换加密函数结构中的幂模操作的计算复杂度较高，加密过程的硬件开销较大，使得用户的等待时间较长，加重了硬件使用成本，不利于在移动方设备中实现业务数据处理。
发明内容
有鉴于此，本发明实施例提供一种业务数据处理方法、装置、电子设备及存储介质，能够实现通过配置相应的虚拟样本确定样本集合交集对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本，最终确定联邦模型参数，由此，在保证数据不交换的情况下，降低计算代价，完成确定联邦模型参数的任务，提升业务数据处理的效率，能够在移动方设备中实现对业务数据的处理，节省用户的等待时间，保证隐私数据不泄露。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种业务数据处理方法，包括：
获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备；
根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本；
基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集；
确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合；
通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本；
基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
本发明实施例还提供了一种业务数据处理装置，包括：
信息传输模块，用于获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备；
信息处理模块，用于根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本；
所述信息处理模块，用于基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集；
所述信息处理模块，用于确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合；
所述信息处理模块，用于通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本；
所述信息处理模块，用于基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
上述方案中，
所述信息处理模块，用于基于所述业务数据处理系统中第一业务方设备的业务类型，确定与所述第一业务方设备相匹配的样本集合；
所述信息处理模块，用于基于所述业务数据处理系统中第二业务方设备的业务类型，确定与所述第二业务方设备相匹配的样本集合；
所述信息处理模块，用于对所述第一业务方设备相匹配的样本集合和所述第二业务方设备相匹配的样本集合进行样本对齐处理，以实现获取与第一业务方设备相匹配的第一样本集合，以及与第二业务方设备相匹配的第二样本集合。
上述方案中，
所述信息处理模块，用于利用第一业务方设备确定所述第一样本集合中样本ID的取值参数和分布参数；
所述信息处理模块，用于基于所述第一样本集合中样本ID的取值参数和分布参数，生成与所述第一业务方设备相匹配的虚拟样本。
上述方案中，
所述信息处理模块，用于将所述虚拟样本与所述第一样本集合进行合并，形成带有虚拟样本的第一样本集合；
所述信息处理模块，用于遍历带有虚拟样本的第一样本集合，确定虚拟样本的ID集合；
所述信息处理模块，用于遍历第二样本集合，确定带有虚拟样本的第一样本集合和第二样本集合的样本集合交集。
上述方案中，
所述信息处理模块，用于响应于第一业务方设备和第二业务方设备的方设备类型，触发目标应用进程；
所述信息处理模块，用于基于所述目标应用进程，确定所述第一样本集合与所述第二样本集合的数据交集集合；
所述信息处理模块，用于通过所述目标应用进程获取所述第一业务方设备对应的第一虚拟样本集合以及所述第二业务方设备对应的第二虚拟样本集合；
所述信息处理模块，用于根据所述第一样本集合与所述第二样本集合的数据交集集合、第一虚拟样本集合和第二虚拟样本集合，通过所述目标应用进程，确定与所述第一业务方设备相匹配的虚拟样本。
上述方案中，
所述信息处理模块，用于将所述虚拟样本与所述第一样本集合进行合并，形成带有虚拟样本的第一样本集合；
所述信息处理模块，用于遍历带有虚拟样本的第一样本集合，确定虚拟样本的ID集合；
所述信息处理模块，用于遍历第二样本集合，确定带有虚拟样本的第一样本集合和第二样本集合的样本集合交集。
上述方案中，
所述信息处理模块，用于基于所述第一密钥集合和所述第二密钥集合，交换不同的公钥至相应的业务方设备，以实现获得联邦模型的初始参数；
所述信息处理模块，用于确定与所述业务数据处理系统相匹配的小批量梯度下降算法对应的样本数量；
所述信息处理模块，用于根据小批量梯度下降算法对应的样本数量对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本。
上述方案中，
所述信息处理模块，用于将与所述业务数据处理系统相匹配的训练样本，代入所述业务数据处理系统对应的联邦模型所对应的损失函数；
所述信息处理模块，用于确定所述损失函数满足相应的收敛条件时所述业务数据处理系统对应的联邦模型对应的模型更新参数；
所述信息处理模块，用于基于联邦模型对应的模型更新参数，确定所述联邦模型的模型参数。
上述方案中，
所述信息处理模块，用于当基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练时，通过所述第一业务方设备将所述模型更新参数所匹配中虚拟样本对应的残差进行调整，以实现调整所述虚拟样本对所述联邦模型的模型参数的影响。
上述方案中，
所述信息处理模块，用于当基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练时，触发目标应用进程；
所述信息处理模块，用于基于所述目标应用进程，将所述模型更新参数所匹配中虚拟样本对应的残差进行调整，以实现调整所述虚拟样本对所述联邦模型的模型参数的影响。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前述的业务数据处理方法。
本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述业务数据处理方法的各种可选实现方式中所提供的不同实施例及实施例的组合。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前述的业务数据处理方法。
本发明实施例具有以下有益效果：
本发明实施例通过获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备；根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本；基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集；确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合；通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本；基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数；由此，在保证数据不交换的情况下，降低计算代价，完成确定联邦模型参数的任务，提升业务数据处理的效率，能够在移动方设备中实现对业务数据的处理，节省用户的等待时间，保证隐私数据不泄露。
附图说明
图1是本发明实施例提供的业务数据处理方法的使用环境示意图；
图2为本发明实施例提供的业务数据处理装置的组成结构示意图；
图3为本发明实施例提供的业务数据处理方法一个可选的流程示意图；
图4为本发明实施例提供的业务数据处理方法的业务数据处理过程示意图；
图5为本发明实施例提供的业务数据处理方法的业务数据处理过程示意图；
图6为本发明实施例提供的业务数据处理方法的业务数据处理过程示意图；
图7为本发明实施例中业务数据处理方法一个可选的流程示意图；
图8为本发明实施例提供的业务数据处理方法的业务数据处理过程示意图；
图9为本发明实施例中业务数据处理方法一个可选的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)业务方设备，包括但不限于：普通业务方设备、专用业务方设备，其中所述普通方设备与发送通道保持长连接和/或短连接，所述专用业务方设备与所述发送通道保持长连接，可以为服务器。
2)客户端，业务方设备中实现特定功能的载体，例如移动客户端(APP)是业务方设备中特定功能的载体。
3)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
4)联邦学习，联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现协作。
5)区块链(Block chain)，是由区块(Block)形成的加密的、链式的交易的存储结构。
例如，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，从而基于哈希值实现区块中交易的防篡改和防伪造；新产生的交易被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长。
6)区块链网络(Block chain Network)，通过共识的方式将新区块纳入区块链的一系列的节点的集合，其中，每一个业务方设备可以作为区块链网络中的不同区块链节点。
7)模型参数，是使用通用变量来建立函数和变量之间关系的一个数量。在人工神经网络中，模型参数通常是实数矩阵。
图1为本发明实施例提供的业务数据方法的使用场景示意图，参考图1，业务方设备(包括业务方设备10-1和业务方设备10-2)上设置有能够显示相应资源交易数据的软件的客户端，例如虚拟资源或者实体资源进行金融活动或者通过虚拟资源支付的客户端或插件，用户通过相应的客户端可以获得资源交易数据并进行展示，并在虚拟资源变化过程中触发相应的欺诈识别进程(例如微信财付通支付或者微信中的程序进行金融借贷进程)，这一过程中需要通过部署于服务器的数据处理装置对用户的风险进行判断，并且期望在不获取其他机构节点的隐私数据的情况下，获取其他机构中的业务数据的处理结果进行辅助分析，以通过相应的预测结果确定目标用户的风险等级(是否执行出借)；不同的业务方设备可以直接连接业务方设备200。
当然，本发明所提供的用户行为业务数据处理装置可以应用于虚拟资源或者实体资源进行金融活动或者通过实体金融资源支付环境(包括但不限于各类型的实体金融资源变化环境、电子支付购物环境、电商购物时进行反作弊的使用环境)或者社交软件进行信息交互的使用环境，在各类型的实体金融资源进行金融活动或者通过虚拟资源支付中通常会对不同数据来源的金融信息进行处理，最终在业务方设备的用户界面(User Interface，UI)上呈现出由待测试样本的排序结果所确定的业务数据处理系统的目标业务数据。
在本发明的一些实施例中，业务数据处理过程可以由计算平台完成。计算平台可以是设于可信第三方设备的平台，也可以是设于多个数据方中的一个数据方或分布在多个数据方的平台。计算平台可以与各个数据方进行数据交互。图1中的多个业务方(可以是持有不同的业务数据的数据方服务器)可以是相同数据类别的数据方，例如都是银行类别数据方，或者都是购物平台数据方等等。多个数据方也可以是不同类别的数据方，例如业务方设备10-1是购物平台数据方，业务方设备10-2是借贷平台数据方，或者上述例子中业务方设备10-1是联系人信息的数据拥有方，业务方设备10-2是服务提供商，等等。在业务数据处理场景下，这些数据方所提供的业务数据通常是同一类型的业务数据。例如，业务方设备10-1是购物平台数据方，业务方设备10-2是借贷平台数据方的情况下，如果购物平台绑定有付款银行卡号，借贷平台绑定有提款还款银行卡号，双方提供的用于业务数据处理的业务数据可以是银行卡号以及转账信息或者借贷信息。如果购物平台数据方和借贷平台数据方都登记有用户的电话号码，双方提供的用于业务数据处理的业务数据也可以是电话号码。在其他业务场景下，业务数据也可以包含其他数据，在此不再一一列举。
作为一个示例，业务方设备200或者业务方设备10-1均可以用于布设业务数据处理装置以实现本发明所提供的业务数据处理方法，以通过获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备；根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本；基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集；确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合；通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本；基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
下面对本发明实施例的业务数据处理装置的结构做详细说明，业务数据处理装置可以各种形式来实施，如带有业务数据处理装置处理功能的专用业务方设备，也可以为设置有业务数据处理装置处理功能的服务器或者服务器群组，例如部署于业务方设备10-1中的业务信息处理进程，例如前序图1中的业务方设备200。图2为本发明实施例提供的业务数据处理装置的组成结构示意图，可以理解，图2仅仅示出了业务数据处理装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的业务数据处理装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。业务数据处理装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持业务方设备(如10-1)的操作。这些数据的示例包括：用于在业务方设备(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的业务数据处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的业务数据处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的业务数据处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的业务数据处理装置采用软硬件结合实施的示例，本发明实施例所提供的业务数据处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的业务数据处理方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的业务数据处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的业务数据处理方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持业务数据处理装置的操作。这些数据的示例包括：用于在业务数据处理装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从业务数据处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的业务数据处理装置可以采用软件方式实现，图2示出了存储在存储器202中的业务数据处理装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括业务数据处理装置，业务数据处理装置中包括以下的软件模块：
信息传输模块2081，用于获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备。
信息处理模块2082，用于根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本。
所述信息处理模块2082，用于基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集。
所述信息处理模块2082，用于确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合。
所述信息处理模块2082，用于通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本。
所述信息处理模块2082，用于基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
根据图2所示的电子设备，在本申请的一个方面中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述业务数据处理方法的各种可选实现方式中所提供的不同实施例及实施例的组合。
结合图2示出的业务数据处理装置说明本发明实施例提供的业务数据处理方法，在介绍本申请所提供的业务数据处理方法之前，优先对相关技术中的金融风控场景下的业务数据处理方法进行说明，其中，业务数据处理的过程中，由于业务类型众多，每个用户都可能拥有不同的网络数据，且部分用户拥有网络中部分节点的标签，但是用户之间为了实现保护隐私数据，往往不会互相共享数据，对于不同的业务方设备，也不会交换用户的数据实现业务数据的处理，例如：在银行风控场景下，银行A希望获得当前申请个人信贷客户的风险排序，其中，银行A拥有历史确定的劣质客户，而另一家银行B拥有相同客户的资金转账关系，此时银行A可以通过无法不接触到银行B的资金转账数据情况下，利用银行B的资金转账关系和自己的劣质客户标签计算出目标客户的风险等级。而交换用户数据虽然能够实现确定目标客户的风险等级，却泄露了用户的数据隐私，造成用户数据的外流。
为解决上述缺陷，参见图3，图3为本发明实施例提供的业务数据处理方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行业务数据处理装置的各种电子设备执行，例如可以是可以业务数据的服务器或服务器群组也可以是业务进程的业务方设备。具体包括：
步骤301：业务数据处理装置获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合。
其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备；具体来说，业务数据处理系统中的每一业务方设备都可以用于对多个数据提供方针对多方联合查询语句协同进行数据查询的场景，如多个数据提供方针对多方联合查询语句协同进行多提供方的隐私数据查询的情况，也可以是纵向联邦学习的场景，其中，纵向联邦学习是指在两个数据集的用户重叠较多而用户特征重叠较少的情况下，可以把数据集按照纵向(即特征维度)切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。例如：有两个不同的机构，一家是某地的银行，另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民，因此用户的交集较大。但是，由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合，以增强模型能力。
具体的，各数据提供方的数据都存储在各自的数据存储系统或者云服务器中，各提供方需要公开的原数据信息可以是不同的。通过本申请所提供的业务数据处理方法可以对不同业务方设备所处理的各种隐私数据的处理结果进行交换，同时这一过程中不泄漏各个业务方设备的原数据，计算结果对各提供方公开，以保证各个业务方设备均能够及时准确地获得相应的目标业务数据。
在本发明的一些实施例中，获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，可以通过以下方式实现：
基于所述业务数据处理系统中第一业务方设备的业务类型，确定与所述第一业务方设备相匹配的样本集合；基于所述业务数据处理系统中第二业务方设备的业务类型，确定与所述第二业务方设备相匹配的样本集合；对所述第一业务方设备相匹配的样本集合和所述第二业务方设备相匹配的样本集合进行样本对齐处理，以实现获取与第一业务方设备相匹配的第一样本集合，以及与第二业务方设备相匹配的第二样本集合。其中，参考图4，图4为本发明实施例提供的业务数据处理方法的业务数据处理过程示意图，业务数据处理系统的参与方A和参与方B分别拥有训练特征数据集D1和D2，即参与方A与参与方B分别拥有部分数据特征。参与方A和B可以通过纵向联邦学习来扩展数据特征维度或者获得数据标签信息，以便训练更好的模型。例如，在两方纵向联邦学习里，参与方A(例如，某广告公司)和参与方B(例如，某社交网络平台)合作，联合训练一个或多个基于深度学习的个性化推荐模型。其中，参与方A拥有部分数据特征，例如，(X1,X2,…,X40)，共40维数据特征；而参与方B拥有另一部分数据特征，例如，(X41,X42,…,X100)，共60维数据特征。参与方A和B联合起来，就拥有了更多的数据特征，例如，A和B数据特征加起来就有100维数据特征，所以显著扩展了训练数据的特征维度。对于有监督深度学习，参与方A和/或参与方B还拥有训练数据的标签信息Y。
在本发明的一些实施例中，两个参与方中有一个没有特征数据，例如，参与方A没有特征数据，只有标签信息。
参与方A和参与方B在进行纵向联邦学习模型训练之前，需要先将他们拥有的训练数据以及标签信息进行对齐，筛选出他们拥有的训练数据的ID的交集，即求取集合D1和D2里相同样本ID的交集。例如，参与方A和B分别拥有的同一个银行客户的特征信息XA和XB，需要进行对齐，即在模型训练时拼在一起，形成一个训练样本(XA,XB)。其中，不同的银行客户的特征信息拼在一起没有意义，不能构造一条训练样本。
其中，参考图5，图5为本发明实施例提供的业务数据处理方法的业务数据处理过程示意图，需要找出参与方A与参与方B共有的训练样本ID(这一过程也称为样本对齐，数据对齐，或者安全集合求交集处理),需要找出参与方A与参与方B的公共客户，即客户U1、U2、U7。例如，一家银行和另一家电商共同的客户的ID，一般可以用手机号或者身份证号的哈希值作为ID标识。
步骤302：业务数据处理装置根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本。
步骤303：业务数据处理装置基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集。
在本发明的一些实施例中，根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本，可以通过以下方式实现：
第一业务方设备确定所述第一样本集合中样本ID的取值参数和分布参数；基于所述第一样本集合中样本ID的取值参数和分布参数，生成与所述第一业务方设备相匹配的虚拟样本。其中，可以将所述虚拟样本与所述第一样本集合进行合并，形成带有虚拟样本的第一样本集合；遍历带有虚拟样本的第一样本集合，确定虚拟样本的ID集合；遍历第二样本集合，确定带有虚拟样本的第一样本集合和第二样本集合的样本集合交集。具体来说，结合，图4与图5所示，参与方A根据自己拥有的样本ID的取值和分布情况随机生成一些虚拟的样本ID(以及对应的样本特征)。参与方A使用他拥有的真实的样本ID集合与所述生成的虚拟的样本ID集合的并集与参与方B的样本ID集合进行安全集合求交集，获得交集I。这样的结果，就是所述交集I里包含参与方A的虚拟的ID和真实的ID。虽然参与方A和参与方B都知道所述交集I中的样本ID信息，但是这里利用虚拟的样本ID来混淆真实的样本ID，可以保护参与方A的真实样本ID不被参与方B确切的知道。
在本发明的一些实施例中，根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本，还可以通过以下方式实现：
响应于第一业务方设备和第二业务方设备的方设备类型，触发目标应用进程；基于所述目标应用进程，确定所述第一样本集合与所述第二样本集合的数据交集集合；通过所述目标应用进程获取所述第一业务方设备对应的第一虚拟样本集合以及所述第二业务方设备对应的第二虚拟样本集合；根据所述第一样本集合与所述第二样本集合的数据交集集合、第一虚拟样本集合和第二虚拟样本集合，通过所述目标应用进程，确定与所述第一业务方设备相匹配的虚拟样本。其中，将所述虚拟样本与所述第一样本集合进行合并，形成带有虚拟样本的第一样本集合；遍历带有虚拟样本的第一样本集合，确定虚拟样本的ID集合；遍历第二样本集合，确定带有虚拟样本的第一样本集合和第二样本集合的样本集合交集。具体来说，结合前序图4和图5，参考图6，图6为本发明实施例提供的业务数据处理方法的业务数据处理过程示意图，参与方A和参与方B借助第三方或者可信执行环境作为目标进程，进行安全样本ID集合求交集(PSI)，生成样本ID交集I1。所述样本ID交集I1是真实的公共的样本ID的交集，不包括虚拟的样本ID。
这里将所述第三方称为参与方C，如图3所示例。在这一步里，参与方A和参与方B可以选择对自己的样本ID进行加密(或者进行哈希)，然后再发送给参与方C。如果选择使用加密传输，则参与方A和参与方B就需要先进行密钥协商,选择相同的密钥，例如，选择相同的RSA公钥。需要说明的是，如果选择加密，则参与方C拿到的是加密的样本ID，且参与方C不能对加密的样本ID进行解密。
参与方C对收到的参与方A发送的样本ID集合和参与方B发送的样本ID集合进行求交集，可以通过简单的比较完成。参与方C在求得样本ID交集I1之后，不会向参与A和参与方B发送ID交集I1的具体信息，只会告诉参与方A和参与方B所述ID交集I1里元素的个数。所以参与方A和参与方B都不知道他们的公共样本ID交集I1里的具体样本ID。当交集I1中的元素个数过少时，则无法进行纵向联邦学习。
参与方A和参与方B各自生成虚拟的样本ID(以及对应的虚拟样本特征)。参与方A和参与方B使用他们的真实样本ID集合与所述生成的虚拟ID集合一起进行两方安全集合求交集，获得交集I2。所述样本ID交集I2包含虚拟的样本ID。参与方A和参与方B都知道所述样本ID交集I2里的ID。因为所述样本ID交集I2里包含有所述虚拟的样本ID，所以参与A和参与方B都不知道对方的确切的样本ID。
在本发明的一些实施例中，为了保证所述样本ID交集I2里包含虚拟的样本ID，需要参与方A与参与方B生成的虚拟样本ID与对方的真实的样本ID有交集。为了保证这一点，可以要求参与方A和参与方B在相同的ID取值空间里随机生成虚拟的样本ID。例如，参与方A和参与方B可以在同一个手机号码段随机生成手机号码。
步骤304：业务数据处理装置确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合。
步骤305：业务数据处理装置通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本。
其中，通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本，包括：基于所述第一密钥集合和所述第二密钥集合，交换不同的公钥至相应的业务终端，以实现获得联邦模型的初始参数；确定与所述业务数据处理系统相匹配的样本数量根据样本数量对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本。其中，根据小批量梯度下降算法对应的样本数量对所述样本集合交集进行处理包括分批和小批次的选择，具体来说，参与方A和参与方B分别生成各自的公钥和私钥对(pk1，sk1)和(pk2，sk2)，并将所述公钥发送给对方。任何参与方不会向其他参与方披露自己的私钥。所述公钥用于对中间计算结果进行加法同态加密，例如，使用Paillier同态加密算法进行同态加密。
参与方A和B分别生成随机掩码R2和R1。任何参与方都不会向其他参与方以明文方式披露任何随机掩码。参与方A和B分别随机初始化其本地模型参数W1和W2。在SGD算法里，为了减少计算量、加速模型训练和获得更好的训练效果，每一次SGD迭代中只处理一个小批次(mini-batch)的训练数据，例如，每个小批次包括64个训练样本。这种情况下，需要参与方A和参与方B协调进行训练样本的分批和小批次的选择，以便两个参与方在每次迭代中选择的训练样本是对齐的。
步骤306：业务数据处理装置基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
在本发明的一些实施例中，基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数，可以通过以下方式实现：
将与所述业务数据处理系统相匹配的训练样本，代入所述业务数据处理系统对应的联邦模型所对应的损失函数；确定所述损失函数满足相应的收敛条件时所述业务数据处理系统对应的联邦模型对应的模型更新参数；基于联邦模型对应的模型更新参数，确定所述联邦模型的模型参数。其中，为了实现调整所述虚拟样本对所述联邦模型的模型参数的影响，当基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练时，可以通过所述第一业务方设备将所述模型更新参数所匹配中虚拟样本对应的残差进行调整，或者触发目标应用进程；基于所述目标应用进程，将所述模型更新参数所匹配中虚拟样本对应的残差进行调整。其中，基于SGD的模型训练方法需要多次梯度下降迭代，每一次迭代可分为两个阶段：(i)前向计算模型输出和残差(也称为梯度乘子)；(ii)后向传播并计算模型的损失函数对模型参数的梯度，并使用所计算的梯度更新模型参数。上述迭代重复执行，直到满足停止条件(例如，模型参数收敛，或者模型损失函数收敛，或者达到所允许最大训练迭代次数，或者达到最大允许的模型训练时间)。
通过所述第一业务方设备将所述模型更新参数所匹配中虚拟样本对应的残差进行调整时，参与方A与参与方B在所述样本交集I的基础上进行联邦模型训练，并且由参与方A负责训练样本的分批和小批次(mini-batch)的选择。为了保护参与方A的样本ID，参与方A可以从所述样本交集I选择一些真实的样本ID和一些虚拟的样本ID形成一个小批次，例如，32个虚拟样本和32个真实样本，组成一个有64个样本的小批次
Figure BDA0002910366110000181
其中，m表示第m个小批次。其中，图7为本发明实施例中业务数据处理方法一个可选的流程示意图，参考图7，参与方A与参与方B在所述样本交集的基础上进行联邦模型训练时，业务数据处理可以包括以下步骤：
步骤701：生成不同业务方设备相匹配的密钥集合。
步骤702：传输公钥信息。
步骤703：参与方A和B分别随机初始化模型参数W1和W2，并生成随机掩码R2和R1。
步骤704：参与方A和B分别对随机掩码R2和R1进行同态加密，并发给对方。
步骤705：参与方A计算
Figure BDA0002910366110000191
其中，
Figure BDA0002910366110000192
是参与方A拥有的第m个批次的训练样本。参与方A生成随机数r1，在步骤705里发送
Figure BDA0002910366110000193
给参与方B。
步骤706：参与方A解密得到
Figure BDA0002910366110000194
参与方B解密得到
Figure BDA0002910366110000195
步骤707：参与方A和参与方B分别进行计算处理。
由此可以分获得
Figure BDA0002910366110000196
和
Figure BDA0002910366110000197
步骤708：参与方A计算S、损失函数、梯度乘子δ(也称为残差)
其中，S和梯度乘子δ都是行向量，每个元素分别对应一个mini-batch中的每一个样本。例如，参与方A计算z＝S1+S2和计算逻辑回归(LogR)模型的输出
Figure BDA0002910366110000198
Figure BDA0002910366110000199
以及梯度算子(也称为残差)
Figure BDA00029103661100001910
其中，参与方A只选择一个mini-batch中的真实样本对应的梯度乘子来计算梯度和更新模型参数。参与方A将梯度乘子δ中对应虚拟样本的元素都置为零，例如，参与方A生成行向量δ＝[0,δ1,0,δ3,…]，这里假设第一个和第三个样本是虚拟样本。
在本发明的一些实施例中，参与方A计算
Figure BDA00029103661100001911
其中，N是小批次
Figure BDA00029103661100001912
里真实样本的个数。这是为了计算小批次的平均梯度。参与方A用pk1对δ加密，获得
Figure BDA00029103661100001913
步骤707中参与方A发送
Figure BDA00029103661100001914
给参与方B。
步骤708参与方B计算
Figure BDA0002910366110000201
这里假设
Figure BDA0002910366110000202
是一个小批次的数据矩阵(矩阵的每一行是一个样本)。其中，rB是参与方B生成的一个随机向量。
步骤709：参与方B发送
Figure BDA0002910366110000203
给参与方A。
步骤710：参与方传输S2。
在本发明的一些实施例中，继续参考图8，在图7所示的步骤执行之后，触发目标应用进程；基于所述目标应用进程，将所述模型更新参数所匹配中虚拟样本对应的残差进行调整时，参与方A与参与方B在所述样本交集I2的基础上进行联邦模型训练，并且由参与方A负责训练样本的分批和小批次的选择。为了保护参与方A的样本ID，参与方A可以从所述交集I选择一些真实的样本ID和一些虚拟的样本ID形成一个小批次，例如，32个虚拟样本和32个真实样本，组成一个有64个样本的小批次
Figure BDA0002910366110000204
联邦模型训练流程的步骤701-步骤710步与图7中所描述的步骤完全一致，可以迭代执行。如图7所示，在步骤711步中，参与方A计算S、损失函数、梯度乘子δ(也称为残差)。这里z和梯度乘子δ都是行向量，每个元素分别对应一个mini-batch中的每一个样本。例如，参与方A计算z＝S1+S2和计算逻辑回归(LogR)模型的输出
Figure BDA0002910366110000205
Figure BDA0002910366110000206
以及梯度算子(也称为残差)
Figure BDA0002910366110000207
之后的步骤需要借助参与方C来完成。包括：
步骤712：参与方A发送梯度乘子δ给参与方C。
其中，参与方C将收到的梯度乘子δ中对应虚拟样本的元素都置为零，例如，
Figure BDA0002910366110000208
这里假设第一个和第三个样本是虚拟样本，并且参与方C知道所述样本小批次
Figure BDA0002910366110000209
里的样本ID(或者是加密的样本ID，或者是哈希的样本ID)。参与方C可以通过交集I1来识别虚拟样本。
在本发明的一些实施例中，参与方C计算
Figure BDA00029103661100002010
其中，N是小批次
Figure BDA0002910366110000211
中的真实样本的个数。选择N是小批次
Figure BDA0002910366110000212
中的真实样本的个数为了计算小批次平均梯度，提升数据处理速度。参与方C用自己的公钥pk3对
Figure BDA0002910366110000213
加密，获得
Figure BDA0002910366110000214
步骤713：参与方C发送
Figure BDA0002910366110000215
给参与方A和参与方B。
步骤714：参与方A计算
Figure BDA0002910366110000216
并发送
Figure BDA0002910366110000217
给参与方C。
其中，rA是参与方A生成的一个随机向量。相应的，参与方B计算
Figure BDA0002910366110000218
并发送
Figure BDA0002910366110000219
给参与方C。其中，rB是参与方B生成的一个随机向量。
步骤715：参与方A解密
Figure BDA00029103661100002110
步骤716：参与方A发送
Figure BDA00029103661100002111
给参与方B。
其中，在步骤715里，参与方C对
Figure BDA00029103661100002112
进行解密，并发送
Figure BDA00029103661100002113
给参与方A。相应的，参与方C对
Figure BDA00029103661100002114
进行解密，并发送
Figure BDA00029103661100002115
给参与方B。
在本发明的一些实施例中，参与方A计算模型损失函数对于模型参数W1的梯度，对于逻辑回归(LogR)模型，模型损失函数对于模型参数W1的梯度为：
Figure BDA00029103661100002116
所述参与方A在其本地更新模型参数：W1＝W1-ηgA。其中η是学习率，例如，η＝0.01。
参与方B计算模型损失函数对于模型参数W2的梯度，对于逻辑回归(LogR)模型，模型损失函数对于模型参W2的梯度为：
Figure BDA00029103661100002117
参与方B在其本地更新模型参数：W1＝W1-ηgB。其中η是学习率，例如，η＝0.01η＝0.01。
在本发明的一些实施例中，参与方A和参与方B可以使用不同的学习率来分别更新他们本地的模型参数
在本发明的一些实施例中，当业务数据处理系统的业务方设备(业务数据持有方)对系统进行迁移或重新配置时，可以通过购买区块链网络服务获取，以获取区块链网络中所存储的信息，实现快速业务数据处理处理装置，例如实施例中的业务参与方A和B均可以购买区块链网的服务，通过所部署的业务方设备成为区块链网络中的相应节点，其中，可以将虚拟样本、样本集合交集、第一密钥集合、第二密钥集合以及联邦模型参数以及目标业务数据送至区块链网络，以使所述区块链网络的节点将所述虚拟样本、样本集合交集、第一密钥集合、第二密钥集合以及联邦模型参数以及目标业务数据填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。在本发明的一些实施例中，当接收所述区块链网络中的其他节点的数据同步请求时，可以响应于所述数据同步请求，对所述其他节点的权限进行验证；当所述其他节点的权限通过验证时，控制当前节点与所述其他节点之间进行数据同步，以实现所述其他节点获取虚拟样本、样本集合交集、第一密钥集合、第二密钥集合以及联邦模型参数以及目标业务数据。
在本发明的一些实施例中，还可以响应于查询请求，解析所述查询请求以获取对应的对象标识；根据所述对象标识，获取区块链网络中的目标区块内的权限信息；对所述权限信息与所述对象标识的匹配性进行校验；当所述权限信息与所述对象标识相匹配时，在所述区块链网络中获取相应的虚拟样本、样本集合交集、第一密钥集合、第二密钥集合以及联邦模型参数以及目标业务数据；响应于所述查询指令，将所获取的相应的虚拟样本、样本集合交集、第一密钥集合、第二密钥集合以及联邦模型参数以及目标业务数据向相应的客户端进行推送。
其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
结合前序图1所示，本发明实施例所提供的数据处理方法可以通过相应的云端设备实现，例如：不同业务方设备(包括方设备10-1和方设备10-2)通过直接连接位于云端的业务方设备200。值得说明的是，业务方设备200可为实体设备，也可为虚拟化设备。
下面结合不同的实时场景对本申请所提供的业务数据处理方法进一步的说明，其中，金融风控场景的跨行业合作场景例如业务方设备分别对应信贷公司A和银行B。其中，信贷公司A收到表1所示的用户的贷款征信验证：
表1
Figure BDA0002910366110000231
为了进一步控制风险，信贷公司A希望在正式发放贷款之前，筛选掉其中那些存款低或未知的用户，而用户的存款信息是信贷公司A业务范围外内容。
同时，银行B拥有那些存款高于一万元的用户身份证集合，其中，S1＝{不同用户的电话号码}，参考表2。
表2
Figure BDA0002910366110000232
银行B可以借助信贷公司A的数据做进一步的风险控制，即计算S1∩S2，获得最终的建议。具体参考图9，图9为本发明实施例提供的业务数据处理方法一个可选的流程示意图，可以包括以下步骤：
步骤901：业务数据处理装置获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合。
步骤902：确定与第一业务方设备A相匹配的虚拟样本。
步骤903：确定A和B样本集合交集。
步骤904：交换秘钥集合中的公钥，确定训练样本。
步骤905：对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
步骤906：部署经过训练的联邦模型，实现业务数据处理。
本发明实施例通过获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备；根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本；基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集；确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合；通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本；基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数；由此，在保证数据不交换的情况下，降低计算代价，完成确定联邦模型参数的任务，提升业务数据处理的效率，能够在移动方设备中实现对业务数据的处理，节省用户的等待时间，保证隐私数据不泄露。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种业务数据处理方法，其特征在于，所述方法包括：
获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括所述第一业务方设备和所述第二业务方设备；
根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本；
基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集；
确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合；
通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本；
基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
2.根据权利要求1所述的方法，其特征在于，所述获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，包括：
基于所述业务数据处理系统中第一业务方设备的业务类型，确定与所述第一业务方设备相匹配的样本集合；
基于所述业务数据处理系统中第二业务方设备的业务类型，确定与所述第二业务方设备相匹配的样本集合；
对所述第一业务方设备相匹配的样本集合和所述第二业务方设备相匹配的样本集合进行样本对齐处理，以实现获取与第一业务方设备相匹配的第一样本集合，以及与第二业务方设备相匹配的第二样本集合。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本，包括：
第一业务方设备确定所述第一样本集合中样本ID的取值参数和分布参数；
基于所述第一样本集合中样本ID的取值参数和分布参数，生成与所述第一业务方设备相匹配的虚拟样本。
4.根据权利要求3所述的方法，其特征在于，所述基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集，包括：
将所述虚拟样本与所述第一样本集合进行合并，形成带有虚拟样本的第一样本集合；
遍历带有虚拟样本的第一样本集合，确定虚拟样本的ID集合；
遍历第二样本集合，确定带有虚拟样本的第一样本集合和第二样本集合的样本集合交集。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本，包括：
响应于第一业务方设备和第二业务方设备的方设备类型，触发目标应用进程；
基于所述目标应用进程，确定所述第一样本集合与所述第二样本集合的数据交集集合；
通过所述目标应用进程获取所述第一业务方设备对应的第一虚拟样本集合以及所述第二业务方设备对应的第二虚拟样本集合；
根据所述第一样本集合与所述第二样本集合的数据交集集合、第一虚拟样本集合和第二虚拟样本集合，通过所述目标应用进程，确定与所述第一业务方设备相匹配的虚拟样本。
6.根据权利要求5所述的方法，其特征在于，所述基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集，包括：
将所述虚拟样本与所述第一样本集合进行合并，形成带有虚拟样本的第一样本集合；
遍历带有虚拟样本的第一样本集合，确定虚拟样本的ID集合；
遍历第二样本集合，确定带有虚拟样本的第一样本集合和第二样本集合的样本集合交集。
7.根据权利要求1所述的方法，其特征在于，所述通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本，包括：
基于所述第一密钥集合和所述第二密钥集合，交换不同的公钥至相应的业务终端，以实现获得联邦模型的初始参数；
确定与所述业务数据处理系统相匹配的样本数量；
根据样本数量对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本。
8.根据权利要求1所述的方法，其特征在于，所述基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数，包括：
将与所述业务数据处理系统相匹配的训练样本，代入所述业务数据处理系统对应的联邦模型所对应的损失函数；
确定所述损失函数满足相应的收敛条件时所述业务数据处理系统对应的联邦模型对应的模型更新参数；
基于联邦模型对应的模型更新参数，确定所述联邦模型的模型参数。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练时，通过所述第一业务方设备将所述模型更新参数所匹配中虚拟样本对应的残差进行调整，以实现调整所述虚拟样本对所述联邦模型的模型参数的影响。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练时，触发目标应用进程；
基于所述目标应用进程，将所述模型更新参数所匹配中虚拟样本对应的残差进行调整，以实现调整所述虚拟样本对所述联邦模型的模型参数的影响。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当所述业务方设备使用经过训练的联邦模型进行业务数据处理时，将虚拟样本置零，以适配相应的业务数据处理环境。
12.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：
将虚拟样本、样本集合交集、第一密钥集合、第二密钥集合以及联邦模型参数送至云网络，以实现相应的业务方设备从云网络中获取所述虚拟样本、样本集合交集、第一密钥集合、第二密钥集合以及联邦模型参数。
13.一种业务数据处理装置，其特征在于，所述装置包括：
信息传输模块，用于获取与业务数据处理系统中的第一业务方设备相匹配的第一样本集合，以及与业务数据处理系统中的第二业务方设备相匹配的第二样本集合，其中，所述业务数据处理系统至少包括第一业务方设备和第二业务方设备；
信息处理模块，用于根据所述第一样本集合，确定与所述第一业务方设备相匹配的虚拟样本；
所述信息处理模块，用于基于与所述第一业务方设备相匹配的虚拟样本和与所述第二业务方设备相匹配的第二样本集合，确定样本集合交集；
所述信息处理模块，用于确定与所述第一业务方设备相匹配的第一密钥集合以及与所述第二业务方设备相匹配的第二密钥集合；
所述信息处理模块，用于通过所述第一密钥集合和所述第二密钥集合，对所述样本集合交集进行处理，确定与所述业务数据处理系统相匹配的训练样本；
所述信息处理模块，用于基于与所述业务数据处理系统相匹配的训练样本，对业务数据处理系统对应的联邦模型进行训练，确定联邦模型参数。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至12任一项所述的业务数据处理方法。
15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至12任一项所述的业务数据处理方法。
CN202110084293.6A 2021-01-21 2021-01-21 业务数据处理方法、装置、电子设备及存储介质 Pending CN113591097A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110084293.6A CN113591097A (zh) 2021-01-21 2021-01-21 业务数据处理方法、装置、电子设备及存储介质
EP22742073.4A EP4198783A1 (en) 2021-01-21 2022-01-13 Federated model training method and apparatus, electronic device, computer program product, and computer-readable storage medium
PCT/CN2022/071876 WO2022156594A1 (zh) 2021-01-21 2022-01-13 联邦模型训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质
US17/977,736 US20230068770A1 (en) 2021-01-21 2022-10-31 Federated model training method and apparatus, electronic device, computer program product, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110084293.6A CN113591097A (zh) 2021-01-21 2021-01-21 业务数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113591097A true CN113591097A (zh) 2021-11-02

Family

ID=78238112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110084293.6A Pending CN113591097A (zh) 2021-01-21 2021-01-21 业务数据处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20230068770A1 (zh)
EP (1) EP4198783A1 (zh)
CN (1) CN113591097A (zh)
WO (1) WO2022156594A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022156594A1 (zh) * 2021-01-21 2022-07-28 腾讯科技（深圳）有限公司 联邦模型训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN116383884A (zh) * 2023-04-14 2023-07-04 武汉浪科鑫炫网络科技有限公司 一种基于人工智能的数据安全防护方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116841911B (zh) * 2023-08-24 2024-01-16 北京智芯微电子科技有限公司 基于异构平台的模型测试方法、异构芯片、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010637B2 (en) * 2019-01-03 2021-05-18 International Business Machines Corporation Generative adversarial network employed for decentralized and confidential AI training
CN110633806B (zh) * 2019-10-21 2024-04-26 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN110942154B (zh) * 2019-11-22 2021-07-06 深圳前海微众银行股份有限公司 基于联邦学习的数据处理方法、装置、设备及存储介质
CN111985649A (zh) * 2020-06-22 2020-11-24 华为技术有限公司 基于联邦学习的数据处理方法和装置
CN111784001B (zh) * 2020-09-07 2020-12-25 腾讯科技（深圳）有限公司 一种模型训练方法、设备及计算机可读存储介质
CN112073196B (zh) * 2020-11-10 2021-02-23 腾讯科技（深圳）有限公司 业务数据处理方法、装置、电子设备及存储介质
CN113591097A (zh) * 2021-01-21 2021-11-02 腾讯科技（深圳）有限公司 业务数据处理方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022156594A1 (zh) * 2021-01-21 2022-07-28 腾讯科技（深圳）有限公司 联邦模型训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN116383884A (zh) * 2023-04-14 2023-07-04 武汉浪科鑫炫网络科技有限公司 一种基于人工智能的数据安全防护方法及系统
CN116383884B (zh) * 2023-04-14 2024-02-23 天翼安全科技有限公司 一种基于人工智能的数据安全防护方法及系统

Also Published As

Publication number Publication date
US20230068770A1 (en) 2023-03-02
WO2022156594A1 (zh) 2022-07-28
EP4198783A1 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
WO2021197037A1 (zh) 双方联合进行数据处理的方法及装置
CN105408913B (zh) 在云中隐私地处理数据
CN110366839B (zh) 计算机实现的系统和方法
CN113032840B (zh) 一种数据处理方法、装置、设备及计算机可读存储介质
CN111784001B (zh) 一种模型训练方法、设备及计算机可读存储介质
CN113591097A (zh) 业务数据处理方法、装置、电子设备及存储介质
CN111428887B (zh) 一种基于多个计算节点的模型训练控制方法、装置及系统
CN113516256A (zh) 基于秘密共享、同态加密的无第三方联邦学习方法及系统
CN112600830B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN113609508A (zh) 一种基于区块链的联邦学习方法、装置、设备及存储介质
US20220374544A1 (en) Secure aggregation of information using federated learning
US11811934B2 (en) Distributed machine learning via secure multi-party computation and ensemble learning
CN112073196B (zh) 业务数据处理方法、装置、电子设备及存储介质
WO2022213965A1 (zh) 用于控制带宽的多方联合数据处理方法及装置
CN113420335A (zh) 一种基于区块链的联邦学习系统
JP7047764B2 (ja) 秘密計算システム、秘密計算装置、秘密計算方法および秘密計算プログラム
CN110969524A (zh) 基于区块链的资金业务处理方法、装置、设备及介质
CN114971841A (zh) 风险管理方法、风险模型训练方法、装置、设备和介质
CN113094735B (zh) 隐私模型训练的方法
CN114595470A (zh) 数据处理方法及装置
CN113887740A (zh) 联合更新模型的方法、装置及系统
CN111125734B (zh) 一种数据处理方法及系统
CN114327486B (zh) 基于领域专用语言实现多方安全计算的方法、装置及介质
US11985254B2 (en) Threshold multi-party computation with must-have member
US20240185228A1 (en) Multilayer system and method for securing a blockchain-based token using random temporal windowing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055733

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination