CN110795768B - 基于私有数据保护的模型学习方法、装置及系统 - Google Patents

基于私有数据保护的模型学习方法、装置及系统 Download PDF

Info

Publication number
CN110795768B
CN110795768B CN202010008518.5A CN202010008518A CN110795768B CN 110795768 B CN110795768 B CN 110795768B CN 202010008518 A CN202010008518 A CN 202010008518A CN 110795768 B CN110795768 B CN 110795768B
Authority
CN
China
Prior art keywords
computing platform
centralized computing
model parameters
alliance
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010008518.5A
Other languages
English (en)
Other versions
CN110795768A (zh
Inventor
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010008518.5A priority Critical patent/CN110795768B/zh
Publication of CN110795768A publication Critical patent/CN110795768A/zh
Application granted granted Critical
Publication of CN110795768B publication Critical patent/CN110795768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)

Abstract

本说明书实施例提供一种基于私有数据保护的模型学习方法、装置及系统。方法包括：联盟中的非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至联盟中的集中计算平台成员对象。集中计算平台成员对象通过多方安全计算得到的联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数。集中计算平台成员对象将目标模型参数发送至联盟中的非集中计算平台成员对象。联盟中的非集中计算平台成员对象基于目标模型参数，对本地的学习模型进行调整。

Description

基于私有数据保护的模型学习方法、装置及系统
技术领域
本文件涉及数据处理技术领域，尤其涉及一种基于私有数据保护的模型学习方法、装置及系统。
背景技术
随着人工智能的发展，深度学习模型凭借具有机械化处理信息的能力，得到了越来越广泛的使用。在金融领域里，深度学习模型可以对金融数据进行分析，以更深刻理解用户，适用于金融营销和金融风险控制等应用场景。目前，中小型金融机构没有能力构建自己的深度学习模型以提升服务，导致这一问题的主要原因有两点：一是，中小型金融机构投入成本有限，不具备构建和维护模型的预算。二是，金融数据严重倾斜在大型金融机构中，由于数据的敏感性，金融数据不易实现共享，导致中小型金融机构无法积累充分的金融数据去训练模型。
当然，其他领域也同样存在上述问题。在此背景下，如何在中小型机构中普及深度学习模型的应用，是当前亟待解决的技术问题。
发明内容
本说明书实施例目的是提供一种基于私有数据保护的模型学习方法、装置及系统，能够在中小型机构中普及深度学习模型的应用。
为了实现上述目的，本说明书实施例是这样实现的：
第一方面，提供一种基于联盟成员对象私有数据保护的模型学习方法，包括：
联盟中的非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至所述联盟中的集中计算平台成员对象，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数；
所述集中计算平台成员对象将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象；
所述联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
第二方面，提供一种基于联盟成员对象私有数据保护的模型学习方法，包括：
联盟中的非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至所述联盟中的集中计算平台成员对象，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
所述非集中计算平台成员对象接收所述集中计算平台成员发送的目标模型参数，所述目标模型参数是所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数确定得到的；
所述非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
第三方面，提供一种基于联盟成员对象私有数据保护的模型学习方法，包括：
联盟中的集中计算平台成员对象接收所述联盟中的非集中计算平台成员对象发送的本地训练完成的学习模型的模型参数，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数；
所述集中计算平台成员对象将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象，使得所述联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
第四方面，提供一种联盟中的非集中计算平台成员装置，包括：
发送模块，将本地训练完成的学习模型的模型参数发送至联盟中的集中计算平台成员对象，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
接收模块，接收所述集中计算平台成员发送的目标模型参数，所述目标模型参数是所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数确定得到的；
调整模块，基于所述目标模型参数，对本地的学习模型进行调整。
第五方面，提供一种联盟中的集中计算平台成员装置，包括：
接收模块，接收联盟中的非集中计算平台成员对象发送的本地训练完成的学习模型的模型参数，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
确定模块，通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数；
发送模块，将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象，使得所述联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
第六方面，一种联盟系统，包括：集中计算平台成员对象和至少两个非集中计算平台成员对象；其中，
所述至少两个非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至所述集中计算平台成员对象，以及，基于所述集中计算平台成员对象反馈的目标模型参数，对本地的学习模型进行调整，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数，并将目标模型参数发送至所述联盟中的非集中计算平台成员。
基于本说明书实施例的方案，联盟中的各成员对象可以共同搭建学习模型，并分别根据自身的私有数据对学习模型进行训练。在训练完成后，由集中计算平台成员对通过多方安全计算得到的各成员对象训练后获得的模型参数进行汇总，以确定出学习模型最终的目标模型参数，并将目标模型参数反馈给其他成员对象，使得联盟中的任何成员对象都有能力将自身的学习模型调整至较佳的性能水平。整个方案中，各成员对象共享的是经多方安全计算后所得到的模型参数，而非私有数据，因此信息的隐私性和安全性得到了保障。此外，对于集中计算平台成员来讲，所赋予的职能仅是汇总，因此去中心化的程度较高，保证了公平性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的基于私有数据保护的模型学习方法的流程示意图。
图2为本说明书实施例提供的基于私有数据保护的模型学习方法在金融领域的应用示意图。
图3为本说明书实施例提供的非集中计算平台成员装置的结构示意图；
图4为本说明书实施例提供的集中计算平台成员装置的结构示意图；
图5为本说明书实施例提供的联盟系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如前所述，目前中小型机构受自身体量的限制，没有能力构建和训练自己的深度学习模型，导致缺失提高自身的服务质量的方式。针对这一问题，本文件旨在提供一种基于联盟实现的模型学习方案，能够让深度学习模型的应用在中小型机构中得到普及。
图1是本说明书实施例基于私有数据保护的模型学习方法的流程图。图1所示的方法可以由下文相对应的系统执行，包括：
步骤S102，联盟中的非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至联盟中的集中计算平台成员对象，联盟中各成员对象的学习模型在未训练的初始状态下相同。
其中，这里所述的联盟可以由多个不同的机构组成，在这些机构当中可以包含具备构建学习模型的能力的机构，也可以包含不具有构建习模型的能力的机构。各成员对象可以构建学习模型，或者由具有构建学习模型的能力的机构构建学习模型，并将学习模型提供给其他成员对象。
可选地，学习模型的训练样本数据包括对应的非集中计算平台成员对象中的私有数据。
应理解，各成员对象在配置好学习模型后，基于自身所能收集到的私有数据，对学习模型进行训练。也就是说，不同成员对象所训练得到的学习模型的模型参数不尽相同。
在实际应用中，模型参数可以但不限于是指学习模型中特征向量所对应的权重值。这个权重值的大小能够体现特征向量对模型最终输出结果的影响程度，通过不断迭代的训练，学习模型最终会优化各特征向量的权重值。
步骤S104，集中计算平台成员对象通过多方安全计算得到的联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数。
应理解，基于私有数据建模，可以理解为对私有数据的一种安全计算。本说明书实施例中，多个非集中计算平台成员对象建模后的模型参数，即多方各自的安全计算的结果；集中计算平台成员基于该多方各自的安全计算的模型参数，确定目标模型参数，从而实现多方的安全计算，避免某一方的私有数据泄露给第三方。
其中，集中计算平台成员对象也可以参与到学习模型的训练，即本步骤中，集中计算平台成员对象通过多方安全计算得到的包含集中计算平台成员对象在内的联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数。也就是说，所述至少两个成员对象包括所述集中计算平台成员对象和至少一个非集中计算平台成员对象。
或者，集中计算平台成员对象也可以保持绝对中立，不参与到学习模型的训练。即本步骤中，集中计算平台成员对象通过多方安全计算得到的联盟中的至少其他两个成员对象的学习模型的模型参数，确定目标模型参数。也就是说，所述至少两个成员对象包括所述联盟中至少两个非集中计算平台成员对象且不包括所述集中计算平台成员对象。
这里模型参数的汇总方式并不唯一，本说明书实施例不作具体限定。作为其中一种可行的方案，集中计算平台成员对象可以对通过多方安全计算得到的联盟中的至少两个成员对象的学习模型的模型参数进行加权计算，以得到目标模型参数。
下面结合不同的实现方式，对目标模型参数的计算方法进行示例性介绍。
实现方式一
集中计算平台成员对象可以将通过多方安全计算得到的成员对象的学习模型的模型参数按照该成员对象训练学习模型所使用的训练数据量进行加权计算。
比如，集中计算平台成员获取到了来自成员对象A和成成员对象B的学习模型的模型参数，假设成员对象A的学习模型是成员对象A使用了100个训练数据训练得到的，成员对象B的学习模型是成员对象B使用了900个训练数据训练得到的，则可根据公式：0.1*QA+0.9* QB计算目标模型参数。其中，Q表示某个具体的模型参数，QA是成员对象A的学习模型中关于Q的模型参数取值，QB是成员对象B的学习模型中关于Q的模型参数取值。
基于上述方法可以看出，谁的学习模型所使用的训练数据量越多，谁的模型参数对最终计算得到的目标模型参数的取值影响越大。
在实际应用中，非集中计算平台成员可以将本地训练完成的学习模型的模型参数和对应的训练数据量发送至集中计算平台成员对象，保证集中计算平台成员对象能够对联盟中的至少两个成员对象的学习模型的模型参数按照对应的学习模型的训练数据量进行加权计算。
实现方式二
集中计算平台成员对象将通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数按照所属成员对象的用户量和/或业务额进行加权计算，得到目标模型参数。
应理解，成员对象的用户量和/或业务额与其提供的模型参数的权重呈正相关。也就是说，业务规模较大的成员对象，会积累更全面的样本训练自己的学习模型，训练后所得到的模型参数也越准确，因此在加权计算目标模型参数的过程中，会具有更高的权重占比。
需要说明书的是，以上实现方式仅用于示例性介绍目标模型参数的加权计算方法，并不限制本文件的保护范围。作为其他方案，本步骤中还可以根据各成员对象的贡献度来量化权重，比如贡献度越高，则权重越大。或者，根据成员对象的数据安全性能量化权重，比如在多方安全计算中，发现某些成员对象受到病毒感染，那么其所提供的模型参数的权重会对应较低的水准。再或者，根据各成员对象对应的用户重合度来量化权重值，比如某成员对象的用户相对于其他某成员对象的重合度较低（或者出现用户离群现象），则其所提供的模型参数的权重会对应较低的水准。此外，权重还可以由训练数据的质量决定，比如某成员对象在模型训练过程中，如果出现训练结果反复摇摆的现象，则说明训练数据的分布存在较大差异，其所提供的模型参数的权重会对应较低的水准。
应理解，在实际应用中，上述各种加权计算方式可以单独考虑，也可以综合考虑，本文不再举例赘述。
步骤S106，集中计算平台成员对象将目标模型参数发送至联盟中的非集中计算平台成员对象。
步骤S108，联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
这里本说明书实施例不对调整作具体限定。作为示例性介绍，非集中计算平台成员对象可以直接将本地的学习模型的模型参数调整为目标模型参数，或者调整至将本地的学习模型的模型参数调整为与目标模型参数的中值。
此外，如果非集中计算平台成员对象不直接将本地的学习模型的模型参数调整至目标模型参数，则这个调整过程也可以是迭代进行。即，联盟中的非集中计算平台成员对象将调整完成的本地的学习模型的模型参数发给集中计算平台成员对象，使得集中计算平台成员对象可以汇总联盟中的至少两个成员对象调整完成的学习模型的模型参数，确定新的目标模型参数。之后，集中计算平台成员对象将确定的新的目标模型参数发送给联盟中的非集中计算平台成员对象，使得联盟中的非集中计算平台成员对象可以基于新的目标模型参数，对本地的学习模型进行调整，直至本地的学习模型的模型参数满足预设收敛条件后，停止将调整完成的本地的学习模型的模型参数发给集中计算平台成员对象。
基于图1所示的模型学习方法可以知道：本说明书实施例的方案中，联盟中的各成员对象可以共同搭建学习模型，并分别根据自身的私有数据对学习模型进行训练。在训练完成后，由集中计算平台成员对通过多方安全计算得到的各成员对象训练后获得的模型参数进行汇总，以确定出学习模型最终的目标模型参数，并将目标模型参数反馈给其他成员对象，使得联盟中的任何成员对象都有能力将自身的学习模型调整至较佳的性能水平。整个方案中，各成员对象共享的是经多方安全计算后所得到的模型参数，而非私有数据，因此信息的隐私性和安全性得到了保障。此外，对于集中计算平台成员来讲，所赋予的职能仅是汇总，因此去中心化的程度较高，保证了公平性。下面结合一个集合实际的应用场景对本说明书实施例的方法进行实例性介绍。
在本应用场景中，多个金融机构共同组成一个联盟，以协同防控金融风险。在这个联盟中，各金融机构可以通过共识方式，指定其中一个金融机构作为集中计算平台。
各金融机构都会初始配置一个相同的金融风控模型，同时共享金融风控模型的训练方式。也就是说明，任意金融机构只有积累有自己的金融数据，都可以按照约定的训练方式，对金融风控模型进行更新训练。同时，各金融机构在对自身的金融风控模型进行更新后，将最新获得的模型参数上传至集中计算平台。
集中计算平台在收集到其他金融机构的金融风控模型的模型参数后，进行统一汇总处理（汇总可以包含集中计算平台自身的金融风控模型的模型参数），加权计算出金融风控模型最终的目标模型参数。在加权计算过程中，集中计算平台可以对各金融机构的模型参数进行归类，将相似的模型参数放到一起，这样在加权的时候，每一类别的模型参数可以单独表征，从而避免数量较多的一类模型参数淹没掉数量较少的一类模型参数。
之后，集中计算平台将目标模型参数反馈给其他金融机构。
其他金融机构在获得目标模型参数，即可直接使用目标模型参数对本地的金融风控模型进行优化调整。需要说明的是，这个调整过程不需要金融机构再对金融风控模型进行训练。
此外，调整过程也可以迭代进行。即非集中计算平台成员对象的金融机构还可以将调整完成的金融风控模型的模型参数发给集中计算平台成员对象，由集中计算平台成员对象进行汇总，以确定出新的目标模型参数。之后，集中计算平台成员对象将新的目标模型参数反馈给联盟中的其他金融机构，使得其他金融机构基于新的目标模型参数，对本地的金融风控模型进行再次调整。其中，金融机构在本地的学习模型的模型参数满足预设收敛条件后，停止将调整完成的本地的学习模型的模型参数发给集中计算平台成员对象。也就是说，这一迭代过程在集中计算平台成员确定的目标模型参数满足上述预设收敛条件后结束。
显然，在本应用场景中，各金融机构不需要共享自己的私有金融数据，从而保证了高敏感金融信息的隐私性。同时，对于一些没有训练模型能力或训练模型能力较差的金融机构，也能够基于联盟中其他成员的帮助，将自己的金融风控模型优化到较佳的性能水平上。
以上是对本说明书实施例的方法的介绍。应理解，在不脱离本文上述原理基础之上，还可以进行适当的变化，这些变化也应视为本说明书实施例的保护范围。
比如，为了进一步保证信息的安全性，在本说明书实施例中，联盟可以约定有成员对象之间的加密通信方式。也就是说，在整个过程中，非集中计算平台成员对象可以按照该加密通信方式，将本地训练完成的学习模型的模型参数发送至所述联盟中的集中计算平台成员对象。同理，集中计算平台成员对象也可以按照该加密通信方式，将目标模型参数发送至联盟中的非集中计算平台成员对象。
再比如，为了进一步保证公平性，并降低集中计算平台成员对象作恶几率，联盟中的成员对象可以在预设条件触发时，选举新的集中计算平台成员对象。其中，预设条件触发包括以下一者：
联盟的集中计算平台成员对象对应的预设任期结束。即，联盟的集中计算平台成员对象定期进行更换。
联盟的集中计算平台成员对象未对本地的学习模型的模型参数进行更新的时长达到预设时间要求。即，联盟的集中计算平台成员对象在对学习模型的训练贡献较少时，发起更换。
与上述模型学习方法相对应地，本说明书实施例还提供一种联盟中的非集中计算平台成员装置。图3为非集中计算平台成员装置的结构示意图，包括：
发送模块310，将本地训练完成的学习模型的模型参数发送至联盟中的集中计算平台成员对象，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
接收模块320，接收所述集中计算平台成员发送的目标模型参数，所述目标模型参数是所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数确定得到的；
调整模块330，基于所述目标模型参数，对本地的学习模型进行调整。
可选地，所述学习模型的训练样本数据包括对应的非集中计算平台成员对象中的私有数据。
基于图3所示的非集中计算平台成员装置，联盟中的各成员对象可以共同搭建学习模型，并分别根据自身的私有数据对学习模型进行训练。在训练完成后，由集中计算平台成员对通过多方安全计算得到的各成员对象训练后获得的模型参数进行汇总，以确定出学习模型最终的目标模型参数，并将目标模型参数反馈给其他成员对象，使得联盟中的任何成员对象都有能力将自身的学习模型调整至较佳的性能水平。整个方案中，各成员对象共享的是经多方安全计算后所得到的模型参数，而非私有数据，因此信息的隐私性和安全性得到了保障。此外，对于集中计算平台成员来讲，所赋予的职能仅是汇总，因此去中心化的程度较高，保证了公平性。下面结合一个集合实际的应用场景对本说明书实施例的方法进行实例性介绍。
应理解，本说明书实施例的非集中计算平台成员装置可以实现图1所示的模型学习方法中关于非集中计算平台成员装置所执行的步骤，由于原理相同，本文不再举例赘述。
与上述模型学习方法相对应地，本说明书实施例还提供一种联盟中的集中计算平台成员装置。图4为集中计算平台成员装置的结构示意图，包括：
接收模块410，接收联盟中的非集中计算平台成员对象发送的本地训练完成的学习模型的模型参数，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
确定模块420，通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数；
发送模块430，将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象，使得所述联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
可选地，所述学习模型的训练样本数据包括对应的非集中计算平台成员对象中的私有数据。
基于图4所示的集中计算平台成员装置，联盟中的各成员对象可以共同搭建学习模型，并分别根据自身的私有数据对学习模型进行训练。在训练完成后，由集中计算平台成员对通过多方安全计算得到的各成员对象训练后获得的模型参数进行汇总，以确定出学习模型最终的目标模型参数，并将目标模型参数反馈给其他成员对象，使得联盟中的任何成员对象都有能力将自身的学习模型调整至较佳的性能水平。整个方案中，各成员对象共享的是经多方安全计算后所得到的模型参数，而非私有数据，因此信息的隐私性和安全性得到了保障。此外，对于集中计算平台成员来讲，所赋予的职能仅是汇总，因此去中心化的程度较高，保证了公平性。下面结合一个集合实际的应用场景对本说明书实施例的方法进行实例性介绍。
应理解，本说明书实施例的集中计算平台成员装置可以实现图1所示的模型学习方法中关于集中计算平台成员装置所执行的步骤，由于原理相同，本文不再举例赘述。
与上述模型学习方法相对应地，本说明书实施例还提供一种联盟系统。图5是联盟系统的结构示意图，包括：集中计算平台成员对象510和至少两个非集中计算平台成员对象520。其中:
至少两个非集中计算平台成员对象520将本地训练完成的学习模型的模型参数发送至集中计算平台成员对象510，以及，基于集中计算平台成员对象310反馈的目标模型参数，对本地的学习模型进行调整。其中，所述联盟中的目标成员对象的学习模型的模型参数包括该学习模型中的至少一个特征向量的权重值，联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同。
集中计算平台成员对象510通过多方安全计算得到的联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数，并将目标模型参数发送至联盟中的非集中计算平台成员520。
可选地，学习模型的训练样本数据包括对应的非集中计算平台成员对象中的私有数据。
基于图5所示的联盟系统可以知道：基于本说明书实施例的方案，联盟中的各成员对象可以共同搭建学习模型，并分别根据自身的私有数据对学习模型进行训练。在训练完成后，由集中计算平台成员对通过多方安全计算得到的各成员对象训练后获得的模型参数进行汇总，以确定出学习模型最终的目标模型参数，并将目标模型参数反馈给其他成员对象，使得联盟中的任何成员对象都有能力将自身的学习模型调整至较佳的性能水平。整个方案中，各成员对象共享的是经多方安全计算后所得到的模型参数，而非私有数据，因此信息的隐私性和安全性得到了保障。此外，对于集中计算平台成员来讲，所赋予的职能仅是汇总，因此去中心化的程度较高，保证了公平性。
可选地，所述至少两个成员对象包括所述集中计算平台成员对象和至少一个非集中计算平台成员对象；或者，所述至少两个成员对象包括所述联盟中至少两个非集中计算平台成员对象且不包括所述集中计算平台成员对象。
可选地，集中计算平台成员对象510对通过多方安全计算得到的联盟中的至少两个成员对象的学习模型的模型参数进行加权计算，得到目标模型参数。
应理解，加权计算的方式并不唯一，本说明书实施例不作具体限定。作为示例性介绍，联盟中的非集中计算平台成员520可以将本地训练完成的学习模型的模型参数和对应的训练数据量发送至所述联盟的集中计算平台成员对象510，使得集中计算平台成员对象510对通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数按照所属学习模型的训练数据量进行加权计算。
或者，所述集中计算平台成员对象510将通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数按照所属成员对象的用户量和/或业务额进行加权计算，得到目标模型参数。
再或者，所述联盟中的各成员对象均对应针对所述联盟的贡献度，所述集中计算平台成员对象将通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数按照所属成员对象的贡献度进行加权计算，得到目标模型参数。
可选地，所述联盟约定有成员对象之间的加密通信方式，其中，联盟中的非集中计算平台成员对象520按照所述加密通信方式，将本地训练完成的学习模型的模型参数发送至所述联盟中的集中计算平台成员对象510；以及，所述集中计算平台成员对象510按照所述加密通信方式，将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象520。
可选地，所述联盟中的成员对象在预设条件触发时，重新在选举一个成员对象作为所述联盟的集中计算平台成员对象，其中，所述预设条件触发包括以下一者：
联盟的集中计算平台成员对象对应的预设任期结束。即，联盟的集中计算平台成员对象定期进行更换。
联盟的集中计算平台成员对象未对本地的学习模型的模型参数进行更新的时长达到预设时间要求。即，联盟的集中计算平台成员对象在对学习模型的训练贡献较少时，发起更换。
可选地，所述联盟中的成员对象包括金融服务机构，所述学习模型包括金融风控模型。
可选地，非集中计算平台成员对象还将调整完成的本地的学习模型的模型参数发给所述集中计算平台成员对象。对应地，集中计算平台成员对象汇总所述联盟中的至少两个成员对象调整完成的学习模型的模型参数，确定新的目标模型参数。之后，集中计算平台成员对象将确定的新的目标模型参数发送给所述联盟中的非集中计算平台成员对象，使得所述联盟中的非集中计算平台成员对象基于新的目标模型参数，对本地的学习模型进行调整，直至本地的学习模型的模型参数满足预设收敛条件后，停止将调整完成的本地的学习模型的模型参数发给所述集中计算平台成员对象。
显然，本说明书实施例的联盟系统可以作为上述图1所示的模型学习方法的执行主体，因此实现模型学习方法在图1和图2所实现的功能。由于原理相同，本文不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

Claims (15)

1.一种基于私有数据保护的模型学习方法，包括：
联盟中的非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至所述联盟中的集中计算平台成员对象，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同，所述非集中计算平台成员对象和所述集中计算平台成员对象均属于所述联盟中的成员对象；
所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数进行汇总，确定通过汇总得到的目标模型参数；
所述集中计算平台成员对象将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象；
所述联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
2.根据权利要求1所述的方法，
所述至少两个成员对象包括所述集中计算平台成员对象和至少一个非集中计算平台成员对象；
或者，
所述至少两个成员对象包括所述联盟中至少两个非集中计算平台成员对象且不包括所述集中计算平台成员对象。
3.根据权利要求1所述的方法，
所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数，包括：
所述集中计算平台成员对象对通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数进行加权计算，得到目标模型参数。
4.根据权利要求3所述的方法，
所述集中计算平台成员对象对通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数进行加权计算，包括：
所述集中计算平台成员对象对通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数按照所属学习模型的训练数据量进行加权计算。
5.根据权利要求3所述的方法，
所述集中计算平台成员对象对通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数进行加权计算，包括：
所述集中计算平台成员对象将通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数按照所属成员对象的用户量和/或业务额进行加权计算，得到目标模型参数。
6.根据权利要求3所述的方法，
所述联盟中的各成员对象均对应针对所述联盟的贡献度，所述集中计算平台成员对象对通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数进行加权计算，包括：
所述集中计算平台成员对象将通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数按照所属成员对象的贡献度进行加权计算，得到目标模型参数。
7.根据权利要求1-5中任一项所述的方法，
所述联盟中的成员对象在预设条件触发时，重新选举一个成员对象作为所述联盟的集中计算平台成员对象，其中，所述预设条件触发包括以下一者：
所述联盟的集中计算平台成员对象对应的预设任期结束；
所述联盟的集中计算平台成员对象未对本地的学习模型的模型参数进行更新的时长达到预设时间要求。
8.根据权利要求1-5中任一项所述的方法，
所述联盟中的目标成员对象的学习模型的模型参数包括该学习模型中的至少一个特征向量的权重值，其中，所述目标成员对象是指所述联盟中的成员对象。
9.根据权利要求1-5中任一项所述的方法，
所述联盟中的成员对象包括金融服务机构，所述学习模型包括金融风控模型。
10.根据权利要求1-5中任一项所述的方法，还包括：
所述联盟中的非集中计算平台成员对象将调整完成的本地的学习模型的模型参数发给所述集中计算平台成员对象；
所述集中计算平台成员对象汇总所述联盟中的至少两个成员对象调整完成的学习模型的模型参数进行汇总，确定通过汇总得到的新的目标模型参数；
所述集中计算平台成员对象将确定的新的目标模型参数发送给所述联盟中的非集中计算平台成员对象；
所述联盟中的非集中计算平台成员对象基于新的目标模型参数，对本地的学习模型进行调整，直至本地的学习模型的模型参数满足预设收敛条件后，停止将调整完成的本地的学习模型的模型参数发给所述集中计算平台成员对象。
11.一种基于私有数据保护的模型学习方法，包括：
联盟中的非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至所述联盟中的集中计算平台成员对象，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同，所述非集中计算平台成员对象和所述集中计算平台成员对象均属于所述联盟中的成员对象；
所述非集中计算平台成员对象接收所述集中计算平台成员发送的目标模型参数，所述目标模型参数是所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数汇总得到的；
所述非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
12.一种基于私有数据保护的模型学习方法，包括：
联盟中的集中计算平台成员对象接收所述联盟中的非集中计算平台成员对象发送的本地训练完成的学习模型的模型参数，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同，所述非集中计算平台成员对象和所述集中计算平台成员对象均属于所述联盟中的成员对象；
所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数，确定目标模型参数；
所述集中计算平台成员对象将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象，使得所述联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
13.一种联盟中的非集中计算平台成员装置，包括：
发送模块，将本地训练完成的学习模型的模型参数发送至联盟中的集中计算平台成员对象，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同，所述非集中计算平台成员对象和所述集中计算平台成员对象均属于所述联盟中的成员对象；
接收模块，接收所述集中计算平台成员发送的目标模型参数，所述目标模型参数是所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数汇总得到的；
调整模块，基于所述目标模型参数，对本地的学习模型进行调整。
14.一种联盟中的集中计算平台成员装置，包括：
接收模块，接收联盟中的非集中计算平台成员对象发送的本地训练完成的学习模型的模型参数，其中，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同，所述非集中计算平台成员对象和所述集中计算平台成员对象均属于所述联盟中的成员对象；
确定模块，通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数进行汇总，确定通过汇总得到的目标模型参数；
发送模块，将所述目标模型参数发送至所述联盟中的非集中计算平台成员对象，使得所述联盟中的非集中计算平台成员对象基于所述目标模型参数，对本地的学习模型进行调整。
15.一种联盟系统，包括：集中计算平台成员对象和至少两个非集中计算平台成员对象，所述非集中计算平台成员对象和所述集中计算平台成员对象均属于所述联盟中的成员对象；其中，
所述至少两个非集中计算平台成员对象将本地训练完成的学习模型的模型参数发送至所述集中计算平台成员对象，以及，基于所述集中计算平台成员对象反馈的目标模型参数，对本地的学习模型进行调整，所述联盟中各非集中计算平台成员对象的学习模型在未训练的初始状态下相同；
所述集中计算平台成员对象通过多方安全计算得到的所述联盟中的至少两个成员对象的学习模型的模型参数进行汇总，确定通过汇总得到的目标模型参数，并将目标模型参数发送至所述联盟中的非集中计算平台成员。
CN202010008518.5A 2020-01-06 2020-01-06 基于私有数据保护的模型学习方法、装置及系统 Active CN110795768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008518.5A CN110795768B (zh) 2020-01-06 2020-01-06 基于私有数据保护的模型学习方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008518.5A CN110795768B (zh) 2020-01-06 2020-01-06 基于私有数据保护的模型学习方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110795768A CN110795768A (zh) 2020-02-14
CN110795768B true CN110795768B (zh) 2020-05-22

Family

ID=69448604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008518.5A Active CN110795768B (zh) 2020-01-06 2020-01-06 基于私有数据保护的模型学习方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110795768B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401913A (zh) * 2020-03-19 2020-07-10 支付宝(杭州)信息技术有限公司 一种私有数据保护的模型学习方法、装置及系统
WO2021184347A1 (zh) * 2020-03-20 2021-09-23 云图技术有限公司 实现隐私保护的数据处理方法和装置
CN111414646B (zh) * 2020-03-20 2024-03-29 矩阵元技术（深圳）有限公司 实现隐私保护的数据处理方法和装置
CN112598311A (zh) * 2020-12-29 2021-04-02 中国农业银行股份有限公司 一种风险操作识别模型构建方法、风险操作识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259158B (zh) * 2018-01-11 2021-03-23 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN108712260B (zh) * 2018-05-09 2021-06-25 曲阜师范大学 云环境下保护隐私的多方深度学习计算代理方法
CN109684855B (zh) * 2018-12-17 2020-07-10 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110610242B (zh) * 2019-09-02 2023-11-14 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置

Also Published As

Publication number Publication date
CN110795768A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110795768B (zh) 基于私有数据保护的模型学习方法、装置及系统
Humayun et al. Privacy protection and energy optimization for 5G-aided industrial Internet of Things
CN112906903B (zh) 网络安全风险预测方法、装置、存储介质及计算机设备
CN109918894A (zh) 边缘计算网络视频处理中基于声誉的信任评估方法
CN107679818A (zh) 软件项目管理方法、终端及计算机可读存储介质
CN111860864A (zh) 纵向联邦建模优化方法、设备及可读存储介质
Chopade et al. A framework for community detection in large networks using game-theoretic modeling
CN107612878B (zh) 基于博弈论的动态窗口选择方法及无线网络信任管理系统
CN112084422A (zh) 一种账号数据智能处理方法和装置
CN111724174A (zh) 一种应用Xgboost建模的市民信用积分评估方法
CN109242250A (zh) 一种基于模糊熵权法与云模型的用户行为可信度检测方法
CN114418109A (zh) 微服务架构下联邦学习的节点选择与聚合优化系统及方法
CN113033652A (zh) 一种基于区块链与联邦学习的图像识别系统及方法
Cirkovic et al. Preferential attachment with reciprocity: properties and estimation
CN114282692A (zh) 一种纵向联邦学习的模型训练方法及系统
CN115802398A (zh) 干扰优化方法及装置、存储介质及电子设备
Bakopoulou et al. Location leakage in federated signal maps
CN116703553B (zh) 金融反欺诈风险监控方法、系统及可读存储介质
Yang et al. User-centric blockchain for industry 5.0 applications
CN104426874B (zh) 一种用于泛在终端网络的认证方法和装置
CN116307078A (zh) 账户标签预测方法、装置、存储介质及电子设备
CN110536303B (zh) 一种基于边缘移动节点的传感云信任评估方法和系统
CN104660436A (zh) 服务等级管理方法和系统
CN113935070A (zh) 基于区块链的数据处理方法、装置、设备以及存储介质
CN111401913A (zh) 一种私有数据保护的模型学习方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant