CN112015749A - 基于隐私保护更新业务模型的方法、装置及系统 - Google Patents

基于隐私保护更新业务模型的方法、装置及系统 Download PDF

Info

Publication number
CN112015749A
CN112015749A CN202011159885.1A CN202011159885A CN112015749A CN 112015749 A CN112015749 A CN 112015749A CN 202011159885 A CN202011159885 A CN 202011159885A CN 112015749 A CN112015749 A CN 112015749A
Authority
CN
China
Prior art keywords
model
business
gradient data
model base
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011159885.1A
Other languages
English (en)
Other versions
CN112015749B (zh
Inventor
林懿伦
尹红军
崔锦铭
陈超超
王力
周俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011159885.1A priority Critical patent/CN112015749B/zh
Publication of CN112015749A publication Critical patent/CN112015749A/zh
Application granted granted Critical
Publication of CN112015749B publication Critical patent/CN112015749B/zh
Priority to US17/511,517 priority patent/US20220129580A1/en
Priority to US17/512,539 priority patent/US11455425B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Abstract

本说明书实施例提供一种基于隐私保护更新业务模型的方法，针对联邦学习过程中，各个业务方提供不同结构的图数据（异构图），无法统一建模的问题，提出一种模型参数局部相一致的技术构思，通过模型基的设置，一个模型基包括若干基准参数，各个业务方利用模型基的线性组合构建本地模型参数向量或矩阵，从而构建本地业务模型。在联邦学习过程中，业务方上传本地梯度、服务方更新全局梯度、业务方更新本地模型参数，均以模型基为单元。这种局部更新模型参数的技术方案，有效打破异构图下的联邦学习壁垒，提供全新的联邦学习思路，并可推广至各种业务模型。

Description

基于隐私保护更新业务模型的方法、装置及系统
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及基于隐私保护更新业务模型的方法、装置及系统。
背景技术
计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联邦学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联邦学习场景中，各方例如可以商定模型结构（或约定模型）后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联邦学习在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。
图数据是一种描述各种实体之间的关联关系的数据，在联邦学习过程中，各个业务方通常可能持有不同结构的图数据。例如，第一方银行持有用户、借贷业务、收入三种实体对应的节点及其关联关系的图数据，第二方本地生活服务平台持有用户、借贷业务、商品或服务三种实体对应的节点及其关联关系的图数据。由于不能相互泄露本地隐私数据，给图神经网络的训练提出了难题。
发明内容
本说明书一个或多个实施例描述了一种基于隐私保护更新业务模型的方法及装置，用以解决背景技术提到的一个或多个问题。
根据第一方面，提供一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于基于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法包括：所述多个业务方协商确定多个模型基，其中单个模型基为包含若干基准参数的参数单元；各个业务方分别基于各个模型基在预定方式下的组合，构建本地业务模型；各个业务方分别利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方；服务方响应于单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到该单个模型基对应的全局梯度数据，并将所述全局梯度数据反馈至各个业务方；各个业务方根据融合后的全局梯度数据更新本地的相应模型基中的基准参数，以迭代训练本地业务模型。
在一个实施例中，所述梯度更新条件包括以下中的至少一项：所接收到的模型基的梯度数据条数达到预定数量；更新周期到达。
在一个实施例中，服务方通过以下中的一项融合接收到的单个模型基的各条梯度数据：求均值、加权平均、通过预先训练的长短期记忆模型处理按照时间顺序排列的各条梯度数据。
在一个实施例中，所述业务模型为图神经网络，各个业务方分别持有依赖于本地数据构建的各个图数据，各个图数据为异构图。
在一个实施例中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。
在一个实施例中，所述预定方式为线性组合方式。
根据第二方面，提供一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法由所述多个业务方中的第一方执行，包括：利用基于若干模型基在预定方式下的组合而构建的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并发送至服务方，以供服务方按照单个模型基对应的梯度更新条件，利用所接收到的多条梯度数据更新该单个模型基的全局梯度数据，其中，所述若干模型基由所述多个业务方协商确定，单个模型基为包含若干基准参数的参数单元；响应于从服务方接收到第一模型基的全局梯度数据，根据所述第一模型基的全局梯度数据更新所述第一模型基的本地梯度数据；根据更新后的本地梯度数据，更新所述第一模型基包含的各个基准参数。
在一个实施例中，所述根据所述全局梯度数据更新所述第一模型基的本地梯度数据包括，利用所述全局梯度数据替换所述第一模型基的本地梯度数据。
在一个实施例中，所述根据所述全局梯度数据更新所述第一模型基的本地梯度数据包括：对所述全局梯度数据和所述第一模型基的本地梯度数据加权平均，得到加权梯度数据；根据所述加权梯度数据更新所述第一模型基对应的若干基准参数的本地梯度数据。
在一个实施例中，所述预定方式为线性组合方式。
在一个进一步的实施例中，所述业务模型为多层神经网络，单层神经网络的模型参数为所述若干模型基的预定方式组合。
在一个更进一步的实施例中，所述利用基于若干模型基的线性组合而确定模型参数的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据包括：利用业务模型针对当前训练样本的输出结果与样本标签的对比，确定所述业务模型的损失；以最小化所述损失为目标，从最后一层神经网络逐层确定单层神经网络对应的各个模型基分别对应的各条梯度数据。
在一个实施例中，所述业务模型为图神经网络，各个业务方分别持有本地数据构建的各个图数据，各个图数据为异构图。
在一个实施例中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。
根据第三方面，提供一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法由服务方执行，包括：从各个业务方获取第一模型基的各条梯度数据，其中，所述第一模型基为由所述多个业务方协商确定的、包含若干基准参数的参数单元，各个业务方利用基于包括所述第一模型基在内的若干模型基经由预定方式组合而确定的本地业务模型处理本地训练样本，从而确定所述第一模型基对应的梯度数据；响应于所述第一模型基满足梯度更新条件，融合所接收到的所述第一模型基的各条梯度数据，得到所述第一模型基的全局梯度数据；将所述第一模型基的全局梯度数据发送给各个业务方，以供各个业务方基于所述第一模型基的全局梯度数据，更新本地的所述第一模型基的基准参数。
在一个实施例中，所述梯度更新条件包括以下中的至少一项：所接收到的模型基的梯度数据条数达到预定数量；更新周期到达。
在一个实施例中，通过以下中的一项融合所接收到的所述第一模型基的各条梯度数据，得到所述第一模型基的全局梯度：求均值、加权平均、通过预先训练的长短期记忆模型处理按照时间顺序排列的各条梯度数据。
在一个实施例中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。
在一个实施例中，所述预定方式为线性组合方式。
根据第四方面，提供一种基于隐私保护更新业务模型的系统，其中，所述系统包括多个业务方和服务方，所述业务模型用于基于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练；其中：
单个业务方配置为，与其他业务方协商确定多个模型基，基于各个模型基在预定方式下的组合，构建本地业务模型，利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方，其中，单个模型基为包含若干基准参数的参数单元；
所述服务方配置为，响应于单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到该单个模型基对应的全局梯度数据，并将所述全局梯度数据反馈至各个业务方；
所述单个业务方还配置为，根据融合后的全局梯度更新本地的相应模型基中的基准参数，以迭代训练本地业务模型。
根据第五方面，还提供一种基于隐私保护更新业务模型的装置，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述装置设于所述多个业务方中的第一方，包括：
梯度确定单元，配置为利用基于若干模型基在预定方式下的组合而构建的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并发送至服务方，以供服务方按照单个模型基对应的梯度更新条件，利用所接收到的多条梯度数据更新该单个模型基的全局梯度数据，其中，所述若干模型基由所述多个业务方协商确定，单个模型基为包含若干基准参数的参数单元；
梯度更新单元，配置为响应于从服务方接收到第一模型基的全局梯度数据，根据所述第一模型基的全局梯度数据更新所述第一模型基的本地梯度数据；
参数更新单元，配置为根据更新后的本地梯度数据，更新所述第一模型基包含的各个基准参数。
根据第六方面，提供一种基于隐私保护更新业务模型的装置，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述装置设于服务方，包括：
通信单元，配置为从各个业务方获取第一模型基的各条梯度数据，其中，所述第一模型基为由所述多个业务方协商确定的、包含若干基准参数的参数单元，各个业务方利用基于包括所述第一模型基在内的若干模型基经由预定方式组合而确定的本地业务模型处理本地训练样本，从而确定所述第一模型基对应的梯度数据；
融合单元，配置为响应于所述第一模型基满足梯度更新条件，融合所接收到的所述第一模型基的各条梯度数据，得到所述第一模型基的全局梯度数据；
所述通信单元还配置为，将所述第一模型基的全局梯度数据发送给各个业务方，以供各个业务方基于所述第一模型基的全局梯度数据，更新本地的所述第一模型基的基准参数。
根据第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面、第二方面或第三方面的方法。
根据第八方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面、第二方面或第三方面的方法。
通过本说明书实施例提供的方法、装置和系统，针对联邦学习过程中，各个业务方提供不同结构的图数据（异构图），无法统一建模的问题，提出一种局部模型参数相一致的技术构思，通过模型基的设置，一个模型基可以包括若干基准参数，各个业务方分别利用模型基在预定方式下的组合构建本地模型参数向量或矩阵，从而构建本地业务模型。在联邦学习过程中，业务方以模型基为单位上传本地梯度数据、服务方以模型基为单位更新全局梯度数据、业务方以模型基为单位更新本地模型参数。这种局部更新模型参数的技术方案，可以有效打破异构图下的联邦学习壁垒，提供全新的机器学习思路，并可推广至各种业务模型，而不局限于处理图数据的机器学习模型。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出联邦学习的一个具体实施架构示意图；
图2示出本说明书技术构思的一个实施框架示意图；
图3示出根据一个实施例的基于隐私保护更新业务模型的操作时序图；
图4示出根据一个实施例的基于隐私保护处理业务数据的方法流程图；
图5示出根据另一个实施例的基于隐私保护处理业务数据的方法流程图；
图6示出根据一个实施例的基于隐私保护更新业务模型的系统的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
首先，结合图1示出的一个具体实施场景进行说明。图1示出了一个联邦学习的实施架构。在该实施架构下，可以由两个或两个以上的业务方共同训练业务模型。各个业务方分别可以利用训练好的业务模型进行本地业务处理。通常，各个业务方具有数据相关性。例如，涉及金融业务的多个业务方中，业务方1为银行，为用户提供储蓄、贷款等业务，可以持有用户的年龄、性别、收支流水、贷款额度、存款额度等数据，业务方2为P2P平台，可以持有用户的借贷记录、投资记录、还款时效等数据，业务方3为购物网站，持有用户的购物习惯、付款习惯、付款账户等数据。
联邦学习过程中，各个业务方可以分别持有本地样本数据，这些样本数据作为隐私数据，不希望其他方获知。在联邦学习过程中，各个业务方通过本地样本数据训练业务模型，以获取业务模型的模型参数的本地梯度。
服务方可以是为各个业务方的联邦学习提供辅助，例如，辅助进行非线性计算、全局模型参数梯度计算等。图1示出的服务方的形式为独立于各个业务方单独设置的其他方，如可信第三方等。实践中，服务方还可以分布于各个业务方，或者由各个业务方组成，各个业务方之间可以采用安全计算协议（如秘密共享等）完成联合辅助计算。本说明书对此不做限定。
各个业务方还可以从服务方获取全局模型参数的梯度数据，从而更新本地的模型参数。
在业务数据通过图结构描述，构成图数据的情况下，业务模型可以为图神经网络、RDF2Vec、威斯费勒-莱曼算法（Weisfeiler-Lehmankernels ，WL）之类的机器学习模型。联邦学习过程中，各个业务方可以结合预先构建的图数据，通过相应业务模型处理相关训练样本，得到输出结果。
以图神经网络为例，是一种基于图结构（亦即图数据）的广义神经网络。图神经网络可以将底层图数据作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的图神经网络可以通过端到端的方式训练。在一个具体例子中，某层图神经网络的节点嵌入向量更新方式例如可以为：
Figure DEST_PATH_IMAGE002A
其中，h表示节点，i表示图数据中的第i个节点，
Figure DEST_PATH_IMAGE003
和
Figure 337331DEST_PATH_IMAGE004
表示相应层图神经网络，W表示模型参数向量或矩阵，c为权重或归一化因子，N表示邻居节点集合，R为图数据节点集合，r表示业务方r，
Figure DEST_PATH_IMAGE005
为激励函数。
可以理解，图数据通常由与实体一一对应的节点，以及节点之间的连接边（与实体之间的关联关系对应）构建，结构可能错综复杂。对各个业务方来说，如果相应业务数据中包含不同的实体，或不同的连接关系，都会导致图数据的结构具有较大差别。例如，一个业务方为支付平台，通过所持有的业务数据构建的图数据中，节点对应的实体可以为用户，节点之间的关联关系可以为通讯录好友、转账频次等，另一个业务方为购物平台，节点对应的实体可以包括消费者、商户两种用户，节点之间的关联关系可以为消费者之间或商户与消费者之间分享商品链接、消费者向商户购买商品等等。更多的业务方还可以包括更多结构的图数据。换句话说，各个业务方根据自有业务数据，都可以构建出一种或多种图数据，这些图数据构成“异构图”。这种情况下，很难通过一个统一的图神经网络来处理各个业务方本地的图数据。
为此，本说明书提出一种模型参数局部化的构思。参考图2所示，在本说明书的技术构思下，提出模型基（Basis）的概念，模型基可以看作是构成业务模型（例如图神经网络）的基本参数单元。一个模型基可以包含若干基准模型参数（或称为基准参数）。模型基为各个业务方共用，业务方基于模型基在本地构建自己的业务模型，如：图神经网络。模型基的基本架构可以由各个业务方共同约定，例如，约定模型基的数量、各个模型基的维度、各维的含义等。对于业务模型中的激活函数、优化方法、需要预测的任务类型等，也可以由各个业务方约定。单个业务方的业务模型构建时，其模型参数可以由模型基的预定方式的组合定义，例如模型参数可以为模型基的线性组合，也可以由模型基的其他组合方式（如网络结构搜索NAS方式等）组合确定。如图神经网络构建时，各层神经网络的参数均可以为各个模型基的线性组合。模型基可以为基准参数构成的向量或矩阵形式。模型参数可以通过向量或矩阵形式表示。下面以模型基的线性组合方式构建模型参数为例进行说明。
假设业务方r的图神经网络第
Figure 308041DEST_PATH_IMAGE003
层的模型参数用
Figure 919151DEST_PATH_IMAGE006
表示，模型基用V表示，数量为B，单个模型基记为Vb，则模型参数
Figure 757925DEST_PATH_IMAGE006
可以表示为：
Figure DEST_PATH_IMAGE007
其中，
Figure 618434DEST_PATH_IMAGE008
表示业务方r的图神经网络中第
Figure 614071DEST_PATH_IMAGE003
层的模型参数对应于模型基b的线性系数。该系数可以由业务方r预先确定，也可以作为业务模型的参数在模型训练过程中调整，在此不做限定。
如此，各个业务方的各层图神经网络的模型参数都可以通过多个模型基的预定方式组合表示。
在联邦学习过程中，各个业务方根据样本数据训练图神经网络，并通过输出结果与样本标签的对比确定模型损失，从而在各层神经网络确定各个模型基所涉及的参数的梯度，并将其发送至服务方。服务方可以预先设定有模型基的梯度更新条件，例如，单个模型基反馈的梯度数据达到预定数量（如100条），经过预定周期（如10分钟）等。当预定的梯度更新条件满足时，服务方可以对接收到的相应模型基的梯度进行融合，得到全局梯度。融合方式包括但不限于，求和、求平均、求最大值、取最小值、LSTM（长短时神经网络单元），等等。
服务方将更新的模型基（局部模型参数）的全局梯度反馈给各个业务方，各个业务方根据全局梯度更新本地业务模型的模型参数的梯度，例如对本地模型参数的梯度进行替换、加权求和等。从而，各个业务方可以更新相应的模型参数梯度。在模型参数的梯度收敛或其他终止条件（例如更新轮次达到预定数量等）下，联邦学习过程结束。
如此，通过本说明书将模型参数局部化的构思，打破了业务方之间的异构图界限，从而可以在保护隐私的前提下，通过联邦学习利用更多的业务数据来训练各个业务方的图神经网络，而不必要求各业务方的模型结构一致。
值得说明的是，本说明书的技术构思基于图神经网络之类业务模型的联邦学习问题提出，但其实际应用并不局限于图神经网络之类的业务模型，其可以合理应用于任何业务模型，例如卷积神经网络CNN、长短期记忆模型LSTM，等等。
为了更清楚地描述本说明书的技术构思，下面结合图3的示例进行描述。图3示出了根据本说明书一个实施例的基于隐私保护更新业务模型的各方协作时序图。在图3中，假设参与计算的业务方包括第一方和第二方，实践中，可以有更多的业务方。
如图3所示，首先，第一方和第二方可以协商确定多个模型基，假设为V1、V2、V3，第一方和第二方协商内容例如可以包括模型基的维度等。另外，在联邦学习前提下，各个业务方还可以协商业务模型的中间结构，例如激活函数设定、优化方法、需要预测的任务类型，等等。模型基V1、V2、V3可以分别包括多个模型参数。通常，不同的模型基包含不同的基准参数，例如模型基V1包括w1、w2，模型基V2包括w3、w4、w5，模型基V3包括w6、w7、w8、w9，等等。在可选的实现方式中，为了更好地适应各个业务方，在可选的实现方式中，不同的模型基中可以包括相同的模型参数，例如V1包括w1、w2，V2包括w2、w3、w4，V3包括w1、w4、w5、w6，等等。
接着，第一方可以利用V1、V2、V3构建本地的第一业务模型，第二方可以利用V1、V2、V3构建本地的第二业务模型。根据一个实施例，第一业务模型和第二业务模型的模型参数均可以由V1、V2、V3的线性组合确定。其中，线性系数可以在模型训练过程中调整，也可以是设定值。例如，第一业务模型中，模型参数W1=a1V1+a2V2+a3V3，其中，a1、a2、a3可以为设定的固定值，如分别为3、4、7，也可以待调整的参数。在业务模型为多层神经网络的情况下，各层神经网络的模型参数都可以由各个模型基的线性组合确定。根据另一个实施例，第一业务模型和第二业务模型的模型参数可以由网络结构搜索（Neural Architecture Search，NAS）方式确定。这种方式下，可以使用一个用于生成处理图数据的业务模型的神经网络，以模型基作为输入，生成新的网络，作为业务模型。可以理解的是，NAS是一种自动设计神经网络的技术，可以通过设定的算法根据样本集自动设计出高性能的网络结构，甚至发现某些人类之前未曾提出的网络结构，从而可以有效的降低神经网络的使用和实现成本，在此不再赘述。
之后，第一方和第二方分别可以利用本地的业务数据，训练各自构建的业务模型。其中，各个业务方的业务数据可以根据具体的业务场景确定。通常，各个业务方持有的业务数据可以构成训练样本。在业务模型为基于图数据的图神经网络的情况下，各个业务方提供的业务数据还可以包括图数据和训练样本。通常，图数据中可以包括业务方在相关业务中对应的各种实体，例如客服问答业务场景中的问题、标签、文档（或答案）等，金融风险性场景中的用户、理财产品等等。各个节点可以对应有节点表达向量。图神经网络通过对邻居节点表达向量的融合，更新当前节点的节点表达向量，最终确定的节点表达向量作为后续神经网络（如激活层等）处理的基础，得到最终输出结果。例如利用图数据中经图神经网络处理后对应用户“张三”的节点的表达向量进一步处理得到输出结果为风险性概率0.8。
在业务模型的训练过程中，各个业务方可以根据自有的训练样本，经本地业务模型处理后，根据业务模型的输出结果与样本标签的对比确定模型损失，并利用模型损失确定各个模型基中的模型参数的梯度。为了方便，在图3中，可以将模型基中各个基准参数的梯度记为相应模型基的梯度数据。例如，第一方在一轮迭代训练过程中，分别确定V1、V2和V3中各个基准参数的梯度。第一方在一轮迭代训练过程中，先通过最后一层神经网络计算梯度，分别以模型基V2、V3为单位确定其中各个基准参数的梯度，然后通过前一层神经网络确定模型基V1和V3的梯度数据。如图3所示，各个业务方在一次梯度计算中（如针对一层神经网络的梯度计算）确定出若干个模型基的梯度数据后，就可以将相应梯度数据反馈至服务方。
服务方随时可以接收各个业务方发送来的模型基的梯度数据。可以理解的是，服务方还可以预先存储有模型基的梯度更新条件，例如按周期（如1分钟）更新、针对单个模型基在接收到预定条数（如100条）新的梯度数据时更新，等等。针对单个模型基，在达到梯度更新条件时，服务方可以利用接收到的各条梯度数据更新相应模型基的全局梯度数据。这里的全局梯度数据可以包括相应模型基中各个基准参数的全局梯度。
参考图3所示，举例而言，假设模型基V2对应梯度更新条件为，每接收到100条新的梯度数据时更新，则当服务方从各个业务方接收到关于V2的100条梯度数据时，融合这100条梯度数据，用融合结果更新V2的全局梯度数据。
值得说明的是，在各个模型基的线性组合中，不排除部分模型基的系数为0的情形，由此可能导致，各个模型基对应的梯度条数的产生速度不一定是一致的。而其他方式（如NAS方式）下，各个模型基的分布可能更加不均匀。因此，服务方可以针对各个模型基分别按照各自的梯度更新条件进行更新。可选地，各个模型基的梯度更新条件可以一致，例如都是每当接收到预定条数的梯度数据时更新，或者每经过预定周期（如10分钟）更新。
在常规的联邦学习任务中，服务方对梯度数据的融合可以采用对多个业务方提供的梯度进行平均、加权求和等。在本说明书的实施架构下，除了常规的融合方式外，还可以采用诸如LSTM之类的时序神经网络处理接收到的各条梯度数据。这是因为，服务方接收到模型基的各条梯度数据具有时序特征，通过时序神经网络处理这些具有时序特征的梯度数据，可以充分利用其时序特点，融入梯度的变更趋势特征。
各个业务方可以循环模型训练、计算各个模型基的梯度数据、以模型基为单位发送梯度数据的过程，直至接收到服务方发送的针对某个模型基更新的全局梯度数据，业务方可以按照更新的全局梯度数据调整本地的模型参数（相应模型及所包含的基准参数）。如图3中，第一方可以在接收到服务方发送的关于V2的全局梯度数据dV＇2时，更新V2，并继续根据更新后的模型参数循环模型训练、以模型基为单位计算梯度数据、发送梯度数据的过程。当又接收到服务方发送的关于V3的全局梯度数据dV＇3时，更新V3，并继续根据更新后的模型参数循环模型训练、以模型基为单位计算梯度数据、发送梯度数据的过程。直至模型训练完成。
在一个实施例中，业务方在根据单个模型基的全局梯度数据更新相应基准参数时，可以采用利用全局梯度替换本地模型基的梯度数据的方式，更新本地模型基梯度数据，并按照更新后的模型基梯度数据，调整相应模型基包含的基准参数。例如，图3中，第一方接收到dV＇3时，替换本地的dV3，即令dV3= dV＇3，并更新V3。例如通过梯度下降法更新V3：V3= V3+I* dV3。I为设定的步长。
在另一个实施例中，业务方在根据单个模型基的全局梯度数据更新相应基准参数时，可以采用利用全局梯度数据与本地模型基梯度数据加权平均的方式，更新本地模型基梯度数据，然后按照更新后的模型基梯度数据，调整相应基准参数。例如，图3中，第一方接收到dV＇3时，结合本地的dV3，得到更新后的梯度数据dV3=s1 dV＇3+ s2 dV3，并利用更新后的dV3更新V3。更新方法例如为梯度下降法等。
在更多实施例中，业务方还可以采用更多方式利用模型基的全局梯度数据更新本地模型基的梯度数据，并进一步调整相应基准参数，在此不再赘述。
可以理解，业务方在确定模型基内的单个基准参数的梯度后，可以按照预先确定的模型参数更新方法更新相关的模型参数。以梯度下降法为例，基准参数w更新方式可以为：w=w-I*dw。在此不再赘述。
以上过程中，针对各个业务方提供不同结构的图数据（异构图），基于隐私保护进行联邦学习情形下的训练瓶颈，给出了有效的解决方案。以上提出的解决方案通过将业务模型的模型参数局部化，提出模型基的概念，用模型基表示包含若干基准参数的参数单元，各个业务方利用各个模型基在预定方式下的组合构建本地业务模型，并在模型训练过程中以模型基为单位计算梯度数据，服务方以模型基为单位，更新相应全局梯度数据，从而业务方一次可以更新部分模型参数（一个或多个模型基中的基准参数）。这种方式使得联邦学习过程中，各个业务方基于各自提供的图数据构成的异构图，利用各自的图神经网络进行处理以训练充分利用全局数据的业务模型成为可能。同时，该解决方案可以推广至各种合适的业务模型，为联邦学习提供一种新思路。
结合以上描述，对本说明书的技术构思从总体上进行了说明。下面以任意单个业务方，例如第一方为例，描述其在一个实施例中基于隐私保护的更新业务模型中执行的流程。如图4所示，第一方执行的流程400可以包括以下步骤。
首先，在步骤401中，利用基于若干模型基在预定方式下的组合而确定的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方。其中，各个模型基可以由多个业务方协商确定，单个模型基为包含若干基准参数的参数单元。服务方可以接收各个业务方发送的单个模型基的梯度数据，并按照梯度更新条件，更新单个模型基的全局梯度数据。其中的预定方式例如可以是，线性组合方式、网络搜索NAS等等。
在业务模型为多层神经网络的情况下，单层神经网络的模型参数可以为若干模型基在预定方式下的组合。可选地，此时，在利用业务模型针对当前训练样本的输出结果与样本标签的对比，确定业务模型的损失后，还可以以最小化该损失为目标，从最后一层神经网络逐层确定单层神经网络对应的各个模型基的梯度，并发送给服务方。
在一个实施例中，各个业务方分别持有本地数据构建的各个图数据，业务模型还可以为图神经网络。可选地，各个业务方持有的图数据为异构图
然后，通过步骤402，响应于从服务方接收到第一模型基的全局梯度数据，根据该全局梯度数据更新第一模型基的本地梯度数据。这里，第一模型基可以是任意一个模型基。根据图3的描述可知，服务方可以独立地对每一个模型基按照梯度更新条件确定相应的全局梯度数据，因此，服务方一次下发的全局梯度数据可能仅涉及全部或部分模型基。对于第一方来说，可以接收到服务方当前所更新的模型基（例如包括这里的第一模型基）的全局梯度数据，并按照其全局梯度数据更新相应模型基的本地梯度数据。
第一方可以对全局梯度数据和第一模型基的本地梯度数据加权平均，得到加权梯度，然后根据加权梯度更新第一模型基中各个基准参数各自对应的本地梯度。第一方也可以用第一模型基的全局梯度数据，替换第一模型基的本地梯度数据，从而更新本地的第一模型基的梯度数据。第一方还可以通过其他方式更新第一模型基的本地梯度数据，在此不做限定。
接着，在步骤403，根据更新后的本地梯度数据，更新第一模型基包含的各个基准参数。模型参数的更新方法可以由第一方预先确定，或者预先与其他业务方协商确定。以梯度下降法为例，各个模型参数分别可以按照以下方式更新：w=w-I*dw。在此不再赘述。
另一方面，以服务方的角度，描述其在一个实施例中基于隐私保护的更新业务模型中执行的流程。如图5所示，服务方执行的流程500可以包括以下步骤。
首先，在步骤501中，从各个业务方获取第一模型基的各条梯度数据。其中，多个业务方可以协商确定多个包含若干基准参数的参数单元——模型基，第一模型基可以是这多个模型基中的任一个。各个业务方可以利用基于包括第一模型基在内的若干模型基经由预定方式组合确定的本地业务模型处理本地训练样本，从而确定第一模型基对应的梯度，并发送给服务方。其中的预定方式例如可以是，线性组合方式、网络搜索NAS等等。
接着，在步骤502，响应于第一模型基满足梯度更新条件，融合所接收到的第一模型基的各条梯度数据，得到第一模型基的全局梯度数据。梯度更新条件是服务方更新单个模型基的全局梯度数据的触发条件，例如可以是：所接收到的模型基的梯度数据条数达到预定数量；更新周期到达；等等。服务方可以对各个模型基存储有统一的梯度更新条件，也可以分别针对各个模型基分别设定梯度更新条件，在此不作限定。
当针对任意的第一模型基，相应梯度更新条件满足时，例如接收到100条关于第一模型基的梯度数据，可以对所接收到的梯度数据（例如100条）进行融合，以确定其全局梯度数据。可选地，为了保证梯度数据的时效性，所融合的梯度数据可以为前一次融合全局梯度之后接收到的梯度，例如新接收到的100条梯度数据。
在一个实施例中，服务方可以根据对第一模型基的梯度数据的算术平均，融合相应梯度数据以确定其全局梯度数据。
在另一个实施例中，服务方可以基于对第一模型基的梯度数据的加权平均，融合相应梯度数据以确定其全局梯度。其中，加权权重可以预先设定，或按照接收时间确定，例如，权重与接收时间与当前时间的距离负相关。
在再一个实施例中，服务方还可以利用预先训练的长短期记忆模型（LSTM）处理按照时间顺序排列的第一模型基的各条梯度数据。这种方式下，可以充分挖掘梯度数据按照时间顺序的关联关系。
在其他实施例中，服务方还可以按照其他方式融合第一模型基的梯度数据，例如取最后一个、取最大值，等等。
然后，通过步骤503，将第一模型基的全局梯度数据发送给各个业务方，以供各个业务方基于第一模型基的全局梯度数据，更新本地的第一模型基的基准参数。
值得说明的是，图4、图5示出的实施例分别与图3示出的第一方（或第二方）、服务方相对应，关于图3的相关描述也适用于图4、图5的实施例，在此不再赘述。
根据另一方面的实施例，还提供一种基于隐私保护更新业务模型的系统。该更新业务模型的系统包括服务方和多个业务方。服务方可以辅助多个业务方共同训练业务模型。在本说明书的实施架构下，服务方可以将各个业务方确定的模型参数的梯度进行融合，确定全局梯度，并分发给各个业务方。
具体地，如图6所示，系统600包括多个业务方，以及服务方62，其中任意业务方可以记为业务方61。其中：
业务方61配置为，与其他业务方协商确定多个模型基，基于各个模型基经由预定方式的组合，构建本地业务模型，利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方，其中，模型基为包含若干基准参数的参数单元；其中的预定方式例如可以是，线性组合方式、网络搜索NAS等等；
服务方62配置为，响应于所接收的单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到单个模型基的全局梯度数据，并将全局梯度数据反馈至各个业务方；
业务方61还配置为，根据融合后的全局梯度数据更新本地的相应模型基中的基准参数，以迭代训练本地业务模型。
具体地，在一个实施例中，业务方61可以设有更新业务模型的装置610，包括：
梯度确定单元611，配置为利用基于若干模型基的预定方式组合而确定的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并发送至服务方，以供服务方按照梯度更新条件，更新单个模型基的全局梯度数据，其中，若干模型基由多个业务方协商确定，单个模型基为包含若干基准参数的参数单元；其中的预定方式例如可以是，线性组合方式、网络搜索NAS等等；
梯度更新单元612，配置为响应于从服务方接收到第一模型基的全局梯度数据，根据全局梯度数据更新第一模型基的本地梯度数据；
参数更新单元613，配置为根据更新后的本地梯度数据，更新第一模型基包含的各个基准参数。
在一个实施例中，服务方62可以设有用于更新业务模型的装置620，包括：
通信单元621，配置为从各个业务方获取第一模型基的梯度数据，其中，第一模型基为由多个业务方协商确定的、包含若干基准参数的参数单元，各个业务方利用基于包括第一模型基在内的若干模型基经由预定方式组合确定的本地业务模型处理本地训练样本，从而确定第一模型基对应的梯度数据；其中的预定方式例如可以是，线性组合方式、网络搜索方式等等；
融合单元622，配置为响应于第一模型基满足梯度更新条件，融合第一模型基的各条梯度数据，得到第一模型基的全局梯度数据；
通信单元611还配置为，将第一模型基的全局梯度数据发送给各个业务方，以供各个业务方基于第一模型基的全局梯度数据，更新本地的第一模型基的基准参数。
值得说明的是，图6所示的系统600、装置610与装置620分别是与图3、图4、图5示出的方法实施例相对应的产品实施例，图3、图4、图5示出的方法实施例中的相应描述分别适用于装置系统600、装置610与装置620，在此不再赘述。图6中，包含省略号的方框可以用于表示相应设备的其他单元或装置，例如存储单元等计算设备所需的构成单元。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图4或图5所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图4或图5所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所描述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。

Claims (24)

1.一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于基于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法包括：
所述多个业务方协商确定多个模型基，其中单个模型基为包含若干基准参数的参数单元；
各个业务方分别基于各个模型基在预定方式下的组合，构建本地业务模型；
各个业务方分别利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方；
服务方响应于单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到该单个模型基对应的全局梯度数据，并将所述全局梯度数据反馈至各个业务方；
各个业务方根据融合后的全局梯度数据更新本地的相应模型基中的基准参数，以迭代训练本地业务模型。
2.根据权利要求1所述的方法，其中，所述梯度更新条件包括以下中的至少一项：
所接收到的模型基的梯度数据条数达到预定数量；
更新周期到达。
3.根据权利要求1所述的方法，其中，服务方通过以下中的一项融合接收到的单个模型基的各条梯度数据：求均值、加权平均、通过预先训练的长短期记忆模型处理按照时间顺序排列的各条梯度数据。
4.根据权利要求1所述的方法，其中，所述业务模型为图神经网络，各个业务方分别持有依赖于本地数据构建的各个图数据，各个图数据为异构图。
5.根据权利要求1所述的方法，其中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。
6.根据权利要求1所述的方法，其中，所述预定方式为线性组合方式。
7.一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法由所述多个业务方中的第一方执行，包括：
利用基于若干模型基在预定方式下的组合而构建的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并发送至服务方，以供服务方按照单个模型基对应的梯度更新条件，利用所接收到的多条梯度数据更新该单个模型基的全局梯度数据，其中，所述若干模型基由所述多个业务方协商确定，单个模型基为包含若干基准参数的参数单元；
响应于从服务方接收到第一模型基的全局梯度数据，根据所述第一模型基的全局梯度数据更新所述第一模型基的本地梯度数据；
根据更新后的本地梯度数据，更新所述第一模型基包含的各个基准参数。
8.根据权利要求7所述的方法，其中，所述根据所述全局梯度数据更新所述第一模型基的本地梯度数据包括，利用所述全局梯度数据替换所述第一模型基的本地梯度数据。
9.根据权利要求7所述的方法，其中，所述根据所述全局梯度数据更新所述第一模型基的本地梯度数据包括：
对所述全局梯度数据和所述第一模型基的本地梯度数据加权平均，得到加权梯度数据；
根据所述加权梯度数据更新所述第一模型基对应的若干基准参数的本地梯度数据。
10.根据权利要求7所述的方法，其中，所述预定方式为线性组合方式。
11.根据权利要求7或10所述的方法，其中，所述业务模型为多层神经网络，单层神经网络的模型参数为所述若干模型基的预定方式组合。
12.根据权利要求11所述的方法，其中，所述利用基于若干模型基的线性组合而确定模型参数的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据包括：
利用业务模型针对当前训练样本的输出结果与样本标签的对比，确定所述业务模型的损失；
以最小化所述损失为目标，从最后一层神经网络逐层确定单层神经网络对应的各个模型基分别对应的各条梯度数据。
13.根据权利要求7所述的方法，其中，所述业务模型为图神经网络，各个业务方分别持有本地数据构建的各个图数据，各个图数据为异构图。
14.根据权利要求7所述的方法，其中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。
15.一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法由服务方执行，包括：
从各个业务方获取第一模型基的各条梯度数据，其中，所述第一模型基为由所述多个业务方协商确定的、包含若干基准参数的参数单元，各个业务方利用基于包括所述第一模型基在内的若干模型基经由预定方式组合而确定的本地业务模型处理本地训练样本，从而确定所述第一模型基对应的梯度数据；
响应于所述第一模型基满足梯度更新条件，融合所接收到的所述第一模型基的各条梯度数据，得到所述第一模型基的全局梯度数据；
将所述第一模型基的全局梯度数据发送给各个业务方，以供各个业务方基于所述第一模型基的全局梯度数据，更新本地的所述第一模型基的基准参数。
16.根据权利要求15所述的方法，其中，所述梯度更新条件包括以下中的至少一项：
所接收到的模型基的梯度数据条数达到预定数量；
更新周期到达。
17.根据权利要求15所述的方法，其中，通过以下中的一项融合所接收到的所述第一模型基的各条梯度数据，得到所述第一模型基的全局梯度：求均值、加权平均、通过预先训练的长短期记忆模型处理按照时间顺序排列的各条梯度数据。
18.根据权利要求15所述的方法，其中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。
19.根据权利要求15所述的方法，其中，所述预定方式为线性组合方式。
20.一种基于隐私保护更新业务模型的系统，其中，所述系统包括多个业务方和服务方，所述业务模型用于基于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练；其中：
单个业务方配置为，与其他业务方协商确定多个模型基，基于各个模型基在预定方式下的组合，构建本地业务模型，利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方，其中，单个模型基为包含若干基准参数的参数单元；
所述服务方配置为，响应于单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到该单个模型基对应的全局梯度数据，并将所述全局梯度数据反馈至各个业务方；
所述单个业务方还配置为，根据融合后的全局梯度更新本地的相应模型基中的基准参数，以迭代训练本地业务模型。
21.一种基于隐私保护更新业务模型的装置，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述装置设于所述多个业务方中的第一方，包括：
梯度确定单元，配置为利用基于若干模型基在预定方式下的组合而构建的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并发送至服务方，以供服务方按照单个模型基对应的梯度更新条件，利用所接收到的多条梯度数据更新该单个模型基的全局梯度数据，其中，所述若干模型基由所述多个业务方协商确定，单个模型基为包含若干基准参数的参数单元；
梯度更新单元，配置为响应于从服务方接收到第一模型基的全局梯度数据，根据所述第一模型基的全局梯度数据更新所述第一模型基的本地梯度数据；
参数更新单元，配置为根据更新后的本地梯度数据，更新所述第一模型基包含的各个基准参数。
22.一种基于隐私保护更新业务模型的装置，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述装置设于服务方，包括：
通信单元，配置为从各个业务方获取第一模型基的各条梯度数据，其中，所述第一模型基为由所述多个业务方协商确定的、包含若干基准参数的参数单元，各个业务方利用基于包括所述第一模型基在内的若干模型基经由预定方式组合而确定的本地业务模型处理本地训练样本，从而确定所述第一模型基对应的梯度数据；
融合单元，配置为响应于所述第一模型基满足梯度更新条件，融合所述第一模型基的各条梯度数据，得到所述第一模型基的全局梯度数据；
所述通信单元还配置为，将所述第一模型基的全局梯度数据发送给各个业务方，以供各个业务方基于所述第一模型基的全局梯度数据，更新本地的所述第一模型基的基准参数。
23.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-19中任一项的所述的方法。
24.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-19中任一项所述的方法。
CN202011159885.1A 2020-10-27 2020-10-27 基于隐私保护更新业务模型的方法、装置及系统 Active CN112015749B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011159885.1A CN112015749B (zh) 2020-10-27 2020-10-27 基于隐私保护更新业务模型的方法、装置及系统
US17/511,517 US20220129580A1 (en) 2020-10-27 2021-10-26 Methods, apparatuses, and systems for updating service model based on privacy protection
US17/512,539 US11455425B2 (en) 2020-10-27 2021-10-27 Methods, apparatuses, and systems for updating service model based on privacy protection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011159885.1A CN112015749B (zh) 2020-10-27 2020-10-27 基于隐私保护更新业务模型的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112015749A true CN112015749A (zh) 2020-12-01
CN112015749B CN112015749B (zh) 2021-02-19

Family

ID=73528358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011159885.1A Active CN112015749B (zh) 2020-10-27 2020-10-27 基于隐私保护更新业务模型的方法、装置及系统

Country Status (2)

Country Link
US (2) US20220129580A1 (zh)
CN (1) CN112015749B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231742A (zh) * 2020-12-14 2021-01-15 支付宝(杭州)信息技术有限公司 基于隐私保护的模型联合训练方法及装置
CN112396477A (zh) * 2020-12-29 2021-02-23 支付宝(杭州)信息技术有限公司 业务预测模型的构建方法及装置
CN112799708A (zh) * 2021-04-07 2021-05-14 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及系统
CN112819177A (zh) * 2021-01-26 2021-05-18 支付宝(杭州)信息技术有限公司 一种个性化的隐私保护学习方法、装置以及设备
CN113052333A (zh) * 2021-04-02 2021-06-29 中国科学院计算技术研究所 基于联邦学习进行数据分析的方法及系统
CN113177674A (zh) * 2021-05-28 2021-07-27 恒安嘉新（北京）科技股份公司 网络诈骗的预警方法、装置、设备及介质
CN113240127A (zh) * 2021-04-07 2021-08-10 睿蜂群(北京)科技有限公司 基于联邦学习的训练方法、装置、电子设备及存储介质
CN113297396A (zh) * 2021-07-21 2021-08-24 支付宝(杭州)信息技术有限公司 基于联邦学习的模型参数更新方法、装置及设备
CN113361658A (zh) * 2021-07-15 2021-09-07 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备
CN115081642A (zh) * 2022-07-19 2022-09-20 浙江大学 一种多方协同更新业务预测模型的方法及系统
WO2022218231A1 (zh) * 2021-04-12 2022-10-20 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及装置
WO2023092439A1 (zh) * 2021-11-26 2023-06-01 华为技术有限公司 一种模型训练方法以及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230262483A1 (en) * 2022-01-25 2023-08-17 Qualcomm Incorporated Protocol stack for analog communication in split architecture network for machine learning (ml) functions
US20230306926A1 (en) * 2022-03-23 2023-09-28 Samsung Electronics Co., Ltd. Personalized color temperature adaptation for consumer display devices
CN115134077A (zh) * 2022-06-30 2022-09-30 云南电网有限责任公司信息中心 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统
CN115310121B (zh) * 2022-07-12 2023-04-07 华中农业大学 车联网中基于MePC-F模型的实时强化联邦学习数据隐私安全方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474950B2 (en) * 2015-06-29 2019-11-12 Microsoft Technology Licensing, Llc Training and operation of computational models
US11087880B1 (en) * 2016-04-26 2021-08-10 Express Scripts Strategic Development, Inc. Machine model generation systems and methods
JP6603182B2 (ja) * 2016-07-22 2019-11-06 ファナック株式会社 機械学習モデル構築装置、数値制御装置、機械学習モデル構築方法、機械学習モデル構築プログラム、及び記録媒体
US20180157940A1 (en) * 2016-10-10 2018-06-07 Gyrfalcon Technology Inc. Convolution Layers Used Directly For Feature Extraction With A CNN Based Integrated Circuit
CN108122027B (zh) 2016-11-29 2021-01-12 华为技术有限公司 一种神经网络模型的训练方法、装置及芯片
CN108122032B (zh) 2016-11-29 2020-02-14 华为技术有限公司 一种神经网络模型训练方法、装置、芯片和系统
FR3067496B1 (fr) * 2017-06-12 2021-04-30 Inst Mines Telecom Procede d'apprentissage de descripteurs pour la detection et la localisation d'objets dans une video
CN107609461A (zh) * 2017-07-19 2018-01-19 阿里巴巴集团控股有限公司 模型的训练方法、数据相似度的确定方法、装置及设备
US20190188605A1 (en) * 2017-12-20 2019-06-20 At&T Intellectual Property I, L.P. Machine Learning Model Understanding As-A-Service
US20190213475A1 (en) * 2018-01-10 2019-07-11 Red Hat, Inc. Reducing machine-learning model complexity while maintaining accuracy to improve processing speed
EP4290412A3 (en) * 2018-09-05 2024-01-03 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
US20210342743A1 (en) * 2018-09-25 2021-11-04 Coalesce, Inc. Model aggregation using model encapsulation of user-directed iterative machine learning
JP6892424B2 (ja) * 2018-10-09 2021-06-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ ハイパーパラメータチューニング方法、装置及びプログラム
US11263480B2 (en) * 2018-10-25 2022-03-01 The Boeing Company Machine learning model development with interactive model evaluation
CA3114632A1 (en) * 2018-11-19 2020-05-28 Deeplite Inc. System and method for automated design space determination for deep neural networks
US20200184272A1 (en) * 2018-12-07 2020-06-11 Astound Ai, Inc. Framework for building and sharing machine learning components
US20200218940A1 (en) * 2019-01-08 2020-07-09 International Business Machines Corporation Creating and managing machine learning models in a shared network environment
US11544535B2 (en) * 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
US11568645B2 (en) * 2019-03-21 2023-01-31 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
CN113614756A (zh) * 2019-03-26 2021-11-05 Hrl实验室有限责任公司 用于具有可编程人机混合集成学习的预报警报的系统和方法
US11010938B2 (en) * 2019-04-03 2021-05-18 Uih America, Inc. Systems and methods for positron emission tomography image reconstruction
CN110263265B (zh) * 2019-04-10 2024-05-07 腾讯科技（深圳）有限公司 用户标签生成方法、装置、存储介质和计算机设备
US11704566B2 (en) * 2019-06-20 2023-07-18 Microsoft Technology Licensing, Llc Data sampling for model exploration utilizing a plurality of machine learning models
US20210042590A1 (en) * 2019-08-07 2021-02-11 Xochitz Watts Machine learning system using a stochastic process and method
CN112819019B (zh) * 2019-11-15 2023-06-20 财团法人资讯工业策进会 分类模型生成装置及其分类模型生成方法
US11599800B2 (en) * 2020-01-28 2023-03-07 Color Genomics, Inc. Systems and methods for enhanced user specific predictions using machine learning techniques
WO2020191282A2 (en) 2020-03-20 2020-09-24 Futurewei Technologies, Inc. System and method for multi-task lifelong learning on personal device with improved user experience
US11379720B2 (en) * 2020-03-20 2022-07-05 Avid Technology, Inc. Adaptive deep learning for efficient media content creation and manipulation
CN111523686B (zh) 2020-04-23 2021-08-03 支付宝(杭州)信息技术有限公司 一种模型联合训练的方法和系统
CN111553484B (zh) 2020-04-30 2023-09-08 同盾控股有限公司 联邦学习的方法、装置及系统
US20210398210A1 (en) * 2020-06-17 2021-12-23 Notto Intellectual Property Holdings Systems and methods of transaction tracking and analysis for near real-time individualized credit scoring
WO2022006461A1 (en) * 2020-07-01 2022-01-06 Giant Oak, Inc. Orchestration techniques for adaptive transaction processing
US20220121929A1 (en) * 2020-10-20 2022-04-21 Wipro Limited Optimization of artificial neural network (ann) classification model and training data for appropriate model behavior

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231742A (zh) * 2020-12-14 2021-01-15 支付宝(杭州)信息技术有限公司 基于隐私保护的模型联合训练方法及装置
CN112396477A (zh) * 2020-12-29 2021-02-23 支付宝(杭州)信息技术有限公司 业务预测模型的构建方法及装置
CN112819177A (zh) * 2021-01-26 2021-05-18 支付宝(杭州)信息技术有限公司 一种个性化的隐私保护学习方法、装置以及设备
CN113052333A (zh) * 2021-04-02 2021-06-29 中国科学院计算技术研究所 基于联邦学习进行数据分析的方法及系统
CN112799708A (zh) * 2021-04-07 2021-05-14 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及系统
CN112799708B (zh) * 2021-04-07 2021-07-13 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及系统
CN113240127A (zh) * 2021-04-07 2021-08-10 睿蜂群(北京)科技有限公司 基于联邦学习的训练方法、装置、电子设备及存储介质
WO2022218231A1 (zh) * 2021-04-12 2022-10-20 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及装置
CN113177674A (zh) * 2021-05-28 2021-07-27 恒安嘉新（北京）科技股份公司 网络诈骗的预警方法、装置、设备及介质
CN113361658A (zh) * 2021-07-15 2021-09-07 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备
CN113361658B (zh) * 2021-07-15 2022-06-14 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备
CN114818973A (zh) * 2021-07-15 2022-07-29 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备
CN113297396A (zh) * 2021-07-21 2021-08-24 支付宝(杭州)信息技术有限公司 基于联邦学习的模型参数更新方法、装置及设备
WO2023092439A1 (zh) * 2021-11-26 2023-06-01 华为技术有限公司 一种模型训练方法以及装置
CN115081642A (zh) * 2022-07-19 2022-09-20 浙江大学 一种多方协同更新业务预测模型的方法及系统

Also Published As

Publication number Publication date
US11455425B2 (en) 2022-09-27
US20220129700A1 (en) 2022-04-28
CN112015749B (zh) 2021-02-19
US20220129580A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
CN112015749B (zh) 基于隐私保护更新业务模型的方法、装置及系统
WO2021082681A1 (zh) 多方联合训练图神经网络的方法及装置
US20230078061A1 (en) Model training method and apparatus for federated learning, device, and storage medium
CN110110229B (zh) 一种信息推荐方法及装置
WO2021098372A1 (zh) 训练用于表征知识图谱的图神经网络模型的方法及装置
US20210232975A1 (en) Data analysis and rendering
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
CN111737546B (zh) 确定实体业务属性的方法及装置
CN112396189A (zh) 一种多方构建联邦学习模型的方法及装置
CN111985622A (zh) 一种图神经网络训练方法和系统
CN112053327B (zh) 视频目标物检测方法、系统及存储介质和服务器
CN112068866B (zh) 更新业务模型的方法及装置
CN115270001B (zh) 基于云端协同学习的隐私保护推荐方法及系统
CN109544128A (zh) 捐款信息管理的方法及服务器
US11743238B2 (en) Systems and methods for blind vertical learning
CN110349012A (zh) 数据预测方法及计算机可读存储介质
CN112182399A (zh) 一种联邦学习的多方安全计算方法及装置
CN115034836A (zh) 一种模型训练方法及相关装置
CN113240086B (zh) 一种复杂网络链接预测方法及系统
Ho et al. A blockchain-based decision support system for E-commerce order prediction
CN113705797A (zh) 基于图神经网络的推荐模型训练方法、装置、设备及介质
CN117422553A (zh) 区块链网络的交易处理方法、装置、设备、介质和产品
CN113761350A (zh) 一种数据推荐方法、相关装置和数据推荐系统
CN114723012A (zh) 基于分布式训练系统的计算方法和装置
CN114580661A (zh) 基于联邦学习的数据处理方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041867

Country of ref document: HK