CN113255935A - 基于联邦学习的模型更新方法和装置以及存储介质 - Google Patents
基于联邦学习的模型更新方法和装置以及存储介质 Download PDFInfo
- Publication number
- CN113255935A CN113255935A CN202010089998.2A CN202010089998A CN113255935A CN 113255935 A CN113255935 A CN 113255935A CN 202010089998 A CN202010089998 A CN 202010089998A CN 113255935 A CN113255935 A CN 113255935A
- Authority
- CN
- China
- Prior art keywords
- model
- federal
- tree
- real
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提出一种基于联邦学习的模型更新方法和装置以及存储介质,涉及计算机领域。本公开基于更新较频繁业务的实时业务数据,确定各个联邦树模型的预测性能,并且只需要对预测性能达不到预设条件的联邦树模型重新进行训练,预测性能达到预设条件的联邦树模型不需要重新进行训练,使得针对实时业务数据做到及时的模型更新和结果反馈,能够适用于联邦树模型的在线学习场景。
Description
技术领域
本公开涉及计算机领域,特别涉及一种基于联邦学习的模型更新方法和装置以及存储介质。
背景技术
数据就像是人工智能行业发展的能源。人工智能的核心就是让算法能够根据给定的数据学习相应的机器模型,以提供智能服务。
然而,有些业务数据分布在不同的业务平台,不同的业务平台出于隐私安全的考虑不能直接交换各自的业务数据。为此,联邦学习方法被提出,以使得不同的业务平台无需直接交换各自的业务数据却能够利用不同的业务平台的业务数据进行机器模型的学习。
在一些相关技术中,联邦树模型采用离线学习方法,基于各业务平台的离线业务数据,采用联邦学习方法训练得到各个联邦树模型。
发明内容
发明人发现,联邦树模型离线学习技术需要基于离线业务数据定期重新训练所有联邦树模型,难以适应业务数据更新较频繁的业务。
本公开基于更新较频繁业务的实时业务数据,确定各个联邦树模型的预测性能,并且只需要对预测性能达不到预设条件的联邦树模型重新进行训练,预测性能达到预设条件的联邦树模型不需要重新进行训练,使得针对实时业务数据做到及时的模型更新和结果反馈,能够适用于联邦树模型的在线学习场景。
此外,在联邦树模型后面级联例如神经网络模型等任务预测模型,并且任务预测模型(例如神经网络模型等)可以利用实时业务数据基于多个联邦树模型处理得到的相应的特征表示,在之前训练结果的基础上进行微调,进一步提升针对实时业务数据的模型更新和结果反馈的及时性。并且,由于联邦树模型对于大样本稀疏数据和大样本非连续特征数据的弱处理能力,通过联邦树模型与神经网络模型的结合,利用神经网络模型对于大样本稀疏数据和大样本非连续特征数据较强的处理能力,改善模型整体对于大样本稀疏数据和大样本非连续特征数据的处理能力。
本公开的一些实施例提出一种基于联邦学习的模型更新方法,包括:获取实时业务数据;将所述实时业务数据分别输入经过训练的多个联邦树模型,得到相应的输出结果;根据每个联邦树模型的输出结果确定相应所述联邦树模型的预测性能;以及基于所述实时业务数据对预测性能达不到预设条件的联邦树模型进行训练。
在一些实施例中,所述输出结果包括所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示,所述方法还包括:利用所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示对经过训练的任务预测模型进行训练。
在一些实施例中,所述任务预测模型包括神经网络模型。
在一些实施例中,所述联邦树模型的预测性能包括:准确率、F1分数F1-score、接收者操作特征曲线下的面积AUC。
在一些实施例中,模型更新方法还包括:联邦树模型涉及的多个参与方中的任一参与方根据其本地的原始数据、共享的联合建模任务的模型信息和其他参与方根据其本地的原始数据对每个待训练树模型训练得到的中间训练结果,分别对相应所述待训练树模型进行训练,得到经过训练的多个联邦树模型。
在一些实施例中,利用套袋法bagging或提升法boosting的集成学习方法,分别对相应所述待训练树模型进行训练,得到经过训练的多个联邦树模型。
在一些实施例中,模型更新方法还包括:联邦树模型涉及的多个参与方中的提供业务标签的参与方根据业务标签和多个参与方的原始数据基于多个联邦树模型处理得到的相应的特征表示,对未经过训练的任务预测模型进行训练,得到经过训练的任务预测模型。
在一些实施例中,所述实时业务数据包括用户的互联网消费数据,相应的输出结果包括用户的信用等级信息;或者,所述实时业务数据包括机器的运行数据,相应的输出结果包括机器的异常信息。
本公开的一些实施例提出一种基于联邦学习的模型更新装置,包括:
获取模块,被配置为获取实时业务数据;
输出模块,被配置为将所述实时业务数据分别输入经过训练的多个联邦树模型,得到相应的输出结果;
确定模块,被配置为根据每个联邦树模型的输出结果确定相应所述联邦树模型的预测性能;以及
重训练模块,被配置为基于所述实时业务数据对预测性能达不到预设条件的联邦树模型进行训练。
在一些实施例中,所述输出结果包括所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示,所述重训练模块,还被配置为利用所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示对经过训练的任务预测模型进行训练。
本公开的一些实施例提出一种基于联邦学习的模型更新装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行任一个实施例所述的模型更新方法。
本公开的一些实施例提出一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一个实施例所述的基于联邦学习的模型更新方法的步骤。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述,可以更加清楚地理解本公开,
显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开一些实施例的基于联邦学习的模型更新方法的示意图。
图2是本公开一些实施例的用户风险判别模型的示意图。
图3是本公开一些实施例的基于联邦学习的模型更新装置的示意图。
图4是本公开另一些实施例的基于联邦学习的模型更新装置的示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。
本公开提出一种在联邦学习过程中针对实时业务数据能够做到及时的模型更新和结果反馈的模型更新方案。在模型更新之前,可以通过训练获得初始的模型。
在一些实施例中,根据多个参与方各自的原始数据利用联邦学习方法对多个待训练树模型进行训练,得到经过训练的多个联邦决策树模型。联邦决策树模型也称联邦树模型。联邦学习方法使得多个参与方无需直接交换各自的业务数据却能够利用多个参与方的业务数据进行机器模型的学习,满足隐私安全要求。联邦学习方法具体可以参考相关技术。下面简要描述联邦学习方法。
联邦树模型涉及的多个参与方中的任一参与方根据其本地的原始数据、各参与方共享的联合建模任务的模型信息(例如模型的标识或名字等)、和其他参与方根据各自本地的原始数据对每个待训练树模型训练得到的中间训练结果(例如训练的树模型本身,或训练的树模型的参数或中间输出值等,或者联合建模过程中需要共享的其他数据),分别对相应待训练树模型进行训练,得到经过训练的多个联邦树模型。各个参与方通过共享其他参与方的中间训练结果的方式间接地共享其他参与方的训练数据,但不会直接接触到其他参与方的训练数据,满足隐私安全要求。
在对多个待训练树模型进行联邦训练的过程中,可以利用套袋法(bagging)或提升法(boosting)的集成学习方法,对各个待训练树模型进行训练,得到经过训练的多个联邦树模型。单个的联邦树模型也称为弱分类器。
bagging集成学习方法可以参考相关技术,下面仅作简要说明。1)从原始样本集中抽取训练集。每轮从原始样本集中使用自助法(Bootstraping)抽取n个训练样本作为训练集。在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没有被抽中。共进行k轮抽取,得到k个训练集。k个训练集之间是相互独立的。2)每次使用一个训练集训练得到一个模型,则k个训练集共得到k个模型(模型例如可以是联邦树模型)。后续如果进行任务预测,对分类问题:采用投票的方式从上述得到的k个模型的分类结果中选出一个作为最后的分类结果;对回归问题:将上述k个模型的输出结果的均值作为最后的输出结果。
boosting集成学习方法可以参考相关技术,下面仅作简要说明。每轮训练使用全部的样本,每轮训练得到一个模型。k轮训练得到k个模型(模型例如可以是联邦树模型)。每轮训练改变样本的权重,减小在上一轮训练中分类正确样本的权重,增大在上一轮训练中分类错误样本的权重。下一轮训练的目标是找到一个函数f来拟合上一轮的残差,例如,梯度提升的Boosting方式是使用代价函数对上一轮训练出的模型函数f的偏导来拟合残差。后续如果进行任务预测,上述得到的k个模型都有相应的权重,所有模型及其权重结合得到最终分类结果,其中,对于分类误差较小的模型会有更大的权重。
在一些实施例中,还可以在各个联邦树模型后面级联任务预测模型形成一个新的模型。任务预测模型可以是有监督模型、半监督模型、或者无监督模型等能够实现任务预测的模型,例如神经网络模型、聚类模型等。多个参与方的原始数据基于多个联邦树模型处理得到的相应的特征表示(也称高阶特征表示),然后,联邦树模型涉及的多个参与方中的提供业务标签的参与方根据业务标签和多个参与方的原始数据基于多个联邦树模型处理得到的相应的特征表示,对未经过训练的任务预测模型进行训练,得到经过训练的任务预测模型。其中,基于业务标签和特征表示对任务预测模型(如神经网络模型)进行训练的具体过程可以参考相关技术,例如,任务预测模型基于输入的特征表示预测输出相应的业务类别,根据预测的业务类别和输入的业务标签确定损失,并根据损失调整任务预测模型的参数,直至损失满足一定的要求。
通过上述训练过程,如果模型是多个联邦树模型,则得到经过训练的多个联邦树模型,如果模型包括多个联邦树模型及其后面级联的任务预测模型(如神经网络模型),则得到经过训练的多个联邦树模型及其后面级联的经过训练的任务预测模型(如神经网络模型)。
在得到经过训练的模型之后,如果联邦学习的某个或某些参与方的业务数据会实时更新,则本公开的模型更新方案针对实时业务数据能够做到及时的模型更新和结果反馈,下面具体描述本公开的模型更新方案。
图1是本公开一些实施例的基于联邦学习的模型更新方法的示意图。
如图1所示,如果模型是多个联邦树模型,基于联邦学习的模型更新方法包括步骤11-14,如果模型包括多个联邦树模型及其后面级联的任务预测模型(如神经网络模型),模型更新方法包括步骤11-15。模型更新方法例如可以由部署在联邦学习中业务数据会实时更新的参与方的模型更新装置执行。
在步骤11,获取实时业务数据。
联邦学习中业务数据会实时更新的参与方的模型更新装置获取该参与方本地的实时业务数据,然后执行后续步骤12-15。
实时业务数据是指更新比较频繁的业务数据。以银行和互联网金融公司的业务数据为例,银行拥有用户的资产、基金理财等相对来说比较固定的业务数据,而互联网金融公司拥有用户的网络购物信息、网络搜索浏览信息、旅游产品购买信息和保险购买信息等相对来说更新比较频繁的业务数据。以机器的业务数据为例,机器的类型、参数等基本信息是相对来说比较固定的业务数据,而其运行数据是相对于来说更新比较频繁的业务数据。
在步骤12,将实时业务数据分别输入经过训练的多个联邦树模型,得到相应的输出结果。
输出结果包括预测结果和实时业务数据基于多个联邦树模型处理得到的相应的特征表示(也称高阶特征表示)等。
在一些应用例中,如果实时业务数据包括用户的互联网消费数据,相应的输出结果为用户的信用等级信息。在另一些应用例中,如果实时业务数据包括机器的运行数据,相应的输出结果为机器的异常信息。
在步骤13,根据每个联邦树模型的输出结果确定相应联邦树模型的预测性能。
联邦树模型的预测性能例如包括:准确率(accuracy)、F1分数(F1-score)、或者,接收者操作特征曲线下的面积(area under receiving operating curve,AUC)等。
下面简要说明这些预测性能度量指标的确定方法。
准确率的公式表示为:(TP+TN)/(TP+FN+2FP)。
F1-score的公式表示为:2TP/(2TP+FP+FN)。
接收者操作特征曲线(receiver operating curve,ROC)所在坐标系的横轴为假正例率FPR,纵轴为真正例率TPR,TPR=TP/(TP+FN),FPR=FP/(TN+FP),接收者操作特征曲线下的面积AUC为接收者操作特征曲线ROC与横轴之间的面积。
上述各公式中的符号及其含义说明如下:
在步骤14,基于实时业务数据对预测性能达不到预设条件的联邦树模型进行训练,预测性能达到预设条件的联邦树模型不需要重新进行训练。
预设条件例如可以是针对不同的预测性能度量指标所设置的相应的性能阈值。
在步骤15,如果多个联邦树模型后面级联了任务预测模型,多个联邦树模型会向后面级联的任务预测模型输出实时业务数据基于多个联邦树模型处理得到的相应的特征表示(也称高阶特征表示),利用实时业务数据基于多个联邦树模型处理得到的相应的特征表示对经过训练的任务预测模型进行训练。
上述实施例,基于更新较频繁业务的实时业务数据,确定各个联邦树模型的预测性能,并且只需要对预测性能达不到预设条件的联邦树模型重新进行训练,预测性能达到预设条件的联邦树模型不需要重新进行训练,使得针对实时业务数据做到及时的模型更新和结果反馈,能够适用于联邦树模型的在线学习场景。此外,在联邦树模型后面级联例如神经网络模型等任务预测模型,并且任务预测模型(例如神经网络模型等)可以利用实时业务数据基于多个联邦树模型处理得到的相应的特征表示,在之前训练结果的基础上进行微调,进一步提升针对实时业务数据的模型更新和结果反馈的及时性。并且,由于联邦树模型对于大样本稀疏数据和大样本非连续特征数据的弱处理能力,通过联邦树模型与神经网络模型的结合,利用神经网络模型对于大样本稀疏数据和大样本非连续特征数据较强的处理能力,改善模型整体对于大样本稀疏数据和大样本非连续特征数据的处理能力。
本公开的基于联邦学习的模型更新方法可以适用于纵向联邦学习或横向联邦学习等联邦学习业务场景。下面以纵向联邦学习为例说明本公开的模型更新方法。
在多个参与方所包含的用户特征不相同、且用户样本基本相同的情况下,可以使用纵向联邦学习方法。以互联网金融公司和银行两家机构的联合风险控制场景为例,银行拥有用户的资产、基金理财等相对来说比较固定的业务数据,而互联网金融公司拥有用户的网络购物信息、网络搜索浏览信息、旅游产品购买信息和保险购买信息等相对来说更新比较频繁的业务数据。单独根据互联网金融公司或银行各自所拥有的业务数据都不足以构建一个可靠的用户风险判别模型,用来判别是否对某一用户进行贷款或者判别用户贷款风险概率。因此,互联网金融公司和银行都希望利用对方的业务数据联合建模,但是出于隐私安全考虑,无法将双方的数据直接聚合到一起,此时可以利用纵向联邦学习方法使得互联网金融公司和银行无需直接交换各自的业务数据却能够利用对方的业务数据进行用户风险判别模型的学习。与此同时,由于互联网的高频特性,互联网金融公司的业务数据变化快,用户风险判别模型需要频繁地更新,离线联邦学习技术难以适应,可以利用本公开的模型更新方法解决该问题。
如图2所示,用户风险判别模型包括多个联邦树模型和后面级联的神经网络模型,联邦树模型用来基于来自各机构的用户的原始特征学习用户的高阶特征,神经网络模型用来基于用户的高阶特征通过分类或回归等方式进行用户风险的预测。图2中的机构A和机构B分别表示互联网金融公司和银行。
用户风险判别模型的训练和更新过程如下:
首先,机构A和机构B分别收集本机构的业务数据,用于用户风险判别模型的训练。
接着,基于用户标识ID对机构A和机构B的业务数据进行对齐,例如,基于用户的手机号或身份证号对机构A和机构B的业务数据进行对齐。
接着,基于机构A和机构B的业务数据,利用纵向的树模型进行联邦学习和训练(联邦训练具体可以参考前述内容),训练完成之后,得到多个联邦树模型。
纵向的树模型例如是联邦(随机)森林、联邦化的GBDT(Gradient BoostingDecision Tree,梯度提升决策树)等。联邦化的GBDT例如是联邦化XGBoost(eXtremeGradient Boosting)、或者联邦化的LightGBM等。
每个联邦树模型都会有若干个叶子节点,每个用户样本必然会落到某个叶子结点上,该叶子结点的信息便是学习到的样本表征。
假设机构A的业务数据有100维特征(如表1所示),机构B的业务数据有150维特征(如表2所示),通过训练得到50个联邦树模型,机构A和机构B的业务数据经过50个联邦树模型处理得到相应的高阶特征(如表3所示)。
表1-机构A的业务数据
机构A的用户ID | 特征A1 | 特征A2 | … | 特征A100 | 样本标签 |
1 | |||||
2 | |||||
… | |||||
n |
表2-机构B的业务数据
机构B的用户ID | 特征B1 | 特征B2 | … | 特征B150 |
1 | ||||
2 | ||||
… | ||||
n |
表3-处理得到的用户高阶特征
用户ID | 高阶特征1 | 高阶特征2 | … | 高阶特征50 | 样本标签 |
1 | |||||
2 | |||||
… | |||||
n |
可见,在机构A和机构B在不泄露各自原始数据的情况下,得到用户的高阶特征,以及原始的样本标签。
接着,在提供样本标签的参与方的数据平台上,如在机构A的数据平台上,基于用户的高阶特征,进一步训练一个神经网络模型,来用于最终的用户风险判别。
至此,用户风险判别模型的初始训练过程结束。随着业务的进行,互联网金融公司的业务数据可能会实时变化,相应的,用户风险判别模型也需要相应更新。下面描述用户风险判别模型基于实时业务数据的更新过程。
将实时业务数据分别输入经过训练的多个联邦树模型,得到相应的分类结果和高阶特征。一方面,将实时业务数据相应的用户的高阶特征输入之前经过训练的神经网络模型,继续对神经网络模型进行训练和微调。另一方面,根据每个联邦树模型的分类结果以及设置的预测性能度量指标确定相应联邦树模型的预测性能,利用实时业务数据对预测性能达不到预设条件的联邦树模型进行训练,预测性能达到预设条件的联邦树模型不需要重新进行训练,使得高阶特征能更好地代表各机构的业务数据。从而,基于实时业务数据很快地实现用户风险判别模型的实时更新,可以适用于模型的在线学习场景。
图3是本公开一些实施例的基于联邦学习的模型更新装置的示意图。
如图3所示,模型更新装置30包括模块31-34。
获取模块31,被配置为获取实时业务数据。
输出模块32,被配置为将所述实时业务数据分别输入经过训练的多个联邦树模型,得到相应的输出结果。
确定模块33,被配置为根据每个联邦树模型的输出结果确定相应所述联邦树模型的预测性能。
重训练模块34,被配置为基于所述实时业务数据对预测性能达不到预设条件的联邦树模型进行训练。
在一些实施例中,输出模块32的输出结果包括所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示,所述重训练模块34还被配置为利用所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示对经过训练的任务预测模型进行训练。
在一些实施例中,模型更新装置30还包括:训练模块35,被配置为根据联邦树模型涉及的多个参与方中的任一参与方本地的原始数据、共享的联合建模任务的模型信息和其他参与方根据其本地的原始数据对每个待训练树模型训练得到的中间训练结果,分别对相应所述待训练树模型进行训练,得到经过训练的多个联邦树模型。对于多个待训练树模型,利用套袋法bagging或提升法boosting的集成学习方法,分别对各个待训练树模型进行训练,得到经过训练的多个联邦树模型。
在一些实施例中,在联邦树模型涉及的多个参与方中的提供业务标签的参与方,训练模块35,还被配置为根据业务标签和多个参与方的原始数据基于多个联邦树模型处理得到的相应的特征表示,对未经过训练的任务预测模型进行训练,得到经过训练的任务预测模型。
图4是本公开另一些实施例的基于联邦学习的模型更新装置的示意图。
如图4所示,模型更新装置40包括:存储器41以及耦接至该存储器41的处理器42,处理器42被配置为基于存储在存储器41中的指令,执行前述任意一些实施例中的模型更新方法。
其中,存储器41例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
模型更新装置40还可以包括输入输出接口43、网络接口44、存储接口45等。这些接口43,44,45以及存储器41和处理器42之间例如可以通过总线46连接。其中,输入输出接口43为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口44为各种联网设备提供连接接口。存储接口45为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (12)
1.一种基于联邦学习的模型更新方法,其特征在于,包括:
获取实时业务数据;
将所述实时业务数据分别输入经过训练的多个联邦树模型,得到相应的输出结果;
根据每个联邦树模型的输出结果确定相应所述联邦树模型的预测性能;以及
基于所述实时业务数据对预测性能达不到预设条件的联邦树模型进行训练。
2.根据权利要求1所述的方法,其特征在于,所述输出结果包括所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示,所述方法还包括:
利用所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示对经过训练的任务预测模型进行训练。
3.根据权利要求2所述的方法,其特征在于,所述任务预测模型包括神经网络模型。
4.根据权利要求1所述的方法,其特征在于,所述联邦树模型的预测性能包括:准确率、F1分数F1-score、接收者操作特征曲线下的面积AUC。
5.根据权利要求1或2所述的方法,其特征在于,还包括:
联邦树模型涉及的多个参与方中的任一参与方根据其本地的原始数据、共享的联合建模任务的模型信息和其他参与方根据其本地的原始数据对每个待训练树模型训练得到的中间训练结果,分别对相应所述待训练树模型进行训练,得到经过训练的多个联邦树模型。
6.根据权利要求5所述的方法,其特征在于,
利用套袋法bagging或提升法boosting的集成学习方法,分别对相应所述待训练树模型进行训练,得到经过训练的多个联邦树模型。
7.根据权利要求2或3所述的方法,其特征在于,还包括:
联邦树模型涉及的多个参与方中的提供业务标签的参与方根据业务标签和多个参与方的原始数据基于多个联邦树模型处理得到的相应的特征表示,对未经过训练的任务预测模型进行训练,得到经过训练的任务预测模型。
8.根据权利要求1-4任一项所述的方法,其特征在于,
所述实时业务数据包括用户的互联网消费数据,相应的输出结果包括用户的信用等级信息;
或者,所述实时业务数据包括机器的运行数据,相应的输出结果包括机器的异常信息。
9.一种基于联邦学习的模型更新装置,其特征在于,包括:
获取模块,被配置为获取实时业务数据;
输出模块,被配置为将所述实时业务数据分别输入经过训练的多个联邦树模型,得到相应的输出结果;
确定模块,被配置为根据每个联邦树模型的输出结果确定相应所述联邦树模型的预测性能;以及
重训练模块,被配置为基于所述实时业务数据对预测性能达不到预设条件的联邦树模型进行训练。
10.根据权利要求9所述的装置,其特征在于,所述输出结果包括所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示,
所述重训练模块,还被配置为利用所述实时业务数据基于多个联邦树模型处理得到的相应的特征表示对经过训练的任务预测模型进行训练。
11.一种基于联邦学习的模型更新装置,其特征在于,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行权利要求1-8中任一项所述的模型更新方法。
12.一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-8中任一项所述的基于联邦学习的模型更新方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010089998.2A CN113255935A (zh) | 2020-02-13 | 2020-02-13 | 基于联邦学习的模型更新方法和装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010089998.2A CN113255935A (zh) | 2020-02-13 | 2020-02-13 | 基于联邦学习的模型更新方法和装置以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113255935A true CN113255935A (zh) | 2021-08-13 |
Family
ID=77219990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010089998.2A Pending CN113255935A (zh) | 2020-02-13 | 2020-02-13 | 基于联邦学习的模型更新方法和装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113255935A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023155839A1 (zh) * | 2022-02-21 | 2023-08-24 | 维沃移动通信有限公司 | Ai模型的在线学习方法、装置、通信设备及可读存储介质 |
-
2020
- 2020-02-13 CN CN202010089998.2A patent/CN113255935A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023155839A1 (zh) * | 2022-02-21 | 2023-08-24 | 维沃移动通信有限公司 | Ai模型的在线学习方法、装置、通信设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10943186B2 (en) | Machine learning model training method and device, and electronic device | |
US11741361B2 (en) | Machine learning-based network model building method and apparatus | |
CN107944874B (zh) | 基于迁移学习的风控方法、装置及系统 | |
CN110263227B (zh) | 基于图神经网络的团伙发现方法和系统 | |
US8543522B2 (en) | Automatic rule discovery from large-scale datasets to detect payment card fraud using classifiers | |
Liao et al. | An ensemble-based model for two-class imbalanced financial problem | |
US20150262184A1 (en) | Two stage risk model building and evaluation | |
CN113449011A (zh) | 基于大数据预测的信息推送更新方法及大数据预测系统 | |
CN113449012A (zh) | 基于大数据预测的互联网服务挖掘方法及大数据预测系统 | |
Salehi et al. | Data mining approach to prediction of going concern using classification and regression tree (CART) | |
Zhu et al. | Loan default prediction based on convolutional neural network and LightGBM | |
CN110458690A (zh) | 一种信用评分模型的建立方法及装置 | |
Qian et al. | Partial multi-label learning via three-way decision-based tri-training | |
CN113255935A (zh) | 基于联邦学习的模型更新方法和装置以及存储介质 | |
Lai | Default Prediction of Internet Finance Users Based on Imbalance-XGBoost | |
CN114119191A (zh) | 风控方法、逾期预测方法、模型训练方法及相关设备 | |
CN111984842A (zh) | 银行客户数据处理方法及装置 | |
US11921821B2 (en) | System and method for labelling data for trigger identification | |
US20230342426A1 (en) | System and method for training a machine learning model to label data for trigger identification | |
Machado et al. | Credit risk modelling and prediction: Logistic regression versus machine learning boosting algorithms | |
Jayanthi et al. | Improved Bayesian regularisation using neural networks based on feature selection for software defect prediction | |
Karthika et al. | Credit card fraud detection based on ensemble machine learning classifiers | |
CN113743620A (zh) | 一种基于机器学习的财务数据造假识别方法及系统 | |
CN117009883B (zh) | 对象分类模型构建方法、对象分类方法、装置和设备 | |
Guo et al. | Evaluation and Optimization of Machine Learning Algorithms in Personalized Marketing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |