CN113221989B - 基于分布式的评估模型训练方法、系统以及装置 - Google Patents

基于分布式的评估模型训练方法、系统以及装置 Download PDF

Info

Publication number
CN113221989B
CN113221989B CN202110484488.XA CN202110484488A CN113221989B CN 113221989 B CN113221989 B CN 113221989B CN 202110484488 A CN202110484488 A CN 202110484488A CN 113221989 B CN113221989 B CN 113221989B
Authority
CN
China
Prior art keywords
evaluation
data
submodel
evaluated
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110484488.XA
Other languages
English (en)
Other versions
CN113221989A (zh
Inventor
张富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang eCommerce Bank Co Ltd
Original Assignee
Zhejiang eCommerce Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang eCommerce Bank Co Ltd filed Critical Zhejiang eCommerce Bank Co Ltd
Priority to CN202110484488.XA priority Critical patent/CN113221989B/zh
Publication of CN113221989A publication Critical patent/CN113221989A/zh
Application granted granted Critical
Publication of CN113221989B publication Critical patent/CN113221989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供基于分布式的评估模型训练方法、系统以及装置,其中所述基于分布式的评估模型训练方法包括:采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签,将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。

Description

基于分布式的评估模型训练方法、系统以及装置
技术领域
本说明书实施例涉及深度学习技术领域,特别涉及一种基于分布式的评估模型训练方法。本说明书一个或者多个实施例同时涉及一种基于分布式的评估模型训练系统,一种基于分布式的评估模型训练装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
机器学习技术被广泛地应用于各种业务应用场景。在实际应用场景中,使用机器学习模型作为业务模型来进行各种业务预测服务,比如,分类预测、风险预测等等。
在很多情况下,业务模型需要采用多个数据拥有方的业务数据来进行模型训练。多个数据拥有方(例如,电子商务公司、快递公司和银行)各自拥有训练业务模型所使用的特征数据的不同部分数据。该多个数据拥有方通常可通过数据共享的方式来统一训练业务模型,但这种情况下,若数据拥有方将数据共享至其他数据拥有方,那么这部分数据则存在被泄露的风险。因此,亟需一种有效的方法以解决此类问题。
发明内容
有鉴于此,本说明书实施例提供了一种基于分布式的评估模型训练方法。本说明书一个或者多个实施例同时涉及一种基于分布式的评估模型训练系统,一种基于分布式的评估模型训练装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种基于分布式的评估模型训练方法,包括:
采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签;
将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型;
向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果;
根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
可选地,所述将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,包括:
按照不同数据维度对所述待评估对象的历史操作数据进行筛选,获得多个历史操作数据集合;
将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
可选地,所述将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,包括:
对所述待评估对象的至少一个维度的历史操作数据进行组合,生成多个历史操作数据集合;
将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
可选地,所述根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,包括:
将所述目标历史操作数据集合中所述待评估对象的历史操作数据输入所述第一评估子模型,生成所述待评估对象的第二数据评估结果;
根据所述第一评估结果及所述第二评估结果对所述第一评估子模型进行筛选,获得所述目标评估子模型。
可选地,所述根据所述第一评估结果及所述第二评估结果对所述第一评估子模型进行筛选,获得所述目标评估子模型包括:
将所述第一评估结果与所述第二评估结果进行求和运算;
将求和运算结果大于预设阈值的第二评估结果对应的第一评估子模型作为所述目标评估子模型。
可选地,所述第一数据评估结果由所述第二计算节点对所述第二评估子模型输出的评估结果进行加密生成;
相应的,所述根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,包括:
将所述目标历史操作数据集合中所述待评估对象的历史操作数据输入所述第一评估子模型,生成所述待评估对象的评估结果;
基于所述第一数据评估结果、所述待评估对象的评估结果执行多方安全计算,并根据计算结果对所述第一评估子模型进行筛选,获得所述目标评估子模型。
可选地,所述基于分布式的评估模型训练方法,还包括:
对所述历史操作数据进行划分,生成第一数据集和第二数据集;
按照不同数据维度对所述第一数据集中的历史操作数据进行筛选,获得多个第一数据子集合;
将目标第一数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型。
可选地,所述基于分布式的评估模型训练方法,还包括:
按照所述目标第一数据集合中历史操作数据的数据维度,对所述第二数据集中的历史操作数据进行筛选,获得多个第二数据子集合;
将第二数据子集合作为测试数据,对所述第一评估子模型进行测试,并根据测试结果确定所述第一评估子模型中的目标评估子模型。
可选地,所述基于分布式的评估模型训练方法,还包括:
接收待评估对象的资源获取请求,所述资源获取请求中携带有所述待评估对象的标识信息;
根据所述标识信息获取所述待评估对象的历史操作数据,并将所述历史操作数据输入所述目标评估子模型,生成所述待评估对象的第一评估结果;
根据所述标识信息向所述第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用所述第二评估子模型对所述待评估对象的操作数据进行评估生成的第二评估结果;
根据所述第一评估结果以及所述第二评估结果确定所述待评估对象的目标评估结果;
根据目标评估结果确定所述待评估对象的资源分配额度,并基于所述资源分配额度向所述待评估对象进行资源分配。
根据本说明书实施例的第二方面,提供了一种基于分布式的评估模型训练系统,包括:
第一计算节点以及第二计算节点;
所述第一计算节点,被配置为采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签,将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,向所述第二计算节点发送所述待评估对象的数据评估结果的获取请求;
所述第二计算节点,被配置为接收所述获取请求,利用第二评估子模型对所述待评估对象的操作数据进行评估生成第一数据评估结果并返回;
所述第一计算节点,被配置为接收所述第一数据评估结果,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
可选地,所述基于分布式的评估模型训练系统,还包括:多方安全计算平台;
所述多方安全计算平台,被配置为向所述第一计算节点及所述第二计算节点发送模型训练指令。
根据本说明书实施例的第三方面,提供了一种基于分布式的评估模型训练装置,包括:
采集模块,被配置为采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签;
训练模块,被配置为将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型;
评估模块,被配置为向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果;
确定模块,被配置为根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
根据本说明书实施例的第四方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令以实现所述基于分布式的评估模型训练方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述基于分布式的评估模型训练方法的步骤。
本说明书一个实施例通过采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签,将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
本说明书实施例在第一计算节点训练获得第一评估子模型,以及第二计算节点训练获得第二评估子模型后,由第二计算节点将其自身所拥有的操作数据输入第二评估子模型进行评估,得到第一数据评估结果,并通过将所述第一数据评估结果发送至第一计算节点的方式,由第一计算节点利用所述第一数据评估结果对训练获得的多个第一评估子模型进行筛选,以确定目标评估子模型,通过这种方式,既有利于减小各计算节点的数据泄露的概率,又有利于保证训练获得的评估模型的准确性。
附图说明
图1是本说明书一个实施例提供的一种基于分布式的评估模型训练系统的架构图;
图2是本说明书一个实施例提供的一种基于分布式的评估模型训练方法的处理流程图;
图3是本说明书一个实施例提供的一种基于分布式的评估模型训练过程的交互示意图;
图4是本说明书一个实施例提供的一种基于分布式的评估模型训练装置的示意图;
图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
多方安全计算:一种基于多方数据协调完成计算目标,实现除计算结果及其可推导出的信息之外不泄露各方隐私数据的安全计算方案。
在本说明书中,提供了一种基于分布式的评估模型训练方法,本说明书同时涉及一种基于分布式的评估模型训练系统,一种基于分布式的评估模型训练装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
随着互联网的发展,目前日常生活中的很多服务项目均需基于用户数据实现,例如,金融机构在服务小微经营者、小微企业的过程中,无论是信贷业务中的授信、提额还是支用,均需依赖于用户的数据,金融机构通过与外部机构合作,采集外部机构数据作为用户授信风控依据(如:农业补贴、家庭信息等),金融机构与外部机构基于数据合作共同服务小微经营者、小微企业,助力实体经济。
但目前在双方或多方合作进行数据共享的过程中,涉及到的问题多为隐私泄露和数据滥用,随着用户对数据安全的重视,使得各机构间无法进行数据共享,进而导致各机构无法正常为用户提供服务。为解决各机构间数据共享的需求与隐私泄露之间的矛盾,本说明书实施例提供一种基于分布式的评估模型训练系统,实现除计算结果及其可推导出的信息之外不泄露各方隐私数据的安全实现方式。
具体的,本说明书实施例提供的一种基于分布式的评估模型训练系统的架构图如图1所示,包括:
第一计算节点102以及第二计算节点104;
所述第一计算节点102,被配置为采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签,将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,向所述第二计算节点104发送所述待评估对象的数据评估结果的获取请求;
所述第二计算节点104,被配置为接收所述获取请求,利用第二评估子模型对所述待评估对象的操作数据进行评估生成第一数据评估结果并返回;
所述第一计算节点102,被配置为接收所述第一数据评估结果,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
进一步的,所述基于分布式的评估模型训练系统,还包括:多方安全计算平台106;
所述多方安全计算平台106,被配置为向所述第一计算节点102及所述第二计算节点104发送模型训练指令。
其中,所述第一计算节点102以及所述至少一个第二计算节点104均为安全计算节点,每个节点均为一个独立的机构,可为用户提供不同的服务项目,并拥有用户在所述服务项目下的操作数据,在需要对用户的相关指标进行评估时,由于每个节点仅拥有用户在其所能提供的服务项目下的操作数据,因此,为保证对用户的相关指标进行评估获得的评估结果的准确性,本说明书实施例的多个计算节点通过多方安全计算的方式实现在不泄露各节点的隐私数据的条件下,将各节点的数据向其他计算节点共享。
具体即如图1所示,首先由用户建模,即建立初始待训练的第一评估子模型,并将所述待训练的第一评估子模型上传至多方安全计算平台,然后由多方安全计算平台将所述待训练的第一评估子模型下发至第一计算节点102以及至少一个第二计算节点104,并向所述第一计算节点102以及至少一个第二计算节点104发布模型训练指令,以由第一计算节点102基于自身所存储的待评估对象的历史操作数据对所述待训练的第一评估子模型进行训练,获得所述第一评估子模型,由至少一个第二计算节点104基于自身所存储的待评估对象的历史操作数据对所述待训练的第一评估子模型进行训练,获得第二评估子模型。
在各计算节点训练获得对应的评估子模型后,由第二计算节点将其自身所拥有的操作数据输入第二评估子模型进行评估,得到第一数据评估结果,并通过将所述第一数据评估结果发送至第一计算节点的方式,实现节点间的数据共享,由第一计算节点利用所述第一数据评估结果对训练获得的多个第一评估子模型进行筛选,以确定目标评估子模型。由第一计算节点102训练获得的所述目标评估子模型与所述至少一个第二计算节点104训练获得的第二评估子模型共同组成评估模型,其中,所述第二评估子模型可以是在第二计算节点训练获得的多个第二评估子模型中筛选获得。
通过这种方式,既有利于减小各计算节点的数据泄露的概率,又有利于保证训练获得的评估模型的准确性。
前述仅示意性的说明第一计算节点102的目标评估子模型的确定过程,至少一个第二计算节点104的目标评估子模型的确定过程与前述第一计算节点102的目标评估子模型的确定过程类似,在此不再赘述。
另外,所述多方安全计算平台还可用于监测各计算节点的运行状态,即通过对各计算节点进行心跳检测的方式确定各计算节点的运行状态是否正常,在检测到某计算节点的运行状态存在异常的情况下,则可向该计算节点所在的机构发送异常通知。
本说明书实施例所述的基于分布式的评估模型训练系统,可应用于信贷业务、理赔业务、公益业务以及其他指标评估业务等。
以应用于信贷业务为例,为精确估算用户当前信贷额度,往往需要综合利用多方数据,例如银行流水、征信数据、公积金等,但这些数据分别属于不同金融机构,对这部分数据的使用需要在不泄露用户隐私数据的条件下进行,因此,本说明书实施例在保证多方原始数据不进行共享的前提下通过交换信息量(如随机数等)来协同完成模型的训练及预测;模型训练结束后,各方只拥有训练出来的部分模型。在预测阶段,各方使用自己的部分模型及数据联合预测,获得最终的评估结果,以根据所述评估结果确定用户的信贷额度。整个过程中,多方数据及模型由自己保存,并做到数据及模型的隐私保护。
图2示出了根据本说明书一个实施例提供的一种基于分布式的评估模型训练方法的处理流程图,包括步骤202至步骤208。
步骤202,采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签。
具体的,本说明书实施例所述的基于分布式的评估模型训练方法,应用于第一计算节点,所述第一计算节点部署于分布式网络,同时,所述分布式网络中还部署有至少一个第二计算节点。
其中,所述待评估对象即为需要根据相关数据对其进行评估的对象,包括但不限于用户、企业、商家、店铺等;所述历史操作数据即所述待评估对象在所述第一计算节点提供的服务项目下办理相关业务生成的数据,所述属性标签即根据所述历史操作数据对所述待评估对象进行打标生成的所述待评估对象的标签。由于不同计算节点提供不同的服务项目,因此,不同计算节点所能采集的所述待评估对象的历史操作数据不同。
例如,若所述待评估对象为用户U,第一计算节点中用户U的历史操作数据即为用户U的语文、数学成绩,若用户U的语文、数学成绩均高于90分,则可确定所述用户为三好学生,所述属性标签则可以为1;第二计算节点中用户U的历史操作数据即为用户U的英语、体育成绩,若用户U的英语、体育成绩中存在任意一个科目的成绩低于90分,则可确定所述用户为非三好学生,所述属性标签则可以为0。所述属性标签基于各计算节点中所述用户U的全部历史操作数据整体对用户U进行打标生成。
实际应用中,从数据分布的角度考虑,数据采集可以分为集中式数据挖掘和分布式数据挖掘,其中分布式数据挖掘又可以分为垂直分布和水平分布的数据挖掘,本说明书实施例可采用垂直分布的方式采集所述待评估对象的历史操作数据。
步骤204,将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型。
具体的,在进行模型训练之前,首先由用户建模,即建立初始待训练的第一评估子模型,并将所述待训练的第一评估子模型上传至多方安全计算平台,然后由多方安全计算平台将所述待训练的第一评估子模型下发至第一计算节点,并向所述第一计算节点发布模型训练指令,以由第一计算节点基于自身所存储的待评估对象的历史操作数据以及所述历史操作数据对应的属性标签对所述待训练的第一评估子模型进行训练,获得所述第一评估子模型。
具体实施时,所述将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,具体可通过以下方式实现:
按照不同数据维度对所述待评估对象的历史操作数据进行筛选,获得多个历史操作数据集合;
将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
具体的,在进行模型训练之前,第一计算节点采集到所述第一计算节点自身所存储的所述待评估对象的多个数据维度的历史操作数据,并基于所述历史操作数据进行模型训练。但由于所述多个数据维度的历史操作数据中,存在部分历史操作数据在对待评估对象进行数据评估过程中起到的作用较小,即这部分数据对待评估对象的数据评估结果的影响较小,设置并无影响,因此,为保证模型的训练效率,在模型训练之前,可先对所述历史操作数据进行筛选,具体可按照不同数据维度对所述历史操作数据进行筛选,获得多个历史操作数据集合。
以所述待评估对象为用户,并训练获得用于对所述用户的综合成绩进行评估的评估模型为例,若采集的待评估对象的历史操作数据包括:用户的语文、数学、体育成绩、用户的家庭成员信息、用户的入学时间,那么历史操作数据中的用户的家庭成员信息、用户的入学时间可能对用户的综合成绩的评估并无影响,因此,在确定训练样本时,可将用户的家庭成员信息、用户的入学时间删除,并将剩余的历史操作数据组成所述历史操作数据集合;或者,在实际应用中,考虑到对用户的综合成绩的评估中,体育成绩所占的比重较小,则可以将体育成绩删除,并将其他历史操作数据组成所述历史操作数据集合。
实际应用中,具体的筛选方式可根据实际需求确定,在此不做限制。
通过不同的筛选方式获得不同的历史操作数据集合,为保证模型训练结果的准确性,本说明书实施例可分别将不同的历史操作数据集合作为训练样本,所述历史操作数据对应的属性标签作为样本标签进行模型训练,获得多个第一评估子模型,即利用每个历史操作数据集合训练得到一个第一评估子模型。
另外,所述将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,还可通过以下方式实现:
对所述待评估对象的至少一个维度的历史操作数据进行组合,生成多个历史操作数据集合;
将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
具体的,在进行模型训练之前,第一计算节点采集到所述第一计算节点自身所存储的所述待评估对象的多个数据维度的历史操作数据,并基于所述历史操作数据进行模型训练。由于采用不同数据维度的操作数据对待评估对象进行评估生成的评估结果不同,因此,为保证评估结果的准确性,本说明书实施例在进行模型训练的过程中,可将不同数据维度的历史操作数据进行组合,并将不同的组合结果分别作为训练样本进行模型训练,得到多个第一评估子模型。
仍以所述待评估对象为用户,并训练获得用于对所述用户的综合成绩进行评估的评估模型为例,若采集的待评估对象的历史操作数据包括:用户的语文、数学成绩,因此,在确定训练样本时,对所述待评估对象的至少一个维度的历史操作数据进行组合,即有三种不同组合方式,分别为:语文、数学、语文+数学三种,对待评估对象的历史操作数据按照上述三种组合方式进行数据组合,即可得到三个历史操作数据集合。
然后可分别将三个历史操作数据集合中包含的历史操作数据作为训练样本,所述历史操作数据对应的属性标签作为样本标签进行模型训练,获得三个第一评估子模型。
例如,将不同待评估对象的语文成绩作为训练样本,训练获得第一评估子模型M11;将不同待评估对象的数学成绩作为训练样本,训练获得第一评估子模型M12;将不同待评估对象的语文+数学成绩作为训练样本,训练获得第一评估子模型M13。
训练获得的第一评估子模型在应用过程中,若将待评估对象的历史操作数据输入所述第一评估子模型,所述第一评估子模型可通过对所述历史操作数据进行处理,生成所述待评估对象的评估结果,所述评估结果可以是具体的值,用于表征所述待评估对象的好坏。
步骤206,向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果。
具体的,由于第一计算节点所存储的历史操作数据仅是所述待评估对象的部分数据维度的数据,根据这部分数据无法得到所述待评估对象的准确评估结果,因此,在第一计算节点训练获得所述第一评估子模型,并且第二计算节点训练获得第二评估子模型后,为实现在各计算节点间隐私数据不进行共享的情况下,仍能保证各计算节点得到的所述待评估对象的评估结果的准确性,本说明书实施例在各计算节点间共享评估子模型的输出结果。
实际应用中,在第一计算节点训练获得第一评估子模型,第二计算节点训练获得第二评估子模型后,第一计算节点可向第二计算节点发送所述待评估对象的数据评估结果的获取请求,由第二计算节点将待评估对象的操作数据输入所述第二评估子模型进行评估,以生成所述待评估对象的第一数据评估结果,并由第二计算节点将所述第一数据评估结果发送至第一计算节点。
另外,由于第二计算节点的第二评估子模型的训练过程与前述第一评估子模型的训练过程类似,本说明书在此不做赘述。
仍以所述待评估对象为用户,并训练获得用于对所述用户的综合成绩进行评估的评估模型为例,若第二计算节点采集的待评估对象的操作数据包括:用户的英语、体育成绩,因此,在确定训练样本时,对所述待评估对象的至少一个维度的操作数据进行组合,即有三种不同组合方式,分别为:英语、体育、英语+体育三种,对待评估对象的操作数据按照上述三种组合方式进行数据组合,即可得到三个操作数据集合。
分别将上述三个操作数据集合中包含的操作数据作为训练样本进行模型训练,即可得到三个第二评估子模型。
例如,将不同待评估对象的英语成绩作为训练样本,训练获得第二评估子模型M21;将不同待评估对象的体育成绩作为训练样本,训练获得第二评估子模型M22;将不同待评估对象的英语+体育成绩作为训练样本,训练获得第二评估子模型M23。
第二计算节点接收到所述第一计算节点发送所述待评估对象的数据评估结果的获取请求后,可获取不同待评估对象的操作数据,并将所述操作数据中待评估对象的英语成绩输入第二评估子模型M21,获得模型输出的评估结果(第一分值F1);将所述操作数据中待评估对象的体育成绩输入第二评估子模型M22,获得模型输出的评估结果(第二分值F2);将所述操作数据中待评估对象的英语+体育成绩输入第二评估子模型M23,获得模型输出的评估结果(第三分值F3);并将上述评分结果作为待评估对象的第一数据评估结果发送至所述第一计算节点。
步骤208,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
具体的,第二计算节点利用第二评估子模型对不同数据维度的操作数据进行处理生成对应的评估结果,并将所述评估结果作为第一数据评估结果发送至第一计算节点后,第一计算节点可根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型。
第一计算节点确定目标评估子模型后,所述目标评估子模型与第二计算节点的第二评估子模型共同组成评估模型,即所述评估模型由多个子模型组成,不同子模型部署于不同的计算节点,以保证在评估模型应用过程中,由不同计算节点根据自身的操作数据对待评估对象进行评估,生成对应的评估结果,并将不同计算节点生成的评估结果进行整合,以根据整合结果确定待评估对象的目标评估结果,既有利于保证所述目标评估结果的准确性,又有利于保证各计算节点间不进行数据共享,以防止数据发生泄露。
具体实施时,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,包括:
将所述目标历史操作数据集合中所述待评估对象的历史操作数据输入所述第一评估子模型,生成所述待评估对象的第二数据评估结果;
根据所述第一评估结果及所述第二评估结果对所述第一评估子模型进行筛选,获得所述目标评估子模型。
进一步的,根据所述第一评估结果及所述第二评估结果对所述第一评估子模型进行筛选,获得所述目标评估子模型,包括:
将所述第一评估结果与所述第二评估结果进行求和运算;
将求和运算结果大于预设阈值的第二评估结果对应的第一评估子模型作为所述目标评估子模型。
具体的,由于所述第一评估子模型由所述目标历史操作数据集合中的历史操作数据训练获得,因此,在模型筛选过程中,仍需将目标历史操作数据集合中不同用户的历史操作数据分别输入所述第一评估子模型,以获取所述第一评估子模型输出的不同用户的第二评估结果。
沿用上例,将不同待评估对象的语文成绩作为训练样本,训练获得第一评估子模型M11;将不同待评估对象的数学成绩作为训练样本,训练获得第一评估子模型M12;将不同待评估对象的语文+数学成绩作为训练样本,训练获得第一评估子模型M13。因此,在确定目标评估子模型的过程中,可将所述目标历史操作数据集合中用户U的语文成绩输入第一评估子模型M11,得到用户U的评估结果(第四分值F4),将用户U的数学成绩输入第一评估子模型M12,得到用户U的评估结果(第五分值F5),将用户U的语文+数学成绩输入第一评估子模型M13,得到用户U的评估结果(第六分值F6)。
然后根据前述第二计算节点返回的第一数据评估结果中包含的第一分值F1、第二分值F2、第三分值F3确定目标评估子模型,具体可将第一分值F1、第二分值F2、第三分值F3分别与第四分值F4、第五分值F5、第六分值F6进行求和运算,并对运算结果按从大到小的顺序进行排序,确定排序结果中位于首位的运算结果的加数或被加数对应的分值,并将第一计算节点中输出该分值的评估子模型确定为目标评估子模型,有利于保证所述目标评估结果的准确性。
具体实施时,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,具体可通过以下方式实现:
将所述目标历史操作数据集合中所述待评估对象的历史操作数据输入所述第一评估子模型,生成所述待评估对象的评估结果;
基于所述第一数据评估结果、所述待评估对象的评估结果执行多方安全计算,并根据计算结果对所述第一评估子模型进行筛选,获得所述目标评估子模型。
具体的,第二计算节点可将所述评估结果作为计算参数发送至第一计算节点,由第一计算节点执行多方安全计算,以确定目标评估子模型。
其中,所述计算参数具体是指由参与多方安全计算的各计算节点,基于搭载的多方安全计算算法生成的,与各计算节点持有的隐私数据相关的计算参数;各计算节点需要计算节点之间通过交互消息互相传输生成的计算参数,并基于收集到的各计算节点生成的计算参数来执行多方安全计算。
在实际应用中,上述计算参数通常可以包括:需要参与多方安全计算的随机数;和/或,需要参与多方安全计算的密文数据。
本说明书实施例中,所述计算参数即需要参与多方安全计算的密文数据,具体即由不同计算节点对节点中评估子模型输出的待评估对象的评估结果利用多方安全计算算法进行加密生成的加密结果。
第一计算节点接收到第二计算节点返回的第一加密结果后,对第一评估子模型输出的所述待评估对象的评估结果利用多方安全计算算法进行加密生成第二加密结果,并基于所述第一加密结果及所述第二加密结果进行运算,具体可以是求和运算或乘积运算等,生成对应的运算结果后,利用多方安全计算算法对所述运算结果进行解密,以根据解密结果对所述第一评估子模型进行筛选,获得目标评估子模型,具体可将解密结果中分值大于预设阈值的评估结果对应的第一评估子模型作为所述目标评估子模型。
实际应用中,所述多方安全计算算法具体可以是基于同态加密的多方安全计算。
具体实施时,在采集获得待评估对象的历史操作数据后,可将所述历史操作数据划分为两部分,分别为训练数据和测试数据,并利用所述训练数据进行模型训练,具体可通过以下方式实现:
对所述历史操作数据进行划分,生成第一数据集和第二数据集;
按照不同数据维度对所述第一数据集中的历史操作数据进行筛选,获得多个第一数据子集合;
将目标第一数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型。
进一步的,训练获得第一评估子模型后,还可利用第二数据集合中的历史操作数据对第一评估子模型进行测试,以根据测试结果确定目标评估子模型,具体可通过以下方式实现:
按照所述目标第一数据集合中历史操作数据的数据维度,对所述第二数据集中的历史操作数据进行筛选,获得多个第二数据子集合;
将第二数据子集合作为测试数据,对所述第一评估子模型进行测试,并根据测试结果确定所述第一评估子模型中的目标评估子模型。
具体的,在采集获得待评估对象的历史操作数据后,可将所述历史操作数据划分为两部分,分别为训练数据和测试数据,并利用所述训练数据进行模型训练,利用所述测试数据对训练获得的第一评估子模型进行测试,以根据测试结果筛选目标评估子模型。
例如,第一计算节点采集到待评估对象的12条历史操作数据,分别包含用户U1至用户U6的语文、数学成绩,并将这12条数据随机拆分为两份,其中一份数据包含用户U1、用户U3以及用户U4的语文、数学成绩,另一份数据包含用户U2、用户U5、用户U6的语文、数学成绩,拆分完成后,可将用户U1、用户U3以及用户U4的语文、数学成绩作为训练数据,进行模型训练。
具体可对用户U1、用户U3以及用户U4的语文、数学成绩进行组合,得到不同的历史操作数据集合,其中,集合11中包含用户U1、用户U3以及用户U4的语文成绩,集合12中包含用户U1、用户U3以及用户U4的数学成绩,集合13中包含用户U1、用户U3以及用户U4的语文+数学成绩,然后分别将集合11、集合12、集合13中包含的数据作为训练样本,所述历史操作数据对应的属性标签作为样本标签,进行模型训练,得到多个不同的第一评估子模型(子模型M11、子模型M12、子模型M13)。
训练获得第一评估子模型后,可将用户U2、用户U5、用户U6的语文、数学成绩作为测试样本,对所述多个不同的第一评估子模型进行测试;具体可将用户U2、用户U5、用户U6的语文、数学成绩进行组合,得到不同的测试集合,其中,集合21中包含用户U2、用户U5、用户U6的语文成绩,集合22中包含用户U2、用户U5、用户U6的数学成绩,集合23中包含用户U2、用户U5、用户U6的语文+数学成绩;然后可将集合21中的数据输入子模型M11、将集合22中的数据输入子模型M12、将集合23中的数据输入子模型M13,以对上述三个子模型进行测试,以根据测试结果确定目标评估子模型。
实际应用中,在模型训练过程中,可将采集到的历史操作数据转化为特征向量,以利用特征向量进行模型训练,并且,在模型训练过程中,可采用梯度下降算法对评估子模型的模型参数进行调整,有利于保证所述目标评估结果的准确性。
另外,在训练获得评估模型后,可利用模型应用的过程中生成的操作数据持续对所述评估模型进行优化。
具体实施时,评估模型的应用过程具体可通过以下方式实现:
接收待评估对象的资源获取请求,所述资源获取请求中携带有所述待评估对象的标识信息;
根据所述标识信息获取所述待评估对象的历史操作数据,并将所述历史操作数据输入所述目标评估子模型,生成所述待评估对象的第一评估结果;
根据所述标识信息向所述第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用所述第二评估子模型对所述待评估对象的操作数据进行评估生成的第二评估结果;
根据所述第一评估结果以及所述第二评估结果确定所述待评估对象的目标评估结果;
根据目标评估结果确定所述待评估对象的资源分配额度,并基于所述资源分配额度向所述待评估对象进行资源分配。
具体的,由于训练获得的评估模型由多个评估子模型组成,并且各评估子模型分别部署于不同的计算节点,在任意一个计算节点需要对待评估对象进行评估的情况下,均需向其他计算节点获取所述待评估对象的评估结果,并将各节点的评估结果进行整合,以根据整合结果确定待评估对象的目标评估结果。
以所述评估模型应用于信贷业务为例,用户向第一计算节点(信贷机构)发送资源获取请求,请求信贷机构为其发放贷款资源,第一计算节点在向用户发放资源之前,需对用户的信用分值进行评估,为保证评估结果的准确性,需结合其他机构对所述用户的评估结果对用户做整体评价。
因此,第一计算节点接收资源获取请求后,可先根据节点自身拥有的所述用户的历史操作数据对用户进行评估,然后向其他计算节点发送所述用户的信用分值评估结果的获取请求,由其他计算节点利用自身的第二评估子模型对所述用户的操作数据进行评估生成对应的评估结果,并将评估结果返回至第一计算节点,然后由第一计算节点结合其他计算节点返回的评估结果对用户做整体评价,具体可将各评估结果相加,以根据相加的结果确定所述用户的资源分配额度,最后基于所述资源分配额度向所述用户进行资源分配。
另外,本说明书实施例仅示意性说明第一计算节点的目标评估子模型的确定过程,分布式网络中其他第二计算节点的目标评估子模型的确定过程与第一计算节点的目标评估子模型的确定过程类似,在此不再赘述,第一计算节点与第二计算节点的目标评估子模型共同组成所述评估模型。
本说明书一个实施例通过采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签,将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果,根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
本说明书实施例在第一计算节点训练获得第一评估子模型,以及第二计算节点训练获得第二评估子模型后,由第二计算节点将其自身所拥有的操作数据输入第二评估子模型进行评估,得到第一数据评估结果,并通过将所述第一数据评估结果发送至第一计算节点的方式,由第一计算节点利用所述第一数据评估结果对训练获得的多个第一评估子模型进行筛选,以确定目标评估子模型,通过这种方式,既有利于减小各计算节点的数据泄露的概率,又有利于保证训练获得的评估模型的准确性。
下述结合附图3,以本说明书提供的基于分布式的评估模型训练方法在借贷场景的应用为例,对所述基于分布式的评估模型训练方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种基于分布式的评估模型训练过程的交互示意图,具体步骤包括步骤302至步骤340。
步骤302,多方安全计算平台接收用户上传的初始待训练的第一评估子模型。
步骤304,多方安全计算平台将初始待训练的第一评估子模型发布至第一计算节点。
步骤306,多方安全计算平台将初始待训练的第一评估子模型发布至第二计算节点。
步骤308,多方安全计算平台向第一计算节点发送模型训练指令。
步骤310,多方安全计算平台向第二计算节点发送模型训练指令。
步骤312,第一计算节点采集用户的历史借贷数据以及所述历史借贷数据对应的属性标签;
步骤314,第一计算节点将所述历史借贷数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型。
步骤316,第二计算节点采集用户的属性数据以及所述属性数据对应的属性标签;
步骤318,第二计算节点将所述属性数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第二评估子模型。
步骤320,第一计算节点向第二计算节点发送所述属性的信用评估结果的获取请求。
步骤322,第二计算节点利用第二评估子模型对所述用户的属性数据进行评估生成的第一信用评估结果。
步骤324,第二计算节点将所述第一信用评估结果发送至第一计算节点。
步骤326,第一计算节点根据所述第一信用评估结果确定所述第一评估子模型中的目标评估子模型。
步骤328,第一计算节点接收用户的借贷请求。
其中,所述借贷请求中携带有所述用户的标识信息;
步骤330,第一计算节点根据所述标识信息获取所述用户的历史借贷数据,并将所述历史借贷数据输入所述目标评估子模型,生成所述用户的信用评估结果。
步骤332,第一计算节点根据所述标识信息向所述第二计算节点发送所述用户的信用评估结果的获取请求。
步骤334,第二计算节点利用第二评估子模型对所述用户的属性数据进行评估生成的信用评估结果。
步骤336,第二计算节点将所述信用评估结果发送至第一计算节点。
步骤338,第一计算节点根据所述信用评估结果确定所述用户的目标评估结果。
步骤340,第一计算节点根据目标评估结果确定所述用户的资源借贷额度,并基于所述资源借贷额度向所述用户进行资源分配。
本说明书实施例在第一计算节点训练获得第一评估子模型,以及第二计算节点训练获得第二评估子模型后,由第二计算节点将其自身所拥有的属性数据输入第二评估子模型进行评估,得到第一信用评估结果,并通过将所述第一信用评估结果发送至第一计算节点的方式,由第一计算节点利用所述第一信用评估结果对训练获得的多个第一评估子模型进行筛选,以确定目标评估子模型,通过这种方式,既有利于减小各计算节点的数据泄露的概率,又有利于保证训练获得的评估模型的准确性。
与上述方法实施例相对应,本说明书还提供了基于分布式的评估模型训练装置实施例,图4示出了本说明书一个实施例提供的一种基于分布式的评估模型训练装置的示意图。如图4所示,该装置包括:
采集模块402,被配置为采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签;
训练模块404,被配置为将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型;
评估模块406,被配置为向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果;
确定模块408,被配置为根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
可选地,所述训练模块404,包括:
筛选子模块,被配置为按照不同数据维度对所述待评估对象的历史操作数据进行筛选,获得多个历史操作数据集合;
第一训练子模块,被配置为将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
可选地,所述训练模块404,包括:
组合子模块,被配置为对所述待评估对象的至少一个维度的历史操作数据进行组合,生成多个历史操作数据集合;
第二训练子模块,被配置为将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
可选地,所述确定模块408,包括:
生成子模块,被配置为将所述目标历史操作数据集合中所述待评估对象的历史操作数据输入所述第一评估子模型,生成所述待评估对象的第二数据评估结果;
第一筛选子模块,被配置为根据所述第一评估结果及所述第二评估结果对所述第一评估子模型进行筛选,获得所述目标评估子模型。
可选地,所述筛选子模块,包括:
运算单元,被配置为将所述第一评估结果与所述第二评估结果进行求和运算;
确定单元,被配置为将求和运算结果大于预设阈值的第二评估结果对应的第一评估子模型作为所述目标评估子模型。
可选地,所述第一数据评估结果由所述第二计算节点对所述第二评估子模型输出的评估结果进行加密生成;
相应的,所述确定模块408,包括:
评估结果生成子模块,被配置为将所述目标历史操作数据集合中所述待评估对象的历史操作数据输入所述第一评估子模型,生成所述待评估对象的评估结果;
第二筛选子模块,被配置为基于所述第一数据评估结果、所述待评估对象的评估结果执行多方安全计算,并根据计算结果对所述第一评估子模型进行筛选,获得所述目标评估子模型。
可选地,所述基于分布式的评估模型训练装置,还包括:
划分模块,被配置为对所述历史操作数据进行划分,生成第一数据集和第二数据集;
第一筛选模块,被配置为按照不同数据维度对所述第一数据集中的历史操作数据进行筛选,获得多个第一数据子集合;
模型训练模块,被配置为将目标第一数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型。
可选地,所述基于分布式的评估模型训练装置,还包括:
第二筛选模块,被配置为按照所述目标第一数据集合中历史操作数据的数据维度,对所述第二数据集中的历史操作数据进行筛选,获得多个第二数据子集合;
测试模块,被配置为将第二数据子集合作为测试数据,对所述第一评估子模型进行测试,并根据测试结果确定所述第一评估子模型中的目标评估子模型。
可选地,所述基于分布式的评估模型训练装置,还包括:
接收模块,被配置为接收待评估对象的资源获取请求,所述资源获取请求中携带有所述待评估对象的标识信息;
输入模块,被配置为根据所述标识信息获取所述待评估对象的历史操作数据,并将所述历史操作数据输入所述目标评估子模型,生成所述待评估对象的第一评估结果;
发送模块,被配置为根据所述标识信息向所述第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用所述第二评估子模型对所述待评估对象的操作数据进行评估生成的第二评估结果;
目标评估结果确定模块,被配置为根据所述第一评估结果以及所述第二评估结果确定所述待评估对象的目标评估结果;
资源分配模块,被配置为根据目标评估结果确定所述待评估对象的资源分配额度,并基于所述资源分配额度向所述待评估对象进行资源分配。
上述为本实施例的一种基于分布式的评估模型训练装置的示意性方案。需要说明的是,该基于分布式的评估模型训练装置的技术方案与上述的基于分布式的评估模型训练方法的技术方案属于同一构思,基于分布式的评估模型训练装置的技术方案未详细描述的细节内容,均可以参见上述基于分布式的评估模型训练方法的技术方案的描述。
图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。
计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中,所述存储器510用于存储计算机可执行指令,处理器520用于执行如下计算机可执行指令:
采集待评估对象的历史操作数据以及所述历史操作数据对应的属性标签;
将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型;
向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用第二评估子模型对所述待评估对象的操作数据进行评估生成的第一数据评估结果;
根据所述第一数据评估结果确定所述第一评估子模型中的目标评估子模型,所述目标评估子模型与所述第二评估子模型组成评估模型。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的基于分布式的评估模型训练方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述基于分布式的评估模型训练方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于实现所述基于分布式的评估模型训练方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的基于分布式的评估模型训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述基于分布式的评估模型训练方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种基于分布式的评估模型训练方法,应用于第一计算节点,包括:
采集待评估对象在目标业务中的历史操作数据以及所述历史操作数据对应的属性标签;
将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得至少两个第一评估子模型;
向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用至少两个第二评估子模型对所述待评估对象在所述目标业务中的操作数据进行评估生成的第一数据评估结果,其中,所述第二评估子模型由所述第二计算节点基于存储的所述待评估对象在所述目标业务中的历史操作数据对待训练的第一评估子模型进行训练获得;
将所述历史操作数据输入所述至少两个第一评估子模型,生成所述待评估对象的第二数据评估结果;
对所述第一数据评估结果和所述第二数据评估结果进行运算处理,将运算处理结果大于预设阈值的第二数据评估结果对应的第一评估子模型作为第一目标评估子模型,并将运算处理结果大于预设阈值的第一数据评估结果对应的第二评估子模型作为第二目标评估子模型,所述第一目标评估子模型与所述第二目标评估子模型组成评估模型。
2.根据权利要求1所述的基于分布式的评估模型训练方法,所述将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得至少两个第一评估子模型,包括:
按照不同数据维度对所述待评估对象的历史操作数据进行筛选,获得多个历史操作数据集合;
将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
3.根据权利要求1所述的基于分布式的评估模型训练方法,所述将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得至少两个第一评估子模型,包括:
对所述待评估对象的至少一个维度的历史操作数据进行组合,生成多个历史操作数据集合;
将目标历史操作数据集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得第一评估子模型,其中,所述目标历史操作数据集合为所述多个历史操作数据集合之一。
4.根据权利要求1所述的基于分布式的评估模型训练方法,所述对所述第一数据评估结果和所述第二数据评估结果进行运算处理,将运算处理结果大于预设阈值的第二数据评估结果对应的第一评估子模型作为第一目标评估子模型包括:
将所述第一数据评估结果与所述第二数据评估结果进行求和运算;
将求和运算结果大于预设阈值的第二数据评估结果对应的第一评估子模型作为第一目标评估子模型。
5.根据权利要求2或3所述的基于分布式的评估模型训练方法,所述对所述第一数据评估结果和所述第二数据评估结果进行运算处理,将运算处理结果大于预设阈值的第二数据评估结果对应的第一评估子模型作为第一目标评估子模型,包括:
基于所述第一数据评估结果、所述第二数据评估结果执行多方安全计算,并将计算结果大于预设阈值的第二数据评估结果对应的第一评估子模型作为第一目标评估子模型。
6.根据权利要求1所述的基于分布式的评估模型训练方法,还包括:
对所述历史操作数据进行划分,生成第一数据集和第二数据集;
按照不同数据维度对所述第一数据集中的历史操作数据进行筛选,获得多个第一数据子集合;
将目标第一数据子集合作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得所述第一评估子模型,其中,所述目标第一数据子集合为所述多个第一数据子集合之一。
7.根据权利要求1所述的基于分布式的评估模型训练方法,还包括:
接收待评估对象的资源获取请求,所述资源获取请求中携带有所述待评估对象的标识信息;
根据所述标识信息获取所述待评估对象在所述目标业务中的历史操作数据,并将所述历史操作数据输入所述目标评估子模型,生成所述待评估对象的第一评估结果;
根据所述标识信息向所述第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用所述第二评估子模型对所述待评估对象在所述目标业务中的操作数据进行评估生成的第二评估结果;
根据所述第一评估结果以及所述第二评估结果确定所述待评估对象的目标评估结果;
根据目标评估结果确定所述待评估对象的资源分配额度,并基于所述资源分配额度向所述待评估对象进行资源分配。
8.一种基于分布式的评估模型训练系统,包括:
第一计算节点以及第二计算节点;
所述第一计算节点,被配置为采集待评估对象在目标业务中的历史操作数据以及所述历史操作数据对应的属性标签,将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得至少两个第一评估子模型,向所述第二计算节点发送所述待评估对象的数据评估结果的获取请求;
所述第二计算节点,被配置为接收所述获取请求,利用至少两个第二评估子模型对所述待评估对象在所述目标业务中的操作数据进行评估生成第一数据评估结果并返回,其中,所述第二评估子模型由所述第二计算节点基于存储的所述待评估对象在所述目标业务中的历史操作数据对待训练的第一评估子模型进行训练获得;
所述第一计算节点,被配置为接收所述第一数据评估结果,将所述历史操作数据输入所述至少两个第一评估子模型,生成所述待评估对象的第二数据评估结果,对所述第一数据评估结果和所述第二数据评估结果进行运算处理,将运算处理结果大于预设阈值的第二数据评估结果对应的第一评估子模型作为第一目标评估子模型,并将运算处理结果大于预设阈值的第一数据评估结果对应的第二评估子模型作为第二目标评估子模型,所述第一目标评估子模型与所述第二目标评估子模型组成评估模型。
9.根据权利要求8所述的基于分布式的评估模型训练系统,还包括:多方安全计算平台;
所述多方安全计算平台,被配置为向所述第一计算节点及所述第二计算节点发送模型训练指令。
10.一种基于分布式的评估模型训练装置,包括:
采集模块,被配置为采集待评估对象在目标业务中的历史操作数据以及所述历史操作数据对应的属性标签;
训练模块,被配置为将所述历史操作数据作为训练样本,所述属性标签作为样本标签,对第一评估子模型进行训练,获得至少两个第一评估子模型;
评估模块,被配置为向第二计算节点发送所述待评估对象的数据评估结果的获取请求,并接收所述第二计算节点利用至少两个第二评估子模型对所述待评估对象在所述目标业务中的操作数据进行评估生成的第一数据评估结果,其中,所述第二评估子模型由第二计算节点基于存储的所述待评估对象在所述目标业务中的历史操作数据对待训练的第一评估子模型进行训练获得;
确定模块,被配置为将所述历史操作数据输入所述至少两个第一评估子模型,生成所述待评估对象的第二数据评估结果,对所述第一数据评估结果和所述第二数据评估结果进行运算处理,将运算处理结果大于预设阈值的第二数据评估结果对应的第一评估子模型作为第一目标评估子模型,并将运算处理结果大于预设阈值的第一数据评估结果对应的第二评估子模型作为第二目标评估子模型,所述第一目标评估子模型与所述第二目标评估子模型组成评估模型。
11.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令时实现权利要求1至7任意一项所述基于分布式的评估模型训练方法的步骤。
12.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至7任意一项所述基于分布式的评估模型训练方法的步骤。
CN202110484488.XA 2021-04-30 2021-04-30 基于分布式的评估模型训练方法、系统以及装置 Active CN113221989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484488.XA CN113221989B (zh) 2021-04-30 2021-04-30 基于分布式的评估模型训练方法、系统以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484488.XA CN113221989B (zh) 2021-04-30 2021-04-30 基于分布式的评估模型训练方法、系统以及装置

Publications (2)

Publication Number Publication Date
CN113221989A CN113221989A (zh) 2021-08-06
CN113221989B true CN113221989B (zh) 2022-09-02

Family

ID=77090618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484488.XA Active CN113221989B (zh) 2021-04-30 2021-04-30 基于分布式的评估模型训练方法、系统以及装置

Country Status (1)

Country Link
CN (1) CN113221989B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119214A (zh) * 2022-01-28 2022-03-01 中国测绘科学研究院 一种基于多方安全计算的信用评估计算方法
CN116701923B (zh) * 2022-10-13 2024-05-17 荣耀终端有限公司 算子性能的评估方法和评估装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060212386A1 (en) * 2005-03-15 2006-09-21 Willey Dawn M Credit scoring method and system
CN105959235B (zh) * 2016-07-21 2019-02-12 中国工商银行股份有限公司 分布式数据处理系统及方法
WO2019010331A1 (en) * 2017-07-05 2019-01-10 Ripio International CREDIT NETWORK BASED ON INTELLIGENT CONTRACT
CN109559214A (zh) * 2017-09-27 2019-04-02 阿里巴巴集团控股有限公司 虚拟资源分配、模型建立、数据预测方法及装置
CN108734338A (zh) * 2018-04-24 2018-11-02 阿里巴巴集团控股有限公司 基于lstm模型的信用风险预测方法及装置
CN108550077A (zh) * 2018-04-27 2018-09-18 信雅达系统工程股份有限公司 一种面向大规模非平衡征信数据的个人信用风险评估方法及评估系统
CN110827131B (zh) * 2018-07-23 2022-06-28 中国软件与技术服务股份有限公司 一种分布式自动特征组合的纳税人信用评估方法
CN109767312B (zh) * 2018-12-10 2023-05-09 江西师范大学 一种信用评估模型训练、评估方法与装置
CN111464583B (zh) * 2019-01-22 2023-04-07 阿里巴巴集团控股有限公司 计算资源分配方法、装置、服务器及存储介质
US20200250511A1 (en) * 2019-02-01 2020-08-06 Zhaoyang Hu Artist comprehensive ability evaluation and cultivation assistant system based on artificial intelligence
CN112115258B (zh) * 2019-06-20 2023-09-26 腾讯科技(深圳)有限公司 一种用户的信用评价方法、装置、服务器及存储介质
CN112101520A (zh) * 2020-08-10 2020-12-18 中国平安人寿保险股份有限公司 风险评估模型训练方法、业务风险评估方法及其他设备
CN112668859A (zh) * 2020-12-23 2021-04-16 平安普惠企业管理有限公司 基于大数据的客户风险评级方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113221989A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
WO2018236761A1 (en) SYSTEMS AND METHODS FOR DETERMINING AND USING SEMANTIC CONNECTION BETWEEN MULTIPLE SOURCES IN NATURAL LANGUAGE TO DETERMINE FORCES AND WEAKNESSES
CN111915023B (zh) 一种基于联邦学习的超参数确定方法及装置
Almarashdeh et al. An overview of technology evolution: Investigating the factors influencing non-bitcoins users to adopt bitcoins as online payment transaction method
CN111340558B (zh) 基于联邦学习的线上信息处理方法、装置、设备及介质
CN109189937B (zh) 一种特征关系推荐方法及装置、一种计算设备及存储介质
CN113221989B (zh) 基于分布式的评估模型训练方法、系统以及装置
CN110070452B (zh) 模型训练方法、装置、计算设备及计算机可读存储介质
Hamid et al. Usability evaluation of mobile banking applications in digital business as emerging economy
CN111783144A (zh) 基于区块链的数据处理方法以及装置
US10678821B2 (en) Evaluating theses using tree structures
CN110059178A (zh) 问题派发方法及装置
CN111985857A (zh) 审核方法以及装置
Perrina et al. Agir: Automating cyber threat intelligence reporting with natural language generation
CN109241249B (zh) 一种确定突发问题的方法及装置
CN114742645B (zh) 基于多阶段时序多任务的用户安全等级识别方法及装置
CN113138847A (zh) 基于联邦学习的计算机资源分配调度方法和装置
CN110046233A (zh) 问题派发方法及装置
CN113032838B (zh) 基于隐私计算的标签预测模型生成方法、预测方法、模型生成装置、系统及介质
Huo et al. Fuzzy trust evaluation based on consistency intensity for cloud services
CN115099934A (zh) 一种高潜客户识别方法、电子设备和存储介质
Parthasarathy et al. A framework for managing ethics in data science projects
CN112365189A (zh) 案件分配方法及装置
Yevseiev et al. Algorithm of information security risk assessment based on fuzzy-multiple approach
Talib et al. An analysis of the barriers to the proliferation of M-commerce in Qatar
Mozhaiev et al. Method of modeling of a social profile using big data structure transformation optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant