CN113159314A - 业务模型的训练方法、装置及系统 - Google Patents

业务模型的训练方法、装置及系统 Download PDF

Info

Publication number
CN113159314A
CN113159314A CN202110362875.6A CN202110362875A CN113159314A CN 113159314 A CN113159314 A CN 113159314A CN 202110362875 A CN202110362875 A CN 202110362875A CN 113159314 A CN113159314 A CN 113159314A
Authority
CN
China
Prior art keywords
source domain
party
target
model
business model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110362875.6A
Other languages
English (en)
Inventor
肖凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110362875.6A priority Critical patent/CN113159314A/zh
Publication of CN113159314A publication Critical patent/CN113159314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种业务模型的训练方法、装置及系统，在训练方法中，先由第一方基于本地丰富的源域样本，训练高性能业务模型，并将其发送给第二方。之后第一方利用知识蒸馏法，训练轻量化业务模型。具体以第一业务模型为老师模型，第二业务模型为学生模型，再结合源域样本指导学生模型训练。之后，第一方将训练后的第二业务模型发送给第二方，第二方再次利用知识蒸馏法，微调接收的第二业务模型。具体以接收的第一业务模型为老师模型，接收的第二业务模型为学生模型，再结合目标域样本微调学生模型，得到目标业务模型。

Description

业务模型的训练方法、装置及系统
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种业务模型的训练方法、装置及系统。
背景技术
在数据挖掘等众多场景中，部分领域(以下称目标域)的数据量通常是有限的。例如某个业务刚起步，那么与该业务相关的数据量是有限的，因此无法直接使用有监督的机器学习方法进行建模。在该种情况下，通常需要借助数据量较大领域(以下称源域)的业务数据，来辅助目标域建模。然而由于源域和目标域存在些许差别，因此不能直接把源域的模型用到目标域，需要对源域的模型进行参数调整。这里对源域的模型进行参数调整以适应目标域的过程称为模型迁移或迁移学习。
现有的主流迁移学习方案，通常需要将源域和目标域的数据放在一起使用，然而由于业务竞争、数据隐私问题和监管要求等方面因素，通常不能直接将源域和目标域的数据放在一起使用。因此，需要迫切需要一种业务模型训练方案，以解决现有的迁移学习所存在的问题。
发明内容
本说明书一个或多个实施例描述了一种业务模型的训练方法、装置及系统，可以在保证各方数据隐私不泄露的情况下，训练业务模型。
第一方面，提供了一种业务模型的训练方法，包括：
所述第一方基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
所述第二方将各目标域样本输入训练后的第一业务模型，得到所述各目标域样本各自的第二预测结果；
所述第一方将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
所述第一方将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方；其中所述第二业务模型的参数数量小于所述第一业务模型的参数数量；
所述第二方将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
第二方面，提供了一种业务模型的训练方法，包括：
基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方，以供所述第二方基于各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型；其中，所述第二业务模型的参数数量小于所述第一业务模型的参数数量；所述目标域标签，是所述第二方将所述各目标域样本输入训练后的第一业务模型得到的预测结果。
第三方面，提供了一种业务模型的训练方法，包括：
从所述第一方接收第一业务模型，该第一业务模型是所述第一方基于各源域样本以及各自的第一源域标签训练得到；
将各目标域样本输入所述第一业务模型，得到所述各目标域样本各自的第二预测结果；
从所述第一方接收第二业务模型，该第二业务模型的参数数量小于所述第一业务模型的参数数量，并且该第二业务模型是所述第一方基于所述各源域样本以及各自的第一源域标签和第二源域标签训练得到，其中所述第二源域标签，是所述第一方将所述各源域样本输入训练后的第一业务模型得到的预测结果；
将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
第四方面，提供了一种业务模型的训练系统，包括：
所述第一方，用于基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
所述第二方，用于将各目标域样本输入训练后的第一业务模型，得到所述各目标域样本各自的第二预测结果；
所述第一方，还用于将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
所述第一方，还用于将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方；其中所述第二业务模型的参数数量小于所述第一业务模型的参数数量；
所述第二方，还用于将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
第五方面，提供了一种业务模型的训练装置，包括：
第一训练单元，用于基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
输入单元，用于将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
第二训练单元，用于将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方，以供所述第二方基于各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型；其中，所述第二业务模型的参数数量小于所述第一业务模型的参数数量；所述目标域标签，是所述第二方将所述各目标域样本输入训练后的第一业务模型得到的预测结果。
第六方面，提供了一种业务模型的训练装置，包括：
接收单元，用于从所述第一方接收第一业务模型，该第一业务模型是所述第一方基于各源域样本以及各自的第一源域标签训练得到；
输入单元，用于将各目标域样本输入所述第一业务模型，得到所述各目标域样本各自的第二预测结果；
所述接收单元，还用于从所述第一方接收第二业务模型，该第二业务模型的参数数量小于所述第一业务模型的参数数量，并且该第二业务模型是所述第一方基于所述各源域样本以及各自的第一源域标签和第二源域标签训练得到，其中所述第二源域标签，是所述第一方将所述各源域样本输入训练后的第一业务模型得到的预测结果；
训练单元，用于将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
第七方面，提供了一种提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面或第三方面的方法。
第八方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面或第三方面的方法。
本说明书一个或多个实施例提供的业务模型的训练方法、装置及系统，先由第一方基于本地丰富的源域样本，训练高性能业务模型(即第一业务模型)，并将其发送给第二方。之后第一方利用知识蒸馏法，训练轻量化业务模型(即第二业务模型)。具体以第一业务模型为老师模型，第二业务模型为学生模型，再结合源域样本指导学生模型训练。之后，第一方将训练后的第二业务模型发送给第二方，第二方再次利用知识蒸馏法，微调接收的第二业务模型。具体以接收的第一业务模型为老师模型，接收的第二业务模型为学生模型，再结合目标域样本微调学生模型，得到目标业务模型。可见，在本说明书实施提供的方案中，通过借助于知识蒸馏法来训练针对目标域的目标业务模型，这可以使得所训练的目标业务模型兼具预测性能高和预测效率高的优点。此外，本方案不需要将源域样本和目标域样本放在一起使用，也不需要在各方之间传输隐私数据，从而可以实现各方数据的隐私保护。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的知识蒸馏法的框架示意图；
图2为本说明书提供的一个实施例的实施场景示意图；
图3为本说明书一个实施例提供的业务模型的训练方法交互图；
图4为本说明书提供的包含BN层的神经元示意图；
图5为本说明书提供的风险评估模型的训练方法交互图；
图6为本说明书一个实施例提供的业务模型的训练系统示意图；
图7为本说明书一个实施例提供的业务模型的训练装置示意图；
图8为本说明书另一个实施例提供的业务模型的训练装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，本说明书实施例提供的方案通过借助于KD(Knowledge Distillation，知识蒸馏)法来训练针对目标域的目标业务模型。因此，以下先对知识蒸馏法进行说明。
图1为本说明书提供的知识蒸馏法的框架示意图。图1中，首先会基于各训练样本xi以及各自的预先标注的第一样本标签yi(以下称硬标签)训练一个老师模型(teachermodel)，这里的老师模型具有参数数量多、学习能力强的特点。然后，利用训练好的老师模型指导轻量级的学生模型(student model)的训练。这里的学生模型具有参数数量少的特点。
具体地，在训练好老师模型之后，在训练学生模型之前，可以先将各训练样本输入训练好的老师模型，以得到各训练样本各自的预测结果(即softmax层的输出)。之后可以将得到的各预测结果作为各训练样本各自的第二样本标签si(以下称软标签)，并基于各训练样本以及各自的软标签和硬标签，对学生模型进行训练，包括：将各训练样本输入学生模型，得到各训练样本的输出。之后基于各训练样本的输出和软标签计算第一预测损失，以及基于各训练样本的输出和硬标签可以计算第二预测损失。最后，可以基于第一和第二预测损失各自的权重系数(即λ和1-λ)，对该两者进行加权求和，并根据得到的综合损失，更新学生模型的参数。
应理解，由于老师模型中的先验知识(如，训练样本的预测结果)被传递到学生模型中，从而使得即使学生模型的参数数量较少，学出来的模型预测性能也较高。同时，因学生模型的参数数量较少，故而其预测效率较高。
以下对本说明书提供的借助于知识蒸馏法训练针对目标域的目标业务模型的方法进行详细说明。
图2为本说明书提供的一个实施例的实施场景示意图。图2中，业务模型的训练场景涉及第一方和第二方。其中，第一方和第二方可以实现为任何具有计算、处理能力的设备、平台、服务器或设备集群。在一个具体例子中，第一方可以拥有若干源域样本及其对应的预先标注的第一源域标签，第二方可以拥有若干目标域样本，该目标域样本可以具有目标域标签，也可以没有。其中，源域样本的样本数量大于目标域样本的样本数量。
具体地，第一方可以先基于丰富的源域样本，训练高性能的业务模型A(即第一业务模型)，并将其发送给第二方。接着第一方利用知识蒸馏法，训练轻量化的业务模型B(即第二业务模型)。具体以第一业务模型为老师模型，第二业务模型为学生模型，再结合源域样本指导学生模型训练。之后，第一方将训练后的第二业务模型发送给第二方，第二方再次利用知识蒸馏法，微调接收的第二业务模型。具体以接收的第一业务模型为老师模型，接收的第二业务模型为学生模型，再结合目标域样本微调学生模型，得到目标业务模型C。
为便于理解，先对上述方法的实际应用场景进行介绍。
在一个示例性场景中，上述各源域样本和各目标域样本均与用户相对应。以源域样本为例来说，其可以包括用户年龄、薪资、职业以及性别等用户基础信息。相应地，目标业务模型用于预测用户的风险打分。此外，第一源域标签用于指示对应用户是否为风险用户，第二源域标签用于指示对应用户为风险用户的概率。
在另一个示例性场景中，上述各源域样本和各目标域样本均与用户和商品相对应。以源域样本为例来说，其可以包括用户的浏览、点击以及关闭等行为数据。相应地，目标业务模型用于预测商品的推荐打分。此外，第一源域标签用于指示对应用户是否购买商品，第二源域标签用于指示对应用户购买商品的概率。
在再一个示例性场景中，上述各源域样本和各目标域样本均与事件相对应。以源域样本为例来说，其可以包括用户的登录时刻、登录耗时、是否登录成功等登录行为数据。相应地，目标业务模型用于预测事件的风险打分。此外，第一源域标签用于指示对应事件是否为风险事件(比如，欺诈事件)，第二源域标签用于指示对应事件为风险事件的概率。
在又一个示例性场景中，上述各源域样本和各目标域样本均与商户相对应。以源域样本为例来说，其可以包括交易方、交易时间、交易金额、交易网络环境、交易商品信息等交易信息。相应地，目标业务模型用于预测商户的风险打分。此外，第一源域标签用于指示对应商户是否为风险商户，第二源域标签用于指示对应商户为风险商户的概率。
需要理解，以上场景仅作为示例，实际上，目标业务模型还可以用于预测访问事件等其它业务事件的风险打分。总的来说，上述目标业务模型可以为分类模型或回归模型，用于预测业务对象的分类或回归值。这里的业务对象包括用户、商户、商品以及事件等。
以下以图2示出的实施场景为例，对本说明书提供的业务模型的训练方法进行说明。
图3为本说明书一个实施例提供的业务模型的训练方法交互图。如图3所示，所述方法可以包括：
步骤302，第一方基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给第二方。
这里的源域样本可以与用户、商品、商户或者事件相对应。以与用户相对应为例来说，该源域样本可以包括用户年龄、薪资、职业以及性别等用户基础信息。与源域样本对应的第一源域标签可以用于指示对应用户(以下称源域用户)是否为风险用户。比如，可以为“1”或者“0”，其中，“1”表示是风险用户，“0”表示不是风险用户。
上述第一业务模型可以为分类模型或回归模型，其具有参数数量多、学习能力强等优点。在一种实现方式中，该第一业务模型可以为决策树模型。具体地，可以为梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型、adaboost决策树模型或者XGBoost决策树模型等。
上述训练第一业务模型包括：将各源域样本输入第一业务模型，之后根据第一业务模型的输出以及第一源域标签，确定源域损失，并根据源域损失更新第一业务模型的参数。比如，可以利用反向传播法，先基于源域损失，计算出参数对应的更新梯度，再基于该更新梯度更新参数。更具体地，将参数减去对应的更新梯度与学习步长之间的乘积，得到更新的参数。
此外，在确定源域损失时所使用的损失函数可以为铰链损失函数、交叉熵损失函数等。
需要说明，训练后的第一业务模型可以用于预测用户、商户或者事件的风险打分，也可以用于预测商品的推荐打分。
步骤304，第二方将各目标域样本输入训练后的第一业务模型，得到各目标域样本各自的第二预测结果。
这里的目标域样本可以与用户、商品、商户或者事件相对应。以与用户相对应为例来说，目标域样本的第二预测结果可以为对应用户(以下称目标域用户)的风险打分，换句话说，其用于指示目标域用户为风险用户的概率。
步骤306，第一方将各源域样本输入训练后的第一业务模型，得到各源域样本各自的第一预测结果。
以各源域样本与用户相对应为例来说，源域样本的第一预测结果可以为源域用户的风险打分，换句话说，其用于指示源域用户为风险用户的概率。
步骤308，第一方将各第一预测结果分别作为各源域样本各自的第二源域标签，基于各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给第二方。
此外，上述第二业务模型也可以为分类模型或回归模型，其具有参数数量少的优点。即第二业务模型的参数数量小于第一业务模型的参数数量。在一种实现方式中，该第一业务模型可以为神经网络模型。比如，可以为卷积神经网络(Convolutional NeuralNetworks,CNN)、深度神经网络(Deep Neural Networks，DNN)或者循环神经网络(Recurrent Neural Network,RNN)等。
上述训练第二业务模型具体可以包括：将各源域样本输入第二业务模型，得到各源域样本各自的第三预测结果。根据第三预测结果以及第一源域标签，确定第一源域损失。根据第三预测结果以及第二源域标签，确定第二源域损失。对第一源域损失和第二源域损失进行综合，并根据得到的第一综合损失，首次更新第二业务模型的参数。比如，可以对第一源域损失和第二源域算是进行加权求和，并将加权求和结果作为第一综合损失。
同样的，这里在确定第一源域损失与第二源域损失时所使用的损失函数也可以为铰链损失函数、交叉熵损失函数等。另外，基于第一综合损失首次更新第二业务模型的参数方法可以参照步骤302中的内容所述，在此不复赘述。
应理解，这里训练第二业务模型的方法是通过借助知识蒸馏法实现的。具体地，在该步骤中，通过将训练后的第一业务模型作为老师模型，将第二业务模型作为学生模型，再结合源域样本指导学生模型训练。其中，在指导训练过程中，将各源域样本的第一源域标签看作是硬标签，将各源域样本的第二源域标签看作是软标签，来计算第一综合损失。这里的第二源域标签即为老师模型向学生模型传递的先验知识。
需要说明，由于第一业务模型中的先验知识(即源域样本的预测结果)被传递到第二业务模型中，从而使得即使第二业务模型的参数数量较少，学出来的模型预测性能也较高。
最后需要说明，本说明书所述的第二业务模型可以包括批量归一化(BatchNormalization，BN)层，其用于对输入样本(包括源域样本和目标域样本)进行归一化处理。以第二业务模型为神经网络模型为例来说，该BN层可以设置于神经网络模型的部分神经元中。
图4示出包含BN层的神经元示意图。图4中，该神经元可以包括三层：聚合运算层、BN层和激活层，且该三层分别对应三种运算。其中，对应于聚合运算层的运算表示为符号：“∑”，用于对该神经元的各个输入(即前一层各神经元的输出)进行加权求和，得到加权求和结果。应理解，当输入样本的数目为多个时，那么针对每个输入样本，都可以计算得到对应的加权求和结果。对应于BN层的运算表示为符号：“BN”，用于对加权求和结果进行归一化处理。具体地，其可以先针对一个批次的输入样本各自的加权求和结果，计算两个统计量：平均值v和标准差σ，之后基于该两个统计量对对应于每个输入样本的加权求和结果进行归一化处理。应理解，这里的平均值v和标准差σ的数量与批次数是相统一的。对应于激活层的运算表示为符号：“f”，用于对前述归一化处理结果进行激活处理，得到激活处理结果。该激活处理结果即为神经元的输出。
需要说明，上述只是示例性地对加入BN层后的神经元的内部运算进行了简单说明，在实际应用中，还可以执行其它运算。比如，在BN层中，在获取到归一化处理结果之后，还可以根据与BN层对应的尺度因子和平移因子，对归一化处理结果进行尺度变换和偏移，并将尺度变换和偏移后的归一化处理结果输入激活层进行激活处理等。
需要说明，在第二业务模型还包括BN层的情况下，针对第二业务模型的训练还可以包括：确定BN层对应的最终平均值和最终标准差，以在预测阶段使用。其中，最终平均值可以是通过对对应于各批次的各平均值进行求平均或者求加权平均得到，最终标准差可以是通过对对应于各批次的各标准差进行求平均或者求加权平均得到。
步骤310，第二方将各第二预测结果分别作为各目标域样本各自的目标域标签，基于各目标域样本以及各自的目标域标签，对接收的第二业务模型进行再训练，得到目标业务模型。
本说明书所述的各目标域样本可以具有预先标注的目标域标签，也可以不具有。针对具有的情况，第二方可以将预先标注的目标域标签作为各目标域样本的目标域硬标签，将第二预测结果作为各目标域样本的目标域软标签。然后基于各目标域样本以及各自的目标域软标签和目标域硬标签，对第二业务模型进行再训练。而针对不具有的情况，那么直接将第二预测结果作为各目标域样本的目标域标签。然后基于各目标域样本以及各自的目标域标签，对第二业务模型进行再训练。
其中，基于各目标域样本以及各自的目标域软标签和目标域硬标签，对第二业务模型进行再训练可以包括：将各目标域样本输入第二业务模型，得到各目标域样本各自的第四预测结果，之后根据第四预测结果以及目标域硬标签，确定第一目标域损失，根据第四预测结果以及目标域软标签，确定第二目标域损失。最后对第一目标域损失和第二目标域损失进行综合，并根据得到的第二综合损失，再次更新第二业务模型的参数。比如，可以对第一目标域损失和第二目标域损失进行加权求和，并将加权求和结果作为第二综合损失。
同样的，这里在确定第一目标域损失与第二目标域损失时所使用的损失函数也可以为铰链损失函数、交叉熵损失函数等。另外，基于第二综合损失再次更新第二业务模型的参数方法可以参照步骤302中的内容所述，在此不复赘述。
应理解，这里再训练第二业务模型的方法也是借助于知识蒸馏法实现的。具体地，在该步骤中，通过将接收的第一业务模型作为老师模型，将接收的第二业务模型作为学生模型，再结合目标域样本微调学生模型。其中，在微调过程中，目标域软标签即为老师模型向学生模型传递的先验知识。
另外，上述基于各目标域样本以及各自的目标域标签，对第二业务模型进行再训练可以包括：将各目标域样本输入第二业务模型，得到各目标域样本各自的第四预测结果，之后根据第四预测结果以及目标域标签确定目标域损失。最后，根据目标域损失再次更新第二业务模型的参数。
需要说明，在第二业务模型还包括BN层时，那么再次更新第二业务模型的参数还可以包括：获取BN层在对各批次目标域样本进行归一化处理时，所统计的对应于各批次的各统计量。其中，对应于一个批次的统计量可以包括平均值和标准差。对各统计量进行融合，并根据融合结果，更新BN层的参数。比如，将对应于各批次的各平均值进行求加权平均或者求平均，得到新的最终平均值，将对应于各批次的各标准差进行求加权平均或者求平均，得到新的最终标准差。然后用新的最终平均值和最终标准差，替换步骤308中确定的最终平均值和最终标准差，也就替换首次训练第二业务模型时确定的最终平均值和最终标准差。
至此，就可以得到针对目标域的目标业务模型，该目标业务模型可以用于预测用户、商户或者事件的风险打分，也可以用于预测商品的推荐打分。
综合以上，本说明书实施例提供的业务模型的训练方法，第一方与第二方之间只需要传输训练好的模型，而不需要交互各自的隐私数据，由此可以实现各方数据的隐私保护。此外，本方案中，通过借助于知识蒸馏法来训练针对目标域的目标业务模型，可以使得最终训练的目标业务模型兼具预测性能高和预测效率高的优点。
以下以各源域样本以及各目标域样本均与用户相对应，且目标业务模型为风险评估模型，即用于预测用户的风险打分为例，对本说明书提供的训练方法进行说明。
图5为本说明书提供的风险评估模型的训练方法交互图。如图5所示，所述方法可以包括：
步骤502，第一方基于各源域用户样本以及各自的第一风险标签，训练第一风险评估模型，并将其发送给第二方。
其中的第一风险标签用于指示对应源域用户是否为风险用户。以及，第一风险评估模型可以实现为决策树模型。
步骤504，第二方将各目标域用户样本输入训练后的第一风险评估模型，得到各目标域用户样本各自的第二风险评分。
其中的第二风险评分用于指示对应目标域用户为风险用户的概率。
步骤506，第一方将各源域用户样本输入训练后的第一风险评估模型，得到各源域用户样本各自的第一风险评分。
其中的第一风险评分用于指示对应源域用户为风险用户的概率。
步骤508，第一方将各第一风险评分分别作为各源域用户样本各自的第二风险标签，基于各源域用户样本以及各自的第一风险标签和第二风险标签，训练第二风险评估模型，并将其发送给第二方。
也就是说，这里的第二风险标签用于指示对应源域用户为风险用户的概率。此外，上述第二风险评估模型可以实现为神经网络模型。
步骤510，第二方将各第二风险评分分别作为各目标域用户样本各自的目标域风险标签，基于各目标域用户样本以及各自的目标域风险标签，对第二风险评估模型进行再训练，得到目标风险评估模型。
与上述业务模型的训练方法对应地，本说明书一个实施例还提供的一种业务模型的训练系统，如图6所示，该系统可以包括：第一方602和第二方604。第一方602拥有若干源域样本及其对应的预先标注的第一源域标签。第二方604拥有若干目标域样本，源域样本的样本数量大于目标域样本的样本数量。
第一方602，用于基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给第二方604。
其中，第一业务模型可以为决策树模型。
第二方604，用于将各目标域样本输入训练后的第一业务模型，得到各目标域样本各自的第二预测结果。
第一方602，还用于将各源域样本输入训练后的第一业务模型，得到各源域样本各自的第一预测结果。
第一方602具体用于：
将各源域样本输入第二业务模型，得到各源域样本各自的第三预测结果；
根据第三预测结果以及第一源域标签，确定第一源域损失；
根据第三预测结果以及第二源域标签，确定第二源域损失；
对第一源域损失和第二源域损失进行综合，并根据综合损失，更新第二业务模型的参数。
第一方602，还用于将各第一预测结果分别作为各源域样本各自的第二源域标签，基于各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给第二方604。其中第二业务模型的参数数量小于第一业务模型的参数数量。
其中，第二业务模型可以为神经网络模型。
第二方604，还用于将各第二预测结果分别作为各目标域样本各自的目标域标签，基于各目标域样本以及各自的目标域标签，对第二业务模型进行再训练，得到目标业务模型。
第二方604具体用于：
将各目标域样本输入第二业务模型，得到各目标域样本各自的第四预测结果；
基于第四预测结果以及目标域标签，确定目标域损失；
根据目标域损失，更新第二业务模型的参数，得到目标业务模型。
可选地，第二业务模型可以包括批量归一化BN层，该BN层用于对输入样本进行归一化处理，各目标域样本是分批次输入训练后的第二业务模型；
第二方604还具体用于：
获取BN层在对各批次目标域样本进行归一化处理时，所统计的对应于各批次的各统计量；
对各统计量进行融合，并根据融合结果，更新BN层的参数。
其中，对应于任一批次的统计量包括平均值和标准差；
第二方604还具体用于：
将对应于各批次的各平均值进行求加权平均或者求平均，得到最终平均值；将对应于各批次的各标准差进行求加权平均或者求平均，得到最终标准差；
根据最终平均值和最终标准差，更新BN层的参数。
在一个示例中，上述各源域样本与用户相对应，上述目标业务模型用于预测用户的风险打分，上述第一源域标签用于指示对应用户是否为风险用户，上述第二源域标签用于指示对应用户为风险用户的概率。
在另一个示例用，上述目标业务模型用于预测业务对象的分类或回归值，该业务对象包括以下任一种：用户、商户、商品以及事件。
本说明书上述实施例系统的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的系统的具体工作过程，在此不复赘述。
本说明书一个实施例提供的业务模型的训练系统，所训练的目标业务模型兼具预测性能高和预测效率高的优点。
与上述业务模型的训练方法对应地，本说明书一个实施例还提供的一种业务模型的训练装置，涉及第一方和第二方。第一方拥有若干源域样本及其对应的预先标注的第一源域标签，第二方拥有若干目标域样本，源域样本的样本数量大于目标域样本的样本数量。该装置设置于第一方。如图7所示，该装置可以包括：
第一训练单元702，用于基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给第二方。
输入单元704，用于将各源域样本输入训练后的第一业务模型，得到各源域样本各自的第一预测结果。
第二训练单元706，用于将各第一预测结果分别作为各源域样本各自的第二源域标签，基于各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给第二方，以供第二方基于各目标域样本以及各自的目标域标签，对接收的第二业务模型进行再训练，得到目标业务模型。其中，第二业务模型的参数数量小于第一业务模型的参数数量。上述目标域标签，是第二方将各目标域样本输入训练后的第一业务模型得到的预测结果。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的业务模型的训练装置，所训练的目标业务模型兼具预测性能高和预测效率高的优点。
与上述业务模型的训练方法对应地，本说明书一个实施例还提供的一种业务模型的训练装置，涉及第一方和第二方。第一方拥有若干源域样本及其对应的预先标注的第一源域标签，第二方拥有若干目标域样本，源域样本的样本数量大于目标域样本的样本数量。该装置设置于第二方。如图8所示，该装置可以包括：
接收单元802，用于从第一方接收第一业务模型，该第一业务模型是第一方基于各源域样本以及各自的第一源域标签训练得到。
输入单元804，用于将各目标域样本输入第一业务模型，得到各目标域样本各自的第二预测结果。
接收单元802，还用于从第一方接收第二业务模型，该第二业务模型的参数数量小于第一业务模型的参数数量，并且该第二业务模型是第一方基于各源域样本以及各自的第一源域标签和第二源域标签训练得到，其中第二源域标签，是第一方将各源域样本输入训练后的第一业务模型得到的预测结果。
训练单元806，用于将各第二预测结果分别作为各目标域样本各自的目标域标签，基于各目标域样本以及各自的目标域标签，对第二业务模型进行再训练，得到目标业务模型。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的业务模型的训练装置，所训练的目标业务模型兼具预测性能高和预测效率高的优点。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3或图5所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3或图5所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (22)

1.一种业务模型的训练方法，涉及第一方和第二方；所述第一方拥有若干源域样本及其对应的预先标注的第一源域标签；所述第二方拥有若干目标域样本，所述源域样本的样本数量大于所述目标域样本的样本数量；所述方法包括：
所述第一方基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
所述第二方将各目标域样本输入训练后的第一业务模型，得到所述各目标域样本各自的第二预测结果；
所述第一方将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
所述第一方将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方；其中所述第二业务模型的参数数量小于所述第一业务模型的参数数量；
所述第二方将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
2.根据权利要求1所述的方法，所述基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，包括：
将所述各源域样本输入第二业务模型，得到所述各源域样本各自的第三预测结果；
根据所述第三预测结果以及所述第一源域标签，确定第一源域损失；
根据所述第三预测结果以及所述第二源域标签，确定第二源域损失；
对所述第一源域损失和第二源域损失进行综合，并根据综合损失，更新第二业务模型的参数。
3.根据权利要求1所述的方法，所述基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，包括：
将所述各目标域样本输入所述第二业务模型，得到所述各目标域样本各自的第四预测结果；
基于所述第四预测结果以及所述目标域标签，确定目标域损失；
根据所述目标域损失，更新所述第二业务模型的参数，得到所述目标业务模型。
4.根据权利要求3所述的方法，所述第二业务模型包括批量归一化BN层，所述BN层用于对输入样本进行归一化处理；所述各目标域样本是分批次输入训练后的第二业务模型；
所述更新所述第二业务模型的参数，包括：
获取所述BN层在对各批次目标域样本进行归一化处理时，所统计的对应于各批次的各统计量；
对所述各统计量进行融合，并根据所述融合结果，更新所述BN层的参数。
5.根据权利要求4所述的方法，其中，对应于任一批次的统计量包括平均值和标准差；
所述对所述各统计量进行融合，包括：
将对应于各批次的各平均值进行求加权平均或者求平均，得到最终平均值；将对应于各批次的各标准差进行求加权平均或者求平均，得到最终标准差；
所述根据所述融合结果，更新所述BN层的参数，包括：
根据所述最终平均值和最终标准差，更新所述BN层的参数。
6.根据权利要求1所述的方法，所述第一业务模型为决策树模型，所述第二业务模型为神经网络模型。
7.根据权利要求1所述的方法，所述各源域样本与用户相对应，所述目标业务模型用于预测用户的风险打分，所述第一源域标签用于指示对应用户是否为风险用户，所述第二源域标签用于指示对应用户为风险用户的概率。
8.根据权利要求1所述的方法，所述目标业务模型用于预测业务对象的分类或回归值；所述业务对象包括以下任一种：用户、商户、商品以及事件。
9.一种业务模型的训练方法，涉及第一方和第二方；所述第一方拥有若干源域样本及其对应的预先标注的第一源域标签；所述第二方拥有若干目标域样本，所述源域样本的样本数量大于所述目标域样本的样本数量；所述方法通过所述第一方执行，包括：
基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方，以供所述第二方基于各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型；其中，所述第二业务模型的参数数量小于所述第一业务模型的参数数量；所述目标域标签，是所述第二方将所述各目标域样本输入训练后的第一业务模型得到的预测结果。
10.一种业务模型的训练方法，涉及第一方和第二方；所述第一方拥有若干源域样本及其对应的预先标注的第一源域标签；所述第二方拥有若干目标域样本，所述源域样本的样本数量大于所述目标域样本的样本数量；所述方法通过所述第二方执行，包括：
从所述第一方接收第一业务模型，该第一业务模型是所述第一方基于各源域样本以及各自的第一源域标签训练得到；
将各目标域样本输入所述第一业务模型，得到所述各目标域样本各自的第二预测结果；
从所述第一方接收第二业务模型，该第二业务模型的参数数量小于所述第一业务模型的参数数量，并且该第二业务模型是所述第一方基于所述各源域样本以及各自的第一源域标签和第二源域标签训练得到，其中所述第二源域标签，是所述第一方将所述各源域样本输入训练后的第一业务模型得到的预测结果；
将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
11.一种业务模型的训练系统，包括第一方和第二方；所述第一方拥有若干源域样本及其对应的预先标注的第一源域标签；所述第二方拥有若干目标域样本，所述源域样本的样本数量大于所述目标域样本的样本数量；
所述第一方，用于基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
所述第二方，用于将各目标域样本输入训练后的第一业务模型，得到所述各目标域样本各自的第二预测结果；
所述第一方，还用于将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
所述第一方，还用于将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方；其中所述第二业务模型的参数数量小于所述第一业务模型的参数数量；
所述第二方，还用于将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
12.根据权利要求11所述的系统，所述第一方具体用于：
将所述各源域样本输入第二业务模型，得到所述各源域样本各自的第三预测结果；
根据所述第三预测结果以及所述第一源域标签，确定第一源域损失；
根据所述第三预测结果以及所述第二源域标签，确定第二源域损失；
对所述第一源域损失和第二源域损失进行综合，并根据综合损失，更新第二业务模型的参数。
13.根据权利要求11所述的系统，所述第二方具体用于：
将所述各目标域样本输入所述第二业务模型，得到所述各目标域样本各自的第四预测结果；
基于所述第四预测结果以及所述目标域标签，确定目标域损失；
根据所述目标域损失，更新所述第二业务模型的参数，得到所述目标业务模型。
14.根据权利要求13所述的系统，所述第二业务模型包括批量归一化BN层，所述BN层用于对输入样本进行归一化处理；所述各目标域样本是分批次输入训练后的第二业务模型；
所述第二方还具体用于：
获取所述BN层在对各批次目标域样本进行归一化处理时，所统计的对应于各批次的各统计量；
对所述各统计量进行融合，并根据所述融合结果，更新所述BN层的参数。
15.根据权利要求14所述的系统，其中，对应于任一批次的统计量包括平均值和标准差；
所述第二方还具体用于：
将对应于各批次的各平均值进行求加权平均或者求平均，得到最终平均值；将对应于各批次的各标准差进行求加权平均或者求平均，得到最终标准差；
根据所述最终平均值和最终标准差，更新所述BN层的参数。
16.根据权利要求11所述的系统，所述第一业务模型为决策树模型，所述第二业务模型为神经网络模型。
17.根据权利要求11所述的系统，所述各源域样本与用户相对应，所述目标业务模型用于预测用户的风险打分，所述第一源域标签用于指示对应用户是否为风险用户，所述第二源域标签用于指示对应用户为风险用户的概率。
18.根据权利要求11所述的系统，所述目标业务模型用于预测业务对象的分类或回归值；所述业务对象包括以下任一种：用户、商户、商品以及事件。
19.一种业务模型的训练装置，涉及第一方和第二方；所述第一方拥有若干源域样本及其对应的预先标注的第一源域标签；所述第二方拥有若干目标域样本，所述源域样本的样本数量大于所述目标域样本的样本数量；所述装置设置于所述第一方，包括：
第一训练单元，用于基于各源域样本以及各自的第一源域标签，训练第一业务模型，并将其发送给所述第二方；
输入单元，用于将所述各源域样本输入训练后的第一业务模型，得到所述各源域样本各自的第一预测结果；
第二训练单元，用于将各第一预测结果分别作为所述各源域样本各自的第二源域标签，基于所述各源域样本以及各自的第一源域标签和第二源域标签，训练第二业务模型，并将其发送给所述第二方，以供所述第二方基于各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型；其中，所述第二业务模型的参数数量小于所述第一业务模型的参数数量；所述目标域标签，是所述第二方将所述各目标域样本输入训练后的第一业务模型得到的预测结果。
20.一种业务模型的训练装置，涉及第一方和第二方；所述第一方拥有若干源域样本及其对应的预先标注的第一源域标签；所述第二方拥有若干目标域样本，所述源域样本的样本数量大于所述目标域样本的样本数量；所述装置设置于所述第二方，包括：
接收单元，用于从所述第一方接收第一业务模型，该第一业务模型是所述第一方基于各源域样本以及各自的第一源域标签训练得到；
输入单元，用于将各目标域样本输入所述第一业务模型，得到所述各目标域样本各自的第二预测结果；
所述接收单元，还用于从所述第一方接收第二业务模型，该第二业务模型的参数数量小于所述第一业务模型的参数数量，并且该第二业务模型是所述第一方基于所述各源域样本以及各自的第一源域标签和第二源域标签训练得到，其中所述第二源域标签，是所述第一方将所述各源域样本输入训练后的第一业务模型得到的预测结果；
训练单元，用于将各第二预测结果分别作为所述各目标域样本各自的目标域标签，基于所述各目标域样本以及各自的目标域标签，对所述第二业务模型进行再训练，得到目标业务模型。
21.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项所述的方法。
22.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。
CN202110362875.6A 2021-04-02 2021-04-02 业务模型的训练方法、装置及系统 Pending CN113159314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110362875.6A CN113159314A (zh) 2021-04-02 2021-04-02 业务模型的训练方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110362875.6A CN113159314A (zh) 2021-04-02 2021-04-02 业务模型的训练方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113159314A true CN113159314A (zh) 2021-07-23

Family

ID=76886398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110362875.6A Pending CN113159314A (zh) 2021-04-02 2021-04-02 业务模型的训练方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113159314A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432039A (zh) * 2023-06-13 2023-07-14 支付宝(杭州)信息技术有限公司 协同训练方法及装置、业务预测方法及装置
WO2024104241A1 (zh) * 2022-11-14 2024-05-23 上海淇玥信息技术有限公司 一种基于模型隐式多目标融合的消息推送方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024104241A1 (zh) * 2022-11-14 2024-05-23 上海淇玥信息技术有限公司 一种基于模型隐式多目标融合的消息推送方法及装置
CN116432039A (zh) * 2023-06-13 2023-07-14 支付宝(杭州)信息技术有限公司 协同训练方法及装置、业务预测方法及装置
CN116432039B (zh) * 2023-06-13 2023-09-05 支付宝(杭州)信息技术有限公司 协同训练方法及装置、业务预测方法及装置

Similar Documents

Publication Publication Date Title
Pasquadibisceglie et al. Using convolutional neural networks for predictive process analytics
US20210182690A1 (en) Optimizing neural networks for generating analytical or predictive outputs
CN111737546B (zh) 确定实体业务属性的方法及装置
US11531987B2 (en) User profiling based on transaction data associated with a user
US11682018B2 (en) Machine learning model and narrative generator for prohibited transaction detection and compliance
Yu et al. A comparative study on data mining algorithms for individual credit risk evaluation
Voican Credit Card Fraud Detection using Deep Learning Techniques.
Koshiyama et al. Algorithms in future capital markets
US20220207300A1 (en) Classification system and method based on generative adversarial network
CN113159314A (zh) 业务模型的训练方法、装置及系统
CN114255121A (zh) 信贷风险预测模型的训练方法和信贷风险预测方法
Igual et al. Supervised learning
US20190303781A1 (en) System and method for implementing a trust discretionary distribution tool
CN111461862B (zh) 为业务数据确定目标特征的方法及装置
CN113191434A (zh) 训练风险识别模型的方法和装置
Koç et al. A comparative study of artificial neural networks and logistic regression for classification of marketing campaign results
US20240161117A1 (en) Trigger-Based Electronic Fund Transfers
US11921821B2 (en) System and method for labelling data for trigger identification
US20230206134A1 (en) Rank Distillation for Training Supervised Machine Learning Models
Soleiman-garmabaki et al. Ensemble classification using balanced data to predict customer churn: a case study on the telecom industry
McCarthy et al. Predictive Models Using Neural Networks
Zioviris et al. An intelligent sequential fraud detection model based on deep learning
US11971900B2 (en) Rule-based data transformation using edge computing architecture
US20230351169A1 (en) Real-time prediction of future events using integrated input relevancy
US20230351491A1 (en) Accelerated model training for real-time prediction of future events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination