CN113537630B - 业务预测模型的训练方法及装置 - Google Patents

业务预测模型的训练方法及装置 Download PDF

Info

Publication number
CN113537630B
CN113537630B CN202110890736.0A CN202110890736A CN113537630B CN 113537630 B CN113537630 B CN 113537630B CN 202110890736 A CN202110890736 A CN 202110890736A CN 113537630 B CN113537630 B CN 113537630B
Authority
CN
China
Prior art keywords
current
labeling
training
sample
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110890736.0A
Other languages
English (en)
Other versions
CN113537630A (zh
Inventor
秦兴彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110890736.0A priority Critical patent/CN113537630B/zh
Publication of CN113537630A publication Critical patent/CN113537630A/zh
Application granted granted Critical
Publication of CN113537630B publication Critical patent/CN113537630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种业务预测模型的训练方法，该方法包括多轮迭代，其中第i轮迭代包括：获取当前训练样本集，其初始包括标注样本，且其中各个训练样本具有对应的类别标签和当前样本权重；利用从当前训练样本集中获取的多个训练样本训练业务预测模型，得到本轮训练后的业务预测模型；利用本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；基于多个非标预测结果，确定多个非标注样本中至少一部分样本的类别标签，从而形成新的训练样本，并将其添加到当前训练样本集；基于当前训练样本集中训练样本的类别标签分布，以及标注样本和非标注样本的统计分布，确定各个训练样本的当前样本权重。

Description

业务预测模型的训练方法及装置
技术领域
本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种业务预测模型的训练方法及装置。
背景技术
机器学习技术已成为当下的研究热点，多个领域争相利用业务数据构建机器学习模型，以辅助进行业务处理。通常，优质模型的产出依赖庞大数量的高质量标注样本。然而在实际应用场景中，高质量标注样本的获得难度较大，实际获取数量十分有限。并且，在某些场景下，标注样本还存在类别不均衡的情况，例如，在风控场景中，欺诈样本的数量较少，大部分都是白样本。这无疑给模型性能的提高带来巨大挑战。
因此，迫切需要一种方案，在标注数据的数量有限，和/或类别不均衡的场景下，也能够训练出具有较佳预测性能的机器学习模型。
发明内容
本说明书一个或多个实施例描述了一种业务预测模型的训练方法，通过利用非标注样本扩充训练样本，并自适应调整各个训练样本的权重，从而训练出性能优良的机器学习模型，同时，还能产出可迁移用于其他模型训练的增强样本集。
根据第一方面，提供一种业务预测模型的训练方法，所述业务预测模型用于执行针对业务对象的预测任务，所述方法包括多轮迭代，其中第i轮迭代包括：获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重；利用从当前训练样本集中获取的多个训练样本和对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型；利用所述本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本；将该新的训练样本并入所述当前训练样本集；基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重；基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重；基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述训练样本的当前样本权重。
在一个实施例中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值。
在一个实施例中，所述业务对象包括文本、图片、音频、用户、商品、商户、事件，所述业务预测对象用于预测所述业务对象的分类或回归值。
在一个实施例中，所述第i轮为第1轮；其中，获取当前训练样本集，包括：获取所述标注样本集；基于所述标注样本集中标注样本的类别标签分布，确定所述各种类别标签的类别权重，作为对应标注样本的当前样本权重；基于所述标注样本集和标注样本的当前样本权重，构建所述当前训练样本集。
在一个实施例中，利用从当前训练样本集中获取的多个训练样本和其对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型，包括：利用所述业务预测模型处理所述多个训练样本，得到多个训练预测结果；基于所述多个训练预测结果和多个当前样本权重，确定训练损失；利用所述训练损失训练所述业务预测模型，得到所述本轮训练后的业务预测模型。
在一个实施例中，基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，包括：针对各个非标注样本，若其对应的非标预测结果中针对某类别标签的预测概率落入该某类别标签所对应的预置概率区间，则将该某类别标签确定为该非标注样本的类别标签。
在一个具体的实施例中，所述预置概率区间的确定包括：根据预先设定的类别标签与置信度之间的映射关系，基于所述本轮训练后的业务预测模型，确定各种类别标签在其对应置信度下的概率区间。
在一个更具体的实施例中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值；在所述映射关系中，所述第一类别标签对应第一置信度，所述第二类别标签对应第二置信度，所述第一置信度小于第二置信度。
在一个实施例中，基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重，包括：确定所述当前训练样本集中对应各种类别标签的训练样本数量的占比，并进行正向排序，得到正向占比序列和对应的类别标签序列；将所述正向占比序列中的占比，逐个逆向确定为所述类别标签序列中各个类别标签的当前类别权重。
在一个实施例中，基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重，包括：确定所述当前训练样本集中标注样本对应的标注样本占比；确定所述当前标注权重，其与所述标注样本占比负相关；确定所述当前非标注权重，其与所述标注样本占比正相关。
在一个具体的实施例中，所述当前非标注权重还与本轮迭代对应的轮次i正相关，以及与所述多轮迭代对应的总轮次数负相关。
在一个实施例中，基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述当前样本权重，包括：针对所述当前训练样本集中的各个训练样本，若其对应标注样本，则将所述当前标注权重以及其具有的类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重；若其对应非标注样本，则将所述当前非标注权重以及其具有类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重。
根据第二方面，提供一种业务预测模型的训练装置，所述业务预测模型用于执行针对业务对象的预测任务，所述装置通过以下单元执行多轮迭代中的第i轮迭代：训练样本获取单元，配置为获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重；模型训练单元，配置为利用从当前训练样本集中获取的多个训练样本和对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型；非标样本预测单元，配置为利用所述本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；训练样本扩充单元，配置为基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本；将该新的训练样本并入所述当前训练样本集；类别权重确定单元，配置为基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重；非标权重确定单元，配置为基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重；样本权重确定单元，配置为基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述训练样本的当前样本权重。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
采用本说明书实施例提供的方法和装置，持续确定高置信度的非标注样本对初始包括少量标注样本的当前训练样本集进行扩充，以及，对训练样本的权重持续进行自适应调整，从而在模型训练过程中引入稳定性，并且，有效防止模型过拟合，降低模型复杂度，进而充分提高模型的泛化能力。在执行上述多轮次迭代后，可以的得到训练好的业务预测模型，用于实际使用，同时，最后一轮次迭代中更新得到的当前训练样本集中的训练样本带有高可用性的样本权重，如此产出的增强样本可以被迁移使用，用于其他模型训练。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的业务预测模型的训练框架示意图；
图2示出根据一个实施例的业务预测模型的训练方法流程图；
图3示出根据一个实施例的业务预测模型的训练装置结构示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，需要一种方案，可以处理样本类别不均衡问题。在一种实施方式中，可以从样本数据方面解决此问题，比如上采样、下采样方法，然而，这种方法不足以有效提升模型的泛化能力。发明人还发现，大量的非标样本未能用到模型的调优中，基于此，发明人提出一种业务预测模型的训练方法，在模型训练过程中，利用非标样本对数据进行渐变增强处理，从而实现模型的性能优化。
图1示出根据一个实施例的业务预测模型的训练框架示意图。如图1所示，首先，获取标注样本集，在一种典型场景下，标注样本集中的样本数量较少并且存在类别不均衡的问题(例如，负样本与正样本的数量比为1:100)；以及，获取非标注样本集，其中包括大量的非标注样本。然后，基于获取的这些样本进行多轮次迭代，在任一轮次中，先利用当前训练样本集及对应的样本权重训练业务预测模型，再利用本轮训练的业务预测模型预测非标注样本，之后利用被预测的非标注样本和其预测结果，更新当前训练样本集及其中的样本权重。如此，在每轮次迭代中，当前训练样本集被不断增强，业务预测模型也被逐步调优；在经过多轮次迭代后，可以得到最终的当前训练样本集，其中包括标注样本和一些非标注样本，且各个样本均具有经过多次自适应调整后的样本权重，同时，还可以得到训练好的业务预测模型，用于后续的业务预测处理。
下面结合具体的实施例，描述上述训练方法的具体实施步骤。
图2示出根据一个实施例的业务预测模型的训练方法流程图，该方法的执行主体可以是任何具有计算、处理能力的装置、服务器、平台、设备或设备集群。
上述业务预测模型用于执行针对业务对象的预测任务。在一个实施场景中，该业务对象可以是文本、图片或音频等。在另一个实施场景中，该业务对象可以是用户、商户、事件、商品、或服务等。在一个具体的实施例中，其中用户可以包括个人用户或企业用户等。在一个具体的实施例中，事件可以包括支付事件、访问事件、登录事件等。另一方面，在一个实施例中，上述预测任务可以是预测业务对象的分类值或回归值。在另一个实施例中，上述预测任务可以是情感分类、异常检测、用户身份识别、目标识别等。在一个具体的实施例中，其中异常检测可以包括异常用户识别、高风险用户识别、欺诈检测等。
上述训练方法涉及多轮次迭代，其中的某一轮次i、或任一轮次i的迭代包括图2中示出的以下步骤：
步骤S210，获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重；步骤S220，利用从当前训练样本集中获取的多个训练样本和其对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型；步骤S230，利用所述本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；步骤S240，基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本；将该新的训练样本并入所述当前训练样本集；步骤S250，基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重；步骤S260，基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重；步骤S270，基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述训练样本的当前样本权重。
对以上步骤的展开介绍如下：
步骤S210，获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重。
在一种实施情况下，本轮为首轮迭代，也就是本轮迭代轮次i＝1，此时，本步骤可以包括：获取标注样本集，并基于该标注样本集中标注样本的类别标签分布，确定各种类别标签的当前类别权重，作为具有对应类别标签的标注样本的当前样本权重，从而基于该标注样本集和标注样本的当前样本权重，构建当前训练样本集。
需理解，标注样本集中的标注样本可以是人工打标而得到，打上的标签具有较高的准确度。在一种情况下，标注样本集中的样本数量较少，且存在类别不均衡的问题。在一种表征方式中，类别不均衡可以体现为：标注样本集包括第一数量的具有第一类别标签的标注样本，以及包括第二数量的具有第二类别标签的标注样本，该第一数量与第二数量之间的比值小于预设数值，其中预设数值可以是工作人员根据经验设定的小于1的数值，如0.3或0.05。另一方面，标注样本所对应标注标签(或称类别标签)的种数可以两种或两种以上，相应，业务预测模型可以用于执行二分类任务或多分类任务。在一个示例中，假定业务预测模型执行的预测任务包括情感分类任务，则相应的情感类别标签可以包括积极、消极，或者，可以包括积极、消极和中立。在另一个示例中，假定预测任务包括异常检测任务，则相应的类别标签可以包括正常和异常。在又一个示例中，假定预测任务包括风险识别任务，则相应的风险类别标签可以包括有风险、无风险，或者，可以包括高风险、中风险和低风险。另外，标注样本中除包括对应的类别标签外，还包括对应的样本特征，该样本特征的特征项基于业务对象和预测任务而设定，在一个示例中，假定业务对象是事件，预测任务是异常事件检测，则对应的样本特征可以包括：异常事件所关联用户的基础属性特征(如性别、年龄、职业等)、画像特征(消费人群等)、事件的发生时刻、发生地点、网络环境等。
在获取上述标注样本集后，根据其中标注样本的类别标签分布，确定各种类别标签对应的当前类别权重，作为具有相应类别标签的标注样本的当前样本权重。在一个具体的实施例中，确定标注样本集中对应各种类别标签的标注样本数量的占比，并进行正向排序(由大到小排序或由小到大排序)，得到正向占比序列和对应的类别标签序列；再将该正向占比序列中的占比，逐个逆向确定为该类别标签序列中各个类别标签对应的当前类别权重。在一个示例中，假定类别标签包括标签A、B和C共3种，标注样本集中具有标签A、B和C的标注样本数量分别为500、100和9400，由此可以得到正向占比序列为0.01、0.05、0.94，以及对应的类别标签序列，即标签B-标签A-标签C，从而将0.94、0.05和0.01分别对应确定为标签B、标签A和标签C对应的当前类别权重，进而将0.94、0.05和0.01分别作为具有标签B、标签A和标签C的标注样本的当前样本权重。在另一个具体的实施例中，确定标注样本集中对应各种类别标签的标注样本数量的占比后，利用预先设定的单调递减函数(例如，f(x)＝1-x)对其进行处理，然后将得到的函数值作为对应类别标签的当前类别权重，进而作为具有对应类别标签的标注样本的当前样本权重。
如此，可以确定各个标注样本的当前样本权重，从而基于上述标注样本集和其中各个标注样本的当前样本权重，构建上述当前训练样本集。
在另一种实施情况下，本轮并非首轮迭代，也就是本轮迭代轮次i≥2，此时，本步骤中获取的当前训练样本集是在上一轮次迭代中更新后而得到，其中除了包括上述标注样本集中的全部标注样本以外，还包括从非标注样本集中选取的部分非标注样本，这部分非标注样本同样具有类别标签和当前样本权重，显然，非标注样本集中非标注样本没有经过人工打标，没有人工标注的标签，其仅包括与标注样本相对应的样本特征，对这部分非标注样本的类别标签和当前样本权重的确定，可参见后续步骤中的相关描述。
以上，在获取当前训练样本集后，在步骤S220，利用从当前训练样本集中获取的多个训练样本和其对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型。在一个实施例中，从当前训练样本中抽取一批次训练样本(也即上述多个训练样本)的方式，可以采用已有的采样方式实现，不作赘述。
在一个实施例中，本步骤可以包括：利用业务预测模型处理上述多个训练样本，得到多个训练预测结果；基于该多个训练预测结果、多个当前样本权重和对应该多个训练样本的多个类别标签，确定训练损失；利用该训练损失训练所述业务预测模型，得到本轮训练后的业务预测模型。在一个具体的实施例中，将多个训练样本中各个训练样本的样本特征分别输入业务预测处理模型中，得到对应的训练预测结果。该训练预测结果可以是概率值、打分值或分类类别。在一个具体的实施例中，针对多个训练样本中的各个训练样本，基于其对应的类别标签和训练预测结果，确定对应的样本损失，再基于多个当前样本权重，对多个训练样本对应的多个样本损失进行加权求和，得到训练损失。在一个更具体的实施例中，其中样本损失的计算可以采用交叉熵损失函数或铰链损失函数等分类损失函数。在一个示例中，训练损失的计算公式如下：
在式(1)中，L表示训练损失，n表示一批次训练样本对应的样本数量，xj表示第j个训练样本，loss(xj)表示第j个训练样本的样本损失，wj表示第j个训练样本的当前样本权重。
在一个具体的实施例中，利用训练损失，采用反向传播法，调整业务预测模型的参数，得到本轮训练或者说本轮调参后的业务预测模型。
如此，可以得到本轮训练后的业务预测模型，从而在步骤S230，利用该本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果。在一个实施例中，对于非标注样本的采样，可以采用有放回采样。在另一个实施例中，也可以采用无放回采样。典型地，在非标注样本的数量庞大的情况下，可以采用无放回采样。在一个实施例中，对于本轮次迭代中，从非标注样本集中抽取的一批次非标注样本，即上述多个非标注样本，可以将其分别输入本轮训练后的业务预测模型中，从而得到上述多个非标预测结果。
之后，在步骤S240，基于上述多个非标预测结果，确定该多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本，以及将该新的训练样本并入当前训练样本集。
在一个实施例中，为使得加入当前训练样本集中的非标注样本具有足够的可用性，可以针对各种类别标签分别设定具有较高置信度的概率区间，以根据预测结果选取加入当前训练样本的非标注样本。具体，上述非标预测结果中包括针对各种类别标签的预测概率，基于此，针对上述多个非标注样本中的各个非标注样本，若其所对应的非标预测结果中针对某个类别标签的预测概率落入了该某个类别标签对应的预置概率区间，则将该某类别标签确定为该非标注样本的类别标签，否则，舍弃该非标注样本。
对于上述概率区间的设定，在一个具体的实施例中，可以由工作人员根据经验设定，直接将概率区间设定为较窄的范围，例如，在二分类场景下，将正样本对应的概率区间设定为[0,0.1]，将负样本对应的概率区间设定为[0.9,1]。在另一个具体的实施例中，考虑到类别不均衡问题，可以适当降低对样本数量较少的类别标签所对应概率区间的置信度，以及适当提高对样本数量较多的类别标签所对应概率区间的置信度，从而针对各种类别标签，根据其所对应的置信度去设定对应的概率区间。
在一个更具体的实施例中，可以根据预先设定的类别标签与置信度之间的映射关系，基于本轮训练后的业务预测模型，确定各种类别标签在其对应置信度下的概率区间。在一个例子中，该映射关系可以是工人人员根据标注样本集中各个类别样本的分布情况而预先设定的。进一步，在一个示例中，标注样本集中包括第一数量的具有第一类别标签的标注样本，以及包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值；相应，在上述映射关系中，第一类别标签对应的第一置信度小于第二类别标签对应的第二置信度。在一个例子中，针对各种类别标签，可以根据本轮训练后的业务预测模型中的模型参数，计算出其在对应置信度下的概率区间。根据一个具体的例子，本轮确定出的概率区间如下表所示：
表1
如此，为非标注样本确定出的类别标签具有高置信度，基于其构建的新的训练样本具有足够的可用性。
在另一个实施例中，将上述多个非标预测结果中指示的多个预测类别，分别确定为多个非标注样本对应的类别标签，从而形成新的训练样本，以及将该新的训练样本并入当前训练样本集。
另一方面，在一个实施例中，考虑到模型性能被不断优化，对在先加入当前训练样本集的非标注样本可能存在预测错误的情况，基于此，在对非标注样本的采样为有放回采样的情况下，这对上述多个非标注样本中除上述至少一部分非标注样本以外的另一部分非标注样本，可以确定其与当前训练样本集之间的交集，并将该交集中包括的非标注样本从当前训练样本集中剔除。
由上，可以实现基于非标注样本集，向当前训练样本集中补入新的，乃至具有高置信度的训练样本，从而增加训练样本的数量，并减缓类别失衡。
进一步，因增加了新的训练样本，还可以对当前训练样本集中各个训练样本的当前样本权重进行更新。一方面，在步骤S250，基于当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重。另一方面，在步骤S260，基于当前训练样本集中标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重。进而在步骤S270，基于上述当前类别权重、当前标注权重和当前非标注权重，确定当前训练样本集中各个训练样本的当前样本权重。
针对上述步骤S250，在一个实施例中，可以执行为：确定当前训练样本集中对应各种类别标签的训练样本数量的占比，并进行正向排序(由大到小排序或由小到大排序)，得到正向占比序列和对应的类别标签序列；再将该正向占比序列中的占比，逐个逆向确定为该类别标签序列中各个类别标签的当前类别权重。在另一个实施例中，还可以执行为：针对各种类别标签，利用预先设定的单调递减函数，对该类别标签在当前训练样本集中所对应训练样本数量的占比进行处理，并将得到的函数值确定为具有该类别标签的训练样本的当前类别权重。在一个具体的实施例中，其中单调递减函数可以为：f(x)＝1-x。在另一个具体的实施例中，其中单调递减函数可以为：f(x)＝exp(-x)。如此，可以确定出各种类别标签的当前类别权重，并且，实现当前类别权重的自适应调整。
针对上述步骤S260，在一个实施例中，可以执行为：确定当前训练样本集中标注样本的占比，从而确定当前标注权重和当前非标注权重，二者分别与该占比负相关和正相关。需理解，考虑到当前训练样本集中标注样本的质量相较非标注样本的质量通常还是更高，所以，随着当前训练样本集中非标注样本数量的不断增加，希望标注样本对应的标注权重随之增加，以保证训练效果。在一个具体的实施例中，可以将标注样本占比输入预先设定的单调递减函数中，并将得到的函数值确定为当前标注权重，以及，将标注样本占比输入预先设定的单调递增函数中，并将得到的函数值确定为当前非标注权重。在一个具体的实施例中，当前非标注权重与本轮迭代对应的轮次i正相关，以及与预先设定的总迭代轮次数量负相关。根据一个示例，可以采用下式计算当前标注权重wla和当前非标注权重wul：
在公式(2)和(3)中，h表示标注样本占比，i表示本轮迭代轮次，N表示预设的迭代轮次的总数，α为超级参数，用于控制非标注样本在损失函数中的最大系数比例，其可以被设定为区间(0,0.5]中的某一数值。
如此，可以实现当前标注权重和当前非标注权重的自适应调整。
在另一个实施例中，步骤S260还可以实现为：根据预先设定的迭代轮次与权重对之间的映射关系，确定与当前迭代轮次i对应的权重对，并将该权重对中的标注权重和非标注权重，分别作为当前标注权重和当前非标注权重。在一个具体的实施例中，在该映射关系中，随着迭代轮次的增加，权重对中的标注权重逐渐增加，非标注权重逐渐降低。
由上，可以确定出当前标注权重和当前非标注权重。
针对上述步骤S270，在一个实施例中，可以执行为：针对上述当前训练样本集中的各个训练样本，若其对应标注样本，则基于当前标注权重以及该训练样本对应的当前类别权重，确定该训练样本的当前样本权重；若其对应非标注样本，则基于当前非标注权重以及该训练样本对应的当前类别权重，确定该训练样本的当前样本权重。在一个具体的实施例中，可以将训练样本对应的两项权重(即，当前标注权重和当前非标注权重之一，以及当前类别权重)之间的乘积结果，确定为该训练样本的当前样本权重。在另一个具体的实施例中，可以将该两项权重输入预先设定的单调递增函数(例如，f(x1,x2)＝x1+x2)中，从而得到该训练样本的当前样本权重。如此，可以得到当前训练样本集中各个训练样本的当前样本权重。
由上，通过多次执行上述步骤S210至步骤S270以进行多轮次迭代，可以实现持续确定高置信度的非标注样本对初始包括少量标注样本的当前训练样本集进行扩充，以及，对训练样本的权重持续进行自适应调整，从而在模型训练过程中引入稳定性，并且，有效防止模型过拟合，降低模型复杂度，进而充分提高模型的泛化能力。在执行上述多轮次迭代后，可以的得到训练好的业务预测模型，用于实际使用，同时，最后一轮次迭代中更新得到的当前训练样本集中的训练样本带有高可用性的样本权重，如此产出的增强样本可以被迁移使用，用于其他模型训练。
与上述训练方法相对应的，本说明书实施例还披露一种训练装置。图3示出根据一个实施例的业务预测模型的训练装置结构示意图，所述业务预测模型用于执行针对业务对象的预测任务。如图3所示，所述装置300通过以下单元执行多轮迭代中的第i轮迭代：
训练样本获取单元310，配置为获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重。模型训练单元320，配置为利用从当前训练样本集中获取的多个训练样本和对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型。非标样本预测单元330，配置为利用所述本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果。训练样本扩充单元340，配置为基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本；将该新的训练样本并入所述当前训练样本集。类别权重确定单元350，配置为基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重。非标权重确定单元360，配置为基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重。样本权重确定单元370，配置为基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述训练样本的当前样本权重。
在一个实施例中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值。
在一个实施例中，所述业务对象包括文本、图片、音频、用户、商品、商户、事件，所述业务预测对象用于预测所述业务对象的分类或回归值。
在一个实施例中，所述第i轮为第1轮；其中，所述训练样本获取单元310具体配置为：获取所述标注样本集；基于所述标注样本集中标注样本的类别标签分布，确定所述各种类别标签的类别权重，作为对应标注样本的当前样本权重；基于所述标注样本集和标注样本的当前样本权重，构建所述当前训练样本集。
在一个实施例中，所述模型训练单元320具体配置为：利用所述业务预测模型处理所述多个训练样本，得到多个训练预测结果；基于所述多个训练预测结果和多个当前样本权重，确定训练损失；利用所述训练损失训练所述业务预测模型，得到所述本轮训练后的业务预测模型。
在一个实施例中，所述训练样本扩充单元340具体配置为：针对各个非标注样本，若其对应的非标预测结果中针对某类别标签的预测概率落入该某类别标签所对应的预置概率区间，则将该某类别标签确定为该非标注样本的类别标签。
在一个具体的实施例中，所述预置概率区间由概率确定单元确定，所述概率确定单元配置为：根据预先设定的类别标签与置信度之间的映射关系，基于所述本轮训练后的业务预测模型，确定各种类别标签在其对应置信度下的概率区间。
在一个更具体的实施例中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值；在所述映射关系中，所述第一类别标签对应第一置信度，所述第二类别标签对应第二置信度，所述第一置信度小于第二置信度。
在一个实施例中，类别权重确定单元350具体配置为：确定所述当前训练样本集中对应各种类别标签的训练样本数量的占比，并进行正向排序，得到正向占比序列和对应的类别标签序列；将所述正向占比序列中的占比，逐个逆向确定为所述类别标签序列中各个类别标签的当前类别权重。
在一个实施例中，所述非标样本预测单元360具体配置为：确定所述当前训练样本集中标注样本对应的标注样本占比；确定所述当前标注权重，其与所述标注样本占比负相关；确定所述当前非标注权重，其与所述标注样本占比正相关。
在一个具体的实施例中，所述当前非标注权重还与本轮迭代对应的轮次i正相关，以及与所述多轮迭代对应的总轮次数负相关。
在一个实施例中，所述样本权重确定单元370具体配置为：针对所述当前训练样本集中的各个训练样本，若其对应标注样本，则将所述当前标注权重以及其具有的类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重；若其对应非标注样本，则将所述当前非标注权重以及其具有类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重。
综上，采用本说明书实施例披露的训练装置进行多轮次迭代，可以持续确定高置信度的非标注样本对初始包括少量标注样本的当前训练样本集进行扩充，以及，对训练样本的权重持续进行自适应调整，从而在模型训练过程中引入稳定性，并且，有效防止模型过拟合，降低模型复杂度，进而充分提高模型的泛化能力。在执行上述多轮次迭代后，可以的得到训练好的业务预测模型，用于实际使用，同时，最后一轮次迭代中更新得到的当前训练样本集中的训练样本带有高可用性的样本权重，如此产出的增强样本可以被迁移使用，用于其他模型训练。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (23)

1.一种业务预测模型的训练方法，所述业务预测模型用于执行针对业务对象的预测任务，所述方法包括多轮迭代，其中第i轮迭代包括：
获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重；
利用从当前训练样本集中获取的多个训练样本和对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型；
利用所述本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；
基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本；将该新的训练样本并入所述当前训练样本集；
基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重；基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重；基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述训练样本的当前样本权重；
其中，基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重，包括：确定所述当前训练样本集中标注样本对应的标注样本占比；确定所述当前标注权重，其与所述标注样本占比负相关；确定所述当前非标注权重，其与所述标注样本占比正相关。
2.根据权利要求1所述的方法，其中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值。
3.根据权利要求1或2所述的方法，其中，所述业务对象包括文本、图片、音频、用户、商品、商户、事件，所述业务预测对象用于预测所述业务对象的分类或回归值。
4.根据权利要求1所述的方法，其中，所述第i轮为第1轮；其中，获取当前训练样本集，包括：
获取所述标注样本集；
基于所述标注样本集中标注样本的类别标签分布，确定所述各种类别标签的类别权重，作为对应标注样本的当前样本权重；
基于所述标注样本集和标注样本的当前样本权重，构建所述当前训练样本集。
5.根据权利要求1所述的方法，其中，利用从当前训练样本集中获取的多个训练样本和其对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型，包括：
利用所述业务预测模型处理所述多个训练样本，得到多个训练预测结果；
基于所述多个训练预测结果和多个当前样本权重，确定训练损失；
利用所述训练损失训练所述业务预测模型，得到所述本轮训练后的业务预测模型。
6.根据权利要求1所述的方法，其中，基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，包括：
针对各个非标注样本，若其对应的非标预测结果中针对某类别标签的预测概率落入该某类别标签所对应的预置概率区间，则将该某类别标签确定为该非标注样本的类别标签。
7.根据权利要求6所述的方法，其中，所述预置概率区间的确定包括：
根据预先设定的类别标签与置信度之间的映射关系，基于所述本轮训练后的业务预测模型，确定各种类别标签在其对应置信度下的概率区间。
8.根据权利要求7所述的方法，其中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值；
在所述映射关系中，所述第一类别标签对应第一置信度，所述第二类别标签对应第二置信度，所述第一置信度小于第二置信度。
9.根据权利要求1所述的方法，其中，基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重，包括：
确定所述当前训练样本集中对应各种类别标签的训练样本数量的占比，并进行正向排序，得到正向占比序列和对应的类别标签序列；
将所述正向占比序列中的占比，逐个逆向确定为所述类别标签序列中各个类别标签的当前类别权重。
10.根据权利要求1所述的方法，其中，所述当前非标注权重还与本轮迭代对应的轮次i正相关，以及与所述多轮迭代对应的总轮次数负相关。
11.根据权利要求1所述的方法，其中，基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述当前样本权重，包括：
针对所述当前训练样本集中的各个训练样本，若其对应标注样本，则将所述当前标注权重以及其具有的类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重；
若其对应非标注样本，则将所述当前非标注权重以及其具有类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重。
12.一种业务预测模型的训练装置，所述业务预测模型用于执行针对业务对象的预测任务，所述装置通过以下单元执行多轮迭代中的第i轮迭代：
训练样本获取单元，配置为获取当前训练样本集，其初始包括标注样本集中的标注样本，并且，其中各个训练样本具有对应的类别标签和当前样本权重；
模型训练单元，配置为利用从当前训练样本集中获取的多个训练样本和对应的多个当前样本权重，训练所述业务预测模型，得到本轮训练后的业务预测模型；
非标样本预测单元，配置为利用所述本轮训练后的业务预测模型，对从非标注样本集中获取的多个非标注样本进行处理，得到多个非标预测结果；
训练样本扩充单元，配置为基于所述多个非标预测结果，确定所述多个非标注样本中至少一部分非标注样本的类别标签，从而形成新的训练样本；将该新的训练样本并入所述当前训练样本集；
类别权重确定单元，配置为基于所述当前训练样本集中训练样本的类别标签分布，确定各种类别标签的当前类别权重；
非标权重确定单元，配置为基于所述训练样本对应标注样本和非标注样本的统计分布，确定当前标注权重和当前非标注权重；
样本权重确定单元，配置为基于所述当前类别权重、当前标注权重和当前非标注权重，确定所述训练样本的当前样本权重；
其中，所述非标权重确定单元具体配置为：确定所述当前训练样本集中标注样本对应的标注样本占比；确定所述当前标注权重，其与所述标注样本占比负相关；确定所述当前非标注权重，其与所述标注样本占比正相关。
13.根据权利要求12所述的装置，其中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值。
14.根据权利要求12或13所述的装置，其中，所述业务对象包括文本、图片、音频、用户、商品、商户、事件，所述业务预测对象用于预测所述业务对象的分类或回归值。
15.根据权利要求12所述的装置，其中，所述第i轮为第1轮；其中，所述训练样本获取单元具体配置为：
获取所述标注样本集；
基于所述标注样本集中标注样本的类别标签分布，确定所述各种类别标签的类别权重，作为对应标注样本的当前样本权重；
基于所述标注样本集和标注样本的当前样本权重，构建所述当前训练样本集。
16.根据权利要求12所述的装置，其中，所述模型训练单元具体配置为：
利用所述业务预测模型处理所述多个训练样本，得到多个训练预测结果；
基于所述多个训练预测结果和多个当前样本权重，确定训练损失；
利用所述训练损失训练所述业务预测模型，得到所述本轮训练后的业务预测模型。
17.根据权利要求12所述的装置，其中，所述训练样本扩充单元具体配置为：
针对各个非标注样本，若其对应的非标预测结果中针对某类别标签的预测概率落入该某类别标签所对应的预置概率区间，则将该某类别标签确定为该非标注样本的类别标签。
18.根据权利要求17所述的装置，其中，所述预置概率区间由概率确定单元确定，所述概率确定单元配置为：
根据预先设定的类别标签与置信度之间的映射关系，基于所述本轮训练后的业务预测模型，确定各种类别标签在其对应置信度下的概率区间。
19.根据权利要求18所述的装置，其中，所述标注样本集包括第一数量的具有第一类别标签的标注样本，还包括第二数量的具有第二类别标签的标注样本，所述第一数量与第二数量之间的比值小于预设数值；
在所述映射关系中，所述第一类别标签对应第一置信度，所述第二类别标签对应第二置信度，所述第一置信度小于第二置信度。
20.根据权利要求12所述的装置，其中，类别权重确定单元具体配置为：
确定所述当前训练样本集中对应各种类别标签的训练样本数量的占比，并进行正向排序，得到正向占比序列和对应的类别标签序列；
将所述正向占比序列中的占比，逐个逆向确定为所述类别标签序列中各个类别标签的当前类别权重。
21.根据权利要求12所述的装置，其中，所述当前非标注权重还与本轮迭代对应的轮次i正相关，以及与所述多轮迭代对应的总轮次数负相关。
22.根据权利要求12所述的装置，其中，所述样本权重确定单元具体配置为：
针对所述当前训练样本集中的各个训练样本，若其对应标注样本，则将所述当前标注权重以及其具有的类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重；
若其对应非标注样本，则将所述当前非标注权重以及其具有类别标签所对应的当前类别权重的乘积结果，确定为其对应的当前样本权重。
23.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-11中任一项所述的方法。
CN202110890736.0A 2021-08-04 2021-08-04 业务预测模型的训练方法及装置 Active CN113537630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110890736.0A CN113537630B (zh) 2021-08-04 2021-08-04 业务预测模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110890736.0A CN113537630B (zh) 2021-08-04 2021-08-04 业务预测模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN113537630A CN113537630A (zh) 2021-10-22
CN113537630B true CN113537630B (zh) 2024-06-14

Family

ID=78090452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110890736.0A Active CN113537630B (zh) 2021-08-04 2021-08-04 业务预测模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN113537630B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114091902A (zh) * 2021-11-22 2022-02-25 支付宝(杭州)信息技术有限公司 风险预测模型的训练方法及装置、风险预测方法及装置
CN114282684A (zh) * 2021-12-24 2022-04-05 支付宝(杭州)信息技术有限公司 训练用户相关的分类模型、进行用户分类的方法及装置
CN114707661A (zh) * 2022-04-13 2022-07-05 支付宝(杭州)信息技术有限公司 一种对抗训练方法和系统
CN114978616B (zh) * 2022-05-06 2024-01-09 支付宝(杭州)信息技术有限公司 风险评估系统的构建方法及装置、风险评估方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN111368924A (zh) * 2020-03-05 2020-07-03 南京理工大学 基于主动学习的不平衡数据分类方法
CN112990294A (zh) * 2021-03-10 2021-06-18 挂号网（杭州）科技有限公司 行为判别模型的训练方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163234B (zh) * 2018-10-10 2023-04-18 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
CN109583468B (zh) * 2018-10-12 2020-09-22 阿里巴巴集团控股有限公司 训练样本获取方法，样本预测方法及对应装置
CN109800799A (zh) * 2018-12-31 2019-05-24 华南理工大学 一种适用于无标签不平衡数据流的在线主动学习方法
CN112115267B (zh) * 2020-09-28 2023-07-07 平安科技（深圳）有限公司 文本分类模型的训练方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN111368924A (zh) * 2020-03-05 2020-07-03 南京理工大学 基于主动学习的不平衡数据分类方法
CN112990294A (zh) * 2021-03-10 2021-06-18 挂号网（杭州）科技有限公司 行为判别模型的训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113537630A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113537630B (zh) 业务预测模型的训练方法及装置
WO2018121690A1 (zh) 对象属性检测、神经网络训练、区域检测方法和装置
WO2021143396A1 (zh) 利用文本分类模型进行分类预测的方法及装置
US8331655B2 (en) Learning apparatus for pattern detector, learning method and computer-readable storage medium
US11270124B1 (en) Temporal bottleneck attention architecture for video action recognition
US11227217B1 (en) Entity transaction attribute determination method and apparatus
CN113222942A (zh) 多标签分类模型的训练方法和预测标签的方法
US20140317034A1 (en) Data classification
CN112288572B (zh) 业务数据处理方法及计算机设备
WO2017188048A1 (ja) 作成装置、作成プログラム、および作成方法
JP2010272004A (ja) 判別装置及び判別方法、並びにコンピューター・プログラム
CN110059743B (zh) 确定预测的可靠性度量的方法、设备和存储介质
CN116975686A (zh) 训练学生模型的方法、行为预测方法和装置
CN112200488B (zh) 针对业务对象的风险识别模型训练方法及装置
CN112561569B (zh) 基于双模型的到店预测方法、系统、电子设备及存储介质
CN114610953A (zh) 一种数据分类方法、装置、设备及存储介质
CN115409168A (zh) 神经网络优化方法及其装置
JP6611268B2 (ja) 特定装置、分析システム、特定方法及び特定プログラム
US7720771B1 (en) Method of dividing past computing instances into predictable and unpredictable sets and method of predicting computing value
CN116089722B (zh) 基于图产出标签的实现方法、装置、计算设备和存储介质
JP6614030B2 (ja) 観測者検出装置、方法、プログラム、及びコンピュータ読み取り可能な記録媒体
US12038989B2 (en) Methods for community search, method for training community search model, and electronic device
CN115827876B (zh) 未标注文本的确定方法、装置和电子设备
CN112906732B (zh) 目标检测方法、装置、电子设备及存储介质
CN114693950B (zh) 一种图像特征提取网络的训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant