CN114970716A - 表征模型的训练方法、装置、可读存储介质及计算设备 - Google Patents

表征模型的训练方法、装置、可读存储介质及计算设备 Download PDF

Info

Publication number
CN114970716A
CN114970716A CN202210582911.4A CN202210582911A CN114970716A CN 114970716 A CN114970716 A CN 114970716A CN 202210582911 A CN202210582911 A CN 202210582911A CN 114970716 A CN114970716 A CN 114970716A
Authority
CN
China
Prior art keywords
service
sample
business
samples
characterization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210582911.4A
Other languages
English (en)
Inventor
曲波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210582911.4A priority Critical patent/CN114970716A/zh
Publication of CN114970716A publication Critical patent/CN114970716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Technology Law (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供了表征模型的训练方法、装置、可读存储介质及计算设备。该方法包括：获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；利用表征模型得到分别与多个业务样本一一对应的多个表征向量；对于多个业务样本中的目标业务样本，确定与该样本具有相同标签值的若干个第一样本、不同标签值的若干个第二样本；基于多个表征向量，计算各第一样本、各第二样本分别与该样本的相似度，得到对比学习结果；基于目标业务样本的对比学习结果，训练表征模型，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别，提高表征向量的召回能力。

Description

表征模型的训练方法、装置、可读存储介质及计算设备
技术领域
本说明书一个或多个实施例涉及机器学习领域，尤其涉及表征模型的训练方法、装置、可读存储介质及计算设备。
背景技术
业务事件是指与业务有关的事件，例如交易事件、买卖事件、资金事件、支付事件。为了便于对业务事件进行分析，通常需要表征模型对业务事件进行表征，得到的表征向量可以用于实现后续业务。这些后续业务可能是相似的业务事件的检索，也可能是相似的业务事件分析，因此，需要表征向量具有召回能力。目前亟需一种表征模型的训练方案以提高表征向量的召回能力。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本说明书一个或多个实施例描述了一种表征模型的训练方法、装置、计算机可读存储介质及计算设备，通过有监督的对比学习的方式训练表征模型，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别；后续，在通过表征模型对业务事件进行表征时，得到的表征向量具有较好的召回能力。
根据第一方面，提供了一种表征模型的训练方法，包括：
获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；
利用表征模型，对所述多个业务样本分别进行事件特征编码处理，得到分别与所述多个业务样本一一对应的多个表征向量；
对于所述多个业务样本中的目标业务样本，从所述多个业务样本中，确定与所述目标业务样本在所述若干个业务分类任务中的目标任务下，具有相同标签值的若干个第一样本、以及不同标签值的若干个第二样本；基于所述多个表征向量，计算各第一样本、各第二样本分别与所述目标业务样本的相似度，得到所述目标业务样本的对比学习结果；
至少基于所述目标业务样本的对比学习结果，训练所述表征模型。
根据一种可行的实现方式，所述方法还包括：对于若干个业务分类任务中的任意任务，将所述多个表征向量分别输入到该任务对应的任务模型进行任务预测，得到预测结果，其中包括所述多个业务样本各自针对该任务的预测值；则所述至少基于所述目标业务样本的对比学习结果，训练所述表征模型，包括：至少基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值、所述目标业务样本的对比学习结果，训练所述表征模型。
在一个例子中，所述方法还包括：对于若干个业务分类任务中的任意任务，基于对应的预测结果中所述多个业务样本各自的预测值和所述多个业务样本各自具有的该任务的标签值，训练该任务对应的任务模型。
在一个例子中，所述任务模型包括编码层和预测层，所述任务预测包括：对于所述多个表征向量中的任一向量，通过所述编码层对所述表征向量进行处理实现信息融合，输出融合向量；通过所述预测层基于所述融合向量进行针对该任务的预测，得到所述任一向量对应的业务样本的预测值。
示例地，所述若干个业务分类任务对应于多个任务模型，所述多个任务模型共用所述编码层，所述方法还包括：至少基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值、所述目标业务样本的对比学习结果，训练所述编码层；基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值训练所述预测层。
根据一种可行的实现方式，所述表征模型包括嵌入层、特征交互层、线性层和表征层；所述事件特征编码处理包括：利用所述嵌入层对任意业务样本中多个事件特征各自的特征值进行向量化表示，得到分别与所述多个事件特征一一对应的多个特征值向量；利用所述特征交互层基于所述多个特征值向量，对所述多个事件特征进行特征交互处理，确定交互处理结果；利用所述线性层对所述多个特征值向量进行线性处理，确定线性处理结果；利用所述表征层基于所述交互处理结果和所述线性处理结果，确定所述业务样本对应的表征向量。
在一个例子中，所述多个事件特征包括离散型特征和连续型特征，所述交互处理结果包括连续型特征交互向量和离散型特征交互向量；所述表征向量为所述连续型特征交互向量、离散型特征交互向量和所述线性处理结果拼接后的向量；所述特征交互层包括第一交互层和第二交互层；所述特征交互处理包括:通过所述第一交互层基于所述连续型特征对应的特征值向量进行特征交互，确定连续型特征交互向量；通过所述第二交互层基于所述离散型特征对应的特征值向量进行特征多阶交互，确定离散型特征交互向量。
根据一种可行的实现方式，所述方法还包括：获取所述业务事件的结构化业务数据；将所述结构化业务数据中的单条记录作为单个业务样本，确定所述多个业务样本。
在一个例子中，所述结构化业务数据为理赔数据。
示例地，所述多个业务分类标签包括第一标签和第二标签，所述第一标签用于表示是否理赔，所述第二标签用于表示理赔案件类型。
根据第二方面，提供了一种表征模型的训练装置，包括：
样本获取模块，被配置为获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；
表征模块，被配置为利用表征模型，对所述多个业务样本分别进行事件特征编码处理，得到分别与所述多个业务样本一一对应的多个表征向量；
对比学习模块，被配置为对于所述多个业务样本中的目标业务样本，从所述多个业务样本中，确定与所述目标业务样本在所述若干个业务分类任务中的目标任务下，具有相同标签值的若干个第一样本、以及具有不同标签值的若干个第二样本；基于所述多个表征向量，计算各第一样本、各第二样本分别与所述目标业务样本的相似度，得到所述目标业务样本的对比学习结果；
训练模块，被配置为至少基于所述目标业务样本的对比学习结果，训练所述表征模型。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所述的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所述的方法。
在本说明书的实施例中，通过有监督的对比学习，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别；后续，在通过表征模型对业务事件进行表征时，得到的表征向量具有较好的召回能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出在一个实施例中结构化数据的示意图；
图2示出在一个实施例中目标模型的结构示意图；
图3示出在一个实施例中确定一个业务样本的对比学习结果的示意图；
图4示出根据一个实施例的表征模型的训练方法的流程示意图；
图5示出根据一个实施例的表征模型的训练装置的结构示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
随着业务的不断发展，对业务不断提出新的诉求，比如，相似的业务事件的检索、相似的业务事件群的刻画等。在这种背景下，推荐领域的检索召回技术，由于其召回相似历史样本的机制，可以应对上述业务上的诉求。因此，结合具体的业务场景与诉求，构建业务事件对应的表征模型，更好地将检索召回技术应用在表征模型，使得表征模型输出的表征向量具有检索召回能力，即基于表征向量感知相似的业务事件，成为了亟待解决的问题。
基于上述问题，本说明书实施例提供了一种表征模型训练的方案，通过有监督的多任务学习和对比学习相结合的方式训练表征模型，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别、多任务的信息，以提高表征模型输出的表征向量在多任务下的检索召回能力。
下面对训练表征模型的业务样本集、表征模型的结构、训练表征模型的方案、表征模型的应用场景分别进行说明。
训练表征模型的业务样本集
业务样本集为多个业务样本形成的集合。具体地，基于业务事件的结构化数据，确定用于训练表征模型的多个业务样本。其中，结构化数据也指扁平数据(tabu l ar data)，由行和列组成，每行与其他行具有相同的列，并且顺序相同。给定的列具有相同的字段名称，但是不同的列可以具有不同的字段名称。图1示出在一个实施例中结构化数据的示意图。如图1所示，结构化数据由m+1行N列形成，包括字段1、字段2、…、字段N，字段1表示第1列的数据，包括字段名称1和字段名称1对应的m个字段值,m个字段值表示为字段值11、字段值12、…、字段值1m,字段2至字段N类同，不再赘述。对应的，结构化数据中的一条记录即一行数据作为一个业务样本；如图1所示，第2行至第m+1行对应于m个业务样本，表示为业务样本1、业务样本2、…、业务样本m，业务样本1包括字段名称1至字段名称N在第2行的字段值11、字段值12、…、字段值N1作为特征值，业务样本2至业务样本m类同，不再赘述。其中，业务事件表示与业务有关的事件，例如交易事件、买卖事件、资金事件、支付事件，其中，上述“事件”包括但不限于：对某些设备或应用的操作、或某些设备或应用执行的动作，例如，POS机和银行卡之间的数据交互、通过设备执行的支付操作等。
需要说明的是，字段值为字段名称所表示的事件特征的特征值，结构化数据中的多个字段名称表示不同的事件特征，比如，图1示出的字段名称1至字段名称N表示不同的事件特征；其中，事件特征可以为离散型特征，也可以为连续型特征；则结构化数据中的多个事件特征可以包括连续型特征，也可以包括离散型特征，还可以包括连续型特征和离散型特征。示例地，结构化数据为对应于理赔事件的理赔数据，连续型特征可以为保险金额、理赔次数、医药费等，离散型特征可以为待理赔事件类型、理赔规则、保险责任、理赔开始日期，理赔结束日期、理赔申请日期、理赔医院等。示例地，结构化数据为对应于交易事件的交易数据，连续型特征可以包括：涉案金额，主动方操作数量，被动方操作数量；离散型特征可以包括：付款方式、交易标的、付款卡号。示例地，结构化数据为对应于贷款事件的贷款数据，连续型特征可以包括：贷款金额、逾期次数、贷款人月收入、贷款人分期数、贷款人征信分；离散型特征可以包括：贷款人职业、贷款平台。
值得注意的是，结构化数据通过对原始数据进行数据清洗得到。其中，数据清洗可以为去除缺失值、异常值等无效数据，数据清洗的具体方式可以结合实际业务场景确定，本说明书实施例对此不做具体限定。
表征模型的结构
图2示出在一个实施例中目标模型的结构示意图。目标模型可以理解为实现表征模型训练的相关模型。如图2所示，目标模型包括表征模型和多个任务模型，多个任务模型表示为任务模型1、任务模型2、…，其中，表征模型包括嵌入层、线性层、特征交互层和表征层。
其中，嵌入层用于对输入的业务样本中的事件特征的特征值进行预处理和向量化表示。
这里，预处理包括归一化、分箱(是一种将连续型特征的数据转换成为离散数据的操作，一般而言是为了提升泛化能力)等，本说明书实施例对此不做具体限定，具体可结合事件特征的特征值的特点选择不同的预处理的方式，值得注意的是，嵌入层会提前设置好需要预处理的事件特征，以及该事件特征的相关的处理参数，这些相关的处理参数通常会综合考虑该事件特征在所有业务样本的特征值的情况，也即事件特征所在字段中的所有字段值的情况。
示例地，如图1所示，假设字段1需要进行归一化，相关的处理参数可以为字段值11至字段值1m中的最大值和最小值；后续，对于m个业务样本中任一业务样本，为了便于描述称为第i个业务样本，将第i个业务样本输入嵌入层后，嵌入层将字段值1i的大小、最大值和最小值代入归一化函数计算，即可确定字段值1i归一化后的字段值。可选地，归一化函数可以参见如下公式(1)。
Xinorm＝(Xi-Xmin)/(Xmax-Xmin) (1)
其中，Xinorm表示m个业务样本中第i个业务样本的字段值1i归一化后的字段值；Xi表示第i个业务样本的字段值1i；Xmax表示字段值11至字段值1m中的最大值；Xmin表示字段值11至字段值1m中的最小值。
示例地，如图1所示，假设字段2需要进行分箱，则可基于字段值21至字段值2m进行数据划分后得到多个区间；对应的，分箱的相关处理参数为多个区间各自的数据范围。后续，将第i个业务样本输入嵌入层后，嵌入层基于字段值2i的大小和多个区间各自的数据范围，即可确定字段值2i所属的区间，该区间作为字段值2i预处理后的特征值。
这里，向量化表示可以理解为embedding映射。
举例来说，如果事件特征的特征值为文本，则需要对文本中的各字进行embedding映射后拼接，得到该特征的特征值向量；示例地，对于文本中的任意一个字，查字向量表(包括大量文字各自的编码向量)，匹配的字的编码向量为该字的token_embedding(词嵌入)；基于字的顺序编号(对文本中的各字进行排序得到)查排序位向量表(包括多个顺序编号各自的编码向量)，匹配的顺序编号的编码向量为该字的position embedding(位置嵌入)；并对token_embedding和position embedding进行融合，完成该字的embedding映射。
举例来说，如果事件特征的特征值为数值，则需要对数值进行embedding映射，得到该事件特征的特征值向量。示例地，基于数值的大小查数值向量表(包括多个数值各自的编码向量)，匹配的数值的编码向量为该数值的编码向量。
举例来说，如果事件特征的特征值为区间，则需要对区间进行embedding映射，得到该特征的特征值向量。示例地，查区间向量表(包括多个区间各自的编码向量)，匹配的区间的编码向量为该区间的编码向量。
值得注意的是，嵌入层输出的是业务样本中各业务特征的特征值向量。
其中，线性层用于对嵌入层输出的业务样本对应的各特征值向量进行线性映射，得到线性化向量；在一个例子中，线性层可以为单层的全连接层，也可以为embedding聚合，即融合业务样本中各事件特征。
其中，特征交互层用于对嵌入层输出的业务样本对应的各特征值向量进行交互。
在一个例子中，特征交互层包括离散型特征交互层和连续型特征交互层；其中，离散型特征交互层用于基于输入的各离散型特征的特征值向量，进行特征多阶交互，得到离散型特征交互向量；连续型特征交互层用于基于输入的各连续型特征的特征值向量，进行特征交互，得到连续型特征交互向量。示例地，离散型特征交互层可以为CIN(CompressedInteraction Network)网络，是XDeepFM论文中提出的网络结构，用来实现特征多阶交叉表达，是FM思想在高阶交叉上的拓展。示例地，连续型特征交互层可以为多层感知机。需要说明的是，业务应用对表征模型计算实时性有一定限制，不宜使用参数复杂的模型算法，因此特征交互层选择模型参数较小的网络，从而满足高时效的需求。
其中，表征层用于基于线性层和特征交互层的输出进行组合，例如进行拼接，得到业务样本对应的表征向量。在一个例子中，表征层用于对线性层输出的线性化向量、特征交互模块输出的连续型特征交互向量、离散型特征交互向量进行拼接，得到业务样本对应的表征向量。
应当理解的是，在本说明书实施例中，考虑到后续的业务可能需要利用业务样本的标签和事件特征之间的线性关系，且后续业务需要表征层输出的表征向量，则可将线性关系直接体现在表征向量当中，便于直接利用线性关系实现后续业务。
训练表征模型的方案
本说明书实施例在训练表征模型时，采用有监督的多任务学习和有监督的对比学习相结合的方式。另外，为了降低迭代次数、提高数据处理速度，本说明实施例采用批次训练。其中，批次训练可以理解为把业务样本集分成数个批次进行训练，每个批次从业务样本集中选取n_num(业务样本集的样本数)/n_batch(批次的数目)个业务样本，直到把业务样本集中的所有业务样本训练完成。为了便于描述，将一个批次中选取的所有业务样本形成的集合称为批次业务样本集，下面以批次业务样本集对表征模型进行训练为例进行描述。
针对有监督的多任务学习。首先对业务样本的标签进行说明。鉴于本说明书实施例涉及到了多个业务分类任务，则对于任一业务样本，需要标注出该业务样本在各业务分类任务下的标签值。示例地，在业务事件为理赔事件的例子中，多个业务分类任务可以包括是否理赔和理赔案件类型；在该示例下，对于是否理赔的业务分类任务，标签值可以为0(表示无需理赔)和1(需要理赔)；对于理赔案件类型的业务分类任务，假设具有多个类型，比如，类型1、类型2、类型3、类型4，……，则业务样本的标签值可以为采用独热编码进行编码后的向量，该向量中，业务样本所属类型对应编码位置的值为1，其他编码位置的值为0。另外针对任一业务分类任务，会构建对应的任务模型。图1示出了任务模型1、任务模型2、…。在一个例子中，任务模型中可以包括编码层和预测层，这里，编码层用于对表征向量进一步进行编码融合表征向量表示的信息，得到融合向量；示例地，编码层可以为全连接层；示例地，若得到的表征向量包括线性化向量、连续型特征交互向量、离散型特征交互向量这3类向量的拼接，则编码层可以对这3类向量进行进一步融合，得到更深层的语义；预测层基于融合向量进行针对业务分类任务的预测，得到表征向量所表示的业务样本的预测值。
其次，对于多个业务分类任务的各任务，将业务样本对应的表征向量输入至该任务对应的任务模型，得到业务样本针对该任务的预测值，并将其归并到该任务对应的预测结果。在按照上述方式处理完批次业务样本集中的各业务样本后，可以得到多个业务分类任务各自的预测结果。其中，对于任一业务分类任务，该任务的预测结果包括批次业务样本集中的各业务样本分别针对该任务的预测值。
之后，对于多个业务分类任务的任一业务分类任务，基于该任务的预测结果，和批次业务样本集中各业务样本针对该任务的标签值，确定各业务样本在该任务的样本预测损失；基于批次业务样本集中各业务样本在该任务的样本预测损失确定任务预测损失，比如，任务预测损失为批次业务样本集中各业务样本在该任务的样本预测损失的和、均值等，具体可结合实际情况确定，优选和；进一步地，基于任务预测损失训练任务模型和表征模型。在一个例子中，某个业务分类任务下的类别可以有N个，业务样本针对该任务的预测值包括N个类别各自的概率值。
示例地，当N＝2时，可通过如下公式(2)计算第i个业务样本的样本预测损失Li：
Li＝yi·log(Pi)+(1-yi)·log(1-Pi) (2)
其中，yi表示第i个业务样本针对该任务的标签值，指示其在该任务下的真实类别，真实类别为正例时，标签值表示为1，为负例时，标签值表示为0；Pi表示任务模型预测的第i个业务样本属于正例的概率。
示例地，当N大于2时，可通过如下公式(3)计算业务样本的样本预测损失Li：
Figure BDA0003664849640000091
其中，yij表示第i个业务样本针对该任务下的第j个类别的标签值，表示为O或1，0表示不属于第j个类别，1表示属于第j个类别；Pij表示任务模型预测的第i个业务样本属于第j个分类的概率。
需要说明的是，上述损失函数仅仅作为示例，并不构成具体限定，损失函数可以结合表征模型的具体情况进行合理的设计。
值得注意的是，若多个业务分类任务各自对应的任务模型共用编码层，则可基于多个业务分类任务各自对应的任务预测损失，比如，这些损失的和、均值等，训练共用的编码层；另外，对于多个业务分类任务的任一业务分类任务，基于该任务对应的任务预测损失，训练该任务对应的任务模型中的预测层。
针对有监督的对比学习。首先说明对比学习过程中的正样本对和负样本对。图3示出在一个实施例中确定一个业务样本的对比学习结果的示意图。具体地，下面结合图3所示内容对正样本对和负样本对进行说明。请参考图3，对于批次业务样本集中的任一业务样本，从批次样本样本集中进行业务样本选取，将与该业务样本在目标任务下标签相同的各业务样本分别作为正样本，定义业务样本与一个正样本形成的组合作为正样本对，则将各个正样本分别与该业务样本组合，得到若干个正样本对；将与该业务样本在目标任务下标签不同的各业务样本分别作为负样本，定义业务样本与一个负样本形成的组合作为负样本对，则将各个负样本分别与该业务样本组合，得到若干个负样本对。在实际应用中，目标任务可以结合实际需求设计，本说明书实施例并不意图限定目标任务的数量，比如，可以通过实验验证不同业务分类任务的表现情况，将表现不好的一个或多个任务作为目标任务。也可以将各业务分类任务分别作为目标任务，还可以将这些业务分类任务的各种可能的组合分别作为目标任务。当然，针对目标任务，各业务样本的处理过程是相似的，区别仅仅在于正样本集和负样本集的不同。
其次，说明对比学习的过程。具体地，下面结合图3所示内容详细说明对比学习过程。继续参考图3，对于批次业务样本集中的任一业务样本，基于多个业务样本各自的表征向量，计算正样本对中的两个业务样本之间的相似度(为了便于描述和区别，称为第一相似度)，以及，负样本对中的两个业务样本之间的相似度(为了便于描述和区别，称为第二相似度)，将得到的各正样本对所对应的第一相似度，和，各负样本对所对应的第二相似度作为对比学习结果；基于该业务样本的对比学习结果，确定该业务样本的样本对比学习损失。这里，通过表征向量之间的相似度比如余弦相似度，来说明业务样本之间的相似度。上述余弦相似度仅仅作为示例并不构成具体限定。在一个例子中，可通过如下损失函数(4)计算第i个业务样本的样本对比学习损失Licon：
Figure BDA0003664849640000101
其中，h0(·)表示定义的距离函数，表示两个业务样本对应的表征向量之间的相似度；xin表示第i个业务样本的第n个正样本对；xin表示第i个业务样本的第n个正样本对；h0(xin)表示第i个业务样本的第n个正样本对中的两个业务样本对应的表征向量之间的第一相似度；yim表示第i个业务样本的第m个负样本对；h0(yim)表示第i个业务样本的第m个负样本对中的两个业务样本对应的表征向量之间的第二相似度；p表示正样本对的数目；q表示负样本对的数目。需要说明的是，上述损失函数仅仅作为示例，并不构成具体限定，损失函数可以结合训练表征模型的具体情况进行合理的设计。
最后，基于各业务分类任务的预测损失和各业务样本的对比学习损失训练表征模型。进一步地，若多个业务分类类别各自的任务模型共用编码层，还可以基于此训练任务模型的编码层，使得编码层能够学习相似的业务事件之间的关系、不同业务事件之间的区别以及多任务的信息，从而便于任务模型的预测层进行分类。
表征模型的应用场景
在采用上述方式训练得到表征模型和任务模型以后，在实际应用中，将业务事件输入至表征模型后输入不同业务分类任务各自的任务模型，即可确定业务样本在不同业务分类任务各自的预测值。进一步地，对于需要检索召回的场景，确定多个业务事件形成的业务事件集合，将该集合中各业务事件输入至表征模型，得到的各业务事件的表征向量形成向量集，之后，将采集到的业务事件输入至表征模型，得到该业务事件的表征向量，计算该表征向量和向量集中各表征向量之间的相似度，并将相似度最高的多个表征向量各自的业务事件分别作为相似业务事件，后续，业务人员可对业务事件和其对应的各相似业务事件进行分析。
综上，在本说明书的实施例中，通过有监督的多任务学习和对比学习相结合的方式训练表征模型，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别、若干个任务的信息，以及，多任务的信息，以提高表征模型输出的表征向量在多任务下的检索召回能力。
图4示出根据一个实施例的表征模型的训练方法的流程示例图，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群执行。本说明书实施例如图4所示，该方法包括以下步骤：步骤41，获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；步骤42，利用表征模型，对多个业务样本分别进行事件特征编码处理，得到分别与所述多个业务样本一一对应的多个表征向量；步骤43，对于多个业务样本中的目标业务样本，从多个业务样本中，确定与目标业务样本在若干个业务分类任务中的目标任务下，与目标业务样本具有相同标签值的若干个第一样本、以及具有不同标签值的若干个第二样本；基于多个表征向量，计算各第一样本、各第二样本分别与目标业务样本的相似度，得到目标业务样本的对比学习结果；步骤44，至少基于目标业务样本的对比学习结果，训练表征模型。
首先在步骤41中，上述多个业务样本可以形成上述批次业务样本集或者业务样本集。在实际应用中，当形成上述业务样本时，可以获取结构化数据，将结构化数据中的单条记录作为单个业务样本，得到业务样本集；当形成上述批次业务样本时，进一步地，还需要按照批次的数目对该业务样本集进行划分，得到批次业务样本集。其中，对于任一业务样本，该样本包括业务事件的多个事件特征以及多个事件特征各自的特征值。其中，事件特征可以理解为业务事件的特性，详细内容参见上文，此处不再赘述。进一步的，业务样本还具有若干个业务分类任务各自对应的标签值。这里，标签值可以是人工标注的，体现业务样本在业务分类任务下的实际分类情况，可以是采用独热编码的方式编码后的向量。本说明书实施例并不意图限制业务分类任务的数量，具体可结合实际需求确定。
接着，在步骤42，对于单个业务样本，将该业务样本输入表征模型，表征模型对业务样本进行事件特征编码处理，得到该业务样本对应的表征向量。按照该方式处于各业务样本，在处理完多个业务样本后，即可得到多个业务样本各自对应的表征向量。
根据一种可行的实现方式，表征模型包括嵌入层、特征交互层、线性层和表征层。具体地，单个业务样本的事件特征编码处理通过如下方式实现：利用嵌入层对业务样本中多个事件特征各自的特征值进行向量化表示，得到分别与多个事件特征一一对应的多个特征值向量；然后，利用特征交互层基于多个特征值向量，对多个事件特征进行特征交互处理，确定交互处理结果；然后，利用线性层对多个特征值向量进行线性处理，确定线性处理结果；之后，利用表征层基于交互处理结果和线性处理结果比如拼接，确定业务样本对应的表征向量。
在一个例子中，多个事件特征包括离散型特征和连续型特征，基于此，特征交互层包括第一交互层(对应上述离散型特征交互层)和第二交互层(对应上述连续型特征交互层)，对应的，交互处理结果包括第一交互层基于各连续型特征对应的特征值向量进行特征交互输出的连续型特征交互向量，以及，第二交互层基于各离散型特征对应的特征值向量进行特征多阶交互输出的离散型特征交互向量。在该情况下，表征向量由线性处理结果、离散型特征交互向量、连续型特征交互向量拼接得到。
详细内容参见上文，此处不再赘述。
然后，在步骤43中，对于多个业务样本中的目标业务样本(为多个业务样本中的任一业务样本)，确定与目标业务样本在目标任务下标签相同的多个业务样本(为了便于描述和区别，称为第一样本)，以及，与目标业务样本在目标任务下标签不同的多个业务样本(为了便于描述和区别，称为第二样本)；进一步地，基于第一样本和该目标业务样本各自的表征向量，计算第一样本和该目标业务样本的相似度(为了便于描述和区别，称为第一相似度)，基于此，得到各第一样本分别与该目标业务样本的第一相似度，并将这些相似度归入对比学习结果；基于相似的方式，计算第二样本和该目标业务样本的相似度(为了便于描述和区别，称为第一相似度)，将各第二样本分别和该目标业务样本的第二相似度归入该目标业务样本的对比学习结果；在步骤44中，基于对比学习结果中的第一相似度和第二相似度，确定该目标业务样本的预测损失(为了便于描述和区别，称为第一预测损失，对应上述样本对比学习损失)。这里，当业务分类任务只有一个时，目标任务为该业务分类任务；当业务分类任务有多个时，目标任务由这些业务分类任务中的一个或多个任务形成，详细内容参见上文，不再赘述；且在实际应用中，目标任务可以有多个，本说明书实施例并不做具体限定，具体可结合实际情况确定。
以上详细描述了确定目标业务样本在目标任务下的第一预测损失的过程。对于多个业务样本的各业务样本，均可将其作为目标业务样本，重复执行上述步骤43和44，确定出各业务样本在目标任务下的第一预测损失。另外，若目标任务有多个，则针对其他的目标任务，重复执行上述步骤43和44，确定出各业务样本在其他的目标任务下的第一预测损失；在处理完各目标任务后，可以得到各业务样本在各目标任务下的第一预测损失。
另外，在各业务样本的第一预测损失的基础上，还可以结合各业务分类任务对应的预测损失(为了便于描述和区别，称为第二预测损失，对应上述任务预测损失)训练表征模型，使得表征模型学习学习相似的业务事件之间的关系、不同业务事件之间的区别，以及，若干个任务的信息。
则，在步骤44中，对于任一业务分类任务，将业务样本对应的表征向量输入到该任务对应的任务模型进行任务预测，得到该业务样本针对该任务的预测值，并将其归并到该任务对应的预测结果。在处理完多个表征向量后，即可得到该任务的预测结果，其中包括多个业务样本各自针对该任务的预测值。然后在步骤44中，基于多个业务样本各自具有的针对该任务的标签值，和，预测结果中多个业务样本各自的预测值，确定该任务的第二预测损失。
另外，任务模型可以包括编码层和预测层。详细内容参见上文，不再赘述。
以上详细描述了确定单个业务分类任务的第二预测损失。当业务分类任务有多个时，按照上述方式处理各业务分类任务，即可确定出各业务分类任务各自对应的第二预测损失。
进一步地，考虑到任务模型的输入为表征向量，无法单独训练，于是，还需要训练任务模型。
在一个例子中，当业务分类任务只有1个时，可以基于该任务的第二预测损失训练该任务对应的任务模型。
在一个例子中，当业务分类任务有多个，且任务模型之间彼此独立，则对于任一业务分类任务，可基于该任务的第二预测损失训练该任务对应的任务模型；若多个任务模型共用编码层，则可基于多个业务分类任务各自对应的第二预测损失训练共用的编码层；而对于任一业务分类任务，可基于该任务的第二预测损失训练该任务对应的任务模型中的预测层。
另外，当业务分类任务有多个时，在一些可能的实现方式，具体可通过如下方式训练表征模型。
确定各业务分类任务各自对应的权重值；然后，对于任意业务分类任务，基于该任务对应的权重值对该任务对应的第二预测损失进行调整，确定调整后的损失；之后，基于各业务分类任务对应的调整后的损失和各业务样本对应的第一预测损失，比如，这些损失的和、均值等，得到最终损失，基于该损失训练表征模型。
需要说明的是，由于不同业务分类任务的数据分布、重要性通常是不同，使得不同业务分类任务的预测损失对表征模型的贡献存在差异；本说明书实施例通过权重值调整预测损失，平衡不同的业务分类任务，使得不同业务分类任务的调整后的损失对表征模型的贡献相似或相同，以确保表征模型输出的表征向量在多任务下的检索召回能力。
回顾以上过程，在本说明书的实施例中，通过有监督的对比学习和任务相结合的方式训练表征模型，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别、若干个任务的信息，以提高表征模型输出的表征向量的召回能力。
根据另一方面的实施例，还提供了一种表征模型的训练装置。图5示出根据一个实施例的用于表征模型的训练装置的结构示意图，该装置可以部署在任何具有数据存储、计算、处理能力的设备、平台或设备集群中。如图5所示，该装置500包括：
样本获取模块51，被配置为获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；
表征模块52，被配置为利用表征模型，对所述多个业务样本分别进行事件特征编码处理，得到分别与所述多个业务样本一一对应的多个表征向量；
对比学习模块53，被配置为对于所述多个业务样本中的目标业务样本，从所述多个业务样本中，确定与所述目标业务样本在所述若干个业务分类任务中的目标任务下，具有相同标签值的若干个第一样本、以及具有不同标签值的若干个第二样本；基于所述多个表征向量，计算各第一样本、各第二样本分别与所述目标业务样本的相似度，得到所述目标业务样本的对比学习结果；
任务预测模块54，被配置为至少基于所述目标业务样本的对比学习结果，训练所述表征模型。
在各个实施例中，上述各个单元具体配置为，执行以上结合图4所述的方法中的各个步骤，在此不复赘述。
通过以上装置，通过有监督的对比学习和任务相结合的方式训练表征模型，使得表征模型学习相似的业务事件之间的关系、不同业务事件之间的区别、若干个任务的信息，以提高表征模型输出的表征向量的召回能力。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图4所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图4所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (13)

1.一种表征模型的训练方法，包括：
获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；
利用表征模型，对所述多个业务样本分别进行事件特征编码处理，得到分别与所述多个业务样本一一对应的多个表征向量；
对于所述多个业务样本中的目标业务样本，从所述多个业务样本中，确定与所述目标业务样本在所述若干个业务分类任务中的目标任务下，具有相同标签值的若干个第一样本、以及不同标签值的若干个第二样本；基于所述多个表征向量，计算各第一样本、各第二样本分别与所述目标业务样本的相似度，得到所述目标业务样本的对比学习结果；
至少基于所述目标业务样本的对比学习结果，训练所述表征模型。
2.根据权利要求1所述的方法，其中，所述方法还包括：
对于若干个业务分类任务中的任意任务，将所述多个表征向量分别输入到该任务对应的任务模型进行任务预测，得到预测结果，其中包括所述多个业务样本各自针对该任务的预测值；
所述至少基于所述目标业务样本的对比学习结果，训练所述表征模型，包括：
至少基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值、所述目标业务样本的对比学习结果，训练所述表征模型。
3.根据权利要求2所述的方法，其中，所述方法还包括：
对于若干个业务分类任务中的任意任务，基于对应的预测结果中所述多个业务样本各自的预测值和所述多个业务样本各自具有的该任务的标签值，训练该任务对应的任务模型。
4.根据权利要求2所述的方法，其中，所述任务模型包括编码层和预测层，所述任务预测包括：
对于所述多个表征向量中的任一向量，通过所述编码层对所述表征向量进行处理实现信息融合，输出融合向量；通过所述预测层基于所述融合向量进行针对该任务的预测，得到所述任一向量对应的业务样本的预测值。
5.根据权利要求4所述的方法，其中，所述若干个业务分类任务对应于多个任务模型，所述多个任务模型共用所述编码层，所述方法还包括：
至少基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值，训练所述编码层；
基于若干个业务分类任务各自对应的预测结果、所述多个业务样本各自具有的各标签值训练所述预测层。
6.根据权利要求1所述的方法，其中，所述表征模型包括嵌入层、特征交互层、线性层和表征层；
所述事件特征编码处理包括：
利用所述嵌入层对任意业务样本中多个事件特征各自的特征值进行向量化表示，得到分别与所述多个事件特征一一对应的多个特征值向量；
利用所述特征交互层基于所述多个特征值向量，对所述多个事件特征进行特征交互处理，确定交互处理结果；
利用所述线性层对所述多个特征值向量进行线性处理，确定线性处理结果；
利用所述表征层基于所述交互处理结果和所述线性处理结果，确定所述业务样本对应的表征向量。
7.根据权利要求6所述的方法，其中，所述多个事件特征包括离散型特征和连续型特征，所述交互处理结果包括连续型特征交互向量和离散型特征交互向量；
所述表征向量为所述连续型特征交互向量、离散型特征交互向量和所述线性处理结果拼接后的向量；
所述特征交互层包括第一交互层和第二交互层；所述特征交互处理包括:
通过所述第一交互层基于所述连续型特征对应的特征值向量进行特征交互，确定连续型特征交互向量；
通过所述第二交互层基于所述离散型特征对应的特征值向量进行特征多阶交互，确定离散型特征交互向量。
8.根据权利要求1所述的方法，其中，所述方法还包括：
获取所述业务事件的结构化业务数据；
将所述结构化业务数据中的单条记录作为单个业务样本，确定所述多个业务样本。
9.根据权利要求8所述的方法，其中，所述结构化业务数据为理赔数据。
10.根据权利要求9所述的方法，其中，所述多个业务分类标签包括第一标签和第二标签，所述第一标签用于表示是否理赔，所述第二标签用于表示理赔案件类型。
11.一种表征模型的训练装置，包括：
样本获取模块，被配置为获取多个业务样本，任意业务样本包括业务事件的事件特征，并具有若干个业务分类任务各自对应的标签值；
表征模块，被配置为利用表征模型，对所述多个业务样本分别进行事件特征编码处理，得到分别与所述多个业务样本一一对应的多个表征向量；
对比学习模块，被配置为对于所述多个业务样本中的目标业务样本，从所述多个业务样本中，确定与所述目标业务样本在所述若干个业务分类任务中的目标任务下，具有相同标签值的若干个第一样本、以及具有不同标签值的若干个第二样本；基于所述多个表征向量，计算各第一样本、各第二样本分别与所述目标业务样本的相似度，得到所述目标业务样本的对比学习结果；
训练模块，被配置为至少基于所述目标业务样本的对比学习结果，训练所述表征模型。
12.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项所述的方法。
13.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。
CN202210582911.4A 2022-05-26 2022-05-26 表征模型的训练方法、装置、可读存储介质及计算设备 Pending CN114970716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210582911.4A CN114970716A (zh) 2022-05-26 2022-05-26 表征模型的训练方法、装置、可读存储介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210582911.4A CN114970716A (zh) 2022-05-26 2022-05-26 表征模型的训练方法、装置、可读存储介质及计算设备

Publications (1)

Publication Number Publication Date
CN114970716A true CN114970716A (zh) 2022-08-30

Family

ID=82956358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210582911.4A Pending CN114970716A (zh) 2022-05-26 2022-05-26 表征模型的训练方法、装置、可读存储介质及计算设备

Country Status (1)

Country Link
CN (1) CN114970716A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909145A (zh) * 2019-11-29 2020-03-24 支付宝(杭州)信息技术有限公司 针对多任务模型的训练方法及装置
US20210089724A1 (en) * 2019-09-25 2021-03-25 Google Llc Contrastive Pre-Training for Language Tasks
AU2021103625A4 (en) * 2021-03-17 2021-08-19 Central South University Remote sensing image semantic segmentation method based on contrastive self-supervised learning
CN113314205A (zh) * 2021-05-28 2021-08-27 北京航空航天大学 一种高效的医学影像标注与学习系统
WO2021204269A1 (zh) * 2020-04-10 2021-10-14 支付宝(杭州)信息技术有限公司 分类模型的训练、对象分类
US20210326660A1 (en) * 2020-04-21 2021-10-21 Google Llc Supervised Contrastive Learning with Multiple Positive Examples
CN113837370A (zh) * 2021-10-20 2021-12-24 北京房江湖科技有限公司 用于训练基于对比学习的模型的方法和装置
CN114201581A (zh) * 2021-11-29 2022-03-18 中国科学院深圳先进技术研究院 一种基于对比学习的长文本检索模型
CN114462290A (zh) * 2020-10-31 2022-05-10 华为云计算技术有限公司 一种生成预训练人工智能模型的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089724A1 (en) * 2019-09-25 2021-03-25 Google Llc Contrastive Pre-Training for Language Tasks
CN110909145A (zh) * 2019-11-29 2020-03-24 支付宝(杭州)信息技术有限公司 针对多任务模型的训练方法及装置
WO2021204269A1 (zh) * 2020-04-10 2021-10-14 支付宝(杭州)信息技术有限公司 分类模型的训练、对象分类
US20210326660A1 (en) * 2020-04-21 2021-10-21 Google Llc Supervised Contrastive Learning with Multiple Positive Examples
CN114462290A (zh) * 2020-10-31 2022-05-10 华为云计算技术有限公司 一种生成预训练人工智能模型的方法及装置
AU2021103625A4 (en) * 2021-03-17 2021-08-19 Central South University Remote sensing image semantic segmentation method based on contrastive self-supervised learning
CN113314205A (zh) * 2021-05-28 2021-08-27 北京航空航天大学 一种高效的医学影像标注与学习系统
CN113837370A (zh) * 2021-10-20 2021-12-24 北京房江湖科技有限公司 用于训练基于对比学习的模型的方法和装置
CN114201581A (zh) * 2021-11-29 2022-03-18 中国科学院深圳先进技术研究院 一种基于对比学习的长文本检索模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KHOSLA PRANNAY, ET AL: "《Supervised Contrastive Learning》", 《ARXIV PREPRINT ARXIV:2004.11362 (2020)》, 10 March 2021 (2021-03-10), pages 1 - 23 *
秦莹华;李菲菲;陈虬;: "基于迁移学习的多标签图像标注", 电子科技, no. 08, 27 July 2018 (2018-07-27) *

Similar Documents

Publication Publication Date Title
Sariev et al. Bayesian regularized artificial neural networks for the estimation of the probability of default
US20210264272A1 (en) Training method and system of neural network model and prediction method and system
US11770571B2 (en) Matrix completion and recommendation provision with deep learning
WO2020020088A1 (zh) 神经网络模型的训练方法和系统以及预测方法和系统
CN111737546B (zh) 确定实体业务属性的方法及装置
CN111461174B (zh) 多层次注意力机制的多模态标签推荐模型构建方法及装置
CN112434535B (zh) 基于多模型的要素抽取方法、装置、设备及存储介质
Soui et al. Bankruptcy prediction using stacked auto-encoders
CN110852881B (zh) 风险账户识别方法、装置、电子设备及介质
Zhao et al. The study on the text classification for financial news based on partial information
Ala’raj et al. A deep learning model for behavioural credit scoring in banks
Klaas Machine learning for finance: principles and practice for financial insiders
US11886955B2 (en) Self-supervised data obfuscation in foundation models
CN113705909A (zh) 基于预测模型的风险等级预测方法、装置与存储介质
CN114092097B (zh) 风险识别模型的训练方法、交易风险确定方法及装置
Satu et al. Application of feature engineering with classification techniques to enhance corporate tax default detection performance
WO2021217866A1 (zh) 用于ai智能面试的识别的方法、装置、计算机设备及存储介质
CN113221762A (zh) 代价平衡决策方法、保险理赔决策方法、装置和设备
CN117575773A (zh) 业务数据的确定方法、装置、计算机设备、存储介质
CN117291722A (zh) 对象管理方法、相关设备及计算机可读介质
CN116703944A (zh) 图像分割方法、图像分割装置、电子设备及存储介质
CN114970716A (zh) 表征模型的训练方法、装置、可读存储介质及计算设备
CN114662570A (zh) 业务风险预测方法、装置、计算机设备与存储介质
CN115619541A (zh) 一种风险预测系统和方法
CN115063143A (zh) 账户数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination