CN111428757B - 模型训练方法、异常数据检测方法、装置和电子设备 - Google Patents

模型训练方法、异常数据检测方法、装置和电子设备 Download PDF

Info

Publication number
CN111428757B
CN111428757B CN202010146141.XA CN202010146141A CN111428757B CN 111428757 B CN111428757 B CN 111428757B CN 202010146141 A CN202010146141 A CN 202010146141A CN 111428757 B CN111428757 B CN 111428757B
Authority
CN
China
Prior art keywords
data
model
submodel
sample set
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010146141.XA
Other languages
English (en)
Other versions
CN111428757A (zh
Inventor
顾喆旭
齐翔
吴新琪
周荣旺
楼景华
周斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010146141.XA priority Critical patent/CN111428757B/zh
Publication of CN111428757A publication Critical patent/CN111428757A/zh
Application granted granted Critical
Publication of CN111428757B publication Critical patent/CN111428757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了模型训练方法、异常数据检测方法、装置和电子设备的实施例。所述方法包括：获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签；根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。本说明书实施例可以提高第二模型的训练效果。

Description

模型训练方法、异常数据检测方法、装置和电子设备
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种模型训练方法、异常数据检测方法、装置和电子设备。
背景技术
在实际应用中，经常需要检测业务数据是否为异常数据。为此可以训练模型，进而可以通过训练的模型检测业务数据是否为异常数据。
如何提高模型的训练效果是当前亟需解决的技术问题。
发明内容
本说明书实施例提供一种模型训练方法、异常数据检测方法、装置和电子设备，以提高模型的训练效果。本说明书实施例的技术方案如下。
本说明书实施例的第一方面，提供了一种模型训练方法，包括：获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。
本说明书实施例的第二方面，提供了一种异常数据检测方法，包括：将业务数据集输入至使用如第一方面所述方法训练后的第二模型，得到所述业务数据集的检测结果，所述业务数据集包括多个业务数据。
本说明书实施例的第三方面，提供了一种模型训练装置，包括：获取单元，用于获取训练样本集，所述样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；第一训练单元，用于根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；第二训练单元，用于根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。
本说明书实施例的第四方面，提供了一种异常数据检测装置，包括：检测单元，用于将业务数据集输入至使用如第一方面所述方法训练后的第二模型，得到所述业务数据集的检测结果，所述业务数据集包括多个业务数据。
本说明书实施例的第五方面，提供了一种电子设备，包括：至少一个处理器；存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如第一方面或第二方面所述方法的指令。
本说明书实施例提供的技术方案，第一模型和第二模型均包括特征提取子模型。通过无标签样本集对第一模型进行训练，可以实现对第二模型的部分模型参数进行无监督的预训练。通过有标签样本集可以实现对第二模型的模型参数进行有监督的再次训练。这样便于利用大量的无标签样本，并结合相对少量的有标签样本，实现对第二模型的模型参数进行训练，有利于提高第二模型的训练效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例中的模型结构示意图；
图2为本说明书实施例中的特征提取子模型结构示意图；
图3为本说明书实施例中模型训练方法的流程示意图；
图4为本说明书实施例中异常数据检测方法的流程示意图；
图5为本说明书实施例中模型训练装置的结构示意图；
图6为本说明书实施例中异常数据检测装置的结构示意图；
图7为本说明书实施例中电子设备的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
请参阅图1和图2。其示出了本说明书实施例涉及的模型结构示意图。
本说明书实施例涉及的模型包括第一模型和第二模型。
在一些实施例中，所述第一模型可以包括特征提取子模型。所述特征提取子模型用于从输入数据中提取特征数据，所述特征数据能够反映输入数据的特征。所述特征提取子模型包括编码模块(Encoder)和注意力模块(Attention)。所述编码模块用于对输入数据进行编码，得到编码数据。所述注意力模块用于对编码数据执行基于注意力机制的运算，得到特征数据。
所述编码模块可以为神经网络模型。神经网络模型有较大的模型容量，有利于充分挖掘学习大数据中深层而复杂的规律。具体地，所述编码模块可以包括全连接层(Fullconnected layer)和自注意力层(Self-Attention layer)。所述全连接层用于对输入数据进行降维处理，得到降维处理结果。所述自注意力层用于对降维处理结果执行基于注意力机制的运算，得到编码数据。在实际应用中，所述编码模块可以包括一个全连接层和一个自注意力层。或者，所述编码模块可以包括多个组成单元，每个组成单元可以包括一个全连接层和一个自注意力层。所述多个组成单元在所述编码模块中依次堆叠，使得上一个组成单元中自注意力层的输出可以作为下一个组成单元中全连接层的输入。所述多个组成单元在所述编码模块中可以以残差网络的方式依次堆叠，当然也可以以其它的方式依次堆叠。值得说明的是，所述编码模块还可以采用其它方式实现。例如，所述编码模块还可以为Transformer网络、多层CNN (Convolutional Neural Networks)网络、或LSTM(LongShort-Term Memory)网络等。
在一些实施例中，所述第一模型还可以包括数据关系检测子模型，所述数据关系检测子模型可以与所述特征提取子模型相连接。所述数据关系检测子模型用于根据所述特征提取子模型的输出检测两个数据是否对应同一业务对象。所述两个数据是否对应同一业务对象可以理解为：所述两个数据是否来自同一业务对象。所述业务对象例如可以为用户、公司或数据对象(例如控件)等。所述数据关系检测子模型的输出可以包括数据关系检测结果。所述数据关系检测结果可以为概率值，所述概率值用于表示两个数据对应同一业务对象的概率。或者，所述数据关系检测结果还可以为数据关系类别。所述数据关系类别可以为1或0，1表示两个数据对应同一业务对象，0表示两个数据对应不同的业务对象。这里的1和0仅为示例，所述数据关系类别还可以采用其它的数值或字符来表示。
所述数据关系检测子模型可以为分类模型，例如可以为二分类模型。例如，所述数据关系检测子模型可以包括Softmax层。所述Softmax层可以基于Softmax函数实现。当然，所述数据关系检测子模型还可以采用其它方式实现。
在一些实施例中，所述第一模型还可以包括数据预测子模型，所述数据预测子模型可以与所述特征提取子模型相连接。所述数据预测子模型用于根据所述特征提取子模型的输出进行数据预测。所述数据预测子模型的输出可以包括预测结果。所述预测结果可以为具体的数据(例如数值或向量)。所述数据预测子模型可以为回归模型(Regressor)。例如，所述数据预测子模型可以包括全连接层。当然，所述数据预测子模型还可以采用其它方式实现。
在一些实施例中，所述第二模型可以包括所述特征提取子模型和异常数据检测子模型。所述异常数据检测子模型可以与所述特征提取子模型相连接。所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据，所述异常数据例如可以为作弊数据、风险数据等。所述异常数据检测子模型的输出可以包括异常数据检测结果。所述异常数据检测结果可以为概率值，所述概率值用于表示数据为异常数据的概率。或者，所述异常数据检测结果还可以为数据类型。所述数据类型可以为Y或N，Y表示数据为异常数据，N表示数据为正常数据。这里的Y和N仅为示例，所述数据类型还可以采用其它的数值或字符来表示。
所述异常数据检测子模型可以为分类模型，例如可以为二分类模型。例如，所述异常数据检测子模型可以包括全连接层和Softmax层，所述全连接层可以与所述特征提取子模型中的注意力模块相连接，所述Softmax层可以与所述全连接层相连接。当然，所述异常数据检测子模型还可以采用其它方式实现。例如，所述异常数据检测子模型还可以为逻辑回归模型、 GBDT(Gradient Boosting Decision Tree)模型、或随机森林模型等。
值得说明的是，所述编码模块中的全连接层、所述数据预测子模型中的全连接层、以及所述异常数据检测子模型中的全连接层，分别为不同的全连接层。在下文中为了便于区分，可以将所述编码模块中的全连接层作为第一全连接层，可以将所述数据预测子模型中的全连接层作为第二全连接层，可以将所述异常数据检测子模型中的全连接层作为第三全连接层。所述数据关系检测子模型中的Softmax层、以及所述异常数据检测子模型中的Softmax层，分别为不同的Softmax层。
上文中结合图1和图2，详细描述了本说明书实施例涉及的模型结构。下面将结合图3，详细描述本说明书模型训练方法的一个实施例，所述模型训练方法可以由电子设备来执行。所述电子设备可以包括任何具有计算处理能力的装置、设备、平台、设备集群等等。通过所述模型训练方法，可以实现对所述第二模型的训练。
所述模型训练方法可以包括以下步骤。
步骤S32：获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本。
在一些实施例中，所述训练样本集可以包括多个无标签样本集。每个无标签样本集可以对应一个业务对象，具体可以包括来自所述业务对象的N个第一样本，N为大于或等于2的自然数。不同的无标签样本集所对应的业务对象可以相同或不同。
每个第一样本可以包括T个子样本，T为大于或等于1的自然数。在第一样本内各个子样本的种类相同，不同的第一样本所包括的子样本的种类不同。所述种类例如可以为财务指标数据的种类，具体地，例如收益率、营业额、负债率等。例如，无标签样本集A可以包括N 个第一样本AX1、…… 、AXi、……、AXn。其中，第一样本AX1可以包括种类为1的T个子样本ax1,1、…… 、ax1,j、……、ax1,t。第一样本AXi可以包括种类为2的T个子样本axi,1、…… 、axi,j、……、 axi,t。第一样本AXn可以包括种类为n的T个子样本axn,1、…… 、axn,j、……、axn,T。
所述无标签样本集可以采用向量序列的方式实现。具体地，每个无标签样本集可以为一个向量序列，无标签样本集中的第一样本可以为向量序列中的向量，第一样本中的子样本可以为向量中的元素。延续前面的例子，所述无标签样本集A可以表示为如下形式。
Figure BDA0002400799440000051
当然，所述无标签样本集还可以采用其它的方式实现，本实施例不做具体限定。
在一些实施例中，所述训练样本集还可以包括多个有标签样本集。每个有标签样本集可以对应一个业务对象，具体可以包括来自所述业务对象的N个第二样本。不同的有标签样本集所对应的业务对象可以相同或不同。每个有标签样本集还可以包括类型标签，所述类型标签用于表示有标签样本集中是否包含异常的第二样本。所述类型标签例如可以为Y或N。Y用于表示有标签样本集中包含异常的第二样本。N用于表示有标签样本集中不包含异常的第二样本。这里的Y和N仅为示例，所述类型标签还可以采用其它的数值或字符来表示。
每个第二样本可以包括T个子样本，T为大于或等于1的自然数。在第二样本内各个子样本的种类相同，不同的第二样本所包括的子样本的种类不同。例如，有标签样本集B可以包括N个第二样本BX1、…… 、BXi、……、BXn、以及类型标签Tlabel_B。其中，第二样本BX1可以包括种类为1的T个子样本bx1,1、…… 、bx1,j、……、bx1,t。第二样本BXi可以包括种类为i 的T个子样本bxi,1、…… 、bxi,j、……、bxi,t。第二样本BXn可以包括种类为n的T个子样本bxn,1、…… 、 bxn,j、……、bxn,T。类型标签Tlabel_B可以为Y。
值得说明的是，异常的第二样本可以进一步理解为：包含的一个或多个子样本为异常数据的第二样本。正常的第二样本可以理解为：包含的子样本均为正常数据的第二样本。有标签样本集中第二样本的数量和无标签样本集中第一样本的数量可以相同或不同。第二样本中子样本的数量和第一样本中子样本的数量可以相同或不同。在一些情况下，为了使无标签样本集和有标签样本集在数据格式上保持一致，无标签样本集中也可以包括标签。该标签可以为固定的数值或字符，例如可以为固定的字符F。
所述有标签样本集可以采用向量序列的方式实现。具体地，每个有标签样本集可以为一个向量序列，有标签样本集中的第二样本和类型标签可以为向量序列中的向量，第二样本中的子样本可以为向量中的元素。延续前面的例子，所述有标签样本集B可以表示为如下形式。
Figure BDA0002400799440000061
当然，所述有标签样本集还可以采用其它的方式实现，本实施例不做具体限定。
在一些实施例中，所述训练样本集还可以包括至少一个关系标签，每个关系标签用于表示两个无标签样本集是否对应同一业务对象。所述关系标签例如可以为0或1，1表示两个无标签样本集对应同一业务对象，0表示两个无标签样本集对应不同的业务对象。这里的1和0 仅为示例，所述关系标签还可以采用其它的数值或字符来表示。
例如，所述训练样本集可以包括无标签样本集A、C、D。无标签样本集A可以与公司company1相对应，无标签样本集C可以与公司company1相对应，无标签样本集D可以与公司company2相对应。所述训练样本集还可以包括关系标签Rlabel_AC、Rlabel_AD、Rlabel_CD。关系标签Rlabel_AC可以为1，用于表示无标签样本集A、C对应同一业务对象。关系标签Rlabel_AD可以为0，用于表示无标签样本集A、D对应不同的业务对象。关系标签Rlabel_CD可以为0，用于表示无标签样本集C、D对应不同的业务对象。
为了便于技术方案的理解，以下介绍本实施例的一个场景示例。
在本场景示例中，所述训练样本集可以包括无标签样本集A、C、D。无标签样本集A、C、D均为财务数据集。无标签样本集A可以与公司company1相对应，具体可以为向量序列[AX1 AX2 AX3]。向量AX1可以表示为[ax1,1 ax1,2 ax1,3]，ax1,1、ax1,2、ax1,3为公司 company1分别在2018年下半年、2019年上半年、以及2019年下半年的某一种类的财务指标数据(例如收益率)。向量AX2可以表示为[ax2,1 ax2,2 ax2,3]，ax2,1、ax2,2、ax2,3为公司 company1分别在2018年下半年、2019年上半年、以及2019年下半年的另一种类的财务指标数据(例如负债率)。向量AX3可以表示为[ax3,1 ax3,2 ax3,3]，ax3,1、ax3,2、ax3,3为公司company1分别在2018年下半年、2019年上半年、以及2019年下半年的另一种类的财务指标数据(例如营业额)。无标签样本集C可以与公司company1相对应，具体可以为向量序列[CX1 CX2 CX3]。向量CX1可以表示为[cx1,1 cx1,2 cx1,3]，cx1,1 cx1,2 cx1,3为公司 company1分别在2016年上半年、2016年下半年、以及2017年上半年的某一种类的财务指标数据(例如收益率)。向量CX2可以表示为[cx2,1 cx2,2 cx2,3]，cx2,1、cx2,2、cx2,3为公司company1 分别在2016年上半年、2016年下半年、以及2017年上半年的另一种类的财务指标数据(例如负债率)。向量CX3可以表示为[cx3,1 cx3,2 cx3,3]，cx3,1、cx3,2、cx3,3为公司company1分别在2016年上半年、2016年下半年、以及2017年上半年的另一种类的财务指标数据(例如营业额)。无标签样本集D可以与公司company2相对应，具体可以为向量序列[DX1 DX2 DX3]。向量DX1可以表示为[dx1,1 dx1,2dx1,3]，dx1,1、dx1,2、dx1,3为公司company2分别在2018年下半年、2019年上半年、以及2019年下半年的某一种类的财务指标数据(例如收益率)。向量DX2可以表示为[dx2,1 dx2,2 dx2,3]，dx2,1、dx2,2、dx2,3为公司company2分别在2018年下半年、2019年上半年、以及2019年下半年的另一种类的财务指标数据(例如负债率)。向量 DX3可以表示为[dx3,1 dx3,2 dx3,3]，dx3,1、dx3,2、dx3,3为公司company2分别在2018年下半年、2019年上半年、以及2019年下半年的另一种类的财务指标数据(例如营业额)。
在本场景示例中，所述训练样本集还可以包括关系标签Rlabel_AC、Rlabel_AD、Rlabel_CD。关系标签Rlabel_AC可以为1，用于表示无标签样本集A、C对应同一业务对象。关系标签Rlabel_AD可以为0，用于表示无标签样本集A、D对应不同的业务对象。关系标签Rlabel_CD可以为0，用于表示无标签样本集C、D对应不同的业务对象。
在本场景示例中，所述训练样本集还可以包括有标签样本集B、F。有标签样本集B、F 均为财务数据集。有标签样本集B可以与公司company3相对应，具体可以为向量序列[BX1 BX2 BX3 T-label_B]。向量BX1可以表示为[bx1,1 bx1,2 bx1,3]，bx1,1、bx1,2、bx1,3为公司company3分别在2018年下半年、2019年上半年、以及2019年下半年的某一种类的财务指标数据(例如收益率)。向量BX2可以表示为[bx2,1 bx2,2 bx2,3]，bx2,1、bx2,2、bx2,3为公司company3分别在2018年下半年、2019年上半年、以及2019年下半年的另一种类的财务指标数据(例如负债率)。向量BX3可以表示为[bx3,1 bx3,2 bx3,3]，bx3,1、bx3,2、bx3,3为公司company3分别在2018年下半年、2019年上半年、以及2019年下半年的另一种类的财务指标数据(例如营业额)。类型标签Tlabel_B可以为Y，用于表示有标签样本集B中包含异常的财务指标数据。有标签样本集F可以与公司company3相对应，具体可以为向量序列 [FX1 FX2FX3 T-label_F]。向量FX1可以表示为[fx1,1fx1,2 fx1,3]，fx1,1、fx1,2、fx1,3为公司company3分别在2016年上半年、2016年下半年、以及2017年上半年的某一种类的财务指标数据(例如收益率)。向量FX2可以表示为[fx2,1 fx2,2 fx2,3]，fx2,1、fx2,2、fx2,3为公司company3分别在2016年上半年、2016年下半年、以及2017年上半年的另一种类的财务指标数据(例如负债率)。向量FX3可以表示为[fx3,1 fx3,2 fx3,3]，fx3,1、fx3,2、fx3,3为公司 company3分别在2016年上半年、2016年下半年、以及2017年上半年的另一种类的财务指标数据(例如营业额)。类型标签Tlabel_F可以为N，用于表示有标签样本集F中不包含异常的财务指标数据。
在一些实施例中，所述电子设备可以获取历史业务数据；可以根据获得的历史业务数据生成多个样本集。所述电子设备可以通过网络爬虫从数据源中爬取历史业务数据。所述数据源可以包括网站，例如证券交易所的网站。当然，所述电子设备还可以通过其它方式获取历史业务数据，例如可以接收其它设备发来的历史业务数据。所述电子设备可以根据获得的历史业务数据直接生成多个样本集。或者，所述电子设备还可以对历史业务数据进行预处理；可以根据预处理后的历史业务数据生成多个样本集。所述预处理可以包括归一化处理和填充处理中的至少一个。所述电子设备可以采用极差变换(range transform)算法、z-score(z分数)算法、或对数线性变换算法等对历史业务数据进行归一化处理。在一些情况下，历史业务数据中有可能缺失了一项或多项数据。因而所述电子设备可以利用历史行业平均数据、或历史行业中值数据等对缺失的一项或多项数据进行填充。
所述电子设备可以对所述多个样本集中的部分样本集配置类型标签，得到多个有标签样本集；可以将所述多个样本集中的其它部分样本集作为无标签样本集；对于每一无标签样本集，可以配置该无标签样本集与其它各个无标签样本集之间的关系标签。
步骤S34：根据所述无标签样本集，对第一模型进行训练。
在一些实施例中，受限于业务实际，类型标签的获得是比较困难的或者是成本比较高的，从而使得无标签样本集的数量往往远大于有标签样本集的数量。为此若能够充分利用大量的无标签样本集，并结合有标签样本集，共同对第二模型进行训练，则可以提高第二模型的训练效果，例如可以提高第二模型的精确率和召回率。
由于第一模型和第二模型均包含有特征提取子模型，因此通过步骤S34，可以实现对第二模型中的部分模型参数(例如特征提取子模型的模型参数)进行无监督的预训练。
在一些实施例中，所述电子设备可以将所述训练样本集中的至少两个无标签样本集输入至所述第一模型中的特征提取子模型，得到至少两个第一特征数据；可以将至少两个第一特征数据输入至所述第一模型中的数据关系检测子模型，得到至少一个数据关系检测结果；可以根据数据关系检测结果，确定所述第一模型的模型参数，即，确定所述特征提取子模型的模型参数和所述数据关系检测子模型的模型参数。这样通过数据关系检测，可以使所述第一模型挖掘学习用于区分不同的业务对象的特征。
在本实施例中，所述特征提取子模型可以包括编码模块和注意力模块。所述电子设备可以将至少两个无标签样本集输入至编码模块，得到至少两个第一编码数据集；可以将至少两个第一编码数据集输入至注意力模块，得到至少两个第一特征数据。
所述第一编码数据集可以包括至少一个编码数据。所述第一编码数据集中编码数据的数量与无标签样本集中第一样本的数量相同。以下以所述编码模块包括第一全连接层和自注意力层为例，介绍第一编码数据集的生成过程。在实际应用中，所述编码模块还可以采用其它方式实现，因而所述第一编码数据集还可以采用其它方式生成。
所述电子设备可以将至少两个无标签样本集输入至第一全连接层，以分别对所述至少两个无标签样本集进行降维处理，得到至少两个降维处理结果集；可以将至少两个降维处理结果集输入至自注意力层，以分别对所述至少两个降维处理结果集执行基于注意力机制的运算，得到至少两个第一编码数据集。
在所述第一全连接层中，可以通过公式Di＝f(WXi+G)进行降维处理，得到降维处理结果。i的取值范围为1至N，N为无标签样本集中第一样本的数量。W和G为第一全连接层的模型参数。W和G均可以为向量。Di和Xi均可以为向量。向量Di中元素的数量小于向量Xi中元素的数量，使得向量Di的维度小于向量Xi的维度，从而实现了降维处理。例如，某一无标签样本集可以为向量序列[X1 … Xi … Xn]。所述电子设备可以将向量序列 [X1 … Xi … Xn]输入至第一全连接层，得到向量序列[D1 … Di … Dn]作为降维处理结果。
在所述自注意力层中，可以通过公式
Figure BDA0002400799440000091
执行基于注意力机制的运算，得到第一编码数据集。所述基于注意力机制的运算可以为加权平均运算，具体的权重αi,k可以通过公式
Figure BDA0002400799440000092
计算得到。U和V为自注意力层的模型参数。U和V均可以为向量。·表示点乘运算。延续前面的例子，所述电子设备可以将降维处理结果[D1 … Di… Dn]输入至所述自注意力层，得到向量序列[A1 … Ai … An]。
所述编码模块可以包括一个第一全连接层和一个自注意力层。这样所述电子设备可以直接将所述自注意力层的输出作为第一编码数据。延续前面的例子，所述电子设备可以直接将向量序列[A1 … Ai … An]作为第一编码数据集[Y1 … Yi … Yn]。或者，所述编码模块可以包括依次堆叠的组成单元，每个组成单元包括一个第一全连接层和一个自注意力层。这样所述电子设备可以将所述自注意力层的输出作为下一个组成单元中第一全连接层的输入，进而可以将最后一个组成单元中自注意力层的输出作为第一编码数据集。
所述电子设备可以将第一编码数据集输入至注意力模块，得到第一特征数据。在所述注意力模块中，可以通过公式
Figure BDA0002400799440000093
执行基于注意力机制的运算得到第一特征数据。所述基于注意力机制的运算可以为加权平均运算，具体的权重αi可以通过公式
Figure BDA0002400799440000101
计算得到。US和VS为注意力模块的模型参数。US和VS均可以为向量。·表示点乘运算。例如，某一第一编码数据集可以为向量序列[Y1 … Yi … Yn]。所述电子设备可以将向量序列[Y1 … Yi … Yn]输入至注意力模块，得到向量S作为第一特征数据。
在本实施例中，对于每一无标签样本集(为便于描述，以下称为第一无标样本集)，所述电子设备可以利用所述数据关系检测子模型，检测所述第一无标签样本集与其它各个无标签样本集(为便于描述，以下称为第二无标样本集)之间是否对应同一业务对象。例如，所述电子设备可以利用所述数据关系检测子模型，计算所述第一无标签样本集与所述第二无标样本集之间对应同一业务对象的概率值作为数据关系检测结果。具体地，例如，在所述数据关系检测子模型中，可以通过公式
Figure BDA0002400799440000102
计算所述第一无标签样本集和所述第二无标签样本集之间对应同一业务对象的概率值。S1表示第一无标样本集所对应的第一特征数据，S2表示第二无标样本集所对应的第一特征数据，Scand表示所述训练样本集中的全体无标签样本集所对应的第一特征数据构成的集合，s表示Scand中的任一第一特征数据。例如，所述训练样本集可以包括无标签样本集A、C、D。无标签样本集A所对应的第一特征数据SA，无标签样本集C所对应的第一特征数据SC，无标签样本集D所对应的第一特征数据SD。那么， Scand可以包括SA、SC、SD。无标签样本集A和C之间对应同一业务对象的概率值可以为
Figure BDA0002400799440000103
无标签样本集A和D之间对应同一业务对象的概率值可以为
Figure BDA0002400799440000104
无标签样本集C和D之间对应同一业务对象的概率值可以为
Figure BDA0002400799440000105
在本实施例中，根据所述训练样本集中的无标签样本集，所述电子设备可以获得至少一个数据关系检测结果。所述电子设备可以根据至少一个数据关系检测结果、以及与所述至少一个数据关系检测结果相对应的关系标签，利用所述第一模型的损失函数，计算所述第一模型的模型参数。与数据关系检测结果相对应的关系标签可以理解为：用于获得数据关系检测结果的两个无标签样本集所对应的关系标签。所述第一模型的损失函数例如可以包括数据关系检测子模型的交叉熵损失函数(CrossEntropyLoss)。在实际应用中，所述电子设备可以根据至少一个数据关系检测结果、以及与所述至少一个数据关系检测结果相对应的关系标签，确定至少一个第一损失值；可以根据至少一个第一损失值，利用优化求解算法对所述第一模型的损失函数进行求解，得到所述第一模型的模型参数。所述优化求解算法可以包括梯度下降法(Batch Gradient Descent，BGD)、随机梯度下降法(Stochastic Gradient Descent，SGD)、mini-batch SGD等。延续前面的例子，所述电子设备可以根据数据关系检测结果pA,C以及关系标签Rlabel_AC，确定第一损失值LossA,C＝-Rlabel_AC×log(pA,C)；可以根据数据关系检测结果pA,D以及关系标签Rlabel_AD，确定第一损失值LossA,D＝-Rlabel_AD×log(pA,D)；可以根据数据关系检测结果pC,D以及关系标签Rlabel_CD，确定第一损失值LossC,D＝-Rlabel_CD× log(pC,D)；可以将第一损失值LossA,C、第一损失值LossA,D、以及第一损失值LossC,D相加；可以根据相加结果，利用优化求解算法对所述第一模型的损失函数进行求解，得到所述第一模型的模型参数。
上文中提及的公式仅为示例，在实际应用中以上公式还可以有其它的变形或变化。
进一步地，在本实施例中，所述电子设备可以将无标签样本集中的至少一个第一样本替换为特定样本；可以将替换后的无标签样本集输入至编码模块，得到第二编码数据集；可以将第二编码数据集中与所述特定样本相对应的编码数据输入至数据预测子模型，得到预测结果。所述电子设备可以根据所述预测结果和所述数据关系检测结果，确定所述第一模型的模型参数。这样通过数据预测，可以使所述第一模型挖掘学习第一样本之间的关系特征。例如，无标签样本集可以为财务数据集，通过数据预测，可以使所述第一模型挖掘学习财务指标数据之间的勾稽关系特征。
所述特定样本用于对无标签样本集中的第一样本进行掩盖。例如，某一无标签样本集可以为向量序列[X1 X2 X3 … Xi … Xn]。所述电子设备可以将向量序列 [X1 X2 X3 …Xi … Xn]中的向量X3替换为特定样本MASK，得到替换后的无标签样本集[X1 X2 MASK … Xi… Xn]。在实际应用中，所述第一样本可以为向量，所述特定样本可以为与所述第一样本具有相同维度的向量。延续前面的例子，向量X3可以表示为 [x3,1 … x3,j … x3,t]，特定样本MASK可以为向量[mask … mask … mask]。
所述第二编码数据集包括至少一个编码数据。所述第二编码数据集中编码数据的数量与无标签样本集中第一样本的数量相同。与所述特定样本相对应的编码数据可以理解为：在所述第二编码数据集中的位置与所述特定样本在替换后的无标签样本集中的位置相同的编码数据。延续前面的例子，第二编码数据集可以为向量[Y1 Y2 Y3 … Yi … Yn]。第二编码数据集中与特定样本MASK相对应的编码数据为Y3。
所述电子设备可以将第二编码数据集中与所述特定样本相对应的编码数据输入至所述数据预测子模型，得到预测结果。这样所述预测结果与所述特定样本相对应，当然也与被替换的第一样本相对应。延续前面的例子，所述电子设备可以将编码数据Y3输入至所述数据预测子模型，得到与特定样本MASK相对应的预测结果Y3′，预测结果Y3′与被替换的向量X3相对应。在实际应用中，所述数据预测子模型可以为回归模型。所述电子设备可以将第二编码数据集中与所述特定样本相对应的编码数据输入至所述回归模型，得到预测结果。例如，所述回归模型可以包括第二全连接层。所述电子设备可以将第二编码数据集中与所述特定样本相对应的编码数据输入至所述第二全连接层，得到预测结果。
根据所述训练样本集中的无标签样本集，所述电子设备可以获得至少一个预测结果。所述电子设备可以根据至少一个预测结果、以及与所述至少一个预测结果相对应的第一样本，并结合至少一个第一损失值，利用所述第一模型的损失函数，计算所述第一模型的模型参数。在实际应用中，所述电子设备可以根据至少一个预测结果、以及与所述至少一个预测结果相对应的第一样本，确定至少一个第二损失值；可以根据至少一个第二损失值和至少一个第一损失值，利用优化求解算法对所述第一模型的损失函数进行求解，得到所述第一模型的模型参数。例如，所述电子设备可以将至少一个第一损失值和至少一个第二损失值相加；可以根据相加结果，利用优化求解算法对所述第一模型的损失函数进行求解，得到所述第一模型的模型参数。从而实现通过数据预测和数据关系检测对所述第一模型进行联合训练。
步骤S36：根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练。
在一些实施例中，通过步骤S34可以实现对第二模型的部分模型参数(例如特征提取子模型的模型参数)进行无监督的预训练。通过步骤S36可以实现对第二模型的模型参数进行有监督的再次训练。所述有监督的再次训练可以包括：对训练后的特征提取子模型的模型参数进行优化调整，确定异常数据检测子模型的模型参数。或者，所述有监督的再次训练可以包括：保持训练后的特征提取子模型的模型参数不变，确定异常数据检测子模型的模型参数。
在一些实施例中，所述电子设备可以将有标签样本集输入至训练后的特征提取子模型，得到第二特征数据；可以将第二特征数据输入至异常数据检测子模型，得到异常数据检测结果；可以根据异常数据检测结果，确定所述第二模型的模型参数，即确定所述特征提取子模型的模型参数和所述异常数据检测子模型的模型参数。所述电子设备可以根据确定的特征提取子模型的模型参数，优化调整训练后的特征提取子模型中的模型参数；可以根据确定的异常数据检测子模型的模型参数，更新异常数据检测子模型中的模型参数。或者，所述电子设备可以保持训练后的特征提取子模型中的模型参数不变，仅根据确定的异常数据检测子模型的模型参数，更新异常数据检测子模型中的模型参数。
在本实施例中，所述电子设备可以将有标签样本集中的N个第二样本输入至训练后的特征提取子模型，得到第二特征数据。第二特征数据的获得过程与第一特征数据的获得过程相类似。所述电子设备可以将第二特征数据输入至所述异常数据检测子模型，得到异常数据检测结果。所述异常数据检测结果例如可以包括有标签样本集中包含异常数据的概率值。具体地，例如，所述异常数据检测子模型可以包括第三全连接层和Softmax层。所述电子设备可以将第二特征数据输入至所述第三全连接层；可以将所述第三全连接层的输出输入至Softmax 层，得到有标签样本集中包含异常数据的概率值。
在本实施例中，根据所述训练样本集中的有标签样本集，所述电子设备可以获得至少一个异常数据检测结果。所述电子设备可以根据至少一个异常数据检测结果、以及与所述至少一个异常数据检测结果相对应的类型标签，利用所述第二模型的损失函数，计算所述第二模型的模型参数。与异常数据检测结果相对应的类型标签可以理解为：用于获得异常数据检测结果的有标签样本集中所包含的类型标签。所述第二模型的损失函数例如可以包括异常数据检测子模型的交叉熵损失函数(CrossEntropyLoss)。在实际应用中，所述电子设备可以根据至少一个异常数据检测结果、以及与所述至少一个异常数据检测结果相对应的类型标签，确定至少一个第三损失值；可以根据至少一个第三损失值，利用优化求解算法对所述第二模型的损失函数进行求解，得到所述第二模型的模型参数。
本说明书实施例的模型训练方法，第一模型和第二模型均包括特征提取子模型。通过无标签样本集对第一模型进行训练，可以实现对第二模型的部分模型参数进行无监督的预训练。通过有标签样本集可以实现对第二模型的模型参数进行有监督的再次训练。这样便于利用大量的无标签样本，并结合相对少量的有标签样本，实现对第二模型的模型参数进行训练，有利于提高第二模型的训练效果。
上文中结合图3，详细描述了本说明书模型训练方法的一个实施例。下面将结合图4，详细描述本说明书异常数据检测方法的一个实施例。
所述异常数据检测方法可以包括以下步骤。
步骤S42：将业务数据集输入至训练后的第二模型，得到所述业务数据集的检测结果。
在一些实施例中，所述第二模型可以使用图3所对应实施例的模型训练方法进行训练。所述业务数据集可以包括至少一个业务数据。所述业务数据可以包括T个子业务数据，T为大于或等于1的自然数。所述业务数据集可以采用向量序列的方式实现。具体地，所述业务数据集可以为一个向量序列，所述业务数据集中的业务数据可以为向量序列中的向量，所述业务数据中的子业务数据可以为向量中的元素。当然，所述业务数据集还可以采用其它的方式实现，本实施例不做具体限定。
在一些实施例中，所述电子设备可以将业务数据集输入至训练后的第二模型，得到所述业务数据集的检测结果。所述业务数据集的检测结果可以包括用于表示业务数据集中包含异常数据的概率值，所述异常数据例如可以为作弊数据、风险数据等。或者，所述业务数据的检测结果还可以包括数据类型。所述数据类型可以为Y或N，Y表示业务数据集中包含异常数据，N表示业务数据集中不包含异常数据。这里的Y和N仅为示例，所述数据类型还可以采用其它的数值或字符来表示。
在一些场景示例中，所述异常数据检测方法可以应用于财务数据舞弊检测的场景中。近年来国内外市场频繁爆发财务造假案例，层出不穷的上市公司造假案件给投资者带来了巨大损失，也给资本市场的健康发展带来负面影响。为此可以获得任一公司的财务数据集作为业务数据集。所述财务数据集可以包括多个种类的财务数据，每种财务数据可以包括所述公司在多个时间段内的财务指标数据。所述电子设备可以将所述财务数据集输入至训练后的第二模型，得到所述财务数据集的检测结果。这样便可以实现财务数据舞弊的自动化检测。
本说明书实施例的异常数据检测方法，可以通过训练后的第二模型检测异常数据。
请参阅图5。本说明书提供模型训练装置的一个实施例。
所述模型训练装置可以包括以下模块单元。
获取单元52，用于获取训练样本集，所述样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；
第一训练单元54，用于根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；
第二训练单元56，用于根据所述有标签样本集和所述特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括所述特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据所述特征提取子模型的输出检测异常数据。
请参阅图6。本说明书提供异常数据检测装置的一个实施例。
所述异常数据检测装置可以包括以下模块单元。
检测单元62，用于将业务数据集输入至训练后的第二模型，得到所述业务数据集的检测结果，所述业务数据集包括多个业务数据。
下面介绍本说明书电子设备的一个实施例。图7是该实施例中电子设备的硬件结构示意图。如图7所示，该电子设备可以包括一个或多个(图中仅示出一个)处理器、存储器和传输模块。当然，本领域普通技术人员可以理解，图7所示的硬件结构仅为示意，其并不对上述电子设备的硬件结构造成限定。在实际中该电子设备还可以包括比图7所示更多或者更少的组件单元；或者，具有与图7所示不同的配置。
所述存储器可以包括高速随机存储器；或者，还可以包括非易失性存储器，例如一个或者多个磁性存储装置、闪存或者其他非易失性固态存储器。当然，所述存储器还可以包括远程设置的网络存储器。所述远程设置的网络存储器可以通过诸如互联网、企业内部网、局域网、移动通信网等网络连接至所述区块链客户端。所述存储器可以用于存储应用软件的程序指令或模块，例如本说明书图3或图4所对应实施例的程序指令或模块。
所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述处理器可以读取并执行所述存储器中的程序指令或模块。
所述传输模块可以用于经由网络进行数据传输，例如经由诸如互联网、企业内部网、局域网、移动通信网等网络进行数据传输。
本说明书还提供计算机存储介质的一个实施例。所述计算机存储介质包括但不限于随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard Disk Drive,HDD)、存储卡(Memory Card)等等。所述计算机存储介质存储有计算机程序指令。在所述计算机程序指令被执行时实现：本说明书图3或图4所对应实施例的程序指令或模块。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例、电子设备实施例、以及计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。另外，可以理解的是，本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray， FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、 CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language) 等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (12)

1.一种模型训练方法，包括：
获取训练样本集，所述训练样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；
根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；
根据所述有标签样本集和特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据特征提取子模型的输出检测异常数据。
2.如权利要求1所述的方法，所述第一模型还包括数据关系检测子模型，所述数据关系检测子模型用于根据特征提取子模型的输出检测两个无标签样本集是否对应同一业务对象；所述对第一模型进行训练，包括：
将至少两个无标签样本集输入至特征提取子模型，得到至少两个第一特征数据；
将至少两个第一特征数据输入至数据关系检测子模型，得到至少一个数据关系检测结果；
根据数据关系检测结果，确定所述第一模型的模型参数。
3.如权利要求2所述的方法，所述特征提取子模型包括编码模块和注意力模块；所述将至少两个无标签样本集输入至特征提取子模型，包括：
将至少两个无标签样本集输入至编码模块，得到至少两个第一编码数据集；
将至少两个第一编码数据集输入至注意力模块，得到至少两个第一特征数据。
4.如权利要求3所述的方法，所述编码模块包括全连接层和自注意力层；所述将至少两个无标签样本集输入至编码模块，得到至少两个第一编码数据集，包括：
将至少两个无标签样本集输入至全连接层，以分别对所述至少两个无标签样本集进行降维处理，得到至少两个降维处理结果集；
将至少两个降维处理结果集输入至自注意力层，以分别对所述至少两个降维处理结果集执行基于注意力机制的运算，得到至少两个第一编码数据集。
5.如权利要求3所述的方法，所述第一模型还包括数据预测子模型，所述数据预测子模型用于根据特征提取子模型的输出进行数据预测；所述方法还包括：
将无标签样本集中的至少一个第一样本替换为特定样本；
将替换后的无标签样本集输入至编码模块，得到第二编码数据集；
将第二编码数据集中与所述特定样本相对应的编码数据输入至数据预测子模型，得到与所述特定样本相对应的预测结果；
所述确定所述第一模型的模型参数，包括：
根据预测结果和数据关系检测结果，确定所述第一模型的模型参数。
6.如权利要求1所述的方法，所述对第二模型进行训练，包括：
将有标签样本集输入至训练后的特征提取子模型，得到第二特征数据；
将第二特征数据输入至异常数据检测子模型，得到异常数据检测结果；
根据异常数据检测结果，确定所述第二模型的模型参数。
7.如权利要求1所述的方法，所述无标签样本集包括财务数据集，所述第一样本包括多个相同种类的财务指标数据，不同第一样本所包括的财务指标数据的种类不同；
所述有标签样本集包括财务数据集，所述第二样本包括多个相同种类的财务指标数据，不同第二样本所包括的财务指标数据的种类不同。
8.一种异常数据检测方法，包括：
将业务数据集输入至使用权利要求1-7中任一项所述方法训练后的第二模型，得到所述业务数据集的检测结果，所述业务数据集包括多个业务数据。
9.如权利要求8所述的方法，所述业务数据集包括财务数据集，所述业务数据包括多个相同种类的财务指标数据，不同业务数据所包括的财务指标数据的种类不同。
10.一种模型训练装置，包括：
获取单元，用于获取训练样本集，所述样本集包括无标签样本集和有标签样本集，所述无标签样本集包括多个第一样本，所述有标签样本集包括多个第二样本和类型标签，所述类型标签用于表示所述有标签样本集中是否包含异常的第二样本；
第一训练单元，用于根据所述无标签样本集，对第一模型进行训练，所述第一模型包括特征提取子模型；
第二训练单元，用于根据所述有标签样本集和特征提取子模型的训练结果，对第二模型进行训练，所述第二模型包括特征提取子模型和异常数据检测子模型，所述异常数据检测子模型用于根据特征提取子模型的输出检测异常数据。
11.一种异常数据检测装置，包括：
检测单元，用于将业务数据集输入至使用权利要求1-7中任一项所述方法训练后的第二模型，得到所述业务数据集的检测结果，所述业务数据集包括多个业务数据。
12.一种电子设备，包括：
至少一个处理器；
存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-9中任一项所述方法的指令。
CN202010146141.XA 2020-03-05 2020-03-05 模型训练方法、异常数据检测方法、装置和电子设备 Active CN111428757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010146141.XA CN111428757B (zh) 2020-03-05 2020-03-05 模型训练方法、异常数据检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010146141.XA CN111428757B (zh) 2020-03-05 2020-03-05 模型训练方法、异常数据检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111428757A CN111428757A (zh) 2020-07-17
CN111428757B true CN111428757B (zh) 2021-09-10

Family

ID=71547480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010146141.XA Active CN111428757B (zh) 2020-03-05 2020-03-05 模型训练方法、异常数据检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111428757B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915218A (zh) * 2020-08-14 2020-11-10 中国工商银行股份有限公司 基于lstm-cnn的财务造假识别方法及系统
CN112328803A (zh) * 2020-10-14 2021-02-05 上海华鑫股份有限公司 一种基于产业链数据的公司知识图谱的构建方法
CN112784903B (zh) * 2021-01-26 2023-12-12 上海明略人工智能(集团)有限公司 用于目标识别模型训练的方法、装置及设备
CN113364702B (zh) * 2021-06-04 2024-04-12 上海明略人工智能(集团)有限公司 广告流量异常检测方法、系统、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110689070A (zh) * 2019-09-25 2020-01-14 第四范式（北京）技术有限公司 一种业务预测模型的训练方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
JP2019215728A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN109086797B (zh) * 2018-06-29 2021-12-28 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN114154588A (zh) * 2019-03-28 2022-03-08 第四范式（北京）技术有限公司 异常交易检测模型的训练以及异常交易检测的方法和装置
CN110177108B (zh) * 2019-06-02 2022-03-29 四川虹微技术有限公司 一种异常行为检测方法、装置及验证系统
CN110363138A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、终端及存储介质
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法
CN110732139B (zh) * 2019-10-25 2024-03-05 腾讯科技（深圳）有限公司 检测模型的训练方法和用户数据的检测方法、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110689070A (zh) * 2019-09-25 2020-01-14 第四范式（北京）技术有限公司 一种业务预测模型的训练方法及装置

Also Published As

Publication number Publication date
CN111428757A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111428757B (zh) 模型训练方法、异常数据检测方法、装置和电子设备
CN111724083A (zh) 金融风险识别模型的训练方法、装置、计算机设备及介质
Mohamed et al. Content-based image retrieval using convolutional neural networks
Wang et al. Uncertainty-dtw for time series and sequences
CN115661550B (zh) 基于生成对抗网络的图数据类别不平衡分类方法及装置
CN112287672A (zh) 文本意图识别方法及装置、电子设备、存储介质
KR20210023385A (ko) 신경망을 이용한 데이터 처리 방법
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN114841161A (zh) 事件要素抽取方法、装置、设备、存储介质和程序产品
Mai Ngoc et al. Finding the best k for the dimension of the latent space in autoencoders
CN113569955A (zh) 一种模型训练方法、用户画像生成方法、装置及设备
Cottrell et al. Neural networks for complex data
CN116547681A (zh) 用于持续演进内容的动态语言模型
US11720750B1 (en) Method for QA with multi-modal information
KR20240034095A (ko) 신경망 모델을 이용한 이미지 특징 추출 방법
CN116341564A (zh) 基于语义理解的问题推理方法和装置
CN116089605A (zh) 基于迁移学习和改进词袋模型的文本情感分析方法
CN115700555A (zh) 模型训练方法、预测方法、装置和电子设备
Deebadi Understanding Impact of Twitter Feed on Bitcoin Price and Trading Patterns
Li et al. A deep learning approach of financial distress recognition combining text
KR20230062130A (ko) 인공지능을 이용한 인터뷰 공유 및 사용자 매칭 플랫폼
KR20220057268A (ko) 신경망을 이용한 특허 문서 분류 방법, 장치 및 컴퓨터 프로그램
CN111563191A (zh) 基于图网络的数据处理系统
KR102497436B1 (ko) 음성 신호를 포함하는 컨텐츠를 기반으로 타겟 단어와 관련된 정보를 획득하는 방법
KR102669806B1 (ko) 수학 문제의 풀이를 보조하기 위한 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033634

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant