CN112116441B - 金融风险分类模型的训练方法、分类方法、装置及设备 - Google Patents

金融风险分类模型的训练方法、分类方法、装置及设备 Download PDF

Info

Publication number
CN112116441B
CN112116441B CN202011092892.4A CN202011092892A CN112116441B CN 112116441 B CN112116441 B CN 112116441B CN 202011092892 A CN202011092892 A CN 202011092892A CN 112116441 B CN112116441 B CN 112116441B
Authority
CN
China
Prior art keywords
classification
user data
user
network
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011092892.4A
Other languages
English (en)
Other versions
CN112116441A (zh
Inventor
郭清宇
蓝利君
孙艺芙
李超
王翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011092892.4A priority Critical patent/CN112116441B/zh
Publication of CN112116441A publication Critical patent/CN112116441A/zh
Application granted granted Critical
Publication of CN112116441B publication Critical patent/CN112116441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Abstract

本申请公开了一种金融风险分类模型的训练方法、分类方法、装置及设备,属于计算机技术领域。所述方法包括:将用户数据集划分为第一用户数据集以及第二用户数据集,第一用户数据集中的第一用户数据属于第一时间段,第二用户数据集中的第二用户数据属于第二时间段,用户数据集中的数据的特征在第一时间段和第二时间段上的分布不同;将第一用户数据以及第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量;通过用户特征向量训练金融风险分类模型。该用户特征向量的分布不随时间变化,根据该用户特征向量训练得到的金融风险分类模型,在预测分类时能够消除时间对特征分布的影响,从而能够提升预测数据分类的准确度。

Description

金融风险分类模型的训练方法、分类方法、装置及设备
技术领域
本申请涉及计算机技术领域,特别涉及一种金融风险分类模型的训练方法、分类方法、装置及设备。
背景技术
深度学习是近年来的一个热门学科。基于深度学习的分类模型,能够实现对输入的数据进行分类。例如在金融领域中,计算机设备通过分类模型能够根据输入的用户行为数据输出用户的金融风险评级。
目前,通常使用基于深度学习的分类模型来对数据进行分类。首先需要通过已知的数据和数据对应的分类标签对分类模型进行训练,即根据数据对应的分类标签和数据的分类结果调整分类模型的参数,保证分类模型对数据进行分类的准确性。之后再将需要分类的数据输入完成训练的分类模型,分类模型对该输入的数据进行分类。
当数据的特征分布随时间变化时,例如金融领域的数据的特征,会随不同时间的政策产生分布变化。基于历史数据训练的分类模型用于预测近期的数据,会出现预测准确度下降的问题。
发明内容
本申请提供了一种金融风险分类模型的训练方法、分类方法、装置及设备,提升预测数据分类的准确度。所述技术方案如下:
根据本申请的一方面,提供了一种金融风险分类模型的训练方法,所述方法包括:
将用户数据集划分为第一用户数据集以及第二用户数据集,所述第一用户数据集中的第一用户数据属于第一时间段,所述第二用户数据集中的第二用户数据属于第二时间段,所述第二时间段在所述第一时间段之后,所述用户数据集用于反映金融借贷领域的用户的特征,所述特征在所述第一时间段和所述第二时间段上的分布不同;
将所述第一用户数据以及所述第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量;
通过所述用户特征向量训练金融风险分类模型,所述金融风险分类模型用于对待分类用户数据进行分类,所述分类用于反映所述待分类数据的金融风险。
根据本申请的另一方面,提供了一种分类方法,所述方法包括:
获取待分类用户数据集,所述待分类用户数据集用于反映金融借贷领域的用户的特征;
将所述待分类用户数据集中的数据输入与时间域无关的特征提取网络,输出用户特征向量;
将所述用户特征向量输入金融风险分类模型,输出所述用户特征向量的预测分类,所述预测分类用于反映所述数据的金融风险。
根据本申请的另一方面,提供了一种金融风险分类模型的训练装置,所述装置包括:
划分模块,用于将用户数据集划分为第一用户数据集以及第二用户数据集,所述第一用户数据集中的第一用户数据属于第一时间段,所述第二用户数据集中的第二用户数据属于第二时间段,所述第二时间段在所述第一时间段之后,所述用户数据集用于反映金融借贷领域的用户的特征,所述特征在所述第一时间段和所述第二时间段上的分布不同;
输入输出模块,用于将所述第一用户数据以及所述第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量;
第一训练模块,用于通过所述用户特征向量训练金融风险分类模型,所述金融风险分类模型用于对待分类用户数据进行分类,所述分类用于反映所述待分类用户数据的金融风险。
可选地,所述装置还包括:
第二训练模块,用于根据所述第一用户数据以及所述第二用户数据,对所述特征提取网络和时域对抗网络进行时间域对抗训练;
其中,所述时间域对抗用于将所述第一用户数据以及所述第二用户数据在时间域上的差异的特征分布映射至一个随时间稳定的特征空间,所述时域对抗网络用于区分所述用户特征向量属于所述第一时间段或所述第二时间段。
可选地,所述特征提取网络与所述时域对抗网络之间建立有梯度反转层,所述梯度反转层用于使所述特征提取网络与所述时域对抗网络的训练目标相反;
所述第二训练模块,用于:
将所述第一用户数据以及所述第二用户数据输入所述特征提取网络,输出所述用户特征向量;
将所述用户特征向量输入所述时域对抗网络,输出预测时域分类,所述预测时域分类用于预测所述用户特征向量属于所述第一时间段或所述第二时间段;
采用时域分类损失函数确定所述预测时域分类与真实时域分类之间的时域分类损失,所述真实时域分类是根据所述用户特征向量与所述第一时间段和所述第二时间段之间的对应关系确定的;
根据所述时域分类损失以及所述梯度反转层,基于梯度反向传播训练所述特征提取网络以及所述时域对抗网络。
可选地,所述第一用户数据集包括有标签数据以及无标签数据,所述有标签数据的分类标签用于反映所述有标签数据的所述金融风险,所述金融风险分类模型包括教师分类网络以及学生分类网络,所述教师分类网络与所述学生分类网络的网络结构相同,所述教师分类网络的参数是根据所述学生分类网络的参数进行滑动平均计算得到的;
所述第一训练模块,用于:
将所述用户特征向量输入所述教师分类网络,输出第一预测分类,所述第一预测分类用于预测所述用户特征向量对应的所述分类标签;
将所述用户特征向量输入所述学生分类网络,输出第二预测分类,所述第二预测分类用于预测所述用户特征向量对应的所述分类标签;
采用分类损失函数确定所述用户特征向量对应的所述有标签数据的所述分类标签与所述第二预测分类之间的分类损失;
采用一致性损失函数确定所述第一预测分类以及所述第二预测分类中相同所述用户特征向量对应的所述分类标签之间的一致性损失;
根据所述分类损失以及所述一致性损失,基于梯度反向传播训练所述学生分类网络,所述学生分类网络用于对所述待分类用户数据进行分类。
可选地,所述装置还包括:
第三训练模块,用于对所述金融风险分类模型以及时域划分模型交替进行训练,所述时域划分模型包括所述特征提取网络以及所述时域对抗网络。
可选地,所述装置还包括:
处理模块,用于对所述用户数据集中的数据进行训练预处理,所述训练预处理包括归一化、异常值处理、缺失值处理、特征删除处理中的至少一种。
根据本申请的另一方面,提供了一种分类装置,所述装置包括:
获取模块,用于获取待分类用户数据集,所述待分类用户数据集用于反映金融借贷领域的用户的特征;
第一输入输出模块,用于将所述待分类用户数据集中的数据输入与时间域无关的特征提取网络,输出用户特征向量;
第二输入输出模块,将所述用户特征向量输入金融风险分类模型,输出所述用户特征向量的预测分类,所述预测分类用于反映所述数据的金融风险。
可选地,所述装置还包括:
处理模块,用于对所述数据进行预测预处理,所述预测预处理与训练所述特征提取网络以及所述金融风险分类模型时所做的训练预处理相同,所述训练预处理包括归一化、异常值处理、缺失值处理、特征删除处理中的至少一种。
根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的金融风险分类模型的训练方法或分类方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的金融风险分类模型的训练方法或分类方法。
根据本申请的另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的金融风险分类模型的训练方法或分类方法。
本申请提供的技术方案带来的有益效果至少包括:
通过与时间域无关的特征提取网络处理第一用户数据以及第二用户数据,输出用户特征向量,并通过该用户特征向量训练金融风险分类模型。该用户特征向量的分布不随时间变化,根据该用户特征向量训练金融风险分类模型,能够消除时间对特征分布的影响。根据训练得到的金融风险分类模型,能够提升预测数据分类的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示意性实施例提供的实现分类的模型的结构示意图;
图2是本申请实施例提供的一种金融风险分类模型的训练方法的流程示意图;
图3是本申请实施例提供的一种分类方法的流程示意图;
图4是本申请实施例提供的另一种分类方法的流程示意图;
图5是本申请实施例提供的对特征提取网络和时域对抗网络进行时间域对抗训练的实现过程的示意图;
图6是本申请实施例提供的通过用户特征向量训练金融风险分类模型的实现过程的示意图;
图7是本申请实施例提供的训练金融风险分类模型的实现过程的示意图;
图8是本申请实施例提供的对数据进行分类的实现过程的示意图;
图9是本申请实施例提供的一种金融风险分类模型的训练装置的结构示意图;
图10是本申请实施例提供的另一种金融风险分类模型的训练装置的结构示意图;
图11是本申请实施例提供的又一种金融风险分类模型的训练装置的结构示意图;
图12是本申请实施例提供的再一种金融风险分类模型的训练装置的结构示意图;
图13是本申请实施例提供的一种分类装置的结构示意图;
图14是本申请实施例提供的另一种分类装置的结构示意图;
图15是本申请实施例提供的一种服务器的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
为便于对本申请实施例提供的方法的理解,首先对本申请实施例中涉及的名词进行介绍:
特征空间:从原始数据中提取特征是将原始数据映射到一个相比原始数据的维度更高维度的特征空间。特征空间中的特征向量是对原始数据进行更高维的抽象得到的。
特征向量:通过特征向量能够在特征空间中表示从原始数据中提取出的特征,提取出的特征基于该特征空间。
OOT集合:OOT(Out Of Time)集合是在时间维度上与训练数据集隔离的跨时间验证数据集。OOT集合是从整个数据集中,以某一时间节点为标准划分出来的。该时间节点之前为训练数据集,该时间节点之后为OOT集合。
半监督学习:使用有标签数据和无标签数据混合的训练数据来执行有监督学习或者无监督学习任务。
一致性损失:一致性损失(consistency cost)指在稳定的模型中,对于同一个输入,即使模型受到微小的干扰,其预测都应该是一致的。一致性预测损失主要用来约束同一个样本两次的预测值,使两次预测值之间的差别尽可能的小。
对抗训练:利用两个神经网络通过相互博弈的方式进行网络训练,促进两个网路相互学习,最终生成收敛稳定的两个神经网络。
图1是本申请一个示意性实施例提供的实现分类的模型的结构示意图,如图1所示,该模型100包括特征提取网络101、时域对抗网络102、教师分类网络103以及学生分类网络104。在对该模型100进行训练时,计算机设备根据第一时间段以及第二时间段将用户数据集划分为第一用户数据集以及第二用户数据集,并将该第一用户数据集和第二用户数据集中的数据输入特征提取网络101,得到用户特征向量。其中,第二时间段在第一时间段之后,用户数据集用于反映金融借贷领域的用户的特征。之后将该用户特征向量输入时域对抗网络102,得到对用户特征向量属于第一时间段或第二时间段的时域分类预测。由于特征提取网络101与时域对抗网络102之间建立有梯度反转层,会使特征提取网络101与时域对抗网络102的训练目标相反。根据时域对抗网络102的时域分类预测与真实时域分类之间的时域分类损失,以及该梯度反转层,基于梯度反向传播训练该特征提取网络101以及时域对抗网络102。训练得到的特征提取网路101能够将第一用户数据集以及第二用户数据集中的数据的差异特征映射至随时间稳定的特征空间,从而得到与时间域无关的用户特征向量。之后计算机设备将用户特征向量输入教师分类网络103以及学生分类网络104。其中,教师分类网络103的参数是根据学生分类网络104的参数进行滑动平均计算得到的。计算机设备根据学生分类网络104预测用户特征向量的分类损失,以及学生分类网络104预测用户特征向量的分类与教师分类网络103预测相同用户特征向量的分类之间的一致性损失,基于梯度反向传播训练该教学生分类网络104。完成模型100的训练。在基于模型100对待分类用户数据集进行分类时,计算机设备将待分类用户数据集中的数据输入完成训练的特征提取网络101,得到用户特征向量。之后将该用户特征向量输入学生分类网络104,输出对用户特征向量的预测分类,该预测分类用于反映待分类用户数据集中的数据的金融风险,从而实现对待分类用户数据集的分类。可选地,计算机设备在训练模型100以及通过模型100预测分类时,会对使用的用户数据集进行预处理,该预处理包括归一化、异常值处理、缺失值处理、特征删除处理中的至少一种。
在实现数据分类的过程中,会通过与时间域无关的特征提取网络,将数据的特征映射至随时间稳定的特征空间,得到用户特征向量。该用户特征向量的分布不随时间变化,根据该用户特征向量进行分类时,能够消除时间对特征分布的影响导致的预测准确度下降的问题,从而提升预测的准确度。此外,根据用户特征向量同时训练教师分类网络以及学生分类网络,教师分类网络能够监督学生分类网络的训练过程,通过一致性损失能够利用训练数据中的无标签数据训练模型,解决有标签数据不足导致训练的模型预测准确度较低的问题。
图2是本申请实施例提供的一种金融风险分类模型的训练方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图2所示,该方法包括:
步骤201、将用户数据集划分为第一用户数据集以及第二用户数据集,第一用户数据集中的第一用户数据属于第一时间段,第二用户数据集中的第二用户数据属于第二时间段。
其中,用户数据集用于反映金融借贷领域的用户的特征。例如该特征包括用户的存款总额、贷款总额、信用卡额度以及是否出现过信用卡逾期。可选地,该用户数据集还能够属于社交领域、游戏领域以及电商领域等。该第二时间段在第一时间段之后。示例地,计算机设备根据预设时间节点,将用户数据集切分为第一用户数据集以及第二用户数据集。其中,在时间节点前的为第一用户数据集,在时间节点后的为第二用户数据集。此时该第二用户数据集为OOT集合。该预设时间节点是根据专家经验确定的,例如根据特殊事件的发生时间确定。特殊事件包括疫情事件、政策发布事件以及休假事件等。
该用户数据集中的数据的特征在第一时间段和第二时间段上的分布不同。例如,在第一时间段中,用户数据集中的信用卡额度数据的值主要分布在15000至25000。在第一时间段与第二时间段之间发布了倡导消费的政策。在第二时间段中,用户数据集中的信用卡额度数据的值主要分布在25000至35000。
步骤202、将第一用户数据以及第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量。
该特征提取网络基于全连接多层感知器(Multi-Layer Perceptron,MLP)神经网络。该特征提取网络与时间域无关,则时间域对特征提取网络输出的用户特征向量的分布影响较小。特征提取网络输出的用户特征向量能够解决数据集中的数据的特征在第一时间段和第二时间段上的分布不同的问题。可选地,该特征提取网络能够将第一用户数据以及第二用户数据在时间域上的差异的特征分布映射至一个随时间稳定的特征空间,从而得到该用户特征向量。
步骤203、通过用户特征向量训练金融风险分类模型。
该金融风险分类模型基于全连接多层感知器(Multi-Layer Perceptron,MLP)神经网络。该金融风险分类模型用于对待分类用户数据进行分类。该分类用于反映待分类用户数据的金融风险。例如,计算机设备根据该金融风险分类模型能够确定出待分类用户数据有金融借贷欺诈风险或无金融借贷欺诈风险。或者,计算机设备根据该金融风险分类模型能够确定出待分类用户数据的金融借贷欺诈分,包括100分、90分、80分、70分以及60分,分数越高表示金融借贷欺诈风险越高。
通过不随时间产生分布变化的用户特征向量训练该金融风险分类模型,能够消除时间对数据的特征分布的影响,使金融风险分类模型在时间域上具有鲁棒性。提升金融风险分类模型在对随时间变化特征分布的数据进行分类预测时的准确度。
综上所述,本申请实施例提供的金融风险分类模型的训练方法,通过与时间域无关的特征提取网络处理第一用户数据以及第二用户数据,输出用户特征向量,并通过该用户特征向量训练金融风险分类模型。该用户特征向量的分布不随时间变化,根据该用户特征向量训练金融风险分类模型,能够消除时间对特征分布的影响。根据训练得到的金融风险分类模型,能够提升预测数据分类的准确度。
图3是本申请实施例提供的一种分类方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图3所示,该方法包括:
步骤301、获取待分类用户数据集。
其中,该待分类用户数据集用于反映金融借贷领域的用户的特征。该待分类用户数据集与训练特征提取模型和金融风险分类模型时的数据集属于同一领域,描述相同的对象且数据统计的维度相同。可选地,计算机设备获取用户在该计算机设备中上传的该待分类用户数据集。或者,获取其它计算机设备发送的待分类用户数据集。该计算机设备能够提供分类服务,即对待分类用户数据集中的数据进行分类,并将分类结果发送至调用分类服务的计算机设备。该提供分类服务的计算机设备可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
步骤302、将待分类用户数据集中的数据输入与时间域无关的特征提取网络,输出用户特征向量。
该特征提取网络基于全连接多层感知器(Multi-Layer Perceptron,MLP)神经网络。该特征提取网络与时间域无关,则时间域对特征提取网络输出的用户特征向量的分布影响较小。
步骤303、将用户特征向量输入金融风险分类模型,输出用户特征向量的预测分类。
该预测分类用于反映待分类用户数据集中的数据的金融风险。该金融风险分类模型基于全连接多层感知器(Multi-Layer Perceptron,MLP)神经网络。该金融风险分类模型是通过特征提取网络处理训练数据,输出的不随时间产生分布变化的用户特征向量训练得到的。计算机设备通过该金融风险分类模型对待分类用户数据集中的数据进行分类时,不会受到特征随时间变化分布的影响。
综上所述,本申请实施例提供的分类方法,通过与时间域无关的特征提取网络处理待分类用户数据集中的数据,得到用户特征向量。并通过金融风险分类模型对用户特征向量进行分类。该金融风险分类模型是通过特征提取网络处理训练数据,输出的不随时间产生分布变化的用户特征向量训练得到的。根据该金融风险分类模型进行分类时,能够消除时间对特征分布的影响,从而提升预测数据的分类的准确度。
图4是本申请实施例提供的另一种分类方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图4所示,该方法包括:
步骤401、将用户数据集划分为第一用户数据集以及第二用户数据集,第一用户数据集中的第一用户数据属于第一时间段,第二用户数据集中的第二用户数据属于第二时间段。
其中,该用户数据集用于反映金融借贷领域的用户的特征。该用户数据集被用于对金融风险分类模型进行训练。该第二时间段在第一时间段之后。用户数据集中的数据的特征在第一时间段和第二时间段上的分布不同。可选地,计算机设备根据预设时间节点,将用户数据集切分为第一用户数据集以及第二用户数据集。第二用户数据集为OOT集合。
可选地,计算机设备在获取到该用户数据集后,还会对用户数据集中的数据进行训练预处理。该训练预处理包括归一化、异常值处理、缺失值处理、特征删除处理中的至少一种。该训练预处理也称为“数据清洗”。对用户数据集中的数据进行训练预处理,即对用户数据集中影响模型训练效果的数据进行处理。统计数据的不同维度通常具有不同的量纲和量纲单位,对数据进行归一化处理,能够使各维度数据处于同一数量级,从而加快训练模型时的收敛速度以及提升模型的精度。异常值处理指确定出数据中个别明显偏离其它数据的值的异常数据,并对该异常数据进行删除或替换。能够避免异常数据对模型训练的影响。缺失值处理包括删除缺失值的数据以及确定缺失值的数据的可能值,并通过可能值插补缺失值的数据。能够避免缺失值的数据对模型训练的影响。计算机设备能够通过评估数据的特征的信息价值(Information Value,IV)贡献度,实现特征删除处理。数据的值即数据的特征,计算机设备对数据进行特征删除指删除部分数据。IV贡献度用于对数据的预测能力进行评估。数据的IV贡献度的大小能够反映该数据预测能力的强弱。示例地,计算机设备将IV贡献度低于0.3的数据进行删除。
步骤402、根据第一用户数据以及第二用户数据,对特征提取网络和时域对抗网络进行时间域对抗训练。
该时域对抗网络基于全连接多层感知器(Multi-Layer Perceptron,MLP)神经网络,用于区分用户特征向量属于第一时间段或第二时间段。
该时间域对抗用于将第一用户数据以及第二用户数据在时间域上的差异的特征分布映射至一个随时间稳定的特征空间。计算机设备将用户数据集划分为第一用户数据集以及第二用户数据集,通过基于时间域对抗训练得到的特征提取网络,能够将第一用户数据以及第二用户数据随时间有差异的特征映射至随时间稳定的特征空间,从而将有分布差异的特征进行“混合”,消除时间域对特征分布的影响。
可选地,特征提取网络与时域对抗网络之间建立有梯度反转层,梯度反转层用于使特征提取网络与时域对抗网络的训练目标相反。如图5所示,步骤402的实现过程包括以下步骤4021至4024:
在步骤4021中,将第一用户数据以及第二用户数据输入特征提取网络,输出用户特征向量。
特征提取网络输出的该用户特征向量,是通过将第一用户数据以及第二用户数据的特征映射至特征空间得到的。可选地,计算机设备将第一用户数据以及第二用户数据进行混合,并输入特征提取网络。或者,计算机设备对特征提取网络交替输入第一用户数据以及第二用户数据。
在步骤4022中,将用户特征向量输入时域对抗网络,输出预测时域分类。
该预测时域分类用于预测用户特征向量属于第一时间段或第二时间段。用户特征向量属于第一时间段或第二时间段,是根据提取出该用户特征向量的数据属于第一用户数据集或第二用户数据集确定的。
在步骤4023中,采用时域分类损失函数确定预测时域分类与真实时域分类之间的时域分类损失。
该真实时域分类是根据用户特征向量与第一时间段和第二时间段之间的对应关系确定的。提取出该用户特征向量的数据属于第一用户数据集,则用户特征向量的真实时域分类为第一时间段;提取出该用户特征向量的数据属于第二用户数据集,则用户特征向量的真实时域分类为第二时间段。计算机设备在划分第一用户数据集和第二用户数据集时,还会确定第一用户数据和第二用户数据的时域标签,该时域标签用于指示该真实时域分类。
计算机设备通过时域对抗网络对输入的用户特征向量进行时域分类时,会产生偏差,即时域对抗网络输出的用户特征向量的预测时域分类与用户特征向量的真实时域分类不同。计算机设备通过时域分类损失函数能够确定出该偏差,即时域分类损失。
在步骤4024中,根据时域分类损失以及梯度反转层,基于梯度反向传播训练特征提取网络以及时域对抗网络。
该梯度反转层能够使特征提取网络与时域对抗网络的训练目标相反。该时域对抗网络的训练目标是区分输入的信息来自第一时间段或第二时间段,则特征提取网络的训练目标是提取的用户特征向量,使时域对抗网络无法正确区分出来自于第一时间段或第二时间段,从而形成时间域的对抗关系。当被训练的时域对抗网络收敛,即能够正确区分接收的用户特征向量属于第一时间段或第二时间段时,特征提取网络也训练完成。由于特征提取网络与时域对抗网络的训练目标相反,则特征提取网络会将第一用户数据和第二用户数据随时间有差异的特征混合在一起。即能够将第一用户数据和第二用户数据的特征映射至随时间稳定特征空间中。该特征空间中的用户特征向量的分布不随时间域变化。
步骤403、将第一用户数据以及第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量。
与时间域无关的该特征提取网络是经过了时间域对抗训练的。将第一用户数据以及第二用户数据输入该特征提取网络,输出的用户特征向量所在的特征空间随时间稳定,即用户特征向量的分布不随时间域变化。
步骤404、通过用户特征向量训练金融风险分类模型,金融风险分类模型用于对待分类用户数据进行分类。
可选地,第一用户数据集包括有标签数据以及无标签数据。有标签数据的分类标签用于反映有标签数据的金融风险。该金融风险分类模型包括教师(Teacher)分类网络以及学生(Student)分类网络,教师分类网络与学生分类网络的网络结构相同。例如都为基于全连接多层感知器(Multi-Layer Perceptron,MLP)神经网络。教师分类网络的参数是根据学生分类网络的参数进行滑动平均计算得到的。滑动平均指参数在过去一段时间内的取值的均值。相较于直接赋值,滑动平均得到的值更加平缓光滑,抖动性更小,不会因为某次的异常取值而使得滑动平均值出现较大波动。如图6所示,步骤404的实现过程包括以下步骤4041至4045:
在步骤4041中,将用户特征向量输入教师分类网络,输出第一预测分类。
该第一预测分类用于预测用户特征向量对应的分类标签。例如在金融借贷领域中,该分类标签包括有欺诈风险以及无欺诈风险。
在步骤4042中,将用户特征向量输入学生分类网络,输出第二预测分类。
该第二预测分类用于预测用户特征向量对应的分类标签。可选地,计算机设备将相同的用户特征向量,同时分别输入学生分类网络以及教师分类网络,实现对分类网络的训练。
在步骤4043中,采用分类损失函数确定用户特征向量对应的有标签数据的分类标签与第二预测分类之间的分类损失。
计算机设备通过学生分类网络对输入的用户特征向量进行分类时,会产生偏差,即学生分类网络输出的有标签数据对应的用户特征向量的第二预测分类与用户特征向量对应的分类标签不同。计算机设备通过分类损失函数能够确定出该偏差,即分类损失。计算机设备不使用第二用户数据集中的有标签数据的分类标签确定分类损失,避免第二用户数据集中的数据对模型训练产生过大影响,导致模型出现过拟合。
在步骤4044中,采用一致性损失函数确定第一预测分类以及第二预测分类中相同用户特征向量对应的分类标签之间的一致性损失。
计算机设备通过学生分类网络对输入的用户特征向量进行分类以及通过教师分类网络对输入的用户特征向量进行分类时,教师分类网络的参数虽然是根据学生分类网络的参数进行滑动平均计算得到的,但对于同一个用户特征向量,教师分类网络输出的第一预测分类和学生分类网络输出的第二预测分类之间会产生偏差。即对于同一用户特征向量,教师分类网络输出的第一预测分类和学生分类网络输出的第二预测分类存在偏差。计算机设备通过一致性损失函数能够确定出该偏差,即一致性损失。
在步骤4045中,根据分类损失以及一致性损失,基于梯度反向传播训练学生分类网络,学生分类网络用于对待分类用户数据进行分类。
计算机设备根据分类损失以及一致性损失,基于梯度反向传播训练学生分类网络时,不会将梯度信息反向传播给教师分类网络。教师分类网络的参数根据学生分类网络的参数每次的更新进行滑动平均计算得到。由于学生分类网络与教师分类网络之间存在一致性损失的约束,因此计算机设备在使用无标签数据训练教师分类网络和学生分类网络时,能够充分利用到无标签数据的特征,使学生分类网络能够学习到无标签数据的特征,从而增强学生分类网络的稳定性和泛化能力。
可选地,计算机设备能够对金融风险分类模型以及时域划分模型交替进行训练。该时域划分模型包括特征提取网络以及时域对抗网络。
步骤405、获取待分类用户数据集。
该待分类用户数据集与训练特征提取模型和金融风险分类模型时的用户数据集属于同一领域,描述相同的对象且数据统计的维度相同。该待分类用户数据集用于反映金融借贷领域的用户的特征。
可选地,计算机设备在获取待分类用户数据集时,还会对待分类用户数据集中的数据进行预测预处理,该预测预处理与训练特征提取网络以及金融风险分类模型时所做的训练预处理相同,训练预处理包括归一化、异常值处理、缺失值处理、特征删除处理中的至少一种。
步骤406、将待分类用户数据集中的数据输入与时间域无关的特征提取网络,输出用户特征向量。
该与时间域无关的特征提取网络是通过时间域对抗训练得到的。特征提取网络与时间域无关,则时间域对特征提取网络输出的用户特征向量的分布影响较小。
步骤407、将用户特征向量输入金融风险分类模型,输出用户特征向量的预测分类。
该预测分类用于反映待分类用户数据集中的数据的金融风险。例如,计算机设备根据该金融风险分类模型能够确定出待分类用户数据集中的数据有金融借贷欺诈风险或无金融借贷欺诈风险,即该数据对应的用户是否存在金融借贷欺诈风险。或者,计算机设备根据该金融风险分类模型能够确定出待分类用户数据集中的数据的金融借贷欺诈分,包括100分、90分、80分、70分以及60分。该分数即该数据对应的用户的金融借贷欺诈分,分数越高表示该用户的金融借贷欺诈风险越高。
该金融风险分类模型是通过特征提取网络处理训练数据,输出的不随时间产生分布变化的用户特征向量训练得到的。计算机设备通过该金融风险分类模型对待分类用户数据集中的数据进行分类时,不会受到特征随时间变化分布的影响。当金融风险分类模型包括教师分类网络和学生分类网络时,计算机设备将用户特征向量输入学生分类网络,从而得到预测分类。
以本申请实施例提供的方法应用于金融领域为例。图7是本申请实施例提供的训练金融风险分类模型的实现过程的示意图。如图7所示,服务器为云服务器,用于对外提供识别金融欺诈风险的服务。在步骤a1中,服务器接收训练数据集,该训练数据集是提供金融欺诈风险服务的管理人员提供的。在步骤a2中,服务器对训练数据集中的数据进行训练预处理,保证模型的训练效果。在步骤a3中,服务器根据专家经验按照指定时间点对训练数据集进行划分。在步骤a4中,服务器根据划分后的训练数据集,采用半监督时间域对抗训练金融风险分类模型,该金融风险分类模型包括上述特征提取网络、时域对抗网络、教师分类网络以及学生分类网络。在步骤a5中,服务器根据训练完成的金融风险分类模型生成模型文件并进行存储。图8是本申请实施例提供的对数据进行分类的实现过程的示意图。如图8所示,在步骤b1中,服务器获取用户上传的待预测数据集。该用户在服务器中注册使用金融欺诈风险服务。在步骤b2中,服务器对待预测数据集中的数据进行预测预处理,该预测预处理与训练预处理相同。在步骤b3中,服务器调用完成训练的金融风险分类模型的模型文件对待分类数据集中的数据进行分类。在步骤b4中,服务器根据金融风险分类模型输出待预测数据集中的数据的欺诈分。例如待预测数据集包括某一客户的信息,服务器根据该待预测数据集输出的欺诈分,包括该客户有欺诈风险或该客户无欺诈风险。
需要说明的是,本申请实施例提供的方法主要应用于存在数据的特征分布随时间变化导致分类模型的分类效果发生衰减,以及有标签训练数据不足导致分类模型泛化能力差的场景下。主要能够用于金融领域。还能够用于各个分类识别和预测的场景中,例如自然语言处理、小样本图像识别和推荐系统等。
上述对分类模型进行训练的步骤,可以单独实现成为本申请实施例提供的金融风险分类模型的训练方法;上述对数据进行分类的步骤,可以单独实现成为本申请实施例提供的分类方法。
综上所述,本申请实施例提供的分类方法,通过与时间域无关的特征提取网络处理待分类用户数据集中的数据,得到用户特征向量。并通过金融风险分类模型对用户特征向量进行分类。该金融风险分类模型是通过特征提取网络处理训练数据,输出的不随时间产生分布变化的用户特征向量训练得到的。根据该金融风险分类模型进行分类时,能够消除时间对特征分布的影响,从而提升预测数据的分类的准确度。
另外,通过时间域对抗训练特征提取网络与时域对抗网络,得到的与时间域无关的特征提取网络,有助于提升预测数据的分类的准确度。对训练数据以进行预处理,能够加快训练模型的速度,以及提升训练出的模型预测分类时的准确度。计算机设备不使用第二用户数据集中的有标签数据的分类标签确定分类损失,避免第二用户数据集中的数据对模型训练产生过大影响,导致模型出现过拟合。通过教师分类网络“监督”学生分类网络的训练,能够充分利用到无标签数据的特征,使学生分类网络能够学习到无标签数据的特征,从而增强学生分类网络的稳定性和泛化能力,解决有标签训练数据不足的问题。
需要说明的是,本申请实施例提供的方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
图9是本申请实施例提供的一种金融风险分类模型的训练装置的结构示意图。该装置可以用于计算机设备或计算机设备上的客户端。如图9所示,该装置90包括:
划分模块901,用于将用户数据集划分为第一用户数据集以及第二用户数据集,第一用户数据集中的第一用户数据属于第一时间段,第二用户数据集中的第二用户数据属于第二时间段,第二时间段在第一时间段之后,用户数据集用于反映金融借贷领域的用户的特征,该特征在第一时间段和第二时间段上的分布不同。
输入输出模块902,用于将第一用户数据以及第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量。
第一训练模块903,用于通过用户特征向量训练金融风险分类模型,金融风险分类模型用于对待分类用户数据进行分类,分类用于反映待分类用户数据的金融风险。
可选地,如图10所示,装置90还包括:
第二训练模块904,用于根据第一用户数据以及第二用户数据,对特征提取网络和时域对抗网络进行时间域对抗训练。
其中,时间域对抗用于将第一用户数据以及第二用户数据在时间域上的差异的特征分布映射至一个随时间稳定的特征空间,时域对抗网络用于区分用户特征向量属于第一时间段或第二时间段。
可选地,特征提取网络与时域对抗网络之间建立有梯度反转层,梯度反转层用于使特征提取网络与时域对抗网络的训练目标相反。第二训练模块904,用于:
将第一用户数据以及第二用户数据输入特征提取网络,输出用户特征向量。
将用户特征向量输入时域对抗网络,输出预测时域分类,预测时域分类用于预测用户特征向量属于第一时间段或第二时间段。
采用时域分类损失函数确定预测时域分类与真实时域分类之间的时域分类损失,真实时域分类是根据用户特征向量与第一时间段和第二时间段之间的对应关系确定的。
根据时域分类损失以及梯度反转层,基于梯度反向传播训练特征提取网络以及时域对抗网络。
可选地,第一用户数据集包括有标签数据以及无标签数据,有标签数据的分类标签用于反映有标签数据的金融风险,金融风险分类模型包括教师分类网络以及学生分类网络,教师分类网络与学生分类网络的网络结构相同,教师分类网络的参数是根据学生分类网络的参数进行滑动平均计算得到的。第一训练模块903,用于:
将用户特征向量输入教师分类网络,输出第一预测分类,第一预测分类用于预测用户特征向量对应的分类标签。
将用户特征向量输入学生分类网络,输出第二预测分类,第二预测分类用于预测用户特征向量对应的分类标签。
采用分类损失函数确定用户特征向量对应的有标签数据的分类标签与第二预测分类之间的分类损失。
采用一致性损失函数确定第一预测分类以及第二预测分类中相同用户特征向量对应的分类标签之间的一致性损失。
根据分类损失以及一致性损失,基于梯度反向传播训练学生分类网络,学生分类网络用于对待分类用户数据进行分类。
可选地,如图11所示,装置90还包括:
第三训练模块905,用于对金融风险分类模型以及时域划分模型交替进行训练,时域划分模型包括特征提取网络以及时域对抗网络。
可选地,如图12所示,装置90还包括:
处理模块906,用于对用户数据集中的数据进行训练预处理,训练预处理包括归一化、异常值处理、缺失值处理、特征删除处理中的至少一种。
图13是本申请实施例提供的一种分类装置的结构示意图。该装置可以用于计算机设备或计算机设备上的客户端。如图13所示,该装置130包括:
获取模块1301,用于获取待分类用户数据集,待分类用户数据集用于反映金融借贷领域的用户的特征。
第一输入输出模块1302,用于将待分类用户数据集中的数据输入与时间域无关的特征提取网络,输出用户特征向量。
第二输入输出模块1303,将用户特征向量输入金融风险分类模型,输出用户特征向量的预测分类,预测分类用于反映数据的金融风险。
可选地,如图14所示,装置130还包括:
处理模块1304,用于对数据进行预测预处理,预测预处理与训练特征提取网络以及金融风险分类模型时所做的训练预处理相同,训练预处理包括归一化、异常值处理、缺失值处理、特征删除处理中的至少一种。
需要说明的是:上述实施例提供的金融风险分类模型的训练装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的金融风险分类模型的训练装置与金融风险分类模型的训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
同理,上述实施例提供的分类装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的分类装置与分类方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请的实施例还提供了一种计算机设备,该计算机设备包括:处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的金融风险分类模型的训练方法或分类方法。
可选地,该计算机设备为服务器。示例地,图15是本申请实施例提供的一种服务器的结构示意图。
所述服务器1500包括中央处理单元(Central Processing Unit,CPU)1501、包括随机存取存储器(Random Access Memory,RAM)1502和只读存储器(Read-Only Memory,ROM)1503的系统存储器1504,以及连接系统存储器1504和中央处理单元1501的系统总线1505。所述计算机设备1500还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output系统,I/O系统)1506,和用于存储操作系统1513、应用程序1514和其他程序模块1515的大容量存储设备1507。
所述基本输入/输出系统1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中所述显示器1508和输入设备1509都通过连接到系统总线1505的输入输出控制器1510连接到中央处理单元1501。所述基本输入/输出系统1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1510还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1507通过连接到系统总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。所述大容量存储设备1507及其相关联的计算机可读存储介质为服务器1500提供非易失性存储。也就是说,所述大容量存储设备1507可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机可读存储介质(未示出)。
不失一般性,所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read OnlyMemory,EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable ProgrammableRead-Only Memory,EEPROM)、闪存或其他固态存储设备,CD-ROM、数字多功能光盘(DigitalVersatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1504和大容量存储设备1507可以统称为存储器。
存储器存储有一个或多个程序,一个或多个程序被配置成由一个或多个中央处理单元1501执行,一个或多个程序包含用于实现上述方法实施例的指令,中央处理单元1501执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例,所述服务器1500还可以通过诸如因特网等网络连接到网络上的远程服务器运行。也即服务器1500可以通过连接在所述系统总线1505上的网络接口单1511连接到网络1512,或者说,也可以使用网络接口单元1511来连接到其他类型的网络或远程服务器系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由服务器所执行的步骤。
本申请实施例中还提供了一种计算机可读存储介质,该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,当该至少一条指令、至少一段程序、代码集或指令集由计算机设备的处理器加载并执行时,实现上述各方法实施例提供的金融风险分类模型的训练方法或分类方法。
本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例提供的金融风险分类模型的训练方法或分类方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的可读存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同切换、改进等,均应包含在本申请的保护范围之内。

Claims (5)

1.一种金融风险分类模型的训练方法,其特征在于,所述方法包括:
获取用户数据集并对所述用户数据集中的数据进行特征删除处理,所述特征删除处理是指在评估数据的特征的信息价值IV贡献度后,对特征进行删除处理,所述IV贡献度用于对数据的预测能力进行评估,所述数据的所述IV贡献度的大小用于反映所述数据的所述预测能力的强弱;
根据预设时间节点将用户数据集划分为第一用户数据集以及第二用户数据集,所述第一用户数据集中的第一用户数据属于第一时间段,所述第二用户数据集中的第二用户数据属于第二时间段,所述第二时间段在所述第一时间段之后,所述第一用户数据集是训练数据集,所述第二用户数据集是指在时间维度上与所述第一用户数据集隔离的跨时间验证数据集OOT,所述预设时间节点是根据特殊事件的发生时间确定的,所述特殊事件包括政策发布事件和休假事件;所述用户数据集用于反映金融借贷领域的用户的特征,所述特征在所述第一时间段和所述第二时间段上的分布不同;所述第一用户数据集包括有标签数据以及无标签数据,所述有标签数据的分类标签用于反映所述有标签数据的所述金融风险,所述金融风险分类模型包括教师分类网络以及学生分类网络;
将所述第一用户数据以及所述第二用户数据交替输入特征提取网络,输出用户特征向量;将所述用户特征向量输入时域对抗网络,输出预测时域分类,所述预测时域分类用于预测所述用户特征向量属于所述第一时间段或所述第二时间段;采用时域分类损失函数确定所述预测时域分类与真实时域分类之间的时域分类损失,所述真实时域分类是根据所述用户特征向量与所述第一时间段和所述第二时间段之间的对应关系确定的;根据所述时域分类损失以及梯度反转层,基于梯度反向传播训练所述特征提取网络以及所述时域对抗网络;其中,所述时域对抗网络用于区分用户特征向量属于所述第一时间段或所述第二时间段,所述梯度反转层用于使所述特征提取网络与所述时域对抗网络的训练目标相反,所述梯度反转层建立在所述特征提取网络与所述时域对抗网络之间;
将所述第一用户数据以及所述第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量;
将所述用户特征向量输入所述教师分类网络,输出第一预测分类,所述第一预测分类用于预测所述用户特征向量对应的所述分类标签,所述教师分类网络的参数是根据所述学生分类网络的参数进行滑动平均计算得到的,所述分类用于反映待分类用户数据的金融风险;
将所述用户特征向量输入所述学生分类网络,输出第二预测分类,所述第二预测分类用于预测所述用户特征向量对应的所述分类标签,所述学生分类网络用于对所述待分类用户数据进行分类;
采用分类损失函数确定所述用户特征向量对应的所述有标签数据的所述分类标签与所述第二预测分类之间的分类损失;所述分类损失是指所述第一用户数据集中的所述分类标签与所述第二预测分类之间的分类偏差;
采用一致性损失函数确定所述第一预测分类以及所述第二预测分类中相同所述用户特征向量对应的所述分类标签之间的一致性损失;
根据所述分类损失以及所述一致性损失,基于梯度反向传播训练所述学生分类网络。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述金融风险分类模型以及时域划分模型交替进行训练,所述时域划分模型包括所述特征提取网络以及所述时域对抗网络。
3.一种金融风险分类模型的训练装置,其特征在于,所述装置包括:
处理模块,用于获取用户数据集并对所述用户数据集中的数据进行特征删除处理,所述特征删除处理是指在评估数据的特征的信息价值IV贡献度后,对特征进行删除处理,所述IV贡献度用于对数据的预测能力进行评估,所述数据的所述IV贡献度的大小用于反映所述数据的所述预测能力的强弱;
划分模块,用于根据预设时间节点将用户数据集划分为第一用户数据集以及第二用户数据集,所述第一用户数据集中的第一用户数据属于第一时间段,所述第二用户数据集中的第二用户数据属于第二时间段,所述第二时间段在所述第一时间段之后,所述第一用户数据集是训练数据集,所述第二用户数据集是指在时间维度上与所述第一用户数据集隔离的跨时间验证数据集OOT,所述预设时间节点是根据特殊事件的发生时间确定的,所述特殊事件包括政策发布事件和休假事件;所述用户数据集用于反映金融借贷领域的用户的特征,所述特征在所述第一时间段和所述第二时间段上的分布不同;所述第一用户数据集包括有标签数据以及无标签数据,所述有标签数据的分类标签用于反映所述有标签数据的所述金融风险,所述金融风险分类模型包括教师分类网络以及学生分类网络;
第二训练模块,用于将所述第一用户数据以及所述第二用户数据交替输入特征提取网络,输出用户特征向量;将所述用户特征向量输入时域对抗网络,输出预测时域分类,所述预测时域分类用于预测所述用户特征向量属于所述第一时间段或所述第二时间段;采用时域分类损失函数确定所述预测时域分类与真实时域分类之间的时域分类损失,所述真实时域分类是根据所述用户特征向量与所述第一时间段和所述第二时间段之间的对应关系确定的;根据所述时域分类损失以及梯度反转层,基于梯度反向传播训练所述特征提取网络以及所述时域对抗网络;其中,所述时域对抗网络用于区分用户特征向量属于所述第一时间段或所述第二时间段,所述梯度反转层用于使所述特征提取网络与所述时域对抗网络的训练目标相反,所述梯度反转层建立在所述特征提取网络与所述时域对抗网络之间;
输入输出模块,用于将所述第一用户数据以及所述第二用户数据输入与时间域无关的特征提取网络,输出用户特征向量;
第一训练模块,用于将所述用户特征向量输入所述教师分类网络,输出第一预测分类,所述第一预测分类用于预测所述用户特征向量对应的所述分类标签,所述教师分类网络的参数是根据所述学生分类网络的参数进行滑动平均计算得到的,所述分类用于反映待分类用户数据的金融风险;将所述用户特征向量输入所述学生分类网络,输出第二预测分类,所述第二预测分类用于预测所述用户特征向量对应的所述分类标签,所述学生分类网络用于对所述待分类用户数据进行分类;采用分类损失函数确定所述用户特征向量对应的所述有标签数据的所述分类标签与所述第二预测分类之间的分类损失;所述分类损失是指所述第一用户数据集中的所述分类标签与所述第二预测分类之间的分类偏差;采用一致性损失函数确定所述第一预测分类以及所述第二预测分类中相同所述用户特征向量对应的所述分类标签之间的一致性损失;根据所述分类损失以及所述一致性损失,基于梯度反向传播训练所述学生分类网络。
4.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1或2所述的金融风险分类模型的训练方法。
5.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一段程序,所述至少一段程序由处理器加载并执行以实现如权利要求1或2所述的金融风险分类模型的训练方法。
CN202011092892.4A 2020-10-13 2020-10-13 金融风险分类模型的训练方法、分类方法、装置及设备 Active CN112116441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011092892.4A CN112116441B (zh) 2020-10-13 2020-10-13 金融风险分类模型的训练方法、分类方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011092892.4A CN112116441B (zh) 2020-10-13 2020-10-13 金融风险分类模型的训练方法、分类方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112116441A CN112116441A (zh) 2020-12-22
CN112116441B true CN112116441B (zh) 2024-03-12

Family

ID=73798173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092892.4A Active CN112116441B (zh) 2020-10-13 2020-10-13 金融风险分类模型的训练方法、分类方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112116441B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107358293A (zh) * 2017-06-15 2017-11-17 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN108665159A (zh) * 2018-05-09 2018-10-16 深圳壹账通智能科技有限公司 一种风险评估方法、装置、终端设备及存储介质
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置
CN110674979A (zh) * 2019-09-11 2020-01-10 腾讯科技(深圳)有限公司 风险预测模型的训练方法、预测方法及装置、介质和设备
CN110728301A (zh) * 2019-09-09 2020-01-24 北京镭文科技有限公司 一种个人用户的信用评分方法、装置、终端及存储介质
CN111160553A (zh) * 2019-12-23 2020-05-15 中国人民解放军军事科学院国防科技创新研究院 一种新的领域自适应学习方法
CN111242297A (zh) * 2019-12-19 2020-06-05 北京迈格威科技有限公司 基于知识蒸馏的模型训练方法、图像处理方法及装置
CN111598678A (zh) * 2020-07-27 2020-08-28 北京淇瑀信息科技有限公司 基于增量学习的用户金融风险识别方法、装置及电子设备
CN111681091A (zh) * 2020-08-12 2020-09-18 腾讯科技(深圳)有限公司 基于时间域信息的金融风险预测方法、装置及存储介质
CN111709476A (zh) * 2020-06-17 2020-09-25 浪潮集团有限公司 一种基于知识蒸馏的小分类模型训练方法及装置
CN111753092A (zh) * 2020-06-30 2020-10-09 深圳创新奇智科技有限公司 一种数据处理方法、模型训练方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
US10643602B2 (en) * 2018-03-16 2020-05-05 Microsoft Technology Licensing, Llc Adversarial teacher-student learning for unsupervised domain adaptation
US11669914B2 (en) * 2018-05-06 2023-06-06 Strong Force TX Portfolio 2018, LLC Adaptive intelligence and shared infrastructure lending transaction enablement platform responsive to crowd sourced information
US11295197B2 (en) * 2018-08-27 2022-04-05 International Business Machines Corporation Facilitating extraction of individual customer level rationales utilizing deep learning neural networks coupled with interpretability-oriented feature engineering and post-processing
US11797840B2 (en) * 2018-11-28 2023-10-24 International Business Machines Corporation Machine learning based approach for identification of extremely rare events in high-dimensional space
US20200272905A1 (en) * 2019-02-26 2020-08-27 GE Precision Healthcare LLC Artificial neural network compression via iterative hybrid reinforcement learning approach

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107358293A (zh) * 2017-06-15 2017-11-17 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN108665159A (zh) * 2018-05-09 2018-10-16 深圳壹账通智能科技有限公司 一种风险评估方法、装置、终端设备及存储介质
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置
CN110728301A (zh) * 2019-09-09 2020-01-24 北京镭文科技有限公司 一种个人用户的信用评分方法、装置、终端及存储介质
CN110674979A (zh) * 2019-09-11 2020-01-10 腾讯科技(深圳)有限公司 风险预测模型的训练方法、预测方法及装置、介质和设备
CN111242297A (zh) * 2019-12-19 2020-06-05 北京迈格威科技有限公司 基于知识蒸馏的模型训练方法、图像处理方法及装置
CN111160553A (zh) * 2019-12-23 2020-05-15 中国人民解放军军事科学院国防科技创新研究院 一种新的领域自适应学习方法
CN111709476A (zh) * 2020-06-17 2020-09-25 浪潮集团有限公司 一种基于知识蒸馏的小分类模型训练方法及装置
CN111753092A (zh) * 2020-06-30 2020-10-09 深圳创新奇智科技有限公司 一种数据处理方法、模型训练方法、装置及电子设备
CN111598678A (zh) * 2020-07-27 2020-08-28 北京淇瑀信息科技有限公司 基于增量学习的用户金融风险识别方法、装置及电子设备
CN111681091A (zh) * 2020-08-12 2020-09-18 腾讯科技(深圳)有限公司 基于时间域信息的金融风险预测方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results";Antti Tarvainen 等;《arXiv:1703.01780》;1-16 *
"基于机器学习的信用卡欺诈检测方案的研究";王红雨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190815(第08期);I140-56 *

Also Published As

Publication number Publication date
CN112116441A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN111724083B (zh) 金融风险识别模型的训练方法、装置、计算机设备及介质
CN110598016B (zh) 一种多媒体信息推荐的方法、装置、设备和介质
WO2019144892A1 (zh) 数据处理方法、装置、存储介质和电子装置
CN111352965B (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN113011895B (zh) 关联账户样本筛选方法、装置和设备及计算机存储介质
CN113761261A (zh) 图像检索方法、装置、计算机可读介质及电子设备
CN113011646A (zh) 一种数据处理方法、设备以及可读存储介质
CN112580902B (zh) 对象数据处理方法、装置、计算机设备和存储介质
CN112819024B (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
CN111275492A (zh) 用户画像生成方法、装置、存储介质及设备
CN113011387A (zh) 网络训练及人脸活体检测方法、装置、设备及存储介质
CN112817563A (zh) 目标属性配置信息确定方法、计算机设备和存储介质
CN112269943B (zh) 一种信息推荐系统及方法
CN115730125A (zh) 对象识别方法、装置、计算机设备和存储介质
CN115049397A (zh) 识别社交网络中的风险账户的方法及装置
CN112989182A (zh) 信息处理方法、装置、信息处理设备及存储介质
CN113362852A (zh) 一种用户属性识别方法和装置
CN112052399A (zh) 一种数据处理方法、装置和计算机可读存储介质
CN112116441B (zh) 金融风险分类模型的训练方法、分类方法、装置及设备
CN112269942B (zh) 一种推荐对象的方法、装置、系统及电子设备
CN115187252A (zh) 网络交易系统中欺诈行为的识别方法、服务器及存储介质
CN111144935A (zh) 基于大数据的睡眠会员唤醒方法及系统、服务器及介质
US11741432B1 (en) Systems and methods for predictive scoring
CN113779396B (zh) 题目推荐方法和装置、电子设备、存储介质
WO2022262561A1 (zh) 多媒体资源的处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant