CN111428874A - 风控方法、电子装置及计算机可读存储介质 - Google Patents
风控方法、电子装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111428874A CN111428874A CN202010134480.6A CN202010134480A CN111428874A CN 111428874 A CN111428874 A CN 111428874A CN 202010134480 A CN202010134480 A CN 202010134480A CN 111428874 A CN111428874 A CN 111428874A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- service data
- preset type
- business data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003062 neural network model Methods 0.000 claims abstract description 133
- 230000003044 adaptive effect Effects 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 83
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Technology Law (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及智能决策技术领域,揭露了一种风控方法,该方法包括:收集预设类型的业务数据及与预设类型的业务数据相似的相似业务数据并输入至预先构建的神经网络模型,计算相似业务数据的分类损失值和预设类型的业务数据及相似业务数据神经网络模型每一隐藏层的自适应损失值,将分类损失值及所有隐藏层的自适应损失值之和作为总损失值代入并训练神经网络模型,得到优化的神经网络模型,将待预测业务数据输入到优化的神经网络模型,输出待预测业务数据的标签,根据标签得到待预测业务数据的风险预测值。本发明通过在神经网络上计算多层领域自适应损失函数,能过滤掉源域数据中的噪声,提升预测模型的性能。
Description
技术领域
本发明涉及智能决策技术领域,尤其涉及一种风控方法、电子装置及计算机可读存储介质。
背景技术
在金融领域中,构建一条新业务线常会遇到冷启动问题。也就是新业务线建立之初需要对用户风险进行评估,而该业务线在上线之前用户的业务数据是不存在的或者是少量的。这种情况通常是利用其他与新业务数据相似的业务数据,来建立新业务的风控模型。
目前,有一些基于传统机器学习的迁移学习算法,如基于树模型的TrAdaBoost算法已被尝试用于风控模型。这种方法通过在训练一串模型的过程中修改样本权重来缩小源域和目标域训练样本分布的差异,效率较低。深度学习神经网络具有很强的表达能力,基于神经网络的迁移学习模型有很多,但目前大部分仅应用于图像、语音、文本处理等领域。而常见的应用于风控领域的神经网络模型是用相关业务线数据训练一个神经网络模型,之后再用新业务线测试阶段收集的少量数据fine-tune之前预训练的网络模型参数。这些方法都依赖于样本的原始特征来匹配源域和目标域,当原始特征稀疏或存在较多噪声时,这些方法得到的模型的性能会下降,预测不准确。
发明内容
鉴于以上内容,有必要提供一种风控方法,旨在解决源域数据中噪声较多导致预测模型的性能下降的问题。
本发明提供的风控方法,包括:
样本收集步骤:收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据;
将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值;
将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值;
将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型;
将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
可选的,所述分类损失值的计算公式为:
其中,n为所述相似业务数据的样本数,i表示第i个样本,XS为输入样本,θ为所述神经网络中的所有参数,yS为样本标签,J为损失函数。
可选的,所述自适应损失值的计算公式为:
可选的,所述风控方法还包括:
将带标签的所述预设类型的业务数据输入至所述神经网络模型进行训练,以调整所述神经网络模型每一层的参数。
可选的,所述风控方法还包括:
在所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型之前对所述预设类型的无标签待预测业务数据通过降噪自编码器进行降噪处理。
此外,为实现上述目的,本发明还提供一种电子装置,该电子装置包括:存储器、处理器,所述存储器上存种储有可在所述处理器上运行的风控程序,所述风控程序被所述处理器执行时实现如下步骤:
样本收集步骤:收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据;
第一计算步骤:将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值;
第二计算步骤:将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值;
训练步骤:将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型;
预测步骤:将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
可选的,所述分类损失值的计算公式为:
其中,n为所述相似业务数据的样本数,i表示第i个样本,XS为输入样本,θ为所述神经网络中的所有参数,yS为样本标签,J为损失函数。
可选的,所述自适应损失值的计算公式为:
可选的,所述训练步骤后还包括:
调整步骤:将带标签的所述预设类型的业务数据输入至所述神经网络模型进行训练,以调整所述神经网络模型每一层的参数。
数据预处理步骤:在所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型之前对所述预设类型的无标签待预测业务数据通过降噪自编码器进行降噪处理。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有风控程序,所述风控程序可被一个或者多个处理器执行,以实现上述风控方法的步骤。
相较现有技术,本发明通过收集预设类型的业务数据样本及与预设类型的业务数据相似的相似业务数据样本并输入至预先构建的神经网络模型,计算相似业务数据的分类损失值和预设类型的业务数据及相似业务数据神经网络模型每一隐藏层的自适应损失值,将分类损失值及所有隐藏层的自适应损失值之和作为总损失值代入并训练神经网络模型,得到优化的神经网络模型,将待预测业务数据输入到优化的神经网络模型,输出待预测业务数据的标签,根据标签得到待预测业务数据的风险预测值。本发明通过在神经网络上计算多层领域自适应损失函数,能过滤掉源域数据中的噪声,提升预测模型的性能。
附图说明
图1为本发明电子装置一实施例的示意图;
图2为图1中的风控程序一实施例的程序模块图;
图3为本发明风控方法一实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
如图1所示,为本发明电子装置1一实施例的示意图。电子装置1是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云,其中云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中,电子装置1包括,但不仅限于,可通过系统总线相互通信连接的存储器11、处理器12、网络接口13,该存储器11中存储有风控程序10,所述风控程序10可被所述处理器12执行。图1仅示出了具有组件11-13 以及风控程序10的电子装置1,本领域技术人员可以理解的是,图1示出的结构并不构成对电子装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
其中,存储器11包括内存及至少一种类型的可读存储介质。内存为电子装置1的运行提供缓存;可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中,可读存储介质可以是电子装置1的内部存储单元,例如该电子装置1的硬盘;在另一些实施例中,该非易失性存储介质也可以是电子装置1的外部存储设备,例如电子装置1上配备的插接式硬盘,智能存储卡(SmartMediaCard,SMC),安全数字(SecureDigital,SD) 卡,闪存卡(FlashCard)等。本实施例中,存储器11的可读存储介质通常用于存储安装于电子装置1的操作系统和各类应用软件,例如存储本发明一实施例中的风控程序10的代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(CentralProcessingUnit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12 通常用于控制所述电子装置1的总体操作,例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行风控程序10等。
网络接口13可包括无线网络接口或有线网络接口,该网络接口13用于在所述电子装置1与客户端(图中未画出)之间建立通信连接。
可选的,所述电子装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选的,在一些实施例中,显示器可以是LED 显示器、液晶显示器、触控式液晶显示器以及有机发光二极管 (OrganicLight-EmittingDiode,OLED)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
在本发明的一实施例中,所述风控程序10被所述处理器12执行时实现如下样本收集步骤、第一计算步骤、第二计算步骤、训练步骤及预测步骤。
样本收集步骤:收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据。
本实施例中,相似业务数据样本为有标签的相似业务数据,预设类型的业务数据样本可以是无标签的预设类型的业务数据,也可以是少量的有标签的预设类型的业务数据和较多的无标签的预设类型的业务数据。
业务线上线之前没有业务数据,风控模型主要通过专家定义一些规则来实现。预设类型的业务上线一段时间后,可以收集到少量的业务数据,即预设类型的业务数据(但由于样本量较少,尚无法训练出可靠的风控模型)。在已有业务中找到与预设类型的业务相似的业务,获取相似业务的数据。此时存在三类数据:有标签的相似业务数据、少量的有标签的预设类型的业务数据和较多的无标签的预设类型的业务数据。
其中,有标签指预测目标变量已知,标签就是预测目标变量的真实值,无标签指预测目标变量值未知。例如,预测用户是否违约,“有标签”样本指已知该样本是否违约;“无标签”样本指不知道该样本是否违约。
实际应用中,比如,预设类型的业务是现金贷,已有相似业务是信用贷。这两种业务相关联,风控模型预测用户是否会违约。用到的数据一般包括用户的人口统计学信息、历史的信贷信息等。前者与后者相比,额度较小、周期较短、门槛较低,并且从直观上看前者样本的平均年龄可能较后者要小,因此两种业务数据的分布是不一样的。
第一计算步骤:将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值。
神经网络模型(NNs)是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种模型依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。
本实施例中,在模型训练阶段,初始化模型,将相似业务数据输入模型 (模型指领域自适应网络模型,即本实施例中的神经网络)中,根据标签计算相似业务数据的分类损失。其中,分类损失值的计算公式为:
其中,n为所述相似业务数据的样本数,i表示第i个样本,XS为输入样本,θ为所述神经网络中的所有参数,yS为样本标签,J为损失函数。比如“预测用户是否违约”为二分类问题,分类损失函数通常用crossentropyloss,公式为:
第二计算步骤:将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值。
本实施例中,将相同batch_size预设类型的业务数据(按照上述的三类数据,这个可以是少量的有标签的预设类型的业务数据和较多的无标签的预设类型的业务数据的合并一起的所有样本,也可以是较多的无标签的预设类型的业务数据的所有样本)输入模型中,计算预设类型的业务数据与相似业务数据的多层领域自适应(Multi-LayerDomainAdaptation)损失。其中,自适应损失值的计算公式为:
其中,是相似业务数据与预设类型的业务数据在网络l层表示的MMD值,反映的是两组数据在l层表示下的分布的距离, Xs是源数据,也就是相似业务数据(不含标签),Xt是目标数据,也就是预设类型的业务数据,θ1是神经网络l层的参数。和也就是输入在网络l层上的表示。λ是反映对MMD值的惩罚程度的超参数。
MMD(maximummeandiscrepancy,最大均值差异)是一种衡量两个概率分布差异的指标。神经网络的每一层是对输入数据的一种表示,所以这里衡量的是网络各层上相似业务数据与预设类型的业务数据在网络隐藏层表示下的分布的差异。MMD表示为计算公式是:
训练步骤:将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型。
本实施例中,将分类损失函数及多层自适应损失函数之和作为整个神经网络的损失函数,公式为:L=Lclf+Lda。损失函数是神经网络中优化的目标函数,神经网络训练或者优化的过程就是最小化损失函数的过程,损失函数越小,该网络的可迁移性越好,在业务数据上预测准确性可能会越高。
根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,具体地,可以采用BP算法,也就是通过沿着损失在每个网络参数的梯度方向更新参数的方式,将损失从输出层传递到输入层。
计算梯度更新网络参数的方法是mini-batchstochasticgradientdescent(SGD)算法。梯度是每一个mini-batch更新一次,更新方法如下:
神经网络训练完成后,可以确定该神经网络每一层的参数,至此,得到训练好的神经网络。
在本发明的另一个实施例中,所述风控程序10被所述处理器12执行时在训练步骤后还实现如下步骤:
调整步骤:将带标签的所述预设类型的业务数据输入至所述神经网络模型进行训练,以调整所述神经网络模型每一层的参数。
具体地,如有带标签的预设类型的业务数据,可在训练步骤后,用带标签的预设类型的业务数据对网络的所有层或者后几层参数进行fine-tune微调,通过使用带标签的预设类型的业务数据输入至上述的神经网络中进行训练,以调整所述神经网络模型每一层的参数。
在本发明的另一个实施例中,所述风控程序10被所述处理器12执行时在训练步骤后还实现如下步骤:
数据预处理步骤:在所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型之前对所述预设类型的无标签待预测业务数据通过降噪自编码器进行降噪处理。
自编码器(autoencoder,AE)是一类在半监督学习和非监督学习中使用的人工神经网络(Artificial Neural Networks,ANNs),其功能是通过将输入信息作为学习目标,对输入信息进行表征学习(representation learning)。
预测步骤:将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
实际应用中,将无标签的业务数据输入到优化的神经网络模型,根据输出的业务数据的标签得到业务数据的风险预测值。例如预测用户是否违约,输出标签为0时,预测用户违约;输出标签为1时,预测用户不违约。
由上述实施例可知,本发明提出的电子装置1,通过收集预设类型的业务数据样本及与预设类型的业务数据相似的相似业务数据样本并输入至预先构建的神经网络模型,计算相似业务数据的分类损失值和预设类型的业务数据及相似业务数据神经网络模型每一隐藏层的自适应损失值,将分类损失值及所有隐藏层的自适应损失值之和作为总损失值代入并训练神经网络模型,得到优化的神经网络模型,将待预测业务数据输入到优化的神经网络模型,输出待预测业务数据的标签,根据标签得到待预测业务数据的风险预测值。本发明通过在神经网络上计算多层领域自适应损失函数,能过滤掉源域数据中的噪声,提升预测模型的性能。
在其他实施例中,风控程序10还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器11中,并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明,本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段,用于描述风控程序10在电子装置1中的执行过程。
如图2所示,为图1中的风控程序10一实施例的程序模块图。
在本发明的一个实施例中,风控程序10包括样本收集模块110、第一计算模块120、第二计算模块130、训练模块140及预测模块150,示例性地:
所述样本收集模块110,用于收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据。
所述第一计算模块120,用于将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值。
所述第二计算模块130,用于将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值。
所述训练模块140,用于将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型。
所述预测模块150,用于将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
上述样本收集模块110、第一计算模块120、第二计算模块130、训练模块140及预测模块150等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同,在此不再赘述。
如图3所示,为本发明风控方法一实施例的流程图,该风控方法包括步骤S1-S4。
S1、收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据。
本实施例中,相似业务数据样本为有标签的相似业务数据,预设类型的业务数据样本可以是无标签的预设类型的业务数据,也可以是少量的有标签的预设类型的业务数据和较多的无标签的预设类型的业务数据。
业务线上线之前没有业务数据,风控模型主要通过专家定义一些规则来实现。预设类型的业务上线一段时间后,可以收集到少量的业务数据,即预设类型的业务数据(但由于样本量较少,尚无法训练出可靠的风控模型)。在已有业务中找到与预设类型的业务相似的业务,获取相似业务的数据。此时存在三类数据:有标签的相似业务数据、少量的有标签的预设类型的业务数据和较多的无标签的预设类型的业务数据。
其中,有标签指预测目标变量已知,标签就是预测目标变量的真实值,无标签指预测目标变量值未知。例如,预测用户是否违约,“有标签”样本指已知该样本是否违约;“无标签”样本指不知道该样本是否违约。
实际应用中,比如,预设类型的业务是现金贷,已有相似业务是信用贷。这两种业务相关联,风控模型预测用户是否会违约。用到的数据一般包括用户的人口统计学信息、历史的信贷信息等。前者与后者相比,额度较小、周期较短、门槛较低,并且从直观上看前者样本的平均年龄可能较后者要小,因此两种业务数据的分布是不一样的。
S2、将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值。
神经网络模型(NNs)是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种模型依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。
本实施例中,在模型训练阶段,初始化模型,将相似业务数据输入模型 (模型指领域自适应网络模型,即本实施例中的神经网络)中,根据标签计算相似业务数据的分类损失。其中,分类损失值的计算公式为:
其中,n为所述相似业务数据的样本数,i表示第i个样本,XS为输入样本,θ为所述神经网络中的所有参数,yS为样本标签,J为损失函数。比如“预测用户是否违约”为二分类问题,分类损失函数通常用crossentropyloss,公式为:
S3、将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值。
本实施例中,将相同batch_size预设类型的业务数据(按照上述的三类数据,这个可以是少量的有标签的预设类型的业务数据和较多的无标签的预设类型的业务数据的合并一起的所有样本,也可以是较多的无标签的预设类型的业务数据的所有样本)输入模型中,计算预设类型的业务数据与相似业务数据的多层领域自适应(Multi-LayerDomainAdaptation)损失。其中,自适应损失值的计算公式为:
其中,是相似业务数据与预设类型的业务数据在网络l层表示的MMD值,反映的是两组数据在l层表示下的分布的距离, Xs是源数据,也就是相似业务数据(不含标签),Xt是目标数据,也就是预设类型的业务数据,θ1是神经网络l层的参数。和也就是输入在网络l层上的表示。λ是反映对MMD值的惩罚程度的超参数。
MMD(maximummeandiscrepancy,最大均值差异)是一种衡量两个概率分布差异的指标。神经网络的每一层是对输入数据的一种表示,所以这里衡量的是网络各层上相似业务数据与预设类型的业务数据在网络隐层表示下的分布的差异。MMD表示为计算公式是:
S4、将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型。
本实施例中,将分类损失函数及多层自适应损失函数之和作为整个神经网络的损失函数,公式为:L=Lclf+Lda。损失函数是神经网络中优化的目标函数,神经网络训练或者优化的过程就是最小化损失函数的过程,损失函数越小,该网络的可迁移性越好,在业务数据上预测准确性可能会越高。
根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,具体地,可以采用BP算法,也就是通过沿着损失在每个网络参数的梯度方向更新参数的方式,将损失从输出层传递到输入层。
计算梯度更新网络参数的方法是mini-batchstochasticgradientdescent(SGD)算法。梯度是每一个mini-batch更新一次,更新方法如下:
神经网络训练完成后,可以确定该神经网络每一层的参数,至此,得到训练好的神经网络。
在本发明的另一个实施例中,所述风控方法在S4后还包括:
将带标签的所述预设类型的业务数据输入至所述神经网络模型进行训练,以调整所述神经网络模型每一层的参数。
具体地,如有带标签的预设类型的业务数据,可在训练步骤后,用带标签的预设类型的业务数据对网络的所有层或者后几层参数进行fine-tune微调,通过使用带标签的预设类型的业务数据输入至上述的神经网络中进行训练,以调整所述神经网络模型每一层的参数。
在本发明的另一个实施例中,所述风控方法在S4后还包括:
在所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型之前对所述预设类型的无标签待预测业务数据通过降噪自编码器进行降噪处理。
自编码器(autoencoder,AE)是一类在半监督学习和非监督学习中使用的人工神经网络(Artificial Neural Networks,ANNs),其功能是通过将输入信息作为学习目标,对输入信息进行表征学习(representation learning)。
S5、将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
实际应用中,将无标签的业务数据输入到优化的神经网络模型,根据输出的业务数据的标签得到业务数据的风险预测值。例如预测用户是否违约,输出标签为0时,预测用户违约;输出标签为1时,预测用户不违约。
由上述实施例可知,本发明提出的风控方法,通过收集预设类型的业务数据样本及与预设类型的业务数据相似的相似业务数据样本并输入至预先构建的神经网络模型,计算相似业务数据的分类损失值和预设类型的业务数据及相似业务数据神经网络模型每一隐藏层的自适应损失值,将分类损失值及所有隐藏层的自适应损失值之和作为总损失值代入并训练神经网络模型,得到优化的神经网络模型,将待预测业务数据输入到优化的神经网络模型,输出待预测业务数据的标签,根据标签得到待预测业务数据的风险预测值。本发明通过在神经网络上计算多层领域自适应损失函数,能过滤掉源域数据中的噪声,提升预测模型的性能。
此外,本发明实施例还提出一种计算机可读存储介质,计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、 USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括风控程序10,所述风控程序10被处理器执行时实现如下操作:
A1、收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据;
A2、将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值;
A3、将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值;
A4、将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型;
A5、将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
本发明之计算机可读存储介质的具体实施方式与上述风控方法以及电子装置的具体实施方式大致相同,在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于自适应网络的风控方法,应用于电子装置,其特征在于,所述方法包括:
收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据;
将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值;
将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值;
将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型;
将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
4.如权利要求1所述的风控方法,其特征在于,所述风控方法还包括:
将带标签的所述预设类型的业务数据输入至所述神经网络模型进行训练,以调整所述神经网络模型每一层的参数。
5.如权利要求1所述的风控方法,其特征在于,所述风控方法还包括:
在所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型之前对所述预设类型的无标签待预测业务数据通过降噪自编码器进行降噪处理。
6.一种电子装置,其特征在于,该电子装置包括:存储器、处理器,所述存储器上存种储有可在所述处理器上运行的风控程序,所述风控程序被所述处理器执行时实现如下步骤:
样本收集步骤:收集预设类型的业务数据,并收集与所述预设类型的业务数据相似的相似业务数据;
第一计算步骤:将所述相似业务数据输入至预先构建的神经网络模型,根据分类损失函数及所述相似业务数据的标签计算所述相似业务数据的分类损失值;
第二计算步骤:将所述预设类型的业务数据及所述相似业务数据输入至所述神经网络模型,利用自适应损失函数计算所述预设类型的业务数据及所述相似业务数据在所述神经网络模型每一隐藏层的自适应损失值;
训练步骤:将所述分类损失函数及所述多层自适应损失函数之和作为所述神经网络模型的目标损失函数,并将所述分类损失值及所有隐藏层的自适应损失值之和作为所述神经网络模型的总损失值,根据所述目标损失函数及总损失值训练所述神经网络模型,更新所述神经网络模型的参数值,直至训练完成确定所述神经网络模型每一层的参数,得到优化的神经网络模型;
预测步骤:将所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型,输出所述待预测业务数据的标签,根据所述标签得到所述待预测业务数据的风险预测值。
9.如权利要求6所述的电子装置,其特征在于,所述训练步骤后还包括:
调整步骤:将带标签的所述预设类型的业务数据输入至所述神经网络模型进行训练,以调整所述神经网络模型每一层的参数。
数据预处理步骤:在所述预设类型的无标签待预测业务数据输入到所述优化的神经网络模型之前对所述预设类型的无标签待预测业务数据通过降噪自编码器进行降噪处理。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有风控程序,所述风控程序可被一个或者多个处理器执行,以实现如权利要求1至5任一项所述的风控方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134480.6A CN111428874B (zh) | 2020-02-29 | 2020-02-29 | 风控方法、电子装置及计算机可读存储介质 |
PCT/CN2020/098952 WO2021169115A1 (zh) | 2020-02-29 | 2020-06-29 | 风控方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134480.6A CN111428874B (zh) | 2020-02-29 | 2020-02-29 | 风控方法、电子装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111428874A true CN111428874A (zh) | 2020-07-17 |
CN111428874B CN111428874B (zh) | 2024-07-12 |
Family
ID=71553514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010134480.6A Active CN111428874B (zh) | 2020-02-29 | 2020-02-29 | 风控方法、电子装置及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111428874B (zh) |
WO (1) | WO2021169115A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113282927A (zh) * | 2021-05-31 | 2021-08-20 | 平安国际智慧城市科技股份有限公司 | 恶意代码检测方法、装置、设备及计算机可读存储介质 |
CN113657535A (zh) * | 2021-08-24 | 2021-11-16 | 北京奇艺世纪科技有限公司 | 一种模型的训练方法、装置、电子设备及存储介质 |
CN113762688A (zh) * | 2021-01-06 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 业务分析系统、方法以及存储介质 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113836805B (zh) * | 2021-09-16 | 2023-07-04 | 中车工业研究院有限公司 | 一种列车表面压力预测方法、装置、电子设备及存储介质 |
CN114354185B (zh) * | 2021-12-29 | 2024-07-23 | 重庆邮电大学 | 一种基于解耦网络的齿轮箱故障诊断方法 |
CN114791160A (zh) * | 2022-01-27 | 2022-07-26 | 王艳茜 | 基于神经网络模型的中央空调控制方法及装置 |
CN114692724B (zh) * | 2022-03-03 | 2023-03-28 | 支付宝(杭州)信息技术有限公司 | 数据分类模型的训练方法、数据分类方法和装置 |
CN115034447A (zh) * | 2022-05-25 | 2022-09-09 | 国网安徽省电力有限公司电力科学研究院 | 架空线停电风险预测方法及装置 |
CN114821119B (zh) * | 2022-06-22 | 2022-10-28 | 中国科学技术大学 | 针对图数据不变特征的图神经网络模型的训练方法和装置 |
CN115545353B (zh) * | 2022-11-29 | 2023-04-18 | 支付宝(杭州)信息技术有限公司 | 一种业务风控的方法、装置、存储介质及电子设备 |
CN115563584B (zh) * | 2022-11-29 | 2023-04-07 | 支付宝(杭州)信息技术有限公司 | 一种模型训练方法、装置、存储介质及电子设备 |
CN115994252A (zh) * | 2023-01-31 | 2023-04-21 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN117290732B (zh) * | 2023-11-24 | 2024-03-01 | 山东理工昊明新能源有限公司 | 故障分类模型的构建方法、风电设备故障分类方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108846340A (zh) * | 2018-06-05 | 2018-11-20 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置及分类模型训练方法、装置、存储介质和计算机设备 |
CN108898218A (zh) * | 2018-05-24 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种神经网络模型的训练方法、装置、及计算机设备 |
CN109447149A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技(深圳)有限公司 | 一种检测模型的训练方法、装置及终端设备 |
CN110135510A (zh) * | 2019-05-22 | 2019-08-16 | 电子科技大学中山学院 | 一种动态领域自适应方法、设备及计算机可读存储介质 |
CN110223164A (zh) * | 2019-06-10 | 2019-09-10 | 卓尔智联(武汉)研究院有限公司 | 基于迁移学习的风控方法及系统、计算机装置、存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3017518A1 (en) * | 2016-03-18 | 2017-09-21 | President And Fellows Of Harvard College | Automatically classifying animal behavior |
CN107944874B (zh) * | 2017-12-13 | 2021-07-20 | 创新先进技术有限公司 | 基于迁移学习的风控方法、装置及系统 |
CN110580496A (zh) * | 2019-07-11 | 2019-12-17 | 南京邮电大学 | 一种基于熵最小化的深度迁移学习系统及方法 |
CN110443372B (zh) * | 2019-07-11 | 2022-08-30 | 南京邮电大学 | 一种基于熵最小化的迁移学习方法及系统 |
-
2020
- 2020-02-29 CN CN202010134480.6A patent/CN111428874B/zh active Active
- 2020-06-29 WO PCT/CN2020/098952 patent/WO2021169115A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898218A (zh) * | 2018-05-24 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种神经网络模型的训练方法、装置、及计算机设备 |
CN108846340A (zh) * | 2018-06-05 | 2018-11-20 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置及分类模型训练方法、装置、存储介质和计算机设备 |
CN109447149A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技(深圳)有限公司 | 一种检测模型的训练方法、装置及终端设备 |
CN110135510A (zh) * | 2019-05-22 | 2019-08-16 | 电子科技大学中山学院 | 一种动态领域自适应方法、设备及计算机可读存储介质 |
CN110223164A (zh) * | 2019-06-10 | 2019-09-10 | 卓尔智联(武汉)研究院有限公司 | 基于迁移学习的风控方法及系统、计算机装置、存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113762688A (zh) * | 2021-01-06 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 业务分析系统、方法以及存储介质 |
CN113282927A (zh) * | 2021-05-31 | 2021-08-20 | 平安国际智慧城市科技股份有限公司 | 恶意代码检测方法、装置、设备及计算机可读存储介质 |
CN113282927B (zh) * | 2021-05-31 | 2024-02-02 | 平安国际智慧城市科技股份有限公司 | 恶意代码检测方法、装置、设备及计算机可读存储介质 |
CN113657535A (zh) * | 2021-08-24 | 2021-11-16 | 北京奇艺世纪科技有限公司 | 一种模型的训练方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021169115A1 (zh) | 2021-09-02 |
CN111428874B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111428874B (zh) | 风控方法、电子装置及计算机可读存储介质 | |
US20220343197A1 (en) | Systems and methods for providing machine learning model explainability information | |
CN110060144B (zh) | 额度模型训练方法、额度评估方法、装置、设备及介质 | |
US9015083B1 (en) | Distribution of parameter calculation for iterative optimization methods | |
JP2021518024A (ja) | 機械学習アルゴリズムのためのデータを生成する方法、システム | |
WO2020224106A1 (zh) | 基于神经网络的文本分类方法、系统及计算机设备 | |
CN110705719A (zh) | 执行自动机器学习的方法和装置 | |
US11360927B1 (en) | Architecture for predicting network access probability of data files accessible over a computer network | |
WO2021189769A1 (zh) | 低负载信息预测方法、装置、计算机系统及可读存储介质 | |
CN110135681A (zh) | 风险用户识别方法、装置、可读存储介质及终端设备 | |
WO2019085332A1 (zh) | 金融数据分析方法、应用服务器及计算机可读存储介质 | |
CN112231416A (zh) | 知识图谱本体更新方法、装置、计算机设备及存储介质 | |
CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
CN111159481B (zh) | 图数据的边预测方法、装置及终端设备 | |
CN116977095A (zh) | 一种动态风控预警方法、装置、计算机设备及存储介质 | |
CN114255381B (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
CN114187009A (zh) | 交易风险预测模型的特征解释方法、装置、设备及介质 | |
CN114037518A (zh) | 风险预测模型的构建方法、装置、电子设备和存储介质 | |
US11068773B2 (en) | Memory management in memory augmented deep neural networks | |
CN115034520B (zh) | 风险预测方法、装置、设备及存储介质 | |
US12050858B2 (en) | Personal data discovery | |
CN113033894B (zh) | 日用电量预测方法、装置、计算机设备和存储介质 | |
CN114513578A (zh) | 外呼方法、装置、计算机设备及存储介质 | |
CN114928477B (zh) | 一种网络入侵检测方法、装置、可读存储介质及终端设备 | |
CN113792163B (zh) | 多媒体推荐方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |