CN109003091A - 一种风险防控处理方法、装置及设备 - Google Patents

一种风险防控处理方法、装置及设备 Download PDF

Info

Publication number
CN109003091A
CN109003091A CN201810751781.6A CN201810751781A CN109003091A CN 109003091 A CN109003091 A CN 109003091A CN 201810751781 A CN201810751781 A CN 201810751781A CN 109003091 A CN109003091 A CN 109003091A
Authority
CN
China
Prior art keywords
control model
risk prevention
target
prevention
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810751781.6A
Other languages
English (en)
Inventor
邬浩艳
张华�
朱传群
沈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810751781.6A priority Critical patent/CN109003091A/zh
Publication of CN109003091A publication Critical patent/CN109003091A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4016Transaction verification involving fraud or risk level assessment in transaction processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本说明书实施例公开了一种风险防控处理方法、装置及设备,所述方法包括:基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。

Description

一种风险防控处理方法、装置及设备
技术领域
本说明书涉及计算机技术领域,尤其涉及一种风险防控处理方法、装置及设备。
背景技术
随着网络技和终端技术的日益普遍,网络交易中存在的风险也越来越多,尽管网路交易等业务系统中存在风险防控规则,但是,网络交易风险并没有因此而降低,业务系统中的风险防控仍然面临巨大的挑战。
业务系统中通常会具有一套基于风险数据的风险防控体系,当前,风险防控模型的训练是通过训练样本数据来实现的,而训练样本数据是基于离线数据库清洗的T+1历史数据,由于该历史数据在时间上是滞后的,这样会到导致基于该历史数据训练出来的风险防控模型不能很好的对突变的风险进行防控。另外,目前离线训练出来的风险防控模型需要部署到生产环境中,此时,需要手工进行风险防控模型的部署、需要手工对风险防控模型进行Beta测试、需要手工对风险防控模型进行灰度验证、需要通过人工的方式在灰度验证阶段对风险防控模型的新老模型进行效果评估等,直到最终发布上线。
上述处理过程会导致大量的人力资源和物力资源被浪费,而且还需要消耗大量的时间,在当前风险攻防节奏逐渐加快的情况下,以上述历史数据训练模型的方式已无法满足用户需求,因此,在风险防控领域,需要一种时效性更高、响应更及时的解决方案。
发明内容
本说明书实施例的目的是提供一种风险防控处理方法、装置及设备,以提供一种时效性更高、响应更及时的风险防控处理解决方案。
为实现上述技术方案,本说明书实施例是这样实现的:
本说明书实施例提供的一种风险防控处理方法,所述方法包括:
基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
可选地,所述对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估,包括:
对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行稳定性评估;或者,
对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行稳定性评估。
可选地,所述对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估,包括:
对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行第一稳定性评估;
如果所述目标风险防控模型通过所述第一稳定性评估,则对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估。
可选地,所述如果所述目标风险防控模型通过预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新,包括:
如果所述目标风险防控模型的群体稳定性指标满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
可选地,所述群体稳定性指标通过以下公式
确定,其中,PSI为群体稳定性指标,A为实际占比,E为预期占比,n>1的整数。
可选地,所述对所述目标风险防控模型进行第一稳定性评估,包括:
计算所述目标风险防控模型和所述当前风险防控模型的第一PSI值;
如果所述第一PSI值不大于预定的第一阈值,则所述目标风险防控模型通过所述第一稳定性评估;
所述对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估,包括:
分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
可选地,所述分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,包括:
对所述目标风险防控模型执行第一预定比例的灰度验证;
计算进行第一预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第二PSI值;
如果所述第二PSI值不大于预定的第二阈值,则对所述目标风险防控模型执行进行第二预定比例的灰度验证;
计算进行第二预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第三PSI值;
如果所述第三PSI值不大于预定的第三阈值,则对所述目标风险防控模型执行进行第三预定比例的灰度验证;
计算进行第三预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第四PSI值;
如果所述第四PSI值不大于预定的第四阈值,则确定所述目标风险防控模型满足预定的稳定性评估条件。
可选地,所述第一预定比例为10%,所述第二预定比例为50%,所述第三预定比例为80%。
可选地,所述第三阈值和所述第四阈值分别与所述第二阈值相等。
可选地,所述方法还包括:
获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据;
所述基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型,包括:
将所述历史样本数据、所述识别的风险交易数据和无交易风险数据,以及所述特征变量数据作为训练数据,对所述目标风险防控模型进行训练,得到训练后的目标风险防控模型。
可选地,所述对所述目标风险防控模型进行上线测试,包括:
对所述目标风险防控模型和所述当前风险防控模型进行比对评估;
如果比对评估的结果为所述目标风险防控模型优于所述当前风险防控模型,则对所述目标风险防控模型进行上线测试。
本说明书实施例提供的一种风险防控处理装置,所述装置包括:
模型生成模块,用于基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
评估模块,用于对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
模型更新模块,用于如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
可选地,所述评估模块,用于对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行稳定性评估;或者,对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行稳定性评估。
可选地,所述评估模块,包括:
第一评估单元,用于对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行第一稳定性评估;
第二评估单元,用于如果所述目标风险防控模型通过所述第一稳定性评估,则对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估。
可选地,所述模型更新模块,用于如果所述目标风险防控模型的群体稳定性指标满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
可选地,所述群体稳定性指标通过以下公式
确定,其中,PSI为群体稳定性指标,A为实际占比,E为预期占比,n>1的整数。
可选地,所述第一评估单元,用于计算所述目标风险防控模型和所述当前风险防控模型的第一PSI值;如果所述第一PSI值不大于预定的第一阈值,则所述目标风险防控模型通过所述第一稳定性评估;
所述第二评估单元,用于分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
可选地,所述第二评估单元,用于:
对所述目标风险防控模型执行第一预定比例的灰度验证;
计算进行第一预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第二PSI值;
如果所述第二PSI值不大于预定的第二阈值,则对所述目标风险防控模型执行进行第二预定比例的灰度验证;
计算进行第二预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第三PSI值;
如果所述第三PSI值不大于预定的第三阈值,则对所述目标风险防控模型执行进行第三预定比例的灰度验证;
计算进行第三预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第四PSI值;
如果所述第四PSI值不大于预定的第四阈值,则确定所述目标风险防控模型满足预定的稳定性评估条件。
可选地,所述第一预定比例为10%,所述第二预定比例为50%,所述第三预定比例为80%。
可选地,所述第三阈值和所述第四阈值分别与所述第二阈值相等。
可选地,所述装置还包括:
数据获取模块,用于获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据;
所述模型生成模块,用于将所述历史样本数据、所述识别的风险交易数据和无交易风险数据,以及所述特征变量数据作为训练数据,对所述目标风险防控模型进行训练,得到训练后的目标风险防控模型。
可选地,所述评估模块,包括:
第三评估单元,用于对所述目标风险防控模型和所述当前风险防控模型进行比对评估;
测试单元,用于如果比对评估的结果为所述目标风险防控模型优于所述当前风险防控模型,则对所述目标风险防控模型进行上线测试。
本说明书实施例提供的一种风险防控处理设备,所述风险防控处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
由以上本说明书实施例提供的技术方案可见,本说明书实施例基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型,然后,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新,这样,通过当前风险防控模型实时识别出的风险交易数据和无交易风险数据,以及特征变量数据,生成目标风险防控模型,并对目标风险防控模型进行上线测试及评估,在目标风险防控模型通过稳定性评估后,通过目标风险防控模型对目标业务的当前风险防控模型进行实时更新,从而不需要人工参与即可完成风险防控模型的上线测试以及更新,而且通过当前风险防控模型实时识别出的交易数据生成新的风险防控模型,实现对于后续欺诈和套现等风险的快速应对,可以大幅减少新风险带来的资损,提高了风险防控模型的生成效率,进而提高目标业务的安全性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一种风险防控处理方法实施例;
图2为本说明书一种风险防控处理过程的示意图;
图3为本说明书另一种风险防控处理方法实施例;
图4为本说明书又一种风险防控处理方法实施例;
图5为本说明书又一种风险防控处理方法实施例;
图6为本说明书一种风险防控处理装置实施例;
图7为本说明书一种风险防控处理设备实施例。
具体实施方式
本说明书实施例提供一种风险防控处理方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
实施例一
如图1所示,本说明书实施例提供一种风险防控处理方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该终端设备可以为用户使用的终端设备。该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于对业务系统中的业务规则或风险防控模型进行更新等处理中,为了提高效率,本实施例中以执行主体为服务器为例进行说明,对于终端设备的情况,可以根据下述相关内容处理,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S102中,基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型。
其中,目标业务可以是任意业务,例如在线支付业务、网络购物业务等。风险交易数据可以是在网络交易的过程中,通过当前风险防控模型识别出的存在交易风险的交易数据,无交易风险数据可以是在网络交易的过程中,通过当前风险防控模型识别出的不存在交易风险的交易数据,其中的交易风险可以包括对用户的资源(如用户的资金等)造成损失或对目标业务造成损失等。特征变量数据可以是对交易数据进行特征变量提取得到的特征数据,例如用户的账户的特征变量数据等。
在实施中,随着互联网技术的飞速发展,越来越多的用户通过互联网平台执行各种与互联网相关联的业务,例如:网上支付业务、网上充值业务等。随着用户对互联网平台上业务需求的不断增加,互联网平台在给人们的生产生活带来便利的同时,也带来了一定的风险。例如,某用户的账户信息被其他用户盗取、某用户的银行账号被其他用户窃取或其他用户冒用某用户的身份进行欺诈等,由于上述情况的存在,使得互联网平台中业务执行的安全性降低。为了提高互联网平台的安全性,需要建立互联网的风险监控识别平台,利用风险监控识别平台对用户在互联网平台上的用户行为进行监控,通过监控可以及时发现用户的非法行为。
目前风险监控识别平台在利用策略规则分析用户行为时,策略规则中会用到很多风险防控模型(例如反欺诈模型和反套现模型等),风险防控模型可以用于对用户行为是否存在风险进行判断。当前,风险防控模型的训练是通过训练样本数据来实现的,而训练样本数据是基于离线数据库清洗的T+1历史数据,由于该历史数据在时间上是滞后的,这样会到导致基于该历史数据训练出来的风险防控模型不能很好的对突变的风险进行防控。另外,目前离线训练出来的风险防控模型需要部署到生产环境中,此时,需要人工监测和操作来全程参与,例如,需要手工进行风险防控模型的部署、需要手工对风险防控模型进行Beta测试、需要手工对风险防控模型进行灰度验证、需要通过人工的方式在灰度验证阶段对风险防控模型的新老模型进行效果评估等,直到最终发布上线。上述整个处理流程需要耗费较长的时间,如2天或7天,以及7天以上等。
基于上述内容,在支付平台中,用户的每一笔操作或交易需要经过风险监控识别平台的风险扫描,而随着支付平台的用户量以及业务量的不断增加,面对大用户量、多种业务的快速风险形势变化,如何能够无需人工干预的情况下,自动训练风险防控模型,并快速部署上线以防控风险,最大程度减少资金损失及降低用户打扰成为急需解决的重要问题。为此,本说明书实施例提供一种可实现方案,具体可以包括以下内容:
针对某一项业务(即目标业务),在实际应用中可能会存在一些遗漏或新增的风险交易,而这些风险交易的相关数据不会被目标业务当前使用的风险防控模型(即当前风险防控模型)所拦截,从而可能会给用户的资源造成损失,为了提升目标业务的安全性,可以对目标业务的当前风险防控模型及时进行更新,为此,可以在使用当前风险防控模型对用户行为进行分析识别的过程中,保存识别后的交易数据,其中,识别后的交易数据可以包括风险交易数据和无交易风险数据,同时,在使用当前风险防控模型对交易数据进行分析识别的过程中,可以保存在上述识别过程中产生的特征变量数据,例如,用户通过支付平台向另一个用户的账户进行转账,该用户可以点击支付平台对应的应用程序中提供的转账按键,此时可以记录该用户的上述用户行为数据,该应用程序进入转账页面后,用户可以输入转账的金额,然后可以点击确定按键,此时,该应用程序可以获取用户的账户信息、转账的金额、转账对象的账户信息等生成交易数据发送给服务器,在上述交易数据发送给服务器之前,当前风险防控模型会拦截该交易数据,并通过当前风险防控模型对该交易数据进行识别,从而识别出该交易数据为风险交易数据,还是为无交易风险数据,同时,在对该交易数据进行识别的过程中,还可以对该交易数据进行特征变量提取,得到相应的特征变量数据,如该用户的账户信息的特征变量数据、转账对象的账户信息的特征变量数据等。
当需要创建新的风险防控模型时,可以将上述通过当前风险防控模型识别出的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,以实时消息流(或实时数据流)的方式发送给风险防控模型的训练模块,此时,风险防控模型的训练模块可以将上述识别出的风险交易数据作为黑样本数据,将上述识别出的无交易风险数据作为白样本数据。此外,获取的上述数据的数据量可能会较小,为了尽可能保证新的风险防控模型的准确性,还可以从数据库中获取一部分历史交易数据作为训练数据。基于上述黑样本数据和白样本数据,以及上述特征变量数据等数据,可以对风险防控模型进行训练,最终得到目标风险防控模型。
目标风险防控模型可以基于多种在线学习算法实现,例如在线随机森林算法、支持向量机算法和感知器算法等,以下以在线随机森林算法为例,对上述目标风险防控模型的生成进行说明,具体地,对于得到的目标业务的黑样本数据和白样本数据,可以通过在线随机森林算法产生新的风险防控模型。在线随机森林算法需要对样本数据进行可放回采样或可重复采样(即某一个样本数据可以被采样并使用多次),可以通过得到的黑样本流数据和白样本流数据建立一个决策树模型,然后,可以根据黑样本流数据和白样本流数据被重复抽样的次数,分别组成多个训练样本数据,并分别建立决策树模型,从而得到多个决策树模型,进而得到由多个决策树模型构成的目标风险防控模型。
需要说明的是,决策树模型可以是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率的模型。决策树中的每个节点表示某个业务属性,而每个分叉路径则代表某个可能的业务属性值,而决策树中的每个叶节点则对应从根节点到该叶节点所经历的路径所表示的业务属性值。决策树模型的目的可以是在一个数据集中找到一个最优特征,然后从该最优特征的选值中查找到一个最优候选值,根据得到的最优候选值将数据集分为两个子数据集,然后递归上述处理过程,直到满足指定条件为止。
在步骤S104中,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估。
其中,上线测试可以是对目标风险防控模型正式上线使用所做出的一种测试,上线测试可以是允许相对小范围的用户使用该目标风险防控模型,并反馈用户使用意见的过程,上线测试通过后,上线测试的目标风险防控模型可以作为目标业务的风险防控模型。上线测试可以包括多种测试过程,例如Beta测试和/或灰度验证等,其中的Beta测试可以是对目标风险防控模型的公测。稳定性评估可以用于评估目标风险防控模型对各种风险的防控效果,稳定性评估可以通过多种方式实现,例如,可以设定评估阈值,通过与评估阈值的比较,确定目标风险防控模型的风险防控效果等。
在实施中,通过上述步骤S102的处理得到目标风险防控模型后,可以对目标风险防控模型进行打标加锁,然后,可以基于目标风险防控模型生成草稿状态的风险防控模型,然后,可以对当前的风险防控系统进行模型运行配置,配置完成后,草稿状态的风险防控模型进行上线测试,具体地,可以对草稿状态的风险防控模型执行Beta测试,同时,可以在进行上线测试的过程中,启动预先设定的模型打分机制,通过模型打分机制,可以对草稿状态的风险防控模型每次的交易数据识别结果进行打分,通过预定时长的打分后,可以统计每次的打分结果,判断草稿状态的风险防控模型是否能够作为目标业务的风险防控模型,从而可以完成对目标风险防控模型进行稳定性评估,如果目标风险防控模型未通过稳定性评估,则可以停止对目标风险防控模型的在线测试,并可以重新执行上述步骤S102的处理,如果目标风险防控模型通过稳定性评估,则执行下述步骤S106的处理。
在步骤S106中,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新。
其中,稳定性评估条件可以是根据实际情况设定的条件,例如目标风险防控模型的评估值小于预定的评估阈值,或者,也可以是由多个不同的条件组合而得到等。
在实施中,基于上述步骤S102中的示例,以在线随机森林算法为例,通过上述步骤S102的处理得到决策树模型后,可以将得到的决策树模型进行在线测试,并对该决策树模型进行稳定性评估,如果该决策树模型满足预定的稳定性评估条件(如该决策树模型的评估值小于预定的评估阈值等),则可以确定该决策树模型符合目标业务,此时,可以使用上述决策树模型替换当前风险防控模型(即当前决策树模型),并可以基于替换后得到的决策树模型确定目标业务相应的风险防控规则或风险防控策略。
本说明书实施例提供一种风险防控处理方法,基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型,然后,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新,这样,通过当前风险防控模型实时识别出的风险交易数据和无交易风险数据,以及特征变量数据,生成目标风险防控模型,并对目标风险防控模型进行上线测试及评估,在目标风险防控模型通过稳定性评估后,通过目标风险防控模型对目标业务的当前风险防控模型进行实时更新,从而不需要人工参与即可完成风险防控模型的上线测试以及更新,而且通过当前风险防控模型实时识别出的交易数据生成新的风险防控模型,实现对于后续欺诈和套现等风险的快速应对,可以大幅减少新风险带来的资损,提高了风险防控模型的生成效率,进而提高目标业务的安全性。
实施例二
如图2所示,本说明书实施例提供一种风险防控处理方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该终端设备可以为用户使用的终端设备。该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于对业务系统中的业务规则或风险防控模型进行更新等处理中,为了提高效率,本实施例中以执行主体为服务器为例进行说明,对于终端设备的情况,可以根据下述相关内容处理,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S202中,获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据。
其中,风险交易数据中可以包括基于欺诈、套现等的交易数据。特征变量数据可以是一种交易数据的实值单值函数的数据,特征变量数据可以包括多种实现形式,例如以向量形式的数据表示,或者,以数学表达式的形式表示等,本说明书实施例对此不做限定。离线数据库可以是用于存储历史交易数据的数据库,该离线数据库中可以包括用户在当前时刻之前的某时刻或某时间段获取的交易数据,离线数据库中的交易数据可以是经过风险识别后的风险交易数据和无交易风险数据。
在实施中,根据风险防控系统的功能,可以将风险防控系统划分为多个不同的功能平台,本说明书实施例中,如图3所示,可以将目标业务的风险防控系统划分为两个功能平台,一个是风险监控识别平台,另一个可以是模型自学习及预测平台。其中,风险监控识别平台中可以包括实时风险防控系统和Alpharisk智能风险控制系统,模型自学习及预测平台中可以包括模型自学习平台和模型预测打分平台。Alpharisk智能风险控制系统可以用于管理风险防控模型在线自学习任务以及控制风险防控模型的生命周期,并负责风险防控模型在风险控制体系的状态流转。模型自学习及预测平台可以是机器学习及在线模型预估服务平台。
在模型自学习及预测平台上可以配置模型训练的学习及评估任务,并可以为该任务设置任务标识,例如任务ID(Identity,身份标识号)等,具体可以如A1等。在Alpharisk智能风险控制系统上新增模型在线自学习任务配置,并且将该配置的配置信息与上述模型自学习及预测平台的任务标识进行关联,并且,可以开启该任务设置为“监测中”状态。
风险监控识别平台在利用策略规则分析用户行为时,策略规则中会用到很多风险防控模型(例如反欺诈模型和反套现模型等),风险防控模型可以用于对用户行为是否存在风险进行判断和识别。上述配置完成后,在风险防控模型在线自学习流程中,可以先将风险识别过程中产生的特征变量数据保存在风险监控识别平台中,此外,还可以通过当前风险防控模型对当前输入到风险监控识别平台中的交易数据进行识别,并得到识别出的风险交易数据和无交易风险数据,可以将识别出的风险交易数据和无交易风险数据缓存到风险监控识别平台中。当需要通过模型自学习及预测平台进行模型自学习时,风险监控识别平台可以将上述识别出的风险交易数据和无交易风险数据,以及特征变量数据,以实时消息流的方式发送给模型自学习及预测平台。此外,为了防止通过上述实时消息流的方式获取的数据量较小,还可以从离线数据库中获取历史样本数据。
需要说明的是,为了更加清楚识别出的交易数据存在何种交易风险、会产生何种交易后果等,因此,风险监控识别平台对识别出的交易数据制作标签,该标签中可以记录该交易数据的风险属性,例如支付欺诈或套现等。此外,风险交易数据(黑样本数据)可以通过图3中的Alpharisk智能风险控制系统实时获取,无交易风险数据(白样本数据)可以通过图3中的实时风险防控系统实时获取等。
在步骤S204中,将上述历史样本数据、上述识别的风险交易数据和无交易风险数据,以及上述特征变量数据作为训练数据,对目标风险防控模型进行训练,得到训练后的目标风险防控模型。
上述步骤S204的具体处理过程可以参见上述实施例一中步骤S102中相关内容,在此不再赘述。
本说明书实施例中,模型在线自学习体系可以基于线上实时采集的特征数据和识别出的交易数据经过在线流式处理平台实时传输给机器学习平台进行模型训练,基本上可以做到准实时模型训练产出。
在步骤S206中,对目标风险防控模型和当前风险防控模型进行比对评估。
在实施中,可以对训练产出的目标风险防控模型和当前风险防控模型进行新老版本比对评估,从而判断目标风险防控模型的风险防控效果与当前风险防控模型的风险防控效果的优劣。如果目标风险防控模型的风险防控效果优于当前风险防控模型的风险防控效果,则可以将目标风险防控模型对应的算法文件写入到指定的存储服务器中,并可以执行下述步骤S208的处理,如果当前风险防控模型的风险防控效果优于目标风险防控模型的风险防控效果,则可以放弃目标风险防控模型,并可以重新执行上述步骤S202的处理。
在步骤S208中,如果比对评估的结果为目标风险防控模型优于当前风险防控模型,则对目标风险防控模型进行Beta测试,并在Beta测试的过程中,对目标风险防控模型进行第一稳定性评估。
在实施中,如果目标风险防控模型的风险防控效果优于当前风险防控模型的风险防控效果,则可以确定目标风险防控模型优于当前风险防控模型,此时,可以将目标风险防控模型对应的算法文件写入到指定的存储服务器中。模型预测打分平台可以周期性(如每隔1小时或每个12小时等)的检测上述存储服务器中是否存在新的风险防控模型(即目标风险防控模型),如果检测到上述存储服务器的存储目录下有新的算法文件记录产生,则可以进行新的算法文件部署,并提供目标风险防控模型的预测服务。
Alpharisk智能风险控制系统可以定时通过RPC(Remote Procedure Call,远程过程调用)请求调用模型预测打分平台查询是否存在新的风险防控模型,如果检测到存在新的风险防控模型,则Alpharisk智能风险控制系统可以调用打标接口,对目标风险防控模型进行打标加锁,此时,可以将目标风险防控模型打标为Beta中状态。然后,Alpharisk智能风险控制系统可以基于目标风险防控模型生成一个草稿状态的风险防控模型,完成后,可以自动进行草稿状态的风险防控模型的上线流程,即Alpharisk智能风险控制系统通知模型自学习及预测平台加载草稿状态的风险防控模型运行时配置,模型自学习及预测平台可以加载草稿状态的风险防控模型配置,以此对目标风险防控模型进行Beta测试。在进行Beta测试的过程中,实时风控系统可以调用模型自学习及预测平台中的模型预测服务对草稿状态的风险防控模型进行打分,通过对草稿状态的风险防控模型的打分,可以实现对目标风险防控模型进行第一稳定性评估的目的。
其中,对目标风险防控模型进行第一稳定性评估的处理可以多种多样,以下提供一种可选的处理方式,具体可以包括以下步骤一和步骤二:
步骤一,计算目标风险防控模型和当前风险防控模型的第一PSI值。
在实施中,本说明书实施例中,草稿状态的风险防控模型自动上线流程中,以Beta测试及灰度验证为例进行说明,由于Beta测试和灰度验证涉及到模型运行打分的稳定性指标评估,只要评估通过才会进行到下一阶段的处理过程,否则草稿状态的风险防控模型不符合预期,此时,可以直接终止上线流程放弃本次草稿状态的风险防控模型的推荐。
本说明书实施例中,稳定性评估指标可以是群体稳定性指标(PopulationStability Index,PSI),群体稳定性指标可以通过以下公式
确定,其中,PSI为群体稳定性指标,A为实际占比,E为预期占比,n>1的整数。
需要说明的是,例如,训练一个Logistic回归模型(逻辑回归模型),预测时会有个概率输出。如果测试集上的输出设定为p1,将它从小到大排序后10等份,如0-0.1,0.1-0.2,......。现在使用该Logistic回归模型对新的样本数据进行预测,预测结果可以为p2。可以按照p1的区间划分的方式,将p2也划分为10等份。其中的实际占比A可以为p2上在各区间的用户占比,预期占比E可以为p1上各区间的用户占比等。显然,如果Logistic回归模型很稳定,则p1和p2上各区间的用户应该是很相近的,各区间的用户占比不会变动很大,也即是预测出的概率不会差距很大。
另外,通常如果PSI小于0.1时,草稿状态的风险防控模型的稳定性很高,PSI在0.1~0.25之间时,草稿状态的风险防控模型的稳定性中等,PSI大于0.25时,草稿状态的风险防控模型的稳定性差。
可以根据上述示例,基于目标风险防控模型的预测结果和当前风险防控模型的预测结果,确定实际占比A,预期占比E,并可以将得到的实际占比A和预期占比E代入到上述公式(1)中进行计算,得到目标风险防控模型和当前风险防控模型的第一PSI值。
步骤二,如果第一PSI值不大于预定的第一阈值,则目标风险防控模型通过第一稳定性评估。
其中,第一阈值可以根据实际情况设定,具体如0.1等。
在实施中,如果第一PSI值不大于预定的第一阈值,则可以确定草稿状态的风险防控模型的打分区间PSI符合预期,即目标风险防控模型通过第一稳定性评估,此时,可以执行下述步骤S210的处理。
此外,如果第一PSI值大于预定的第一阈值,则可以触发报警,并可以停止对目标风险防控模型进行Beta测试。
在步骤S210中,如果目标风险防控模型通过第一稳定性评估,则对目标风险防控模型进行灰度验证,并在灰度验证的过程中,对目标风险防控模型进行第二稳定性评估。
在实施中,如果目标风险防控模型通过第一稳定性评估,则Alpharisk智能风险控制系统可以调用打标接口,可以将目标风险防控模型打标为灰度中状态。并对草稿状态的风险防控模型进行灰度验证,在进行灰度验证的过程中,可以对草稿状态的风险防控模型进行打分,通过对草稿状态的风险防控模型的打分,可以实现对目标风险防控模型进行第二稳定性评估的目的。
需要说明的是,为了保证目标风险防控模型的准确性,可以进行多次灰度验证,每次灰度验证可以执行一定比例的灰度验证过程,则上述步骤S210中对目标风险防控模型进行第二稳定性评估的处理可以包括以下内容:分别对目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算目标风险防控模型和当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
其中,多个不同预定比例的灰度验证可以根据实际情况设定不同的比例,例如30%、60%和100%,或者,50%和100%等。
其中,上述分别对目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算目标风险防控模型和当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成的处理可以多种多样,以下提供一种可选的处理方式,具体可以包括以下步骤一~步骤七。
步骤一,对目标风险防控模型执行第一预定比例的灰度验证。
步骤二,计算进行第一预定比例的灰度验证后的目标风险防控模型和当前风险防控模型的第二PSI值。
在实施中,可以根据上述示例,基于第一预定比例的灰度版本的目标风险防控模型的预测结果和当前风险防控模型的预测结果,确定实际占比A,预期占比E,并可以将得到的实际占比A和预期占比E代入到上述公式(1)中进行计算,得到进行第一预定比例的灰度验证后的目标风险防控模型和当前风险防控模型的第二PSI值。
步骤三,如果第二PSI值不大于预定的第二阈值,则对目标风险防控模型执行进行第二预定比例的灰度验证。
需要说明的是,如果第二PSI值大于预定的第二阈值,则可以启动报警,并停止对目标风险防控模型进行灰度验证。
步骤四,计算进行第二预定比例的灰度验证后的目标风险防控模型和当前风险防控模型的第三PSI值。
步骤五,如果第三PSI值不大于预定的第三阈值,则对目标风险防控模型执行进行第三预定比例的灰度验证。
需要说明的是,如果第三PSI值大于预定的第三阈值,则可以启动报警,并停止对目标风险防控模型进行灰度验证。
步骤六,计算进行第三预定比例的灰度验证后的目标风险防控模型和当前风险防控模型的第四PSI值。
步骤七,如果第四PSI值不大于预定的第四阈值,则确定目标风险防控模型满足预定的稳定性评估条件。
其中,上述第一预定比例、第二预定比例、第三预定比例可以根据实际情况设定,本说明书实施例中对此不做限定。其中第四预定比例可以为100%。另外,第一阈值、第二阈值、第三阈值和第四阈值可以根据实际情况设定,本说明书实施例中对此不做限定。
需要说明的是,如果灰度验证的结果正常,则可以将目标业务的业务系统的风险防控模型全部切换到新的目标风险防控模型,如果灰度验证的结果异常,则进行风险防控模型的回滚处理。
在本说明书的另一个实施例中,第一预定比例可以为10%,第二预定比例可以为50%,第三预定比例可以为80%。
另外,第三阈值和第四阈值可以分别与第二阈值相等。
本说明书实施例中,模型在线自学习体系中,准实时训练出来的目标风险防控模型,能够自动完成在线部署、在线Beta测试、在线灰度验证和发布上线等一整套在线模型的上线测试和评估及发布,全程无需人工介入干预。
在步骤S212中,如果目标风险防控模型的群体稳定性指标满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新。
需要说明的是,目标风险防控模型部署上线以后,每一次的目标风险防控模型分析调用,可以通过发送RPC请求到模型预测打分平台进行模型打分计算,最后返回模型分值结果。
基于上述处理过程,通过对风险识别过程中实时样本数据及特征变量数据以实时消息流方式发送给模型自学习及预测平台进行训练,保证了模型训练样本的实效性,对于模型自学习及预测平台产出的新的风险防控模型,通过系统平台实现模型部署、Beta测试、灰度验证、发布上线,整个流程通过平台全自动处理,无需人工介入。在实际应用中,从模型训练到发布上线整个过程时间可以控制在一小时以内,这样,可以极大地提升了风险识别平台对新风险形势的快速防控效率,有效地减少了资金损失及降低用户打扰。
本说明书实施例提供一种风险防控处理方法,基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型,然后,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新,这样,通过当前风险防控模型实时识别出的风险交易数据和无交易风险数据,以及特征变量数据,生成目标风险防控模型,并对目标风险防控模型进行上线测试及评估,在目标风险防控模型通过稳定性评估后,通过目标风险防控模型对目标业务的当前风险防控模型进行实时更新,从而不需要人工参与即可完成风险防控模型的上线测试以及更新,而且通过当前风险防控模型实时识别出的交易数据生成新的风险防控模型,实现对于后续欺诈和套现等风险的快速应对,可以大幅减少新风险带来的资损,提高了风险防控模型的生成效率,进而提高目标业务的安全性。
实施例三
如图4所示,本说明书实施例提供一种风险防控处理方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该终端设备可以为用户使用的终端设备。该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于对业务系统中的业务规则或风险防控模型进行更新等处理中,为了提高效率,本实施例中以执行主体为服务器为例进行说明,对于终端设备的情况,可以根据下述相关内容处理,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S402中,获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据。
在步骤S404中,将上述历史样本数据、上述识别的风险交易数据和无交易风险数据,以及上述特征变量数据作为训练数据,对目标风险防控模型进行训练,得到训练后的目标风险防控模型。
上述步骤S402和步骤S404的具体处理过程可以参见上述实施例一中步骤S102中相关内容,在此不再赘述。
在步骤S406中,对目标风险防控模型和当前风险防控模型进行比对评估。
在步骤S408中,如果比对评估的结果为目标风险防控模型优于当前风险防控模型,则对目标风险防控模型进行Beta测试,并在Beta测试的过程中,对目标风险防控模型进行稳定性评估。
其中,对目标风险防控模型进行第一稳定性评估的处理可以多种多样,以下提供一种可选的处理方式,具体可以包括以下步骤一和步骤二:
步骤一,计算目标风险防控模型和当前风险防控模型的第一PSI值。
步骤二,如果第一PSI值不大于预定的第一阈值,则目标风险防控模型通过稳定性评估。
在步骤S410中,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新。
上述步骤S406~步骤S410的具体处理过程可以参见上述实施例一和实施例二中的相关内容,在此不再赘述。
本说明书实施例提供一种风险防控处理方法,基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型,然后,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新,这样,通过当前风险防控模型实时识别出的风险交易数据和无交易风险数据,以及特征变量数据,生成目标风险防控模型,并对目标风险防控模型进行上线测试及评估,在目标风险防控模型通过稳定性评估后,通过目标风险防控模型对目标业务的当前风险防控模型进行实时更新,从而不需要人工参与即可完成风险防控模型的上线测试以及更新,而且通过当前风险防控模型实时识别出的交易数据生成新的风险防控模型,实现对于后续欺诈和套现等风险的快速应对,可以大幅减少新风险带来的资损,提高了风险防控模型的生成效率,进而提高目标业务的安全性。
实施例四
如图5所示,本说明书实施例提供一种风险防控处理方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该终端设备可以为用户使用的终端设备。该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以是某项业务的后台服务器,也可以是某网站(如网络购物网站或支付应用等)的后台服务器等。该方法可以用于对业务系统中的业务规则或风险防控模型进行更新等处理中,为了提高效率,本实施例中以执行主体为服务器为例进行说明,对于终端设备的情况,可以根据下述相关内容处理,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S502中,获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据。
在步骤S504中,将上述历史样本数据、上述识别的风险交易数据和无交易风险数据,以及上述特征变量数据作为训练数据,对目标风险防控模型进行训练,得到训练后的目标风险防控模型。
上述步骤S502和步骤S504的具体处理过程可以参见上述实施例一中步骤S102中相关内容,在此不再赘述。
在步骤S506中,对目标风险防控模型和当前风险防控模型进行比对评估。
在步骤S508中,如果比对评估的结果为目标风险防控模型优于当前风险防控模型,则对目标风险防控模型进行灰度验证,并在灰度验证的过程中,对目标风险防控模型进行稳定性评估。
需要说明的是,为了保证目标风险防控模型的准确性,可以进行多次灰度验证,每次灰度验证可以执行一定比例的灰度验证过程,则上述步骤S508中对目标风险防控模型进行稳定性评估的处理可以包括以下内容:
分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
其中,上述分别对目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算目标风险防控模型和当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成的处理可以多种多样,以下提供一种可选的处理方式,具体可以包括以下步骤一~步骤七。
步骤一,对目标风险防控模型执行第一预定比例的灰度验证。
步骤二,计算进行第一预定比例的灰度验证后的目标风险防控模型和当前风险防控模型的第二PSI值。
步骤三,如果第二PSI值不大于预定的第二阈值,则对目标风险防控模型执行进行第二预定比例的灰度验证。
需要说明的是,如果第二PSI值大于预定的第二阈值,则可以启动报警,并停止对目标风险防控模型进行灰度验证。
步骤四,计算进行第二预定比例的灰度验证后的目标风险防控模型和当前风险防控模型的第三PSI值。
步骤五,如果第三PSI值不大于预定的第三阈值,则对目标风险防控模型执行进行第三预定比例的灰度验证。
需要说明的是,如果第三PSI值大于预定的第三阈值,则可以启动报警,并停止对目标风险防控模型进行灰度验证。
步骤六,计算进行第三预定比例的灰度验证后的目标风险防控模型和当前风险防控模型的第四PSI值。
步骤七,如果第四PSI值不大于预定的第四阈值,则确定目标风险防控模型满足预定的稳定性评估条件。
其中,第一预定比例可以为10%,所述第二预定比例可以为50%,第三预定比例可以为80%。
另外,第三阈值和第四阈值可以分别与第二阈值相等。
在步骤S510中,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新。
上述步骤S506~步骤S510的具体处理过程可以参见上述实施例一和实施例二中的相关内容,在此不再赘述。
本说明书实施例提供一种风险防控处理方法,基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型,然后,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新,这样,通过当前风险防控模型实时识别出的风险交易数据和无交易风险数据,以及特征变量数据,生成目标风险防控模型,并对目标风险防控模型进行上线测试及评估,在目标风险防控模型通过稳定性评估后,通过目标风险防控模型对目标业务的当前风险防控模型进行实时更新,从而不需要人工参与即可完成风险防控模型的上线测试以及更新,而且通过当前风险防控模型实时识别出的交易数据生成新的风险防控模型,实现对于后续欺诈和套现等风险的快速应对,可以大幅减少新风险带来的资损,提高了风险防控模型的生成效率,进而提高目标业务的安全性。
实施例五
以上为本说明书实施例提供的风险防控处理方法,基于同样的思路,本说明书实施例还提供一种风险防控处理装置,如图6示。
该风险防控处理装置包括:模型生成模块601、评估模块602和模型更新模块603,其中:
模型生成模块601,用于基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
评估模块602,用于对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
模型更新模块603,用于如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
本说明书实施例中,所述评估模块602,用于对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行稳定性评估;或者,对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行稳定性评估。
本说明书实施例中,所述评估模块602,包括:
第一评估单元,用于对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行第一稳定性评估;
第二评估单元,用于如果所述目标风险防控模型通过所述第一稳定性评估,则对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估。
本说明书实施例中,所述模型更新模块603,用于如果所述目标风险防控模型的群体稳定性指标满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
本说明书实施例中,所述群体稳定性指标通过以下公式
确定,其中,PSI为群体稳定性指标,A为实际占比,E为预期占比,n>1的整数。
本说明书实施例中,所述第一评估单元,用于计算所述目标风险防控模型和所述当前风险防控模型的第一PSI值;如果所述第一PSI值不大于预定的第一阈值,则所述目标风险防控模型通过所述第一稳定性评估;
所述第二评估单元,用于分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
本说明书实施例中,所述第二评估单元,用于:
对所述目标风险防控模型执行第一预定比例的灰度验证;
计算进行第一预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第二PSI值;
如果所述第二PSI值不大于预定的第二阈值,则对所述目标风险防控模型执行进行第二预定比例的灰度验证;
计算进行第二预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第三PSI值;
如果所述第三PSI值不大于预定的第三阈值,则对所述目标风险防控模型执行进行第三预定比例的灰度验证;
计算进行第三预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第四PSI值;
如果所述第四PSI值不大于预定的第四阈值,则确定所述目标风险防控模型满足预定的稳定性评估条件。
本说明书实施例中,所述第一预定比例为10%,所述第二预定比例为50%,所述第三预定比例为80%。
本说明书实施例中,所述第三阈值和所述第四阈值分别与所述第二阈值相等。
本说明书实施例中,所述装置还包括:
数据获取模块,用于获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据;
所述模型生成模块601,用于将所述历史样本数据、所述识别的风险交易数据和无交易风险数据,以及所述特征变量数据作为训练数据,对所述目标风险防控模型进行训练,得到训练后的目标风险防控模型。
本说明书实施例中,所述评估模块602,包括:
第三评估单元,用于对所述目标风险防控模型和所述当前风险防控模型进行比对评估;
测试单元,用于如果比对评估的结果为所述目标风险防控模型优于所述当前风险防控模型,则对所述目标风险防控模型进行上线测试。
本说明书实施例提供一种风险防控处理装置,基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型,然后,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新,这样,通过当前风险防控模型实时识别出的风险交易数据和无交易风险数据,以及特征变量数据,生成目标风险防控模型,并对目标风险防控模型进行上线测试及评估,在目标风险防控模型通过稳定性评估后,通过目标风险防控模型对目标业务的当前风险防控模型进行实时更新,从而不需要人工参与即可完成风险防控模型的上线测试以及更新,而且通过当前风险防控模型实时识别出的交易数据生成新的风险防控模型,实现对于后续欺诈和套现等风险的快速应对,可以大幅减少新风险带来的资损,提高了风险防控模型的生成效率,进而提高目标业务的安全性。
实施例六
以上为本说明书实施例提供的风险防控处理装置,基于同样的思路,本说明书实施例还提供一种风险防控处理设备,如图7所示。
所述风险防控处理设备可以为上述实施例提供的服务器或终端设备。
风险防控处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器701和存储器702,存储器702中可以存储有一个或一个以上存储应用程序或数据。其中,存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对风险防控处理设备中的一系列计算机可执行指令。更进一步地,处理器701可以设置为与存储器702通信,在风险防控处理设备上执行存储器702中的一系列计算机可执行指令。风险防控处理设备还可以包括一个或一个以上电源703,一个或一个以上有线或无线网络接口704,一个或一个以上输入输出接口705,一个或一个以上键盘706。
具体在本实施例中,风险防控处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对风险防控处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
本说明书实施例中,所述对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估,包括:
对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行稳定性评估;或者,
对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行稳定性评估。
本说明书实施例中,所述对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估,包括:
对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行第一稳定性评估;
如果所述目标风险防控模型通过所述第一稳定性评估,则对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估。
本说明书实施例中,所述如果所述目标风险防控模型通过预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新,包括:
如果所述目标风险防控模型的群体稳定性指标满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
本说明书实施例中,所述群体稳定性指标通过以下公式
确定,其中,PSI为群体稳定性指标,A为实际占比,E为预期占比,n>1的整数。
本说明书实施例中,所述对所述目标风险防控模型进行第一稳定性评估,包括:
计算所述目标风险防控模型和所述当前风险防控模型的第一PSI值;
如果所述第一PSI值不大于预定的第一阈值,则所述目标风险防控模型通过所述第一稳定性评估;
所述对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估,包括:
分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
本说明书实施例中,所述分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,包括:
对所述目标风险防控模型执行第一预定比例的灰度验证;
计算进行第一预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第二PSI值;
如果所述第二PSI值不大于预定的第二阈值,则对所述目标风险防控模型执行进行第二预定比例的灰度验证;
计算进行第二预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第三PSI值;
如果所述第三PSI值不大于预定的第三阈值,则对所述目标风险防控模型执行进行第三预定比例的灰度验证;
计算进行第三预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第四PSI值;
如果所述第四PSI值不大于预定的第四阈值,则确定所述目标风险防控模型满足预定的稳定性评估条件。
本说明书实施例中,所述第一预定比例为10%,所述第二预定比例为50%,所述第三预定比例为80%。
本说明书实施例中,所述第三阈值和所述第四阈值分别与所述第二阈值相等。
本说明书实施例中,还包括:
获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据;
所述基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型,包括:
将所述历史样本数据、所述识别的风险交易数据和无交易风险数据,以及所述特征变量数据作为训练数据,对所述目标风险防控模型进行训练,得到训练后的目标风险防控模型。
本说明书实施例中,所述对所述目标风险防控模型进行上线测试,包括:
对所述目标风险防控模型和所述当前风险防控模型进行比对评估;
如果比对评估的结果为所述目标风险防控模型优于所述当前风险防控模型,则对所述目标风险防控模型进行上线测试。
本说明书实施例提供一种风险防控处理设备,基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成目标业务的目标风险防控模型,然后,对目标风险防控模型进行上线测试,并在上线测试的过程中,对目标风险防控模型进行稳定性评估,如果目标风险防控模型满足预定的稳定性评估条件,则使用目标风险防控模型对当前风险防控模型进行更新,这样,通过当前风险防控模型实时识别出的风险交易数据和无交易风险数据,以及特征变量数据,生成目标风险防控模型,并对目标风险防控模型进行上线测试及评估,在目标风险防控模型通过稳定性评估后,通过目标风险防控模型对目标业务的当前风险防控模型进行实时更新,从而不需要人工参与即可完成风险防控模型的上线测试以及更新,而且通过当前风险防控模型实时识别出的交易数据生成新的风险防控模型,实现对于后续欺诈和套现等风险的快速应对,可以大幅减少新风险带来的资损,提高了风险防控模型的生成效率,进而提高目标业务的安全性。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (23)

1.一种风险防控处理方法,所述方法包括:
基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
2.根据权利要求1所述的方法,所述对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估,包括:
对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行稳定性评估;或者,
对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行稳定性评估。
3.根据权利要求1所述的方法,所述对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估,包括:
对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行第一稳定性评估;
如果所述目标风险防控模型通过所述第一稳定性评估,则对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估。
4.根据权利要求1所述的方法,所述如果所述目标风险防控模型通过预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新,包括:
如果所述目标风险防控模型的群体稳定性指标满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
5.根据权利要求4所述的方法,所述群体稳定性指标通过以下公式
确定,其中,PSI为群体稳定性指标,A为实际占比,E为预期占比,n>1的整数。
6.根据权利要求5所述的方法,所述对所述目标风险防控模型进行第一稳定性评估,包括:
计算所述目标风险防控模型和所述当前风险防控模型的第一PSI值;
如果所述第一PSI值不大于预定的第一阈值,则所述目标风险防控模型通过所述第一稳定性评估;
所述对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估,包括:
分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
7.根据权利要求6所述的方法,所述分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,包括:
对所述目标风险防控模型执行第一预定比例的灰度验证;
计算进行第一预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第二PSI值;
如果所述第二PSI值不大于预定的第二阈值,则对所述目标风险防控模型执行进行第二预定比例的灰度验证;
计算进行第二预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第三PSI值;
如果所述第三PSI值不大于预定的第三阈值,则对所述目标风险防控模型执行进行第三预定比例的灰度验证;
计算进行第三预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第四PSI值;
如果所述第四PSI值不大于预定的第四阈值,则确定所述目标风险防控模型满足预定的稳定性评估条件。
8.根据权利要求7所述的方法,所述第一预定比例为10%,所述第二预定比例为50%,所述第三预定比例为80%。
9.根据权利要求8所述的方法,所述第三阈值和所述第四阈值分别与所述第二阈值相等。
10.根据权利要求1所述的方法,所述方法还包括:
获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据;
所述基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型,包括:
将所述历史样本数据、所述识别的风险交易数据和无交易风险数据,以及所述特征变量数据作为训练数据,对所述目标风险防控模型进行训练,得到训练后的目标风险防控模型。
11.根据权利要求1所述的方法,所述对所述目标风险防控模型进行上线测试,包括:
对所述目标风险防控模型和所述当前风险防控模型进行比对评估;
如果比对评估的结果为所述目标风险防控模型优于所述当前风险防控模型,则对所述目标风险防控模型进行上线测试。
12.一种风险防控处理装置,所述装置包括:
模型生成模块,用于基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
评估模块,用于对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
模型更新模块,用于如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
13.根据权利要求12所述的装置,所述评估模块,用于对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行稳定性评估;或者,对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行稳定性评估。
14.根据权利要求12所述的装置,所述评估模块,包括:
第一评估单元,用于对所述目标风险防控模型进行Beta测试,并在Beta测试的过程中,对所述目标风险防控模型进行第一稳定性评估;
第二评估单元,用于如果所述目标风险防控模型通过所述第一稳定性评估,则对所述目标风险防控模型进行灰度验证,并在灰度验证的过程中,对所述目标风险防控模型进行第二稳定性评估。
15.根据权利要求12所述的装置,所述模型更新模块,用于如果所述目标风险防控模型的群体稳定性指标满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
16.根据权利要求15所述的装置,所述群体稳定性指标通过以下公式
确定,其中,PSI为群体稳定性指标,A为实际占比,E为预期占比,n>1的整数。
17.根据权利要求16所述的装置,所述第一评估单元,用于计算所述目标风险防控模型和所述当前风险防控模型的第一PSI值;如果所述第一PSI值不大于预定的第一阈值,则所述目标风险防控模型通过所述第一稳定性评估;
所述第二评估单元,用于分别对所述目标风险防控模型执行多个不同预定比例的灰度验证,并在每次灰度验证后,计算所述目标风险防控模型和所述当前风险防控模型的PSI值,直到多个不同预定比例的灰度验证执行完成,或者,多个不同预定比例的灰度验证中的任一预定比例的灰度验证未通过。
18.根据权利要求17所述的装置,所述第二评估单元,用于:
对所述目标风险防控模型执行第一预定比例的灰度验证;
计算进行第一预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第二PSI值;
如果所述第二PSI值不大于预定的第二阈值,则对所述目标风险防控模型执行进行第二预定比例的灰度验证;
计算进行第二预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第三PSI值;
如果所述第三PSI值不大于预定的第三阈值,则对所述目标风险防控模型执行进行第三预定比例的灰度验证;
计算进行第三预定比例的灰度验证后的目标风险防控模型和所述当前风险防控模型的第四PSI值;
如果所述第四PSI值不大于预定的第四阈值,则确定所述目标风险防控模型满足预定的稳定性评估条件。
19.根据权利要求18所述的装置,所述第一预定比例为10%,所述第二预定比例为50%,所述第三预定比例为80%。
20.根据权利要求19所述的装置,所述第三阈值和所述第四阈值分别与所述第二阈值相等。
21.根据权利要求12所述的装置,所述装置还包括:
数据获取模块,用于获取当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,并从离线数据库中获取历史样本数据;
所述模型生成模块,用于将所述历史样本数据、所述识别的风险交易数据和无交易风险数据,以及所述特征变量数据作为训练数据,对所述目标风险防控模型进行训练,得到训练后的目标风险防控模型。
22.根据权利要求12所述的装置,所述评估模块,包括:
第三评估单元,用于对所述目标风险防控模型和所述当前风险防控模型进行比对评估;
测试单元,用于如果比对评估的结果为所述目标风险防控模型优于所述当前风险防控模型,则对所述目标风险防控模型进行上线测试。
23.一种风险防控处理设备,所述风险防控处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
基于目标业务的当前风险防控模型识别的风险交易数据和无交易风险数据,以及当前风险防控模型在风险识别过程中产生的特征变量数据,生成所述目标业务的目标风险防控模型;
对所述目标风险防控模型进行上线测试,并在上线测试的过程中,对所述目标风险防控模型进行稳定性评估;
如果所述目标风险防控模型满足预定的稳定性评估条件,则使用所述目标风险防控模型对所述当前风险防控模型进行更新。
CN201810751781.6A 2018-07-10 2018-07-10 一种风险防控处理方法、装置及设备 Pending CN109003091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810751781.6A CN109003091A (zh) 2018-07-10 2018-07-10 一种风险防控处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810751781.6A CN109003091A (zh) 2018-07-10 2018-07-10 一种风险防控处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN109003091A true CN109003091A (zh) 2018-12-14

Family

ID=64598264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810751781.6A Pending CN109003091A (zh) 2018-07-10 2018-07-10 一种风险防控处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN109003091A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767110A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种风险控制系统优化方法、装置、设备及存储介质
CN110111200A (zh) * 2019-04-23 2019-08-09 北京淇瑀信息科技有限公司 一种基于psi的数据异常智能监控方法及智能监控装置
CN110399903A (zh) * 2019-06-28 2019-11-01 上海上湖信息技术有限公司 异常数据的检测方法及装置、计算机可读存储介质
CN110503206A (zh) * 2019-08-09 2019-11-26 阿里巴巴集团控股有限公司 一种预测模型更新方法、装置、设备及可读介质
CN111383100A (zh) * 2020-03-25 2020-07-07 中国建设银行股份有限公司 基于风险模型的全生命周期管控方法和装置
CN112488226A (zh) * 2020-12-10 2021-03-12 中国电子科技集团公司第三十研究所 一种基于机器学习算法的终端异常行为识别方法
WO2021228264A1 (zh) * 2020-05-15 2021-11-18 第四范式(北京)技术有限公司 一种应用机器学习的方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504745A (zh) * 2008-12-04 2009-08-12 阿里巴巴集团控股有限公司 基于网络线上业务的风险规则/模型建立和优化系统及方法
CN106022912A (zh) * 2016-05-30 2016-10-12 深圳市华傲数据技术有限公司 评价模型的更新方法及系统
CN106506454A (zh) * 2016-10-10 2017-03-15 江苏通付盾科技有限公司 欺诈业务识别方法及装置
CN106600073A (zh) * 2016-12-28 2017-04-26 携程旅游网络技术(上海)有限公司 互联网支付风控系统的优化方法及装置
CN107194799A (zh) * 2017-04-28 2017-09-22 中证信用云科技(深圳)股份有限公司 信用云风险监控管理系统
CN107645533A (zh) * 2016-07-22 2018-01-30 阿里巴巴集团控股有限公司 数据处理方法、数据发送方法、风险识别方法及设备
CN107944874A (zh) * 2017-12-13 2018-04-20 阿里巴巴集团控股有限公司 基于迁移学习的风控方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504745A (zh) * 2008-12-04 2009-08-12 阿里巴巴集团控股有限公司 基于网络线上业务的风险规则/模型建立和优化系统及方法
CN106022912A (zh) * 2016-05-30 2016-10-12 深圳市华傲数据技术有限公司 评价模型的更新方法及系统
CN107645533A (zh) * 2016-07-22 2018-01-30 阿里巴巴集团控股有限公司 数据处理方法、数据发送方法、风险识别方法及设备
CN106506454A (zh) * 2016-10-10 2017-03-15 江苏通付盾科技有限公司 欺诈业务识别方法及装置
CN106600073A (zh) * 2016-12-28 2017-04-26 携程旅游网络技术(上海)有限公司 互联网支付风控系统的优化方法及装置
CN107194799A (zh) * 2017-04-28 2017-09-22 中证信用云科技(深圳)股份有限公司 信用云风险监控管理系统
CN107944874A (zh) * 2017-12-13 2018-04-20 阿里巴巴集团控股有限公司 基于迁移学习的风控方法、装置及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767110A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种风险控制系统优化方法、装置、设备及存储介质
CN110111200A (zh) * 2019-04-23 2019-08-09 北京淇瑀信息科技有限公司 一种基于psi的数据异常智能监控方法及智能监控装置
CN110399903A (zh) * 2019-06-28 2019-11-01 上海上湖信息技术有限公司 异常数据的检测方法及装置、计算机可读存储介质
CN110399903B (zh) * 2019-06-28 2021-07-13 上海上湖信息技术有限公司 异常数据的检测方法及装置、计算机可读存储介质
CN110503206A (zh) * 2019-08-09 2019-11-26 阿里巴巴集团控股有限公司 一种预测模型更新方法、装置、设备及可读介质
CN111383100A (zh) * 2020-03-25 2020-07-07 中国建设银行股份有限公司 基于风险模型的全生命周期管控方法和装置
WO2021228264A1 (zh) * 2020-05-15 2021-11-18 第四范式(北京)技术有限公司 一种应用机器学习的方法、装置、电子设备及存储介质
CN112488226A (zh) * 2020-12-10 2021-03-12 中国电子科技集团公司第三十研究所 一种基于机器学习算法的终端异常行为识别方法

Similar Documents

Publication Publication Date Title
CN109003091A (zh) 一种风险防控处理方法、装置及设备
WO2020249125A1 (zh) 用于自动训练机器学习模型的方法和系统
TWI707281B (zh) 保險詐欺識別的資料處理方法、裝置、設備及伺服器
US20190164015A1 (en) Machine learning techniques for evaluating entities
TW201928815A (zh) 一種基於圖結構模型的交易風險控制方法、裝置以及設備
CN109242499A (zh) 一种交易风险预测的处理方法、装置及系统
WO2019056499A1 (zh) 预测模型训练方法、数据监控方法、装置、设备及介质
CN108418825A (zh) 风险模型训练、垃圾账号检测方法、装置以及设备
CN108492104A (zh) 一种资源转移监测方法及装置
CN108805416A (zh) 一种风险防控处理方法、装置及设备
CN108334647A (zh) 保险欺诈识别的数据处理方法、装置、设备及服务器
CN110378786A (zh) 模型训练方法、违约传导风险识别方法、装置及存储介质
CN110119860B (zh) 一种垃圾账号检测方法、装置以及设备
CN110390198A (zh) 一种对小程序的风险巡检方法、装置及电子设备
Fernandes et al. A probabilistic optimum-path forest classifier for non-technical losses detection
KR102330423B1 (ko) 이미지 인식 딥러닝 알고리즘을 이용한 온라인 부도 예측 시스템
CN110263157A (zh) 一种数据风险预测方法、装置及设备
Hanga et al. A graph-based approach to interpreting recurrent neural networks in process mining
KR101508361B1 (ko) 시가총액 분석을 통한 미래주가 예측시스템
CN108665158A (zh) 一种训练风控模型的方法、装置及设备
CN112561320A (zh) 机构风险预测模型的训练方法、机构风险预测方法和装置
CN103617146B (zh) 一种基于硬件资源消耗的机器学习方法及装置
Doğan Analysis of the relationship between LSTM network traffic flow prediction performance and statistical characteristics of standard and nonstandard data
CN112015909A (zh) 知识图谱的构建方法及装置、电子设备、存储介质
CN108921693A (zh) 一种数据的衍生方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214