CN109598331A - 一种欺诈识别模型训练方法、欺诈识别方法及装置 - Google Patents

一种欺诈识别模型训练方法、欺诈识别方法及装置 Download PDF

Info

Publication number
CN109598331A
CN109598331A CN201811472082.4A CN201811472082A CN109598331A CN 109598331 A CN109598331 A CN 109598331A CN 201811472082 A CN201811472082 A CN 201811472082A CN 109598331 A CN109598331 A CN 109598331A
Authority
CN
China
Prior art keywords
sample
users
fraud
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811472082.4A
Other languages
English (en)
Inventor
郭豪
王文刚
任鑫涛
蔡准
孙悦
郭晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Core Time Technology Co Ltd
Original Assignee
Beijing Core Time Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Core Time Technology Co Ltd filed Critical Beijing Core Time Technology Co Ltd
Priority to CN201811472082.4A priority Critical patent/CN109598331A/zh
Publication of CN109598331A publication Critical patent/CN109598331A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种欺诈识别模型训练方法、欺诈识别方法及装置,其中,欺诈识别模型训练方法包括:基于第二样本用户的第二特征向量及对应的欺诈标注信息,对神经网络模型进行首次初始化;基于上一迭代周期得到的神经网络模型,获取第一样本用户的欺诈预测结果;并基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行多个迭代周期的训练,得到欺诈识别模型。本申请实施例能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。

Description

一种欺诈识别模型训练方法、欺诈识别方法及装置
技术领域
本申请涉及机器学习技术领域,具体而言,涉及一种欺诈识别模型训练方法、欺诈识别方法及装置。
背景技术
互联网的快速发展以及智能终端的普及,使得人们在通过多种业务渠道的电子银行远程办理查询余额、转账、购物支付、理财等业务时获得了极大的便捷,人们无论在任何时间、任何地点,不需要到银行柜面,只需轻松动一下手指即可通过电子银行进行汇款转账、定活互转、信用卡账单及明细查询、信用卡还款、理财/基金购买、生活缴费等多种金融业务,效率得到了极大的提高。但是电子银行在为用户提供便捷服务的同时,也存在很多的安全隐患。
调查显示,网络犯罪每年给全球带来高达4450亿美元的经济损失,日益复杂并向不同行业渗透。在国内,网络诈骗的黑色产业链规模超过1100亿元,从业人员超过160万人。据中国互联网协会发布的数据显示,63.4%的网民通话记录、网上购物记录等信息遭泄露;78.2%的网民个人身份信息曾被泄露。欺诈者窃取到受害人的信息之后不断的进行暴力破解、账户信息窃取、账户信息盗用、盗转资金等行为,个人信息的泄露,给诈骗分子实现精准诈骗带来了很大的便利,使得诈骗分子可以实现精准诈骗,单个诈骗金额不断攀升,其欺诈行为已从单一个体行为,发展成为一个组织严密、专业分工明确的黑色产业链条,为银行发展网络金融业务带来了严峻挑战。
为了增强电子银行的安全性,现有技术中采用传统的有监督的训练方法对机器学习模型进行训练,但在进行有监督的训练时,需要有标签的样本进行训练,而标注工作需要纯人工来完成的,存在耗时费力的问题。但如果使用少量的有标签样本数据对机器学习模型进行训练,又会由于样本数据过少,造成得到的欺诈识别模型识别准确率低的问题。
发明内容
有鉴于此,本申请实施例的目的在于提供一种欺诈识别模型训练方法、欺诈识别方法及装置,能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
第一方面,本申请实施例提供了一种欺诈识别模型训练方法,包括:
获取多个第一样本用户的历史操作信息;以及获取多个第二样本用户的历史操作信息,和各个所述第二样本用户分别对应的欺诈标注信息;
根据所述第一样本用户的历史操作信息,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及根据所述第二样本用户的历史操作信息,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量;
基于所述第二特征向量以及对应的所述欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;以及,
基于上一迭代周期训练过程所得到的神经网络模型,以及所述第一特征向量,获取各个所述第一样本用户的欺诈预测结果;并
基于所述第一样本用户的第一特征向量和对应的所述欺诈预测结果,以及所述第二样本用户的第二特征向量和对应的欺诈标注信息,对所述神经网络模型进行本迭代周期的训练;
经过对所述神经网络模型的多个迭代周期的训练,得到所述欺诈识别模型。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述根据所述第一样本用户的历史操作信息,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及根据所述第二样本用户的历史操作信息,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量,包括:
针对每个所述第一样本用户,根据该第一样本用户的所述历史操作信息,确定该第一样本用户在多个预设操作行为特征下的特征值;
根据该第一样本用户在多个所述预设操作行为特征下的特征值,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及
针对每个所述第二样本用户,根据该第二样本用户的所述历史操作信息,确定该第二样本用户在多个所述预设操作行为特征下的特征值;
根据该第二样本用户在多个所述预设操作行为特征下的特征值,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量。
结合第一方面,本申请实施例提供了第一方面的第二种可能的实施方式,其中,所述基于所述第二特征向量以及对应的所述欺诈标注信息,对神经网络模型进行首个迭代周期的初始化,包括:
将所述第二特征向量输入至所述神经网络模型中,获取所述第二样本用户的欺诈识别结果;并
根据各个所述第二样本用户的欺诈识别结果,以及该第二样本用户的所述欺诈标注信息,对所述神经网络模型进行至少一轮有监督训练。
结合第一方面的第二种可能的实施方式,本申请实施例提供了第一方面的第三种可能的实施方式,其中,采用下述方式根据各个所述第二样本用户的欺诈识别结果,以及该第二样本用户的所述欺诈标注信息,对所述神经网络模型进行一轮有监督训练:
将本轮还未完成训练的所述第二样本用户中的任意一个第二样本用户作为目标第二样本用户,根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定所述目标第二样本用户在本轮的交叉熵损失;
根据所述目标第二样本用户在本轮的所述交叉熵损失,调整所述神经网络模型的参数;
将所述目标第二样本用户作为完成训练的第二样本用户,并将当前轮还未完成训练的第二样本用户中其它任意一个第二样本用户作为新的目标第二样本用户,
使用调整了参数后的所述神经网络模型,获取该新的目标第二样本用户的欺诈识别结果,并重新返回根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定所述目标第二样本用户在本轮的交叉熵损失的步骤;
直至所有第二样本用户都完成当前轮的训练,完成对所述神经网络模型的本轮有监督训练。
结合第一方面的第三种可能的实施方式,本申请实施例提供了第一方面的第四种可能的实施方式,其中,所述完成对所述神经网络模型的本轮有监督训练后,还包括:
检测本轮是否达到第一预设轮数;如果是,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的首个迭代周期的初始化;
或者,
使用测试集对本轮得到的所述神经网络模型进行验证;若所述测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据所述测试集中测试数据总条数的百分比,大于预设的第一百分比阈值,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的首个迭代周期的初始化;
或者,
依次将本轮各个所述第二样本用户的交叉熵损失,与前一轮对应第二样本用户的交叉熵损失进行比对;若本轮所述第二样本用户的交叉熵损失大于前一轮对应第二样本用户的交叉熵损失的第二样本用户的数量,占据所有第二样本用户数量的百分比达到预设的第二百分比阈值,则停止对所述神经网络模型的训练,并将上一轮训练得到的所述神经网络模型,作为对所述神经网络模型进行的首个迭代周期的初始化。
结合第一方面,本申请实施例提供了第一方面的第五种可能的实施方式,其中,所述基于上一迭代周期训练过程所得到的神经网络模型,以及所述第一特征向量,获取各个所述第一样本用户的欺诈预测结果,包括:
将所述第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第一样本用户的欺诈预测结果。
结合第一方面,本申请实施例提供了第一方面的第六种可能的实施方式,其中,所述基于所述第一样本用户的第一特征向量和对应的所述欺诈预测结果,以及所述第二样本用户的第二特征向量和对应的欺诈标注信息,对所述神经网络模型进行本迭代周期的训练,包括:
将所述第一样本用户的第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第一样本用户的欺诈识别结果;以及
将所述第二样本用户的第二特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第二样本用户的欺诈识别结果;
根据所述第一样本用户的欺诈识别结果、所述第一样本用户的欺诈预测结果、以及所述第二样本用户的欺诈识别结果、所述第二样本用户的欺诈标注信息,对所述神经网络模型进行至少一轮有监督训练。
结合第一方面的第六种可能的实施方式,本申请实施例提供了第一方面的第七种可能的实施方式,其中,采用下述方式根据所述第一样本用户的欺诈识别结果、所述第一样本用户的欺诈预测结果、以及所述第二样本用户的欺诈识别结果、所述第二样本用户的欺诈标注信息,对所述神经网络模型进行一轮有监督训练:
将本轮还未完成训练的所述第一样本用户或第二样本用户中的任意一个作为目标样本用户,根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定所述目标样本用户在本轮的损失;
根据所述目标样本用户在本轮的所述损失,调整所述神经网络模型的参数;
将所述目标样本用户作为完成训练的第一样本用户或第二样本用户,并将当前轮还未完成训练的第一样本用户或第二样本用户中其它任意一个作为新的目标样本用户,
使用调整了参数后的所述神经网络模型,获取该新的目标样本用户的欺诈识别结果,并重新返回根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定所述目标样本用户在本轮的损失的步骤;
直至所有第一样本用户和第二样本用户都完成当前轮的训练,完成对所述神经网络模型的本轮有监督训练。
结合第一方面的第七种可能的实施方式,本申请实施例提供了第一方面的第八种可能的实施方式,其中,所述确定所述目标样本用户在本轮的损失,包括:
针对所述目标样本用户为第一样本用户的情况,所述损失为该第一样本用户的交叉熵损失与信息熵损失的加权和;
针对所述目标样本用户为第二样本用户的情况,所述损失为该第二样本用户的交叉熵损失。
结合第一方面的第七种可能的实施方式,本申请实施例提供了第一方面的第九种可能的实施方式,其中,所述完成对所述神经网络模型的本轮有监督训练后,还包括:
检测本轮是否达到第二预设轮数;如果是,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的本迭代周期的训练;
或者,
使用测试集对本轮得到的所述神经网络模型进行验证;若所述测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据所述测试集中测试数据总条数的百分比,大于预设的第三百分比阈值,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的本迭代周期的训练;
或者,
依次将本轮各个所述第一样本用户的损失与前一轮对应第一样本用户的损失进行比对,以及将本轮各个第二样本用户的损失与前一轮对应第二样本用户的损失进行比对;若本轮所述第一样本用户的损失大于前一轮对应第一样本用户的损失,且第二样本用户的损失大于前一轮对应第二样本用户的损失的的第一样本用户和第二样本用户的总数量,占据所有第一样本用户和第二样本用户总数量的百分比达到预设的第四百分比阈值,则停止对所述神经网络模型的训练,并将上一轮训练得到的所述神经网络模型,作为对所述神经网络模型进行的本迭代周期的训练。
结合第一方面,本申请实施例提供了第一方面的第十种可能的实施方式,其中,所述对所述神经网络模型进行本迭代周期的训练之后,还包括:
检测本迭代周期是否达到预设迭代次数;如果是,则停止对所述神经网络模型的训练,将最后一个迭代周期训练得到的所述神经网络模型,作为所述欺诈识别模型;
或者,
依次将本迭代周期得到的各个所述第一样本用户的欺诈预测结果,与上一迭代周期对应第一样本用户的欺诈预测结果进行比对;若本迭代周期得到的各个所述第一样本用户的欺诈预测结果与上一迭代周期对应的第一样本用户的欺诈预测结果均一致,则停止对所述神经网络模型的训练,将最后一个迭代周期训练得到的所述神经网络模型,作为所述欺诈识别模型。
第二方面,本申请实施例提供了一种欺诈识别方法,包括:
当待检测用户发生操作行为时,获取该待检测用户的历史操作信息;
根据该待检测用户的历史操作信息,构建能够用于表征所述待检测用户操作行为特征的目标特征向量;
将所述目标特征向量,输入至通过第一方面和第一方面的第一种可能的实施方式至第十种可能的实施方式的任意一项所述的欺诈识别模型训练方法训练得到的欺诈识别模型中,获取所述待检测用户的操作行为为欺诈行为的概率。
第三方面,本申请实施例提供了一种欺诈识别模型训练装置,包括:
第一获取模块,用于获取多个第一样本用户的历史操作信息;以及获取多个第二样本用户的历史操作信息,和各个所述第二样本用户分别对应的欺诈标注信息;
第一构建模块,用于根据所述第一样本用户的历史操作信息,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及根据所述第二样本用户的历史操作信息,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量;
初始化模块,用于基于所述第二特征向量以及对应的所述欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;
欺诈预测结果获取模块,用于基于上一迭代周期训练过程所得到的神经网络模型,以及所述第一特征向量,获取各个所述第一样本用户的欺诈预测结果;
训练模块,用于基于所述第一样本用户的第一特征向量和对应的所述欺诈预测结果,以及所述第二样本用户的第二特征向量和对应的欺诈标注信息,对所述神经网络模型进行本迭代周期的训练;
经过对所述神经网络模型的多个迭代周期的训练,得到所述欺诈识别模型。
结合第三方面,本申请实施例提供了第三方面的第一种可能的实施方式,其中,所述第一构建模块,具体用于:
针对每个所述第一样本用户,根据该第一样本用户的所述历史操作信息,确定该第一样本用户在多个预设操作行为特征下的特征值;
根据该第一样本用户在多个所述预设操作行为特征下的特征值,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及
针对每个所述第二样本用户,根据该第二样本用户的所述历史操作信息,确定该第二样本用户在多个所述预设操作行为特征下的特征值;
根据该第二样本用户在多个所述预设操作行为特征下的特征值,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量。
结合第三方面,本申请实施例提供了第三方面的第二种可能的实施方式,其中,所述初始化模块,具体用于:
将所述第二特征向量输入至所述神经网络模型中,获取所述第二样本用户的欺诈识别结果;并
根据各个所述第二样本用户的欺诈识别结果,以及该第二样本用户的所述欺诈标注信息,对所述神经网络模型进行至少一轮有监督训练。
结合第三方面的第二种可能的实施方式,本申请实施例提供了第三方面的第三种可能的实施方式,其中,所述初始化模块,具体用于采用下述方式根据各个所述第二样本用户的欺诈识别结果,以及该第二样本用户的所述欺诈标注信息,对所述神经网络模型进行一轮有监督训练:
将本轮还未完成训练的所述第二样本用户中的任意一个第二样本用户作为目标第二样本用户,根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定所述目标第二样本用户在本轮的交叉熵损失;
根据所述目标第二样本用户在本轮的所述交叉熵损失,调整所述神经网络模型的参数;
将所述目标第二样本用户作为完成训练的第二样本用户,并将当前轮还未完成训练的第二样本用户中其它任意一个第二样本用户作为新的目标第二样本用户,
使用调整了参数后的所述神经网络模型,获取该新的目标第二样本用户的欺诈识别结果,并重新返回根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定所述目标第二样本用户在本轮的交叉熵损失的步骤;
直至所有第二样本用户都完成当前轮的训练,完成对所述神经网络模型的本轮有监督训练。
结合第三方面的第三种可能的实施方式,本申请实施例提供了第三方面的第四种可能的实施方式,其中,所述初始化模块,在完成对所述神经网络模型的本轮有监督训练后,还用于:
检测本轮是否达到第一预设轮数;如果是,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的首个迭代周期的初始化;
或者,
使用测试集对本轮得到的所述神经网络模型进行验证;若所述测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据所述测试集中测试数据总条数的百分比,大于预设的第一百分比阈值,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的首个迭代周期的初始化;
或者,
依次将本轮各个所述第二样本用户的交叉熵损失,与前一轮对应第二样本用户的交叉熵损失进行比对;若本轮所述第二样本用户的交叉熵损失大于前一轮对应第二样本用户的交叉熵损失的第二样本用户的数量,占据所有第二样本用户数量的百分比达到预设的第二百分比阈值,则停止对所述神经网络模型的训练,并将上一轮训练得到的所述神经网络模型,作为对所述神经网络模型进行的首个迭代周期的初始化。
结合第三方面,本申请实施例提供了第三方面的第五种可能的实施方式,其中,所述欺诈预测结果获取模块,具体用于:
将所述第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第一样本用户的欺诈预测结果。
结合第三方面,本申请实施例提供了第三方面的第六种可能的实施方式,其中,所述训练模块,具体用于:
将所述第一样本用户的第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第一样本用户的欺诈识别结果;以及
将所述第二样本用户的第二特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第二样本用户的欺诈识别结果;
根据所述第一样本用户的欺诈识别结果、所述第一样本用户的欺诈预测结果、以及所述第二样本用户的欺诈识别结果、所述第二样本用户的欺诈标注信息,对所述神经网络模型进行至少一轮有监督训练。
结合第三方面的第六种可能的实施方式,本申请实施例提供了第三方面的第七种可能的实施方式,其中,所述训练模块,具体用于采用下述方式根据所述第一样本用户的欺诈识别结果、所述第一样本用户的欺诈预测结果、以及所述第二样本用户的欺诈识别结果、所述第二样本用户的欺诈标注信息,对所述神经网络模型进行一轮有监督训练:
将本轮还未完成训练的所述第一样本用户或第二样本用户中的任意一个作为目标样本用户,根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定所述目标样本用户在本轮的损失;
根据所述目标样本用户在本轮的所述损失,调整所述神经网络模型的参数;
将所述目标样本用户作为完成训练的第一样本用户或第二样本用户,并将当前轮还未完成训练的第一样本用户或第二样本用户中其它任意一个作为新的目标样本用户,
使用调整了参数后的所述神经网络模型,获取该新的目标样本用户的欺诈识别结果,并重新返回根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定所述目标样本用户在本轮的损失的步骤;
直至所有第一样本用户和第二样本用户都完成当前轮的训练,完成对所述神经网络模型的本轮有监督训练。
结合第三方面的第七种可能的实施方式,本申请实施例提供了第三方面的第八种可能的实施方式,其中,所述训练模块,具体用于采用下述方式确定所述目标样本用户在本轮的损失:
针对所述目标样本用户为第一样本用户的情况,所述损失为该第一样本用户的交叉熵损失与信息熵损失的加权和;
针对所述目标样本用户为第二样本用户的情况,所述损失为该第二样本用户的交叉熵损失。
结合第三方面的第七种可能的实施方式,本申请实施例提供了第三方面的第九种可能的实施方式,其中,所述训练模块,在完成对所述神经网络模型的本轮有监督训练后,还用于:
检测本轮是否达到第二预设轮数;如果是,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的本迭代周期的训练;
或者,
使用测试集对本轮得到的所述神经网络模型进行验证;若所述测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据所述测试集中测试数据总条数的百分比,大于预设的第三百分比阈值,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的本迭代周期的训练;
或者,
依次将本轮各个所述第一样本用户的损失与前一轮对应第一样本用户的损失进行比对,以及将本轮各个第二样本用户的损失与前一轮对应第二样本用户的损失进行比对;若本轮所述第一样本用户的损失大于前一轮对应第一样本用户的损失,且第二样本用户的损失大于前一轮对应第二样本用户的损失的的第一样本用户和第二样本用户的总数量,占据所有第一样本用户和第二样本用户总数量的百分比达到预设的第四百分比阈值,则停止对所述神经网络模型的训练,并将上一轮训练得到的所述神经网络模型,作为对所述神经网络模型进行的本迭代周期的训练。
结合第三方面,本申请实施例提供了第三方面的第十种可能的实施方式,其中,所述训练模块,在对所述神经网络模型进行本迭代周期的训练之后,还用于:
检测本迭代周期是否达到预设迭代次数;如果是,则停止对所述神经网络模型的训练,将最后一个迭代周期训练得到的所述神经网络模型,作为所述欺诈识别模型;
或者,
依次将本迭代周期得到的各个所述第一样本用户的欺诈预测结果,与上一迭代周期对应第一样本用户的欺诈预测结果进行比对;若本迭代周期得到的各个所述第一样本用户的欺诈预测结果与上一迭代周期对应的第一样本用户的欺诈预测结果均一致,则停止对所述神经网络模型的训练,将最后一个迭代周期训练得到的所述神经网络模型,作为所述欺诈识别模型。
第四方面,本申请实施例提供了一种欺诈识别装置,包括:
第二获取模块,用于当待检测用户发生操作行为时,获取该待检测用户的历史操作信息;
第二构建模块,用于根据该待检测用户的历史操作信息,构建能够用于表征所述待检测用户操作行为特征的目标特征向量;
欺诈识别结果获取模块,用于将所述目标特征向量,输入至通过第一方面和第一方面的第一种可能的实施方式至第十种可能的实施方式的任意一项所述的欺诈识别模型训练方法训练得到的欺诈识别模型中,获取所述待检测用户的操作行为为欺诈行为的概率。
本申请实施例首先采用第二样本用户的第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;然后基于上一迭代周期训练过程所得到的神经网络模型,以及第一样本用户的第一特征向量,获取各个第一样本用户的欺诈预测结果,即获得了各个第一样本用户的伪标签;并基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练;经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。本申请实施例能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种欺诈识别模型训练方法的流程图;
图2示出了本申请实施例所提供的欺诈识别模型训练方法中,构建特征向量的流程图;
图3示出了本申请实施例所提供的欺诈识别模型训练方法中,构建特征向量的具体流程图;
图4示出了本申请实施例所提供的欺诈识别模型训练方法中,对神经网络模型进行首个迭代周期的初始化的流程图;
图5示出了本申请实施例所提供的欺诈识别模型训练方法中,首个迭代周期中对神经网络模型进行一轮有监督训练的流程图;
图6示出了本申请实施例所提供的欺诈识别模型训练方法中,对神经网络模型进行本迭代周期的训练的流程图;
图7示出了本申请实施例所提供的欺诈识别模型训练方法中,本迭代周期中对神经网络模型进行一轮有监督训练的流程图;
图8示出了本申请实施例所提供的欺诈识别方法的流程图;
图9示出了本申请实施例所提供的欺诈识别模型训练装置的结构示意图;
图10示出了本申请实施例所提供的欺诈识别装置的结构示意图;
图11示出了本申请实施例所提供的欺诈识别系统的结构示意图;
图12示出了本申请实施例所提供的欺诈识别系统的应用过程示意图;
图13示出了本申请实施例所提供的一种计算机设备的结构示意图;
图14示出了本申请实施例所提供的另一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前为了增强电子银行的安全性,现有技术中采用传统的有监督的训练方法对机器学习模型进行训练时,存在效率低和识别准确率较低的问题,基于此,本申请提供的一种欺诈识别模型训练方法、欺诈识别方法及装置,能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种欺诈识别模型训练方法进行详细介绍。
参见图1所示,本申请实施例所提供的欺诈识别模型训练方法包括S101~S106:
S101:获取多个第一样本用户的历史操作信息;以及获取多个第二样本用户的历史操作信息,和各个第二样本用户分别对应的欺诈标注信息。
此处,第一样本用户是无标注的样本用户,第二样本用户是有标注的样本用户,示例性的,无标注的第一样本用户的数量与有标注的第二样本用户的数量可以相同,也可以不同。在一般场景下,无标注的第一样本用户的数量大于有标注的第二样本用户的数量。
当无标注的第一样本用户的数量大于有标注的第二样本用户的数量时,基于第二样本用户的历史操作信息和欺诈标注信息对神经网络模型进行首个迭代周期的初始化,相当于使用了少量的有标签的数据对神经网络模型进行了首次有监督的训练。然后使用上一迭代周期训练完的神经网络模型对第一样本用户的历史操作信息进行欺诈结果预测,得到的欺诈预测结果相当于第一样本用户的标注信息。较之使用人工的方式对样本进行标注节省了大量的工作时间,提高了模型训练的效率。经过多个迭代周期的训练,使用训练完的神经网络模型对第一样本用户的历史操作信息进行欺诈结果预测得到的欺诈预测结果会越来越接近真实标签,从而使得模型训练的精度越来越高,最终得到满足精度要求的欺诈识别模型。
在一种可能的场景下,判断样本用户是否发生欺诈行为的时候,需要根据该样本用户在一段时间内的历史操作信息进行综合判断,并不能只单纯通过一次操作信息进行判断,而是否发生欺诈行为的结果往往需要在样本用户在操作完成一段时间之后才能获知,例如判断一段时间之后是否出现了受害者。因此需要获取第二样本用户在第一历史时间段内的历史操作信息,以及每个第二样本用户在第二历史时间段是否发生欺诈行为的欺诈标注信息。
可选地,历史操作信息可以来自于不同的银行业务渠道,例如,银行业务渠道至少包括直销银行、微信银行、快捷支付、手机银行、网络银行等等。
示例性地,历史操作可以包括多种不同类型的操作,例如基础操作和业务操作。其中,基础操作包括注册和登录,这是因为在任何银行业务渠道的任何业务操作流程都一定会包含这两个操作,这两个操作可以看成是其他操作的基础和前提;业务操作可以包括转账、修改转账限额、缴费、取现等,业务操作根据不同银行业务渠道中不同用户的请求,可能会有不同的业务逻辑和操作特征,直接反应出了用户操作请求的目的。
示例性地,历史操作信息为各种历史操作的信息,例如注册操作的信息包括7天内设备注册账号数、1天内同一设备注册使用手机号数量等;注册操作的信息包括1天内同一设备登录账号数量、是否在非常用设备登录等,转账操作的信息包括单笔转账金额是否大于10万、收款账户是否在黑名单等,更多的示例参见表1-1、表1-2、表1-3、表1-4、表1-5所示出的。
S102:根据第一样本用户的历史操作信息,构建能够用于表征第一样本用户操作行为特征的第一特征向量;以及根据第二样本用户的历史操作信息,构建能够用于表征第二样本用户操作行为特征的第二特征向量。
需要注意的是,由于历史操作信息形式不规范,不利于计算机进行自动化处理,而数据的向量化可以是把不规范的数据转化为格式一致的方便于计算机处理的形式。因此,需要根据历史操作信息,构建出能够用于表征样本用户操作行为特征的特征向量。
具体实现的时候,参见图2所示,本申请实施例基于下述方式构建特征向量:
S201:针对每个第一样本用户,根据该第一样本用户的历史操作信息,确定该第一样本用户在多个预设操作行为特征下的特征值。
S202:根据该第一样本用户在多个预设操作行为特征下的特征值,构建能够用于表征第一样本用户操作行为特征的第一特征向量。
S203:针对每个第二样本用户,根据该第二样本用户的历史操作信息,确定该第二样本用户在多个预设操作行为特征下的特征值。
S204:根据该第二样本用户在多个预设操作行为特征下的特征值,构建能够用于表征第二样本用户操作行为特征的第二特征向量。
其中,步骤S201与步骤S203没有执行的先后顺序。
步骤S201和S203在具体实现的时候,本申请实施例基于下述方式确定第一样本用户/第二样本用户在多个预设操作行为特征下的特征值:
此处,样本用户的历史操作信息中包括了多个预设操作行为特征,本申请实施例提供了一个具体的实施例,参见表1-1、表1-2、表1-3、表1-4、表1-5所示,示出了基础操作和业务操作包括的多种预设操作行为特征和每个预设操作行为特征的特征值类别。其中,对于数值特征则直接使用其对应的数值表示,而对于类别特征则使用热独(one-hot)的编码方式,即每一个类别特征对应一个0、1组成的向量,类别数对应向量的维数,即一个类别对应向量的一维,当该预设操作行为特征为某一类别时,该类别对应的向量位置取1,其他部分则全部置0。例如预设操作行为特征“设备注册时是否被篡改”包括了两类,分别为“被篡改”和“未被篡改”,则该预设操作行为特征“设备注册时是否被篡改”使用两位的热独编码方式,假设“被篡改”为“10”,“未被篡改”则为“01”。
表1-1注册操作预设操作行为特征
表1-2登录操作预设操作行为特征
预设操作行为特征 特征值类别
是否在非常用设备登录 二值类别特征
是否在非常用IP登录 二值类别特征
1天内,同一设备登录账号数量 数值特征
7天内,同一设备登录账户数量 数值特征
1天内,同一IP登录账号数量 数值特征
7天内,同一IP登录账号数量 数值特征
1天内,同一IP登录设备数量 数值特征
7天内,同一IP登录设备数量 数值特征
1天内,同一账号登录IP数量 数值特征
7天内,同一账号登录IP数量 数值特征
1天内,同一个账号登录IP数量 数值特征
7天内,同一个账号登录IP数量 数值特征
表1-3转账操作预设操作行为特征
预设操作行为特征 特征值类别
收款账户是否在黑名单 二值类别特征
是否在敏感时间转账 二值类别特征
账户当前转账金额占6个月全部转账金额的百分比 数值特征
1小时内,同一账户转账次数 数值特征
单笔转账金额是否大于10万 二值类别特征
1天内,账户累计转账金额 数值特征
1天内,账户交易密码错误次数 数值特征
用户向个人账户转账次数 数值特征
表1-4缴费操作预设操作行为特征
表1-5消费操作预设操作行为特征
预设操作行为特征 特征值类别
是否开卡一周内的首次消费 二值类别特征
是否在敏感时间消费 二值类别特征
1小时内,账户的异地消费次数 数值特征
1小时内,账户消费总次数 数值特征
1天内,用户累计消费金额 数值特征
1天内,账户累计转账金额 数值特征
1天内,账户异地消费金额 数值特征
1天内,用户交易密码错误次数 数值特征
通过上述方式确定了第一样本用户/第二样本用户在多个预设操作行为特征下的特征值之后,参见图3所示,步骤S202和S204在具体实现的时候,本申请实施例基于下述方式构建第一特征向量/第二特征向量:
S301:根据该第一样本用户/第二样本用户在多个预设操作行为特征下的特征值,组成该第一样本用户/第二样本用户的初始第一特征向量/初始第二特征向量。
S302:对初始第一特征向量/初始第二特征向量进行数据清洗,得到清洗第一特征向量/清洗第二特征向量。
此处,因为历史操作信息数据在采集和传输的过程中可能出现错误与丢失,步骤S302的作用是清除特征分布异常的特征值和对那些缺少特征值的预设操作行为特征进行特征值填充处理。
具体实现的时候,可选地,可以使用孤立森林(IForest)模型进行清除特征分布异常的特征值。此处,孤立森林模型将异常定义为“容易被孤立的离群点(more likely to beseparated)”,可以理解为分布稀疏且离密度高的群体较远的点。孤立森林模型是由一棵棵随机的决策树组成,每一棵决策树在分裂叶子节点的时候都是从所有特征集合中随机的挑选目标特征并随机的选取目标特征中的阈值进行节点的分类操作。当生成一棵树之后,每一个原始数据样本都会唯一对应树中的一个叶子节点,而往往异常样本所对应的叶子节点的层数比较高。
可选地,在对那些缺少特征值的预设操作行为特征进行特征值填充处理的时候,当缺少特征值的预设操作行为特征的特征值类别为类别特征时,可以直接将所有样本用户的历史操作信息数据中与该预设操作行为特征对应的出现次数最多的类别作为该预设操作行为特征的特征值;当缺少特征值的预设操作行为特征的特征值类别为数值特征时,可以直接将所有样本用户的历史操作信息数据中与该预设操作行为特征对应的所有特征值的平均值作为该预设操作行为特征的特征值。
S303:对清洗第一特征向量/清洗第二特征向量进行数据增强。
在一般情况下,正样本(没有发生欺诈行为的样本)的数量要远远多于负样本(发生欺诈行为的样本)的数量,即正负样本数量很不均衡,不均衡的样本会给模型的训练带来很大的困难。因此需要对清洗第一特征向量/清洗第二特征向量进行数据增强。
具体实现的时候,可选地,可以采用合成少数类过采样技术(Synthetic MinorityOversampling Technique,SMOTE)对负样本用户的清洗第一特征向量/清洗第二特征向量进行扩充处理,SMOTE算法将所有的负样本用户的清洗第一特征向量/清洗第二特征向量,映射到特征空间中去,则每个清洗第一特征向量/清洗第二特征向量都会对应于该空间中的一个点,每次任意点连线中的一个点作为新生成的负样本用户的清洗第一特征向量/清洗第二特征向量,反复进行上述操作则可以生成任意数量的负样本用户的清洗第一特征向量/清洗第二特征向量,最后控制新生成的负样本用户的清洗第一特征向量/清洗第二特征向量和正样本用户的清洗第一特征向量/清洗第二特征向量,之间的比例达到预设比值,例如预设比值可以为1:3或1:4等。
S304:对清洗第一特征向量/清洗第二特征向量进行数据降维,得到降维第一特征向量/降维第二特征向量。
此处,进行数据降维可以把清洗第一特征向量/清洗第二特征向量中重要程度较低的特征值去掉,这样有利于模型训练速度的提升和模型识别准确率的提高。
具体实现的时候,可选地,可以采用主成分分析(Principal ComponentAnalysis,PCA)方法对清洗第一特征向量/清洗第二特征向量进行数据降维。PCA方法对原始的特征进行线性转换,将原始的高维特征映射到低维的特征,使转换之后的特征之间的相关度更低,更能反映出数据的本质信息。
S305:对降维第一特征向量/降维第二特征向量进行数据标准化操作,得到最终的第一特征向量/第二特征向量。
此处,数据标准化操作的目的是把各个预设操作行为特征的特征值都映射到一个相同的范围,这样做能够消除不同预设操作行为特征之间的量纲影响,能更加有利于模型的训练。
具体实现的时候,可选地,可以采用(0,1)标准化方式,即将所有的预设操作行为特征都转化成均值为0、方差为1的标准数据。
下面,承接上述S102,得到最终的第一特征向量/第二特征向量后,执行下述S103和S104。
S103:基于第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化。
具体实现的时候,参见图4所示,本申请实施例具体采用下述方式对神经网络模型进行首个迭代周期的初始化:
S401:将第二特征向量输入至神经网络模型中,获取第二样本用户的欺诈识别结果。
S402:根据各个第二样本用户的欺诈识别结果,以及该第二样本用户的欺诈标注信息,对神经网络模型进行至少一轮有监督训练。
此处,首个迭代周期对神经网络模型进行的有监督训练可以是一轮,也可以是多轮。
在一轮训练过程中,根据网络模型的损失函数,按照梯度下降的方式对网络进行训练。具体实现的时候,可选地,首先得到一个第二样本用户的交叉熵损失,对神经网络模型调整参数之后,再使用调整了参数之后的神经网络模型得到下一个第二样本用户的交叉熵损失,再对神经网络模型调整参数,直到通过所有的第二样本用户的交叉熵损失完成对神经网络模型的训练,完成对神经网络模型的首个迭代周期的一轮有监督训练。
具体地,神经网络模型的交叉熵损失函数为公式(1)所示:
公式(1):
其中,xi为第i个第二样本用户的向量值,yi为第i个第二样本用户的欺诈标注信息,m为第二样本用户的数量,σ(xi)为sigmoid函数。一般yi取0或者1,例如,当yi为1表示该欺诈标注信息为欺诈,0则表示该欺诈标注信息为正常。
具体实现的时候,参见图5所示,本申请实施例具体采用下述方式根据各个第二样本用户的欺诈识别结果,以及该第二样本用户的欺诈标注信息,对神经网络模型进行一轮有监督训练:
S501:将本轮还未完成训练的第二样本用户中的任意一个第二样本用户作为目标第二样本用户,根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定目标第二样本用户在本轮的交叉熵损失。
S502:根据目标第二样本用户在本轮的交叉熵损失,调整神经网络模型的参数。
S503:将目标第二样本用户作为完成训练的第二样本用户,并将当前轮还未完成训练的第二样本用户中其它任意一个第二样本用户作为新的目标第二样本用户。
S504:使用调整了参数后的神经网络模型,获取该新的目标第二样本用户的欺诈识别结果,并重新返回根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定目标第二样本用户在本轮的交叉熵损失的步骤。
S505:直至所有第二样本用户都完成当前轮的训练,完成对神经网络模型的本轮有监督训练。
可选地,当首个迭代周期对神经网络模型进行的有监督训练包括多轮时,在通过步骤S505完成对神经网络模型的一轮有监督训练后,本申请实施例可以通过下述三种方式中的任意一种方法检测是否停止首个迭代周期的训练:
方式一:
检测本轮是否达到第一预设轮数;如果是,则停止对神经网络模型的训练,完成对神经网络模型进行的首个迭代周期的初始化。
具体实现的时候,在模型训练时,每个迭代周期会预先设置一个训练的预设轮数,如果检测到本轮达到预设轮数,则停止对神经网络模型的训练,完成对神经网络模型进行的首个迭代周期的初始化。
方式二:
使用测试集对本轮得到的神经网络模型进行验证;若测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据测试集中测试数据总条数的百分比,大于预设的第一百分比阈值,则停止对神经网络模型的训练,完成对神经网络模型进行的首个迭代周期的初始化。
在模型训练的过程中,需要使得交叉熵损失的值逐渐减小,因此,使用测试集对本轮得到的神经网络模型进行验证时,如果测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,达到一定预设比例,例如,90%、95%等,则停止对神经网络模型的训练,完成对神经网络模型进行的首个迭代周期的初始化。
方式三:
依次将本轮各个第二样本用户的交叉熵损失,与前一轮对应第二样本用户的交叉熵损失进行比对;若本轮第二样本用户的交叉熵损失大于前一轮对应第二样本用户的交叉熵损失的第二样本用户的数量,占据所有第二样本用户数量的百分比达到预设的第二百分比阈值,则停止对神经网络模型的训练,并将上一轮训练得到的神经网络模型,作为对神经网络模型进行的首个迭代周期的初始化。
本申请实施例通过上述步骤基于第二特征向量以及对应的欺诈标注信息,对神经网络模型完成首个迭代周期的初始化之后,执行下述步骤S104~S106:
S104:基于上一迭代周期训练过程所得到的神经网络模型,以及第一特征向量,获取各个第一样本用户的欺诈预测结果。
此处使用上一迭代周期训练完的神经网络模型对第一样本用户的历史操作信息进行欺诈结果预测,得到的欺诈预测结果相当于第一样本用户的标注信息。较之使用人工的方式对样本进行标注节省了大量的工作时间,提高了模型训练的效率。
具体实现的时候,可选地,将第一样本用户的第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第一样本用户为欺诈行为的概率;若概率大于预设概率阈值,则欺诈预测结果为是;若概率不大于预设概率阈值,则欺诈预测结果为否。
S105:基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练。
具体实现的时候,参见图6所示,本申请实施例具体采用下述方式基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练:
S601:将第一样本用户的第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第一样本用户的欺诈识别结果。
具体实现的时候,可选地,将第一样本用户的第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第一样本用户为欺诈行为的概率;若概率大于预设概率阈值,则欺诈识别结果为是;若概率不大于预设概率阈值,则欺诈识别结果为否。
S602:将第二样本用户的第二特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第二样本用户的欺诈识别结果。
具体实现的时候,可选地,将第二样本用户的第二特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第二样本用户为欺诈行为的概率;若概率大于预设概率阈值,则欺诈识别结果为是;若概率不大于预设概率阈值,则欺诈识别结果为否。
需要注意的是,步骤S601和步骤S602没有执行的先后顺序。
S603:根据第一样本用户的欺诈识别结果、第一样本用户的欺诈预测结果、以及第二样本用户的欺诈识别结果、第二样本用户的欺诈标注信息,对神经网络模型进行至少一轮有监督训练。
此处,本迭代周期对神经网络模型进行的有监督训练可以是一轮,也可以是多轮。
在一轮训练过程中,根据网络模型的损失函数,按照梯度下降的方式对网络进行训练。具体实现的时候,可选地,首先得到一个第一样本用户或第二样本用户的损失,对神经网络模型调整参数之后,再使用调整了参数之后的神经网络模型得到下一个第一样本用户或第二样本用户的损失,再对神经网络模型调整参数,直到通过所有的第一样本用户和第二样本用户的损失完成对神经网络模型的训练,完成对神经网络模型的本迭代周期的一轮有监督训练。
由于第一样本用户本是无标签的样本用户,在训练过程中使用的欺诈预测结果相当于是第一样本用户的伪标签,而第二样本用户本是有标签的样本用户,欺诈标注信息是第二样本用户的真标签。
因此,可选地,当输入模型的是第一样本用户时,本申请实施例采用交叉熵损失和信息熵损失的加权和作为神经网络模型的损失函数,如公式(2)所示。其中,交叉熵损失的作用是帮助神经网络模型拟合伪标签信息;信息熵越大,表示预测标签分布越分散,最小化信息熵则是为了让第一样本用户的预测伪标签分布更集中,加快神经网络模型的收敛,提升模型训练的速度。
公式(2):L=L+γL
其中,L为神经网络模型的损失函数,L为神经网络模型的交叉熵损失函数,L为神经网络模型的信息熵损失函数,γ是取值在[0,1]之间的一个浮点值,例如可以取0.5。
其中,
其中,xi为第i个第一样本用户的向量值,yi为第i个第一样本用户的欺诈预测结果,n为第一样本用户的数量,σ(xi)为sigmoid函数。一般yi取0或者1,例如,当yi为1表示该欺诈预测结果为欺诈,0则表示该欺诈预测结果为正常。
当输入模型的是第二样本用户时,神经网络模型的损失函数为交叉熵损失函数,如公式(1)所示。
具体实现时候,参见图7所示,本申请实施例具体采用下述方式对根据第一样本用户的欺诈识别结果、第一样本用户的欺诈预测结果、以及第二样本用户的欺诈识别结果、第二样本用户的欺诈标注信息,对神经网络模型进行一轮有监督训练:
S701:将本轮还未完成训练的第一样本用户或第二样本用户中的任意一个作为目标样本用户,根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定目标样本用户在本轮的损失。
S702:根据目标样本用户在本轮的损失,调整神经网络模型的参数。
S703:将目标样本用户作为完成训练的第一样本用户或第二样本用户,并将当前轮还未完成训练的第一样本用户或第二样本用户中其它任意一个作为新的目标样本用户。
S704:使用调整了参数后的神经网络模型,获取该新的目标样本用户的欺诈识别结果,并重新返回根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定目标样本用户在本轮的损失的步骤。
S705:直至所有第一样本用户和第二样本用户都完成当前轮的训练,完成对神经网络模型的本轮有监督训练。
可选地,当本迭代周期对神经网络模型进行的有监督训练包括多轮时,在通过步骤S705完成对神经网络模型的一轮有监督训练后,本申请实施例可以通过下述三种方式中的任意一种方法检测是否停止本迭代周期的训练:
方式一:
检测本轮是否达到第二预设轮数;如果是,则停止对神经网络模型的训练,完成对神经网络模型进行的本迭代周期的训练。
方式二:
使用测试集对本轮得到的神经网络模型进行验证;若测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据测试集中测试数据总条数的百分比,大于预设的第三百分比阈值,则停止对神经网络模型的训练,完成对神经网络模型进行的本迭代周期的训练;
方式三:
依次将本轮各个第一样本用户的损失与前一轮对应第一样本用户的损失进行比对,以及将本轮各个第二样本用户的损失与前一轮对应第二样本用户的损失进行比对;若本轮第一样本用户的损失大于前一轮对应第一样本用户的损失,且第二样本用户的损失大于前一轮对应第二样本用户的损失的的第一样本用户和第二样本用户的总数量,占据所有第一样本用户和第二样本用户总数量的百分比达到预设的第四百分比阈值,则停止对神经网络模型的训练,并将上一轮训练得到的神经网络模型,作为对神经网络模型进行的本迭代周期的训练。
本申请实施例通过上述步骤基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型完成本迭代周期的训练之后,本申请实施例可以通过下述两种方式中的任意一种方法检测是否停止模型的训练:
方式一:
检测本迭代周期是否达到预设迭代次数;如果是,则停止对神经网络模型的训练,将最后一个迭代周期训练得到的神经网络模型,作为欺诈识别模型。
方式二:
依次将本迭代周期得到的各个第一样本用户的欺诈预测结果,与上一迭代周期对应第一样本用户的欺诈预测结果进行比对;若本迭代周期得到的各个第一样本用户的欺诈预测结果与上一迭代周期对应的第一样本用户的欺诈预测结果均一致,则停止对神经网络模型的训练,将最后一个迭代周期训练得到的神经网络模型,作为欺诈识别模型。
S106:经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。
本申请实施例提供的一种欺诈识别模型训练方法,在欺诈识别模型训练的时候,首先采用第二样本用户的第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;然后基于上一迭代周期训练过程所得到的神经网络模型,以及第一样本用户的第一特征向量,获取各个第一样本用户的欺诈预测结果,即获得了各个第一样本用户的标签;并基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练;经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。本申请实施例能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
参见图8所示,本申请实施例还提供一种欺诈识别方法,包括:
S801:当待检测用户发生操作行为时,获取该待检测用户的历史操作信息。
S802:根据该待检测用户的历史操作信息,构建能够用于表征待检测用户操作行为特征的目标特征向量。
具体实现的时候,参考本申请中步骤S102中的方法,构建能够用于表征待检测用户操作行为特征的目标特征向量。
S803:将目标特征向量,输入至本申请提供的欺诈识别模型训练方法训练得到的欺诈识别模型中,获取待检测用户的操作行为为欺诈行为的概率。
例如,模型训练时,欺诈标注信息使用1表示欺诈、使用0表示正常时,当获取待检测用户的操作行为为欺诈行为的概率大于预设概率阈值时,表示待检测用户的操作行为为欺诈行为,当获取待检测用户的操作行为为欺诈行为的概率不大于预设概率阈值时,表示待检测用户的操作行为为正常行为。例如预设概率阈值可以取0.5、0.6等。
本申请实施例当检测到待检测用户发生操作行为为欺诈行为时,则对用户的当前操作行为执行拦截操作,并把这个拦截信息以及银行业务渠道内部记录的所有与该用户相关的历史操作信息作为新的有标签的第二样本用户的历史操作信息,保存至专门的数据库中。当检测到待检测用户发生操作行为为正常行为时,则将用户的操作请求通过信息转发给银行业务渠道的实际业务系统,对用户的操作请求进行正常处理。
本申请实施例提供的一种欺诈识别方法,在欺诈识别模型训练的时候,首先采用第二样本用户的第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;然后基于上一迭代周期训练过程所得到的神经网络模型,以及第一样本用户的第一特征向量,获取各个第一样本用户的欺诈预测结果,即获得了各个第一样本用户的标签;并基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练;经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。本申请实施例能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
基于同一申请构思,本申请实施例中还提供了与欺诈识别模型训练方法对应的欺诈识别模型训练装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述欺诈识别模型训练方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参见图9所示,本申请实施例所提供的欺诈识别模型训练装置,包括:
第一获取模块91,用于获取多个第一样本用户的历史操作信息;以及获取多个第二样本用户的历史操作信息,和各个第二样本用户分别对应的欺诈标注信息;
第一构建模块92,用于根据第一样本用户的历史操作信息,构建能够用于表征第一样本用户操作行为特征的第一特征向量;以及根据第二样本用户的历史操作信息,构建能够用于表征第二样本用户操作行为特征的第二特征向量;
初始化模块93,用于基于第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;
欺诈预测结果获取模块94,用于基于上一迭代周期训练过程所得到的神经网络模型,以及第一特征向量,获取各个第一样本用户的欺诈预测结果;
训练模块95,用于基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练;经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。
可选地,第一构建模块92,具体用于:
针对每个第一样本用户,根据该第一样本用户的历史操作信息,确定该第一样本用户在多个预设操作行为特征下的特征值;
根据该第一样本用户在多个预设操作行为特征下的特征值,构建能够用于表征第一样本用户操作行为特征的第一特征向量;以及
针对每个第二样本用户,根据该第二样本用户的历史操作信息,确定该第二样本用户在多个预设操作行为特征下的特征值;
根据该第二样本用户在多个预设操作行为特征下的特征值,构建能够用于表征第二样本用户操作行为特征的第二特征向量。
可选地,初始化模块93,具体用于:
将第二特征向量输入至神经网络模型中,获取第二样本用户的欺诈识别结果;并
根据各个第二样本用户的欺诈识别结果,以及该第二样本用户的欺诈标注信息,对神经网络模型进行至少一轮有监督训练。
可选地,初始化模块93,具体用于采用下述方式根据各个第二样本用户的欺诈识别结果,以及该第二样本用户的欺诈标注信息,对神经网络模型进行一轮有监督训练:
将本轮还未完成训练的第二样本用户中的任意一个第二样本用户作为目标第二样本用户,根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定目标第二样本用户在本轮的交叉熵损失;
根据目标第二样本用户在本轮的交叉熵损失,调整神经网络模型的参数;
将目标第二样本用户作为完成训练的第二样本用户,并将当前轮还未完成训练的第二样本用户中其它任意一个第二样本用户作为新的目标第二样本用户,
使用调整了参数后的神经网络模型,获取该新的目标第二样本用户的欺诈识别结果,并重新返回根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定目标第二样本用户在本轮的交叉熵损失的步骤;
直至所有第二样本用户都完成当前轮的训练,完成对神经网络模型的本轮有监督训练。
可选地,初始化模块93,在完成对神经网络模型的本轮有监督训练后,还用于:
检测本轮是否达到第一预设轮数;如果是,则停止对神经网络模型的训练,完成对神经网络模型进行的首个迭代周期的初始化;
或者,
使用测试集对本轮得到的神经网络模型进行验证;若测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据测试集中测试数据总条数的百分比,大于预设的第一百分比阈值,则停止对神经网络模型的训练,完成对神经网络模型进行的首个迭代周期的初始化;
或者,
依次将本轮各个第二样本用户的交叉熵损失,与前一轮对应第二样本用户的交叉熵损失进行比对;若本轮第二样本用户的交叉熵损失大于前一轮对应第二样本用户的交叉熵损失的第二样本用户的数量,占据所有第二样本用户数量的百分比达到预设的第二百分比阈值,则停止对神经网络模型的训练,并将上一轮训练得到的神经网络模型,作为对神经网络模型进行的首个迭代周期的初始化。
可选地,欺诈预测结果获取模块94,具体用于:
将第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第一样本用户的欺诈预测结果。
可选地,训练模块95,具体用于:
将第一样本用户的第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第一样本用户的欺诈识别结果;以及
将第二样本用户的第二特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取第二样本用户的欺诈识别结果;
根据第一样本用户的欺诈识别结果、第一样本用户的欺诈预测结果、以及第二样本用户的欺诈识别结果、第二样本用户的欺诈标注信息,对神经网络模型进行至少一轮有监督训练。
可选地,训练模块95,具体用于采用下述方式根据第一样本用户的欺诈识别结果、第一样本用户的欺诈预测结果、以及第二样本用户的欺诈识别结果、第二样本用户的欺诈标注信息,对神经网络模型进行一轮有监督训练:
将本轮还未完成训练的第一样本用户或第二样本用户中的任意一个作为目标样本用户,根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定目标样本用户在本轮的损失;
根据目标样本用户在本轮的损失,调整神经网络模型的参数;
将目标样本用户作为完成训练的第一样本用户或第二样本用户,并将当前轮还未完成训练的第一样本用户或第二样本用户中其它任意一个作为新的目标样本用户,
使用调整了参数后的神经网络模型,获取该新的目标样本用户的欺诈识别结果,并重新返回根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定目标样本用户在本轮的损失的步骤;
直至所有第一样本用户和第二样本用户都完成当前轮的训练,完成对神经网络模型的本轮有监督训练。
可选地,训练模块95,具体用于采用下述方式确定目标样本用户在本轮的损失:
针对目标样本用户为第一样本用户的情况,损失为该第一样本用户的交叉熵损失与信息熵损失的加权和;
针对目标样本用户为第二样本用户的情况,损失为该第二样本用户的交叉熵损失。
可选地,训练模块95,在完成对神经网络模型的本轮有监督训练后,还用于:
检测本轮是否达到第二预设轮数;如果是,则停止对神经网络模型的训练,完成对神经网络模型进行的本迭代周期的训练;
或者,
使用测试集对本轮得到的神经网络模型进行验证;若测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据测试集中测试数据总条数的百分比,大于预设的第三百分比阈值,则停止对神经网络模型的训练,完成对神经网络模型进行的本迭代周期的训练;
或者,
依次将本轮各个第一样本用户的损失与前一轮对应第一样本用户的损失进行比对,以及将本轮各个第二样本用户的损失与前一轮对应第二样本用户的损失进行比对;若本轮第一样本用户的损失大于前一轮对应第一样本用户的损失,且第二样本用户的损失大于前一轮对应第二样本用户的损失的的第一样本用户和第二样本用户的总数量,占据所有第一样本用户和第二样本用户总数量的百分比达到预设的第四百分比阈值,则停止对神经网络模型的训练,并将上一轮训练得到的神经网络模型,作为对神经网络模型进行的本迭代周期的训练。
可选地,训练模块95,在对神经网络模型进行本迭代周期的训练之后,还用于:
检测本迭代周期是否达到预设迭代次数;如果是,则停止对神经网络模型的训练,将最后一个迭代周期训练得到的神经网络模型,作为欺诈识别模型;
或者,
依次将本迭代周期得到的各个第一样本用户的欺诈预测结果,与上一迭代周期对应第一样本用户的欺诈预测结果进行比对;若本迭代周期得到的各个第一样本用户的欺诈预测结果与上一迭代周期对应的第一样本用户的欺诈预测结果均一致,则停止对神经网络模型的训练,将最后一个迭代周期训练得到的神经网络模型,作为欺诈识别模型。
本申请实施例提供的一种欺诈识别模型训练装置,在欺诈识别模型训练的时候,首先采用第二样本用户的第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;然后基于上一迭代周期训练过程所得到的神经网络模型,以及第一样本用户的第一特征向量,获取各个第一样本用户的欺诈预测结果,即获得了各个第一样本用户的标签;并基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练;经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。本申请实施例能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
基于同一申请构思,本申请实施例中还提供了与欺诈识别方法对应的欺诈识别装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述欺诈识别方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参见图10所示,本申请实施例所提供的欺诈识别装置,包括:
第二获取模块101,用于当待检测用户发生操作行为时,获取该待检测用户的历史操作信息;
第二构建模块102,用于根据该待检测用户的历史操作信息,构建能够用于表征待检测用户操作行为特征的目标特征向量;
欺诈识别结果获取模块103,用于将目标特征向量,输入至本申请提供的欺诈识别模型训练方法训练得到的欺诈识别模型中,获取待检测用户的操作行为为欺诈行为的概率。
本申请实施例提供的一种欺诈识别装置,在欺诈识别模型训练的时候,首先采用第二样本用户的第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;然后基于上一迭代周期训练过程所得到的神经网络模型,以及第一样本用户的第一特征向量,获取各个第一样本用户的欺诈预测结果,即获得了各个第一样本用户的标签;并基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练;经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。本申请实施例能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
参见图11所示,本申请又一实施例还提供一种欺诈识别系统,包括:定时器111、如本申请提供的欺诈识别模型训练装置112、以及如本申请提供的欺诈识别装置113;
定时器111、欺诈识别模型训练装置112、以及欺诈识别装置113依次连接;
欺诈识别模型训练装置112,用于获取欺诈识别模型;
定时器111,用于定期触发欺诈识别模型训练装置进行定时重新获取新的欺诈识别模型;
欺诈识别装置113,用于根据欺诈识别模型训练装置获取的欺诈识别模型,获取待检测用户的操作行为为欺诈行为的概率。
下面,参见图12所示,本申请提供一个具体的实施例对本申请提供的欺诈识别系统的应用过程进行示例性说明:
这里以手机银行为例来说明银行业务渠道欺诈识别系统的应用过程。
从图12中可以清楚地看出银行业务渠道反欺诈过程中,欺诈识别系统是核心模块,欺诈识别系统对接了手机银行业务系统,欺诈识别系统通过接受来自手机银行业务系统传输的用户的操作行为,对操作行为的风险值进行评估(也即对操作行为的进行欺诈识别,获取操作行为是欺诈行为的概率值)。
如果风险评估结果为欺诈操作,则把把风险评估结果反馈给手机银行业务系统,手机银行业务系统可以根据该反馈结果进行拦截操作,并把这个拦截信息以及手机银行系统内部记录的所有与该用户相关的历史操作信息作为样本数据写入对应的手机银行数据库中;
如果风险评估结果为正常操作,那么就把用户操作行为通过指示转发给手机银行业务系统,接下来就是用户在手机银行业务系统中的一些正常处理流程。
当银行业务渠道数据库在一段时间之内积累了一定量的训练数据(这部分数据来源包括线上识别、用户反馈、专家标注或者其他渠道黑产数据库)之后,会将这些新的训练数据发送给银行业务渠道欺诈识别系统,由该系统内部的定时器定期启动模型的训练过程,并更新线上的欺诈识别模型,保证线上的欺诈识别模型具有先进性,提高模型识别准确率。
本申请实施例提供的一种欺诈识别系统,在欺诈识别模型训练的时候,首先采用第二样本用户的第二特征向量以及对应的欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;然后基于上一迭代周期训练过程所得到的神经网络模型,以及第一样本用户的第一特征向量,获取各个第一样本用户的欺诈预测结果,即获得了各个第一样本用户的标签;并基于第一样本用户的第一特征向量和对应的欺诈预测结果,以及第二样本用户的第二特征向量和对应的欺诈标注信息,对神经网络模型进行本迭代周期的训练;经过对神经网络模型的多个迭代周期的训练,得到欺诈识别模型。本申请实施例能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述欺诈识别模型训练方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述欺诈识别模型训练方法,从而能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
本申请实施例还提供了另一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的欺诈识别方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述欺诈识别方法,从而能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
对应于图1中的欺诈识别模型训练方法,本申请实施例还提供了一种计算机设备,如图13所示,该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序,其中,上述处理器2000执行上述计算机程序时实现上述欺诈识别模型训练方法的步骤。
具体地,上述存储器1000和处理器2000能够为通用的存储器和处理器,这里不做具体限定,当处理器2000运行存储器1000存储的计算机程序时,能够执行上述欺诈识别模型训练方法,从而能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
对应于图8中的欺诈识别方法,本申请实施例还提供了另一种计算机设备,如图14所示,该设备包括存储器3000、处理器4000及存储在该存储器3000上并可在该处理器4000上运行的计算机程序,其中,上述处理器4000执行上述计算机程序时实现上述欺诈识别方法的步骤。
具体地,上述存储器3000和处理器4000能够为通用的存储器和处理器,这里不做具体限定,当处理器4000运行存储器3000存储的计算机程序时,能够执行上述欺诈识别方法,从而能够通过大量无标注的样本数据和少量有标注的样本数据训练得到欺诈识别模型,减少在模型训练过程中对样本数据进行人工标注的工作量的同时,能够提高模型训练的效率以及欺诈识别模型的识别准确率。
本申请实施例所提供的欺诈识别模型训练方法、欺诈识别方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种欺诈识别模型训练方法,其特征在于,包括:
获取多个第一样本用户的历史操作信息;以及获取多个第二样本用户的历史操作信息,和各个所述第二样本用户分别对应的欺诈标注信息;
根据所述第一样本用户的历史操作信息,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及根据所述第二样本用户的历史操作信息,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量;
基于所述第二特征向量以及对应的所述欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;以及,
基于上一迭代周期训练过程所得到的神经网络模型,以及所述第一特征向量,获取各个所述第一样本用户的欺诈预测结果;并
基于所述第一样本用户的第一特征向量和对应的所述欺诈预测结果,以及所述第二样本用户的第二特征向量和对应的欺诈标注信息,对所述神经网络模型进行本迭代周期的训练;
经过对所述神经网络模型的多个迭代周期的训练,得到所述欺诈识别模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一样本用户的历史操作信息,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及根据所述第二样本用户的历史操作信息,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量,包括:
针对每个所述第一样本用户,根据该第一样本用户的所述历史操作信息,确定该第一样本用户在多个预设操作行为特征下的特征值;
根据该第一样本用户在多个所述预设操作行为特征下的特征值,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及
针对每个所述第二样本用户,根据该第二样本用户的所述历史操作信息,确定该第二样本用户在多个所述预设操作行为特征下的特征值;
根据该第二样本用户在多个所述预设操作行为特征下的特征值,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第二特征向量以及对应的所述欺诈标注信息,对神经网络模型进行首个迭代周期的初始化,包括:
将所述第二特征向量输入至所述神经网络模型中,获取所述第二样本用户的欺诈识别结果;并
根据各个所述第二样本用户的欺诈识别结果,以及该第二样本用户的所述欺诈标注信息,对所述神经网络模型进行至少一轮有监督训练。
4.根据权利要求3所述的方法,其特征在于,采用下述方式根据各个所述第二样本用户的欺诈识别结果,以及该第二样本用户的所述欺诈标注信息,对所述神经网络模型进行一轮有监督训练:
将本轮还未完成训练的所述第二样本用户中的任意一个第二样本用户作为目标第二样本用户,根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定所述目标第二样本用户在本轮的交叉熵损失;
根据所述目标第二样本用户在本轮的所述交叉熵损失,调整所述神经网络模型的参数;
将所述目标第二样本用户作为完成训练的第二样本用户,并将当前轮还未完成训练的第二样本用户中其它任意一个第二样本用户作为新的目标第二样本用户,
使用调整了参数后的所述神经网络模型,获取该新的目标第二样本用户的欺诈识别结果,并重新返回根据该目标第二样本用户的欺诈识别结果,以及该目标第二样本用户的欺诈标注信息,确定所述目标第二样本用户在本轮的交叉熵损失的步骤;
直至所有第二样本用户都完成当前轮的训练,完成对所述神经网络模型的本轮有监督训练。
5.根据权利要求4所述的方法,其特征在于,所述完成对所述神经网络模型的本轮有监督训练后,还包括:
检测本轮是否达到第一预设轮数;如果是,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的首个迭代周期的初始化;
或者,
使用测试集对本轮得到的所述神经网络模型进行验证;若所述测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据所述测试集中测试数据总条数的百分比,大于预设的第一百分比阈值,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的首个迭代周期的初始化;
或者,
依次将本轮各个所述第二样本用户的交叉熵损失,与前一轮对应第二样本用户的交叉熵损失进行比对;若本轮所述第二样本用户的交叉熵损失大于前一轮对应第二样本用户的交叉熵损失的第二样本用户的数量,占据所有第二样本用户数量的百分比达到预设的第二百分比阈值,则停止对所述神经网络模型的训练,并将上一轮训练得到的所述神经网络模型,作为对所述神经网络模型进行的首个迭代周期的初始化。
6.根据权利要求1所述的方法,其特征在于,所述基于上一迭代周期训练过程所得到的神经网络模型,以及所述第一特征向量,获取各个所述第一样本用户的欺诈预测结果,包括:
将所述第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第一样本用户的欺诈预测结果。
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一样本用户的第一特征向量和对应的所述欺诈预测结果,以及所述第二样本用户的第二特征向量和对应的欺诈标注信息,对所述神经网络模型进行本迭代周期的训练,包括:
将所述第一样本用户的第一特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第一样本用户的欺诈识别结果;以及
将所述第二样本用户的第二特征向量输入至上一迭代周期训练过程所得到的神经网络模型中,获取所述第二样本用户的欺诈识别结果;
根据所述第一样本用户的欺诈识别结果、所述第一样本用户的欺诈预测结果、以及所述第二样本用户的欺诈识别结果、所述第二样本用户的欺诈标注信息,对所述神经网络模型进行至少一轮有监督训练。
8.根据权利要求7所述的方法,其特征在于,采用下述方式根据所述第一样本用户的欺诈识别结果、所述第一样本用户的欺诈预测结果、以及所述第二样本用户的欺诈识别结果、所述第二样本用户的欺诈标注信息,对所述神经网络模型进行一轮有监督训练:
将本轮还未完成训练的所述第一样本用户或第二样本用户中的任意一个作为目标样本用户,根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定所述目标样本用户在本轮的损失;
根据所述目标样本用户在本轮的所述损失,调整所述神经网络模型的参数;
将所述目标样本用户作为完成训练的第一样本用户或第二样本用户,并将当前轮还未完成训练的第一样本用户或第二样本用户中其它任意一个作为新的目标样本用户,
使用调整了参数后的所述神经网络模型,获取该新的目标样本用户的欺诈识别结果,并重新返回根据该目标样本用户的欺诈识别结果,以及该目标样本用户的欺诈预测结果或欺诈标注信息,确定所述目标样本用户在本轮的损失的步骤;
直至所有第一样本用户和第二样本用户都完成当前轮的训练,完成对所述神经网络模型的本轮有监督训练。
9.根据权利要求8所述的方法,其特征在于,所述确定所述目标样本用户在本轮的损失,包括:
针对所述目标样本用户为第一样本用户的情况,所述损失为该第一样本用户的交叉熵损失与信息熵损失的加权和;
针对所述目标样本用户为第二样本用户的情况,所述损失为该第二样本用户的交叉熵损失。
10.根据权利要求8所述的方法,其特征在于,所述完成对所述神经网络模型的本轮有监督训练后,还包括:
检测本轮是否达到第二预设轮数;如果是,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的本迭代周期的训练;
或者,
使用测试集对本轮得到的所述神经网络模型进行验证;若所述测试集中,交叉熵损失不大于预设的交叉熵损失阈值的测试数据的条数,占据所述测试集中测试数据总条数的百分比,大于预设的第三百分比阈值,则停止对所述神经网络模型的训练,完成对所述神经网络模型进行的本迭代周期的训练;
或者,
依次将本轮各个所述第一样本用户的损失与前一轮对应第一样本用户的损失进行比对,以及将本轮各个第二样本用户的损失与前一轮对应第二样本用户的损失进行比对;若本轮所述第一样本用户的损失大于前一轮对应第一样本用户的损失,且第二样本用户的损失大于前一轮对应第二样本用户的损失的的第一样本用户和第二样本用户的总数量,占据所有第一样本用户和第二样本用户总数量的百分比达到预设的第四百分比阈值,则停止对所述神经网络模型的训练,并将上一轮训练得到的所述神经网络模型,作为对所述神经网络模型进行的本迭代周期的训练。
11.根据权利要求1所述的方法,其特征在于,所述对所述神经网络模型进行本迭代周期的训练之后,还包括:
检测本迭代周期是否达到预设迭代次数;如果是,则停止对所述神经网络模型的训练,将最后一个迭代周期训练得到的所述神经网络模型,作为所述欺诈识别模型;
或者,
依次将本迭代周期得到的各个所述第一样本用户的欺诈预测结果,与上一迭代周期对应第一样本用户的欺诈预测结果进行比对;若本迭代周期得到的各个所述第一样本用户的欺诈预测结果与上一迭代周期对应的第一样本用户的欺诈预测结果均一致,则停止对所述神经网络模型的训练,将最后一个迭代周期训练得到的所述神经网络模型,作为所述欺诈识别模型。
12.一种欺诈识别方法,其特征在于,包括:
当待检测用户发生操作行为时,获取该待检测用户的历史操作信息;
根据该待检测用户的历史操作信息,构建能够用于表征所述待检测用户操作行为特征的目标特征向量;
将所述目标特征向量,输入至通过权利要求1-11任意一项所述的欺诈识别模型训练方法训练得到的欺诈识别模型中,获取所述待检测用户的操作行为为欺诈行为的概率。
13.一种欺诈识别模型训练装置,其特征在于,包括:
第一获取模块,用于获取多个第一样本用户的历史操作信息;以及获取多个第二样本用户的历史操作信息,和各个所述第二样本用户分别对应的欺诈标注信息;
第一构建模块,用于根据所述第一样本用户的历史操作信息,构建能够用于表征所述第一样本用户操作行为特征的第一特征向量;以及根据所述第二样本用户的历史操作信息,构建能够用于表征所述第二样本用户操作行为特征的第二特征向量;
初始化模块,用于基于所述第二特征向量以及对应的所述欺诈标注信息,对神经网络模型进行首个迭代周期的初始化;
欺诈预测结果获取模块,用于基于上一迭代周期训练过程所得到的神经网络模型,以及所述第一特征向量,获取各个所述第一样本用户的欺诈预测结果;
训练模块,用于基于所述第一样本用户的第一特征向量和对应的所述欺诈预测结果,以及所述第二样本用户的第二特征向量和对应的欺诈标注信息,对所述神经网络模型进行本迭代周期的训练;
经过对所述神经网络模型的多个迭代周期的训练,得到所述欺诈识别模型。
14.一种欺诈识别装置,其特征在于,包括:
第二获取模块,用于当待检测用户发生操作行为时,获取该待检测用户的历史操作信息;
第二构建模块,用于根据该待检测用户的历史操作信息,构建能够用于表征所述待检测用户操作行为特征的目标特征向量;
欺诈识别结果获取模块,用于将所述目标特征向量,输入至通过权利要求1-11任意一项所述的欺诈识别模型训练方法训练得到的欺诈识别模型中,获取所述待检测用户的操作行为为欺诈行为的概率。
CN201811472082.4A 2018-12-04 2018-12-04 一种欺诈识别模型训练方法、欺诈识别方法及装置 Pending CN109598331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811472082.4A CN109598331A (zh) 2018-12-04 2018-12-04 一种欺诈识别模型训练方法、欺诈识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811472082.4A CN109598331A (zh) 2018-12-04 2018-12-04 一种欺诈识别模型训练方法、欺诈识别方法及装置

Publications (1)

Publication Number Publication Date
CN109598331A true CN109598331A (zh) 2019-04-09

Family

ID=65960680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811472082.4A Pending CN109598331A (zh) 2018-12-04 2018-12-04 一种欺诈识别模型训练方法、欺诈识别方法及装置

Country Status (1)

Country Link
CN (1) CN109598331A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113757A (zh) * 2019-05-07 2019-08-09 中国联合网络通信集团有限公司 欺诈用户识别方法及系统
CN110232524A (zh) * 2019-06-14 2019-09-13 哈尔滨哈银消费金融有限责任公司 社交网络欺诈模型的构建方法、防欺诈方法和装置
CN110245302A (zh) * 2019-05-24 2019-09-17 阿里巴巴集团控股有限公司 用于识别欺诈案件的策略生成方法及装置和电子设备
CN110310123A (zh) * 2019-07-01 2019-10-08 阿里巴巴集团控股有限公司 风险判断方法和装置
CN110427466A (zh) * 2019-06-12 2019-11-08 阿里巴巴集团控股有限公司 用于问答匹配的神经网络模型的训练方法和装置
CN110855614A (zh) * 2019-10-14 2020-02-28 微梦创科网络科技(中国)有限公司 一种针对业内共享黑产信息处理的方法及装置
CN111126448A (zh) * 2019-11-29 2020-05-08 无线生活(北京)信息技术有限公司 一种智能识别诈骗用户的方法及装置
CN111461784A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于多模型融合的欺诈行为检测方法
CN111861493A (zh) * 2020-07-31 2020-10-30 中国工商银行股份有限公司 信息处理方法、装置、电子设备及存储介质
CN112052891A (zh) * 2020-08-28 2020-12-08 平安科技(深圳)有限公司 机器行为识别方法、装置、设备及计算机可读存储介质
CN112085190A (zh) * 2019-06-12 2020-12-15 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
CN112329736A (zh) * 2020-11-30 2021-02-05 姜召英 人脸识别方法及金融系统
CN112418264A (zh) * 2020-10-14 2021-02-26 上海眼控科技股份有限公司 检测模型的训练方法、装置、目标检测方法、设备和介质
CN112581191A (zh) * 2020-08-14 2021-03-30 支付宝(杭州)信息技术有限公司 行为预测模型的训练方法及装置
CN112990346A (zh) * 2021-04-09 2021-06-18 北京有竹居网络技术有限公司 书写质量评价方法、装置和电子设备
WO2021169478A1 (zh) * 2020-02-28 2021-09-02 支付宝(杭州)信息技术有限公司 神经网络模型的融合训练方法及装置
CN113596528A (zh) * 2020-04-30 2021-11-02 北京达佳互联信息技术有限公司 视频推送模型的训练方法、装置、服务器及存储介质
CN113761181A (zh) * 2020-06-15 2021-12-07 北京京东振世信息技术有限公司 一种文本分类方法和装置
CN116542673A (zh) * 2023-07-05 2023-08-04 成都乐超人科技有限公司 应用于机器学习的欺诈行为识别方法及系统

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113757A (zh) * 2019-05-07 2019-08-09 中国联合网络通信集团有限公司 欺诈用户识别方法及系统
CN110245302A (zh) * 2019-05-24 2019-09-17 阿里巴巴集团控股有限公司 用于识别欺诈案件的策略生成方法及装置和电子设备
CN110245302B (zh) * 2019-05-24 2023-08-08 创新先进技术有限公司 用于识别欺诈案件的策略生成方法及装置和电子设备
CN112085190B (zh) * 2019-06-12 2024-04-02 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
CN110427466B (zh) * 2019-06-12 2023-05-26 创新先进技术有限公司 用于问答匹配的神经网络模型的训练方法和装置
CN110427466A (zh) * 2019-06-12 2019-11-08 阿里巴巴集团控股有限公司 用于问答匹配的神经网络模型的训练方法和装置
CN112085190A (zh) * 2019-06-12 2020-12-15 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
CN110232524A (zh) * 2019-06-14 2019-09-13 哈尔滨哈银消费金融有限责任公司 社交网络欺诈模型的构建方法、防欺诈方法和装置
CN110310123B (zh) * 2019-07-01 2023-09-26 创新先进技术有限公司 风险判断方法和装置
CN110310123A (zh) * 2019-07-01 2019-10-08 阿里巴巴集团控股有限公司 风险判断方法和装置
CN110855614A (zh) * 2019-10-14 2020-02-28 微梦创科网络科技(中国)有限公司 一种针对业内共享黑产信息处理的方法及装置
CN110855614B (zh) * 2019-10-14 2021-12-21 微梦创科网络科技(中国)有限公司 一种针对业内共享黑产信息处理的方法及装置
CN111126448A (zh) * 2019-11-29 2020-05-08 无线生活(北京)信息技术有限公司 一种智能识别诈骗用户的方法及装置
WO2021169478A1 (zh) * 2020-02-28 2021-09-02 支付宝(杭州)信息技术有限公司 神经网络模型的融合训练方法及装置
CN111461784A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于多模型融合的欺诈行为检测方法
CN113596528A (zh) * 2020-04-30 2021-11-02 北京达佳互联信息技术有限公司 视频推送模型的训练方法、装置、服务器及存储介质
CN113761181A (zh) * 2020-06-15 2021-12-07 北京京东振世信息技术有限公司 一种文本分类方法和装置
CN113761181B (zh) * 2020-06-15 2024-06-14 北京京东振世信息技术有限公司 一种文本分类方法和装置
CN111861493B (zh) * 2020-07-31 2023-09-05 中国工商银行股份有限公司 信息处理方法、装置、电子设备及存储介质
CN111861493A (zh) * 2020-07-31 2020-10-30 中国工商银行股份有限公司 信息处理方法、装置、电子设备及存储介质
CN112581191A (zh) * 2020-08-14 2021-03-30 支付宝(杭州)信息技术有限公司 行为预测模型的训练方法及装置
WO2021189975A1 (zh) * 2020-08-28 2021-09-30 平安科技(深圳)有限公司 机器行为识别方法、装置、设备及计算机可读存储介质
CN112052891A (zh) * 2020-08-28 2020-12-08 平安科技(深圳)有限公司 机器行为识别方法、装置、设备及计算机可读存储介质
CN112418264A (zh) * 2020-10-14 2021-02-26 上海眼控科技股份有限公司 检测模型的训练方法、装置、目标检测方法、设备和介质
CN112329736A (zh) * 2020-11-30 2021-02-05 姜召英 人脸识别方法及金融系统
CN112329736B (zh) * 2020-11-30 2022-04-12 上海华瑞银行股份有限公司 人脸识别方法及金融系统
CN112990346B (zh) * 2021-04-09 2023-06-27 北京有竹居网络技术有限公司 书写质量评价方法、装置和电子设备
CN112990346A (zh) * 2021-04-09 2021-06-18 北京有竹居网络技术有限公司 书写质量评价方法、装置和电子设备
CN116542673A (zh) * 2023-07-05 2023-08-04 成都乐超人科技有限公司 应用于机器学习的欺诈行为识别方法及系统
CN116542673B (zh) * 2023-07-05 2023-09-08 成都乐超人科技有限公司 应用于机器学习的欺诈行为识别方法及系统

Similar Documents

Publication Publication Date Title
CN109598331A (zh) 一种欺诈识别模型训练方法、欺诈识别方法及装置
CN109544190A (zh) 一种欺诈识别模型训练方法、欺诈识别方法及装置
US10572885B1 (en) Training method, apparatus for loan fraud detection model and computer device
CN109410036A (zh) 一种欺诈检测模型训练方法和装置及欺诈检测方法和装置
CN109345260A (zh) 一种欺诈检测模型训练方法和装置及欺诈检测方法和装置
US10460320B1 (en) Fraud detection in heterogeneous information networks
Li et al. Dissecting ethereum blockchain analytics: What we learn from topology and geometry of the ethereum graph?
CN109409896A (zh) 银行欺诈识别模型训练方法、银行欺诈识别方法和装置
Bhusari et al. Study of hidden markov model in credit card fraudulent detection
TWI772673B (zh) 行業識別模型確定方法和裝置
CN106529968A (zh) 一种基于交易数据的客户分类方法及其系统
CN109389494A (zh) 借贷欺诈检测模型训练方法、借贷欺诈检测方法及装置
CN108108861A (zh) 一种潜在客户的预测方法及装置
CN112927072B (zh) 一种基于区块链的反洗钱仲裁方法、系统及相关装置
CN108960304A (zh) 一种网络交易欺诈行为的深度学习检测方法
CN110084609B (zh) 一种基于表征学习的交易欺诈行为深度检测方法
CN109242107B (zh) 基于迁移学习的反欺诈模型训练方法、系统和反欺诈方法
Bhusari et al. Study of hidden markov model in credit card fraudulent detection
CN110189134A (zh) 基于疑似欺诈交易参照序位的网络支付反欺诈系统架构设计方法
CN110020662A (zh) 用户分类模型的训练方法和装置
Fan et al. Improved ML‐based technique for credit card scoring in Internet financial risk control
CN110222733A (zh) 一种高精度的多阶神经网络分类方法及系统
CN109993538A (zh) 基于概率图模型的身份盗用检测方法
CN115170319A (zh) 异常账户检测方法、图神经网络模型的构建方法和装置
CN107885754B (zh) 基于lda模型从交易数据中提取信用变量的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409

RJ01 Rejection of invention patent application after publication