CN109308615A

CN109308615A - 基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端

Info

Publication number: CN109308615A
Application number: CN201810867646.8A
Authority: CN
Inventors: 蒋昌俊; 闫春钢; 王成; 丁志军; 张亚英; 景晨
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2018-08-02
Filing date: 2018-08-02
Publication date: 2019-02-05
Anticipated expiration: 2038-08-02
Also published as: CN109308615B

Abstract

本发明提供一种基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端，检测方法包括：接收用户最新交易请求，并根据接收到的用户最新交易请求于用户历史交易记录库中查询用户交易记录列表；根据所述用户交易记录列表获取获得特征向量；将所述特征向量送入分类器得到交易检测结果。通过本发明的检测系统进行交易检测，获得的预测效果好，达到了97.2％的召回率和低于1％的打扰率，同时响应速度快，给出一个预测结果的平均时间仅需1.5毫秒。

Description

基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端

技术领域

本发明属于电子交易技术领域，涉及一种交易行为检测方法，特别是涉及一种基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端。

背景技术

随着网络技术的飞速发展，越来越多的人参与到电子交易当中。同时，这也给了欺诈者更多的犯罪机会。因此，设计出有效的欺诈交易检测系统，保障用户的财产安全是尤为重要的。然而，面对花样迭出和不断翻新的欺诈交易手段，传统的基于人为制定规则的欺诈交易检测系统需要不断地投入人力来适应变化，这增加了欺诈交易检测的成本。因此，基于用户行为和机器学习的自适应欺诈交易检测系统成为了新的研究热点。行为模型主要包括个人行为模型和群体行为模型两类。个人行为模型假设每个用户都有足够的历史交易记录来建模，但现实是大多数用户不具备足够数量的交易记录来完成建模。另一方面，群体行为模型则不对用户的历史交易记录数量有过多要求，因为其考察的是欺诈行为和正常行为的总体区别，跟个别用户的行为无关。因此相比个人行为模型，群体行为模型具有更好的发展空间。

然而，现有的基于群体行为的欺诈交易检测系统仍然存在以下问题。第一，很多模型的检测效率不能够满足实时性的需求，其中一个原因是模型过于复杂(例如深度学习模型)。第二，对欺诈交易检测的效果不理想，包括对欺诈交易的召回率偏低，以及对正常交易的打扰率偏高，其原因可能在于特征不够有效。第三，很多方法仍停留在实验层面，没有形成完整的流程体系。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端，用于解决现有技术中实时性差、召回率偏低的问题。

为实现上述目的及其他相关目的，本发明提供一种基于统计序列特征的实时欺诈交易检测方法，包括：接收用户最新交易请求，并根据接收到的所述用户最新交易请求于用户历史交易记录库中查询用户交易记录列表；根据所述用户交易记录列表获取获得特征向量；将所述特征向量送入分类器得到交易检测结果。

于本发明的一实施例中，若在所述用户历史交易记录中未查询到用户交易记录列表时，则为用户创建用户交易记录列表。

于本发明的一实施例中，所述根据所述用户交易记录列表获取特征向量的一种实现方式为：

根据所述最新交易请求的时间更新时间窗口内用户历史交易记录；

判断用户交易记录数量是否达到两条以上；若是，则计算每两笔相邻交易记录的时间差和金额差，得到全部时间差的均值和方差，以及全部金额差的均值和方差，构成统计序列特征；否则，统计序列特征取零；

组合所述统计序列特征、聚合特征和原始特征获得特征向量。

于本发明的一实施例中，所述分类器需要进行周期性训练，所述周期性训练包括：

定期从带标记的交易记录库中抽取预设时间段内的受害用户、正常用户和对应每个用户的全部交易记录，构成原始数据；

对原始数据利用滑动时间窗口技术计算取得对应用户的特征向量，得到特征向量集合；

从特征向量集合中抽取样本构成特征向量集，并送入分类器进行训练。

于本发明的一实施例中，所述分类器采用XGBoost分类器。

本发明还提供了一种基于统计序列特征的实时欺诈交易检测系统，包括：获取模块、计算模块、分类模块和执行模块；

所述获取模块用于获取用户最新交易请求；

所述计算模块用于根据用户最新交易请求从在用户历史交易记录库中查询用户交易记录列表，利用滑动时间窗口技术计算获得特征向量，通过分类器获得分类结果；

所述执行模块用于根据分类结果执行对应操作，所述操作分为放行和拦截；

于本发明的一实施例中，所述分类模块采用XGBoost分类器。

于本发明的一实施例中，还包括训练模块，所述训练模块用于对所述分类模块定期训练。

本发明还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于统计序列特征的实时欺诈交易检测方法。

本发明还提供了一种交易检测电子终端，包括：存储器、处理器和存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于统计序列特征的实时欺诈交易检测方法。

如上所述，本发明所述的基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端，具有以下有益效果：

(1)通过统计序列特征来训练分类器，使用滑动时间窗口技术来进行交易聚合避免了维度灾难。

(2)构建的检测系统的预测效果好，达到了97.2％的召回率和低于1％的打扰率。

(3)响应速度快，给出一个预测结果的平均时间是1.5毫秒。

附图说明

图1显示为本发明的的基于统计序列特征的实时欺诈交易检测方法的流程图。

图2显示为本发明中用户交易记录转特征向量的流程图。

图3显示为本发明中滑动时间窗口工作机制示意图。

图4显示为本发明中周期性训练分类器的流程图。

图5显示为本发明中实时交易检测时的工作场景示意图。

图6显示为本发明中实时欺诈交易检测系统的架构示意图。

图7显示为本发明中实时欺诈交易检测系统的结构图。

图8显示为本发明的实时欺诈交易检测系统的分类效果测试图。

图9显示为本发明的实时欺诈交易检测系统的运行测试图。

元件标号说明

1 终端

2 电子交易后台中心

3 实时欺诈交易检测系统

31 获取模块

32 计算模块

33 执行模块

34 训练模块

S10～S40 步骤

S21 步骤

S31～S35 步骤

S41～S43 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种基于统计序列特征的实时欺诈交易检测方法，包括：

步骤S10，接收的用户最新交易请求，根据接收到的用户最新交易请求在用户历史交易记录库中查询用户交易记录列表；

用户最新交易请求中包含有用户ID，在查询过程中根据用户ID获取用户交易记录列表，用户ID可以是银行系统对每个用户单独设置的一个编码或序列号，也可以是用户的身份证号，仅用来区分用户。

其中，用户历史交易记录库采用非关系型数据库，该用户交易记录列表中保存的用户交易记录始终保持在一个时间窗口的范围内。这样能使查询和修改的速度加快，并且也可以部署成为集群的存储形式，防止单台机器宕机或者存储空间不够造成的系统瘫痪。

步骤S20，判断是否查询到用户交易记录列表；若是，则进行步骤S30，若不是，则进行步骤S21；

步骤S21，为用户创建用户交易记录列表，执行步骤S30。

步骤S30，在用户交易记录列表上获得特征向量，在本实施例中，特征向量的获取利用滑动时间窗口技术。

具体包括以下步骤，请参阅图2：

步骤S31，根据用户最新交易请求的时间更新时间窗口内用户历史交易记录；

其中，根据用户最新交易请求的时间更新时间窗口依靠于滑动时间窗口的工作机制，一名用户u的历史交易记录来具体说明其工作原理：如图3，将时间窗口大小设定为一分钟，若一名用户u的一笔新的交易记录到来时时间窗口的前沿都会滑动到当前最新交易的时间点，时间窗口的后沿在此示例中为最新交易的时间点减去一分钟，把超出此时间范围的交易记录从用户历史交易记录库中移出，这样就能够保持时间窗口中的交易记录能够代表用户的最新行为。

使用时，银行为每一名用户都维护图3所示的用户交易记录列表，并在用户的交易请求到来时进行滑动更新，就可以维持历史交易记录库的大小稳定而不会无限增加。

步骤S32，判断用户交易记录数量是否达到两条以上，若是，则执行步骤S33；否则，执行步骤S34；

步骤S33，则计算每两笔相邻交易记录的时间差和金额差，得到全部时间差的均值和方差，以及全部金额差的均值和方差，构成统计序列特征，继续进行步骤S35；

步骤S34，仅一条交易记录不能计算时间差和金额差，因此，此时的统计序列特征以零填充，继续进行步骤S35。

步骤S35，组合统计序列特征、聚合特征和原始特征获得特征向量。

其中，所述聚合特征包括：窗口内交易记录数量、金额均值，原始特征是用户历史交易记录中自带的特征组合，包括：金额、是否常用IP、和是否超限额；

所有的特征如表1所示。

表1本系统所使用的全部特征

步骤S40，特征向量送入分类器得到交易检测结果。在检测过程中，交易检测结果可以为1或0，设定交易检测阈值，阈值数值设定为1，当交易检测结果等于所述交易检测阈值时，则视为正常交易，可放行交易；当交易检测结果与交易检测阈值不同时则视为欺诈交易，进行交易拦截。

在上述步骤S40中，所述分类器需要进行周期性训练，所述周期性训练包括，参阅图4和图5：

步骤S41，定期从带标记的交易记录库中抽取预设时间段内的受害用户、正常用户和对应每个用户的全部交易记录，形成原始数据。预设时间段优选采用3个月时间，主要是由于过长或过短多不能准备的描述出用户的行为模式。所述受害用户与正常用户之比为1:5，其中受害用户的交易记录带有的标记为1，正常用户的交易记录带有的标记为0，通过标记来区分正常用户和受害用户各自的交易记录。

可以以半年作为一个周期来进行训练，使得无论欺诈交易的行为模式如何随时间变化，只要和正常交易仍然存在区别，便能够被重新训练好的分类器检测出来。

从图5中可知，在虚线框外侧描述了实时交易检测时的工作场景，带标记的交易记录库中包含有正常用户的交易记录和受害用户的交易记录，其中受害用户的交易记录可以是由欺诈交易系统检测拦截后通过人工审查证实确实为欺诈交易，则由人工进行标记添加到带标记的交易记录库，可以是警方根据报案信息，对受害人的某次交易记录进行标记，添加到带标记的交易记录库，其中受害用户、正常用户和对应每个用户的全部交易记录构成原始数据。

步骤S42，在原始数据中利用滑动时间窗口技术计算对应用户的特征向量，得到特征向量集合。

在该步骤中，根据原始数据中出现的各用户ID，在用户历史交易记录库的用户交易记录列表，将滑动时间窗口大小可以设定为一个月，计算时间窗口内的各用户交易记录得到对应的统计序列特征、聚合特征和原始特征，将这些特征向量组合得到特征向量集合。

步骤S43，从特征向量集合中抽取样本构成特征向量集，并送入分类器进行训练。其中，所述正常交易记录的特征向量样本数与所述欺诈交易记录的特征向量样本数之比为2:1，对XGBoost分类器进行训练，训练好的XGBoost分类器可以上线对未来交易记录进行检测。

本发明所述的基于统计序列特征的实时欺诈交易检测方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本发明还提供一种基于统计序列特征的实时欺诈交易检测系统，实现上述的实时欺诈交易检测方法，该系统适用于银行的电子交易后台中心，如图6所示，通常由终端将用户最新交易请求发送给银行的电子交易后台中心，由实时欺诈交易检测系统来接收，需要说明的是，终端可以是手机、手提电脑、台式电脑等具有发送交易请求的终端。本发明的实时欺诈交易检测系统具体包括：获取模块、计算模块、分类模块、执行模块和训练模块，参阅图7；

所述获取模块用于获取用户最新交易请求；。

计算模块用于根据用户最新交易请求从在用户历史交易记录库中查询用户交易记录列表，利用滑动时间窗口技术计算获得特征向量，通过分类器获得分类结果；

执行模块用于根据分类结果执行对应操作，所述操作分为放行和拦截；

训练模块用于定期对分类器进行更新训练；分类器优选采用XGBoost分类器。

具体地，训练模块执行以下步骤来对分类器更新训练：

步骤S41，定期从带标记的交易记录库中抽取预设时间段内的受害用户、正常用户和对应每个用户的全部交易记录；预设时间段优选采用3个月时间，主要是由于过长或过短多不能准备的描述出用户的行为模式。所述受害用户与正常用户之比为1:5。

步骤S42，在全部交易记录中利用滑动时间窗口技术计算对应用户的特征向量，得到特征向量集合。

在该步骤中，此时的滑动时间窗口大小可以设定为一个月，计算时间窗口内的各用户交易记录得到对应的统计序列特征、聚合特征和原始特征，将这些特征向量组合得到特征向量集合。

需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：获取模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，计算模块也可以以程序代码的形式存储于上述电子交易后台的存储器中，由上述系统的某一个处理元件调用并执行以上计算模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

为验证采用本发明实时欺诈交易检测方法的输出准确率高、相应速度快，下面以通过抽取自某银行三个月中的交易数据为例：

抽取方式如下：首先抽取三个月内所有被欺诈的用户(约8000名)，获取他们在这段时间内的全部交易记录。然后从其他正常用户中随机抽取一部分正常用户(约40000名)，同样抽取这些用户的交易记录。最终得到约350万条交易记录。其中约65000条被人工标记为欺诈交易，其余为正常交易。

Java和Redis实现了上述实时欺诈交易检测方法的原型，在一台拥有双核2.4GHz的CPU和32GB的服务器上进行分类效果和运行速度测试，服务器的选择并不限于上述规格。

XGBoost作为分类器，以逻辑回归、朴素贝叶斯、随机森林、决策树、神经网络作为对比分类器。一分钟、十分钟、一小时、一天、一周和一个月被采用为备选时间窗口大小。获得如图8所示的实验结果，结果表明当使用XGBoost作为分类器时且时间窗口大小设为一个月时，本发明可在打扰率小于1％的条件下，达到97.2％的召回率。

通过运行速度的测试，获得如图9所示的实验结果，结果表明，给出一个预测结果的平均时间是1.5毫秒，可以满足实时性的要求。

本发明提供的一种基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端，所述基于统计序列特征的实时欺诈交易检测系统可以实现本发明所述的基于统计序列特征的实时欺诈交易检测方法，但本发明所述的基于统计序列特征的实时欺诈交易检测方法的实现装置包括但不限于本实施例列举的基于统计序列特征的实时欺诈交易检测系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。

综上所述，本发明的基于统计序列特征的实时欺诈交易检测方法、系统、存储介质及电子终端，通过统计序列特征来训练分类器，使用滑动时间窗口技术来进行交易聚合避免了维度灾难，同时构建的检测系统的预测效果好，达到了97.2％的召回率和低于1％的打扰率，同时响应速度快，给出一个预测结果的平均时间是1.5毫秒。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种基于统计序列特征的实时欺诈交易检测方法，其特征在于，包括：

接收用户最新交易请求，并根据接收到的所述用户最新交易请求于用户历史交易记录库中查询用户交易记录列表；

根据所述用户交易记录列表获取获得特征向量；

将所述特征向量送入分类器得到交易检测结果。

2.根据权利要求1所述的基于统计序列特征的实时欺诈交易检测方法，其特征在于，若在所述用户历史交易记录中未查询到用户交易记录列表时，则为用户创建用户交易记录列表。

3.根据权利要求1或2所述的基于统计序列特征的实时欺诈交易检测方法，其特征在于，所述根据所述用户交易记录列表获取特征向量的一种实现方式为：

4.根据权利要求1所述的基于统计序列特征的实时欺诈交易检测方法，其特征在于，所述分类器需要进行周期性训练，所述周期性训练包括：

5.根据权利要求1或4所述的基于统计序列特征的实时欺诈交易检测方法，其特征在于，所述分类器采用XGBoost分类器。

6.一种基于统计序列特征的实时欺诈交易检测系统，其特征在于，包括：获取模块、计算模块、分类模块和执行模块；

所述获取模块用于获取用户最新交易请求；

所述执行模块用于根据分类结果执行对应操作，所述操作分为放行和拦截。

7.根据权利要求6所述的基于统计序列特征的实时欺诈交易检测系统，其特征在于，所述分类模块采用XGBoost分类器。

8.根据权利要6所述的基于统计序列特征的实时欺诈交易检测系统，其特征在于，还包括训练模块，所述训练模块用于对所述分类模块定期训练。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述基于统计序列特征的实时欺诈交易检测方法。

10.一种交易检测电子终端，其特征在于，包括：存储器、处理器和存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5所述中任一项所述基于统计序列特征的实时欺诈交易检测方法。