CN110084610A - 一种基于孪生神经网络的网络交易欺诈检测系统 - Google Patents

Abstract

本发明一种基于孪生神经网络的网络交易欺诈检测系统，所述网络交易欺诈检测系统的输入数据是由一组数据对组成其特征在于，所述网络交易欺诈检测系统由两个结构相同的神经网络模型构成，两个神经网络模型间通过共享权值达到孪生的目的。本发明所构建基于孪生神经网络的网络交易欺诈方法有着很好的实验效果，该方法针对网络交易中时序性稀疏和数据不均衡问题，利用孪生结构来处理不均衡数据，并利用LSTM结构使网络具有记忆功能，以此来提高网络对于欺诈交易的检测能力。

Description

一种基于孪生神经网络的网络交易欺诈检测系统

技术领域

本发明涉及一种网络交易欺诈模型，属于信息技术领域。

背景技术

金融科技迅速发展和普及极大推动了普惠金融的发展，也为健全多层次的金融市场做出了极大的贡献。但是，一切事物的发展都有两面性。基于金融科技多种技术的发展，一些新型的欺诈手段也因此而生，网络交易欺诈的风险不断升级。

为了应对交易欺诈问题，多数金融机构都建立起了自己的风险防控系统，现有的风险防控系统一部分是基于专家规则引擎建立起来的。专家规则系统是建立在现有的行业经验规则之上的，对已存在的欺诈模式可以快速精确拦截。但是由于以上特点，专家规则系统并不能对新产生的欺诈模式做出快速精准地拦截。同时，网络欺诈逐渐表现出专业化、产业化、隐蔽化、场景化等特征。面对这些特点，加之互联网金融与移动支付的快速发展，传统的专家规则系统在网络欺诈交易检测与拦截方面就显得力不从心。各种机器学习与深度学习模型逐渐被应用于欺诈检测中。反欺诈机器学习模型是基于统计分析技术的，可以准确和实时地进行风险评估的模型。与传统的规则系统相比较，机器学习最大的优点是通过大量复杂的数据来表征一些通过传统方式难以描述甚至是难以发现的金融现象。目前用于金融欺诈检测的各种模型包括：神经网络、深度神经网络、随机森林、逻辑回归、SVM等。

对于交易欺诈数据而言，往往正常交易数据数量远远大于异常交易数量，这就导致了正负样本的极度不均衡。在处理正负样本不均衡问题中，常用的方式有：上采样、下采样，数据合成，数据加权等。这些方式可以较为有效地处理正负样本不均衡问题，但是这样的处理方式都改变了原数据集的分布或权重情况，使训练数据与真实数据的具体分布有所不同，可能会影响模型的泛化能力。所以在本文中我们使用孪生神经网络的结构来解决该问题。

网络欺诈交易有着主观性强、欺诈种类多、发生频率高、欺诈手段更新快等特征。很多的欺诈交易是在极短时间内、在同一个账户中发生连续交易，这些交易如果频率很高的话，现有的欺诈检测方式与风险防控系统一般不能很好地全部拦截。通过分析真实网络交易数据可以发现，确实存在短时间内发生大量交易记录的情况。而且这些交易在除了交易时间之外的所有特征都完全一样，这个特点说明网络交易数据在时间上存在序列性。考虑到网络交易之间存在时序关系，设计可以记忆交易信息的模型可以对交易时序关系进行挖掘。所以本文利用在网络结构中加入LSTM(long short-term memory)，使网络具有一定的记忆功能，以提高模型对欺诈交易的检测能力。

孪生神经网络是神经网络结构的一种，以神经网络为基础的深度学习模型凭借其可以充分逼近任意复杂的非线性关系、较强的鲁棒性和容错性、高速寻找优化解的能力、自学习和自适应的能力等优点已经在图像识别、自然语言处理等领域有着十分优秀表现。但是处理结构化数据尤其是网络交易数据时，神经网络及深度学习模型并没有十分完美的应用案例。

用户正常交易行为和异常交易行为的区分在交易欺诈检测中也是一个很重要的方面。Kokkinaki等人提出用决策树和布尔逻辑方法来刻画正常消费者的交易行为习惯，用聚类方法分析正常交易行为和欺诈交易行为的差别以此来区分正常和欺诈交易。但是由于正常交易和欺诈交易行为某些情况下极其类似，所以该模型的识别效果并没有十分理想。Kang Fu等人提出了用交易熵来刻画用户交易行为，并用交易熵作为衍生变量输入网络进行学习。其采用了固定时间窗口内的平均交易金额、交易总金额、当前交易金额和平均交易金额的差值、交易熵等衍生特征作为模型的输入数据。但是以上刻画用户行为特征的方法中，并没有考虑到用户交易的时序性特征。基于本文数据集的分析，一些用户在交易中存在明显的时序性特征。

1990年，Bromley和LeCu第一次提出了孪生神经网络(Siamese Network)结构，该网络结构的提出最初是用来解决数字签名的校验问题。孪生神经网络的基本结构是由两个孪生的神经网络组成，这两个网络的结构完全一致，并且二者之间是共享权值等所有参数。虽说两个网络的结构完全相同，但是两个网络的输入并不相同。该网络结构的作用就是用来计算两个输入的相似程度，从而判别两个输入是否输入同一类样本。因为该网络结构是输入的样本对,所以在某类样本数较少的情况下，这种方法还能对输入数据进行扩充，使网络也可以进行小样本学习。具体方法是基于正负样本，生成不同的正负样本对，正样本对是由事先所选取的基准类别样本和与它同类的样本构成，负样本对是由事先选取的基准样本和与它不同类别的样本构成。模型训练时，使样本对中两个样本同时输入两个网络结构中，从相似度来判断二者之间是否是同一类。

LSTM是Hochreiter和Schmidhube在1997年提出的，用来解决循环神经网络(Recurrent Neural Network，RNN)中不能有效地处理长时依赖的问题。LSTM可以解决长时依赖问题的关键是在于加入了记忆单元(Memory Units)，而且是通过几个功能不同的门限来控制信息的更新遗忘和输出。LSTM由于在处理序列问题上的优势，LSTM在自然语言处理、语音识别、机器翻译等领域有着很好的应用效果。

发明内容

本发明要解决的技术问题是：网络交易由于网络交易呈现体量大、频次高、更新速度快等特征，同时网络交易数据存在正负样本不均衡与交易数据时序性稀疏的问题。现有解决数据不均衡问题的方法大多是通过采样方式，但是这种方法会改变数据集的分布情况，不利于提高模型的泛化能力。网络交易数据存在一定的时序性特征，常用的欺诈检测模型并没有将该问题考虑到模型的设计中。

为了达到解决上述技术问题，本发明的技术方案是提供了一种基于孪生神经网络的网络交易欺诈检测系统，所述网络交易欺诈检测系统的输入数据是由一组数据对组成其特征在于，所述网络交易欺诈检测系统由两个结构相同的神经网络模型构成，两个神经网络模型间通过共享权值达到孪生的目的；

每个神经网络模型包括CNN网络及LSTM网络，CNN网络后连接LSTM网络，利用CNN网络对交易数据做表征学习，学到一些虽然可解释性不强但是可以挖掘用户交易行为模式的特征，利用LSTM网络做网络记忆结构，对交易数据的时序性特征进行挖掘；

数据对中两条数据分别输入两个神经网络模型中，两条数据进入两个神经网络模型后转换成两组特征向量，通过计算这两组特征向量的距离来判断输入的数据对是否属于同一类型，最后利用Contrastive Loss计算损失函数，使网络进行学习。

优选地，所述数据对中的两条数据，是类型一样的样本对，或是类型不同的样本对；类型相同的样本组成正样本对，类型不同的样本组成负样本对。

优选地，所述CNN网络由四层卷积层和四层池化层组成。

本发明提出了基于CNN和LSTM的孪生神经网络结构，利用孪生神经网络结构解决网络交易中样本不均衡问题，利用LSTM结构使模型具有记忆功能，记忆用户的交易信息，以更好检测欺诈交易。

本发明所构建基于孪生神经网络的网络交易欺诈方法有着很好的实验效果，该方法针对网络交易中时序性稀疏和数据不均衡问题，利用孪生结构来处理不均衡数据，并利用LSTM结构使网络具有记忆功能，以此来提高网络对于欺诈交易的检测能力。

附图说明

图1为本发明的整体流程图；

图2为孪生神经网络基本结构；

图3为孪生神经CNN+LSTM网络结构；

图4为循环神经网络基本网络结构；

图5为LSTM网络内部结构；

图6(a)及图6(b)为Sia-CNN-LSTM与CNN、BP神经网络的结果对比；

图7为Sia-CNN-LSTM和CNN-LSTM模型结果对比；

图8为Sia-CNN-LSTM和Sia-CNN模型结果对比；

图9为Sia-CNN-LSTM在不同时间窗口内的结果对比。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明所设计了基于孪生神经网络的网络交易欺诈检测系统，该系统基于孪生神经网络的基本网络结构，孪生网络使用了卷积神经网络(CNN)和长短期记忆网络(LSTM)组合形式，利用CNN就表征学习，利用LSTM做网络的记忆结构。整个网络通过比输入交易数据对的相似性来做欺诈交易的检测。主要有以下三部分内容：

(1)模型基本框架

该系统的基本框架是一个孪生神经网络的结构。基本的孪生神经网络框架如图2所示，该结构由两个相同的神经网络模型构成，两个神经网络模型间通过共享权值达到孪生的目的。其中，输入数据是由一组数据对组成，数据对中两条数据分别输入两个神经网络模型中。数据对中的两条数据可以是类型一样的样本对，也可以是类型不同的样本对。这些数据对是从原始数据集中抽取出的，抽出类型相同的样本组成正样本对，抽出类型不同的样本组成负样本对，整个网络学习就是让相同样本尽可能地距离相近，而不同样本尽可能距离相远的过程。

如图2所示，Network1和Network2表示两个结构相同的网络，W代表两个模型的参数，N_w(·)是用来将输入的数据通过网络转换成一组特征向量的函数，两个样本进入网络转换成的两组特征向量，通过计算这两组特征向量的距离也就是相似度来判断输入的数据对是否属于同一类型。计算两组特征向量相似度的方法有多种，如果用L1距离作为相似度度量的标准，那么两组特征向量X₁、X₂相似度E_w(X₁,X₂)的计算公式可以表示为：

E_w(X₁,X₂)＝||N_w(X₁)-N_w(X₂)|| (1)

孪生神经网络中的损失函数采用的是Contrastive Loss，这种损失函数第一次被Yann Lecun等人提出是在2006年，其最初的应用是在数据降维方面。即在降维的过程中，如果原始数据中有样本比较相似，在经过数据降维后，在新的特征空间中，相似的样本依旧比较相似；相反，在原始数据中本来不相似的样本，经过特征的降维后，在新的特征空间中依然是不相似的。通过研究Contrastive Loss的计算公式可以看出，这种损失函数可以较好地描述数据对样本的相似程度。如式(2)、式(3)所示，这里Contrastive Loss的主要功能是训练出L_G和L_I，L_G代表当孪生神经网络中输入的数据对为同一种类型样本时的损失函数，L_I代表当孪生神经网络中输入的数据对为不同类型的样本时的损失函数。Y代表输入的数据对X₁、X₂是否是同一种类的样本，若数据对中样本是属于同一类型，那么Y值为0；相反，若数据对中样本是不属于同一类型，那么Y值为1。P代表样本对的总数，i代表当前样本对。

L(W,(Y,X₁,X₂)ⁱ)＝(1-Y)L_G(E_w(X₁,X₂)ⁱ)+YL_I((E_w(X₁,X₂)ⁱ) (3)

表示损失函数；L(W,(Y,X₁,X₂)ⁱ)表示当前第i个样本对的损失函数。

(2)孪生结构

基于孪生神经网络的基本网络结构，不同的应用场景可以设计具有不同功能的具体网络结构。例如，基于孪生深度卷积神经网络的单样本学习的研究，基于孪生神经网络对于手势识别的应用，基于孪生长短期记忆神经网络对于Human Re-identification问题的解决，基于全连接的孪生卷积神经网络的目标追踪的应用[等。

针对本发明的研究问题，即对于网络交易数据分类检测的应用中，本发明提出了利用孪生神经网络结构来解决本文的研究问题。但是在孪生网络结构内部的网络结构上做了一些基础网络结构的结合设计，以便该网络结构能更加适应于网络交易数据。

对于网络交易这种数据，在真实的生产生活环境中，欺诈交易以及可疑交易发生的概率是极其小的，通过调研相关研究发现欺诈交易在总体交易中占比仅为0.31％，如此小比例欺诈交易，如果在建模中直接使用该类数据，将会给模型的精确性、有效性、泛化能力等性能带来较大的影响。一般模型都会趋于学习大类样本的模式与特征，若大类样本数极大于小类样本数，模型可能还没有学习到小类样本的特征就已经收敛了，这对于本发明的应用场景中会产生极大的错误影响。若模型在学习到小类欺诈样本之前就已经收敛，那么该模型就只学习到了大类正常样本的各种特征与模式，而对小类欺诈样本没有什么识别作用，那么该模型就没有什么可用的价值。或者模型学习时将小类欺诈样本当做干扰数据，同样使模型学习不到欺诈数据的各种特征，这种模型也不能在真实生产环境中使用。对于这种问题，本发明尝试利用孪生神经网络的结构来解决。该网络结构的特点是可以输入数据对，数据对中样本可以是同类样本，也可以是不同类样本，这样对于少量的欺诈样本，就可以通过组合方式产生大量的样本对。假设我们样本类别为M，每类中有N个样本，那么通过组合，总共可以产生的样本对数量C_pairs为：

这些样本对中包括正样本对(即两个样本属于同一种类的样本)和负样本对(即两个样本属于不同类型的样本)共有C_pairs个。总样本对数C_pairs随着样本类别数M平方级增加，随着没类样本数N线性级增加，这种方式使训练数据集的数量大大增加，同时使负样本数也得到扩充。

具体网络结构如3图所示，孪生神经网络中，前面CNN部分详细结构采用之前研究中利用的卷积神经网络模型，但是移除了最后一层全连接层，保留了四层卷积层和四层池化层。该部分的作用仍然的对交易数据做表征学习，使CNN可以学到一些虽然可解释性不强但是可以挖掘用户交易行为模式的特征。CNN后连接一层LSTM，该层的作用是对交易数据一些时序性的特征进行挖掘，然后通过距离计算公式来判别两条输入数据的相似性，最后利用Contrastive Loss计算损失函数，使网络进行学习。利用Contrastive Loss计算损失函数的作用是使网络学习出同类之间数据相近，异类之间数据相远的功能，可以使网络能够很好地区分不同类别交易数据。当固定一种类型为基类数据时，该网络就可以实现数据分类的功能。

(2)利用LSTM进行网络记忆功能的设计与研究

通过大量的数据统计分析得知，存在多条交易数据直接具有时序特征的情况。例如，某个相差几分甚至几秒的时间段内发生了大量(几十条甚至几百条)的交易，从这些交易数据的各项特征中发现，除去交易时间维度，其余维度特征完全相同。对应到实际的生产环境中，或许是作案团伙对金融交易系统进行重放攻击的行为。当用户请求瞬时请求过多，金融交易系统不能同时并发处理大量的交易数据时，这些疑似重放攻击的可疑交易就被风控系统放行，从而导致了大量的资金损失。

LSTM作为循环神经网络的一种，其优势是可以处理序列化数据，若给循环神经网络一个序列化的输入s＝(s₁,s₂,s₃,…,s_n)，循环神经网络是根据相应的运算规则(式5)进行更新隐层状态h_t。其中，h_t-1表示t-1时刻隐层的状态值，同理，h_t表示t时刻隐层的状态值。

图4表述了循环神经网络(RNN)最基本的网络结构，多种循环神经网络的不同变体中，M所代表的核心结构不同，其他整体结构是相同的。比如在基本的循环神经网络中，M中为基本的一个激活函数层，比如tanh函数。在RNN的变体LSTM中，M中的详细结构如图5所示。

图5表述了LSTM神经单元基本的工作过程，以及它是怎么实现对信息的记忆、遗忘和更新功能的。首先，需要完成的是让神经元决定丢弃哪些信息，完成这个工作的结构被称为“遗忘门”，这个门结构会读取上一时刻神经单元的输出h_t-1和这这一时刻的输入x_t，通过f_t函数计算得到给神经元状态C_t-1的输入，从而遗忘上一个状态中不需要的信息。

f_t＝σ(W_t·[h_t-1,x_t]+b_f) (6)

式中，σ表示激活函数，W_t表示f_t函数中连接权重，b_f表示f_t函数中偏置。

接受了上一个神经单元的信息，下一步是新输入的x_t的信息添加到当前神经单元中，在添加新的输入信息时利用sigmoid函数和tanh函数通过式(7)和式(8)决定需要哪些输入信息，在此基础上对当前神经单元进行更新。

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (7)

式中，W_i表示i_t函数中的连接权重，b_i表示i_t函数中的偏置参数，W_C表示函数中的连接权重，b_C表示函数中的偏置参数，i_t表示对输入数据更新的函数，表示对输入数据更新的函数。

更新当前神经单元的状态时，获取了上一个神经元的状态和当前的输入信息，通过式(9)，把旧的状态C_t-1更新为新的神经元状态C_t。

通过种种计算单元的过滤，得到当前神经单元的输出，通过sigmoid函数来决定要输出哪些部分信息，在通过tanh函数决定最终的输出信息是什么，该部分的计算通过式(10)、式(11)完成。

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (10)

h_t＝o_t*tanh(C_t) (11)

式中，o_t表示输出函数，W_o表示o_t函数的连接权重，b_o表示o_t函数的偏置参数。

Claims (3)

1.一种基于孪生神经网络的网络交易欺诈检测系统，所述网络交易欺诈检测系统的输入数据是由一组数据对组成其特征在于，所述网络交易欺诈检测系统由两个结构相同的神经网络模型构成，两个神经网络模型间通过共享权值达到孪生的目的；

每个神经网络模型包括CNN网络及LSTM网络，CNN网络后连接LSTM网络，利用CNN网络对交易数据做表征学习，学到一些虽然可解释性不强但是可以挖掘用户交易行为模式的特征，利用LSTM网络做网络记忆结构，对交易数据的时序性特征进行挖掘；

数据对中两条数据分别输入两个神经网络模型中，两条数据进入两个神经网络模型后转换成两组特征向量，通过计算这两组特征向量的距离来判断输入的数据对是否属于同一类型，最后利用Contrastive Loss计算损失函数，使网络进行学习。

2.如权利要求1所述的一种基于孪生神经网络的网络交易欺诈检测系统，其特征在于，所述数据对中的两条数据，是类型一样的样本对，或是类型不同的样本对；类型相同的样本组成正样本对，类型不同的样本组成负样本对。

3.如权利要求1所述的一种基于孪生神经网络的网络交易欺诈检测系统，其特征在于，所述CNN网络由四层卷积层和四层池化层组成。