CN115760127A - 一种基于规则注意力机制的交易欺诈检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于规则注意力机制的交易欺诈检测方法，该方法包括：对数据做清洗和预处理等操作；基于树的模型对潜在交易模式进行学习生成交易决策规则信息，增强方法的可解释性；对生成的交叉特征进行编码和嵌入表示，增强模型灵活性；利用多头自注意力机制捕捉交易之间的交互，挖掘更深层次的交易欺诈模式；利用注意力网络，关注特定条件下不同规则的重要性，学习特定特征条件及交易决策规则之间的交互；通过激活函数对最终的交易表示进行欺诈分数的计算。本发明方法可以提高预测性能的同时增强可解释性。

Description

一种基于规则注意力机制的交易欺诈检测方法及系统

技术领域

本发明属于数据挖掘中异常检测技术领域，涉及一种基于规则注意力机制的交易欺诈检测方法及系统。

背景技术

在经济全球化和大数据、人工智能等技术的迅猛发展，数字金融技术的兴盛逐渐改变了人们的消费习惯和传统金融业的发展模式。近年，中国的互联网消费金融行业走势良好，促使了相关行业及移动支付平台发展。大量的电子商务平台被大众所接受和使用，无卡化在线交易的方式逐渐替代传统银行卡及现金交易模式。特别是在2020年，Covid-19大爆发后导致在线交易数量激增。移动在线支付服务的迅速发展，虽然给人们的生活带来了极大的便利，同时也为犯罪分子提供了更多可乘之机，促使了在线交易欺诈案件频发。在线交易欺诈指的是交易在没有经过账户本人的允许的情况下恶意动用了账户内的资金，正常用户、商家和平台的权益会受到威胁，造成巨大经济损失。非法交易检测疏漏会导致经济损失，而正常交易检测为非法又会给交易带来糟糕的体验，可能会引发用客户流失，那么如何精准检测出欺诈交易，也成为金融领域反欺诈中不可忽视的任务之一。

为了解决这一问题，已经出现大量交易欺诈检测模型的研究。一种传统的检测方式是专家利用基于规则的方法，研究欺诈者与正常用户的特征差异，挖掘异常数据的潜在模式，例如，通过模糊逻辑获取关联规则模型，可以从信用卡交易数据库中发现非法交易的行为模式，从而检测和预防欺诈行为；通过频繁项集挖掘关联规则来识别合法和非法交易模式，并提出匹配算法判断交易接近哪种模式。但是基于规则的方法一旦被欺诈者所发现就会去规避会使得模型不再有效。

另一种方法是基于机器学习研究大量的历史数据来学习模型。例如，基于CNN的欺诈检测模型，在特征矩阵上使用卷积神经网络来识别每个样本的潜在模式，以识别欺诈行为；将交易的数据视为交错的序列，设计了一个完整的RNN框架来实时检测欺诈行为。

但单纯的机器学习方法很难学习到具有可解释性的异常交易模式。更为有效的欺诈检测系统会将基于规则的系统与机器学习分类模型结合起来对交易进行评分，从大量历史的数据信息中学习可疑行为模式，同时利用基于用户行为序列、关系网络等方法，使得模型的具有一定的解释性。例如，使用AdaBoost和多数表决方法的混合方法得到了较高的准确率；利用基于随机森林来训练正常交易和异常交易的行为特征，通过判断新交易是否偏离正常交易模式得出检测结果；基于用户的行为序列利用分层可解释性网络(HEN)进行建模提高欺诈检测推理的可解释性等，利用两者结合的方法大都取得了相较于单一方法的更好的预测结果。

发明内容

为了解决现有技术存在的不足，本发明的目的是提供一种基于规则注意力机制的交易欺诈检测方法，采用基于决策树和集成的方法学习表示交易特征之间的决策规则来生成新的交叉特征数据来表示原始的交易数据，并采用注意力机制对不同的交叉特征以及不同的重要条件特征赋予不同的注意力系数，学习欺诈交易模式的潜在规则，从而提高方法的可解释性以及结果的准确性。

本发明的目的在于提升现有的交易欺诈检测方法的检测效果，并增强检测结果的解释性，提出了一种基于规则注意力机制的交易欺诈检测方法。为了增强可解释性，提出了一种基于树的方法来构建交叉特征形成决策规则。交叉特征是点击率预测任务中的重要方法，提高了点击率预测任务的预测效果，归因于它揭示了用户行为模式，而交易的行为潜在模式对欺诈预测任务也是具有一定的效果的。将交易特征向量经过特征组合后，经过multi-hot编码后得到的向量组合，构造一个嵌入矩阵。通过多头自注意力机制去获取不同交叉特征之间的相关性，学习来自不同树的交叉特征的贡献权重，将得到的新的嵌入矩阵用于构建注意力网络，来考虑用户和时空等信息，以建模交叉特征、时空信息之间关于给定交易的交互，得到最终的交易表示，用于交易非法检测二分类任务：

本发明方法的模型训练包括以下步骤：

步骤(1)：将收集到的交易信息数据进行数据清洗的预处理操作，做相关性分析，并对数据进行降维度，去除冗余特征变量；

步骤(2)：基于步骤(1)处理得到的数据，使用一种基于决策树集成的方法来形成决策规则构建交叉特征。决策树的根节点生长到叶子节点的路径来表示决策规则，并使用集成学习方法来聚合树，从而考虑更复杂的交易模式，使用预训练的XGBoost从交易特征向量中获取交叉特征表示特定的规则，并编码表示，使得该方法具有较高的有效性和可解释性；

步骤(3)：将规则表示投影到一个可学习的规则密集嵌入矩阵增强灵活性；

步骤(4)：在步骤(3)得到的嵌入矩阵上，使用多头自注意力感知机制中获得不同交叉特征之间的相关性，学习来自不同树的交叉特征的贡献权重，对得到的规则嵌入矩阵做规则之间的交互建模，挖掘规则之间更深层次的交易欺诈模式；

步骤(5)：引入注意力网络学习规则嵌入在其他重要条件特征下的注意力分数，将所得注意力权重聚合规则嵌入向量得到新的交易表示，将其与这些重要条件特征向量的嵌入表示相融合，得到最终的交易表示，学习特定特征及交易决策规则之间的交互；即将步骤(4)得到的嵌入矩阵用于构建注意力网络，来考虑用户和时空等重要条件信息，以建模交叉特征、时空信息等之间关于给定交易的交互，得到最终的交易表示用于预测；

步骤(6)：根据步骤(5)得到的交易最终表示，投影到二分类任务中，设定损失函数，并使用梯度下降法来优化目标函数，计算交易的欺诈分数，训练模型，当训练轮次达到设定值或者训练损失函数达到早停条件时结束，并设定阈值来区分正常和非法交易，当欺诈分数达到阈值时为非法交易，即判定为欺诈。

本发明中，所述步骤(1)的具体步骤包括：

步骤(1.1)：所述交易信息数据清洗是指对数据进行缺失值处理、重复项清理、类型转换、语法错误检查、归一化处理等标准的数据清洗操作。

步骤(1.2)：为了防止模型的过拟合，保证泛化能力，提高模型效率和准确度，对清洗过后的交易信息数据降低维度，去除冗余特征变量，由此得到交易数据特征向量表示

k是特征维度，并将数据集按6:2:2比例划分为训练集、验证集和测试集。

本发明中，步骤(2)中，通过基于树的方法计算高阶交叉特征规则，并计算得到嵌入矩阵的具体步骤包括：

步骤(2.1)：通过训练回归决策树生长来获得决策路径来表示一定的规则，每一个决策路径都是多个特征的范围组合在一起的交叉特征。将步骤(1)所得预处理交易数据输入到一棵决策树T＝{V,E}，其中V表示树的节点，E表示连接路径的边。节点集V由根节点、内部节点和叶子节点组成，节点在决策空间中分割特征，每一个叶子节点表示一种规则。

所述生长回归决策树的构建规则为：首先构建根节点，将所有的数据放在根节点，选择一个最优特征作为当前节点的分割标准，选择最优切分点分割该节点上的数据集，使得各个子集在当前状态下的样本标签属于同一个类别的概率最大化，从上至下递归生成叶子节点，直到节点上的数据基本被正确分类则停止决策树生长。

将特征向量x作为输入，根据XGBoost生成的树的节点表示的切分规则进行划分，最终落入树的一个叶子节点，该激活叶子节点表示一个交叉特征。将交叉特征用one-hot编码表示

其中

表示第i棵树的第n个叶节点，

得到一棵树的交叉特征表示。

步骤(2.2)：单一决策树生成的交叉特征有限，不足以表示数据中的复杂模式，因此构建多棵树聚合成森林模型进行复杂的交叉特征学习。使用极限梯度提升(XGBoost)算法，将步骤(2.1)所述决策树作为弱学习器，使用boosting集成为强学习器。迭代多棵决策树形成XGBoost，第一棵树由步骤(2.1)生成，其余每一颗树是由前一颗树结果和真实结果的残差作为拟合目标，在残差下降的梯度方向上构建新的树，方式与步骤(2.1)相同，生成的决策树数量等于迭代次数。使用交易数据对XGBoost模型预训练，得到多棵树组成的森林来获得高阶交叉特征。每棵树根据步骤(2.1)都会得到一个交叉特征表示，将其连接得到multi-hot交叉特征Ru＝[r₁,r₂,...,r_N]＝[l₁,l₂,…,l_M]，其中N表示树的棵树，M表示所有叶子节点个数。

本发明中，所述步骤(3)将规则表示投影到一个可学习的规则密集嵌入矩阵，具体步骤包括：

步骤(3.1)：由于学习得到的交叉特征是高纬稀疏的，造成了一定的空间浪费，利用在NLP领域广泛使用的嵌入层来降低数据的维度，同时可以学习两个交叉特征之间的潜在相关性。将每一个组合特征的元素投影到一个稠密嵌入向量上

其中d是维度。给定XGBoost得到的multi-hot交叉特征Ru，收集每一个one-hot交叉特征r_i的嵌入向量e_i，构造一个规则嵌入矩阵

E＝f([l₁e₁,l₂e₂,...,l_Me_M])，其中f(X)表示移除矩阵X的零行向量。由于采用了可学习的向量e_i，而不是静态向量，使得嵌入矩阵E在训练过程中是可学习的，增加了模型的灵活性，以适应不同平台采集的不同的数据集，可以根据不同的数据集额外加入一些信息；所述额外信息因数据集而异，包括用户ID、交易物品(产品类型、产品代码等)、金额、时间(交易时间，开户时间、距上一次交易时间间隔)、位置(交易距离、开户位置、交易位置等)、交易设备等。

本发明中，所述步骤(4)使用多头自注意力机制中获得去获取不同交叉特征之间的相关性，学习来自不同树的交叉特征的贡献权重，具体步骤包括：

步骤(4.1)：不同的交叉特征可能关注了不同的规则信息，具有的重要性不同，他们之间存在一些潜在相互作用可以揭示特定的非法行为模式。因此对基于上述方法生成的规则嵌入矩阵进行自我注意力机制来学习规则嵌入之间的相互作用。用放缩点积得到注意力分数，

其中Q，K，V是自注意力中的查询、键和值，d_k是K的维度。

步骤(4.2)：由于Q,K,V不同时的效果优于Q,K,V相同时的效果，将步骤(3)得到的规则嵌入矩阵使用不同的前馈神经网络作为输入投影到不同的新的矩阵，将新的矩阵作为放缩点积注意力的输入，将原始的计算公式变换为

E^q＝F₁(E)，E^k＝F₂(E)，E^v＝F₃(E)，其中F₁,F₂,F₃表示三个要学习的前馈神经网络，<,>表示点积，d为矩阵维度；使用三个不同的前馈网络的效果优于只使用单个神经网络。

步骤(4.3)：为了实现不同角度的规则嵌入的相互作用，利用多头自注意力机制，通过h个不同角度的线性变换对E^q,E^k,E^v进行投影，将不同的放缩点积注意力结果拼接，

其中，每个head表示每个单一角度的放缩点积注意力

其中

W^o是可学习的权重参数。最终得到的多头感知规则嵌入矩阵用

表示。

本发明中，所述步骤(5)中，所述重要条件特征包括但不限于：用户ID以及物品(产品类型、产品代码等)、金额、时间(交易时间，开户时间、距上一次交易时间间隔)、位置(交易距离、开户位置、交易位置等)、交易设备等，所述重要条件特征根据交易数据包含的实际特征选取，并对其进行特定的嵌入表示，t＝W^cc，其中c是任意的一个特征，W^c是转换权重矩阵，使得

与交易决策规则维度保持一致，用于计算注意力系数，便于与规则融合。

考虑用户和时空等信息的重要性，建模交叉特征、时空信息之间关于给定交易的交互，得到最终的交易表示用于预测，步骤(5)的具体步骤包括：

步骤(5.1)：有非法交易的用户往往可能会再次出现非法交易行为，同时交易时间和位置信息异常时，欺诈行为更有可能会发生，所以模型用注意力网络建模交易特征的规则和用户、时空等信息的交互关系。给定规则嵌入向量

以及用户嵌入表示

和时空特征嵌入表示

(时空特征可以根据不同数据集替换为其他重要条件特征)，生成规则e_i在某个特定用户u和时空特征嵌入表示t(t₁,t₂,…)下注意力系数v_i＝V^Tφ(W[u·t]+W^ee_i+b)，用于反映特定条件下欺诈行为重要性，其中W，W^e是可学习的权重矩阵，b是可训练偏置，φ是ReLU激活函数，u,t是用户和特定条件特征的嵌入表示，当其为新的未知值时设置为零，

是隐向量，并对其转置，用于将结果投影到一个标量权重上；再通过softmax函数计算归一化注意力分数

M表示所有叶子节点个数，v_i是规则e_i注意力系数。

步骤(5.2)：使用步骤(5.1)所得注意力权重聚合规则嵌入向量，得到新的交易的表示为

其中，M表示所有叶子节点个数，α_i表示归一化后的规则e_i的注意力分数，e_i表示交叉特征的规则。

步骤(5.3)：最后将规则嵌入向量e_i，以及用户嵌入表示u和时空特征嵌入表示t(t₁,t₂,…)与步骤(5.2)产生的交易表示融合，与一个隐藏层连接，生成最终融合的交易表示

其中W^f是一个可学习矩阵，φ是激活函数。

本发明中，所述步骤(6)做二分类任务，设定损失函数，优化目标函数，并设定阈值来区分正常和非法交易，具体步骤包括：

步骤(6.1)：输出层预测交易的欺诈分数，

其中σ表示sigmoid激活函数，

是隐藏向量，对其转置，

表示最终融合的交易表示，

表示可训练偏置。最小化其交叉熵损失函数

最终目标函数的表示形式为L_f＝L+λ||Θ||₂，其中S表示训练样本的数量，y表示真实标签值，

表示预测结果，Θ是所有模型可学习参数，λ||Θ||₂表示L2正则化，L表示交叉熵损失函数。采用Adam更新规则，通过小批量随机梯度下降优化目标函数，训练该模型，通过调整欺诈分数阈值来判定交易是否为欺诈交易，所述阈值可以根据不同交易数据欺诈交易比例进行选择，通过验证集计算AUC值，数值最高的分割阈值作为最佳阈值，用于测试以适应不同的交易数据，也可以根据经验或数据集比例自由选择；根据模型判定的欺诈交易，根据其交易特征值和学习到的规则信息，以及注意力分数来解释交易欺诈的模式。

本发明还提供了一种实现上述交易欺诈检测方法的系统，所述系统包括：交易预测模块，交易预测结果展示模块；

所述交易预测模块的功能是利用历史的交易数据对新的交易数据进行欺诈检测；

所述交易预测结果展示模块用于展示新交易中预测出高风险交易的详细数据，并根据预测分数推荐决策，提交人工处理。

本发明与现有技术相比的有益效果包括：提出一种基于规则注意力机制的交易欺诈方法，使用基于树的方法提取规则，并对提取规则运用注意力机制，考虑规则之间的相互作用表示的潜在欺诈模式，以及和用户、时空等重要特征交互，可以提高预测性能的同时增强了预测结果的可解释性。

附图说明

图1为本发明基于规则注意力机制的交易欺诈检测方法的流程图。

图2为基于决策树生成的规则表示。

图3为方法的整体结构图。

图4为自注意力机制中使用单个网络和不同网络的效果对比。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明提出了一种基于规则注意力机制的交易欺诈检测方法，该方法包括：对数据做清洗和预处理等操作；基于树的模型对潜在交易模式进行学习生成交易决策规则信息，增强方法的可解释性；对生成的交叉特征进行编码和嵌入表示，增强模型灵活性；利用多头自注意力机制捕捉交易之间的交互，挖掘更深层次的交易欺诈模式；利用注意力网络，关注特定条件下不同规则的重要性，学习特定特征条件及交易决策规则之间的交互；通过激活函数对最终的交易表示进行欺诈分数的计算。

如图1所示，本发明提出的基于规则注意力机制的交易欺诈检测方法，包括以下步骤：

(1)对收集的数据进行清洗、归一化等预处理操作，做相关性分析，并对数据进行降维处理，去除冗余特征变量；

(2)训练基于决策树的XGBoost模型用于学习交易模式，生成交易的决策规则表示；

(3)将规则表示进行投影到一个可学习的规则密集嵌入矩阵；

(4)使用多头自注意力机制获得不同交叉特征之间的相关性，对得到的规则嵌入矩阵做规则之间的交互建模，挖掘规则之间潜在的欺诈模式；

(5)引入注意力网络学习规则嵌入在其他重要交易特征条件下的注意力分数，将所得注意力权重聚合规则嵌入向量得到新的交易表示，将其与其他重要特征如用户等特征向量的嵌入表示相融合，得到最终的交易表示，学习特定特征及交易决策规则之间的交互。

(6)将交易的最终表示输入到输出层计算交易的欺诈分数，训练该模型，训练轮次达到预设值或达到早停条件后停止训练，并设定阈值来区分正常和非法交易，当欺诈分数达到阈值时判定为欺诈。

实施例

如图1是本发明提出的基于规则注意力机制的交易欺诈检测方法的流程图。本发明实施例将获取到的数据信息进行预处理后，训练XGBoost模型学习交易欺诈规则，将其用multi-hot编码表示，并投影到一个可学习的规则嵌入矩阵来降低数据维度，同时增强其灵活性及可扩展性。对得到交易嵌入表示使用自注意力机制和注意力网络学习规则之间的交互和其与用户ID、时间、位置特征的交互，得到之后最终的交易表示，输入到sigmoid激活函数计算欺诈分数。

步骤(1)的具体步骤包括：

步骤(1.1)：实施例交易信息数据来源于某电子支付平台，数据包含了81天共59万条交易记录，对数据进行缺失值处理、重复项清理、归一化处理、类别编码等标准的数据清洗操作。

步骤(1.2)：对清洗过后的交易信息数据降低维度，去除冗余特征变量。对于某个特征变量数据间方差过小，接近0时，表示该特征变量包含信息量较少，设定某个阈值，当方差小于该阈值时，丢弃该特征变量。如果两个特征变量之间的相关性较高，且变化趋势相同，说明两个变量所包含的信息也可能是相似的。计算交易数据集中的各变量之间的相关性，当特征之间的相关性高时，保留其中一个变量。由于得到的交易数据经过了脱敏处理，不含有具体的卡号信息，因此对数据集进行分析，可以聚合卡号部分信息、发卡时间和地点表示用户用于后续训练过程，由此得到交易数据特征向量表示

k是特征维度。

步骤(2)的具体步骤包括：

步骤(2.1)：使用训练决策树来表示一定的规则，将所得预处理交易数据输入到一棵决策树T＝{V,E}，其中V表示树的节点，E表示连接路径的边。生长回归决策树的规则：首先构建根节点，选择一个最优特征作为当前节点的分割标准，使得各个子集在当前状态下的样本标签属于同一个类别的概率最大化，使用贪心法选择最优切分点分割该节点上的数据集，使得各个子集在当前状态下都有最好的分类，从上至下递归生成叶子节点，直到节点上的数据基本被正确分类则停止决策树生长。

如图3所示，决策树示例的叶节点表示一定的切分规则，如l₁表示“(x₃<a₃)∧(x₅<a₅)”是二阶特征交互，l₂表示“(x₃<a₃)∧(x₅≥a₅)∧(x₂＝a₂)”是三阶特征交互。

步骤(2.2)：使用极限梯度提升(XGBoost)算法，将步骤(2.1)所述决策树作为弱学习器，迭代多棵决策树形成XGBoost，第一棵树由步骤(2.1)生成，其余每一颗树是由前一颗树结果和真实结果的残差作为拟合目标，在残差下降的梯度方向上迭代构建新的树。将特征向量x作为输入，根据XGBoost生成的树的节点表示的切分规则进行划分，最终落入树的一个叶节点，该激活叶节点表示一个交叉特征。将交叉特征用one-hot编码表示

其中

表示i棵树的第n个叶节点，当叶节点激活时用1表示，未激活用0表示，得到一棵树的交叉特征表示。将所有的编码表示连接得到multi-hot交叉特征Ru＝[l₁,l₂,…,l_M]，M表示所有叶子节点个数。

如图2所示，是一个简单模型，第一棵树的编码表示为r₁＝[0,1,0]，连接所有的树编码表示得到Ru＝[0,1,0,…,0,0,1,1,0,0]。

实际使用XGBoost模型的参数设置：树的数量为500，每棵树深度为7，学习率0.05，可以实际情况调整。

步骤(3)的具体步骤包括：

使用的嵌入层来降低数据的维度，同时学习两个交叉特征之间的潜在相关性。将步骤(2)得到的规则编码中的元素投影到一个稠密嵌入向量上

其中d是维度，构造一个规则嵌入矩阵

E＝f([l₁e₁,l₂e₂,…,l_Me_M])，其中f(X)表示移除矩阵X的零行向量，即仅保留激活的叶子节点规则，降低维度至N×d，N为树数量，d设置为12，向量e_i非静态向量，可更新。

步骤(4)的具体步骤包括：

步骤(4.1)：学习不同规则之间存在一些潜在相互作用可以揭示特定的非法行为模式。对步骤(3)生成的规则嵌入矩阵进行自我注意力机制来学习规则嵌入之间的相互作用。用放缩点积得到注意力分数，

E^q＝F₁(E)，E^k＝F₂(E)，E^v＝F₃(E)，其中F₁,F₂,F₃表示三个要学习的前馈神经网络，将E投影到三个不同的矩阵，<,>表示点积，d为矩阵维度。

如图4所示，所述自注意力机制中使用相同网络(F-same)和不同网络(Ours)的精准率、F1分数和AUC(ROC曲线下面积)三个评价指标上的实验结果，可见使用不同网络的方法均优于使用单一网络的效果，在精准率上提高了2.2％，在F1-score上提高了3.8％，在AUC上提高了2.6％，因此使用三个不同的前馈网络能提升该方法的预测结果。

步骤(4.2)：利用多头机制实现不同角度的规则嵌入的相互作用。通过h个不同的线性变换对E^q,E^k,E^v进行投影，每个角度的放缩点积注意力

其中

是可学习的权重参数。将其拼接得到的多头感知规则嵌入矩阵用

表示，

W^o是可学习的权重参数，h是头数，设置为4。

步骤(5)的具体步骤包括：

步骤(5.1)：用注意力网络建模交易特征的规则和用户、时空信息的交互关系。给定规则嵌入向量

以及用户嵌入表示

时间特征嵌入表示

和位置特征表示

其中维度d设置为12，生成一个注意力权重α_i，来反映交叉特征表示的规则e_i在某个特定用户u、时间t₁和空间t₂条件下的交易欺诈行为重要性，得到注意力系数v_i＝V^TReLU(W[u·t₁·t₂]+W^ee_i+b)，其中W，W^e是可学习的权重矩阵，b是可训练偏置，u,t₁,t₂是用户、时间、位置信息的嵌入表示，当其为未出现过的新值时设置为零，

是隐向量，并对其转置，用于将结果投影到一个标量权重上；再使用softmax函数得到归一化注意力分数

其中M表示所有叶子节点个数。

步骤(5.2)：使用步骤(5.1)所得注意力权重聚合交规则嵌入向量，得到新的交易的表示为

其中，M表示所有叶子节点个数，α_i表示归一化后的规则e_i的注意力分数，e_i表示交叉特征的规则。

步骤(5.3)：最后将规则嵌入向量e_i，以及用户嵌入表示u和时间特征嵌入表示t₁和位置特征表示t₂与交易表示

融合，将这四个向量与一个隐藏层连接，生成最终融合的交易表示

其中W^f是一个可学习矩阵，激活函数为ReLU函数。

步骤(6)的具体步骤包括：

步骤(6.1)：输出层预测交易的欺诈分数

σ为sigmoid激活函数，

是隐藏向量。最小化其交叉熵损失函数

其中S表示训练样本的数量，y表示真实标签值，

表示预测结果。最终目标函数的表示形式为L_f＝L+λ||Θ||₂，其中Θ是所有模型可学习参数，λ||Θ||₂表示L2正则化，正则化参数λ设置为0.01，L表示交叉熵通过小批量随机梯度下降优化目标函数，batch-size设置256，学习率0.01，epoch设置为5，训练该模型；通过验证集计算AUC值，从[0,1]区间内找到使得AUC值最大的划分阈值，当交易计算得到的欺诈分数大于阈值时判定为欺诈；用验证集保存最佳模型。测试数据输入模型后给出交易的欺诈分数，大于设定阈值时判定为欺诈交易。

根据模型判定的欺诈交易，可以反观其交易特征值和学习到的规则信息，以及注意力分数来解释交易欺诈的模式。

本发明的保护内容不局限于以上实施例。在不背离本发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (10)

1.一种基于规则注意力机制的交易欺诈检测方法，其特征在于，包括以下步骤：

步骤(1)：对收集的交易信息数据进行数据清洗的预处理操作，做相关性分析，并对数据进行降维处理，去除冗余特征变量；

步骤(2)：训练基于决策树的XGBoost模型用于学习交易模式，生成交易的决策规则表示；

步骤(3)：将规则表示投影到一个可学习的规则密集嵌入矩阵；

步骤(4)：使用多头自注意力机制获得不同交叉特征之间的相关性，对得到的规则嵌入矩阵做规则之间的交互建模，挖掘规则之间更深层次的交易欺诈模式；

步骤(5)：引入注意力网络学习规则嵌入在其他重要条件特征下的注意力分数，将所得注意力权重聚合规则嵌入向量得到新的交易表示，将其与这些重要条件特征向量的嵌入表示相融合，得到最终的交易表示，学习特定特征及交易决策规则之间的交互；

步骤(6)：将交易的最终表示输入到输出层计算交易的欺诈分数，训练该模型，训练轮次达到预设值或达到早停条件后停止训练，并设定阈值来区分正常和非法交易，当欺诈分数达到阈值时判定为欺诈。

2.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，所述检测方法中利用了基于树的模型对潜在交易模式进行学习生成交易决策规则信息；对生成的交叉特征进行编码和嵌入表示，增强模型灵活性；利用多头自注意力机制捕捉交易之间的交互，挖掘更深层次的交易欺诈模式；利用注意力网络，关注特定条件下不同规则的重要性，学习特定特征条件及交易决策规则之间的交互；通过激活函数对最终的交易表示进行欺诈分数的计算。

3.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，步骤(1)中，所述预处理操作包括对数据进行缺失值处理、重复项清理、类型转换、语法错误检查、归一化处理；降低数据维度，去除冗余特征变量，最后获得交易数据特征向量表示

其中k是特征维度，并将数据集按6:2:2比例划分为训练集、验证集和测试集。

4.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，所述步骤(2)的具体步骤包括：

步骤(2.1)：通过训练回归决策树生长来获得决策路径，每一个决策路径都是多个特征的范围组合在一起的交叉特征，表示决策规则；

所述生长回归决策树的构建规则为：首先构建根节点，将所有的数据放在根节点，选择一个最优特征以及最优切分点分割该节点上的数据集，使得各个子集在当前状态下的样本标签属于同一个类别的概率最大化，从上至下递归生成叶子节点，直到节点上的数据被正确分类则停止决策树生长；每一个节点在决策空间中分割特征，每一个叶子节点表示一种规则；将特征向量x作为输入，根据树的切分规则进行划分，落入一个叶子节点，该激活叶子节点表示一个交叉特征规则；将所述交叉特征用one-hot编码表示r_i＝[l₁,l₂,...,l_n,...]，其中l_n表示树的第n个叶子节点，

得到一棵树的交叉特征表示；

步骤(2.2)：使用极限梯度提升XGBoost算法，将步骤(2.1)所述决策树作为弱学习器，使用boosting集成为强学习器；迭代多棵决策树形成XGBoost，第一棵树由步骤(2.1)生成，其余每一颗树是由前一颗树结果和真实结果的残差作为拟合目标，在残差下降的梯度方向上构建新的树，方式与步骤(2.1)相同，生成的决策树数量等于迭代次数；使用交易数据对XGBoost模型预训练，得到多棵树组成的森林来获得高阶交叉特征；每棵树根据步骤(2.1)都会得到一个交叉特征表示，将其连接得到multi-hot交叉特征Ru＝[r₁,r₂,...,r_N]＝[l₁,l₂,...,l_M]，其中N表示树的棵树，M表示所有叶子节点个数。

5.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，所述步骤(3)的具体步骤包括：

学习得到的交叉特征是高纬稀疏的，使用嵌入层来降低数据的维度，同时学习交叉特征之间的潜在相关性；将每一个组合特征的元素投影到一个稠密嵌入向量上

其中d是维度，e_i是可学习的，并加入额外信息增强模型的灵活性以适应不同平台采集的交易数据的差异；所述额外信息因数据集而异，包括用户ID、交易物品、金额、时间、位置、交易设备；

给定XGBoost得到的multi-hot交叉特征Ru，收集每一个one-hot交叉特征的嵌入向量e_i，构造规则嵌入矩阵

E＝f([l₁e₁,l₂e₂,...,l_Me_M])，其中f(X)表示移除矩阵X的零行向量。

6.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，所述步骤(4)的具体步骤包括：

步骤(4.1)：对步骤(3)生成的规则嵌入矩阵进行自我注意力机制来学习规则嵌入之间的相互作用，来揭示潜在的非法行为模式：

用放缩点积得到注意力分数，

其中Q，K，V是自注意力中的查询、键和值，d_k是K的维度；由于Q,K,V不同时的效果优于Q,K,V相同时的效果，将步骤(3)得到的规则嵌入矩阵使用不同的前馈神经网络投影到不同的新的矩阵，将新的矩阵作为放缩点积注意力的输入，将原始的计算公式变换为

E^q＝F₁(E)，E^k＝F₂(E)，E^v＝F₃(E)，其中F₁,F₂,F₃表示三个要学习的前馈神经网络，<,>表示点积，d为矩阵维度；

步骤(4.2)：为了实现不同角度的规则嵌入的相互作用，利用多头自注意力机制，通过h个不同角度的线性变换对E^q,E^k,E^v进行投影，每个角度的放缩点积注意力

其中

是可学习的权重参数；将h个不同的放缩点积注意力结果拼接，得到的多头感知规则嵌入矩阵

其中W^o是可学习的权重参数。

7.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，步骤(5)中，所述重要条件特征包括：用户ID以及物品、金额、时间、位置、交易设备，所述重要条件特征根据交易数据包含的实际特征选取，并对其进行特定的嵌入表示，t＝W^cc，其中c是任意的一个特征，W^c是转换权重矩阵，使得

与交易决策规则维度保持一致，用于计算注意力系数，便于与规则融合。

8.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，所述步骤(5)的具体步骤包括：

步骤(5.1)：给定规则嵌入向量

用户嵌入表示

和其他重要条件特征嵌入表示

生成规则e_i在某个特定用户u和特定条件特征嵌入t(t₁,t₂,...)下注意力系数v_i＝V^Tφ(W[u·t]+W^ee_i+b)，用于反映特定条件下欺诈行为重要性，其中W，W^e是可学习的权重矩阵，b是可训练偏置，φ是ReLU激活函数，u,t是用户和特定条件特征的嵌入表示，当其为新的未知值时设置为零，

是隐向量，并对其转置，用于将结果投影到一个标量权重上；再通过softmax函数计算归一化注意力分数

M表示所有叶子节点个数，v_i是规则e_i注意力系数。

步骤(5.2)：用步骤(5.1)所得注意力权重聚合规则嵌入向量，得到新的交易的表示为

其中M表示所有叶子节点个数，α_i表示归一化后的规则e_i的注意力分数，e_i表示交叉特征的规则；

步骤(5.3)：将规则嵌入向量e_i，以及用户嵌入表示u和条件特征嵌入表示t(t₁,t₂,...)与步骤(5.2)产生的交易表示融合，与一个隐藏层连接，生成最终融合的交易表示

其中W^f是一个可学习矩阵，φ是激活函数。

9.根据权利要求1所述的基于规则注意力机制的交易欺诈检测方法，其特征在于，所述步骤(6)的具体步骤包括：

计算交易的欺诈分数

σ表示sigmoid激活函数，

是隐向量，并对其转置，

是最终融合的交易表示，

表示可训练偏置；最小化其交叉熵损失函数

最终目标函数为L_f＝L+λ||Θ||₂，其中S表示训练样本的数量，y表示真实标签值，

表示预测结果，Θ是所有可学习参数，λ||Θ||₂表示L2正则化，L表示交叉熵损失函数；采用Adam更新规则，通过小批量随机梯度下降优化目标函数，训练该模型，通过调整欺诈分数阈值来判定交易是否为欺诈交易；所述阈值因不同交易数据进行调整，通过验证集计算AUC值，数值最高的分割阈值，作为最佳阈值用于测试以适应不同的交易数据，或根据经验或者数据集比例自由选择；根据模型判定的欺诈交易，根据其交易特征值和学习到的规则信息，以及注意力分数来解释交易欺诈的模式。

10.一种实现如1-9之任一项所述检测方法的系统，所述系统包括：交易预测模块，交易预测结果展示模块；

所述交易预测模块的功能是利用历史的交易数据对新的交易数据进行欺诈检测；

所述交易预测结果展示模块用于展示新交易中预测出高风险交易的详细数据，并根据预测分数推荐决策，提交人工处理。

Images