CN112396160A - 基于图神经网络的交易欺诈检测方法及系统 - Google Patents
基于图神经网络的交易欺诈检测方法及系统 Download PDFInfo
- Publication number
- CN112396160A CN112396160A CN202011203297.3A CN202011203297A CN112396160A CN 112396160 A CN112396160 A CN 112396160A CN 202011203297 A CN202011203297 A CN 202011203297A CN 112396160 A CN112396160 A CN 112396160A
- Authority
- CN
- China
- Prior art keywords
- transaction
- graph
- behavior
- fraud detection
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 36
- 230000006399 behavior Effects 0.000 claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 230000002776 aggregation Effects 0.000 claims abstract description 30
- 238000004220 aggregation Methods 0.000 claims abstract description 30
- 230000007787 long-term memory Effects 0.000 claims abstract description 9
- 230000006403 short-term memory Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 92
- 230000003595 spectral effect Effects 0.000 claims description 73
- 238000002372 labelling Methods 0.000 claims description 39
- 238000001228 spectrum Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 8
- 230000007547 defect Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000003064 k means clustering Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011049 filling Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 241000209202 Bromus secalinus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Discrete Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Technology Law (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出的一种基于图神经网络的交易欺诈检测方法及系统,包括以下步骤:交易数据预处理步骤,获取交易数据并对交易数据进行预处理,获得面板形式的交易样本集;交易行为历史特征提取步骤,对交易样本集进行长短期记忆网络处理,获得交易行为历史特征;交易行为聚合特征提取步骤,对交易历史行为特征进行图卷积网络处理,获得交易行为聚合特征;预测步骤,将交易行为历史特征以及交易行为聚合特征进行全连接层处理,通过二分类进行交易节点的欺诈预测。克服了传统的交易欺诈检测方法忽略数据之间本身就存在的联系以及交易行为是时间序列数据的缺陷,确保了交易欺诈检测的全面性,并且提高了交易欺诈检测的精确性。
Description
技术领域
本发明涉及金融技术领域,特别是涉及一种基于图神经网络的交易欺诈检测方法及系统。
背景技术
大数据时代下线上交易变得越来越频繁,其中不乏一些恶意攻击、钓鱼等方式的违法交易,因此在交易成为违法交易前需要根据交易的特征将其检测出来,防止产生巨额损失。
交易数据指众多交易账户之间发生的有向交易,由于骗局、恶意软件等的存在,导致交易网络中出现部分欺诈交易,并且这些数据是时间序列数据,指交易一段时间内的行为序列,因此我们需要将非法交易和合法交易进行分类以检测出交易欺诈。
传统的检测方法采用机器学习方法或者时间序列分类方法,但是这样的方法一方面忽略了这类数据之间本身就存在联系:交易是网络上的节点,如果发生交易则说明两个节点之间有联系;另一方面忽视了交易行为是时间序列数据,这些缺陷将在很大程度上影响检测的全面性以及精确性。
发明内容
基于此,有必要针对传统的交易欺诈检测方法忽略了数据之间本身就存在的联系以及交易行为是时间序列数据的特点,从而导致检测全面性差、精确性低的技术问题,本发明提出了一种基于图神经网络的交易欺诈检测方法及系统。
本发明提出了一实施方式的基于图神经网络的交易欺诈检测方法,包括以下步骤:
交易数据预处理步骤,获取交易数据并对所述交易数据进行预处理,获得面板形式的交易样本集;
交易行为历史特征提取步骤,对所述交易样本集进行长短期记忆网络处理,获得交易行为历史特征;
交易行为聚合特征提取步骤,对所述交易历史行为特征进行图卷积网络处理,获得交易行为聚合特征;
预测步骤,将所述交易行为历史特征以及所述交易行为聚合特征进行全连接层处理,通过二分类进行交易节点的欺诈预测。
在其中的一个实施例中,在所述交易数据预处理步骤中,所述预处理包括以下子步骤:
获取所述交易数据的本地交易节点特征;
获取所述交易数据的交易节点汇总特征;
获取所述交易数据的交易节点子图谱信息。
在其中的一个实施例中,在交易行为历史特征提取步骤之前,还包括以下步骤:
谱聚类样本标注步骤,对所述交易样本集进行谱聚类样本标注处理,获得谱聚类交易样本集。
在其中的一个实施例中,在所述谱聚类样本标注步骤中,谱聚类样本标注处理包括以下子步骤:
构建交易样本集的谱矩阵;
将所述谱矩阵进行特征值分解为特征矩阵;
对所述特征矩阵进行聚类。
在其中的一个实施例中,在所述交易行为聚合特征提取步骤中,所述图卷积网络处理包括以下子步骤:
获取所述交易行为历史特征的邻接矩阵;
将所述邻接矩阵输入到2至4层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
本发明提出的一种基于图神经网络的交易欺诈检测系统,所述基于图神经网络的交易欺诈检测系统包括以下模块:
交易数据预处理模块,所述交易数据预处理模块用于获取交易数据并对所述交易数据进行预处理,获得面板形式的交易样本集;
交易行为历史特征提取模块,所述交易行为历史特征提取模块用于对所述交易样本集进行长短期记忆网络处理,获得交易行为历史特征;
交易行为聚合特征提取模块,所述交易行为聚合特征提取模块用于对所述交易历史行为特征进行图卷积网络处理,获得交易行为聚合特征;
预测模块,所述预测模块用于将所述交易行为历史特征以及所述交易行为聚合特征进行全连接层处理,通过二分类进行交易节点的欺诈预测。
在其中的一个实施例中,在所述交易数据预处理模块中,所述预处理包括以下子步骤:
获取所述交易数据的本地交易节点特征;
获取所述交易数据的交易节点汇总特征;
获取所述交易数据的交易节点子图谱信息。
在其中的一个实施例中,所述基于图神经网络的交易欺诈检测系统还包括谱聚类样本标注模块,所述谱聚类样本标注模块用于对所述交易样本集进行谱聚类样本标注处理,获得谱聚类交易样本集。
在其中的一个实施例中,在所述谱聚类样本标注模块中,谱聚类样本标注处理包括以下子步骤:
构建交易样本集的谱矩阵;
将所述谱矩阵进行特征值分解为特征矩阵;
对所述特征矩阵进行聚类。
在其中的一个实施例中,在所述交易行为聚合特征提取模块中,所述图卷积网络处理包括以下子步骤:
获取所述交易行为历史特征的邻接矩阵;
将所述邻接矩阵输入到2至4层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
上述基于图神经网络的交易欺诈检测方法及系统,通过交易行为历史特征提取以及交易行为聚合特征提取,进而通过全连接层处理,克服了传统的交易欺诈检测方法忽略数据之间本身就存在的联系以及交易行为是时间序列数据的缺陷,确保了交易欺诈检测的全面性,并且提高了交易欺诈检测的精确性。
附图说明
为了更清晰地说明本发明实施例与所设计的系统架构中的技术方案,下面结合附图对系统实施例与系统架构和技术方案中所需要的使用的附图进行简单介绍,显而易见,下面描述的附图仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于图神经网络的交易欺诈检测方法流程图;
图2为本发明基于图神经网络的交易欺诈检测方法中交易数据预处理步骤流程图;
图3本发明基于图神经网络的交易欺诈检测方法中交易数据预处理后本地交易节点特征 (交易费用)的时间变化曲线;
图4本发明基于图神经网络的交易欺诈检测方法中交易数据预处理后交易节点的汇总特征(本地交易节点与其所述有邻居交易节点的交易费用中的最大值)的时间变化曲线;
图5比特币交易数据中被标记为非法交易的交易数据形成的非法交易图;
图6比特币交易数据中被标记为合法交易的交易数据形成的合法交易图;
图7本发明基于图神经网络的交易欺诈检测方法中谱聚类样本标注与二分类真实分布的效果对比图;
图8本发明基于图神经网络的交易欺诈检测方法中并行化构建距离矩阵流程图;
图9为本发明一实施例的基于图神经网络的交易欺诈检测系统结构图;
图10为本发明基于图神经网络的交易欺诈检测系统数据流向图。
具体实施方式
应当指明,以下详细说明的内容都是示例性的,目的是对本发明的内容进行指示性的说明,需要注意的是,本发明使用的所有技术和科学术语具有与发明所属技术领域的普通技术人员通常理解的相同含义。
下面将结合本发明实施例中的附图说明,对本发明实施例中的系统架构与现有技术中的解决方案进行清晰、完整的描述,需要注意的是,所描述的实施例仅是为了对本发明进行解释与说明,而不是全部的内容。在本发明所提供的实施例的基础上,本领域内的普通技术人员在没有做出创造性劳动的前提下所得到的其他所有实施例,都在本发明申请的保护范围之内。
在本发明的下述实施例中,以针对比特币(Bitcoin,BTC)这种数字货币交易欺诈检测为例对本发明的基于图神经网络的交易欺诈检测方法及系统进行详细的说明。需要说明的是,本发明的基于图神经网络的交易欺诈检测方法及系统也可以用于其他交易数据的欺诈检测中,例如数字货币交易数据、交通数据以及股票数据等。
请参阅图1所示,本发明提出的基于图神经网络的交易欺诈检测方法,包括以下步骤:
S100,交易数据预处理步骤,获取交易数据并对交易数据进行预处理,获得面板形式的交易样本集;
S300,交易行为历史特征提取步骤,对交易样本集进行长短期记忆网络处理,获得交易行为历史特征;
S400,交易行为聚合特征提取步骤,对交易历史行为特征进行图卷积网络处理,获得交易行为聚合特征;
S500,预测步骤,将交易行为历史特征以及交易行为聚合特征进行全连接层处理,通过二分类进行交易节点的欺诈预测。
上述基于图神经网络的交易欺诈检测方法,通过交易行为历史特征提取以及交易行为聚合特征提取,进而通过全连接层处理,克服了传统的交易欺诈检测方法忽略数据之间本身就存在的联系以及交易行为是时间序列数据的缺陷,确保了交易欺诈检测的全面性,并且提高了交易欺诈检测的精确性。
在上述实施例中,交易数据预处理步骤主要用于收集和预处理交易欺诈检测所需要的交易数据,使预处理后的交易样本集形成面板形式且具有交易节点和交易节点之间联系,交易样本之间构成了一张动态变化的交易流向图。
作为一种可选实施方式,请参阅图2所示,通过预处理获取各个时间步长下的交易特征,预处理包括以下子步骤:
S110,获取交易数据的本地交易节点特征;
S120,获取交易数据的交易节点汇总特征;
S130,获取交易数据的交易节点子图谱信息。
在上述交易数据预处理步骤中,不仅获取了本地交易节点特征,而且获取了交易节点汇总特征以及交易节点子图谱信息,检测对象包括交易行为与交易行为之间本身就存在的联系,能够使检测结果更为精确。
在本实施中,采用的比特币真实交易数据是一个从比特币区块链中收集的交易图。交易图的数据描述如下:图中的一个节点代表了一笔交易,边可以看作是一个交易和另一个交易之间的比特币流向。由203769个节点和234355条边组成。其中,2%的节点被标记为非法节点,21%的节点被标记为合法交易节点,其余的交易没有标记。
在交易数据中,每个交易节点会和时间信息相关联,这里的时间信息指的是比特币网络确认交易时的估计时间。在本实施例中考虑时间信息,则将约2周为时间间隔划分成49个不同的时间步长,大约两年的比特币交易数据。在每个时间步长上,都包含一个连通分量,它们之间的相互交易在区块链上出现的时间间隔小于3个小时,也不会存在于其他时间步长中的交易节点相连接的边,这里的时间间隔时长可以修改为其他合理的取值。以下详细讲解各个时间步长的各种交易特征。
步骤S110中的本地交易节点特征代表本地交易节点的交易数据,比如时间步长、输入交易数量(节点入度)、输出交易数量(节点出度)、交易费用、输出量以及衍生统计特征。其中,衍生统计特征指的是邻居节点的一些均值特征,比如,输入交易数量平均收到的BTC费用、输出交易数量平均收到的BTC费用、输入交易数量平均花费的BTC费用、输出交易数量平均花费的BTC费用、与输入交易数量相关的输入/输出交易的平均数量(输入关联交易的平均数量)、与输出交易数量相关的输入/输出交易的平均数量(输出关联交易的平均数量) 等。
步骤S120中的交易节点的汇总特征是通过本地交易节点向前和/或向后一跳(one-hop)的邻居交易节点的本地交易节点特征获得的,即对本地交易节点的所有邻居交易节点的通过步骤S100获得的同一本地交易节点特征数据进行处理,求它们中的最大值、最小值、中位数、众数、标准差、全距和相关系数等这些描述性统计特征作为交易节点的汇总特征。
步骤S130是为了获得一个交易节点局部的拓扑信息,是通过计算以本地交易节点为中心向外辐射适宜层数的所有交易节点构成图的谱信息获得的,在本实施例中是通过计算以本地交易节点为中心向外辐射2层的所有交易节点构成图的谱信息获得的,即以得到的拉普拉斯矩阵L′=D′WD′特征值作为额外的特征——交易节点子图谱信息,这在频域上体现了图的拓扑信息,若特征值相似,则说明本交易节点所在的子图拓扑结构更为相似。
在本实施例中,交易图的节点特征描述如下:时间步长是2周,一共49步。前93个节点特征为本地交易节点特征,是本地交易节点自身特征和交易数据,包括时间步长、输入交易数量(节点入度)、输出交易数量(节点出度)、交易费用、输出量以及衍生统计特征。后 72个节点特征为交易节点的汇总特征,使用从本地(中心)交易节点向后和/或向后一跳的邻居交易节点获得的同一特征参数(某一本地交易节点特征)中的最大值、最小值、中位数、众数、标准差、全距以及相关系数。
经过S100交易数据预处理步骤后,绘制图3以及图4以观察交易数据预处理后交易特征随时间的变化曲线。其中,图3为某一本地交易节点特征(如交易费用)的时间变化曲线,图4为交易节点的汇总特征(如本地交易节点与其所述有邻居交易节点的交易费用中的最大值)的时间变化曲线。图中显示了三类节点在两个不同属性(本地交易节点特征和交易节点的汇总特征)上随时间变化的情况,可以看到举例的这两个属性可以较好的区分合法交易节点(图中下部较为平稳的曲线)和非法交易节点(图中上部较为曲折的曲线),其中合法交易节点的属性曲线在图像最下方随时间变化较为稳定,而非法交易节点在图像上方随着时间的变化曲线较为陡峭。
在上述实施例中,完成步骤S100交易数据预处理步骤后,当已知分类的交易样本量足够时,可直接进行步骤S300交易行为历史特征提取。但是当已知分类的交易样本量较少时,无法精确地进行交易欺诈检测时,则需要进一步进行谱聚类样本标注,对未标记的交易节点进行标注,以避免样本量过少的情况。
作为一种可选实施方式,在交易行为历史特征提取步骤之前,还包括以下步骤:
S200,谱聚类样本标注步骤,对交易样本集进行谱聚类样本标注处理,获得谱聚类交易样本集。
在上述交易样本集中,由203769个节点和234355条边组成。其中,2%的交易节点被标记为非法交易节点,21%的交易节点被标记为合法交易节点,其余的交易节点没有标记,即有77%的交易节点没有被标记。由于交易数据的部分样本-交易节点的分类是未知的,本发明采用谱聚类无监督的方法对这些交易节点进行分类,将未知交易节点的标签学习出来,以增加样本量,将其作为可用数据进行后续的训练。可选的,由于需要学习的样本量较大,宜采用并行化谱聚类的方式进行。
在该实施方式中,使用谱聚类进行样本标注未标记的节点,谱聚类能够克服了K-means 聚类受数据形状的影响的缺陷,是一种全局最优的聚类方法。谱聚类的主要思路是将数据看作n维空间中的点,如图5和图6所示,分别为比特币交易数据中的被标记为非法交易的交易数据形成的非法交易图以及被标记为合法交易的交易数据形成的合法交易图。点与点之间若存在一定的相似性则用边连接起来,通过切割上述点组成的图将其分为多个子图来达到聚类的目的,即子图内权重值之和尽可能高,子图间权重值之和尽可能低;实现方式是通过将图切割的目标优化函数与拉普拉斯矩阵的特征值分解通过瑞利熵联系到一起,从而将NP难 (NP-hard)问题转换为连续化的特征值求解问题。
作为一种可选实施方式,在谱聚类样本标注步骤中,谱聚类样本标注处理包括以下子步骤:
构建交易样本集的谱矩阵;
将谱矩阵进行特征值分解为特征矩阵;
对特征矩阵进行聚类。
其中,对特征矩阵进行聚类根据需要选择其他的聚类方法,例如可以选择K-Means聚类方法。
进一步地,构建交易样本集的普矩阵可以有不同的实现方法,例如,一种可选的谱聚类处理方法如表1所示。
表1 谱聚类处理方法
其中,其中,步骤5)中,在比特币交易数据中,已知的分类为合法和非法2类,故将其聚类数目k设置为k=2。
请参阅图7所示,图中左侧为原始数据的二分类真实分布,右侧为应用本发明的谱聚类算法处理后的谱聚类样本标注结果。其中,样本量为n=1000,可以看到该算法在球形数据上取得较好的聚类结果,并且基于KNN的谱聚类算法受尺度参数和临近数目的取值影响,这里默认取2和5。从图中可以看出,本发明通过谱聚类后的谱聚类样本标注后的分类结果与二分类真是分布十分相似,说明本发明的谱聚类样本标注准确度很高,能够大大提高检测结果的准确性。
进一步地,考虑到现实中交易节点数量巨大,故可采用对每一步并行再汇总的方式进行,例如可以通过MapReduce编程模型进行并行运算,在这种情况下,谱聚类处理方法如表2所示。
表2 较大规模交易数据的谱聚类处理方法
其中,其中,步骤6)中,在比特币交易数据中,已知的分类为合法和非法2类,故将其聚类数目k设置为k=2。在其他实施例中,k值可以根据分类的具体情况进行设置或计算。
在谱聚类处理过程中,将样本集data=(x1,x2,…,xn)输入,并行化构建交易样本的距离矩阵,然后将其调整为对称距离矩阵。这里的距离可以使用欧氏距离、最短路径或绝地距离进行度量,优选为最短路径或绝地距离。绝地距离是指在曲面(三维空间)上从A点走到B点 (不允许离开曲面)只有一条最短路径,这条最短路径的距离即为测地距离,并行化构建距离矩阵的过程如图8所示,当上述所有的map()任务执行结束后生成了新键值对;reduce()规约所有分区的结果,即从map()写出的同一个新key中对values遍历合并,将每一行的值按列填充,得到一个完整的距离矩阵。
接着,按行并行稀疏化对称距离矩阵后,并计算高斯相似度得到相似度矩阵W。按行并行计算度矩阵D′=D-1/2,并行化计算L′=D′WD′,由于这几类矩阵是稀疏矩阵,故这些计算可以通过并行的方式进行。
经过上述并行化实现,得到了最终稀疏化的实对称矩阵l′。Lanczos方法适用于迭代逼近求解这种大型稀疏矩阵的特征值和特征向量,思想是将拉普拉斯矩阵通过正交相似变换的方法转换为实对称的三对角矩阵分解Tkk得到的特征值和特征向量即为L′的特征值和特征向量。若只计算前k个特征值,则只需要迭代k次就可以完成计算,因此更加高效。聚类数目k设置为2(合法交易和违法交易),将特征向量h1,h2,…,hk组成的矩阵按行标准化组成特征矩阵Hn*k。
最后,对H采用并行化K-means方法进行聚类,得到簇划分C(c1,c2),完成对未知标签的交易节点的标注。
在上述实施例中,交易行为历史特征提取步骤为对交易样本集进行长短期记忆网络处理,获得交易行为历史特征。即,通过学习交易行为的历史特征,从而能够获得交易行为历史特征。
在比特币的交易过程中,每个交易被广播到比特币网络中是有时间的,而在这段时间里的交易历史行为足够影响预测交易在下一步是否为合法交易,即在该步骤中,选择合适时间步长的历史特征序列会足够影响交易在下一预测步是否为合法交易,因此该步骤将各交易节点时间序列通过长短期记忆网络(LSTM)学习交易节点的历史行为以提炼加以行为历史特征。
LSTM致力于解决长期依赖问题,在RNN的基础上增加了三个门,分别是输入门、遗忘门和输出门,对历史信息进行有效过滤,最终的输出ht由输出门ot和Ct长期细胞态存储体决定。
其中,ht=LSTM(xt)
LSTM的处理过程如下:
ft=σ(Wf·[ht-1,xt+bf])
it=σ(Wi·[ht-1,xt+bi])
ot=σ(W0·[ht-1,xt+b0])
ht=ot*tanh(Ct)
在该步骤中,将交易数据预处理步骤中得到的交易样本集中的交易节点时间序列数据或将谱聚类样本标注步骤中得到谱聚类交易样本集中的交易节点时间序列数据输入到LSTM神经网络层后得到输出为ht=LSTM(xt),在本实施例中步长设置为10以学习交易行为历史特征。
作为一种可选实施方式,在交易行为聚合特征提取步骤中,图卷积网络处理包括以下子步骤:
获取交易行为历史特征的邻接矩阵;
将邻接矩阵输入到2至4层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
优选的,层数设置为2-4层,避免层数过多影响节点局部特征的学习,学到的是全局特征。
优选的,将邻接矩阵输入到2层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
该交易行为历史特征的邻接矩阵的计算可以包含两个部分,第一部分为是否有边连接,如果有,则设置为1;因为是时间序列的,所以第二部分可以是每个特征序列的相似度衡量,最后将上述两个部分按照权重加权求和即为一个节点与其邻居节点的相似度。
进一步的,图卷积网络图学习层的原理及过程如下:
由于比特币交易数据构成了一幅图,本发明主要使用基于图的方法进行加以欺诈的检测。基于图的学习目的是训练一个预测函数该函数将一个实体的特征空间映射到目标标签空间。通常通过最小化目标损失函数来实现,可以抽象为Γ=Ω+λΦ。
其中,Ω是针对特定预测任务的损失,衡量了真实值和预测值之间的误差;Φ是图的正则化项,它使得预测在图上变得平滑;λ是一个超参数来平衡上述这两项的比例。正则化项通常实现了图信号的平滑假设,即类似的顶点往往具有类似的预测,保留图的拓扑关系。一种广泛使用的正则化项Φ的定义如下,是一种基于欧式距离的测度加权,属于图信号中的变差测度,刻画了整体的平滑度,当g(xi,xj)为1时即为欧式距离:
其中g(xi,xj)是实体对的特征向量之间的相似性度量,为顶点i的度。正则化项对每对实体进行平滑操作,使它们的预测(按度数标准化后)彼此接近。平滑的强度是由特征向量的相似度g(xi,xj)来决定的。可以等价地写成更简洁的矩阵形式:
图卷积网络(Graph Convolutional Network,GCN)是近年来发展迅速的一种特殊的基于图的学习方法,它融合了基于图学习的核心思想,即先进的卷积神经网络(CNNs)。标准的CNNs 的核心思想是使用卷积(如3×3滤波矩阵)来捕获输入数据中的局部模式(如图像中的斜线)。按照CNNs思想,GCN的目标也是需要通过卷积捕获图上的本地连接模式。然而若直接在图的邻接矩阵上应用卷积操作这样的直观解决方案是不可行的,因为当交换两行邻接矩阵时,卷积的滤波输出可能会发生变化,而交换的邻接矩阵仍然表示相同的图结构,这是由图节点的无序性导致的,本发明采用两种方法解决该问题,一种方案是利用最近邻接点算法(K-Nearest Neighbor,KNN)处理顶点周围的邻居节点并排序来得到顶点的规范化输出,接着进行如 LGCL(Learn Graph Convolution Layer)等图卷积网络方法:可学习图卷积层为每个特征基于值的排序自动地选择固定数量的邻居节点,以此将图结构数据变换为规则的一维网状数据,接着在一维网状数据上采用标准的CNN操作;另一种解决方案是利用频谱卷积捕获傅里叶域中的局部连接,将图傅立叶变换(Graph Fourier Transform,GFT)用在图的转换上,如:y=Tx=f(F,X)=UFUTX。
其中,f表示参数化卷积的滤波操作T,U是L的特征列向量组成矩阵。从公式右侧开始看,UTX表示GFT的正变换,将X投影到每个特征向量上得到傅立叶系数α(频谱域上);接下来是Fα,这一步是scaling特征值放缩,对角矩阵F的元素为L的特征值,越高频的放缩的系数λ越大,也就是说L是一个高通滤波器。上述经过scaling得到的向量再左乘一个U 矩阵,是一个GFT的逆变换,相当于将频域信息又变换回到时域上。
上面的计算涉及到L的特征向量分解,复杂度较高,优选的,将F看作是Λ的方程,这样一来可以使用切比雪夫多项式Tk(x)的k阶近似来表示F:
其中λmax是L的最大特征值;θk代表了切比雪夫多项式的系数; Tk(x)=2xTk-1(x)-Tk-2(x),且T1(x)=x,T0(x)=0。经过这样的近似,N个参数减少为k 个参数,复杂度为O(1),不需要计算特征值和特征向量,但是失去了频域上的可解释性。下面推导以下当K=1时的切比雪夫GCN近似:
其中X为原始的顶点特征,维度为N*C;W为需要学习的参数,维度为C*F,F是输出的特征维度。则经过一次1阶图卷积后输出的维度是N*F。
当对上述输出(one-hop)进行第二次近似图卷积(two-hop)时,数学表达如下:
在上述实施例中,预测步骤为将交易行为历史特征以及交易行为聚合特征进行全连接层处理,通过二分类进行交易节点的欺诈预测。
考虑到传统的机器学习对欺诈检测也起到了不错的效果,进一步优选的,
将交易行为历史特征、交易行为聚合特征以及传统机器学习模型的输出结果通过全联接层处理进而进行二分类获得最终的交易节点是否为非法交易的预测(即预测待测交易节点的标签为合法交易或非法交易)。
基于同一发明构思,请参阅图9和图10所示,本发明还提出了一种基于图神经网络的交易欺诈检测系统,基于图神经网络的交易欺诈检测系统包括以下模块:
交易数据预处理模块,交易数据预处理模块用于获取交易数据并对交易数据进行预处理,获得面板形式的交易样本集;
交易行为历史特征提取模块,交易行为历史特征提取模块用于对交易样本集进行长短期记忆网络处理,获得交易行为历史特征;
交易行为聚合特征提取模块,交易行为聚合特征提取模块用于对交易历史行为特征进行图卷积网络处理,获得交易行为聚合特征;
预测模块,预测模块用于将交易行为历史特征以及交易行为聚合特征进行全连接处理,通过二分类进行交易节点的欺诈预测。
上述基于图神经网络的交易欺诈检测系统,通过交易行为历史特征提取以及交易行为聚合特征提取,进而通过全连接层处理,克服了传统的交易欺诈检测方法忽略数据之间本身就存在的联系以及交易行为是时间序列数据的缺陷,确保了交易欺诈检测的全面性,并且提高了交易欺诈检测的精确性。
在上述实施例中,交易数据预处理模块主要用于收集和预处理交易欺诈检测所需要的交易数据,使预处理后的交易样本集形成面板形式且具有交易节点和交易节点之间联系,交易样本之间构成了一张动态变化的交易流向图。
作为一种可选实施方式,通过预处理获取各个时间步长下的交易特征,预处理包括以下子步骤:
获取交易数据的本地交易节点特征;
获取交易数据的交易节点汇总特征;
获取交易数据的交易节点子图谱信息。
在上述交易数据预处理模块中,不仅获取了本地交易节点特征,而且获取了交易节点汇总特征以及交易节点子图谱信息,检测对象包括交易行为与交易行为之间本身就存在的联系,能够使检测结果更为精确。
在本实施中,采用的比特币真实交易数据是一个从比特币区块链中收集的交易图。交易图的数据描述如下:图中的一个节点代表了一笔交易,边可以看作是一个交易和另一个交易之间的比特币流向。由203769个节点和234355条边组成。其中,2%的节点被标记为非法节点,21%的节点被标记为合法交易节点,其余的交易没有标记。
在交易数据中,每个交易节点会和时间信息相关联,这里的时间信息指的是比特币网络确认交易时的估计时间。在本实施例中考虑时间信息,则将约2周为时间间隔划分成49个不同的时间步长,大约两年的比特币交易数据。在每个时间步长上,都包含一个连通分量,它们之间的相互交易在区块链上出现的时间间隔小于3个小时,也不会存在于其他时间步长中的交易节点相连接的边,这里的时间间隔时长可以修改为其他合理的取值。以下详细讲解各个时间步长的各种交易特征。
上述本地交易节点特征代表本地交易节点的交易数据,比如时间步长、输入交易数量(节点入度)、输出交易数量(节点出度)、交易费用、输出量以及衍生统计特征。其中,衍生统计特征指的是邻居节点的一些均值特征,比如,输入交易数量平均收到的BTC费用、输出交易数量平均收到的BTC费用、输入交易数量平均花费的BTC费用、输出交易数量平均花费的BTC费用、与输入交易数量相关的输入/输出交易的平均数量(输入关联交易的平均数量)、与输出交易数量相关的输入/输出交易的平均数量(输出关联交易的平均数量)等。
上述交易节点的汇总特征是通过本地交易节点向前和/或向后一跳(one-hop)的邻居交易节点的本地交易节点特征获得的,即对本地交易节点的所有邻居交易节点的通过步骤S100 获得的同一本地交易节点特征数据进行处理,求它们中的最大值、最小值、中位数、众数、标准差、全距和相关系数等这些描述性统计特征作为交易节点的汇总特征。
上述交易数据的交易节点子图谱信息是为了获得一个交易节点局部的拓扑信息,是通过计算以本地交易节点为中心向外辐射适宜层数的所有交易节点构成图的谱信息获得的,在本实施例中是通过计算以本地交易节点为中心向外辐射2层的所有交易节点构成图的谱信息获得的,即以得到的拉普拉斯矩阵L′=D′WD′特征值作为额外的特征——交易节点子图谱信息,这在频域上体现了图的拓扑信息,若特征值相似,则说明本交易节点所在的子图拓扑结构更为相似。
在本实施例中,交易图的节点特征描述如下:时间步长是2周,一共49步。前93个节点特征为本地交易节点特征,是本地交易节点自身特征和交易数据,包括时间步长、输入交易数量(节点入度)、输出交易数量(节点出度)、交易费用、输出量以及衍生统计特征。后 72个节点特征为交易节点的汇总特征,使用从本地(中心)交易节点向后和/或向后一跳的邻居交易节点获得的同一特征参数(某一本地交易节点特征)中的最大值、最小值、中位数、众数、标准差、全距以及相关系数。
经过S100交易数据预处理步骤后,绘制图3以及图4以观察交易数据预处理后交易特征随时间的变化曲线。其中,图3为某一本地交易节点特征(如交易费用)的时间变化曲线,图4为交易节点的汇总特征(如本地交易节点与其所述有邻居交易节点的交易费用中的最大值)的时间变化曲线。
下图中显示了三类节点在两个不同属性(本地交易节点特征和交易节点的汇总特征)上随时间变化的情况,可以看到举例的这两个属性可以较好的区分合法交易节点(图中下部较为平稳的曲线)和非法交易节点(图中上部较为曲折的曲线),其中合法交易节点的属性曲线在图像最下方随时间变化较为稳定,而非法交易节点在图像上方随着时间的变化曲线较为陡峭。
在上述实施例中,执行完交易数据预处理后,当已知分类的交易样本量足够时,可直接执行交易行为历史特征提取模块。但是当已知分类的交易样本量较少时,无法精确地进行交易欺诈检测时,则需要进一步先执行谱聚类样本标注模块,对未标记的交易节点进行标注,以避免样本量过少的情况。
作为一种可选实施方式,基于图神经网络的交易欺诈检测系统还包括谱聚类样本标注模块,用于对交易样本集进行谱聚类样本标注处理,获得谱聚类交易样本集。
在上述交易样本集中,由203769个节点和234355条边组成。其中,2%的交易节点被标记为非法交易节点,21%的交易节点被标记为合法交易节点,其余的交易节点没有标记,即有77%的交易节点没有被标记。由于交易数据的部分样本-交易节点的分类是未知的,本发明采用谱聚类无监督的方法对这些交易节点进行分类,将未知交易节点的标签学习出来,以增加样本量,将其作为可用数据进行后续的训练。可选的,由于需要学习的样本量较大,宜采用并行化谱聚类的方式进行。
在该实施方式中,使用谱聚类进行样本标注未标记的节点,谱聚类能够克服了K-means 聚类受数据形状的影响的缺陷,是一种全局最优的聚类方法。谱聚类的主要思路是将数据看作n维空间中的点,如图5和图6所示,分别为比特币交易数据中的被标记为非法交易的交易数据形成的非法交易图以及被标记为合法交易的交易数据形成的合法交易图。点与点之间若存在一定的相似性则用边连接起来,通过切割上述点组成的图将其分为多个子图来达到聚类的目的,即子图内权重值之和尽可能高,子图间权重值之和尽可能低;实现方式是通过将图切割的目标优化函数与拉普拉斯矩阵的特征值分解通过瑞利熵联系到一起,从而将NP难 (NP-hard)问题转换为连续化的特征值求解问题。
作为一种可选实施方式,在谱聚类样本标注模块中,谱聚类样本标注处理包括以下子步骤:
构建交易样本集的谱矩阵;
将谱矩阵进行特征值分解为特征矩阵;
对特征矩阵进行聚类。
其中,对特征矩阵进行聚类根据需要选择其他的聚类方法,例如可以选择K-Means聚类方法。
进一步地,构建交易样本集的普矩阵可以有不同的实现方法,例如,一种可选的谱聚类处理方法如表1所示。
表1 谱聚类处理方法
其中,其中,步骤5)中,在比特币交易数据中,已知的分类为合法和非法2类,故将其聚类数目k设置为k=2。
请参阅图7所示,图中左侧为原始数据的二分类真实分布,右侧为应用本发明的谱聚类算法处理后的谱聚类样本标注结果。其中,样本量为n=1000,可以看到该算法在球形数据上取得较好的聚类结果,并且基于KNN的谱聚类算法受尺度参数和临近数目的取值影响,这里默认取2和5。从图中可以看出,本发明通过谱聚类后的谱聚类样本标注后的分类结果与二分类真是分布十分相似,说明本发明的谱聚类样本标注准确度很高,能够大大提高检测结果的准确性。
进一步地,考虑到现实中交易节点数量巨大,故可采用对每一步并行再汇总的方式进行,例如可以通过MapReduce编程模型进行并行运算,在这种情况下,谱聚类处理方法如表2所示。
表2 较大规模交易数据的谱聚类处理方法
其中,其中,步骤6)中,在比特币交易数据中,已知的分类为合法和非法2类,故将其聚类数目k设置为k=2。在其他实施例中,k值可以根据分类的具体情况进行设置或计算。
在谱聚类处理过程中,首先,将样本集data=(x1,x2,…,xn)输入,并行化构建交易样本的距离矩阵,然后将其调整为对称距离矩阵。这里的距离可以使用欧氏距离、最短路径或绝地距离进行度量,优选为最短路径或绝地距离。绝地距离是指在曲面(三维空间)上从A点走到B点(不允许离开曲面)只有一条最短路径,这条最短路径的距离即为测地距离,并行化构建距离矩阵的过程如图8所示,当上述所有的map()任务执行结束后生成了新键值对;reduce()规约所有分区的结果,即从map()写出的同一个新key中对values遍历合并,将每一行的值按列填充,得到一个完整的距离矩阵。
接着,按行并行稀疏化对称距离矩阵后,并计算高斯相似度得到相似度矩阵W。按行并行计算度矩阵D′=D-1/2,并行化计算L′=D′WD′,由于这几类矩阵是稀疏矩阵,故这些计算可以通过并行的方式进行。
经过上述并行化实现,得到了最终稀疏化的实对称矩阵L′。Lanczos方法适用于迭代逼近求解这种大型稀疏矩阵的特征值和特征向量,思想是将拉普拉斯矩阵通过正交相似变换的方法转换为实对称的三对角矩阵分解Tkk得到的特征值和特征向量即为L′的特征值和特征向量。若只计算前k个特征值,则只需要迭代k次就可以完成计算,因此更加高效。聚类数目k设置为2(合法交易和违法交易),将特征向量h1,h2,…,hk组成的矩阵按行标准化组成特征矩阵Hn*k。
最后,对H采用并行化K-means方法进行聚类,得到簇划分C(c1,c2),完成对未知标签的交易节点的标注。
在上述实施例中,交易行为历史特征提取模块用于对交易样本集进行长短期记忆网络处理,获得交易行为历史特征。即,通过学习交易行为的历史特征,从而能够获得交易行为历史特征。
在比特币的交易过程中,每个交易被广播到比特币网络中是有时间的,而在这段时间里的交易历史行为足够影响预测交易在下一步是否为合法交易,即在该步骤中,选择合适时间步长的历史特征序列会足够影响交易在下一预测步是否为合法交易,因此该步骤将各交易节点时间序列通过长短期记忆网络(LSTM)学习交易节点的历史行为以提炼加以行为历史特征。
LSTM致力于解决长期依赖问题,在RNN的基础上增加了三个门,分别是输入门、遗忘门和输出门,对历史信息进行有效过滤,最终的输出ht由输出门ot和Ct长期细胞态存储体决定。
其中,ht=LSTM(xt)
LSTM的处理过程如下:
ft=σ(Wf·[ht-1,xt+bf])
it=σ(Wi·[ht-1,xt+bi])
ot=σ(W0·[ht-1,xt+b0])
ht=ot*tanh(Ct)
在该步骤中,将交易数据预处理步骤中得到的交易样本集中的交易节点时间序列数据或将谱聚类样本标注步骤中得到谱聚类交易样本集中的交易节点时间序列数据输入到LSTM神经网络层后得到输出为ht=LSTM(xt),在本实施例中步长设置为10以学习交易行为历史特征。
作为一种可选实施方式,在交易行为聚合特征提取模块中,图卷积网络处理包括以下子步骤:
获取交易行为历史特征的邻接矩阵;
将邻接矩阵输入到2至4层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
优选的,层数设置为2-4层,避免层数过多影响节点局部特征的学习,学到的是全局特征。
优选的,将邻接矩阵输入到2层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
该交易行为历史特征的邻接矩阵的计算可以包含两个部分,第一部分为是否有边连接,如果有,则设置为1;因为是时间序列的,所以第二部分可以是每个特征序列的相似度衡量,最后将上述两个部分按照权重加权求和即为一个节点与其邻居节点的相似度。
进一步的,图卷积网络图学习层的原理及过程如下:
由于比特币交易数据构成了一幅图,本发明主要使用基于图的方法进行加以欺诈的检测。基于图的学习目的是训练一个预测函数该函数将一个实体的特征空间映射到目标标签空间。通常通过最小化目标损失函数来实现,可以抽象为Γ=Ω+λΦ。
其中,Ω是针对特定预测任务的损失,衡量了真实值和预测值之间的误差;Φ是图的正则化项,它使得预测在图上变得平滑;λ是一个超参数来平衡上述这两项的比例。正则化项通常实现了图信号的平滑假设,即类似的顶点往往具有类似的预测,保留图的拓扑关系。一种广泛使用的正则化项Φ的定义如下,是一种基于欧式距离的测度加权,属于图信号中的变差测度,刻画了整体的平滑度,当g(xi,xj)为1时即为欧式距离:
其中g(xi,xj)是实体对的特征向量之间的相似性度量,为顶点i的度。正则化项对每对实体进行平滑操作,使它们的预测(按度数标准化后)彼此接近。平滑的强度是由特征向量的相似度g(xi,xj)来决定的。可以等价地写成更简洁的矩阵形式:
图卷积网络(Graph Convolutional Network,GCN)是近年来发展迅速的一种特殊的基于图的学习方法,它融合了基于图学习的核心思想,即先进的卷积神经网络(CNNs)。标准的CNNs 的核心思想是使用卷积(如3×3滤波矩阵)来捕获输入数据中的局部模式(如图像中的斜线)。按照CNNs思想,GCN的目标也是需要通过卷积捕获图上的本地连接模式。然而若直接在图的邻接矩阵上应用卷积操作这样的直观解决方案是不可行的,因为当交换两行邻接矩阵时,卷积的滤波输出可能会发生变化,而交换的邻接矩阵仍然表示相同的图结构,这是由图节点的无序性导致的,本发明采用两种方法解决该问题,一种方案是利用最近邻接点算法(K-Nearest Neighbor,KNN)处理顶点周围的邻居节点并排序来得到顶点的规范化输出,接着进行如 LGCL(Learn Graph Convolution Layer)等图卷积网络方法:可学习图卷积层为每个特征基于值的排序自动地选择固定数量的邻居节点,以此将图结构数据变换为规则的一维网状数据,接着在一维网状数据上采用标准的CNN操作;另一种解决方案是利用频谱卷积捕获傅里叶域中的局部连接,将图傅立叶变换(Graph Fourier Transform,GFT)用在图的转换上,如:y=Tx=f(F,X)=UFUTX。
其中,f表示参数化卷积的滤波操作T,U是L的特征列向量组成矩阵。从公式右侧开始看,UTX表示GFT的正变换,将X投影到每个特征向量上得到傅立叶系数α(频谱域上);接下来是Fα,这一步是scaling特征值放缩,对角矩阵F的元素为L的特征值,越高频的放缩的系数λ越大,也就是说L是一个高通滤波器。上述经过scaling得到的向量再左乘一个U 矩阵,是一个GFT的逆变换,相当于将频域信息又变换回到时域上。
上面的计算涉及到L的特征向量分解,复杂度较高,优选的,将F看作是Λ的方程,这样一来可以使用切比雪夫多项式Tk(x)的k阶近似来表示F:
其中λmax是L的最大特征值;θk代表了切比雪夫多项式的系数; Tk(x)=2xTk-1(x)-Tk-2(x),且T1(x)=x,T0(x)=0。经过这样的近似,N个参数减少为k 个参数,复杂度为O(1),不需要计算特征值和特征向量,但是失去了频域上的可解释性。下面推导以下当K=1时的切比雪夫GCN近似:
其中X为原始的顶点特征,维度为N*C;W为需要学习的参数,维度为C*F,F是输出的特征维度。则经过一次1阶图卷积后输出的维度是N*F。
当对上述输出(one-hop)进行第二次近似图卷积(two-hop)时,数学表达如下:
在上述实施例中,预测模块用于将交易行为历史特征以及交易行为聚合特征进行全连接层处理,通过二分类进行交易节点的欺诈预测。
考虑到传统的机器学习对欺诈检测也起到了不错的效果,进一步优选的,将交易行为历史特征、交易行为聚合特征以及传统机器学习模型的输出结果通过全联接层处理进而进行二分类获得最终的交易节点是否为非法交易的预测(即预测待测交易节点的标签为合法交易或非法交易)。
对所公开的上述实施例的说明,为了便于本领域专业技术人员能够实现或使用本发明,对上述实施例的修改或拓展到其他电子商务平台的应用对本领域的专业技术人员来说是显而易见的,本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中应用。因此,本发明将不会被限制于上述的实施例,而是符合本发明所公开的技术原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于图神经网络的交易欺诈检测方法,其特征在于,所述基于图神经网络的交易欺诈检测方法包括以下步骤:
交易数据预处理步骤,获取交易数据并对所述交易数据进行预处理,获得面板形式的交易样本集;
交易行为历史特征提取步骤,对所述交易样本集进行长短期记忆网络处理,获得交易行为历史特征;
交易行为聚合特征提取步骤,对所述交易历史行为特征进行图卷积网络处理,获得交易行为聚合特征;
预测步骤,将所述交易行为历史特征以及所述交易行为聚合特征进行全连接处理,通过二分类进行交易节点的欺诈预测。
2.根据权利要求1所述的基于图神经网络的交易欺诈检测方法,其特征在于,在所述交易数据预处理步骤中,所述预处理包括以下子步骤:
获取所述交易数据的本地交易节点特征;
获取所述交易数据的交易节点汇总特征;
获取所述交易数据的交易节点子图谱信息。
3.根据权利要求1所述的基于图神经网络的交易欺诈检测方法,其特征在于,在交易行为历史特征提取步骤之前,还包括以下步骤:
谱聚类样本标注步骤,对所述交易样本集进行谱聚类样本标注处理,获得谱聚类交易样本集。
4.根据权利要求3所述的基于图神经网络的交易欺诈检测方法,其特征在于,在所述谱聚类样本标注步骤中,谱聚类样本标注处理包括以下子步骤:
构建交易样本集的谱矩阵;
将所述谱矩阵进行特征值分解为特征矩阵;
对所述特征矩阵进行聚类。
5.根据权利要求1至4任意一项所述的基于图神经网络的交易欺诈检测方法,其特征在于,在所述交易行为聚合特征提取步骤中,所述图卷积网络处理包括以下子步骤:
获取所述交易行为历史特征的邻接矩阵;
将所述邻接矩阵输入到2至4层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
6.一种基于图神经网络的交易欺诈检测系统,其特征在于,所述基于图神经网络的交易欺诈检测系统包括以下模块:
交易数据预处理模块,所述交易数据预处理模块用于获取交易数据并对所述交易数据进行预处理,获得面板形式的交易样本集;
交易行为历史特征提取模块,所述交易行为历史特征提取模块用于对所述交易样本集进行长短期记忆网络处理,获得交易行为历史特征;
交易行为聚合特征提取模块,所述交易行为聚合特征提取模块用于对所述交易历史行为特征进行图卷积网络处理,获得交易行为聚合特征;
预测模块,所述预测模块用于将所述交易行为历史特征以及所述交易行为聚合特征进行全连接处理,通过二分类进行交易节点的欺诈预测。
7.根据权利要求6所述的基于图神经网络的交易欺诈检测系统,其特征在于,在所述交易数据预处理模块中,所述预处理包括以下子步骤:
获取所述交易数据的本地交易节点特征;
获取所述交易数据的交易节点汇总特征;
获取所述交易数据的交易节点子图谱信息。
8.根据权利要求6所述的基于图神经网络的交易欺诈检测系统,其特征在于,所述基于图神经网络的交易欺诈检测系统还包括谱聚类样本标注模块,所述谱聚类样本标注模块用于对所述交易样本集进行谱聚类样本标注处理,获得谱聚类交易样本集。
9.根据权利要求8所述的基于图神经网络的交易欺诈检测系统,其特征在于,在所述谱聚类样本标注模块中,谱聚类样本标注处理包括以下子步骤:
构建交易样本集的谱矩阵;
将所述谱矩阵进行特征值分解为特征矩阵;
对所述特征矩阵进行聚类。
10.根据权利要求6至9任意一项所述的基于图神经网络的交易欺诈检测系统,其特征在于,在所述交易行为聚合特征提取模块中,所述图卷积网络处理包括以下子步骤:
获取所述交易行为历史特征的邻接矩阵;
将所述邻接矩阵输入到2至4层的图卷积网络图学习层中进行邻居间的特征传播,每一层结束后在外侧进行非线性激活。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011203297.3A CN112396160A (zh) | 2020-11-02 | 2020-11-02 | 基于图神经网络的交易欺诈检测方法及系统 |
PCT/CN2020/135271 WO2022088408A1 (zh) | 2020-11-02 | 2020-12-10 | 基于图神经网络的交易欺诈检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011203297.3A CN112396160A (zh) | 2020-11-02 | 2020-11-02 | 基于图神经网络的交易欺诈检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112396160A true CN112396160A (zh) | 2021-02-23 |
Family
ID=74599110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011203297.3A Pending CN112396160A (zh) | 2020-11-02 | 2020-11-02 | 基于图神经网络的交易欺诈检测方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112396160A (zh) |
WO (1) | WO2022088408A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362071A (zh) * | 2021-06-21 | 2021-09-07 | 浙江工业大学 | 一种针对以太坊平台的庞氏骗局识别方法及系统 |
CN113627947A (zh) * | 2021-08-10 | 2021-11-09 | 同盾科技有限公司 | 交易行为检测方法、装置、电子设备及存储介质 |
CN114972366A (zh) * | 2022-07-27 | 2022-08-30 | 山东大学 | 基于图网络的大脑皮层表面全自动分割方法及系统 |
CN115345736A (zh) * | 2022-07-14 | 2022-11-15 | 南京金威诚融科技开发有限公司 | 一种金融交易异常行为检测方法 |
US11575695B2 (en) * | 2021-04-02 | 2023-02-07 | Sift Sciences, Inc. | Systems and methods for intelligently constructing a backbone network graph and identifying and mitigating digital threats based thereon in a machine learning task-oriented digital threat mitigation platform |
WO2023109116A1 (zh) * | 2021-12-14 | 2023-06-22 | 同济大学 | 一种基于交易图谱的快速反洗钱检测方法 |
WO2024007565A1 (en) * | 2022-07-07 | 2024-01-11 | Hsbc Software Development (Guangdong) Limited | Network analysis using optical quantum computing |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423542B (zh) * | 2022-11-07 | 2023-03-24 | 中邮消费金融有限公司 | 一种老带新活动反欺诈识别方法及系统 |
CN116128130B (zh) * | 2023-01-31 | 2023-10-24 | 广东电网有限责任公司 | 一种基于图神经网络的短期风能数据预测方法及装置 |
CN116032670B (zh) * | 2023-03-30 | 2023-07-18 | 南京大学 | 基于自监督深度图学习的以太坊钓鱼欺诈行为检测方法 |
CN116629080B (zh) * | 2023-07-24 | 2023-09-26 | 福建农林大学 | 钢管混凝土叠合构件撞击位移时程图卷积预测方法 |
CN117057929B (zh) * | 2023-10-11 | 2024-01-26 | 中邮消费金融有限公司 | 异常用户行为检测方法、装置、设备及存储介质 |
CN117455518B (zh) * | 2023-12-25 | 2024-04-19 | 连连银通电子支付有限公司 | 一种欺诈交易检测方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364794A1 (en) * | 2015-06-09 | 2016-12-15 | International Business Machines Corporation | Scoring transactional fraud using features of transaction payment relationship graphs |
CN108960304A (zh) * | 2018-06-20 | 2018-12-07 | 东华大学 | 一种网络交易欺诈行为的深度学习检测方法 |
CN109816535A (zh) * | 2018-12-13 | 2019-05-28 | 中国平安财产保险股份有限公司 | 欺诈识别方法、装置、计算机设备及存储介质 |
CN110084603A (zh) * | 2018-01-26 | 2019-08-02 | 阿里巴巴集团控股有限公司 | 训练欺诈交易检测模型的方法、检测方法以及对应装置 |
CN111311416A (zh) * | 2020-02-28 | 2020-06-19 | 杭州云象网络技术有限公司 | 一种基于多通道图和图神经网络的区块链洗钱节点检测方法 |
CN111462088A (zh) * | 2020-04-01 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 基于图卷积神经网络的数据处理方法、装置、设备及介质 |
-
2020
- 2020-11-02 CN CN202011203297.3A patent/CN112396160A/zh active Pending
- 2020-12-10 WO PCT/CN2020/135271 patent/WO2022088408A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364794A1 (en) * | 2015-06-09 | 2016-12-15 | International Business Machines Corporation | Scoring transactional fraud using features of transaction payment relationship graphs |
CN110084603A (zh) * | 2018-01-26 | 2019-08-02 | 阿里巴巴集团控股有限公司 | 训练欺诈交易检测模型的方法、检测方法以及对应装置 |
CN108960304A (zh) * | 2018-06-20 | 2018-12-07 | 东华大学 | 一种网络交易欺诈行为的深度学习检测方法 |
CN109816535A (zh) * | 2018-12-13 | 2019-05-28 | 中国平安财产保险股份有限公司 | 欺诈识别方法、装置、计算机设备及存储介质 |
CN111311416A (zh) * | 2020-02-28 | 2020-06-19 | 杭州云象网络技术有限公司 | 一种基于多通道图和图神经网络的区块链洗钱节点检测方法 |
CN111462088A (zh) * | 2020-04-01 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 基于图卷积神经网络的数据处理方法、装置、设备及介质 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11575695B2 (en) * | 2021-04-02 | 2023-02-07 | Sift Sciences, Inc. | Systems and methods for intelligently constructing a backbone network graph and identifying and mitigating digital threats based thereon in a machine learning task-oriented digital threat mitigation platform |
CN113362071A (zh) * | 2021-06-21 | 2021-09-07 | 浙江工业大学 | 一种针对以太坊平台的庞氏骗局识别方法及系统 |
CN113627947A (zh) * | 2021-08-10 | 2021-11-09 | 同盾科技有限公司 | 交易行为检测方法、装置、电子设备及存储介质 |
WO2023109116A1 (zh) * | 2021-12-14 | 2023-06-22 | 同济大学 | 一种基于交易图谱的快速反洗钱检测方法 |
WO2024007565A1 (en) * | 2022-07-07 | 2024-01-11 | Hsbc Software Development (Guangdong) Limited | Network analysis using optical quantum computing |
CN115345736A (zh) * | 2022-07-14 | 2022-11-15 | 南京金威诚融科技开发有限公司 | 一种金融交易异常行为检测方法 |
CN115345736B (zh) * | 2022-07-14 | 2023-12-29 | 上海即科智能技术集团有限公司 | 一种金融交易异常行为检测方法 |
CN114972366A (zh) * | 2022-07-27 | 2022-08-30 | 山东大学 | 基于图网络的大脑皮层表面全自动分割方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2022088408A1 (zh) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112396160A (zh) | 基于图神经网络的交易欺诈检测方法及系统 | |
Zhang et al. | A graph-cnn for 3d point cloud classification | |
CN111583263B (zh) | 一种基于联合动态图卷积的点云分割方法 | |
CN110188763B (zh) | 一种基于改进图模型的图像显著性检测方法 | |
CN111047078B (zh) | 交通特征预测方法、系统及存储介质 | |
Huang et al. | Research on optimization methods of ELM classification algorithm for hyperspectral remote sensing images | |
CN115641177B (zh) | 一种基于机器学习的防秒杀预判系统 | |
CN109658378B (zh) | 基于土壤ct图像的孔隙辨识方法及系统 | |
CN113129311A (zh) | 一种标签优化点云实例分割方法 | |
CN114386466B (zh) | 一种用于脉冲星搜寻中候选体信号挖掘的并行的混合聚类方法 | |
CN116432053A (zh) | 基于模态交互深层超图神经网络的多模态数据表示方法 | |
CN116681497A (zh) | 基于图神经网络的资金风险识别方法、计算机装置及计算机可读存储介质 | |
CN115730248A (zh) | 一种机器账号检测方法、系统、设备及存储介质 | |
CN114677508A (zh) | 一种基于动态滤波和逐点相关的点云实例语义分割方法 | |
CN111461139B (zh) | 一种复杂场景下的多目标视觉显著性分层检测方法 | |
CN114187495A (zh) | 一种基于图像的服装流行趋势预测方法 | |
CN114070438A (zh) | 一种5g基站电磁信号的检测方法及系统 | |
CN114596464A (zh) | 多特征交互的无监督目标检测方法、系统、电子设备和可读存储介质 | |
CN118072180B (zh) | 一种基于关键子超图增强的高光谱图像分类方法 | |
CN117971354B (zh) | 基于端到端学习的异构加速方法、装置、设备及存储介质 | |
CN112509017B (zh) | 一种基于可学习差分算法的遥感影像变化检测方法 | |
CN117953252B (zh) | 高速公路资产数据自动化采集方法及系统 | |
CN114662687B (zh) | 一种基于层间互信息的图对比学习方法及系统 | |
CN116990631A (zh) | 一种多源数据融合的微电网群故障诊断方法和装置 | |
Sangeetha et al. | IoT Based Wireless Communication System for Smart Irrigation and Rice Leaf Disease Prediction Using ResNeXt-50 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |