CN115797071A - 一种基于卷积神经的宏观和微观层面的交易异常检测方法 - Google Patents
一种基于卷积神经的宏观和微观层面的交易异常检测方法 Download PDFInfo
- Publication number
- CN115797071A CN115797071A CN202310053599.4A CN202310053599A CN115797071A CN 115797071 A CN115797071 A CN 115797071A CN 202310053599 A CN202310053599 A CN 202310053599A CN 115797071 A CN115797071 A CN 115797071A
- Authority
- CN
- China
- Prior art keywords
- transaction
- data
- time
- flow
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 210000005036 nerve Anatomy 0.000 title claims abstract description 6
- 230000002159 abnormal effect Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 238000007635 classification algorithm Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 206010000117 Abnormal behaviour Diseases 0.000 abstract description 6
- 230000006399 behavior Effects 0.000 abstract description 5
- 230000008447 perception Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种基于卷积神经的宏观和微观层面的交易异常检测方法，包括有步骤一，在设定采样时间周期内获取时间数据和对应的流量数据，并将获取的流量数据绘制成时间差异折线图；步骤二，使用正常数据占据绝大部分比例的时间信息和对应流量信息的数据集进行训练，并生成正常流量模型；步骤三，依据若干正常流量模型获取不同交易的偏差数据，并通过二分类算法划分超平面，超平面对后续偏差数据进行分类给出正常或异常的分类结果。本发明能够分别从宏观与微观的角度共同检测非法交易行为，提高对全面异常行为的检测判定及对重大事件的感知能力。
Description
技术领域
本发明涉及非法交易检测技术领域，具体涉及一种基于卷积神经的宏观和微观层面的交易异常检测方法。
背景技术
目前金融市场对异常交易的检测主要集中在传统的金融领域，如银行卡和信用卡交易。按照检测方式，可以分为两类：基于手工特征的检测和基于机器学习的检测。基于手工特征的检测就是通过建立、更新基于交易行为特征的规则库，并在交易发生时，通过查询该交易的某些特征，比如交易量，交易频率，时间等来判断该笔交易的交易状态。
基于机器学习的检测主要是利用机器学习领域的算法，通过深度学习技术，去自动学习交易的特征，发现潜在的非法行为模式。金融中的非法交易的行为是一种典型的异常行为，比如流量的异常波动存在显著的数值偏差，短时间内某种频繁的回转交易，大量高买低卖交易等。这些异常行为与大多数观测数据结果相比，在模式、数值特征、交易时间、特定对象上存在显著的偏差，且目前检测结构方法多是针对于一种异常类型检测，比如仅针对于双花攻击检测、钓鱼者检测等，对非法交易检测准确率低。
发明内容
有鉴于此，本发明要解决的问题是提供一种基于卷积神经的宏观和微观层面的交易异常检测方法，能够分别从宏观与微观的角度检测非法交易行为，提高对全面异常行为的检测判定及对重大事件的感知能力。
为解决上述技术问题，本发明采用的技术方案是：一种基于卷积神经的宏观和微观层面的交易异常检测方法，包括有步骤一，在设定采样时间周期内获取时间数据和对应的流量数据，并将获取的流量数据绘制成时间差异折线图；步骤二，使用正常数据占据绝大部分比例的时间信息和对应流量信息的数据集进行训练，并生成正常流量模型；步骤三，依据若干正常流量模型获取不同交易的偏差数据，并通过二分类算法划分超平面，超平面对后续偏差数据进行分类给出正常或异常的分类结果。
进一步的，所述采样时间周期以交易完成时刻为中点时刻，中点时刻为中心的前后设定时间范围内划分出若干周期。
进一步的，所述超平面生成方法，依据正常流量模型获取交易各维度的偏差数据，不同维度的偏差数据通过基于深度学习的多元线性回归在高纬度划分超平面。
进一步的，一个所述交易节点为一个维度。
进一步的，获取所有关联交易节点之间的原始特征数据，并构建关系的交易拓扑图G=(N，E），依据交易拓扑图构建用作图卷积网络初始输入的交易节点嵌入矩阵H=N×D，依据图卷积网络获取不同交易节点之间特征关系的注意力隐藏特征；
依据LSTM模型获取包含单个交易流量基于时间的时序隐藏特征；
使用concat方法将时序隐藏特征与原始数据融合生成新的特征向量，并将新的特征向量与注意力隐藏特征内特征向量共同做基于深度学习的多元线性回归计算，判断交易是否异常。
进一步的，所述图卷积网络内卷积层间的演变关系为
。
进一步的，H(l)的图卷积层可由图拉普拉斯矩阵上的频谱图滤波激发，并由拉普拉斯矩阵的线性泛函得到。
本发明具有的优点和积极效果是：
通过依据获取时间数据和对应的流量数据变化规律，构建正常流量模型，并依据正常流量模型高效快速的判断单个交易是否异常，可从宏观层面上判断交易是否异常。
通过将宏观层面上单一交易数据与单个交易的原始特征数据结合，同时在微观层面上获取交易节点之间的特征数据，结合宏观层面与微观层面一同判断交易是否异常，有效的提高加以异常的辨识准确性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的一种基于卷积神经的宏观和微观层面的交易异常检测方法的整体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、 “ 水平的”、“ 左”、“ 右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，本发明提供一种基于卷积神经的宏观和微观层面的交易异常检测方法，在金融交易场景中是否有交易异常，可通过微观层面的数据流异常判断。以单个交易个体为例，检测方法包括有：步骤一，在设定采样时间周期内获取时间数据和对应的流量数据，并将获取的流量数据绘制成时间差异折线图。
采样时间周期的设定，如以完成交易时刻为中点时刻，设定中点时刻对应的采样时间周期，以中点时刻为中心的前后设定时间范围内，划分出若干周期，获取每个时段周期内的流量数据（使用流量的多少）。以时间为横坐标，流量数据为纵坐标绘制生成时间差异折线图。以便直观的观察流量变化情况。
步骤二，使用正常数据占据绝大部分比例的时间信息和对应流量信息的数据集进行训练，并生成正常流量模型。
正常流量模型通过自监督学习策略生成，自监督学习策略使用正常数据占据绝大部分比例的时间信息和对应流量信息的数据集进行训练，以生成正常流量模型。正常流量模型为正常交易时刻的时段内，整体流量的变化情况模型。使用自监督学习策略不断训练不同交易的时间流量信息，同时补充训练部分异常交易的时间流量信息，对正常流量模型进行补充矫正，完善正常流量模型。
步骤三，依据若干正常流量模型获取不同交易的偏差数据，通过二分类算法划分超平面，通过超平面对后续偏差数据进行分类给出正常或异常的分类结果。
超平面的生成划分方法：获取若干交易的时间、流量数据，并与正常流量模型对比生成偏差数据，每个交易数据（单个交易为一个交易节点，单个交易产生的流量数据为交易数据）代表一个维度，将不同维度的偏差数据通过基于深度学习的多元线性回归在高纬度划分超平面。后续检测时，可通过该超平面对交易数据进行划分，以判断数据正常或异常，可在宏观层面上快速高效的判断单个交易产生的交易数据是否正常。
金融交易场景中包括有微观层面的个体交易数据异常，设定单个交易为一个交易节点，通常情况下交易与交易之间存在一定的联系。获取若干个存在关联的交易节点的原始特征数据，为保证检测结果的准确性，通过各交易节点之间的原始特征数据构建交易节点之间的交易拓扑图，交易拓扑图可表示为：G=(N，E），N表示所有交易节点共同组成的集合（原始特征数据内包含的所有交易节点），E为交易拓扑图的边集，用于表示不同交易节点之间的联系。
初始特征信息的交易拓扑图构建交易节点嵌入矩阵H=N×D表示，其中D表示N的镀矩阵，各交易节点间的邻接关系用邻接矩阵A=N×N表示。上一层图卷积层与这一层卷积层间的演变关系描述如下：
（公式原理如GCN 图卷积网络解析所述，网站为：https://blog.csdn.net/weixin_36474809/article/details/89316439）。
依据图卷积网络（对应图中的图注意力机制过程）中卷积层间的演变关系，获取交易拓扑图内的注意力隐藏特征，同时可依据图卷积网络推算出l+1卷积层下交易异常的预测概率（由H(l+1)表示）。
H(l)的图卷积层由图拉普拉斯矩阵上的频谱图滤波激发，并由拉普拉斯矩阵的一个线性泛函得到（线性泛函的定义：若X、Y为K域上的线性空间，T:X→Y为线性算子，若T的值域∈K,则称T为线性范函数）。
通过拉普拉斯矩阵建立交易行为的图网络，以便于后面采用基于演化图卷积神经网络与图注意力机制的异常行为辨识模型进行异常行为辨识，提高辨识精度。
为提高金融数据异常的判断准确性，获取宏观层面的时序隐藏特征和微观层面的注意力隐藏特征，注意力隐藏特征通过图卷积网络获取。
时序隐藏特征的获取方法，LSTM模型内输入时间差异折线图，通过LSTM模型自行编码和解码，并输出包含单个交易流量基于时间的时序隐藏特征。
使用concat方法将时序隐藏特征与原始数据进行融合（及在每个交易节点内增加流量特征数据），以形成新的关于交易节点的特征向量，将新的特征向量与注意力隐藏特征融合，新的特征向量与注意力隐藏特内交易节点向量一一对应，两组特征向量做基于深度学习的多元线性回归计算，以判断出各交易正常或异常的结果。
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。
Claims (7)
1.一种基于卷积神经的宏观层面交易异常检测方法，其特征在于，包括有步骤一，在设定采样时间周期内获取时间数据和对应的流量数据，并将获取的流量数据绘制成时间差异折线图；步骤二，使用正常数据占据绝大部分比例的时间信息和对应流量信息的数据集进行训练，并生成正常流量模型；步骤三，依据若干正常流量模型获取不同交易的偏差数据，并通过二分类算法划分超平面，超平面对后续偏差数据进行分类给出正常或异常的分类结果。
2.根据权利要求1所述的一种基于卷积神经的宏观层面交易异常检测方法，其特征在于，所述采样时间周期以交易完成时刻为中点时刻，中点时刻为中心的前后设定时间范围内划分出若干周期。
3.根据权利要求1所述的一种基于卷积神经的宏观层面交易异常检测方法，其特征在于，所述超平面生成方法，依据正常流量模型获取交易各维度的偏差数据，不同维度的偏差数据通过基于深度学习的多元线性回归在高纬度划分超平面。
4.根据权利要求3所述的一种基于卷积神经的宏观层面交易异常检测方法，其特征在于，一个交易节点为一个维度。
5.一种根据权利要求1-4任意一项所述的一种基于卷积神经的宏观层面交易异常检测方法的基于卷积神经的微观层面交易异常检测方法，其特征在于，获取所有关联交易节点之间的原始特征数据，并构建关系的交易拓扑图G=(N，E），依据交易拓扑图构建用作图卷积网络初始输入的交易节点嵌入矩阵H=N×D，依据图卷积网络获取不同交易节点之间特征关系的注意力隐藏特征；依据LSTM模型获取包含单个交易流量基于时间的时序隐藏特征；使用concat方法将时序隐藏特征与原始数据融合生成新的特征向量，并将新的特征向量与注意力隐藏特征内特征向量共同做基于深度学习的多元线性回归计算，判断交易是否异常。
6.根据权利要求5所述的一种基于卷积神经的微观层面交易异常检测方法，其特征在于，所述图卷积网络内卷积层间的演变关系为
。
7.根据权利要求6所述的一种基于卷积神经的微观层面交易异常检测方法，其特征在于，H(l)的图卷积层可由图拉普拉斯矩阵上的频谱图滤波激发，并由拉普拉斯矩阵的线性泛函得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310053599.4A CN115797071A (zh) | 2023-02-03 | 2023-02-03 | 一种基于卷积神经的宏观和微观层面的交易异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310053599.4A CN115797071A (zh) | 2023-02-03 | 2023-02-03 | 一种基于卷积神经的宏观和微观层面的交易异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115797071A true CN115797071A (zh) | 2023-03-14 |
Family
ID=85429643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310053599.4A Pending CN115797071A (zh) | 2023-02-03 | 2023-02-03 | 一种基于卷积神经的宏观和微观层面的交易异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797071A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108494747A (zh) * | 2018-03-08 | 2018-09-04 | 上海观安信息技术股份有限公司 | 流量异常检测方法、电子设备及计算机程序产品 |
| CN112651785A (zh) * | 2020-12-31 | 2021-04-13 | 中国农业银行股份有限公司 | 交易量实时监测方法与系统 |
| CN112907321A (zh) * | 2021-02-03 | 2021-06-04 | 珠海市鸿瑞信息技术股份有限公司 | 一种基于大数据的数据挖掘与分析的信息安全异常感知平台 |
| CN113378990A (zh) * | 2021-07-07 | 2021-09-10 | 西安电子科技大学 | 基于深度学习的流量数据异常检测方法 |
| CN115630298A (zh) * | 2022-09-28 | 2023-01-20 | 安徽省产品质量监督检验研究院 | 基于自注意力机制的网络流量异常检测方法及系统 |
-
2023
- 2023-02-03 CN CN202310053599.4A patent/CN115797071A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108494747A (zh) * | 2018-03-08 | 2018-09-04 | 上海观安信息技术股份有限公司 | 流量异常检测方法、电子设备及计算机程序产品 |
| CN112651785A (zh) * | 2020-12-31 | 2021-04-13 | 中国农业银行股份有限公司 | 交易量实时监测方法与系统 |
| CN112907321A (zh) * | 2021-02-03 | 2021-06-04 | 珠海市鸿瑞信息技术股份有限公司 | 一种基于大数据的数据挖掘与分析的信息安全异常感知平台 |
| CN113378990A (zh) * | 2021-07-07 | 2021-09-10 | 西安电子科技大学 | 基于深度学习的流量数据异常检测方法 |
| CN115630298A (zh) * | 2022-09-28 | 2023-01-20 | 安徽省产品质量监督检验研究院 | 基于自注意力机制的网络流量异常检测方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 伍超明;韩学红;: "宏观资金流量观测模型:新资金流量矩阵" * |
| 张涛;: "基于Markov模型的贵金属成交网络流量异常检测方法" * |
| 瞿元: "比特币异常行为检测系统的研究与设计" * |
| 郭嘉琰;李荣华;张岩;王国仁;: "基于图神经网络的动态网络异常检测算法" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chai et al. | Enhanced random forest with concurrent analysis of static and dynamic nodes for industrial fault classification | |
| Wang et al. | A hierarchical deep domain adaptation approach for fault diagnosis of power plant thermal system | |
| EP3477906B1 (en) | Systems and methods for identifying and mitigating outlier network activity | |
| CN110009174B (zh) | 风险识别模型训练方法、装置及服务器 | |
| CN109818942B (zh) | 一种基于时序特征的用户帐号异常检测方法及装置 | |
| Wang et al. | Graph-based change detection for condition monitoring of rotating machines: Techniques for graph similarity | |
| CN109753863A (zh) | 信号分析系统和特征提取并对其解译的方法 | |
| Wickramasinghe et al. | Explainable unsupervised machine learning for cyber-physical systems | |
| Rodríguez Ramos et al. | An approach to robust fault diagnosis in mechanical systems using computational intelligence | |
| CN108960304A (zh) | 一种网络交易欺诈行为的深度学习检测方法 | |
| CN116843400A (zh) | 基于图表示学习的区块链碳排放交易异常检测方法和装置 | |
| CN115587543A (zh) | 基于联邦学习和lstm的刀具剩余寿命预测方法及系统 | |
| Yao et al. | Interpretable clustering on dynamic graphs with recurrent graph neural networks | |
| CN109787958A (zh) | 网络流量实时检测方法及检测终端、计算机可读存储介质 | |
| Sun et al. | Intrusion detection system based on in-depth understandings of industrial control logic | |
| CN113110398B (zh) | 基于动态时间归整和图卷积网络的工业过程故障诊断方法 | |
| Liu et al. | Fault diagnosis of complex industrial systems based on multi-granularity dictionary learning and its application | |
| CN111639688B (zh) | 一种基于线性核svm的物联网智能模型的局部解释方法 | |
| CN117172875A (zh) | 欺诈检测方法、装置、设备及存储介质 | |
| CN112132589A (zh) | 一种基于多次融合构建欺诈识别模型的方法 | |
| Chopra et al. | Classification of faults in damadics benchmark process control system using self organizing maps | |
| CN109934352B (zh) | 智能模型的自动进化方法 | |
| CN115797071A (zh) | 一种基于卷积神经的宏观和微观层面的交易异常检测方法 | |
| CN114037877B (zh) | 基于局部异常数据提升全局异常检测性能的方法及系统 | |
| CN114818999A (zh) | 基于自编码器和生成对抗网络的账户识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230314 |