CN116992299B - 区块链交易异常检测模型的训练方法、检测方法及装置 - Google Patents
区块链交易异常检测模型的训练方法、检测方法及装置 Download PDFInfo
- Publication number
- CN116992299B CN116992299B CN202311274072.0A CN202311274072A CN116992299B CN 116992299 B CN116992299 B CN 116992299B CN 202311274072 A CN202311274072 A CN 202311274072A CN 116992299 B CN116992299 B CN 116992299B
- Authority
- CN
- China
- Prior art keywords
- data
- blockchain transaction
- training
- anomaly detection
- blockchain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 179
- 238000012549 training Methods 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 70
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 19
- 230000009467 reduction Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 35
- 238000000605 extraction Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000005856 abnormality Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 229910052799 carbon Inorganic materials 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 208000001613 Gambling Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012443 analytical study Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供区块链交易异常检测模型的训练方法、检测方法及装置,涉及信息处理技术领域,方法包括:采用预先训练得到的对抗生成网络生成合成区块链交易数据,并与预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据;基于扩展训练集训练自动编码器;将自动编码器作为卷积神经网络的特征提取器,并基于扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型。本申请能够有效弱化区块链数据集中常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响,能够有效提高训练得到的区块链交易异常检测模型的异常检测性能,进而能够有效提高区块链交易异常检测的准确性和有效性。
Description
技术领域
本申请涉及信息处理技术领域,尤其涉及区块链交易异常检测模型的训练方法、检测方法及装置。
背景技术
区块链技术的快速发展促使信息互联网向价值互联网转型,其应用场景广泛,但也衍生出许多风险或违法违规行为。其中异常交易检测对区块链产业的健康发展起到了积极的推动作用。异常交易检测的常规方案是设计基于固定阈值规则的警报系统来检测和标记可疑交易,然后对可疑行为进行人工决策或判断。但是互联网金融的出现导致基于规则的监管方案面临巨大挑战。打破传统的监管思维,构建以数据为基础、以人工智能和大数据分析等技术为手段的智能化监管方案已成趋势。
目前,智能化监管中异常交易检测的研究工作主要集中在有监督学习和无监督学习。有监督学习通过使用标注数据来学习区分的二分类(如合法与非法交易)或多分类机器学习检测模型,从而预测未知数据样本(测试集)的分类。无监督学习则探索未标注数据的结构及特征,找出簇或类的最优划分,将远离其他样本点的孤点视为离群点,即异常数据。
然而,无论是上述哪一种,均因训练模型时采用的区块链数据集中常存在的数据不均衡、缺乏数据特征的先验信息等问题,而无法选择合适的模型和参数,进而会影响区块链交易异常检测的准确性和有效性。
发明内容
鉴于此,本申请实施例提供了区块链交易异常检测模型的训练方法、检测方法及装置,以消除或改善现有技术中存在的一个或更多个缺陷。
本申请的一个方面提供了一种区块链交易异常检测模型的训练方法,包括:
采用预先训练得到的对抗生成网络生成合成区块链交易数据,并将所述合成区块链交易数据和预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据,其中,每个所述样本数据均设有用于表示是否为异常交易的标签;
基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型;
将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型。
在本申请的一些实施例中,在所述采用预先训练得到的对抗生成网络生成合成区块链交易数据之前,还包括:
获取多个真实区块链交易数据以构成对应的真实数据集;
基于所述真实数据集训练预设的对抗生成网络,以使该对抗生成网络中的生成器生成多个合成样本数据以构成先验分布数据集,再基于所述对抗生成网络中的判别器对所述真实数据集和所述先验分布数据集进行判定,进而使得所述对抗生成网络用于根据真实区块链交易数据生成对应的合成区块链交易数据。
在本申请的一些实施例中,所述对抗生成网络包括:WGAN;
相对应的,所述基于所述真实数据集训练预设的对抗生成网络,包括:
更新WGAN中判别器对应的判别器参数和生成器对应的生成器参数,若当前的所述生成器未收敛,则基于所述真实数据集,针对所述WGAN在当前迭代轮次执行预设的梯度训练步骤;
其中,所述梯度训练步 骤包括:
在所述真实数据集中取样以得到对应的真实样本数据,以及在所述先验分布数据集中取样以得到对应的合成样本数据;
基于所述真实样本数据和所述合成样本数据获取所述判别器的当前梯度,并采用RMSProp算法,根据所述判别器的当前梯度预设的学习率和梯度裁剪参数对所述判别器当前的判别器参数进行优化,得到所述判别器对应的更新后判别器参数;
基于所述合成样本数据获取所述生成器的当前梯度;并采用RMSProp算法,根据所述生成器的当前梯度和所述学习率对所述生成器当前的生成器参数进行优化,得到所述生成器对应的更新后生成器参数。
在本申请的一些实施例中,所述采用预先训练得到的对抗生成网络生成合成区块链交易数据,包括:
基于WGAN中的所述生成器生成多个合成区块链交易数据;
其中,所述合成区块链交易数据包括:区块链中交易的本地信息,该本地信息包括:时间步长、输入数量、输出数量、交易费用、输出量和汇总数字。
在本申请的一些实施例中,所述基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型,包括:
基于所述扩展训练集,采用最小化负对数似然的损失函数训练所述自动编码器中的编码器和解码器,以得到用于提取所述样本数据的特征数据并进行降维的编码模型。
在本申请的一些实施例中,所述卷积神经网络包括:一维CNN;
相对应的,所述将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常结果的区块链交易异常检测模型,包括:
将所述扩展训练集中的各个样本数据输入所述特征提取器,以使该特征提取器分别输出各个所述样本数据各自对应的特征数据,并基于各个所述特征数据训练所述一维CNN,以将包含有所述特征提取器的该一维CNN训练成用于生成区块链交易数据对应的交易异常结果的区块链交易异常检测模型;
其中,所述一维CNN包括依次连接的输入层、一维卷积层、池化层、拉平层、全连接层和输出层。
本申请的另一个方面提供了一种区块链交易异常检测方法,包括:
接收区块链的目标区块链交易数据;
将所述目标区块链交易数据输入区块链交易异常检测模型,以使该区块链交易异常检测模型输出所述目标区块链交易数据对应的交易异常结果检测数据,其中,所述区块链交易异常检测模型预先基于所述的区块链交易异常检测模型的训练方法训练得到。
本申请的第三个方面提供了一种区块链交易异常检测模型的训练装置,包括:
合成数据生成模块,用于采用预先训练得到的对抗生成网络生成合成区块链交易数据,并将所述合成区块链交易数据和预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据,其中,每个所述样本数据均设有用于表示是否为异常交易的标签;
编码模型训练模块,用于基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型;
检测模型训练模块,用于将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型。
本申请的第四个方面提供了一种区块链交易异常检测装置,包括:
数据接收模块,用于接收区块链的目标区块链交易数据;
异常检测模块,用于将所述目标区块链交易数据输入区块链交易异常检测模型,以使该区块链交易异常检测模型输出所述目标区块链交易数据对应的交易异常结果检测数据,其中,所述区块链交易异常检测模型预先基于所述的区块链交易异常检测模型的训练方法训练得到。
本申请的第五个方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述区块链交易异常检测模型的训练方法,和/或,实现所述区块链交易异常检测方法。
本申请的第六个方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述区块链交易异常检测模型的训练方法,和/或,实现所述区块链交易异常检测方法。
本申请提供的区块链交易异常检测模型的训练方法,采用预先训练得到的对抗生成网络生成合成区块链交易数据,并将所述合成区块链交易数据和预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据,其中,每个所述样本数据均设有用于表示是否为异常交易的标签;基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型;将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型,能够有效弱化区块链数据集中常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响,能够有效提高训练得到的区块链交易异常检测模型的异常检测性能,进而能够有效提高区块链交易异常检测的准确性和有效性。
本申请的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是,能够用本申请实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,并不构成对本申请的限定。附图中的部件不是成比例绘制的,而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分,附图中对应部分可能被放大,即,相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中:
图1为本申请一实施例中的区块链交易异常检测模型的训练方法的第一种流程示意图。
图2为本申请一实施例中的区块链交易异常检测模型的训练方法的第二种流程示意图。
图3为本申请一实施例中的数据生成模型、编码模型和预测模型的架构示意图。
图4为本申请一实施例中的区块链交易异常检测模型的训练方法的第三种流程示意图。
图5为本申请一实施例中的1D CNN的架构示意图。
图6为本申请一实施例中的区块链交易异常检测方法的流程示意图。
图7为本申请一实施例中的区块链交易异常检测模型的训练装置的结构示意图。
图8为本申请一实施例中的区块链交易异常检测装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本申请做进一步详细说明。在此,本申请的示意性实施方式及其说明用于解释本申请,但并不作为对本申请的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本申请,在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤,而省略了与本申请关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
在下文中,将参考附图描述本申请的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
科技的飞速发展促使金融行业从实体金融走向互联网金融,尤其是随着区块链技术的出现,使得低成本、点对点的跨境交易成为可能。区块链本质上是一个分布式的数据库技术,具有去中心化、不可篡改、全程留痕、匿名性等特点。因为区块链的用户参与读取、交易以及共识机制等是开放的、用户规模是动态的,参与者身份是匿名的,所以利用区块链实现交易在一定程度上降低了金融行业的准入门槛。区块链技术的快速发展促使信息互联网向价值互联网转型,但由于监管机制的缺乏衍生出许多风险或违法违规行为。
为了防范金融风险,虽然利用传统方式很难实现区块链交易的监管,但是完整的交易数据在区块链上是公开透明的,公开的数据也促进了更多的组织机构对区块链进行分析研究。对链上的交易数据进行挖掘,建立多维度的数据模型,利用大数据和人工智能等技术实现数据驱动的智能化监管方案成为新的解决方向,而这种智能化监管方案的首要目标是精准识别区块链上的异常交易:识别其中的可疑用户或可疑交易(例如信用卡诈骗交易)。
异常检测是一种用于识别不符合预期行为的异常模式的技术,发现网络中存在的异常连接结构、存在异常行为的节点、包含异常信息的节点等。因此为了实现区块链智能化监管,评估客户潜在的金融风险,需要对区块链网络进行异常检测。但异常检测数据集常存在负样例太少、数据不均衡或信息缺失的问题,同时现有的异常检测方法中,基于统计的模型、基于回归的模型、基于聚类的模型以及基于重建的模型等,需要假设正常数据的生成机制,然而,缺乏数据特征的先验信息会导致无法选择合适的模型和参数。
例如,已有研究利用发送方/接收方的背景、交易早期行为和交易历史等信息训练XGBoost有监督预测模型,以识别金融交易中潜在的风险行为,并应用于银行。还有学者从注册信息、金融交易及电子发票等相关类别中提取18个重要特征并结合自编码器(AE,auto-encoder)算法训练无监督深度学习模型,以检测区块链交易异常。
最初,研究主要集中在将传统的机器学习模型,如决策树(DT)和支持向量机(SVM)应用于现有的入侵检测系统,现在已经扩展到深度学习方法,如卷积神经网络(CNN)、长短期记忆(LSTM)和自动编码器。虽然这些成果在检测异常方面取得了显著的性能,但在实际系统中部署它们仍然存在局限性。
基于此,为了弱化区块链数据集中常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响,提升异常检测性能,使算法更好地应用于区块链交易的异常检测,本申请实施例分别提供一种区块链交易异常检测模型的训练方法、用于执行该区块链交易异常检测模型的训练方法的区块链交易异常检测模型的训练装置、区块链交易异常检测方法、用于执行该区块链交易异常检测方法的区块链交易异常检测装置、实体设备和计算机可读存储介质。
具体通过下述实施例进行详细说明。
基于此,本申请实施例提供一种可由区块链交易异常检测模型的训练装置实现的区块链交易异常检测模型的训练方法,参见图1,所述区块链交易异常检测模型的训练方法具体包含有如下内容:
步骤100:采用预先训练得到的对抗生成网络生成合成区块链交易数据,并将所述合成区块链交易数据和预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据,其中,每个所述样本数据均设有用于表示是否为异常交易的标签。
在本申请的一个或多个实施例中,区块链交易可以指基于区块链实现的金融交易或者碳排放交易。
具体来说,双碳目标下,区块链作为一种规则化数字技术,具有多方共识、公开透明、防篡改等特点,天然适用于碳交易与碳中和管理等规则强依赖场景。为了进行碳排放精准可信监测、建立支持全域碳排放可信监测的高性能区块链体系架构,实现弱信任环境下多元市场分级安全防护技术,需要对基于区块链的碳排放交易进行异常检测。传统的异常检测方法一般使用现有的数据集进行训练,然而区块链数据集存在数据量少,数据类型分布不均衡,部分信息缺失的问题。因此提出本申请实施例的区块链交易异常检测模型的训练方法。
可以理解的是,扩展训练集中的各个样本数据包含有:合成区块链交易数据对应的合成样本数据和预获取的真实区块链交易数据对应的真实样本数据。
在本申请的一个或多个实施例中,生成对抗网络(Generative AdversarialNetwork,简称GAN)是非监督式学习的一种方法,透过两个神经网络相互博弈的方式进行学习。自2014年GAN网络提出以来,其在计算机视觉领域获得了广泛的关注,但GAN网络在其他领域的应用相对较少。将GAN网络的思想应用在图网络特征表达是最近比较新颖的课题。
步骤200:基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型。
在本申请的一个或多个实施例中,自编码器是一种人工神经网络,通常用于降维,最终目的是通过学习生成数据的高质量嵌入表示,嵌入通过编码器获得,在深度学习网络中,使用自编码器作为特征提取的技术手段可以有效地生成特征嵌入,从而提升学习效果和训练速度,通过多层编码个解码函数的叠加,以无监督方式学习数据在隐空间的潜在表示。
步骤300:将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型。
可以理解的是,传统的异常检测模型一般只能使用现有的数据集,会受到数据集的限制,所以本申请实施例考虑生成对抗网络纳入到整体架构中,用于生成更多数据以更好地训练异常检测模型。同时,为了优化异常检测效果,本申请将自动编码器和卷积神经网络CNN结合,自动编码器用于编码过程,CNN用于预测过程。
在步骤100至步骤300中,使用生成对抗网络模型作为数据生成模型,然后利用生成的数据训练一个能够提供特征提取和降维功能的编码模型,将训练后的编码器作为异常检测模型的特征提取器。最后使用卷积神经网络作为分类器进行分类检测。
从上述描述可知,本申请实施例提供的区块链交易异常检测模型的训练方法,利用生成对抗的思想,弱化区块链数据集中常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响,提升异常检测性能,使算法更好地应用于区块链交易的异常检测。
为了进一步弱化区块链数据集中常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响,在本申请实施例提供的一种区块链交易异常检测模型的训练方法中,参见图2,所述区块链交易异常检测模型的训练方法中的步骤100之前还具体包含有如下内容:
步骤010:获取多个真实区块链交易数据以构成对应的真实数据集。
步骤020:基于所述真实数据集训练预设的对抗生成网络,以使该对抗生成网络中的生成器生成多个合成样本数据以构成先验分布数据集,再基于所述对抗生成网络中的判别器对所述真实数据集和所述先验分布数据集进行判定,进而使得所述对抗生成网络用于根据真实区块链交易数据生成对应的合成区块链交易数据。
具体来说,为了解决数据不均衡的问题,提高异常检测系统的性能,我们引入生成式对抗网络来生成合成数据。生成对抗网络由一个生成器与一个判别器组成。生成器从潜在空间(latent space)中随机取样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成器的输出,其目的是将生成器的输出从真实样本中尽可能分辨出来。而生成器则要尽可能地欺骗判别器。两个网络相互对抗、不断调整参数,最终目的是使判别器无法判断生成器的输出结果是否真实。
在训练生成模型后,系统根据使用训练过的生成器的类别生成合成数据,并将生成的数据集整合到原始训练数据集中。这个扩大的数据集被用来在下一阶段训练编码模型和预测模型。
也就是说,参见图3,本申请实施例提供的数据生成模型、编码模型和预测模型,其中,数据生成模型由对抗生成网络训练得到,编码模型由自动编码器训练得到,预测模型由所述自动编码器和所述卷积神经网络构建得到。具体来说,首先利用数据生成模型生成合成区块链交易数据,可以简称合成数据,然后利用生成的合成数据训练一个能够提供特征提取和降维功能的编码模型,进一步利用训练好的生成模型和编码模型来训练预测模型。其中生成对抗网络被用来生成稀缺数据,自动编码器被用作特征提取器。在预测模型方面,本申请可以使用基于AI的NIDS中被广泛利用的CNN模型。
为了进一步提高生成合成数据的稳定性和可靠性,在本申请实施例提供的一种区块链交易异常检测模型的训练方法中,所述对抗生成网络具体可以采用WGAN(WassersteinGAN);参见图4,所述区块链交易异常检测模型的训练方法中的步骤020具体包含有如下内容:
步骤021:更新WGAN中判别器对应的判别器参数和生成器对应的生成器参数,若当前的所述生成器未收敛,则基于所述真实数据集,针对所述WGAN在当前迭代轮次执行预设的梯度训练步骤,直到完成预设的所有迭代轮次,得到用于根据真实区块链交易数据生成对应的合成区块链交易数据。
其中,所述梯度训练步骤包括:
(1)在所述真实数据集中取样以得到对应的真实样本数据,以及在所述先验分布数据集中取样以得到对应的合成样本数据;
(2)基于所述真实样本数据和所述合成样本数据获取所述判别器的当前梯度,并采用RMSProp算法,根据所述判别器的当前梯度预设的学习率和梯度裁剪参数对所述判别器当前的判别器参数进行优化,得到所述判别器对应的更新后判别器参数;其中,RMSProp全称为Root Mean Square Propagation,是一种未发表的自适应学习率方法,是梯度下降优化算法的扩展。
(3)基于所述合成样本数据获取所述生成器的当前梯度;并采用RMSProp算法,根据所述生成器的当前梯度和所述学习率对所述生成器当前的生成器参数进行优化,得到所述生成器对应的更新后生成器参数。
具体来说,本申请实施例引入生成对抗网络用于区块链交易异常检测,借鉴生成对抗学习思想提出一种生成对抗网络模型,将网络结构、结点对近似关系以及结点属性信息,通过一个三级对抗模型逐级学习,将不同特征信息嵌入在一个低维的表示中,由此不仅将网络结构和结点对的近似关系嵌入在低维表示中,还将结点属性特征也嵌入到表示向量中,从而保留了原始网络更丰富的数据信息。
虽然生成对抗网络可以生成我们需要的数据,但是传统的GAN模型存在训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。所以在本研究中,我们引入WGAN模型。该模型将原本GAN的损失函数替换成了Wasserstein距离。WGAN的优势在于,相比原始生成器可以产生有意义的梯度来更新生成器,使得生成分布被拉向真实分布。WGAN既解决了训练不稳定的问题,也提供了一个可靠的训练进程指标,而且该指标确实与生成样本的质量高度相关。
其中,WGAN算法流程如表1所示。
表1
在训练生成模型后,系统使用训练过的生成器生成合成数据,并将生成的数据集整合到原始训练数据集中。这个扩大的数据集被用来在下一阶段训练自动编码器和预测模型。
为了进一步弱化区块链数据集中常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响,在本申请实施例提供的一种区块链交易异常检测模型的训练方法中,参见图4,所述区块链交易异常检测模型的训练方法中的步骤100具体包含有如下内容:
步骤110:基于WGAN中的所述生成器生成多个合成区块链交易数据;其中,所述合成区块链交易数据包括:区块链中交易的本地信息,该本地信息包括:时间步长、输入数量、输出数量、交易费用、输出量和汇总数字。
具体来说,采用WGAN作为数据生成模型接受区块链交易数据,其中,该交易数据中包含有关交易的本地信息,如时间步长、输入/输出数量、交易费用、输出量和汇总数字,例如输入/输出接收的平均BTC数量。
为了进一步提高特征提取的可靠性和准确性,在本申请实施例提供的一种区块链交易异常检测模型的训练方法中,参见图4,所述区块链交易异常检测模型的训练方法中的步骤200具体包含有如下内容:
步骤210:基于所述扩展训练集,采用最小化负对数似然的损失函数训练所述自动编码器中的编码器和解码器,以得到用于提取所述样本数据的特征数据并进行降维的编码模型。
在本申请提出的异常检测系统中,为了建立异常检测模型,需要训练一个能够提供特征提取和降维功能的特征提取模块。在建立编码模型后,系统使用前一模块组成的扩展数据集进行训练,然后利用训练后的编码器作为特征提取模块。
具体来说,为了建立异常检测模型,本架构需要训练一个能够提供特征提取和降维功能的特征提取模块。因此引入自动编码器。自动编码器是一种无监督的神经网络模型,它可以学习到数据的隐含特征,这称为编码,同时用学习到的新特征可以提取更有效的新特征,类似与主成分分析PCA,但是其比PCA性能更强,这是由于神经网络模型可以提取更有效的新特征。除了进行特征降维自动编码器学习到的新特征可以送入有监督学习模型中,所以自动编码器可以起到特征提取器的作用。
一般来说,自动编码器额结构由两部分组成:1)一个编码器 2)一个解码器。
自动编码器是将输入进行编码,得到新的特征/>,并且希望原始的输入/>能够从新的特征/>重构出来。编码过程如下:
输入为特征向量,/>为新的特征,/>是重构的向量,/>是需要学习的参数。
可以看到,和神经网络结构一样,其编码就是线性组合之后加上非线性的激活函数。
我们希望重构出的和/>尽可能一致,可以采用最小化负对数似然的损失函数来训练这个模型:
其中,表示损失函数;/>表示上面两个公式和/>的结合,即/>的表示方式。
生成数据模型自动编码器结合的流程如表2所示。
表2
也就是说,利用生成的数据训练自动编码器,本架构需要训练一个能够提供特征提取和降维功能的特征提取模块。因此我们引入自动编码器,自动编码器是一种无监督的神经网络模型,通常用于降维,它可以学习到数据的隐含特征,这称为编码,同时用学习到的新特征可以提取更有效的新特征. 在建立自动编码器模型后,系统使用前一块模块组成的扩展数据集进行训练,然后利用训练后的编码器作为特征提取模块。
为了进一步提高训练卷积神经网络的可靠性和有效性,在本申请实施例提供的一种区块链交易异常检测模型的训练方法中,所述卷积神经网络包括:一维CNN;可简写为1DCNN;参见图4,所述区块链交易异常检测模型的训练方法中的步骤300具体包含有如下内容:
步骤310:将所述扩展训练集中的各个样本数据输入所述特征提取器,以使该特征提取器分别输出各个所述样本数据各自对应的特征数据,并基于各个所述特征数据训练所述一维CNN,以将包含有所述特征提取器的该一维CNN训练成用于生成区块链交易数据对应的交易异常结果的区块链交易异常检测模型;其中,所述一维CNN包括依次连接的输入层、一维卷积层、池化层、拉平层、全连接层和输出层。
预测模型的作用是分类,训练后的编码器作为特征提取器被放在预测模型的最前面,并且在训练预测模型时我们固定训练后的编码器的模型参数。
对于分类器可采用在基于AI的NIDS中被广泛应用的深度学习模型,例如深度神经网络,CNN(卷积神经网络),LSTM(长短期记忆网络)模型等。
具体来说,对于区块链交易异常检测模型,本申请采用CNN作为分类器。CNN是目前图像领域特征提取最好的方式,基础的CNN由卷积层,池化层和全连接层组成。卷积层的主要作用是特征提取,池化层主要作用是下采样,全连接层的主要作用是分类。当处理图像分类任务时,我们会把CNN输出的特征空间作为全连接层或全连接神经网络(fullyconnected neural network, FCN)的输入,用全连接层来完成从输入图像到标签集的映射,即分类。
就CNN型而言,由于该模型最初被设计为更适合分析图像数据,因此我们需要在输入数据空间或模型的层中进行额外的转换过程。我们用一维(1-D)卷积层建立了CNN模型来处理交易数据。
1D CNN如图5所示,分别有输入层、卷积层、池化层、拉平(Flatten)层、全连接层和输出层。输入层的输入是一维向量Z,该一维向量是提取出来的特征,卷积层的卷积核为1维,池化层采用最大池化,Flatten层多维数据拉成一维的,直观上可理解为将数据“压平”,全连接层将前一层的所有节点与当前层的所有节点连接,用于学习输入数据的全局特征。全连接层通常用于分类任务中,用于将特征向量映射到不同的类别上。输出层即为全连接层的输出。
结合数据生成模型和编码模型训练区块链交易异常检测模型(可简称为分类模型或预测模型)的流程如表3所示。
表3
具体来说,将训练后的自动编码器作为预测模型的特征提取器用于预测。对于预测模型,我们采用CNN作为分类器。CNN是目前图像领域特征提取最好的方式,基础的CNN由卷积层、池化层和全连接层组成。卷积层的主要作用是特征提取,池化层主要作用是下采样,全连接层的主要作用是分类。当处理图像分类任务时,我们会把CNN输出的特征空间作为全连接层或者全连接神经网络(Fully connected nural network, FCN)的输入,用全连接层来完成从输入图像到标签集的映射,即分类。
也就是说,本申请首先利用生成对抗网络生成合成数据,然后利用生成的合成数据训练自编码器模型,进一步利用训练好的生成对抗网络模型和自编码器的编码器来训练预测模型,其中生成对抗网络模型被用来合成稀缺数据,而编码器被用作特征提取器。在预测模型方面,我们使用在基于AI的NIDS中被广泛利用的CNN模型。
基于上述的区块链交易异常检测模型的训练方法的实施例,本申请还提供一种区块链交易异常检测方法的实施例,参见图6,所述区块链交易异常检测方法具体包含有如下内容:
步骤400:接收区块链的目标区块链交易数据;
步骤500:将所述目标区块链交易数据输入区块链交易异常检测模型,以使该区块链交易异常检测模型输出所述目标区块链交易数据对应的交易异常结果检测数据,其中,所述区块链交易异常检测模型预先基于所述区块链交易异常检测模型的训练方法训练得到。
从上述描述可知,本申请实施例提供的区块链交易异常检测方法,充分利用生成对抗网络和自编码器,提出了一种异常检测模型。首先使用生成对抗网络作为数据生成模型,然后利用生成的数据训练一个能够提供特征提取和降维功能的编码器模型,最后将训练后的编码器作为预测模型的特征提取器。本申请利用生成对抗的思想,弱化数据不均衡、缺乏数据特征的先验信息等问题带来的影响,提升异常检测性能,使算法更好地应用于区块链交易的异常检测。
从软件层面来说,本申请还提供一种用于执行所述区块链交易异常检测模型的训练方法中全部或部分内的区块链交易异常检测模型的训练装置,参见图7,所述区块链交易异常检测模型的训练装置具体包含有如下内容:
合成数据生成模块10,用于采用预先训练得到的对抗生成网络生成合成区块链交易数据,并将所述合成区块链交易数据和预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据,其中,每个所述样本数据均设有用于表示是否为异常交易的标签;
编码模型训练模块20,用于基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型;
检测模型训练模块30,用于将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型。
本申请提供的区块链交易异常检测模型的训练装置的实施例具体可以用于执行上述实施例中的区块链交易异常检测模型的训练方法的实施例的处理流程,其功能在此不再赘述,可以参照上述区块链交易异常检测模型的训练方法实施例的详细描述。
所述区块链交易异常检测模型的训练装置进行区块链交易异常检测模型的训练的部分可以在服务器中执行,也可以在客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于区块链交易异常检测模型的训练的具体处理。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
从上述描述可知,本申请实施例提供的区块链交易异常检测模型的训练装置,将生成对抗网络引入到区块链交易异常检测模型中,弱化区块链数据集常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响。考虑传统的GAN模型存在训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题,我们使用WGAN作为数据生成模型。同时,将自动编码器和CNN网络结合,自动编码器用于编码过程优化特征提取效果,CNN用于预测过程,优化预测分类效果,上述改进可以有效提升区块链交易异常检测的性能,使算法更好地应用于区块链交易的异常检测。
从软件层面来说,本申请还提供一种用于执行所述区块链交易异常检测方法中全部或部分内的区块链交易异常检测装置,参见图8,所述区块链交易异常检测装置具体包含有如下内容:
数据接收模块40,用于接收区块链的目标区块链交易数据;
异常检测模块50,用于将所述目标区块链交易数据输入区块链交易异常检测模型,以使该区块链交易异常检测模型输出所述目标区块链交易数据对应的交易异常结果检测数据,其中,所述区块链交易异常检测模型预先基于所述的区块链交易异常检测模型的训练方法训练得到。
本申请提供的区块链交易异常检测装置的实施例具体可以用于执行上述实施例中的区块链交易异常检测方法的实施例的处理流程,其功能在此不再赘述,可以参照上述区块链交易异常检测方法实施例的详细描述。
所述区块链交易异常检测装置进行区块链交易异常检测的部分可以在服务器中执行,也可以在客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于区块链交易异常检测的具体处理。
从上述描述可知,本申请实施例提供的区块链交易异常检测装置,将生成对抗网络引入到区块链交易异常检测模型中,弱化区块链数据集常存在的数据不均衡、缺乏数据特征的先验信息等问题带来的影响。考虑传统的GAN模型存在训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题,我们使用WGAN作为数据生成模型。同时,将自动编码器和CNN网络结合,自动编码器用于编码过程优化特征提取效果,CNN用于预测过程,优化预测分类效果,上述改进可以有效提升区块链交易异常检测的性能,使算法更好地应用于区块链交易的异常检测。
本申请实施例还提供了一种电子设备,该电子设备可以包括处理器、存储器、接收器及发送器,处理器用于执行上述实施例提及的区块链交易异常检测模型的训练方法和/或区块链交易异常检测方法,其中处理器和存储器可以通过总线或者其他方式连接,以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。
处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的区块链交易异常检测模型的训练方法和/或区块链交易异常检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的区块链交易异常检测模型的训练方法和/或区块链交易异常检测方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中,当被所述处理器执行时,执行实施例中的区块链交易异常检测模型的训练方法和/或区块链交易异常检测方法。
在本申请的一些实施例中,用户设备可以包括处理器、存储器和收发单元,该收发单元可包括接收器和发送器,处理器、存储器、接收器和发送器可通过总线系统连接,存储器用于存储计算机指令,处理器用于执行存储器中存储的计算机指令,以控制收发单元收发信号。
作为一种实现方式,本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现,处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式,可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器,接收器和发送器功能的程序代码存储在存储器中,通用处理器通过执行存储器中的代码来实现处理器,接收器和发送器的功能。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现前述区块链交易异常检测模型的训练方法和/或区块链交易异常检测方法的步骤。该计算机可读存储介质可以是有形存储介质,诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
本申请中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本申请的优选实施例,并不用于限制本申请,对于本领域的技术人员来说,本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种区块链交易异常检测模型的训练方法,其特征在于,包括:
采用预先训练得到的对抗生成网络生成合成区块链交易数据,并将所述合成区块链交易数据和预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据,其中,每个所述样本数据均设有用于表示是否为异常交易的标签;
基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型;
将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型;
在所述采用预先训练得到的对抗生成网络生成合成区块链交易数据之前,还包括:
获取多个真实区块链交易数据以构成对应的真实数据集;
基于所述真实数据集训练预设的对抗生成网络,以使该对抗生成网络中的生成器生成多个合成样本数据以构成先验分布数据集,再基于所述对抗生成网络中的判别器对所述真实数据集和所述先验分布数据集进行判定,进而使得所述对抗生成网络用于根据真实区块链交易数据生成对应的合成区块链交易数据;
所述卷积神经网络包括:一维CNN;
相对应的,所述将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常结果的区块链交易异常检测模型,包括:
将所述扩展训练集中的各个样本数据输入所述特征提取器,以使该特征提取器分别输出各个所述样本数据各自对应的特征数据,并基于各个所述特征数据训练所述一维CNN,以将包含有所述特征提取器的该一维CNN训练成用于生成区块链交易数据对应的交易异常结果的区块链交易异常检测模型;
其中,所述一维CNN包括依次连接的输入层、一维卷积层、池化层、拉平层、全连接层和输出层。
2.根据权利要求1所述的区块链交易异常检测模型的训练方法,其特征在于,所述对抗生成网络包括:WGAN;
相对应的,所述基于所述真实数据集训练预设的对抗生成网络,包括:
更新WGAN中判别器对应的判别器参数和生成器对应的生成器参数,若当前的所述生成器未收敛,则基于所述真实数据集,针对所述WGAN在当前迭代轮次执行预设的梯度训练步骤;
其中,所述梯度训练步骤包括:
在所述真实数据集中取样以得到对应的真实样本数据,以及在所述先验分布数据集中取样以得到对应的合成样本数据;
基于所述真实样本数据和所述合成样本数据获取所述判别器的当前梯度,并采用RMSProp算法,根据所述判别器的当前梯度预设的学习率和梯度裁剪参数对所述判别器当前的判别器参数进行优化,得到所述判别器对应的更新后判别器参数;
基于所述合成样本数据获取所述生成器的当前梯度;并采用RMSProp算法,根据所述生成器的当前梯度和所述学习率对所述生成器当前的生成器参数进行优化,得到所述生成器对应的更新后生成器参数。
3.根据权利要求2所述的区块链交易异常检测模型的训练方法,其特征在于,所述采用预先训练得到的对抗生成网络生成合成区块链交易数据,包括:
基于WGAN中的所述生成器生成多个合成区块链交易数据;
其中,所述合成区块链交易数据包括:区块链中交易的本地信息,该本地信息包括:时间步长、输入数量、输出数量、交易费用、输出量和汇总数字。
4.根据权利要求1所述的区块链交易异常检测模型的训练方法,其特征在于,所述基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型,包括:
基于所述扩展训练集,采用最小化负对数似然的损失函数训练所述自动编码器中的编码器和解码器,以得到用于提取所述样本数据的特征数据并进行降维的编码模型。
5.一种区块链交易异常检测方法,其特征在于,包括:
接收区块链的目标区块链交易数据;
将所述目标区块链交易数据输入区块链交易异常检测模型,以使该区块链交易异常检测模型输出所述目标区块链交易数据对应的交易异常结果检测数据,其中,所述区块链交易异常检测模型预先基于权利要求1至4任一项所述的区块链交易异常检测模型的训练方法训练得到。
6.一种区块链交易异常检测模型的训练装置,其特征在于,包括:
合成数据生成模块,用于采用预先训练得到的对抗生成网络生成合成区块链交易数据,并将所述合成区块链交易数据和预获取的真实区块链交易数据分别作为扩展训练集中的各个样本数据,其中,每个所述样本数据均设有用于表示是否为异常交易的标签;
编码模型训练模块,用于基于所述扩展训练集训练自动编码器,以将该自动编码器训练成用于提取所述样本数据的特征数据的编码模型;
检测模型训练模块,用于将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常检测结果的区块链交易异常检测模型;
在所述采用预先训练得到的对抗生成网络生成合成区块链交易数据之前,所述区块链交易异常检测模型的训练装置还用于执行下述内容:
获取多个真实区块链交易数据以构成对应的真实数据集;
基于所述真实数据集训练预设的对抗生成网络,以使该对抗生成网络中的生成器生成多个合成样本数据以构成先验分布数据集,再基于所述对抗生成网络中的判别器对所述真实数据集和所述先验分布数据集进行判定,进而使得所述对抗生成网络用于根据真实区块链交易数据生成对应的合成区块链交易数据;
所述卷积神经网络包括:一维CNN;
相对应的,所述将所述编码模型作为一卷积神经网络的特征提取器,并基于所述扩展训练集训练该卷积神经网络,以得到用于生成区块链交易数据对应的交易异常结果的区块链交易异常检测模型,包括:
将所述扩展训练集中的各个样本数据输入所述特征提取器,以使该特征提取器分别输出各个所述样本数据各自对应的特征数据,并基于各个所述特征数据训练所述一维CNN,以将包含有所述特征提取器的该一维CNN训练成用于生成区块链交易数据对应的交易异常结果的区块链交易异常检测模型;
其中,所述一维CNN包括依次连接的输入层、一维卷积层、池化层、拉平层、全连接层和输出层。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的区块链交易异常检测模型的训练方法,和/或,实现如权利要求5所述的区块链交易异常检测方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至4任一项所述的区块链交易异常检测模型的训练方法,和/或,实现如权利要求5所述的区块链交易异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311274072.0A CN116992299B (zh) | 2023-09-28 | 2023-09-28 | 区块链交易异常检测模型的训练方法、检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311274072.0A CN116992299B (zh) | 2023-09-28 | 2023-09-28 | 区块链交易异常检测模型的训练方法、检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116992299A CN116992299A (zh) | 2023-11-03 |
CN116992299B true CN116992299B (zh) | 2024-01-05 |
Family
ID=88528849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311274072.0A Active CN116992299B (zh) | 2023-09-28 | 2023-09-28 | 区块链交易异常检测模型的训练方法、检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116992299B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117852092B (zh) * | 2024-02-23 | 2024-07-12 | 广州钜慧信息科技有限公司 | 基于区块链的数据安全保护方法及系统 |
CN117808497B (zh) * | 2024-03-01 | 2024-05-14 | 清华四川能源互联网研究院 | 基于距离和方向特征的电力碳排放异常检测模块和方法 |
CN118378204B (zh) * | 2024-06-26 | 2024-10-01 | 中科链安(北京)科技有限公司 | 基于模式匹配的区块链异常交易行为识别方法及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067915A (zh) * | 2021-11-22 | 2022-02-18 | 湖南大学 | 一种基于深度对抗变分自编码器的scRNA-seq数据降维方法 |
CN116611478A (zh) * | 2023-06-14 | 2023-08-18 | 西北师范大学 | 一种基于深度阈值生成对抗网络的工业过程数据增强方法 |
CN116644367A (zh) * | 2022-02-14 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 一种异常对象的检测方法、装置以及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10592779B2 (en) * | 2017-12-21 | 2020-03-17 | International Business Machines Corporation | Generative adversarial network medical image generation for training of a classifier |
-
2023
- 2023-09-28 CN CN202311274072.0A patent/CN116992299B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067915A (zh) * | 2021-11-22 | 2022-02-18 | 湖南大学 | 一种基于深度对抗变分自编码器的scRNA-seq数据降维方法 |
CN116644367A (zh) * | 2022-02-14 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 一种异常对象的检测方法、装置以及存储介质 |
CN116611478A (zh) * | 2023-06-14 | 2023-08-18 | 西北师范大学 | 一种基于深度阈值生成对抗网络的工业过程数据增强方法 |
Non-Patent Citations (3)
Title |
---|
Track Defect Detection for High-Speed Maglev Trains via Deep Learning;Yongxiang He, et al;IEEE Transactions on Instrumentation and Measurement;全文 * |
基于生成式对抗网络的窃电检测数据生成方法;王德文;杨凯华;;电网技术(第02期);全文 * |
用于电网异物识别的生成式对抗卷积神经网络算法;代杰杰;滕莹冰;吴奕姣;龚越明;;电力信息与通信技术(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116992299A (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116992299B (zh) | 区块链交易异常检测模型的训练方法、检测方法及装置 | |
Zheng et al. | Learning to classify: A flow-based relation network for encrypted traffic classification | |
Chen et al. | Cyber security in smart cities: a review of deep learning-based applications and case studies | |
Almomani et al. | An automated vision-based deep learning model for efficient detection of android malware attacks | |
CN113806746B (zh) | 基于改进cnn网络的恶意代码检测方法 | |
CN111323228B (zh) | 一种基于时间序列映射与卷积神经网络的故障诊断方法 | |
Alabadi et al. | Anomaly detection for cyber-security based on convolution neural network: A survey | |
Blount et al. | Adaptive rule-based malware detection employing learning classifier systems: a proof of concept | |
CN114693624B (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
CN116843400A (zh) | 基于图表示学习的区块链碳排放交易异常检测方法和装置 | |
CN112235314A (zh) | 网络流量检测方法和装置及设备 | |
CN118041689B (zh) | 一种网络恶意流量检测方法 | |
Chen et al. | Using adversarial examples to bypass deep learning based url detection system | |
Kamran et al. | Semi-supervised conditional GAN for simultaneous generation and detection of phishing URLs: A game theoretic perspective | |
CN117729003A (zh) | 基于机器学习的威胁情报可信分析系统及方法 | |
CN113591892A (zh) | 一种训练数据的处理方法及装置 | |
Khan et al. | A novel deep learning technique to detect electricity theft in smart grids using AlexNet | |
CN116647844A (zh) | 一种基于堆叠集成算法的车载网络入侵检测方法 | |
CN117375855A (zh) | 一种异常检测方法、模型训练方法及相关设备 | |
Sundaram et al. | Improving Performance of Intrusion Detection Using ALO Selected Features and GRU Network | |
Khan et al. | Using Capsule Networks for Android Malware Detection Through Orientation-Based Features. | |
Zhang et al. | STARNet: An Efficient Spatiotemporal Feature Sharing Reconstructing Network for Automatic Modulation Classification | |
CN114065867B (zh) | 一种数据分类方法、系统及电子设备 | |
CN118381682B (zh) | 工控网络攻击事件综合分析溯源方法及装置 | |
CN116527373B (zh) | 针对恶意url检测系统的后门攻击方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |