CN118279055A - 金融交易数据异常检测方法、装置和计算机设备 - Google Patents
金融交易数据异常检测方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN118279055A CN118279055A CN202410391890.7A CN202410391890A CN118279055A CN 118279055 A CN118279055 A CN 118279055A CN 202410391890 A CN202410391890 A CN 202410391890A CN 118279055 A CN118279055 A CN 118279055A
- Authority
- CN
- China
- Prior art keywords
- data
- financial transaction
- transaction data
- reconstruction
- deconvolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 163
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000000605 extraction Methods 0.000 claims abstract description 84
- 230000005856 abnormality Effects 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 238000003860 storage Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 39
- 230000002159 abnormal effect Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000002547 anomalous effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
Abstract
本申请涉及一种金融交易数据异常检测方法、装置、计算机设备、存储介质和计算机程序产品,涉及人工智能技术领域,可用于金融科技领域或其他相关领域。所述方法包括:获取金融系统中的金融交易数据;采用预先训练的编码器,对金融交易数据进行特征提取处理,得到金融交易数据对应的特征信息;采用预先训练的解码器,对特征信息进行数据重构处理,得到特征信息对应的重构数据;根据重构数据,确定金融交易数据的异常检测结果。采用本方法能够提高金融交易数据的异常检测准确性。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种金融交易数据异常检测方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在金融科技领域,金融交易数据的异常检测对于风险管理、反欺诈等具有重要意义。
传统的异常检测方法主要依赖于手工设计的规则或者基于统计学方法。然而,随着金融数据规模和复杂度的增加,传统方法对高维的、复杂的金融交易数据进行特征提取得到的特征可能无法全面、准确地表征数据的特点,使得金融交易数据的异常检测准确性较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高金融交易数据的异常检测准确性的金融交易数据异常检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种金融交易数据异常检测方法,包括:
获取金融系统中的金融交易数据;
采用预先训练的编码器,对所述金融交易数据进行特征提取处理,得到所述金融交易数据对应的特征信息;
采用预先训练的解码器,对所述特征信息进行数据重构处理,得到所述特征信息对应的重构数据;
根据所述重构数据,确定所述金融交易数据的异常检测结果。
在其中一个实施例中,所述编码器包括至少一个卷积模块;
所述采用预先训练的编码器,对所述金融交易数据进行特征提取处理,包括:
在一个所述卷积模块中,将卷积输入经过目标次数的特征提取处理,得到所述卷积输入对应的初始卷积输出;所述目标次数为至少一次;
将所述初始卷积输出经过一次池化层的降维处理,得到所述卷积模块的卷积输出;第一个卷积模块的卷积输入为所述金融交易数据,最后一个卷积模块的卷积输出为所述金融交易数据对应的特征信息。
在其中一个实施例中,所述解码器包括至少一个反卷积模块,所述卷积模块和所述反卷积模块的数量对应;
所述采用预先训练的解码器,对所述特征信息进行数据重构处理,包括:
在所述一个反卷积模块中,将反卷积输入经过一次上采样层的升维处理,得到所述反卷积输入对应的初始反卷积输出;
将所述初始反卷积输出经过所述目标次数的数据重构处理,得到所述反卷积模块的反卷积输出;第一个反卷积模块的反卷积输入为所述金融交易数据对应的特征信息,最后一个反卷积模块的反卷积输出为所述重构数据。
在其中一个实施例中,所述将卷积输入经过目标次数的特征提取处理,得到所述卷积输入对应的初始卷积输出,包括:
在一次所述特征提取处理中,将提取输入经过批归一化处理,得到所述提取输入的分布特征;
将所述分布特征经过卷积层和第一激活函数层的特征提取处理,得到所述特征提取处理的第一处理结果;第一次特征提取处理的提取输入为所述卷积输入,最后一次特征提取处理的第一处理结果为所述初始卷积输出。
在其中一个实施例中,所述将所述初始反卷积输出经过所述目标次数的数据重构处理,得到所述反卷积模块的反卷积输出,包括:
在一次所述数据重构处理中,将重构输入经过第二激活函数层和反卷积层的数据重构处理,得到所述重构输入的初始重构数据;
将所述初始重构数据经过批归一化处理,得到所述数据重构处理的第二处理结果;第一次数据重构处理的重构输入为所述初始反卷积输出,最后一次数据重构处理的第二处理结果为所述反卷积输出。
在其中一个实施例中,所述根据所述重构数据,确定所述金融交易数据的异常检测结果,包括:
确定所述重构数据和所述金融交易数据之间的差异信息;
在所述差异信息小于预设阈值的情况下,确定所述金融交易数据为正常数据;
在所述差异信息大于或等于预设阈值的情况下,确定所述金融交易数据为异常数据。
在其中一个实施例中,在获取金融系统中的金融交易数据之前,还包括:
获取初始编码器、初始解码器和样本金融交易数据;
根据所述初始化编码器和所述初始解码器,得到所述样本金融交易数据的样本重构数据;
根据所述样本重构数据和所述样本金融交易数据之间的样本差异信息,调整所述初始化编码器和所述初始解码器中的参数,得到新的初始编码器和新的初始解码器,并跳转至所述根据所述初始化编码器和所述初始解码器,得到所述样本金融交易数据的样本重构数据的步骤,直到符合训练完成条件,将符合所述训练完成条件的初始编码器和初始解码器,对应作为所述预先训练的编码器和所述预先训练的解码器。
第二方面,本申请还提供了一种金融交易数据异常检测装置,包括:
数据获取模块,用于获取金融系统中的金融交易数据;
数据编码模块,用于采用预先训练的编码器,对所述金融交易数据进行特征提取处理,得到所述金融交易数据对应的特征信息;
数据重构模块,用于采用预先训练的解码器,对所述特征信息进行数据重构处理,得到所述特征信息对应的重构数据;
异常确定模块,用于根据所述重构数据,确定所述金融交易数据的异常检测结果。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取金融系统中的金融交易数据;
采用预先训练的编码器,对所述金融交易数据进行特征提取处理,得到所述金融交易数据对应的特征信息;
采用预先训练的解码器,对所述特征信息进行数据重构处理,得到所述特征信息对应的重构数据;
根据所述重构数据,确定所述金融交易数据的异常检测结果。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取金融系统中的金融交易数据;
采用预先训练的编码器,对所述金融交易数据进行特征提取处理,得到所述金融交易数据对应的特征信息;
采用预先训练的解码器,对所述特征信息进行数据重构处理,得到所述特征信息对应的重构数据;
根据所述重构数据,确定所述金融交易数据的异常检测结果。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取金融系统中的金融交易数据;
采用预先训练的编码器,对所述金融交易数据进行特征提取处理,得到所述金融交易数据对应的特征信息;
采用预先训练的解码器,对所述特征信息进行数据重构处理,得到所述特征信息对应的重构数据;
根据所述重构数据,确定所述金融交易数据的异常检测结果。
上述金融交易数据异常检测方法、装置、计算机设备、存储介质和计算机程序产品,首先,获取金融系统中的金融交易数据;然后,采用预先训练的编码器,对金融交易数据进行特征提取处理,得到金融交易数据对应的特征信息,通过使用预先训练的编码器,可以将原始的高维、复杂的金融交易数据转换为低维、更具代表性的特征信息,并且,预先训练的编码器是基于正常数据和特征信息之间的潜在规律来得到特征信息;接着,采用预先训练的解码器,对特征信息进行数据重构处理,得到特征信息对应的重构数据,使用预先训练的解码器对特征信息进行数据重构处理,可以将经过编码器提取的特征信息还原为原始数据的近似表示,并且,预先训练的解码器也是基于正常数据和特征信息之间的潜在规律来重构数据;最后,根据重构数据,确定金融交易数据的异常检测结果,通过对重构数据进行分析和比较,可以确定原始金融交易数据中是否存在异常,因为编码器和解码器均是基于正常数据和特征信息之间的潜在规律去处理数据,那么,如果重构数据与原始数据之间存在显著的差异,则可能表明原始数据不适用这个潜在规律,可能为异常数据。上述方法中,通过结合深度学习中的自编码器模型,利用其在特征提取和数据重构方面的优势,基于编码器和解码器,对高维度复杂的数据进行两次处理,增大正常数据和异常数据之间的差异,更准确地实现了对金融交易数据的异常检测,能够更全面、准确地表征数据的特点,提高了异常检测的准确性和可靠性。同时,由于自编码器模型可以通过大规模数据进行预训练,因此具有较强的泛化能力,能够适应不同类型和规模的金融交易数据,从而更好地适应金融科技领域中不断变化的需求。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中金融交易数据异常检测方法的流程示意图;
图2为一个实施例中编码器和解码器的结构示意图;
图3为另一个实施例中金融交易数据异常检测方法的流程示意图;
图4为一个实施例中金融交易数据异常检测系统的结构示意图;
图5为一个实施例中深度卷积自编码器模型的结构示意图;
图6为一个实施例中金融交易数据异常检测装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。采集的信息是经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理,均遵守相关国家和地区的相关法律法规和标准,采取了必要保密措施,不违背公序良俗,并提供有相应的操作入口,供用户选择授权或者拒绝。
在一个实施例中,如图1所示,提供了一种金融交易数据异常检测方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中,该方法包括以下步骤:
步骤S101,获取金融系统中的金融交易数据。
示例性地,终端获取金融系统中的金融交易数据,首先可以从金融交易系统或本地数据库等数据源中获取金融交易数据,也可以直接获取用户输入的金融交易数据。如果从数据源中获取数据,需要确定所需的金融交易数据的时间范围和数据类型。然后,终端在获取数据之后,进行数据质量检查以确保数据的准确性和完整性,包括检查数据是否存在缺失值、异常值或错误数据,并进行必要的数据清洗和预处理。预处理可以是将数据按照一定的标准进行处理,以便模型能够更好地理解和处理数据,可能包括将日期和时间转换为标准格式、将类别型数据转换为数值型数据等。
步骤S102,采用预先训练的编码器,对金融交易数据进行特征提取处理,得到金融交易数据对应的特征信息。
示例性地,用户需要预先确定所需的编码器和解码器的模型结构,然后终端对编码器和解码器共同进行训练,得到预先训练的编码器和预先训练的解码器。终端会将金融交易数据转换为适合编码器模型输入的格式,可能包括将数据转换为张量形式,进行必要的归一化或标准化处理,以及将数据按照模型要求的形状进行重塑。然后,将金融交易数据输入到编码器模型中,利用编码器模型的前向传播过程,将原始数据映射到一个低维的特征空间中,提取得到数据的特征信息。
步骤S103,采用预先训练的解码器,对特征信息进行数据重构处理,得到特征信息对应的重构数据。
示例性地,终端将特征信息输入到解码器模型中,利用解码器模型的前向传播过程,将特征信息映射回原始的数据空间,实现特征信息进行数据重构处理。重构数据是特征信息经过解码器处理后得到的原始数据的近似表示。
步骤S104,根据重构数据,确定金融交易数据的异常检测结果。
示例性地,终端对获取的重构数据进行分析和比较,即计算重构数据与原始数据之间的差异或误差,以及确定异常程度。终端根据设定的异常检测标准,将重构数据与原始数据进行比较,并确定金融交易数据的异常检测结果。如果重构数据与原始数据之间的差异超过设定的阈值,则将相应的数据标记为异常。终端还可以对检测到的异常数据进行分析,可以分析异常数据的特征模式、原因和影响,以及采取相应的应对措施,如风险管理、欺诈检测或异常交易监测等。终端还可以在发现异常数据时,给用户发送告警信息,并且附带上可视化的异常检测结果。
上述金融交易数据异常检测方法中,首先,获取金融系统中的金融交易数据;然后,采用预先训练的编码器,对金融交易数据进行特征提取处理,得到金融交易数据对应的特征信息,通过使用预先训练的编码器,可以将原始的高维、复杂的金融交易数据转换为低维、更具代表性的特征信息,并且,预先训练的编码器是基于正常数据和特征信息之间的潜在规律来得到特征信息;接着,采用预先训练的解码器,对特征信息进行数据重构处理,得到特征信息对应的重构数据,使用预先训练的解码器对特征信息进行数据重构处理,可以将经过编码器提取的特征信息还原为原始数据的近似表示,并且,预先训练的解码器也是基于正常数据和特征信息之间的潜在规律来重构数据;最后,根据重构数据,确定金融交易数据的异常检测结果,通过对重构数据进行分析和比较,可以确定原始金融交易数据中是否存在异常,因为编码器和解码器均是基于正常数据和特征信息之间的潜在规律去处理数据,那么,如果重构数据与原始数据之间存在显著的差异,则可能表明原始数据不适用这个潜在规律,可能为异常数据。上述方法中,通过结合深度学习中的自编码器模型,利用其在特征提取和数据重构方面的优势,基于编码器和解码器,对高维度复杂的数据进行两次处理,增大正常数据和异常数据之间的差异,更准确地实现了对金融交易数据的异常检测,能够更全面、准确地表征数据的特点,提高了异常检测的准确性和可靠性。同时,由于自编码器模型可以通过大规模数据进行预训练,因此具有较强的泛化能力,能够适应不同类型和规模的金融交易数据,从而更好地适应金融科技领域中不断变化的需求。
在一个示例性的实施例中,编码器包括至少一个卷积模块;上述步骤S102采用预先训练的编码器,对金融交易数据进行特征提取处理,还包括:在一个卷积模块中,将卷积输入经过目标次数的特征提取处理,得到卷积输入对应的初始卷积输出;目标次数为至少一次;将初始卷积输出经过一次池化层的降维处理,得到卷积模块的卷积输出;第一个卷积模块的卷积输入为金融交易数据,最后一个卷积模块的卷积输出为金融交易数据对应的特征信息。
示例性地,如图2所示,编码器中至少包括一个卷积模块,卷积模块中包括至少一次特征处理和一次池化层处理。终端将金融交易数据作为第一个卷积模块的输入,经过目标次数的特征提取处理,得到金融交易数据对应的初始卷积输出。然后,还在第一个卷积模块中,终端将金融交易数据对应的初始卷积输出经过一次池化层的降维处理,得到第一个卷积模块的卷积输出。再将第一个卷积模块的卷积输出作为第二个卷积模块的卷积输入,以此类推,直到得到最后一个卷积模块的卷积输出,作为金融交易数据对应的特征信息。若仅有一个卷积模块,那么这唯一的卷积模块既是第一个卷积模块又是最后一个卷积模块,则这唯一的卷积模块的输入为金融交易数据,输出为金融交易数据对应的特征信息。其中,池化层的作用是对特征图进行降维处理,以减少特征图的尺寸和参数数量,从而提高模型的计算效率和泛化能力。
本实施例中,通过卷积模块和池化层对金融交易数据进行特征提取和降维处理,从而得到金融交易数据的特征信息。该过程利用卷积模块对数据进行局部感知和特征提取,通过多次卷积操作可以捕获数据中的高级特征,池化层的降维处理有助于减少特征图的尺寸,保留重要的特征信息,并增强模型的平移不变性,利用卷积模块和池化层的组合结构,有助于捕获数据中的局部模式和全局特征,有效地提取了金融交易数据的特征信息,为后续的异常检测提供了有力支持。
在一个示例性的实施例中,解码器包括至少一个反卷积模块,卷积模块和反卷积模块的数量对应;上述步骤S103采用预先训练的解码器,对特征信息进行数据重构处理,还包括:在一个反卷积模块中,将反卷积输入经过一次上采样层的升维处理,得到反卷积输入对应的初始反卷积输出;将初始反卷积输出经过目标次数的数据重构处理,得到反卷积模块的反卷积输出;第一个反卷积模块的反卷积输入为金融交易数据对应的特征信息,最后一个反卷积模块的反卷积输出为重构数据。
示例性地,如图2所示,解码器中至少包括一个反卷积模块,反卷积模块中包括一次上采样层和至少一次数据重构处理。终端将金融交易数据对应的特征信息作为第一个反卷积模块的输入,首先经过一次上采样层的升维处理,得到特征信息对应的初始反卷积输出。然后,还在第一个反卷积模块中,终端将特征信息对应的初始反卷积输出经过目标次数的数据重构处理,得到第一个反卷积模块的反卷积输出。再将第一个反卷积模块的反卷积输出作为第二个反卷积模块的反卷积输入,以此类推,直到得到最后一个反卷积模块的反卷积输出,作为特征信息对应的重构数据。若仅有一个反卷积模块,那么这唯一的反卷积模块既是第一个反卷积模块又是最后一个反卷积模块,则这唯一的反卷积模块的输入为金融交易数据对应的特征信息,输出为特征信息对应的重构数据。
本实施例中,通过使用包含反卷积模块的解码器模型,以及在每个反卷积模块中将特征信息经过一次上采样层的升维处理和目标次数的数据重构处理,实现了对金融交易数据特征信息的有效重构。通过这一过程,可以将经编码器提取的特征信息还原为与原始数据相近的数据表示,从而实现了对金融交易数据的数据重构处理,以对金融交易数据在正常异常这一维度上的差异表达进行放大,更好地区分正常异常。
在一个示例性的实施例中,上述将卷积输入经过目标次数的特征提取处理,得到卷积输入对应的初始卷积输出,还包括:在一次特征提取处理中,将提取输入经过批归一化处理,得到提取输入的分布特征;将分布特征经过卷积层和第一激活函数层的特征提取处理,得到特征提取处理的第一处理结果;第一次特征提取处理的提取输入为卷积输入,最后一次特征提取处理的第一处理结果为初始卷积输出。
示例性地,如图2所示,在编码器的卷积模块的一次特征提取处理中,包括批归一化处理、卷积层的处理和激活函数层的处理。终端在每次特征提取处理中,首先将提取输入经过批归一化处理,以得到输入数据的分布特征。然后,将经过批归一化处理的分布特征经过卷积层和第一激活函数层的特征提取处理,得到特征提取处理的第一处理结果。卷积层用于对输入数据进行特征提取,激活函数层则对卷积输出进行非线性变换,引入非线性因素。重复以上特征提取处理步骤,以满足设定的目标次数。每次特征提取处理都将提取输入经过批归一化处理、卷积层和激活函数层的处理,得到新的处理结果。将最后一次特征提取处理的第一处理结果作为初始卷积输出。这个初始卷积输出将作为下一个卷积模块的输入,继续进行后续的特征提取处理。第一次特征提取处理的提取输入为卷积输入,那么第一个卷积模块的第一次特征提取处理的提取输入即为金融交易数据。
其中,批归一化层的均值和方差参数在模型训练阶段固定,模型应用阶段的批归一化层实际是基于训练确定的参数,对输入数据进行归一化处理,使得模型可以学习到输入基于训练数据的分布情况,使每次的输入数据分布稳定。
本实施例中,通过卷积模块中的特征提取处理,实现了将卷积输入经过目标次数的特征提取处理,得到初始卷积输出。批归一化处理有助于规范化输入数据的分布特征,使得模型可以学习到输入基于训练数据的分布情况,使每次的输入数据分布稳定,且更更易于模型的训练和优化。卷积层和激活函数层的处理则对数据进行特征提取和非线性变换,提高了模型的表征能力。重复特征提取处理次数可以逐步提取数据中的抽象特征,为后续步骤提供更丰富的特征表示。最终,初始卷积输出作为编码器模块的输出,用于后续步骤的特征提取和数据重构处理。
在一个示例性的实施例中,上述将初始反卷积输出经过目标次数的数据重构处理,得到反卷积模块的反卷积输出,还包括:在一次数据重构处理中,将重构输入经过第二激活函数层和反卷积层的数据重构处理,得到重构输入的初始重构数据;将初始重构数据经过批归一化处理,得到数据重构处理的第二处理结果;第一次数据重构处理的重构输入为初始反卷积输出,最后一次数据重构处理的第二处理结果为反卷积输出。
示例性地,如图2所示,在解码器的反卷积模块的一次数据重构处理中,包括激活函数层的处理、反卷积层的处理和批归一化处理。
终端在每次数据重构处理中,首先将重构输入经过第二激活函数层和反卷积层的数据重构处理,得到输入数据的初始重构数据。然后,将初始重构数据经过批归一化处理,数据重构处理的第二处理结果。反卷积层用于对输入数据进行反向卷积操作,以逐步恢复原始数据的维度和空间信息,而激活函数层则对反卷积输出进行非线性变换,以引入非线性因素。重复以上数据重构处理步骤,以满足设定的目标次数。每次数据重构处理都将重构输入经过激活函数层、反卷积层和批归一化处理的处理,得到新的处理结果。将最后一次数据重构处理的第二处理结果作为反卷积输出。这个反卷积输出将作为下一个反卷积模块的输入,继续进行后续的数据重构处理。那么最后一个反卷积模块的最后一次数据重构处理的第二处理结果即为特征信息对应的重构数据。
本实施例中,通过采用包含反卷积层的模块,并在每个反卷积模块中将初始反卷积输出经过一次反卷积层和第二激活函数层的数据重构处理,并进行批归一化处理,实现了对特征信息的逐步重构,最终得到了近似原始数据的反卷积输出。这一过程可以帮助将从编码器中提取的特征信息映射回原始数据空间,从而实现了数据的重构处理,为后续的异常检测提供了基础。
在一个示例性的实施例中,上述步骤S104根据重构数据,确定金融交易数据的异常检测结果,还包括:确定重构数据和金融交易数据之间的差异信息;在差异信息小于预设阈值的情况下,确定金融交易数据为正常数据;在差异信息大于或等于预设阈值的情况下,确定金融交易数据为异常数据。
示例性地,终端首先计算重构数据与原始金融交易数据之间的差异信息,例如,通过各种距离度量或损失函数来实现,如均方误差(MSE)、欧氏距离、余弦相似度等。差异信息表示了重构数据与原始数据之间的偏离程度或差异程度。在确定异常检测结果之前,需要设定一个预设阈值,用于区分正常数据和异常数据。预设阈值可以根据训练样本来确定。根据计算得到的差异信息,将其与预设阈值进行比较。如果差异信息小于预设阈值,则将金融交易数据判定为正常数据;如果差异信息大于或等于预设阈值,则将金融交易数据判定为异常数据。因为,预先训练的编码器是基于正常数据和特征信息之间的潜在规律来得到特征信息,预先训练的解码器也是基于正常数据和特征信息之间的潜在规律来重构数据;那么,如果重构数据与原始数据之间存在显著的差异,则可能表明原始数据不适用这个潜在规律,可能为异常数据。异常数据和正常数据之间的潜在差异被编码器和解码器的处理给放大了。
本实施例中,通过重构数据和原始金融交易数据之间的差异信息来确定数据的异常检测结果。将金融交易数据与其重构版本进行比较,并根据差异信息进行分类判定,可以有效地识别出异常数据,有助于风险管理、反欺诈等方面的应用。另外,通过设定合适的预设阈值,可以在保证准确性的同时灵活地调整异常检测的严格程度,从而满足不同场景下的需求。
在一个示例性的实施例中,在上述步骤S101获取金融系统中的金融交易数据之前,还包括:获取初始编码器、初始解码器和样本金融交易数据;根据初始化编码器和初始解码器,得到样本金融交易数据的样本重构数据;根据样本重构数据和样本金融交易数据之间的样本差异信息,调整初始化编码器和初始解码器中的参数,得到新的初始编码器和新的初始解码器,并跳转至根据初始化编码器和初始解码器,得到样本金融交易数据的样本重构数据的步骤,直到符合训练完成条件,将符合训练完成条件的初始编码器和初始解码器,对应作为预先训练的编码器和预先训练的解码器。
示例性地,终端在获取初始编码器、初始解码器和样本金融交易数据之后,首先使用初始编码器和初始解码器对样本金融交易数据进行重构,得到样本重构数据。然后,计算样本重构数据与样本金融交易数据之间的差异信息。根据差异信息,调整初始化编码器和初始解码器中的参数,例如学习率、权重等,以使得重构数据更好地逼近原始数据。根据调整后的参数,再次使用更新后的编码器和解码器对样本金融交易数据进行重构,得到新的样本重构数据。接着,计算新的重构数据与原始数据之间的差异信息,并进一步调整参数。通过迭代这个过程,逐步优化编码器和解码器的参数,直到满足训练完成条件为止。训练完成条件可以达到指定的训练轮数、损失函数收敛等。一旦满足训练完成条件,即认为编码器和解码器已经训练完成。
本实施例中,通过逐步优化编码器和解码器的参数,使其能够更好地对金融交易数据进行重构,从而提高模型的性能和泛化能力。最终得到的预先训练的编码器和解码器可以用于后续的金融交易数据的特征提取和重构任务,为异常检测等应用提供更准确和可靠的数据表示。
在另一个示例性的实施例中,如图3所示,本申请提供了一种金融交易数据异常检测方法,该方法包括以下步骤:
步骤S310,获取初始编码器、初始解码器和样本金融交易数据;并根据初始化编码器和初始解码器,得到样本金融交易数据的样本重构数据。
步骤S320,根据样本重构数据和样本金融交易数据之间的样本差异信息,调整初始化编码器和初始解码器中的参数,得到新的初始编码器和新的初始解码器,并跳转至步骤S310,直到符合训练完成条件,将符合训练完成条件的初始编码器和初始解码器,对应作为预先训练的编码器和预先训练的解码器。
步骤S330,获取金融系统中待检测的金融交易数据。
步骤S340,采用预先训练的编码器,对金融交易数据进行特征提取处理,得到金融交易数据对应的特征信息。
步骤S350,采用预先训练的解码器,对特征信息进行数据重构处理,得到特征信息对应的重构数据。
步骤S360,确定重构数据和金融交易数据之间的差异信息。
步骤S370,在差异信息小于预设阈值的情况下,确定金融交易数据为正常数据;在差异信息大于或等于预设阈值的情况下,确定金融交易数据为异常数据。
其中,编码器包括至少一个卷积模块;解码器包括至少一个反卷积模块,卷积模块和反卷积模块的数量对应。
其中,步骤S340,具体包括:
步骤S341,在一个卷积模块中,将卷积输入经过目标次数的特征提取处理,得到卷积输入对应的初始卷积输出。
其中,目标次数为至少一次。
步骤S342,将初始卷积输出经过一次池化层的降维处理,得到卷积模块的卷积输出。
其中,第一个卷积模块的卷积输入为金融交易数据,最后一个卷积模块的卷积输出为金融交易数据对应的特征信息。
步骤S341,具体还包括:
步骤S3411,在一次特征提取处理中,将提取输入经过批归一化处理,得到提取输入的分布特征。
步骤S3412,将分布特征经过卷积层和第一激活函数层的特征提取处理,得到特征提取处理的第一处理结果。
其中,第一次特征提取处理的提取输入为卷积输入,最后一次特征提取处理的第一处理结果为初始卷积输出。
步骤S350,具体包括:
步骤S351,在一个反卷积模块中,将反卷积输入经过一次上采样层的升维处理,得到反卷积输入对应的初始反卷积输出。
步骤S352,将初始反卷积输出经过目标次数的数据重构处理,得到反卷积模块的反卷积输出。
其中,第一个反卷积模块的反卷积输入为金融交易数据对应的特征信息,最后一个反卷积模块的反卷积输出为重构数据。
步骤S352,具体还包括:
步骤S3521,在一次数据重构处理中,将重构输入经过第二激活函数层和反卷积层的数据重构处理,得到重构输入的初始重构数据。
步骤S3522,将初始重构数据经过批归一化处理,得到数据重构处理的第二处理结果。
其中,第一次数据重构处理的重构输入为初始反卷积输出,最后一次数据重构处理的第二处理结果为反卷积输出。
本实施例中,通过结合深度学习中的自编码器模型,利用其在特征提取和数据重构方面的优势,基于编码器和解码器,对高维度复杂的数据进行两次处理,增大正常数据和异常数据之间的差异,更准确地实现了对金融交易数据的异常检测,能够更全面、准确地表征数据的特点,提高了异常检测的准确性和可靠性。同时,由于自编码器模型可以通过大规模数据进行预训练,因此具有较强的泛化能力,能够适应不同类型和规模的金融交易数据,从而更好地适应金融科技领域中不断变化的需求。
在一个示例性的实施例中,如图4所示,本申请还提供了一种金融交易数据异常检测系统,该系统包括数据预处理模块401、深度卷积自编码器模型训练模块402、异常检测模块403和报警模块404。
其中,数据预处理模块401,用于将整个样本数据集划分为训练集和测试集:通常采用交叉验证或留出法等方法划分,以确保训练集和测试集的数据分布相似。为加快模型训练过程和收敛速度,还可进行归一化处理。
如图5所示,为本实施例中深度卷积自编码器模型的结构示意图,其中的卷积层是深度卷积自编码器中的关键组件,用于提取数据的高级特征。卷积操作通过滤波器与输入数据进行卷积运算,从而提取局部特征。池化层用于减少特征维度并保留主要特征。常用的池化操作包括最大池化和平均池化,通过选取窗口内的最大值或平均值来实现特征压缩。反卷积层用于将特征表示重构为原始数据。反卷积操作与卷积操作相反,通过将低维特征逐步还原为高维数据来实现数据的重构。
其中,编码器部分主要包括卷积层(Conv2D)和池化层(Avg.pool.2D)。设置卷积层的意义有三个方面:(1)相对于全连接层,使用卷积层可以减少训练过程的参数数量,从而降低计算复杂度;(2)虽然参数大幅减少,但卷积层仍然能充分利用多维数据的空间结构;(3)交易数据的特征可以获得平移不变传递性。在深度卷积自编码器模型中,第k个卷积层的输出为:Ek=σ(Ek-1*W+b);其中,W为卷积层的权重矩阵,b为偏置向量,*表示卷积操作,σ为激活函数。本实施例中的激活函数为Sigmoid函数:σ(x)=1/(1+e-x)。
在一次卷积操作中,卷积核会对输入矩阵进行遍历与内积,并将结果放置于输出矩阵的中心区域。
池化层则用于对卷积层的输出进行下采样,目的是将信息逐渐压缩到更小维度的特征图中。具体来说,池化操作主要对卷积层提取的特征图像空间大小进行删减,从而减少模型参数数量,提升计算性能。此外,通过池化操作,可以增加网络非线性特征,避免出现过拟合现象。池化方式有很多种,包括一般池化、重叠池化、最大池化、平均池化、全局平均池化等。在深度卷积自编码器模型中,解码器采用相对于编码器的“反向”架构,通过将低维特征逐步还原为高维数据来实现数据的重构。
在对模型进行训练之前,通常会对输入数据进行归一化处理,但这仅仅是对输入层数据进行处理,无法让模型获得每层之间数据的分布情况。本实施例中为加快模型训练过程与收敛速度,使模型训练过程更加稳定,引入了批量归一化(Batch Normaliztion,BN)处理。BN处理主要对模型中间隐藏层的输入进行归一化操作,具体步骤如下:
(1)输入数值集合B={x1,...,xm},B也被称作mini-batch。首先,求每一个训练批次的均值(mini-batch mean):
(2)然后求mini-batch的方差:
(3)使用上述求得的均值μB和方差对mini-batch中训练数据做归一化处理:
其中,ε表示微小正数,为了避免除数为0的情况发生。
(4)对进行尺度变换和偏移:
其中,γ为变换参数,β为偏移参数。BN处理所引入的新参数γ和β是网络在训练时自己学习得到的,目的是为了让模型自己去学习每一层合适的归一化分布。
通过使用BN处理不仅可以加速训练过程,更为关键的是可以使模型学习到中间隐藏层的输入分布情况,使每一批次的输入数据分布稳定。
在深度卷积自编码器模型训练模块402中,通过定义损失函数L来训练模型,从而减小重构的预测矩阵与原真实值矩阵间误差,基于损失函数L的优化目标函数为:
其中,T为训练数据的样本数量,Yt为第t个样本的真实值矩阵,为第t个样本的预测矩阵,||x||为范数符号,F为范数的阶数,W和b表示模型参数中的权重矩阵和偏置。
深度卷积自编码器模型训练模块402通过上述对输入数据的处理及训练方式,使网络模型具有较强鲁棒性,并且在一定程度上减轻了训练数据与测试数据的“代沟”,增强了模型的泛化能力。
异常检测模块403,用于使用均方误差等指标来衡量原始数据与重构数据之间的差异。重构误差越大,表示数据越可能是异常数据。设置一个阈值,当重构误差超过阈值时,将该数据标记为异常数据。
报警模块404,用于通过发送邮件、短信或其他形式的通知来触发报警,通知相关人员进行进一步处理。
本实施例中,利用深度卷积自编码器模型,能够有效地提取金融交易数据的高级特征。深度卷积自编码器模型能够自动学习数据中的潜在特征,从而更加高效地捕捉交易数据中的异常模式。基于深度卷积自编码器模型的重构误差,能够准确地识别金融交易数据中的异常情况。通过设定合适的阈值,可以在保证一定的召回率的同时,尽可能减少误报率,从而提高异常检测的准确性和可信度。此外,上述金融交易数据异常检测系统能够根据不同类型和规模的金融交易数据自适应地进行优化和调整,通过对深度卷积自编码器模型的训练和参数调节,系统能够适应不同的数据分布和交易模式,从而提高系统的泛化能力和适用范围。一旦检测到异常交易,报警模块能够快速响应并通知相关人员进行进一步处理,采用邮件、短信等实时通知方式,能够及时预警并采取有效措施,防止金融风险的进一步扩大,保护金融系统的安全和稳定。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的金融交易数据异常检测方法的金融交易数据异常检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个金融交易数据异常检测装置实施例中的具体限定可以参见上文中对于金融交易数据异常检测方法的限定,在此不再赘述。
在一个示例性的实施例中,如图6所示,提供了一种金融交易数据异常检测装置,包括:数据获取模块601、数据编码模块602、数据重构模块603和异常确定模块604,其中:
数据获取模块601,用于获取金融系统中的金融交易数据;
数据编码模块602,用于采用预先训练的编码器,对金融交易数据进行特征提取处理,得到金融交易数据对应的特征信息;
数据重构模块603,用于采用预先训练的解码器,对特征信息进行数据重构处理,得到特征信息对应的重构数据;
异常确定模块604,用于根据重构数据,确定金融交易数据的异常检测结果。
在其中一个实施例中,编码器包括至少一个卷积模块;上述数据编码模块602,还用于在一个卷积模块中,将卷积输入经过目标次数的特征提取处理,得到卷积输入对应的初始卷积输出;目标次数为至少一次;将初始卷积输出经过一次池化层的降维处理,得到卷积模块的卷积输出;第一个卷积模块的卷积输入为金融交易数据,最后一个卷积模块的卷积输出为金融交易数据对应的特征信息。
在其中一个实施例中,解码器包括至少一个反卷积模块,卷积模块和反卷积模块的数量对应;上述数据重构模块603,还用于在一个反卷积模块中,将反卷积输入经过一次上采样层的升维处理,得到反卷积输入对应的初始反卷积输出;将初始反卷积输出经过目标次数的数据重构处理,得到反卷积模块的反卷积输出;第一个反卷积模块的反卷积输入为金融交易数据对应的特征信息,最后一个反卷积模块的反卷积输出为重构数据。
在其中一个实施例中,上述数据编码模块602,还用于在一次特征提取处理中,将提取输入经过批归一化处理,得到提取输入的分布特征;将分布特征经过卷积层和第一激活函数层的特征提取处理,得到特征提取处理的第一处理结果;第一次特征提取处理的提取输入为卷积输入,最后一次特征提取处理的第一处理结果为初始卷积输出。
在其中一个实施例中,上述数据重构模块603,还用于在一次数据重构处理中,将重构输入经过第二激活函数层和反卷积层的数据重构处理,得到重构输入的初始重构数据;将初始重构数据经过批归一化处理,得到数据重构处理的第二处理结果;第一次数据重构处理的重构输入为初始反卷积输出,最后一次数据重构处理的第二处理结果为反卷积输出。
在其中一个实施例中,上述异常确定模块604,还用于确定重构数据和金融交易数据之间的差异信息;在差异信息小于预设阈值的情况下,确定金融交易数据为正常数据;在差异信息大于或等于预设阈值的情况下,确定金融交易数据为异常数据。
在其中一个实施例中,上述金融交易数据异常检测装置还包括模型训练模块,用于获取初始编码器、初始解码器和样本金融交易数据;根据初始化编码器和初始解码器,得到样本金融交易数据的样本重构数据;根据样本重构数据和样本金融交易数据之间的样本差异信息,调整初始化编码器和初始解码器中的参数,得到新的初始编码器和新的初始解码器,并跳转至根据初始化编码器和初始解码器,得到样本金融交易数据的样本重构数据的步骤,直到符合训练完成条件,将符合训练完成条件的初始编码器和初始解码器,对应作为预先训练的编码器和预先训练的解码器。
上述金融交易数据异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种金融交易数据异常检测方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种金融交易数据异常检测方法,其特征在于,所述方法包括:
获取金融系统中的金融交易数据;
采用预先训练的编码器,对所述金融交易数据进行特征提取处理,得到所述金融交易数据对应的特征信息;
采用预先训练的解码器,对所述特征信息进行数据重构处理,得到所述特征信息对应的重构数据;
根据所述重构数据,确定所述金融交易数据的异常检测结果。
2.根据权利要求1所述的方法,其特征在于,所述编码器包括至少一个卷积模块;
所述采用预先训练的编码器,对所述金融交易数据进行特征提取处理,包括:
在一个所述卷积模块中,将卷积输入经过目标次数的特征提取处理,得到所述卷积输入对应的初始卷积输出;所述目标次数为至少一次;
将所述初始卷积输出经过一次池化层的降维处理,得到所述卷积模块的卷积输出;第一个卷积模块的卷积输入为所述金融交易数据,最后一个卷积模块的卷积输出为所述金融交易数据对应的特征信息。
3.根据权利要求2所述的方法,其特征在于,所述解码器包括至少一个反卷积模块,所述卷积模块和所述反卷积模块的数量对应;
所述采用预先训练的解码器,对所述特征信息进行数据重构处理,包括:
在所述一个反卷积模块中,将反卷积输入经过一次上采样层的升维处理,得到所述反卷积输入对应的初始反卷积输出;
将所述初始反卷积输出经过所述目标次数的数据重构处理,得到所述反卷积模块的反卷积输出;第一个反卷积模块的反卷积输入为所述金融交易数据对应的特征信息,最后一个反卷积模块的反卷积输出为所述重构数据。
4.根据权利要求2所述的方法,其特征在于,所述将卷积输入经过目标次数的特征提取处理,得到所述卷积输入对应的初始卷积输出,包括:
在一次所述特征提取处理中,将提取输入经过批归一化处理,得到所述提取输入的分布特征;
将所述分布特征经过卷积层和第一激活函数层的特征提取处理,得到所述特征提取处理的第一处理结果;第一次特征提取处理的提取输入为所述卷积输入,最后一次特征提取处理的第一处理结果为所述初始卷积输出。
5.根据权利要求3所述的方法,其特征在于,所述将所述初始反卷积输出经过所述目标次数的数据重构处理,得到所述反卷积模块的反卷积输出,包括:
在一次所述数据重构处理中,将重构输入经过第二激活函数层和反卷积层的数据重构处理,得到所述重构输入的初始重构数据;
将所述初始重构数据经过批归一化处理,得到所述数据重构处理的第二处理结果;第一次数据重构处理的重构输入为所述初始反卷积输出,最后一次数据重构处理的第二处理结果为所述反卷积输出。
6.根据权利要求1所述的方法,其特征在于,所述根据所述重构数据,确定所述金融交易数据的异常检测结果,包括:
确定所述重构数据和所述金融交易数据之间的差异信息;
在所述差异信息小于预设阈值的情况下,确定所述金融交易数据为正常数据;
在所述差异信息大于或等于预设阈值的情况下,确定所述金融交易数据为异常数据。
7.根据权利要求1至6任意一项所述的方法,其特征在于,在获取金融系统中的金融交易数据之前,还包括:
获取初始编码器、初始解码器和样本金融交易数据;
根据所述初始化编码器和所述初始解码器,得到所述样本金融交易数据的样本重构数据;
根据所述样本重构数据和所述样本金融交易数据之间的样本差异信息,调整所述初始化编码器和所述初始解码器中的参数,得到新的初始编码器和新的初始解码器,并跳转至所述根据所述初始化编码器和所述初始解码器,得到所述样本金融交易数据的样本重构数据的步骤,直到符合训练完成条件,将符合所述训练完成条件的初始编码器和初始解码器,对应作为所述预先训练的编码器和所述预先训练的解码器。
8.一种金融交易数据异常检测装置,其特征在于,所述装置包括:
数据获取模块,用于获取金融系统中的金融交易数据;
数据编码模块,用于采用预先训练的编码器,对所述金融交易数据进行特征提取处理,得到所述金融交易数据对应的特征信息;
数据重构模块,用于采用预先训练的解码器,对所述特征信息进行数据重构处理,得到所述特征信息对应的重构数据;
异常确定模块,用于根据所述重构数据,确定所述金融交易数据的异常检测结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118279055A true CN118279055A (zh) | 2024-07-02 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022095645A1 (zh) | 基于内存增强潜在空间自回归的图像异常检测方法 | |
He et al. | MTAD‐TF: Multivariate Time Series Anomaly Detection Using the Combination of Temporal Pattern and Feature Pattern | |
Deshpande et al. | Super resolution and recognition of long range captured multi‐frame iris images | |
CN117033039A (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
Wang et al. | SERR‐U‐Net: Squeeze‐and‐Excitation Residual and Recurrent Block‐Based U‐Net for Automatic Vessel Segmentation in Retinal Image | |
Gaudio et al. | DeepFixCX: Explainable privacy‐preserving image compression for medical image analysis | |
Tong et al. | Two-stage reverse knowledge distillation incorporated and Self-Supervised Masking strategy for industrial anomaly detection | |
CN112884721B (zh) | 一种异常检测方法、系统及计算机可读存储介质 | |
Su et al. | High-Similarity-Pass Attention for Single Image Super-Resolution | |
Lai et al. | Generative focused feedback residual networks for image steganalysis and hidden information reconstruction | |
Du et al. | Anomaly-prior guided inpainting for industrial visual anomaly detection | |
Yi et al. | Towards compact single image dehazing via task-related contrastive network | |
Iqbal et al. | Reconstruction probability-based anomaly detection using variational auto-encoders | |
Bian et al. | Abnormal detection in big data video with an improved autoencoder | |
CN118279055A (zh) | 金融交易数据异常检测方法、装置和计算机设备 | |
US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
Sedghi et al. | Low-dimensional decomposition of manifolds in presence of outliers | |
Khanzadi et al. | Robust fuzzy rough set based dimensionality reduction for big multimedia data hashing and unsupervised generative learning | |
Dhar et al. | Detecting deepfake images using deep convolutional neural network | |
Aldayri et al. | A deep learning approach for anomaly detection in large-scale hajj crowds | |
KR20200048002A (ko) | 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선 | |
Zhang et al. | Image Deblurring Algorithm Based on the Gaussian‐Scale Mixture Expert Field Model | |
US20230259786A1 (en) | Obfuscation of encoded data with limited supervision | |
Deng et al. | SSRNet: A Deep Learning Network via Spatial‐Based Super‐resolution Reconstruction for Cell Counting and Segmentation | |
Qiu et al. | PointAS: an attention based sampling neural network for visual perception |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |