CN113807951A - 一种基于深度学习的交易数据趋势预测方法和系统 - Google Patents
一种基于深度学习的交易数据趋势预测方法和系统 Download PDFInfo
- Publication number
- CN113807951A CN113807951A CN202111116946.0A CN202111116946A CN113807951A CN 113807951 A CN113807951 A CN 113807951A CN 202111116946 A CN202111116946 A CN 202111116946A CN 113807951 A CN113807951 A CN 113807951A
- Authority
- CN
- China
- Prior art keywords
- data
- prediction
- model
- lstm
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 51
- 238000004140 cleaning Methods 0.000 claims abstract description 27
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000011176 pooling Methods 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 8
- 230000006403 short-term memory Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 44
- 238000012795 verification Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种基于深度学习的交易数据趋势预测方法和系统，该方法，包括：采集银行业务的交易监控数据；对交易监控数据进行数据清洗及数据修复；将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果；其中，趋势预测模型为卷积神经网络CNN‑长短期记忆网络LSTM混合模型，CNN‑LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层；从而进行单变量预测及多变量预测，着力研究多因素特征之间的相互作用影响，更好地预测数据变化趋势，提升模型的预测准确度及效率。
Description
技术领域
本发明属于深度学习技术领域，更具体的说，尤其涉及一种基于深度学习的交易数据趋势预测方法和系统。
背景技术
近年来，银行业务不断发展，数据挖掘、人工智能等技术与银行运维工作紧密结合，海量交易日志的采集、存储、监控及可视化进程不断推进，使“实时监控，人工干预”向“提前预测，智能运维”模式转变。银行业务中涉及的交易监控数据具有典型的时间序列特性，对交易数据进行趋势预测可以提前预知风险，提升日常运维中异常事件预警能力。
现有技术中，时间序列预测是一种回归预测方法，承认事物发展的延续性，对数据进行适当处理，运用过去的历史时间序列数据进行统计分析，进行趋势预测，现今常用的时间序列预测主要是基于统计学习、深度学习两方向进行深入研究，优化方向主要包括优化时间序列算法及优化预测模型网络结构两个维度。
传统的统计学习预测方法为差分自回归移动平均模型，通过差分可以用于非平稳时间序列，其本质是将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。然而随着深度学习算法的不断精进，预测模型的准确度与效率愈加提高。
但是，该传统统计学习预测方法适用于实验数据波动范围较小情况，而且更加侧重于具有线性关系的单变量数据，很难对变量之间的非线性关系进行建模。因此对于存在突增或突减情况的海量交易监控数据的预测场景，该统计学习预测方法无法进行预测。
发明内容
有鉴于此，本申请的目的在于提供一种基于深度学习的交易数据趋势预测方法和系统，用于更好地预测数据变化趋势，提升模型的预测准确度及效率。
本申请的第一方面公开了一种基于深度学习的交易数据趋势预测方法，包括：
采集银行业务的交易监控数据；
对所述交易监控数据进行数据清洗及数据修复；
将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果；其中，所述趋势预测模型为卷积神经网络CNN-长短期记忆网络LSTM混合模型，CNN-LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层。
可选的，所述采集银行业务的交易监控数据，包括：
从所述银行业务中生产环境的结构化交易流水日志中，按照所需指定字段，自动采集到分布式开源搜索分析引擎的数据源进行存储；其中，所述数据源包括交易监控数据。
可选的，所述交易监控数据，包括：交易量、业务成功率、系统成功率、平均响应时间、平均处理时间、业务成功交易量和系统成功交易量中的至少一种。
可选的，对所述交易监控数据进行数据清洗及数据修复，包括：
将获取的数据向适用于模型训练的格式转换，而后经过去重、时间序列重排、重置索引；
采用填补法进行缺失值替换；
其后对缺失值替换后的数据进行时间段筛选。
可选的，单变量预测针对以所述交易监控数据中的交易量为核心的单因素时间序列数据进行预测；
多变量预测在单变量预测的基础上将所述交易监控数据中的CPU使用率、平均响应时间、平均处理时间中的至少一个多变量数据加入到所述CNN-LSTM混合模型中共同训练，研究多因素间的相互影响，最终预测交易量在未来一段时间内的趋势变化。可选的，所述趋势预测模型的构建过程，包括：
采集并显示银行业务的历史数据；所述历史数据包括：历史交易监控数据；
对所述历史数据进行预处理，所述预处理包括：数据清洗及数据修复；
对预处理后的历史数据划分为三个集合，分别为训练集、验证集、测试集；
所述训练集作为所述CNN-LSTM混合模型拟合的数据样本进行训练，每一次迭代后都会通过所述验证集对所述CNN-LSTM混合模型进损失值进行验证；通过逐渐调整模型参数，不断验证所述CNN-LSTM混合模型的泛化能力，通过平均绝对误差及均方误差判断模型的训练结果是否达到标准；最后，借助所述测试集进行所述CNN-LSTM混合模型的预测结果对比验证；
在所述预测结果对比验证结果满足预设条件时，将所述CNN-LSTM混合模型作为所述趋势预测模型。
可选的，将所述CNN-LSTM混合模型作为所述趋势预测模型之前，还包括：
将所述训练完毕后的所述CNN-LSTM混合模型进行封装。
可选的，还包括：
对所述预测结果和/或所述交易监控数据进行可视化显示。
本申请的第二方面公开了一种基于深度学习的交易数据趋势预测系统，包括：
数据采集模块，用于采集银行业务的交易监控数据；
数据预处理模块，用于对所述交易监控数据进行数据清洗及数据修复；
预测模块，用于将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果；其中，所述趋势预测模型为卷积神经网络CNN-长短期记忆网络LSTM混合模型，CNN-LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层。
可选的，还包括所述趋势预测模型的构建模块；所述构建模块包括：
数据采集模块，用于采集并显示银行业务的历史数据；所述历史数据包括：历史交易监控数据；
数据预处理模块，用于对所述历史数据进行预处理，所述预处理包括：数据清洗及数据修复；
构建单元，对预处理后的历史数据划分为三个集合，分别为训练集、验证集、测试集；所述训练集作为所述CNN-LSTM混合模型拟合的数据样本进行训练，每一次迭代后都会通过所述验证集对所述CNN-LSTM混合模型进损失值进行验证；通过逐渐调整模型参数，不断验证所述CNN-LSTM混合模型的泛化能力，通过平均绝对误差及均方误差判断模型的训练结果是否达到标准；最后，借助所述测试集进行所述CNN-LSTM混合模型的预测结果对比验证；在所述预测结果对比验证结果满足预设条件时，将所述CNN-LSTM混合模型作为所述趋势预测模型。
从上述技术方案可知，本申请提供的一种基于深度学习的交易数据趋势预测方法，包括：采集银行业务的交易监控数据；对交易监控数据进行数据清洗及数据修复；将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果；其中，趋势预测模型为卷积神经网络CNN-长短期记忆网络LSTM混合模型，CNN-LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层；从而进行单变量预测及多变量预测，着力研究多因素特征之间的相互作用影响，更好地预测数据变化趋势，提升模型的预测准确度及效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于深度学习的交易数据趋势预测方法的流程图；
图2是本申请实施例提供的另一种基于深度学习的交易数据趋势预测方法的流程图；
图3是本申请实施例提供的一种CNN网络单元的结构示意图；
图4是本申请实施例提供的一种LSTM网络单元的结构示意图；
图5是本申请实施例提供的一种基于深度学习的交易数据趋势预测方法中趋势预测模型的构建过程的流程图；
图6是本申请实施例提供的一种CNN-LSTM混合模型的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种基于深度学习的交易数据趋势预测方法，用于解决现有技术中对于存在突增或突减情况的海量交易监控数据的预测场景，该统计学习预测方法无法进行预测的问题。
参见图1，该基于深度学习的交易数据趋势预测方法，包括：
S101、采集银行业务的交易监控数据。
具体的，交易监控数据，包括：交易量、业务成功率、系统成功率、平均响应时间、平均处理时间、业务成功交易量和系统成功交易量中的至少一种。
当然，也还可以采集运行数据，如CPU使用率；此处不再一一赘述，均在本申请的保护范围内。
S102、对交易监控数据进行数据清洗及数据修复。
也就是说，步骤S102主要是为实现对数据的预处理；该数据预处理包括数据清洗及数据修复两个部分。
S103、将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果。
其中，趋势预测模型为卷积神经网络CNN-长短期记忆网络LSTM混合模型，如图6所示，CNN-LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层。在池化层与第二个卷积层之间还可以设置有一层数据规范化层。
单变量预测针对以交易量为核心的单因素时间序列数据进行预测，多变量预测在单变量预测的基础上将CPU使用率、平均响应时间、平均处理时间中的至少一个多变量数据加入到CNN-LSTM混合模型中共同训练，研究多因素间的相互影响，最终预测交易量在未来一段时间内的趋势变化，其预测更加准确。
在本实施例中，进行单变量预测及多变量预测，着力研究多因素特征之间的相互作用影响，更好地预测数据变化趋势，提升模型的预测准确度及效率。
另外，对比传统的统计学习算法，采用深度学习领域CNN与LSTM混合模型进行以交易量为核心的趋势预测；力求解决其在数据量与波动性限制等方面的局限性，同时在深度学习算法LSTM的基础上，增加了CNN层进行局部特征捕获，同时不断优化网络结构，进一步提升预测模型准确率及效率，并涵盖单变量及多变量两种维度，挖掘不同特征指标变量间复杂的时间关联性，支持处理高维度的输入信息。
此外，在实际应用中，还可以包括：
对预测结果和/或交易监控数据进行可视化显示。
具体的，在步骤S103之后，对预测结果进行可视化显示。以及，在步骤S101之后，对交易监控数据进行可视化显示。
需要说明的是，在步骤S101采集到交易监控数据之后，还可以将该交易监控数据进行集成，再将集成后的交易监控数据进行可视化显示。
在实际应用中，上述步骤S101、采集银行业务的交易监控数据的具体过程为：
从银行业务中生产环境的结构化交易流水日志中，按照所需指定字段，自动采集到分布式开源搜索分析引擎的数据源进行存储；而后借助可视化平台工具进行可视化显示。
其中，分布式开源搜索分析引擎可以是ES(Elastcisearch，一个分布式开源搜索分析引擎)；当然，也不仅限于此类型，此处不再一一赘述，均在本申请的保护范围内。
需要说明的是，生产环境每台服务器上面的监控日志会获取交易以及运行日志信息，推送到ES进行存储，同时借助可视化工具进行多维度筛选展示。
可视化平台工具可以是Kibana，该Kibana是一款和Elasticsearch一起工作的可视化平台工具。当然，也不仅限于此类型，此处不再一一赘述，均在本申请的保护范围内。
在实际应用中，参见图2，上述步骤S102、对交易监控数据进行数据清洗及数据修复，包括：
S201、将获取的数据向适用于模型训练的格式转换，而后经过去重、时间序列重排、重置索引。
需要说明的是，去重程序可以是Drop_duplicates；重置索引程序可以是Reset_index；当然，也不仅限于此类型，此处不再一一赘述，均在本申请的保护范围内。
S202、采用填补法进行缺失值替换。
该填补方法可以采用Median和Fillna函数；具体的，该Fillna用于填充函数，该Fillna函数内部的参数方法通过Median填补，即实现中位数填补。
S203、对缺失值替换后的数据进行时间段筛选。
具体的，进行时间段筛选的方式可以是Loc方式，也即通过标签索引数据。
需要说明的是，多变量预测时还需进行多元数据融合，其可以采用归并Merge方法，以及，依据时间进行内联inner方式，进行处理。
趋势预测模型的构建过程，如图5所示，包括：
(1)采集并显示银行业务的历史数据。
其中，历史数据包括：历史交易监控数据。
(2)对历史数据进行预处理，预处理包括：数据清洗及数据修复。
需要说明的是，(1)和(2)分别与上述步骤S101和S102一一对应；(1)和(2)的具体过程，参见上述步骤S101和步骤S102，此处不再一一赘述，均在本申请的保护范围内。
该数据处理还可以包括多变量数据融合、以及时间序列转监督学习
(3)对预处理后的历史数据划分为三个集合，分别为训练集、验证集、测试集。
(4)训练集作为CNN-LSTM混合模型拟合的数据样本进行训练，每一次迭代后都会通过验证集对CNN-LSTM混合模型进损失值进行验证；通过逐渐调整模型参数，不断验证CNN-LSTM混合模型的泛化能力，通过平均绝对误差及均方误差判断模型的训练结果是否达到标准；最后，借助测试集进行CNN-LSTM混合模型的预测结果对比验证。
将训练集作为数据样本进行训练，包括：重置步骤、更新记忆以及隐含层更新等。其中，1个epoch等于使用训练集中全部样本训练一次。
(5)在预测结果对比验证结果满足预设条件时，将CNN-LSTM混合模型作为趋势预测模型。
其中，总体历史数据时限范围可以为一年期内，当然，也可以是其他时间，此处不再一一赘述，均在本申请的保护范围内。
训练集、验证集、测试集的数据比例按照8：1：1的比例划分。当然也可以是其他比例，此处不做具体限定，视实际情况而定即可，均在本申请的保护范围。
需要说明的是，CNN-LSTM混合模型的结构，如图6所示。CNN部分的结构为一层卷积一层池化操作，卷积层捕获序列局部特征，池化层针对特征降维并压缩参数，其中激活函数使用ReLU(Rectified Linear Unit，线性修正单元)，其后接两层LSTM网络，同时间隔两层Normalization操作，最后接入全连接层，使用fit_generator生成器函数方法进行训练，预测的时候相应选用model.predict_generator方法。
CNN-LSTM混合模型包括：两层一维卷积层、一层池化层、两层LSTM层，其中两层LSTM层中间隔两层数据规范化层，最后接入全连接层。
例如：训练时采用fit_generator方法进行，monitor确定为val_loss，预测过程采用predict_generator方法，训练过程中为防止过拟合场景出现，采用正则化方法Dropout进行调节。经过模型调参后，实验中的优化算法采用Adam，卷积层采用ReLU函数，epochs为70，batch_size为256。
预测模型可以采用MAE(Mean Absolute Error，平均绝对误差)和MSE(MeanSquare Error，均方误差)两种指标进行评估。
模型训练过程中，序列y＝{y1，y2，y3，…yn}为交易量的真实值，序列
为预测值，则两种标准的具体计算方式分别如下：
(1)平均绝对误差MAE。
它是绝对误差的平均值，也称为L1损失，能够准确反映实际预测误差值，同时它是一种线性分数，所有个体差异在平均值上的权重都相等，MAE越小，预测精度越高。计算过程如下公式(1-1)所示。
(2)均方误差MSE。
均方误差是指参数估计值与参数真值之差平方的期望值，它可以评价数据的变化程度，MSE的值越小，说明预测模型精度越高。MSE又称L2损失，计算过程如下公式(1-2)所示。
CNN-LSTM混合模型的构建，一方面可以通过卷积层捕获局部特征，提升单一LSTM网络模型的准确率及精度；另一方面，LSTM算法作为一种特殊的循环神经网络(RecurrentNeural Network，RNN)，也克服了传统RNN的梯度爆炸和梯度消失问题，同时相较于现有技术统计学习预测方法而言，本申请中提出的CNN-LSTM混合模型也更适用于对多变量预测场景建模。
在本实施例中，构建一种LSTM和CNN的混合神经网络模型，其中CNN主要采用一维卷积网络结构，用于捕获时间序列的局部特征，学习局部特征相关性后，将结果作为LSTM的输入进行预测，相较于传统的统计学习预测方法，或单一的深度学习算法模型，能够更好地提高模型预测的效率及准确率。
CNN网络单元的结构如图3所示，Xi1-XiL均表示输入的序列数据，K1-Ki，以及Kl其角标为L的小写，均表示卷积核，m1-m1e均为特征层，p1-pf均为池化层，v1-vg均表示特征向量。
LSTM网络单元的结构如图4所示，其中：
LSTM单元引入了三个“门”的机制，分别叫做遗忘门、输入门和输出门，分别记作f<t>、i<t>以及o<t>，同时引入了记忆单元概念，与三个门共同构成一个记忆细胞块结构，其中记忆单元也称为细胞状态(Cell State)，是网络结构的核心，通过与三个门之间的相互作用控制信息的遗忘、更新并进行传递。
其中，遗忘门决定从上一时刻的细胞状态C＜t-1＞到时刻t的细胞状态C＜t＞需要增加或者去除哪一部分的信息，a＜t-1＞是上一时刻t-1隐含层的输出，x＜t＞为本时刻的输入序列，经过一个sigmoid运算层，得到0～1之间的概率向量，0代表不允许任何量通过，1代表允许任意量通过，具体计算方式参见公式(2-1)与公式(2-2)。
f＜t＞＝sigmoild(wf[a＜t-1＞,x＜t＞]+bf) 公式(2-1)；
输入门包含两个阶段，其一选取需要放入细胞状态的信息，sigmoid运算层决定需要更新的量，即得到i＜t＞；其二是经过tanh运算后得到新的向量
以上两步均是为其后更新操作做准备。更新C＜t-1＞为C＜t＞，把旧状态与f＜t＞相乘，清除无用信息，而后加上
完成更新，计算方式参见公式(2-3)至公式(2-6)。
i＜t＞＝sigmoild(wi[a＜t-1＞,x＜t＞]+bi) 公式(2-3)；
输出门的作用是在完成细胞状态的更新之后，需要根据输入的a＜t-1＞和序列x＜t＞来决定输出细胞的哪些状态特征，采用一个sigmoid运算层得到o＜t＞，其后通过tanh函数处理C＜t＞并与o＜t＞相乘得到当前时刻的隐层输出。计算方式参见公式(7)与公式(8)。
o＜t＞＝sigmoild(wo[a＜t-1＞,x＜t＞]+bo) 公式(2-7)；
a＜t＞＝o＜t＞*tanh(C＜t＞) 公式(2-8)；
CNN与LSTM的融合神经网络模型拥有很多优势，卷积与池化提高了局部特征提取的效率，基于LSTM解决长期依赖问题，以及传统的RNN结构中容易出现的梯度消失问题。
在本实施例中，从数据采集与预处理，到模型的训练、评估及可视化，构建一套完整的闭环流程，进行以交易量数据为核心的趋势预测，旨在提前预知风险，提升日常运维中异常事件预警能力，像智能化运维迈进。
在实际应用中，将CNN-LSTM混合模型作为趋势预测模型之前，还包括：
将训练完毕后的CNN-LSTM混合模型进行封装。
模型训练完毕后，将其进行封装，以进行预测调用；同时预测结果也将进行可视化显示。最终实现对交易数据的趋势预测，做到提前预知风险，提升日常运维中异常事件预警能力。
在本实施例中，面向银行业务，针对海量交易监控数据，提出一种从数据采集到模型训练封装、可视化显示的整体技术方案路线。
本申请的另一实施例提供了一种基于深度学习的交易数据趋势预测系统。
该基于深度学习的交易数据趋势预测系统，包括：
数据采集模块，用于采集银行业务的交易监控数据。
数据预处理模块，用于对交易监控数据进行数据清洗及数据修复。
预测模块，用于将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果；其中，趋势预测模型为卷积神经网络CNN-长短期记忆网络LSTM混合模型，CNN-LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层。
在实际应用中，该基于深度学习的交易数据趋势预测系统还可以包括趋势预测模型的构建模块。
该构建模块包括：
数据采集模块，用于采集并显示银行业务的历史数据；历史数据包括：历史交易监控数据。
数据预处理模块，用于对历史数据进行预处理，预处理包括：数据清洗及数据修复。
构建单元，对预处理后的历史数据划分为三个集合，分别为训练集、验证集、测试集；训练集作为CNN-LSTM混合模型拟合的数据样本进行训练，每一次迭代后都会通过验证集对CNN-LSTM混合模型进损失值进行验证；通过逐渐调整模型参数，不断验证CNN-LSTM混合模型的泛化能力，通过平均绝对误差及均方误差判断模型的训练结果是否达到标准；最后，借助测试集进行CNN-LSTM混合模型的预测结果对比验证；在预测结果对比验证结果满足预设条件时，将CNN-LSTM混合模型作为趋势预测模型。
上述各个模块和单元的工作过程和原理，详情参见上述实施例，此处不再一一赘述，均在本申请的保护范围内。
本说明书中的各个实施例中记载的特征可以相互替换或者组合，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于深度学习的交易数据趋势预测方法，其特征在于，包括：
采集银行业务的交易监控数据；
对所述交易监控数据进行数据清洗及数据修复；
将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果；其中，所述趋势预测模型为卷积神经网络CNN-长短期记忆网络LSTM混合模型，CNN-LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层。
2.根据权利要求1所述的基于深度学习的交易数据趋势预测方法，其特征在于，所述采集银行业务的交易监控数据，包括：
从所述银行业务中生产环境的结构化交易流水日志中，按照所需指定字段，自动采集到分布式开源搜索分析引擎的数据源进行存储；其中，所述数据源包括交易监控数据。
3.根据权利要求1所述的基于深度学习的交易数据趋势预测方法，其特征在于，所述交易监控数据，包括：交易量、业务成功率、系统成功率、平均响应时间、平均处理时间、业务成功交易量和系统成功交易量中的至少一种。
4.根据权利要求1所述的基于深度学习的交易数据趋势预测方法，其特征在于，对所述交易监控数据进行数据清洗及数据修复，包括：
将获取的数据向适用于模型训练的格式转换，而后经过去重、时间序列重排、重置索引；
采用填补法进行缺失值替换；
其后对缺失值替换后的数据进行时间段筛选。
5.根据权利要求1所述的基于深度学习的交易数据趋势预测方法，其特征在于，单变量预测针对以所述交易监控数据中的交易量为核心的单因素时间序列数据进行预测；
多变量预测在单变量预测的基础上将所述交易监控数据中的CPU使用率、平均响应时间、平均处理时间中的至少一个多变量数据加入到所述CNN-LSTM混合模型中共同训练，研究多因素间的相互影响，最终预测交易量在未来一段时间内的趋势变化。
6.根据权利要求1所述的基于深度学习的交易数据趋势预测方法，其特征在于，所述趋势预测模型的构建过程，包括：
采集并显示银行业务的历史数据；所述历史数据包括：历史交易监控数据；
对所述历史数据进行预处理，所述预处理包括：数据清洗及数据修复；
对预处理后的历史数据划分为三个集合，分别为训练集、验证集、测试集；
所述训练集作为所述CNN-LSTM混合模型拟合的数据样本进行训练，每一次迭代后都会通过所述验证集对所述CNN-LSTM混合模型进损失值进行验证；通过逐渐调整模型参数，不断验证所述CNN-LSTM混合模型的泛化能力，通过平均绝对误差及均方误差判断模型的训练结果是否达到标准；最后，借助所述测试集进行所述CNN-LSTM混合模型的预测结果对比验证；
在所述预测结果对比验证结果满足预设条件时，将所述CNN-LSTM混合模型作为所述趋势预测模型。
7.根据权利要求6所述的基于深度学习的交易数据趋势预测方法，其特征在于，将所述CNN-LSTM混合模型作为所述趋势预测模型之前，还包括：
将所述训练完毕后的所述CNN-LSTM混合模型进行封装。
8.根据权利要求1-7任一项所述的基于深度学习的交易数据趋势预测方法，其特征在于，还包括：
对所述预测结果和/或所述交易监控数据进行可视化显示。
9.一种基于深度学习的交易数据趋势预测系统，其特征在于，包括：
数据采集模块，用于采集银行业务的交易监控数据；
数据预处理模块，用于对所述交易监控数据进行数据清洗及数据修复；
预测模块，用于将数据清洗及数据修复后的数据，输入至趋势预测模型，分别进行单变量预测和多变量预测，得到预测结果；其中，所述趋势预测模型为卷积神经网络CNN-长短期记忆网络LSTM混合模型，CNN-LSTM混合模型依次设置一维卷积层、池化层、一维卷积层、LSTM层、数据规范化层、LSTM层、数据规范化层，最后接入全连接层。
10.根据权利要求9所述的基于深度学习的交易数据趋势预测系统，其特征在于，还包括所述趋势预测模型的构建模块；所述构建模块包括：
数据采集模块，用于采集并显示银行业务的历史数据；所述历史数据包括：历史交易监控数据；
数据预处理模块，用于对所述历史数据进行预处理，所述预处理包括：数据清洗及数据修复；
构建单元，对预处理后的历史数据划分为三个集合，分别为训练集、验证集、测试集；所述训练集作为所述CNN-LSTM混合模型拟合的数据样本进行训练，每一次迭代后都会通过所述验证集对所述CNN-LSTM混合模型进损失值进行验证；通过逐渐调整模型参数，不断验证所述CNN-LSTM混合模型的泛化能力，通过平均绝对误差及均方误差判断模型的训练结果是否达到标准；最后，借助所述测试集进行所述CNN-LSTM混合模型的预测结果对比验证；在所述预测结果对比验证结果满足预设条件时，将所述CNN-LSTM混合模型作为所述趋势预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111116946.0A CN113807951A (zh) | 2021-09-23 | 2021-09-23 | 一种基于深度学习的交易数据趋势预测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111116946.0A CN113807951A (zh) | 2021-09-23 | 2021-09-23 | 一种基于深度学习的交易数据趋势预测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113807951A true CN113807951A (zh) | 2021-12-17 |
Family
ID=78896478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111116946.0A Pending CN113807951A (zh) | 2021-09-23 | 2021-09-23 | 一种基于深度学习的交易数据趋势预测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807951A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114464206A (zh) * | 2022-04-11 | 2022-05-10 | 中国人民解放军空军预警学院 | 一种单通道盲源分离方法及系统 |
| CN116780658A (zh) * | 2023-08-17 | 2023-09-19 | 国网浙江省电力有限公司金华供电公司 | 考虑源-荷双侧不确定性的多能互补优化调度方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659767A (zh) * | 2019-08-07 | 2020-01-07 | 浙江工业大学 | 一种基于lstm-cnn深度学习模型的股票趋势预测方法 |
| CN111507528A (zh) * | 2020-04-17 | 2020-08-07 | 上海海事大学 | 一种基于cnn-lstm的股票长期趋势预测方法 |
| CN111915218A (zh) * | 2020-08-14 | 2020-11-10 | 中国工商银行股份有限公司 | 基于lstm-cnn的财务造假识别方法及系统 |
| CN111950810A (zh) * | 2020-08-27 | 2020-11-17 | 南京大学 | 一种基于自演化预训练的多变量时间序列预测方法和设备 |
| CN112016616A (zh) * | 2020-08-27 | 2020-12-01 | 西华大学 | 一种高频金融时序序列多类别预测方法 |
| CN112329917A (zh) * | 2020-10-27 | 2021-02-05 | 苏州大学 | 面向限价委托单趋势预测的多层神经网络集成系统及方法 |
| CN112632311A (zh) * | 2020-05-21 | 2021-04-09 | 南京大学 | 一种基于深度学习的云层变化趋势预测方法 |
-
2021
- 2021-09-23 CN CN202111116946.0A patent/CN113807951A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659767A (zh) * | 2019-08-07 | 2020-01-07 | 浙江工业大学 | 一种基于lstm-cnn深度学习模型的股票趋势预测方法 |
| CN111507528A (zh) * | 2020-04-17 | 2020-08-07 | 上海海事大学 | 一种基于cnn-lstm的股票长期趋势预测方法 |
| CN112632311A (zh) * | 2020-05-21 | 2021-04-09 | 南京大学 | 一种基于深度学习的云层变化趋势预测方法 |
| CN111915218A (zh) * | 2020-08-14 | 2020-11-10 | 中国工商银行股份有限公司 | 基于lstm-cnn的财务造假识别方法及系统 |
| CN111950810A (zh) * | 2020-08-27 | 2020-11-17 | 南京大学 | 一种基于自演化预训练的多变量时间序列预测方法和设备 |
| CN112016616A (zh) * | 2020-08-27 | 2020-12-01 | 西华大学 | 一种高频金融时序序列多类别预测方法 |
| CN112329917A (zh) * | 2020-10-27 | 2021-02-05 | 苏州大学 | 面向限价委托单趋势预测的多层神经网络集成系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114464206A (zh) * | 2022-04-11 | 2022-05-10 | 中国人民解放军空军预警学院 | 一种单通道盲源分离方法及系统 |
| CN116780658A (zh) * | 2023-08-17 | 2023-09-19 | 国网浙江省电力有限公司金华供电公司 | 考虑源-荷双侧不确定性的多能互补优化调度方法 |
| CN116780658B (zh) * | 2023-08-17 | 2023-11-10 | 国网浙江省电力有限公司金华供电公司 | 考虑源-荷双侧不确定性的多能互补优化调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
| Shen et al. | Wind speed prediction of unmanned sailboat based on CNN and LSTM hybrid neural network | |
| CN111814956B (zh) | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 | |
| AU2020418399A1 (en) | Method and apparatus for predicting power consumption, device and readiable storage medium | |
| CN110751318A (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
| CN113807951A (zh) | 一种基于深度学习的交易数据趋势预测方法和系统 | |
| Tan et al. | Multi-node load forecasting based on multi-task learning with modal feature extraction | |
| CN114065653A (zh) | 电力负荷预测模型的构建方法与电力负荷预测方法 | |
| CN112464996A (zh) | 基于LSTM-XGBoost的智能电网入侵检测方法 | |
| Yu et al. | A novel short-term electrical load forecasting framework with intelligent feature engineering | |
| CN115438897A (zh) | 一种基于blstm神经网络的工业过程产品质量预测方法 | |
| CN113837434A (zh) | 太阳能光伏发电预测方法、装置、电子设备和存储介质 | |
| CN114548494A (zh) | 一种可视化造价数据预测智能分析系统 | |
| CN116706907B (zh) | 基于模糊推理的光伏发电预测方法和相关设备 | |
| CN116822722A (zh) | 水位预测方法、系统、装置、电子设备及介质 | |
| CN113537607B (zh) | 停电预测方法 | |
| Wang et al. | MIANet: Multi-level temporal information aggregation in mixed-periodicity time series forecasting tasks | |
| Prashanthi et al. | A comparative study of the performance of machine learning based load forecasting methods | |
| CN114254828A (zh) | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 | |
| Zhang | Deep learning-based hybrid short-term solar forecast using sky images and meteorological data | |
| Alamgeer et al. | Data Mining with Comprehensive Oppositional Based Learning for Rainfall Prediction. | |
| CN117829822B (zh) | 一种电力变压器故障预警方法及系统 | |
| Yadav Vanguri et al. | Extraction of Technical Indicators and Data Augmentation-Based Stock Market Prediction Using Deep LSTM Integrated Competitive Swarm Feedback Algorithm | |
| CN115222113B (zh) | 基于cnn-lstm的铁路区域货运量短期预测方法 | |
| Wang et al. | Forecasting Short-Term Solar PV Using Hierarchical Clustering and Cascade Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |