CN112348261A - 一种交易量预测方法、设备、装置及存储介质 - Google Patents

Abstract

本发明公开了一种交易量预测方法、设备、装置和存储介质，通过获取待处理交易量数据，将所述待处理交易量数据输入至目标预测模型中，其中，所述目标预测模型是基于样本数据，对预设待训练模型进行迭代训练得到的，所述样本数据是从原始数据中提取的，具有时间动态数列的周期性特征的数据，基于所述目标预测模型对所述待处理交易量数据进行预测处理，得到目标预测结果，本申请提高了所述目标预测模型的预测准确率。

Description

一种交易量预测方法、设备、装置及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种交易量预测方法、设备、 装置及存储介质。

背景技术

目前监控系统在依靠人工智能、大数据、云计算、物联网等技术大规模 迁移和升级迭代的过程中，系统架构日趋复杂，现有的监控系统主要使用实 时数据或者依靠系统运维人员定制的日志规则进行监控预警，该方案对系统 运维历史数据利用不充分，无法深入挖掘运维历史数据价值从而实现对交易 量的精准预测，且部分交易监控系统，对交易量预测的准确度过度依赖开发 人员的技术水平和运维经验，难以推广到多交易系统，为提高推广性而引入 了时间序列模型进行交易量预测的监控系统，难以满足时间序列对平稳性的要求，因此，当使用时间序列模型的监控系统接入多个交易系统进行预测时， 预测模型泛化能力不强，导致整体预测准确率较低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是 现有技术。

发明内容

本发明的主要目的在于提供一种交易量预测方法，旨在解决现有监控系 统中交易量预测模型泛化能力不强，导致整体预测准确率较低的技术问题。

为实现上述目的，本发明提供一种交易量预测方法，所述交易量预测方 法包括：

获取待处理交易量数据，将所述待处理交易量数据输入至目标预测模型 中；

其中，所述目标预测模型是基于样本数据，对预设待训练模型进行迭代 训练得到的，所述样本数据是从原始数据中提取的，具有时间动态数列的周 期性特征的数据；

基于所述目标预测模型对所述待处理交易量数据进行预测处理，得到目 标预测结果。

可选地，所述获取待处理交易量数据，将所述待处理交易量数据输入至 目标预测模型中的步骤之前，所述方法包括：

获取原始数据，并对所述原始数据进行清洗，得到日志信息，其中，所述 日志信息为具有周期性特征的时间动态数列；

确定所述日志信息的周期性特征，根据所述周期性特征剔除异常数据， 以得到所述样本数据；

基于所述样本数据，对预设待训练模型进行迭代训练，以得到所述目标 预测模型。

可选地，所述获取原始数据，并对所述原始数据进行清洗，得到日志信息 的步骤，包括：

在各个预设交易系统中进行数据埋点，通过预设的数据采集平台采集所 述原始数据，并按照预设规则将所述原始数据进行缓存；

在各个预设交易系统中配置清洗脚本，以对缓存的所述原始数据进行清 洗，得到各个预设交易系统的日志信息。

可选地，所述根据所述周期性特征剔除异常数据，以得到所述样本数据 的步骤，包括：

根据所述周期性特征确定采样长度，根据所述采样长度，设置阈值范围；

将所述日志信息中的数据与所述阈值范围进行比对，将超出所述阈值范 围的数据进行剔除，得到所述样本数据。

可选地，所述基于样本数据，对预设待预训练型进行迭代训练，以得到 所述目标预测模型的步骤，包括：

利用所述样本数据，对所述预设待训练模型进行线下训练，得到所述预 设待训练模型的超参数组合；

获取线上历史交易量数据，利用所述历史交易量数据和所述超参数对所 述预设待训练模型进行线上训练，得到所述目标预测模型。

可选地，所述利用所述样本数据，对所述预设待训练模型进行线下训练， 得到所述预设待训练模型的超参数组合的步骤，包括：

将所述样本数据划分为线下训练数据集合和线下测试数据集合；

将所述线下训练数据集合和所述线下测试数据集合进行特征化处理，得 到所述预设待训练模型的线下训练输入矩阵；

将所述线下训练输入矩阵输入所预设待训练模型，并对所述预设待训练 模型进行网格搜索和时间滑动窗口处理，以得到线下训练结果；

对所述线下训练结果进行误差评价，得到所述超参数组合。

可选地，所述获取线上历史交易量数据，利用所述线上历史交易量数据 和所述超参数对所述预设待训练模型进行线上训练，得到所述目标预测模型 的步骤，包括：

获取线上历史交易量数据，并将所述线上历史交易量数据划分为线上训 练数据集合和线下测试数据集合；

将所述线上训练数据集合和所述线下测试数据集合进行特征化处理，得 到所述预设待训练模型的线上训练输入矩阵；

将所述超参数组合和所述线上训练输入矩阵输入所述预设待训练模型， 并对所述预设待训练模型进行网格调参处理，以得到线上训练结果；

对所述线上训练结果进行误差评价，得到最佳参数组合；

将所述最佳参数组合输入所述预设待训练模型，得到所述目标预测模型。

可选地，所述基于所述目标预测模型对所述待处理交易量数据进行预测 处理，得到目标预测结果之后的步骤，包括：

根据所述目标预测结果进行告警；

获取真实交易量数据，将所述目标预测结果与所述真实交易量数据进行 比对，以确定二次异常数据；

判断所述二次异常数据是否为正常数据，若是，将所述二次异常数据标 记为正常数据。

此外，为实现上述目的，本发明还提供一种交易量预测装置，所述交易 量预测装置，包括：

数据获取模块，用于获取待处理交易量数据，将所述待处理交易量数据 输入至目标预测模型中；

预测模块，用于基于所述目标预测模型对所述待处理交易量数据进行预 测处理，得到目标预测结果。

可选地，所述交易量预测装置，还包括：

数据清洗模块，用于获取原始数据，并对所述原始数据进行清洗，得到日 志信息，其中，所述日志信息为具有周期性特征的时间动态数列；

数据过滤模块，用于确定所述日志信息的周期性特征，根据所述周期性 特征剔除异常数据，以得到所述样本数据；

模型训练模块，用于基于所述样本数据，对预设待训练模型进行迭代训 练，以得到所述目标预测模型。

可选地，所述数据清洗模块，包括：

数据采集单元，用于在各个预设交易系统中进行数据埋点，通过预设的 数据采集平台采集所述原始数据，并按照预设规则将所述原始数据进行缓存；

数据清洗单元，用于在各个预设交易系统中配置清洗脚本，以对缓存的 所述原始数据进行清洗，得到各个预设交易系统的日志信息。

可选地，所述数据过滤模块，包括：

特征确定单元，用于根据所述周期性特征确定采样长度，根据所述采样 长度，设置阈值范围；

数据剔除单元，用于将所述日志信息中的数据与所述阈值范围进行比对， 将超出所述阈值范围的数据进行剔除，得到所述样本数据。

可选地，所述模型训练模块，包括：

第一训练单元，用于利用所述样本数据，对所述预设待训练模型进行线 下训练，得到所述预设待训练模型的超参数组合；

第二训练单元，用于获取线上历史交易量数据，利用所述线上历史交易 量数据和所述超参数对所述预设待训练模型进行线上训练，得到所述目标预 测模型。

可选地，所述第一训练单元，包括：

第一数据划分子单元，用于将所述样本数据划分为线下训练数据集合和 线下测试数据集合；

第一特征化子单元，用于将所述线下训练数据集合和所述线下测试数据 集合进行特征化处理，得到所述预设待训练模型的线下训练输入矩阵；

第一训练子单元，用于将所述线下训练输入矩阵输入所预设待训练模型， 并对所述预设待训练模型进行网格搜索和时间滑动窗口处理，以得到线下训 练结果；

第一评价子单元，用于对所述线下训练结果进行误差评价，得到所述超 参数组合。

可选地，所述第二训练单元，包括：

第二数据划分子单元，用于获取线上历史交易量数据，并将所述线上历 史交易量数据划分为线上训练数据集合和线下测试数据集合；

第二特征化子单元，用于将所述线上训练数据集合和所述线下测试数据 集合进行特征化处理，得到所述预设待训练模型的线上训练输入矩阵；

第二训练子单元，用于将所述超参数组合和所述线上训练输入矩阵输入 所述预设待训练模型，并对所述预设待训练模型进行网格调参处理，以得到 线上训练结果；

第二评价子单元，用于对所述线上训练结果进行误差评价，得到最佳参 数组合；

模型确定子单元，用于将所述最佳参数组合输入所述预设待训练模型， 得到所述目标预测模型。

可选地，所述交易量预测装置，还包括：

告警模块，用于根据所述目标预测结果进行告警；

数据回溯模块，用于获取真实交易量数据，将所述目标预测结果与所述 真实交易量数据进行比对，以确定二次异常数据；

数据回溯单元，用于判断所述二次异常数据是否为正常数据，若是，将 所述二次异常数据标记为正常数据。

本发明实施例提出的一种交易量预测方法、设备、装置及存储介质，与 现有技术中，交易量预测模型泛化能力不强，预测准确率低相比，本申请通 过获取待处理交易量数据，将所述待处理交易量数据输入至目标预测模型中， 其中，所述目标预测模型是基于样本数据，对预设待训练模型进行迭代训练 得到的，所述样本数据是从原始数据中提取的，具有时间动态数列的周期性 特征的数据，对所述原始数据进行清洗，得到日志信息，确定所述日志信息 的周期性特征，根据所述周期性特征剔除所述日志信息中的异常数据，得到所述样本数据，基于所述样本数据对预设待训练模型进行训练，得到目标预 测模型，基于所述目标预测模型对所述待处理交易量数据进行预测处理，得 到目标预测结果，提高了预测模型的泛化能力，利用所述目标预测模型对交 易量进行预测，得到预测交易量数据，同时获取真实交易量数据，并将所述 预测交易量数据与所述真实交易量数据进行对比，以从所述样本数据中确定 二次异常数据，在提取样本数据时，将所述二次异常数据过滤，利用过滤后 的样本数据对所述目标预测模型进行训练，提高了模型的准确性和鲁棒性， 进而提高对交易量的预测准确性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；

图2为本发明交易量预测方法第一实施例的流程示意图；

图3为本发明交易量预测方法的装置示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单 元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模 块”、“部件”或“单元”可以混合地使用。

本发明实施例轴动作组态终端(又叫终端、设备或者终端设备)可以是 PC，也可以是智能手机、平板电脑和便携计算机等具有显示功能的可移动式 终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004， 用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现 这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入 单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、 无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立 于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路， 传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感 器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器， 其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感 器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一 种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横 竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、 敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红 外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限 定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部 件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系 统、网络通信模块、用户接口模块以及交易量预测方法的程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台 服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客 户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的交易 量预测方法的程序，所述交易量预测方法方法的程序被处理器执行时实现下 述实施例提供的交易量预测方法中的操作。

基于上述设备硬件结构，提出了本发明交易量预测方法的实施例。

参照图2，本发明第一实施例提供一种交易量预测方法，所述交易量预测 方法包括：

步骤S10，获取待处理交易量数据，将所述待处理交易量数据输入至目标 预测模型中；

步骤S20，基于所述目标预测模型对所述待处理交易量数据进行预测处 理，得到目标预测结果。

具体地，步骤S10，获取待处理交易量数据，将所述待处理交易量数据输 入至目标预测模型中；

本方法应用于交易量预测系统，交易量预测系统属于预设监控系统，所 述预设监控系统与多个交易系统集成，可以与多个交易系统进行信息交换， 其中，所述目标预测模型是基于样本数据，对预设待训练模型进行迭代训练 得到的，所述样本数据是从原始数据中提取的，具有时间动态数列的周期性 特征的数据，通过预设监控系统获取所述待处理交易量数据，并将所述待处 理交易量数据输入至目标预测模型中。

现有交易量预测方法包括时间序列分析法、神经网络预测法以及人工智 能分析法等，其中，时间序列分析法常用于交易量的短时预测，在模型结构 和参数的选择上有一定的难度，神经网络预测法虽然在非线性数据领域具有 很好的拟合和预测效果，但是，其技术难以实现，容易出现过度学习的情况， 进而出现过拟合线性，且模型的训练时间较长。另外，交易量预测最简单的 方法是实现移动平均值的方法，即使用历史K天的均值，这样的方法在数据出 现波动时，存在明显的缺陷，当K值比较小时，预测放大了近期数据变化对预测结果的影响，数据平滑效果不明显；当K值较大时，数据平滑效果较好，但 是忽略了近期数据变化对预测结果的影响，使得预测数据存在滞后性。现有 模型，例如LSTM(Long-ShortTerm Memory，长短期记忆人工神经网络)模 型、线性回归模型、CART(Classification AndRegression Trees，分类回归树) 树模型等，当数据存在小范围波动时，模型呈现不同程度的过拟合，从而导 致数据预测偏差较大。

本申请选择一种抗噪声能力强、能够防止过拟合并且泛化能力较强的模 型进行预测，以得到所述目标预测结果。所述预设待训练模型中的一种优选 模型为XGBoost(Extreme Gradient Boost，极限梯度提升)模型，XGBoost模 型是随机梯度提升算法的一种高效实现，所述XGBoost模型可以通过模型超参 数在整个模型训练过程中控制模型的复杂度，基于残差优化的算法，使得预 测值尽量接近真实值且具有尽量大的泛化能力，同时降低了模型的方差，训 练速度快，抗噪声能力强且可以防止过拟合，既可以处理线性数据和连续性 数据，又可以处理非线性数据和离散型数据，且在处理高纬度数据时，不用 做特征选择，对数据集的适应能力强。

步骤S20，基于所述目标预测模型对所述待处理交易量数据进行预测处 理，得到目标预测结果。

不同的交易系统具有不同的交易数量级，但是，各个交易系统的交易量 数据存在周期性变化规律，根据各个交易系统的交易量数据的周期性变化规 律，选取对时间动态数列使用性好的模型作为所述目标预测模型，如XGBoost 模型，将所述待处理交易量数据输入所述目标预测模型中进行预测，得到所 述目标预测结果。

步骤S10，获取待处理交易量数据，将所述待处理交易量数据输入至目标 预测模型中之前，包括步骤A1-A3；

步骤A1，获取原始数据，并对所述原始数据进行清洗，得到日志信息， 其中，所述日志信息为具有周期性特征的时间动态数列；

交易量预测系统通过所述预设监控获取各个预设交易系统的所述原始数 据，所述原始数据来自于不同的交易系统，因业务性质或用户不同，所述原 始数据一般存在问题数据，如遗漏数据、噪声数据或不一致数据等，需要对 所述原始数据进行清洗，以得到日志信息。

所述获取原始数据，并对所述原始数据进行清洗，得到日志信息，包括步 骤A11-A12：

步骤A11，在各个预设交易系统中进行数据埋点，通过预设的数据采集 平台采集原始数据，并按照预设规则将所述原始数据进行缓存；

用户先在各个交易系统进行数据埋点，预设监控系统通过数据埋点获取 各个交易系统的日志信息，交易量预测系统通过预设数据采集平台采集所述 日志信息，其中，所述预设数据采集平台可以是PAAS(Platform-As-A-Service， 平台即服务，为应用程序提供应用和开发环境的云服务平台)平台配置的 flume(日志收集系统)，flume是一种分布式、高可用、可靠的海量日志信 息采集、聚合和传输平台，可以采集多种形式的数据，并将采集的数据传输 到多个外部存储系统中，针对特殊场景具备良好的自定义扩展能力，交易量预测系统利用flume从预设监控系统采集所述日志信息，并按照预设规则将数 据接入预设的缓存平台进行缓存，所述缓存平台可以是卡夫卡集群(数据存 储系统)，所述预设规则，可以是用户自定义设置的，例如在抽取数据时， 为方便用户使用将表格类数据进行转置或合并等。

步骤A12，在各个预设交易系统中配置清洗脚本，并对缓存的所述原始 数据进行清洗，得到所述日志信息，并对所述日志信息进行保存。

根据用户在各个交易系统中配置的清洗脚本，交易量预测系统在将所述 原始数据抽取到所述缓存平台上时，对所述原始数据中的问题数据进行清洗， 例如，对遗漏数据进行忽略，对噪声数据进行聚类分析处理等，以确保所述 原始数据的可用性，对所述原始数据进行清洗后得到所述日志信息，将所述 日志信息存储至预设的数据存储平台，以供查询和使用。

步骤A2，确定所述日志信息的周期性特征，根据所述周期性特征剔除异 常数据，以得到所述样本数据；

各个所述预设交易系统中，不同的预设交易系统具有不同的交易量数量 级，且同一个预设交易系统在不同时段的交易量也存在着波动，也即所述样 本数据是时间动态数列，例如，有的交易系统交易峰值时可达到每十分钟4 万笔的交易量，而有的交易系统交易峰值时为每小时500笔的交易量。但是 通过对数据的深入挖掘，可以找到各个交易系统的共性特征，即交易量的周 期性变化特征，例如，一天中，从凌晨到上班时间点以前，交易系统交易量 一直维持在相对较低的水平而在工作时间迅速升高，并在中午时分到达峰值，交易量在中午休息时间暂时回落，而在下午工作时间出现短暂回升，接着又 开始缓慢下降并一直持续到凌晨，如此循环往复，从所述样本数据中，确定 所述交易量的周期性特征，根据所述周期性特征，剔除异常数据，以得到所 述样本数据。

所述根据所述周期性特征剔除异常数据，以得到所述样本数据的步骤， 包括步骤B1-B2：

步骤B1，根据所述周期性特征确定采样长度，根据所述采样长度，设置 阈值范围；

所述周期性特征即日志信息中交易量数据的周期性变化规律，由于各预 设交易系统每日交易量数据基本呈现周期性变化，因此作为样本数据的值应 当符合历史交易量数据的周期性规律，根据所述日志信息，可以确定所述周 期性特征，根据所述周期性特征，可以确定所述日志信息中数据变化的范围， 进而确定采样长度，即所述阈值范围。

其中，一种优选的用于确定所述阈值范围的方法为基于聚合的均值异常 处理方法，具体地，计算公式如下(公式1-2)：

均值计算公式：

其中，x表示所述历史采样数据的均值，M表示所述历史采样数据的采样 天数，m表示所述采样天数中的第m天，J表示采样周期，单位可以是小时或 分钟，j表示第j个采样周期点，C_mj表示当采样长度为J时，第m天中，第 j个采样点处的交易量的值。

阈值范围计算公式：

|X|≤|x|*k (2)

其中，|X|表示阈值范围，k为计算系数，偏移量，可以由用户结合交易 量预测系统运算经验设置，例如k＝0.9。

步骤B2，将所述日志信息中的数据与所述阈值范围进行比对，将超出所 述阈值范围的数据进行剔除，得到所述样本数据。

当交易系统出现故障或者交易系统本身运维导致交易量变化时，则交易 系统的交易量会出现与周期规律不符合的数据，即异常数据，如果交易量预 测系统使用该数据进行预测，预测值会偏离真实的数据规律，因此需要将不 符合交易量周期性规律的所述异常数据筛选出来，并进行处理。

所述样本数据用于训练所述预设待训练模型以得到所述目标预测模型， 若使用所述异常数据对模型进行训练，得到的所述目标预测模型的预测准确 率会降低，因此需要将所述异常数据从所述日志信息中进行剔除，剔除所述 异常数据可以是对所述异常数据进行修改或忽略，例如，将所述异常数据修 改为所述日志信息中的数据的均值等，以得到所述样本数据。

步骤A3，基于所述样本数据，对预设待训练模型进行迭代训练，以得到 所述目标预测模型。

利用所述样本数据对预设待训练模型进行迭代训练，所述样本数据是从 所述原始数据中提取的，所述原始数据来源于各个交易系统，因此所述原始 数据可以更新，即所述样本数据随着所述原始数据进行更新，当样本数据更 新时，交易量预测系统基于更新后的样本数据随所述预设待训练模型重新进 行迭代训练，所述目标预测模型随之更新，确保预测结果不会发生滞后性。

在本实施例中，通过获取待处理交易量数据，将所述待处理交易量数据 输入至目标预测模型中，其中，所述目标预测模型是基于样本数据，对预设 待训练模型进行迭代训练得到的，所述样本数据是从原始数据中提取的，具 有时间动态数列的周期性特征的数据，对所述原始数据进行清洗，得到日志 信息，确定所述日志信息的周期性特征，根据所述周期性特征剔除所述日志 信息中的异常数据，得到所述样本数据，基于所述样本数据对预设待训练模 型进行训练，得到目标预测模型，基于所述目标预测模型对所述待处理交易量数据进行预测处理，得到目标预测结果，提高了预测模型的泛化能力，利 用所述目标预测模型对交易量进行预测，得到预测交易量数据，同时获取真 实交易量数据，并将所述预测交易量数据与所述真实交易量数据进行对比， 以从所述样本数据中确定二次异常数据，在提取样本数据时，将所述二次异 常数据过滤，利用过滤后的样本数据对所述目标预测模型进行训练，提高了 模型的准确性和鲁棒性，进而提高对交易量的预测准确性。

进一步的，参照图3，本发明第二实施例提供一种交易量预测方法，基于 上述实施例，本实施例是对步骤A3的细化：

步骤A3，所述基于样本数据，对预设待预训练型进行迭代训练，以得到 所述目标预测模型，包括步骤C1-C2：

步骤C1，利用所述样本数据，对所述预设待训练模型进行线下训练，得 到所述预设待训练模型的超参数组合；

交易量预测系统采用动态参数调整的方法对所述预设待训练模型进行训 练，即对所述待训练模型分别进行线上训练和线下训练，通过线下训练得到 超参数组合。

所述利用所述样本数据，对所述预设待训练模型进行线下训练，得到所 述预设待训练模型的超参数组合，包括步骤C11-C14：

步骤C11，将所述样本数据划分为线下训练数据集合和线下测试数据集 合；

由于对所述预测模型进行训练时，需要大量数据做支撑以确保预测结果 的准确性，因此需要获取大量的历史交易量数据，交易量预测系统通过所述 预设监控系统获取历史交易量数据，并将所述预测交易量数据划分为训练数 据集合和测试数据集合。

步骤C12，将所述线下训练数据集合和所述线下测试数据集合进行特征 化处理，得到所述预设待训练模型的线下训练输入矩阵；

将所述线下训练数据集合和所述线下测试数据集合进行特征化处理，所 述特征化处理即通过数据的共性特征，生成特征矩阵，得到所述预设待训练 模型的线下训练输入矩阵。

步骤C13，将所述线下训练输入矩阵输入所预设待训练模型，并对所述 预设待训练模型进行网格搜索和时间滑动窗口处理，以得到线下训练结果；

将所述线下训练输入矩阵输入所预设待训练模型，并计算出对应的结果 集合，对所述结果集合进行网格搜索和时间滑动窗口处理，得到所述线下训 练结果。

步骤C14，对所述线下训练结果进行误差评价，得到所述超参数组合。

所述误差评价的方法可以是均方根误差法，利用均方根误差法对训练结 果进行评价，得到线下训练的超参数组合，所述超参数组合是线下训练时的 最优参数组合。

步骤C2，获取线上历史交易量数据，利用所述线上历史交易量数据和所 述超参数对所述预设待训练模型进行线上训练，得到所述目标预测模型。

通过所述预设监控系统，获取线上近期的历史交易量数据，将所述超参 数输入所述预设待训练模型，并利用所述历史交易量数据对所述待训练模型 进行线上训练，以得到所述目标预测模型，根据训练结果对所述超参数组合 进行微调，由于对所述超参数组合进行微调不需要大量数据进行训练，因此 只需要获取线上近期的历史交易量数据。

所述获取线上历史交易量数据，利用所述线上历史交易量数据和所述超 参数对所述预设待训练模型进行线上训练，得到所述目标预测模型，包括步 骤C21-C25：

步骤C21，获取线上历史交易量数据，并将所述线上历史交易量数据划 分为线上训练数据集合和线下测试数据集合；

交易量预测系统通过所述预设监控系统，获取近期的线上历史交易量数 据，并将所述线上历史交易量数据划分为线上训练数据集合和线下测试数据 集合。

步骤C22，将所述线上训练数据集合和所述线下测试数据集合进行特征 化处理，得到所述预设待训练模型的线上训练输入矩阵；

确定所述将所述线下训练数据集合和所述线下测试数据集合中数据的共 性特征，并根据所述共性特征进生成特征矩阵，得到所述预设待训练模型的 线下训练输入矩阵。

步骤C23，将所述超参数组合和所述线上训练输入矩阵输入所述预设待 训练模型，并对所述预设待训练模型进行网格调参处理，以得到线上训练结 果；

将所述超参数组合和所述线上训练输入矩阵输入所述预设待训练模型， 并对所述预设待训练模型进行网格调参处理，即对所述超参数组合进行微调， 根据微调后的超参数组合对所述预设待训练模型进行线上训练，得到线上训 练结果。

步骤C24，对所述线上训练结果进行误差评价，得到最佳参数组合；

交易量预测系统可以利用均方根误差法对所述线上训练结果进行误差评 价，得到最佳参数组合。

步骤C25，将所述最佳参数组合输入所述预设待训练模型，得到所述目 标预测模型。

将所述最佳参数组合输入所述预设待训练模型，即得到所述目标预测模 型。

步骤S20，基于所述目标预测模型对所述待处理交易量数据进行预测处 理，得到目标预测结果之后，包括步骤D1-D3：

步骤D1，根据所述目标预测结果进行告警；

利用所述目标预测模型对交易量进行预测，得到预测交易量，将所述预 测交易量保存至所述预设存储系统，交易量预测系统通过所述预设监控系统 获取实时交易量数据，并将预测交易量数据与实时交易量数据进行对比，得 到对比曲线，通过所述预设监控系统显示所述对比曲线，需要说明的是，所 述对比曲线中，实时交易量数据只显示到当前时间的数值，滞后于预测交易 量数据。同时，交易量预测系统根据预测交易量数据进行告警，若达到告警 条件时，向用户发送告警信息，以提醒用户及时对告警情况进行跟踪处理， 并将所述告警信息反馈给所述预设监控系统，所述预设监控系统根据告警信 息，向用户实时显示告警状态并提醒用户进行跟踪处理。

考虑到用户对每个交易系统的关注重点不同，有的交易系统关注交易量 大幅度下降的趋势，而有的交易系统需要关注交易量上升的趋势，针对不同 的交易系统，交易量预测偏差容忍度大小也有所不同，因此，将告警规则设 置为可视化交互，用户可以根据系统的差异灵活配置告警规则。所述告警规 则包括告警灵敏度，告警关注时间段，工作日与非工作日告警区分等，告警 规则设置包括如下几种方式：

方式一：工作日与非工作日告警区分设置，设置工作日告警和非工作日 告警，包括对工作日与非工作日的标记；

方式二：告警关注时间段及告警灵敏度设置，告警分时分段设置，对于 非工作时间，告警灵敏度低设置，对于工作时间，告警灵敏度高设置；

方式三：告警灵敏度设置，结合交易系统自身交易数据的周期变化，自 由设置告警灵敏度，例如可将交易量激增和交易量骤降设置为不同灵敏度。

告警规则的可视化交互设置，既保证了系统告警规则的灵活性，也提升 了告警准确率。

步骤D2，获取真实交易量数据，将所述目标预测结果与所述真实交易量 数据进行比对，以确定二次异常数据；

交易量预测系统从所述预设监控系统获取真实交易量数据，并将预测交 易量数据与所述真实交易量数据进行对比，需要说明的是，进行对比的所述 预测交易量数据与所述真实交易量数据应为同一时刻的交易量值，若由于交 易系统升级迁移或者交易系统流量迁移出现所述异常数据，在数据预处理阶 段将所述异常数据从所述日志信息中剔除，会导致后期预测数据偏差较大， 降低预测准确率，若由于交易系统升级或外界促销带来的真实的交易量变化， 应属于正常现象，若将该部分数据作为所述异常数据进行处理，交易量预测 系统的预测数据将会出现滞后性，导致通过所述目标预测模型的到的预测交 易量数据与真实交易量数据偏差较大，因此，需要通过所述真实交易量数据 对所述异常数据进行矫正，即交易量预测系统设有回溯反馈自学习机制，通 过将预测交易量数据与真实交易量数据进行对比，从所述样本数据中确定二 次异常数据并进行状态标记，并将所述二次异常数据进行过滤，利用过滤后 的数据作为样本数据对所述预设待训练模型进行训练，以提高预测模型的准 确性和鲁棒性。

所述样本数据包含真实交易量数据，从所述样本数据中获取真实交易量 数据作为真实值集合，并将预测交易量数据作为预测值集合。根据所述真实 值集合和所述预测值集合确定阈值，确定阈值的方法可以是均方根误差法， 即分别计算所述真实值集合中的真实值与对应的预测值之间的均方根误差 值，得到均方根误差值集合，取所述均方根误差值集合中的均方根误差值的 平均值，作为标准均方根误差值，即阈值，计算公式如下(公式3-7)：

真实值集合：

预测值集合：

其中，T表示真实值集合，T'表示预测值集合。

计算历史M天交易量的均方根误差平均值，即阈值H：

设置阈值区间N，例如：

N≤|H*k'| (6)

其中，k'是由用户总结交易量预测系统的运算经验进行设置的，例如， k'＝0.95，不同的交易系统k'可以设置为不同的数值。

计算需要回溯日期的均方根误差值I：

步骤D3，判断所述二次异常数据是否为正常数据，若是，将所述二次异 常数据标记为正常数据。

若回溯日期的均方根误差值I≤N，则为正常交易量数据，若回溯日期的 均方根误差值I＞N，则标记为异常交易量数据，即所述二次异常数据，所述 二次异常数据不可以作为样本数据，对所述待训练模型进行训练，因此，在 对所述待训练模型进行训练时，要将所述二次异常数据进行过滤，以增强所 述预测模型的准确性和鲁棒性。交易量预测系统需要判断所述二次异常数据 是否为正常的流量增长情况导致的，可以通过获取交易系统前端用户反馈的 舆情信息，所述舆情信息包括促销活动信息、交易系统升级迁移信息等，交 易量预测系统根据所述舆情信息确定所述二次异常数据是否为正常情况，若 是正常情况，则与真实交易量数据进行对比并通过所述预设的监控系统显示， 若所述二次异常数据不是正常情况导致的，则将所述二次异常数据从所述样 本数据中剔除，若交易量预测系统不根据所述舆情信息对所述二次异常数据 进行判断而直接剔除，在所述预设监控系统显示时，会导致预测值与真实值 偏差过大，影响交易量预测系统的预测准确率。

交易量预测系统设有前端反馈机制，通过获取交易系统前端用户反馈的 信息，确定所述二次异常数据是否正常数据，例如外界促销导致的数据波动， 若是正常数据，则将所述二次异常数据重新标记为正常数据，并通过所述预 设监控系统向用户显示，在对所述预设待训练模型进行迭代训练或更新所述 样本数据时，将被更改为正常数据的所述二次异常数据过滤，即，将所述二 次异常数据更改为正常数据进行显示，但不作为样本数据参与预测模型的训 练，若不是正常情况，则将所述二次异常数据进行剔除，以提高交易量预测 系统的自适应能力。

在本实施例中，交易量预测系统通过获取原始数据，并对所述原始进行 清洗得到日志信息，确定所述日志信息的周期性特征，根据所述周期性特征 剔除异常数据，得到样本数据，基于所述样本数据对预设待训练模型分别进 行线上和线下训练，得到所述目标预测模型，提高了预测模型的泛化能力， 利用所述目标预测模型进行预测，得到预测交易量数据，获取线上历史交易 量数据并与所述预测交易量数据进行对比，以确定二次异常数据，在对所述 待训练模型进行迭代训练时，自动过滤所述二次异常数据，提高了预测模型的准确性和鲁棒性，进而提高了交易量预测系统的预测准确性。

本发明第一实施例提供一种交易量预测装置，所述交易量预测装置包括：

数据获取模块10，用于获取待处理交易量数据，将所述待处理交易量数 据输入至目标预测模型中；

预测模块20，用于基于所述目标预测模型对所述待处理交易量数据进行 预测处理，得到目标预测结果。

可选地，所述交易量预测装置，还包括：

数据清洗模块，用于获取原始数据，并对所述原始数据进行清洗，得到日 志信息，其中，所述日志信息为具有周期性特征的时间动态数列；

数据过滤模块，用于确定所述日志信息的周期性特征，根据所述周期性 特征剔除异常数据，以得到所述样本数据；

模型训练模块，用于基于所述样本数据，对预设待训练模型进行迭代训 练，以得到所述目标预测模型。

可选地，所述数据清洗模块，包括：

数据采集单元，用于在各个预设交易系统中进行数据埋点，通过预设的 数据采集平台采集所述原始数据，并按照预设规则将所述原始数据进行缓存；

数据清洗单元，用于在各个预设交易系统中配置清洗脚本，以对缓存的 所述原始数据进行清洗，得到各个预设交易系统的日志信息。

可选地，所述数据过滤模块，包括：

特征确定单元，用于根据所述周期性特征确定采样长度，根据所述采样 长度，设置阈值范围；

数据剔除单元，用于将所述日志信息中的数据与所述阈值范围进行比对， 将超出所述阈值范围的数据进行剔除，得到所述样本数据。

可选地，所述模型训练模块，包括：

第一训练单元，用于利用所述样本数据，对所述预设待训练模型进行线 下训练，得到所述预设待训练模型的超参数组合；

第二训练单元，用于获取线上历史交易量数据，利用所述线上历史交易 量数据和所述超参数对所述预设待训练模型进行线上训练，得到所述目标预 测模型。

可选地，所述第一训练单元，包括：

第一数据划分子单元，用于将所述样本数据划分为线下训练数据集合和 线下测试数据集合；

第一特征化子单元，用于将所述线下训练数据集合和所述线下测试数据 集合进行特征化处理，得到所述预设待训练模型的线下训练输入矩阵；

第一训练子单元，用于将所述线下训练输入矩阵输入所预设待训练模型， 并对所述预设待训练模型进行网格搜索和时间滑动窗口处理，以得到线下训 练结果；

第一评价子单元，用于对所述线下训练结果进行误差评价，得到所述超 参数组合。

可选地，所述第二训练单元，包括：

第二数据划分子单元，用于获取线上历史交易量数据，并将所述线上历 史交易量数据划分为线上训练数据集合和线下测试数据集合；

第二特征化子单元，用于将所述线上训练数据集合和所述线下测试数据 集合进行特征化处理，得到所述预设待训练模型的线上训练输入矩阵；

第二训练子单元，用于将所述超参数组合和所述线上训练输入矩阵输入 所述预设待训练模型，并对所述预设待训练模型进行网格调参处理，以得到 线上训练结果；

第二评价子单元，用于对所述线上训练结果进行误差评价，得到最佳参 数组合；

模型确定子单元，用于将所述最佳参数组合输入所述预设待训练模型， 得到所述目标预测模型。

可选地，所述交易量预测装置，还包括：

告警模块，用于根据所述目标预测结果进行告警；

数据回溯模块，用于获取真实交易量数据，将所述目标预测结果与所述 真实交易量数据进行比对，以确定二次异常数据；

数据回溯单元，用于判断所述二次异常数据是否为正常数据，若是，将 所述二次异常数据标记为正常数据。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下， 由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物 品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种交易量预测方法，其特征在于，所述交易量预测方法包括以下步骤：

获取待处理交易量数据，将所述待处理交易量数据输入至目标预测模型中；

其中，所述目标预测模型是基于样本数据，对预设待训练模型进行迭代训练得到的，所述样本数据是从原始数据中提取的，具有时间动态数列的周期性特征的数据；

基于所述目标预测模型对所述待处理交易量数据进行预测处理，得到目标预测结果。

2.如权利要求1所述的交易量预测方法，其特征在于，所述获取待处理交易量数据，将所述待处理交易量数据输入至目标预测模型中的步骤之前，所述方法包括：

获取原始数据，并对所述原始数据进行清洗，得到日志信息，其中，所述日志信息为具有周期性特征的时间动态数列；

确定所述日志信息的周期性特征，根据所述周期性特征剔除异常数据，以得到所述样本数据；

基于所述样本数据，对预设待训练模型进行迭代训练，以得到所述目标预测模型。

3.如权利要求2所述的交易量预测方法，其特征在于，所述获取原始数据，并对所述原始数据进行清洗，得到日志信息的步骤，包括：

在各个预设交易系统中进行数据埋点，通过预设的数据采集平台采集所述原始数据，并按照预设规则将所述原始数据进行缓存；

在各个预设交易系统中配置清洗脚本，以对缓存的所述原始数据进行清洗，得到各个预设交易系统的日志信息。

4.如权利要求2所述的交易量预测方法，其特征在于，所述根据所述周期性特征剔除异常数据，以得到所述样本数据的步骤，包括：

根据所述周期性特征确定采样长度，根据所述采样长度，设置阈值范围；

将所述日志信息中的数据与所述阈值范围进行比对，将超出所述阈值范围的数据进行剔除，得到所述样本数据。

5.如权利要求2所述的交易量预测方法，其特征在于，所述基于样本数据，对预设待预训练型进行迭代训练，以得到所述目标预测模型的步骤，包括：

利用所述样本数据，对所述预设待训练模型进行线下训练，得到所述预设待训练模型的超参数组合；

获取线上历史交易量数据，利用所述线上历史交易量数据和所述超参数对所述预设待训练模型进行线上训练，得到所述目标预测模型。

6.如权利要求5所述的交易量预测方法，其特征在于，所述利用所述样本数据，对所述预设待训练模型进行线下训练，得到所述预设待训练模型的超参数组合的步骤，包括：

将所述样本数据划分为线下训练数据集合和线下测试数据集合；

将所述线下训练数据集合和所述线下测试数据集合进行特征化处理，得到所述预设待训练模型的线下训练输入矩阵；

将所述线下训练输入矩阵输入所预设待训练模型，并对所述预设待训练模型进行网格搜索和时间滑动窗口处理，以得到线下训练结果；

对所述线下训练结果进行误差评价，得到所述超参数组合。

7.如权利要求5所述的交易量预测方法，其特征在于，所述获取线上历史交易量数据，利用所述线上历史交易量数据和所述超参数对所述预设待训练模型进行线上训练，得到所述目标预测模型的步骤，包括：

获取线上历史交易量数据，并将所述线上历史交易量数据划分为线上训练数据集合和线下测试数据集合；

将所述线上训练数据集合和所述线下测试数据集合进行特征化处理，得到所述预设待训练模型的线上训练输入矩阵；

将所述超参数组合和所述线上训练输入矩阵输入所述预设待训练模型，并对所述预设待训练模型进行网格调参处理，以得到线上训练结果；

对所述线上训练结果进行误差评价，得到最佳参数组合；

将所述最佳参数组合输入所述预设待训练模型，得到所述目标预测模型。

8.如权利要求1所述的交易量预测方法，其特征在于，所述基于所述目标预测模型对所述待处理交易量数据进行预测处理，得到目标预测结果之后的步骤，包括：

根据所述目标预测结果进行告警；

获取真实交易量数据，将所述目标预测结果与所述真实交易量数据进行比对，以确定二次异常数据；

判断所述二次异常数据是否为正常数据，若是，将所述二次异常数据标记为正常数据。

9.一种交易量预测设备，其特征在于，所述交易量预测设备包括：存储器、处理器以及存储在存储器上的用于实现所述交易量预测方法的程序，所述处理器用于执行实现所述交易量预测方法的程序，以实现如权利要求1至7中任一项所述交易量预测方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有实现交易量预测方法的程序，所述实现交易量预测方法的程序被处理器执行以实现如权利要求1至7中任一项所述交易量预测方法的步骤。

Images