CN114881224A - 一种数据预测方法及装置 - Google Patents

一种数据预测方法及装置 Download PDF

Info

Publication number
CN114881224A
CN114881224A CN202210339774.1A CN202210339774A CN114881224A CN 114881224 A CN114881224 A CN 114881224A CN 202210339774 A CN202210339774 A CN 202210339774A CN 114881224 A CN114881224 A CN 114881224A
Authority
CN
China
Prior art keywords
data
training
prediction
model
pieces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210339774.1A
Other languages
English (en)
Inventor
胡阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202210339774.1A priority Critical patent/CN114881224A/zh
Publication of CN114881224A publication Critical patent/CN114881224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种数据预测方法及装置,涉及人工智能技术领域,通过充分挖掘历史数据中的相关信息,能够提高预测数据结果的准确度,包括:获取预设时间段内的多条历史数据信息;多条历史数据信息包括金融业务的异常运维数据对应的告警信息;基于多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;网络模型包括多个分支,网络模型基于一组训练参数分别得到一个训练模型;确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定预测模型;基于预测模型,输入参考运维数据,输出预测结果,预测结果用于表征是否出现异常运行数据。本发明实施例应用于预测数据的场景中。

Description

一种数据预测方法及装置
技术领域
本发明涉及人工智能技术领域,尤其涉及一种数据预测方法及装置。
背景技术
目前随着银行信息化程度的不断提升、银行业务量的迅速增长,用户量和交易量逐年递增,银行系统的运维压力日益增大,同时客户对银行业务的使用体验要求也越来越高。因此需要提前发现银行系统的异常并识别风险,从而有效提升银行系统的业务保障能力。现有的方案多依赖运维人员的主观经验,通过预先设定的规则,预测挖掘历史数据中有效相关信息,从而预测数据结果;或者基于统计学方法预测数据结果,基于统计学方法的前提假设为多维数据服从某类分布。
但是,通过运维人员的主观经验,人为预先设定规则的预测并不能充分挖掘历史数据中有效相关信息,从而造成预测数据结果不准确;并且,基于统计学方法依赖于前提假设,而预测的数据并不一定满足假设的数据分布,从而增大了预测结果误差。从而,当前基于历史数据预测数据结果的准确度较低。
发明内容
本发明的实施例提供一种数据预测方法及装置,通过充分挖掘历史数据中的相关信息,能够提高预测数据结果的准确度。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供了一种数据预测方法,该方法包括:获取预设时间段内的多条历史数据信息;多条历史数据信息包括金融业务的异常运维数据对应的告警信息;基于多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;网络模型包括多个分支,网络模型基于一组训练参数分别得到一个训练模型;确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定预测模型;预测模型为多个训练模型中误差量最小的训练模型,预测模型用于预测金融业务中出现的异常运维数据;基于预测模型,输入参考运维数据,输出预测结果,预测结果用于表征是否出现异常运行数据。
在一种可能的实现方式中,多组训练参数中的每组训练参数包括以下至少一项:卷积核、分支数、卷积核尺寸、特征数、神经元数量;基于多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型,包括:基于多条历史数据信息,确定训练数据和测试数据;基于训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;基于测试数据对多个训练模型进行测试,以检测每个训练模型预测结果的误差量是否满足预设条件。
在一种可能的实现方式中,确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定预测模型,包括:确定多个训练模型中每个训练模型对应的多个预测结果;一个训练模型对应一个预测结果;通过多个预测结果和多个真实结果,确定每个训练模型对应的均方根误差;一个预测结果对应一个真实结果;根据每个训练模型对应的均方根误差,将最小均方根误差对应的一个训练模型确定为预测模型。
在一种可能的实现方式中,基于训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型,包括:针对每组训练参数,将训练数据分别输入至多分支,得到多个卷积结果;每组训练参数中包括多个子卷积核,每个分支对应一个子卷积核;将多个卷积结果中的最优卷积结果进行池化操作,得到第一结果;基于第一结果,在长短期记忆网络层通过目标神经元数量对多个卷积结果进行处理,输出多个第二结果;将多个第二结果在融合层进行拼接处理后,通过全连接层输出一个训练模型;多组训练参数对应输出多个训练模型。
在一种可能的实现方式中,多条历史数据信息为时间序列数据;基于多条历史数据信息,确定训练数据和测试数据,包括:对多条历史数据信息的时间序列数据进行数据预处理,得到目标数据;数据预处理包括以下至少一项:填充缺失数据处理、数据无量纲化处理;通过滑动窗口对目标数据进行切分处理,得到多组特征数据;滑动窗口的大小为a,步长为s;a和s均为正数;将多组特征数据划分为训练数据和测试数据;训练数据和测试数据中均包括至少一组特征数据。
在一种可能的实现方式中,当数据预处理包括填充缺失数据处理和数据无量纲化处理时,对多条历史数据信息进行数据预处理,得到目标数据,包括:在确定多条历史数据信息中存在缺失数据信息的情况下,基于多条历史数据信息对应的均值,填充多条历史数据信息中的缺失数据信息;基于最小-最大min-max标准化算法,对填充缺失数据处理后的多条历史数据信息进行数据无量纲化处理,得到目标数据。
第二方面,提供了一种数据预测装置,该一种数据预测装置包括:获取单元、处理单元和确定单元;获取单元,用于获取预设时间段内的多条历史数据信息;多条历史数据信息包括金融业务的异常运维数据对应的告警信息;处理单元,用于基于多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;网络模型包括多个分支,网络模型基于一组训练参数分别得到一个训练模型;确定单元,用于确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定预测模型;预测模型为多个训练模型中误差量最小的训练模型,预测模型用于预测金融业务中出现的异常运维数据;处理单元,用于基于预测模型,输入参考运维数据,输出预测结果,预测结果用于表征是否出现异常运行数据。
在一种可能的实现方式中,多组训练参数中的每组训练参数包括以下至少一项:卷积核、分支数、卷积核尺寸、特征数、神经元数量;确定单元,用于基于多条历史数据信息,确定训练数据和测试数据;处理单元,用于基于训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;处理单元,用于基于测试数据对多个训练模型进行测试,以检测每个训练模型预测结果的误差量是否满足预设条件。
在一种可能的实现方式中,确定单元,用于确定多个训练模型中每个训练模型对应的多个预测结果;一个训练模型对应一个预测结果;确定单元,用于通过多个预测结果和多个真实结果,确定每个训练模型对应的均方根误差;一个预测结果对应一个真实结果;确定单元,用于根据每个训练模型对应的均方根误差,将最小均方根误差对应的一个训练模型确定为预测模型。
在一种可能的实现方式中,处理单元,用于针对每组训练参数,将训练数据分别输入至多个分支,得到多个卷积结果;每组训练参数中包括的卷积核均包括多个子卷积核,每个分支对应一个子卷积核;处理单元,用于将多个卷积结果中的最优卷积结果进行池化操作,得到第一结果;处理单元,用于基于第一结果,在长短期记忆网络层通过目标神经元数量对多个卷积结果进行处理,输出多个第二结果;处理单元,用于将多个第二结果在融合层进行拼接处理后,通过全连接层输出一个训练模型;多组训练参数对应输出多个训练模型。
在一种可能的实现方式中,多条历史数据信息为时间序列数据;处理单元,用于对多条历史数据信息的时间序列数据进行数据预处理,得到目标数据;数据预处理包括以下至少一项:填充缺失数据处理、数据无量纲化处理;处理单元,用于通过滑动窗口对目标数据进行切分处理,得到多组特征数据;滑动窗口的大小为a,步长为s;a和s均为正数;处理单元,用于将多组特征数据划分为训练数据和测试数据;训练数据和测试数据中均包括至少一组特征数据。
在一种可能的实现方式中,处理单元,用于在确定多条历史数据信息中存在缺失数据信息的情况下,基于多条历史数据信息对应的均值,填充多条历史数据信息中的缺失数据信息;处理单元,用于基于最小-最大min-max标准化算法,对填充缺失数据处理后的多条历史数据信息进行数据无量纲化处理,得到目标数据。
第三方面,提供了一种存储一个或多个程序的计算机可读存储介质,该一个或多个程序包括指令,上述指令当被计算机执行时使计算机执行如第一方面的一种数据预测方法。
第四方面,一种电子设备,包括:处理器以及存储器;其中,存储器用于存储一个或多个程序,一个或多个程序包括计算机执行指令,当电子设备运行时,处理器执行存储器存储的计算机执行指令,以使电子设备执行如第一方面的一种数据预测方法。
第五方面,一种计算机程序产品,包括指令,当其在计算机上运行时,使得计算机执行如第一方面的一种数据预测方法。
本发明的实施例提供一种数据预测方法及装置,应用于预测数据的场景中,通过获取预设时间段内金融业务的异常运维数据对应的多条历史数据信息,基于多条历史数据信息和多组训练参数,对构建的包括多个分支的网络模型进行训练,可以得到多个训练模型。从而进一步的,确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定误差量最小的训练模型为预测模型,通过预测模型预测金融业务中出现的异常运维数据。从而可以基于得到的预测模型,在预测模型中输入参考运维数据,可以输出预测结果,通过预测结果表征金融业务中是否出现异常运行数据。而无需通过运维人员的主观经验,根据人为预先设定的规则进行预测,从而可以提高预测数据结果的准确度。
附图说明
图1为本发明的实施例提供的一种数据预测系统结构示意图;
图2为本发明的实施例提供的一种数据预测方法流程示意图一;
图3为本发明的实施例提供的一种数据预测方法流程示意图二;
图4为本发明的实施例提供的一种数据预测方法流程示意图三;
图5为本发明的实施例提供的一种数据预测方法流程示意图四;
图6为本发明的实施例提供的一种数据预测方法流程示意图五;
图7为本发明的实施例提供的一种数据预测方法流程示意图六;
图8为本发明的实施例提供的一种数据预测方法流程示意图七;
图9为本发明的实施例提供的一种数据预测装置结构示意图一;
图10为本发明的实施例提供的一种数据预测装置结构示意图二;
图11为本发明的实施例提供的一种数据预测装置结构示意图三;
图12为本发明的实施例提供的一种电子设备结构示意图一;
图13为本发明的实施例提供的一种电子设备结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
在本发明的描述中,除非另有说明,“/”表示“或”的意思,例如,A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。此外,“至少一个”“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
目前银行系统的运维团队在24小时值班工作中,由于银行系统包括有多个应用系统(例如跨行转账系统、黄金交易系统、债券交易系统等),因此由于应用系统的多样性,且每个系统具有各自的特殊性与个性化,相应的告警信息(由于系统故障引起的告警)也越来越多。
随着银行系统的信息化程度提升和银行业务量的迅速增长,用户数和交易量逐年递增,银行系统的运维压力也日益增大;同时,客户对银行业务的客户体验要求也越来越高。对银行系统运维数据进行深度分析与预测,提前发现异常并识别风险,可有效提升系统业务保障能力。现有的方案多依赖人为主观经验和统计学方法。基于这种人为主观经验,通过人为设定规则的预测并不能充分挖掘历史数据中有效相关信息,从而造成预测结果不准确;而基于统计学方法的方案,前提假设多为数据服从某类分布,此种方法依赖于前提假设,而预测的数据并不一定满足假设的数据分布,从而增大了预测结果误差。
本发明实施例提供的一种数据预测方法可以适用于数据预测系统。图1示出了该数据预测系统的一种结构示意图。如图1所示,数据预测系统10包括电子设备11以及服务器12。电子设备11与服务器12连接。电子设备11以及服务器12之间可以采用有线方式连接,也可以采用无线方式连接,本发明实施例对此不作限定。
电子设备11可以用于物联网,电子设备11可以包括多个中央处理器(centralprocessing unit,CPU)、多个内存、存储有多个操作系统的存储装置等硬件。例如,电子设备可以为银行系统中用于处理客户的金融业务的客户端。
电子设备11可以用于与服务器12进行指令或数据交互,例如,电子设备11可以获取服务器12中存储的历史数据信息,进而对获取到的数据信息进行分析处理。
服务器12也可以用于物联网,用于存储历史数据信息,并执行对应的任务功能,例如用于执行银行系统对应的业务功能。例如,服务器可以是银行系统中的服务器,用于存储银行系统对应的业务运维数据,并可以预测银行业务运维数据的异常情况。该业务运维数据可以为客户对应的业务交易量、服务器的内存占比等相关数据。
需要说明的,电子设备11和服务器12可以为相互独立的设备,也可以集成于同一设备中,本发明对此不作具体限定。
当电子设备11和服务器12集成于同一设备时,电子设备11和服务器12之间的通信方式为该设备内部模块之间的通信。这种情况下,二者之间的通信流程与“电子设备11和服务器12之间相互独立的情况下,二者之间的通信流程”相同。
在本发明提供的以下实施例中,本发明以电子设备11和服务器12相互独立设置为例进行说明。
下面结合附图对本发明实施例提供的一种数据预测方法进行描述。
如图2所示,本发明实施例提供的一种数据预测方法应用于电子设备,包括:S201-S204:
S201、获取预设时间段内的多条历史数据信息。
其中,多条历史数据信息包括金融业务的异常运维数据对应的告警信息,告警信息为告警系统发送的。
在本发明实施例中,以电子设备为银行系统对应的服务器为例进行示例性说明,则告警系统为银行系统对应的告警系统,该银行系统可以包括有多个应用系统(例如跨行转账系统、黄金交易系统、债券交易系统等),该多个应用系统为金融业务对应的应用系统。
作为一种可能的实现方式,告警系统实时的监控银行系统中所包括的多个应用系统,在多个应用系统中的任一个应用系统出现异常的情况下,告警系统可以发送告警信息(即告警信息用于指示某个应用系统出现异常问题)。
作为一种可能的实现方式,在需要构建预测模型时,可以获取当前时刻之前的预设时间段内的多条历史数据信息,以根据多条历史数据信息对构建的网络模型进行训练,得到所需的训练模型。
作为一种可能的实现方式,上述多条历史数据信息可以为以下至少一项:交易量数据、查询量数据、运行数据等。其中,运行数据可以为:内存信息、CPU随时间的波动信息等。
可以理解,上述预设时间段为当前时刻之前的一定时长,该预设时间段可以为以下任一项:一天时长、一周时长等。该预设时间段为一个采样周期,在经过一个采样周期对应的时长之后,可以通过新增的历史数据信息,从新构建预测模型。
具体的,在需要构建预测模型时,可以获取当前时刻之前,一个完整的采样周期内,待分析交易量时间序列数据记为Yt,以及其他相关时间序列数据(即多条历史数据信息),并将其他相关时间序列数据合并得到矩阵X。
需要说明的是,获取到的多条历史数据信息可以形成矩阵(例如二维矩阵,基于时间、值的变化),即多条历史数据信息为矩阵形式的数据信息。
S202、基于多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型。
其中,网络模型包括多个分支,网络模型基于一组训练参数分别得到一个训练模型。
作为一种可能的实现方式,将获取到的多条历史数据信息分别输入至构建的网络模型中进行多次训练,并且每次训练通过不同的训练参数进行,以得到多组训练参数对应的多个训练模型。
可以理解,在将多条历史数据信息分别输入至构建的网络模型中时,在卷积层对多条历史数据信息进行卷积处理的过程中,可以通过不同的卷积核进行卷积处理,从而得到不同训练参数对应的多个训练模型。
S203、确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定预测模型。
其中,预测模型为多个训练模型中误差量最小的训练模型,预测模型用于预测金融业务中出现的异常运维数据。
作为一种可能的实现方式,在基于多组训练参数,将多条历史数据信息输入至构建的网络模型进行训练,得到多个训练模型之后,可以进一步的确定每个训练模型对应的误差量。
具体的,可以通过将历史数据输入至每个训练模型中得到对应的预测结果,并将得到的预测结果与真实结果相比较,从而确定每个训练模型对应的误差量。
进一步的,在确定了每个训练模型对应的误差量之后,对每个训练模型对应的误差量进行比较,可以从多个训练模型中确定出一个训练模型作为预测模型。
S204、基于预测模型,输入参考运维数据,输出预测结果。
其中,预测结果用于表征是否出现异常运行数据。
作为一种可能的实现方式,在确定出预测模型之后,可以通过在预测模型中输入参考运维数据,预测未知的结果。
具体的,可以将部分已知的历史数据作为参考运维数据输入至预测模型中,从而可以通过预测模型,预测已知的样本数据对应的后续数据结果。即通过输入的历史数据信息(数值等),来预测未来时间内的交易量、系统峰值、业务量趋势等信息。
需要说明的是,上述参考运维数据为当前时刻之前预设时间段内对应的历史数据(即参考运维数据为已知的真实运维数据信息),从而根据这些历史数据,预测当前时刻之后,未知的数据。
作为一种可能的实现方式,上述预测结果为未来时间内的数据信息(例如交易量、系统峰值、业务量趋势等信息);或者上述预测结果为未来时间内的数据信息中的异常数据信息。
在本发明实施例中,通过获取预设时间段内金融业务的异常运维数据对应的多条历史数据信息,基于多条历史数据信息和多组训练参数,对构建的包括多个分支的网络模型进行训练,可以得到多个训练模型。从而进一步的,确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定误差量最小的训练模型为预测模型,通过预测模型预测金融业务中出现的异常运维数据。从而可以基于得到的预测模型,在预测模型中输入参考运维数据,可以输出预测结果,通过预测结果表征金融业务中是否出现异常运行数据。而无需通过运维人员的主观经验,根据人为预先设定的规则进行预测,从而可以提高预测数据结果的准确度。
在一种设计中,多组训练参数中的每组训练参数包括以下至少一项:卷积核、分支数、卷积核尺寸、特征数、神经元数量;为了得到多个训练模型,如图3所示,本发明实施例提供的S202中的方法,具体可以包括下述S301-S303。
S301、基于多条历史数据信息,确定训练数据和测试数据。
作为一种可能的实现方式,可以进一步的将获取到的多条历史数据信息,划分为两类数据,即训练数据和测试数据,从而可以通过训练数据对构建的网络模型进行训练,得到多个训练模型。
进一步的,再通过测试数据对得到的多个训练模型进行测试,以判断得到的多个训练模型是否存在异常。
示例性的,可以将上述处理完的相关时间序列矩阵(即矩阵X)和预测时间序列作为数据集,并将数据集中的80%作为训练集(即训练数据),20%作为测试集(即测试数据)。
S302、基于训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型。
具体的,在将多条历史数据信息划分为训练数据和测试数据之后,可以仅根据训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型。
S303、基于测试数据对多个训练模型进行测试,以检测每个训练模型预测结果的误差量是否满足预设条件。
进一步的,可以根据测试数据对得到的多个训练模型进行测试,以判断得到的多个训练模型是否存在异常。
在本发明实施例中,可以将多条历史数据信息划分为训练数据和测试数据,从而通过训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型,并进一步的通过测试数据对多个训练模型进行测试,以确定得到的多个训练模型是否存在异常。
在一种设计中,多条历史数据信息为时间序列数据;为了确定训练数据和测试数据,如图4所示,本发明实施例提供的S301中的方法,具体可以包括下述S401-S403。
S401、对多条历史数据信息的时间序列数据进行数据预处理,得到目标数据。
其中,数据预处理包括以下至少一项:填充缺失数据处理、数据无量纲化处理。
作为一种可能的实现方式,在获取到多条历史数据信息之后,可以根据每条历史数据信息对应的时间序列,确定多条历史数据信息中是否存在缺失的数据信息。
从而,在确定多条历史数据信息中存在缺失的数据信息时,首先通过填充缺失数据处理,在多条历史数据信息中对缺失的数据进行补充。
进一步的,再对多条历史数据信息进行数据归一化处理,以使得多条历史数据信息对应的数据为无量纲化数据,得到目标数据。
S402、通过滑动窗口对目标数据进行切分处理,得到多组特征数据。
其中,滑动窗口的大小为a,步长为s;a和s均为正数。
作为一种可能的实现方式,在得到上述目标数据之后,可以通过滑动窗口技术对目标数据进行滑动切分处理,以将目标数据进行切分得到多组特征数据。
具体的,上述目标数据可以为上述矩阵X进行数据预处理(即填充缺失数据处理和数据无量纲化处理)之后得到的数据矩阵。从而可以通过滑动窗口对数据矩阵进行滑动切分,形成多个子矩阵(特征图)。
示例性的,上述滑动窗口的大小可以为1。
S403、将多组特征数据划分为训练数据和测试数据。
其中,训练数据和测试数据中均包括至少一组特征数据。
作为一种可能的实现方式,在通过滑动窗口对目标数据进行切分处理,得到多组特征数据之后,可以将多组特征数据划分为训练数据和测试数据,即基于多条历史数据信息进行处理后的数据,得到训练数据和测试数据。
在本发明实施例中,可以进一步的对多条历史数据信息进行填充缺失数据处理和/或数据无量纲化处理的数据预处理,得到目标数据,并进一步的对目标数据进行切分处理,得到多组特征数据。从而将多组特征数据划分为训练数据和测试数据,可以提高数据的准确性。
在一种设计中,为了得到目标数据,如图5所示,当数据预处理包括填充缺失数据处理和数据无量纲化处理时,本发明实施例提供的S401,具体可以包括下述S501-S502。
S501、在确定多条历史数据信息中存在缺失数据信息的情况下,基于多条历史数据信息对应的均值,填充多条历史数据信息中的缺失数据信息。
作为一种可能的实现方式,根据每条历史数据信息对应的时间序列,确定多条历史数据信息中存在缺失的数据信息时,可以计算多条历史数据信息的均值,从而将多条历史数据信息的均值作为填充数据,填充至多条历史数据信息中的缺失位置。
需要说明的是,还可以确定多条历史数据信息的中值,将多条历史数据信息的中值作为填充数据,填充至多条历史数据信息中的缺失位置。
S502、基于最小-最大min-max标准化算法,对填充缺失数据处理后的多条历史数据信息进行数据无量纲化处理,得到目标数据。
需要说明的是,对数据Xi进行数据无量纲化处理,可以通过下述公式一得到。其中,Xmin为Xi取值范围的最小值,Xmax为Xi取值范围的最大值,Yi为Xi对应的无量纲化数据。
Figure BDA0003578659720000111
其中,min-max标准化(Min-max normalization)算法,也叫离差标准化,是对原始数据的线性变换,使结果落到[0,1]区间,转换函数如下:其中,max为样本数据的最大值,min为样本数据的最小值。当有新数据加入时,可能导致max和min的变化,因此需要重新定义。
在一种设计中,为了得到目标数据,如图6所示,本发明实施例提供的S302,具体可以包括下述S601-S604。
S601、针对每组训练参数,将训练数据分别输入至多个分支,得到多个卷积结果。
其中,每组训练参数中包括多个子卷积核,每个分支对应一个子卷积核。
作为一种可能的实现方式,需要先构建网络模型,以通过训练数据对网络模型进行训练得到训练模型。
作为一种可能的实现方式,在将训练数据分别输入至多个子卷积核对应的卷积分支(卷积层)时,可以通过修正线性单元(Rectified linear unit,ReLU)作为神经元的非线性激活函数,具体的如公式二所示:
Figure BDA0003578659720000121
其中,X为输入目标数据(即多条历史数据信息),
Figure BDA0003578659720000122
为卷积核,r为分支数,Si×d为卷积核尺寸,其中i∈[1,r],d为特征数。
即,将训练数据分别输入至多个子卷积核对应的卷积分支(卷积层)中进行卷积处理,得到多个卷积结果c1、c2、…、cr
S602、将多个卷积结果中的最优卷积结果进行池化操作,得到第一结果。
作为一种可能的实现方式,从多个卷积结果c1、c2、…、cr中选用最大池进行池化操作,得到mi=MAXPOOL(ci)。即第一结果为mi
可以理解,池化操作(Max Pooling)的含义是对某个Filter抽取到若干特征值,只取得其中最大的那个Pooling层作为保留值,其他特征值全部抛弃。
S603、基于第一结果,在长短期记忆网络层通过目标神经元数量对多个卷积结果进行处理,输出多个第二结果。
进一步的,多个卷积分支中的长短期记忆网络层(Long Short-Term Memory,LSTM)选取相同的神经元个数u,并基于第一结果为mi通过下述公式三,得到多个第二结果。
li=LSTM(mi,u) 公式三
S604、将多个第二结果在融合层进行拼接处理后,通过全连接层输出一个训练模型。
其中,多组训练参数对应输出多个训练模型。
作为一种可能的实现方式,在长短期记忆网络层得到多个第二结果之后,将多个第二结果在融合层进行拼接处理,得到拼接结果h,具体的如公式四所示:
h=concatenate([l1,l2,…,lr],axis=1) 公式四
进一步的,基于在融合层进行拼接处理得到的拼接结果h,基于下述公式五在全连接层输出结果Y。
Y=dense(h) 公式五
示例性的,如图7所示,为通过三个卷积分支(三个不同的卷积核),对训练数据进行卷积处理的模型示意图,通过输入层输入训练数据,将训练数据输入至三个卷积分支中的第一卷积层(Conv1d)进行卷积处理,并将第一卷积层输出的卷积结果通过选用最大池进行池化操作(MaxPooling);进一步的,将池化结果再次输入至每个卷积分支的第二卷积层,并将得到的卷积结果输入至每个卷积分支的长短期记忆网络层(LSTM),最终将每个卷积分支的长短期记忆网络层输出的结果通过Dropout输出在融合层(Merge)进行拼接融合处理,最后在全连接层(Dense)输出结果,得到训练模型。
在一种设计中,为了得到目标数据,如图8所示,本发明实施例提供的S203,具体可以包括下述S701-S703。
S701、确定多个训练模型中每个训练模型对应的多个预测结果。
其中,一个训练模型对应一个预测结果。
作为一种可能的实现方式,在通过多组训练参数对训练数据进行训练得到多个训练模型之后,进一步的通过将历史数据信息输入至每个训练模型得到每个训练模型对应的预测结果。
S702、通过多个预测结果和多个真实结果,确定每个训练模型对应的均方根误差。
其中,一个预测结果对应一个真实结果。
进一步的,将每个训练模型对应的预测结果与对应的真实结果相比较,通过下述公式六计算每个训练模型对应的均方根误差(Root Mean Square Error,RMSE)。
Figure BDA0003578659720000141
S703、根据每个训练模型对应的均方根误差,将最小均方根误差对应的一个训练模型确定为预测模型。
最终,判断每个训练模型对应的均方根误差之间的大小关系,确定最小均方根误差对应的一个训练模型为预测模型。
需要说明的是,均方根误差又叫标准误差,它是观测值与真值偏差的平方和观测次数n比值的平方根,在实际使用中,数据量n总是有限的,真值只能用最可信赖(最佳)值来代替,标准误差对一组测量中的特大或特小误差反映非常敏感,所以,标准误差能够很好地反映出测量的精密度。这正是标准误差在工程测量中广泛被采用的原因。
因此,标准差是用来衡量一组数自身的离散程度,而均方根误差是用来衡量观测值同真值之间的偏差,它们的研究对象和研究目的不同,但是计算过程类似。
在一种设计中,如图9所示,一种数据预测装置的结构示意图,包括:数据预处理模块901、卷积层模块902、模型验证模块903、长短记忆层模块904和预测模块905。
其中,数据预处理模块用于采集监控告警平台中的历史告警信息作为机器学习的样本,之后提取告警信息中的有效信息,并对告警信息进行加工处理,形成更有利于分类的特征组合,随后将特征组合保存到数据库中,作为机器学习训练的输入。
卷积层模块用于持续训练模块会使用相应的机器学习算法,将全部告警信息输入给机器学习算法进行拟合训练,即可输出具备预测能力的模型。并通过模型验证模块测试预测模型的准确率性能。
长短记忆层模块用于利用长短期记忆网络在时间维度上提取相关特征。
预测模块用于利用训练完后选择出的最优模型进行预测,输入新样本,输出预测值。
在本发明实施例中,通过上述方法,提出一种数据预测方法,是一种基于深度学习的运维数据预测方法:利用滑动窗口对多特征时间序列数据进行切分形成若干二维矩阵数据作为输入值(交易量、查询量、运行数据等),进行数据的预测,通过训练深度学习模型对系统业务量进行深度分析与预测。通过深度神经网络充分挖掘历史数据中相关信息:利用多分支多卷积核的卷积层挖掘特征,再用长短时期记忆网络在时间维度上选择有效特征,提升预测的准确性,减小预测误差。
上述主要从方法的角度对本发明实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例对一种数据预测装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。可选的,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图10为本发明实施例提供的一种数据预测装置的结构示意图。如图10所示,一种数据预测装置100用于充分挖掘历史数据中的相关信息,提高预测数据结果的准确度,例如用于执行图2所示的一种数据预测方法。该一种数据预测装置100包括:获取单元1001、处理单元1002和确定单元1003。
获取单元1001,用于获取预设时间段内的多条历史数据信息;多条历史数据信息包括金融业务的异常运维数据对应的告警信息;例如,如图2所示,获取单元1001可以用于执行S201中的步骤。
处理单元1002,用于基于多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;网络模型包括多个分支,网络模型基于一组训练参数分别得到一个训练模型;例如,如图2所示,处理单元1002可以用于执行S202中的步骤。
确定单元1003,用于确定多个训练模型中每个训练模型分别对应的误差量,并基于误差量从多个训练模型中确定预测模型;预测模型为多个训练模型中误差量最小的训练模型,预测模型用于预测金融业务中出现的异常运维数据;例如,如图2所示,确定单元1003可以用于执行S203中的步骤。
处理单元1002,用于基于预测模型,输入参考运维数据,输出预测结果,预测结果用于表征是否出现异常运行数据;例如,如图2所示,处理单元1002可以用于执行S204中的步骤。
可选的,多组训练参数中的每组训练参数包括以下至少一项:卷积核、分支数、卷积核尺寸、特征数、神经元数量;本发明实施例提供的确定单元1003,用于基于多条历史数据信息,确定训练数据和测试数据;例如,如图3所示,确定单元1003可以用于执行S301中的步骤。
处理单元1002,用于基于训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;例如,如图3所示,处理单元1002可以用于执行S302中的步骤。
处理单元1002,用于基于测试数据对多个训练模型进行测试,以检测每个训练模型预测结果的误差量是否满足预设条件。例如,如图3所示,处理单元1002可以用于执行S303中的步骤。
可选的,本发明实施例提供的确定单元1003,用于确定多个训练模型中每个训练模型对应的多个预测结果;一个训练模型对应一个预测结果;例如,如图8所示,确定单元1003可以用于执行S701中的步骤。
确定单元1003,用于通过多个预测结果和多个真实结果,确定每个训练模型对应的均方根误差;一个预测结果对应一个真实结果;例如,如图8所示,确定单元1003可以用于执行S702中的步骤。
确定单元1003,用于根据每个训练模型对应的均方根误差,将最小均方根误差对应的一个训练模型确定为预测模型。例如,如图8所示,确定单元1003可以用于执行S703中的步骤。
可选的,本发明实施例提供的处理单元1002,用于针对每组训练参数,将训练数据分别输入至多个分支,得到多个卷积结果;每组训练参数中包括的卷积核均包括多个子卷积核,每个分支对应一个子卷积核;例如,如图6所示,处理单元1002可以用于执行S601中的步骤。
处理单元1002,用于将多个卷积结果中的最优卷积结果进行池化操作,得到第一结果;例如,如图6所示,处理单元1002可以用于执行S602中的步骤。
处理单元1002,用于基于第一结果,在长短期记忆网络层通过目标神经元数量对多个卷积结果进行处理,输出多个第二结果;例如,如图6所示,处理单元1002可以用于执行S603中的步骤。
处理单元1002,用于将多个第二结果在融合层进行拼接处理后,通过全连接层输出一个训练模型;多组训练参数对应输出多个训练模型。例如,如图6所示,处理单元1002可以用于执行S604中的步骤。
可选的,多条历史数据信息为时间序列数据;本发明实施例提供的处理单元1002,用于对多条历史数据信息的时间序列数据进行数据预处理,得到目标数据;数据预处理包括以下至少一项:填充缺失数据处理、数据无量纲化处理;例如,如图4所示,处理单元1002可以用于执行S401中的步骤。
处理单元1002,用于通过滑动窗口对目标数据进行切分处理,得到多组特征数据;滑动窗口的大小为a,步长为s;a和s均为正数;例如,如图4所示,处理单元1002可以用于执行S402中的步骤。。
处理单元1002,用于将多组特征数据划分为训练数据和测试数据;训练数据和测试数据中均包括至少一组特征数据。例如,如图4所示,处理单元1002可以用于执行S403中的步骤。
可选的,本发明实施例提供的处理单元1002,用于在确定多条历史数据信息中存在缺失数据信息的情况下,基于多条历史数据信息对应的均值,填充多条历史数据信息中的缺失数据信息;例如,如图5所示,处理单元1002可以用于执行S501中的步骤。
处理单元1002,用于基于最小-最大min-max标准化算法,对填充缺失数据处理后的多条历史数据信息进行数据无量纲化处理,得到目标数据。例如,如图5所示,处理单元1002可以用于执行S502中的步骤。
示例性的,如图11为本发明实施例提供的又一种数据预测装置的结构示意图。其中,处理单元1002可以具体包括:训练单元10021、测试单元10022、数据切分单元10023、数据预处理单元10024。
训练单元10021,用于基于训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型。
测试单元10022,用于基于测试数据对多个训练模型进行测试,以检测每个训练模型预测结果的误差量是否满足预设条件。
数据切分单元10023,用于通过滑动窗口对目标数据进行切分处理,得到多组特征数据。
数据预处理单元10024,用于对多条历史数据信息的时间序列数据进行数据预处理,得到目标数据。
在采用硬件的形式实现上述集成的模块的功能的情况下,本发明实施例提供了上述实施例中所涉及的电子设备的另外一种可能的结构示意图。如图12所示,一种电子设备70,用于高效的评估产品进行迭代更新时,产品内容的调整导致产品活跃度发生变化的情况,例如用于执行图2所示的一种数据预测方法。该电子设备70包括处理器701,存储器702以及总线703。处理器701与存储器702之间可以通过总线703连接。
处理器701是通信装置的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,处理器701可以是一个通用中央处理单元(central processing unit,CPU),也可以是其他通用处理器等。其中,通用处理器可以是微处理器或者是任何常规的处理器等。
作为一种实施例,处理器701可以包括一个或多个CPU,例如图12中所示的CPU 0和CPU 1。
存储器702可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
作为一种可能的实现方式,存储器702可以独立于处理器701存在,存储器702可以通过总线703与处理器701相连接,用于存储指令或者程序代码。处理器701调用并执行存储器702中存储的指令或程序代码时,能够实现本发明实施例提供的一种数据预测方法。
另一种可能的实现方式中,存储器702也可以和处理器701集成在一起。
总线703,可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外围设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
需要指出的是,图12示出的结构并不构成对该电子设备70的限定。除图12所示部件之外,该电子设备70可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
作为一个示例,结合图10,电子设备中的获取单元1001、处理单元1002和确定单元1003实现的功能与图12中的处理器701的功能相同。
可选的,如图12所示,本发明实施例提供的电子设备70还可以包括通信接口704。
通信接口704,用于与其他设备通过通信网络连接。该通信网络可以是以太网,无线接入网,无线局域网(wireless local area networks,WLAN)等。通信接口704可以包括用于接收数据的接收单元,以及用于发送数据的发送单元。
在一种设计中,本发明实施例提供的电子设备中,通信接口还可以集成在处理器中。
图13示出了本发明实施例中电子设备的另一种硬件结构。如图13所示,电子设备80可以包括处理器801、通信接口802、存储器803以及总线804。处理器801与通信接口802、存储器803耦合。
处理器801的功能可以参考上述处理器701的描述。此外,处理器801还具备存储功能,可以参考上述存储器702的功能。
通信接口802用于为处理器801提供数据。该通信接口802可以是通信装置的内部接口,也可以是通信装置对外的接口(相当于通信接口704)。
需要指出的是,图13中示出的结构并不构成对电子设备80的限定,除图13所示部件之外,该电子设备80可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能单元的划分进行举例说明。在实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将装置的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当计算机执行该指令时,该计算机执行上述方法实施例所示的方法流程中的各个步骤。
本发明的实施例提供一种包含指令的计算机程序产品,当指令在计算机上运行时,使得计算机执行上述方法实施例中的一种数据预测方法。
其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘。随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的人以合适的组合、或者本领域数值的任何其他形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit,ASIC)中。在本发明实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
由于本发明的实施例中的电子设备、计算机可读存储介质、计算机程序产品可以应用于上述方法,因此,其所能获得的技术效果也可参考上述方法实施例,本发明实施例在此不再赘述。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何在本发明揭露的技术范围内的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种数据预测方法,其特征在于,所述方法包括:
获取预设时间段内的多条历史数据信息;所述多条历史数据信息包括金融业务的异常运维数据对应的告警信息;
基于所述多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;所述网络模型包括多个分支,所述网络模型基于一组训练参数分别得到一个训练模型;
确定所述多个训练模型中每个训练模型分别对应的误差量,并基于所述误差量从所述多个训练模型中确定预测模型;所述预测模型为所述多个训练模型中误差量最小的训练模型,所述预测模型用于预测金融业务中出现的异常运维数据;
基于所述预测模型,输入参考运维数据,输出预测结果,所述预测结果用于表征是否出现异常运行数据。
2.根据权利要求1所述的方法,其特征在于,所述多组训练参数中的每组训练参数包括以下至少一项:卷积核、分支数、卷积核尺寸、特征数、神经元数量;
所述基于所述多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型,包括:
基于所述多条历史数据信息,确定训练数据和测试数据;
基于所述训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;
基于所述测试数据对所述多个训练模型进行测试,以检测每个训练模型预测结果的误差量是否满足预设条件。
3.根据权利要求1所述的方法,其特征在于,所述确定所述多个训练模型中每个训练模型分别对应的误差量,并基于所述误差量从所述多个训练模型中确定预测模型,包括:
确定所述多个训练模型中每个训练模型对应的多个预测结果;一个训练模型对应一个预测结果;
通过所述多个预测结果和多个真实结果,确定每个训练模型对应的均方根误差;一个预测结果对应一个真实结果;
根据每个训练模型对应的均方根误差,将所述多个训练模型中最小均方根误差对应的一个训练模型确定为所述预测模型。
4.根据权利要求2所述的方法,其特征在于,所述基于所述训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型,包括:
针对每组训练参数,将所述训练数据分别输入至所述多个分支,得到多个卷积结果;每组训练参数中包括多个子卷积核,每个分支对应一个子卷积核;
将所述多个卷积结果中的最优卷积结果进行池化操作,得到第一结果信息;
基于所述第一结果信息,在长短期记忆网络层通过目标神经元数量对所述多个卷积结果进行处理,输出多个第二结果信息;
将所述多个第二结果信息在融合层进行拼接处理后,通过全连接层输出一个训练模型;所述多组训练参数对应输出所述多个训练模型。
5.根据权利要求2所述的方法,其特征在于,所述多条历史数据信息为时间序列数据;
所述基于所述多条历史数据信息,确定训练数据和测试数据,包括:
对所述多条历史数据信息的时间序列数据进行数据预处理,得到目标数据;所述数据预处理包括以下至少一项:填充缺失数据处理、数据无量纲化处理;
通过滑动窗口对所述目标数据进行切分处理,得到多组特征数据;所述滑动窗口的大小为a,步长为s;a和s均为正数;
将所述多组特征数据划分为训练数据和测试数据;所述训练数据和所述测试数据中均包括至少一组特征数据。
6.根据权利要求5所述的方法,其特征在于,当所述数据预处理包括所述填充缺失数据处理和所述数据无量纲化处理时,所述对所述多条历史数据信息进行数据预处理,得到目标数据,包括:
在确定所述多条历史数据信息中存在缺失数据信息的情况下,基于所述多条历史数据信息对应的均值,填充所述多条历史数据信息中的缺失数据信息;
基于最小-最大min-max标准化算法,对填充缺失数据处理后的所述多条历史数据信息进行数据无量纲化处理,得到所述目标数据。
7.一种数据预测装置,其特征在于,包括:获取单元、处理单元和确定单元;
所述获取单元,用于获取预设时间段内的多条历史数据信息;所述多条历史数据信息包括金融业务的异常运维数据对应的告警信息;
所述处理单元,用于基于所述多条历史数据信息和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;所述网络模型包括多个分支,所述网络模型基于一组训练参数分别得到一个训练模型;
所述确定单元,用于确定所述多个训练模型中每个训练模型分别对应的误差量,并基于所述误差量从所述多个训练模型中确定预测模型;所述预测模型为所述多个训练模型中误差量最小的训练模型,所述预测模型用于预测金融业务中出现的异常运维数据;
所述处理单元,用于基于所述预测模型,输入参考运维数据,输出预测结果,所述预测结果用于表征是否出现异常运行数据。
8.根据权利要求7所述的数据预测装置,其特征在于,所述多组训练参数中的每组训练参数包括以下至少一项:卷积核、分支数、卷积核尺寸、特征数、神经元数量;
所述确定单元,用于基于所述多条历史数据信息,确定训练数据和测试数据;
所述处理单元,用于基于所述训练数据和多组训练参数,对构建的网络模型进行训练,得到多个训练模型;
所述处理单元,用于基于所述测试数据对所述多个训练模型进行测试,以检测每个训练模型预测结果的误差量是否满足预设条件。
9.根据权利要求7所述的数据预测装置,其特征在于,所述确定单元,用于确定所述多个训练模型中每个训练模型对应的多个预测结果;一个训练模型对应一个预测结果;
所述确定单元,用于通过所述多个预测结果和多个真实结果,确定每个训练模型对应的均方根误差;一个预测结果对应一个真实结果;
所述确定单元,用于根据每个训练模型对应的均方根误差,将最小均方根误差对应的一个训练模型确定为预测模型。
10.根据权利要求8所述的数据预测装置,其特征在于,所述处理单元,用于针对每组训练参数,将所述训练数据分别输入至所述多个分支,得到多个卷积结果;每组训练参数中包括多个子卷积核,每个分支对应一个子卷积核;
所述处理单元,用于将所述多个卷积结果中的最优卷积结果进行池化操作,得到第一结果;
所述处理单元,用于基于所述第一结果,在长短期记忆网络层通过目标神经元数量对所述多个卷积结果进行处理,输出多个第二结果;
所述处理单元,用于将所述多个第二结果在融合层进行拼接处理后,通过全连接层输出一个训练模型;所述多组训练参数对应输出所述多个训练模型。
11.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当被计算机执行时使所述计算机执行如权利要求1-6中任一项所述的一种数据预测方法。
12.一种电子设备,其特征在于,包括:处理器以及存储器;其中,所述存储器用于存储一个或多个程序,所述一个或多个程序包括计算机执行指令,当所述电子设备运行时,处理器执行所述存储器存储的所述计算机执行指令,以使所述电子设备执行权利要求1-6中任一项所述的一种数据预测方法。
CN202210339774.1A 2022-04-01 2022-04-01 一种数据预测方法及装置 Pending CN114881224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210339774.1A CN114881224A (zh) 2022-04-01 2022-04-01 一种数据预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210339774.1A CN114881224A (zh) 2022-04-01 2022-04-01 一种数据预测方法及装置

Publications (1)

Publication Number Publication Date
CN114881224A true CN114881224A (zh) 2022-08-09

Family

ID=82668792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210339774.1A Pending CN114881224A (zh) 2022-04-01 2022-04-01 一种数据预测方法及装置

Country Status (1)

Country Link
CN (1) CN114881224A (zh)

Similar Documents

Publication Publication Date Title
CN114298863B (zh) 一种智能抄表终端的数据采集方法及系统
US20190180379A1 (en) Life insurance system with fully automated underwriting process for real-time underwriting and risk adjustment, and corresponding method thereof
CN112735094B (zh) 基于机器学习的地质灾害预测方法、装置和电子设备
CN112884092A (zh) Ai模型生成方法、电子设备及存储介质
CN110264270B (zh) 一种行为预测方法、装置、设备和存储介质
CN111435463A (zh) 数据处理方法及相关设备、系统
CN107679734A (zh) 一种用于无标签数据分类预测的方法和系统
KR102359090B1 (ko) 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템
CN110581834A (zh) 一种通信能力开放异常检测方法和装置
CN117156442B (zh) 基于5g网络的云数据安全保护方法及系统
CN112149750A (zh) 一种供水管网爆管识别数据驱动方法
CN113869721A (zh) 一种变电设备健康状态分类方法及装置
CN111738331A (zh) 用户分类方法及装置、计算机可读存储介质、电子设备
CN115204536A (zh) 楼宇设备故障预测方法、装置、设备及存储介质
CN113657814A (zh) 一种航空网络风险预测方法及风险等级评估方法
CN112465001A (zh) 一种基于逻辑回归的分类方法及装置
CN116416884A (zh) 一种显示器模组的测试装置及其测试方法
CN109117352B (zh) 服务器性能预测方法和装置
CN113313304A (zh) 一种基于大数据决策树的电网事故异常分析方法及系统
CN110413482B (zh) 检测方法和装置
CN110320802B (zh) 基于数据可视化的复杂系统信号时序识别方法
US20230156043A1 (en) System and method of supporting decision-making for security management
CN114881224A (zh) 一种数据预测方法及装置
CN113505039A (zh) 一种通信故障分析方法、设备及系统
JP6587950B2 (ja) スカラ特徴量によって時系列変化点を検出可能なプログラム、装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination