CN114398235A - 基于融合学习和假设检验的内存回收趋势预警装置及方法 - Google Patents

基于融合学习和假设检验的内存回收趋势预警装置及方法 Download PDF

Info

Publication number
CN114398235A
CN114398235A CN202210042623.XA CN202210042623A CN114398235A CN 114398235 A CN114398235 A CN 114398235A CN 202210042623 A CN202210042623 A CN 202210042623A CN 114398235 A CN114398235 A CN 114398235A
Authority
CN
China
Prior art keywords
model
variables
predicted value
trend
lstm model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210042623.XA
Other languages
English (en)
Other versions
CN114398235B (zh
Inventor
金勇�
吴泽君
雷发林
王艳华
苑志云
李国莹
简拥军
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202210042623.XA priority Critical patent/CN114398235B/zh
Publication of CN114398235A publication Critical patent/CN114398235A/zh
Application granted granted Critical
Publication of CN114398235B publication Critical patent/CN114398235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施方式提供了一种基于融合学习和假设检验的内存回收趋势预警装置、方法及设备。其中基于融合学习和假设检验的内存回收趋势预警装置包括：特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量，所述监测量为内存回收事件；融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及趋势预警模块，用于根据M‑K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。本发明提供的实施方式能够提前对业务系统的异常和告警提供预警，提升业务系统的稳定性。

Description

基于融合学习和假设检验的内存回收趋势预警装置及方法
技术领域
本发明涉及GC故障技术领域，具体地涉及一种基于融合学习和假设检验的内存回收趋势预警装置、一种基于融合学习和假设检验的内存回收趋势预警方法、一种基于融合学习和假设检验的内存回收趋势预警设备以及对应的存储介质。
背景技术
趋势预测，一般是针对具有时间属性的数据进行分析，根据事物发展的连续性原理，应用机器学习或者数理统计方法对历史资料进行建模分析，来推测、预计分析目标的近期或中远期的趋势变化规律。趋势预测分析方法，在证劵市场分析、房地产市场分析、超市销量分析等领域都存在较广泛的应用，特别地，在IT系统智能监控领域，有一些业务场景需要提前知道何时会达到预警值而告警，如FullGC(Full Garbage Collection)何时会大幅增长，从而提醒运维人员提前做好应急准备，其它的应用场景很多，如CPU利用率的预测、磁盘使用率的预测、网络流量预测、系统容量预测等。
趋势分析的相关技术主要有传统方法，如移动平均法、ARIMA、Holt-Winters法(即三次指数平滑)、Prophet法(对STL模型的改进)等；以及深度学习方法，如长短期记忆网络模型(Long Short-Term Memory，LSTM)等。传统趋势预测方法效果一般不太好，实践中有较多限制，例如ARIMA算法主要是针对单变量趋势分析，并且需要对序列进行平稳化处理，而真实的数据一般难以达到平稳化要求。
发明内容
本发明实施例的目的是提供一种基于融合学习和假设检验的内存回收趋势预警装置、方法及设备，其采用LSTM与XGBoost算法的融合学习。因为LSTM算法能充分考虑到时间记忆，符合时序数据特点，并且能结合多维度的影响因素进行综合预测分析。
XGBoost(eXtreme Gradient Boosting)是一种基于树模型的随机梯度提升算法，是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost方法也可用于多维时间序列的回归预测问题。与LSTM的预测原理不同，经过两者的融合学习可以提升预测效果。
本发明实施方式针对IT系统中内存回收的监控GC日志序列数据，拟采用LSTM和XGBoost的融合学习算法实现多维多步预测，即考虑监控日志多维度特征数据之间的综合影响，利用前若干时刻的数据预测后若干步数据，如前100个时刻的数据预测后20个时刻的数据，从而得到当前时刻后面20个时刻点的趋势预测图。另一方面，对于预测序列趋势，考虑到固定阈值过于依赖经验，因此采用假设检验方法确认是否存在统计意义上的异常趋势拐点，为异常趋势的出现提前预警。为了实现上述目的，本发明第一方面提供一种基于融合学习和假设检验的内存回收趋势预警装置，所述装置包括：特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量；融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及趋势预警模块，用于根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。
优选的，所述特征工程模块包括：变量提取子模块，用于从数据文件中提取变量；数据切片子模块，用于根据预设粒度将提取的变量进行时间切片；以及相关性分析子模块，用于通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。
优选的，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。
优选的，所述多维多步LSTM模型通过以下步骤得到；构建LSTM模型和确定所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；对所述LSTM模型进行训练，包括：获取训练样本，将所述训练样本分为训练集和测试集；采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。
优选的，所述趋势预警模块包括：预警计算子模块，用于将所述变量的预测值根据时序得到检验序列；异常告警子模块，用于根据M-K检验方法确定所述检验序列为上升趋势，则对所述监测量进行预警。
优选的，所述趋势预警模块还包括：以所述检验序列中的第一个预测值所对应的时间为所述预警的发生时间。
在本发明的第二方面，还提供了一种基于融合学习和假设检验的内存回收趋势预警方法，所述方法包括：通过关联分析确定与监测量存在相关关系的变量；根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。
优选的，所述通过关联分析确定与监测量存在相关关系的变量，包括：从数据文件中提取变量；根据预设粒度将提取的变量进行时间切片；通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。
优选的，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。
优选的，所述多维多步LSTM模型通过以下步骤得到；构建LSTM模型和确定所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；对所述LSTM模型进行训练，包括：获取训练样本，将所述训练样本分为训练集和测试集；采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。
优选的，所述根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警，包括：将所述变量的预测值根据时序得到检验序列；根据M-K检验方法确定所述检验序列为上升趋势，则对所述监测量进行预警。
优选的，所述方法还包括：以所述检验序列中的第一个预测值所对应的时间为所述预警的发生时间
在本发明的第三方面提供了一种基于融合学习和假设检验的内存回收趋势预警设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的基于融合学习和假设检验的内存回收趋势预警方法。
在本发明的第四方面提供了一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的基于融合学习和假设检验的内存回收趋势预警方法。
在本发明的第五方面提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述的基于融合学习和假设检验的内存回收趋势预警方法。
上述技术方案具有以下有益效果：
本发明的实施方式对于异常趋势的拐点预测能达到良好效果，进而辅助预早发现IT监控系统可能发生的异常。对后期多个时刻进行预测的无监督深度学习方法，并采用统计假设检验方法发现异常的趋势拐点，为后期趋势预警提供技术支撑，在一定程度上避免或及提前发现系统异常/故障，进而提升在线服务的稳定性。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的基于融合学习和假设检验的内存回收趋势预警装置的结构示意图；
图2示意性示出了根据本申请实施例的内存回收趋势预警的原理图；
图3示意性示出了根据本申请实施例的基于融合学习和假设检验的内存回收趋势预警装置的整体架构示意图；
图4示意性示出了根据本申请实施例的FullGC次数变化趋势图；
图5示意性示出了根据本申请实施例的LSTM融合学习示意图；
图6示意性示出了根据本申请实施例的某一场景下的预测效果图；
图7示意性示出了根据本申请实施例的基于融合学习和假设检验的内存回收趋势预警方法的步骤示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
图1示意性示出了根据本申请实施例的基于融合学习和假设检验的内存回收趋势预警装置的结构示意图。如图1所示，在本申请一实施例中，一种基于融合学习和假设检验的内存回收趋势预警装置，所述装置包括：
特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量；监测量为需要监测的指标，用户根据实际需求进行选择。但是在业务系统中，监测量并不是独立存在的，而且许多监测量仅仅为事件，不属于持续存在的指标，例如FullGC等内存回收事件。因此需要确定该监测量的相关变量，以根据这些与监测量存在相关关系的变量得到当前数据或历史数据，进一步得到预测数据。
融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值。如背景技术所述，趋势分析可以采用多种方法。本实施方式采用LSTM和XGBoost的融合学习模型，以根据历史值得到多个预测值，该多个预测值构成时间上的序列，通过检测该序列的特征，以实现对趋势的获取。
趋势预警模块，用于根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。M-K检验方法不需要样本遵从一定的分布，也不受少数异常值的干扰。具有计算简便的优点。本实施方式采用M-K检验方法对融合学习模块输出的序列进行趋势检测，具有处理速度快和计算简便的优点。
通过以上实施方式，对于异常趋势的拐点预测能达到良好效果，进而辅助预早发现IT监控系统可能发生的异常，从而提高了在线服务的稳定性。本实施方式具有一定的可扩展性，例如后续如发现更多相关的影响因素，可以按照同样的原理加入到无监督深度学习的模型框架中进行训练学习。图2示意性示出了根据本申请实施例的内存回收趋势预警的原理图。如图2所示，图中A点是业务响应延迟或者中断发生的告警(如大量FullGC之后导致业务中断)，B点是FullGC开始频繁出现的拐点，若能在前期某个时刻预测到拐点B的出现，那么就可以提前进行业务预警。
图3示意性示出了根据本申请实施例的基于融合学习和假设检验的内存回收趋势预警装置的整体架构示意图，如图3所示，在本实施方式中，所述特征工程模块包括以下模块：变量提取子模块，用于从数据文件中提取变量；此处数据文件主要为日志数据，即LOG文件，其记录了业务系统的各种事件和参数。本领域技术人员需要根据不同的监测量获取对应的数据文件。以监测量为FullGC为例，需要获取业务系统的GC日志数据，以六个月的GC日志数据作为分析对象。再进行变量提取操作，由于GC日志数据较为规整，可以采用正则表达式对变量进行提取，变量包括：发生时间、持续时间、GC类型、GC前新生代内存、GC后新生代内存、GC前JVM堆内存、GC后JVM堆内存、GC耗时、用户耗时、系统耗时、实际耗时等多个。
数据切片子模块，用于根据预设粒度将提取的变量进行时间切片；本实施方式主要针对未来一定时间内的趋势进行预测分析，此处数据切片的预设粒度可以为1分钟、5分钟、10分钟、1小时、1天等，切片粒度根据预测的具体需求，如对未来几小时内的数据进行预测，可以采取分钟之内的粒度；如对未来几天或者几周的趋势进行预测，则可以考虑小时或者天以内的时间粒度10分钟，即每10分钟求平均值代替此时间段内的变量取值。切片之后的数据在某段时间内对应的一次FullGC次数趋势图如图4所示。图4示意性示出了根据本申请实施例的FullGC次数变化趋势图，从图中可知，业务中断产生告警点在2021.05.07下午16:50左右，而事实上2021.05.07上午08:15左右就开始频繁FullGC了，即可认为08:15为拐点。
相关性分析子模块，用于通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。采用Pearson相关系数检验方法，以监测量为目标变量，检验其它变量与此变量之间的相关性。以关联程度较高的若干变量作为最终算法模型的输入特征。例如，监测量为FullGC次数(fgc_count)时，此处检验结果得到相关变量为：GC次数，GC后新生代内存，GC后jvm堆内存，以及GC耗时。
在本发明的一些实施方式中，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。多维多步LSTM模型是指输入参数的维度为多个，同时预测出的步数也为多步。本实施方式中，输入参数的维度与变量的数量相关，即一个监测量存在相关关系的变量数量为5，则该多维多步LSTM模型是指输入参数的维度也同样为5。变量的预测值的步数为多个，其构成的序列为后续步骤的处理基础。
经过训练的多维多步LSTM模型与XGBoost模型进行融合用来预测未来某个时间段的趋势数据。融合公式如下：
Pred_final＝λ1*Pred_LSTM+λ2*Pred_XGBoost
其中，Pred_final表示最终预测结果，λ1和λ2分别为两个模型预测值Pred_XGBoost和Pred_LSTM对应权重值，两者都大于0，而且满足λ1+λ2＝1。
在本发明的一些实施方式中，所述融合学习模型通过对LSTM模型进行训练后得到。图5示意性示出了根据本申请实施例的LSTM融合学习示意图。如图5所示，所述LSTM模型包括：确定LSTM模型框架和确定所述LSTM模型框架中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；其取值可以为：总维度数量＝5、网络层数＝150、Dropout＝0.3、损失函数为均方误差、迭代次数＝20、学习率＝0.01、激活函数为relu函数等。
对所述LSTM模型进行训练，包括：获取训练样本，由于本实施方式的模型为多维多步模型，则训练样本也需要对应的修改。无监督式数据转换过程中，采用前p步预测后q步，通过设置多组不同的参数(p，q)可以得到多组监督式数据集。其中，监督式数据转换是将无监督式序列数据做一定转换，得到具有标签的数据，设定采用前p步预测后q步，那么序列xt中(xt-p+1，xt-p+2，...,xt)为训练数据(xt+1，xt+2，...,xt+q)为对应标签。例如对于序列(x1，x2，x3，x4，x5，x6)利用3步预测后2步，则数据转换结果为(左边为训练数据，右边为对应标签)：
(x1，x2，x3)--->(x4，x5)
(x2，x3，x4)--->(x5，x6)
在本实施方式中，(p，q)的组合包括(50，10)、(200，10)、(400，10)、(500，10)、(600，10)。如(50，10)表示利用前50步预测后10步，每步为10分钟即为利用前500分钟的历史数据来预测后100分钟的趋势。需要注意的是，一般来说q值不宜太大，因为预测的步数太长容易导致预测的精度降低
将所述训练样本分为训练集和测试集；针对不同的数据集，采用7:3的比例(确保验证集中含有FullGC)拆分数据集，即前70％为训练集，后30％为验证集。
采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将所述训练后的LSTM模型作为所述融合学习模型。
针对无监督时间序列转变为监督时间序列之后的数据，配置XGBoost预测模型，包括树深度、子模型数量、学习率、正则项、损失函数等，XGBoost预测模型利用与LSTM同样的数据样本进行训练。
融合模型预测。利用验证集选取合适的模型参数，即根据前600步预测后10步的模型(p＝600，q＝10)，以及配置融合学习参数λ1＝0.6，λ2＝0.4，用来预测未来若干时间序列数据。
在本发明的一些实施方式中，所述趋势预警模块对预测出的未来时间内的若干预设值组成时序数据，根据趋势的拐点程度进行预警计算，若出现拐点，则认为监测量预期发生异常，并提示告警。趋势预警模块具体包括以下子模块。
预警计算子模块，用于将所述变量的预测值根据时序得到检验序列；设历史值所对应的时刻为0，1，2，…，m，预测值所对应的时刻为：m+1，m+2，...，m+r。此m时刻之后的r个预测值并不知道是否存在拐点以及哪个预测值是拐点。
异常告警子模块，用于根据M-K检验方法确定所述检验序列为上升趋势，则对所述监测量进行预警。本实施方式采用的判断方法是通过M-K(Manner-Kendall，曼-肯德尔)检验方法，也称为M-K非参数检验法，可以用来检验序列数据是否存在明显的上升或者下降趋势，并且不需要样本遵循一定的分布。原假设为序列数据都是独立的、不存在明显趋势的，设置信度α＝0.05，构造下述MK检验统计量Z，大于0是上升趋势，小于0是下降趋势。
Figure BDA0003470932630000111
式中，VAR(S)表示预测序列对应的方差。如果S大于0，则后一部分的观测值对比之前的观测值会趋向于变大；如果S小于0，则后一部分的观测值对比之前的观测值会趋向于变小。
在本发明的一些实施方式中，所述趋势预警模块还包括：以所述检验序列中的第一个预测值所对应的时间为所述预警的发生时间。判断节点，依次以r个预测值第一个预测值为起始点构造检验序列，若检验结果为上升趋势，则此第一个预测值视为拐点，暗示此拐点之后会出现异常增长；否则不存在异常预警的拐点。
根据趋势预警模块得到的计算结果，对于FullGC的趋势预测效果如图6所示。图6示意性示出了根据本申请实施例的某一场景下的预测效果图.图中的预测趋势图(实线所示)与实际趋势图(虚线所示)分别对应的拐点时刻为2021/8/8的15:59与2021/8/8的16:30，即可以提前31分钟进行FullGC告警。
基于同一发明构思，本发明的实施方式还提供了一种基于融合学习和假设检验的内存回收趋势预警方法。图7示意性示出了根据本申请实施例的基于融合学习和假设检验的内存回收趋势预警方法的步骤示意图，如图7所示。所述方法包括：
101、通过关联分析确定与监测量存在相关关系的变量；所述监测量为内存回收事件；
102、根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；
103、根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。
在一些可选实施方式中，所述通过关联分析确定与监测量存在相关关系的变量，包括：从数据文件中提取变量；根据预设粒度将提取的变量进行时间切片；通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。
在一些可选实施方式中，所述融合学习模型为多维多步LSTM模型；对应的，所述融合学习模型的输入参数的维度与与监测量存在相关关系的变量的数量相关，所述融合学习模型输出的变量的预测值的步数为多个。
在一些可选实施方式中，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。
在一些可选实施方式中，所述多维多步LSTM模型通过以下步骤得到；构建LSTM模型和所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；对所述LSTM模型进行训练，包括：获取训练样本，将所述训练样本分为训练集和测试集；采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。
在一些可选实施方式中，所述根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警，包括：将所述变量的预测值根据时序得到检验序列；根据M-K检验方法确定所述检验序列为上升趋势，则对所述监测量进行预警。
在一些可选实施方式中，所述方法还包括：以所述检验序列中的第一个预测值所对应的时间为所述预警的发生时间。
上述的基于融合学习和假设检验的内存回收趋势预警方法中的各个实施步骤的具体限定可以参见上文中对于基于融合学习和假设检验的内存回收趋势预警装置的限定，在此不再赘述。其有益效果也可以根据前述的基于融合学习和假设检验的内存回收趋势预警装置进行适用性的推定。
本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现基于融合学习和假设检验的内存回收趋势预警方法的步骤。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化包括上述基于融合学习和假设检验的内存回收趋势预警方法的步骤的程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种基于融合学习和假设检验的内存回收趋势预警装置，其特征在于，所述装置包括：
特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量；所述监测量为内存回收事件；
融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及
趋势预警模块，用于根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。
2.根据权利要求1所述的装置，其特征在于，所述特征工程模块包括：
变量提取子模块，用于从数据文件中提取变量；
数据切片子模块，用于根据预设粒度将提取的变量进行时间切片；以及
相关性分析子模块，用于通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。
3.根据权利要求1所述的装置，其特征在于，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；
所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；
所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；
对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。
4.根据权利要求3所述的装置，其特征在于，所述多维多步LSTM模型通过以下步骤得到；
构建LSTM模型和确定所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；
对所述LSTM模型进行训练，包括：
获取训练样本，将所述训练样本分为训练集和测试集；
采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。
5.根据权利要求3所述的装置，其特征在于，所述趋势预警模块包括：
预警计算子模块，用于将所述变量的预测值根据时序得到检验序列；
异常告警子模块，用于在根据M-K检验方法确定所述检验序列为上升趋势的情况下对所述监测量进行预警。
6.根据权利要求5所述的装置，其特征在于，所述趋势预警模块还用于将所述检验序列中的第一个预测值所对应的时间作为所述预警的发生时间。
7.一种基于融合学习和假设检验的内存回收趋势预警方法，其特征在于，所述方法包括：
通过关联分析确定与监测量存在相关关系的变量，所述监测量为内存回收事件；
根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；
根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。
8.根据权利要求7所述的方法，其特征在于，所述通过关联分析确定与监测量存在相关关系的变量，包括：
从数据文件中提取变量；
根据预设粒度将提取的变量进行时间切片；
通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。
9.根据权利要求7所述的方法，其特征在于，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；
所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；
所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；
对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。
10.根据权利要求9所述的方法，其特征在于，所述多维多步LSTM模型通过以下步骤得到；
构建LSTM模型和确定所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；
对所述LSTM模型进行训练，包括：
获取训练样本，将所述训练样本分为训练集和测试集；
采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。
11.根据权利要求9所述的方法，其特征在于，所述根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警，包括：
将所述变量的预测值根据时序得到检验序列；
若根据M-K检验方法确定所述检验序列为上升趋势，则对所述监测量进行预警。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：以所述检验序列中的第一个预测值所对应的时间为所述预警的发生时间。
13.一种基于融合学习和假设检验的内存回收趋势预警设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7至12中任一项权利要求所述的基于融合学习和假设检验的内存回收趋势预警方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求7至12中任一项权利要求所述的基于融合学习和假设检验的内存回收趋势预警方法。
15.一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据权利要求7至12中任一项权利要求所述的基于融合学习和假设检验的内存回收趋势预警方法。
CN202210042623.XA 2022-01-14 2022-01-14 基于融合学习和假设检验的内存回收趋势预警装置及方法 Active CN114398235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210042623.XA CN114398235B (zh) 2022-01-14 2022-01-14 基于融合学习和假设检验的内存回收趋势预警装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210042623.XA CN114398235B (zh) 2022-01-14 2022-01-14 基于融合学习和假设检验的内存回收趋势预警装置及方法

Publications (2)

Publication Number Publication Date
CN114398235A true CN114398235A (zh) 2022-04-26
CN114398235B CN114398235B (zh) 2024-08-23

Family

ID=81231754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210042623.XA Active CN114398235B (zh) 2022-01-14 2022-01-14 基于融合学习和假设检验的内存回收趋势预警装置及方法

Country Status (1)

Country Link
CN (1) CN114398235B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665798A (zh) * 2023-04-27 2023-08-29 海南大学 一种空气污染趋势预警方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685240A (zh) * 2018-10-24 2019-04-26 国网浙江省电力有限公司 一种基于lstm深度学习的95598话务工单预测与异动预警方法
WO2021109578A1 (zh) * 2019-12-02 2021-06-10 北京天元创新科技有限公司 业务运维中告警的预测方法、装置与电子设备
CN113807951A (zh) * 2021-09-23 2021-12-17 中国建设银行股份有限公司 一种基于深度学习的交易数据趋势预测方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685240A (zh) * 2018-10-24 2019-04-26 国网浙江省电力有限公司 一种基于lstm深度学习的95598话务工单预测与异动预警方法
WO2021109578A1 (zh) * 2019-12-02 2021-06-10 北京天元创新科技有限公司 业务运维中告警的预测方法、装置与电子设备
CN113807951A (zh) * 2021-09-23 2021-12-17 中国建设银行股份有限公司 一种基于深度学习的交易数据趋势预测方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665798A (zh) * 2023-04-27 2023-08-29 海南大学 一种空气污染趋势预警方法及相关装置

Also Published As

Publication number Publication date
CN114398235B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
US20220103444A1 (en) Methods and systems for predicting time of server failure using server logs and time-series data
CN109063886B (zh) 一种异常检测方法、装置以及设备
CN110413227B (zh) 一种硬盘设备的剩余使用寿命在线预测方法和系统
US11487996B2 (en) Real-time predictive maintenance of hardware components using a stacked deep learning architecture on time-variant parameters combined with a dense neural network supplied with exogeneous static outputs
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN111950810B (zh) 一种基于自演化预训练的多变量时间序列预测方法和设备
CN112148768A (zh) 一种指标时间序列异常检测方法、系统及存储介质
CN109684320B (zh) 监测数据在线清洗的方法和设备
CN112148561A (zh) 业务系统的运行状态预测方法、装置及服务器
CN114398235B (zh) 基于融合学习和假设检验的内存回收趋势预警装置及方法
CN118152124A (zh) 一种基于云计算的数据处理方法及系统
CN117971488A (zh) 分布式数据库集群的存储管理方法及相关装置
RU2632124C1 (ru) Способ прогнозной оценки эффективности многоэтапных процессов
CN116737681A (zh) 一种实时异常日志检测方法、装置、计算机设备和存储介质
CN114518988B (zh) 资源容量系统及其控制方法和计算机可读存储介质
JP2015228182A (ja) 変化点検出装置、変化点検出方法、及びコンピュータプログラム
Subramanian et al. Load-aware VM migration using hypergraph based CDB-LSTM
CN109978038B (zh) 一种集群异常判定方法及装置
CN115982622B (zh) 核反应堆冷却剂系统运行瞬态快速识别方法、装置及系统
CN111913805B (zh) 一种cpu利用率计算方法及装置
CN117234429B (zh) 一种存储芯片的写入擦除速度分析方法及装置
CN118013043B (zh) 档案数据的管理方法、装置、设备及存储介质
CN118428708B (zh) 生产效率提升模型的训练方法、生产效率提升方法及装置
CN116149971B (zh) 设备故障预测方法、装置、电子设备及存储介质
CN109936549A (zh) 基于pki平台的审计数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant