CN112100024B - 一种资源负载异常检测方法、装置及设备 - Google Patents

一种资源负载异常检测方法、装置及设备 Download PDF

Info

Publication number
CN112100024B
CN112100024B CN202010820109.5A CN202010820109A CN112100024B CN 112100024 B CN112100024 B CN 112100024B CN 202010820109 A CN202010820109 A CN 202010820109A CN 112100024 B CN112100024 B CN 112100024B
Authority
CN
China
Prior art keywords
resource load
load
time period
sample
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010820109.5A
Other languages
English (en)
Other versions
CN112100024A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN202010820109.5A priority Critical patent/CN112100024B/zh
Publication of CN112100024A publication Critical patent/CN112100024A/zh
Application granted granted Critical
Publication of CN112100024B publication Critical patent/CN112100024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种资源负载异常检测方法、装置及设备。方法包括：采集运算资源在目标时间段的实际资源负载；利用预测模型计算运算资源在目标时间段的预测资源负载；预测模型基于样本时间段以及与样本时间段对应的样本资源负载训练产生；计算实际资源负载与预测资源负载之间的负载差值，并根据负载差值执行资源负载异常检测操作。本方法利用预测模型预测目标时间段的预测资源负载，并采集该目标时间段的实际资源负载，进而以理想状态与实际状态之间的资源负载差异，即预测资源负载与实际资源负载之间的负载差异作为检测依据，实现了对运算资源的资源负载异常检测，确保了云计算整体可靠性。此外，本申请还提供一种资源负载异常检测装置及设备，有益效果同上所述。

Description

一种资源负载异常检测方法、装置及设备
技术领域
本申请涉及云计算领域，特别是涉及一种资源负载异常检测方法、装置 及设备。
背景技术
随着大数据和人工智能的迅猛发展，各行各业对于计算资源的需求量也 越来越大，因此云计算应运而生。
云计算的核心思想是通过网络统一调度管理存储或计算等类型的硬件资 源，实现资源的合理分配和利用。云计算的资源负载情况对于云计算中心的 管理和维护具有重要的意义，当前往往需要根据云计算的资源负载对云计算 设备进行有针对性地维护和管理，因此实现对运算资源的资源负载异常检测， 是确保云计算整体可靠性的关键。
由此可见，提供一种资源负载异常检测方法，以实现对运算资源的资源 负载异常检测，进而确保云计算的整体可靠性，是本领域技术人员需要解决 的问题。
发明内容
本申请的目的是提供一种资源负载异常检测方法、装置及设备，以实现 对运算资源的资源负载异常检测，进而确保云计算的整体可靠性。
为解决上述技术问题，本申请提供一种资源负载异常检测方法，包括：
采集运算资源在目标时间段的实际资源负载；
利用预测模型计算运算资源在目标时间段的预测资源负载；其中，预测 模型基于样本时间段以及与样本时间段对应的样本资源负载训练产生；
计算实际资源负载与预测资源负载之间的负载差值，并根据负载差值执 行资源负载异常检测操作。
优选地，根据负载差值执行资源负载异常检测操作，包括：
判断负载差值是否达到预设差别阈值；
若负载差值达到预设差别阈值，则发起检测异常告警。
优选地，在发起检测异常告警之前，方法还包括：
获取告警变量，并对告警变量的初始值累加预设增量值；
判断累加预设增量值后的告警变量是否达到告警阈值；
若累加预设增量值后的告警变量达到告警阈值，则执行发起检测异常告 警的步骤。
优选地，若负载差值未达到预设差别阈值，方法还包括：
将告警变量的值清零。
优选地，若累加预设增量值后的告警变量未达到告警阈值时，方法还包 括：
判断是否存在下一个目标时间段；
若存在下一个目标时间段，则基于下一个目标时间段执行采集运算资源 在目标时间段的实际资源负载的步骤。
优选地，预测模型包括ESN预测模型；
ESN预测模型的生成过程包括：
获取样本时间段采集的样本实际资源负载；
调整ESN初始模型中的模型参数，直至ESN初始模型在样本时间段计算 的样本预测资源负载以及样本实际资源负载之间的误差值满足预设误差标 准；
将调整模型参数后的ESN初始模型设置为ESN预测模型。
优选地，调整ESN初始模型中的模型参数，直至ESN初始模型在样本时 间段计算的样本预测资源负载以及样本实际资源负载之间的误差值满足预设 误差标准，包括：
基于遗传算法以及模拟退火算法迭代生成目标参数值，并以目标参数值 调整ESN初始模型中的模型参数，直至样本预测资源负载以及样本实际资源 负载之间的误差值满足预设误差标准。
优选地，基于遗传算法以及模拟退火算法迭代生成目标参数值，包括：
基于遗传算法在预设范围内选取第一参数值，并利用模拟退火算法对第 一参数值进行调整得到第二参数值；
选取第一参数值以及第二参数值之间对应误差值最小的目标参数值；
基于目标参数值调整预设范围，并执行基于遗传算法在预设范围内选取 第一参数值，并利用模拟退火算法对第一参数值进行调整得到第二参数值的 步骤。
此外，本申请还提供一种资源负载异常检测装置，包括：
负载采集模块，用于采集运算资源在目标时间段的实际资源负载；
负载预测模块，用于利用预测模型计算运算资源在目标时间段的预测资 源负载；其中，预测模型基于样本时间段以及与样本时间段对应的样本资源 负载训练产生；
差值检测模块，用于计算实际资源负载与预测资源负载之间的负载差值， 并根据负载差值执行资源负载异常检测操作。
此外，本申请还提供一种资源负载异常检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的资源负载异常检测方法的 步骤。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储 介质上存储有计算机程序，计算机程序被处理器执行时实现如上述资源负载 异常检测方法的步骤。
本申请所提供的资源负载异常检测方法，首先采集运算资源在目标时间 段的实际资源负载，并且利用预测模型计算运算资源在目标时间段的预测资 源负载，该预测模型基于样本时间段以及与样本时间段对应的样本资源负载 训练产生，在获取到实际资源负载以及预测资源负载后，进一步计算实际资 源负载与预测资源负载之间的负载差值，并根据负载差值执行资源负载异常 检测操作。本方法利用预测模型预测目标时间段的预测资源负载，并采集该 目标时间段的实际资源负载，进而以理想状态与实际状态之间的资源负载差 异，即预测资源负载与实际资源负载之间的负载差异作为检测依据，实现了 对运算资源的资源负载异常检测，进而确保了云计算的整体可靠性。此外， 本申请还提供一种资源负载异常检测装置及设备，有益效果同上所述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图 做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例， 对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 这些附图获得其他的附图。
图1为本申请实施例公开的一种资源负载异常检测方法的流程图；
图2为本申请实施例公开的一种资源负载异常检测方法的流程图；
图3为本申请实施例公开的一种资源负载异常检测方法的流程图；
图4为本申请实施例公开的一种ESN预测模型的生成过程的流程图；
图5为本申请实施例公开的一种资源负载异常检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而 不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出 创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
云计算的核心思想是通过网络统一调度管理存储或计算等类型的硬件资 源，实现资源的合理分配和利用。云计算的资源负载情况对于云计算中心的 管理和维护具有重要的意义，当前往往需要根据云计算的资源负载对云计算 设备进行有针对性地维护和管理，因此实现对运算资源的资源负载异常检测， 是确保云计算整体可靠性的关键。
为此，本申请的核心是提供一种资源负载异常检测方法，以实现对运算 资源的资源负载异常检测，进而确保云计算的整体可靠性。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体 实施方式对本申请作进一步的详细说明。
请参见图1所示，本申请实施例公开了一种资源负载异常检测方法，包 括：
步骤S10：采集运算资源在目标时间段的实际资源负载。
需要说明的是，本实施例的执行主体可以为用于对云计算设备的整体运 算资源进行监控的运维设备。
本步骤中的运算资源包括但不限于时CPU资源、内存资源、硬盘资源等。 另外，目标时间段指的是特定的时间周期或特定的时刻，相当于对于运算资 源进行资源负载统计的单位时间。在不同时间段下，用户对于云计算业务进 程的整体需求量往往不同，而随着云计算业务进程的执行或停止，云计算业 务对运算资源造成的整体资源负载也会随之发生变化，因此在不同的目标时 间段下，运算资源的资源负载也有所不同。
本步骤采集运算资源在目标时间段的实际资源负载，相当于是对目标时 间段下的运算资源进行实时统计得到实际资源负载，实际资源负载指的是运 算资源在实际场景下的资源负载。
步骤S11：利用预测模型计算运算资源在目标时间段的预测资源负载。
其中，预测模型基于样本时间段以及与样本时间段对应的样本资源负载 训练产生。
在采集运算资源在目标时间段的实际资源负载的同时，本步骤利用预测 模型计算运算资源在目标时间段的预测资源负载。本步骤中的预测模型指的 是能够根据时间段进行资源负载预测的网络模型，预测模型是基于样本时间 段以及该样本时间段对应的样本资源负载进行关联训练产生的，也就是说， 预测模型中建立有样本时间段与样本资源负载之间的关联关系，进而能够根 据实际场景下的目标时间段预测得到运算资源的资源负载，即预测资源负载。
另外，需要说明的是，本步骤与步骤S10之间的执行顺序不固定，也可 以同时执行，在此不做具体限定。
步骤S12：计算实际资源负载与预测资源负载之间的负载差值，并根据负 载差值执行资源负载异常检测操作。
在获取到目标时间段的预测资源负载以及实际资源负载之后，本步骤进 一步计算实际资源负载与预测资源负载之间的负载差值，该负载差值表征的 是实际资源负载与预测资源负载之间的差异程度，在计算得到实际资源负载 与预测资源负载之间的负载差值之后，本步骤进一步根据负载差值执行资源 负载异常检测操作，以此通过预测资源负载与实际资源负载之间的差值进一 步实现对资源负载的异常检测操作。
本申请所提供的资源负载异常检测方法，首先采集运算资源在目标时间 段的实际资源负载，并且利用预测模型计算运算资源在目标时间段的预测资 源负载，该预测模型基于样本时间段以及与样本时间段对应的样本资源负载 训练产生，在获取到实际资源负载以及预测资源负载后，进一步计算实际资 源负载与预测资源负载之间的负载差值，并根据负载差值执行资源负载异常 检测操作。本方法利用预测模型预测目标时间段的预测资源负载，并采集该 目标时间段的实际资源负载，进而以理想状态与实际状态之间的资源负载差 异，即预测资源负载与实际资源负载之间的负载差异作为异常检测依据，实 现了对运算资源的资源负载异常检测，进而确保了云计算的整体可靠性。
请参见图2所示，本申请实施例公开了一种资源负载异常检测方法，包 括：
步骤S20：采集运算资源在目标时间段的实际资源负载。
步骤S21：利用预测模型计算运算资源在目标时间段的预测资源负载。
其中，预测模型基于样本时间段以及与样本时间段对应的样本资源负载 训练产生。
步骤S22：计算实际资源负载与预测资源负载之间的负载差值。
步骤S23：判断负载差值是否达到预设差别阈值，若是，则执行步骤S24。
步骤S24：发起检测异常告警。
需要说明的是，本实施例在计算实际资源负载与预测资源负载之间的负 载差值之后，进一步判断负载差值是否达到预设差别阈值，目的是判定实际 资源负载与预测资源负载之间的负载差距是否达到预设程度，如果实际资源 负载与预测资源负载之间的负载差距达到预设程度，即实际资源负载相较于 预测资源负载而言过大或过小，则说明实际资源负载存在异常，其中，预设 差别阈值的取值可以根据实际的资源负载异常检测需求而定，在此不做具体 限定。进而本实施例在负载差值达到预设差别阈值的情况下发起检测异常告 警，以此告知运维人员运算资源的资源负载存在异常，进而运维人员能够及 时根据检测异常告警对云计算的运算资源进行异常分析，从而本实施例进一 步确保了资源负载异常检测可靠性。
请参见图3所示，本申请实施例公开了一种资源负载异常检测方法，包 括：
步骤S30：采集运算资源在目标时间段的实际资源负载。
步骤S31：利用预测模型计算运算资源在目标时间段的预测资源负载。
其中，预测模型基于样本时间段以及与样本时间段对应的样本资源负载 训练产生。
步骤S32：计算实际资源负载与预测资源负载之间的负载差值。
步骤S33：判断负载差值是否达到预设差别阈值，若是，则执行步骤S34。
步骤S34：获取告警变量，并对告警变量的初始值累加预设增量值。
步骤S35：判断累加预设增量值后的告警变量是否达到告警阈值，若是， 则执行步骤S36。
步骤S36：发起检测异常告警。
需要说明的是，本实施例在判断负载差值达到预设差别阈值之后，进一 步获取告警变量，并进一步对告警变量的初始值累加预设增量值，其中，告 警变量是用于判定是否进行检测异常告警的变量，而告警变量的初始值指的 是在获取到告警变量时，告警变量的变量值。本实施例在当负载差值达到预 设差别阈值之后，需要进一步对告警变量的初始值累加预设增量值，进而判 断累加预设增量值后的告警变量是否达到告警阈值，如果累加预设增量值后 的告警变量达到告警阈值，则进一步发起检测异常告警。本实施例是考虑到可能存在因云计算设备运算资源的资源抖动而在短时间内造成实际资源负载 与预测资源负载之间的负载差值达到预设差别阈值的情况，因此为了避免短 时间内运算资源的抖动对资源负载异常检测的影响，本实施例进一步通过在 负载差值达到预设差别阈值时对告警变量累加预设增量值，进而直至累加预 设增量值后的告警变量达到告警阈值，即连续多次出现负载差值达到预设差 别阈值的情况，再进一步发起检测异常告警。本实施例相对确保了资源负载 异常检测的整体准确性。
在上述实施例的基础上，作为一种优选的实施方式，若负载差值未达到 预设差别阈值，方法还包括：
将告警变量的值清零。
需要说明的是，在本实施方式中，当判断负载差值是否达到预设差别阈 值的结果为，负载差值未达到预设差别阈值时，则认为当前的目标时间段所 对应实际资源负载并未存在异常，在此情况下，如果当前目标时间段的上一 个目标时间段可能因负载差值达到预设差别阈值，则可以认为上一个目标时 间段产生了运算资源的抖动，但是当前目标时间段的上一个目标时间段可能 因负载差值达到预设差别阈值而导致告警变量的初始值累加有预设增量值， 为了避免运算资源的抖动对资源负载异常检测的影响，本实施方式在当负载差值未达到预设差别阈值时，将告警变量的值清零，以此在对下一个目标时 间段的进行资源负载异常检测时，对告警变量的值进行重新累计。本实施方 式进一步确保了资源负载异常检测的整体准确性。
在上述实施例的基础上，作为一种优选的实施方式，若累加预设增量值 后的告警变量未达到告警阈值时，方法还包括：
判断是否存在下一个目标时间段；
若存在下一个目标时间段，则基于下一个目标时间段执行采集运算资源 在目标时间段的实际资源负载的步骤。
需要说明的是，本实施方式的重点是在当判断累加预设增量值后的告警 变量是否达到告警阈值的结果为，累加预设增量值后的告警变量未达到告警 阈值时，则进一步判断是否存在下一个目标时间段，进而当存在下一个目标 时间段时，则基于下一个目标时间段继续执行采集运算资源在目标时间段的 实际资源负载，以及再利用预测模型计算运算资源在下一个目标时间段的预 测资源负载等步骤，目的是基于目标时间段迭代计算告警变量的变量值。本 实施方式进一步确保了告警变量统计过程的准确性，进而确保了资源负载异 常检测的整体准确性。
在上述一些列实施例的基础上，作为一种优选的实施方式，预测模型包 括ESN预测模型；
请参见图4所示，本申请实施例公开了一种ESN预测模型的生成过程， 包括：
步骤S40：获取样本时间段采集的样本实际资源负载。
需要说明的是，本实施例中的预测模型为ESN(Echo State Network，回 声状态网络)预测模型，ESN预测模型是由ESN网络模型，即ESN初始模 型进行网络训练得到的，由于ESN网络模型能够更加可靠的对非线性的样本 进行训练，因此基于ESN网络模型训练生成的ESN预测模型具有更高的可靠 性。
在对ESN网络模型，即ESN初始模型进行训练的过程中，首先获取样本 时间段采集的样本实际资源负载，以及ESN初始模型在样本时间段计算的样 本预测资源负载，目的是在后续步骤中基于样本实际资源负载以及样本预测 资源负载之间的差异对ESN初始模型进行精度的调整。
步骤S41：调整ESN初始模型中的模型参数，直至ESN初始模型在样本 时间段计算的样本预测资源负载以及样本实际资源负载之间的误差值满足预 设误差标准。
在获取样本时间段采集的样本实际资源负载之后，本步骤进一步调整 ESN初始模型中的模型参数，直至ESN初始模型在样本时间段计算的样本预 测资源负载以及样本实际资源负载之间的误差值满足预设误差标准。调整 ESN初始模型中的模型参数，本质上是在ESN训练过程中，根据神经网络的 前向传播求误差和反向传播求偏导的方式，使得ESN中的模型参数不断进行 调整。
步骤S42：将调整模型参数后的ESN初始模型设置为ESN预测模型。
在对ESN初始模型中的模型参数进行调整直至样本预测资源负载以及样 本实际资源负载之间的误差值满足预设误差标准之后，本步骤进一步将调整 模型参数后的ESN初始模型设置为ESN预测模型。由于ESN模型适合用于 非线性混沌系统的建模和预测，而云计算资源负载的变化情况属于一种非线 性的混沌系统，因此ESN预测模型能够可靠地对资源的负载进行预测，进而 本实施例进一步确保了ESN预测模型的生成过程的整体可靠性。
在上述实施例的基础上，作为一种优选的实施方式，调整ESN初始模型 中的模型参数，直至ESN初始模型在样本时间段计算的样本预测资源负载以 及样本实际资源负载之间的误差值满足预设误差标准，包括：
基于遗传算法以及模拟退火算法迭代生成目标参数值，并以目标参数值 调整ESN初始模型中的模型参数，直至样本预测资源负载以及样本实际资源 负载之间的误差值满足预设误差标准。
需要说明的是，本实施方式的重点在于通过结合遗传算法以及模拟退火 算法的方式对最优参数值进行寻优确定，得到目标参数值，进而以目标参数 值调整ESN初始模型中的模型参数，直至样本预测资源负载以及样本实际资 源负载之间的误差值满足预设误差标准。其中，遗传算法(Genetic Algorithm)， 是用计算机模拟遗传进化，迭代保留符合条件的解，并淘汰不符合条件的解， 从而逐步找到最优解。而模拟退火算法(SimulatedAnnealing)能够用于选取 局部最优解，可以应用在任何出现局部最优解的算法上，是进一步收敛全局 最优解的全局优化算法。由此可见，本实施方式通过基于遗传算法以及模拟退火算法迭代生成目标参数值，能够进一步提高目标参数值的选取效率以及 准确性，进而提高了对ESN初始模型的训练效率以及准确性。
更进一步的，作为一种优选的实施方式，基于遗传算法以及模拟退火算 法迭代生成目标参数值，包括：
基于遗传算法在预设范围内选取第一参数值，并利用模拟退火算法对第 一参数值进行调整得到第二参数值；
选取第一参数值以及第二参数值之间对应误差值最小的目标参数值；
基于目标参数值调整预设范围，并执行基于遗传算法在预设范围内选取 第一参数值，并利用模拟退火算法对第一参数值进行调整得到第二参数值的 步骤。
需要说明的是，本实施方式中，在基于遗传算法以及模拟退火算法迭代 生成目标参数值的方式具体是基于遗传算法在预设范围内选取第一参数值， 并且利用模拟退火算法对第一参数值进行调整得到第二参数值，进而将第一 参数值以及第二参数值分别设置为ESN初始模型的参数，以此计算所产生预 测资源负载与实际资源负载的误差值最小的ESN初始模型所使用的目标参数 值，进而进一步基于该目标参数值调整预设范围，并执行基于遗传算法在预 设范围内选取第一参数值，并利用模拟退火算法对第一参数值进行调整得到 第二参数值的步骤，以此实现在目标参数值的基础上作为进一步的迭代运算。 本实施方式进一步确保了目标参数值的选取效率以及准确性，进而提高了对 ESN初始模型的训练效率以及准确性。
为了进一步提高对于本申请技术方案的理解，下面提供一种具体应用场 景下的场景实施例做进一步说明。
场景实施例中的运算资源以CPU使用率为例，其余资源负载的实施方式 与此相同。
1、数据的预处理
选取一段历史时间段内的CPU使用率数据，以T为时间窗，计算每个T 时间内的平均使用率，构成一个CPU使用率的时间序列，T选取为1分钟； 为了防止噪声数据的影响，采用中值滤波、均值滤波等信号处理方法对序列 数据进行滤波处理，针对CPU使用率的缺失值，采用平均插值的方法进行插 值处理，然后对数据进行最大最小归一化处理，得到可用于训练的时间序列 数据。
2、利用模拟退火算法(SA)和遗传算法(GA)优化ESN模型的过程。
a、使用ESN初始模型构建ESN预测模型时，主要需要确定的参数有 储备池内部连接权谱半径SR、储备池规模N、储备池输入单元尺度因子IS、 储备池稀疏程度SD。其中，N与数据类型有关系、SD的调整范围较小，所 以这两个参数选择固定参数。而将SR和IS作为待优化参数，个体编码方式 采用浮点数编码方式。
b、适应度函数如式(1)所示，其中pk表示预测的CPU负载，tk表示 实际的CPU负载，RMSE表示模型预测值和实际值的均方根误差。
Figure RE-GDA0002782065520000111
c、选择、交叉和变异过程。利用“精英策略”和“轮盘赌选择”策略 相结合的方式进行最优个体的选择，根据使用场景，交叉率选择0.98，变异 率选择0.001；
d、利用退火原理优化变异过程。使最优个体B在小范围内产生一个波 动，产生新的个体N，计算这两个个体的适应度值分别为RMSE(B)和RMSE (N)，计算差值为D，根据Metropolis准则确定N替代B的概率P。若D ≥0，使用N代替B；若D<0，则以P的概率使用N代替B。
e、终止条件。当连续五代遗传后，种群中个体的最大适应度值稳定在 一个允许的误差范围内时，终止算法。
3、模型的训练。
假设时间序列长度为n，选取时间窗的长度为L，滑动步长为1，则一共可 以得到(n-L+1)组数据，使用这些数据作为训练数据训练预测模型。
4、CPU利用率的预测。
利用刚刚过去一段时间的L个时间点的CPU利用率，经过数据的预处理 后，使用训练好的预测模型预测出此时的CPU利用率。
5、异常判断。
将预测出的CPU使用率和实时的CPU使用率进行差值运算，若差值小于 阈值Tu，则使得报警变量c置0，继续使用同样的方法进行预测和判断；若 差值大于阈值Tu，则使报警变量c＝c+1，然后判断c≥3是否满足，若满足， 通过声光等方式进行异常提示报警，若不满足，则将此时的预测值作为该时 刻的CPU利用率加入到时间序列中，然后继续使用同样的方法继续进行预测。
请参见图5所示，本申请实施例提供了一种资源负载异常检测装置，包 括：
负载采集模块10，用于采集运算资源在目标时间段的实际资源负载；
负载预测模块11，用于利用预测模型计算运算资源在目标时间段的预测 资源负载；其中，预测模型基于样本时间段以及与样本时间段对应的样本资 源负载训练产生；
差值检测模块12，用于计算实际资源负载与预测资源负载之间的负载差 值，并根据负载差值执行资源负载异常检测操作。
本申请所提供的资源负载异常检测装置，首先采集运算资源在目标时间 段的实际资源负载，并且利用预测模型计算运算资源在目标时间段的预测资 源负载，该预测模型基于样本时间段以及与样本时间段对应的样本资源负载 训练产生，在获取到实际资源负载以及预测资源负载后，进一步计算实际资 源负载与预测资源负载之间的负载差值，并根据负载差值执行资源负载异常 检测操作。本装置利用预测模型预测目标时间段的预测资源负载，并采集该 目标时间段的实际资源负载，进而以理想状态与实际状态之间的资源负载差 异，即预测资源负载与实际资源负载之间的负载差异作为检测依据，实现了 对运算资源的资源负载异常检测，进而确保了云计算的整体可靠性。
此外，本申请还提供一种资源负载异常检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的资源负载异常检测方法的 步骤。
本申请所提供的资源负载异常检测设备，首先采集运算资源在目标时间 段的实际资源负载，并且利用预测模型计算运算资源在目标时间段的预测资 源负载，该预测模型基于样本时间段以及与样本时间段对应的样本资源负载 训练产生，在获取到实际资源负载以及预测资源负载后，进一步计算实际资 源负载与预测资源负载之间的负载差值，并根据负载差值执行资源负载异常 检测操作。本设备利用预测模型预测目标时间段的预测资源负载，并采集该 目标时间段的实际资源负载，进而以理想状态与实际状态之间的资源负载差 异，即预测资源负载与实际资源负载之间的负载差异作为检测依据，实现了 对运算资源的资源负载异常检测，进而确保了云计算的整体可靠性。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储 介质上存储有计算机程序，计算机程序被处理器执行时实现如上述资源负载 异常检测方法的步骤。
本申请所提供的计算机可读存储介质，首先采集运算资源在目标时间段 的实际资源负载，并且利用预测模型计算运算资源在目标时间段的预测资源 负载，该预测模型基于样本时间段以及与样本时间段对应的样本资源负载训 练产生，在获取到实际资源负载以及预测资源负载后，进一步计算实际资源 负载与预测资源负载之间的负载差值，并根据负载差值执行资源负载异常检 测操作。本计算机可读存储介质利用预测模型预测目标时间段的预测资源负 载，并采集该目标时间段的实际资源负载，进而以理想状态与实际状态之间 的资源负载差异，即预测资源负载与实际资源负载之间的负载差异作为检测 依据，实现了对运算资源的资源负载异常检测，进而确保了云计算的整体可 靠性。
以上对本申请所提供的一种资源负载异常检测方法、装置及设备进行了 详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明 的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即 可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以 描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术 领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请 进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅 仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或 者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语 “包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括 一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没 有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所 固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素， 并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同 要素。

Claims (7)

1.一种资源负载异常检测方法，其特征在于，包括：
采集运算资源在目标时间段的实际资源负载；
利用预测模型计算所述运算资源在所述目标时间段的预测资源负载；其中，所述预测模型基于样本时间段以及与所述样本时间段对应的样本资源负载训练产生；
计算所述实际资源负载与所述预测资源负载之间的负载差值，并根据所述负载差值执行资源负载异常检测操作；
其中，所述预测模型包括ESN预测模型；
所述ESN预测模型的生成过程包括：
获取所述样本时间段采集的样本实际资源负载；
调整ESN初始模型中的模型参数，直至所述ESN初始模型在样本时间段计算的样本预测资源负载以及所述样本实际资源负载之间的误差值满足预设误差标准；
将调整所述模型参数后的所述ESN初始模型设置为所述ESN预测模型；
所述调整所述ESN初始模型中的模型参数，直至所述ESN初始模型在样本时间段计算的样本预测资源负载以及所述样本实际资源负载之间的误差值满足预设误差标准，包括：
基于遗传算法以及模拟退火算法迭代生成目标参数值，并以所述目标参数值调整所述ESN初始模型中的所述模型参数，直至所述样本预测资源负载以及所述样本实际资源负载之间的所述误差值满足所述预设误差标准；
所述基于遗传算法以及模拟退火算法迭代生成目标参数值，包括：
基于所述遗传算法在预设范围内选取第一参数值，并利用所述模拟退火算法对所述第一参数值进行调整得到第二参数值；
选取所述第一参数值以及所述第二参数值之间对应所述误差值最小的目标参数值；
基于所述目标参数值调整所述预设范围，并执行所述基于遗传算法在预设范围内选取第一参数值，并利用所述模拟退火算法对所述第一参数值进行调整得到第二参数值的步骤。
2.根据权利要求1所述的资源负载异常检测方法，其特征在于，所述根据所述负载差值执行资源负载异常检测操作，包括：
判断所述负载差值是否达到预设差别阈值；
若所述负载差值达到预设差别阈值，则发起检测异常告警。
3.根据权利要求2所述的资源负载异常检测方法，其特征在于，在所述发起检测异常告警之前，所述方法还包括：
获取告警变量，并对所述告警变量的初始值累加预设增量值；
判断累加所述预设增量值后的告警变量是否达到告警阈值；
若累加所述预设增量值后的告警变量达到所述告警阈值，则执行所述发起检测异常告警的步骤。
4.根据权利要求3所述的资源负载异常检测方法，其特征在于，若所述负载差值未达到预设差别阈值，所述方法还包括：
将所述告警变量的值清零。
5.根据权利要求3所述的资源负载异常检测方法，其特征在于，若累加所述预设增量值后的告警变量未达到所述告警阈值时，所述方法还包括：
判断是否存在下一个所述目标时间段；
若存在下一个所述目标时间段，则基于所述下一个目标时间段执行所述采集运算资源在目标时间段的实际资源负载的步骤。
6.一种资源负载异常检测装置，其特征在于，包括：
负载采集模块，用于采集运算资源在目标时间段的实际资源负载；
负载预测模块，用于利用预测模型计算所述运算资源在所述目标时间段的预测资源负载；其中，所述预测模型基于样本时间段以及与所述样本时间段对应的样本资源负载训练产生；
差值检测模块，用于计算所述实际资源负载与所述预测资源负载之间的负载差值，并根据所述负载差值执行资源负载异常检测操作；
其中，所述预测模型包括ESN预测模型；
所述ESN预测模型的生成过程包括：
获取所述样本时间段采集的样本实际资源负载；
调整ESN初始模型中的模型参数，直至所述ESN初始模型在样本时间段计算的样本预测资源负载以及所述样本实际资源负载之间的误差值满足预设误差标准；
将调整所述模型参数后的所述ESN初始模型设置为所述ESN预测模型；
所述调整所述ESN初始模型中的模型参数，直至所述ESN初始模型在样本时间段计算的样本预测资源负载以及所述样本实际资源负载之间的误差值满足预设误差标准，包括：
基于遗传算法以及模拟退火算法迭代生成目标参数值，并以所述目标参数值调整所述ESN初始模型中的所述模型参数，直至所述样本预测资源负载以及所述样本实际资源负载之间的所述误差值满足所述预设误差标准；
所述基于遗传算法以及模拟退火算法迭代生成目标参数值，包括：
基于所述遗传算法在预设范围内选取第一参数值，并利用所述模拟退火算法对所述第一参数值进行调整得到第二参数值；
选取所述第一参数值以及所述第二参数值之间对应所述误差值最小的目标参数值；
基于所述目标参数值调整所述预设范围，并执行所述基于遗传算法在预设范围内选取第一参数值，并利用所述模拟退火算法对所述第一参数值进行调整得到第二参数值的步骤。
7.一种资源负载异常检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的资源负载异常检测方法的步骤。
CN202010820109.5A 2020-08-14 2020-08-14 一种资源负载异常检测方法、装置及设备 Active CN112100024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820109.5A CN112100024B (zh) 2020-08-14 2020-08-14 一种资源负载异常检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820109.5A CN112100024B (zh) 2020-08-14 2020-08-14 一种资源负载异常检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112100024A CN112100024A (zh) 2020-12-18
CN112100024B true CN112100024B (zh) 2022-06-17

Family

ID=73752720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820109.5A Active CN112100024B (zh) 2020-08-14 2020-08-14 一种资源负载异常检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112100024B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860403B (zh) * 2021-02-22 2023-11-07 中国联合网络通信集团有限公司 集群负载资源调度方法、装置、设备、介质及产品
WO2023206114A1 (en) * 2022-04-27 2023-11-02 Qualcomm Incorporated Inference error information feedback for machine learning-based inferences
CN116016221A (zh) * 2023-01-05 2023-04-25 中国联合网络通信集团有限公司 业务处理方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391230A (zh) * 2017-07-27 2017-11-24 郑州云海信息技术有限公司 一种确定虚拟机负载的实现方法和装置
CN109460301A (zh) * 2018-09-07 2019-03-12 中南大学 一种流数据负载的弹性资源配置方法及系统
CN110297715A (zh) * 2019-07-02 2019-10-01 北京工业大学 一种基于周期性特征分析的在线负载资源预测方法
CN111060477A (zh) * 2019-12-27 2020-04-24 黑龙江八一农垦大学 厌氧共发酵原料生化甲烷势近红外光谱快速检测方法
CN111400142A (zh) * 2020-06-04 2020-07-10 鹏城实验室 虚拟机的异常监控方法、装置及存储介质
CN111491006A (zh) * 2020-03-03 2020-08-04 天津大学 负载感知的云计算资源弹性分配系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691491B2 (en) * 2016-10-19 2020-06-23 Nutanix, Inc. Adapting a pre-trained distributed resource predictive model to a target distributed computing environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391230A (zh) * 2017-07-27 2017-11-24 郑州云海信息技术有限公司 一种确定虚拟机负载的实现方法和装置
CN109460301A (zh) * 2018-09-07 2019-03-12 中南大学 一种流数据负载的弹性资源配置方法及系统
CN110297715A (zh) * 2019-07-02 2019-10-01 北京工业大学 一种基于周期性特征分析的在线负载资源预测方法
CN111060477A (zh) * 2019-12-27 2020-04-24 黑龙江八一农垦大学 厌氧共发酵原料生化甲烷势近红外光谱快速检测方法
CN111491006A (zh) * 2020-03-03 2020-08-04 天津大学 负载感知的云计算资源弹性分配系统及方法
CN111400142A (zh) * 2020-06-04 2020-07-10 鹏城实验室 虚拟机的异常监控方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sensitivity Learning Oriented Nonmonotonic Multi Reservoir Echo State Network For Short-Term Load Forecasting;Md.Jubayer Alan Rabin et al.;《2013IEEE》;20131231;第1-6页 *
混沌背景中微弱信号检测的回声状态网络方法;郑红利 等;《信号处理》;20150331;第31卷(第3期);第336-345页 *

Also Published As

Publication number Publication date
CN112100024A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112100024B (zh) 一种资源负载异常检测方法、装置及设备
CN109902801B (zh) 一种基于变分推理贝叶斯神经网络的洪水集合预报方法
CN110858973B (zh) 小区网络流量预测方法及装置
CN112118143B (zh) 流量预测模型训练方法、流量预测方法、装置、设备及介质
Yu et al. Integrating clustering and learning for improved workload prediction in the cloud
CN111198808A (zh) 预测性能指标的方法、装置、存储介质及电子设备
WO2024065988A1 (zh) 设备监测方法和系统、电子设备、存储介质
Guoli Traffic prediction and attack detection approach based on PSO optimized Elman neural network
CN117077870B (zh) 一种基于人工智能的水资源数字化管理方法
CN112532615B (zh) 一种智能电网蠕虫检测方法
Engelbrecht et al. Forecasting methods for cloud hosted resources, a comparison
CN114357670A (zh) 一种基于bls和自编码器的配电网用电数据异常预警方法
Rafsanjani et al. QARIMA: A new approach to prediction in queue theory
CN113988398A (zh) 一种风电机组功率预测方法、装置、电子设备和存储介质
CN108429771B (zh) 基于突变理论的软件定义网络安全状态评估方法及装置
CN116010228B (zh) 面向网络安全扫描的时间预估方法及装置
CN116701846A (zh) 一种基于无监督学习的水电站调度运行数据清洗方法
CN111221479B (zh) 一种判断存储容量变化量异常的方法、系统及存储介质
CN111737086B (zh) 一种监控方式的调整方法、装置和计算机可读存储介质
CN114782214A (zh) 一种基于煤改电用电数据的安全负荷辨识方法
CN115795991A (zh) 滑坡预测方法、装置、电子设备和可读存储介质
Hu et al. Convolutional Neural Network Based Power Information Network Security Situational Awareness Model
CN113627621B (zh) 一种面向光网络传输质量回归估计的主动学习方法
CN116434939A (zh) 一种基于ai算法的医疗设备监管方法、设备与存储介质
CN115914052B (zh) 域名健康状况的检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant