CN113886118A - 异常资源处理方法、装置、系统、电子装置和存储介质 - Google Patents

异常资源处理方法、装置、系统、电子装置和存储介质 Download PDF

Info

Publication number
CN113886118A
CN113886118A CN202111088949.8A CN202111088949A CN113886118A CN 113886118 A CN113886118 A CN 113886118A CN 202111088949 A CN202111088949 A CN 202111088949A CN 113886118 A CN113886118 A CN 113886118A
Authority
CN
China
Prior art keywords
resource data
abnormal resource
abnormal
data
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111088949.8A
Other languages
English (en)
Inventor
康廷峰
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202111088949.8A priority Critical patent/CN113886118A/zh
Publication of CN113886118A publication Critical patent/CN113886118A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0787Storage of error reports, e.g. persistent data storage, storage using memory protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种异常资源处理方法、装置、系统、电子装置和存储介质,其中,该异常资源处理方法包括:获取异常资源数据,并将该异常资源数据存储至预设的时间序列数据库;其中,该时间序列数据库中的时间序列与该异常资源数据相匹配;从该时间序列数据库中获取该时间序列为当前时刻的第一异常资源数据,将该第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果;将该第一异常资源数据与该当前时刻动量阈值预测结果进行对比,根据对比结果执行针对该第一异常资源数据的防火墙操作。通过本申请,解决了异常资源处理精度和效率较低的问题,实现了异常资源的快速有效处理。

Description

异常资源处理方法、装置、系统、电子装置和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及异常资源处理方法、装置、系统、电子装置和存储介质。
背景技术
在应用系统中,由于不同应用程序的持续交替或并列运行,容易造成应用系统CPU、内存、磁盘等的异常空间资源占用。目前在相关技术中,针对资源占用问题,一般是基于生成的静态阈值释放异常资源,例如在系统建立初期为监测的每个指标设置一个固定的静态告警阈值,当监测值超过告警阈值时,产生告警信息;然而,阈值设置范围过大,造成系统发生某些故障的时候监测不到,从而产生遗漏的报警情况;阈值设置范围过小,则会造成系统频繁发送告警信息,从而产生大量误报,同时大量的误报也可能会淹没真正需要关注的告警信息,导致异常资源处理精度和效率较低。
针对相关技术中存在异常资源处理精度和效率低的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种异常资源处理方法、装置、系统、电子装置和存储介质,以解决相关技术中异常资源处理精度和效率低的问题。
第一个方面,在本实施例中提供了一种异常资源处理方法,所述方法包括:
获取异常资源数据,并将所述异常资源数据存储至预设的时间序列数据库;其中,所述时间序列数据库中的时间序列与所述异常资源数据相匹配;
从所述时间序列数据库中获取所述时间序列为当前时刻的第一异常资源数据,将所述第一异常资源数据输入至训练完备的长短期记忆(Long Short-Term Memory,LSTM)神经网络模型,输出得到当前时刻动量阈值预测结果;
将所述第一异常资源数据与所述当前时刻动量阈值预测结果进行对比,根据对比结果执行针对所述第一异常资源数据的防火墙操作。
在其中的一些实施例中,所述时间序列数据库存储在硬件存储设备上,所述将所述异常资源数据存储至预设的所述时间序列数据库,包括:
在预设时间段内将所述异常资源数据写入内存;
在当前时刻超过所述预设时间段的情况下,或者,在所述内存的数据占用空间大于或等于预设的内存空间阈值的情况下,将所述异常资源数据发送至所述硬件存储设备,并存储至所述时间序列数据库。
在其中的一些实施例中,所述将所述第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果,包括:
将所述第一异常资源数据,以及从所述时间序列数据库中读取的前一时刻动量阈值预测结果输入至所述LSTM神经网络模型的遗忘门,输出遗忘门结果;其中,所述前一时刻动量阈值预测结果是从所述时间序列数据库中获取所述时间序列为前一时刻的前一时刻异常资源数据,将所述前一时刻异常资源数据输入至所述LSTM神经网络模型并输出得到的;所述前一时刻动量阈值预测结果存储在所述时间序列数据库中;
将所述第一异常资源数据、所述前一时刻动量阈值预测结果和所述遗忘门结果输入至所述LSTM神经网络模型的输入门,输出输入门结果;
将所述输入门结果与所述前一时刻动量阈值预测结果逐点相加,得到相加结果;
将所述第一异常资源数据和所述相加结果输入至所述LSTM神经网络模型的输出门,输出所述当前时刻动量阈值预测结果,并将所述当前时刻动量阈值预测结果存储至所述时间序列数据库。
在其中的一些实施例中,所述获取的异常资源数据,包括:
获取系统资源数据,将所述系统资源数据与预设的使用阈值相比较;
在比较结果指示所述系统资源数据大于或等于所述使用阈值的情况下,根据所述系统资源数据获取所述异常资源数据。
在其中的一些实施例中,所述获取系统资源数据包括:
检测操作系统指令,并响应于所述操作系统指令获取所述系统资源数据;或者,
获取系统文件路径,并基于所述系统文件路径获取所述系统资源数据。
在其中的一些实施例中,所述系统资源数据包括:CPU运行时间、CPU占用率数据、总内存、可用内存、内存使用率、已用内存、空闲内存数据、磁盘信息、磁盘使用数据和磁盘I/O数据。
第二个方面,在本实施例中提供了一种异常资源处理装置,所述装置包括:获取模块、预测模块和处理模块;
所述获取模块,用于获取异常资源数据,并将所述异常资源数据存储至预设的时间序列数据库;其中,所述时间序列数据库中的时间序列与所述异常资源数据相匹配;
所述预测模块,用于从所述时间序列数据库中获取所述时间序列为当前时刻的第一异常资源数据,将所述第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果;
所述处理模块,用于将所述第一异常资源数据与所述当前时刻动量阈值预测结果进行对比,根据对比结果执行针对所述第一异常资源数据的防火墙操作。
第三个方面,在本实施例中提供了一种异常资源处理系统,所述系统包括:终端设备、传输设备以及服务器设备;其中,所述终端设备通过传输设备连接服务器设备;
所述终端设备用于获取异常资源数据查询指令;
所述传输设备用于从所述终端设备获取所述异常资源数据查询指令,并将所述异常资源数据传输至所述服务器设备;
所述服务器设备用于执行上述第一个方面所述的异常资源处理方法。
第四个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的异常资源处理方法。
第五个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的异常资源处理方法。
与相关技术相比,在本实施例中提供的异常资源处理方法、装置、系统、电子装置和存储介质,通过获取异常资源数据,并将该异常资源数据存储至预设的时间序列数据库;其中,该时间序列数据库中的时间序列与该异常资源数据相匹配;从该时间序列数据库中获取该时间序列为当前时刻的第一异常资源数据,将该第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果;将该第一异常资源数据与该当前时刻动量阈值预测结果进行对比,根据对比结果执行针对该第一异常资源数据的防火墙操作,解决了异常资源处理精度和效率较低的问题,实现了异常资源的快速有效处理。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中异常资源处理方法的应用场景图;
图2为一个实施例中异常资源处理方法的流程示意图;
图3为一个实施例中LSTM神经网络模型预测步骤的流程示意图;
图4为另一个实施例中异常资源处理方法的流程示意图;
图5为一个实施例中异常资源处理装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
本申请提供的异常资源处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。终端102获取检测操作系统指令或者系统文件路径,通过网络与服务器104进行通信,服务器104获取异常资源数据,并将该异常资源数据存储至预设的时间序列数据库;其中,该时间序列数据库中的时间序列与该异常资源数据相匹配;服务器104从该时间序列数据库中获取该时间序列为当前时刻的第一异常资源数据,将该第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果;服务器104将该第一异常资源数据与该当前时刻动量阈值预测结果进行对比,根据对比结果执行针对该第一异常资源数据的防火墙操作。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
其中,动量阈值预测结果即为依据对应时刻的异常资源数据经过LSTM神经网络模型预测得到的、在不同时刻动态变化的异常空间资源占用率最大容许值,在时间序列数据库中依照时间序列标签进行存储。
在本实施例中提供了一种异常资源处理方法,图2是本实施例的异常资源处理方法的流程图,如图2所示,以该方法应用于图1中的服务器为例进行说明,该流程包括如下步骤:
步骤S202,获取异常资源数据,并将该异常资源数据存储至预设的时间序列数据库;其中,该时间序列数据库中的时间序列与该异常资源数据相匹配。
需要说明的是,上述异常资源数据是指在一段时间内用于指示服务器、防火墙等设备运行过程中不断变化的异常空间资源占用率的数据,可以包括:CPU运行时间、CPU占用率数据、总内存、可用内存、内存使用率、已用内存、空闲内存数据、磁盘信息、磁盘使用数据和磁盘I/O数据等;上述异常资源数据可以由上述服务器直接获取CPU或内存等硬件设备的相关异常资源的分析数据,或者,该异常资源的获取方式也可以为:由用户通过与终端设备的交互发送获取指令,并基于该获取指令获取。获取得到的异常资源数据可以存储至上述时间序列数据库(Time Series Database,TSDB),该时间序列数据库是指存放时间序列数据的数据库,并且需要支持时间序列数据的快速写入、持久化、多纬度的聚合查询等基本功能。
步骤S204,从该时间序列数据库中获取该时间序列为当前时刻的第一异常资源数据,将该第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果。
具体地,在执行上述步骤S204之后,可以基于各数据带有的时间序列的标签,从上述时间序列数据库中读取当前时刻下的异常资源数据,即上述第一异常资源数据;例如,当前时刻为8:51,则从该时间序列数据库中读取带有8:51的时间序列标签的第一异常资源数据。然后将该第一异常资源数据输入至上述LSTM神经网络模型,最终得到上述当前时刻动量阈值预测结果。其中,该当前时刻动量阈值预测结果是指当前时刻下的异常资源数据经过LSTM神经网络模型预测得到的、动态变化至当前时刻的异常空间资源占用率最大容许值。可以理解的是,该LSTM神经网络模型预先训练完成,训练方式可以为:将获取到的历史异常资源数据作为训练样本,并将该训练样本按照一定比例,例如8:2分成训练集和测试集,将该训练集输入至LSTM神经网络进行训练,得到该LSTM神经网络模型,并且可以利用该测试集测试该LSTM神经网络模型的预测性能,在此不再赘述。
步骤S206,将该第一异常资源数据与该当前时刻动量阈值预测结果进行对比,根据对比结果执行针对该第一异常资源数据的防火墙操作。
可以理解的是,将该第一异常资源数据与该当前时刻动量阈值预测结果进行对比,若对比结果指示第一异常资源数据超过该当前时刻动量阈值预测结果,则说明此时异常资源占用空间过大,需要对当前时刻下的第一异常资源数据进行释放或阻拦等操作;例如,执行针对该第一异常资源数据的防火墙操作,该防火墙操作可以为利用防火墙停止执行超过阈值的异常资源。其中,防火墙可以是过滤型防火墙、应用代理类型防火墙、复合型防火墙中的其中一种或者多种组合。
在相关技术中,针对资源占用问题,一般是基于生成的静态阈值释放异常资源,例如在系统建立初期为监测的每个指标设置一个固定的静态告警阈值,当监测值超过告警阈值时,产生告警信息;然而,阈值设置范围过大,造成系统发生某些故障的时候监测不到,从而产生遗漏的报警情况;阈值设置范围过小,则会造成系统频繁发送告警信息,从而产生大量误报,同时大量的误报也可能会淹没真正需要关注的告警信息,导致异常资源处理精度和效率较低。
与相关技术相比,在本实施例中提供的异常资源处理方法、装置、系统、电子装置和存储介质,通过上述步骤,获取到的异常资源数据将存储进时间序列数据库,每项异常资源数据都带有时间序列标签,在将异常资源数据输入LSTM神经网络进行预测时,该方法能够依据时间序列标签保留上一时刻预测结果作为当前时刻预测的输入,上一时刻预测结果保留了历史变化规律,又不需要重新获取历史数据,具有能选择保存信息或遗忘信息的功能,可以解决长期依赖问题,从而提高异常资源处理效率;同时,该方法生成依据第一异常资源数据变化而变化的动量阈值,能够对异常资源进行精确限定,不会产生异常资源遗漏和误报的情况,具有拟合真实性、动态预测的优点,因此该方法解决了异常资源处理精度和效率较低的问题,实现了异常资源的快速有效处理。
在一个实施例中,上述时间序列数据库存储在硬件存储设备上,上述将所述异常资源数据存储至预设的所述时间序列数据库还包括如下步骤:在预设时间段内将该异常资源数据写入内存;在当前时刻超过该预设时间段的情况下,或者,在该内存的数据占用空间大于或等于预设的内存空间阈值的情况下,将该异常资源数据发送至该硬件存储设备,并存储至该时间序列数据库。
其中,上述预设时间段和预设的内存空间阈值可以由用户预先进行设置,例如预设时间段可以设置为0至10min,预设的内存空间阈值可以设置为1024KB。在0至10min内,服务器获取系统资源数据,并将该系统资源数据与预设的使用阈值相比较,在比较结果指示该系统资源数据大于或等于该使用阈值的情况下,根据该系统资源数据获取该异常资源数据,在计时器计时超过10min后,将10min内获取的异常资源数据写入内存;同时,在计时器计时超过10min后,或者,存储异常资源数据的内存空间占用大于或等于1024KB后,将该异常资源数据发送至该硬件存储设备,并存储至该时间序列数据库;最后需要对计时器和占用空间计数器进行刷新,重新开始计时或计数。
在一个实施例中,提供了一种异常资源处理的方法,图3是本实施例的LSTM神经网络模型预测步骤的流程示意图,如图3所示,除包括步骤S202至S206外,该流程还包括如下步骤:
步骤S302:将第一异常资源数据,以及从时间序列数据库中读取的前一时刻动量阈值预测结果输入至LSTM神经网络模型的遗忘门,输出遗忘门结果。
其中,该前一时刻动量阈值预测结果是从该时间序列数据库中获取该时间序列为前一时刻的前一时刻异常资源数据,将该前一时刻异常资源数据输入至该LSTM神经网络模型并输出得到的;该前一时刻动量阈值预测结果存储在该时间序列数据库中。
需要说明的是,该LSTM神经网络模型由若干节点和若干操作组成。其中,操作充当输入门、输出门和遗忘门,以节点状态提供信息,节点状态负责在网络中记录上一时刻预测结果。其中,第一阶段为遗忘门,遗忘门是以上一时刻预测结果和第一异常资源数据作为输入数据输入到第一激活函数,得到输出值的范围在[0,1]之间,表示上一时刻预测结果被遗忘的概率,该概率值越接近0表示该数据越应被删除,越接近1表示该数据越应该保留,并进入下一阶段;其中,第一激活函数为LSTM神经网络中的sigmoid激活函数,该sigmoid激活函数具有单增以及反函数单增等性质,取值范围为(0,1),可以将一个实数映射到(0,1)的区间。
步骤S304:将该第一异常资源数据、该前一时刻动量阈值预测结果和该遗忘门结果输入至该LSTM神经网络模型的输入门,输出输入门结果。
需要说明的是,输入门为LSTM神经网络模型预测过程的第二阶段,输入门获取第一异常资源数据、前一时刻动量阈值预测结果和遗忘门结果,将第一异常资源数据和前一时刻动量阈值预测结果输入至第二激活函数,再与遗忘门结果逐点相乘,得到输入门结果。其中,第二激活函数为LSTM神经网络中的tanh激活函数,该tanh激活函数是双曲函数中的一个,tanh为双曲正切,其图形在定义域0附近近似线性,并且在整个定义域有可导性。
步骤S306:将该输入门结果与该前一时刻动量阈值预测结果逐点相加,得到相加结果。
步骤S308:将该第一异常资源数据和逐点相加结果输入至该LSTM神经网络模型的输出门,输出该当前时刻动量阈值预测结果,并将该当前时刻动量阈值预测结果存储至该时间序列数据库。
需要说明的是,输出门为LSTM神经网络模型预测过程的第三阶段,输出门获取第一异常资源数据和输入门逐点相加结果,将该第一异常资源数据和该输入门逐点相加结果输入至第一激活函数,再将该输入门逐点相加结果输入至第二激活函数,最后将第一激活函数与第二激活函数的值逐点相乘,得到输出门结果。
通过上述步骤,将不同时刻下的异常资源数据依次循环输入至LSTM神经网络模型的遗忘门、输入门和输出门,从而将时间序列数据库和LSTM模型相结合,实现了基于各时刻的异常资源数据的动态阈值预测,进一步提高了异常资源处理精度和效率。
在一个实施例中,提供了一种异常资源处理的方法,该方法除了包括上述所有步骤之外,还包括:获取系统资源数据,将该系统资源数据与预设的使用阈值相比较;在比较结果指示该系统资源数据大于或等于该使用阈值的情况下,根据该系统资源数据获取该异常资源数据。
其中,使用阈值为初始设定的、用于筛选系统资源数据为异常资源数据的阈值,该使用阈值的取值由所属领域技术人员通过经验可以确定。
通过上述步骤,将系统资源数据与预设的使用阈值相比较,初步筛选出可能存在异常的系统资源数据,后续再依次循环输入至LSTM神经网络模型预测得到动量阈值,再进一步将异常资源数据与动量阈值对比,从而将预设阈值与预测的动量阈值相结合,实现了基于初步筛选后的异常资源数据的动态阈值预测,进一步提高了异常资源处理精度和效率。
在一个实施例中,提供了一种异常资源处理的方法,该方法除了包括上述所有步骤之外,还包括:检测操作系统指令,并响应于该操作系统指令获取该系统资源数据;或者,获取系统文件路径,并基于该系统文件路径获取该系统资源数据。
其中,操作系统可以为Windows系统或者Linux系统;在Windows系统下,通过操作系统指令获取系统资源数据的方式包括:通过GetSystemTimes获取CPU的空闲、内核、用户使用时间,通过GetProcessTimes获取进程的内核、用户使用时间,以及创建、退出时间等,通过GlobalMemoryStatusEx获取内存相关的详细信息。在Linux系统下,通过操作系统指令获取系统资源数据的方式包括:通过perf获取CPU数据,通过free获取内存信息,通过fdisk获取磁盘信息;或者,通过系统文件路径获取系统资源数据的方式包括:通过proc目录下stat获取CPU数据,通过proc目录下meminfo获取内存信息,通过proc目录下diskstats获取磁盘信息。
通过上述步骤,可以从不同操作系统的不同获取方式中获取对应的系统资源数据,再输入至异常资源处理方法、装置、系统、电子装置和存储介质中,得到不同操作系统下的异常资源数据的动态阈值预测,进一步提高了异常资源处理精度和效率。
在一个实施例中,提供了一种异常资源处理的方法,该方法除了包括上述所有步骤之外,还包括系统资源数据,该系统资源数据包括:CPU运行时间、CPU占用率数据、总内存、可用内存、内存使用率、已用内存、空闲内存数据、磁盘信息、磁盘使用数据和磁盘I/O数据。
下面通过优选实施例对本实施例进行描述和说明。
图4是另一个实施例中的异常资源处理方法的流程示意图。首先,通过Linux中的获取资源的工具,来获取系统资源数据,包括:CPU运行时间、CPU占用率数据、总内存、可用内存、内存使用率、已用内存、空闲内存数据、磁盘信息、磁盘使用数据和磁盘I/O数据;获取到的系统资源数据与设定的使用阈值相比较,若大于则是异常资源;
其次,获取异常资源数据,并将其存储至时间序列数据库中;将第一异常资源数据,以及从时间序列数据库中读取的前一时刻动量阈值预测结果输入至由若干节点和若干操作组成的LSTM神经网络模型中,其中,操作充当输入门、输出门和遗忘门,以节点状态提供信息,节点状态负责在网络中记录上一时刻预测结果。该LSTM神经网络模型第一阶段为遗忘门,遗忘门是以上一时刻预测结果和第一异常资源数据作为输入数据输入到第一激活函数,得到输出值的范围在[0,1]之间,表示上一时刻预测结果被遗忘的概率,该概率值越接近0表示该数据越应被删除,越接近1表示该数据越应该保留,并输出遗忘门结果、进入下一阶段;第二阶段为输入门,输入门获取第一异常资源数据、前一时刻动量阈值预测结果和遗忘门结果,将第一异常资源数据和前一时刻动量阈值预测结果输入至第二激活函数,再与遗忘门结果逐点相乘,得到输入门结果;将该输入门结果与该前一时刻动量阈值预测结果逐点相加,得到相加结果;第三阶段为输出门,输出门获取第一异常资源数据和输入门逐点相加结果,将该第一异常资源数据和该输入门逐点相加结果输入至第一激活函数,再将该输入门逐点相加结果输入至第二激活函数,最后将第一激活函数与第二激活函数的值逐点相乘,得到输出门结果;
最后,利用LSTM算法得出的动量阈值对异常资源数据的变化进行分析,当异常资源数据超过动量阈值,web应用防火墙能停止执行超过阈值的异常资源。
其中,该前一时刻动量阈值预测结果是从该时间序列数据库中获取该时间序列为前一时刻的前一时刻异常资源数据,将该前一时刻异常资源数据输入至该LSTM神经网络模型并输出得到的;该前一时刻动量阈值预测结果存储在该时间序列数据库中。
应该理解的是,虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
通过上述步骤,获取到的异常资源数据将存储进时间序列数据库,每项异常资源数据都带有时间序列标签,在将异常资源数据输入LSTM神经网络进行预测时,该方法能够依据时间序列标签保留上一时刻预测结果作为当前时刻预测的输入,上一时刻预测结果保留了历史变化规律,又不需要重新获取历史数据,具有能选择保存信息或遗忘信息的功能,可以解决长期依赖问题,从而提高异常资源处理效率;同时,该方法生成依据第一异常资源数据变化而变化的动量阈值,能够对异常资源进行精确限定,不会产生异常资源遗漏和误报的情况,具有拟合真实性、动态预测的优点,因此该方法解决了异常资源处理精度和效率较低的问题,实现了异常资源的快速有效处理。
在本实施例中还提供了一种异常资源处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是本实施例的异常资源处理装置的结构框图,如图5所示,该装置包括:获取模块、预测模块和处理模块;
该获取模块,用于获取异常资源数据,并将该异常资源数据存储至预设的时间序列数据库;其中,该时间序列数据库中的时间序列与该异常资源数据相匹配;
该预测模块,用于从该时间序列数据库中获取该时间序列为当前时刻的第一异常资源数据,将该第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果;
该处理模块,用于将该第一异常资源数据与该当前时刻动量阈值预测结果进行对比,根据对比结果执行针对该第一异常资源数据的防火墙操作。
在一个实施例中,上述获取模块,还用于在预设时间段内将所述异常资源数据写入内存;该获取模块在当前时刻超过所述预设时间段的情况下,或者,该获取模块在所述内存的数据占用空间大于或等于预设的内存空间阈值的情况下,将所述异常资源数据发送至所述硬件存储设备,并存储至所述时间序列数据库。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储时间序列数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常资源处理方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在本实施例中还提供了一种异常资源处理系统,该系统由上述各个模块组成,用于执行上述异常资源处理方法。该系统包括终端设备、传输设备以及服务器设备;其中,该终端设备通过传输设备连接服务器设备;该终端设备用于获取异常资源数据查询指令;该传输设备用于从该终端设备获取该异常资源数据查询指令,并将该异常资源数据传输至该服务器设备;该服务器设备用于执行上述任一项方法实施例中的步骤。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的异常资源处理方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种异常资源处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种异常资源处理方法,其特征在于,包括:
获取异常资源数据,并将所述异常资源数据存储至预设的时间序列数据库;其中,所述时间序列数据库中的时间序列与所述异常资源数据相匹配;
从所述时间序列数据库中获取所述时间序列为当前时刻的第一异常资源数据,将所述第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果;
将所述第一异常资源数据与所述当前时刻动量阈值预测结果进行对比,根据对比结果执行针对所述第一异常资源数据的防火墙操作。
2.根据权利要求1所述的异常资源处理方法,其特征在于,所述时间序列数据库存储在硬件存储设备上,所述将所述异常资源数据存储至预设的所述时间序列数据库,包括:
在预设时间段内将所述异常资源数据写入内存;
在当前时刻超过所述预设时间段的情况下,或者,在所述内存的数据占用空间大于或等于预设的内存空间阈值的情况下,将所述异常资源数据发送至所述硬件存储设备,并存储至所述时间序列数据库。
3.根据权利要求1所述的异常资源处理方法,其特征在于,所述将所述第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果,包括:
将所述第一异常资源数据,以及从所述时间序列数据库中读取的前一时刻动量阈值预测结果输入至所述LSTM神经网络模型的遗忘门,输出遗忘门结果;其中,所述前一时刻动量阈值预测结果是从所述时间序列数据库中获取所述时间序列为前一时刻的前一时刻异常资源数据,将所述前一时刻异常资源数据输入至所述LSTM神经网络模型并输出得到的;所述前一时刻动量阈值预测结果存储在所述时间序列数据库中;
将所述第一异常资源数据、所述前一时刻动量阈值预测结果和所述遗忘门结果输入至所述LSTM神经网络模型的输入门,输出输入门结果;
将所述输入门结果与所述前一时刻动量阈值预测结果逐点相加,得到相加结果;
将所述第一异常资源数据和所述相加结果输入至所述LSTM神经网络模型的输出门,输出所述当前时刻动量阈值预测结果,并将所述当前时刻动量阈值预测结果存储至所述时间序列数据库。
4.根据权利要求1至3任一项所述的异常资源处理方法,其特征在于,所述获取的异常资源数据,包括:
获取系统资源数据,将所述系统资源数据与预设的使用阈值相比较;
在比较结果指示所述系统资源数据大于或等于所述使用阈值的情况下,根据所述系统资源数据获取所述异常资源数据。
5.根据权利要求4所述的方法,其特征在于,所述获取系统资源数据包括:
检测操作系统指令,并响应于所述操作系统指令获取所述系统资源数据;或者,
获取系统文件路径,并基于所述系统文件路径获取所述系统资源数据。
6.根据权利要求4所述的方法,其特征在于,所述系统资源数据包括:CPU运行时间、CPU占用率数据、总内存、可用内存、内存使用率、已用内存、空闲内存数据、磁盘信息、磁盘使用数据和磁盘I/O数据。
7.一种异常资源处理装置,其特征在于,所述装置包括:获取模块、预测模块和处理模块;
所述获取模块,用于获取异常资源数据,并将所述异常资源数据存储至预设的时间序列数据库;其中,所述时间序列数据库中的时间序列与所述异常资源数据相匹配;
所述预测模块,用于从所述时间序列数据库中获取所述时间序列为当前时刻的第一异常资源数据,将所述第一异常资源数据输入至训练完备的LSTM神经网络模型,输出得到当前时刻动量阈值预测结果;
所述处理模块,用于将所述第一异常资源数据与所述当前时刻动量阈值预测结果进行对比,根据对比结果执行针对所述第一异常资源数据的防火墙操作。
8.一种异常资源处理系统,其特征在于,包括:终端设备、传输设备以及服务器设备;其中,所述终端设备通过传输设备连接服务器设备;
所述终端设备用于获取异常资源数据查询指令;
所述传输设备用于从所述终端设备获取所述异常资源数据查询指令,并将所述异常资源数据传输至所述服务器设备;
所述服务器设备用于执行权利要求1至6中任一项所述的异常资源处理方法。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的异常资源处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的异常资源处理方法的步骤。
CN202111088949.8A 2021-09-16 2021-09-16 异常资源处理方法、装置、系统、电子装置和存储介质 Pending CN113886118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111088949.8A CN113886118A (zh) 2021-09-16 2021-09-16 异常资源处理方法、装置、系统、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111088949.8A CN113886118A (zh) 2021-09-16 2021-09-16 异常资源处理方法、装置、系统、电子装置和存储介质

Publications (1)

Publication Number Publication Date
CN113886118A true CN113886118A (zh) 2022-01-04

Family

ID=79009387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111088949.8A Pending CN113886118A (zh) 2021-09-16 2021-09-16 异常资源处理方法、装置、系统、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN113886118A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN111027776A (zh) * 2019-12-13 2020-04-17 北京华展汇元信息技术有限公司 一种基于改进型长短期记忆lstm神经网络的污水处理水质预测方法
CN112153000A (zh) * 2020-08-21 2020-12-29 杭州安恒信息技术股份有限公司 网络流量异常的检测方法、装置、电子装置和存储介质
CN112165450A (zh) * 2020-08-27 2021-01-01 杭州安恒信息技术股份有限公司 Web应用防火墙的安全防护方法、装置和电子装置
CN112464848A (zh) * 2020-12-07 2021-03-09 国网四川省电力公司电力科学研究院 一种基于密度空间聚类的信息流异常数据监测方法及装置
CN112738098A (zh) * 2020-12-28 2021-04-30 北京天融信网络安全技术有限公司 一种基于网络行为数据的异常检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN111027776A (zh) * 2019-12-13 2020-04-17 北京华展汇元信息技术有限公司 一种基于改进型长短期记忆lstm神经网络的污水处理水质预测方法
CN112153000A (zh) * 2020-08-21 2020-12-29 杭州安恒信息技术股份有限公司 网络流量异常的检测方法、装置、电子装置和存储介质
CN112165450A (zh) * 2020-08-27 2021-01-01 杭州安恒信息技术股份有限公司 Web应用防火墙的安全防护方法、装置和电子装置
CN112464848A (zh) * 2020-12-07 2021-03-09 国网四川省电力公司电力科学研究院 一种基于密度空间聚类的信息流异常数据监测方法及装置
CN112738098A (zh) * 2020-12-28 2021-04-30 北京天融信网络安全技术有限公司 一种基于网络行为数据的异常检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李卉等: ""基于LSTM模型的卫星电源系统异常检测方法"", 《装甲兵工程学院学报》, vol. 33, no. 3, 30 June 2019 (2019-06-30) *
田伟宏等: ""基于长短期记忆网络的工控网络异常流量检测"", 《计算机系统应用》, vol. 29, no. 9, 15 September 2020 (2020-09-15) *
赵雅雪等: ""基于最大信息系数相关性分析和改进多层级门控 LSTM 的短期电价预测方法"", 《中国电机工程学报》, vol. 41, no. 1, 5 January 2021 (2021-01-05) *

Similar Documents

Publication Publication Date Title
CN109597685B (zh) 任务分配方法、装置和服务器
CN111143163B (zh) 数据监控方法、装置、计算机设备和存储介质
US20140208083A1 (en) Multi-threaded logging
CN110990132B (zh) 异步任务处理方法、装置、计算机设备和存储介质
CN108845869B (zh) 并发请求控制方法、装置、计算机设备和存储介质
US11829362B2 (en) Automatic database query load assessment and adaptive handling
CN111400126B (zh) 网络服务异常数据检测方法、装置、设备和介质
CN113031870A (zh) 一种集群系统动态管理方法、装置、存储介质及设备
JP2022522474A (ja) 組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出
CN114237852A (zh) 一种任务调度方法、装置、服务器及存储介质
CN111813517B (zh) 任务队列的分配方法、装置、计算机设备及介质
CN110659435A (zh) 页面数据采集处理方法、装置、计算机设备和存储介质
CN110543462A (zh) 微服务可靠性预测方法、预测装置、电子设备及存储介质
Boovaraghavan et al. MLIoT: An end-to-end machine learning system for the Internet-of-Things
CN113342589B (zh) 对服务器进行压力测试的方法和装置
CN112948223A (zh) 一种监测运行情况的方法和装置
CN115981871B (zh) 一种gpu资源调度方法、装置、设备及存储介质
CN113886118A (zh) 异常资源处理方法、装置、系统、电子装置和存储介质
US11995485B2 (en) Automatically switching between quantum services and classical services based on detected events
CN115442262B (zh) 一种资源评估方法、装置、电子设备及存储介质
CN111159009A (zh) 一种日志服务系统的压力测试方法及装置
CN113672870B (zh) 故障事件概率估算方法、装置、计算机设备和存储介质
CN113296951B (zh) 一种资源配置方案确定方法及设备
CN115525392A (zh) 容器监控方法、装置、电子设备及存储介质
CN113297358A (zh) 数据处理方法、装置、服务器和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination