CN111104241A - 基于自编码器的服务器内存异常检测方法、系统及设备 - Google Patents

基于自编码器的服务器内存异常检测方法、系统及设备 Download PDF

Info

Publication number
CN111104241A
CN111104241A CN201911206295.7A CN201911206295A CN111104241A CN 111104241 A CN111104241 A CN 111104241A CN 201911206295 A CN201911206295 A CN 201911206295A CN 111104241 A CN111104241 A CN 111104241A
Authority
CN
China
Prior art keywords
data
memory
self
new
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911206295.7A
Other languages
English (en)
Inventor
赵静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201911206295.7A priority Critical patent/CN111104241A/zh
Publication of CN111104241A publication Critical patent/CN111104241A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/073—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a memory management context, e.g. virtual memory or cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提出的一种基于自编码器的服务器内存异常检测方法、系统及设备，先取一部分历史正常数据训练自编码器模型。然后，使用训练好的模型利用通过预设算法打出的阈值判断新的内存检测数据是否异常，并输出结果。本发明用于服务器中的内存异常检测，可以通过数据分析的方式及时发现内存运行的状态异常。如果连续出现异常，或许意味着内存的损坏或者其他故障，为及时排查避免隐患或者宕机提供了可靠的数据手段。

Description

基于自编码器的服务器内存异常检测方法、系统及设备
技术领域
本发明涉及服务器异常检测技术领域，更具体的说是涉及一种基于自编码器的服务器内存异常检测方法、系统及设备。
背景技术
服务器的可靠性是衡量服务器性能的重要指标。可靠性取决于很多方面，例如供电、主板、内存、软件系统等方面。从另一方面，异常检测是一个具有十分广阔应用前景的研究方向，在很多工程领域都可以用得到异常检测。异常检测是检测不符合期望的数据、行为。对异常的可靠判断需要定量的分析，往往通过统计学或者数学进行定量的分析。随着近些年深度学习的出现，基于深度学习方面的异常检测被逐渐推广使用。深度学习可以更好地利用海量数据，可以起到更好的建模效果。
自编码器(autoencoder)是一种无监督的深度学习算法。在大部分自编码器的场合，压缩和解压缩的函数是通过神经网络实现的，如图1所示，左侧input为输入数据，中间的hidden layer为压缩(编码)后的特征数据。右侧output为重建后的数据。自编码器是一种非线性压缩方法，可以提取数据中的非线性信息，区别于经典的线性的PCA(列主元)分析。在大部分自编码器的场合，压缩和解压缩的函数是通过神经网络实现的。我们可以利用自编码器，将数据进行编码再解码，将得到的结果与原数据进行比较，当误差达到阈值之后，说明该数据跟构成自编码器的绝大部分数据差别较大，可以判断为异常数据。这项技术的特点是不需要被标记过的数据，即不需要被告知数据中是否存在异常数据(或者正负样本)。
因此，如果利用自动编码器这种无监督深度学习方法来进行服务器内存的异常检测，能够及时发现内存的损坏和故障，大大提高服务器内存的异常检测的准确性和效率。
发明内容
针对以上问题，本发明的目的在于提供一种基于自编码器的服务器内存异常检测方法、系统及设备，能够快速、准确的分析内存相关的数据的异常，提高了检测效率。
本发明为实现上述目的，通过以下技术方案实现：一种基于自编码器的服务器内存异常检测方法，包括：
提取内存检测的历史正常数据作为训练样本训练自编码器模型；
自编码器模型训练完成后，为训练样本的每一条数据编码，并计算得到平均编码数据；
利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值；
读取新的内存检测数据，利用所述阈值判断新的内存检测数据是否异常，并输出结果。
进一步，所述作为训练样本的内存检测历史正常数据未进行标记。
进一步，所述为训练样本的每一条数据编码，并计算得到平均编码数据包括：
对用于训练样本的每一条数据执行编码得到隐藏层的特征，并提取出训练样本没一条数据的编码数据；
计算得到训练样本的平均编码数据。
进一步，所述利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值包括：
计算每一条训练样本数据和平均编码数据的融合距离，即得到一组距离数值；
计算出距离数值的平均值和标准差；
将所述平均值加3倍或6倍的标准差作为用来判断将来的数据是否为异常数据的阈值。
进一步，所述融合距离具体为：
KL距离和欧式距离的平均值。
进一步，所述读取新的内存检测数据，并利用所述阈值判断新的内存检测数据是否异常包括：
读取新的内存检测数据，并将其作为新样本；
利用自编码器模型对新样本执行编码操作，得出新编码数据；
计算新编码数据和平均编码数据的融合距离，得出新融合距离；
将新融合距离与阈值进行比较，若大于，新的内存检测数据为异常数据。
相应的，本发明还公开了一种基于自编码器的服务器内存异常检测系统，包括：
训练单元，用于提取内存检测的历史正常数据作为训练样本训练自编码器模型；
编码单元，用于自编码器模型训练完成后，为训练样本的每一条数据编码，并计算得到平均编码数据；
计算判定单元，用于利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值；
测试单元，用于读取新的内存检测数据，利用所述阈值判断新的内存检测数据是否异常，并输出结果。
相应的，本发明还公开了一种基于自编码器的服务器内存异常检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任一项所述基于自编码器的服务器内存异常检测方法步骤。
对比现有技术，本发明有益效果在于：本发明提供了一种基于自编码器的服务器内存异常检测方法、系统及设备，先取一部分历史正常数据训练自编码器模型。然后，使用训练好的模型利用通过预设算法打出的阈值判断新的内存检测数据是否异常，并输出结果。本发明用于服务器中的内存异常检测，可以通过数据分析的方式及时发现内存运行的状态异常。如果连续出现异常，或许意味着内存的损坏或者其他故障，为及时排查避免隐患或者宕机提供了可靠的数据手段。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1是本发明的自编码器的网络结构图。
附图2是本发明的方法流程图。
附图3是本发明的系统结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做出说明。
如图2所示的一种基于自编码器的服务器内存异常检测方法，包括如下步骤：
S1：提取内存检测的历史正常数据作为训练样本训练自编码器模型。其中，作为训练样本的内存检测历史正常数据不需要进行标记。
S2：自编码器模型训练完成后，为训练样本的每一条数据编码，并计算得到平均编码数据。
首先，对用于训练样本的每一条数据执行编码得到隐藏层的特征，并提取出训练样本没一条数据的编码数据；然后，计算得到训练样本的平均编码数据。
S3：利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值。本步骤具体为：先计算每一条训练样本数据和平均编码数据的融合距离，即得到一组距离数值；然后计算出距离数值的平均值和标准差；将所述平均值加3倍或6倍的标准差作为用来判断将来的数据是否为异常数据的阈值。
S4：读取新的内存检测数据，利用所述阈值判断新的内存检测数据是否异常，并输出结果。本步骤具体为：
读取新的内存检测数据，并将其作为新样本；
利用自编码器模型对新样本执行编码操作，得出新编码数据；
计算新编码数据和平均编码数据的融合距离，得出新融合距离；
将新融合距离与阈值进行比较，若大于，新的内存检测数据为异常数据。
另外，步骤S3中所述的融合距离KL距离和欧式距离的平均值。
KL距离，是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称，也叫做相对熵(Relative Entropy)。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在相同事件空间里，概率分布P(x)的事件空间，若用概率分布Q(x)编码时，平均每个基本事件(符号)编码长度增加了多少比特。我们用D(P||Q)表示KL距离，计算公式如下：
Figure BDA0002297006680000061
当两个概率分布完全相同时，即P(x)＝Q(X)，其相对熵为0。我们知道，概率分布P(X)的信息熵为：
Figure BDA0002297006680000062
其表示，概率分布P(x)编码时，平均每个基本事件(符号)至少需要多少比特编码。通过信息熵的学习，我们知道不存在其他比按照本身概率分布更好的编码方式了，所以D(P||Q)始终大于等于0的。虽然KL被称为距离，但是其不满足距离定义的三个条件：1)非负性；2)对称性(不满足)；3)三角不等式(不满足)。
我们得到两个向量后，从任何一个向量中都可以得到一个概率分布，从而很容易的计算出KL距离
欧式距离，源自N维欧氏空间中两点x1,x2
Figure BDA0002297006680000063
我们推荐使用KL距离和欧式距离结合的方法进行最终异常的判断，即最终的距离是KL距离和欧式距离的平局值。阈值的设定可以根据经验，也可以使用一部分训练数据得到一个计算出的阈值。
相应的，如图3所示，本发明还公开了一种基于自编码器的服务器内存异常检测系统，包括：
训练单元，用于提取内存检测的历史正常数据作为训练样本训练自编码器模型；
编码单元，用于自编码器模型训练完成后，为训练样本的每一条数据编码，并计算得到平均编码数据；
计算判定单元，用于利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值；
测试单元，用于读取新的内存检测数据，利用所述阈值判断新的内存检测数据是否异常，并输出结果。
相应的，本发明还公开了一种基于自编码器的服务器内存异常检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任一项所述基于自编码器的服务器内存异常检测方法步骤。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

Claims (8)

1.一种基于自编码器的服务器内存异常检测方法，其特征在于，包括：
提取内存检测的历史正常数据作为训练样本训练自编码器模型；
自编码器模型训练完成后，为训练样本的每一条数据编码，并计算得到平均编码数据；
利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值；读取新的内存检测数据，利用所述阈值判断新的内存检测数据是否异常，并输出结果。
2.根据权利要求1所述的基于自编码器的服务器内存异常检测方法，其特征在于，所述作为训练样本的内存检测历史正常数据未进行标记。
3.根据权利要求1所述的基于自编码器的服务器内存异常检测方法，其特征在于，所述为训练样本的每一条数据编码，并计算得到平均编码数据包括：
对用于训练样本的每一条数据执行编码得到隐藏层的特征，并提取出训练样本没一条数据的编码数据；
计算得到训练样本的平均编码数据。
4.根据权利要求1所述的基于自编码器的服务器内存异常检测方法，其特征在于，所述利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值包括：
计算每一条训练样本数据和平均编码数据的融合距离，即得到一组距离数值；计算出距离数值的平均值和标准差；
将所述平均值加3倍或6倍的标准差作为用来判断将来的数据是否为异常数据的阈值。
5.根据权利要求4所述的基于自编码器的服务器内存异常检测方法，其特征在于，所述融合距离具体为：
KL距离和欧式距离的平均值。
6.根据权利要求4所述的基于自编码器的服务器内存异常检测方法，其特征在于，所述读取新的内存检测数据，并利用所述阈值判断新的内存检测数据是否异常包括：
读取新的内存检测数据，并将其作为新样本；
利用自编码器模型对新样本执行编码操作，得出新编码数据；
计算新编码数据和平均编码数据的融合距离，得出新融合距离；
将新融合距离与阈值进行比较，若大于，新的内存检测数据为异常数据。
7.一种基于自编码器的服务器内存异常检测系统，其特征在于，包括：
训练单元，用于提取内存检测的历史正常数据作为训练样本训练自编码器模型；编码单元，用于自编码器模型训练完成后，为训练样本的每一条数据编码，并计算得到平均编码数据；
计算判定单元，用于利用每一条训练样本数据和平均编码数据计算得出用于判定异常数据的阈值；
测试单元，用于读取新的内存检测数据，利用所述阈值判断新的内存检测数据是否异常，并输出结果。
8.一种基于自编码器的服务器内存异常检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述基于自编码器的服务器内存异常检测方法步骤。
CN201911206295.7A 2019-11-29 2019-11-29 基于自编码器的服务器内存异常检测方法、系统及设备 Withdrawn CN111104241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911206295.7A CN111104241A (zh) 2019-11-29 2019-11-29 基于自编码器的服务器内存异常检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911206295.7A CN111104241A (zh) 2019-11-29 2019-11-29 基于自编码器的服务器内存异常检测方法、系统及设备

Publications (1)

Publication Number Publication Date
CN111104241A true CN111104241A (zh) 2020-05-05

Family

ID=70421184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911206295.7A Withdrawn CN111104241A (zh) 2019-11-29 2019-11-29 基于自编码器的服务器内存异常检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111104241A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036513A (zh) * 2020-11-04 2020-12-04 成都考拉悠然科技有限公司 基于内存增强潜在空间自回归的图像异常检测方法
CN112633389A (zh) * 2020-12-28 2021-04-09 西北工业大学 一种基于mdl和速度方向的飓风运动轨迹趋势计算方法
CN113297046A (zh) * 2020-08-03 2021-08-24 阿里巴巴集团控股有限公司 一种内存故障的预警方法及装置
CN113709089A (zh) * 2020-09-03 2021-11-26 南宁玄鸟网络科技有限公司 一种物联网过滤非法数据系统及方法
CN115293663A (zh) * 2022-10-10 2022-11-04 国网山东省电力公司滨州供电公司 一种母线不平衡率异常检测方法、系统及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492767A (zh) * 2018-11-09 2019-03-19 济南浪潮高新科技投资发展有限公司 一种应用于无监督领域基于自编码器的异常检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492767A (zh) * 2018-11-09 2019-03-19 济南浪潮高新科技投资发展有限公司 一种应用于无监督领域基于自编码器的异常检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297046A (zh) * 2020-08-03 2021-08-24 阿里巴巴集团控股有限公司 一种内存故障的预警方法及装置
CN113709089A (zh) * 2020-09-03 2021-11-26 南宁玄鸟网络科技有限公司 一种物联网过滤非法数据系统及方法
CN112036513A (zh) * 2020-11-04 2020-12-04 成都考拉悠然科技有限公司 基于内存增强潜在空间自回归的图像异常检测方法
CN112633389A (zh) * 2020-12-28 2021-04-09 西北工业大学 一种基于mdl和速度方向的飓风运动轨迹趋势计算方法
CN112633389B (zh) * 2020-12-28 2024-01-23 西北工业大学 一种基于mdl和速度方向的飓风运动轨迹趋势计算方法
CN115293663A (zh) * 2022-10-10 2022-11-04 国网山东省电力公司滨州供电公司 一种母线不平衡率异常检测方法、系统及装置

Similar Documents

Publication Publication Date Title
CN111104241A (zh) 基于自编码器的服务器内存异常检测方法、系统及设备
Tong et al. Bearing fault diagnosis based on domain adaptation using transferable features under different working conditions
CN112257263B (zh) 基于自注意力机制的设备剩余寿命预测系统
CN112766429B (zh) 一种异常检测的方法、装置、计算机设备和介质
CN103514398A (zh) 一种实时在线日志检测方法及系统
WO2020143379A1 (zh) 异常数据的检测方法及其系统
CN115455089A (zh) 一种无源组件的性能评估方法、系统及存储介质
CN117170915A (zh) 数据中心设备故障预测方法、装置和计算机设备
CN114611409B (zh) 一种配电终端异常检测模型的建立方法及装置
CN115617614A (zh) 基于时间间隔感知自注意力机制的日志序列异常检测方法
CN113469247B (zh) 网络资产异常检测方法
CN117092581A (zh) 基于段一致性判别自编码器电能表异常检测方法及装置
CN117076171A (zh) 一种面向多元时序数据的异常检测及定位方法及装置
CN110532629A (zh) 一种多模态退化过程的剩余寿命预测方法
CN114626426A (zh) 基于K-means优化算法的工业设备行为检测方法
CN109947728B (zh) 一种日志文件的处理方法及装置
CN116757533A (zh) 一种工业设备异常检测方法及相关装置
CN117056842A (zh) 构建设备异常监测模型的方法、装置、设备、介质及产品
CN116258167A (zh) 一种数据检测方法、装置、电子设备及介质
CN114674511B (zh) 一种用于剔除时变环境因素影响的桥梁模态异常预警方法
CN115964470A (zh) 一种摩托车配件的寿命预测方法及系统
CN113255775B (zh) 一种电力系统异常数据的识别方法、装置和智能芯片
CN114925808A (zh) 一种基于云网端资源中不完整时间序列的异常检测方法
CN111159961B (zh) 一种基于曲线数据的异常检测方法及系统
CN114861753A (zh) 一种基于大规模网络的数据分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200505

WW01 Invention patent application withdrawn after publication