CN111352794B - 异常检测方法、装置、计算机装置及存储介质 - Google Patents
异常检测方法、装置、计算机装置及存储介质 Download PDFInfo
- Publication number
- CN111352794B CN111352794B CN201811585044.XA CN201811585044A CN111352794B CN 111352794 B CN111352794 B CN 111352794B CN 201811585044 A CN201811585044 A CN 201811585044A CN 111352794 B CN111352794 B CN 111352794B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- model
- threshold range
- sorting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种异常检测方法,采集服务器中与服务器寿命相关的数据,将采集数据进行整理、降维、标准化操作,输出降维后的无量纲化数据,将所述数据导入数据模型拟合出影响服务器寿命的阈值范围和服务器性能状态曲线;继续采集服务器中与服务器寿命相关的数据,进行整理降维标准化后,将所述数据分为两组,一组数据导入所述数据模型再次拟合阈值范围和服务器性能状态曲线,一组数据用于对数据模型的精确性进行验证;将实时采集的数据进行整理降维得到降维后的无量纲化数据,将降维后的无量纲化数据与阈值范围进行比对,如果超出阈值范围则发出服务器状态异常警报通知;本发明通过数据模型来判断服务器的性能,对服务器的维护和保养有指导意义。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种异常检测方法、异常检测装置、计算机装置及计算机可读存储介质。
背景技术
在当代企业服务器运维中,对服务器维护和管理是必不可少。多数服务器都是由一系列服务器组成的服务集群,所以维护服务器是一项很繁琐的工作。服务器维护系统主要包括按照季度或月份进行硬盘检测、硬盘压力测试、环境保养等。在现有技术下,定期更换硬盘会增加成本,滞后会影响服务器的性能,难以找到更换的平衡点,因此需要引用数理统计的方法,使用Python进行远程采集影响服务器性能的数据,对数据使用数据模型进行分析,得到服务器异常的数据指标,指导人们对服务器进行保养和更换。
发明内容
鉴于以上内容,有必要提出一种异常检测方法及装置、计算机装置和计算机可读存储介质,异常检测以更加数据监控的方法判断服务器是否处于异常状态。
本申请的第一方面提供一种异常检测方法,所述方法包括:
数据模型训练步骤:采集服务器中与服务器寿命相关的数据,将采集数据进行整理、降维、标准化操作,输出降维后的无量纲化数据,将所述数据导入数据模型拟合出影响服务器寿命的阈值范围和服务器性能状态曲线;
数据模型交叉验证的步骤:继续采集服务器中与服务器寿命相关的数据,进行整理降维标准化后,将所述整理降维标准化后的数据分为两组,一组数据导入所述数据模型再次拟合阈值范围和服务器性能状态曲线,一组数据用于对数据模型的精确性进行验证;
服务器状态监控步骤:将实时采集的数据进行整理降维得到降维后的无量纲化数据,将降维后的无量纲化数据与阈值范围进行比对,如果超出阈值范围则发出服务器状态异常警报通知。
所述服务器寿命相关的数据至少包括CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度中的一种或多种;所述数据的采集方法包括在Python使用中API接口远程获取服务器寿命指标的相关数据。
所述整理降维标准化包括:
整理数据,在数据采集过程中由于数据存储失败,网络传输,机械故障的原因导致某段时间未能采集到应有的数据,将未能采集到的空缺数据使用相邻数据利用移动平均、加权平均、取对数、标记的数学方法将所述空缺数据计算补齐;
降维,将采集到的多维数据进行降维处理的方法包括,通过主分量分析算法或者线性判别分析的方法将采集到的多维数据进行分析找到最能影响服务器性能的前三类数据,从而将多维数据降到三维数据;
标准化,将所述三维数据按照Min-Max标准化算法统一映射到[0,1]区间上,将所属于不同量纲的数据进行无量纲化处理。
所述数据模型包括高斯混合模型和逻辑回归模型。
所述高斯混合模型用于拟合阈值范围,将所述整理降维标准化后的数据导入高斯混合模型,按照三维高斯分布图,确定高斯混合模型的中心坐标和标准差,根据模型的中心坐标和标准差确定服务器性能的阈值范围。
所述逻辑回归模型用于拟合服务器性能状态曲线,将所述整理降维标准化后的数据导入逻辑回归函数,拟合出服务器性能状态曲线,如果服务器性能状态异常,所述曲线会出现明显波动。
所述异常警报通知的方法至少包括邮件通知、电话通知、短信通知、社交网络平台通知的一种或多种。
本申请的第二方面提供一种异常检测装置,所述装置包括:
数据采集模块:在Python中使用API接口远程获取服务器寿命指标的相关数据,所述数据包括CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度;
数据整理降维标准化模块:将采集到的数据进行整理,针对未能采集到的空缺数据,使用相邻数据利用移动平均、加权平均、取对数、标记的数学方法将所述空缺数据计算补齐,然后通过主分量分析算法、线性判别分析将采集到的多维数据降到三维数据,将所述三维数据按照Min-Max标准化算法统一映射到[0,1]区间上,将有量纲数据进行无量纲化处理;
数据模型训练模块:将整理降维标准化后的数据导入高斯混合数据模型拟合出影响服务器性能的阈值范围;将所述整理降维标准化后的数据导入逻辑回归函数,拟合出服务器性能状态曲线,如果服务器状态异常,所述曲线会出现明显波动;
数据模型交叉验证模块:采集服务器寿命指标的相关数据,将采集到的数据分为两组,一组数据使用所述数据模型构建的方法再次构建数据模型,一组数据用于对数据模型的精确性进行验证;
服务器状态监控模块:实时采集服务器中与服务器寿命相关的数据,将所述数据进行整理降维标准化,将所得到的降维后的无量纲化数据与所述阈值范围进行比对,如果超出阈值范围则发出服务器状态异常警报通知。
本申请的第三方面提供一种计算机装置,所述计算机装置包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前所述异常检测方法。
本申请的第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前所述异常检测方法。
本发明通过采集服务器寿命相关的数据,通过对所述数据进行整理降维标准化后导入高斯混合模型和逻辑回归模型,通过数据模型训练出影响服务器性能的阈值范围和服务器性能状态曲线,通过阈值范围和服务器性能状态曲线判断服务器性能状态从而指导人们进行服务器维护和保养。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的异常检测方法的应用环境架构示意图。
图2是本发明实施例二提供的异常检测方法流程图。
图3是本发明实施例三提供的异常检测装置的结构示意图。
图4是本发明实施例四提供的计算机装置示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
实施例一
参阅图1所示,为本发明实施例一提供的异常检测方法的应用环境架构示意图。
本发明中的异常检测方法应用在计算机装置1中,所述计算机装置1、至少一个服务器2和至少一个用户终端3通过网络建立通信连接。所述网络可以是有线网络,也可以是无线网络,例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。
所述计算机装置1可以为安装有异常检测软件的电子设备,例如个人电脑、服务器等,其中,所述服务器可以是单一的服务器、服务器集群或云服务器等。
所述服务器2可以是单一的服务器、服务器集群或云服务器等。
所述用户终端3是具有显示屏的各种智能电子设备,包括但不限于智能手机、平板电脑、膝上型便捷计算机、台式计算机等。
实施例二
请参阅图2所示,是本发明第二实施例提供的异常检测方法的流程图。根据不同的需求,所述流程图中步骤的顺序可以改变,某些步骤可以省略。
步骤S1、采集服务器寿命指标的相关数据。
本发明一实施方式中,在Python中使用API接口远程获取服务器寿命指标相关数据,所述数据包括服务器中每一服务器CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度;
在本发明的另一个实施方式中,在Java中使用ipmi命令远程获取服务器寿命指标相关数据,所述数据包括服务器中每一服务器CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度;
在本发明的其他实施方式中或获取的服务器数据不限于以上CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度,可以包括以上一种或更多种数据。
步骤S2、对采集到的数据进行整理、降维、标准化,输出降维后的无量纲化数据。
本实施方式中,步骤S2具体包括:
1)整理数据;
在数据采集过程中由于数据存储失败、网络传输、机械故障的原因导致某段时间未能采集到应有的数据,这些未能采集到的空缺数据使用相邻数据利用移动平均、加权平均、取对数、标记的数学方法对数据进行整理从而将所述空缺数据计算补齐;
2)降维;
将采集到的多维数据进行降维处理的方法包括,对采集到的多维数通过主分量分析算法或者线性判别分析的方法进行降维处理,得到最能体现服务器性能状态是数据。
在一实施例中,将采集到CPU的使用率、CPU的温度、内存的使用率、硬盘的使用率、硬盘温度、硬盘转速、网络上行速度、网络下行速度,以上八类数据(即八维数据)通过使用主分量分析算法进行映射分析降为三维数据。
在其他实施例中也可以将多维数据降到二维数据,根据数据精度的要求降到不同的维度。
3)标准化,将所述三维数据按照标准化算法统一映射到[0,1]区间上,将所属于不同量纲的数据进行无量纲化处理。
在一实施例中,通过整理降维后得到的数据为使用率、温度、速度,这三类数据的单位均不相同,通过使用Min-Max标准化算法将所述使用率、温度速度映射到[0,1],得到无量纲化的数据,所述Min-Max标准化算法如下所示:
在其他实施例中,标准化算法也可以是log函数转换,atan函数转换,z-score标准化,模糊量化法,根据数据精度的要求的不同选择不同的方法。
步骤S3、将整理降维后的无量纲化数据导入高斯混合模型和逻辑回归模型拟合出服务器寿命的阈值范围及服务器性能状态曲线。
将所述整理降维后的无量纲化数据导入高斯混合模型,按照三维高斯分布图,确定高斯混合模型的中心(μ1,μ2)和标准差σ。在一实施例中,将所述整理降维标准化后的数据通过高斯混合模型进行拟合,通过高斯分布图确定高斯混合模型的中心的坐标值(μ1,μ2)和标准差σ,根据服务器维护保养的要求设定标准差σ的个数,例如对于新的服务器,可以将范围设置的大一些(μ1-2ρ,μ2+2ρ),在这个范围内的数据为服务器正常状态数据,在范围(μ1-2ρ,μ2+2ρ)外的数据为服务器异常状态数据,所述(μ1-2ρ,μ2+2ρ)即为服务器性能状态的阈值范围。对于有一定使用年限的服务器,可以将范围设置的小一些,在(μ1-ρ,μ2+ρ)内的数据为服务器正常状态数据,在(μ1-ρ,μ2+ρ)外的数据为服务器异常状态数据,所述(μ1-ρ,μ2+ρ)即为服务器性能的阈值范围。
将所述整理降维标准化后的数据导入逻辑回归模型,拟合出逻辑回归模型状态曲线,确定逻辑回归模型的参数。在一实施例中,将所述整理降维标准化后的数据导入逻辑回归函数,确定逻辑回归模型的正则参数θ,所述逻辑回归模型采用的逻辑回归函数如下所示:
逻辑回归函数计算出服务器状态良好的概率和服务器状态异常的概率,通过逻辑回归函数拟合出逻辑回归曲线,所述逻辑回归曲线反应了服务器性能状态的概率分布。
在其他实施例中,回归函数也可以选择一元线性函数、多元线性函数、一元多次线性函数等。
步骤S4、再次采集数据,并对数据进行降维无量纲化处理后,对数据模型进行交叉验证。
采集服务器寿命指标的相关数据,在本实施例中选择简易交叉验证的方法,将采集到的数据分为两组,其中70%的数据为训练集数据,30%的数据为验证集数据,所述训练集数据使用步骤S2、S3的方法再次训练高斯混合模型的中心和标准差,以及逻辑回归模型的正则参数。所述验证集数据用于验证数据模型的精确性。
所述验证数据模型精确性的方法包括:
将所述验证集数据与训练集训练出的高斯混合模型的阈值范围做比对,确定服务器性能状态;
将所述验证集数据和逻辑回归模型的正则参数导入逻辑回归函数,计算出服务器性能状态良好和异常的概率,确定所述逻辑回归函数计算出来的服务器性能状态的结果是否和所述训练集数据拟合的逻辑回归模型曲线上显示的服务器性能状态的结果一致。
将上述两种方法得到的服务器性能状态的结果进行比对,确定不同数据模型结果的一致性。
在这里介绍一下前面的步骤S2-4是可以离线做的,只要把阈值确认好以后,后面检测异常可以直接使用这个模型输出的阈值。
步骤S5、实时采集服务器寿命相关的数据,将所述实时采集的数据进行整理降维标准化后,与数据模型的阈值进行比对,如果超出阈值范围则发出服务器异常警报。
实时采集服务器性能状态数据,按照步骤S2进行整理降维标准化后,与高斯混合模型的阈值范围进行比对,如果超出阈值范围则发出服务器异常警报。
发出服务器异常警报的方式包括邮件、电话、短信、社交平台消息等。
上述图2详细介绍了本发明的异常检测方法,下面结合第3-4图,对实现所述异常检测方法的软件装置的功能模块以及实现所述异常检测的硬件装置架构进行介绍。
应所述了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
实施例三
图3为本发明异常检测装置较佳实施例的结构图。
在一些实施例中,异常检测装置10运行于计算机装置中。所述计算机装置通过网络连接了多个用户终端。所述智能回访装置10可以包括多个由程序代码段所组成的功能模块。所述异常检测装置10中的各个程序段的程序代码可以存储于计算机装置的存储器中,并由所述至少一个处理器所执行,以实现异常检测功能。
本实施例中,所述异常检测装置10根据其所执行的功能,可以被划分为多个功能模块。参阅图3所示,所述功能模块可以包括:数据采集模块101、数据整理降维标准化模块102、数据模型训练模块103、数据模型交叉验证模块104、服务器状态监控模块105。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
数据采集模块101:在Python中使用API接口远程获取服务器寿命指标的相关数据,所述数据包括CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度;
数据整理降维标准化模块102:将采集到的数据进行整理,针对未能采集到的空缺数据,使用相邻数据利用移动平均、加权平均、取对数、标记的数学方法将所述空缺数据计算补齐,然后通过主分量分析算法、线性判别分析将采集到的多维数据降到三维数据,将所述三维数据按照Min-Max标准化算法统一映射到[0,1]区间上,将有量纲数据进行无量纲化处理;
数据模型训练模块103:将整理降维标准化后的数据导入高斯混合数据模型拟合出影响服务器性能的阈值范围;将所述整理降维标准化后的数据导入逻辑回归函数,拟合出服务器性能状态曲线,如果服务器状态异常,所述曲线会出现明显波动;
数据模型交叉验证模块104:采集服务器寿命指标的相关数据,将采集到的数据分为两组,一组数据使用所述数据模型构建的方法再次构建数据模型,一组数据用于对数据模型的精确性进行验证;
服务器状态监控模块105:实时采集服务器中与服务器寿命相关的数据,将所述数据进行整理降维标准化,将所得到的降维后的无量纲化数据与所述阈值范围进行比对,如果超出阈值范围则发出服务器状态异常警报通知。
实施例四
图4为本发明计算机装置较佳实施例的示意图。
所述计算机装置1包括存储器20、处理器30以及存储在所述存储器20中并可在所述处理器30上运行的计算机程序40,例如异常检测程序。所述处理器30执行所述计算机程序40时实现上述异常检测方法实施例中的步骤,例如图2所示的步骤S1~S5。或者,所述处理器30执行所述计算机程序40时实现上述异常检测装置实施例中各模块/单元的功能,例如图3中的单元101-105。
示例性的,所述计算机程序40可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器20中,并由所述处理器30执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,所述指令段用于描述所述计算机程序40在所述计算机装置1中的执行过程。例如,所述计算机程序40可以被分割成图3中的数据采集模块101、数据整理降维标准化模块102、数据模型训练模块103、数据模型交叉验证模块104、服务器状态监控模块105。各模块具体功能参见实施例三。
所述计算机装置1可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解,所述示意图仅仅是计算机装置1的示例,并不构成对计算机装置1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器30也可以是任何常规的处理器等,所述处理器30是所述计算机装置1的控制中心,利用各种接口和线路连接整个计算机装置1的各个部分。
所述存储器20可用于存储所述计算机程序40和/或模块/单元,所述处理器30通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元,以及调用存储在存储器20内的数据,实现所述计算机装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机装置1的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器20可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,所述计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中,应所述理解到,所揭露的计算机装置和方法,可以通过其它的方式实现。例如,以上所描述的计算机装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
另外,在本发明各个实施例中的各功能单元可以集成在相同处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种异常检测方法,其特征在于,所述方法包括:
数据模型训练步骤:采集服务器中与服务器寿命相关的数据,将采集数据进行整理、降维、标准化操作,输出降维后的无量纲化数据,将所述数据导入数据模型拟合出影响服务器寿命的阈值范围和服务器性能状态曲线;
数据模型验证步骤:继续采集服务器中与服务器寿命相关的数据,进行整理降维标准化后,将所述整理降维标准化后的数据分为训练集数据和验证集数据,所述训练集数据导入所述数据模型再次拟合阈值范围和服务器性能状态曲线,所述验证集数据用于基于所述训练集数据拟合的阈值范围和服务器性能状态曲线,对数据模型的精确性进行验证;
服务器状态监控步骤:将实时采集的数据进行整理降维得到降维后的无量纲化数据,将降维后的无量纲化数据与阈值范围进行比对,如果超出阈值范围则发出服务器状态异常警报通知。
2.如权利要求1所述的异常检测方法,其特征在于,所述服务器寿命相关的数据至少包括CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度中的一种或多种;所述数据的采集方法包括在Python使用中API接口远程获取服务器寿命指标的相关数据。
3.如权利要求1所述的异常检测方法,其特征在于,所述整理降维标准化包括:
整理数据:在数据采集过程中由于数据存储失败,网络传输,机械故障的原因导致某段时间未能采集到应有的数据,将未能采集到的空缺数据使用相邻数据利用移动平均、加权平均、取对数、标记的数学方法将所述空缺数据计算补齐;
降维:将采集到的多维数据进行降维处理的方法包括,通过主分量分析算法或者线性判别分析的方法将采集到的多维数据进行分析找到最能影响服务器性能的前三类数据,从而将多维数据降到三维数据;
标准化:将所述三维数据按照Min-Max标准化算法统一映射到[0,1]区间上,将所属于不同量纲的数据进行无量纲化处理。
4.如权利要求1所述的异常检测方法,其特征在于,所述数据模型包括高斯混合模型和逻辑回归模型。
5.如权利要求4所述的异常检测方法,其特征在于,所述高斯混合模型用于拟合阈值范围,将所述整理降维标准化后的数据导入高斯混合模型,按照三维高斯分布图,确定高斯混合模型的中心坐标和标准差,根据模型的中心坐标和标准差确定服务器性能的阈值范围。
6.如权利要求4所述的异常检测方法,其特征在于,所述逻辑回归模型用于拟合服务器性能状态曲线,将所述整理降维标准化后的数据导入逻辑回归函数,拟合出服务器性能状态曲线,如果服务器性能状态异常,所述曲线会出现明显波动。
7.如权利要求1所述的异常检测方法,其特征在于,所述异常警报通知的方法至少包括邮件通知、电话通知、短信通知、社交网络平台通知的一种或多种。
8.一种异常检测装置,其特征在于,所述装置包括:
数据采集模块:在Python中使用API接口远程获取服务器寿命指标的相关数据,所述数据包括CPU的使用率和温度、内存的使用率和温度、硬盘使用率和温度、硬盘转速、网络状态、网络上行速度、网络下行速度;
数据整理降维标准化模块:将采集到的数据进行整理,针对未能采集到的空缺数据,使用相邻数据利用移动平均、加权平均、取对数、标记的数学方法将所述空缺数据计算补齐,然后通过主分量分析算法、线性判别分析将采集到的多维数据降到三维数据,将所述三维数据按照Min-Max标准化算法统一映射到[0,1]区间上,将有量纲数据进行无量纲化处理;
数据模型训练模块:将整理降维标准化后的数据导入高斯混合数据模型拟合出影响服务器性能的阈值范围;将所述整理降维标准化后的数据导入逻辑回归函数,拟合出服务器性能状态曲线,如果服务器状态异常,所述曲线会出现明显波动;
数据模型验证模块:采集服务器寿命指标的相关数据,将采集到的数据分为训练集数据和验证集数据,所述训练集数据使用所述数据模型构建的方法再次构建数据模型,所述验证集数据用于基于所述训练集数据拟合的阈值范围和服务器性能状态曲线,对数据模型的精确性进行验证;
服务器状态监控模块:实时采集服务器中与服务器寿命相关的数据,将所述数据进行整理降维标准化,将所得到的降维后的无量纲化数据与所述阈值范围进行比对,如果超出阈值范围则发出服务器状态异常警报通知。
9.一种计算机装置,其特征在于:所述计算机装置包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7异常检测中任一项所述的异常检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-7异常检测中任一项所述的异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811585044.XA CN111352794B (zh) | 2018-12-24 | 2018-12-24 | 异常检测方法、装置、计算机装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811585044.XA CN111352794B (zh) | 2018-12-24 | 2018-12-24 | 异常检测方法、装置、计算机装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111352794A CN111352794A (zh) | 2020-06-30 |
CN111352794B true CN111352794B (zh) | 2022-09-20 |
Family
ID=71192041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811585044.XA Active CN111352794B (zh) | 2018-12-24 | 2018-12-24 | 异常检测方法、装置、计算机装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111352794B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114550761B (zh) * | 2022-02-14 | 2022-11-25 | 深圳源创存储科技有限公司 | 一种互联网服务器用内存条 |
CN115767627A (zh) * | 2022-11-08 | 2023-03-07 | 创启科技(广州)有限公司 | 一种5g通讯数据传输系统及其传输方法和存储介质 |
CN115617634A (zh) * | 2022-11-08 | 2023-01-17 | 中广核研究院有限公司 | 基于5g的核电设备异常诊断方法、装置和计算机设备 |
CN117056676B (zh) * | 2023-08-21 | 2024-03-19 | 国家卫星海洋应用中心 | 一种用于全向波高谱校正的数据预处理方法、装置及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105307200A (zh) * | 2015-09-30 | 2016-02-03 | 西安电子科技大学 | 一种基于轨迹的无线传感器网络多维数据异常值检测方法 |
CN108038040A (zh) * | 2017-12-08 | 2018-05-15 | 上海市信息网络有限公司 | 计算机集群性能指标检测方法、电子设备及存储介质 |
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11003988B2 (en) * | 2016-11-23 | 2021-05-11 | General Electric Company | Hardware system design improvement using deep learning algorithms |
US10917419B2 (en) * | 2017-05-05 | 2021-02-09 | Servicenow, Inc. | Systems and methods for anomaly detection |
-
2018
- 2018-12-24 CN CN201811585044.XA patent/CN111352794B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105307200A (zh) * | 2015-09-30 | 2016-02-03 | 西安电子科技大学 | 一种基于轨迹的无线传感器网络多维数据异常值检测方法 |
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
CN108038040A (zh) * | 2017-12-08 | 2018-05-15 | 上海市信息网络有限公司 | 计算机集群性能指标检测方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111352794A (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111352794B (zh) | 异常检测方法、装置、计算机装置及存储介质 | |
US11372388B2 (en) | Locking error alarm device and method | |
CN109918279B (zh) | 电子装置、基于日志数据识别用户异常操作的方法及存储介质 | |
CN108876213B (zh) | 基于区块链的产品管理方法、装置、介质及电子设备 | |
CN112015603A (zh) | 用户终端硬件检测方法、装置、计算机装置及存储介质 | |
CN111737125A (zh) | 量化交易的行情数据的生成方法、装置和服务器 | |
CN114265740A (zh) | 错误信息处理方法、装置、设备及存储介质 | |
CN112434238A (zh) | 网页质量检测方法、装置、电子设备及存储介质 | |
CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
CN112036579A (zh) | 多分类模型自学习在线更新方法、系统及装置 | |
CN111476375A (zh) | 一种确定识别模型的方法、装置、电子设备及存储介质 | |
CN113128012A (zh) | 灾害保障资源计算方法、装置、计算机装置及存储介质 | |
CN114356900A (zh) | 一种电力数据异常检测方法、装置、设备及介质 | |
CN113591900A (zh) | 一种高需求响应潜力用户的识别方法、装置及终端设备 | |
CN111950623B (zh) | 数据稳定性监控方法、装置、计算机设备及介质 | |
CN112527602A (zh) | 业务数据统计方法、装置、计算机设备及存储介质 | |
CN116843395A (zh) | 一种业务系统的告警分级方法、装置、设备及存储介质 | |
CN110795308A (zh) | 一种服务器检验方法、装置、设备及存储介质 | |
CN110619541A (zh) | 应用程序管理方法、装置、计算机设备及存储介质 | |
CN114021642A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN114661555A (zh) | 设备监测方法、装置、服务器及存储介质 | |
CN110351330B (zh) | 数据上传方法、装置、计算机设备及存储介质 | |
CN111222739B (zh) | 核电站的任务分配方法及核电站的任务分配系统 | |
CN114356712A (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
CN113570098A (zh) | 出货量预测方法、装置、计算机装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |