CN111767193A - 一种服务器数据异常检测方法、装置、存储介质及设备 - Google Patents

一种服务器数据异常检测方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN111767193A
CN111767193A CN202010621809.1A CN202010621809A CN111767193A CN 111767193 A CN111767193 A CN 111767193A CN 202010621809 A CN202010621809 A CN 202010621809A CN 111767193 A CN111767193 A CN 111767193A
Authority
CN
China
Prior art keywords
data
server
target
preprocessed
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010621809.1A
Other languages
English (en)
Inventor
魏超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010621809.1A priority Critical patent/CN111767193A/zh
Publication of CN111767193A publication Critical patent/CN111767193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种服务器数据异常检测方法、装置、存储介质及设备，该方法包括：首先获取待检测的目标数据，其中，目标数据为目标服务器产生的时序数据，然后，对目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到ES中，进而，可以利用ES中预先构建的服务器数据异常检测模型，对预处理后的数据进行检测，以检测出目标服务器产生的时序数据的异常状态，从而能够使用机器学习算法，对目标服务器产生的时序数据进行准确的建模检测，以实时监控目标服务器运行状况，保证了目标服务器的稳定运行。

Description

一种服务器数据异常检测方法、装置、存储介质及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种服务器数据异常检测方法、装置、存储介质及设备。
背景技术
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
现有技术中，服务器在运行过程中可能会由于程序设计问题、异常流量、机器自身硬件问题等因素而产生故障，进而直接影响前端面向用户的服务，严重的可能会引发重大安全事故。因此，如何对服务器产生的时序数据进行准确的异常检测，以实时监控服务器运行状况，显得至关重要。
发明内容
本申请实施例的主要目的在于提供一种服务器数据异常检测方法、装置、存储介质及设备，能够使用机器学习算法，对服务器产生的时序数据进行准确的建模检测，以实时监控服务器运行状况，保证服务器的稳定运行。
第一方面，本申请实施例提供了一种服务器数据异常检测方法，包括：
获取待检测的目标数据，所述目标数据为目标服务器产生的时序数据；
对所述目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到所述ES中；
利用所述ES中预先构建的服务器数据异常检测模型，对所述预处理后的数据进行检测，以检测出所述目标服务器产生的时序数据的异常状态。
可选的，构建所述服务器数据异常检测模型，包括：
获取服务器训练数据；
对所述训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据；
利用所述预处理后的训练数据以及所述服务器训练数据对应的异常状态检测标签对初始服务器数据异常检测模型进行训练，生成所述服务器数据异常检测模型。
可选的，在所述方法还包括：
获取服务器验证数据；
对所述验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据；
将所述预处理后的验证数据输入所述服务器数据异常检测模型，获得所述服务器验证数据的异常状态检测结果；
当所述服务器验证数据的异常状态检测结果与所述服务器验证数据对应的异常状态标记结果不一致时，将所述服务器验证数据重新作为所述服务器训练数据，对所述服务器数据异常检测模型进行更新。
可选的，所述方法还包括：
通过可视化页面，将检测出的所述目标服务器产生的时序数据的异常状态进行展示。
第二方面，本申请实施例还提供了一种服务器数据异常检测装置，包括：
第一获取单元，用于获取待检测的目标数据，所述目标数据为目标服务器产生的时序数据；
第一预处理单元，用于对所述目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到所述ES中；
检测单元，用于利用所述ES中预先构建的服务器数据异常检测模型，对所述预处理后的数据进行检测，以检测出所述目标服务器产生的时序数据的异常状态。
可选的，所述装置还包括：
第二获取单元，用于获取服务器训练数据；
第二预处理单元，用于对所述训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据；
训练单元，用于利用所述预处理后的训练数据以及所述服务器训练数据对应的异常状态检测标签对初始服务器数据异常检测模型进行训练，生成所述服务器数据异常检测模型。
可选的，所述装置还包括：
第三获取单元，用于获取服务器验证数据；
第三预处理单元，用于对所述验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据；
获得单元，用于将所述预处理后的验证数据输入所述服务器数据异常检测模型，获得所述服务器验证数据的异常状态检测结果；
更新单元，用于当所述服务器验证数据的异常状态检测结果与所述服务器验证数据对应的异常状态标记结果不一致时，将所述服务器验证数据重新作为所述服务器训练数据，对所述服务器数据异常检测模型进行更新。
可选的，所述装置还包括：
展示单元，用于通过可视化页面，将检测出的所述目标服务器产生的时序数据的异常状态进行展示。
本申请实施例还提供了一种服务器数据异常检测设备，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述服务器数据异常检测方法中的任意一种实现方式。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述服务器数据异常检测方法中的任意一种实现方式。
本申请实施例提供的一种服务器数据异常检测方法、装置、存储介质及设备，首先获取待检测的目标数据，其中，目标数据为目标服务器产生的时序数据，然后，对目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到ES中，进而，可以利用ES中预先构建的服务器数据异常检测模型，对预处理后的数据进行检测，以检测出目标服务器产生的时序数据的异常状态，从而能够使用机器学习算法，对目标服务器产生的时序数据进行准确的建模检测，以实时监控目标服务器运行状况，保证了目标服务器的稳定运行。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种服务器数据异常检测方法的流程示意图；
图2为本申请实施例提供的一种服务器数据异常检测装置的组成示意图。
具体实施方式
目前，服务器在运行过程中可能会由于程序设计问题、异常流量、机器自身硬件问题等因素而产生故障，进而直接影响前端面向用户的服务，严重的可能会引发重大安全事故。一般来说，故障产生之前会存在一段时间可循的异常，因此，运维人员会通过对单个机器的容量指标进行实时的监控来发现异常机器。但是，面对数量庞大的服务器机群，人工监控难以及时、全面地捕捉到所有的潜在异常。
为解决上述缺陷，本申请实施例提供了一种服务器数据异常检测方法，首先获取待检测的目标数据，其中，目标数据为目标服务器产生的时序数据，然后，对目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到ES中，进而，可以利用ES中预先构建的服务器数据异常检测模型，对预处理后的数据进行检测，以检测出目标服务器产生的时序数据的异常状态，从而能够使用机器学习算法，对目标服务器产生的时序数据进行准确的建模检测，以实时监控目标服务器运行状况，保证了目标服务器的稳定运行。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一实施例
参见图1，为本实施例提供的一种服务器数据异常检测方法的流程示意图，该方法包括以下步骤：
S101：获取待检测的目标数据，其中，目标数据为目标服务器产生的时序数据。
需要说明的是，为便于理解本申请实施例提供的方案，现将本申请设计的技术术语进行介绍：
异常检测(Anomaly Detection)是机器学习的一个重要分支，实际应用领域广泛，更与我们的生活息息相关。所谓异常检测就是发现与大部分对象不同的对象，也就是发现离群点。一般规定数据具有“正常”模型，而异常被认为是与这个正常模型的偏差。在实际应用中对异常的定义也是特定的。
分布式搜索引擎(ElasticSearch，简称ES)用于对数据进行抽取和存储，ES作为一个分布式的实时文档存储、分析搜索引擎，可以实现支持对实时的接入、分析，结合机器学习算法，从ES集群中独立出机器学习节点，完成对实时数据的建模分析。
随着大数据时代的到来，数据信息存储和处理少不了服务器在背后的支持，尤其是在分布式系统，各种大数据集群的服务往往成百上千，而服务器的异常检测在数据中心有广泛的应用。
虽然计算机软硬件的快速发展已经极大提高了应用程序的可靠性，但是在大型集群中仍然存在大量的软件错误和硬件故障。系统要求7x24小时不间断运行，因此，对这些系统进行持续监控至关重要。因此，需要就被从系统中持续采集系统运行日志，业务运行日志的能力，并能快速的分析和监控当前状态曲线的异常，一旦发现异常，能第一时间将信息送到相关人员手中,以便相关人员进一步查看系统的情况并做出相应的处理
由此，在本实施例中，为了实时监控服务器运行状况，保证服务器的稳定运行，可以先获取待检测的目标数据，其中，目标数据为目标服务器产生的时序数据，用以执行后续步骤S102。
在本实施例中，将采用本实施例提供的方法实现数据异常检测的任一服务器定义为目标服务器，并将标服务器产生的时序数据定义为目标数据。目标数据可以是从目标服务器上提取出一系列特征，如内存占用，CPU使用率，网络吞吐量，磁盘访问频率等等。进而可以利用这些特征执行后续步骤S102.。
需要说明的是，本申请不限定目标数据的获取方式，可根据实际情况进行获取，比如，可以采用开源组件Beats来采集目标服务器产生的时序数据，作为待检测的目标数据等。
S102：对目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到ES中。
在本实施例中，通过步骤S101获取到待检测的目标数据后，进一步可以采用现有或未来出现的数据处理方式，对目标数据进行预处理(即对目标数据进行数据过滤、归一化、格式转换等预处理操作)，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并将预处理后的数据输入到ES中，用以执行后续步骤S103。
S103：利用ES中预先构建的服务器数据异常检测模型，对预处理后的数据进行检测，以检测出目标服务器产生的时序数据的异常状态。
在本实施例中，通过步骤S102对目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到ES中后，进一步可以利用ES中存储的、预先构建的服务器数据异常检测模型，对输入的预处理后的数据进行检测，以检测出目标服务器产生的时序数据的异常状态。
需要说明的是，为实现本步骤S103，需要预先构建一个服务器数据异常检测模型，具体构建过程可参见后续第二实施例的相关介绍。
进一步的，一种可选的实现方式是，在检测出目标服务器产生的时序数据的异常状态后，可以通过可视化页面，将检测出的目标服务器产生的时序数据的异常状态进行展示，以实现对目标服务器的实时监控以及实时的异常告警。
综上，本实施例提供的一种服务器数据异常检测方法，首先获取待检测的目标数据，其中，目标数据为目标服务器产生的时序数据，然后，对目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到ES中，进而，可以利用ES中预先构建的服务器数据异常检测模型，对预处理后的数据进行检测，以检测出目标服务器产生的时序数据的异常状态，从而能够使用机器学习算法，对目标服务器产生的时序数据进行准确的建模检测，以实时监控目标服务器运行状况，保证了目标服务器的稳定运行。
第二实施例
本实施例将对第一实施例中提及的服务器数据异常检测模型的具体构建过程进行介绍。
步骤A1：获取服务器训练数据。
在本实施例中，为了构建服务器数据异常检测模型，需要预先进行大量的准备工作，首先，需要收集服务器训练数据，比如，可以预先收集1000条服务器产生的时序数据，并将收集到的服务器产生的每一条时序数据分别作为样本数据，并预先通过人工标注出这些样本数据表征的异常状态类型，用以训练服务器数据异常检测模型。
步骤A2：对训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据。
在本实施例中，通过步骤A1获取到服务器训练数据后，并不能直接用于训练生成服务器数据异常检测模型，而是需要对训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据，进而可以利用提取出的处理后的训练数据的数据特征，训练得到服务器数据异常检测模型。
步骤A3：利用预处理后的训练数据以及所服务器训练数据对应的异常状态检测标签对初始服务器数据异常检测模型进行训练，生成服务器数据异常检测模型。
在本实施例中，通过步骤A2对训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据，并提取出处理后的训练数据的数据特征后，进一步的，可以利用该预处理后的训练数据以及所服务器训练数据对应的异常状态检测标签对初始服务器数据异常检测模型进行训练，进而生成服务器数据异常检测模型。
其中，初始服务器数据异常检测模型可是随机森林模型、卷积神经网络(Convolutional Neural Networks，简称CNN)或循环神经网络(Recurrent NeuralNetwork，简称RNN)等机器学习模型。
需要说明的是，在训练过程中，可以依次从模型训练数据中提取一条样本数据，进行多轮模型训练，直到满足训练结束条件为止，此时，即生成服务器数据异常检测模型。
具体地，在进行本轮训练时，可以将第一实施例中的目标数据替换为本轮提取的样本数据，通过当前的初始生成服务器数据异常检测模型，按照第一实施例中的步骤S101-S103的执行过程，便可以检测出该样本数据的异常状态类型。然后，可以将异常状态类型与对应的人工标注结果进行比较，并根据二者的差异对模型参数进行更新，直至满足预设的条件，比如差值变化幅度很小，则停止模型参数的更新，完成服务器数据异常检测模型的训练，生成一个训练好的服务器数据异常检测模型。
通过上述实施例，可以利用服务器训练数据训练生成服务器数据异常检测模型，则进一步的，可以利用服务器验证数据对生成的服务器数据异常检测模型进行验证。具体实现过程包括下述步骤B1-B4:
步骤B1：获取服务器验证数据。
在实际应用中，为了实现对服务器数据异常检测模型进行验证，首先需要获取服务器验证数据，其中，服务器验证数据指的是可以用来进行服务器数据异常检测模型验证的服务器产生的时序数据，在获取到服务器验证数据后，可继续执行后续步骤B2。
步骤B2：对验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据。
在实际应用中，通过步骤B1，获取到服务器验证数据后，并不能直接用于验证服务器数据异常检测模型，而是需要对验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据，进而可以利用提取出的预处理后的验证数据的数据特征，验证得到服务器数据异常检测模型。
步骤B3：将预处理后的验证数据输入服务器数据异常检测模型，获得服务器验证数据的异常状态检测结果。
在具体实现过程中，通过步骤B2，对验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据，并提取出预处理后的验证数据的数据特征后，进一步的，可以将预处理后的验证数据输入服务器数据异常检测模型，以获得服务器验证数据的异常状态检测结果，进而可继续执行后续步骤B4。
步骤B4：当服务器验证数据的异常状态检测结果与服务器验证数据对应的异常状态标记结果不一致时，将服务器验证数据重新作为服务器训练数据，对服务器数据异常检测模型进行更新。
在实际应用中，通过步骤B3，获得服务器验证数据的异常状态检测结果后，当该异常状态检测结果与服务器验证数据对应的人工标注结果不一致时，可以将该服务器验证数据重新作为服务器训练数据，对服务器数据异常检测模型进行更新。
通过上述实施例，可以利用服务器验证数据对服务器数据异常检测模型进行有效验证，当服务器验证数据的异常状态检测结果与服务器验证数据对应的人工标注结果不一致时，可以及时调整更新服务器数据异常检测模型，进而有助于提高服务器数据异常检测模型的检测精度和准确性。
综上，利用本实施例训练而成的服务器数据异常检测模型，可以利用预处理后的目标数据，检测出目标服务器产生的时序数据的异常状态，并且，在检测过程中，大幅度降低了参数和计算量，有效提高了对服务器产生的时序数据进行检测的效率及准确性。
第三实施例
本实施例将对一种服务器数据异常检测装置进行介绍，相关内容请参见上述方法实施例。
参见图2，为本实施例提供的一种服务器数据异常检测装置的组成示意图，该装置包括：
第一获取单元201，用于获取待检测的目标数据，所述目标数据为目标服务器产生的时序数据；
第一预处理单元202，用于对所述目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到所述ES中；
检测单元203，用于利用所述ES中预先构建的服务器数据异常检测模型，对所述预处理后的数据进行检测，以检测出所述目标服务器产生的时序数据的异常状态。
在本实施例的一种实现方式中，所述装置还包括：
第二获取单元，用于获取服务器训练数据；
第二预处理单元，用于对所述训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据；
训练单元，用于利用所述预处理后的训练数据以及所述服务器训练数据对应的异常状态检测标签对初始服务器数据异常检测模型进行训练，生成所述服务器数据异常检测模型。
在本实施例的一种实现方式中，所述装置还包括：
第三获取单元，用于获取服务器验证数据；
第三预处理单元，用于对所述验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据；
获得单元，用于将所述预处理后的验证数据输入所述服务器数据异常检测模型，获得所述服务器验证数据的异常状态检测结果；
更新单元，用于当所述服务器验证数据的异常状态检测结果与所述服务器验证数据对应的异常状态标记结果不一致时，将所述服务器验证数据重新作为所述服务器训练数据，对所述服务器数据异常检测模型进行更新。
在本实施例的一种实现方式中，所述装置还包括：
展示单元，用于通过可视化页面，将检测出的所述目标服务器产生的时序数据的异常状态进行展示。
综上，本实施例提供的一种服务器数据异常检测装置，首先获取待检测的目标数据，其中，目标数据为目标服务器产生的时序数据，然后，对目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到ES中，进而，可以利用ES中预先构建的服务器数据异常检测模型，对预处理后的数据进行检测，以检测出目标服务器产生的时序数据的异常状态，从而能够使用机器学习算法，对目标服务器产生的时序数据进行准确的建模检测，以实时监控目标服务器运行状况，保证了目标服务器的稳定运行。
进一步地，本申请实施例还提供了一种服务器数据异常检测设备，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述服务器数据异常检测方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述服务器数据异常检测方法的任一种实现方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种服务器数据异常检测方法，其特征在于，包括：
获取待检测的目标数据，所述目标数据为目标服务器产生的时序数据；
对所述目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到所述ES中；
利用所述ES中预先构建的服务器数据异常检测模型，对所述预处理后的数据进行检测，以检测出所述目标服务器产生的时序数据的异常状态。
2.根据权利要求1所述的方法，其特征在于，构建所述服务器数据异常检测模型，包括：
获取服务器训练数据；
对所述训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据；
利用所述预处理后的训练数据以及所述服务器训练数据对应的异常状态检测标签对初始服务器数据异常检测模型进行训练，生成所述服务器数据异常检测模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取服务器验证数据；
对所述验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据；
将所述预处理后的验证数据输入所述服务器数据异常检测模型，获得所述服务器验证数据的异常状态检测结果；
当所述服务器验证数据的异常状态检测结果与所述服务器验证数据对应的异常状态标记结果不一致时，将所述服务器验证数据重新作为所述服务器训练数据，对所述服务器数据异常检测模型进行更新。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
通过可视化页面，将检测出的所述目标服务器产生的时序数据的异常状态进行展示。
5.一种服务器数据异常检测装置，其特征在于，包括：
第一获取单元，用于获取待检测的目标数据，所述目标数据为目标服务器产生的时序数据；
第一预处理单元，用于对所述目标数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的数据，并输入到所述ES中；
检测单元，用于利用所述ES中预先构建的服务器数据异常检测模型，对所述预处理后的数据进行检测，以检测出所述目标服务器产生的时序数据的异常状态。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取服务器训练数据；
第二预处理单元，用于对所述训练数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的训练数据；
训练单元，用于利用所述预处理后的训练数据以及所述服务器训练数据对应的异常状态检测标签对初始服务器数据异常检测模型进行训练，生成所述服务器数据异常检测模型。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第三获取单元，用于获取服务器验证数据；
第三预处理单元，用于对所述验证数据进行预处理，以将其转换为符合分布式搜索引擎ES的数据接入格式的预处理后的验证数据；
获得单元，用于将所述预处理后的验证数据输入所述服务器数据异常检测模型，获得所述服务器验证数据的异常状态检测结果；
更新单元，用于当所述服务器验证数据的异常状态检测结果与所述服务器验证数据对应的异常状态标记结果不一致时，将所述服务器验证数据重新作为所述服务器训练数据，对所述服务器数据异常检测模型进行更新。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述装置还包括：
展示单元，用于通过可视化页面，将检测出的所述目标服务器产生的时序数据的异常状态进行展示。
9.一种服务器数据异常检测设备，其特征在于，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-4任一项所述的方法。
CN202010621809.1A 2020-07-01 2020-07-01 一种服务器数据异常检测方法、装置、存储介质及设备 Pending CN111767193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010621809.1A CN111767193A (zh) 2020-07-01 2020-07-01 一种服务器数据异常检测方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010621809.1A CN111767193A (zh) 2020-07-01 2020-07-01 一种服务器数据异常检测方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN111767193A true CN111767193A (zh) 2020-10-13

Family

ID=72724459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010621809.1A Pending CN111767193A (zh) 2020-07-01 2020-07-01 一种服务器数据异常检测方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN111767193A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112445679A (zh) * 2020-11-13 2021-03-05 上海优扬新媒信息技术有限公司 一种信息检测方法、装置、服务器及存储介质
CN112463783A (zh) * 2020-12-04 2021-03-09 广州品唯软件有限公司 索引数据监控方法、装置、计算机设备和存储介质
CN114861912A (zh) * 2022-07-06 2022-08-05 武汉山川软件有限公司 一种基于大数据的数据验证方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681250A (zh) * 2014-11-17 2016-06-15 中国信息安全测评中心 一种僵尸网络分布式实时检测方法和系统
CN110909327A (zh) * 2019-11-08 2020-03-24 支付宝(杭州)信息技术有限公司 一种异常检测模型更新方法、装置及电子设备
CN111061620A (zh) * 2019-12-27 2020-04-24 福州林科斯拉信息技术有限公司 一种混合策略的服务器异常智能检测方法及检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681250A (zh) * 2014-11-17 2016-06-15 中国信息安全测评中心 一种僵尸网络分布式实时检测方法和系统
CN110909327A (zh) * 2019-11-08 2020-03-24 支付宝(杭州)信息技术有限公司 一种异常检测模型更新方法、装置及电子设备
CN111061620A (zh) * 2019-12-27 2020-04-24 福州林科斯拉信息技术有限公司 一种混合策略的服务器异常智能检测方法及检测系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112445679A (zh) * 2020-11-13 2021-03-05 上海优扬新媒信息技术有限公司 一种信息检测方法、装置、服务器及存储介质
CN112445679B (zh) * 2020-11-13 2023-01-06 度小满科技(北京)有限公司 一种信息检测方法、装置、服务器及存储介质
CN112463783A (zh) * 2020-12-04 2021-03-09 广州品唯软件有限公司 索引数据监控方法、装置、计算机设备和存储介质
CN114861912A (zh) * 2022-07-06 2022-08-05 武汉山川软件有限公司 一种基于大数据的数据验证方法和装置
CN114861912B (zh) * 2022-07-06 2022-09-16 武汉山川软件有限公司 一种基于大数据的数据验证方法和装置

Similar Documents

Publication Publication Date Title
US20190228296A1 (en) Significant events identifier for outlier root cause investigation
US6973415B1 (en) System and method for monitoring and modeling system performance
CN111767193A (zh) 一种服务器数据异常检测方法、装置、存储介质及设备
US7082381B1 (en) Method for performance monitoring and modeling
CN111459700A (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
JP5933463B2 (ja) ログ生起異常検知装置及び方法
CN107168844B (zh) 一种性能监控的方法及装置
CN111539493A (zh) 一种告警预测方法、装置、电子设备及存储介质
CN111984442A (zh) 计算机集群系统的异常检测方法及装置、存储介质
CN114185760A (zh) 系统风险评估方法及装置、充电设备运维检测方法
CN111865673A (zh) 一种自动化故障管理方法、装置及系统
CN111340287A (zh) 配电柜运行状态预测方法及装置
US11822578B2 (en) Matching machine generated data entries to pattern clusters
CN114647558A (zh) 一种日志异常检测的方法和装置
CN111277427A (zh) 一种数据中心网络设备的巡检方法及系统
CN115580528A (zh) 故障根因定位方法、装置、设备及可读存储介质
CN115600695A (zh) 一种计量设备的故障诊断方法
CN111935279B (zh) 基于区块链和大数据的物联网络维护方法及计算节点
CN113537519B (zh) 一种识别异常设备的方法和装置
CN113254781A (zh) 推荐系统中的模型确定方法、装置、电子设备和存储介质
CN114416417A (zh) 系统异常监测方法、装置、设备及存储介质
CN115372752A (zh) 故障检测方法、装置、电子设备以及存储介质
CN117435441B (zh) 一种基于日志数据的故障诊断方法及装置
CN114064400B (zh) 一种it设备运维感知监控系统
CN114422392B (zh) 一种智能风险监控系统及风险监控的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination