CN111130940A - 异常数据检测方法、装置及服务器 - Google Patents

异常数据检测方法、装置及服务器 Download PDF

Info

Publication number
CN111130940A
CN111130940A CN201911368518.XA CN201911368518A CN111130940A CN 111130940 A CN111130940 A CN 111130940A CN 201911368518 A CN201911368518 A CN 201911368518A CN 111130940 A CN111130940 A CN 111130940A
Authority
CN
China
Prior art keywords
data
monitoring data
target detection
detection object
regression model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911368518.XA
Other languages
English (en)
Inventor
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongan Information Technology Service Co Ltd
Original Assignee
Zhongan Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongan Information Technology Service Co Ltd filed Critical Zhongan Information Technology Service Co Ltd
Priority to CN201911368518.XA priority Critical patent/CN111130940A/zh
Publication of CN111130940A publication Critical patent/CN111130940A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种异常数据检测方法、装置及服务器，该方法包括：获取目标检测对象在当前时刻的监测数据，以及当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征；根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据；根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测。由于采用历史监测数据和历史监测数据的时间特征，对当前时刻进行预测，能够适应数据自身变化趋势，提高了异常检测的准确率。

Description

异常数据检测方法、装置及服务器
技术领域
本发明涉及计算机技术领域，具体涉及一种异常数据检测方法、装置及服务器。
背景技术
随着计算机科学技术的不断发展，互联网中越来越多的应用运行于服务器上。运行数据的异常波动有可能反应了应用的异常状态，因此服务器需要对运行数据进行监测，以及时发现应用的异常状态并进行告警。
目前常用的异常数据检测方法主要包括固定阈值法。所谓固定阈值法是由人工设定数据某项指标的阈值，若当前时刻监测数据的该项指标达到该阈值时，判定为异常数据。显然，该方法无法适应数据自身随着时间的正常波动，导致检测的准确率低。举例来说，一个娱乐型应用在工作日和节假日的运行数据可能相差甚远；同一个应用在白天和夜间的运行数据也可能大相径庭。因此，亟需一种能够适应数据自身变化趋势的异常数据检测方法。
发明内容
本发明提供一种异常数据检测方法、装置及服务器，用于解决现有异常数据检测方法无法适应数据自身变化趋势，检测准确率低的问题。
根据第一方面，一种实施例中提供一种异常数据检测方法，包括：
获取目标检测对象在当前时刻的监测数据，以及当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征；
根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据；
根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测。
一种实施例中，根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据，包括：
根据历史监测数据和历史监测数据的时间特征，基于预先训练好的回归模型，确定目标检测对象在当前时刻的预测数据。
一种实施例中，确定目标检测对象在当前时刻的预测数据之前，所述方法还包括：
基于训练数据集对回归模型进行训练，训练数据集中的每一个训练样本包括数据部分和标签部分；
数据部分包括按照预设切分粒度对目标检测对象的历史数据进行切分，获取的第一预设数量的连续数据点以及各数据点所对应的时间特征；
标签部分包括数据部分的连续数据点后紧邻的数据点。
一种实施例中，基于训练数据集对回归模型进行训练，包括：
以每一个训练样本的数据部分作为回归模型的输入，以相应的标签部分作为回归模型的期望输出，确定回归模型的实际输出与期望输出的偏差；
根据第二预设数量的训练样本的偏差，对回归模型进行更新。
一种实施例中，回归模型采用多层卷积神经网络，多层卷积神经网络采用空洞卷积核。
一种实施例中，回归模型采用长短期记忆网络。
一种实施例中，目标检测对象包括以下对象中的至少一种：
CPU占用率、IO占用率、内存占用率、带宽占用率、网络入口流量和网络出口流量。
根据第二方面，一种实施例中提供一种异常数据检测装置，包括：
获取模块，用于获取目标检测对象在当前时刻的监测数据，以及当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征；
确定模块，用于根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据；
处理模块，用于根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测。
根据第三方面，一种实施例中提供一种服务器，包括：
存储器，用于存储程序；
处理器，用于通过执行存储器存储的程序以实现如第一方面任一项所述的异常数据检测方法。
根据第四方面，一种实施例中提供一种计算机可读存储介质，包括程序，程序能够被处理器执行以实现如第一方面任一项所述的异常数据检测方法。
依据上述实施例的异常数据检测方法、装置及服务器，通过获取目标检测对象在当前时刻的监测数据，以及当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征；然后根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据；最后根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测，实现了对异常数据的检测。由于采用了历史监测数据以及相对应的时间特征，对当前时刻进行预测，预测数据能够适应目标检测对象自身随时间的变化趋势，提高了异常数据检测的准确率。
附图说明
图1为本发明提供的异常数据检测方法一实施例的流程图；
图2为本发明提供的异常数据检测方法又一实施例的流程图；
图3为本发明一实施例提供的回归模型的结构示意图；
图4为本发明一实施例提供的异常数据检测装置的结构示意图；
图5为本发明一实施例提供的服务器的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
现有技术中，基于固定阈值法的异常数据检测一般依据x(t-1)-x(t)>a，其中，x(t)为当前时刻的监测数据，x(t-1)为前一时刻的监测数据，a为设定的固定阈值。可见，该方法无法适应数据自身的变化趋势，对于处于快速上升阶段突然增速放缓的数据以及处于持续的快速下降期的数据来说，易产生误报，异常数据检测准确率低；且固定阈值的选取需要丰富的经验，数据检测效率较低。
鉴于此，本发明实施例提出了一种异常数据检测方法，该方法通过当前时刻之前一段时间的历史监测数据以及相对应的时间特征，对当前时刻进行预测以获取预测数据，并根据预测数据与监测数据的相对误差来确定当前时刻的监测数据是否异常，该方法能够适应数据随时间的变化趋势，从而大幅提升了异常数据检测的准确性。
图1为本发明提供的异常数据检测方法一实施例的流程图。该方法可以由服务器执行。如图1所示，本实施例提供的异常数据检测方法可以包括：
S101、获取目标检测对象在当前时刻的监测数据，以及当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征。
当应用程序运行于服务器上时，服务器性能指标的异常波动可能反应了应用的异常状态，因此可以通过服务器性能指标的监测数据来检测异常。本实施例中的目标检测对象例如可以包括以下对象中的至少一种：CPU占用率、IO占用率、内存占用率、带宽占用率、网络入口流量和网络出口流量。因此，本实施例中的监测数据可以是关于单个对象的，例如可以是当前时刻的CPU占用率，或者可以是当前时刻的带宽占用率；本实施例中的监测数据还可以是关于多个对象的，例如可以是当前时刻的内存占用率和网络出口流量。
本实施例中预设时间段可以根据实际需要进行设置。本实施例中获取当前时刻之前预设时间段的历史监测数据，例如可以按照预设时间间隔为监测粒度，获取当前时刻之前预设数量个监测粒度的历史监测数据，预设时间间隔与预设数量的乘积即为预设时间段。具体的，假设预设时间段为1小时，预设时间间隔为10分钟，则预设数量为6个，即若获取的当前时刻的监测数据为Xt，则历史监测数据可以为{Xt-6，Xt-5，Xt-4，Xt-3，Xt-2，Xt-1}，其中，Xt-1为当前时刻的前一个预设时间间隔的监测数据，Xt-3为当前时刻的前三个预设时间间隔的监测数据。
本实施例中时间特征的具体表现方式可以根据目标检测对象的变化周期确定。在一种可选的实施方式中，时间特征可以按照星期进行度量，例如可以包括：星期一、星期二、星期三、星期四、星期五、星期六、星期天；在另一种可选的实施方式中，时间特征可以按照小时进行度量，例如可以包括：00:00-01:00、01:00-02:00、02:00-03:00、……、23:00-24:00；在又一种可选的实施方式中，时间特征例如可以包括白昼(08:00-20:00)和黑夜(20:00-08:00)；在另一种可选的实施方式中，时间特征还可以根据月份进行度量，例如可以包括：一月、二月、三月、四月、五月、六月、七月、八月、九月、十月、十一月和十二月。
S102、根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据。
本实施例中在确定历史监测数据以及历史监测数据的时间特征之后，则根据历史监测数据以及历史监测数据的时间特征对当前时刻进行预测。
需要说明的是，相同的监测数据在不同时间段其状态有可能是不同的。举例来说，以工作型应用程序为例，80％的CPU占用率在星期一是正常的，而同样是80％的CPU占用率在星期天则可能是异常的。
本实施例在对当前时刻进行预测时，不仅考虑了当前时刻之前的历史监测数据，而且综合考虑了历史监测数据的时间特征，能够更好地适应目标检测对象自身随着时间的变化趋势。
可以采用机器学习方法，根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据。
在一种可选的实施方式中，根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据，具体可以包括：根据历史监测数据和历史监测数据的时间特征，基于预先训练好的回归模型，确定目标检测对象在当前时刻的预测数据。
回归模型是对统计关系进行定量描述的一种数学模型，通过预测性的建模技术，研究因变量和多个自变量之间的关系。本实施例中的因变量为目标检测对象在当前时刻的预测数据，本实施例中多个自变量为历史监测数据和历史监测数据的时间特征。通过回归模型可以有效的度量多个自变量对因变量的影响程度。
S103、根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测。
本实施例在确定目标检测对象在当前时刻的预测数据之后，则根据预测数据与监测数据确定相对误差。需要说明的是，不同目标检测对象的数据不具有可比性，如CPU占用率为0-1之间的数值，而网络出口流量则可能达到万兆字节每秒的量级。因此为便于准确地进行异常检测，本实施例中根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测。例如可以预先设置相对误差的阈值为20％，当预测数据与监测数据的相对误差大于等于20％时，则确定目标检测对象在当前时刻的监测数据为异常数据；反之，则确定目标检测对象在当前时刻的监测数据为正常数据。
本实施例提供的异常数据检测方法，通过获取目标检测对象在当前时刻的监测数据，以及当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征；然后根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据；最后根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测，实现了对异常数据的检测。由于采用了历史监测数据以及相对应的时间特征，对当前时刻进行预测，预测数据能够适应目标检测对象自身随时间的变化趋势，提高了异常数据检测的准确率。
图2为本发明提供的异常数据检测方法又一实施例的流程图。如图2所示，本实施例提供的异常数据检测方法可以包括：
S201、获取目标检测对象在当前时刻的监测数据。
S202、确定目标检测对象在当前时刻的预测数据。
具体实施方式可以参考上述实施例。例如可以根据当前时刻之前的历史数据以及相应的时间特征，采用机器学习的方法，确定目标检测对象在当前时刻的预测数据。
S203、判断预测数据与监测数据的相对误差是否大于预设阈值。若大于预设阈值，则执行S204；反之，则执行S205。
本实施例中预测数据与监测数据的相对误差例如可以根据(预测数据-监测数据)/监测数据确定。预设阈值例如可以设置为20％。
S204、确定监测数据为异常数据。
当相对误差大于预设阈值时，确定监测数据为异常数据。当确定监测数据为异常数据时，可以进行告警。例如服务器可以播放异常数据警报音，或者，点亮异常数据警示灯，或者将相应的告警信息发送至相关负责人员等。该告警信息的通知方式包括但不限于微信、短信、邮件、企业级通信平台等。
S205、确定监测数据为正常数据。
当相对误差小于等于预设阈值时，确定监测数据为正常数据，继续进行监测。
本实施例提供的异常数据检测方法，由于采用了历史监测数据以及相对应的时间特征，对当前时刻进行预测，预测数据能够适应目标检测对象自身随时间的变化趋势，提高了异常数据检测的准确率；由于采用相对误差对监测数据进行异常检测，进一步提高了异常数据检测的准确率。
在上述实施例的基础上，当基于预先训练好的回归模型，根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据时，在确定目标检测对象在当前时刻的预测数据之前，需要对回归模型进行训练。
基于有监督学习方法对回归模型进行训练，模型准确率高，进而可以提高异常数据检测的准确率。然而该方法需要大量的人工标注数据作为训练样本，人力成本高。本申请提出一种无须人工标注的，有监督学习方法对回归模型进行训练，在确保模型准确率的基础上，节省人力成本。下面通过具体的实施例来详细说明如何对回归模型进行训练。
本实施例提供的异常数据检测方法中，在确定目标检测对象在当前时刻的预测数据之前，基于训练数据集对回归模型进行训练，训练数据集中的每一个训练样本包括数据部分和标签部分；其中，数据部分包括按照预设切分粒度对目标检测对象的历史数据进行切分，获取的第一预设数量的连续数据点以及各数据点所对应的时间特征；标签部分包括数据部分的连续数据点后紧邻的数据点。
举例来说，可以先获取目标检测对象的历史数据，按照预设切分粒度对历史数据进行切分，预设切分粒度例如可以是一分钟、一小时、一天等，将历史数据切分为若干个连续的数据点。比如可以将第1个至第300个连续的数据点以及相应的时间特征作为x1，将第301个数据点作为y1，(x1，y1)组成一个训练样本；将第2个至第301个连续的数据点以及相应的时间特征作为x2，将第302个数据点作为y2，(x2，y2)组成一个训练样本。以此类推，在整个时间序列上移动取值，从而可以形成多个训练样本，组成训练数据集，用于对回归模型进行训练。
本实施例通过将数据部分之后紧邻的数据点作为该数据部分对应的标签部分，组成训练样本对回归模型进行训练，实现了基于有监督学习方法对回归模型的训练，有助于提高回归模型的准确率，且该方法中无需人工对数据进行标注，节省了人力成本。
可以理解的是，目标检测对象的历史数据中可能存在少量的异常数据，为了降低异常数据对于模型训练的干扰，本实施例中基于训练数据集对回归模型进行训练具体可以包括：以每一个训练样本的数据部分作为回归模型的输入，以相应的标签部分作为回归模型的期望输出，确定回归模型的实际输出与期望输出的偏差；根据第二预设数量的训练样本的偏差，对回归模型进行更新。
举例来说，假设第二预设数量为10，则可以将这10个训练样本的数据部分分别输入回归模型，得到10个实际输出，然后分别根据10个训练样本的标签部分和10个实际输出确定出10个偏差。可以根据这10个偏差的平均值，对回归模型进行更新；或者，可以根据这10个偏差的中值，对回归模型进行更新。若10个训练样本中存在异常数据，则通过对偏差进行平均或者取中值，可以有效降低异常数据对于模型更新的干扰。在实践中，对回归模型的模型参数进行更新时，通常可以采用较大的批次样本数来更新参数，或者采用累加多个批次的梯度后再更新梯度的方式来降低异常点的损失对梯度的影响
在一种可选的实施方式中，回归模型可以采用多层卷积神经网络，多层卷积神经网络可以采用空洞卷积核。请参考图3，本实施例提供的回归模型层数为4层，分别为：输入层、隐藏层1、隐藏层2和隐藏层3。使用空洞卷积核，卷积核长度为2，空洞数随着层数增加而变多，第一层为1，后续每增加一层空洞数增加一倍。通过采用空洞卷积的方式可以扩大卷积覆盖范围，从而可以用较少的层数覆盖较长的时间范围，即可以使用更多的历史数据用于对当前时刻进行预测。如图3所示，隐藏层1的卷积核没有加入空洞，可以看到输入层连续的两个时间点的数据；隐藏层2的卷积核加入了一个空洞(空洞略过的点用空心圆表示)，这一层的一个点可以看到输入层连续的4个点；隐藏层3的一个点可以看到输入层连续的8个点。通过多层空洞卷积叠加的方式，上层的一个点可以看到输入层很长时间范围内的点。且采用空洞卷积可以减少模型参数，从而可以加速模型的训练过程。
在一种可选的实施方式中，回归模型可以采用长短期记忆网络(Long Short-TermMemory，简称：LSTM)。LSTM是一种时间循环神经网络，适于处理长输入序列的信息传递问题。因此采用LSTM根据当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征对当前时刻进行预测，有助于提高预测的准确性。
需要说明的是，本申请中的回归模型除了采用上述的卷积神经网络和LSTM之外，还可以使用其他结构的神经网络。
本发明实施例还提供一种异常数据检测装置，请参见图4所示，本发明实施例仅以图4为例进行说明，并不表示本发明仅限于此。图4为本发明一实施例提供的异常数据检测装置的结构示意图。如图4所示，本实施例提供的异常数据检测装置40可以包括：获取模块401、确定模块402和处理模块403。
获取模块401，用于获取目标检测对象在当前时刻的监测数据，以及当前时刻之前预设时间段的历史监测数据和历史监测数据的时间特征；
确定模块402，用于根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据；
处理模块403，用于根据预测数据与监测数据的相对误差，对目标检测对象在当前时刻的监测数据进行异常检测。
可选的，确定模块402用于根据历史监测数据和历史监测数据的时间特征，确定目标检测对象在当前时刻的预测数据，具体可以包括：
根据历史监测数据和历史监测数据的时间特征，基于预先训练好的回归模型，确定目标检测对象在当前时刻的预测数据。
可选的，异常数据检测装置40还可以包括训练模块(图中未示出)，用于在确定目标检测对象在当前时刻的预测数据之前，基于训练数据集对回归模型进行训练，训练数据集中的每一个训练样本包括数据部分和标签部分；
数据部分包括按照预设切分粒度对目标检测对象的历史数据进行切分，获取的第一预设数量的连续数据点以及各数据点所对应的时间特征；
标签部分包括数据部分的连续数据点后紧邻的数据点。
可选的，训练模块用于基于训练数据集对回归模型进行训练，具体可以包括：
以每一个训练样本的数据部分作为回归模型的输入，以相应的标签部分作为回归模型的期望输出，确定回归模型的实际输出与期望输出的偏差；
根据第二预设数量的训练样本的偏差，对回归模型进行更新。
可选的，回归模型可以采用多层卷积神经网络，多层卷积神经网络采用空洞卷积核。
可选的，回归模型可以采用长短期记忆网络。
可选的，目标检测对象包括以下对象中的至少一种：CPU占用率、IO占用率、内存占用率、带宽占用率、网络入口流量和网络出口流量。
本发明实施例还提供一种服务器，请参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。图5为本发明一实施例提供的服务器的结构示意图。如图5所示，本实施例提供的服务器50可以包括：存储器501、处理器502和总线503。其中，总线503用于实现各元件之间的连接。
存储器501中存储有计算机程序，计算机程序被处理器502执行时可以实现上述任一方法实施例的技术方案。
其中，存储器501和处理器502之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线503连接。存储器501中存储有实现异常数据检测方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器501中的软件功能模块，处理器502通过运行存储在存储器501内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器501可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器501用于存储程序，处理器502在接收到执行指令后，执行程序。进一步地，上述存储器501内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器502可以是一种集成电路芯片，具有信号的处理能力。上述的处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图5的结构仅为示意，还可以包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件和/或软件实现。
需要说明的是，本实施例提供的服务器包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种异常数据检测方法，其特征在于，包括：
获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据和所述历史监测数据的时间特征；
根据所述历史监测数据和所述历史监测数据的时间特征，确定所述目标检测对象在当前时刻的预测数据；
根据所述预测数据与所述监测数据的相对误差，对所述目标检测对象在当前时刻的监测数据进行异常检测。
2.如权利要求1所述的方法，其特征在于，所述根据所述历史监测数据和所述历史监测数据的时间特征，确定所述目标检测对象在当前时刻的预测数据，包括：
根据所述历史监测数据和所述历史监测数据的时间特征，基于预先训练好的回归模型，确定所述目标检测对象在当前时刻的预测数据。
3.如权利要求2所述的方法，其特征在于，所述确定所述目标检测对象在当前时刻的预测数据之前，所述方法还包括：
基于训练数据集对所述回归模型进行训练，所述训练数据集中的每一个训练样本包括数据部分和标签部分；
所述数据部分包括按照预设切分粒度对所述目标检测对象的历史数据进行切分，获取的第一预设数量的连续数据点以及各数据点所对应的时间特征；
所述标签部分包括所述数据部分的连续数据点后紧邻的数据点。
4.如权利要求3所述的方法，其特征在于，所述基于训练数据集对所述回归模型进行训练，包括：
以每一个训练样本的数据部分作为所述回归模型的输入，以相应的标签部分作为所述回归模型的期望输出，确定所述回归模型的实际输出与所述期望输出的偏差；
根据第二预设数量的训练样本的偏差，对所述回归模型进行更新。
5.如权利要求2所述的方法，其特征在于，所述回归模型采用多层卷积神经网络，所述多层卷积神经网络采用空洞卷积核。
6.如权利要求2所述的方法，其特征在于，所述回归模型采用长短期记忆网络。
7.如权利要求1至6中任一项所述的方法，其特征在于，所述目标检测对象包括以下对象中的至少一种：
CPU占用率、IO占用率、内存占用率、带宽占用率、网络入口流量和网络出口流量。
8.一种异常数据检测装置，其特征在于，包括：
获取模块，用于获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据和所述历史监测数据的时间特征；
确定模块，用于根据所述历史监测数据和所述历史监测数据的时间特征，确定所述目标检测对象在当前时刻的预测数据；
处理模块，用于根据所述预测数据与所述监测数据的相对误差，对所述目标检测对象在当前时刻的监测数据进行异常检测。
9.一种服务器，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1至7中任一项所述的异常数据检测方法。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1至7中任一项所述的异常数据检测方法。
CN201911368518.XA 2019-12-26 2019-12-26 异常数据检测方法、装置及服务器 Pending CN111130940A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911368518.XA CN111130940A (zh) 2019-12-26 2019-12-26 异常数据检测方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911368518.XA CN111130940A (zh) 2019-12-26 2019-12-26 异常数据检测方法、装置及服务器

Publications (1)

Publication Number Publication Date
CN111130940A true CN111130940A (zh) 2020-05-08

Family

ID=70503241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911368518.XA Pending CN111130940A (zh) 2019-12-26 2019-12-26 异常数据检测方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN111130940A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726341A (zh) * 2020-06-02 2020-09-29 五八有限公司 一种数据检测方法、装置、电子设备及存储介质
CN112444748A (zh) * 2020-10-12 2021-03-05 武汉蔚来能源有限公司 电池异常检测方法、装置、电子设备及存储介质
CN112685273A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异常检测方法、装置、计算机设备和存储介质
CN112697306A (zh) * 2020-12-09 2021-04-23 东软睿驰汽车技术（沈阳）有限公司 一种电池包内部温度异常的检测方法、装置及相关产品
CN112995195A (zh) * 2021-03-17 2021-06-18 北京安天网络安全技术有限公司 一种异常行为预测方法和装置
CN113126512A (zh) * 2021-04-01 2021-07-16 青岛海尔空调器有限总公司 用于数据上报的方法、装置和智能家电设备
CN113179191A (zh) * 2021-04-01 2021-07-27 众安信息技术服务有限公司 一种网络性能监控方法、装置及电子设备
CN113221070A (zh) * 2021-05-14 2021-08-06 深圳市安泰数据监测科技有限公司 岩土工程的变形数据预测方法、装置及设备
CN113286128A (zh) * 2021-06-11 2021-08-20 上海兴容信息技术有限公司 一种检测目标对象的方法和系统
CN113407422A (zh) * 2021-08-20 2021-09-17 太平金融科技服务(上海)有限公司深圳分公司 数据异常告警处理方法、装置、计算机设备和存储介质
WO2022142120A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 基于人工智能的数据检测方法、装置、服务器及存储介质
CN115334560A (zh) * 2022-08-19 2022-11-11 中国联合网络通信集团有限公司 基站异常的监测方法、装置、设备及计算机可读存储介质
CN115408449A (zh) * 2022-10-28 2022-11-29 支付宝(杭州)信息技术有限公司 一种用户行为的处理方法、装置及设备
WO2023088315A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 基于深度学习的发电设备异常检测方法及系统
CN117076260A (zh) * 2023-10-17 2023-11-17 杭州和利时自动化有限公司 一种参数及设备异常检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器
CN110535864A (zh) * 2019-08-30 2019-12-03 北京达佳互联信息技术有限公司 服务异常检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器
CN110535864A (zh) * 2019-08-30 2019-12-03 北京达佳互联信息技术有限公司 服务异常检测方法、装置、设备及存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726341A (zh) * 2020-06-02 2020-09-29 五八有限公司 一种数据检测方法、装置、电子设备及存储介质
CN112444748A (zh) * 2020-10-12 2021-03-05 武汉蔚来能源有限公司 电池异常检测方法、装置、电子设备及存储介质
CN112697306A (zh) * 2020-12-09 2021-04-23 东软睿驰汽车技术（沈阳）有限公司 一种电池包内部温度异常的检测方法、装置及相关产品
CN112685273A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异常检测方法、装置、计算机设备和存储介质
WO2022142120A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 基于人工智能的数据检测方法、装置、服务器及存储介质
CN112995195A (zh) * 2021-03-17 2021-06-18 北京安天网络安全技术有限公司 一种异常行为预测方法和装置
CN113126512A (zh) * 2021-04-01 2021-07-16 青岛海尔空调器有限总公司 用于数据上报的方法、装置和智能家电设备
CN113179191A (zh) * 2021-04-01 2021-07-27 众安信息技术服务有限公司 一种网络性能监控方法、装置及电子设备
CN113221070A (zh) * 2021-05-14 2021-08-06 深圳市安泰数据监测科技有限公司 岩土工程的变形数据预测方法、装置及设备
CN113286128A (zh) * 2021-06-11 2021-08-20 上海兴容信息技术有限公司 一种检测目标对象的方法和系统
CN113407422B (zh) * 2021-08-20 2021-11-09 太平金融科技服务(上海)有限公司深圳分公司 数据异常告警处理方法、装置、计算机设备和存储介质
CN113407422A (zh) * 2021-08-20 2021-09-17 太平金融科技服务(上海)有限公司深圳分公司 数据异常告警处理方法、装置、计算机设备和存储介质
WO2023088315A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 基于深度学习的发电设备异常检测方法及系统
CN115334560A (zh) * 2022-08-19 2022-11-11 中国联合网络通信集团有限公司 基站异常的监测方法、装置、设备及计算机可读存储介质
CN115334560B (zh) * 2022-08-19 2024-05-07 中国联合网络通信集团有限公司 基站异常的监测方法、装置、设备及计算机可读存储介质
CN115408449A (zh) * 2022-10-28 2022-11-29 支付宝(杭州)信息技术有限公司 一种用户行为的处理方法、装置及设备
CN117076260A (zh) * 2023-10-17 2023-11-17 杭州和利时自动化有限公司 一种参数及设备异常检测方法及装置
CN117076260B (zh) * 2023-10-17 2024-01-26 杭州和利时自动化有限公司 一种参数及设备异常检测方法及装置

Similar Documents

Publication Publication Date Title
CN111130940A (zh) 异常数据检测方法、装置及服务器
US10896378B2 (en) Fast detection of energy consumption anomalies in buildings
US20230162063A1 (en) Interpretability-based machine learning adjustment during production
US10936940B2 (en) Arrangement and method for predicting road friction within a road network
US10630565B2 (en) Overload management for internet of things (IoT) gateways
US10305773B2 (en) Device identity augmentation
CN110888788A (zh) 异常检测方法、装置、计算机设备及存储介质
US11080620B2 (en) Localizing energy consumption anomalies in buildings
US20170220407A1 (en) Automatic model generation for performance monitoring
US11805005B2 (en) Systems and methods for predictive assurance
US20190258959A1 (en) Remote control signal processing in real-time partitioned time-series analysis
US11677770B2 (en) Data retrieval for anomaly detection
JP2013196698A (ja) システム監視
WO2020066052A1 (ja) 監視システム及び監視方法
CN115280337A (zh) 基于机器学习的数据监控
US20200310786A1 (en) Non-Stop Internet-of-Things (IoT) Controllers
CN108921223B (zh) 一种服务器冷却系统及控制方法、计算机程序、计算机
US11874328B2 (en) Detecting battery changeout
US10742534B2 (en) Monitoring system for metric data
CN109343952B (zh) 贝叶斯网络确定方法、装置、存储介质和电子设备
KR20210058468A (ko) 지능형 에지 네트워킹의 인공지능 운용자 지원 시스템 장치 및 방법
CN113329128B (zh) 话务数据预测方法及装置、电子设备、存储介质
US11228606B2 (en) Graph-based sensor ranking
US9047572B2 (en) Mode determination for multivariate time series data
Antunes et al. Adaptive sampling and actuation for pomdps: Application to precision agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508