CN108829535A - 数据处理方法、终端及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种数据处理方法、终端及计算机可读存储介质。数据处理方法，包括以下步骤：获取样本数据；根据样本数据的均值及标准差生成基于正态分布的指标数据；获取待测数据；判断待测数据是否落入指标数据的动态标准范围内；当待测数据落入指标数据的动态标准范围外时，确定待测数据为异常数据，并对异常数据告警，及记录以异常数据产生的时刻为基准时刻的前一预设时域内的待测数据，用作告警预测数据。采用上述技术方案后，通过自学习不同类型数据的规律，以判断数据的正常范围和异常范围，可极大地提高运维人员的工作效率，减少待测设备发生故障的可能性。

Description

数据处理方法、终端及计算机可读存储介质

技术领域

本发明涉及设备运维领域，尤其涉及一种数据处理方法、终端及计算机可读存储介质。

背景技术

随着计算机技术，以及互联网的发展，各种数据被加工应用，机器的学习能力逐渐提高的现状下，大量数据被收集和处理。

为配合大幅增加的需要处理的数据量，服务器和虚拟服务器的数量也增长迅速，大量服务器间协作方式更趋于复杂，导致大量数据堆积。由此产生了两个主要需求，一是如何管理不断产生的数据，进行日常系统检测，建立相关经验模型，形成洞察, 建立模型，以预先判断问题，防范于未然。二是一旦出现问题需要通过查看系统指标，相关日志进行排障，时间非常重要，需要有工具来快速缩小范围或者直接进行根因定位。

为实现上述需求，现有向用户提供指标监控功能的产品，其主要工作方式为对数据的采集和存储，并在存储形成的数据库中对数据进行分析，分析的方式通常为：固定阈值比较，动态基线法和高斯分布法。上述传统的算法各有实际应用中的弊病，如固定阈值比较法，考虑到设备的老化、变化，所设定的固定阈值无法作为长久比较的标准值，误检率、错检率较高，动态基线法和高斯分布法较难应用于不同识别环境和识别模式，且易受到信噪比较低的数据中脏数据的影响，误差同样较大。

因此，需要一种新型的数据处理方法和数据处理终端，通过自学习摸索不同模式下数据的规律，以判断数据的正常范围和异常范围，可极大地提高运维人员的工作效率，减少待测设备发生故障的可能性。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种数据处理方法、终端及计算机可读存储介质，可在任意时刻下学习研究待测设备的历史数据，根据待测设备的变化情况调整检测方案和检测逻辑，提高告警的准确率，并可预测故障的发生，方便用户提前做好应急预案。

本发明公开了一种数据处理方法，包括以下步骤：

获取样本数据；

根据所述样本数据的均值及标准差生成基于正态分布的指标数据；

获取待测数据；

判断所述待测数据是否落入所述指标数据的动态标准范围内；

当所述待测数据落入所述指标数据的动态标准范围外时，确定所述待测数据为异常数据，并对所述异常数据告警，及记录以所述异常数据产生的时刻为基准时刻的前一预设时域内的待测数据，用作告警预测数据。

优选地，根据所述样本数据的均值及标准差生成基于正态分布的指标数据的步骤包括：

计算所述样本数据的均值，并根据所述样本数据的均值计算所述样本数据的标准差；

计算所述标准差与所述样本数据的求和数据的比值，并将所述比值作为所述指标数据。

优选地，根据所述样本数据的均值及标准差生成基于正态分布的指标数据的步骤还包括：

基于一平滑参数，加权计算所述样本数据以形成一指数加权参数；

计算所述指数加权参数与所述比值的乘积，将所述乘积作为所述指标数据。

优选地，判断所述待测数据是否落入所述指标数据的动态标准范围内的步骤包括：

预设一基准值 ；

计算所述待测数据大于或等于一参照变量x的概率小于所述基准值 下的所述参照变量x，

判断所述待测数据是否大于所述参照变量x，以确认所述待测数据是否落入所述指标数据的动态标准范围内。

优选地，判断所述待测数据是否落入所述指标数据的动态标准范围内的步骤还包括：

读取历史数据；

将所述历史数据与所述待测数据中的部分或全部比较；

判断比较的所述待测数据中的部分或全部在所述历史数据中出现次数是否超过一预设值，以确认所述待测数据是否落入所述指标数据的动态标准范围内。

优选地，获取样本数据的步骤包括：

采集一实时数据；

获取所述实时数据内基于一预设周期的值为所述样本数据。

优选地，当所述待测数据落入所述指标数据的动态标准范围外时，确定所述待测数据为异常数据，并对所述异常数据告警的步骤包括：

确定所述待测数据为异常数据时，于一显示界面显示所述异常数据的信息及警告；

确定产生所述异常数据的设备，根据数据库或历史经验判断所述设备内生成所述异常数据的故障源。

优选地，所述数据处理方法还包括：

确定产生所述异常数据的设备，排查所述设备内生成所述异常数据的故障源的真实性；

当所述故障源不存在时，记录所述异常数据至告警预测数据内，并标记所述异常数据为正常数据。

本发明还公开了一种数据处理终端，包括中央控制模块，所述中央控制模块包括：

输入单元，用于获取样本数据及待测数据；

计算单元，与所述输入单元连接，接收所述样本数据并根据所述样本数据的均值及标准差生成基于正态分布的指标数据；

比较单元，与所述输入单元及计算单元连接，接收所述待测数据及指标数据，并判断所述待测数据是否落入所述指标数据的动态标准范围内；

控制单元，与所述比较单元连接，当所述待测数据落入所述指标数据的动态标准范围外时，确定所述待测数据为异常数据，并外发一告警信号，及记录以所述异常数据产生的时刻为基准时刻的前一预设时域内的待测数据，用作告警预测数据。

本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1. 通过实时自学习及非监督在线学习的方式，可在无用户操作下快速地获取待测设备的运行情况，节省数据处理时间和用户操作步骤；

2. 可适用于不同设备类型及设备生成的不同数据类型，应用范围广；

3. 告警率更加精确，可有效减少误检情况和错检情况的发生；

4. 通过不断地学习和完善，可根据故障发生前的近似规律，提前告警，方便用户提早准备排查设备及排除故障。

附图说明

图1为符合本发明一优选实施例中数据处理方法的流程示意图；

图2为符合本发明一优选实施例中判断待测数据是否为异常数据的流程示意图；

图3为符合本发明一优选实施例中根据历史数据判断待测数据是否为异常数据的流程示意图；

图4为符合本发明一进一步优选实施例中数据处理方法的流程示意图；

图5为符合本发明另一优选实施例中数据处理方法的流程示意图；

图6为符合本发明一优选实施例中数据处理终端的系统结构示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

用户在面对不同指标类型（数值类、业务类、日志类）的数据（比如CPU使用率，I/O读取速度）中，以一个长期时域为观察轴查看时，其运行是相对平稳的，异常的数据波动非常稀少, 而异常的数据波动出现的主要表现是其数据波动在模式上与正常数据的波动有模式区别，也就是说，正常数据中，出现数据波动也是较为常见的现象。本发明的实施例在数据波动中识别波动更为异常的情况，以进行进一步排障和智能预测。

参阅图1，为符合本发明一优选实施例中数据处理方法的流程示意图，在该实施例中，对数据处理的方式，包括以下步骤：

- 获取样本数据

首先，对需要确定是否发生故障的设备或部件进行样本数据的搜集。例如，为确认服务器、操作终端如智能手机、智能平板电脑等设备的芯片是否超负荷运行、线程是否正常等，可从此类待测设备或待测部件的数据库或日志文件中获取历史数据，作为形成后续参照对象的样本数据。若待测设备或部件不具有缓存历史数据的功能，则可通过在一段时间内，如1周、2周内试运行，在试运行的过程中，所产生的新的运行数据，也可作为样本数据被采集和利用。

可以理解的是，为了定制化每个设备或部件的检测策略，对于同一类型、甚至同一批次生产的设备或部件而言，优选地，样本数据不在不同设备间共用，在获取样本数据时，每个设备或部件都作为单独的器件被处理，从而实现对每一个设备或部件在后续数据处理过程中，初始的参照样本均为该同一设备或部件之前运行时的状态表示，进一步提高了检测的精准性。

对于不同实施例中使用的不同设备而言，所获取的样本数据也都不尽相同，如直接以数字的形式体现，实时表示设备运行状态的指标类数据，如以指定国家语言为编写工具，表示设备工作内容的业务类数据，亦或是存储在设备后台，供后续调阅和排查故障而用的日志类数据。上述不同类型的样本数据均可被获取，以作后续之用。

- 根据样本数据的均值及标准差生成基于正态分布的指标数据

在获取大量的样本数据后，该样本数据反映了其形成的时域内，具有该样本数据的设备的运行情况。因此，在该步骤中，首先通过统计学的计算得到样本数据的均值和样本数据的标准差，根据均值和标准差，获得一指标数据，该指标数据由均值作为所生成的表示指标数据的概率曲线的中心点，而标准差描述了概率曲线的宽，则可以理解的是，最终形成的概率曲线满足正态总体，也即符合正态分布的概率曲线，标准差也即反映了在中心点附近，也就是越靠近于均值的概率密度大，越远离于均值的概率密度小。可以理解的是，在待测设备或部件正常运行的状态下，其生成的表示运行状态的数据波动较小，始终在一正常数值的附近浮动，而故障情况在整个运行状态下出现的情况较少，异常数据出现的次数也相对较少，反应在样本数据中，可能在许多的数据中才会出现一次，也就是说，异常数据在整个样本数据中的似然值较小，反应在基于正态分布的指标数据中，异常数据也就越远离于均值。因此指标数据的形成，已基本反应了待测设备或部件在运行时的通式状态，以及属于正常值的数据和属于异常值的数据的具体大小及出现概率。

对于正态分布的指标数据而言，通常具有以下性质：基于正态分布的指标数据所对应的密度函数关于均值所在的直线对称，且均值与样本数据的众数以及中位数为同一数值。该指标数据对应的函数曲线下68.268949%的面积在均值左右的一个标准差范围内，95.449974%的面积在均值左右两个标准差2的范围内，99.730020%的面积在均值左右三个标准差3的范围内。99.993666%的面积在均值左右四个标准差4的范围内。也就是说，当一个数据与样本数据的均值相差两个标准差2 及以上的范围时，该数据在样本数据中出现的概率在4.5%以下，也就是说，这个数据极有可能为异常数据，也即进一步反映了故障发生的可能。

- 获得待测数据

在具有指标数据后，可以以该指标数据作为参照对象进行异常数据的识别。具体地，在从历史数据或日志文件中获取到样本数据的实施例中，待测数据的获取需连接到指定的待测设备或部件上，依据实时地监控以获取；在从试运行的设备中获取到样本数据的实施例中，待测数据的获取可接续试运行的状态，也即在时域中截取某点作为试运行与正式运行的分界点，并以时域下分界点后的数据作为待测数据。

可以理解的是，无论上述何种实施例，通常而言，样本数据的数据量越庞大，指标数据的确定也就越精准，但考虑到获取样本数据的时间成本及对样本数据处理，以形成指标数据的计算成本，样本数据可以在某一周期内固定截取，而待测数据，仍以实时获取的方式。例如，待测设备为CPU、GPU、接口等时，待测数据为每一瞬间时刻下CPU、GPU、接口的运行信息，待测设备为发电设备、医疗设备时，待测数据为每一周期下检测的电网信息或体征信息。

- 判断待测数据是否落入指标数据的动态标准范围内

同时具备指标数据及待测数据后，便可以指标数据作为参照物确定待测数据正常与否，以及进一步的生成待测数据的待测设备的鲁棒性。具体地，相比于阈值比较法与动态基线法直接比较大小的方式，由于指标数据呈正态分布，因此实际待测数据与指标数据比较时，均可在指标数据内找到数据值与待测数据对应，不同待测数据的区别在指标数据对应的概率曲线上的反应，为与均值的距离为较近还是较远。如上文所述的，当待测数据与样本数据的均值的差越大时，待测数据所对应的数据值在指标数据的概率曲线上越靠近两边（差值为正数时靠近右边，差值为负数时靠近左边）。因此，故障发生时所生成的浮动较大的待测数据，在于指标数据比较时，更偏离于中心点的均值。

在此基础上，在指标数据形成后，需指定一动态标准范围，即以固定阈值、固定系数为标准，指定偏离于中心点的均值的动态标准范围内的待测数据，属于正常数据，偏离于中心点的均值的动态标准范围外的待测数据，属于异常数据。例如，动态标准范围可以是n个标准差，或是90%、95%、甚至99%的比例系数（于指标数据内显示为以中心点的均值为轴向两边辐射围成的面积占比）。以该动态标准范围为界限，划分待测数据的判断标准。

与现有技术中判断待测数据是否产生波动的方法不同，通过动态标准范围的指定，本发明中与均值相比，具有一定波动的待测数据可能落入到动态标准范围之内，也即并非对所有产生波动的数据均列为异常数据，而是对所有波动数据中，波动更为异常、出现更为少见的波动列为异常数据。通过上述配置，可有效减少异常数据的误报率，提高故障情况检测的准确度。

可以理解的是，上述动态标准范围，在不同实施例，甚至同一实施例的不同比较时域下也不尽相同，其动态的表现，可基于指标数据的选取范围的不同、指标数据的算法不同、指标数据的处理方式不同等变化，因此，虽在实施方式中作为比较对象的比较阈值，但通过自学习的变形，不同时刻下形成的标准范围也不同，其自身呈动态表现。

- 当待测数据落入指标数据的动态标准范围外时，确定待测数据为异常数据，并对异常数据告警，及记录以异常数据产生的时刻为基准时刻的前一预设时域内的待测数据，用作告警预测数据

在对待测数据的判断结果确定为其落在指标数据的动态标准范围之外时，便可确定在该时刻下，所获取的待测设备的待测数据为在样本数据中出现概率较小的数据，有较大的可能性该待测数据为异常数据，则可通过显示告警消息、声音提醒、不断呼叫用户等方式向用户告警，告知用户被定性为异常数据的该待测数据的基本信息，如待测数据与均值的差值、出现的时刻、产生该待测数据的设备、设备的当前运行状态等，方便用户在收到告警后人工排查，确定是否发生故障，及消除故障原因。

更进一步地，除可告警通知故障情况的发生外，在异常数据产生后，记录下产生该异常数据的时刻，并读取在该时刻前的待测数据，即在时间轴上，以产生异常数据的时刻为基准时刻，向前倒退一预设时域，如1小时、8小时、1天等长短可不等，将时域下处在该预设时域下的所有待测数据记录并存储，作为告警预测数据。这样操作的好处在于，通常待测设备的故障为长期积累造成，最终的故障发生的前段时间内，都是通过数据的不断变化，从落入动态标准范围内变化至落入动态标准范围外，因此，这些故障发生的前段时间，也即异常数据产生的前段时间内的待测数据，在一定意义上表征了异常数据产生的可能性，也就是说，当待测设备的故障被排除，在对其运行时的待测数据进行监测时，当再次出现于上一次异常数据产生前的数据变化情况，或近似于上一次异常数据产生前的数据变化情况时，表示了异常数据、故障有较大的可能性再次出现。通过异常数据的存储及故障前待测数据的学习，可预测后续故障的发生，用户可提前检查，防止故障再发生。

在一进一步实施例中，根据样本数据的均值及标准差生成基于正态分布的指标数据的步骤包括：计算样本数据的均值，并根据样本数据的均值计算样本数据的标准差，以及计算标准差与样本数据的求和数据的比值，并将比值作为指标数据。具体地，基于统计学原理，在实时地采集的或周期性采集的样本数据获得后，计算所有样本数据或部分选取样本数据的均值，以及以均值为基础，计算样本数据内的各数据与均值的标准差。在确定了上述基本数据后，为使处理后的样本数据，即指标数据更为平滑，将样本数据求和，形成求和数据，并以该求和数据作为分母计算标准差与求和数据的比值，以此实施方式形成的指标数据，弱化了在均值附近浮动的波动数据的异常性，体现在指标数据的概率曲线上时，更为靠近均值，也就是说，平滑的数据处理，使得异常波动更为突出的待测数据对应于更偏离于均值的位置，精确化指标数据。

更进一步地，为对指标数据的形成更加贴近待测设备的当前运行状态，在计算上述标准差与求和数据的比值后，还将基于一平滑参数，加权计算样本数据形成一指数加权参数。例如，若样本数据为获取的该待测设备在当前时间的前一个月内的运行指标类数据时，该一个月的设定时间内，越远离于当前时间的时间下，样本数据间隔较长，代表性不强，因此在形成指标数据时，应弱化这些时间下的样本数据对指标数据的影响，相反，越靠近当前时间的时间下，如一天前的数据、三天前的数据，应当是形成指标数据的主要参数，因此，基于一平滑参数，对每一个样本数据加权计算，如系数加权、指数加权等方式，赋权至不同时间下的样本数据，以此形成的指数加权参数，再与比值相乘所形成的乘积，可作为指标数据。在该实施例中的指标数据，对样本的数据分布及正常数据的规划更为精确，及更加符合所设定的正态分布范围，在后续判断异常数据时，作为比较标准也更加准确。

参阅图2，为简化判别待测数据的过程，在判断待测数据是否落入动态标准范围内时，具体执行以下步骤：

① 预设一基准值

在执行数据处理方法的终端、设备或应用程序中，预先设置一基准值，该基准值可根据用户对检测精度、待测数据类型、待测设备类型自由选定。如当待测数据为CPU的运行数据时，基准值可选取为0.00000001-0.0001中的任意数值。基准值作为确定动态标准范围的数据，确定了动态标准范围在指标数据中的整个占比，例如，当基准值选取为0.0001，即0.01%时，整个指标数据围成的面积（可定义为1或100%）中，以均值为中心点向两边辐射直至占整个指标数据围成的面积99.99%时，这部分面积所限定的数据均为落入动态标准范围内的正常数据，反之，在落入到该面积以外的补集面积时，则该数据易被认定为异常数据。

② 计算待测数据大于或等于一参照变量x的概率小于基准值下的参照变量x

在该步骤中，取符合正态分布的指标数据的右尾函数，即Q函数，以待测数据为数据变量，并计算标准正态分布变量在何值（参照变量x）下，其基于Q函数所计算得到的偏离于参照变量x外部的指标数据内的部分，占整个指标数据的百分比小于基准值，则计算所得的参照变量x即为落入动态标准范围内外的临界点。亦或是将待测数据作为参照变量x带入Q函数内，计算大于该参照变量x的概率是否小于基准值。由于Q函数只计算服从正态分布的指标数据的右半边，整个计算成本缩小一半，运算时间也将大大提高，同时通过Q函数的判定，也可确定待测数据的正异性。

③ 判断待测数据是否大于参照变量x，以确认待测数据是否落入指标数据的动态标准范围内

在确定了基于基准值的参照变量x后，若待测数据大于参照变量x，则可确定待测数据未落入动态标准范围，属于异常数据。或是直接将待测数据作为参照变量x带入Q函数，所得的概率小于基准值，同样地，可确定待测数据未落入动态标准范围，属于异常数据。

参阅图3，为进一步减少异常数据的误报情况，提高本发明的数据处理方法的异常价值，判断待测数据是否落入指标数据的动态标准范围内时，还将与历史数据横向比对，确认该数据是否为首次出现。具体地，首先将读取待测设备的某项指标的历史数据，如样本数据可直接作为历史数据使用，亦或是读取日志数据分析所得。随后将待测数据中的全部数据或是部分无法确定是否属于异常数据的部分（如计算后贴合基准值的情况）与历史数据比较，若该不确定的待测数据在历史数据中并非首次出现出现，甚至出现次数已超过预设值，如两次、每周一次的频次等，则可确定该待测数据随与均值相比浮动较大，但属于常规情况，也应当判定为落入指标数据的动态标准范围内。通过该对用户使用待测设备的习惯（比如在固定时间内会占用待测设备，使得各项数据升高）、固定自然时间的数据突变等，叠加自学习周期性异常识别后的本实施例，可进一步消除异常数据误检的情况。

在上述实施例中，历史数据的学习可以通过周期性的深度学习实现，例如，将所有样本数据或待定为异常数据的数据分组，分组完毕后，这些待定数据将被假定为异常，并在每一周期内对出现异常数据进行计数，当出现次数超过预设值，如2次、3次、5次时，可判定为出现该异常数据的周期成立。当在符合该成立的周期内的某一相同时间下再次出现待定数据时，将被判定为正常数据。

另一优选或可选实施例中，样本数据的获取可获取每一单位时刻下的数据作为样本数据，或是采集仪实时数据后，以一预设周期为频率，间隔获取，例如每5秒为一次获取动作，以减少数据量，并摘取代表性数据。

参阅图4，在已确定待测数据为异常数据后，向用户告警时，可通过一终端的显示界面显示所有异常数据的信息及警告，如发生异常数据的时间、超过均值的百分比等，以可视化呈现异常数据，同时，向用户显示产生该异常数据的设备，方便用户针对性排查。同时可读取数据库或历史经验，例如该异常数据是否在之前已经产生过，历史经验中产生该异常数据的故障大体在何种设备的何种位置，以及产生该故障的原因和建议措施等故障源，节省用户检查的时间，可更有针对性地消除故障。

上述实施例中，历史经验可由用户手动输入形成，例如，在异常数据首次出现时，用户在排查完毕后，记录产生该异常数据的具体位置及消除方式，则在该异常数据再次出现时，便可通过读取库的方式快速定位故障源。

参阅图5，在本发明的该实施例中，除从历史数据学习以确定动态标准范围外，也可通过人工排查情况进一步加强机器判断能力。例如，收到告警信息后，用户可确定产生异常数据的设备，并排查产生该异常数据的故障源的真实性，即异常数据是否表示了故障的产生。若虽然有异常数据，但待测设备并未发生故障，即故障源不存在时，可记录异常数据至告警预测数据内，并将其标识为无故障，则当再次出现该异常数据时，由于根据前次的经验排查以无故障，则可在判别时将异常数据标记为正常数据，从而进一步增加对故障情况的识别准确性。

可以理解的是，上述任一优选实施例的实施方法，可由用户根据异常数据的期望出现频次、敏感度等自行调节，如降低异常数据的动态标准范围，虽异常数据的显示更为普遍，但可保证检测到故障并已向用户告警；若提高提倡数据的动态标准范围，则可降低异常数据的显示，减少用户的焦虑，但难以保证是否有无漏检情况。

上述数据处理方法，可由如服务器、智能终端等数据处理终端完成，参阅图6，其包括中央控制模块，中央控制模块包括：输入单元，用于获取样本数据及待测数据；计算单元，与输入单元连接，接收样本数据并根据样本数据的均值及标准差生成基于正态分布的指标数据；比较单元，与输入单元及计算单元连接，接收待测数据及指标数据，并判断待测数据是否落入指标数据的动态标准范围内；控制单元，与比较单元连接，当待测数据落入指标数据的动态标准范围外时，确定待测数据为异常数据，并外发一告警信号，及记录以异常数据产生的时刻为基准时刻的前一预设时域内的待测数据，用作告警预测数据。

此外，数据处理方法的执行步骤也可被集成在一计算机可读介质内以计算机程序的形式执行，计算机程序被处理器执行时可实现如上文所述的数据处理方法的步骤。

通过上述实施例的配置，可实现具有时实性、轻量级、高维度、多模式的自动识别模式，针对根据时间变化的连续的指标类数据，如CPU，内存，磁盘IO等性能指标的异常检测有良好的效果。同时针对日志类数据的识别，也通过长期连续的日志记录而加以应用和学习。且针对具有正常波动、具有强烈的预测需要和周期性特征的业务数据，根据数据模型的需要可任意倒推设计采集点和数据，并在异常数据后触发对业务数据的类别、地区、部门等来特征根因定位。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：获取样本数据；根据所述样本数据的均值及标准差生成基于正态分布的指标数据；获取待测数据；判断所述待测数据是否落入所述指标数据的动态标准范围内；当所述待测数据落入所述指标数据的动态标准范围外时，确定所述待测数据为异常数据，并对所述异常数据告警，及记录以所述异常数据产生的时刻为基准时刻的前一预设时域内的待测数据，用作告警预测数据。

2.如权利要求1所述的数据处理方法，其特征在于，根据所述样本数据的均值及标准差生成基于正态分布的指标数据的步骤包括：计算所述样本数据的均值，并根据所述样本数据的均值计算所述样本数据的标准差；计算所述标准差与所述样本数据的求和数据的比值，并将所述比值作为所述指标数据。

3.如权利要求2所述的数据处理方法，其特征在于，根据所述样本数据的均值及标准差生成基于正态分布的指标数据的步骤还包括：基于一平滑参数，加权计算所述样本数据以形成一指数加权参数；计算所述指数加权参数与所述比值的乘积，将所述乘积作为所述指标数据。

4.如权利要求2所述的数据处理方法，其特征在于，判断所述待测数据是否落入所述指标数据的动态标准范围内的步骤包括：预设一基准值；计算所述待测数据大于或等于一参照变量x的概率小于所述基准值下的所述参照变量x，判断所述待测数据是否大于所述参照变量x，以确认所述待测数据是否落入所述指标数据的动态标准范围内。

5.如权利要求4所述的数据处理方法，其特征在于，判断所述待测数据是否落入所述指标数据的动态标准范围内的步骤还包括：读取历史数据；将所述历史数据与所述待测数据中的部分或全部比较；判断比较的所述待测数据中的部分或全部在所述历史数据中出现次数是否超过一预设值，以确认所述待测数据是否落入所述指标数据的动态标准范围内。

6.如权利要求1所述的数据处理方法，其特征在于，获取样本数据的步骤包括：采集一实时数据；获取所述实时数据内基于一预设周期的值为所述样本数据。

7.如权利要求1所述的数据处理方法，其特征在于，当所述待测数据落入所述指标数据的动态标准范围外时，确定所述待测数据为异常数据，并对所述异常数据告警的步骤包括：确定所述待测数据为异常数据时，于一显示界面显示所述异常数据的信息及警告；确定产生所述异常数据的设备，根据数据库或历史经验判断所述设备内生成所述异常数据的故障源。

8.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：确定产生所述异常数据的设备，排查所述设备内生成所述异常数据的故障源的真实性；当所述故障源不存在时，记录所述异常数据至告警预测数据内，并标记所述异常数据为正常数据。

9.一种数据处理终端，其特征在于，包括中央控制模块，所述中央控制模块包括：输入单元，用于获取样本数据及待测数据；计算单元，与所述输入单元连接，接收所述样本数据并根据所述样本数据的均值及标准差生成基于正态分布的指标数据；比较单元，与所述输入单元及计算单元连接，接收所述待测数据及指标数据，并判断所述待测数据是否落入所述指标数据的动态标准范围内；控制单元，与所述比较单元连接，当所述待测数据落入所述指标数据的动态标准范围外时，确定所述待测数据为异常数据，并外发一告警信号，及记录以所述异常数据产生的时刻为基准时刻的前一预设时域内的待测数据，用作告警预测数据。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的数据处理方法的步骤。