CN112711516A - 一种数据处理方法和相关装置 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法及相关装置，所述方法包括：获取告警数据；根据告警数据的属性信息，确定告警数据对应的数据类型；将告警数据和对应的数据类型存入样本数据库中，该样本数据库可以为组成区块链的服务器等；从样本数据库中获取目标数据类型对应的目标告警数据；根据目标告警数据，训练得到对应目标数据类型的目标数据检测模型，目标数据检测模型用于确定目标数据类型对应的数据是否属于告警数据。处理设备可以对告警数据进行分类存储，并利用各个数据类型对应的告警数据训练针对各个数据类型的数据检测模型，从而能够使数据检测模型能够更加适用于检测该数据类型的数据，提高数据检测的针对性和准确度。

Description

一种数据处理方法和相关装置

技术领域

本申请涉及数据分析技术领域，特别是涉及一种数据处理方法和相关装置。

背景技术

对数据进行监控和检测，及时发现异常数据并进行相应处理是维持各项系统、元器件正常工作的重要环节。

相关技术中，在对数据进行检测时，通常由相关人员采用单一的检测方式来对所有的运行数据进行检测，这种检测模式对数据的区分度较差，难以对数据情况进行精准判断，同时对人力资源的消耗较大，数据检测的效率低。

发明内容

为了解决上述技术问题，本申请提供了一种数据处理方法，处理设备可以对告警数据进行分类存储，并利用各个数据类型对应的告警数据训练针对各个数据类型的数据检测模型，从而能够采用不同的数据检测模型对不同数据类型的数据进行有针对性的检测，使数据检测模型能够更加适用于检测该数据类型的数据，提高数据检测的准确度。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例公开了一种数据处理方法，所述方法包括：

获取告警数据；

根据所述告警数据的属性信息，确定所述告警数据对应的数据类型；

将所述告警数据和对应的数据类型存入样本数据库中；

从所述样本数据库中获取目标数据类型对应的目标告警数据；

根据所述目标告警数据，训练得到对应所述目标数据类型的目标数据检测模型，所述目标数据检测模型用于确定所述目标数据类型对应的数据是否属于告警数据。

第二方面，本申请实施例公开了一种数据处理装置，所述装置包括第一获取单元、第一确定单元、存储单元、第二获取单元和训练单元：

所述第一获取单元，用于获取告警数据；

所述第一确定单元，用于根据所述告警数据的属性信息，确定所述告警数据对应的数据类型；

所述存储单元，用于将所述告警数据和对应的数据类型存入样本数据库中；

所述第二获取单元，用于从所述样本数据库中获取目标数据类型对应的目标告警数据；

所述训练单元，用于根据所述目标告警数据，训练得到对应所述目标数据类型的目标数据检测模型，所述目标数据检测模型用于确定所述目标数据类型对应的数据是否属于告警数据。

第三方面，本申请实施例公开了一种计算机设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面中所述的数据处理方法。

第四方面，本申请实施例公开了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面中所述的数据处理方法。

由上述技术方案可以看出，为了提高数据检测的准确度，可以针对不同数据类型的数据，采用不同的数据检测模型进行数据检测。首先，可以获取告警数据，并根据该告警数据的属性信息，确定告警数据对应的数据类型，然后将该告警数据和对应的数据类型存入样本数据库中。为了能够训练得到可以用于对目标数据类型的数据进行准确检测的模型，可以先从该样本数据库中获取目标数据类型对应的目标告警数据，然后根据该目标告警数据，训练得到对应该目标数据类型的目标数据监测模型，该目标数据监测模型用于确定该目标数据类型对应的数据是否属于告警数据。由于本申请采用各个数据类型所对应的告警数据来训练各个数据类型对应的数据检测模型，因此训练得到的数据检测模型对于其对应数据类型的数据有着更好的检测能力，从而在一定程度上提高了数据检测的准确度；同时，整个数据检测和模型训练的流程都可以脱离人工自动执行，通过有针对性的数据检测模型也能够降低数据检测对人工的需求，从而降低了人力资源的消耗，进一步提高了数据检测的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种实际应用场景中数据处理方法的示意图；

图2为本申请实施例提供的一种数据处理方法的流程图；

图3为本申请实施例提供的一种数据处理方法的示意图；

图4为本申请实施例提供的一种数据处理方法的示意图；

图5为本申请实施例提供的一种数据处理方法的示意图；

图6为本申请实施例提供的一种实际应用场景中数据处理方法的示意图；

图7为本申请实施例提供的一种数据处理装置的结构框图；

图8为本申请实施例提供的一种计算机设备的结构图；

图9为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

数据检测是维持系统正常运作的重要环节之一。在相关技术中，在对数据进行检测时，通常需要相关人员对所有历史数据进行查看，用较为固定的数据判断标准从中挑出异常概率较高的数据，这就需要消耗消耗大量的人力资源，同时数据检测的效率也较低。此外，由于数据通常包括多种数据类型，不同数据类型的数据往往有着不同的数据特点，因此若采用单一的数据判断标准，难以对多种类型的数据进行准确判断，数据检测的准确度较低。

为了解决上述技术问题，本申请提供了一种数据处理方法，处理设备可以对告警数据进行分类存储，并利用各个数据类型对应的告警数据训练针对各个数据类型的数据检测模型，从而能够采用不同的数据检测模型对不同数据类型的数据进行有针对性的检测，使数据检测模型能够更加适用于检测该数据类型的数据，提高数据检测的准确度。

可以理解的是，该方法可以应用于处理设备上，该处理设备为具有数据处理功能的处理设备，例如可以是具有数据处理功能的终端设备或服务器。该方法由终端设备或服务器独立执行，也可以应用于终端设备和服务器通信的网络场景，通过终端设备和服务器配合运行。其中，终端设备可以为手机、台式计算机、个人数字助理（Personal DigitalAssistant，简称PDA）、平板电脑等设备。服务器可以理解为是应用服务器，也可以为Web服务器，在实际部署时，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

此外，本申请实施例还可以应用有区块链技术，如在本申请所公开的数据处理方法中，告警数据和其对应的属性信息、数据类型等数据可保存于区块链上；此外，本申请可以采用多个服务器进行数据处理、模型训练等过程，其中多个服务器可组成为一区块链，而服务器为区块链上的节点。

为了便于理解本申请实施例提供的技术方案，接下来将结合一种实际应用场景，对本申请实施例提供的一种数据处理方法进行介绍。

参见图1，图1为本申请实施例提供的一种实际应用场景中数据处理方法的示意图，在该实际应用场景中，处理设备为具有数据处理能力的服务器101。服务器101首先可以获取告警数据，该告警数据是已经确定出具有一定异常可能性的数据。服务器101可以根据该告警数据对应的属性信息，确定该告警数据对应的数据类型，然后将该告警数据和其对应的数据类型存储到样本数据库中。

为了提高对数据的检测准确度，服务器101可以从该样本数据库中提取出各个数据类型分别对应的告警数据，来训练各个数据类型分别对应的数据检测模型。例如，在该实际应用场景中，服务器101可以从样本数据库中获取对应数据类型1的告警数据1以及对应数据类型2的告警数据2。服务器101可以根据告警数据1训练得到对应数据类型1的数据检测模型1，根据告警数据2训练得到对应数据类型2的数据检测模型2，其中数据检测模型1可以用于确定数据类型1对应的数据是否属于告警数据，数据检测模型2可以用于确定数据类型2对应的数据是否属于告警数据。例如，如图所示，当服务器101获取到对应数据类型2的数据时，可以利用数据检测模型2对该数据进行数据判断。

由于服务器101采用了数据类型对应的数据来训练该数据类型对应的数据检测模型，因此可以使该数据检测模型更加适用于对该数据类型的数据进行检测，提高数据检测的准确度；同时，整个数据处理流程都可以由服务器101自主完成，无需过多的人工干预，节省了大量的人力资源，提高了数据检测的效率。

接下来，将结合附图，对本申请实施例提供的一种数据处理方法进行介绍。

参见图2，图2为本申请实施例提供的一种数据处理方法的流程图，该方法包括：

S201：获取告警数据。

其中，告警数据是指异常可能性较高的数据，异常的数据包括偏离了数据序列整体趋势的数据、与历史数据走向明显不符的数据等。

S202：根据告警数据的属性信息，确定告警数据对应的数据类型。

可以理解的是，数据往往可以包括多种类型，例如当数据为与互联网技术（Internet Technology，简称IT）相关的数据时，数据类型可以包括量值类数据、饱和度数据、流量数据、延时数据和错误数据等。其中，不同数据类型的数据往往具有不同的数据特点，例如饱和度数据（如磁盘使用率、容量使用率等）通常数值具有固定范围，位于0-100%之间，而量值类数据通常波动幅度较大。因此，若只通过单一的数据检测方式对所有类型的数据进行检测，容易造成检测准确度低的问题。例如，若只采用阈值检测的方式进行数据检测，对饱和度数据的检测准确度可能较高，但是不适用于波动幅度较大的量值类数据。

基于此，为了能够更加准确的判断哪些数据属于告警数据，在本申请实施例中，处理设备可以对各个数据类型的数据进行有针对性的分析，并通过各个数据类型对应的数据来训练该数据类型对应的数据检测模型，从而能够通过各个数据类型对应的数据检测模型对该数据类型的数据进行有针对性的检测，提高数据检测的准确度。

可以理解的是，不同数据类型的数据通常具有不同的属性信息，该属性信息是指与数据本身属性相关的信息，例如可以包括数据名称和/或数值类型等，数据名称可以包括磁盘使用率、容量使用率等，数值类型可以包括百分比数值、非百分比数值等。例如，数据名称为磁盘使用率的数据通常属于饱和度数据，数据名称为慢查询数、云数据库的线程数的数据通常属于量值类数据。基于此，处理设备可以根据该属性信息，确定该告警数据对应的数据类型。

S203：将告警数据和对应的数据类型存入样本数据库中。

为了便于训练针对各个数据类型的数据检测模型，处理设备在确定出告警数据对应的数据类型后，可以将该告警数据和对应的数据类型存入样本数据库中，该样本数据库中可以存储有各个数据类型分别对应的告警数据。

S204：从样本数据库中获取目标数据类型对应的目标告警数据。

其中，目标数据类型可以是数据类型中的任意一种，目标告警数据是指该目标数据类型对应的告警数据。为了能够更加精准的判断目标数据类型的数据是否属于告警数据，处理设备可以从该样本数据库中获取该目标数据类型对应的目标告警数据，从而可以对该目标数据类型的数据进行有针对性的分析，找出该目标数据类型的数据属于告警数据时所具有的数据特点。

S205：根据目标告警数据，训练得到对应目标数据类型的目标数据检测模型。

在训练过程中，该目标数据检测模型可以学习到该目标数据类型下的告警数据的数据特点，这些数据特点能够体现出目标数据类型的数据是否属于告警数据。因此，该目标数据检测模型可以用于确定该目标数据类型对应的数据是否属于告警数据。例如可以通过分析数据是否具有上述数据特点来确定是否属于告警数据。

由上述技术方案可以看出，为了提高数据检测的准确度，可以针对不同数据类型的数据，采用不同的数据检测模型进行数据检测。首先，可以获取告警数据，并根据该告警数据的属性信息，确定告警数据对应的数据类型，然后将该告警数据和对应的数据类型存入样本数据库中。为了能够训练得到可以用于对目标数据类型的数据进行准确检测的模型，可以先从该样本数据库中获取目标数据类型对应的目标告警数据，然后根据该目标告警数据，训练得到对应该目标数据类型的目标数据监测模型，该目标数据监测模型用于确定该目标数据类型对应的数据是否属于告警数据。由于本申请采用各个数据类型所对应的告警数据来训练各个数据类型对应的数据检测模型，因此训练得到的数据检测模型对于其对应数据类型的数据有着更好的检测能力，从而在一定程度上提高了数据检测的准确度；同时，整个数据检测和模型训练的流程都可以脱离人工自动执行，通过有针对性的数据检测模型也能够降低数据检测对人工的需求，从而降低了人力资源的消耗，进一步提高了数据检测的效率。

上已述及，告警数据是指异常可能性较高的数据，例如处理设备可以预设一个第一阈值，该第一阈值用于对数据的异常概率进行初次检测，该告警数据可以为异常概率超过第一预设阈值的数据。为了进一步提高数据检测的精确度，处理设备还可以对筛选出的告警数据进行二次检测，从中筛选出更加精确的异常数据。可以理解的是，在进行二次检测时，所采用的检测方式越多，检测维度越丰富，所得到的检测结果的精确程度也可能会相应提高。

基于此，在一种可能的实现方式中，在将告警数据和对应的数据类型存入样本数据库中之前，处理设备还可以基于多个判定标准确定该告警数据对应的多个判定结果，该判定结果用于标识告警数据是否为异常数据。为了得到较为合理的最终结果，处理设备可以对多个判定结果进行综合分析，若标识为异常数据的判定结果在多个判定结果中的占比超过第二预设阈值，则说明在较多判定标准中该告警数据被判定为异常数据。此时，处理设备可以将该告警数据的数据标签确定为异常数据。例如，若处理设备通过5个判定标准对某一告警数据进行检测，得到了5个对应的判定结果，第二预设阈值为50%，则只要其中有3个或3个以上的判定结果判定该告警数据为异常数据，处理设备就可以将该告警数据的标签确定为异常数据，该数据标签用于标识告警数据异常数据或非异常数据。

可以理解的是，在基于多个判定标准确定多个判定结果时，可以一个判定标准对应一个判定结果，也可以多个判定标准，例如两个判定标准确定同一判定结果，只需要得到多个判定结果即可，此处不做限定。

在一种可能的实现方式中，多个判定标准可以如下所示：

（1）依达拉准则（3-sigma）检测

如图3所示，处理设备可以确定出某一时间区间内数据的平均值和方差，例如，当该时间区间为数据检测时刻的前3小时时，处理设备可以获取其中的n个样本点对应的数据，若按照1分钟的时间粒度，则总共可以获取180个样本点。通过这180个样本点，可以算出该时间区间内的均值和方差，如下列公式所示：

其中，

为均值，

为方差。根据得到的均值和方差，利用3-sigma统计方法，处理设备可以判定该时间区间内每一个样本点是否异常。3-sigma的理论依据是，在距离均值的范围内，包含了99.7%的数据分布。如果某个值距离分布的超过了，那么这个值就可以被简单的标记为一个异常点。为了判断流量突增，3-sigma rule判断公式如下：

正常：

异常：

处理设备可以将处于该时间区间内的告警数据采用该方法进行判定，得到对应的判定结果。

（2）分位离群点检测

处理设备可以按照数据数值的大小进行排序，然后判断告警数据的数值是否处于0.01分位以下，或是否处于0.99分位以上，若处于，则判定该告警数据为异常数据。

（3）指数加权移动平均值（Exponentially Weighted Moving-Average，简称EWMA）检测

EWMA检测算法主要包括两步：

首先，处理设备可以进行基线的拟合，EWMA基线拟合的表达式如下：

其中，

表示t时刻的估计值，

表示t时刻的实际值，α为加权系数。通过EWMA基线拟合，处理设备可以得到曲线的拟合基线。从通常情况下的优化经验来看，该α的取值可以小于0.01。

然后，处理设备可以确定曲线的上下边界，计算基线和原始时间序列点的差序列，然后对差序列求平均绝对误差（Mean Absolute Error，简称mae）和标准差（StandardDeviation，简称std），公式如下：

通过得到的mae和std确定上下边界，如下公式所示，其中UCL表示上边界，LCL表示下边界：

处理设备可以判断告警数据是否处于[LCL，UCL]内，若处于，则该告警数据的判定结果为非异常数据，若不处于，则判定结果为异常数据。

（4）多项式拟合算法检测

多项式拟合算法是对输入范围内的时间序列通过多项式方程进行拟合，从而可到基于时间序列的数据基本走势，多项式方程如下所示：

其中，P(x)为拟合曲线，

为数值点，

为系数。处理设备可以基于多个同时间区间的历史数据得到拟合曲线，如图4所示，可以包括今日数据和昨日数据，从而得到更加准确的拟合曲线。

处理设备可以基于该拟合曲线，设置20% 的上下边界，从而得到上边界UCL和下边界LCL。若告警数据处于上下边界内，则为非异常数据；若处于上下边界外，则为异常数据。

（5）人工制定检测策略

除了上述检测方式外， 针对于一些特殊数据，还可以依靠相关人员的检测经验，制定部分检测策略。例如，CPU使用率通常不会超过95%，若超过，则说明CPU当前有较大可能处于异常状态。基于此，可以人为制定一条针对CPU使用率的检测策略，如若告警数据中CPU使用率大于95%，则判定为异常数据。

在经过上述5种判定标准的检测后，处理设备可以得到5个判定结果，若其中标识为异常数据的判定结果超过2个，即占比超过50%，则处理设备可以将该告警数据的数据标签确定为异常数据。

可以理解的是，除了可以由处理设备自动完成二次检测外，为了提高数据检测的自由度和灵活度，处理设备还可以提供人工进行二次检测的功能。在一种可能的实现方式中，该告警数据为异常概率超过第一预设阈值的数据，在将告警数据和对应的数据类型存入样本数据库中之前，处理设备可以向用户发送该告警数据，用户在检查过该告警数据后，可以根据自己的判断结果发送数据标注信息，该数据标注信息用于指示告警数据是否为异常数据。

若该数据标注信息指示该告警数据为异常数据，则说明用户在二次检测中判断该告警数据属于异常数据，此时，处理设备可以将该告警数据的数据标签确定为异常数据。

在上述二次检测的过程中，无论是处理设备自动检测还是由人工进行检测，都是在告警数据的基础上，即已经检测出异常可能性较高的数据基础上进行检测， 而不需要对全部数据进行检测， 因此可以在提高检测精度的同时，降低检测的数据量，提高了检测效率。

此外，除了能够分别采用处理设备自动检测和人工检测两种方式进行检测外，还可以结合两种方式进行二次检测。例如，在一种可能的实现方式中，处理设备在获取告警数据后，可以先自动确定数据标签，相关人员只需要对该数据标签进行快速审查即可，无需针对于每一个告警数据都进行数据标签的确定。若检查到其中具有判断错误的数据标签，相关人员可以手动修改该数据标签，例如可以向处理设备发送数据标注信息来进行修改，从而进一步提高数据检测的精确度和效率。

可以理解的是，上述为告警数据进行二次检测，添加数据标签的过程可以发生在获取告警数据之后、将告警数据入库存储之前的任意时间节点，与上述确定告警数据的数据类型这一动作并无限定的先后关系。

在获取告警数据对应的数据标签后，为了使数据检测模型能够更加精准的确定数据是否为异常数据，在一种可能的实现方式中，在根据目标告警数据，训练得到对应目标数据类型的目标数据检测模型时，处理设备可以将目标告警数据作为训练样本，目标告警数据对应的数据标签作为训练标签，对初始数据检测模型进行训练，得到对应目标数据类型的目标数据检测模型，该数据标签包括异常数据和非异常数据。在训练过程中，该目标数据检测模型可以学习到异常数据和非异常数据各自的数据特点，从而能够在后续过程中对数据是否为异常数据，即是否属于告警数据进行更加准确的判断，使得到的告警数据真实度更高。

可以理解的是，为了使用户在进行数据分析时能够结合更加丰富的数据信息，处理设备在向用户展示告警数据时，还可以结合其他相关数据一同进行展示。

在一种可能的实现方式中，处理设备可以通过数据展示界面展示该告警数据、该告警数据对应的数据标签以及该告警数据对应的同环比数据，其中同环比数据包括同比数据和/或环比数据，环比数据是指与同年的上一期相比的数据。如果做的是周数据比较，环比就是本周数据比上周的数据；如果做的是月数据比较，环比就是本月数据比上月的数据；如果做的是季数据比较，环比就是本季数据比上季的数据。同比数据是指与去年的同期相比的数据。如用某年、某季、某月的数据与上年同期的数据相对比。通过同环比数据，用户能够结合历史数据的数据变化，更加合理和准确的对告警数据进行判断。

如图5所示，图5展示了一种数据展示界面的示意图，在该数据展示界面中包括两个告警数据，在展示该告警数据时，处理设备还可以展示该告警数据对应的同比数据已经对应的数据标签，若告警数据对应的数据标签为异常数据，则显示为“已标记为异常数据”；若对应的数据标签为非异常数据，则显示为“已标记为非异常数据”。若用户对该数据标签有异议，可以点击右下方的“重新标记”控件来进行手动标记。

此外，除了上述信息外，在该数据展示界面中还可以标注有告警数据的开始时间和结束时间，而无需由用户进行时间区间的划分，进一步节省用户的工作量。

为了便于理解本申请实施例提供的技术方案，接下来将结合一种实际应用场景，对本申请实施例提供的一种数据处理方法进行介绍。

参见图6，图6为本申请实施例提供一种实际应用场景中数据处理方法的示意图，在该实际应用场景中，处理设备为具有数据处理功能的检测服务器。

S601：获取告警数据。

检测服务器可以通过多种方式来获取告警数据，例如可以通过Metis软件的告警平台来获取告警数据。

S602：通过多个判定标准确定告警数据对应数据标签。

检测服务器可以通过如图所示的标签选择器来确定数据标签，在该标签选择器中包括了5个判定标准， 分别为3-sigma、EWMA、多项式模型、人工检测策略和分位离群点检测。此外，检测服务器还可以采用同环比策略、布林带策略等方式进行判定。

S603：人工审查。

在检测服务器确定出数据标签后，检测服务器可以向用户展示该告警数据、数据标签以及相关信息，供用户进行审查，若不认同检测服务器确定出的数据标签，可以人工重新确定对应的数据标签。

S604：确定告警数据对应数据类型。

检测服务器可以根据告警数据的属性信息来确定其对应的数据类型。在该实际应用场景中，告警数据所对应的数据类型可以如下表所示：

S605：存入样本数据库。

检测服务器可以将告警数据和其对应的数据标签、数据类型一同存入样本数据库，在进行模型训练时，可以获取相应数据类型的告警数据来进行模型训练。

同时，在训练得到分别对应于各个数据类型的数据检测模型后，在进行告警数据的判定时，检测服务器可以根据数据的数据类型确定其对应的类型编号，然后通过该编号找到该数据类型对应的数据检测模型进行判定。

基于上述实施例提供的一种数据处理方法，本申请实施例还提供了一种数据处理装置，参见图7，图7为本申请实施例提供的一种数据处理装置700的结构框图，该装置700包括第一获取单元701、第一确定单元702、存储单元703、第二获取单元704以及训练单元705：

第一获取单元701，用于获取告警数据；

第一确定单元702，用于根据所述告警数据的属性信息，确定所述告警数据对应的数据类型；

存储单元703，用于将所述告警数据和对应的数据类型存入样本数据库中；

第二获取单元704，用于从所述样本数据库中获取目标数据类型对应的目标告警数据；

训练单元705，用于根据所述目标告警数据，训练得到对应所述目标数据类型的目标数据检测模型，所述目标数据检测模型用于确定所述目标数据类型对应的数据是否属于告警数据。

在一种可能的实现方式中，所述告警数据为异常概率超过第一预设阈值的数据，装置700还包括这第二确定单元和第三确定单元：

第二确定单元，用于基于多个判定标准确定所述告警数据对应的多个判定结果，所述判定结果用于标识所述告警数据是否为异常数据；

第三确定单元，用于若标识为异常数据的判定结果在所述多个判定结果中的占比超过第二预设阈值，将所述告警数据的数据标签确定为异常数据。

在一种可能的实现方式中，所述告警数据为异常概率超过第一预设阈值的数据，装置700还包括的第三获取单元和第四确定单元：

第三获取单元，用于获取用户发送的数据标注信息，所述数据标注信息用于指示所述告警数据是否为异常数据；

第四确定单元，用于若所述数据标注信息指示所述告警数据为异常数据，将所述告警数据的数据标签确定为异常数据。

在一种可能的实现方式中，训练单元705具体用于：

将所述目标告警数据作为训练样本，所述目标告警数据对应的数据标签作为训练标签，对初始数据检测模型进行训练，得到对应所述目标数据类型的目标数据检测模型，所述数据标签包括异常数据和非异常数据。

在一种可能的实现方式中，装置700还包括展示单元：

展示单元，用于通过数据展示界面展示所述告警数据、所述告警数据对应的数据标签以及所述告警数据对应的同环比数据。

在一种可能的实现方式中，所述属性信息包括数据名称和/或数值类型。

本申请实施例还提供了一种计算机设备，下面结合附图对该设备进行介绍。请参见图8所示，本申请实施例提供了一种设备，该设备还可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理（Personal Digital Assistant，简称PDA）、销售终端（Point of Sales，简称POS）、车载电脑等任意智能终端，以终端设备为手机为例：

图8示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图8，手机包括：射频（Radio Frequency，简称RF）电路810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真（wireless fidelity，简称WiFi）模块870、处理器880、以及电源890等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图8对手机的各个构成部件进行具体的介绍：

RF电路810可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器880处理；另外，将设计上行的数据发送给基站。通常，RF电路810包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（Low NoiseAmplifier，简称LNA）、双工器等。此外，RF电路810还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（Global System of Mobile communication，简称GSM）、通用分组无线服务（GeneralPacket Radio Service，简称GPRS）、码分多址（Code Division Multiple Access，简称CDMA）、宽带码分多址（Wideband Code Division Multiple Access，简称WCDMA）、长期演进（Long Term Evolution，简称LTE）、电子邮件、短消息服务（Short Messaging Service，简称SMS）等。

存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元830可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元830可包括触控面板831以及其他输入设备832。触控面板831，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841，可选的，可以采用液晶显示器（Liquid CrystalDisplay，简称LCD）、有机发光二极管（Organic Light-Emitting Diode，简称OLED）等形式来配置显示面板841。进一步的，触控面板831可覆盖显示面板841，当触控面板831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中，触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在手机移动到耳边时，关闭显示面板841和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路860、扬声器861，传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路810以发送给比如另一手机，或者将音频数据输出至存储器820以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块870，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器880是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器880可包括一个或多个处理单元；优选的，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。

手机还包括给各个部件供电的电源890（比如电池），优选的，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中，该终端设备所包括的处理器880还具有以下功能：

获取告警数据；

根据所述告警数据的属性信息，确定所述告警数据对应的数据类型；

将所述告警数据和对应的数据类型存入样本数据库中；

从所述样本数据库中获取目标数据类型对应的目标告警数据；

根据所述目标告警数据，训练得到对应所述目标数据类型的目标数据检测模型，所述目标数据检测模型用于确定所述目标数据类型对应的数据是否属于告警数据。

本申请实施例还提供一种服务器，请参见图9所示，图9为本申请实施例提供的服务器900的结构图，服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（Central Processing Units，简称CPU）922（例如，一个或一个以上处理器）和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930（例如一个或一个以上海量存储设备）。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。

服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于图9所示的服务器结构。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的数据处理方法中的任意一种实施方式。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器（英文：read-only memory，缩写：ROM）、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取告警数据；

根据所述告警数据的属性信息，确定所述告警数据对应的数据类型；

将所述告警数据和对应的数据类型存入样本数据库中；

从所述样本数据库中获取目标数据类型对应的目标告警数据；

根据所述目标告警数据，训练得到对应所述目标数据类型的目标数据检测模型，所述目标数据检测模型用于确定所述目标数据类型对应的数据是否属于告警数据。

2.根据权利要求1所述的方法，其特征在于，所述告警数据为异常概率超过第一预设阈值的数据，在所述将所述告警数据和对应的数据类型存入样本数据库中之前，所述方法还包括：

基于多个判定标准确定所述告警数据对应的多个判定结果，所述判定结果用于标识所述告警数据是否为异常数据；

若标识为异常数据的判定结果在所述多个判定结果中的占比超过第二预设阈值，将所述告警数据的数据标签确定为异常数据。

3.根据权利要求1所述的方法，其特征在于，所述告警数据为异常概率超过第一预设阈值的数据，在所述将所述告警数据和对应的数据类型存入样本数据库中之前，所述方法还包括：

获取用户发送的数据标注信息，所述数据标注信息用于指示所述告警数据是否为异常数据；

若所述数据标注信息指示所述告警数据为异常数据，将所述告警数据的数据标签确定为异常数据。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述目标告警数据，训练得到对应所述目标数据类型的目标数据检测模型，包括：

将所述目标告警数据作为训练样本，所述目标告警数据对应的数据标签作为训练标签，对初始数据检测模型进行训练，得到对应所述目标数据类型的目标数据检测模型，所述数据标签包括异常数据和非异常数据。

5.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

通过数据展示界面展示所述告警数据、所述告警数据对应的数据标签以及所述告警数据对应的同环比数据。

6.根据权利要求1所述的方法，其特征在于，所述属性信息包括数据名称和/或数值类型。

7.一种数据处理装置，其特征在于，所述装置包括第一获取单元、第一确定单元、存储单元、第二获取单元和训练单元：

所述第一获取单元，用于获取告警数据；

所述第一确定单元，用于根据所述告警数据的属性信息，确定所述告警数据对应的数据类型；

所述存储单元，用于将所述告警数据和对应的数据类型存入样本数据库中；

所述第二获取单元，用于从所述样本数据库中获取目标数据类型对应的目标告警数据；

所述训练单元，用于根据所述目标告警数据，训练得到对应所述目标数据类型的目标数据检测模型，所述目标数据检测模型用于确定所述目标数据类型对应的数据是否属于告警数据。

8.根据权利要求7所述的装置，其特征在于，所述告警数据为异常概率超过第一预设阈值的数据，所述装置还包括第二确定单元和第三确定单元：

所述第二确定单元，用于基于多个判定标准确定所述告警数据对应的多个判定结果，所述判定结果用于标识所述告警数据是否为异常数据；

所述第三确定单元，用于若标识为异常数据的判定结果在所述多个判定结果中的占比超过第二预设阈值，将所述告警数据的数据标签确定为异常数据。

9.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6中任意一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-6中任意一项所述的数据处理方法。

Images