CN109684118A - 异常数据的检测方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种异常数据的检测方法、装置、设备及计算机可读存储介质，该方法包括步骤：当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据检测指令获取目标时间点对应的第一样本数据和第二样本数据，获取目标时间点的数据的真实值；根据待检测曲线所属的曲线类型确定待检测曲线对应检测规则的各个检测特征，获取各个检测特征对应的特征权重；基于待检测曲线对应的拟合模型，根据第一样本数据、第二样本数据和真实值对应计算得到各个检测特征的结果值；若检测到结果值与对应特征权重之间乘积的和大于预设阈值，则确定目标时间点的数据为异常数据。本发明降低了异常数据检测的检测成本，提高了异常数据检测的准确率。

Description

异常数据的检测方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据检测技术领域，尤其涉及一种异常数据的检测方法、装置、设备及计算机可读存储介质。

背景技术

目前所用的异常数据检测方法是通过无监督算法提取曲线中的数据，将所提取的数据，结合人工对数据的标注结果，输入到有监督学习模型中进行训练，最后通过训练出的有监督学习模型进行数据异常检测，其中，人工对数据标注为人工为数据打上正常标签或者异常标签。

在采用有监督学习模型进行数据异常检测过程中，需要高质量的标签，而在运维领域，获取高质量的标签存在以下难题，第一，对为数据打标签的人员有较高要求，需要该人员具有与该数据相关的专业知识和丰富的经验，且在为数据打标签过程中还需要了解在产生该数据时发生的情况，检测成本高；第二，在实际的运维场景中，真正的异常数据样本数量很少，在正常数据样本和异常数据样本差别较大的情况下，基于有监督学习模型的异常数据检测算法所得的检测结果准确率低下，无法保证基于有监督学习模型的异常数据检测算法的可用性。

发明内容

本发明的主要目的在于提供一种异常数据的检测方法、装置、设备及计算机可读存储介质，旨在解决现有的采用有监督学习模型进行异常数据检测所得的检测结果准确率低下，且检测成本高的技术问题。

为实现上述目的，本发明提供一种异常数据的检测方法，所述异常数据的检测方法包括步骤：

当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据，以及获取所述目标时间点的数据的真实值；

确定所述待检测曲线所属的曲线类型，并根据所述曲线类型确定所述待检测曲线对应检测规则的各个检测特征，以及获取各个检测特征对应的特征权重；

基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值；

若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据。

优选地，所述基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值的步骤包括：

删除所述第一样本数据和所述第二样本数据中的孤点数据，得到处理后的所述第一样本数据和所述第二样本数据；

根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值，并确定所述目标时间点的数据对应的预测值；

计算所述真实值与所述预测值之间的差值，并获取所述检测特征对应的检测系数；

计算所述检测系数与所述差分值之间的乘积，并将所述检测系数和所述差分值之间的乘积记为差分乘积；

若所述差值小于或者等于所述差分乘积，则确定所述检测特征对应的结果值为正常结果值；

若所述差值大于所述差分乘积，则确定所述检测特征对应的结果值为异常结果值。

优选地，删除所述第一样本数据中的孤点数据，得到处理后的所述第一样本数据的步骤包括：

对所述第一样本数据进行差分计算，得到差分计算后的所述第一样本数据；

采用预设的聚类算法对差分计算后的所述第一样本数据进行聚类，根据聚类所得的聚类结果确定差分计算后的所述第一样本数据中的孤点数据，并删除所述孤点数据，得到处理后的所述第一样本数据。

优选地，所述根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值的步骤包括：

根据各个所述检测特征对应的特征值计算公式计算处理后的所述第一样本数据的第一特征值，以及计算处理后的所述第二样本数据的第二特征值；

将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

优选地，若存在至少三个所述第二特征值，所述将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值的步骤之前，还包括：

确定所述第二特征值中的最大值和最小值，删除所述最大值和最小值，得到剩余的所述第二特征值；

所述将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值的步骤包括：

将所述第一特征值与剩余的所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

优选地，所述当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据的步骤之前，还包括：

获取预设数量的拟合模型，采用所述待检测曲线对应的数据对各个所述拟合模型进行交叉验证，得到验证结果；

根据所述验证结果选择损失值最小的拟合模型作为所述待检测曲线对应的拟合模型。

优选地，所述若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据的步骤之后，还包括：

计算预设时长内检测到异常数据的异常概率；

若所述异常概率大于预设概率，则触发调整指令，并根据所述调整指令调整所述检测规则中各个检测特征对应的特征权重。

此外，为实现上述目的，本发明还提供一种异常数据的检测装置，所述异常数据的检测装置包括：

获取模块，用于当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据，以及获取所述目标时间点的数据的真实值；

确定模块，用于确定所述待检测曲线所属的曲线类型，并根据所述曲线类型确定所述待检测曲线对应检测规则的各个检测特征；

所述获取模块还用于获取各个检测特征对应的特征权重；

计算模块，用于基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值；

所述确定模块还用于若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据。

此外，为实现上述目的，本发明还提供一种异常数据的检测设备，所述异常数据的检测设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的异常数据的检测程序，所述异常数据的检测程序被所述处理器执行时实现如上所述的异常数据的检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有异常数据的检测程序，所述异常数据的检测程序被处理器执行时实现如上所述的异常数据的检测方法的步骤。

本发明通过当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据检测指令获取目标时间点对应的第一样本数据和第二样本数据，以及获取目标时间点的数据的真实值；确定待检测曲线所属的曲线类型，并根据曲线类型确定待检测曲线对应检测规则的检测特征，以及获取各个检测特征对应的特征权重；基于待检测曲线对应的拟合模型，根据第一样本数据、第二样本数据和真实值对应计算得到各个检测特征的结果值；若检测到结果值与对应特征权重之间乘积的和大于预设阈值，则确定目标时间点的数据为异常数据。在进行异常数据检测过程中，不再需要人工设置有监督学习模型的标签，降低了异常数据检测的检测成本，且由于不采用有监督学习模型进行异常数据检测，减少了人为因素对检测结果的影响，以及降低了由于异常数据样本数量少对检测结果的影响，提高了异常数据检测的准确率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2是本发明异常数据的检测方法第一实施例的流程示意图；

图3是本发明异常数据的检测方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图1即可为异常数据的检测设备的硬件运行环境的结构示意图。本发明实施例异常数据的检测设备可以是PC，便携计算机等终端设备。

如图1所示，该异常数据的检测设备可以包括：处理器1001，例如CPU，用户接口1003，网络接口1004，存储器1005，通信总线1002。其中，用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的异常数据的检测设备结构并不构成对异常数据的检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及异常数据的检测程序。其中，操作系统是管理和控制异常数据的检测设备硬件和软件资源的程序，支持异常数据的检测程序以及其它软件或程序的运行。

在图1所示的异常数据的检测设备中，用户接口1003可用于显示待检测曲线；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的异常数据的检测程序，并执行以下操作：

当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据，以及获取所述目标时间点的数据的真实值；

确定所述待检测曲线所属的曲线类型，并根据所述曲线类型确定所述待检测曲线对应检测规则的各个检测特征，以及获取各个检测特征对应的特征权重；

基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值；

若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据。

进一步地，所述基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值的步骤包括：

删除所述第一样本数据和所述第二样本数据中的孤点数据，得到处理后的所述第一样本数据和所述第二样本数据；

根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值，并确定所述目标时间点的数据对应的预测值；

计算所述真实值与所述预测值之间的差值，并获取所述检测特征对应的检测系数；

计算所述检测系数与所述差分值之间的乘积，并将所述检测系数和所述差分值之间的乘积记为差分乘积；

若所述差值小于或者等于所述差分乘积，则确定所述检测特征对应的结果值为正常结果值；

若所述差值大于所述差分乘积，则确定所述检测特征对应的结果值为异常结果值。

进一步地，删除所述第一样本数据中的孤点数据，得到处理后的所述第一样本数据的步骤包括：

对所述第一样本数据进行差分计算，得到差分计算后的所述第一样本数据；

采用预设的聚类算法对差分计算后的所述第一样本数据进行聚类，根据聚类所得的聚类结果确定差分计算后的所述第一样本数据中的孤点数据，并删除所述孤点数据，得到处理后的所述第一样本数据。

进一步地，所述根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值的步骤包括：

根据各个所述检测特征对应的特征值计算公式计算处理后的所述第一样本数据的第一特征值，以及计算处理后的所述第二样本数据的第二特征值；

将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

进一步地，若存在至少三个所述第二特征值，所述将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值的步骤之前，处理器1001还可以用于调用存储器1005中存储的基于区块链的异常数据的检测程序，并执行以下步骤：

确定所述第二特征值中的最大值和最小值，删除所述最大值和最小值，得到剩余的所述第二特征值；

所述将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值的步骤包括：

将所述第一特征值与剩余的所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

进一步地，所述当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据的步骤之前，处理器1001还可以用于调用存储器1005中存储的基于区块链的异常数据的检测程序，并执行以下步骤：

获取预设数量的拟合模型，采用所述待检测曲线对应的数据对各个所述拟合模型进行交叉验证，得到验证结果；

根据所述验证结果选择损失值最小的拟合模型作为所述待检测曲线对应的拟合模型。

进一步地，所述若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据的步骤之后，处理器1001还可以用于调用存储器1005中存储的基于区块链的异常数据的检测程序，并执行以下步骤：

计算预设时长内检测到异常数据的异常概率；

若所述异常概率大于预设概率，则触发调整指令，并根据所述调整指令调整所述检测规则中各个检测特征对应的特征权重。

基于上述的结构，提出异常数据的检测方法的各个实施例。

参照图2，图2为本发明异常数据的检测方法第一实施例的流程示意图。

本发明实施例提供了异常数据的检测方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

异常数据的检测方法应用于服务器或者终端中，终端可以包括诸如手机、穿戴设备、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)等移动终端，以及诸如数字TV、台式计算机等固定终端。异常数据的检测方法的各个实施例中，为了便于描述，省略执行主体进行阐述各个实施例。异常数据的检测方法包括：

步骤S10，当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据，以及获取所述目标时间点的数据的真实值。

当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据该检测指令获取目标时间点对应的第一样本数据和第二样本数据，以及获取目标时间点的数据的真实值。其中，该检测指令可由用户根据具体需要而触发，也可由预先设置好的定时任务触发。待检测曲线是由需要进行异常数据检测的数据形成的曲线，如该待检测曲线可为某个业务在一定时长内每分钟的交易量统计曲线，或者为某个服务器在一定时长内每分钟所传输数据的数据量统计曲线。可以理解的是，在坐标轴中，待检测曲线是由一个个数据点连接起来得到的。

需要说明的是，目标时间点是当前时间周期内的具体时间点，时间周期可根据具体需要预先设置好的，如可设置为12小时为一个时间周期，或者设置为24小时为一个时间周期等。第一样本数据为目标时间点之前预设时长内，待检测曲线中各个时间点对应的数据；第二样本数据为历史时间周期内，包含有目标时间点的样本数据。在本发明实施例中，可获取一份第二样本数据，也可获取多份第二样本数据。为了保证后续计算的便利性，第一样本数据和每份第二样本数据中的数据量是相等的。如当时间周期设置为24小时一个周期时，若目标时间点为2018年11月29号上午9点，则第一样本数据可为待检测曲线中2018年11月29号上午8点至8点59分对应的数据，第二样本数据可为待检测曲线中2018年11月23号至11月28号这6天中，每天上午8点30分至9点29分对应的数据。目标时间点的数据的真实值为2018年11月29号上午9点所采集到的数据。可以理解的是，由于待检测曲线中的数据采取频率是固定的，因此当第一样本数据和每份第二样本数据对应的时长相等时，第一样本数据和每份第二样本数据中的数据量也是相等的。

步骤S20，确定所述待检测曲线所属的曲线类型，并根据所述曲线类型确定所述待检测曲线对应检测规则的各个检测特征，以及获取各个检测特征对应的特征权重。

当侦测到检测指令后，确定待检测曲线所属的曲线类型，并根据曲线类型确定待检测曲线对应的检测规则，确定检测规则对应的各个检测特征，以及获取各个检测特征对应的特征权重。其中，待检测曲线所属的曲线类型是预先设置好的，在待检测曲线中，会携带一个类型标识，根据该类型标识即可确定待检测曲线所属的曲线类型。在本发明实施例中，不同类型的曲线对应不同的检测规则，各个检测规则中至少存在两个的检测特征，各个检测特征都存在对应的特征权重，特征权重是根据历史样本数据，通过实验计算得到的，或者由用户根据具体情况而设置的。需要说明的是，不同检测规则中的检测特征可能不同，也可能相同。当不同检测规则中的检测特征相同时，各个检测特征对应的特征权重是不一样的。检测特征包括但不限于标准差、斜率、均值、中位数、峰值和峰度。

需要说明的是，在本发明实施例中，不限制步骤S10和步骤S20执行的先后顺序，如可以先获取第一样本数据和第二样本数据，再确定待检测曲线所属曲线类型；也可以先确定待检测曲线所属的曲线类型，然后再获取第一样本数据和第二样本数据。

步骤S30，基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值。

获取待检测曲线对应的拟合模型，基于待检测曲线对应的拟合模型，并根据所获取的第一样本数据、第二样本数据和目标时间点的数据的真实值对应计算得到各个检测特征的结果值。在本发明实施例中，拟合模型包括但不限于LSTM(Long Short-Term Memory，长短期记忆网络)和ARIMA(Autoregressive Integrated Moving Average Model，自回归积分滑动平均模型)。各个待检测曲线对应的拟合模型可能相同，也可能不同。每一个检测特征都存在两个结果值，一个为异常结果值，一个为正常结果值。在本发明实施例中，异常结果值可用用1表示，正常结果值用0表示；异常结果值也可用10表示，正常结果值用0表示等。

进一步地，步骤S30包括：

步骤a，删除所述第一样本数据和所述第二样本数据中的孤点数据，得到处理后的所述第一样本数据和所述第二样本数据。

进一步地，在获取到第一样本数据和第二样本数据后，删除第一样本数据中的孤点数据，得到处理后的第一样本数据；以及删除第二样本数据中的孤点数据，得到处理后的第二样本数据。其中，孤点数据为第一样本数据和第二样本数据中与大部分数据差别较大，且所占比例较小的数据，即孤点数据为第一样本数据和第二样本数据中的异常数据。需要说明的是，通过删除第一样本数据和第二样本数据中的孤点数据，可减少第一样本数据和第二样本数据中异常数据对最终所得结果值的影响，提高了异常数据检测的准确率。

进一步地，删除所述第一样本数据中的孤点数据，得到处理后的所述第一样本数据的步骤包括：

步骤a1，对所述第一样本数据进行差分计算，得到差分计算后的所述第一样本数据。

具体地，删除第一样本数据中的孤点数据，得到处理后的第一样本数据的过程为：对第一样本数据进行差分计算，得到差分计算后的第一样本数据。如若第一样本数据为[652，696，704，540，678，662，622，622，568，656，620，706，624，586]，则差分计算后的第一样本数据为[44，8，-164，138，-16，-40，0，-54，88，-36，86，-82，-38]。由此可知，在进行差分计算过程中，是将样本数据中的后面的数据减去前面的数据，如696-652＝44，704-696＝8等。

步骤a2，采用预设的聚类算法对差分计算后的所述第一样本数据进行聚类，根据聚类所得的聚类结果确定差分计算后的所述第一样本数据中的孤点数据，并删除所述孤点数据，得到处理后的所述第一样本数据。

当得到差分计算后的第一样本数据后，采用预设的聚类算法对差分计算后的第一样本数据进行聚类，得到聚类结果，根据聚类结果确定差分计算后的第一样本数据中的孤点数据，并删除差分计算后的第一样本数据中的孤点数据，得到处理后的第一样本数据。其中，聚类算法包括但不限于K-MEANS算法(K-均值算法)、K-MEDOIDS算法和CLARANS(基于随机选择的聚类算法)算法。如在采用K-MEANS算法对差分计算后的第一样本数据进行聚类过程中，将远离聚类中心的一定距离的数据确定为孤点数据。如根据聚类结果确定差分计算后的第一样本数据[44，8，-164，138，-16，-40，0，-54，88，-36，86，-82，-38]中的-164和138为孤点数据，则处理后的第一样本数据为[44，8，-16，-40，0，-54，88，-36，86，-82，-38]。

需要说明的是，在本发明实施例，对第二样本数据进行差分计算，得到差分计算后的第二样本数据和对第一样本数据进行差分计算，得到差分计算后的第一样本数据的计算过程一致，在本发明实施例中不再详细赘述。

步骤b，根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值，并确定所述目标时间点的数据对应的预测值。

当得到处理后的第一样本数据和处理后的第二样本数据后，根据处理后的第一样本数据和处理后的第二样本数据计算各个检测特征对应的差分值，并确定目标时间点的数据对应的预测值。具体地，确定预测值的过程可为：将第一样本数据输入至待检测曲线对应的拟合模型中，以得到目标时间点的数据的预测值。需要说明的是，在将第一样本数据输入至待检测曲线对应的拟合模型中时，拟合模型的输出为根据第一样本数据拟合到的一条曲线，根据该条曲线的走向就可确定目标时间点的数据的预测值。由于预测值是使用历史数据学习得到的预测结果，正常情况下预测值应该很贴近真实值，预测值和真实值之间的差值应该是一个随机误差，当待检测曲线为周期性规律较强的曲线时，该随机误差应该符合高斯分布。可以理解的是，也可以目标时间点之前的一定时长内，选取小于第一样本数据对应数据量的数据得到预测值，或者选取大于第一样本数据对应数据量的数据得到预测值。该预测值可由用户根据具体需要而设置。

进一步地，所述根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值的步骤包括：

步骤b1，根据各个所述检测特征对应的特征值计算公式计算处理后的所述第一样本数据的第一特征值，以及计算处理后的所述第二样本数据的第二特征值。

步骤b2，将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

具体地，不同检测特征对应的特征值计算公式是不一样，因此，在计算各个检测特征对应特征值过程中，是根据各个检测特征对应的特征值计算公式计算处理后的第一样本数据的特征值，以及计算处理后的第二样本数据的第二特征值。在本发明实施例中，为了便于区分第一样本数据对应的特征值和第二样本数据对应的特征值，将第一样本数据对应的特征值记为第一特征值，以及将第二样本数据对应的特征值记为第二特征值。如当检测特征为标准差时，特征值计算公式为计算处理后的第一样本数据和处理后的第二样本数据的标准差，如计算处理后的第一样本数据[44，8，-16，-40，0，-54，88，-36，86，-82，-38]的标准差，该标准差即为第一特征值，此时，计算所得的标准差可在一定程度下表示待检测曲线在一定时间内的合理波动范围。当检测特征为均值时，特征值计算公式为计算处理后的第一样本数据和处理后的第二样本数据的均值，如计算处理后的第一样本数据[44，8，-16，-40，0，-54，88，-36，86，-82，-38]的均值。需要说明的是，计算第一特征值和第二特征值的计算过程一致，在此不再详细赘述。

当计算得到第一特征值和第二特征值之后，计算第一特征值和第二特征值之间的平均值，可以理解的是，第一特征值和第二特征值之间的平均值即为检测特征对应的差分值。如当检测特征为标准差时，对应差分值为计算所得的标准差之间的平均值。需要说明的是，当存在多份第二样本数据时，会对应存在多个第二特征值，此时也是计算第一特征值和多个第二特征值之间的平均值得到对应检测特征的差分值。

进一步地，为了提高异常数据检测的准确率，若存在至少三个所述第二特征值，所述异常数据的检测方法还包括：

步骤b3，确定所述第二特征值中的最大值和最小值，删除所述最大值和最小值，得到剩余的所述第二特征值。

当至少存在三份第二样本数据时，会存在至少三个第二特征值，此时对比各个第二特征值的大小，确定第二特征值中的最大值和最小值，删除第二特征值中的最大值和最小值，得到剩余的第二特征值。需要说明的是，通过删除第二特征值中的最大值和最小值，可减少第二样本数据中存在异常数据的概率，提高了异常数据检测的准确率。

步骤b2包括：

步骤b21，将所述第一特征值与剩余的所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

当得到剩余的第二特征值之后，计算第一特征值与剩余的第二特征值之间的平均值，将第一特征值与剩余的第二特征值之间的平均值确定为检测特征对应的差分值。需要说明的是，根据检测特征对应的差分值即可确定在待检测曲线中正常数据点的高斯分布范围，如当计算得到差分值为A时，对应的高斯分布范围为-A到+A之间，此时的高斯分布范围是与检测特征相关的，如当检测特征为标准差时，高斯分布范围是针对待检测曲线中后一个数据点减去前一个数据点后所得的标准差而言的。

步骤c，计算所述真实值与所述预测值之间的差值，并获取所述检测特征对应的检测系数。

当得到目标时间点数据的真实值和预测值之后，计算真实值和预测值之间的差值，在本发明实施例中，为了便于计算，真实值和预测值之间的差值以绝对值的形式表示。在确定待检测曲线对应检测规则的各个检测特征后，获取该检测规则中各个检测特征对应的检测系数。其中，不同检测特征对应的检测系数可能相同，也可能不相同。检测系数是通过实验确定或者根据用户需要而设置，如标准差对应的检测系数可为3，也可为2等。

步骤d，计算所述检测系数与所述差分值之间的乘积，并将所述检测系数和所述差分值之间的乘积记为差分乘积。

步骤e，若所述差值小于或者等于所述差分乘积，则确定所述检测特征对应的结果值为正常结果值。

步骤f，若所述差值大于所述差分乘积，则确定所述检测特征对应的结果值为异常结果值。

当获取到检测特征对应的检测系数后，计算各个检测特征的检测系数与对应差分值之间的乘积，并将检测系数和差分值之间的乘积记为差分乘积。可以理解的是，每一个检测特征都存在一个对应的差分乘积。当计算得到差分乘积和真实值与预测值之间的差值后，判断该差值是否小于或者等于差分乘积。若确定该差值小于或者等于该差分乘积，则确定对应检测特征的结果值为正常结果值；若确定该差值大于该差分乘积，则确定对应检测特征的结果值为异常结果值。如若标准差的检测系数为3，真实值和预测值之间的差值用d_y表示，标准差对应的差分值用std表示，则在d_y≤3*std时，确定标准差对应的结果值为正常结果值；在d_y>3*std时，确定标准差对应的结果值为异常结果值。

需要说明的是，在实际情况中，待检测曲线中的业务数据是正常数据，对于待检测曲线而言，若通过某个检测特征检测到待检测曲线中的数据大部分为正常数据，则说明该检测特征对待检测曲线的检测是有效，若检测到待检测曲线中正常数据越多，则表明该检测特征对待检测曲线的异常数据检测的准确率越高。

步骤S40，若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据。

当计算得到各个检测特征对应的结果值后，计算各个检测特征结果值与对应特征权重之间的乘积，将该结果值与特征权重之间的乘积记为异常值，并判断异常值是否大于预设阈值。其中，预设阈值可根据结果值的表现形式而设置，如当异常结果值用1表示时，预设阈值可设置为0.6或者0.75等；当异常结果值用10表示时，预设阈值可设置为6或者7.3等。若确定异常值大于预设阈值，则确定目标时间点的数据为异常数据；若确定异常值小于或者等于预设阈值，则确定目标时间点的数据为正常数据。

本实施例通过当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据检测指令获取目标时间点对应的第一样本数据和第二样本数据，以及获取目标时间点的数据的真实值；确定待检测曲线所属的曲线类型，并根据曲线类型确定待检测曲线对应检测规则的检测特征，以及获取各个检测特征对应的特征权重；基于待检测曲线对应的拟合模型，根据第一样本数据、第二样本数据和真实值对应计算得到各个检测特征的结果值；若检测到结果值与对应特征权重之间乘积的和大于预设阈值，则确定目标时间点的数据为异常数据。在进行异常数据检测过程中，不再需要人工设置有监督学习模型的标签，降低了异常数据检测的检测成本，且由于不采用有监督学习模型进行异常数据检测，减少了人为因素对检测结果的影响，以及降低了由于异常数据样本数量少对检测结果的影响，提高了异常数据检测的准确率。

进一步地，提出本发明异常数据的检测方法第二实施例。

所述异常数据的检测方法第二实施例与所述异常数据的检测方法第一实施例的区别在于，异常数据的检测方法还包括：

步骤g，获取预设数量的拟合模型，采用所述待检测曲线对应的数据对各个所述拟合模型进行交叉验证，得到验证结果。

步骤h，根据所述验证结果选择损失值最小的拟合模型作为所述待检测曲线对应的拟合模型。

获取预设数量的拟合模型，采用待检测曲线对应的数据对各个拟合模型进行交叉验证，得到验证结果，根据该验证结果在拟合模型中选择损失值最小的拟合模型作为待检测曲线对应的拟合模型。其中，预设数量可根据具体需要而设置，如预设数量可设置为2、3或者5等。交叉验证的基本思想是在某种意义下将原始数据进行分组，一部分作为训练集，另一部分作为验证集，首先用训练集对模型进行训练，再利用验证集来测试训练得到的模型，以此来评价模型的性能指标。本实施例中对拟合模型进行交叉验证过程中所采用的待检测曲线对应的数据可为第一样本数据和第二样本数据，也可为在待检测曲线中获取的其它数据。

需要说明的是，验证结果也是一条曲线，此时，将通过拟合模型得到曲线记为预测曲线，将预测曲线与待检测曲线进行对比，将与待检测曲线之间差值最小的预测曲线对应的拟合模型确定为损失值最小的拟合模型。待检测曲线与预测曲线之间的差值可用一定数量的数据点的平均值或者中位数之间的差值来确定。如在待检测曲线和预测曲线中各自选取10个数据，这10个数据在待检测曲线和预测曲线中的位置是相同的，即这10个数据对应的时间点是相同的。计算待检测曲线中这10个数据的平均值，以及计算预测曲线中这10个数据的平均值，然后将这两个平均值之间的差值确定为损失值，从而确定出损失值最小的拟合模型。

进一步地，若存在至少两个损失值最小的拟合模型，则可在这至少两个损失值最小的拟合模型任选一个拟合模型作为待检测曲线对应的拟合模型。

本实施例通过交叉验证算法选择最适合待检测曲线的拟合模型，进一步提高了异常数据检测的准确率。

进一步地，提出本发明异常数据的检测方法第三实施例。

所述异常数据的检测方法第三实施例与所述异常数据的检测方法第一或第二实施例的区别在于，参照图3，所述异常数据的检测方法还包括：

步骤S50，计算预设时长内检测到异常数据的异常概率。

计算预设时长内检测到异常数据的异常数量，并将该异常数量除以预设时长内所检测数据的总数据量，得到预设时长内检测到异常数据的异常概率。其中，预设时长可根据具体需要而设置，如可将预设时长设置为100分钟，可对这100分钟内每一分钟对应的数据进行检测，即检测这100分钟内的100个数据是否为异常数据，也可对这100分钟内每间隔两分钟对应的数据进行检测，即检测这100分钟内的50个数据是否为异常数据。若在100个数据中检测到10个数据为异常数据，即异常数量为10，总数据量为100，则异常概率＝10÷100＝0.1。

步骤S60，若所述异常概率大于预设概率，则触发调整指令，并根据所述调整指令调整所述检测规则中各个检测特征对应的特征权重。

当计算得到异常概率后，判断该异常概率是否大于预设概率，其中，预设概率可根据具体需要而设置，在本实施例中对预设概率的大小不做具体限制。若确定异常概率大于预设概率，则自动触发调整指令，并根据调整指令调整检测规则中各个检测特征对应的特征权重。在根据调整指令调整检测规则中各个检测特征对应特征权重的过程中，可随机调整各个检测特征对应的特征权重，直到异常概率小于或者等于预设概率；也可按照一定的规律，如先提高检测规则中特征权重最小的检测特征对应的特征权重，若在特征权重最小的检测特则对应的特征权重提高到一定数值后，异常概率还是大于预设概率，则调整特征权重第二小的检测特征对应的特征权重，依此类推，直到异常概率小于或者等于预设概率。可以理解的是，在提高某个检测特征的特征权重时，必定要降低检测规则中其它检测特征的特征权重。

进一步地，若确定异常概率小于或者等于预设概率，则确定不需要调整检测规则中各个检测特征对应的特征权重。

进一步地，若确定异常概率大于预设概率，则可生成提示信息，并输出该提示信息，根据该提示信息提示用户手动调整检测规则中各个检测特征对应的特征权重。

本发明实施例通过当预设时长内检测到异常数据的异常概率大于预设概率时，调整检测规则中各个检测特征对应的特征权重，提高了检测规则检测异常数据的准确率。

此外，本发明实施例还提出一种异常数据的检测装置，所述异常数据的检测装置包括：

获取模块，用于当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据，以及获取所述目标时间点的数据的真实值；

确定模块，用于确定所述待检测曲线所属的曲线类型，并根据所述曲线类型确定所述待检测曲线对应检测规则的各个检测特征；

所述获取模块还用于获取各个检测特征对应的特征权重；

计算模块，用于基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值；

所述确定模块还用于若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据。

进一步地，所述计算模块包括：

删除单元，用于删除所述第一样本数据和所述第二样本数据中的孤点数据，得到处理后的所述第一样本数据和所述第二样本数据；

计算单元，用于根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值；

确定单元，用于确定所述目标时间点的数据对应的预测值；

所述计算单元还用于计算所述真实值与所述预测值之间的差值；

获取单元，用于获取所述检测特征对应的检测系数；

所述计算单元还用于计算所述检测系数与所述差分值之间的乘积，并将所述检测系数和所述差分值之间的乘积记为差分乘积；

所述确定单元还用于若所述差值小于或者等于所述差分乘积，则确定所述检测特征对应的结果值为正常结果值；若所述差值大于所述差分乘积，则确定所述检测特征对应的结果值为异常结果值。

进一步地，所述删除单元包括：

第一计算子单元，用于对所述第一样本数据进行差分计算，得到差分计算后的所述第一样本数据；

聚类子单元，用于采用预设的聚类算法对差分计算后的所述第一样本数据进行聚类；

第一确定子单元，用于根据聚类所得的聚类结果确定差分计算后的所述第一样本数据中的孤点数据；

删除子单元，用于删除所述孤点数据，得到处理后的所述第一样本数据。

进一步地，所述计算单元包括：

第二计算子单元，用于根据各个所述检测特征对应的特征值计算公式计算处理后的所述第一样本数据的第一特征值，以及计算处理后的所述第二样本数据的第二特征值；

第二确定子单元，用于将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

进一步地，所述第二确定子单元还用于确定所述第二特征值中的最大值和最小值，删除所述最大值和最小值，得到剩余的所述第二特征值；将所述第一特征值与剩余的所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

进一步地，所述获取模块还用于获取预设数量的拟合模型；

所述异常数据的检测装置还包括：

验证模块，用于采用所述待检测曲线对应的数据对各个所述拟合模型进行交叉验证，得到验证结果；

所述确定模块还用于根据所述验证结果选择损失值最小的拟合模型作为所述待检测曲线对应的拟合模型。

进一步地，所述计算模块还用于计算预设时长内检测到异常数据的异常概率；

所述异常数据的检测装置还包括：

触发模块，用于若所述异常概率大于预设概率，则触发调整指令；

调整模块，用于根据所述调整指令调整所述检测规则中各个检测特征对应的特征权重。

本发明异常数据的检测装置具体实施方式与上述异常数据的检测方法各实施例基本相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有异常数据的检测程序，所述异常数据的检测程序被处理器执行时实现如上所述的异常数据的检测方法的步骤。

本发明计算机可读存储介质具体实施方式与上述异常数据的检测方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种异常数据的检测方法，其特征在于，所述异常数据的检测方法包括以下步骤：

当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据，以及获取所述目标时间点的数据的真实值；

确定所述待检测曲线所属的曲线类型，并根据所述曲线类型确定所述待检测曲线对应检测规则的各个检测特征，以及获取各个检测特征对应的特征权重；

基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值；

若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据。

2.如权利要求1所述的异常数据的检测方法，其特征在于，所述基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值的步骤包括：

删除所述第一样本数据和所述第二样本数据中的孤点数据，得到处理后的所述第一样本数据和所述第二样本数据；

根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值，并确定所述目标时间点的数据对应的预测值；

计算所述真实值与所述预测值之间的差值，并获取所述检测特征对应的检测系数；

计算所述检测系数与所述差分值之间的乘积，并将所述检测系数和所述差分值之间的乘积记为差分乘积；

若所述差值小于或者等于所述差分乘积，则确定所述检测特征对应的结果值为正常结果值；

若所述差值大于所述差分乘积，则确定所述检测特征对应的结果值为异常结果值。

3.如权利要求2所述的异常数据的检测方法，其特征在于，删除所述第一样本数据中的孤点数据，得到处理后的所述第一样本数据的步骤包括：

对所述第一样本数据进行差分计算，得到差分计算后的所述第一样本数据；

采用预设的聚类算法对差分计算后的所述第一样本数据进行聚类，根据聚类所得的聚类结果确定差分计算后的所述第一样本数据中的孤点数据，并删除所述孤点数据，得到处理后的所述第一样本数据。

4.如权利要求2所述的异常数据的检测方法，其特征在于，所述根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值的步骤包括：

根据各个所述检测特征对应的特征值计算公式计算处理后的所述第一样本数据的第一特征值，以及计算处理后的所述第二样本数据的第二特征值；

将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

5.如权利要求4所述的异常数据的检测方法，其特征在于，若存在至少三个所述第二特征值，所述将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值的步骤之前，还包括：

确定所述第二特征值中的最大值和最小值，删除所述最大值和最小值，得到剩余的所述第二特征值；

所述将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值的步骤包括：

将所述第一特征值与剩余的所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

6.如权利要求2所述的异常数据的检测方法，其特征在于，所述当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据的步骤之前，还包括：

获取预设数量的拟合模型，采用所述待检测曲线对应的数据对各个所述拟合模型进行交叉验证，得到验证结果；

根据所述验证结果选择损失值最小的拟合模型作为所述待检测曲线对应的拟合模型。

7.如权利要求1至6任一项所述的异常数据的检测方法，其特征在于，所述若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据的步骤之后，还包括：

计算预设时长内检测到异常数据的异常概率；

若所述异常概率大于预设概率，则触发调整指令，并根据所述调整指令调整所述检测规则中各个检测特征对应的特征权重。

8.一种异常数据的检测装置，其特征在于，所述异常数据的检测装置包括：

获取模块，用于当侦测到检测待检测曲线目标时间点的数据是否为异常数据的检测指令后，根据所述检测指令获取所述目标时间点对应的第一样本数据和第二样本数据，以及获取所述目标时间点的数据的真实值；

确定模块，用于确定所述待检测曲线所属的曲线类型，并根据所述曲线类型确定所述待检测曲线对应检测规则的各个检测特征；

所述获取模块还用于获取各个检测特征对应的特征权重；

计算模块，用于基于所述待检测曲线对应的拟合模型，根据所述第一样本数据、所述第二样本数据和所述真实值对应计算得到各个检测特征的结果值；

所述确定模块还用于若检测到所述结果值与对应所述特征权重之间乘积的和大于预设阈值，则确定所述目标时间点的数据为异常数据。

9.如权利要求8所述的异常数据的检测装置，其特征在于，所述计算模块包括：

删除单元，用于删除所述第一样本数据和所述第二样本数据中的孤点数据，得到处理后的所述第一样本数据和所述第二样本数据；

计算单元，用于根据处理后的所述第一样本数据和所述第二样本数据计算各个检测特征对应的差分值；

确定单元，用于确定所述目标时间点的数据对应的预测值；

所述计算单元还用于计算所述真实值与所述预测值之间的差值；

获取单元，用于获取所述检测特征对应的检测系数；

所述计算单元还用于计算所述检测系数与所述差分值之间的乘积，并将所述检测系数和所述差分值之间的乘积记为差分乘积；

所述确定单元还用于若所述差值小于或者等于所述差分乘积，则确定所述检测特征对应的结果值为正常结果值；若所述差值大于所述差分乘积，则确定所述检测特征对应的结果值为异常结果值。

10.如权利要求9所述的异常数据的检测装置，其特征在于，所述删除单元包括：

第一计算子单元，用于对所述第一样本数据进行差分计算，得到差分计算后的所述第一样本数据；

聚类子单元，用于采用预设的聚类算法对差分计算后的所述第一样本数据进行聚类；

第一确定子单元，用于根据聚类所得的聚类结果确定差分计算后的所述第一样本数据中的孤点数据；

删除子单元，用于删除所述孤点数据，得到处理后的所述第一样本数据。

11.如权利要求9所述的异常数据的检测装置，其特征在于，所述计算单元包括：

第二计算子单元，用于根据各个所述检测特征对应的特征值计算公式计算处理后的所述第一样本数据的第一特征值，以及计算处理后的所述第二样本数据的第二特征值；

第二确定子单元，用于将所述第一特征值和所述第二特征值之间的平均值确定为所述检测特征对应的差分值。

12.一种异常数据的检测设备，其特征在于，所述异常数据的检测设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的异常数据的检测程序，所述异常数据的检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的异常数据的检测方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有异常数据的检测程序，所述异常数据的检测程序被处理器执行时实现如权利要求1至7中任一项所述的异常数据的检测方法的步骤。