CN113435517B - 异常数据点输出方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及数据处理领域，具体公开了一种异常数据点输出方法、装置、计算机设备和存储介质，其中方法包括获取待分析的数据；基于待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；将待分析的数据和指定标准数据构建成纠缠数据组；将纠缠数据组输入异常数据预测模型中进行处理，从而得到异常数据预测模型输出的预测结果；若预测结果为数据异常，则根据预设的异常数据点获取方法，从待分析的数据中选出异常数据点，并输出异常数据点。本申请采用的构建成纠缠数据组再输入预设的异常数据预测模型中进行处理的方式，其更具针对性，准确性更高，适用性更广泛。

Description

异常数据点输出方法、装置、计算机设备和存储介质

技术领域

本申请涉及到数据处理领域，特别是涉及到一种异常数据点输出方法、装置、计算机设备和存储介质。

背景技术

异常数据分析是计算机领域中的数据分析技术中的重要组成内容。发明人发现，传统的异常数据分析，是通过分析待分析的数据是否符合指标要求，判定待分析的数据是否属于异常数据。而这种异常数据分析方法的准确性不足。

发明内容

本申请的主要目的为提供一种异常数据点输出方法、装置、计算机设备和存储介质，旨在解决现有技术中异常数据分析准确性低的技术问题。

为了实现上述发明目的，本申请提出一种异常数据点输出方法，包括：

获取待分析的数据；

基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。

进一步地，所述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

进一步地，所述待分析的数据在时间维度上连续，所述基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据的步骤，包括：

生成所述待分析的数据随时间变化的第一函数G(t)；

从标准数据库中选出一个在时间维度上连续的参考数据，并生成所述参考数据随时间变化的第二函数g(t)；

根据公式：P(t)＝min(Q(t),m),其中

R(t)＝G(t)-g(t)，获取函数P(t)，其中G(t)为所述第一函数，g(t)为所述第二函数，R(t)为所述第一函数与所述第二函数的差值函数，min指最小值函数，t为时间，m为预设的大于0的误差参数值；

采用计数器对所述函数P(t)进行计数，并读取所述计数器的数值；其中，每当所述函数P(t)的数值由非m变为m时，所述计数器的计数增加一次，所述计数器的初始计数为0；

判断所述计数器的数值是否大于预设的计数阈值；

若所述计数器的数值不大于预设的计数阈值，则将所述参考数据记为指定标准数据。

进一步地，所述根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点的步骤，包括：

构建平面直角坐标系，并在所述平面直角坐标系中绘制所述第一函数G(t)对应的第一曲线图；以及，在所述平面直角坐标系中绘制所述函数P(t)对应的第二曲线图；

删除所述第一曲线图中取值不为m的部分，并将所述第一曲线图中的剩余部分记为第一剩余线段；

对所述第二曲线图进行部分删除处理，以使所述第二曲线图保留第二剩余线段；其中，所述第二剩余线段的时间轴位置与所述第一剩余线段的时间轴位置完全相同；

将所述第二剩余线段记为异常数据点，并输出所述异常数据点。

进一步地，所述将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果的步骤之前，包括：

从预设的样本数据库中调取预设数量的样本数据，并将所述样本数据按预设比例划分为训练数据和验证数据；其中所述样本数据由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，所述标签为数据异常或者数据正常；

调取预设的决策树模型，并将所述训练数据输出所述决策树模型中进行训练，从而得到暂时模型；

采用所述验证数据对所述暂时模型进行验证，从而得到验证结果，并判断所述验证结果是否为验证通过；

若所述验证结果为验证通过，则将所述暂时模型记为异常数据预测模型。

进一步地，所述所述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，分别对第一应用和第二应用进行数据采集处理，从而获取对应所述第一应用的第三数据，和对应所述第二应用的第四数据，其中，所述第二应用为辅助所述第一应用运行的应用；

将所述第三数据和所述第四数据按时间顺序汇总为所述待分析的数据。

本申请还提供一种异常数据点输出装置，包括：

获取单元，用于获取待分析的数据；

选取单元，用于基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

构建单元，用于将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

模型处理单元，用于将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

输出单元，用于若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。

进一步地，所述获取单元，包括：

第一采集模块，用于采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

第二采集模块，用于通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

汇总模块，用于将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本申请的异常数据点输出方法、装置、计算机设备和存储介质，实现了准确分析异常数据，并找出异常数据点。其中，采用了将所述待分析的数据和所述指定标准数据构建成纠缠数据组的形式，再将所述纠缠数据组输入异常数据预测模型中进行处理的方式，用以判断待分析的数据是否异常，其准确性比单纯对单一的待分析的数据进行分析要高。更具体地，本申请采用的构建成纠缠数据组再输入异常数据预测模型中进行处理的方式，其更具针对性，准确性更高，适用性更广泛。

附图说明

图1为本申请一实施例的异常数据点输出方法的流程示意图；

图2为本申请一实施例的异常数据点输出装置的结构示意框图；

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参照图1，本申请实施例提供一种异常数据点输出方法，包括步骤：

S1、获取待分析的数据；

S2、基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

S3、将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

S4、将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

S5、若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。

如上述步骤S1-S2所述，获取待分析的数据；基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据。其中，所述待分析的数据可用任意可行数据，例如为计算机硬件工作时相关数据(电压数据、耗电量数据等)，或者为多个终端之间进行通信的通信数据(数据包的大小、数量等)，或者为商业经营数据等。需要注意的是，相较于普通的数据分析方法，本申请的一个特点在于，在进行数据分析之前，需要先进行“选出指定标准数据”的过程，以使得后续的异常数据预测模型不是仅仅针对一个单一的待分析数据进行处理，从而针对性更强(不同的待分析数据对应于不同的标准数据)，准确性更高。上述预设的标准数据选取方法包括多种，比如通过预设的计算公式计算待分析的数据得到计算数字，然后在标准数据库中选出与计算数字相等或差值在指定范围内的数据等作为标准数据。进一步地，在所述基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据的步骤之后，还包括：使用传统商业智能数据分析方法，对待分析的数据和指定标准数据进行预处理。所述预处理的方法例如为：对待分析的数据和指定标准数据进行一次初级排序(排序后的结果包含数据的所有维度和层级)，再根据预设的维度权重对初级排序进行权重计算，从而得到分别对应于待分析的数据和指定标准数据的最终排序数据。

如上述步骤S3-S4所述，将所述待分析的数据和所述指定标准数据构建成纠缠数据组；将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成。其中，所述将所述待分析的数据和所述指定标准数据构建成纠缠数据组可采用任意可行方式实现，例如当待分析的数据和所述指定标准数据均为时间上连续的数据时，根据待分析的数据和所述指定标准数据生成对应的差值函数和商值函数等特征函数，再将生成的特征函数共同组成纠缠数据组；或者，也可以将所述待分析的数据和所述指定标准数据直接组成纠缠数据组。需要注意的是，异常数据预测模型是本申请的另一个特点，该异常数据预测模型不对单一数据进行处理，而只以对纠缠数据组进行处理，从而相对而言，训练数据较多，训练速度较慢，但其针对性更强，准确性更高。

如上述步骤S5所述，判断所述预测结果是否为数据异常；若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。若所述预测结果为数据异常，则表明待分析的数据属于异常数据。进一步地，由于本申请预先获取了与待分析的数据对应的指定标准数据，因此根据预设的异常数据点获取方法，能够快速从所述待分析的数据中选出异常数据点，再输出所述异常数据点。其中，预设的异常数据点获取方法可采用任意可行方法，例如将所述待分析的数据和所述指定标准数据进行对应数据点的差值计算，从而得到差值序列，将差值序列中数值大于差值阈值的数据点记为异常数据点。

本申请实施例的异常数据点输出方法，通过特别的设计，实现了准确分析异常数据，并找出异常数据点。其中，采用了将所述待分析的数据和所述指定标准数据构建成纠缠数据组的形式，再将所述纠缠数据组输入异常数据预测模型中进行处理的方式，用以判断待分析的数据是否异常，其准确性要比单纯对单一的待分析的数据进行分析要高。更具体地，虽然本申请采用的构建成纠缠数据组再输入异常数据预测模型中进行处理的方式，其使用的异常数据预测模型的体量比较大，训练速度比较慢，但其更具针对性，准确性更高，适用性更广泛。

在一个实施方式中，上述获取待分析的数据的步骤S1，包括：

S101、采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

S102、通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

S103、将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

如上所述，实现了获取待分析的数据。其中，所述采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据可采用任意方式实现，例如在指定应用的数据接收端口处进行埋点，从而获取第一数据。所述电信号传感器可为任意可行传感器，例如为电压传感器、电流传感器等。将所述第一数据和第二数据按时间顺序汇总为待分析的数据。需要注意的是，本申请同时采用反应了无实体的第一数据和反应了有实体的第二数据，以在两个关键的维度上采集充分的数据，以提高数据分析的准确性。

在一个实施方式中，上述待分析的数据在时间维度上连续，所述基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据的步骤S2，包括：

S201、生成所述待分析的数据随时间变化的第一函数G(t)；

S202、从标准数据库中选出一个在时间维度上连续的参考数据，并生成所述参考数据随时间变化的第二函数g(t)；

S203、根据公式：

P(t)＝min(Q(t),m),其中

R(t)＝G(t)-g(t)，获取函数P(t)，其中G(t)为所述第一函数，g(t)为所述第二函数，R(t)为所述第一函数与所述第二函数的差值函数，min指最小值函数，t为时间，m为预设的大于0的误差参数值；

S204、采用计数器对所述函数P(t)进行计数，并读取所述计数器的数值；其中，每当所述函数P(t)的数值由非m变为m时，所述计数器的计数增加一次，所述计数器的初始计数为0；

S205、判断所述计数器的数值是否大于预设的计数阈值；

S206、若所述计数器的数值不大于预设的计数阈值，则将所述参考数据记为指定标准数据。

如上所述，实现了基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据。本申请技术方案得以实现的一个要点在于选取标准数据，即选取出的标准数据是否妥当，对于最终的分析结果是否准确有很大的影响。从此处也能看出本申请的一个特点，即数据分析的准确性不单纯依赖于异常数据预测模型，还依赖于标准数据的选取过程。具体地，本申请采用公式：

P(t)＝min(Q(t),m),其中

R(t)＝G(t)-g(t)，获取函数P(t)，将预设的计数器的计数规则设置为，当所述函数P(t)的数值由非m变为m时所述计数器的计数增加一次，所述计数器的初始计数为0；采用所述计数器对所述函数P(t)进行计数，读取所述计数器的数值，并判断所述计数器的数值是否大于预设的计数阈值；若所述计数器的数值不大于预设的计数阈值，则将所述参考数据记为指定标准数据的方式，以保证从数据库中选出的指定标准数据不仅在数值维度上，而且还在趋势变化维度上与待分析数据更切合，从而为后续准确地进行数据分析提供了可能。

进一步地，上述根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点的步骤S5，包括：

S501、构建平面直角坐标系，并在所述平面直角坐标系中绘制所述第一函数G(t)对应的第一曲线图；以及，在所述平面直角坐标系中绘制所述函数P(t)对应的第二曲线图；

S502、删除所述第一曲线图中取值不为m的部分，并将所述第一曲线图中的剩余部分记为第一剩余线段；

S503、对所述第二曲线图进行部分删除处理，以使所述第二曲线图保留第二剩余线段；其中，所述第二剩余线段的时间轴位置与所述第一剩余线段的时间轴位置完全相同；

S504、将所述第二剩余线段记为异常数据点，并输出所述异常数据点。

如上所述，实现了根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。需要注意的是，本申请的标准数据的选取过程，不仅对异常数据预测模型的处理具有影响，还对异常数据点的准确选取具有影响。具体地，本申请通过构建平面直角坐标系，并在所述平面直角坐标系中绘制所述第一函数G(t)对应的第一曲线图；以及，在所述平面直角坐标系中绘制所述函数P(t)对应的第二曲线图；删除所述第一曲线图中取值不为m的部分，并将所述第一曲线图中的剩余部分记为第一剩余线段；对所述第二曲线图进行部分删除处理，以使所述第二曲线图只保留第二剩余线段；其中，所述第二剩余线段的时间轴位置与所述第一剩余线段的时间轴位置完全相同；将所述第二剩余线段记为异常数据点，并输出所述异常数据点，使得待分析的数据与指定标准数据中最不切合的数据点直接暴露了出来。在整个过程中，还利用了标准数据选取过程中也采用过的第一函数G(t)和第二函数g(t)，从而无需调用额外数据，降低了计算损耗。

在一个实施方式中，上述将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果的步骤S4之前，包括：

S31、从预设的样本数据库中调取预设数量的样本数据，并将所述样本数据按预设比例划分为训练数据和验证数据；其中所述样本数据由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，所述标签为数据异常或者数据正常；

S32、调取预设的决策树模型，并将所述训练数据输出所述决策树模型中进行训练，从而得到暂时模型；

S33、采用所述验证数据对所述暂时模型进行验证，从而得到验证结果，并判断所述验证结果是否为验证通过；

S34、若所述验证结果为验证通过，则将所述暂时模型记为异常数据预测模型。

如上所述，实现了将所述暂时模型记为异常数据预测模型。本申请采用特殊的方式进行模型训练。即，从预设的样本数据库中调取预设数量的样本数据，并将所述样本数据按预设比例划分为训练数据和验证数据；其中所述样本数据由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，所述标签为数据异常或者数据正常；调取预设的决策树模型，并将所述训练数据输出所述决策树模型中进行训练，从而得到暂时模型；采用所述验证数据对所述暂时模型进行验证，从而得到验证结果，并判断所述验证结果是否为验证通过；若所述验证结果为验证通过，则将所述暂时模型记为异常数据预测模型。其中，最为特别的是，训练数据是由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，而纠缠数据组并非是单一数据构成，因此其训练数据的数量大，且需要训练的轮数也需要足够多，才能保证异常数据预测模型能够胜任数据分析的任务，其原因在于：普通的模型若需要A个训练数据，那么本申请的纠缠数据组需要先找到与A个训练数据对应的B个标准数据，其中B远大于A(这是因为每个训练数据对应的合适的或者不合适的标准数据存在多个)，这样构建出的纠缠数据组的数量远大于A个训练数据)，但在付出了上述代价之后，本申请的异常数据预测模型的针对性与准确性得到了提升，从而有利于数据分析的准确进行。

进一步地，上述将所述暂时模型记为异常数据预测模型的步骤之后，包括：

将所述异常数据预测模型存储于预设的区块链网络。

区块链网络是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

在一个实施方式中，上述获取待分析的数据的步骤S1，包括：

S11、采用预设的数据埋点技术，分别对第一应用和第二应用进行数据采集处理，从而获取对应所述第一应用的第三数据，和对应所述第二应用的第四数据，其中，所述第二应用为辅助所述第一应用运行的应用；

S12、将所述第三数据和所述第四数据按时间顺序汇总为所述待分析的数据。

如上所述，实现了获取待分析的数据。其中，上述第一应用一般为用户用来与终端进行人机交互的应用，如游戏应用、聊天应用、视频应用等，上述第二应用一般为自动被终端拉起运行，用来辅助其他运行的应用，如游戏加速应用、网络信号增强应用等，在一具体事例中，当用户打开A应用时，终端自动打用于开提高A应用的操作体验的B应用，此时A应用为上述的第一应用，B应用为上述的第二应用。预设的埋点技术可以为现有的任意一种埋点技术，如在应用的数据接收端进行埋点等。本申请同时采用反应了交互数据的第三数据和反应了有辅助数据的第四数据，以在两个关键的维度上采集充分的数据，以提高数据分析的准确性。

参照图2，本申请还提供一种异常数据点输出装置，包括：

获取单元10，用于获取待分析的数据；

选取单元20，用于基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

构建单元30，用于将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

模型处理单元40，用于将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

输出单元50，用于若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。

在一个实施例中，上述获取单元10，包括：

第一采集模块，用于采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

第二采集模块，用于通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

汇总模块，用于将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

在一个实施例中，上述选取单元20，包括：

第一生成模块，用于生成所述待分析的数据随时间变化的第一函数G(t)；

第二生成模块，用于从标准数据库中选出一个在时间维度上连续的参考数据，并生成所述参考数据随时间变化的第二函数g(t)；

获取模块，用于根据公式：

P(t)＝min(Q(t),m),其中

R(t)＝G(t)-g(t)，获取函数P(t)，其中G(t)为所述第一函数，g(t)为所述第二函数，R(t)为所述第一函数与所述第二函数的差值函数，min指最小值函数，t为时间，m为预设的大于0的误差参数值；

计数模块，用于采用计数器对所述函数P(t)进行计数，并读取所述计数器的数值；其中，每当所述函数P(t)的数值由非m变为m时，所述计数器的计数增加一次，所述计数器的初始计数为0；

判断模块，用于判断所述计数器的数值是否大于预设的计数阈值；

判定模块，用于若所述计数器的数值不大于预设的计数阈值，则将所述参考数据记为指定标准数据。

进一步地，上述输出单元50，包括：

构建模块，用于构建平面直角坐标系，并在所述平面直角坐标系中绘制所述第一函数G(t)对应的第一曲线图；以及，在所述平面直角坐标系中绘制所述函数P(t)对应的第二曲线图；

第一删除模块，用于删除所述第一曲线图中取值不为m的部分，并将所述第一曲线图中的剩余部分记为第一剩余线段；

第二删除模块，用于对所述第二曲线图进行部分删除处理，以使所述第二曲线图保留第二剩余线段；其中，所述第二剩余线段的时间轴位置与所述第一剩余线段的时间轴位置完全相同；

输出模块，用于将所述第二剩余线段记为异常数据点，并输出所述异常数据点。

在一个实施例中，上述异常数据点输出装置，包括：

样本调取单元，用于从预设的样本数据库中调取预设数量的样本数据，并将所述样本数据按预设比例划分为训练数据和验证数据；其中所述样本数据由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，所述标签为数据异常或者数据正常；

模型训练单元，用于调取预设的决策树模型，并将所述训练数据输出所述决策树模型中进行训练，从而得到暂时模型；

验证单元，用于采用所述验证数据对所述暂时模型进行验证，从而得到验证结果，并判断所述验证结果是否为验证通过；

结果单元，用于若所述验证结果为验证通过，则将所述暂时模型记为异常数据预测模型。

进一步地，上述异常数据点输出装置，包括：

存储单元，用于将所述异常数据预测模型存储于预设的区块链网络。

进一步地，上述获取单元10，包括：

第三采集模块，用于采用预设的数据埋点技术，分别对第一应用和第二应用进行数据采集处理，从而获取对应所述第一应用的第三数据，和对应所述第二应用的第四数据，其中，所述第二应用为辅助所述第一应用运行的应用；

混合模块，用于将所述第三数据和所述第四数据按时间顺序汇总为所述待分析的数据。

上述各单元、模块均为执行上述异常数据点输出方法的装置，不在一一展开说明。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于标准数据库中的数据、待分析的数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常数据点输出方法。

上述处理器执行上述异常数据点输出方法，包括步骤：获取待分析的数据；

基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。

在一个实施例中，所述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

在一个实施例中，所述待分析的数据在时间维度上连续，所述基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据的步骤，包括：

生成所述待分析的数据随时间变化的第一函数G(t)；

从标准数据库中选出一个在时间维度上连续的参考数据，并生成所述参考数据随时间变化的第二函数g(t)；

根据公式：P(t)＝min(Q(t),m),其中

R(t)＝G(t)-g(t)，获取函数P(t)，其中G(t)为所述第一函数，g(t)为所述第二函数，R(t)为所述第一函数与所述第二函数的差值函数，min指最小值函数，t为时间，m为预设的大于0的误差参数值；

采用计数器对所述函数P(t)进行计数，并读取所述计数器的数值；其中，每当所述函数P(t)的数值由非m变为m时，所述计数器的计数增加一次，所述计数器的初始计数为0；

判断所述计数器的数值是否大于预设的计数阈值；

若所述计数器的数值不大于预设的计数阈值，则将所述参考数据记为指定标准数据。

在一个实施例中，所述根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点的步骤，包括：

构建平面直角坐标系，并在所述平面直角坐标系中绘制所述第一函数G(t)对应的第一曲线图；以及，在所述平面直角坐标系中绘制所述函数P(t)对应的第二曲线图；

删除所述第一曲线图中取值不为m的部分，并将所述第一曲线图中的剩余部分记为第一剩余线段；

对所述第二曲线图进行部分删除处理，以使所述第二曲线图保留第二剩余线段；其中，所述第二剩余线段的时间轴位置与所述第一剩余线段的时间轴位置完全相同；

将所述第二剩余线段记为异常数据点，并输出所述异常数据点。

在一个实施例中，所述将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果的步骤S4之前，包括：

从预设的样本数据库中调取预设数量的样本数据，并将所述样本数据按预设比例划分为训练数据和验证数据；其中所述样本数据由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，所述标签为数据异常或者数据正常；

调取预设的决策树模型，并将所述训练数据输出所述决策树模型中进行训练，从而得到暂时模型；

采用所述验证数据对所述暂时模型进行验证，从而得到验证结果，并判断所述验证结果是否为验证通过；

若所述验证结果为验证通过，则将所述暂时模型记为异常数据预测模型。

在一个实施例中，所述将所述暂时模型记为异常数据预测模型的步骤之后，包括：

将所述异常数据预测模型存储于预设的区块链网络。

在一个实施方例中，上述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，分别对第一应用和第二应用进行数据采集处理，从而获取对应所述第一应用的第三数据，和对应所述第二应用的第四数据，其中，所述第二应用为辅助所述第一应用运行的应用；

将所述第三数据和所述第四数据按时间顺序汇总为所述待分析的数据。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种上述异常数据点输出方法，包括：

获取待分析的数据；

基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。

在一个实施例中，所述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

在一个实施例中，所述待分析的数据在时间维度上连续，所述基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据的步骤，包括：

生成所述待分析的数据随时间变化的第一函数G(t)；

从所述标准数据库中选出一个在时间维度上连续的参考数据，并生成所述参考数据随时间变化的第二函数g(t)；

根据公式：P(t)＝min(Q(t),m),其中

R(t)＝G(t)-g(t)，获取函数P(t)，其中G(t)为所述第一函数，g(t)为所述第二函数，R(t)为所述第一函数与所述第二函数的差值函数，min指最小值函数，t为时间，m为预设的大于0的误差参数值；

采用计数器对所述函数P(t)进行计数，并读取所述计数器的数值；其中，每当所述函数P(t)的数值由非m变为m时，所述计数器的计数增加一次，所述计数器的初始计数为0；

判断所述计数器的数值是否大于预设的计数阈值；

若所述计数器的数值不大于预设的计数阈值，则将所述参考数据记为指定标准数据。

在一个实施例中，所述根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点的步骤，包括：

构建平面直角坐标系，并在所述平面直角坐标系中绘制所述第一函数G(t)对应的第一曲线图；以及，在所述平面直角坐标系中绘制所述函数P(t)对应的第二曲线图；

删除所述第一曲线图中取值不为m的部分，并将所述第一曲线图中的剩余部分记为第一剩余线段；

对所述第二曲线图进行部分删除处理，以使所述第二曲线图保留第二剩余线段；其中，所述第二剩余线段的时间轴位置与所述第一剩余线段的时间轴位置完全相同；

将所述第二剩余线段记为异常数据点，并输出所述异常数据点。

在一个实施例中，所述将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果的步骤S4之前，包括：

从预设的样本数据库中调取预设数量的样本数据，并将所述样本数据按预设比例划分为训练数据和验证数据；其中所述样本数据由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，所述标签为数据异常或者数据正常；

调取预设的决策树模型，并将所述训练数据输出所述决策树模型中进行训练，从而得到暂时模型；

采用所述验证数据对所述暂时模型进行验证，从而得到验证结果，并判断所述验证结果是否为验证通过；

若所述验证结果为验证通过，则将所述暂时模型记为异常数据预测模型。

在一个实施例中，所述将所述暂时模型记为异常数据预测模型的步骤之后，包括：

将所述异常数据预测模型存储于预设的区块链网络。

在一个实施方例中，上述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，分别对第一应用和第二应用进行数据采集处理，从而获取对应所述第一应用的第三数据，和对应所述第二应用的第四数据，其中，所述第二应用为辅助所述第一应用运行的应用；

将所述第三数据和所述第四数据按时间顺序汇总为所述待分析的数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种异常数据点输出方法，其特征在于，包括：

获取待分析的数据；

基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点；

所述待分析的数据在时间维度上连续，所述基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据的步骤，包括：

生成所述待分析的数据随时间变化的第一函数G(t)；

从所述标准数据库中选出一个在时间维度上连续的参考数据，并生成所述参考数据随时间变化的第二函数g(t)；

根据公式：

P(t)＝min(Q(t),m),其中

获取函数P(t)，其中G(t)为所述第一函数，g(t)为所述第二函数，R(t)为所述第一函数与所述第二函数的差值函数，min指最小值函数，t为时间，m为大于0的误差参数值；

采用计数器对所述函数P(t)进行计数，并读取所述计数器的数值；其中，每当所述函数P(t)的数值由非m变为m时，所述计数器的计数增加一次，所述计数器的初始计数为0；

判断所述计数器的数值是否大于预设的计数阈值；

若所述计数器的数值不大于预设的计数阈值，则将所述参考数据记为指定标准数据；

所述根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点的步骤，包括：

构建平面直角坐标系，并在所述平面直角坐标系中绘制所述第一函数G(t)对应的第一曲线图；以及，在所述平面直角坐标系中绘制所述函数P(t)对应的第二曲线图；

删除所述第一曲线图中取值不为m的部分，并将所述第一曲线图中的剩余部分记为第一剩余线段；

对所述第二曲线图进行部分删除处理，以使所述第二曲线图保留第二剩余线段；其中，所述第二剩余线段的时间轴位置与所述第一剩余线段的时间轴位置完全相同；

将所述第二剩余线段记为异常数据点，并输出所述异常数据点；

所述将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果的步骤之前，包括：

从预设的样本数据库中调取预设数量的样本数据，并将所述样本数据按预设比例划分为训练数据和验证数据；其中所述样本数据由训练用纠缠数据组与对所述训练用纠缠数据组人工标注的标签构成，所述标签为数据异常或者数据正常；

调取预设的决策树模型，并将所述训练数据输出所述决策树模型中进行训练，从而得到暂时模型；

采用所述验证数据对所述暂时模型进行验证，从而得到验证结果，并判断所述验证结果是否为验证通过；

若所述验证结果为验证通过，则将所述暂时模型记为异常数据预测模型。

2.根据权利要求1所述的异常数据点输出方法，其特征在于，所述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

3.根据权利要求1所述的异常数据点输出方法，其特征在于，所述获取待分析的数据的步骤，包括：

采用预设的数据埋点技术，分别对第一应用和第二应用进行数据采集处理，从而获取对应所述第一应用的第三数据，和对应所述第二应用的第四数据，其中，所述第二应用为辅助所述第一应用运行的应用；

将所述第三数据和所述第四数据按时间顺序汇总为所述待分析的数据。

4.一种异常数据点输出装置，所述装置用于实现权利要求1-3任一项所述的方法，其特征在于，所述装置包括：

获取单元，用于获取待分析的数据；

选取单元，用于基于所述待分析的数据和预设的标准数据选取方法，从标准数据库中选出指定标准数据；

构建单元，用于将所述待分析的数据和所述指定标准数据构建成纠缠数据组；

模型处理单元，用于将所述纠缠数据组输入异常数据预测模型中进行处理，从而得到所述异常数据预测模型输出的预测结果；其中所述预测结果为数据异常或者数据正常；所述异常数据预测模型基于决策树模型并采用训练数据训练而得，所述训练数据由训练用数据组与对所述训练用数据组人工标注的标签构成；

输出单元，用于若所述预测结果为数据异常，则根据预设的异常数据点获取方法，从所述待分析的数据中选出异常数据点，并输出所述异常数据点。

5.根据权利要求4所述的异常数据点输出装置，其特征在于，所述获取单元，包括：

第一采集模块，用于采用预设的数据埋点技术，对指定应用进行数据采集处理，从而获取指定应用的第一数据；

第二采集模块，用于通过所述指定应用所处终端上的电信号传感器，对所述终端进行电信号数据采集处理，从而获取所述终端的第二数据；

汇总模块，用于将所述第一数据和所述第二数据按时间顺序汇总为所述待分析的数据。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。

Images