CN112231181A - 数据异常更新检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了数据异常更新检测方法、装置、计算机设备及存储介质，涉及云监控技术，包括若目标Hive表为非波动类型，获取目标Hive表的历史元数据信息，将其作为Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息，若数据文件大小值数据更新时间异常，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端，若目标Hive表为波动类型，获取目标Hive表对应的源数据，调用孤立森林模型对源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。实现了通过模型来判别目标Hive表是否异常，避免了人工去设置阈值、设定规则，减少不必要的手工工作，而且对异常的监控更加准确和快速。

Description

数据异常更新检测方法、装置、计算机设备及存储介质

技术领域

本发明涉及云监控的性能监控技术领域，尤其涉及一种数据异常更新检测方法、装置、计算机设备及存储介质。

背景技术

目前，当需对不同系统或服务器中的数据表进行数据量监控，例如对Hive数据表进行监控时，一般采用具有数据表更新监控功能的工具。但是有部分的Hive表针数据量变化也与特殊日期（节假日、推广活动等）相关性比较大，在现有的Hive表监控工具中配置针对特殊日期表的监控任务不仅操作复杂，而且由于这类Hive表监控工具的文件大小较大也不利于快速部署到公共集群上。

发明内容

本发明实施例提供了一种数据异常更新检测方法、装置、计算机设备及存储介质，旨在解决现有技术中Hive表监控工具中配置针对特殊日期表的监控任务不仅操作复杂，而且由于这类Hive表监控工具的文件大小较大也不利于快速部署到公共集群上的问题。

第一方面，本发明实施例提供了一种数据异常更新检测方法，其包括：

接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数；

解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息；

解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间；

若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息；

若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端；以及

若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

第二方面，本发明实施例提供了一种数据异常更新检测装置，其包括：

配置表接收单元，用于接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数；

第一配置表解析单元，用于解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息；

第二配置表解析单元，用于解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间；

第一监测单元，用于若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息；

通知信息发送单元，用于若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端；以及

第二监测单元，用于若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据异常更新检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的数据异常更新检测方法。

本发明实施例提供了一种数据异常更新检测方法、装置、计算机设备及存储介质，包括若目标Hive表为非波动类型，获取目标Hive表的历史元数据信息，将其作为Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息，若数据文件大小值数据更新时间异常，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端，若目标Hive表为波动类型，获取目标Hive表对应的源数据，调用孤立森林模型对源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。实现了通过模型来判别目标Hive表是否异常，避免了人工去设置阈值、设定规则，减少不必要的手工工作，而且对异常的监控更加准确和快速。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据异常更新检测方法的应用场景示意图；

图2为本发明实施例提供的数据异常更新检测方法的流程示意图；

图3为本发明实施例提供的数据异常更新检测装置的示意性框图；

图4为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的数据异常更新检测方法的应用场景示意图；图2为本发明实施例提供的数据异常更新检测方法的流程示意图，该数据异常更新检测方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。

如图2所示，该方法包括步骤S110~S160。

S110、接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数。

在本实施例中，当技术人员在目标接收端或是服务器上直接配置数据监控任务时（这些监控任务最终是会保存在服务器中，由服务器根据监控），需要先完成对待检测数据任务配置表信息的配置。其中，在待检测数据任务配置表信息对应的配置表中要添加待检测Hive表对象，支持配置具体的Hive表表名，或是需要检测的Hive库名（即是该Hive库名下的所有Hive表都纳入检测范围。）另外，还有一些检测的通用配置信息（即数据检测任务通用配置信息），如：日期维度信息、业务活动日期信息、模型参数、检测任务公共参数等。

S120、解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息。

在本实施例中，由于在所述待检测数据任务配置表信息中配置有待检测Hive表对象（所配置的待检测Hive表对象的个数是1个或多个），也即服务器是可以从所述待检测数据任务配置表信息中解析出待检测Hive表对象对应的目标Hive表名称，从而已知需监控的Hive表对象。

之后，服务器会启动元数据服务（即Hive Metastore）以获取各个目标Hive表对应的元数据信息，之后将这些元数据信息存储在关系型数据库（如MySQL等）中。其中，各个目标Hive表对应的元数据信息包括Hive表类型和数据文件信息，也就是服务器所启动各的元数据服务获取到的各目标Hive表对应的Hive表类型和数据文件信息均是对应存储在关系型数据库中。该关系型数据库可以是服务器内置的Derby数据库，也可以是与服务器通讯连接的第三方数据库（如MySQL等）。

在一实施例中，步骤S120中根据所述目标Hive表名称获取对应目标Hive表的元数据信息包括：

根据所述目标Hive表名称生成对应的第一HDFS指令，将所述第一HDFS指令发送至关系型数据库以获取目标Hive表的Hive表类型；

根据所述目标Hive表名称生成对应的第二HDFS指令，将所述第二HDFS指令发送至关系型数据库以获取目标Hive表的数据文件信息。

在本实施例中，服务器会启动Hive Metastore获取各目标Hive表的元数据信息，格式化之后存储到关系型数据库。服务器会根据元数据信息中Hive表类型（分区表、非分区表），分别生成相应的第一HDFS指令，执行并解析返回的结果；也会根据元数据信息获取各目标Hive表的数据文件信息（数据文件大小值、数据更新时间等），格式化之后存储到关系型数据库。其中，对Hive表类型、数据文件大小值及数据更新时间进行格式化并非是将数据进行清除，而是将数据进行类似于Excel的单元格的格式化存储，也即元数据信息中包括的各具体信息是各自存储在一个数据单元格中。通过这一存储方式，服务器能更准确的获取并存储各目标Hive表的元数据信息。

S130、解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间。

在本实施例中，当服务器获取了所述元数据信息后，对应生成第一HDFS指令获取到了Hive表类型，而且对应生成第二HDFS指令获取到了数据文件类型，此时在服务器本地直接获取元数据信息中的Hive表类型和数据文件信息即可。具体的，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间。

S140、若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息。

在本实施例中，为了通过服务器对目标Hive表的数据异常进行有效监控，此时还需针对不同波动类型的数据表采用不同的数据异常检测策略。例如，针对一些波动性不大（即数据更新比较平稳、周期性比较强）的常规Hive表进行异常检测，可以使用Prophet时间序列模型，根据历史数据对数据量、数据更新完成的时间做预测，检测预测值、真实值的差值百分比，如果差别过大则认为其异常。

所述Prophet时间序列模型是美国Facebook公司开发的基于时间序列的数据预测模型。Prophet时间序列模型的表达式如下式（1）：

(1)

其中，g（t）表示趋势项，s（t）表示周期项，h（t）表示节假日项，

表示误差项。

更具体的，

g

；

其中，

表示增长速率，

表示线性偏移；

是一个取值 为0或1的指数函数，

表示趋势项的斜率，

表示趋势项的偏移量；

s

;

P是时间周期，a_n和b_n均是待学习参数；

表示趋势的改变程度，Z（t）表示节假日的时长；

该Prophet时间序列模型的输入只有两列，分别是日期列和数值列，输出则可有预测时间列、预测结果、预测值下界和预测值上界。例如，当需要预测某一目标Hive表在未来一段时间段内的数据文件大小值时，可以将该目标Hive表在历史一段时期内的数据文件大小值及每一数据文件大小值对应的日期组成Prophet时间序列模型的输入进行运算，从而输出目标Hive表在未来一段时间段内每一日期对应的数据文件大小值。同样的，当需要预测某一目标Hive表在未来一段时间段内的数据更新时间时，将该目标Hive表在历史一段时期内的每日数据更新时间及每一每日数据更新时间对应的日期组成Prophet时间序列模型的输入进行运算，从而输出目标Hive表在未来一段时间段内每一日期对应的每日数据更新时间。

在一实施例中，步骤S140中获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息，包括：

获取所述目标Hive表的历史元数据信息中的数据文件大小值及其对应的日期以组成第一输入序列，以及获取所设置的预测时间区间，将第一输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据文件大小值预测集合；

获取所述目标Hive表的历史元数据信息中的数据更新时间及其对应的日期以组成第二输入序列，以及获取所述预测时间区间，将第二输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据更新时间预测集合。

在本实施例中，在获取所述目标Hive表的历史元数据信息中的数据文件大小值及其对应的日期以组成第一输入序列，可以是先设置一个历史日期区间，然后获取这一历史日期区间内的每一日期及与每一日期对应的数据文件大小值以组成第一输入序列，从而输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据文件大小值预测集合。在与所述预测时间区间对应的数据文件大小值预测集合中包括位于预测时间区间的各日期、及与每一日期对应的数据文件大小值。

同样的，在获取所述目标Hive表的历史元数据信息中的数据更新时间及其对应的日期以组成第二输入序列，可以是先设置一个历史日期区间，然后获取这一历史日期区间内的每一日期及与每一日期对应的数据更新以组成第二输入序列，从而输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据更新时间预测集合。在与所述预测时间区间对应的数据更新时间预测集合中包括位于预测时间区间的各日期、及与每一日期对应的数据更新时间。

在获取了目标Hive表的数据文件大小值预测集合及数据更新时间预测集合后，即可组成目标Hive表的预测元数据信息。这一预测元数据信息是基于历史数据进行的预测，并不是实际值。后续步骤中在与预测时间区间相同的日期内，目标Hive表会在实际存储了数据后产生数据文件大小值，从而可以与预测元数据信息中的预测数据文件大小值进行比较；同样的目标Hive表会在实际存储了数据后产生数据更新时间，从而可以与预测元数据信息中的预测数据更新时间进行比较。

S150、若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端。

在本实施例中，若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，也即表示根据历史数据对数据量、数据更新完成的时间做预测，检测预测值、真实值的差值百分比，如果差别过大则认为其异常。只要满足上述两个条件之一，即可认为被检测的目标Hive存在数据异常，此时需要将对应的目标Hive表增加异常数据表标识以发送至目标接收端。

目标接收端的使用者在接收到了增加异常标识的目标Hive表的第一通知信息后，需登录服务器查看并进行异常复。

S160、若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

在本实施例中，针对一些波动性较大（即数据更新比较不平稳）的非常规Hive表进行异常检测，可以使用孤立森林模型。

在一实施例中，步骤S160之前还包括：

获取待分类样本，根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型。

在本实施例中，若服务器接收了目标接收端上传的待分类样本后，也同时获取所设置初始的当前异常点比例（例如0.5）.由于假设正常点数量比异常点多，因此此时异常点列别中含有大量错分正常点。当异常点比例减少的时候，异常点类别中的正常点会被剔除。

在一实施例中，所述获取待分类样本，根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型的步骤包括：

从所述待分类样本中随机获取数据属性，由数据属性和当前异常点比例所确定的分裂值；

根据所述数据属性及所述分裂值将所述待分类当本进行划分，得到多个孤立树，由多个孤立树组合得到用于异常点检测的孤立森林模型。

在训练孤立森林模型时，从训练集D={d1,d2，d3,……,dn}中随机选择一个数据属性A，由数据属性A和当前异常点比例确定一个分裂值p1；然后对训练集中每个数据对象di，按照数据属性A的分裂值p1进行划分，若di（A）小于p1则放在左子树，反之则放在右子树。此时再随机选择一个数据属性B，由数据属性B和当前异常点比例确定一个分裂值p2，然后对左子树和右子树按照数据属性B的分裂值p2进行划分，得到与左子树对应的次级左子树和次级右子树，以及与右子树对应的次级左子树和次级右子树。以此迭代，直至满足以下条件之一：（1）D中剩下一条数据或者多条相同的数据；（2）孤立森树达到最大高度。由于每一个孤立树在形成的过程中，所随机得到孤立属性及与数据属性对应的分裂值不同，这就导致了孤立森林中能包括多个孤立树。孤立树中若设置异常点比例得当，即可提升异常点的检测效果。

当通过孤立森林模型对所述源数据进行异常数据检测，即可得到得到异常数据检测结果并生成第二通知信息以发送至目标接收端。目标接收端的使用者在接收到了第二通知信息后，需登录服务器查看并进行异常复。

在一实施例中，步骤S150或者步骤S160之后还包括：

若当前时间与目标接收端接收到所述第一通知信息或所述第二通知信息对应的消息接收时间之差超出预设的第一提醒时间周期、且未接收到目标接收端发送的故障处理反馈消息，将所述第一通知信息或所述第二通知信息发送至另一备选目标接收端。

在本实施例中，当目标接收端接收到了需要处理服务器数据异常故障后，若在预设的第一提醒时间周期（如1-10分钟）内未接收到故障处理反馈消息，表示服务器数据异常故障由指定的第一人员因某种原因无法排除故障，此时及时的将将所述第一通知信息或所述第二通知信息发送至另一备选目标接收端以及时的排除故障。

该方法通过模型来判别目标Hive表是否异常，避免了人工去设置阈值、设定规则，减少不必要的手工工作，而且对异常的监控更加准确和快速。

本发明实施例还提供一种数据异常更新检测装置，该数据异常更新检测装置用于执行前述数据异常更新检测方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的数据异常更新检测装置的示意性框图。该数据异常更新检测装置100可以配置于服务器中。

如图3所示，数据异常更新检测装置100包括：配置表接收单元110、第一配置表解析单元120、第二配置表解析单元130、第一监测单元140、通知信息发送单元150、第二监测单元160。

配置表接收单元110，用于接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数。

在本实施例中，当技术人员在目标接收端或是服务器上直接配置数据监控任务时（这些监控任务最终是会保存在服务器中，由服务器根据监控），需要先完成对待检测数据任务配置表信息的配置。其中，在待检测数据任务配置表信息对应的配置表中要添加待检测Hive表对象，支持配置具体的Hive表表名，或是需要检测的Hive库名（即是该Hive库名下的所有Hive表都纳入检测范围。）另外，还有一些检测的通用配置信息（即数据检测任务通用配置信息），如：日期维度信息、业务活动日期信息、模型参数、检测任务公共参数等。

第一配置表解析单元120，用于解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息。

在本实施例中，由于在所述待检测数据任务配置表信息中配置有待检测Hive表对象（所配置的待检测Hive表对象的个数是1个或多个），也即服务器是可以从所述待检测数据任务配置表信息中解析出待检测Hive表对象对应的目标Hive表名称，从而已知需监控的Hive表对象。

之后，服务器会启动元数据服务（即Hive Metastore）以获取各个目标Hive表对应的元数据信息，之后将这些元数据信息存储在关系型数据库（如MySQL等）中。其中，各个目标Hive表对应的元数据信息包括Hive表类型和数据文件信息，也就是服务器所启动各的元数据服务获取到的各目标Hive表对应的Hive表类型和数据文件信息均是对应存储在关系型数据库中。该关系型数据库可以是服务器内置的Derby数据库，也可以是与服务器通讯连接的第三方数据库（如MySQL等）。

在一实施例中，第一配置表解析单元120，包括：

第一指令生成单元，用于根据所述目标Hive表名称生成对应的第一HDFS指令，将所述第一HDFS指令发送至关系型数据库以获取目标Hive表的Hive表类型；

第二指令生成单元，用于根据所述目标Hive表名称生成对应的第二HDFS指令，将所述第二HDFS指令发送至关系型数据库以获取目标Hive表的数据文件信息。

在本实施例中，服务器会启动Hive Metastore获取各目标Hive表的元数据信息，格式化之后存储到关系型数据库。服务器会根据元数据信息中Hive表类型（分区表、非分区表），分别生成相应的第一HDFS指令，执行并解析返回的结果；也会根据元数据信息获取各目标Hive表的数据文件信息（数据文件大小值、数据更新时间等），格式化之后存储到关系型数据库。其中，对Hive表类型、数据文件大小值及数据更新时间进行格式化并非是将数据进行清除，而是将数据进行类似于Excel的单元格的格式化存储，也即元数据信息中包括的各具体信息是各自存储在一个数据单元格中。通过这一存储方式，服务器能更准确的获取并存储各目标Hive表的元数据信息。

第二配置表解析单元130，用于解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间。

在本实施例中，当服务器获取了所述元数据信息后，对应生成第一HDFS指令获取到了Hive表类型，而且对应生成第二HDFS指令获取到了数据文件类型，此时在服务器本地直接获取元数据信息中的Hive表类型和数据文件信息即可。具体的，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间。

第一监测单元140，用于若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息。

在本实施例中，为了通过服务器对目标Hive表的数据异常进行有效监控，此时还需针对不同波动类型的数据表采用不同的数据异常检测策略。例如，针对一些波动性不大（即数据更新比较平稳、周期性比较强）的常规Hive表进行异常检测，可以使用Prophet时间序列模型，根据历史数据对数据量、数据更新完成的时间做预测，检测预测值、真实值的差值百分比，如果差别过大则认为其异常。

所述Prophet时间序列模型是美国Facebook公司开发的基于时间序列的数据预测模型。Prophet时间序列模型的表达式如上式（1）。

该Prophet时间序列模型的输入只有两列，分别是日期列和数值列，输出则可有预测时间列、预测结果、预测值下界和预测值上界。例如，当需要预测某一目标Hive表在未来一段时间段内的数据文件大小值时，可以将该目标Hive表在历史一段时期内的数据文件大小值及每一数据文件大小值对应的日期组成Prophet时间序列模型的输入进行运算，从而输出目标Hive表在未来一段时间段内每一日期对应的数据文件大小值。同样的，当需要预测某一目标Hive表在未来一段时间段内的数据更新时间时，将该目标Hive表在历史一段时期内的每日数据更新时间及每一每日数据更新时间对应的日期组成Prophet时间序列模型的输入进行运算，从而输出目标Hive表在未来一段时间段内每一日期对应的每日数据更新时间。

在一实施例中，第一监测单元140，包括：

第一输入序列获取单元，用于获取所述目标Hive表的历史元数据信息中的数据文件大小值及其对应的日期以组成第一输入序列，以及获取所设置的预测时间区间，将第一输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据文件大小值预测集合；

第二输入序列获取单元，用于获取所述目标Hive表的历史元数据信息中的数据更新时间及其对应的日期以组成第二输入序列，以及获取所述预测时间区间，将第二输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据更新时间预测集合。

在本实施例中，在获取所述目标Hive表的历史元数据信息中的数据文件大小值及其对应的日期以组成第一输入序列，可以是先设置一个历史日期区间，然后获取这一历史日期区间内的每一日期及与每一日期对应的数据文件大小值以组成第一输入序列，从而输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据文件大小值预测集合。在与所述预测时间区间对应的数据文件大小值预测集合中包括位于预测时间区间的各日期、及与每一日期对应的数据文件大小值。

同样的，在获取所述目标Hive表的历史元数据信息中的数据更新时间及其对应的日期以组成第二输入序列，可以是先设置一个历史日期区间，然后获取这一历史日期区间内的每一日期及与每一日期对应的数据更新以组成第二输入序列，从而输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据更新时间预测集合。在与所述预测时间区间对应的数据更新时间预测集合中包括位于预测时间区间的各日期、及与每一日期对应的数据更新时间。

在获取了目标Hive表的数据文件大小值预测集合及数据更新时间预测集合后，即可组成目标Hive表的预测元数据信息。这一预测元数据信息是基于历史数据进行的预测，并不是实际值。后续步骤中在与预测时间区间相同的日期内，目标Hive表会在实际存储了数据后产生数据文件大小值，从而可以与预测元数据信息中的预测数据文件大小值进行比较；同样的目标Hive表会在实际存储了数据后产生数据更新时间，从而可以与预测元数据信息中的预测数据更新时间进行比较。

通知信息发送单元150，用于若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端。

在本实施例中，若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，也即表示根据历史数据对数据量、数据更新完成的时间做预测，检测预测值、真实值的差值百分比，如果差别过大则认为其异常。只要满足上述两个条件之一，即可认为被检测的目标Hive存在数据异常，此时需要将对应的目标Hive表增加异常数据表标识以发送至目标接收端。

目标接收端的使用者在接收到了增加异常标识的目标Hive表的第一通知信息后，需登录服务器查看并进行异常复。

第二监测单元160，用于若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

在本实施例中，针对一些波动性较大（即数据更新比较不平稳）的非常规Hive表进行异常检测，可以使用孤立森林模型。

在一实施例中，数据异常更新检测装置100还包括：

孤立森林模型训练单元，用于获取待分类样本，根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型。

在本实施例中，若服务器接收了目标接收端上传的待分类样本后，也同时获取所设置初始的当前异常点比例（例如0.5）.由于假设正常点数量比异常点多，因此此时异常点列别中含有大量错分正常点。当异常点比例减少的时候，异常点类别中的正常点会被剔除。

在一实施例中，所述孤立森林模型训练单元包括：

分裂值参数获取单元，用于从所述待分类样本中随机获取数据属性，由数据属性和当前异常点比例所确定的分裂值；

样本划分单元，用于根据所述数据属性及所述分裂值将所述待分类当本进行划分，得到多个孤立树，由多个孤立树组合得到用于异常点检测的孤立森林模型。

在训练孤立森林模型时，从训练集D={d1,d2，d3,……,dn}中随机选择一个数据属性A，由数据属性A和当前异常点比例确定一个分裂值p1；然后对训练集中每个数据对象di，按照数据属性A的分裂值p1进行划分，若di（A）小于p1则放在左子树，反之则放在右子树。此时再随机选择一个数据属性B，由数据属性B和当前异常点比例确定一个分裂值p2，然后对左子树和右子树按照数据属性B的分裂值p2进行划分，得到与左子树对应的次级左子树和次级右子树，以及与右子树对应的次级左子树和次级右子树。以此迭代，直至满足以下条件之一：（1）D中剩下一条数据或者多条相同的数据；（2）孤立森树达到最大高度。由于每一个孤立树在形成的过程中，所随机得到孤立属性及与数据属性对应的分裂值不同，这就导致了孤立森林中能包括多个孤立树。孤立树中若设置异常点比例得当，即可提升异常点的检测效果。

当通过孤立森林模型对所述源数据进行异常数据检测，即可得到得到异常数据检测结果并生成第二通知信息以发送至目标接收端。目标接收端的使用者在接收到了第二通知信息后，需登录服务器查看并进行异常复。

在一实施例中，数据异常更新检测装置100之后还包括：

二次通知发送单元，用于若当前时间与目标接收端接收到所述第一通知信息或所述第二通知信息对应的消息接收时间之差超出预设的第一提醒时间周期、且未接收到目标接收端发送的故障处理反馈消息，将所述第一通知信息或所述第二通知信息发送至另一备选目标接收端。

在本实施例中，当目标接收端接收到了需要处理服务器数据异常故障后，若在预设的第一提醒时间周期（如1-10分钟）内未接收到故障处理反馈消息，表示服务器数据异常故障由指定的第一人员因某种原因无法排除故障，此时及时的将将所述第一通知信息或所述第二通知信息发送至另一备选目标接收端以及时的排除故障。

该装置通过模型来判别目标Hive表是否异常，避免了人工去设置阈值、设定规则，减少不必要的手工工作，而且对异常的监控更加准确和快速。

上述数据异常更新检测装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。

请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行数据异常更新检测方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行数据异常更新检测方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的数据异常更新检测方法。

本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的数据异常更新检测方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据异常更新检测方法，其特征在于，包括：

接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数；

解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息；

解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间；

若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息；

若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端；以及

若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

2.根据权利要求1所述的数据异常更新检测方法，其特征在于，所述根据所述目标Hive表名称获取对应目标Hive表的元数据信息，包括：

启动元数据服务，通过元数据服务从关系型数据库中获取与所述目标Hive表名称对应的元数据信息。

3.根据权利要求2所述的数据异常更新检测方法，其特征在于，所述启动元数据服务，通过元数据服务从关系型数据库中获取与所述目标Hive表名称对应的元数据信息，包括：

根据所述目标Hive表名称生成对应的第一HDFS指令，将所述第一HDFS指令发送至关系型数据库以获取目标Hive表的Hive表类型；

根据所述目标Hive表名称生成对应的第二HDFS指令，将所述第二HDFS指令发送至关系型数据库以获取目标Hive表的数据文件信息。

4.根据权利要求1所述的数据异常更新检测方法，其特征在于，所述获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息，包括：

获取所述目标Hive表的历史元数据信息中的数据文件大小值及其对应的日期以组成第一输入序列，以及获取所设置的预测时间区间，将第一输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据文件大小值预测集合；

获取所述目标Hive表的历史元数据信息中的数据更新时间及其对应的日期以组成第二输入序列，以及获取所述预测时间区间，将第二输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据更新时间预测集合。

5.根据权利要求1所述的数据异常更新检测方法，其特征在于，还包括：

获取待分类样本，根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型。

6.根据权利要求5所述的数据异常更新检测方法，其特征在于，所述获取待分类样本，根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型，包括：

从所述待分类样本中随机获取数据属性，由数据属性和当前异常点比例所确定的分裂值；

根据所述数据属性及所述分裂值将所述待分类当本进行划分，得到多个孤立树，由多个孤立树组合得到用于异常点检测的孤立森林模型。

7.根据权利要求1所述的数据异常更新检测方法，其特征在于，还包括：

若当前时间与目标接收端接收到所述第一通知信息或所述第二通知信息对应的消息接收时间之差超出预设的第一提醒时间周期、且未接收到目标接收端发送的故障处理反馈消息，将所述第一通知信息或所述第二通知信息发送至另一备选目标接收端。

8.一种数据异常更新检测装置，其特征在于，包括：

配置表接收单元，用于接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数；

第一配置表解析单元，用于解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息；

第二配置表解析单元，用于解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间；

第一监测单元，用于若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息；

通知信息发送单元，用于若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端；以及

第二监测单元，用于若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据异常更新检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的数据异常更新检测方法。

Images