CN112765044A - 异常数据检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种异常数据检测方法、装置、设备及存储介质。该方法包括：获取待检测标签数据；根据预设路径信息调用预设脚本，其中，预设脚本包括检测子脚本；执行检测子脚本对待检测标签数据进行异常数据检测。根据本申请实施例可以实现异常数据检测的自动化，提高异常数据检测效率。

Description

异常数据检测方法、装置、设备及存储介质

技术领域

本申请涉及数据监控技术领域，尤其涉及一种异常数据检测方法、装置、设备及存储介质。

背景技术

目前，异常数据检测是数据监控中的重要环节，主要是通过人工对标签数据进行异常数据检测，来及时发现异常，并向相关人员进行告警。

但是随着大数据业务与多媒体业务的发展，需要检测的数据量越来越大，通过人工对标签数据进行异常数据检测存在效率较低的问题。

发明内容

本申请实施例提供了一种异常数据检测方法、装置、设备及存储介质，能够实现异常数据检测的自动化，提高异常数据检测效率。

第一方面，本申请实施例提供一种异常数据检测方法，该方法包括：

获取待检测标签数据；

根据预设路径信息调用预设脚本，其中，预设脚本包括检测子脚本；

执行检测子脚本对待检测标签数据进行异常数据检测。

在第一方面的一些可实现方式中，预设脚本还包括告警子脚本；

该方法还包括：

在检测结果满足预设异常条件的情况下，执行告警子脚本向预设电子设备发送告警信息。

在第一方面的一些可实现方式中，在检测结果满足预设异常条件的情况下，执行告警子脚本向预设电子设备发送告警信息，包括：

在检测结果满足预设异常条件的情况下，执行告警子脚本，通过邮件的方式向预设电子设备发送告警信息。

在第一方面的一些可实现方式中，告警信息包括告警类别和告警详情。

在第一方面的一些可实现方式中，检测结果包括数据异常结果、数据缺失结果、数据重复结果、数据波动结果、数据一致结果中至少一项。

在第一方面的一些可实现方式中，预设脚本为计算机壳层（Shell）脚本。

在第一方面的一些可实现方式中，待检测标签数据包括在Hive表中，检测子脚本为Hive SQL脚本。

在第一方面的一些可实现方式中，根据预设路径信息，调用预设脚本，包括：

在检测到时间到达预设时间点的情况下，根据预设路径信息调用预设脚本。

第二方面，本申请实施例提供一种异常数据检测装置，该装置包括：

获取模块，用于获取待检测标签数据；

调用模块，用于根据预设路径信息调用预设脚本，其中，预设脚本包括检测子脚本；

执行模块，用于执行检测子脚本对待检测标签数据进行异常数据检测。

在第二方面的一些可实现方式中，预设脚本还包括告警子脚本；

执行模块，还用于在检测结果满足预设异常条件的情况下，执行告警子脚本向预设电子设备发送告警信息。

在第二方面的一些可实现方式中，执行模块，具体用于在检测结果满足预设异常条件的情况下，执行告警子脚本，通过邮件的方式向预设电子设备发送告警信息。

在第二方面的一些可实现方式中，告警信息包括告警类别和告警详情。

在第二方面的一些可实现方式中，检测结果包括数据异常结果、数据缺失结果、数据重复结果、数据波动结果、数据一致结果中至少一项。

在第二方面的一些可实现方式中，预设脚本为Shell脚本。

在第二方面的一些可实现方式中，待检测标签数据包括在Hive表中，检测子脚本为Hive SQL脚本。

在第二方面的一些可实现方式中，调用模块，具体用于在检测到时间到达预设时间点的情况下，根据预设路径信息调用预设脚本。

第三方面，本申请实施例提供一种异常数据检测设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现第一方面或者第一方面任一些可实现方式中所述的异常数据检测方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一些可实现方式中所述的异常数据检测方法。

本申请实施例提供的一种异常数据检测方法、装置、设备及存储介质，可以获取待检测标签数据，根据预设路径信息调用预设脚本，其中，预设脚本包括检测子脚本。执行检测子脚本对待检测标签数据进行异常数据检测，实现异常数据检测的自动化，提高异常数据检测效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种异常数据检测系统的架构示意图；

图2是本申请实施例提供的一种异常数据检测方法的流程示意图；

图3是本申请实施例提供的一种预设脚本执行时的流程示意图；

图4是本申请实施例提供的一种异常数据检测装置的结构示意图；

图5是本申请实施例提供的一种异常数据检测设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本申请实施例提供了一种异常数据检测方法、装置、设备及存储介质。可以获取待检测标签数据，根据预设路径信息调用预设脚本，其中，预设脚本包括检测子脚本。执行检测子脚本对待检测标签数据进行异常数据检测，实现异常数据检测的自动化，提高异常数据检测效率。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的异常数据检测方法、装置、设备和存储介质进行详细地说明。

图1是本申请实施例提供的一种异常数据检测系统的架构示意图，如图1所示，该异常数据检测系统可以包括电子设备110和服务器120。其中，电子设备110可以为移动电子设备，也可以为非移动电子设备。例如，移动电子设备可以为笔记本电脑、掌上电脑或者超级移动个人计算机（Ultra-Mobile Personal Computer，UMPC）等等，非移动电子设备可以为服务器、网络附属存储器（Network Attached Storage，NAS）或者个人计算机（PersonalComputer，PC）等等。服务器120可以为高性能电子计算器，也可以是服务器集群，其上可以运行Linux或者Windows系统，并且设置有任务定时调用应用。电子设备110可以通过网络与服务器120进行通信，其中，网络可以是有线通信网络或无线通信网络。

作为一个示例，该异常数据检测系统可以应用于爱好、性别、位置或者消费等标签数据的异常检测场景，在此不做限制。如图1所示，用户可以使用电子设备110编写预设脚本，然后向服务器120发送预设脚本。其中，预设脚本包括检测子脚本。服务器120接收预设脚本并将其存储，同时生成存储路径信息即预设存储路径信息。在进行异常数据检测时，服务器120可以获取待检测标签数据，并根据预设路径信息调用预设脚本。具体地，可以基于任务定时调度应用，根据预设路径信息调用预设脚本。接着执行检测子脚本对待检测标签数据进行异常数据检测，实现异常数据检测的自动化，提高异常数据检测效率。

下面将详细介绍本申请实施例提供的异常数据检测方法。其中，该异常数据检测方法的执行主体可以是图1所示的异常数据检测系统中的服务器120，或者服务器120中的模块。

图2是本申请实施例提供的一种异常数据检测方法的流程示意图，如图2所示，该异常数据检测方法可以包括以下步骤：

S210，获取待检测标签数据。

具体地，可以定时周期地或实时地获取待检测标签数据。例如，每日更新获取待检测标签数据，每周更新获取待检测标签数据，每月更新获取待检测标签数据等等。示例性地，待检测标签数据可以包括在Hive表中。

S220，根据预设路径信息调用预设脚本。

其中，预设路径信息表征预设脚本的存储位置，预设脚本是用户事先编写的，包括检测子脚本。示例性地，预设脚本可以为Shell脚本。与待检测标签数据对应，在待检测标签数据包括在Hive表中时，检测子脚本可以为Hive SQL脚本。

作为一个示例，用户可以基于Hive SQL语言编写检测子脚本。其中，检测子脚本可以用于计算标签数据或者查询异常数据，将计算结果或查询结果存入结果表或者shell变量等等。然后用户可以将检测子脚本写入shell脚本，并写成自动传参。

在一个实施例中，在检测到时间到达预设时间点的情况下，可以根据预设路径信息调用预设脚本。也就是说，可以定时调用预设脚本。示例性地，预设时间点可以根据获取待检测标签数据的时间进行设置，设置在获取时间之后。如果获取方式是定时周期地获取待检测标签数据，则可以根据获取频率设置预设时间点，实现定时周期地调用脚本。

S230，执行检测子脚本对待检测标签数据进行异常数据检测。

示例性地，异常数据检测的指标可以是异常性、缺失性、重复性、波动性、一致性中的至少一项。其中，异常性可以表示检测待检测标签数据是否存在非法数据字符、是否符合需求逻辑、字段数据之间逻辑是否不自洽、分布与实际相差是否较大等等；缺失性可以表示检测待检测标签数据是否数据缺失，例如分区、标签、字段、标签的值的缺失等等；重复性可以表示检测待检测标签数据的数值是否重复，例如主键重复等等；波动性可以表示检测待检测标签数据的环比、同比的波动信息，例如增长信息或者降低信息等等；一致性可以表示检测待检测标签数据之间是否一致等等。可以理解，异常数据检测的指标可以根据实际需要，灵活调整，在此不做限制。

相应地，检测结果可以包括数据异常结果、数据缺失结果、数据重复结果、数据波动结果、数据一致结果中的至少一项。示例性地，检测结果可以存储在结果表或者shell变量中。

在本申请实施例中，可以获取待检测标签数据，根据预设路径信息调用包括检测子脚本的预设脚本。执行检测子脚本对待检测标签数据进行异常数据检测，实现异常数据检测的自动化，提高异常数据检测效率。而且，后续可以根据实际需要更改预设脚本，维护成本较低。

在一个实施例中，预设脚本还可以包括告警子脚本。作为一个示例，用户可以基于Java语言编写告警子脚本。其中，告警子脚本可以用于调用相关的接口发送告警信息。示例性地，告警子脚本可以以jar包的形式存在。然后用户可以将告警子脚本写入shell脚本。

而且该方法还可以包括：在检测结果满足预设异常条件的情况下，执行告警子脚本向预设电子设备发送告警信息。其中，预设电子设备可以是运维人员的通信设备，例如手机、平板电脑或者笔记本电脑等等。示例性地，可以从结果表或shell变量中读取检测结果，如果检测结果满足预设异常条件，例如检测结果中存在异常数据或者异常数据的数量超过预设阈值，则执行告警子脚本向预设电子设备发送告警信息。如此可以在标签数据异常时自动触发告警，进而及时地通知用户，便于维护和更新。

可选地，在检测结果满足预设异常条件的情况下，执行告警子脚本，可以通过邮件的方式向预设电子设备发送告警信息。此外，也可以通过短信的方式向预设电子设备发送告警信息。其中，告警信息可以包括告警类别和告警详情。可以理解，其中的内容、格式、样式可依根据实际需要灵活设置。一般情况下，邮件的主题可以包括告警类别，内容可详细描述。

下面结合图3，对执行预设脚本实现的步骤进行说明。如图3所示，可以包括以下步骤：

S310，开始执行预设脚本。

S320，执行检测子脚本对待检测标签数据进行异常数据检测。

S330，将检测结果存入结果表或者Shell变量。

S340，检测完成后，从结果表或者Shell变量读取检测结果。

S350，确定检测结果是否存在异常数据，若存在，则执行S360。若不存在，则执行S370。

S360，执行告警子脚本向预设电子设备发送告警邮件。

S370，结束流程。

基于本申请实施例提供的异常数据检测方法，本申请实施例还提供了一种异常数据检测装置，如图4所示，异常数据检测装置400可以包括：获取模块410、调用模块420、执行模块430。

其中，获取模块410，用于获取待检测标签数据。

调用模块420，用于根据预设路径信息调用预设脚本，其中，预设脚本包括检测子脚本。

执行模块430，用于执行检测子脚本对待检测标签数据进行异常数据检测。

在一个实施例中，预设脚本还包括告警子脚本。

执行模块430，还用于在检测结果满足预设异常条件的情况下，执行告警子脚本向预设电子设备发送告警信息。

在一个实施例中，执行模块430，具体用于在检测结果满足预设异常条件的情况下，执行告警子脚本，通过邮件的方式向预设电子设备发送告警信息。

在一个实施例中，告警信息包括告警类别和告警详情。

在一个实施例中，检测结果包括数据异常结果、数据缺失结果、数据重复结果、数据波动结果、数据一致结果中至少一项。

在一个实施例中，预设脚本为Shell脚本。

在一个实施例中，待检测标签数据包括在Hive表中，检测子脚本为Hive SQL脚本。

在一个实施例中，调用模块420，具体用于在检测到时间到达预设时间点的情况下，根据预设路径信息调用预设脚本。

可以理解的是，图4所示异常数据检测装置400中的各个模块/单元具有实现本申请实施例提供的异常数据检测方法中的各个步骤的功能，并能达到其相应的技术效果，为了简洁，在此不再赘述。

图5是本申请实施例提供的一种异常数据检测设备的结构示意图。

如图5所示，本实施例中的异常数据检测设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中，输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接，进而与异常数据检测设备500的其他组件连接。

具体地，输入设备501接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到异常数据检测设备500的外部供用户使用。

在一个实施例中，图5所示的异常数据检测设备500包括：存储器504，用于存储程序；处理器503，用于运行存储器中存储的程序，以实现本申请实施例提供的异常数据检测方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本申请实施例提供的异常数据检测方法。

需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，为了简洁，不再赘述。本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器（Read-Only Memory，ROM）、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（Radio Frequency，RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (11)

1.一种异常数据检测方法，其特征在于，所述方法包括：

获取待检测标签数据；

根据预设路径信息调用预设脚本，其中，所述预设脚本包括检测子脚本；

执行所述检测子脚本对所述待检测标签数据进行异常数据检测。

2.根据权利要求1所述的方法，其特征在于，所述预设脚本还包括告警子脚本；

所述方法还包括：

在检测结果满足预设异常条件的情况下，执行所述告警子脚本向预设电子设备发送告警信息。

3.根据权利要求2所述的方法，其特征在于，所述在检测结果满足预设异常条件的情况下，执行所述告警子脚本向预设电子设备发送告警信息，包括：

在检测结果满足预设异常条件的情况下，执行所述告警子脚本，通过邮件的方式向预设电子设备发送告警信息。

4.根据权利要求2或3所述的方法，其特征在于，所述告警信息包括告警类别和告警详情。

5.根据权利要求2或3所述的方法，其特征在于，所述检测结果包括数据异常结果、数据缺失结果、数据重复结果、数据波动结果、数据一致结果中至少一项。

6.根据权利要求1-3任意一项所述的方法，其特征在于，所述预设脚本为计算机壳层Shell脚本。

7.根据权利要求1-3任意一项所述的方法，其特征在于，所述待检测标签数据包括在Hive表中，所述检测子脚本为Hive SQL脚本。

8.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据预设路径信息，调用预设脚本，包括：

在检测到时间到达预设时间点的情况下，根据所述预设路径信息调用所述预设脚本。

9.一种异常数据检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测标签数据；

调用模块，用于根据预设路径信息调用预设脚本，其中，所述预设脚本包括检测子脚本；

执行模块，用于执行所述检测子脚本对所述待检测标签数据进行异常数据检测。

10.一种异常数据检测设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的异常数据检测方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的异常数据检测方法。

Images