CN109118043A - 一种在线数据质量监控方法、装置、服务器及存储介质 - Google Patents

Abstract

本说明书提供了一种在线数据质量监控方法、装置、服务器及存储介质，通过对数据特征进行业务场景中数据规则以及通用数据规则进行计算，将计算结果与历史结果进行比较，如超过一定的比例则触发告警交由人工排查和处理，从而达到了系统实时监控数据异常并按照异常等级触发不同的告警和提醒。

Description

一种在线数据质量监控方法、装置、服务器及存储介质

技术领域

本说明书实施例涉及互联网技术领域，尤其涉及一种在线数据质量监控方法、装置、服务器及存储介质。

背景技术

随着电子商务的飞速发展，线上支付逐渐成为支付方式的主流，新兴的线上支付方式虽然便捷，但支付数据的安全问题成为关注交点。

发明内容

本说明书实施例提供了一种在线数据质量监控方法、装置、服务器及存储介质。

第一方面，本说明书实施例提供了一种在线数据质量监控方法，所述方法包括：获得一预定场景；根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。

第二方面，本说明书实施例提供了一种在线数据质量监控装置，所述装置包括：预定场景获得单元，用于获得一预定场景；第一数据特征获得单元，用于根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；第一数据规则获得单元，用于根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；第一预定条件判断单元，用于根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；第一预定场景预警触发单元，用于当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。

第三方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述在线数据质量监控方法的步骤。

第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述在线数据质量监控方法的步骤。

本说明书实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本说明书实施例通过对数据特征进行业务场景中数据规则以及通用数据规则进行计算，将计算结果与历史结果进行比较，如超过一定的比例则触发告警交由人工排查和处理，从而达到了系统实时监控数据异常并按照异常等级触发不同的告警和提醒，由专门的人员对异常进行跟踪和处置，针对不同类型不同来源的数据，定制不同的数据监控标准，基于历史数据监控结果的分析，对数据的异常进行分类处置，对周期性或者突变性较多的异常通过系统进行容错判断，降低无效的人工成本的技术效果。

上述说明仅是本说明书技术方案的概述，为了能够更清楚了解本说明书的技术手段，而可依照说明书的内容予以实施，并且为了让本说明书的上述和其它目的、特征和优点能够更明显易懂，以下特举本说明书的具体实施方式。

附图说明

图1为本说明书实施例提供的在线数据质量监控应用场景示意图；

图2为本说明书实施例中一种在线数据质量监控方法的流程示意图；

图3为本说明书实施例中一种在线数据质量监控装置的结构示意图；

图4为本说明书实施例中另一种在线数据质量监控服务器的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

在本说明书实施例的技术方案中，通过对数据特征进行业务场景中数据规则以及通用数据规则进行计算，将计算结果与历史结果进行比较，如超过一定的比例则触发告警交由人工排查和处理，从而达到了系统实时监控数据异常并按照异常等级触发不同的告警和提醒，由专门的人员对异常进行跟踪和处置，针对不同类型不同来源的数据，定制不同的数据监控标准，基于历史数据监控结果的分析，对数据的异常进行分类处置，对周期性或者突变性较多的异常通过系统进行容错判断，降低无效的人工成本的技术效果。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

实施例一

图1为本说明书实施例提供的在线数据质量监控应用场景示意图，在数据消费方包括用户端10，在数据生产方包括服务器20，如果服务器20即数据生产方提供的数据发生异常(包括但不限于数据丢失，数据错误，数据格式异常等)，通过在线数据监控，实时发现问题并进行处置，将数据发送至用户端，数据消费方通过用户端10接收到服务器20发送的数据信息。

图2为本说明书实施例中一种在线数据质量监控方法的流程示意图。如图1所示，包括：

步骤110：获得一预定场景；

具体而言，所述预定场景可以理解为业务场景，例如支付宝中的通过扫码支付或者通过二维码付款的方式进行直接性交易的业务场景，再比如通过花呗实现信用支付方式的业务场景。

步骤120：根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；

具体而言，通过对数据的深度理解，按照业务的维度对数据进行了分类管理，每一个业务场景就是一类数据特征，其中所述第一数据特征为业务场景的数据特征，即哪些数据属于所述预定场景，可以通过数据中的关键字段来进行刻画，从而形成第一数据特征。举例而言，例如扫码直接支付与花呗信用支付分别为两种业务场景，不同的业务场景对应各自的数据内容，各自的数据内容具有各自的数据特征，由于两种场景数据特征不同，则形成了两种不同的业务场景。比如，扫码直接支付的第一数据特征可以包括扫码；花呗信用支付的第一数据特征可以包括信用。换言之，所述第一数据特征决定了所述预定场景的特征。

步骤130：根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；

所述方法还包括：根据所述预定场景获得所述预定场景的第一数据分类信息，所述第一数据分类信息为所述预定场景按照数据分类规则对预定场景的数据分类后获得的数据分类信息；其中，所述根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景，还包括：根据所述第一数据分类信息获得第一数据特征，所述第一数据特征用来表征所述预定场景；其中，所述根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则，还包括：根据所述第一数据分类信息获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则。

具体而言，所述第一数据规则可以理解为预定场景中的数据规则，即当前预定场景特征的数据应该符合所述预定场景的第一数据规则，其中，第一数据规则为所述预定场景所特有的数据规则，例如场景“担保交易-无线APP收银台-淘宝来源-交易支付”的第一数据特征符合其第一数据规则，即同步事件code＝‘0301043’、异步事件code＝‘0301008’、13属性＝‘4000’、11属性＝‘FP’、30属性＝‘SECURITYPAY’。

步骤140：根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；

在步骤140中第一预定条件具体为根据所述第一数据规则和所述第一数据特征获得所述预定场景的第一运算结果；判断所述第一运算结果是否满足第二预定条件。

具体而言，所述判断所述第一运算结果是否满足第二预定条件，具体包括：获得所述预定场景的历史运算结果；根据所述历史运算结果和所述第一运算结果，获得第一运算结果差值；判断所述第一运算结果是否大于第一预定阈值。

也就是说，将线上数据按照数据特征进行分类并按照第一数据规则进行运算，获得第一运算结果；将第一运算结果与历史数据进比较，如超过一定的比例则触发告警交由人工排查和处理，该一定比例即所述第一预定阈值，其可以根据实际情况自行设定，本说明书实施例不做具体限制，

步骤150：当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。

在一种可选实现方式中，获得第二数据规则，所述第二数据规则为通用的数据规则；根据所述第二数据规则判断所述第一数据特征是否满足第三预定条件，获得第二结果；当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制。

举例而言，符合当前场景特征的数据，还应该符合同用数据规则，即所述第二数据规则，例如场景“担保交易-无线APP收银台-淘宝来源-交易支付”的特征为“同步事件code＝‘0301043’&异步事件code＝‘0301008’、13属性＝‘4000’、11属性＝‘FP’、30属性＝‘SECURITYPAY，除了业务场景特征即第一数据特征以及第一数据规则以外还有通用数据规则，即只要数据中包含规则制定的字段，该字段就需要符合通用数据规则的格式要求，例如属性2>‘0’

将线上数据按照数据特征进行分类并按照通用数据规则进行运算；将运算结果与历史数据进比较，如超过一定的比例则触发告警交由人工排查和处理，上述第三预定条件为针对通用数据规则制定的，即根据同用数据规则进行运算后得到的第二结果超过所述历史数据的一定比例则为不符合第三预定条件，这种情况下，对所述预定场景触发预警机制。

在一种可选实现方式中，根据所述第一结果和所述第二结果获得第三结果；当所述第三结果为不满足第四预定条件时，对所述预定场景触发预警机制。

具体而言，所述第一数据原则与第二数据原则，能够单独的对数据进行监控，也可以综合所述第一数据原则与所述第二数据原则，对数据进行监控，即所述第四预定条件为满足第一预定条件的同时也满足第三预定条件，即当预定场景中的数据，如果仅不满足第一预定条件，对所述预定场景触发预警机制；如果仅不满足第三预定条件，对所述预定场景触发预警机制；如果同时不满足第一预定条件和第三预定条件，也对所述预定场景触发预警机制。

本说明书实施例中监控数据种类包括但不仅限于：a)数据分类的业务量；b)数据分类下数据规则的运算结果；c)数据通用规则运算结果；d)未被数据分类命中的线上数据。通过上述多维度的数据进行监护，按照业务场景维度对数据特征进行深度刻画。

实施例二

基于与前述实施例中一种在线数据质量监控方法同样的发明构思，本说明书实施例还提供一种在线数据质量监控装置，如图3所示，包括：

预定场景获得单元11，用于获得一预定场景；

第一数据特征获得单元12，用于根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；

第一数据规则获得单元13，用于根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；

第一预定条件判断单元14，用于根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；

第一预定场景预警触发单元15，用于当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。

在一种可选实现方式中，所述根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，还包括：

第一运算结果获得单元，用于根据所述第一数据规则和所述第一数据特征获得所述预定场景的第一运算结果；

第一预定条件判断单元，用于判断所述第一运算结果是否满足第二预定条件。

在一种可选实现方式中，所述判断所述第一运算结果是否满足第二预定条件，还包括：

历史运算结果获得单元，用于获得所述预定场景的历史运算结果；

第一运算结果差值获得单元，用于根据所述历史运算结果和所述第一运算结果，获得第一运算结果差值；

第一运算结果判断单元，用于判断所述第一运算结果是否大于第一预定阈值。

在一种可选实现方式中，所述装置还包括：

第二数据规则获得单元，用于获得第二数据规则，所述第二数据规则为通用的数据规则；

第三预定条件判断单元，用于根据所述第二数据规则判断所述第一数据特征是否满足第三预定条件，获得第二结果；

第二预定场景预警触发单元，用于当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制。

在一种可选实现方式中，所述装置还包括：

第三结果获得单元，用于根据所述第一结果和所述第二结果获得第三结果；

第三预定场景预警触发单元，用于当所述第三结果为不满足第三预定条件时，对所述预定场景触发预警机制。

在一种可选实现方式中，所述装置还包括：

第一数据分类信息获得单元，用于根据所述预定场景获得所述预定场景的第一数据分类信息，所述第一数据分类信息为所述预定场景按照数据分类规则对预定场景的数据分类后获得的数据分类信息；

其中，所述根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景，还包括：

第一数据特征获得单元，用于根据所述第一数据分类信息获得第一数据特征，所述第一数据特征用来表征所述预定场景；

其中，所述根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则，还包括：

第一数据规则获得单元，用于根据所述第一数据分类信息获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则。

前述图1实施例一中的一种在线数据质量监控方法的各种变化方式和具体实例同样适用于本实施例的一种在线数据质量监控装置，通过前述对一种在线数据质量监控方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种在线数据质量监控装置的实施方法，所以为了说明书的简洁，在此不再详述。

实施例三

基于与前述实施例中一种在线数据质量监控方法同样的发明构思，本说明书实施例还提供一种服务器，如图4所示，包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序，所述处理器302执行所述程序时实现前文所述异常交易识别方法的任一方法的步骤。

其中，在图4中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。

处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

另一方面，基于与前述实施例中异常交易识别的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述异常交易识别的方法的任一方法的步骤。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (14)

1.一种在线数据质量监控方法，所述方法包括：

获得一预定场景；

根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；

根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；

根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；

当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。

2.如权利要求1所述的方法，所述根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，包括：

根据所述第一数据规则和所述第一数据特征获得所述预定场景的第一运算结果；

判断所述第一运算结果是否满足第二预定条件；

如果所述第一运算结果满足所述第二预定条件，确定所述第一数据特征满足第一预定条件。

3.如权利要求2所述的方法，所述判断所述第一运算结果是否满足第二预定条件，还包括：

获得所述预定场景的历史运算结果；

根据所述历史运算结果和所述第一运算结果，获得第一运算结果差值；

判断所述第一运算结果是否大于第一预定阈值。

4.如权利要求1所述的方法，在所述根据所述预定场景获得所述预定场景的第一数据规则之后，所述方法还包括：

获得第二数据规则，所述第二数据规则为通用的数据规则；

根据所述第二数据规则判断所述第一数据特征是否满足第三预定条件，获得第二结果；

当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制。

5.如权利要求4所述的方法，在所述当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制之后，所述方法还包括：

根据所述第一结果和所述第二结果获得第三结果；

根据所述第二数据规则和所述第一数据规则判断所述第三结果是否满足第四预定条件；

当所述第三结果为不满足第四预定条件时，对所述预定场景触发预警机制。

6.如权利要求1所述的方法，所述方法还包括：

根据所述预定场景获得所述预定场景的第一数据分类信息，所述第一数据分类信息为所述预定场景按照数据分类规则对预定场景的数据分类后获得的数据分类信息；

其中，所述根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景，还包括：

根据所述第一数据分类信息获得第一数据特征，所述第一数据特征用来表征所述预定场景；

其中，所述根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则，还包括：

根据所述第一数据分类信息获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则。

7.一种在线数据质量监控装置，所述装置包括：

预定场景获得单元，用于获得一预定场景；

第一数据特征获得单元，用于根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景；

第一数据规则获得单元，用于根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则；

第一预定条件判断单元，用于根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，获得第一结果；

第一预定场景预警触发单元，用于当所述第一结果为不满足第一预定条件时，对所述预定场景触发预警机制。

8.如权利要求7所述的装置，所述根据所述第一数据规则判断所述第一数据特征是否满足第一预定条件，还包括：

第一运算结果获得单元，用于根据所述第一数据规则和所述第一数据特征获得所述预定场景的第一运算结果；

第一预定条件判断单元，用于判断所述第一运算结果是否满足第二预定条件；

满足第一预定条件确定单元，用于如果所述第一运算结果满足所述第二预定条件，确定所述第一数据特征满足第一预定条件

9.如权利要求8所述的装置，所述判断所述第一运算结果是否满足第二预定条件，还包括：

历史运算结果获得单元，用于获得所述预定场景的历史运算结果；

第一运算结果差值获得单元，用于根据所述历史运算结果和所述第一运算结果，获得第一运算结果差值；

第一运算结果判断单元，用于判断所述第一运算结果是否大于第一预定阈值。

10.如权利要求7所述的装置，在所述根据所述预定场景获得所述预定场景的第一数据规则之后，所述装置还包括：

第二数据规则获得单元，用于获得第二数据规则，所述第二数据规则为通用的数据规则；

第三预定条件判断单元，用于根据所述第二数据规则判断所述第一数据特征是否满足第三预定条件，获得第二结果；

第二预定场景预警触发单元，用于当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制。

11.如权利要求10所述的装置，在所述当所述第二结果为不满足所述第三预定条件时，对所述预定场景触发预警机制之后，所述装置还包括：

第三结果获得单元，用于根据所述第一结果和所述第二结果获得第三结果；

第三预定场景预警触发单元，用于当所述第三结果为不满足第三预定条件时，对所述预定场景触发预警机制。

12.如权利要求7所述的装置，所述装置还包括：

第一数据分类信息获得单元，用于根据所述预定场景获得所述预定场景的第一数据分类信息，所述第一数据分类信息为所述预定场景按照数据分类规则对预定场景的数据分类后获得的数据分类信息；

其中，所述根据所述预定场景获得所述预定场景的第一数据特征，所述第一数据特征用来表征所述预定场景，还包括：

第一数据特征获得单元，用于根据所述第一数据分类信息获得第一数据特征，所述第一数据特征用来表征所述预定场景；

其中，所述根据所述预定场景获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则，还包括：

第一数据规则获得单元，用于根据所述第一数据分类信息获得所述预定场景的第一数据规则，所述第一数据规则用来表征第一数据特征所具有的规则。

13.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。