CN110362455A - 一种数据处理方法和数据处理装置 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法和数据处理装置，用于实时监控数据，并提高数据监控告警时效性，以及该数据监控系统的通用性。本申请实施例方法包括：为待监控数据源注册元数据，所述元数据用于描述所述待监控数据源的信息；根据所述元数据的属性定义所述待监控数据源的告警规则；监控所述待监控数据源；当所述待监控数据源触发所述告警规则时，发送告警信息。

Description

一种数据处理方法和数据处理装置

技术领域

本申请涉及计算机领域，尤其涉及一种数据处理方法和数据处理装置。

背景技术

随着互联网技术的发展，大数据的应用越来越广泛。而在大数据的数据处理过程中，首先是需要对数据进行收集，如果数据提供方的数据突然变更，则会导致后续的处理程序发生不可预计的错误。因此大数据处理中，用户需要时刻确定数据源数据是否正确，是否发生变化。基于上述要求，数据提供方设计了数据监控系统，用于监控数据源数据的格式规范、值域范围和完整性；以及将数据源数据与历史基线的变化趋势进行比较。然后数据提供方根据该数据监控系统的结果及时向用户反馈告警事件，以使得用户可以第一时间发现数据的变化。

目前的数据监控技术，一种是传统的非实时的定时触发任务；另一种是近实时监控任务。而这两种方案都有一定的缺陷。非实时的定时触发任务的技术方案中，数据监控结果的时效很差，不能及时监控和告警；而近实时监控任务的技术方案中，监控任务的定制化程度很高，一般都是基于固定业务场景的监控方案，通用性差。

发明内容

本申请实施例提供了一种数据处理方法和数据处理装置，用于实时监控数据，并提高数据监控告警时效性，以及数据监控系统的通用性。

第一方面，本申请实施例提供一种数据处理方法，具体包括：该数据处理装置为待监控数据源注册元数据，该元数据用于描述该待监控数据源的信息；然后该数据处理装置根据该元数据的属性定义该待监控数据源的告警规则，并将定义的过程翻译为Esper的类SQL语句；然后该数据处理装置监控该待监控数据源；当该待监控数据源触发该告警规则时，该数据处理装置发送告警信息给用户终端。

本申请实施例中，该数据处理装置根据该元数据利用Esper的类SQL语句定义该待监控数据源的告警规则，这样不仅可以实现一般监控系统的正则验证，而且可以实现更复杂业务逻辑验证规则，为复杂业务数据监控提供了扩展功能，从而提高数据监控告警时效性，以及数据监控系统的通用性。

可选的，该元数据为Esper事件，该Esper事件抽象为map类型对象，该元数据保存于元数据管理层。

可选的，该待监控数据源包括用户账户标识、该元数据密码code、时间戳，监控该待监控数据源包括：

将该元数据和该告警规则以控制信息的形式存储于第一数据队列集群内，该第一数据队列集群是基于消息队列中间件建立；

消费该元数据和该告警规则，并利用Esper复杂事件处理机制监控该元数据和该告警规则。

可选的，该发送告警信息包括：

根据该告警规则设置相关联的告警通道；

利用该告警通道的告警信息处理逻辑发送该告警信息。

可选的，该利用该告警通道的告警信息处理逻辑发送该告警信息包括：

将该告警信息存储于第二数据队列集群内，该第二数据队列集群是基于消息队列中间件建立；

消费该告警信息，并利用该告警通道的告警信息处理逻辑发送该告警信息。

可选的，该告警信息处理逻辑包括：

将该告警信息按照持续时长进行分级，根据该分级发送该告警信息；

和/或，

获取该告警信息的出现次数，在该出现次数超过第一预设阈值时，将该告警信息合并发送；

和/或，

获取该告警信息的持续时长，在该持续时长超过第二预设阈值时，将该告警信息合并发送。

第二方面，本申请实施例提供一种数据处理装置，具体如下：

一种可能实现方式中，该数据处理装置包括：

处理模块，用于为待监控数据源注册元数据，该元数据用于描述该待监控数据源的信息；根据该元数据的属性定义该待监控数据源的告警规则；

监控模块，用于监控该待监控数据源；

发送模块，用于当该待监控数据源触发该告警规则时，发送告警信息。

可选的，该元数据为Esper事件，该Esper事件抽象为map类型对象，该元数据保存于元数据管理层。

可选的，该待监控数据源包括用户账户标识、该元数据密码code、时间戳，该监控模块，具体用于将该元数据和该告警规则以控制信息的形式存储于第一数据队列集群内，该第一数据队列集群是基于消息队列中间件建立；消费该元数据和该告警规则，并利用Esper复杂事件处理机制监控该元数据和该告警规则。

可选的，该发送模块，具体用于根据该告警规则设置相关联的告警通道；利用该告警通道的告警信息处理逻辑发送该告警信息。

可选的，该发送模块，具体用于将该告警信息存储于第二数据队列集群内，该第二数据队列集群是基于消息队列中间件建立；消费该告警信息，并利用该告警通道的告警信息处理逻辑发送该告警信息。

可选的，该告警信息处理逻辑包括：

将该告警信息按照持续时长进行分级，根据该分级发送该告警信息；和/或，获取该告警信息的出现次数，在该出现次数超过第一预设阈值时，将该告警信息合并发送；和/或，获取该告警信息的持续时长，在该持续时长超过第二预设阈值时，将该告警信息合并发送。

另一种实现方式中，该数据处理装置，包括：处理器和存储器，其中，该存储器中存有计算机可读程序，该处理器通过运行该存储器中的程序，以用于完成上述任一项该的方法。

第三方面，本申请实施例提供一种计算机可读存储介质，该计算机存储介质存储有计算机指令，该计算机指令用于执行上述任一项该的方法。

第四方面，本申请实施例提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一项该的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：该数据处理装置根据该元数据利用Esper的类SQL语句定义该待监控数据源的告警规则，这样不仅可以实现一般监控系统的正则验证，而且可以实现更复杂业务逻辑验证规则，为复杂业务数据处理提供了扩展功能，从而提高数据监控告警时效性，以及该数据监控系统的通用性。

附图说明

图1为本申请实施例中数据处理系统的一个框图示意图；

图2为本申请实施例中数据处理方法的一个实施例示意图；

图3为本申请实施例中数据处理装置的一个实施例示意图；

图4为本申请实施例中数据处理装置的另一个实施例示意图。

具体实施方式

本申请实施例提供了一种数据处理方法和数据处理装置，用于实时监控数据，并提高数据监控告警时效性，以及该数据监控系统的通用性。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着互联网技术的发展，大数据的应用越来越广泛。而在大数据的数据处理过程中，首先是需要对数据进行收集，如果数据提供方的数据突然变更，则会导致后续的处理程序发生不可预计的错误。因此大数据处理中，用户需要时刻确定数据源数据是否正确，是否发生变化。基于上述要求，数据提供方设计了数据监控系统，用于监控数据源数据的格式规范、值域范围和完整性；以及将数据源数据与历史基线的变化趋势进行比较。然后数据提供方根据该数据监控系统的结果及时向用户反馈告警事件，以使得用户可以第一时间发现数据的变化。目前的数据处理技术，一种是传统的非实时的定时触发任务；另一种是近实时监控任务。而这两种方案都有一定的缺陷。非实时的定时触发任务的技术方案中，数据监控结果的时效很差，不能及时监控和告警；而近实时监控任务的技术方案中，监控任务的定制化程度很高，一般都是基于固定业务场景的监控方案，通用性差。

为了解决这一问题，本申请实施例中提供如下技术方案：该数据处理装置为待监控数据源注册元数据，该元数据用于描述该待监控数据源的信息；然后该数据处理装置根据该元数据的属性定义该待监控数据源的告警规则；然后该数据处理装置监控该待监控数据源；当该待监控数据源触发该告警规则时，该数据处理装置发送告警信息。

本申请实施例应用于如图1所示的数据处理系统，具体包括元数据管理层、数据接收层、告警引擎层、数据队列集群和消息通道引擎层。其中，该元数据管理层用于为待监控数据源注册元数据，并根据该元数据定义告警规则，根据告警规则设置告警通道。该数据接收层用于接收该待监控数据源的数据，其中，该待监控数据源的数据携带有用户账户标识、对应的元数据密码、时间戳等属性；且该数据接收层根据该待监控数据源的元数据定义该待监控数据源的验证数据；并将该待监控数据源的数据加入到数据队列集群。该数据队列集群是基于消息队列中间件建立的，用于存储待监控数据源数据以及告警事件数据。该告警引擎层用于消费该数据队列集群里的待监控数据源数据以及告警规则，然后生成告警事件。该告警事件数据加入到该数据队列集群，然后该消息通道引擎层消费该数据队列集群里的告警事件数据，并生成告警信息；最后该消息通道引擎层发送该告警信息。

具体请参阅图2所示，本申请实施例中数据处理的一个实施例，包括：

201、数据处理装置获取待监控数据源。

该数据处理装置监控用户待获取的数据，即本申请实施例中的待监控数据源。

202、该数据处理装置为该待监控数据源注册元数据。

该数据处理装置为该待监控数据源注册元数据。本实施例中，该数据处理装置定义描述该待监控数据源的对象(即元数据)，定义过程中注册Esper事件，将该事件抽象为一个map类型对象。其中，该map对象内支持任意类型组合和嵌套。比如合同的元数据，可以具体为描述了有哪些字段，分别是什么类型的等等。

203、该数据处理装置根据该元数据的属性定义该待监控数据源的告警规则。

在该数据处理装置注册元数据之后，该数据处理装置根据该元数据的属性定义该待监控数据源的告警规则，并将定义的过程翻译为Esper的类SQL语句。这样不仅可以实现一般监控系统的正则验证，而且能实现更复杂业务逻辑验证规则。

本实施例中，该数据处理装置在定义了告警规则之后，还需要根据该告警规则定义与该告警规则相关联的一个告警通道。即每条告警规则都会各一个告警通道关联，当数据的变化触发告警时，会根据相应的告警规则以及告警通道的设置，启动告警消息处理的逻辑，将该告警消息分级并按照不同的频率、不同的方式发送告警消息给相应的用户终端。

204、该数据处理装置监控该待监控数据源。

该数据处理装置在告警规则、告警通道、元数据都建立完成的基础下，该数据处理装置监控该待监控数据源。

本实施例中，该数据处理装置在数据接收层接收该待监控数据源。其中该待监控数据源需要有账户标识、元数据code、时间戳这三个属性。其中，该账户标识用于使得该数据处理装置区分不同的数据租户。元数据code是元数据的标识信息，表示当前数据是基于这个元数据。时间戳是用于指示该待监控数据源中各数据的时间标识。

本实施例中，该数据处理装置监控该待监控数据源的具体方式可以如下：该数据处理装置建立数据队列集群，其中，该数据队列集群是基于Kafka消息队列中间件搭建的。同时，由于该元数据和告警规则都已抽象为控制消息，该数据处理装置将这些控制消息按照用户以及元数据类型作为分区策略，这时该数据处理装置将这些控制消息均衡的发送到该数据队列集群内。在该数据处理装置在告警引擎层以集群多机并行模式运行时，该数据处理装置消费数据队列集群中的该待监控数据源的原始数据和告警规则，同时采用Esper的复杂事件处理功能，根据告警规则进行流式处理，进行实时计算和告警监控。在采用该方式时，该数据处理装置还可以获取历史数据与该当前实时数据进行计算和告警监控。同时该数据处理装置还可以实时监控元数据和告警规则抽象生成的控制消息，这样可以及时发现新注册事件(即新的待监控数据源)、校验规则的变更(即生成的新告警规则)以及某些事件或规则监控行为的开启和关闭。

205、在该待监控数据源触发该告警规则时，该数据处理装置发送告警信息。

在该数据处理装置确定该待监控数据源触发该告警规则之后，该数据处理装置将该告警事件发送至数据队列集群(可以理解的是，这里的数据队列集群与前面存储待监控数据源的数据队列集群为同一集群，但是在逻辑功能上属于不同的主题，比如存储告警事件的数据队列集群和存储原始数据的数据队列集群)；然后该数据处理装置在告警通道引擎层以集群多机并行模式运行时，消费该数据队列集群中的告警事件，接收该告警事件，并根据告警通道中的逻辑对该告警事件进行分级，从而生成相应的告警信息。可以理解的是，该告警信息包括告警事件、告警信息的接收用户、告警信息的发送方式(比如发送频率等)。

在本实施例中，该告警通道引擎层会根据告警事件的出现次数、持续时间以及状态等信息，对该告警事件对应的告警信息进行合并；然后再发送给用户。比如，同样的告警消息第一次触发时，只会发给普通员工的终端，当该消息已经持续触发十分钟了，系统会将告警消息发送至更高级别的管理者的终端。

本实施例中，该数据处理装置在发送了该告警信息之后，还可以对发送结果进行记录。

本实施例中，该数据处理装置根据该元数据利用Esper的类SQL语句定义该待监控数据源的告警规则，这样不仅可以实现一般监控系统的正则验证，而且可以实现更复杂业务逻辑验证规则，为复杂业务数据处理提供了扩展功能，从而提高数据处理告警时效性，以及该数据处理系统的通用性。

上面描述了本申请实施例中的数据处理方法，下面描述一下本申请实施例中数据处理装置。

具体请参阅图3所示，本申请实施例中数据处理装置的一个实施例，包括：

处理模块301，用于为待监控数据源注册元数据，该元数据用于描述该待监控数据源的信息；根据该元数据的属性定义该待监控数据源的告警规则；

监控模块302，用于监控该待监控数据源；

发送模块303，用于当该待监控数据源满足该告警规则中的告警条件时，发送告警信息。

可选的，该元数据为Esper事件，该Esper事件抽象为map类型对象，该元数据保存于元数据管理层。

可选的，该待监控数据源包括用户账户标识、该元数据密码、时间戳，该监控模块302，具体用于将该元数据和该告警规则以控制信息的形式存储于第一数据队列集群内，该第一数据队列集群是基于消息队列中间件建立；消费该元数据和该告警规则，并利用Esper复杂事件处理机制监控该元数据和该告警规则。

可选的，该发送模块303，具体用于根据该告警规则设置相关联的告警通道；利用该告警通道的告警信息处理逻辑发送该告警信息。

可选的，该发送模块303，具体用于将该告警信息存储于第二数据队列集群内，该第二数据队列集群是基于消息队列中间件建立；消费该告警信息，并利用该告警通道的告警信息处理逻辑发送该告警信息。

可选的，该告警信息处理逻辑包括：

将该告警信息按照持续时长进行分级，根据该分级发送该告警信息；和/或，获取该告警信息的出现次数，在该出现次数超过第一预设阈值时，将该告警信息合并发送；和/或，获取该告警信息的持续时长，在该持续时长超过第二预设阈值时，将该告警信息合并发送。

具体请参阅图4，本申请实施例中数据处理装置的另一个实施例，包括：

收发器401、处理器402、总线403；

该收发器401与该处理器402通过该总线403连接；

该总线403可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器402可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。

处理器402还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic,GAL)或其任意组合。

参见图4所示，该数据处理装置还可以包括存储器404。该存储器404可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器404还可以包括上述种类的存储器的组合。

可选地，存储器404还可以用于存储程序指令，处理器402调用该存储器404中存储的程序指令，可以执行上述多个实施例中的一个或多个步骤，或其中可选的实施方式，实现上述方法中该数据处理装置的功能。

该处理器402，执行如下步骤：为待监控数据源注册元数据，该元数据用于描述该待监控数据源的信息；根据该元数据的属性定义该待监控数据源的告警规则；监控该待监控数据源；

该收发器401，执行如下步骤：当该待监控数据源触发该告警规则时，发送告警信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

为待监控数据源注册元数据，所述元数据用于描述所述待监控数据源的信息；

根据所述元数据的属性定义所述待监控数据源的告警规则；

监控所述待监控数据源；

当所述待监控数据源触发所述告警规则时，发送告警信息。

2.根据权利要求1所述的方法，其特征在于，所述元数据为Esper事件，所述Esper事件抽象为map类型对象，所述元数据保存于元数据管理层。

3.根据权利要求1所述的方法，其特征在于，所述待监控数据源包括用户账户标识、所述元数据密码、时间戳，所述监控所述待监控数据源包括：

将所述元数据和所述告警规则以控制信息的形式存储于第一数据队列集群内，所述第一数据队列集群是基于Kafka消息队列中间件建立；

消费所述元数据和所述告警规则，并利用Esper复杂事件处理机制监控所述元数据和所述告警规则。

4.根据权利要求1所述的方法，其特征在于，所述发送告警信息包括：

根据所述告警规则设置相关联的告警通道；

利用所述告警通道的告警信息处理逻辑发送所述告警信息。

5.根据权利要求4所述的方法，其特征在于，所述利用所述告警通道的告警信息处理逻辑发送所述告警信息包括：

将所述告警信息存储于第二数据队列集群内，所述第二数据队列集群是基于消息队列中间件建立；

消费所述告警信息，并利用所述告警通道的告警信息处理逻辑发送所述告警信息。

6.根据权利要求4或5所述的方法，其特征在于，所述告警信息处理逻辑包括：

将所述告警信息按照持续时长进行分级，根据所述分级发送告警信息；

和/或，

获取所述告警信息的出现次数，在所述出现次数超过第一预设阈值时，将所述告警信息合并发送；

和/或，

获取所述告警信息的持续时长，在所述持续时长超过第二预设阈值时，将所述告警信息合并发送。

7.一种数据处理装置，其特征在于，包括：

处理模块，用于为待监控数据源注册元数据，所述元数据用于描述所述待监控数据源的信息；根据所述元数据的属性定义所述待监控数据源的告警规则；

监控模块，用于监控所述待监控数据源；

发送模块，用于当所述待监控数据源触发所述告警规则时，发送告警信息。

8.一种数据处理装置，其特征在于，包括至少一个处理器和存储器，其中，所述存储器中存有计算机可读程序，所述处理器通过运行所述存储器中的程序，以用于完成权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令用于执行权利要求1至6中任一项所述的方法。

10.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行权利要求1至6中任一项所述的方法。