CN105677774A - 一种数据事件推送方法和装置 - Google Patents

Abstract

本发明公开了一种数据事件推送方法和装置。该方法包括：实时监测上游系统对数据库的操作，生成数据库变更事件；通过主题匹配器将变更事件与预先定义的至少一个设定主题进行匹配；如果匹配到相应主题，则通过视图消息生成器为该主题的变更事件生成视图消息；将所述视图消息推送给订阅所述主题的下游系统。本发明提供的数据事件推送方法和装置，有效解除系统之间的强耦合，简化交易流程，提高系统运行速度和用户体验。

Description

一种数据事件推送方法和装置

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据事件推送方法和装置。

背景技术

随着时代的发展，信息技术随之高速发展，互联网已成为承载和传输信息数据的最佳媒体，通过网络进行信息数据的推送也已经成为信息传播的重要方法。

现有技术中一个上游系统常常串联多个下游系统，系统间通过应用程序接口(ApplicationProgramInterface,API)的调用，同步系统间的数据变更事件，实现信息数据事件在系统间的推送。例如，交易系统中包括下单、支付、退款等环节，在每个订单环节，需要调用10多个下游系统的API接口，用于通知订单状态的变化，从而导致系统之间强耦合、流程臃肿、维护性差。同时，每个下游系统的API接口调用的平均耗时为50ms，较多下游系统的API接口调用增加了系统耗时，导致客户端响应慢，进而降低用户体验。

发明内容

本发明提供一种数据事件推送方法和装置，以有效解除系统之间的强耦合，简化交易流程，提高系统运行速度和用户体验。

第一方面，本发明实施例提供了一种数据事件推送方法，该方法包括：

实时监测上游系统对数据库的操作，生成数据库变更事件；

通过主题匹配器将变更事件与预先定义的至少一个设定主题进行匹配；

如果匹配到相应主题，则通过视图消息生成器为该主题的变更事件生成视图消息；

将所述视图消息推送给订阅所述主题的下游系统。

第二方面，本发明实施例还提供了一种数据事件推送装置，该装置包括：

变更事件模块，用于实时监测上游系统对数据库的操作，生成数据库变更事件；

主题匹配模块，用于通过主题匹配器将变更事件与预先定义的至少一个设定主题进行匹配；

视图消息模块，用于如果匹配到相应主题，则通过视图消息生成器为该主题的变更事件生成视图消息；

推送模块，用于将所述视图消息推送给订阅所述主题的下游系统。

本发明通过实时监测数据库，并生成变更事件，然后为变更事件匹配主题，最后根据匹配到的主题生成视图消息推送给下游系统，相对于现有技术而言，现有技术需要上游系统在自身所执行的操作过程中，嵌入地调用下游系统的API，因此，上下游系统之间的耦合性强。然而，本发明实施例，无需在上游系统执行操作的过程中调用API，而是借助上游系统的操作对数据库中数据引起的变化进行监测，获知数据库变更事件，其中数据库变更事件反映了上游系统中执行的操作。由于不需要上游系统在操作过程中调用API，所以取消了因同步系统间的数据变更事件所需的多个系统间的串联，有效解除系统之间的强耦合，简化交易流程，提高系统运行速度和用户体验。

附图说明

图1是本发明实施例一提供的一种数据事件推送方法的流程图；

图2是一种基于本发明实施例方法的实际应用的流程图；

图3是一种基于本发明实施例方法的主体关系结构示意图；

图4是本发明实施例二提供的一种数据事件推送方法的流程图；

图5是本发明实施例三提供的一种数据事件推送装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种数据事件推送方法的流程图，本实施例可适用于因同步系统间的数据变更事件所需的多个系统串联的情况，该方法可以由数据事件推送装置来执行，该装置可通过硬件和/或软件的方式实现，具体包括：

S110、实时监测上游系统对数据库的操作，生成数据库变更事件；

其中，上游系统是指对数据库执行操作的系统，对数据库执行的操作可以是订单的提交、订单的支付和订单的导出等，上游系统可以是任意对数据库执行操作的系统；变更事件为数据库中数据状态发生变化的事件。

进一步的，所述实时监测上游系统对数据库的操作，生成数据库变更事件可以包括：实时对数据库中的上游系统操作日志进行解析，生成数据库变更事件，其中，所述变更事件包括读事件、写事件或更新事件。

S120、通过主题匹配器将变更事件与预先定义的至少一个设定主题进行匹配；

其中，主题匹配器为实现将变更事件与设定主题进行匹配的软件和/或硬件；设定主题为利用一定规则预先定义的主题，该主题可以有多个。

具体的，所述通过主题匹配器将变更事件与设定主题进行匹配，可以包括：通过主题匹配器将变更事件与预先设定的至少一个主题基于下述至少一个属性进行匹配：数据库名称、表名称、事件类型和字段规则。

其中，数据库名称和表名称分别为，变更事件所在的数据库的名称和数据库中表的名称。事件类型可以是读事件、写事件和更新事件；字段规则为字段从起始值变化为终点值的条件，例如，订单状态从未支付变为已支付，字段规则也可以为多个字段变化条件的与/或的组合。

S130、如果匹配到相应主题，则通过视图消息生成器为该主题的变更事件生成视图消息；

其中，一件变更事件可以匹配多个主题，例如变更事件为支付操作事件，则与该变更事件对应的主题可以是增加用户积分主题，也可以是订单打印主题。当匹配到多个主题时，则将变更事件对应的多个主题分别执行S130和S140的操作；当没有匹配到对应主题时，则将该变更事件丢弃；视图消息生成器为该主题的变更事件生成视图消息的软件和/或硬件；视图消息为含有变更事件信息字段的图文信息。

可选的，所述如果匹配到相应主题，则通过视图消息生成器为该主题变更事件生成视图消息，可以包括：将变更事件包含的字段填入相应主题关联的视图消息模板；当变更事件中包含的字段不能满足视图消息模板需求时，通过应用程序接口访问上游系统，获取相应字段填入相应主题关联的视图消息模板，生成视图消息。

其中，视图消息模板为不包含变更事件字段的视图消息，视图消息模板与相应主题关联。当变更事件在数据库中包含的字段不能满足视图需求时，则可以通过应用程序接口访问上游系统，获取相应字段填入相应主题关联的视图消息模板，生成视图消息；其中相应字段为变更事件没有的，而视图消息模板需要的字段。当变更事件中包含的字段能满足视图需求时，可以将变更事件包含的字段填入相应主题关联的视图消息模板，生成视图消息，也可以通过应用程序接口访问上游系统，获取相应字段填入相应主题关联的视图消息模板，生成视图消息。

S140、将所述视图消息推送给订阅所述主题的下游系统。

其中，下游系统为根据变更事件需要执行一定操作的系统，例如当变更事件为支付操作事件时，对应的下游系统可以是订单打印系统和用户系统等，下游系统可以预先针对某个主题进行订阅，同一个主题可以由多个下游系统进行订阅。

本实施例的技术方案，通过实时监测数据库，并生成变更事件，然后为变更事件匹配主题，最后根据匹配到的主题生成视图消息推送给下游系统，相对于现有技术而言，现有技术需要上游系统在自身所执行的操作过程中，嵌入地调用下游系统的API，因此，上下游系统之间的耦合性强。然而，本发明实施例，无需在上游系统执行操作的过程中调用API，而是借助上游系统的操作对数据库中数据引起的变化进行监测，获知数据库变更事件，其中数据库变更事件反映了上游系统中执行的操作。由于不需要上游系统在操作过程中调用API，所以取消了因同步系统间的数据变更事件所需的多个系统间的串联，有效解除系统之间的强耦合，简化交易流程，提高系统运行速度和用户体验。

为了保护变更事件的使用权限，所述视图消息推送给订阅所述主题的下游系统之前，还可以包括：将生成的视图消息通过视图权限过滤器过滤。

其中，视图权限过滤器为实现对视图消息权限过滤的软件和/或硬件；权限可以是关键字段或者是条件。

可选的，所述将生成的视图消息通过视图权限过滤器过滤，可以包括：通过视图权限过滤器根据下游系统权限对视图消息中包含的字段集进行过滤；或者通过视图权限过滤器，根据下游系统设定的筛选条件，对视图消息进行过滤。

例如，当通过字段进行过滤时，视图消息包含的字段集可以是服装、化妆品、文具等，如果下游系统的权限中包含服装和化妆品字段，则经过视图权限过滤器过滤，将视图消息中包含服装和化妆品的字段保留，其他字段滤除；当用条件进行过滤时，下游系统设定的筛选条件可以是用户名为第一用户，则经过视图权限过滤器过滤，将用户名为第一用户的相关数据保留，其他滤除。

具体的，变更事件、上下游系统和主题可以有多种，例如，所述变更事件可以包括下述至少一项：订单提交操作事件、支付操作事件、订单导出操作事件、物流地址变更操作事件和订单价格修改事件；所述主题可以包括下述至少一项：订单支付主题、增加用户积分主题、打印订单主题、优惠券反馈主题、物流跟踪主题和价格修改主题；上游系统是交易系统时，下游系统可以包括下述至少一项：订单打印系统、支付系统和用户系统。

在实际应用中用于监控上游系统对数据库的操作可以有多种，如图2所示，优选通过实时解析数据库日志，生成变更事件消息，并将变更事件与预设主题匹配；然后判断是否有命中主题，如果没有则丢弃变更事件消息，否则表示有至少一个主题命中，通过该主题关联的视图消息模板生成视图消息；最后，对生成的视图消息进行权限过滤，并将过滤后的视图消息通过消息队列推送给订阅者消费，即推送给下游系统执行相应操作。

也可以将上述方案从订阅方和视图消息推送方的角度描述如下，推送方首先需要对消息主题和数据视图即视图消息模板进行预定义，并将定义的消息主题与数据视图关联；然后订阅方提出订阅申请，推送方根据订阅方的订阅权限将数据视图分配给订阅方；最后推送方还可以对订阅方的权限及分配的数据视图进行审批，该步骤也可以由专门的审批方完成，如图3所示。

实施例二

图4是本发明实施例二提供的一种数据事件推送方法的流程图，本实施例在上述实施例一的基础上，提供了一个优选实例，以交易系统作为上游系统，以用户系统为下游系统，以支付操作事件为变更事件，为例进行说明，该方法具体包括：

S210、实时对交易数据库中订单表的交易系统二进制操作日志进行解析，如果捕获到订单状态由“未支付”变为“已支付”，则生成支付操作事件作为数据库变更事件；

S220、通过主题匹配器将支付操作事件与预先设定的至少一个主题基于下述至少一个属性进行匹配：

数据库名称为交易数据库、表名称为订单表、事件类型为更新事件和字段规则为订单状态从“未支付”变为“已支付”；

S230、当支付操作事件匹配到一个或多个主题时，判断支付操作事件中包含的字段是否满足相应主题视图消息模板需求，如果否，则执行S240，如果是，在执行S250；

S240、如果支付操作事件中包含的字段不能满足视图消息模板需求，则通过应用程序接口访问交易系统，获取相应字段填入相应主题关联的视图消息模板，生成视图消息；

S250、如果支付操作事件中包含的字段满足视图消息模板需求，则将支付操作事件包含的字段填入相应主题关联的视图消息模板；

例如，当匹配到增加用户积分主题，且与该主题关联的视图消息模板为订单明细视图消息模板，如果支付操作事件中包含的字段中没有订单明细视图消息模板中需要的订单结算金额时，则可以通过应用程序接口访问交易系统，找到相应订单的结算金额及其他订单信息填入订单明细视图消息模板中，生成订单明细视图消息；如果能够满足，则可以将支付操作事件中的订单号、用户名、商品编号、购买数量和结算金额等订单信息填入订单明细视图消息模板中，生成订单明细视图消息。

S240和S250可以分别执行，也可以先执行S250，再执行S240。

S260、通过视图权限过滤器根据用户系统权限，对视图消息中包含的字段集进行过滤；

S270、将所述视图消息推送给订阅所述主题的用户系统。

其中，可以采用异步消息队列向用户中心推送经过权限过滤后的视图消息，当用户系统获取订单明细视图消息后，可以根据消费金额为相应用户增加消费积分。

本实施例的技术方案，通过实时监测交易数据库，并生成支付操作事件，然后为支付操作事件匹配主题，最后根据匹配到的主题生成视图消息推送给用户系统，相对于现有技术而言，由于不需要交易系统在操作过程中调用API，所以取消了因同步系统间的支付操作事件所需的交易系统和用户系统间的串联，有效解除系统之间的强耦合，简化交易流程，提高系统运行速度和用户体验。

实施例三

图5是本发明实施例三提供的一种数据事件推送装置的结构示意图，本实施例是基于上述实施例所述数据事件推送方法，提出的一种数据事件推送装置，该装置适用于数据事件推送的情况，该装置包括：变更事件模块10、主题匹配模块20、视图消息模块30和推送模块40。

其中，变更事件模块10，用于实时监测上游系统对数据库的操作，生成数据库变更事件；主题匹配模块20，用于通过主题匹配器将变更事件与预先定义的至少一个设定主题进行匹配；视图消息模块30，用于如果匹配到相应主题，则通过视图消息生成器为该主题的变更事件生成视图消息；推送模块40，用于将所述视图消息推送给订阅所述主题的下游系统。

本实施例的技术方案，通过实时监测数据库，并生成变更事件，然后为变更事件匹配主题，最后根据匹配到的主题生成视图消息推送给下游系统，相对于现有技术而言，由于不需要上游系统在操作过程中调用API，所以取消了因同步系统间的数据变更事件所需的多个系统间的串联，有效解除系统之间的强耦合，简化交易流程，提高系统运行速度和用户体验。

进一步的，所述变更事件模块10，可以包括：解析单元，用于实时对数据库中的上游系统操作日志进行解析，生成数据库变更事件，其中，所述变更事件包括读事件、写事件或更新事件。

具体的，所述主题匹配模块20，可以包括：匹配单元，用于通过主题匹配器将变更事件与预先设定的至少一个主题基于下述至少一个属性进行匹配：数据库名称、表名称、事件类型和字段规则。

可选的，所述视图消息模块30，可以包括：内部字段单元，用于将变更事件包含的字段填入相应主题关联的视图消息模板；外部字段单元，用于当变更事件中包含的字段不能满足视图消息模板需求时，通过应用程序接口访问上游系统，获取相应字段填入相应主题关联的视图消息模板，生成视图消息。

为了保护变更事件的使用权限，所述推送模块40之前，还可以包括：权限过滤模块，用于将生成的视图消息通过视图权限过滤器过滤。

可选的，所述权限过滤模块，可以包括：字段过滤单元，用于通过视图权限过滤器根据下游系统权限对视图消息中包含的字段集进行过滤；或者条件过滤单元，用于通过视图权限过滤器，根据下游系统设定的筛选条件，对视图消息进行过滤。

进一步的，变更事件、上下游系统和主题可以有多种，例如，所述变更事件可以包括下述至少一项：订单提交操作事件、支付操作事件、订单导出操作事件、物流地址变更操作事件和订单价格修改事件；所述主题可以包括下述至少一项：订单支付主题、增加用户积分主题、打印订单主题、优惠券反馈主题、物流跟踪主题和价格修改主题；当上游系统是交易系统时，下游系统可以包括下述至少一项：订单打印系统、支付系统和用户系统。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种数据事件推送方法，其特征在于，包括：

实时监测上游系统对数据库的操作，生成数据库变更事件；

通过主题匹配器将变更事件与预先定义的至少一个设定主题进行匹配；

如果匹配到相应主题，则通过视图消息生成器为该主题的变更事件生成视图消息；

将所述视图消息推送给订阅所述主题的下游系统。

2.根据权利要求1所述的方法，其特征在于，所述实时监测上游系统对数据库的操作，生成数据库变更事件包括：

实时对数据库中的上游系统操作日志进行解析，生成数据库变更事件，其中，所述变更事件包括读事件、写事件或更新事件。

3.根据权利要求1所述的方法，其特征在于，所述通过主题匹配器将变更事件与设定主题进行匹配，包括：

通过主题匹配器将变更事件与预先设定的至少一个主题基于下述至少一个属性进行匹配：

数据库名称、表名称、事件类型和字段规则。

4.根据权利要求1所述方法，其特征在于，所述如果匹配到相应主题，则通过视图消息生成器为该主题变更事件生成视图消息，包括：

将变更事件包含的字段填入相应主题关联的视图消息模板；

当变更事件中包含的字段不能满足视图消息模板需求时，通过应用程序接口访问上游系统，获取相应字段填入相应主题关联的视图消息模板，生成视图消息。

5.根据权利要求1所述的方法，其特征在于，将所述视图消息推送给订阅所述主题的下游系统之前，还包括：

将生成的视图消息通过视图权限过滤器过滤。

6.根据权利要求5所述方法，其特征在于，所述将生成的视图消息通过视图权限过滤器过滤，包括：

通过视图权限过滤器根据下游系统权限对视图消息中包含的字段集进行过滤；

或者

通过视图权限过滤器，根据下游系统设定的筛选条件，对视图消息进行过滤。

7.根据权利要求1所述方法，其特征在于：

所述变更事件包括下述至少一项：

订单提交操作事件、支付操作事件、订单导出操作事件、物流地址变更操作事件和订单价格修改事件；

所述主题包括下述至少一项：

订单支付主题、增加用户积分主题、打印订单主题、优惠券反馈主题、物流跟踪主题和价格修改主题；

上游系统是交易系统时，下游系统包括下述至少一项：

订单打印系统、支付系统和用户系统。

8.一种数据事件推送装置，其特征在于，包括：

变更事件模块，用于实时监测上游系统对数据库的操作，生成数据库变更事件；

主题匹配模块，用于通过主题匹配器将变更事件与预先定义的至少一个设定主题进行匹配；

视图消息模块，用于如果匹配到相应主题，则通过视图消息生成器为该主题的变更事件生成视图消息；

推送模块，用于将所述视图消息推送给订阅所述主题的下游系统。

9.根据权利要求8所述的装置，其特征在于，所述变更事件模块，包括：

解析单元，用于实时对数据库中的上游系统操作日志进行解析，生成数据库变更事件，其中，所述变更事件包括读事件、写事件或更新事件。

10.根据权利要求8所述的装置，其特征在于，所述主题匹配模块，包括：

匹配单元，用于通过主题匹配器将变更事件与预先设定的至少一个主题基于下述至少一个属性进行匹配：

数据库名称、表名称、事件类型和字段规则。

11.根据权利要求8所述的装置，其特征在于，所述视图消息模块，包括：

内部字段单元，用于将变更事件包含的字段填入相应主题关联的视图消息模板；

外部字段单元，用于当变更事件中包含的字段不能满足视图消息模板需求时，通过应用程序接口访问上游系统，获取相应字段填入相应主题关联的视图消息模板，生成视图消息。

12.根据权利要求8所述的装置，其特征在于，所述推送模块之前，还包括：

权限过滤模块，用于将生成的视图消息通过视图权限过滤器过滤。

13.根据权利要求12所述的装置，其特征在于，所述权限过滤模块，包括：

字段过滤单元，用于通过视图权限过滤器根据下游系统权限对视图消息中包含的字段集进行过滤；或者

条件过滤单元，用于通过视图权限过滤器，根据下游系统设定的筛选条件，对视图消息进行过滤。

14.根据权利要求8所述的装置，其特征在于：

所述变更事件包括下述至少一项：

订单提交操作事件、支付操作事件、订单导出操作事件、物流地址变更操作事件和订单价格修改事件；

所述主题包括下述至少一项：

订单支付主题、增加用户积分主题、打印订单主题、优惠券反馈主题、物流跟踪主题和价格修改主题；

上游系统是交易系统时，下游系统包括下述至少一项：

订单打印系统、支付系统和用户系统。