CN104618432B - 一种事件发送与接收的处理方法和处理系统 - Google Patents

Abstract

本发明公开了一种事件发送与接收的处理方法和处理系统，该方法包括以下步骤：事件发送装置将源应用系统中的业务事件数据发送至发送队列中，并生成与业务事件数据对应的唯一标识符；事件转发装置读取发送队列中的业务事件数据，基于可配置的事件转发表将所述业务事件数据转发至事件接收装置中；事件接收装置接收所述事件转发装置转发的业务事件数据。通过本发明提供的处理方法，借助事件消息的传递完成系统间的合作，实现事件发送与接收方调用的异步化、彻底解耦，提高了系统性能并大幅改善应用的扩展性。在业务高峰期，事件可暂存在系统队列里等待处理，减轻事件接收者负载压力，有效抵御业务并发高峰对系统的冲击，系统具有更好的响应延迟。

Description

一种事件发送与接收的处理方法和处理系统

技术领域

本发明涉及网络通信技术领域，特别涉及一种事件发送与接收的处理方法和处理系统。

背景技术

事件发送时，业务事件数据写入发送队列后立即返回；事件发送者发布事件，一个或者多个消息接收者接收事件。

发送流程如下：

源应用系统S101中的事件发送装置将源应用系统S101中的业务事件数据通过访问接口发送至事件处理与转发装置S102中的发送队列中，通过事件处理与转发装置S102中的事件推送装置推送至目标应用系统S103中。

发明人在研究的过程中发现，标应用系统S103中的事件接收装置接收的业务事件数据存在传输失败的情况，并且业务事件数据在校验、记录等处理操作都可能传输失败。

发明内容

本发明提供了一种事件发送与接收的处理方法和处理系统，通过将各个应用系统划分为服务域和kafka的异步机制，将原来混乱的服务调用关系转为订阅/发布的方式，降低应用间的耦合性，通过多重校验补发，降低事件传输失败率。

为达到上述目的，本发明实施例一方面提供了一种事件发送与接收的处理方法，包括以下步骤：事件发送装置将源应用系统中的业务事件数据发送至发送队列中，并生成与所述业务事件数据对应的唯一标识符；

事件转发装置读取所述发送队列中的业务事件数据，基于可配置的事件转发表将所述业务事件数据转发至事件接收装置中；

事件接收装置接收所述事件转发装置转发的业务事件数据。

进一步的，所述生成与所述业务事件数据对应的唯一标识符之后，还包括：

实时获取并记录源应用系统中已发送的业务事件数据对应的已发送标识符和发送队列中接收到的业务事件数据对应的接收标识符；

比较所述已发送标识符与接收标识符是否一致，得到不一致的已发送标识符；

存储所述不一致的已发送标识符；

获取与所述不一致的已发送标识符对应的业务事件数据，将所述业务事件数据发送至发送队列中。

进一步的，所述事件转发装置读取所述发送队列中的业务事件数据，具体包括：

对读取所述事件发送装置发送的业务事件数据进行增强处理，对增强处理后的业务事件数据进行异步处理并按区间记录已经转发的业务事件数据，基于上述记录的业务事件数据计算出转发故障的事件并执行补发动作。

更进一步的，所述基于上述记录的业务事件数据计算出转发故障的事件并执行补发动作具体包括：

将记录的业务事件数据与发送队列中的业务事件数据进行比对，得到未正常转发的事件，并执行补发动作。

进一步的，所述事件接收装置接收所述事件转发装置转发的业务事件数据之后，还包括：

获取所述事件接收装置中接收到的业务事件数据对应的待筛选标识符和源应用系统中已发送的业务事件数据对应的已发送标识符；

将重复的待筛选标识符删除，得到筛选后标识符；

比较所述已发送标识符与所述筛选后标识符是否一致，得到不一致的已发送标识符；

根据不一致的已发送标识符，获取与所述已发送标识符对应的业务事件数据。

本发明还提供了一种事件发送与接收的处理系统，该系统包括：

事件发送装置，用于将源应用系统中的业务事件数据发送至发送队列中，并生成与所述业务事件数据对应的唯一标识符；

事件转发装置，用于读取所述发送队列中的业务事件数据，基于可配置的事件转发表将所述业务事件数据转发至事件接收装置中；

事件接收装置，用于接收所述事件转发装置转发的业务事件数据。

进一步的，所述事件发送装置包括：

事件记录模块，用于实时获取并记录源应用系统中已发送的业务事件数据对应的已发送标识符和发送队列中接收到的业务事件数据对应的接收标识符；

事件比较模块，用于比较所述事件记录模块中的已发送标识符与接收标识符是否一致，得到不一致的已发送标识符；

事件存储模块，用于存储所述事件比较模块中不一致的已发送标识符；

事件发送保障模块，用于获取与所述事件存储模块中存储的已发送标识符对应的业务事件数据，将所述业务事件数据发送至发送队列中。

进一步的，所述事件转发装置包括：

事件增强模块，用于对读取所述事件发送装置发送的业务事件进行增强处理；

事件记录模块，用于对增强处理后的业务事件数据进行异步处理并按区间记录已经转发的业务事件数据。

事件转发保障模块，用于基于事件记录模块记录的业务事件数据计算出转发故障的事件并执行补发动作。

进一步的，所述事件转发保障模块包括：

比对单元，用于将记录的业务事件数据与发送队列中的业务事件数据进行比对，得到未正常转发的事件；

补发单元，用于将比对单元的得到的未正常转发的事件进行补发。

进一步的，所述事件接收装置包括：

获取模块，用于获取所述事件接收装置中接收到的业务事件数据对应的待筛选标识符和源应用系统中已发送的业务事件数据对应的已发送标识符；

筛选模块，用于将所述获取模块中获取的重复的待筛选标识符删除，得到筛选后标识符；

比较模块，用于比较所述获取模块中已发送标识符与所述筛选模块中的筛选后标识符是否一致，得到不一致的已发送标识符；

事件接收保障模块，用于根据比较模块中的不一致的已发送标识符，获取与所述已发送标识符对应的业务事件数据。

与现有技术相比，本发明具有以下优点：

本发明借助事件消息的传递完成系统间的合作，实现事件发送与接收方调用的异步化、彻底解耦，提高了系统性能并大幅改善应用的扩展性。

在业务高峰期，事件可暂存在系统队列里等待处理，减轻事件接收者负载压力，有效抵御业务并发高峰对系统的冲击。

同时，由于事件发送者不需要等待消息接受者处理就可返回，故系统具有更好的响应延迟。

通过将各个应用系统划分为服务域和kafka的异步机制，将原来混乱的服务调用关系转为订阅/发布的方式，降低应用间的耦合性，通过多重校验补发，降低事件传输失败率。

附图说明

图1为背景技术中事件发送与接收的处理方法的流程图；

图2为本发明实施例一事件发送与接收的处理方法的流程图；

图3为本发明实施例二事件发送与接收的处理系统结构示意图；

图4为本发明实施例二中事件发送装置的结构示意图；

图5为本发明实施例二中事件转发装置的结构示意图；

图6为本发明实施例二中事件接收装置的结构示意图。

具体实施方式

本发明将结合附图对本发明做详细说明，以使本领域技术人员在不付出任何创造性劳动的前提下，更容易理解与实施本发明的技术方案。

实施例一

本发明实施例一方面提供了一种事件发送与接收的处理方法，包括以下步骤：

S101：事件发送装置将源应用系统中的业务事件数据发送至发送队列中，并生成与所述业务事件数据对应的唯一标识符；

系统自动生成的唯一标示符，是用来唯一辨别事件数据的资讯，即每个事件都有与其他事件不冲突的标示符。通过唯一标示符，可以对事件进行识别、追溯、补发等。

S102：事件转发装置读取所述发送队列中的业务事件数据，基于可配置的事件转发表将所述业务事件数据转发至事件接收装置中；

事件转发装置从发送队列kafka中读取事件处理并分发到系统配置的camel路由规则中。

camel路由接受到事件后按照配置的规则对数据进行增强、组装等处理，处理后的结果通过事件转发装置进行分发。分发通过配置可以是dubbo接口、kafka（订阅队列）、rest接口等多种形式。

S103：事件接收装置接收所述事件转发装置转发的业务事件数据。

通过本实施例一提供的上述方法，可以借助事件消息的传递完成系统间的合作，实现事件发送与接收方调用的异步化、彻底解耦，提高了系统性能并大幅改善应用的扩展性。

在业务高峰期，事件可暂存在系统队列里等待处理，减轻事件接收者负载压力，有效抵御业务并发高峰对系统的冲击。

同时，由于事件发送者不需要等待消息接受者处理就可返回，故系统具有更好的响应延迟。

进一步的，所述生成与所述业务事件数据对应的唯一标识符之后，还包括：

实时获取并记录源应用系统中已发送的业务事件数据对应的已发送标识符和发送队列中接收到的业务事件数据对应的接收标识符；

比较所述已发送标识符与接收标识符是否一致，得到不一致的已发送标识符。

存储所述不一致的已发送标识符。

获取与所述不一致的已发送标识符对应的业务事件数据，将所述业务事件数据发送至发送队列中。

进一步的，所述事件转发装置读取所述发送队列中的业务事件数据，具体包括：

对读取所述事件发送装置发送的业务事件数据进行增强处理，对增强处理后的业务事件数据进行异步处理并按区间记录已经转发的业务事件数据，基于上述记录的业务事件数据计算出转发故障的事件并执行补发动作。

数据增强处理是根据在系统预设的规则，从指定数据源中提取更多信息来丰富数据对象的属性，存储集成到事件消息中，为事件接收方做深入处理提供可能，是为深入挖掘和展现数据对象信息而提供的功能。

数据增强处理的步骤包括：

定义数据来源：数据来源即要对从事件接收的数据进行增强，附加额外的数据的配置。最终将所有增强后的数据发往“目标数据”

目标数据：数据的目的地，从“数据来源”或“事件”中获取增强过的结果集和事件消息体，发送到“目标数据”所配置的规则中。

定义增强规则：“规则”即从接口获取数据的配置，包括但不仅限于SQL、DUBBO、REST等方式。规则可以采用特殊的配置从上一级获取参数，每条“规则”会返回一个结果集，该结果集可以用于下一级规则的输入参数，也可以作为整个组的结果集发往“目标数据”。

定义组：规则配置以组为单位，组有“串行”与“并行”两种，组与组之前为并行关系。

定义并行：处于并行组下的“规则”，其结果集都是互不影响的，规则的结果集都将发送到“目标数据”

定义串行：处于串行组下的“规则”，只会取最后一个规则的结果集发往“目标数据”。

更进一步的，所述基于上述记录的业务事件数据计算出转发故障的事件并执行补发动作具体包括：

将记录的业务事件数据与发送队列中的业务事件数据进行比对，得到未正常转发的事件，并执行补发动作。

进一步的，所述事件接收装置接收所述事件转发装置转发的业务事件数据之后，还包括：

获取所述事件接收装置中接收到的业务事件数据对应的待筛选标识符和源应用系统中已发送的业务事件数据对应的已发送标识符。

将重复的待筛选标识符删除，得到筛选后标识符。

比较所述已发送标识符与所述筛选后标识符是否一致，得到不一致的已发送标识符；

根据不一致的已发送标识符，获取与所述已发送标识符对应的业务事件数据。

事件接收保障模块记录已转发的业务事件数据到数据库中。在发生故障时，系统的事件数据将短时间内处于不一致状态。基于事件转发表的数据，并通过恢复机制，将使系统恢复到一致。保证了事件消息不漏发、不重发、不重复接收。

实施例二

本发明实施例另一方面提供了一种事件发送与接收的处理系统，该系统包括：

事件发送装置201，用于将源应用系统中的业务事件数据发送至发送队列中，并生成与所述业务事件数据对应的唯一标识符；

系统自动生成的唯一标示符，是用来唯一辨别事件数据的资讯，即每个事件都有与其他事件不冲突的标示符。通过唯一标示符，可以对事件进行识别、追溯、补发等。

事件转发装置202，用于读取所述发送队列中的业务事件数据，基于可配置的事件转发表将所述业务事件数据转发至事件接收装置中；

事件转发装置从发送队列kafka中读取事件处理并分发到系统配置的camel路由规则中。

camel路由接受到事件后按照配置的规则对数据进行增强、组装等处理，处理后的结果通过事件转发装置进行分发。分发通过配置可以是dubbo接口、kafka（订阅队列）、rest接口等多种形式。

事件接收装置203，用于接收所述事件转发装置转发的业务事件数据。

进一步的，所述事件发送装置201包括：

事件记录模块211，用于实时获取并记录源应用系统中已发送的业务事件数据对应的已发送标识符和发送队列中接收到的业务事件数据对应的接收标识符；

事件比较模块221，用于比较所述事件记录模块中的已发送标识符与接收标识符是否一致，得到不一致的已发送标识符；

事件存储模块231，用于存储所述事件比较模块中不一致的已发送标识符；

事件发送保障模块241，用于获取与所述事件存储模块中存储的已发送标识符对应的业务事件数据，将所述业务事件数据发送至发送队列中。

进一步的，所述事件转发装置202包括：

事件增强模块212，用于对读取所述事件发送装置发送的业务事件进行增强处理；

事件记录模块222，用于对增强处理后的业务事件数据进行异步处理并按区间记录已经转发的业务事件数据。

事件转发保障模块232，用于基于事件记录模块记录的业务事件数据计算出转发故障的事件并执行补发动作。

所述事件转发保障模块232包括：

比对单元，用于将记录的业务事件数据与发送队列中的业务事件数据进行比对，得到未正常转发的事件；

补发单元，用于将比对单元的得到的未正常转发的事件进行补发。

数据增强处理是根据在系统预设的规则，从指定数据源中提取更多信息来丰富数据对象的属性，存储集成到事件消息中，为事件接收方做深入处理提供可能，是为深入挖掘和展现数据对象信息而提供的功能。

数据增强处理的步骤包括：

定义数据来源：数据来源即要对从事件接收的数据进行增强，附加额外的数据的配置。最终将所有增强后的数据发往“目标数据”

目标数据：数据的目的地，从“数据来源”或“事件”中获取增强过的结果集和事件消息体，发送到“目标数据”所配置的规则中。

定义增强规则：“规则”即从接口获取数据的配置，包括但不仅限于SQL、DUBBO、REST等方式。规则可以采用特殊的配置从上一级获取参数，每条“规则”会返回一个结果集，该结果集可以用于下一级规则的输入参数，也可以作为整个组的结果集发往“目标数据”。

定义组：规则配置以组为单位，组有“串行”与“并行”两种，组与组之前为并行关系。

定义并行：处于并行组下的“规则”，其结果集都是互不影响的，规则的结果集都将发送到“目标数据”

定义串行：处于串行组下的“规则”，只会取最后一个规则的结果集发往“目标数据”。

进一步的，所述事件接收装置203包括：

获取模块213，用于获取所述事件接收装置中接收到的业务事件数据对应的待筛选标识符和源应用系统中已发送的业务事件数据对应的已发送标识符；

筛选模块223，用于将所述获取模块中获取的重复的待筛选标识符删除，得到筛选后标识符；

比较模块233，用于比较所述获取模块中已发送标识符与所述筛选模块中的筛选后标识符是否一致，得到不一致的已发送标识符；

事件接收保障模块243，用于根据比较模块中的不一致的已发送标识符，获取与所述已发送标识符对应的业务事件数据。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (6)

1.一种事件发送与接收的处理方法，其特征在于，包括以下步骤：

事件发送装置将源应用系统中的业务事件数据发送至发送队列中，并生成与所述业务事件数据对应的唯一标识符；实时获取并记录源应用系统中已发送的业务事件数据对应的已发送标识符和发送队列中接收到的业务事件数据对应的接收标识符；比较所述已发送标识符与接收标识符是否一致，得到不一致的已发送标识符；存储所述不一致的已发送标识符；获取与所述不一致的已发送标识符对应的业务事件数据，将所述业务事件数据发送至发送队列中；

事件转发装置读取所述发送队列中的业务事件数据，基于可配置的事件转发表将所述业务事件数据转发至事件接收装置中；

事件接收装置接收所述事件转发装置转发的业务事件数据；

获取所述事件接收装置中接收到的业务事件数据对应的待筛选标识符和源应用系统中已发送的业务事件数据对应的已发送标识符；

将重复的待筛选标识符删除，得到筛选后标识符；

比较所述已发送标识符与所述筛选后标识符是否一致，得到不一致的已发送标识符；

根据不一致的已发送标识符，获取与所述不一致的已发送标识符对应的业务事件数据。

2.如权利要求1所述的处理方法，其特征在于，所述事件转发装置读取所述发送队列中的业务事件数据，具体包括：

对读取的所述事件发送装置发送的业务事件数据进行增强处理，对增强处理后的业务事件数据进行异步处理并按区间记录已经转发的业务事件数据，基于上述记录的业务事件数据计算出转发故障的事件并执行补发动作。

3.如权利要求2所述的处理方法，其特征在于，所述基于上述记录的业务事件数据计算出转发故障的事件并执行补发动作具体包括：

将记录的业务事件数据与发送队列中的业务事件数据进行比对，得到未正常转发的事件，并执行补发动作。

4.一种事件发送与接收的处理系统，其特征在于，该系统包括：

事件发送装置，用于将源应用系统中的业务事件数据发送至发送队列中，并生成与所述业务事件数据对应的唯一标识符；

事件转发装置，用于读取所述发送队列中的业务事件数据，基于可配置的事件转发表将所述业务事件数据转发至事件接收装置中；

事件接收装置，用于接收所述事件转发装置转发的业务事件数据；

所述事件发送装置包括：

事件记录模块，用于实时获取并记录源应用系统中已发送的业务事件数据对应的已发送标识符和发送队列中接收到的业务事件数据对应的接收标识符；

事件比较模块，用于比较所述事件记录模块中的已发送标识符与接收标识符是否一致，得到不一致的已发送标识符；

事件存储模块，用于存储所述事件比较模块中不一致的已发送标识符；

事件发送保障模块，用于获取与所述事件存储模块中存储的已发送标识符对应的业务事件数据，将所述业务事件数据发送至发送队列中；

所述事件接收装置包括：

获取模块，用于获取所述事件接收装置中接收到的业务事件数据对应的待筛选标识符和源应用系统中已发送的业务事件数据对应的已发送标识符；

筛选模块，用于将所述获取模块中获取的重复的待筛选标识符删除，得到筛选后标识符；

比较模块，用于比较所述获取模块中已发送标识符与所述筛选模块中的筛选后标识符是否一致，得到不一致的已发送标识符；

事件接收保障模块，用于根据比较模块中的不一致的已发送标识符，获取与所述不一致的已发送标识符对应的业务事件数据。

5.如权利要求4所述的处理系统，其特征在于，所述事件转发装置包括：

事件增强模块，用于对读取的所述事件发送装置发送的业务事件进行增强处理；

事件记录模块，用于对增强处理后的业务事件数据进行异步处理并按区间记录已经转发的业务事件数据；

事件转发保障模块，用于基于事件转发装置中的事件记录模块记录的业务事件数据计算出转发故障的事件并执行补发动作。

6.如权利要求5所述的处理系统，其特征在于，所述事件转发保障模块包括：

比对单元，用于将记录的业务事件数据与发送队列中的业务事件数据进行比对，得到未正常转发的事件；

补发单元，用于将比对单元的得到的未正常转发的事件进行补发。