CN105005518A - 自动聚合冗余系统交易数据的系统及其处理器和方法 - Google Patents

Abstract

本发明提供了一种自动聚合冗余系统交易数据的系统及其处理器和方法，包括：分发模块，用于从数据包中提取业务交易记录，并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方；数据处理模块，用于汇聚交易双方的业务交易记录，并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。本发明解决了异地交易请求与响应时间不同步及关联的问题，在不影响数据信息的传递及数据中心的系统性能的同时开销小，易部署，能够准确计算并确定关联交易且完整统计。

Description

自动聚合冗余系统交易数据的系统及其处理器和方法

技术领域

本发明属于性能监控领域,具体为一种自动聚合冗余系统交易数据的系统和方法。

背景技术

随着社会科技的发展，网络已成为企业，尤其是金融企业不可或缺的核心组成部分。

出于灾备的目的，一般银行、券商、网络运营商、大型的互联网公司都会建设两个数据中心。一个是主数据中心用于承担用户的业务，一个是备份数据中心用于备份主数据中心的数据、配置、业务等。主备数据中心之间一般有热备、冷备、双活三种备份方式。

热备的情况下，只有主数据中心承担用户的业务，此时备数据中心对主数据中心进行实时的备份，当主数据中心故障以后，备数据中心可以自动接管主数据中心的业务，用户的业务不会中断，所以也感觉不到数据中心的切换。冷备的情况下，也是只有主数据中心承担业务，但是备用数据中心不会对主数据中心进行实时备份，这时可能是周期性的进行备份或者干脆不进行备份，如果主数据中心故障了，用户的业务就会中断。

在以上两种备份方式下，备用数据中心只做备份造成资源的浪费。所以分布式双活中心已经成为当前的技术热点并被广泛采用，其运作模式见图1。

X方有A、B两个数据中心，A与B互为分布式双活数据中心。

Y方有C、D两个数据中心，C与D互为分布式双活数据中心。

当作为X方的A中心有交易请求要将数据发往C中心后，作为Y方的C中心有两种选择:1、直接响应X方请求并返还数据给X方(A或B都可)；2、分发接收到的数据给D中心，由D中心响应X方请求。

这样处理数据的好处是：1、主备两个数据中心都同时承担用户的业务；2、主备两个数据中心互为备份，并且进行实时备份。

一般情况下，业务交易由交易请求和交易响应组成，一次请求、响应的交互完成一笔交易。然而在现实情况中有一种情况：作为Y方，如果在C中心接收数据信息传送的请求，D中心响应数据信息，对于监控系统来说如何把这一组异地的数据交易请求和响应关联起来成为了难点。这增加了企业对于整体业务性能分析的困难，也制约了分布式双活数据中心监控领域的发展。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种自动聚合冗余系统交易数据的系统和方法。

根据本发明提供的一种处理器，包括如下装置：

分发模块，用于从数据包中提取业务交易记录，并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方；

数据处理模块，用于汇聚交易双方的业务交易记录，并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。

优选地，所述数据处理模块，包括如下装置：

队列形成装置，用于将交易一方的业务交易记录排列形成队列M，将交易另一方的业务交易记录排列形成队列N；

关键字确认装置，用于确定交易关键字；

排序装置，用于将队列M中的请求记录和队列N中的响应记录聚集到结果处理集S1中，其中，队列M中的请求记录和队列N中的响应记录分别按照交易关键字的先后顺序排列；将队列M中的响应记录和队列N中的请求记录聚集到结果处理集S2中，其中，队列M中的响应记录和队列N中的请求记录分别按照交易关键字的先后顺序排列；

关联装置，用于在结果处理集S1、结果处理集S2中，分别将顺序序号相同的请求记录与响应记录建立一对一的关联关系。

优选地，所述数据处理模块，还包括如下装置：

有效性判断装置，用于判断关联的请求记录与响应记录之间时间戳的差值是否在时间容错阈值范围内，若是，则认定该请求记录与响应记录关联有效，否则，丢弃该请求记录与响应记录；

交易信息生成装置，用于根据有效关联的请求记录与响应记录生成交易信息。

优选地，还包括如下任一个或任多个装置：

接收模块，用于实时监听侦测数据链路中的数据包，并全采样数据包至本地缓存；相应地，分发模块本地缓存的数据包中提取业务交易记录；

时钟同步模块，用于根据所在当地的同步系统时间，为数据包添加时间戳；

传输模块，用于在处理方不是本地处理器时，将本地业务交易记录传送到处理方；

输出模块，用于将交易信息传输给本地处理器的存储模块和/或异地处理器的存储模块；

呈现模块，用于展示交易信息。

优选地，交易关键字包括：时间戳、交易单号、流水号、返回码或者用于确定交易的业务字段。

根据本发明提供的一种自动聚合冗余系统交易数据的系统，包括至少两个上述的处理器，这两个处理器分别记为处理器甲、处理器乙；

处理器甲、处理器乙互为异地处理器；

优选地，处理器甲用于部署在交易双方的主数据中心之间；

处理器乙用于部署在交易双方的从数据中心之间。

优选地，在处理器甲、处理器乙之间，通过管理通道交换各自的系统性能报告，并将系统性能较高者确认为处理方。

根据本发明提供的一种处理方法，所述处理方法是利用上述的处理器实现的。

根据本发明提供的一种自动聚合冗余系统交易数据的方法，所述自动聚合冗余系统交易数据的方法，是利用上述的自动聚合冗余系统交易数据的系统实现的。

与现有技术相比，本发明具有如下的有益效果：

1、本发明解决了异地交易请求与响应时间不同步的问题；

2、本发明解决异地交易请求和响应关联的问题；

3、本发明不影响数据信息的传递及数据中心的系统性能；

4、本发明系统开销小，易部署；

5、本发明准确计算并确定关联交易且完整统计。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为分布式双活数据中心模式图。

图2为本系统部署图。

图3为本系统模块关系图。

图4为数据处理模块操作步骤图。

图5为数据处理模块-汇聚步骤说明图。

图6为数据处理模块-重排步骤说明图。

图7为数据处理模块-关联步骤说明图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图2所示，本发明提供的系统部署有处理器甲、处理器乙，分别部署在交易一方X的数据中心A和交易另一方Y的数据中心C之间的数据链路上、交易一方X的数据中心B和交易另一方Y的数据中心D之间的数据链路上。处理器甲监听侦测数据中心A和数据中心C之间的数据通信情况，处理器乙则监听侦测数据中心B和数据中心D之间的数据通信情况。其中处理甲和处理乙的功能和系统构造相同，双方基于数据中心间的管理通道进行数据通信。

如图3所示，处理甲、处理乙均包括如下模块：

时钟同步模块，用于根据所在当地的同步系统时间，为数据包添加时间戳；时钟同步模块同步当地的系统时间，可基于NTP、GTP、PTP或其他网络时间同步协议(误差ms级)，并给被接收或者发送的所有数据包信息打上精准时间戳(误差ns级)。

接收模块，用于实时监听侦测数据链路中的数据包，并全采样数据包至本地缓存；相应地，分发模块本地缓存的数据包中提取业务交易记录；

分发模块，用于从数据包中提取业务交易记录，并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方；

传输模块，用于在处理方不是本地处理器时，将本地业务交易记录传送到处理方；

数据处理模块，用于汇聚交易双方的业务交易记录，并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。

输出模块，用于将交易信息传输给本地处理器的存储模块和/或异地处理器的存储模块；例如，输出模块将交易信息分成相同的两份，一份传输给本地数据库模块，另一份通过管理通道传输给异地系统的数据库模块；

数据库模块，用于根据各关键字段(时间戳、交易单号或流水号、返回码等)创建不同的数据库表；将输出后的交易信息存储至本地不同的表中；两地数据库间互相备份，防止数据丢失；

呈现模块，用于展示交易信息；例如，呈现模块调取数据库中的交易信息，通过数据处理模块选定的交易关键字查询，呈现交易的统计结果。

从而将异地的两个交易记录通过时间戳和交易关键字匹配准确地关联在一起，并呈现在性能管理人员面前。

进一步地，所述分发模块对本地缓存中的数据包信息进行字段剥离，摘取其中的业务交易记录并摒弃其他冗余数据；(业务交易记录是用于描述、辨别业务信息的一组字段集合，这些字段集合一般由以下字段，但并不仅限于以下字段构成：1、时间戳：记录这条交易产生的时间点；2、交易单号或流水号：用于辨别可以关联在一起的交易请求记录、交易响应记录；3、返回码：表示交易的结果、状态，例如，成功、失败，以及失败原因；)

所述分发模块还查看本地系统性能(包括CPU、内存、硬盘等)情况并生成系统性能报告；通过管理通道，服务器甲和服务器乙双方互相发送本地的系统性能报告给对方；经性能对比，双方确定系统性能更优的一方为此次数据处理方。

所述数据处理模块，用于将两地交易记录进行汇聚，通过关键字段把两地交易记录的请求和响应进行一对一关联，根据时间容错参数判断关联有效性，完成交易的统计，包括如下装置：

队列形成装置，用于将交易一方的业务交易记录排列形成队列M，将交易另一方的业务交易记录排列形成队列N；

关键字确认装置，用于确定交易关键字；交易关键字包括：时间戳、交易单号、流水号、返回码或者用于确定交易的业务字段。

排序装置，用于将队列M中的请求记录和队列N中的响应记录聚集到结果处理集S1中，其中，队列M中的请求记录和队列N中的响应记录分别按照交易关键字的先后顺序排列；将队列M中的响应记录和队列N中的请求记录聚集到结果处理集S2中，其中，队列M中的响应记录和队列N中的请求记录分别按照交易关键字的先后顺序排列；

关联装置，用于在结果处理集S1、结果处理集S2中，分别将顺序序号相同的请求记录与响应记录建立一对一的关联关系；

有效性判断装置，用于判断关联的请求记录与响应记录之间时间戳的差值是否在时间容错阈值范围内，若是，则认定该请求记录与响应记录关联有效，否则，丢弃该请求记录与响应记录；

交易信息生成装置，用于根据有效关联的请求记录与响应记录生成交易信息。

具体地，如图五，队列形成装置生成两个通道，记为通道M和通道N，这两个通道内分别放置两地的交易记录队列，同时将双方的交易记录按照队列先后顺序汇聚到一个缓存池中；

关键字确认装置按照不同的应用性能分析需求选择相对应的交易关键字(时间戳、交易单号或流水号、返回码、用于确定交易的业务字段等)；

排序装置，如图6所示，将缓存池中的队列M中的请求记录和队列N中的响应记录聚集到一个结果处理集S1中；相同的，将缓存池中的队列M中的响应记录和队列N中的请求记录聚集到另一个结果处理集S1中；关联装置根据交易关键字或已打时间戳的先后顺序重行排列将队列M与队列N的交易记录进行一对一关联；

有效性判断装置设置时间容错参数T_E(一般T_E<10ms)，在结果处理集S1中按时间先后顺序将队列M和队列N中的交易记录进行一对一匹配；如图7，在结果处理集S1中，交易记录M1和交易记录N2是一组关联的交易记录，时间T_N2-T_M1<T_E,则判定M1和N2关联有效，两条记录合并成一个交易；T_N2为N2的时间戳，T_M1为M1的时间戳；若T_N2-T_M1>T_E，则判定M1和N2关联无效，自动丢弃M1和N2，再判定下一组交易记录(结果处理集S2的关联有效性判断的处理方法一样)；

交易信息生成装置统计所有有效的结果集并生成交易信息。

本发明提供的一种处理方法，所述处理方法是利用上述的处理器实现的，具体包括如下步骤：

步骤1：从数据包中提取业务交易记录，并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方；

步骤2：汇聚交易双方的业务交易记录，并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。

步骤2.1：将交易一方的业务交易记录排列形成队列M，将交易另一方的业务交易记录排列形成队列N；

步骤2.2：确定交易关键字；交易关键字包括：时间戳、交易单号、流水号、返回码或者用于确定交易的业务字段；

步骤2.3：将队列M中的请求记录和队列N中的响应记录聚集到结果处理集S1中，其中，队列M中的请求记录和队列N中的响应记录分别按照交易关键字的先后顺序排列；将队列M中的响应记录和队列N中的请求记录聚集到结果处理集S2中，其中，队列M中的响应记录和队列N中的请求记录分别按照交易关键字的先后顺序排列；

步骤2.4：在结果处理集S1、结果处理集S2中，分别将顺序序号相同的请求记录与响应记录建立一对一的关联关系。

步骤2.5：判断关联的请求记录与响应记录之间时间戳的差值是否在时间容错阈值范围内，若是，则认定该请求记录与响应记录关联有效，否则，丢弃该请求记录与响应记录；

步骤2.6：根据有效关联的请求记录与响应记录生成交易信息。

所述处理方法还包括如下任一个或任多个步骤：

-实时监听侦测数据链路中的数据包，并全采样数据包至本地缓存；相应地，分发模块本地缓存的数据包中提取业务交易记录；

-根据所在当地的同步系统时间，为数据包添加时间戳；

-在处理方不是本地处理器时，将本地业务交易记录传送到处理方；

-将交易信息传输给本地处理器的存储模块和/或异地处理器的存储模块；

-展示交易信息。

本发明提供的一种自动聚合冗余系统交易数据的方法，是利用上述的自动聚合冗余系统交易数据的系统实现的，具体地，部署两个处理器分别记为处理器甲、处理器乙；处理器甲、处理器乙互为异地处理器；处理器甲部署在交易双方的主数据中心之间；处理器乙部署在交易双方的从数据中心之间；在处理器甲、处理器乙之间，通过管理通道交换各自的系统性能报告，并将系统性能较高者确认为处理方。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种处理器，其特征在于，包括如下装置：

分发模块，用于从数据包中提取业务交易记录，并将异地处理器或者所在的本地处理器认定为该业务交易记录的处理方；

数据处理模块，用于汇聚交易双方的业务交易记录，并对业务交易记录中的请求记录和响应记录进行关联后生成交易信息。

2.根据权利要求1所述的处理器，其特征在于，所述数据处理模块，包括如下装置：

队列形成装置，用于将交易一方的业务交易记录排列形成队列M，将交易另一方的业务交易记录排列形成队列N；

关键字确认装置，用于确定交易关键字；

排序装置，用于将队列M中的请求记录和队列N中的响应记录聚集到结果处理集S1中，其中，队列M中的请求记录和队列N中的响应记录分别按照交易关键字的先后顺序排列；将队列M中的响应记录和队列N中的请求记录聚集到结果处理集S2中，其中，队列M中的响应记录和队列N中的请求记录分别按照交易关键字的先后顺序排列；

关联装置，用于在结果处理集S1、结果处理集S2中，分别将顺序序号相同的请求记录与响应记录建立一对一的关联关系。

3.根据权利要求2所述的处理器，其特征在于，所述数据处理模块，还包括如下装置：

有效性判断装置，用于判断关联的请求记录与响应记录之间时间戳的差值是否在时间容错阈值范围内，若是，则认定该请求记录与响应记录关联有效，否则，丢弃该请求记录与响应记录；

交易信息生成装置，用于根据有效关联的请求记录与响应记录生成交易信息。

4.根据权利要求1所述的处理器，其特征在于，还包括如下任一个或任多个装置：

接收模块，用于实时监听侦测数据链路中的数据包，并全采样数据包至本地缓存；相应地，分发模块本地缓存的数据包中提取业务交易记录；

时钟同步模块，用于根据所在当地的同步系统时间，为数据包添加时间戳；

传输模块，用于在处理方不是本地处理器时，将本地业务交易记录传送到处理方；

输出模块，用于将交易信息传输给本地处理器的存储模块和/或异地处理器的存储模块；

呈现模块，用于展示交易信息。

5.根据权利要求2所述的处理器，其特征在于，交易关键字包括：时间戳、交易单号、流水号、返回码或者用于确定交易的业务字段。

6.一种自动聚合冗余系统交易数据的系统，其特征在于，包括至少两个权利要求1至5中任一项所述的处理器，这两个处理器分别记为处理器甲、处理器乙；

处理器甲、处理器乙互为异地处理器。

7.根据权利要求6所述的自动聚合冗余系统交易数据的系统，其特征在于，

处理器甲用于部署在交易双方的主数据中心之间；

处理器乙用于部署在交易双方的从数据中心之间。

8.根据权利要求6所述的自动聚合冗余系统交易数据的系统，其特征在于，

在处理器甲、处理器乙之间，通过管理通道交换各自的系统性能报告，并将系统性能较高者确认为处理方。

9.一种处理方法，其特征在于，所述处理方法是利用权利要求1至5中任一项所述的处理器实现的。

10.一种自动聚合冗余系统交易数据的方法，其特征在于，所述自动聚合冗余系统交易数据的方法，是利用权利要求6至8中任一项所述的自动聚合冗余系统交易数据的系统实现的。