CN109446200B

CN109446200B - 一种数据处理的方法及装置

Info

Publication number: CN109446200B
Application number: CN201811279474.9A
Authority: CN
Inventors: 周雍恺; 蒋丹妮; 王琪; 何东杰
Original assignee: China Unionpay Co Ltd
Current assignee: China Unionpay Co Ltd
Priority date: 2018-10-30
Filing date: 2018-10-30
Publication date: 2021-04-16
Anticipated expiration: 2038-10-30
Also published as: CN109446200A; WO2020088311A1; US20220014483A1; US11374878B2

Abstract

本发明公开了一种数据处理的方法及装置，该方法包括，获取至少两路通讯报文，其中，该至少两路通讯报文是通过旁路方式截取业务处理系统发送给外部系统的报文，业务处理系统不执行记录存储的逻辑，对至少两路通讯报文进行处理，从处理后的至少两路通讯报文中确定出待存储的通讯报文；根据至少两路通讯报文将待存储的通讯报文存储到数据库中。该技术方案针对非时延敏感业务系统，将业务处理与数据存储进行异步解耦分离，在保障业务处理与入库数据一致性的前提下，提高业务处理的性能，满足互联网突发的大量处理请求。

Description

一种数据处理的方法及装置

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据处理的方法及装置。

背景技术

互联网大流量的应用场景下，对于分布式系统的处理能力提出了很高的要求。其中有一类业务系统，对处理有极高的性能与吞吐量要求，但对于业务数据存储的时延可以有一定的容忍度，该类系统可以统称为非时延敏感业务系统。针对非时延敏感业务系统，现有技术中业务处理完成后需要等待存储系统将通讯报文存储之后，才能进行下一步的业务处理，这样影响了业务处理的性能，不能满足互联网突发的大量处理请求。

针对非时延敏感业务系统，需要一种可以将业务处理与数据存储进行异步解耦分离，在数据存储允许的时延容忍度范围内，提高业务处理的性能，满足互联网突发的大量处理请求。

发明内容

本发明实施例提供一种数据处理的方法及装置，针对非时延敏感业务系统，在保障业务处理与入库数据一致性的前提下，提高业务处理的性能，满足互联网突发的大量处理请求。

本发明实施例提供的一种数据处理的方法，包括：

获取至少两路通讯报文；所述至少两路通讯报文是通过旁路方式截取业务处理系统发送给外部系统的报文；所述业务处理系统不执行记录存储的逻辑；

对所述至少两路通讯报文进行处理，从处理后的所述至少两路通讯报文中确定出待存储的通讯报文；

根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中。

上述技术方案中，将业务处理与数据存储进行异步解耦分离，通过旁路方式截取业务处理系统发送给外部系统的通讯报文，并根据获取到的通讯报文进行数据存储。业务处理系统不执行记录存储的逻辑，也就是业务处理系统不将通讯报文发送给数据库进行存储，更无需等待数据库存储之后才能执行下一步的业务处理，加快了业务处理的速度，提高了业务处理性能，满足互联网突发的大量处理请求。

可选的，所述获取至少两路通讯报文，包括：

通过交换机端口镜像方式将所述通讯报文复制，并输出至少一路第一通讯报文；

通过链路分光截取方式将所述通讯报文复制，并输出至少一路第二通讯报文。

上述技术方案中，提供两种获取通讯报文的方式，即在不影响业务处理系统与外部系统通讯的前提下，通过两种独立的方式获取相同的通讯报文。

可选的，所述对所述至少两路通讯报文进行处理，包括：

针对所述至少两路通讯报文中的任一通讯报文，对所述通讯报文进行分流处理；

将所述分流处理的通讯报文预处理后，提取所述预处理后的所述分流处理的通讯报文中的应用层信息。

上述技术方案中，对通讯报文进行处理，保障了数据的完整性以及数据存储的准确性，同时通过数据处理减小数据库压力。

可选的，所述根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中，包括：

确定所述待存储的通讯报文是否完整，若不完整，则根据所述至少两路通讯报文，将所述待存储的通讯报文补充完整后存储在数据库中。

上述技术方案中，在待存储报文不完整的情况下，根据至少两路通讯报文将待存储的通讯报文补充完整，也就是以待存储的通讯报文为主，在待存储的通讯报文不完整的情况下，根据获取到的其他通讯报文将待存储的通讯报文补充完整，保障了数据存储的准确性。

相应的，本发明实施例还提供了一种数据处理的装置，包括：

获取单元，用于获取至少两路通讯报文；所述至少两路通讯报文是通过旁路方式截取业务处理系统发送给外部系统的报文；所述业务处理系统不执行记录存储的逻辑；

处理单元，用于对所述至少两路通讯报文进行处理，从处理后的所述至少两路通讯报文中确定出待存储的通讯报文；

存储单元，用于根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中。

可选的，所述获取单元具体用于：

可选的，所述处理单元具体用于：

可选的，所述存储单元具体用于：

相应的，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述数据处理的方法。

相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述数据处理的方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种数据处理方法的流程示意图；

图3为本发明实施例提供的一种通讯报文处理的流程示意图；

图4为本发明实施例提供的一种电子支付系统图；

图5为本发明实施例提供的一种数据处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供数据处理方法所适用的系统架构，该系统架构包括业务处理系统110、数据存储系统120、网络交换系统130、外部系统140。

其中，业务处理系统110用于业务处理，并将业务处理后的结果输出。

数据存储系统120包括通讯报文处理系统121、数据库122，通讯报文处理系统121用于处理通讯报文，并将处理后的通讯报文存储到数据库122。

网络交换系统130主要由网络交换机131构成，主体功能是承担业务处理系统110与外部系统140之间的网络通讯。网络交换系统130可以通过旁路截取方式将业务处理系统110与外部系统140之间的网络通讯报文复制输出，并发送至数据存储系统120。

基于上述描述，图2示例性的示出了本发明实施例提供的一种数据处理的方法的流程，该流程可以由数据处理的装置执行，该装置可以位于网络交换系统中，可以是该网络交换系统。

如图2所示，该流程具体包括：

步骤201，获取至少两路通讯报文。

至少两路通讯报文是通过旁路方式截取业务处理系统发送给外部系统的报文，其中，业务处理系统不执行记录存储的逻辑。在发明实施例中，业务处理与数据存储是异步解耦分离的，业务处理系统只进行业务处理，无需等待数据存储的确认，即不涉及任何记录存储的逻辑。业务处理系统可以为银行系统中的电子支付的转接系统。

在获取通讯报文时，可以通过旁路截取方式来获取，旁路截取方式可以包括交换机端口镜像方式和链路分光截取方式。交换机端口镜像方式和链路分光截取方式为两路并列的获取通讯报文的方式，也就是说，在旁路截取方式获取通讯报文时，同时采用两种截取方式，每种截取方式获取至少一路通讯报文，相当于获取至少两路完全一样的通讯报文。

作为一种可实现方式，通过交换机端口镜像方式将通讯报文复制，并输出至少一路第一通讯报文；通过链路分光截取方式将通讯报文复制，并输出至少一路第二通讯报文。举例来说，通过交换机端口镜像方式获取一路第一通讯报文，通过链路分光截取方式获取一路第二通讯报文，其中，第一通讯报文与第二通讯报文为相同信息的报文。

步骤202，对所述至少两路通讯报文进行处理，从处理后的所述至少两路通讯报文中确定出待存储的通讯报文。

对获取到的至少两路通讯报文进行处理，即需要针对该至少两路通讯报文中的任一通讯报文进行处理，具体的，对通讯报文进行分流处理，并将分流处理的通讯报文预处理后，提取上述预处理后的分流处理的通讯报文中的应用层信息。

以交换机端口镜像方式获取的第一通讯报文为例，将该第一通讯报文先进行分流处理，并保证同一会话的报文分流到相同的处理节点上。将分流后的第一通讯报文进行预处理，即提取其中的网络层元数据信息，并去除网络层报头，对整个会话进行拼接复原。最后，提取预处理后的网络报文中应用层的信息。

此外，提取预处理后的网络报文中应用层的信息后，还可以对该提取的数据进行本地缓存和压缩，这样可以平滑网络突发流量，以避免对数据库造成较大的负担。

将获取到的至少两路通讯报文进行处理后，从处理后的至少两路通讯报文中确定出待存储的通讯报文。可以理解为，通过交换机端口镜像方式获取的至少一路第一通讯报文和通过链路分光截取方式获取的至少一路第二通讯报文，将至少一路第一通讯报文和至少一路第二通讯报文进行数据处理之后，从中确定一路待存储的通讯报文。该待存储的通讯报文可以为至少一路第一通讯报文中的一路，也可以为至少一路第二通讯报文中的一路。优选的，可以将通过链路分光截取方式获取的一路第二通讯报文确定为待存储通讯报文。

步骤203，根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中。

具体的，首先确定该待存储的通讯报文是否完整：

若确定待存储的通讯报文为完整数据，则直接将待存储的通讯报文存储在数据库中；

若确定待存储的通讯报文为不完整数据，则根据至少两路通讯报文，将待存储的通讯报文补充完整后存储在数据库中。也就是说，待存储的通讯报文为不完整时，可以根据至少两路通讯报文将该不完整的待存储的通讯报文补充完整。例如，至少两路通讯报文为一路第一通讯报文和一路第二通讯报文，将第二通讯报文确定为待存储的通讯报文后，若第二通讯报文不完整，则可以根据第一通讯报文将第二通讯报文补充完整，以使得完整的通讯报文被存储至数据库中。

为了更好的理解上述对至少两路通讯报文进行处理的实现方式，以任一通讯报文为例，可以如图3所示。

步骤301，通讯报文分流处理。

由于旁路截取方式获取的通讯报文的数据量较大，因此需要先对获取的通讯报文进行分流处理，以便后端节点进行处理。分流策略可以依据业务的特性自行定义，通常需要保证同一会话的报文分流到相同的处理节点上。

步骤302，通讯报文预处理。

获取的通讯报文可以为TCP/IP(Transmission Control Protocol/InternetProtocol，传输控制协议/因特网互联协议)的格式，对该TCP/IP的格式的通讯报文进行预处理，提取其中的网络层元数据信息，例如IP、端口等，并去除网络层报头，对整个会话进行拼接复原。

步骤303，应用层信息提取。

提取通讯报文中应用层的信息，该部分的信息编码与具体的业务逻辑相关，例如支付转接系统的通讯报文，则将通讯报文中的数据提取出近百个字段的元数据信息。

步骤304，本地缓存/压缩。

对于所提取的应用层数据，进行本地缓存与压缩，可以平滑网络突发流量，以避免对后端的数据库造成较大的负担。

步骤305，入库校验。

获取通讯报文的方式为两类：交换机端口镜像方式与链路分光截取方式，这样，可以最大程度的保障数据源的完整性。

优选的，以链路分光截取方式获取的数据为主，交换机端口镜像方式获取的数据为辅，相当于每个获取方式获取一路通讯报文，且将链路分光截取方式获取的数据作为待存储的数据。判断链路分光截取方式获取的数据是否完整，即待存储的数据是否可以顺利存储至数据库且保证与业务处理的一致性。当链路分光截取方式获取的数据是不完整数据时，则需要根据交换机端口镜像方式获取的数据，将待存储的数据补充完整。

步骤306，数据入库。

将通过入库校验的数据存储在数据库中。可选的，将通过入库校验的数据通过数据库的API(Application Programming Interface、应用程序编程接口)插入至数据库的表中，完成数据入库的操作。

需要说明的是，上述由通讯报文分流处理至数据入库的整个过程，依据不同的参数设定，会引入1分钟左右的数据延迟，这属于非时延敏感业务系统所能容忍的一个限度。

下面以非时延敏感业务系统中的电子支付的转接系统为例，描述本发明具体实现方式，具体可以参照图4给出的系统架构。转接处理系统410与外部系统440进行通讯连接仅用于转接业务处理，该外部系统440包括收单机构441、发卡银行442，该转接业务处理包括从收单机构441接收转接请求、Token校验、选择合适的发卡通道；将报文传送至发卡银行442或者处理发卡银行442的返回报文，并转送至收单机构441等。转接处理系统410的业务处理不涉及任何交易存储，也就是说，将转接处理系统410与转接记录系统420进行异步解耦分离，网络交换系统430通过链路分光截取方式获取一路第二通信报文，交换机端口镜像方式获取一路第一通信报文，通讯报文处理系统121处理第一通信报文、第二通信报文，并确定第二通讯报文为待存储的通讯报文，判断待存储的通讯报文是否完整，若不完整，则根据第一通信报文、第二通信报文将第二通信报文补充完整后，存储至数据库122。

需要说明的是，网络交换系统中的网络交换机可以是单台物理的网络交换机，也可以是由多台物理交换机所构成的交换矩阵，或者是云数据中心中针对某一处理系统的逻辑虚拟交换机。

数据存储系统中的数据库是数据存储形式的统称，其具体形态可以是集中式关系型数据库、分布式关系型数据库、文件数据库或者nosql式的数据库等。

上述实施例中，充分利用非时延敏感业务系统特性，将业务处理系统与数据存储系统异步解耦分离，业务处理系统仅涉及数据处理逻辑而不涉及任何数据存储逻辑，从而加快业务处理速度，满足网络突发的大量处理请求。网络通讯系统通过交换机端口镜像方式和链路分光截取方式截取业务处理系统与外部系统之间的通讯报文，将截取到的通讯报文进行处理后，存储至数据存储系统，此外，通过两种相互独立的方式获取相同的通讯报文，保障了将完整通讯数据存储至数据库的成功率。进一步的，保障业务处理与入库数据的一致性。

与现有的数据处理方法相比，本发明实施例有益效果如下：

处理性能高：充分利用非时延敏感业务系统的特征，将业务处理与数据存储进行异步解耦分离，从而每一个业务的处理都可以迅速返回结果，无需等待数据结果的确认，从而最大程度提升了网络流量处于峰值情况下的处理性能；同时，利用网络流量突发不均匀的特性，允许数据存储有一定的存储时延，从而保证整体时间维度上的数据有效缓冲，并存储入库。

多种方法保障数据被可靠记录：数据存储系统通过截取传输的通讯数据来进行记录。通讯数据的分流采用交换机端口镜像方式与链路分光截取方式同步且独立进行，从而最大程度地保证通讯数据的不丢失。此外采用旁路分流方式，不会影响到业务处理的性能。

系统可复用性强：通过旁路截取方式获取的通讯数据经处理后导入至数据库，该部分可以复用现有的网络性能分析系统，例如NPM(Network Performance Monitoring，网络性能监控系统)，只需针对应用层的报文做进一步的解析即可。由于允许有一定的存储时延，通过一定的缓冲与优化机制可以有效减缓数据库的处理压力。

基于同一发明构思，图5示例性的示出了本发明实施例提供的一种数据处理的装置的结构，该装置可以执行数据处理的方法的流程。

获取单元501，用于获取至少两路通讯报文；所述至少两路通讯报文是通过旁路方式截取业务处理系统发送给外部系统的报文；所述业务处理系统不执行记录存储的逻辑；

处理单元502，用于对所述至少两路通讯报文进行处理，从处理后的所述至少两路通讯报文中确定出待存储的通讯报文；

存储单元503，用于根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中。

可选的，所述获取单元501具体用于：

可选的，所述处理单元502具体用于：

可选的，所述存储单元503具体用于：

基于同一发明构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

基于同一发明构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述数据处理的方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或至少两个流程和/或方框图一个方框或至少两个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或至少两个流程和/或方框图一个方框或至少两个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或至少两个流程和/或方框图一个方框或至少两个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种数据处理的方法，其特征在于，包括：

根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中；

所述根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中，包括：

2.如权利要求1所述的方法，其特征在于，所述获取至少两路通讯报文，包括：

3.如权利要求1所述的方法，其特征在于，所述对所述至少两路通讯报文进行处理，包括：

4.一种数据处理的装置，其特征在于，包括：

存储单元，用于根据所述至少两路通讯报文将所述待存储的通讯报文存储到数据库中；

所述存储单元具体用于：

5.如权利要求4所述的装置，其特征在于，所述获取单元具体用于：

6.如权利要求4所述的装置，其特征在于，所述处理单元具体用于：

7.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至3任一项所述的方法。

8.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至3任一项所述的方法。