CN102387025B - 一种采集业务数据包日志信息的方法及业务逻辑处理系统 - Google Patents

Abstract

本发明提供了一种采集业务数据包日志信息的方法及业务逻辑处理系统，通过入口业务逻辑处理模块为业务数据包添加数据标记和路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，后续业务逻辑处理模块，修改所述路由标记，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器。使得重复业务数据包在各个业务处理逻辑模块中采集的信息能够区分，而且在有多次交互的业务数据包处理过程中采集的信息也能够区分。

Description

一种采集业务数据包日志信息的方法及业务逻辑处理系统

技术领域

本发明涉及对网络数据包进行信息采集的技术，特别涉及一种采集业务数据包日志信息的方法及业务逻辑处理系统。

背景技术

目前，在现有网络业务逻辑处理系统中，采集业务数据包日志信息的方法，已开始采用分布式方式实现，但依然停留在单机采集，单机上报的阶段。

业务逻辑系统通常包括入口业务逻辑处理模块、业务逻辑处理模块以及日志服务器等设备。业务数据包从入口业务逻辑处理模块接入后，根据不同业务的业务逻辑，有可能处理后流转到一个或多个其他的业务逻辑处理模块；还有可能从其他的业务逻辑处理模块接收原路返回的业务数据包处理掉或输出到系统外部。同样的，业务逻辑处理模块根据不同业务的业务逻辑，也可能将业务数据包处理掉或发送给下一个业务处理模块或原路返回给前面的业务逻辑处理模块或入口业务逻辑处理模块。

现有技术对该系统采集业务数据包日志信息的方法很简单，就是入口逻辑处理模块或各个业务逻辑处理模块直接从接收到的业务数据包中采集日志信息，分别将采集的日志信息发送给日志服务器。

可见，现有技术采集业务数据包日志信息的方法中，每个业务逻辑处理模块的信息采集是相互独立、互不影响的。虽然能获得采集到的日志信息，但对相同时间点的重复业务数据包在各个业务处理逻辑模块中采集的信息无法区分，而且在有多次交互的业务数据包处理过程中采集的信息也无法区分，也无法看出业务数据包经过了多少个业务逻辑模块处理。

总之，现有技术形式上是有分布式数据采集，但本质上各个采集点之间数据关联程度较低，宏观上缺乏整个逻辑处理上的先后关系，微观上无法做到同一采集点区分多个业务逻辑处理模块。

发明内容

本发明提供一种采集业务数据包日志信息的方法及业务逻辑处理系统，应用该方法及系统能够区分重复业务数据包在各个业务处理逻辑模块中采集的信息。

本发明提供的采集业务数据包日志信息的方法，应用于包括入口业务逻辑处理模块和一个或多个业务逻辑处理模块的业务逻辑处理系统，该方法包括：

入口业务逻辑处理模块接收到业务数据包后，为需要采集日志信息的业务数据包添加数据标记和标识流经业务逻辑处理模块的路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块；

接收到业务数据包的业务逻辑处理模块，对需要采集日志信息的业务数据包修改所述路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到入口业务逻辑处理模块或流转到一个或多个业务逻辑处理模块。

本发明提供的业务逻辑处理系统，包括入口业务逻辑处理模块、一个或多个业务逻辑处理模块、日志服务器；

所述入口业务逻辑处理模块接收到业务数据包后，为需要采集日志信息的业务数据包添加数据标记和标识流经业务逻辑处理模块的路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块；

所述接收到业务数据包的业务逻辑处理模块，对需要采集日志信息的业务数据包修改所述路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到入口业务逻辑处理模块或流转到一个或多个业务逻辑处理模块。

本发明通过入口业务逻辑处理模块为业务数据包添加数据标记和路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，后续业务逻辑处理模块，修改所述路由标记，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器。使得重复业务数据包在各个业务处理逻辑模块中采集的信息能够区分，而且在有多次交互的业务数据包处理过程中采集的信息也能够区分。

附图说明

图1为本发明第一实施例业务逻辑处理系统结构示意图；

图2为图1所示业务逻辑处理系统采集业务数据包日志信息的流程图；

图3为本发明第二实施例中业务逻辑处理系统结构示意图；

图4为本发明第二实施例中入口逻辑处理模块采集业务数据包日志信息的流程图；

图5为本发明第二实施例中业务逻辑处理模块采集业务数据包日志信息的监控流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下举具体实施例，对本发明进一步详细说明。

本发明通过入口业务逻辑处理模块为业务数据包添加数据标记和路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，后续业务逻辑处理模块，修改所述路由标记，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器。使得重复业务数据包在各个业务处理逻辑模块中采集的信息能够区分，而且在有多次交互的业务数据包处理过程中采集的信息也能够区分。

以下对本发明两个具体实施例进行详细说明。

参见图1，图1为本第一实施例业务逻辑处理系统结构示意图。其包括入口业务逻辑处理模块100、多个业务逻辑处理模块110、日志服务器120。图1中，实线表示业务数据包流，虚线表示日志数据包流。其中，入口业务逻辑处理模块100接收到业务数据包后，为需要采集日志信息的业务数据包添加数据标记和标识流经业务逻辑处理模块110的路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器120，并按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块110；

接收到业务数据包的业务逻辑处理模块110，对需要采集日志信息的业务数据包修改所述路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器120，并按照业务逻辑将业务数据包流转到入口业务逻辑处理模块100或流转到一个或多个业务逻辑处理模块110。

本实施例中，入口业务逻辑处理模块100根据业务需要来确定需要采集日志信息的业务数据包，其在这些数据包上添加的数据标记为全局唯一序列号；添加的路由标记为流经业务逻辑处理模块110的路由序号，该序号在入口业务逻辑处理模块100中添加的初始值为1，其在后续的逻辑处理过程中，每经过一个业务逻辑处理模块110路由序号值加1。

参见图2，图2为图1所示业务逻辑处理系统采集业务数据包日志信息的流程图；该流程包括以下步骤：

步骤201，入口业务逻辑处理模块接收到业务数据包后，为需要采集日志信息的业务数据包添加数据标记和标识流经业务逻辑处理模块的路由标记。

步骤202，入口业务逻辑处理模块采集日志信息，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器。

步骤203，入口业务逻辑处理模块按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块。

步骤204，接收到业务数据包的业务逻辑处理模块，对需要采集日志信息的业务数据包修改所述路由标记。

步骤205，业务逻辑处理模块将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器。

步骤206，业务逻辑处理模块按照业务逻辑将业务数据包流转到入口业务逻辑处理模块或流转到一个或多个业务逻辑处理模块。

这里采集的日志信息，就是数据包流转信息，主要包括：源IP地址、源端口、目的IP地址、目的端口、进程ID等。其中源IP地址、源端口从业务数据包信息中获取，目的IP、目的端口、进程ID从本模块获取。

参见图3，图3为本发明实施例中业务逻辑处理系统结构示意图。其包括入口业务逻辑处理模块300、多个业务处理模块310、日志服务器320、数据库330及日志显示模块340。

其中，入口业务处理模块300包括数据包接入单元302、第一分布式日志采集接口单元301及入口逻辑处理单元303。具体的，数据包接入单元301接收业务数据包发送给第一分布式日志采集接口单元301。第一分布式日志采集接口单元301为需要采集日志信息的业务数据包添加数据标记和路由标记，发送给入口逻辑处理单元303，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器320。入口逻辑处理单元303按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块310。

本实施例中，第一分布式日志采集接口单元301根据业务需要来确定需要采集日志信息的业务数据包，其在这些数据包上添加的数据标记为全局唯一序列号；添加的路由标记为流经业务逻辑处理模块的路由序号，该序号在第一分布式日志采集接口单元301添加的初始值为1，其在后续的逻辑处理过程中，每经过一个业务逻辑处理模块路由序号值加1。

本发明中为需要采集日志信息的业务数据包添加数据标记和路由标记，可以称为对业务数据包进行染色，是通过在业务数据包中增加两个染色字段来实现的。业务数据包在增加染色字段前，结构如表1所示。

源IP地址

源端口

其它数据

表1

业务数据包在增加染色字段后，结构如表2所示。

源IP地址

源端口

序列号

路由序号

其它数据

表2

第一分布式日志采集接口单元301采集日志信息后，发送给日志服务器的日志数据包，与后续业务逻辑处理模块发送给日志服务器的日志数据包结构相同，具体结构如表3所示。

表3

由于在实际应用中，有些业务数据包按照业务逻辑可能在经过入口业务逻辑处理模块和一个或多个业务逻辑处理模块处理后，又经过原路返回到入口业务逻辑处理模块，这些业务数据包中有些可能被处理掉，还有一些可能要流转出业务逻辑处理系统。本实施例中，第一分布式日志采集接口单元301，对从后续业务逻辑处理模块，经入口逻辑处理单元303原路返回的需要流转出业务逻辑处理系统的业务数据包，删除所添加的数据标记和路由标记，通过所述数据包接入单元302将业务数据包流转出业务逻辑处理系统。

图3中的业务逻辑处理模块310包括第二分布式日志采集接口单元311和业务逻辑处理单元312。第二分布式日志采集接口单元311接收业务数据包，对需要采集日志信息的业务数据包修改所述路由标记，发送给业务逻辑处理单元312，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器320；所述业务逻辑处理单元312按照业务逻辑将业务数据包流转到入口业务逻辑处理模块300或流转到一个或多个其他业务逻辑处理模块。这里所述的修改路由标记就是前面所述的将路由序号值加1。

本实施例中，第二分布式日志采集接口单元311根据对业务数据包的分析结果确定需要采集日志信息的业务数据包。由于入口业务逻辑处理模块300已经在需要采集日志信息的业务数据包添加了数据标记和路由标记，因此这里的第二分布式日志采集接口单元311对数据包的分析就可以是查看是否含有这两个标记，如果有就是需要采集日志信息的业务数据包；否则就不是。

本实施例中业务逻辑处理系统对数据包业务流转情况的监控方法包括入口逻辑处理模块对数据包业务流转情况的监控过程，和业务逻辑处理模块对数据包业务流转情况的监控过程。以下分别进行说明。

参见图4图4为本发明实施例中入口逻辑处理模块对业务数据包业务流转情况的监控流程图。该流程包括以下步骤：

步骤401，入口业务逻辑处理模块接收业务数据包。

本步骤由入口业务逻辑处理模块中的数据包接入单元执行。

步骤402，入口业务逻辑处理模块根据业务需要，判断接收的业务数据包是否需要采集日志信息，如果需要则执行步骤403；否则，返回步骤401。

本步骤由入口业务逻辑处理模块中的第一分布式日志采集接口单元执行。

步骤403，入口业务逻辑处理模块在业务数据包中插入染色字段。

本步骤即上述对业务数据包进行染色的过程，这里不再重复。染色后的业务数据包结构如上表2所示。

本步骤也由入口业务逻辑处理模块中的第一分布式日志采集接口单元执行。

步骤404，入口业务逻辑处理模块采集本模块包括数据标记和路由标记的日志信息并发送给日志服务器。

本步骤也由入口业务逻辑处理模块中的第一分布式日志采集接口单元执行。发送的日志数据包结构如上表3所示。

步骤405，日志服务器将日志信息存储到数据库供日志显示模块进行显示。这个步骤与现有技术相同，只是存储的日志数据有所不同。返回步骤401。

本实施例中，当按照业务逻辑，有业务数据包从其他业务逻辑处理模块返回业务数据包到入口逻辑处理模块的情况下，入口逻辑处理模块对需要流转出业务逻辑处理系统的业务数据包，删除数据标记和路由标记，恢复原有的数据结构。

图5为本发明实施例中业务逻辑处理模块对数据包业务流转情况的监控流程图。该流程包括以下步骤：

步骤501，各业务逻辑处理模块接收业务数据包。

本步骤由业务逻辑处理模块中的第二分布式日志采集接口单元执行的。

步骤502，各业务逻辑处理模块根据业务数据包分析结果，判断接收的业务数据包是否需要采集日志信息，如果需要则执行步骤503；否则，返回步骤501。

本步骤是由业务逻辑处理模块中的第二分布式日志采集接口单元执行。具体的业务数据包分析方法同上。

步骤503，各业务逻辑处理模块修改业务数据包路由标记，就是将路由序号值加1。

本步骤也由业务逻辑处理模块中的第二分布式日志采集接口单元执行。

步骤504，各业务逻辑处理模块采集本模块包括数据标记和路由标记的日志信息并发送给日志服务器。

本步骤也由业务逻辑处理模块中的第二分布式日志采集接口单元执行。发送的日志数据包结构如上表3所示。

步骤505，日志服务器将日志信息存储到数据库供日志显示模块进行显示。这个步骤与现有技术相同，只是存储的日志数据有所不同。返回步骤501。

本实施例中，由于包含数据标记和路由标记的日志信息存储到了数据库供日志显示模块进行显示。这样，用户可以通过日志显示模块看到各个业务数据包在业务逻辑处理系统的流转过程，从而实现了对业务数据包流转过程的监控。

应用本发明技术方案，使得重复数据包在各个业务处理逻辑模块中采集的信息能够区分，而且在有多次交互的数据包处理过程中采集的信息也能够区分。

Claims (10)

1.一种采集业务数据包日志信息的方法，应用于包括入口业务逻辑处理模块和一个或多个业务逻辑处理模块的业务逻辑处理系统，其特征在于，该方法包括：

入口业务逻辑处理模块接收到业务数据包后，为需要采集日志信息的业务数据包添加数据标记和标识流经业务逻辑处理模块的路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块；

接收到业务数据包的业务逻辑处理模块，对需要采集日志信息的业务数据包修改所述路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到入口业务逻辑处理模块或流转到一个或多个业务逻辑处理模块。

2.如权利要求1所述的方法，其特征在于：所述入口业务逻辑处理模块需要采集日志信息的业务数据包，为根据业务需要确定的；所述业务逻辑处理模块需要采集日志信息的业务数据包，为根据业务数据包分析确定的。

3.如权利要求2所述的方法，其特征在于：所述业务逻辑处理模块根据业务数据包分析确定需要采集日志信息的业务数据包，为将包含所述数据标记和路由标记的业务数据包确定为需要采集日志信息的业务数据包。

4.如权利要求1所述的方法，其特征在于：该方法进一步包括：当有业务数据包返回到入口业务逻辑处理模块时，对需要流转出业务逻辑处理系统的业务数据包，删除所添加的数据标记和路由标记。

5.如权利要求4所述的方法，其特征在于：所述需要流转出业务逻辑处理系统的业务数据包，为按照业务逻辑确定的。

6.如权利要求1～5任一权利要求所述的方法，其特征在于：所述数据标记为全局唯一序列号；所述路由标记为流经业务逻辑处理模块的路由序号；

所述修改所述路由标记为：每经过一个业务逻辑处理模块路由序号值加1。

7.一种业务逻辑处理系统，包括入口业务逻辑处理模块、一个或多个业务逻辑处理模块、日志服务器，其特征在于：

所述入口业务逻辑处理模块接收到业务数据包后，为需要采集日志信息的业务数据包添加数据标记和标识流经业务逻辑处理模块的路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块；

接收到业务数据包的业务逻辑处理模块，对需要采集日志信息的业务数据包修改所述路由标记，将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器，并按照业务逻辑将业务数据包流转到入口业务逻辑处理模块或流转到一个或多个业务逻辑处理模块。

8.如权利要求7所述的业务逻辑处理系统，其特征在于：所述的入口业务逻辑处理模块包括数据包接入单元、第一分布式日志采集接口单元和入口逻辑处理单元；

所述数据包接入单元接收业务数据包发送给第一分布式日志采集接口单元；

所述第一分布式日志采集接口单元为需要采集日志信息的业务数据包添加数据标记和路由标记，发送给入口逻辑处理单元，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器；

所述入口逻辑处理单元按照业务逻辑将业务数据包流转到一个或多个业务逻辑处理模块。

9.如权利要求8所述的业务逻辑处理系统，其特征在于：所述的第一分布式日志采集接口单元，对从业务逻辑处理模块原路返回的需要流转出业务逻辑处理系统的业务数据包，删除所添加的数据标记和路由标记，通过所述数据包接入单元将业务数据包流转出业务逻辑处理系统。

10.如权利要求7所述的业务逻辑处理系统，其特征在于：所述的业务逻辑处理模块包括第二分布式日志采集接口单元和业务逻辑处理单元；

所述第二分布式日志采集接口单元接收业务数据包，对需要采集日志信息的业务数据包修改所述路由标记，发送给业务逻辑处理单元，并将采集到的包含所述数据标记和路由标记的日志信息发送给日志服务器；

所述业务逻辑处理单元按照业务逻辑将业务数据包流转到入口业务逻辑处理模块或流转到一个或多个业务逻辑处理模块。

Images