CN105530137B - 流量数据分析方法及流量数据分析系统 - Google Patents

Abstract

提供一种流量数据分析方法，用于分析被监测的应用系统的流量数据，其包括：对于被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备；基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；将所形成的第一格式的文件按顺序发送到第一消息中间件的与该文件对应的第一管道；自所述第一管道取出所接收的第一格式的文件时，并自其获取所需信息，将所获取的信息转换成第二格式的文件；将第二格式的文件逐个发送给第二消息中间件的第二管道；在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。

Description

流量数据分析方法及流量数据分析系统

技术领域

本发明涉及网络技术，更具体地，涉及对网络环境中进出应用系统的流量数据的分析。

背景技术

随着互联网应用的快速发展，基于云架构的web类的应用系统逐渐增多；加之繁杂的业务功能、千差万别的客户访问路径、高并发的访问需求，导致数据中心在web类系统的运营与维护成为了一个难点和重点。

在国内开展web类系统运维的单位很多，但基本都是通过日志收集的方式进行分析。存在的主要问题是：基于日志的分析，非常依赖于应用系统记录日志的准确性和完整性。为了保证准确性，就必须充分要求应用代码保证逻辑的正确性；为了保证完整性，就必须要求将尽量多的信息输出到日志里面。

基于日志的这种分析方式，其与应用系统本身存在较高的关联性。日志记录不详细，不足以确保完整性，日志记录太详细将会给应用程序的性能及主机的磁盘空间带来相当大的消耗。

当对应用系统变更监控或业务需求时，应用系统本身及日志采集分析系统都需要适应性的进行调整，所额外产生的成本是比较大的，并且不够灵活。

发明内容

本发明意在提供一种流量数据分析方法，用于分析被监测的应用系统的流量数据，其包括：对于被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备；基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；将所形成的第一格式的文件按顺序发送到第一消息中间件的与该文件对应的第一管道；自所述第一管道取出所接收的第一格式的文件时，并自其获取所需信息，将所获取的信息转换成第二格式的文件；将第二格式的文件逐个发送给第二消息中间件的第二管道；在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。

根据本发明的示例，优选地，将进出其的流量镜像到流量服务器的网络连接设备是基于SPAN（Switched Port Analyzer）技术将流量镜像到流量服务器的网络连接设备。

根据本发明的示例，优选地，所述网络连接设备是网卡。

根据本发明的示例，优选地，将所形成的第一格式的文件按顺序发送到第一消息中间件是按照所述第一格式文件形成的时间顺序发送所述第一格式的文件到第一消息中间件。

根据本发明的示例，优选地，将第二格式的文件逐个发送给第二信息中间件的第二管道中是按照第二格式的文件形成的时间顺序逐个地将第二格式的文件发送给第二信息中间件的第二管道。

根据本发明的示例，优选地，在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中包括：a)监测所述第二管道，在其接收到第二格式的文件时，解析构成该文件的每个分包，进行相关的请求与响应；以及b)根据不同的协议，分析所进行的相关的请求与响应，将所得到的信息存储到建立的数据库中。

根据本发明的示例，优选地，所述抓包工具为TCPDUMP，所述第一格式为PCAP（Packet Capture）格式，所述第一管道为PCAP包队列管道，所述第二格式为XML格式，所述第二管道为组包管道，以及所述步骤a）中，解析构成该文件的每个分包是解析该文件中的每个TCP分包，解析TCP链路的请求和响应，所述步骤b）中，根据不同的协议，分析所解析出的TCP链路的请求和响应，将所得到的信息存储到建立的数据库中。

本发明还提供一种流量数据分析系统，用于分析被监测的应用系统的流量数据，其包括：镜像模块，其用于针对被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备；抓包模块，其用于基于预设参数，从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；第一存储模块，其用于存储第一格式的文件；第一发送模块，其用于将所述第一格式的文件按照顺序发送到第一消息中间件的与该文件对应的第一管道；第一监测处理模块，其用于监测所述第一管道，且在监测到所述第一管道接收到第一格式的文件时，取出所接收的文件，自其获取所需信息，并将所获取的信息转换成第二格式的文件；第二发送模块，其用于将第二格式的文件逐个发送给第二消息中间件的第二管道中；第二监测处理模块，其用于监测所述第二管道，并在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。

根据本发明的流量数据分析系统，优选地，所述镜像模块基于SPAN技术将流量镜像到流量服务器的网络连接设备。

根据本发明的流量数据分析系统，优选地，所述网络连接设备是网卡。

根据本发明的流量数据分析系统，优选地，所述第一发送模块设置成按照所述第一格式文件形成的时间顺序发送所述第一格式的文件。

根据本发明的流量数据分析系统，优选地，所述第二发送模块按照第二格式的文件形成的时间顺序逐个地发送第二格式的文件。

根据本发明的流量数据分析系统，优选地，所述抓包工具为TCPDUMP，所述第一格式为PCAP格式，所述第一管道为PCAP包队列管道，所述第二格式为XML格式，所述第二管道为组包管道。

附图说明

图1是根据本发明示例的流量数据分析方法的流程图。

图2是根据本发明示例的流量数据分析系统的结构示意图。

具体实施方式

现在参照附图描述本发明的示意性示例，相同的附图标号表示相同的元件。下文描述的各实施例有助于本领域技术人员透彻理解本发明，且意在示例而非限制。图中各元件、部件、单元、装置的图示不一定按比例绘制，仅示意性表明这些元件、部件、模块、装置之间的相对关系。

图1是根据本发明示例的流量数据分析方法的流程图。示例而非限制地，在本文下文的描述中，该分析方法用于分析被监测的应用系统的流量数据。此外，在本文如下的所有的示例中，该应用系统示例为基于云架构的web类应用系统但并不以此为限制。其它非web类的应用系统同样可采用根据本发明所述的流量数据分析方法以及图2中示意的流量数据分析系统。

如图1所示，在步骤100，对于被监测的应用系统，将进出其的流量镜像到测试环境中的流量服务器的网络连接设备。举例来说，通过SPAN技术将进出该应用环境的流量镜像到流量服务器的网卡。进出该应用环境的流量至少可包括对该应用环境的访问以及该应用环境所作的响应。测试环境的流量服务器可通过电缆等与应用环境的相关设备电连接，以便实现如本步骤所述的将进出其的流量镜像到测试环境中的流量服务器的网络连接设备。作为示例而非限制，流量服务器可以包括两块网卡，一块用于管理登录使用，一块用于接收所镜像的流量。

在步骤102，基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件，所形成的第一格式的文件可进而被存储。例如，通过网络抓包命令TCPDUMP来从被镜像到流量服务器的网卡上的流量中，基于IP地址、端口等预设参数，将与预设的IP地址、端口有关的数据形成为PCAP的格式的文件，可将所形成的PCAP格式的文件存储在硬盘中，该硬盘可以是流量服务器的硬盘，也可是流量服务器的外设硬盘。除了TCPDUMP，也可采用其它抓包工具，相应地，可将信息存储为具有PCAP以外的格式的文件。

在步骤104，将第一格式的文件，按照一定的顺序发送到第一消息中间件的与该文件对应的队列管道（下文称为第一管道）中。依然以在步骤102所列举的例子为例，将PCAP格式的文件按照其形成的时间顺序通过JMS协议发送到第一消息中间件的对应的PCAP包队列管道。例如在t0时间形成的PCAP文件首先发送到PCPA包队列管道中，然后是与t0时间相邻的t1时间形成的PCAP文件，依次类推。

在步骤106，自第一管道取出所接收的第一格式的文件，自其获取所需信息，将所获取的信息转换成第二格式的文件。例如可通过设置在格式转换服务器上的监测处理模块监测第一管道，在第一管道接收到第一格式的文件时，即将所接收的第一格式的文件取出，自组成该文件的多个分包中获取所需信息，并将所获取的信息转换成第二格式的文件；其中，监测处理模块可每隔一个时间间隔查询一下第一管道是否接收到第一格式的文件，该时间间隔例如为10秒等。在此，自每一个具有第一格式的文件获取的信息都会转换成一个相应的具有第二格式的文件。依然采用上文所述的示例，格式转换服务器上的监听模块监测到第一消息中间件的对应的PCAP包队列管道中有新的PCAP文件时，即将该PCAP文件取出，获取组成该PCAP文件的例如200个TCP分包中的信息，并将所获得的信息转换成XML格式的文件。

在步骤108，将第二格式的文件逐个发送给第二消息中间件的对应于该文件的组包管道（下文称第二管道）中。例如，XML格式的文件被逐个通过JMS协议发送到第二消息中间件的对应于该XML格式文件的组包管道中。

在步骤110，在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。例如，可通过撮合服务器上的监测处理模块监测第二管道，一旦具有第二格式的文件传输过来，即将其取出，解析构成该文件的每个分包，进行相关的请求与响应；其中，监测处理模块可每隔一个时间间隔查询一下第一管道是否接收到第一格式的文件，该时间间隔例如为10秒等。例如，一旦监测模块监测到XML格式的文件传送到撮合服务器，即将其取出，解析构成该XML文件的每个TCP分包，首先根据TCP通信原理进行TCP链路的请求与响应的还原。进一步，根据不同的协议，进一步解析在步骤110所进行的相关的请求与响应，将所得到的信息存储到建立的数据库中。例如，将解析所得到的具体的字段信息存储到建立的数据库中。应该理解的是，在此所得到的信息实际上是表征信息的数据，所存储到数据库中的也是该数据。

按照如上所述的步骤，以SPAN的方式将进出基于云架构的web类应用系统的流量映射到测试环境中流量服务器的网卡上，进而通过抓取信息、最终将所抓取的信息转换为合适的格式，存入到数据库中。由此即可通过对该数据库的监控、操作以及分析来达成对进出基于云架构的web类应用系统的流量的监控、操作以及分析。

例如，根据设定的监控参数来监控经由图1所示的过程而建立起来的数据库，本领域技术人员可以理解到，监控参数可以是多个参数。在此，监控参数例如是响应时间、应答码、周期内请求数等。各监控参数都有阈值，如果监控中发现任一参数的实际值达到阈值，即发送警示信号。例如响应时间的阈值是20秒，如果20秒都没有应用都没有响应，则发出警示。根据本发明的示例，监控可例如通过数据库监控模块定时查询该数据库来达成，而该数据库监控模块可与该数据库一起设置在电子设备中的，也可与该数据库分开设置在电子设备中。

再例如，通过模拟测试工具，从经由图1所示的过程而建立的数据库中查询出用户真实的应用访问请求和时序。此外，还可通过对该数据库中的一些数据进行一定的映射处理及准备后，将其应用到其它的测试环境中，例如对应用系统新版本的测试等。

此外，经由图1所示的过程而建立起来的数据库，还可获得更为多样的应用，例如用于进一步挖掘客户行为以在业务层面获得更多信息，以提升与客户的交互等。

图2是根据本发明示例的流量数据分析系统的结构示意图。该流量数据分析系统用于分析被监测的应用系统的流量数据。如图所示，该流量数据分析系统包括镜像模块20、抓包模块22、第一存储模块23、第一发送模块24、第一监测处理模块25、第二发送模块26以及第二监测处理模块27。

镜像模块20用于针对被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备。举例来说，镜像模块20设置成通过SPAN技术将进出该应用环境的流量镜像到流量服务器的网卡。进出该应用环境的流量至少可包括对该应用环境的访问以及该应用环境作出的响应。测试环境的流量服务器可通过电缆等与应用环境的相关设备电连接，以便实现如本步骤所述的将进出其的流量镜像到测试环境中的流量服务器的网络连接设备。作为示例而非限制，流量服务器可以包括两块网卡，一块用于管理登录使用，一块用于接收所镜像的流量。

抓包模块22用于基于预设参数，从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，将所获取的数据形成为第一格式的文件，将第一格式的文件存储在第一存储模块23中。例如，抓包模块22通过网络抓包命令TCPDUMP从被镜像到流量服务器的网卡上的流量中，基于IP地址、端口等预设参数，将与预设的IP地址、端口有关的信息形成为PCAP的格式的文件，可将所形成的PCAP格式的文件存储在硬盘中，该硬盘可以是流量服务器的硬盘，也可是流量服务器的外设硬盘。除了TCPDUMP，也可采用其它抓包工具，相应地，可将信息存储为具有PCAP以外的格式的文件。其中，TCPDUMP 是一个运行在命令行下的嗅探工具，其允许用户拦截和显示发送或接收过通过网络连接到该计算机的TCP/IP和其他数据包。

第一发送模块24用于将存储在第一存储模块23中的第一格式的文件按照顺序发送到第一消息中间件的与该文件对应的第一管道。例如，将PCAP格式的文件按照其形成的时间顺序通过JMS协议发送到第一消息中间件的对应的PCAP包队列管道。例如在t0时间形成的PCAP文件首先发送到PCPA包队列管道中，然后是与t0时间相邻的t1时间形成的PCAP文件，依次类推。

第一监测处理模块25用于监测第一管道，且在监测到第一管道接收到第一格式的文件时，取出所接收的文件，自其获取所需信息，并将所获取的信息转换成第二格式的文件。第一监测处理模块25可以设置在格式转换服务器上，其中，第一监测处理模块25可每隔一个时间间隔查询一下第一管道是否接收到第一格式的文件，该时间间隔例如为10秒等。第一监测处理模块25监测第一管道，在第一管道接收到第一格式的文件时，即获取所接收的第一格式的文件，自组成该文件的多个分包中获取所需信息，并将所获取的信息转换成第二格式的文件。在此，自每一个具有第一格式的文件获取的信息都会转换成一个相应的具有第二格式的文件。依然采用上文所述的示例，第一监测处理模块25监测到第一消息中间件的对应的PCAP包队列管道中有新的PCAP文件时，即获取该PCAP文件，自该PCAP文件的例如200个TCP分包中提取所需要的信息，并将所获得的信息转换成XML格式的文件。

第二发送模块26用于将第二格式的文件逐个发送给第二消息中间件的第二管道中。第二发送模块26可与第一监测处理模块25设置在同一个服务器上，也可分开设置。例如，XML格式的文件被第二发送模块26逐个通过JMS协议发送到第二消息中间件的对应于该XML格式文件的组包管道中。

第二监测处理模块27用于监测第二管道，并在第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。第二监测处理模块27也可以设置在撮合服务器上，第一监测处理模块25可每隔一个时间间隔查询一下第一管道是否接收到第一格式的文件，该时间间隔例如为10秒等。第二监测处理模块27监测第二管道，一旦具有第二格式的文件传输过来，即将其取出，解析构成该文件的每个分包，解析TCP链路的请求与响应。例如，一旦第二监测处理模块27监测到XML格式的文件传送过来，即将其取出，解析构成该XML文件的每个TCP分包。首先根据TCP通信原理进行TCP链路的请求与响应的还原。随后，根据不同的协议，进一步分析所解析出的请求与响应，将所得到的信息存储到建立的数据库中。例如，将解析所得到的具体的字段信息存储到建立的数据库中。

根据本发明示例的流量数据分析系统，其各个模块可实现为软件、硬件、或软件与硬件的结合。更进一步，各模块可根据实际应用设置在不同的计算机设备上。

图1所示的流量数据分析方法可示例而非限制地在图2所示的流量数据分析系统中执行。

执行根据本发明所述的流量数据分析方法或采用根据本发明所述的流量数据分析系统，可以将进出应用系统的流量构建为可监控的数据库，与目前调用日志进行分析的技术方案相比，消除了日志在该web类应用所在的计算机设备造成额外的磁盘容量损耗以及处理器消耗。此外，根据本发明的技术方案，能够非常及时地将对应用的真实调用情况实现到数据库中，从而不依赖应用自身的逻辑处理。基于所构建的数据库，可分析到更为全面的内容，包括TCPIP层面的链接构建情况及应用层的请求和响应，这为生产事件分析或真实数据模拟测试提供了基础数据。再者，根据本发明的流量数据分析系统，并不要求所有的模块设置在一起，整个架构是松耦合的，对于不同的应用系统，只要符合目前全协议平台所支持的基础协议，则可以无缝衔接，因此实现起来更为合适。

尽管已结合附图在上文的描述中，公开了本发明的具体实施例，但是本领域技术人员可以理解到，可在不脱离本发明精神的情况下，对公开的具体实施例进行变形或修改。本发明的实施例仅用于示意并不用于限制本发明。

Claims (9)

1.一种流量数据分析方法，用于分析被监测的应用系统的流量数据，其包括：

对于被监测的应用系统，将进出该应用系统的流量镜像到流量服务器的网络连接设备；

基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中，获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；

将所形成的第一格式的文件按顺序发送到第一消息中间件的与该文件对应的第一管道；

自所述第一管道取出所接收的第一格式的文件，并自其获取所需信息，将所获取的信息转换成第二格式的文件；

将第二格式的文件逐个发送给第二消息中间件的第二管道；

在所述第二管道接收到第二格式的文件时，解析该第二格式的文件并将解析获得的信息存储到建立的数据库中，

将所形成的第一格式的文件按顺序发送到第一消息中间件是按照所述第一格式文件形成的时间顺序发送所述第一格式的文件到第一消息中间件，

将第二格式的文件逐个发送给第二消息中间件的第二管道中是按照第二格式的文件形成的时间顺序逐个地将第二格式的文件发送给第二消息中间件的第二管道，

所述第一管道为PCAP包队列管道，所述第二管道为组包管道。

2.如权利要求1所述的流量数据分析方法，其特征在于，将进出该应用系统的流量镜像到流量服务器的网络连接设备是基于SPAN即交换端口分析器技术将流量镜像到流量服务器的网络连接设备。

3.如权利要求1或2所述的流量数据分析方法，其特征在于，所述网络连接设备是网卡。

4.如权利要求1所述的流量数据分析方法，其特征在于，在所述第二管道接收到第二格式的文件时，解析该第二格式的文件并将解析获得的信息存储到建立的数据库中包括：

a)监测所述第二管道，在其接收到第二格式的文件时，解析构成该文件的每个分包，解析TCP链路的请求与响应；

b)根据不同的协议，分析所解析出的相关的请求与响应，将所得到的信息存储到建立的数据库中。

5.如权利要求4所述的流量数据分析方法，其特征在于，所述抓包工具为TCPDUMP，所述第一格式为PCAP格式，所述第二格式为XML格式，以及所述步骤a）中，解析构成该第二格式的文件的每个分包是解析该第二格式的文件中的每个TCP分包，解析TCP链路的请求和响应，所述步骤b）中，根据不同的协议，分析解析出的TCP链路的请求与响应，将所得到的信息存储到建立的数据库中。

6.一种流量数据分析系统，用于分析被监测的应用系统的流量数据，其包括：

镜像模块，其用于针对被监测的应用系统，将进出该应用系统的流量镜像到流量服务器的网络连接设备；

抓包模块，其用于基于预设参数，从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；

第一存储模块，其用于存储第一格式的文件；

第一发送模块，其用于将所述第一格式的文件按照顺序发送到第一消息中间件的与该第一格式的文件对应的第一管道；

第一监测处理模块，其用于监测所述第一管道，且在监测到所述第一管道接收到第一格式的文件时，取出所接收的文件，自其获取所需信息，并将所获取的信息转换成第二格式的文件；

第二发送模块，其用于将第二格式的文件逐个发送给第二消息中间件的第二管道中；

第二监测处理模块，其用于监测所述第二管道，并在所述第二管道接收到第二格式的文件时，解析该第二格式的文件并将解析获得的信息存储到建立的数据库中，

其中，所述第一发送模块设置成按照所述第一格式文件形成的时间顺序发送所述第一格式的文件，所述第二发送模块按照第二格式的文件形成的时间顺序逐个地发送第二格式的文件，

所述第一管道为PCAP包队列管道，所述第二管道为组包管道。

7.如权利要求6所述的流量数据分析系统，其特征在于，所述镜像模块基于SPAN技术将流量镜像到流量服务器的网络连接设备。

8.如权利要求6或7所述的流量数据分析系统，其特征在于，所述网络连接设备是网卡。

9.如权利要求6所述的流量数据分析系统，其特征在于，抓包工具为TCPDUMP，所述第一格式为PCAP格式，所述第二格式为XML格式。