CN111737222A - 基于一对多请求响应模型消息队列数据包存储检索的方法 - Google Patents

Abstract

本发明公开了基于一对多请求响应模型消息队列数据包存储检索的方法，存储工作包括以下步骤：网络镜像端抓取网络流量中的数据包，保存在所述网络镜像端的本地磁盘上；将数据包解析，并以解析的数据包信息建立一个网络会话索引；将网络会话的索引信息发送到服务端的搜索服务器。检索的工作API服务端接收请求者需要检索的数据包条件；NATS服务接收的网络会话索引信息，并发送给网络镜像端；网络流量镜像端对网络会话索引信息进行检索和处理；API服务端接收步骤网络镜像端的处理结果，下载数据包，反馈给用户。本发明解决了因网络数据包的传输大且过于频繁集中，造成网络传输效率低以及网络拥塞，影响正常业务的正常运作的技术问题。

Description

基于一对多请求响应模型消息队列数据包存储检索的方法

技术领域

本发明涉及网络数据包的存储及检索技术领域，具体的说，是基于一对多请求响应模型消息队列数据包存储检索的方法。

背景技术

在复杂的网络环境中，技术人员会面临各种问题或故障需研究并解决，比如可能有系统或应用参数配置不当，也可能恶意软件感染等，都可能对正常应用造成影响。对数据包进行协议分析，能够详细的了解网络上正在或过去到底发生什么，是遇到疑难杂症时候最常用和最有效的方法。当需要对于历史网络事件进行追溯时，就要有可以在网络上捕获、存储原始数据包，后期能快速检索到所需历史数据包的工具。

传统的网络数据包的存储，检索的方法一般通过直接抓包或交换机旁路镜像的方式采集，然后通过网络或者消息队列的方式将数据包数据和数据包的索引传输到分析检索的服务端，然后在一个或者多个服务端集中处理存储，检索这样一个流程来实现的。这种方法确实有利于数据包的检索速度，处理效率，但当由于网络环境、业务需要等一些原因，导致流量非常的大，需要镜像的点非常多的时候，这种方式会极大的降低镜像端的网络传输效率甚至造成网络堵塞，存储检索服务端的存储和处理压力也会很大，虽然采用分布式的存储检索服务端能有效减少服务端处理压力，但是镜像端到服务端的网络传输的压力依然存在，造成这种问题的根本原因是因为采集的网络数据包的传输过于频繁集中，造成网络传输效率低以及网络拥塞。

发明内容

本发明的目的在于提供基于一对多请求响应模型消息队列数据包存储检索的方法，用于解决因网络数据包的传输大且过于频繁集中，造成网络传输效率低以及网络拥塞，影响正常业务的正常运作的技术问题。

本发明通过下述技术方案解决上述问题：

基于一对多请求响应模型消息队列数据包存储检索的方法，包括存储工作流程和检索工作流程，所述存储工作流程包括以下步骤：

步骤A1)网络镜像端抓取网络流量中的数据包，保存在所述网络镜像端的本地磁盘上；

步骤A2)将数据包解析，并以解析的数据包信息建立一个网络会话索引；

步骤A3)将网络会话的索引信息发送到服务端的搜索服务器；

基于存储工作的完成，所述检索工作流程包括以下步骤：

步骤B1)API服务端接收请求者需要检索的数据包条件；

步骤B2)API服务端将步骤B1)所述的数据包条件在搜索服务器的网络会话库中进行检索并匹配出对应的网络会话索引信息；

步骤B3)网络镜像端通过NATS服务与服务检索的API服务端建立主题消息通道，NATS服务接收步骤B2)的网络会话索引信息，并发送给网络镜像端；

步骤B4)网络流量镜像端对步骤B3)分发的网络会话索引信息进行检索和处理；

步骤B5)API服务端接收步骤B4)网络镜像端的处理结果，下载数据包，反馈给用户。

优选地，步骤A2)中所述网络会话包括数据包的源IP地址、目的IP地址、源端口、目的端口、协议、应用层协议的基本字段、所述数据包所在的文件名，以及文件内所有数据包在文件中的初始偏移量、数据包的长度的信息。

优选地，步骤A2)中所述数据包的网络会话索引有且只有一个。

本发明与现有技术相比，具有以下优点及有益效果：

本发明由于网络镜像端抓取到的数据包没有直接发送到服务端，而是直接存储在了各个网络镜像端本地磁盘上，只把数据包解析封装成网络会话形式的数据传送到了服务端，有效的减少数据的传输量和传输大小，极大的减缓了网络镜像端的网络压力；而数据包的分散式的存储方式给数据包的检索造成了困难，本方案通过具有一对多请求响应模型的消息队列来请求多镜像端的会话数据包并得到响应结果，通过分布式文件存储系统上传和下载检索到的数据包文件的方式有效的解决了分散式的存储方式给数据包的检索造成的问题，提高了适用性的同时提高了用户体验感。

附图说明

图1为一对多请求响应模型特性及效果图；

图2为本发明的流程示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合图1和图2所示，基于一对多请求响应模型消息队列数据包存储检索的方法，步骤A1)网络镜像端抓取到原始数据包后，直接以PCAP文件格式存储在网络镜像端本地磁盘中；步骤A2)网络镜像端对数据包进行解析，并将解析到的源IP地址、目的IP地址、源端口、目的端口、协议、应用层协议的基本字段、数据包所在的pcap文件名，以及数据包在pcap文件中的初始偏移量、数据包的长度信息封装成一个网络会话索引，每个数据包的网络会话索引有且只有一个；步骤A3)网络镜像端将网络会话索引发送到搜索服务器中保存，提供后续数据包的检索，数据包的存储工作完成，减少大量原始数据包的传输。基于存储工作的完成，当需要进行检索工作时，步骤B1)API检索端接收请求者需要检索的数据包条件；步骤B2)API服务端根据步骤B1)需要检索的数据包条件在搜索服务器的网络会话索引库中检索并匹配出对应的网络会话索引信息；步骤B3)通过一对多请求响应模型消息队列的NATS服务使一个API服务端与多个网络镜像端建立起一个共用的主题消息通道，NATS服务接收步骤B2) 检索查询到的网络会话索引信息；并且NATS服务将该网络会话索引消息发送给本主题消息队列下的每个网络镜像端；步骤B4)每个网络镜像端接收到NATS 服务分发下来的需要检索的网络会话索引信息以后，在网络镜像端本地磁盘中的PCAP文件中查找是否存在该网络会话索引信息中的pcap文件，若不存在则不作响应，若存在则根据网络会话索引信息中数据包的pcap文件的初始偏移量、数据包长度查找提取出相应的数据包数据，并将该数据包重新封装成一个新的 pcap文件，并将pcap文件上传到分布式的文件管理系统fastds上，最后将上传成功的pcap文件上传ID通过消息队列响应给API服务端。步骤B5)API服务端有且仅会收到零个或者一个响应信息，API服务端收到步骤B4)上传文件的 ID，再去分布式的文件管理系统FASTDS上下载相应得数据包文件，并反馈给用户，从而达到检索提取数据包的目的。本发明由于网络镜像端抓取到的数据包没有直接发送到服务端，而是直接存储在了各个网络镜像端本地磁盘上，只把数据包解析封装成网络会话形式的数据传送到了服务端，有效的减少数据的传输量和传输大小，极大的减缓了网络镜像端的网络压力；而数据包的分散式的存储方式给数据包的检索造成了困难，本方案通过具有一对多请求响应模型的消息队列来请求多镜像端的会话数据包并得到响应结果，通过分布式文件存储系统上传和下载检索到的数据包文件的方式有效的解决了分散式的存储方式给数据包的检索造成的问题，提高了适用性的同时提高了用户体验感。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (3)

1.基于一对多请求响应模型消息队列数据包存储检索的方法，其特征在于：包括存储工作流程和检索工作流程，所述存储工作流程包括以下步骤：

步骤A1)网络镜像端抓取网络流量中的数据包，保存在所述网络镜像端的本地磁盘上；

步骤A2)将数据包解析，并以解析的数据包信息建立一个网络会话索引；

步骤A3)将网络会话的索引信息发送到服务端的搜索服务器；

基于存储工作的完成，所述检索工作流程包括以下步骤：

步骤B1)API服务端接收请求者需要检索的数据包条件；

步骤B2)API服务端将步骤B1)所述的数据包条件在搜索服务器的网络会话库中进行检索并匹配出对应的网络会话索引信息；

步骤B3)网络镜像端通过NATS服务与服务检索的API服务端建立主题消息通道，NATS服务接收步骤B2)的网络会话索引信息，并发送给网络镜像端；

步骤B4)网络流量镜像端对步骤B3)分发的网络会话索引信息进行检索和处理；

步骤B5)API服务端接收步骤B4)网络镜像端的处理结果，下载数据包，反馈给用户。

2.根据权利要求1所述的基于一对多请求响应模型消息队列数据包存储检索的方法，其特征在于：步骤A2)中所述网络会话包括数据包的源IP地址、目的IP地址、源端口、目的端口、协议、应用层协议的基本字段、所述数据包所在的文件名，以及文件内所有数据包在文件中的初始偏移量、数据包的长度的信息。

3.根据权利要求1所述的基于一对多请求响应模型消息队列数据包存储检索的方法，其特征在于：步骤A2)中所述数据包的网络会话索引有且只有一个。

Images