CN105072196B - 分布式数据包存储、回溯方法及系统 - Google Patents

分布式数据包存储、回溯方法及系统 Download PDF

Info

Publication number
CN105072196B
CN105072196B CN201510535418.7A CN201510535418A CN105072196B CN 105072196 B CN105072196 B CN 105072196B CN 201510535418 A CN201510535418 A CN 201510535418A CN 105072196 B CN105072196 B CN 105072196B
Authority
CN
China
Prior art keywords
data packet
source
packet
port
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510535418.7A
Other languages
English (en)
Other versions
CN105072196A (zh
Inventor
陈宏�
朱志博
吴善鹏
雷兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201510535418.7A priority Critical patent/CN105072196B/zh
Publication of CN105072196A publication Critical patent/CN105072196A/zh
Application granted granted Critical
Publication of CN105072196B publication Critical patent/CN105072196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种分布式数据包存储、回溯方法及系统。该分布式数据包存储方法，包括以下步骤：抓取网络数据包；将抓取的每一网络数据包加上时间戳组成消息，并放入消息队列中；从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议；将解析得到的数据分别转换为十进制格式，以生成数据包索引值；将上述数据存放到搜索服务器；将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库。本发明的分布式数据包存储、回溯方法及系统，可便于水平扩展并且稳定性及效率都较高，同时通过建立的索引信息能够方便快速的进行数据包回溯，易于还原网络数据。

Description

分布式数据包存储、回溯方法及系统
技术领域
本发明涉及一种数据包的存储及回溯，尤其涉及一种分布式数据包存储、回溯方法及系统。
背景技术
随着互联网的高速发展，网络用户尤其是大型企业用户在面对新型的网络攻击的过程中，需要更好的防范措施，这其中，网络数据包的存储和回溯变得越来越重要。然而，面对企业的网络流量不断的增加，每天几百G的流量数据司空见惯。传统的数据包存储和回溯，很难进行系统的扩展，并且子系统的问题或故障常常会影响其他子系统，导致整个系统受到攻击或者发生故障时的稳定性不足，同时面对海量数据还存在数据不易还原的缺陷。由于上述缺陷，传统的数据包存储和回溯已经无法满足大型企业的实际需求。
发明内容
本发明要解决的技术问题是为了克服现有技术中数据包存储和回溯存在系统可扩展性差、稳定性不足、数据不易还原、效率低下的缺陷，提供一种分布式数据包存储、回溯方法及系统。
本发明是通过下述技术方案来解决上述技术问题的：
一种分布式数据包存储方法，其特点在于，包括以下步骤：
S1、抓取网络数据包；
S2、将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
S3、多个计算节点从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符(identification)和协议；
S4、将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
S5、将源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器；
S6、将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
上述数据包索引值，可以是“xxxx-xxxx-xxxx-xxxx-xxxx-xxxx”的形式，其中每一“xxxx”即为一组十进制格式数据。这里的“x”可以表示单个字符，“xxxx”可以表示一四位字符串。本发明中的时间戳可以是UNIX时间戳。
较佳地，步骤S3中由一分布式实时计算系统中的该多个计算节点获取消息并解析数据包。
本发明还提供了一种分布式数据包回溯方法，其特点在于，网络数据包以及网络数据包的信息采用如上所述的分布式数据包存储方法进行存储，该分布式数据包回溯方法包括以下步骤：
S7、从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议；
S8、将源ip、目的ip、源端口、目的端口、标示符和/或协议作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下执行步骤S9；
S9、根据S8中查找到的数据所对应的数据包索引值，在分布式数据库中进行检索；
S10、将检索到的网络数据包还原。
本发明还提供了一种分布式数据包存储系统，其特点在于，包括：
抓包模块，用于抓取网络数据包，并将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
处理模块，由多个计算节点组成，用于从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议，并将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
存放执行模块，用于将处理模块解析得到的源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器，以及将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
较佳地，处理模块由一分布式实时计算系统中的该多个计算节点构成。
本发明还提供了一种分布式数据包回溯系统，其特点在于，包含如上所述的分布式数据包存储系统，该分布式数据包回溯系统还包括：
数据提取模块，用于从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议；
查询模块，用于将提取的源ip、目的ip、源端口、目的端口、标示符和/或协议作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下启用检索模块；
检索模块，用于根据查询模块查找到的数据所对应的数据包索引值，在分布式数据库中进行检索；
数据包还原模块，用于将检索到的网络数据包还原。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明的分布式数据包存储、回溯方法及系统，可便于水平扩展并且稳定性及效率都较高，同时通过建立的索引信息能够方便快速的进行数据包回溯，易于还原网络数据。
附图说明
图1为本发明实施例1的分布式数据包存储方法的流程图。
图2为本发明实施例2的分布式数据包回溯方法的流程图。
图3为本发明实施例3的分布式数据包存储系统的示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
参考图1所示，本实施例的分布式数据包存储方法，包括以下步骤：
S1、抓取网络数据包；
S2、将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
S3、一分布式实时计算系统中的多个计算节点从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议；
S4、将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
S5、将源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器；
S6、将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
本实施例中的数据包索引值的形式为“xxxx-xxxx-xxxx-xxxx-xxxx-xxxx”的形式，其中每一“xxxx”即为一组十进制格式数据。本实施例中的时间戳指的是UNIX时间戳。
实施例2
本实施例的分布式数据包回溯方法，应用于以下条件下：网络数据包以及网络数据包的信息采用实施例1的分布式数据包存储方法进行存储。
参考图2所示，本实施例的分布式数据包回溯方法包括以下步骤：
S7、从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议；
S8、将源ip、目的ip作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下执行步骤S9；
S9、根据S8中查找到的数据所对应的数据包索引值，在分布式数据库中进行检索；
S10、将检索到的网络数据包还原。
实施例3
参考图3所示，本实施例的分布式数据包存储系统，包括抓包模块1、处理模块2、存放执行模块3、分布式消息处理系统4、搜索服务器5和分布式数据库6。处理模块2由一分布式实时计算系统中的多个计算节点构成。
其中，抓包模块1用于抓取网络数据包，并将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统4的消息队列中。
处理模块2用于从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议，并将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值。
存放执行模块3用于将处理模块解析得到的源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器5，以及将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库6中。
实施例4
本实施例的分布式数据包回溯系统包含实施例3的分布式数据包存储系统。该分布式数据包回溯系统还包括数据提取模块、查询模块、检索模块以及数据包还原模块。
其中，数据提取模块用于从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议。
查询模块用于将提取的源端口、目的端口、标示符和协议作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下启用检索模块。检索模块进而根据查询模块查找到的数据所对应的数据包索引值，在分布式数据库中进行检索，检索到网络数据包之后，由数据包还原模块进行数据包的还原。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (6)

1.一种分布式数据包存储方法，其特征在于，包括以下步骤：
S1、抓取网络数据包；
S2、将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
S3、多个计算节点从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议；
S4、将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
S5、将源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器；
S6、将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
2.如权利要求1所述的分布式数据包存储方法，其特征在于，步骤S3中由一分布式实时计算系统中的该多个计算节点获取消息并解析数据包。
3.一种分布式数据包回溯方法，其特征在于，网络数据包以及网络数据包的信息采用如权利要求1或2所述的分布式数据包存储方法进行存储，该分布式数据包回溯方法包括以下步骤：
S7、从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议；
S8、将源ip、目的ip、源端口、目的端口、标示符和/或协议作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下执行步骤S9；
S9、根据S8中查找到的数据所对应的数据包索引值，在分布式数据库中进行检索；
S10、将检索到的网络数据包还原。
4.一种分布式数据包存储系统，其特征在于，包括：
抓包模块，用于抓取网络数据包，并将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
处理模块，由多个计算节点组成，用于从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议，并将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
存放执行模块，用于将处理模块解析得到的源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器，以及将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
5.如权利要求4所述的分布式数据包存储系统，其特征在于，处理模块由一分布式实时计算系统中的该多个计算节点构成。
6.一种分布式数据包回溯系统，其特征在于，包含如权利要求4或5所述的分布式数据包存储系统，该分布式数据包回溯系统还包括：
数据提取模块，用于从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议；
查询模块，用于将提取的源ip、目的ip、源端口、目的端口、标示符和/或协议作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下启用检索模块；
检索模块，用于根据查询模块查找到的数据所对应的数据包索引值，在分布式数据库中进行检索；
数据包还原模块，用于将检索到的网络数据包还原。
CN201510535418.7A 2015-08-27 2015-08-27 分布式数据包存储、回溯方法及系统 Active CN105072196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510535418.7A CN105072196B (zh) 2015-08-27 2015-08-27 分布式数据包存储、回溯方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510535418.7A CN105072196B (zh) 2015-08-27 2015-08-27 分布式数据包存储、回溯方法及系统

Publications (2)

Publication Number Publication Date
CN105072196A CN105072196A (zh) 2015-11-18
CN105072196B true CN105072196B (zh) 2019-02-01

Family

ID=54501475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510535418.7A Active CN105072196B (zh) 2015-08-27 2015-08-27 分布式数据包存储、回溯方法及系统

Country Status (1)

Country Link
CN (1) CN105072196B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557388A (zh) * 2016-12-01 2017-04-05 上海携程商务有限公司 时间序列存储方法及装置
CN108255855B (zh) * 2016-12-29 2021-10-08 北京国双科技有限公司 数据存储方法和装置
CN106990913B (zh) * 2017-02-17 2019-07-26 清华大学 一种大规模流式集合数据的分布式处理方法
CN108762675B (zh) * 2018-05-24 2021-04-16 北京无线电测量研究所 数据存储方法及系统
CN109412981A (zh) * 2018-11-09 2019-03-01 深圳市酷开网络科技有限公司 数据传输方法及其传输系统、数据还原方法及其还原系统
CN109614518A (zh) * 2018-11-15 2019-04-12 深圳市酷开网络科技有限公司 一种网络流量数据存储、还原方法及系统
CN111124948A (zh) * 2019-12-04 2020-05-08 北京东土科技股份有限公司 嵌入式系统的网络数据抓包方法及系统、存储介质
CN111737222A (zh) * 2020-06-24 2020-10-02 四川长虹电器股份有限公司 基于一对多请求响应模型消息队列数据包存储检索的方法
CN116455956B (zh) * 2023-06-16 2023-08-15 中国人民解放军国防科技大学 一种基于消息中间件的数据采集和数据回放的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863359A (zh) * 2005-11-01 2006-11-15 华为技术有限公司 一种呼叫日志的实现方法及设备
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
CN104394211A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于Hadoop用户行为分析系统设计与实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863359A (zh) * 2005-11-01 2006-11-15 华为技术有限公司 一种呼叫日志的实现方法及设备
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
CN104394211A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于Hadoop用户行为分析系统设计与实现方法

Also Published As

Publication number Publication date
CN105072196A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
CN105072196B (zh) 分布式数据包存储、回溯方法及系统
US11757740B2 (en) Aggregation of select network traffic statistics
US9886521B2 (en) Adaptive sampling schemes for clustering streaming graphs
Lee et al. An internet traffic analysis method with mapreduce
US8577817B1 (en) System and method for using network application signatures based on term transition state machine
US8494985B1 (en) System and method for using network application signatures based on modified term transition state machine
CN104378234B (zh) 跨数据中心的数据传输处理方法及系统
CN106055452B (zh) 创建交换机日志模板的方法和装置
CN107590250A (zh) 一种时空轨迹生成方法及装置
CN105701096A (zh) 索引生成方法、数据查询方法、装置及系统
CN107070895B (zh) 一种基于sdn的数据流溯源方法
CN108306879B (zh) 基于Web会话流的分布式实时异常定位方法
CN103870574B (zh) 基于h.264密文云视频存储的标签制作及索引方法
CN103714134A (zh) 一种网络流量数据索引方法及系统
CN108073625A (zh) 用于元数据信息管理的系统及方法
CN108337100B (zh) 一种云平台监测的方法和装置
CN112256880A (zh) 文本识别方法和装置、存储介质及电子设备
CN113037542B (zh) 一种基于软件定义网络的云网络拓扑构建方法
CN113722416A (zh) 一种数据清洗方法、装置、设备及可读存储介质
CN102984242A (zh) 一种应用协议的自动识别方法和装置
KR20140040120A (ko) Ip 네트워크 주위로 흐르는 데이터스트림으로부터 데이터를 추출하기 위한 방법 및 장치
CN102195816B (zh) 一种未识别流量信息反馈的方法及其设备
CN106850837A (zh) 一种云存储量子数据及处理系统
CN104022917B (zh) 云桥监控方法
Elsen et al. goProbe: a scalable distributed network monitoring solution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160203

Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor

Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD.

Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building

Applicant before: Ctrip computer technology (Shanghai) Co., Ltd.

GR01 Patent grant
GR01 Patent grant