CN106375147A - 一种长期存储数据包的方法 - Google Patents

一种长期存储数据包的方法 Download PDF

Info

Publication number
CN106375147A
CN106375147A CN201610766337.2A CN201610766337A CN106375147A CN 106375147 A CN106375147 A CN 106375147A CN 201610766337 A CN201610766337 A CN 201610766337A CN 106375147 A CN106375147 A CN 106375147A
Authority
CN
China
Prior art keywords
term storage
agreement
longer
port
chained list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610766337.2A
Other languages
English (en)
Other versions
CN106375147B (zh
Inventor
罗鹰
袁滔
林康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kelai Network Technology Co.,Ltd.
Original Assignee
CHENGDU COLASOFT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU COLASOFT Co Ltd filed Critical CHENGDU COLASOFT Co Ltd
Priority to CN201610766337.2A priority Critical patent/CN106375147B/zh
Publication of CN106375147A publication Critical patent/CN106375147A/zh
Application granted granted Critical
Publication of CN106375147B publication Critical patent/CN106375147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0623—Securing storage systems in relation to content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种长期存储数据包的方法，配置一个或两个以上需要长期存储的IP和协议；为配置的需要长期存储的IP和协议专门分配一个长期存储区；对于从网口获取的数据包，分析数据包的源IP或目的IP，以及顶层协议中是否在所配置的需要长期存储的IP和协议中，其中有一项在所配置的需要长期存储的IP和协议中，则将该数据包存入长期存储区。使用了配置IP和协议的方式来区分哪些是需要长期存储的数据，并将这些数据存入一个特定的存储区内，通过配置的方式来将指定数据包存入指定的存储区内。

Description

一种长期存储数据包的方法
技术领域
本发明涉及一种长期存储数据包的方法，特别是涉及一种适用于全流量回溯网络分析中的长期存储数据包的方法。
背景技术
在基于全流量回溯网络分析中，往往需要把网络数据存储下来，但是由于磁盘空间的限制，总会遇到磁盘写满的情况，那此时，就会先获取新数据的大小，然后根据数据存放先进先出的原则删除旧的部分数据，为新数据留下空间。但安全人员希望某些指定的IP或者协议的数据包能存放的更久一点 ，在大流量环境中这些数据常常会被较快的覆盖，在这种背景下我发明了一种可以长期存储指定IP或者协议的数据包的方法，以供安全人员回溯分析。
发明内容
本发明要解决的技术问题是提供一种能够在全流量回溯网络分析中，将指定的IP或者协议的数据包能存放的更久一点的长期存储数据包的方法。
本发明采用的技术方案如下：
一种长期存储数据包的方法，具体方法为：配置一个或两个以上需要长期存储的IP和协议；为配置的需要长期存储的IP和协议专门分配一个长期存储区；对于从网口获取的数据包，分析数据包的源IP或目的IP，以及顶层协议中是否在所配置的需要长期存储的IP和协议中，其中有一项在所配置的需要长期存储的IP和协议中，则将该数据包存入长期存储区。
具体方法步骤为：
S1、初始化长期存储区的磁盘路径以及大小；
S2、配置一个或两个以上需要长期存储的IP和协议；
S3、从网口抓取数据包；
S4、分析每一个数据包；
S5、根据数据包信息，判断该数据包的源IP或目的IP，以及顶层协议是否在所配置的需要长期存储的IP和协议中，如果是，则进入下一步；如果不是，则进入S7；
S6、将该数据包存入长期存储区；
S7、流程结束。
所述方法还包括：配置需要长期存储的IP和协议时，对端口进行配置；配置N个需要检测的组，组内容包括一个IP和/或一个协议和一个端口，其中至少有一项不为空；建立一个数组，数组长度为最大端口值加1，保证能够保存下所有的端口；该数组每一位保存的是一个HASH链表，该HASH链表保存的数据为需要检测的组的IP和/或协议和端口；对于从网口获取的数据包，先使用端口值去数组中查找该位上，是否有HASH链表，如果否，则流程结束；如果是，则在HASH链表中查找是否有匹配这组IP和/或协议的节点，如果有，则将该数据包存入长期存储区；如果没有，则流程结束；所述N为大于等于1的自然数。
由于端口子的范围都是固定的，所以建立数组时，只需要设置数组长度为最大端口值加1就可以了。
所述方法还包括：配置需要长期存储的IP和协议时，对端口进行配置；配置N个需要检测的组，组内容包括一个IP、一个协议和一个端口，其中至少有一项不为空；如果某一项为空，则表示匹配满足其他条件后的任何项，均不为空则需要三项完全匹配；建立一个数组，数组长度为最大端口值加1，保证能够保存下所有的端口；该数组每一位保存的是一个HASH链表，该HASH链表保存的数据为需要检测的组的IP、协议和端口；对于从网口获取的数据包，先使用端口值去数组中查找该位上，是否有HASH链表，如果否，则流程结束；如果是，则在HASH链表中查找是否有匹配这组IP和/或协议的节点，如果有，则将该数据包存入长期存储区；如果没有，则流程结束；所述N为大于等于1的自然数。
所述HASH链表需要检测的端口值即为HASH链表在所述数组中的位置。
对每一个数据包进行分析时，取出源IP、目的IP、源端口、目的端口和顶层协议；将源IP、源端口和顶层协议为一组组成一组数据，将目的IP、目的端口和顶层协议为一组组成一组数据；根据所分的两组数据去设置的HASH、链表中查找是否有需要长期存储的IP和协议。
所述方法还包括：对于源IP、目的IP、源端口、目的端口和顶层协议，如果其中某一项无法取出，将其值设置为0，如没有源端口或者目的端口，则将源端口或目的端口值设置为0；同时，所保存的HASH链表中，包括端口值为0的HASH链表。
与现有技术相比，本发明的有益效果是：使用了配置IP和协议的方式来区分哪些是需要长期存储的数据，并将这些数据存入一个特定的存储区内，通过配置的方式来将指定数据包存入指定的存储区内；采用端口的查找方式，查找更快，更便捷；将源IP、源端口和顶层协议为一组组成一组数据，将目的IP、目的端口和顶层协议为一组组成一组数据的分组方式，保证了对数据包的检测的完整性，不会出现漏报的情况。
附图说明
图1为本发明其中一实施例的原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施例1
一种长期存储数据包的方法，具体方法为：配置一个或两个以上需要长期存储的IP和协议；为配置的需要长期存储的IP和协议专门分配一个长期存储区；对于从网口获取的数据包，分析数据包的源IP或目的IP，以及顶层协议是否在所配置的需要长期存储的IP和协议中，其中有一项在所配置的需要长期存储的IP和协议中，则将该数据包存入长期存储区。
具体实施例2
在具体实施例1的基础上，具体方法步骤为：
S1、初始化长期存储区的磁盘路径以及大小；
S2、配置一个或两个以上需要长期存储的IP和协议；
S3、从网口抓取数据包；
S4、分析每一个数据包；
S5、根据数据包信息，判断该数据包的源IP或目的IP，以及顶层协议是否在所配置的需要长期存储的IP和协议中，如果是，则进入下一步；如果不是，则进入S7；
S6、将该数据包存入长期存储区；
S7、流程结束。
具体实施例3
在具体实施例1的基础上，所述方法还包括：配置需要长期存储的IP和协议时，对端口进行配置；配置N个需要检测的组，组内容包括一个IP和/或一个协议和一个端口，其中至少有一项不为空；建立一个数组，数组长度为最大端口值加1，保证能够保存下所有的端口；该数组每一位保存的是一个HASH链表，该HASH链表保存的数据为需要检测的组的IP和/或协议和端口；对于从网口获取的数据包，先使用端口值去数组中查找该位上，是否有HASH链表，如果否，则流程结束；如果是，则在HASH链表中查找是否有匹配这组IP和/或协议的节点，如果有，则将该数据包存入长期存储区；如果没有，则流程结束；所述N为大于等于1的自然数。
具体实施例4
在具体实施例1的基础上，所述方法还包括：配置需要长期存储的IP和协议时，对端口进行配置；配置N个需要检测的组，组内容包括一个IP、一个协议和一个端口，其中至少有一项不为空；如果某一项为空，则表示匹配满足其他条件后的任何项，均不为空则需要三项完全匹配；建立一个数组，数组长度为最大端口值加1，保证能够保存下所有的端口；该数组每一位保存的是一个HASH链表，该HASH链表保存的数据为需要检测的组的IP、协议和端口；对于从网口获取的数据包，先使用端口值去数组中查找该位上，是否有HASH链表，如果否，则流程结束；如果是，则在HASH链表中查找是否有匹配这组IP和/或协议的节点，如果有，则将该数据包存入长期存储区；如果没有，则流程结束；所述N为大于等于1的自然数。
具体实施例5
在具体实施例3或4的基础上，所述HASH链表需要检测的端口值即为HASH链表在所述数组中的位置。
具体实施例6
在具体实施例3到5之一的基础上，对每一个数据包进行分析时，取出源IP、目的IP、源端口、目的端口和顶层协议；将源IP、源端口和顶层协议为一组组成一组数据，将目的IP、目的端口和顶层协议为一组组成一组数据；根据所分的两组数据去设置的HASH、链表中查找是否有需要长期存储的IP和协议。
具体实施例7
在具体实施例3到6之一的基础上，所述方法还包括：对于源IP、目的IP、源端口、目的端口和顶层协议，如果其中某一项无法取出，将其值设置为0，如没有源端口或者目的端口，则将源端口或目的端口值设置为0；同时，所保存的HASH链表中，包括端口值为0的HASH链表。

Claims (7)

1.一种长期存储数据包的方法，具体方法为：配置一个或两个以上需要长期存储的IP和协议；为配置的需要长期存储的IP和协议专门分配一个长期存储区；对于从网口获取的数据包，分析数据包的源IP或目的IP，以及顶层协议中是否在所配置的需要长期存储的IP和协议中，其中有一项在所配置的需要长期存储的IP和协议中，则将该数据包存入长期存储区。
2.根据权利要求1所述的长期存储数据包的方法，具体方法步骤为：
S1、初始化长期存储区的磁盘路径以及大小；
S2、配置一个或两个以上需要长期存储的IP和协议；
S3、从网口抓取数据包；
S4、分析每一个数据包；
S5、根据数据包信息，判断该数据包的源IP或目的IP，以及顶层协议是否在所配置的需要长期存储的IP和协议中，如果是，则进入下一步；如果不是，则进入S7；
S6、将该数据包存入长期存储区；
S7、流程结束。
3.根据权利要求1所述的长期存储数据包的方法，所述方法还包括：配置需要长期存储的IP和协议时，对端口进行配置；配置N个需要检测的组，组内容包括一个IP和/或一个协议和一个端口，其中至少有一项不为空；建立一个数组，数组长度为最大端口值加1；该数组每一位保存的是一个HASH链表，该HASH链表保存的数据为需要检测的组的IP和/或协议和端口；对于从网口获取的数据包，先使用端口值去数组中查找该位上，是否有HASH链表，如果否，则流程结束；如果是，则在HASH链表中查找是否有匹配这组IP和/或协议的节点，如果有，则将该数据包存入长期存储区；如果没有，则流程结束；所述N为大于等于1的自然数。
4.根据权利要求1所述的长期存储数据包的方法，所述方法还包括：配置需要长期存储的IP和协议时，对端口进行配置；配置N个需要检测的组，组内容包括一个IP、一个协议和一个端口，其中至少有一项不为空；如果某一项为空，则表示匹配满足其他条件后的任何项，均不为空则需要三项完全匹配；建立一个数组，数组长度为最大端口值加1；该数组每一位保存的是一个HASH链表，该HASH链表保存的数据为需要检测的组的IP、协议和端口；对于从网口获取的数据包，先使用端口值去数组中查找该位上，是否有HASH链表，如果否，则流程结束；如果是，则在HASH链表中查找是否有匹配这组IP和/或协议的节点，如果有，则将该数据包存入长期存储区；如果没有，则流程结束；所述N为大于等于1的自然数。
5.根据权利要求3或4所述的长期存储数据包的方法，所述HASH链表需要检测的端口值即为HASH链表在所述数组中的位置。
6.根据权利要求3或4所述的长期存储数据包的方法，对每一个数据包进行分析时，取出源IP、目的IP、源端口、目的端口和顶层协议；将源IP、源端口和顶层协议为一组组成一组数据，将目的IP、目的端口和顶层协议为一组组成一组数据；根据所分的两组数据去设置的HASH、链表中查找是否有需要长期存储的IP和协议。
7.根据权利要求6所述的长期存储数据包的方法，所述方法还包括：对于源IP、目的IP、源端口、目的端口和顶层协议，如果其中某一项无法取出，将其值设置为0，如没有源端口或者目的端口，则将源端口或目的端口值设置为0；同时，所保存的HASH链表中，包括端口值为0的HASH链表。
CN201610766337.2A 2016-08-31 2016-08-31 一种长期存储数据包的方法 Active CN106375147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610766337.2A CN106375147B (zh) 2016-08-31 2016-08-31 一种长期存储数据包的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610766337.2A CN106375147B (zh) 2016-08-31 2016-08-31 一种长期存储数据包的方法

Publications (2)

Publication Number Publication Date
CN106375147A true CN106375147A (zh) 2017-02-01
CN106375147B CN106375147B (zh) 2019-08-16

Family

ID=57901352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610766337.2A Active CN106375147B (zh) 2016-08-31 2016-08-31 一种长期存储数据包的方法

Country Status (1)

Country Link
CN (1) CN106375147B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700664A (zh) * 2005-06-10 2005-11-23 重庆邮电学院 基于Linux内核的高速网络流量测量器及流量测量方法
EP1630656A2 (en) * 2004-08-30 2006-03-01 Hitachi, Ltd. A storage system and a storage management system
CN101247432A (zh) * 2007-07-18 2008-08-20 北京高信达网络科技有限公司 一种VoIP语音数据实时监控的方法及装置
CN101496356A (zh) * 2006-06-29 2009-07-29 瓦林特美国股份有限公司 用于提供记录作为网络服务的系统和方法
CN101764721A (zh) * 2009-12-15 2010-06-30 中兴通讯股份有限公司 检测方法和网络管理器
CN102932199A (zh) * 2012-09-19 2013-02-13 邦讯技术股份有限公司 一种多核系统检测p2p流的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1630656A2 (en) * 2004-08-30 2006-03-01 Hitachi, Ltd. A storage system and a storage management system
CN1700664A (zh) * 2005-06-10 2005-11-23 重庆邮电学院 基于Linux内核的高速网络流量测量器及流量测量方法
CN101496356A (zh) * 2006-06-29 2009-07-29 瓦林特美国股份有限公司 用于提供记录作为网络服务的系统和方法
CN101247432A (zh) * 2007-07-18 2008-08-20 北京高信达网络科技有限公司 一种VoIP语音数据实时监控的方法及装置
CN101764721A (zh) * 2009-12-15 2010-06-30 中兴通讯股份有限公司 检测方法和网络管理器
CN102932199A (zh) * 2012-09-19 2013-02-13 邦讯技术股份有限公司 一种多核系统检测p2p流的方法和系统

Also Published As

Publication number Publication date
CN106375147B (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
US20210152444A1 (en) Aggregation of select network traffic statistics
CN102035698B (zh) 基于决策树分类算法的http隧道检测方法
US20120182891A1 (en) Packet analysis system and method using hadoop based parallel computation
RU2753189C2 (ru) Система для подготовки сетевого трафика для быстрого анализа
CN106656643B (zh) 一种分段计算网络延迟的测量方法
CN109684231A (zh) 用于识别固态盘中的热数据和流的系统及方法
CN109525587A (zh) 一种数据包的识别方法及装置
CN109271793A (zh) 物联网云平台设备类别识别方法及系统
CN109542857A (zh) 审计日志存储方法、查询方法、装置及相关设备
CN106371999B (zh) 程序代码测试方法及装置
CN103188112A (zh) 网络流量检测方法及装置
CN104821924A (zh) 一种网络数据包处理方法、装置和网络处理设备
CN108629053A (zh) 一种数据更新方法、装置及系统
CN104639390B (zh) 系统的测试方法和装置
CN110011830A (zh) 基于流量数据的通讯拓扑信息建模方法
CN106033428A (zh) 统一资源定位符的选择方法和统一资源定位符的选择装置
US9736215B1 (en) System and method for correlating end-user experience data and backend-performance data
CN109698814A (zh) 僵尸网络发现方法及僵尸网络发现装置
CN102437959A (zh) 基于双超时网络报文的组流方法
CN106375147A (zh) 一种长期存储数据包的方法
CN107086960A (zh) 一种报文传输方法和装置
CN101854366A (zh) 一种对等网络流量识别的方法及装置
CN104301186A (zh) 一种测试路由转发表正确性的方法和系统
CN105094810B (zh) 基于通用网关接口插件的数据处理方法和装置
CN103077210B (zh) 一种基于云计算的数据获取方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200812

Address after: 41401-41406, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, Sichuan 610041

Patentee after: Chengdu Kelai Network Technology Co., Ltd

Address before: China high tech Zone of Chengdu City, Sichuan province 610041 Road No. 99 Tianfu Software Park B6-7

Patentee before: COLASOFT Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 610041 12th, 13th and 14th floors, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Patentee after: Kelai Network Technology Co.,Ltd.

Address before: 41401-41406, 14th floor, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu hi tech Zone, Sichuan 610041

Patentee before: Chengdu Kelai Network Technology Co.,Ltd.

CP03 Change of name, title or address