CN114710565B - 网络报文的压缩与解压方法、装置、设备及可读存储介质 - Google Patents
网络报文的压缩与解压方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114710565B CN114710565B CN202210336715.9A CN202210336715A CN114710565B CN 114710565 B CN114710565 B CN 114710565B CN 202210336715 A CN202210336715 A CN 202210336715A CN 114710565 B CN114710565 B CN 114710565B
- Authority
- CN
- China
- Prior art keywords
- compressed
- information
- block
- message
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006835 compression Effects 0.000 title claims abstract description 231
- 238000007906 compression Methods 0.000 title claims abstract description 231
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000006837 decompression Effects 0.000 title claims abstract description 21
- 238000012216 screening Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012856 packing Methods 0.000 claims description 5
- 230000003139 buffering effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种网络报文的压缩与解压方法、装置、设备及可读存储介质，压缩方法包括：接收并暂存网络报文并生成包括会话信息的报文信息；满足压缩条件时，将暂存的网络报文压缩得到压缩块并生成包括会话信息索引的压缩块信息，并更新压缩文件信息；满足压缩文件生成条件时，将压缩文件信息、压缩块、压缩块信息、报文信息打包得到压缩文件，压缩文件信息包括压缩文件中最早接收的网络报文的接收时间。解压方法包括：基于压缩文件中最早接收的网络报文的接收时间，查找符合检索指令要求的压缩文件；对查找到的压缩文件，查找其中的目标会话信息索引；在目标会话信息索引对应的压缩块中查找目标压缩块；对目标压缩块进行解压得到所述目标网络报文。
Description
技术领域
本发明涉及计算机技术领域，尤指一种网络报文的压缩与解压方法、装置、设备及可读存储介质。
背景技术
随着互联网技术的飞速发展，互联网上的信息量正在以几何级数的增长速度增长，各类网络应用层出不穷，与之相对应的就是网络攻击行为也在与日俱增。传统的基于流量分析、规则检测等技术可以在超高网络带宽的场景下对流量进行分析，记录各种网络行为日志。现在的更高的要求是记录下原始流量作为证据留存，实现和网络日志的上下文关联，事件溯源分析。
目前网络流量分析中全流量存储基本有三种方案：1、直接存储网络报文；2、使用存储性能开发套件(Storage Performance Development Kit，SPDK)技术保存网络报文；3、使用分布式外接存储保存网络报文。针对方案1，对于有限磁盘来说，网络流量太大时外存储器磁盘输入输出接口I/O不足。针对方案2，需要和数据平面开发套件(Data PlaneDevelopment Kit，DPDK)绑定，且需要使用非易失性内存主机控制器接口规范(Non-Volatile Memory Express，NVME)固态硬盘。针对方案3，则需要在硬件上提供额外的存储设备。这样，现有的三种方案都对硬件存储设备的硬件性能提出了较高的要求。
发明内容
本发明实施例提供一种网络报文的压缩与解压方法、装置、设备及可读存储介质，用以解决现有技术中存在对网络报文进行存储时对存储设备的硬件性能要求较高的问题。
本发明实施例提供了一种网络报文的压缩方法，包括：
接收并暂存网络报文至内存储器，并为每个暂存的网络报文生成对应的报文信息；其中，所述报文信息包括对应的网络报文的会话信息；
确定满足压缩条件时，在所述内存储器中将暂存的所述网络报文进行压缩得到一个压缩块并生成所述压缩块对应的压缩块信息，并根据已生成的压缩块更新压缩文件信息；其中，所述压缩块信息包括所述压缩块中网络报文的会话信息索引；
确定满足压缩文件生成条件时，将所述压缩文件信息、已生成的压缩块、各所述压缩块对应的压缩块信息、各网络报文对应的报文信息进行打包，得到所述压缩文件并保存至外存储器中；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；
其中，所述压缩文件中最早接收的网络报文的接收时间用于筛除不包含有目标网络报文的压缩文件，所述会话信息索引用于在从候选压缩文件中解压目标网络报文时从所述压缩文件中的所有压缩块中筛选出候选压缩块集合，所述会话信息用于从所述候选压缩块集合中确定目标网络报文所在的目标压缩块；
所述候选压缩文件为所有保存的压缩文件中，除所述筛除的压缩文件外的任意一个压缩文件。
可选地，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；
所述压缩文件信息还包括所述压缩文件包含的压缩块的数量、网络报文的数量；其中，所述压缩块的数量用于与每个压缩块信息的占用长度共同确定各压缩块信息的占用长度和位置；
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度和位置、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；其中，所述压缩块信息中的对应的网络报文的起始序号、所述压缩块信息中的对应的压缩块包含的网络报文数量用于与每个报文信息的占用长度共同确定当前压缩块对应的所有报文信息的占用长度和位置；所述压缩块信息中的对应的所述压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度共同用于确定当前压缩块的数据；
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；其中，所述压缩块信息中的对应的压缩块未压缩时的占用长度与所述压缩块信息对应的各网络报文中的所述网络报文未被压缩时的占用长度和位置用于解压所述对应的压缩块得到网络报文。
可选地，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
可选地，所述会话信息索引包括会话信息的哈希值。
可选地，所述压缩条件包括如下至少一种：
暂存的所述网络报文的数量等于预设第一阈值；
第一暂存时间等于第一预设时间；其中所述第一暂存时间为当前暂存的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间；
暂存的所述网络报文对应的会话超时。
可选地，所述压缩文件生成条件包括如下至少一种：
已生成的压缩块的数量等于预设第二阈值；
从所有所述网络报文中最早接收的网络报文的接收时间到当前时刻的时间等于第二预设时间；
压缩的网络报文对应的会话超时。
可选地，接收并暂存网络报文至内存储器，包括：
将相同会话的网络报文暂存在所述内存储器中的同一第一暂存区域；
对任意一个第一暂存区域，当所述第一暂存区域暂存的网络报文的数量等于第三预设阈值或第二暂存时间等于第三预设时间时，将所述网络报文移动至所述内存储器中的第二暂存区域；其中所述第二暂存时间为当前暂存于所述第一暂存区域中的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间。
基于同一发明构思，本发明实施例还提供了一种压缩的网络报文的解压方法，包括：
响应于检索指令，基于压缩文件中最早接收的网络报文的接收时间，在外存储器中查找符合所述检索指令指示的时间要求的压缩文件；其中，所述压缩文件中包括：所述压缩文件对应的压缩文件信息、至少一个压缩块以及各所述压缩块对应的压缩块信息、至少一个报文信息；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；每个压缩块是对至少一个网络报文压缩得到的；所述压缩块信息包括所述压缩块中网络报文的会话信息索引；每个报文信息包括网络报文的会话信息；
对查找到的任意一个所述压缩文件，执行如下步骤：
从各所述压缩块对应的压缩块信息的会话信息索引中，查找与所述检索指令指示的会话信息对应的目标会话信息索引；
在所述目标会话信息索引对应的压缩块中查找目标网络报文所在的目标压缩块；其中，所述目标网络报文是与目标报文信息对应的网络报文，所述目标报文信息是包含所述检索指令指示的会话信息的报文信息；
根据所述目标压缩块对应的压缩块信息和所述目标压缩块中压缩存储的所有网络报文分别对应的所述报文信息，解压所述目标压缩块得到所述目标网络报文。
可选地，对查找到的任意一个所述压缩文件，具体执行如下步骤：
不重复选取所述压缩文件中的一个压缩块信息作为当前压缩块信息执行如下步骤，直到所述压缩文件中的所有压缩块信息均被选取过后结束：
判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引；
若不存在，且存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤；
若存在，则在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息；
若查找到所述目标报文信息，则将所述当前压缩块确定为目标压缩块，对所述目标压缩块解压得到所述目标压缩块中的各网络报文，保存其中的所述目标网络报文；
保存其中的所述目标网络报文或若未查找到所述目标报文信息之后，若存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤。
可选地，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；
所述压缩文件信息还包括压缩块数量；
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；
判断第一个压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引之前，还包括：
根据所述压缩文件信息中的压缩块数量和每个压缩块信息的占用长度，确定所述压缩文件中的各压缩块信息的占用长度和位置；
在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息之前，还包括：
根据各压缩块信息中对应的网络报文的起始序号，确定所述当前压缩块对应的报文信息的起始位置；根据所述当前压缩块对应的报文信息的起始序号、网络报文数量和每个报文信息的占用长度，确定当前压缩块对应的所有报文信息的占用长度和位置；
对所述目标压缩块得到所述目标压缩块中的各网络报文，具体包括：
根据所述当前压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度确定当前压缩块的数据，利用所述当前压缩块未压缩时的占用长度、所述当前压缩块对应的各所述报文信息中的对应的网络报文未被压缩时的占用长度和位置对所述当前压缩块的数据进行解压，得到所述当前压缩块中的各网络报文。
可选地，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
可选地，所述会话信息索引包括会话信息的哈希值。
基于同一发明构思，本发明实施例还提供了一种网络报文的压缩装置，包括：
网络报文接收模块，用于接收并暂存网络报文至内存储器，并为每个暂存的网络报文生成对应的报文信息；其中，所述报文信息包括对应的网络报文的会话信息；
压缩模块，用于确定满足压缩条件时，在所述内存储器中将暂存的所述网络报文进行压缩得到一个压缩块并生成所述压缩块对应的压缩块信息，并根据已生成的压缩块更新压缩文件信息；其中，所述压缩块信息包括所述压缩块中网络报文的会话信息索引；
打包模块，用于确定满足压缩文件生成条件时，将所述压缩文件信息、已生成的压缩块、各所述压缩块对应的压缩块信息、各网络报文对应的报文信息进行打包，得到所述压缩文件并保存至外存储器中；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；
其中，所述压缩文件中最早接收的网络报文的接收时间用于筛除不包含有目标网络报文的压缩文件，所述会话信息索引用于在从候选压缩文件中解压目标网络报文时从所述压缩文件中的所有压缩块中筛选出候选压缩块集合，所述会话信息用于从所述候选压缩块集合中确定目标网络报文所在的目标压缩块；
所述候选压缩文件为所有保存的压缩文件中，除所述筛除的压缩文件外的任意一个压缩文件。
基于同一发明构思，本发明实施例还提供了一种压缩的网络报文的解压装置，包括：
压缩文件筛选模块，用于响应于检索指令，基于压缩文件中最早接收的网络报文的接收时间，在外存储器中查找符合所述检索指令指示的时间要求的压缩文件；其中，所述压缩文件中包括：所述压缩文件对应的压缩文件信息、至少一个压缩块以及各所述压缩块对应的压缩块信息、至少一个报文信息；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；每个压缩块是对至少一个网络报文压缩得到的；所述压缩块信息包括所述压缩块中网络报文的会话信息索引；每个报文信息包括网络报文的会话信息；
解压模块，用于对查找到的任意一个所述压缩文件，执行如下步骤：
从各所述压缩块对应的压缩块信息的会话信息索引中，查找与所述检索指令指示的会话信息对应的目标会话信息索引；
在所述目标会话信息索引对应的压缩块中查找目标网络报文所在的目标压缩块；其中，所述目标网络报文是与目标报文信息对应的网络报文，所述目标报文信息是包含所述检索指令指示的会话信息的报文信息；
根据所述目标压缩块对应的压缩块信息和所述目标压缩块中压缩存储的所有网络报文分别对应的所述报文信息，解压所述目标压缩块得到所述目标网络报文。
基于同一发明构思，本发明实施例还提供了一种设备，包括：处理器和用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现所述网络报文的压缩方法，和/或所述压缩的网络报文的解压方法。
基于同一发明构思，本发明实施例还提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被用于实现所述网络报文的压缩方法，和/或所述压缩的网络报文的解压方法。
本发明有益效果如下：
本发明实施例提供的网络报文的压缩与解压方法、装置、设备及可读存储介质，对网络报文的压缩方案与现有技术相比能够降低对外存储器的硬件性能要求；对网络报文的解压方案能够可以根据需要对指定的部分网络报文进行解压，而不需要对整个压缩文件全部解压，从而能够有效地降低存储网络报文于读取网络报文时对存储设备的硬件性能要求，从而降低成本。
附图说明
图1为本发明实施例提供的网络报文的压缩方法的流程图；
图2为本发明实施例提供的压缩文件的数据结构示意图；
图3为本发明实施例提供的压缩的网络报文的解压方法的流程图；
图4为本发明实施例提供的压缩的网络报文的解压方法的部分步骤的流程图；
图5为本发明实施例提供的网络报文的压缩装置的结构示意图；
图6为本发明实施例提供的压缩的网络报文的解压装置的结构示意图；
图7为本发明实施例提供的设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面将结合附图和实施例对本发明做进一步说明。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。本发明中所描述的表达位置与方向的词，均是以附图为例进行的说明，但根据需要也可以做出改变，所做改变均包含在本发明保护范围内。本发明的附图仅用于示意相对位置关系不代表真实比例。
需要说明的是，在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
下面结合附图，对本发明实施例提供的网络报文的压缩与解压方法、装置、设备及可读存储介质进行具体说明。
第一方面，本发明实施例提供了一种网络报文的压缩方法，如图1所示，包括：
S110、接收并暂存网络报文至内存储器，并为每个暂存的网络报文生成对应的报文信息。其中，所述报文信息包括对应的网络报文的会话信息。
在本发明实施例中，所述内存储器可以为随机存取存储器(Random AccessMemory，RAM)。
可选地，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
所述四元组包括源互联网协议(Internet Protocol，IP)地址、源端口、目的IP地址、目的端口。
所述五元组包括源IP地址、源端口、目的IP地址、目的端口、传输层协议编号。
所述七元组包括源IP地址、源端口、目的IP地址、目的端口、传输层协议编号、服务类型编号、接口索引。
S120、判断是否满足压缩条件。
若所述步骤S120的结果为是，执行步骤S130；若所述步骤S120的结果为否，返回所述步骤S110。
S130、在所述内存储器中将暂存的所述网络报文进行压缩得到一个压缩块并生成所述压缩块对应的压缩块信息，并根据已生成的压缩块更新压缩文件信息。其中，所述压缩块信息包括所述压缩块中网络报文的会话信息索引。
可选地，所述会话信息索引包括会话信息的哈希值。
在具体实施过程中，如果所述会话信息包括会话编号SID和四元组/五元组/七元组，那么所述会话信息索引包括会话编号SID哈希值及四元组/五元组/七元组中每个信息项的哈希值。例如，若所述会话信息包括会话编号SID和五元组，那么所述会话信息索引包括会话编号SID哈希值、源IP地址哈希值、源端口哈希值、目的IP地址哈希值、目的端口哈希值、传输层协议编号哈希值。
S140、判断是否满足压缩文件生成条件。
若所述步骤S140的结果为是，执行步骤S150；若所述步骤S140的结果为否，返回所述步骤S110。
S150、将所述压缩文件信息、已生成的压缩块、各所述压缩块对应的压缩块信息、各网络报文对应的报文信息进行打包，得到所述压缩文件并保存至外存储器中。其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间。
其中，所述压缩文件中最早接收的网络报文的接收时间用于筛除不包含有目标网络报文的压缩文件，所述会话信息索引用于在从候选压缩文件中解压目标网络报文时从所述压缩文件中的所有压缩块中筛选出候选压缩块集合，所述会话信息用于从所述候选压缩块集合中确定目标网络报文所在的目标压缩块；所述候选压缩文件为所有保存的压缩文件中，除所述筛除的压缩文件外的任意一个压缩文件。
在具体实施过程中，如果需要长时间地对网络报文进行压缩存储，那么可以重复执行上述方法，依次得到多个压缩文件。
在本发明实施例中，所述外存储器可以为机械硬盘(Hard Disk Drive，HDD)、固态硬盘(Solid State Drive，SSD)等存储器，在此不作限定。
这样，通过上述对网络报文压缩存储的方法，能够令同一外存储器保存更多的网络报文。例如使用智能存储加速库(Intelligent Storage Acceleration Library，ISA-L)算法对网络报文进行压缩，压缩率约为56％，相当于对于同一外存储器保存的网络报文的数据量接近翻倍。同时压缩报文与网络报文相比是大文件，存储到外存储器上是顺序写的操作，与直接将小文件的网络报文保存到外存储器相比能够明显提升外存储器I/O的效率。因而能够有效地降低存储网络报文对存储设备的硬件性能要求，从而降低成本。
在具体实施过程中，通过本发明实施例提供的网络报文的压缩方法，可以通过调整压缩算法及压缩块的大小来适应网络环境的需求，从而将网络报文的压缩保存速度与接收的网络流量速度达到平衡。在测试环境下使用ISA-L算法的压缩率为56％，LZ4算法为78％，Z标准(Zstandard，ZSTD)算法为55％。在压缩块的大小设置为2M的情况下丢包率最小。设置压缩块的大小为2M的条件下，ISA-L压缩算法额外增加了10％-15％的CPU消耗，LZ4增加了30-35％的CPU消耗，ZSTD增加了20-25％的CPU消耗。
更进一步地，如图2所示，所述压缩文件中的数据按照压缩文件信息file_info、各所述压缩块对应的压缩块信息zip_info、各报文信息pcap_info、各所述压缩块zip_ctx的顺序存储。
所述压缩文件信息还包括所述压缩文件包含的压缩块的数量、网络报文的数量。其中，所述压缩块的数量用于与每个压缩块信息的占用长度共同确定各压缩块信息的占用长度和位置。
在本发明实施例中，每个压缩块信息的占用长度为固定值。
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度和位置、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号。其中，所述压缩块信息中的对应的网络报文的起始序号、所述压缩块信息中的对应的压缩块包含的网络报文数量用于与每个报文信息的占用长度共同确定当前压缩块对应的所有报文信息的占用长度和位置；所述压缩块信息中的对应的所述压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度共同用于确定当前压缩块的数据。
在本发明实施例中，每个报文信息的占用长度为固定值。
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置。其中，所述压缩块信息中的对应的压缩块未压缩时的占用长度与所述压缩块信息对应的各网络报文中的所述网络报文未被压缩时的占用长度和位置用于解压所述对应的压缩块得到网络报文。
所述压缩文件中的各种信息所起到的作用将在后文的网络报文的解压方法中详细说明，此处暂不展开。
可选地，所述压缩条件包括如下至少一种：
(1)暂存的所述网络报文的数量等于预设第一阈值。
(2)第一暂存时间等于第一预设时间。其中所述第一暂存时间为当前暂存的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间。
即，每次开始执行所述步骤S110时开始计时，当到达所述第一预设时间时满足所述压缩条件，此时将暂存的网络报文进行压缩得到一个压缩块。之后由步骤S140返回所述步骤S110时重新开始计时，直至下一次到达所述第一预设时间时满足所述压缩条件。
(3)暂存的所述网络报文对应的会话超时。
可选地，所述压缩文件生成条件包括如下至少一种：
(1)已生成的压缩块的数量等于预设第二阈值。
(2)从所有所述网络报文中最早接收的网络报文的接收时间到当前时刻的时间等于第二预设时间。
(3)压缩的网络报文对应的会话超时。
可选地，所述步骤S110中，接收并暂存网络报文，具体包括：
将相同会话的网络报文暂存在同一第一暂存区域；
对任意一个第一暂存区域，当所述第一暂存区域暂存的网络报文的数量等于第三预设阈值或第二暂存时间等于第三预设时间时，将所述网络报文移动至第二暂存区域。其中所述第二暂存时间为当前暂存于所述第一暂存区域中的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间。
这样，通过将相同会话的网络报文尽可能放置在一起暂存，并在后续过程中压缩，能够便于后续解压过程对检索指令指示的指定会话的网络报文的解压。
第二方面，本发明实施例还提供了一种压缩的网络报文的解压方法，用于对利用上文所述的网络报文的压缩方法得到的压缩文件进行解压，如图3所示，包括：
S210、响应于检索指令，基于压缩文件中最早接收的网络报文的接收时间，在外存储器中查找符合所述检索指令指示的时间要求的压缩文件。
其中，利用第一方面提供的网络报文的压缩方法得到的所述压缩文件中包括：所述压缩文件对应的压缩文件信息、至少一个压缩块以及各所述压缩块对应的压缩块信息、至少一个报文信息；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；每个压缩块是对至少一个网络报文压缩得到的；所述压缩块信息包括所述压缩块中网络报文的会话信息索引；每个报文信息包括网络报文的会话信息。
S220、不重复地选取一个查找到的所述压缩文件。
若所述步骤S220选取成功，执行步骤S230；若所有查找到的压缩文件均被选取过，结束解压过程。
S230、从各所述压缩块对应的压缩块信息的会话信息索引中，查找与所述检索指令指示的会话信息对应的目标会话信息索引。
若所述步骤S230成功查找到目标会话信息索引，执行步骤S240；若所述步骤S230未成功查找到目标会话信息索引，返回所述步骤S220。
S240、在所述目标会话信息索引对应的压缩块中查找目标网络报文所在的目标压缩块。其中，所述目标网络报文是与目标报文信息对应的网络报文，所述目标报文信息是包含所述检索指令指示的会话信息的报文信息。
若所述步骤S240成功查找到目标压缩块，执行步骤S250；若所述步骤S240未成功查找到目标压缩块，返回所述步骤220。
S250、根据所述目标压缩块对应的压缩块信息和所述目标压缩块中压缩存储的所有网络报文分别对应的所述报文信息，解压所述目标压缩块得到所述目标网络报文。返回所述步骤S220。
这样，通过上述的压缩的网络报文的解压方法，可以根据需要对指定的部分网络报文进行解压，而不需要对整个压缩文件全部解压，从而降低了解压过程的运算量和硬件资源的消耗，降低了对存储设备的硬件要求。
进一步可选地，如图4所示，所述步骤S230-S250具体可以采用如下方式实现：
S310、不重复选取所述压缩文件中的一个压缩块信息作为当前压缩块信息。
若所述步骤S310选取成功，执行步骤S320；若所述压缩文件中的所有压缩块信息均被选取过，返回所述步骤S220。
在具体实施过程中，所述步骤S310可以采用从所述压缩文件的第一个压缩块信息开始，依次选取所述压缩文件中的一个压缩块信息作为当前压缩块信息的方式实施。
S320、判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引。
若所述步骤S320的结果为是，执行步骤S330；若所述步骤S320的结果为否，执行步骤S310。
S330、在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息。
若所述步骤S330成功查找到所述目标报文信息，执行步骤S340；若所述步骤S330未成功查找到所述目标报文信息，返回所述步骤S310。
S340、对所述目标压缩块解压得到所述目标压缩块中的各网络报文，保存其中的所述目标网络报文。返回所述步骤S310。
可选地，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；
所述压缩文件信息还包括压缩块数量；
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；
进一步地，所述步骤S310之前，还包括：
根据所述压缩文件信息中的压缩块数量和每个压缩块信息的占用长度，确定所述压缩文件中的各压缩块信息的占用长度和位置。
所述步骤S330之前，还包括：
根据各压缩块信息中对应的网络报文的起始序号，确定所述当前压缩块对应的报文信息的起始位置。
根据所述当前压缩块对应的报文信息的起始序号、网络报文数量和每个报文信息的占用长度，确定当前压缩块对应的所有报文信息的占用长度和位置。
所述步骤S340中，对所述目标压缩块得到所述目标压缩块中的各网络报文，具体包括：
根据所述当前压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度确定当前压缩块的数据，利用所述当前压缩块未压缩时的占用长度、所述当前压缩块对应的各所述报文信息中的对应的网络报文未被压缩时的占用长度和位置对所述当前压缩块的数据进行解压，得到所述当前压缩块中的各网络报文。
可选地，所述会话信息索引包括会话信息的哈希值。
可选地，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
若所述会话信息包括会话编号SID和四元组/五元组/七元组，则所述步骤S320、判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引，具体包括：
确定所述检索指令指示的会话信息的类型；
判断当前压缩块信息中所述类型的会话信息的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引。
所述步骤S330、在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息，具体包括：
在所述当前压缩块信息对应的所有报文信息中的所述类型的会话信息中查找所述检索指令指示的会话信息，将查找到的会话信息所在的报文信息确定为所述目标报文信息。
例如，报文信息中的会话信息包括会话编号SID和五元组。在解压过程中，首先确定所述检索指令指示的会话信息为五元组，之后判断当前压缩块信息中的各五元组哈希值中是否存在所述检索指令指示的五元组的哈希值，如果存在则从在所述当前压缩块信息对应的所有报文信息中的五元组中查找所述检索指令指示的五元组，将查找到的五元组所在的报文信息确定为所述目标报文信息。
第三方面，基于同一发明构思，本发明实施例还提供了一种网络报文的压缩装置，如图5所示，包括：
网络报文接收模块M110，用于接收并暂存网络报文至内存储器，并为每个暂存的网络报文生成对应的报文信息；其中，所述报文信息包括对应的网络报文的会话信息；
压缩模块M120，用于确定满足压缩条件时，在所述内存储器中将暂存的所述网络报文进行压缩得到一个压缩块并生成所述压缩块对应的压缩块信息，并根据已生成的压缩块更新压缩文件信息；其中，所述压缩块信息包括所述压缩块中网络报文的会话信息索引；
打包模块M130，用于确定满足压缩文件生成条件时，将所述压缩文件信息、已生成的压缩块、各所述压缩块对应的压缩块信息、各网络报文对应的报文信息进行打包，得到所述压缩文件并保存至外存储器中；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；
其中，所述压缩文件中最早接收的网络报文的接收时间用于筛除不包含有目标网络报文的压缩文件，所述会话信息索引用于在从候选压缩文件中解压目标网络报文时从所述压缩文件中的所有压缩块中筛选出候选压缩块集合，所述会话信息用于从所述候选压缩块集合中确定目标网络报文所在的目标压缩块；
所述候选压缩文件为所有保存的压缩文件中，除所述筛除的压缩文件外的任意一个压缩文件。
可选地，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；
所述压缩文件信息还包括所述压缩文件包含的压缩块的数量、网络报文的数量；其中，所述压缩块的数量用于与每个压缩块信息的占用长度共同确定各压缩块信息的占用长度和位置；
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度和位置、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；其中，所述压缩块信息中的对应的网络报文的起始序号、所述压缩块信息中的对应的压缩块包含的网络报文数量用于与每个报文信息的占用长度共同确定当前压缩块对应的所有报文信息的占用长度和位置；所述压缩块信息中的对应的所述压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度共同用于确定当前压缩块的数据；
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；其中，所述压缩块信息中的对应的压缩块未压缩时的占用长度与所述压缩块信息对应的各网络报文中的所述网络报文未被压缩时的占用长度和位置用于解压所述对应的压缩块得到网络报文。
可选地，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
可选地，所述会话信息索引包括会话信息的哈希值。
可选地，所述压缩条件包括如下至少一种：
暂存的所述网络报文的数量等于预设第一阈值；
第一暂存时间等于第一预设时间；其中所述第一暂存时间为当前暂存的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间；
暂存的所述网络报文对应的会话超时。
可选地，所述压缩文件生成条件包括如下至少一种：
已生成的压缩块的数量等于预设第二阈值；
从所有所述网络报文中最早接收的网络报文的接收时间到当前时刻的时间等于第二预设时间；
压缩的网络报文对应的会话超时。
可选地，接收并暂存网络报文至内存储器，包括：
将相同会话的网络报文暂存在所述内存储器中的同一第一暂存区域；
对任意一个第一暂存区域，当所述第一暂存区域暂存的网络报文的数量等于第三预设阈值或第二暂存时间等于第三预设时间时，将所述网络报文移动至所述内存储器中的第二暂存区域；其中所述第二暂存时间为当前暂存于所述第一暂存区域中的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间。
第四方面，基于同一发明构思，本发明实施例还提供了一种压缩的网络报文的解压装置，如图6所示，包括：
压缩文件筛选模块M210，用于响应于检索指令，基于压缩文件中最早接收的网络报文的接收时间，在外存储器中查找符合所述检索指令指示的时间要求的压缩文件；其中，所述压缩文件中包括：所述压缩文件对应的压缩文件信息、至少一个压缩块以及各所述压缩块对应的压缩块信息、至少一个报文信息；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；每个压缩块是对至少一个网络报文压缩得到的；所述压缩块信息包括所述压缩块中网络报文的会话信息索引；每个报文信息包括网络报文的会话信息；
解压模块M220，用于对查找到的任意一个所述压缩文件，执行如下步骤：
从各所述压缩块对应的压缩块信息的会话信息索引中，查找与所述检索指令指示的会话信息对应的目标会话信息索引；
在所述目标会话信息索引对应的压缩块中查找目标网络报文所在的目标压缩块；其中，所述目标网络报文是与目标报文信息对应的网络报文，所述目标报文信息是包含所述检索指令指示的会话信息的报文信息；
根据所述目标压缩块对应的压缩块信息和所述目标压缩块中压缩存储的所有网络报文分别对应的所述报文信息，解压所述目标压缩块得到所述目标网络报文。
可选地，对查找到的任意一个所述压缩文件，具体执行如下步骤：
不重复选取所述压缩文件中的一个压缩块信息作为当前压缩块信息执行如下步骤，直到所述压缩文件中的所有压缩块信息均被选取过后结束：
判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引；
若不存在，且存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤；
若存在，则在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息；
若查找到所述目标报文信息，则将所述当前压缩块确定为目标压缩块，对所述目标压缩块解压得到所述目标压缩块中的各网络报文，保存其中的所述目标网络报文；
保存其中的所述目标网络报文或若未查找到所述目标报文信息之后，若存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤。
可选地，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；
所述压缩文件信息还包括压缩块数量；
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；
判断第一个压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引之前，还包括：
根据所述压缩文件信息中的压缩块数量和每个压缩块信息的占用长度，确定所述压缩文件中的各压缩块信息的占用长度和位置；
在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息之前，还包括：
根据各压缩块信息中对应的网络报文的起始序号，确定所述当前压缩块对应的报文信息的起始位置；根据所述当前压缩块对应的报文信息的起始序号、网络报文数量和每个报文信息的占用长度，确定当前压缩块对应的所有报文信息的占用长度和位置；
对所述目标压缩块得到所述目标压缩块中的各网络报文，具体包括：
根据所述当前压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度确定当前压缩块的数据，利用所述当前压缩块未压缩时的占用长度、所述当前压缩块对应的各所述报文信息中的对应的网络报文未被压缩时的占用长度和位置对所述当前压缩块的数据进行解压，得到所述当前压缩块中的各网络报文。
可选地，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
可选地，所述会话信息索引包括会话信息的哈希值。
在本申请所提供的实施例中，应该理解到，以上所描述的装置实施例仅仅是示意性的。例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
由于上述装置解决问题的原理与前文所述的网络报文的压缩及解压方法相似，因此上述装置的实施可以参见对应方法的实施，重复之处不再赘述。
第五方面，基于同一发明构思，本发明实施例还提供了一种设备，如图7所示，包括：处理器110和用于存储所述处理器110可执行指令的存储器120；其中，所述处理器110被配置为执行所述指令，以实现第一方面所述网络报文的压缩方法，和/或第二方面所述压缩的网络报文的解压方法。
在具体实施过程中，所述设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器110、存储器120、可读存储介质130，所述存储器120和/或可读存储介质130中包括一个或一个以上应用程序131或数据132。所述存储器120和/或可读存储介质130中还可以包括一个或一个以上操作系统133，例如Windows、Mac OS、Linux、IOS、Android、Unix、FreeBSD等。其中，存储器120和可读存储介质130可以是短暂存储或持久存储。所述应用程序131可以包括一个或一个以上所述模块(图7中未示出)，每个模块可以包括一系列指令操作。更进一步地，处理器110可以设置为与可读存储介质130通信，在所述设备上执行可读存储介质130中的一系列指令操作。所述设备还可以包括一个或一个以上电源(图7中未示出)；一个或一个以上网络接口140，所述网络接口140包括有线网络接口141和/或无线网络接口142；一个或一个以上输入/输出接口143。
基于同一发明构思，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被用于实现第一方面所述网络报文的压缩方法，和/或第二方面所述压缩的网络报文的解压方法。
本发明实施例提供的网络报文的压缩与解压方法、装置、设备及可读存储介质，对网络报文的压缩方案与现有技术相比能够降低对外存储器的硬件性能要求；对网络报文的解压方案能够可以根据需要对指定的部分网络报文进行解压，而不需要对整个压缩文件全部解压，从而能够有效地降低存储网络报文于读取网络报文时对存储设备的硬件性能要求，从而降低成本。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (16)
1.一种压缩的网络报文的解压方法，其特征在于，包括：
响应于检索指令，基于压缩文件中最早接收的网络报文的接收时间，在外存储器中查找符合所述检索指令指示的时间要求的压缩文件；其中，所述压缩文件中包括：所述压缩文件对应的压缩文件信息、至少一个压缩块以及各所述压缩块对应的压缩块信息、至少一个报文信息；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；每个压缩块是对至少一个网络报文压缩得到的；所述压缩块信息包括所述压缩块中网络报文的会话信息索引；每个报文信息包括网络报文的会话信息；
对查找到的任意一个所述压缩文件，执行如下步骤：
从各所述压缩块对应的压缩块信息的会话信息索引中，查找与所述检索指令指示的会话信息对应的目标会话信息索引；
在所述目标会话信息索引对应的压缩块中查找目标网络报文所在的目标压缩块；其中，所述目标网络报文是与目标报文信息对应的网络报文，所述目标报文信息是包含所述检索指令指示的会话信息的报文信息；
根据所述目标压缩块对应的压缩块信息和所述目标压缩块中压缩存储的所有网络报文分别对应的所述报文信息，解压所述目标压缩块得到所述目标网络报文。
2.如权利要求1所述的方法，其特征在于，对查找到的任意一个所述压缩文件，具体执行如下步骤：
不重复选取所述压缩文件中的一个压缩块信息作为当前压缩块信息执行如下步骤，直到所述压缩文件中的所有压缩块信息均被选取过后结束：
判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引；
若不存在，且存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤；
若存在，则在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息；
若查找到所述目标报文信息，则将所述当前压缩块确定为目标压缩块，对所述目标压缩块解压得到所述目标压缩块中的各网络报文保存其中的所述目标网络报文；
保存其中的所述目标网络报文或若未查找到所述目标报文信息之后，若存在所述压缩文件中的压缩块信息未被选取过，则再次不重复选取一个所述压缩文件中的压缩块信息作为当前压缩块信息，并返回判断当前压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引的步骤。
3.如权利要求2所述的方法，其特征在于，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；
所述压缩文件信息还包括压缩块数量；
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；
判断第一个压缩块信息中的会话信息索引中是否存在与所述检索指令指示的会话信息对应的目标会话信息索引之前，还包括：
根据所述压缩文件信息中的压缩块数量和每个压缩块信息的占用长度，确定所述压缩文件中的各压缩块信息的占用长度和位置；
在所述当前压缩块信息对应的所有报文信息中查找所述目标报文信息之前，还包括：
根据各压缩块信息中对应的网络报文的起始序号，确定所述当前压缩块对应的报文信息的起始位置；根据所述当前压缩块对应的报文信息的起始序号、网络报文数量和每个报文信息的占用长度，确定当前压缩块对应的所有报文信息的占用长度和位置；
对所述目标压缩块得到所述目标压缩块中的各网络报文，具体包括：
根据所述当前压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度确定当前压缩块的数据，利用所述当前压缩块未压缩时的占用长度、所述当前压缩块对应的各所述报文信息中的对应的网络报文未被压缩时的占用长度和位置对所述当前压缩块的数据进行解压，得到所述当前压缩块中的各网络报文。
4.如权利要求1所述的方法，其特征在于，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
5.如权利要求1所述的方法，其特征在于，所述会话信息索引包括会话信息的哈希值。
6.一种网络报文的压缩方法，其特征在于，包括：
接收并暂存网络报文至内存储器，并为每个暂存的网络报文生成对应的报文信息；其中，所述报文信息包括对应的网络报文的会话信息；
确定满足压缩条件时，在所述内存储器中将暂存的所述网络报文进行压缩得到一个压缩块并生成所述压缩块对应的压缩块信息，并根据已生成的压缩块更新压缩文件信息；其中，所述压缩块信息包括所述压缩块中网络报文的会话信息索引；确定满足压缩文件生成条件时，将所述压缩文件信息、已生成的压缩块、各所述压缩块对应的压缩块信息、各网络报文对应的报文信息进行打包，得到所述压缩文件并保存至外存储器中；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；
其中，所述压缩文件中最早接收的网络报文的接收时间用于筛除不包含有目标网络报文的压缩文件，所述会话信息索引用于在从候选压缩文件中解压目标网络报文时从所述压缩文件中的所有压缩块中筛选出候选压缩块集合，所述会话信息用于从所述候选压缩块集合中确定目标网络报文所在的目标压缩块；
所述候选压缩文件为所有保存的压缩文件中，除所述筛除的压缩文件外的任意一个压缩文件。
7.如权利要求6所述的方法，其特征在于，所述压缩文件中的数据按照压缩文件信息、各所述压缩块对应的压缩块信息、各报文信息、各所述压缩块的顺序存储；
所述压缩文件信息还包括所述压缩文件包含的压缩块的数量、网络报文的数量；
其中，所述压缩块的数量用于与每个压缩块信息的占用长度共同确定各压缩块信息的占用长度和位置；
所述压缩块信息还包括对应的压缩块包含的网络报文数量、对应的所述压缩块未压缩时的占用长度和位置、对应的所述压缩块压缩后的占用长度、对应的所述压缩块在所述压缩文件中的偏移位置、对应的网络报文的起始序号；其中，所述压缩块信息中的对应的网络报文的起始序号、所述压缩块信息中的对应的压缩块包含的网络报文数量用于与每个报文信息的占用长度共同确定当前压缩块对应的所有报文信息的占用长度和位置；所述压缩块信息中的对应的所述压缩块在所述压缩文件中的偏移位置、所述当前压缩块压缩后的占用长度共同用于确定当前压缩块的数据；
所述报文信息还包括对应的网络报文未被压缩时的占用长度和位置；其中，所述压缩块信息中的对应的压缩块未压缩时的占用长度与所述压缩块信息对应的各网络报文中的所述网络报文未被压缩时的占用长度和位置用于解压所述对应的压缩块得到网络报文。
8.如权利要求6所述的方法，其特征在于，所述会话信息包括如下至少一种：会话编号、四元组、五元组、七元组。
9.如权利要求6所述的方法，其特征在于，所述会话信息索引包括会话信息的哈希值。
10.如权利要求6所述的方法，其特征在于，所述压缩条件包括如下至少一种：
暂存的所述网络报文的数量等于预设第一阈值；
第一暂存时间等于第一预设时间；其中所述第一暂存时间为当前暂存的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间；
暂存的所述网络报文对应的会话超时。
11.如权利要求6所述的方法，其特征在于，所述压缩文件生成条件包括如下至少一种：
已生成的压缩块的数量等于预设第二阈值；
从所有所述网络报文中最早接收的网络报文的接收时间到当前时刻的时间等于第二预设时间；
压缩的网络报文对应的会话超时。
12.如权利要求6所述的方法，其特征在于，接收并暂存网络报文至内存储器，包括：
将相同会话的网络报文暂存在所述内存储器中的同一第一暂存区域；
对任意一个第一暂存区域，当所述第一暂存区域暂存的网络报文的数量等于第三预设阈值或第二暂存时间等于第三预设时间时，将所述网络报文移动至所述内存储器中的第二暂存区域；其中所述第二暂存时间为当前暂存于所述第一暂存区域中的所有网络报文中，最早被暂存的网络报文被暂存的时刻至当前时刻之间的时间。
13.一种压缩的网络报文的解压装置，其特征在于，包括：
压缩文件筛选模块，用于响应于检索指令，基于压缩文件中最早接收的网络报文的接收时间，查找符合所述检索指令指示的时间要求的压缩文件；其中，所述压缩文件中包括：所述压缩文件对应的压缩文件信息、至少一个压缩块以及各所述压缩块对应的压缩块信息、至少一个报文信息；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；每个压缩块是对至少一个网络报文压缩得到的；所述压缩块信息包括所述压缩块中网络报文的会话信息索引；每个报文信息包括网络报文的会话信息；
解压模块，用于对查找到的任意一个所述压缩文件，执行如下步骤：
从各所述压缩块对应的压缩块信息的会话信息索引中，查找与所述检索指令指示的会话信息对应的目标会话信息索引；
在所述目标会话信息索引对应的压缩块中查找目标网络报文所在的目标压缩块；其中，所述目标网络报文是与目标报文信息对应的网络报文，所述目标报文信息是包含所述检索指令指示的会话信息的报文信息；
根据所述目标压缩块对应的压缩块信息和所述目标压缩块中压缩存储的所有网络报文分别对应的所述报文信息，解压所述目标压缩块得到所述目标网络报文。
14.一种网络报文的压缩装置，其特征在于，包括：
网络报文接收模块，用于接收并暂存网络报文，并为每个暂存的网络报文生成对应的报文信息；其中，所述报文信息包括对应的网络报文的会话信息；
压缩模块，用于确定满足压缩条件时，将暂存的所述网络报文进行压缩得到一个压缩块并生成所述压缩块对应的压缩块信息，并根据已生成的压缩块更新压缩文件信息；其中，所述压缩块信息包括所述压缩块中网络报文的会话信息索引；
打包模块，用于确定满足压缩文件生成条件时，将所述压缩文件信息、已生成的压缩块、各所述压缩块对应的压缩块信息、各网络报文对应的报文信息进行打包存储，得到所述压缩文件；其中，所述压缩文件信息包括压缩文件中最早接收的网络报文的接收时间；
其中，所述压缩文件中最早接收的网络报文的接收时间用于筛除不包含有目标网络报文的压缩文件，所述会话信息索引用于在从候选压缩文件中解压目标网络报文时从所述压缩文件中的所有压缩块中筛选出候选压缩块集合，所述会话信息用于从所述候选压缩块集合中确定目标网络报文所在的目标压缩块；
所述候选压缩文件为所有保存的压缩文件中，除所述筛除的压缩文件外的任意一个压缩文件。
15.一种电子设备，其特征在于，包括：处理器和用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-5任一项所述的压缩的网络报文的解压方法，和/或如权利要求6-12任一项所述的网络报文的压缩方法。
16.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序被用于实现如权利要求1-5任一项所述的压缩的网络报文的解压方法，和/或如权利要求6-12任一项所述的网络报文的压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210336715.9A CN114710565B (zh) | 2022-03-31 | 2022-03-31 | 网络报文的压缩与解压方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210336715.9A CN114710565B (zh) | 2022-03-31 | 2022-03-31 | 网络报文的压缩与解压方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114710565A CN114710565A (zh) | 2022-07-05 |
| CN114710565B true CN114710565B (zh) | 2023-11-03 |
Family
ID=82170241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210336715.9A Active CN114710565B (zh) | 2022-03-31 | 2022-03-31 | 网络报文的压缩与解压方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114710565B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017000878A1 (zh) * | 2015-06-30 | 2017-01-05 | 杭州华三通信技术有限公司 | 报文处理 |
| CN111464525A (zh) * | 2020-03-30 | 2020-07-28 | 绿盟科技集团股份有限公司 | 一种会话识别方法、装置、控制设备及存储介质 |
| CN112104658A (zh) * | 2020-09-17 | 2020-12-18 | 山东方寸微电子科技有限公司 | 一种报文压缩方法及系统 |
| KR20210011243A (ko) * | 2019-07-22 | 2021-02-01 | 주식회사 엘지유플러스 | Http/2 헤더 압축 패킷 모니터링 방법 및 장치 |
| CN113194057A (zh) * | 2020-01-14 | 2021-07-30 | 北京京东振世信息技术有限公司 | 基于as2的数据接收、发送、交互方法和客户端 |
| CN113590910A (zh) * | 2021-09-26 | 2021-11-02 | 北京金睛云华科技有限公司 | 一种网络流量检索方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9930146B2 (en) * | 2016-04-04 | 2018-03-27 | Cisco Technology, Inc. | System and method for compressing content centric networking messages |
| US11006316B2 (en) * | 2017-10-16 | 2021-05-11 | Ofinno, Llc | Header compression for ethernet frame |
| US11126531B2 (en) * | 2018-06-29 | 2021-09-21 | EMC IP Holding Company LLC | Real-time viewing tool for compressed log data |
-
2022
- 2022-03-31 CN CN202210336715.9A patent/CN114710565B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017000878A1 (zh) * | 2015-06-30 | 2017-01-05 | 杭州华三通信技术有限公司 | 报文处理 |
| KR20210011243A (ko) * | 2019-07-22 | 2021-02-01 | 주식회사 엘지유플러스 | Http/2 헤더 압축 패킷 모니터링 방법 및 장치 |
| CN113194057A (zh) * | 2020-01-14 | 2021-07-30 | 北京京东振世信息技术有限公司 | 基于as2的数据接收、发送、交互方法和客户端 |
| CN111464525A (zh) * | 2020-03-30 | 2020-07-28 | 绿盟科技集团股份有限公司 | 一种会话识别方法、装置、控制设备及存储介质 |
| CN112104658A (zh) * | 2020-09-17 | 2020-12-18 | 山东方寸微电子科技有限公司 | 一种报文压缩方法及系统 |
| CN113590910A (zh) * | 2021-09-26 | 2021-11-02 | 北京金睛云华科技有限公司 | 一种网络流量检索方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114710565A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9477682B1 (en) | Parallel compression of data chunks of a shared data object using a log-structured file system | |
| CN110764706B (zh) | 存储系统、数据管理方法及存储介质 | |
| CN106161633B (zh) | 一种基于云计算环境下打包文件的传输方法及系统 | |
| US20120310917A1 (en) | Accelerated Join Process in Relational Database Management System | |
| JP5554817B2 (ja) | データ送信装置及び方法 | |
| US20110307471A1 (en) | Accelerating Database Management System Operations | |
| US11675768B2 (en) | Compression/decompression using index correlating uncompressed/compressed content | |
| CN105511812A (zh) | 一种存储系统大数据优化方法及装置 | |
| WO2020207410A1 (zh) | 一种数据压缩方法、电子设备及存储介质 | |
| CN112417461A (zh) | 设备固件的模糊测试方法及系统 | |
| CN110597461B (zh) | 块链式账本中的数据存储方法、装置及设备 | |
| CN110069557B (zh) | 数据传输方法、装置、设备及存储介质 | |
| CN114710565B (zh) | 网络报文的压缩与解压方法、装置、设备及可读存储介质 | |
| CN110825706B (zh) | 一种数据压缩的方法和相关设备 | |
| CN104778252A (zh) | 索引的存储方法和装置 | |
| CN110888918A (zh) | 相似数据检测方法及装置、计算机设备和存储介质 | |
| CN112748866A (zh) | 一种增量索引数据的处理方法和装置 | |
| CN113687773A (zh) | 数据压缩模型训练方法及装置、存储介质 | |
| CN112511612A (zh) | 云存储数据存储方法、装置、系统、设备及存储介质 | |
| CN114979236A (zh) | 数据传输方法、装置、存储介质以及电子设备 | |
| US8988258B2 (en) | Hardware compression using common portions of data | |
| CN111625500B (zh) | 文件快照方法及装置、电子设备和存储介质 | |
| CN112925746A (zh) | 文件归档方法和装置 | |
| CN114125071B (zh) | 数据压缩传输方法及装置 | |
| CN114070471B (zh) | 一种测试数据包传输方法、装置、系统、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |