CN114047881B - 一种基于用户策略的网络数据包存储装置及方法 - Google Patents

Abstract

本发明提供了一种基于用户策略的网络数据包存储方法，其特征在于，包括用户根据自己实际情况灵活选择多种配置组合，包括选择全流量存储或只保存关心的数据策略、根据IO情况选择合适的一次写入的文件大小，系统根据策略过滤保存符合条件的数据包保存到磁盘；还提供了一种基于用户策略的网络数据包存储装置，包括：WEB策略配置模块、通信模块、数据包采集模块、数据包解析模块、策略逻辑处理模块和数据包保存模块。本发明使用户在有限的磁盘空间保存更多有效数据，提高系统IO的利用率方法和装置，为网络溯源提供更有效的依据；更好地提升了磁盘利用率和磁盘IO，也能更好地为用户的网络安全提供更具体和符合实际的数据包回溯依据。

Description

一种基于用户策略的网络数据包存储装置及方法

技术领域

本发明涉及网络数据用户策略领域，具体涉及一种基于用户策略的网络数据包存储装置及方法。

背景技术

伴随着互联网的不断发展，网络流量越来越大，应用种类越来越多，个人和企业对网络的需求越来越大，但在享用互联网给我们带来的便捷时，用户也会关心几个问题：网络安全吗？性能怎样？万一出现故障怎么办？服务质量如何保证？这一系列问题除了需要对实时的网络流量进行分析和数据提取、呈现之外，还要对网络数据包进行存储和查找。当网络质量不好，出现故障，或者出现安全事件时，需要对当时的数据包进行回溯、取证，那么就需要在海量的数据包中，筛选符合条件的数据包进行存储。

传统技术在大流量回溯网络分析中，不管流量是否为关心或者可疑流量全部先保存下来，但由于磁盘空间有限，总会遇到磁盘写满情况，此时就会删除旧数据为新数据留空间，但用户更希望有限磁盘空间可以更长久地保留关心的数据。同时传统技术通常在对数据包存储时，按照不同会话将数据包保存到不同文件中，产生很多个小文件，因此会大量且频繁地打开文件句柄写文件到磁盘。从而消耗大量的磁盘IO，造成系统资源的紧缺。传统技术在数据包保存这一块占用大量磁盘空间和消耗大量IO。

发明内容

基于上述背景，发明了一种基于用户策略、灵活地配置网络数据包存储方法及装置，以供安全人员回溯分析，本发明的第一个目的在于提供一种基于用户策略的网络数据包存储装置及方法，为用户提供一种灵活的根据自己实际情况选择全流量还是选择关心流量的存储策略，解决了通常网络数据存储大量无效的数据消耗磁盘空间问题。同时策略中为用户提供的文件大小设置，即当数据包总大小满足预设条件才将数据包合并存储。解决了网络数据包保存过程中消耗大量的磁盘IO浪费系统资源的问题，实现了提高磁盘利用率，节约系统资源。

为实现上述目的，本发明采用了如下技术方案：

一种基于用户策略的网络数据包存储方法，其特征在于，包括用户根据自己实际情况灵活选择多种配置组合，包括选择全流量存储或只保存关心的数据策略、根据IO情况选择合适的一次写入的文件大小，系统根据策略过滤保存符合条件的数据包保存到磁盘；所述IO为：计算机输出/输出的接口；

详细策略设置如下：

S1：设置五元组：系统持续采集网络流量，解析数据包五元组信息，所述五元组信息包括源IP地址、源端口、目的IP地址、目的端口以及传输层协议，匹配用户配置的五元组信息，则只保存匹配中的五元组所在的数据包，如用户不设置五元组信息，即五元组信息为-1，默认不进行数据包筛选保存所有数据包；

S2：设置链路：用户根据自己的实际需要，设置关心链路，如怀疑链路1报文存在异常，则可以设置保存链路1的报文，以linkid的形式下发配置；对网络数据包进行linkid匹配，则只对匹配上的数据包进行保存，如果如用户不设置链路信息，即链路为-1，默认不进行链路筛选保存所有链路数据包；

S3：设置时间采样或包采样：在数据包存储任务进行中，用户可以选择时间采样或者包采样进行数据包筛选存储；时间采样单位为秒，如设置10，代表每隔10秒存包1秒，即存包时设置定时器，每隔采样设置时间存储1s的数据包；包采样单位为包个数，如设置10，代表每隔10个包存1个包，即存包时对包个数进行统计，每隔采样设置的包个数存1个包；如用户不设置采样信息，即采样设置为-1，默认不进行采样筛选保存所有数据包；

S4：设置数据包截断：用户根据自己实际关心数据包长设置包截断长度，数据包存储过程中匹配截断长度收到的数据包进行截断存储；如设置截断长度为1500，当数据包长度小于1500，则按照实际长度进行存储，当数据包长度大于1500时，要将数据包按照1500截取保存；如用户不设置数据包截断信息，即数据包截断长度设置为-1，默认不进行数据包截断按照数据包原长度进行保存；

S5：设置包大小：即一次性写入磁盘上的包的大小，以G为单位，用户根据实际环境的IO情况和回溯分析可一次打开分析包大小等情况进行设置；在包存储过程中，对收到的数据包暂存在buffer中，当存入的包大小达到设定的阈值时开始一次性存储到磁盘；本配置默认文件大小为1G；

S6：设置压缩：即对存入到磁盘文件选择是否压缩以及压缩算法；考虑磁盘空间的大小用户可设置不压缩和压缩即对应压缩算法；在数据包写入磁盘过程中，匹配用户配置，对存入磁盘文件进行对应的压缩算法压缩保存；本配置默认不压缩原包保存；

S7：设置定时启停存储任务：在下发如上配置同时定时启动存储任务，用户根据需要设置什么时候开始存包任务，什么时候结束存包任务，默认关闭存储功能，只有下发用户策略时才开启存储功能，避免了无效的流量存储。

所述基于用户策略的网络数据包存储方法还包括动态更改用户自定义策略的方法，具体为：根据网络流量情况、运行环境磁盘空间和IO情况以及用户关心点随时修改配置下发，即时生效，免去系统重启、重设的过程带来的数据丢失和不必要的麻烦。

一种基于用户策略的网络数据包存储装置，其特征在于，包括：

WEB策略配置模块：用于用户操作下发配置；

通信模块：用于对用户配置的解析以及向策略逻辑处理模块块传递信息；

数据包采集模块：用于持续获取网络中的数据包；

数据包解析模块：用于对所述数据包进行解析，得到所述数据包对应的五元组信息；

策略逻辑处理模块：用于对用户下发策略的逻辑处理，使数据包保存按照用户配置策略生效；

数据包保存模块：用于根据用户配置策略，对满足条件的数据包进行存储。

与现有技术相比，本发明的有益效果在于：

本发明为用户提供了一种动态实时的根据实际情况灵活选择存储策略方法，使用户在有限的磁盘空间保存更多有效数据，提高系统IO的利用率方法和装置，为网络溯源提供更有效的依据。本发明通过匹配用户策略配置，更好地提升了磁盘利用率和磁盘IO，也能更好地为用户的网络安全提供更具体和符合实际的数据包回溯依据。

本发明提供的动态更改网络数据包存储方法，可以在系统运行的情况下更改存储策略；并且配置下发可以即时生效。

附图说明

图1为本实施例基于用户策略的网络数据包存储方法的应用示意图；

图2为本实施例基于用户策略的网络数据包存储方法的流程图；

图3为本实施例基于用户策略的网络数据包存储方法的装置图；

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例1

见图2，本实施例基于用户配置策略方法为：用户自定义配置策略，通过通信接口动态下发给实施系统，实施系统在收到配置后，解析配置，处理配置生效，按照配置保存符合策略的数据包到磁盘。

实施例2

在具体实施例1的基础上，具体了方法步骤为：

1)通过web策略配置模块配置存储策略并通过通信模块下发给处理系统；

2)配置下发成功并开启网络数据包存储功能，如果下发失败转到10)处理；

3)从网口持续抓包，解析每个包的五元组信息并保存，开始存储策略过滤匹配；

4)用3)解析出包的五元组信息与配置下发的五元组信息匹配，过滤出与下发配置一致的包，如果没有匹配成功五元组信息转到10)处理，否则进行下一步，如果下发配置五元组信息为-1，则默认不进行过滤直接进行下一步；

5)环境链路即linkid与配置的linkid进行匹配，过滤出与配置的linkid一致的包，如果没有匹配到配置的linkid，则直接转到10)处理，否则进行下一步，如果配置的linkid为-1，代表不进行linkid过滤，保存所有linkid的包，直接进行下一步；

6)判断配置是否进行时间采样或者包采样，如果时间采样和包采样全部设置为-1，则代表不进行采样直接进入下一步；设置时间采样时，如设置10，则处理系统中启动定时器，每隔10秒保存1秒的数据包；设置包采样，如设置10，则系统中进行包个数统计，每隔10个包保存1个包；

7)数据包截断匹配和设置，环境中对收到的包长度与配置的截断长度进行比较，如果实际包长大于配置的长度，则截断所收到的数据包长等于配置的长度，如果实际包长小于配置长度，则按照实际包长进行保存数据包；

8)所有收到的数据包先保存到buffer中，比较buffer内数据包的总大小与配置的文件大小比较，如果buffer的实际大小比配置的文件大小小，则转到3)继续收包处理，否则进行下一步；

9)匹配配置中是否下发压缩处理以及压缩算法，如果配置不进行压缩，则直接进行下一步，否则按照指定的压缩算法把8)中已达到阈值的buffer内所有包保存到磁盘文件；

10)判断存储定时任务是否结束，任务结束直接停止存储任务，导出buffer内已存储的包到磁盘；否则转到3)继续网口收包。

实施例3

本实施例还提供了一种基于用户策略的网络数据包存储装置，该装置用于实现上述实施例及优选实施方式，前面已经进行过说明不再赘述。

图3是根据本申请实施例的网络数据包存储装置的结构框图，如图3所示，该装置包括：

WEB策略配置模块：用于用户操作下发配置策略；

通信模块：用于对用户配置的解析以及向策略逻辑处理模块传递信息；

数据包采集模块：用于持续获取网络中的数据包；

数据包解析模块：用于对所述数据包进行解析，得到所述数据包对应的五元组信息；

策略逻辑处理模块：用于对用户下发策略的逻辑处理，使数据包保存按照用户配置策略生效；

数据包保存模块：用于根据用户配置策略，对满足条件的数据包进行存储。

WEB策略配置模块还用于定时启停控制，当时间到达存储任务开启时间则下发用户配置，到达任务结束时间下发停止存储任务。

策略逻辑处理模块还用于在接收到用户策略配置处理同时开启存储任务，系统默认不存储数据包，避免无效数据占用磁盘空间和IO。

策略逻辑处理模块还用于在存储任务进行中收到用户修改配置策略或者收到停止存储任务时，立即将buffer中的数据导出写入磁盘，然后按照新配置生效重写buffer。

策略逻辑处理模块还用于每写入一个包都要进行buffer中总包大小计算，并和设置的文件大小比较，一旦达到所设置的文件大小立即将buffer中的数据导出写入磁盘。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为发明的优选例，并不用来限制本发明，在不脱离本发明新型精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于用户策略的网络数据包存储方法，其特征在于，包括用户根据自己实际情况灵活选择多种配置组合，包括选择全流量存储或只保存关心的数据策略、根据IO情况选择合适的一次写入的文件大小，系统根据策略过滤保存符合条件的数据包保存到磁盘；所述IO为：计算机输出/输出的接口；

详细策略设置如下：

S1：设置五元组：系统持续采集网络流量，解析数据包五元组信息，所述五元组信息包括源IP地址、源端口、目的IP地址、目的端口以及传输层协议，匹配用户配置的五元组信息，则只保存匹配中的五元组所在的数据包，如用户不设置五元组信息，即五元组信息为-1，默认不进行数据包筛选保存所有数据包；

S2：设置链路：用户根据自己的实际需要，设置关心链路，如怀疑链路1报文存在异常，则可以设置保存链路1的报文，以linkid的形式下发配置；对网络数据包进行linkid 匹配，则只对匹配上的数据包进行保存，如果如用户不设置链路信息，即链路为-1，默认不进行链路筛选保存所有链路数据包；

S3：设置时间采样或包采样：在数据包存储任务进行中，用户可以选择时间采样或者包采样进行数据包筛选存储；时间采样单位为秒，如设置10，代表每隔10秒存包1秒，即存包时设置定时器，每隔采样设置时间存储1s的数据包；包采样单位为包个数，如设置10，代表每隔10个包存1个包，即存包时对包个数进行统计，每隔采样设置的包个数存1个包；如用户不设置采样信息，即采样设置为-1，默认不进行采样筛选保存所有数据包；

S4：设置数据包截断：用户根据自己实际关心数据包长设置包截断长度，数据包存储过程中匹配截断长度收到的数据包进行截断存储；如设置截断长度为1500，当数据包长度小于1500，则按照实际长度进行存储，当数据包长度大于1500时，要将数据包按照1500截取保存；如用户不设置数据包截断信息，即数据包截断长度设置为-1，默认不进行数据包截断按照数据包原长度进行保存；

S5：设置包大小：即一次性写入磁盘上的包的大小，以G为单位，用户根据实际环境的IO情况和回溯分析可一次打开分析包大小情况进行设置；在包存储过程中，对收到的数据包暂存在buffer中，当存入的包大小达到设定的阈值时开始一次性存储到磁盘；本配置默认文件大小为1G；

S6：设置压缩：即对存入到磁盘文件选择是否压缩以及压缩算法；考虑磁盘空间的大小用户可设置不压缩和压缩及对应压缩算法；在数据包写入磁盘过程中，匹配用户配置，对存入磁盘文件进行对应的压缩算法压缩保存；本配置默认不压缩原包保存；

S7：设置定时启停存储任务：在下发如上设置同时定时启动存储任务，用户根据需要设置什么时候开始存包任务，什么时候结束存包任务，默认关闭存储功能，只有下发用户策略时才开启存储功能，避免了无效的流量存储。

2.根据权利要求1所述的基于用户策略的网络数据包存储方法，其特征在于：所述基于用户策略的网络数据包存储方法还包括动态更改用户自定义策略的方法，具体为：根据网络流量情况、运行环境磁盘空间和IO情况以及用户关心点随时修改配置下发，即时生效，免去系统重启、重设的过程带来的数据丢失和不必要的麻烦。

3.一种基于用户策略的网络数据包存储装置，用于实现权利要求1所述的基于用户策略的网络数据包存储方法，其特征在于，包括：

WEB策略配置模块：用于用户操作下发配置；

通信模块：用于对用户配置的解析以及向策略逻辑处理模块块传递信息；

数据包采集模块：用于持续获取网络中的数据包；

数据包解析模块：用于对所述数据包进行解析，得到所述数据包对应的五元组信息；

策略逻辑处理模块：用于对用户下发策略的逻辑处理，使数据包保存按照用户配置策略生效；

数据包保存模块：用于根据用户配置策略，对满足条件的数据包进行存储。