CN115118615B - 一种网络监控数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种网络监控数据处理方法及装置，解决了现有技术不能有选择性地清理网络会话数据包的问题。方法包括：按数据流分别保存监控的网络数据，生成的存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置。生成任务队列，任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段和/或资源占用限额。响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息。本申请可利用空闲资源，保证忙时设备性能，避免已删除数据对后续查询的影响。

Description

一种网络监控数据处理方法及装置

技术领域

本申请涉及计算机和网络安全技术领域，尤其涉及一种网络监控数据包处理方法及装置。

背景技术

在一些网络数据监控场景中，不同类型的流量具有不同的重要程度，也对应不同的处理方式；然而，这种设定并非一成不变，它会随着时间动态变化。如果某种类型的流量在这种动态变化中变得不重要，其对应的数据包不再需要留存，已经留存的数据包需要进行清理。在大规模的流量环境中，这种清理往往需要较多的资源消耗和较长的处理时间，不仅可能拖累整个设备的性能，还会影响用户体验的质量。

现有的技术方案中，对留存数据包的清理，通常是通过设置超时时间或者设置存储空间占用量阈值的方式，对最老的数据进行整体清理。但是在本发明所描述的使用场景中，需要对符合某种特征的流量进行选择性清理，显然现有方案无法满足需求。

发明内容

本申请实施例提供一种网络监控数据处理方法及装置，解决了现有技术不能有选择性地清理网络会话数据包的问题。

第一方面，本申请实施例提供一种网络监控数据处理方法，用于网络数据监控服务器，包括以下步骤：

按数据流分别保存监控的网络数据，生成的存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置。

生成任务队列，任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段和/或资源占用限额。

响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息。

优选地，所述第一指示信息，用以下至少一种方式区分数据流：来源地址、VLAN、端口、应用类型、时间。

优选地，所述第二指示信息包含多个时间段，以及针对每个时间段设定的资源占用限额。

进一步地，删除所述第一指示信息标识的数据流的索引和/或数据包。

优选地，所述指令还包含第三指示信息，用于指示删除的内容为索引和/或数据包。

优选地，在第一时间段删除所述第一指示信息标识的数据流的索引。所述第一时间段是预设的或所述第二指示信息指示的。

优选地，在第二时间段删除所述第一指示信息标识的数据流的数据包。所述第二时间段是预设的或所述第二指示信息指示的。

优选地，所述任务队列中包含多个指令，每个指令分别对应一种数据流。比较多个数据流存储时间，优先删除存储时间短的数据流。

第二方面，本申请实施例还提供一种网络监控数据处理装置，用于实现上述的方法，包含存储模块、删除模块、设置模块。所述存储模块，用于按数据流分别保存监控的网络数据，存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置。所述设置模块，用于生成任务队列，所述任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段和/或资源占用限额。所述删除模块，响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息。

第三方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意一项实施例所述方法。

第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现本申请任意一项实施例所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请是针对网络会话数据包的快速自定义删除而设计的一种方法和系统。按照使用频率较高的分类方式对数据包进行分类留存，能够在自定义删除时有针对性的处理相关数据流。为数据包创建索引，自定义删除时只要完成对索引的更新，用户体验中即可避免已删除数据对后续查询的影响。空闲删除处理能够真正释放存储空间，利用空闲资源，保证忙时设备性能。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一种网络监控数据处理方法实施例流程图；

图2为本申请包含第三指示信息的方法实施例流程图；

图3为本申请实施例数据流表结构示意图；

图4为数据流索引表结构示意图；

图5为数据流表更新示意图；

图6为数据流索引更新示意图；

图7为本申请实施例自定义删除任务流程图；

图8为本申请一种网络监控数据处理装置实施例示意图；

图9为本申请一种电子设备结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一种网络会话数据包存储与清理方法流程图。

一种网络监控数据处理方法，用于网络数据监控服务器，包括以下步骤：

步骤101、按数据流分别保存监控的网络数据，生成的存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置。

本申请为监控数据创建索引。所述索引与相应数据包可以分开存储，也可以存储在一处，但由于删除数据包同时删除索引并非必须，且索引和数据包均删除时，删除的时间也可能不相同，因此优选地，索引与相应的数据包分开存储。所述数据包经过拆分后进行存储。接收到的数据流中的数据包按照设置的一个或多个拆分维度将接收到的数据包拆分，并存储到相应的存储空间。

数据包拆分。按照用户使用场景中频繁使用的流量分类方式，选择一个或多个作为拆分维度，将数据包分类存储。设置数据包的拆分维度，可以选择一个拆分维度，也可以选择多个拆分维度。

选择时间作为拆分维度。每分钟作为时间维度的一个单位。一分钟内的数据包存储在一起，不同分钟的数据包分开存储。再例如，将数据包按照分钟、小时、日或自定义的时间单元进行拆分。

以端口（应用类型）作为拆分维度拆分；在运行多种应用程序时，每个应用程序的输入输出数据所占用的端口。

以客户端地址（访问来源地）作为拆分维度拆分；读取数据流中的源地址，按照源地址区分数据流。

还可以选择自定义维度，根据情况需求，选择相应的维度对数据包进行拆分，例如，选择VLAN等。

设置需要删除的数据包的条件。数据包根据拆分维度拆分后分开存储，拆分后不同类型的数据包重要性各不相同，因此留存的时间长短也不同，因此时间区间为设置需要删除的数据包的特征。

例如，若拆分维度仅有时间，则删除数据包的特征也仅能用时间区间来区分。

若拆分维度包含其他类型，例如，IP地址，则在设置删除条件的时候，重要的IP地址留存的时间长，而不重要的IP地址留存的时间短，若同一个时间存储上述两种不同IP地址的数据包，两种数据包的保留时间可不相同。

其他除要删除的特征包含：应用类型、端口、IP地址、VLAN等维度。上述特征为该数据包重要与否的选择标准，根据同维度特征的不同，最终设置符合需要的删除条件。

步骤102、生成任务队列，任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段和/或资源占用限额。

所述第一指示信息通过不同的维度区别数据流。例如，进一步地，所述第一指示信息，用以下至少一种方式区分数据流：来源地址、VLAN、端口、应用类型、时间。

与存储时拆分数据流的方式相同，对要删除的数据流进行区分。例如按来源地址作为区分，通常选择客户端地址即访问来源地确定。再例如，按时间维度作为区分时，将数据流按照分钟区分。每分钟作为时间维度的一个单位。

进一步地，所述第二指示信息包含多个时间段，以及针对每个时间段设定的资源占用限额。例如，将第二指示信息包含的多个时间段按照忙时时间段和空闲时间段区分。根据不同的时间段限定不通的资源占用限额。设定的资源占用限额为设置的内存、CPU等资源的占用情况限制，当内存、CPU占用情况低于设定阈值时，则认为达到了资源占用限额。

具体地，第二指示信息的运行时间段，是指运行删除任务的时间段；第二指示信息的资源占用限额，是衡量服务器的空闲状况，例如内存、CPU等资源占用情况小于所述限额时，允许进行删除操作。由于监控服务器在工作繁忙时占用资源较多，因此可通过资源占用情况衡量监控服务器是否处于相对空闲状态。优选地，所述第一指示信息的数据流标识，其对应的存储数据中数据包超过设定存储阈值。

进一步优选地，所述任务队列中包含多个指令，每个指令分别对应一种数据流。

步骤103、响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息。

根据第一指示信息的数据流标识，对存储的数据包进行删除。删除的时机根据第二指示信息确定。需要说明的是，当删除量较大时，删除操作的运行时间较长，在资源占用较多的时候处理则性能消耗严重，影响网络实时监控功能正常运行。因此，最佳地，针对数据量大的删除任务，服务器实行异步处理，待满足第二指示信息设定的条件时运行删除操作。

进一步地，删除所述第一指示信息标识的数据流的索引和/或数据包。

例如，仅删除第一指示信息标识的数据流的索引。删除后无法查询对应的数据信息，但是由于数据包并未删除，或者在设定的时限内并未删除，因此可以恢复。

再例如，仅删除第一指示信息标识的数据流的数据包。删除后，可以根据索引查询对应的数据流信息，但无法提取原始数据包。

再例如，删除第一指示信息标识的数据流的索引和数据包。删除后，无法查询对应的数据信息。

需要说明的是，当第一指示信息标识删除数据包时，虽然在更新的索引中可将所述数据流标识为删除，但实际并未立即删除，而是等待第二指示信息所标识的运行时间段和/或资源占用限额条件发生。

还需要说明的是，当第二指示信息仅包含运行时间段时，在所述运行时间段执行删除任务；当第二指示信息仅包含资源占用限额时，当监控服务器小于所述资源占用限额时执行删除任务；当第二指示信息包含运行时间段和资源占用限额两种信息时，则在所述时间段且监控服务器小于所述资源占用限额时执行删除任务。

图2为本申请包含第三指示信息的方法实施例流程图。

步骤201、按数据流分别保存监控的网络数据，生成的存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置（同步骤101）。

步骤202、生成任务队列，任务队列中的每一个指令包含第一指示信息、第二指示信息和第三指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段和/或资源占用限额；所述第三指示信息，用于指示删除的内容为索引和/或数据包。

关于第一指示信息和第二指示信息的特征同步骤102；通过在指令中包含第三指示信息，指示删除的具体内容，可以指示只删除索引，也可以指示只删除数据包，还可以指示既删除索引，也删除数据包。

步骤203、响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息；删除的内容满足所述第三指示信息。

例如，根据第三指示信息，仅删除第一指示信息标识的数据流的索引。再例如，根据第三指示信息，仅删除第一指示信息标识的数据流的数据包。再例如，根据第三指示信息，删除第一指示信息标识的数据流的索引和数据包。

步骤204、根据索引和数据包的删除方式，在执行删除过程之后，对索引信息进行更新。

索引文件较小，可以较快的完成更新。例如，如果删除方式是“只删除索引”，则到此阶段即不显示索引信息，同时已经完成全部操作。

如果删除方式是“只删除数据包”，则在相关的索引项上，标记“数据包不可用”。

如果删除方式是“删除索引和数据包”，则到此阶段索引项已删除，且不显示索引信息。

进一步地，在第一时间段删除所述第一指示信息标识的数据流的索引。所述第一时间段是预设的或所述第二指示信息指示的。

进一步地，在第二时间段删除所述第一指示信息标识的数据流的数据包。所述第二时间段是预设的或所述第二指示信息指示的。

所述索引和数据包在接到符合删除条件且删除方式是“删除索引和数据包”时，索引和数据包可以同时删除，即第一时间段与第二时间段重合。也可以分别删除，即第二时间段与第一时间段分开。

例如，所述第一时间段是预设的，由于索引文件较小，可以较快地完成更新或删除。而用户在做了启动删除的选项后，应该得到及时的反馈，因此优选地，该数据流的索引在选择删除时立即删除，预设在接收删除任务后即时发生的第一时间段内更新索引列表。

再例如，所述第二时间段是预设的，而数据包由于文件较大，应于空闲时或者空闲并且内存、CPU占用情况小于限额时删除数据。数据监控服务器可以预设第二时间段满足的条件，例如运行时间、时长及满足的资源占用限额。

再例如，所述第二指示信息指示的时间段中，包含所述第一时间段和/或所述第二时间段。

当根据第二指示信息，索引先于数据包删除，在第一时间段和第二时间段之间，索引无法查询，但数据包实际未删除，可以根据存储历史恢复索引；在第二时间段后，数据包丧失。

当根据第二指示信息，数据包先于索引删除，则在第二时间段和第一时间段之间，相应的索引信息能够标识历史数据流发生。在第一时间段后，索引丧失。

需要说明的是，在本申请的实施例中，当所述任务队列中包含多个指令，每个指令分别对应一种数据流时，比较多个数据流存储时间，优先删除存储时间短的数据流。

在本申请的实施例中，优选地，在所述存储数据中选择数据包超过设定存储阈值的数据流，将相应的数据流标识列入任务队列。优选地，还包含设定的时间阈值，当任一数据流的所述存储数据的时间超过所述设定的时间阈值时，所述存储数据被删除。因此，当所述任务队列被执行时，从时间较新的留存数据包开始处理。越新的数据越被频繁使用，或者说，越是传送频繁的数据流其存储量越大。旧数据被超时方式删除的可能性更大，也就是说，对存储资源占用不敏感的数据流，即使未通过所述任务队列处理，也会因超过所述设定时间阈值而被删除。

图3为本申请实施例数据流表结构示意图。其中每一条记录对应一次网络连接，其中包含数据流标识，例如记录了连接的起止时间、IP地址、端口号以及存储状态。存储状态有3种：0-正常，1-数据包不可用（只能查流信息，不能查数据包），2-流信息不可用（流信息和数据包都不能查询，但未真正删除，仍可恢复），3-流信息和数据包都不可用（流信息和数据包都不能查询，该条记录即将被删除）。

图4为数据流索引列表示意图。图4中每一条记录按顺序对应一个数据包，其中“Flow ID”用来关联流表中的表项，作为数据流标识；“File Offset”表示该数据包在文件中的偏移位置，作为数据包存储位置。

图5为数据流更新示意图。数据流流表中包含各项数据流标识。优选地，在所述存储数据中选择数据包超过设定存储阈值的数据流，将相应的数据流标识列入任务队列（例如存储量达到200MB的数据流Flow ID=3）。数据流表更新后，数据包被删除的数据流使用状态标记（status）来区分。有时，虽然数据包并未删除，可在数据流表中标识为删除，并等待第二指示信息所标识的运行时间段或资源占用限额条件发生（例如为第二时间段）。图5展示了数据流表的更新方法，进行该更新后，虽然数据包并未真正被删除，但用户端在后续的查询操作中不会再受该流量的干扰。

图6为数据流索引更新示意图。例如，左图表示数据包被删除，但保留索引，即在先发生的第二时间段和后发生的第一间段之间时，数据流索引中数据流标识（Flow ID）为3和对应的数据包存储位置标识（File offset）表示为灰色，表示该索引对应的数据包已经删除。当在后的第一时间段时，数据流索引中与删除的数据包对应的数据流标识、数据包存储位置标识被删除。

图7为本申请实施例自定义删除任务流程图。设置删除条件首先经过删除方法的选择，若选择仅删除流信息（即索引），则经过删除模块的删除流程，索引会直接被删除并更新索引。而选择只删除数据包，或者删除索引和数据包时，应被删除的数据包会组成删除任务队列并交由删除模块处理。

删除模块启动后，会根据所述资源占用限额进行空闲判断，判断服务器是否为相对空闲状态，若为处理空闲，则可以接受任务队列的数据包，此时判断删除任务队列是否为空，若为空，则进入休眠，若不为空，则数据包删除处理，直至删除任务队列为空，开始休眠，休眠时若接收到停止信号，则删除模块停止，若未接收到停止信号，则会在休眠一分钟后再次进行空闲判断。

图8为本申请一种网络会话数据包存储与清理装置实施例示意图。

一种网络监控数据处理装置，用于实现本申请任意一项实施例的方法，所述装置包含存储模块601、删除模块602、设置模块603。

所述存储模块，用于按数据流分别保存监控的网络数据，存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置。

例如，所述存储模块分为数据包存储模块和索引存储模块，分别存储数据包和索引。

所述设置模块，用于生成任务队列，所述任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；所述数据流标识，用以下至少一种方式区分数据流：来源地址、VLAN、端口、应用类型、时间。第二指示信息包含运行时间段和/或资源占用限额。优选地，所述第二指示信息包含多个时间段，以及针对每个时间段设定的资源占用限额。

还可以包含第三指示信息，用于指示删除的内容为索引和/或数据包。

所述删除模块，响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息。进一步地，所述删除模块响应第三指示信息的指示对所述第一指示信息所标识的数据流的索引和/或数据包进行删除。优选地，所述删除模块，用于在第一时间段删除所述第一指示信息标识的数据流的索引。所述第一时间段是预设的或所述第二指示信息指示的。优选地，所述删除模块，用于在第二时间段删除所述第一指示信息标识的数据流的数据包。所述第二时间段是预设的或所述第二指示信息指示的。

优选地，所述任务队列中包含多个指令，每个指令分别对应一种数据流。所述删除模块还用于，比较多个数据流存储时间，优先删除存储时间短的数据流。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

因此，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请中任一实施例所述的方法。

进一步地，本申请还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。

如图9所示，本实施例提供了一种电子设备800，其包括：一个或多个处理器801；存储装置802，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器801运行，使得所述一个或多个处理器112实现本申请实施例所提供的一种网络会话数据包存储与清理方法，如步骤101~103、201~203的实施例所述。该方法至少包括以下步骤：

按数据流分别保存监控的网络数据，存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置。

生成任务队列，任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段和/或资源占用限额。

响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息。

图9显示的电子设备800仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，该电子设备800包括处理器801、存储装置802、输入装置803和输出装置804；电子设备中处理器801的数量可以是一个或多个，图8中以一个处理器801为例；电子设备中的处理器801、存储装置802、输入装置803和输出装置804可以通过总线或其他方式连接，图8中以通过总线805连接为例。

存储装置802作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的云底高度的确定方法对应的程序指令。

存储装置802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置802可进一步包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置803可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如，包括：

设置数据存储功能，包括：选择或设置数据流的拆分维度，产生数据流标识；

设置并启动自定义删除模块，包括：设置删除任务运行时间（设置空闲时间段进行删除处理）与资源占用限额（内存、CPU等）；时间段*限额；进一步地，还可设置多个时间段、每个时间段定义限额；创建删除任务队列、启动删除任务处理程序；

添加删除任务，包括：设置要删除的数据流的特征，例如时间区间、应用类型、端口、IP地址、VLAN ID等；设置删除方式，例如删除索引和数据包中的至少一种。

输出装置804可包括显示屏、扬声器等电子设备。显示数据存储或删除的结果，例如，

显示数据索引，当第一指示信息标识的数据流的数据包被删除时，相应的数据流的索引可标记为“数据包不可用”；

当第一指示信息标识的数据流的索引被删除时，更新索引表。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种网络监控数据处理方法，用于网络数据监控服务器，其特征在于，包括以下步骤：

按数据流分别保存监控的网络数据，生成的存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置；

生成任务队列，任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段；

响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息；

该数据流的索引在选择删除时立即删除，在接收删除任务后即时发生的第一时间段内更新索引列表；数据包在监控服务器资源占用情况小于限额时删除；

所述任务队列中包含多个指令，每个指令分别对应一种数据流；比较多个数据流存储时间，优先删除存储时间短的数据流；

当任一数据流的所述存储数据的时间超过设定的时间阈值时，所述存储数据被删除。

2.如权利要求1所述网络监控数据处理方法，其特征在于，

所述第一指示信息，用以下至少一种方式区分数据流：来源地址、VLAN、端口、应用类型、时间。

3.如权利要求1所述网络监控数据处理方法，其特征在于，

所述第二指示信息包含多个时间段，以及针对每个时间段设定的资源占用限额。

4.如权利要求1~3任意一项所述网络监控数据处理方法，其特征在于，

所述第一时间段是预设的或所述第二指示信息指示的。

5.如权利要求1~3任意一项所述网络监控数据处理方法，其特征在于，

在第二时间段删除所述第一指示信息标识的数据流的数据包；

所述第二时间段是预设的或所述第二指示信息指示的。

6.一种网络监控数据处理装置，用于实现权利要求1~5任意一项所述的方法，其特征在于，包含存储模块、删除模块、设置模块；

所述存储模块，用于按数据流分别保存监控的网络数据，存储数据包含数据流的索引和数据包，所述索引包含数据流标识和对应的数据包存储位置；

所述设置模块，用于生成任务队列，所述任务队列中的每一个指令包含第一指示信息和第二指示信息；所述第一指示信息包含数据流标识；第二指示信息包含运行时间段和/或资源占用限额；

所述删除模块，响应于所述任务队列中的指令，对所述第一指示信息所标识的数据流的存储数据的至少一部分进行删除，删除的时机满足所述第二指示信息。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1~5中任意一项所述方法。

8.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~5中任意一项所述方法。

Images