CN105930504A - 一种网管时序文件并发处理系统及并发处理方法 - Google Patents

Abstract

本发明公开了一种网管时序文件并发处理系统，涉及网管文件处理领域，包括网管设备，数据文件夹创建模块，数据文件夹管理模块，数据文件接收管理模块和数据文件处理管理模块。本发明通过多进程、多线程处理机制，根据用户预先设定的数据文件的进程数，线程数，计算线程数，制定不同的物理硬盘资源使用策略，提高了网管系统管理设备运行效率并节省系统资源，避免了多文件读写处理的性能瓶颈，使得网管系统管理设备的处理性能和扩展性进一步提升。本发明公开了一种基于网管时序文件并发处理系统的网管时序文件并发处理方法。

Description

一种网管时序文件并发处理系统及并发处理方法

技术领域

本发明涉及网管文件处理领域，具体涉及一种网管时序文件并发处理系统及并发处理方法。

背景技术

目前网络技术的迅速发展，宽带用户规模不断扩大，不仅网管系统管理设备的数量不断增长，网管系统管理设备的管理能力也越来越高，管理业务量也越来越大。为了对网管设备进行监控，会要求向网管设备定时获取包含网管状态的信息。网管设备与网管系统管理设备通信使用的协议流达到一定规模时，不再适用于使用TCP报文进行数据交互，最好使用数据文件作为数据交换的载体，同时选择高效可靠的文件传输协议。为了保证网管系统的正常运行，必须及时处理所有网管设备上传的数据文件，否则不仅造成数据的积压导致网管设备上传信息的不准确，同时也会造成占用大量硬盘空间的问题。因此如何实现高效率的基于时序的多文件并发处理，是现在亟需解决的问题。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种网管时序文件并发处理系统，能够使网管系统能够高效处理大量文件，使网管系统产品及时呈现设备的状态。

为达到以上目的，本发明采取的技术方案是：一种网管时序文件并发处理系统，其包括：网管设备、数据文件夹创建模块、数据文件夹管理模块、数据文件接收管理模块和数据文件处理管理模块；

所述网管设备，用于上传包含设备状态的数据文件；

所述数据文件夹创建模块，其根据用户设定的进程数为每个数据文件处理进程创建一个根文件夹，并根据用户设定的进程数为每个数据文件处理进程创建一个数据库；

所述数据文件夹管理模块，其根据用户设定的进程数定时检查每个数据文件处理进程的根文件夹是否存在，如果不存在，则创建根文件夹；所述数据文件夹管理模块判断当前日期的子文件夹是否存在，如果不存在，则创建日期子文件夹；所述数据文件夹管理模块判断超过用户设定的保留天数的文件夹是否存在，如果存在，则删除；

所述数据文件接收管理模块，其根据网管设备标识在当前日期的子文件夹下进一步创建设备标识子文件夹，并接收网管设备发送来的数据文件并在标识子文件夹下创建时标文件，再发送时标文件的文件名至数据文件处理管理模块；

所述数据文件处理管理模块，其根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程；所述数据文件处理管理模块根据数据文件接收管理模块发送的文件名读取文件并将文件中的数据写入内存；所述数据文件处理管理模块将内存中的数据写入数据文件夹创建模块创建的数据库，同时根据具体的计算逻辑对内存中的数据进行处理。

本发明还公开了一种基于网管时序文件并发处理系统的网管时序文件并发处理方法，包括以下步骤：

S1，用户预先设定数据文件的进程数，线程数，计算线程数，保留天数；

S2，数据文件夹创建模块根据用户设定的进程数为每个数据文件处理进程创建一个根文件夹；根据用户设定的进程数为每个数据文件处理进程创建一个数据库；

S3，数据文件夹管理模块根据用户设定的进程数定时检查每个数据文件处理进程的根文件夹是否存在，如果不存在，则创建根文件夹；判断当前日期的子文件夹是否存在，如果不存在，则创建当前日期的子文件夹；判断超过用户设定的保留天数的文件夹是否存在，如果存在，则删除；

S4，数据文件接收管理模块根据设备标识在当前日期的子文件夹下创建设备标识子文件夹；接收网管设备发送来的数据文件并在标识子文件夹下创建时标文件；发送时标文件的文件名至数据文件处理管理模块；

S5，多个数据文件处理管理模块根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程，根据数据文件接收管理模块发送的文件名读取文件并写入内存，根据具体的计算逻辑对文件数据进行处理，同时将处理后的文件数据写入数据文件夹创建模块创建的数据库。

在上述技术方案的基础上，步骤S2包括以下步骤：

S201：数据文件夹创建模块读取用户设定的进程数及指定的可用物理硬盘分区，为每个数据文件处理进程创建一个根文件夹，并将所述根文件夹的目录链接到不同的物理硬盘分区，使数据文件处理进程的根文件夹在用户指定的可用物理硬盘分区平均分布；

S202：数据文件夹创建模块根据用户设定的进程数为每个数据文件处理进程创建一个数据库。

在上述技术方案的基础上，步骤S3包括以下步骤：

S301：数据文件夹管理模块启动文件夹管理进程后，若未检测到进程退出标识，等待一定时间后进入步骤S302，若检测到退出标识则退出文件夹管理进程；

S302：数据文件夹管理模块根据用户设定的进程数，遍历所有数据文件处理进程的根文件夹，若未遍历完成，则进入步骤S303；若完成遍历则进入步骤S301；

S303：数据文件夹管理模块判断基于当前日期的子文件夹是否存在，若存在，则转入步骤S304；若不存在则创建当前日期的子文件夹后，再转入步骤S304；

S304：数据文件夹管理模块判断超过用户设定的保留天数的当前日期的子文件夹是否存在，若不存在则转入步骤S301；若存在则删除后，再转入步骤S301。

在上述技术方案的基础上，步骤S4包括以下步骤：

S401：数据文件接收管理模块根据网管设备标识判断在步骤S303创建的当前日期的子文件下判断设备标识子文件夹是否存在，若不存在则在当前日期的子文件下创建设备标识子文件夹，再转入步骤S402，若存在则直接转入步骤S402；

S402：数据文件接收管理模块根据网管设备上传文件的时间，在设备标识子文件夹下创建时标文件，转入步骤S403；

S403：数据文件接收管理模块根据网管设备标识将生成的时标文件的文件名发送到网管设备对应的数据文件处理进程。

在上述技术方案的基础上，步骤S5包括以下步骤：

S501：多个数据文件处理管理模块根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程；

S502：数据文件处理管理模块启动消息处理队列用于接收步骤S403上报的文件名消息；

S503：数据文件处理管理模块等待所有工作线程和计算线程退出后，退出整个进程。

在上述技术方案的基础上，工作线程的处理流程如下：

S501A1：数据文件处理管理模块判断是否获取到退出消息，若没有则转入步骤S501A2，若有退出消息则转入步骤S501A6；

S501A2：数据文件处理管理模块读取S502中消息队列的数据，若获取到文件名，则进入S501A4，若没有获取到文件，则进入S501A3；

S501A3：数据文件处理管理模块等待一定时间，转入S401A4；

S501A4：数据文件处理管理模块根据时标文件的文件名，读取文件名对应的文件，根据指定压缩算法解压数据，并使用内存池转换到智能指针保存的内存结构，同时将智能指针转发到计算线程的队列中，转入S501A5；

S501A5：数据文件处理管理模块使用批量写入接口，将内存数据写入数据库，进行持久化保存，完成入库处理逻辑，然后转入S501A1；

S501A6：数据文件处理管理模块退出工作线程；

在上述技术方案的基础上，计算线程的处理流程如下：

S501B1：数据文件处理管理模块判断是否获取到退出消息，若没有则转入步骤S501B2，若有退出消息则转入步骤S501B6；

S501B2：数据文件处理管理模块从队列中获取S501A4中发送智能指针所保存的内存结构，若有数据则转入S501B4，若无数据转入步骤S501B3；

S501B3：数据文件处理管理模块等待一定时间后，转入步骤S501B4；

S501B4：数据文件处理管理模块根据具体的计算逻辑对数据进行处理，转入步骤S501B5；

S501B5：数据文件处理管理模块当完成计算逻辑后，会释放智能指针所保存的内存结构占用的内存，然后转入步骤S501B1；

S501B6：数据文件处理管理模块退出计算线程。

在上述技术方案的基础上，网管设备发送至数据文件接收管理模块的数据文件需经过压缩算法进行处理后，再保存为时标文件。

在上述技术方案的基础上，每个设备对应的设备标识子文件夹每天只创建一次。

与现有技术相比，本发明的优点在于：

本发明通过多进程、多线程处理机制，根据用户预先设定的数据文件的进程数，线程数，计算线程数，制定不同的物理硬盘资源使用策略，提高了网管系统管理设备运行效率并节省系统资源，避免了多文件读写处理的性能瓶颈，使得网管系统管理设备的处理性能和扩展性进一步提升。

附图说明

图1为本发明实施例中网管时序文件并发处理系统的结构示意图；

图2为本发明实施例中网管时序文件并发处理方法的流程图；

图3为本发明实施例中网管时序文件并发处理方法步骤S3的流程图；

图4为本发明实施例中网管时序文件并发处理方法步骤S4的流程图；

图5为本发明实施例中网管时序文件并发处理方法步骤S5的流程图；

图6为本发明实施例中网管时序文件并发处理方法步骤S5中工作线程的流程图；

图7为本发明实施例中网管时序文件并发处理方法步骤S5中计算线程的流程图。

图中：1-网管设备，2-数据文件夹创建模块，3-数据文件夹管理模块，4-数据文件接收管理模块，5-数据文件处理管理模块。

具体实施方式

以下结合附图及实施例对本发明作进一步详细说明。

参见图1所示，本发明实施例提供一种网管时序文件并发处理系统，其包括网管设备1、数据文件夹创建模块2、数据文件夹管理模块3、数据文件接收管理模块4和数据文件处理管理模块5；网管设备1，用于上传包含设备状态的数据文件；数据文件夹创建模块2，其根据用户设定的进程数为每个数据文件处理进程创建一个根文件夹并根据用户设定的进程数为每个数据文件处理进程创建一个数据库；数据文件夹管理模块3，其根据用户设定的进程数定时检查每个数据文件处理进程的根文件夹是否存在，如果不存在，则创建根文件夹；数据文件夹管理模块3判断当前日期的子文件夹是否存在，如果不存在，则创建日期子文件夹；数据文件夹管理模块3判断超过用户设定的保留天数的文件夹是否存在，如果存在，则删除；数据文件接收管理模块4，其根据网管设备1标识在当前日期的子文件夹下进一步创建设备标识子文件夹并接收网管设备1发送来的数据文件并在标识子文件夹下创建时标文件再发送时标文件的文件名至数据文件处理管理模块5；数据文件处理管理模块5，其根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程；数据文件处理管理模块5根据数据文件接收管理模块4发送的文件名读取文件并将文件中的数据写入内存；数据文件处理管理模块5将内存中的数据写入数据文件夹创建模块2创建的数据库，同时根据具体的计算逻辑对内存中的数据进行处理。本发明通过多进程、多线程处理机制，根据用户预先设定的数据文件的进程数，线程数，计算线程数，制定不同的物理硬盘资源使用策略，提高了网管系统管理设备运行效率并节省系统资源，避免了多文件读写处理的性能瓶颈，使得网管系统管理设备的处理性能和扩展性进一步提升。

参见图2所示，本发明还公开了一种基于网管时序文件并发处理系统的网管时序文件并发处理方法，其步骤如下：

S1，用户预先设定数据文件的进程数，线程数，计算线程数，保留天数；

S2，数据文件夹创建模块2根据用户设定的进程数为每个数据文件处理进程创建一个根文件夹；根据用户设定的进程数为每个数据文件处理进程创建一个数据库；

S3，数据文件夹管理模块3根据用户设定的进程数定时检查每个数据文件处理进程的根文件夹是否存在，如果不存在，则创建根文件夹；判断当前日期的子文件夹是否存在，如果不存在，则创建当前日期的子文件夹；判断超过用户设定的保留天数的文件夹是否存在，如果存在，则删除；数据文件夹管理模块3每十分钟检查一次；

S4，数据文件接收管理模块4根据设备标识在当前日期的子文件夹下创建设备标识子文件夹；接收网管设备1发送来的数据文件并在标识子文件夹下创建时标文件；发送时标文件的文件名至数据文件处理管理模块5；

S5，多个数据文件处理管理模块5根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程，根据数据文件接收管理模块4发送的文件名读取文件并写入内存，根据具体的计算逻辑对文件数据进行处理，同时将处理后的文件数据写入数据文件夹创建模块2创建的数据库。

步骤S2包括以下步骤：

S201：数据文件夹创建模块2读取用户设定的进程数及指定的可用物理硬盘分区，为每个数据文件处理进程创建一个根文件夹，并将所述根文件夹的目录链接到不同的物理硬盘分区，使数据文件处理进程的根文件夹在用户指定的可用物理硬盘分区平均分布。

以Windows操作系统为例，当服务器有3个硬盘，分别对应到C\D\E分区。操作系统安装在C盘，那么为了避免和操作系统冲突，可用的物理硬盘分区定义为D和E，一共2个，那么每个分区上可以对应2个数据文件处理进程。每个数据文件处理进程的根文件夹名称定义为DPDIR[N]，本例中的名称为DPDIR1，DPDIR2，DPDIR3，DPDIR4。若本框架构建的系统的安装目录为C:\MFPS。各根路径的映射方法为：

MKLINK/J D:\DPDIR1 C:\MFPS\DPDIR1

MKLINK/J E:\DPDIR2 C:\MFPS\DPDIR2

MKLINK/J D:\DPDIR3 C:\MFPS\DPDIR3

MKLINK/J E:\DPDIR4 C:\MFPS\DPDIR4

那么在C:\MFPS目录下的4个文件夹实际链接到了D盘和E盘的目录下，读写文件和占用的硬盘空间都会使用D盘和E盘的资源。

当使用Linux操作系统时，可以使用ln命令创建文件夹链接。

S202：数据文件夹创建模块2根据用户设定的进程数为每个数据文件处理进程创建一个数据库。

参见图3所示，步骤S3包括以下步骤：

S301：数据文件夹管理模块3启动文件夹管理进程后，当未检测到进程退出标识则等待一定时间后进入步骤S302，如等待10分钟，若检测到退出标识则退出文件夹管理进程。

S302：数据文件夹管理模块3根据用户设定的进程数，遍历所有数据文件处理进程的根文件夹，若未遍历完成，则进入步骤S303；若完成遍历则进入步骤S301；本例中检查C:\MFPS\DPDIR1至C:\MFPS\DPDIR4文件夹是否存在。

S303：数据文件夹管理模块3判断基于当前日期的子文件夹是否存在，若存在，则转入步骤B4；若不存在则创建当前日期的子文件夹后，再转入步骤S304；不存在则创建该文件夹，每个数据处理进程实例对应的文件夹都需要创建一次。若当前日期为2015年11月5日，则判断子文件夹20151105是否存在。

S304：数据文件夹管理模块3判断超过用户设定的保留天数的当前日期的子文件夹是否存在，若不存在则转入步骤S301；若存在则删除后，再转入步骤S301。

例如当前日期为2015年11月5日，reseveday为2，那么会保留2天的数据文件，包括2015年11月4日和2015年11月3日的数据，那么检查2015年11月2日以及之前日期对应的文件夹是否存在，若存在则删除20151102、20151101、20151031……，清除过期的数据的文件夹。因为每隔一段时间都会检查一次，所以不会有非常多的过期数据存在，保证不占用过多的磁盘空间。

参见图4所示，步骤S4包括以下步骤：

S401：数据文件接收管理模块4根据网管设备1标识判断在S303创建的当前日期的子文件下判断，设备标识子文件夹是否存在，若不存在则在当前日期的子文件下创建设备标识子文件夹，再转入步骤S402，若存在则直接转入步骤S402。

每个设备都会有一个唯一的标识，例如分配一个设备标识DID(10000)。由于网管数量较多，采用了多个数据文件处理进程进行负载均衡，那么每个设备对应的数据文件处理进程号DPN使用以下规则进行计算：

DPN＝DID％procnum+1

DPN取值从1到procnum

当设备标识为10000时，对应的数据文件处理进程实例号为1，若当前日期为2015年11月5日，那么会在C:\MFPS\DPDIR1\20151105文件夹下检查名为“10000”文件夹是否存在，若不存在，则创建一个文件夹。每个设备对应的设备标识子文件夹每天只创建一次。

S402：数据文件接收管理模块4根据网管设备1上传文件的时间，在设备标识子文件夹下创建时标文件，文件名用“时间标识”的方式进行定义，转入步骤S403。

由于定时向网管设备1要求状态数据信息，那么可以将一天分为若干个时间区间，将每个时间区间获取的文件指定一个时标值。例如：每隔一定时间会向设备采集一次状态信息，如每隔10分钟，那么1天将会分解为144个时间区间，那么时标的取值会从1到144。为了保证排序规则，文件名称使用数字0补齐，例如：“001.dat”,“002.dat”，……“144.dat”。

网管设备1发送至数据文件接收管理模块4的数据文件需经过压缩算法进行处理后，再保存为时标文件；使用压缩算法的目的是减少磁盘读写的时间，而会增加CPU的计算压力，由于现在服务器资源中CPU的效率远高于磁盘读写效率，所以这里使用这种方式来提高整个系统的处理效率。

S403：数据文件接收管理模块4根据网管设备1标识将生成时标文件的文件名发送到网管设备1对应的数据文件处理进程。

若当前时间为2015年11月5日10点30分，文件名使用绝对路径，本例中使用C:\MFPS\DPDIR1\20151105\10000\064.dat，发送到对应的数据文件处理进程。

参见图5所示，步骤S5包括以下步骤：

S501：多个数据文件处理管理模块5根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程；

S502：数据文件处理管理模块5启动消息处理队列用于接收步骤S403上报的文件名消息；

S503：数据文件处理管理模块5等待所有工作线程和计算线程退出后，退出整个进程。

参见图6所示，工作线程的处理流程如下：

S501A1：数据文件处理管理模块5判断是否获取到退出消息，若没有则转入步骤S501A2，若有退出消息则转入步骤S501A6；

S501A2：数据文件处理管理模块5读取S502中消息队列的数据，若获取到文件名，则进入步骤S501A4，若没有获取到文件，则进入步骤S501A3；

S501A3：数据文件处理管理模块5等待2秒，转入步骤S501A4；

S501A4：数据文件处理管理模块5根据时标文件的文件名，读取文件名对应的文件，根据指定压缩算法解压数据，并使用内存池转换到智能指针保存的内存结构，同时将智能指针转发到计算线程的队列中，转入步骤S501A5。

由于数据文件是不间断的，所以使用内存池机制来分配内存，避免频繁调用系统命令创建和销毁内存，提高整体处理效率。由于还要考虑数据不仅在持久化过程中需要使用，在其他相关计算模块也要使用，采用了智能指针来封装内存数据结构，避免了数据的拷贝，并且能够在所有模块使用完数据后，自动释放占用的内存，避免出现错误。

S501A5：数据文件处理管理模块5使用批量写入接口，将内存数据写入数据库，进行持久化保存，完成入库处理逻辑，然后转入步骤S501A1。使用批量写入接口，提高数据库写入的效率。

S501A6：数据文件处理管理模块5退出工作线程。

参见图7所示，计算线程的处理流程如下：

S501B1：数据文件处理管理模块5判断是否获取到退出消息，若没有则转入步骤S501B2，若有退出消息则转入步骤S501B6。

S501B2：数据文件处理管理模块5从队列中获取步骤S501A4中发送智能指针所保存的内存结构，若有数据则转入步骤S501B4，若无数据转入步骤S501B3。

S501B3：数据文件处理管理模块5等待2秒，转入步骤S501B4。

S501B4：数据文件处理管理模块5根据具体的计算逻辑对数据进行处理，转入步骤S501B5。

S501B5：数据文件处理管理模块5当完成计算逻辑后，会释放智能指针所保存的内存结构占用的内存，然后转入步骤S501B1。

S501B6：数据文件处理管理模块5退出计算线程。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种网管时序文件并发处理系统，其特征在于，其包括：网管设备(1)、数据文件夹创建模块(2)、数据文件夹管理模块(3)、数据文件接收管理模块(4)和数据文件处理管理模块(5)；

所述网管设备(1)，用于上传包含设备状态的数据文件；

所述数据文件夹创建模块(2)，其根据用户设定的进程数为每个数据文件处理进程创建一个根文件夹，并根据用户设定的进程数为每个数据文件处理进程创建一个数据库；

所述数据文件夹管理模块(3)，其根据用户设定的进程数定时检查每个数据文件处理进程的根文件夹是否存在，如果不存在，则创建根文件夹；所述数据文件夹管理模块(3)判断当前日期的子文件夹是否存在，如果不存在，则创建日期子文件夹；所述数据文件夹管理模块(3)判断超过用户设定的保留天数的文件夹是否存在，如果存在，则删除；

所述数据文件接收管理模块(4)，其根据网管设备(1)标识在当前日期的子文件夹下进一步创建设备标识子文件夹，并接收网管设备(1)发送来的数据文件并在标识子文件夹下创建时标文件，再发送时标文件的文件名至数据文件处理管理模块(5)；

所述数据文件处理管理模块(5)，其根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程；所述数据文件处理管理模块(5)根据数据文件接收管理模块(4)发送的文件名读取文件并将文件中的数据写入内存；所述数据文件处理管理模块(5)将内存中的数据写入数据文件夹创建模块(2)创建的数据库，同时根据具体的计算逻辑对内存中的数据进行处理。

2.一种基于权利要求1所述一种网管时序文件并发处理系统的 网管时序文件并发处理方法，其特征在于，包括以下步骤：

S1，用户预先设定数据文件的进程数，线程数，计算线程数，保留天数；

S2，数据文件夹创建模块(2)根据用户设定的进程数为每个数据文件处理进程创建一个根文件夹；根据用户设定的进程数为每个数据文件处理进程创建一个数据库；

S3，数据文件夹管理模块(3)根据用户设定的进程数定时检查每个数据文件处理进程的根文件夹是否存在，如果不存在，则创建根文件夹；判断当前日期的子文件夹是否存在，如果不存在，则创建当前日期的子文件夹；判断超过用户设定的保留天数的文件夹是否存在，如果存在，则删除；

S4，数据文件接收管理模块(4)根据设备标识在当前日期的子文件夹下创建设备标识子文件夹；接收网管设备(1)发送来的数据文件并在标识子文件夹下创建时标文件；发送时标文件的文件名至数据文件处理管理模块(5)；

S5，多个数据文件处理管理模块(5)根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程，根据数据文件接收管理模块(4)发送的文件名读取文件并写入内存，根据具体的计算逻辑对文件数据进行处理，同时将处理后的文件数据写入数据文件夹创建模块(2)创建的数据库。

3.一种如权利要求2所述的一种网管时序文件并发处理方法，其特征在于：步骤S2包括以下步骤：

S201：数据文件夹创建模块(2)读取用户设定的进程数及指定的可用物理硬盘分区，为每个数据文件处理进程创建一个根文件夹，并将所述根文件夹的目录链接到不同的物理硬盘分区，使数据文件处理 进程的根文件夹在用户指定的可用物理硬盘分区平均分布；

S202：数据文件夹创建模块(2)根据用户设定的进程数为每个数据文件处理进程创建一个数据库。

4.一种如权利要求2所述的一种网管时序文件并发处理方法，其特征在于：步骤S3包括以下步骤：

S301：数据文件夹管理模块(3)启动文件夹管理进程后，若未检测到进程退出标识，等待一定时间后进入步骤S302，若检测到退出标识则退出文件夹管理进程；

S302：数据文件夹管理模块(3)根据用户设定的进程数，遍历所有数据文件处理进程的根文件夹，若未遍历完成，则进入步骤S303；若完成遍历则进入步骤S301；

S303：数据文件夹管理模块(3)判断基于当前日期的子文件夹是否存在，若存在，则转入步骤S304；若不存在则创建当前日期的子文件夹后，再转入步骤S304；

S304：数据文件夹管理模块(3)判断超过用户设定的保留天数的当前日期的子文件夹是否存在，若不存在则转入步骤S301；若存在则删除后，再转入步骤S301。

5.一种如权利要求2所述的一种网管时序文件并发处理方法，其特征在于：步骤S4包括以下步骤：

S401：数据文件接收管理模块(4)根据网管设备(1)标识判断在步骤S303创建的当前日期的子文件下判断设备标识子文件夹是否存在，若不存在则在当前日期的子文件下创建设备标识子文件夹，再转入步骤S402，若存在则直接转入步骤S402；

S402：数据文件接收管理模块(4)根据网管设备(1)上传文件的时间，在设备标识子文件夹下创建时标文件，转入步骤S403；

S403：数据文件接收管理模块(4)根据网管设备(1)标识将生成的时标文件的文件名发送到网管设备(1)对应的数据文件处理进程。

6.一种如权利要求2所述的一种网管时序文件并发处理方法，其特征在于：步骤S5包括以下步骤：

S501：多个数据文件处理管理模块(5)根据用户设定的工作线程总数和计算线程总数并发启动多个工作线程和多个计算线程；

S502：数据文件处理管理模块(5)启动消息处理队列用于接收步骤S403上报的文件名消息；

S503：数据文件处理管理模块(5)等待所有工作线程和计算线程退出后，退出整个进程。

7.一种如权利要求6所述的一种网管时序文件并发处理方法，其特征在于：工作线程的处理流程如下：

S501A1：数据文件处理管理模块(5)判断是否获取到退出消息，若没有则转入步骤S501A2，若有退出消息则转入步骤S501A6；

S501A2：数据文件处理管理模块(5)读取S502中消息队列的数据，若获取到文件名，则进入S501A4，若没有获取到文件，则进入S501A3；

S501A3：数据文件处理管理模块(5)等待一定时间，转入S401A4；

S501A4：数据文件处理管理模块(5)根据时标文件的文件名，读取文件名对应的文件，根据指定压缩算法解压数据，并使用内存池转换到智能指针保存的内存结构，同时将智能指针转发到计算线程的队列中，转入S501A5；

S501A5：数据文件处理管理模块(5)使用批量写入接口，将内 存数据写入数据库，进行持久化保存，完成入库处理逻辑，然后转入S501A1；

S501A6：数据文件处理管理模块(5)退出工作线程。

8.一种如权利要求6所述的一种网管时序文件并发处理方法，其特征在于，计算线程的处理流程如下：

S501B1：数据文件处理管理模块(5)判断是否获取到退出消息，若没有则转入步骤S501B2，若有退出消息则转入步骤S501B6；

S501B2：数据文件处理管理模块(5)从队列中获取S501A4中发送智能指针所保存的内存结构，若有数据则转入S501B4，若无数据转入步骤S501B3；

S501B3：数据文件处理管理模块(5)等待一定时间后，转入步骤S501B4；

S501B4：数据文件处理管理模块(5)根据具体的计算逻辑对数据进行处理，转入步骤S501B5；

S501B5：数据文件处理管理模块(5)当完成计算逻辑后，会释放智能指针所保存的内存结构占用的内存，然后转入步骤S501B1；

S501B6：数据文件处理管理模块(5)退出计算线程。

9.一种如权利要求2-8任意一项所述的一种网管时序文件并发处理方法，其特征在于：网管设备(1)发送至数据文件接收管理模块(4)的数据文件需经过压缩算法进行处理后，再保存为时标文件。

10.一种如权利要求2-8任意一项所述的一种网管时序文件并发处理方法，其特征在于：每个设备对应的设备标识子文件夹每天只创建一次。