CN111400247B - 一种用户行为审计方法及文件存储方法 - Google Patents

Abstract

本发明公开一种用户行为审计方法及文件存储方法，由于将同一类型文件合并放入一个大的存储空间，同时消除该类型文件的统一文件类型描述信息，从而降低文件的大小，另外，由于海量用户行为数据文件使用同一个文件类型描述信息作为文件卷的元信息描述，可解决现有技术中文件系统元数据管理低下的问题，而且对同一文件类型的用户行为数据文件进行合并存储，所以在读写文件时，可以有效控制文件打开数量，对于连续文件的读写，不需要重复执行文件打开系统调用，从而大大降低了系统消耗，提高文件读取效率。对于随机文件的读写，由于可以同时打开多个合并存储的文件，同样能够大大降低文件打开系统调用消耗，从而提高文件读取效率。

Description

一种用户行为审计方法及文件存储方法

技术领域

本发明涉及信息安全领域，具体而言，本发明涉及一种用户行为审计方法及文件存储方法。

背景技术

随着信息技术的日新月异和网络信息系统应用的发展，政府、企业的网络应用层次不断深入，使得信息安全问题也日益凸现。如对内部业务系统的非授权访问，业务资源的滥用、误用行为，损害业务系统的正常运行；在工作时间影响工作效率的聊天、炒股、玩网络游戏、BT下载、在线视频等行为；未经授权随意通过电子邮件、即时通讯等方式发送敏感涉密信息，导致机密信息、关键业务数据的外泄；利用网络浏览、下载、传播、发表不良信息和非法言论，造成恶劣社会影响，并可能导致国家法律问题等。在这种情况下，用户行为审计技术应运而生，这项技术的运用将使得网络资源得到合理的配置和优化并保证网络的安全，将网络的管理提高到一个新的层次。但现有的用户审计方法中各种物联网设备会采集海量的用户行为数据，特别是采集视频图像的用户行为数据，这些数据往往是视频图像的关键帧，以图像文件形式存在。由于数据分析的需要，用户行为数据文件被要求发送到数据中心的审计服务器进行统一分析处理，但是采集海量数据的物联网设备往往性能普遍较低，且不具备稳定的网络，数据传输的带宽也非常有限，所以用户行为数据发送到数据中心之前，需要在物联网设备上存储相当一段时间，但物联网设备在存储文件时依赖操作系统的文件系统来管理文件，常见的文件系统将会为每一个文件创建一个元数据，用来描述和管理文件，当读取文件时，至少需要3次以上的磁盘IO访问，当存储的文件数量规模较小时，其效率尚可，但文件数量超过千万级别之后，文件读写效率将会大大降低，另外，在常见的文件读写中，通常有以下几个系统调用过程：文件打开->文件寻址->文件读写->文件关闭，对于每个文件访问来说，都要经历文件打开过程，而这个过程是一个花销很大的系统调用过程。当存在海量文件时，文件的读写会在上面花费很多时间。

发明内容

本发明要解决的技术问题是提供一种用户行为审计方法及文件存储方法，可在单个物联网设备有限的存储性能下，节省存储空间，在读写文件时，可以有效控制文件打开数量，对于连续文件的读写，不需要重复执行文件打开系统调用，从而大大降低了系统消耗，提高文件读取效率。

为解决上述技术问题，本发明采用如下技术方案：

一种用户行为审计方法，其包括如下步骤：

通过若干个物联网设备采集用户行为数据；

在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；

对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；

当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；

将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计。

另外，还包括：

对暂存的用户行为数据文件进行过期处理时，以文件卷的生命周期进行过期处理，单个用户行为数据文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷。

另外，对同一文件类型的用户行为数据文件进行暂存之前还包括：

对同一文件类型的用户行为数据文件进行压缩，去除重复的压缩描述信息。

其中，所述用户行为数据文件为图像文件。

其中，所述描述文件卷的元信息还包括：文件卷ID、文件卷的存储时间长度、存储文件的文件夹的路径。

其中，所述文件块包括文件头结构，用于存储描述文件块的元信息。

其中，所述描述文件块的元信息包括：文件块ID、文件块大小、文件块偏移量、文件块校验信息。

另外，本发明的一种文件存储方法，其包括：

在存储文件的物联网设备的文件系统中对同一文件类型的文件建立对应该文件类型的文件卷；

对同一文件类型的文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；

读取文件卷中暂存的文件时，根据该文件卷块结构中的文件类型描述信息对读取的文件补齐文件类型描述信息。

其中，该方法还包括：

对暂存的文件进行过期处理时，以文件卷的生命周期进行过期处理，单个文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷。

另外，对同一文件类型的文件进行暂存之前还包括：

对同一文件类型的文件进行压缩，去除重复的压缩描述信息。

与现有技术相比，本发明具有以下有益效果：

本发明的用户行为审计方法及文件存储方法中，通过若干个物联网设备采集用户行为数据；在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计。本发明中由于将同一类型文件合并放入一个大的存储空间，同时消除该类型文件的统一文件类型描述信息，从而降低文件的大小，虽然文件类型描述信息数据较小，但是由于文件数量巨大，最终能够节省的空间也相当可观，特别是对存储性能有限的单个物联网设备。另外，由于海量用户行为数据文件使用同一个文件类型描述信息作为元信息描述，可解决现有技术中文件系统元数据管理低下的问题，而且对同一文件类型的用户行为数据文件进行合并存储，所以在读写文件时，可以有效控制文件打开数量，对于连续文件的读写，不需要重复执行文件打开系统调用，从而大大降低了系统消耗，提高文件读取效率。对于随机文件的读写，由于可以同时打开多个合并存储的文件，同样能够大大降低文件打开系统调用消耗，从而提高文件读取效率。

附图说明

图1是本发明文件存储方法的一个具体实施例流程图；

图2是本发明用户行为审计方法的一个具体实施例流程图。

具体实施方式

参考图1，该图是本发明文件存储方法的一个具体实施例流程图，主要包括如下步骤：

步骤S101，在存储文件的物联网设备的文件系统中对同一文件类型的文件建立对应该文件类型的文件卷；

步骤S102，对同一文件类型的文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息，本实施例中由于海量用户行为数据文件使用同一个文件类型描述信息作为文件卷的元信息描述，可解决现有技术中文件系统元数据管理低下的问题；

步骤S103，读取文件卷中暂存的文件时，根据该文件卷块结构中的文件类型描述信息对读取的文件补齐文件类型描述信息。

另外，现有技术中当暂存的文件过期时，在传统文件系统进行文件删除操作的代价巨大，需要更新海量文件系统的元数据信息，为了解决该问题，本发明的方法还包括：

对暂存的文件进行过期处理时，以文件卷的生命周期进行过期处理，单个文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷。

另外，本发明中进行暂存之前还可包括：对同一文件类型的文件进行压缩，去除重复的压缩描述信息，例如，根据原始文件类型参数判断，对同一文件类型的文件，如果原始文件类型支持无损压缩，则对同一文件类型的文件使用无损压缩文件之后再进行存储处理，即可采用一个压缩描述信息将同一文件类型的文件压缩在一起，避免重复的压缩描述信息，节省存储空间；如果不支持无损压缩，则直接继续存储处理。

参考图2，该图是本发明用户行为审计方法的一个具体实施例流程图，本发明的用户行为审计方法，主要包括如下步骤：

步骤S201，通过若干个物联网设备采集用户行为数据，具体实现时，所述用户行为数据文件例如可为图像文件，所述物联网设备存储性能有限；

步骤S202，在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；

步骤S203，对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息，具体实现时，所述描述文件卷的元信息还可包括：文件卷ID、文件卷的存储时间长度、存储文件的文件夹的路径；

另外，上述文件块可包括文件头结构，用于存储描述文件块的元信息，具体实现时，所述描述文件块的元信息可包括：文件块ID、文件块大小、文件块偏移量、文件块校验信息，这里不再赘述；

步骤S204，当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；

步骤S205，将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计，具体实现时，审计服务器可按照预先设计的审计规则进行审计，这里不再赘述。

需要说明的，本实施例中由于将同一文件类型的用户行为数据文件存储在一个大的文件卷中，即可在不改变硬件性能条件下，文件读取时只需要一次磁盘IO，大大提高效率，在不改变原有文件系统情况下，存储海量文件不会耗尽操作系统文件描述符，不会由于存储海量文件使文件系统瘫痪；写入文件磁盘IO合并，在不更改硬件条件下，使多次随机写入变成一次连续写入，提高效率和数据吞吐量。

另外，现有用户行为审计方法中当暂存的用户行为数据文件过期时，在传统文件系统进行文件删除操作的代价巨大，需要更新海量文件系统的元数据信息，为了解决该问题，本发明的方法还包括：

对暂存的用户行为数据文件进行过期处理时，以文件卷的生命周期进行过期处理，单个用户行为数据文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷，假设一个文件卷中合并了1,000,000个文件块；如果使用文件系统管理原始文件，则每一个原始文件过期删除需要一个磁盘IO操作，1,000,000个文件则需要一百万次磁盘IO操作，而采用本发明的方法则只需要两次磁盘IO操作，有效降低了系统消耗，即本发明文件删除时能够极大降低磁盘IO请求数量，提高文件删除效率。

另外，本发明中对同一文件类型的用户行为数据文件进行暂存之前还包括：对同一文件类型的用户行为数据文件进行压缩，去除重复的压缩描述信息，例如，根据原始文件类型参数判断，对同一文件类型的用户行为数据文件，如果原始文件类型支持无损压缩，则对同一文件类型的用户行为数据文件使用无损压缩文件之后再进行存储处理，即可采用一个压缩描述信息将同一文件类型的用户行为数据文件压缩在一起，避免重复的压缩描述信息，节省存储空间；如果不支持无损压缩，则直接继续存储处理。

下面以用户行为数据文件为图像文件举例说明本发明用户行为审计方法中进行文件读写的过程，具体来说，当有图像文件需要存储时，调用存储API接口，存储接口API会根据图像文件的原始文件类型检查是否有可用的文件卷可用，如果有未满的文件卷可用，则使用已经存在的文件卷；如果当前的文件卷已经存满，则根据文件类型新建一个对应的文件卷，获取可用文件卷的ID，文件卷ID可用32Bit表示，一个实例可以有4GiB(2^32byte)个文件卷；如果每个文件夹大小是8G，则可以使用32T的存储空间，普遍大于单个物联网设备的存储空间；存储接口API通过文件卷ID获取文件卷的一个文件块ID，该ID是文件块在文件卷中的唯一编号，用64Bit表示，本发明中会移除该图像文件的文件类型描述信息，留下有效数据，并当作文件块写入到文件卷中，同时记录文件块的大小和文件块偏移量，例如对于文件类型为BMP的图像文件，本发明会移除表示BMP图片类型的2byte大小的公共头信息再进行存储，存储完毕，存储接口API返回使用的文件卷ID、文件块ID以供获取文件时使用，文件块的元信息存储在内存中，作为文件块索引存在，其中描述文件块的元信息中的文件大小以32Bit表示，文件块偏移量以32Bit表示，所以每一个文件的索引占用16byte的内存空间，若存在1,000,000个文件块，则需要16M的内存空间，对于存储性能有限的物联网单个设备也足以应对。

另外，当用户行为数据文件为图像文件时，本发明中对同一图像文件类型的用户行为数据文件进行暂存之前还包括：对同一图像文件类型的用户行为数据文件按照视觉冗余度进行分类，分为第一类视觉冗余度用户行为数据文件和第二类视觉冗余度用户行为数据文件，所述第一类视觉冗余度用户行为数据文件为低视觉冗余度用户行为数据，所述第二类视觉冗余度用户行为数据文件为高视觉冗余度用户行为数据，本实施例中对第一类视觉冗余度用户行为数据文件，采用文件级的数据去重对用户行为数据文件进行去重，即：使用哈希函数计算用户行为数据文件的哈希值，如果哈希值相同，则用其中一个用户行为数据文件代替另外一个用户行为数据文件，对于第二类视觉冗余度用户行为数据，本实施例中采用块级的数据去重，即将用户行为数据文件分成数据块，通过散列算法计算每个块的哈希值，如果哈希值一致，则用其中一个代替另一个，需要说明的，具体实现时，判断用户行为数据文件的视觉冗余度的高低可以根据预定的阈值进行判断，即用户行为数据文件的视觉冗余度高于预定阈值的，则确定用户行为数据文件为高视觉冗余度用户行为数据，用户行为数据文件的视觉冗余度不高于预定阈值的，则确定用户行为数据文件为低视觉冗余度用户行为数据，这里不再赘述，本实施例中通过对用户行为数据文件进行去重，可以进一步节省物联网设备的存储空间，提高存储效率，另外，本实施例中当用户行为数据文件为图像文件时，对同一图像文件类型的用户行为数据文件按照视觉冗余度进行分类，对第一类视觉冗余度用户行为数据文件即低视觉冗余度用户行为数据，采用文件级的数据去重对用户行为数据文件进行去重，而对第二类视觉冗余度用户行为数据即高视觉冗余度用户行为数据，采用块级的数据去重，便于后续对用户行为数据进行审计，也可最大限度的去除视觉冗余数据，这里不再赘述。

另外，当有文件需要获取时，需提供存储文件时的文件卷ID和文件块ID，本实施例中可在内存中读取文件元信息，然后进行一次磁盘IO访问，即可读取数据。由于在存储时文件块去除了文件类型描述信息，需要在返回数据时自动补齐文件类型描述信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用户行为审计方法，其特征在于，包括如下步骤：

通过若干个物联网设备采集用户行为数据；

在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；

对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；

当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；

将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计；

其中，对暂存的用户行为数据文件进行过期处理时，以文件卷的生命周期进行过期处理，单个用户行为数据文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷；

对同一文件类型的用户数据文件进行暂存之前还包括：对同一文件类型的用户行为数据文件进行压缩，去除重复的压缩描述信息。

2.根据权利要求1所述的方法，其特征在于，所述用户行为数据文件为图像文件。

3.根据权利要求1所述的方法，其特征在于，所述描述文件卷的元信息还包括：文件卷ID、文件卷的存储时间长度、存储文件的文件夹的路径。

4.根据权利要求1所述的方法，其特征在于，所述文件块包括文件头结构，用于存储描述文件块的元信息。

5.根据权利要求1所述的方法，其特征在于，所述描述文件块的元信息包括：文件块ID、文件块大小、文件块偏移量、文件块校验信息。

6.一种文件存储方法，其特征在于，包括：

在存储文件的物联网设备的文件系统中对同一文件类型的文件建立对应该文件类型的文件卷；

对同一文件类型的文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；

读取文件卷中暂存的文件时，根据该文件卷块结构中的文件类型描述信息对读取的文件补齐文件类型描述信息；

其中，对暂存的文件进行过期处理时，以文件卷的生命周期进行过期处理，单个文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷；

对同一文件类型的文件进行暂存之前还包括：

对同一文件类型的文件进行压缩，去除重复的压缩描述信息。