CN115658626B

CN115658626B - 一种分布式网络小文件存储管理方法

Info

Publication number: CN115658626B
Application number: CN202211671789.4A
Authority: CN
Inventors: 田红伟; 徐文勇; 杨俊萍
Original assignee: Chengdu Shumo Technology Co ltd
Current assignee: Chengdu Shumo Technology Co ltd
Priority date: 2022-12-26
Filing date: 2022-12-26
Publication date: 2023-03-07
Anticipated expiration: 2042-12-26
Also published as: CN115658626A

Abstract

本发明涉及网络安全技术领域，公开了一种分布式网络小文件存储管理方法，本方法通过对全量文件存储到FastDFS集群全量库中，对恶意文件存储到FastDFS集群持久库中，实现了对小文件的分区存储及差异化管理；其中，分区存储方便对海量小文件进行回滚，而差异化管理则实现了对流量中重点关注的文件进行用久存储，为取证提供了原始素材；进一步地，基于文件清理服务和分布式存储节点监听服务，实现了按需进行大文件的清理，提高了文件清理的性能和效率。

Description

一种分布式网络小文件存储管理方法

技术领域

本发明涉及互联网技术领域，尤其涉及网络安全领域，更具体的说，涉及一种分布式网络小文件存储管理方法。

背景技术

随着互联网技术的迅速发展，产生的信息呈爆炸式增长，传统的文件系统难以满足海量文件对于动态扩展、高效访问的需求。尤其是对于半结构化数据或非结构化数据而言，此类数据的占用空间通常比结构化数据大，对存储系统的要求更高，此外，在一些应用场景中需要从灵活多变的多个维度快速对半结构化数据或非结构化数据进行搜索，这对搜索引擎也提出了要求。

目前，现有的方案主要采用以下两种方式来对小文件进行存储：

1）将小文件聚合成大文件进行存储；

2）利用第三方中间件来进行小文件存储，如FASTDFS，MINIO，HDFS等。

以上方案可以实现海量小文件的实时存储，但存储到分布式系统中的小文件清理，只能通过提前标记，要么等整块文件都标记删除后，再将整块文件删除；要么采用复制的方法，将标记块中不需要删除的文件复制出来存入新文件块中。以上方案在网络安全领域，每天会还原大量小文件，并且没法永久存储，需要进行大量文件的清理回滚，如果策略选择不合适会导致磁盘存储浪费，磁盘性能及效率下降。

例如公开号CN111782595A，公开日为2020年10月16日，发明名称为“海量文件管理方法、装置、计算机设备和可读存储介质”的发明专利申请，以及公开号为CN105701156A，公开日为2016年06月22日，发明名称为“一种分布式文件系统管理方法及装置”的发明专利。上述两个现有技术即是采用目前主流的方式来处理小文件，因此存在磁盘存储浪费、磁盘性能及效率下降的问题。

进一步地，公开号为CN113986867A，公开日为2022年01月28日，发明名称为“一种分布式文件清理方法、装置和系统”的发明专利申请，该现有技术虽然是通过阈值配置的方式对文件进行删除，但是该专利申请是针对所有的文件进行清理。

发明内容

为了解决上述现有技术存在的问题和缺陷，本发明提出了一种分布式网络小文件存储管理方法，通过对全量文件存储到FastDFS集群全量库中，对恶意文件存储到FastDFS集群持久库中，实现了对小文件的分区存储及差异化管理，避免了磁盘的存储浪费以及磁盘性能和效率下降的问题。

为了实现上述发明目的，本发明的技术方案如下：一种分布式网络小文件存储管理方法，包括海量网络小文件存储步骤、海量网络小文件检测及恶意小文件存储步骤和海量网络小文件清理步骤；

所述海量网络小文件存储步骤，流量探针设备将各安全域间的流量所产生的文件还原并上传至智能分析检测平台，所述智能分析检测平台包括文件检测模块以及部署在客户网络中的kafka集群，所述智能分析检测平台将文件统一存储至kafka集群中；

文件消费服务从kafka集群消费文件内容，并将所有小文件统一存储到FastDFS集群全量库中，其中，文件真实的存储FileID存储到ElasticSearch的md5-path索引中，文件真实的存储块信息存储至MySQL的fastdfs-trunk-info表中；

所述海量网络小文件检测及恶意小文件存储步骤，文件检测模块从md5-path索引中提取最新出现且未被检测的文件进行分析，分析完成后将检测分析结果存储到ElasticSearch的md5-libs索引中，并将md5-path索引中对应的md5值状态修改为完成分析；

文件检测模块针对可疑的检测分析结果，对原始文件进行提取，并将文件重新存储至FastDFS持久库中，根据该文件的MD5值更新md5-path索引中对应的文件存储类型、存储块信息和文件存储时的FileID字段信息；

所述海量网络小文件清理步骤，分布式存储节点监听服务每小时向文件清理服务上报当前磁盘的存储信息和FastDFS集群全量库及持久库的存储信息，文件清理服务统计各分布式节点存储信息；

当整个分布式集群存储总量达到阈值上限时，文件清理服务启动清理任务，从fastdfs-trunk-info表中根据更新时间提取最早且未被清理的全量库中的记录，并下发文件清除指令至各个分布式存储节点，同时将fastdfs-trunk-info表中对应记录状态标记为删除中；

各监听服务接收指令后启动文件清理工作，根据块文件存储路径按块文件删除，删除完成后反馈文件清理服务当前节点清理完成；

当所有分布式存储节点上的文件清除指令执行完成后，文件存储服务将fastdfs-trunk-info表中对应的记录状态标记为已删除，同时根据已经被清理的块文件信息，对md5-path索引中对应记录进行删除；

一轮清理完成后会做一次磁盘存储检查，如果磁盘存储空间没有下降到阈值下限，则重复执行以上清理任务，直到存储空间下降到阈值下限。

作为优选地，所述将所有小文件统一存储到FastDFS集群全量库中，包括：

文件消费服务计算小文件的MD5值，在ElasticSearch的md5-path索引中查询是否存在该MD5值，若不存在，则将该文件存储至FastDFS集群全量库中，并返回File ID，将FileID保存至ElasticSearch的md5-path索引中，同时解析FileID，将FastDFS真实存储块文件信息存储到MySQL的fastdfs-trunk-info表中；若该MD5值存在，则根据MD5值更新md5-path索引数据中的更新时间。

作为优选地，所述md5-path索引的存储字段包括存储类型、MD5值、文件存储FileID、文件块信息、文件检测标记、创建时间以及更新时间。

作为优选地，所述fastdfs-trunk-info表的存储字段包括MD5值、文件块信息、存储类型、删除标记、版本号、创建时间以及更新时间。

作为优选地，所述md5-libs索引的存储字段包括MD5值、文件等级、木马信息、网络行为、概要报告、文件报告路径、检测时间以及更新时间。

作为优选地，所述存储类型是指文件存储在全量库或持久库中。

作为优选地，所述可疑的检测分析结果是指文件的检测等级为低危、中危以及高危的文件。

作为优选地，所述阈值上限是指分布式集群存储总量占磁盘存储空间的85%，阈值下限是指分布式集群存储总量占磁盘存储空间的75%。

本发明的有益效果：

（1）本发明通过对全量文件存储到FastDFS集群全量库中，对恶意文件存储到FastDFS集群持久库中，实现了对小文件的分区存储及差异化管理，其中，分区存储方便对海量小文件进行回滚，而差异化管理则实现了对流量中重点关注的文件进行用久存储，为取证提供了原始素材。

（2）本发明通过文件清理服务和分布式存储节点监听服务，实现了按需进行大文件的清理，提高了文件清理的性能和效率。

（3）本发明中，海量流量中低价值文件可以被回滚，缩短了存储周期，降低了存储成本，进而确保平台的稳定性。

附图说明

本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：

图1为本发明方法流程图。

具体实施方式

为了使本领域的技术人员更好地理解本发明中的技术方案，下面将通过几个具体的实施例来进一步说明实现本发明发明目的的技术方案，需要说明的是，本发明要求保护的技术方案包括但不限于以下实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

目前，现有的方案主要采用以下两种方式来对网络中的小文件进行存储：

1)将小文件聚合成大文件进行存储;

2)利用第三方中间件来进行小文件存储，如FASTDFS，MINIO，HDFS等。

基于此，本发明的实施例提出了一种分布式网络小文件存储管理方法，通过对全量文件存储到FastDFS集群全量库中，对恶意文件存储到FastDFS集群持久库中，实现了对小文件的分区存储及差异化管理，避免了磁盘的存储浪费以及磁盘性能和效率下降的问题。

为了便于对本发明的技术方案进行理解，首先对本发明所涉及的一些术语进行解释说明。

小文件：所述小文件是指大小在几千字节(KB)到几兆字节(MB)的单个文件，文件类型包括但不限于图片、文档等。

MD5值：由MD5信息摘要算法得到的计算结果。在本发明中，每一个小文件都有唯一的MD5值。

本发明的实施例公开了一种分布式网络小文件存储管理方法，参照说明书附图1所示，该方法主要包括海量网络小文件存储步骤、海量网络小文件检测及恶意小文件存储步骤和海量网络小文件清理步骤。

具体的，所述海量网络小文件存储步骤主要包括以下内容：

流量探针设备通过文件还原引擎将各安全域间的流量所产生的文件还原，并上传至智能分析检测平台，所述智能分析检测平台将文件统一存储至kafka集群中。智能分析检测平台部署在客户网络中，主要包括有kafka集群、文件检测模块、数据采集引擎、大数据处理引擎以及IOC实时检测引擎等，kafka集群是一个消息中间件，相当于一个仓库，是智能分析检测平台的一部分，主要用于缓存数据，探针采集文件后会存储到仓库，然后大数据引擎就从仓库里面去取用对应的文件，智能分析检测平台再将文件统一存储到kafka集群中，kafka是一个消息中间件，搭建智能分析检测平台的时候就会搭建kafka集群，其部署在客户网络中，是智能分析平台的一部分，主要用于缓存数据；文件检测模块则主要用于接受文件，检测文件并返回检测结果。

文件消费服务从kafka集群消费文件内容，并将所有小文件统一存储到FastDFS集群全量库中，文件存储至FastDFS集群全量库后会返回相应的存储FileID，该存储FileID被存储至ElasticSearch的md5-path索引中，文件真实的存储块信息则存储至MySQL的fastdfs-trunk-info表中。其中，md5-path索引表示文件路径存储索引，主要用于存储每个文件的真实存储路径，提供原始文件下载途径；fastdfs-trunk-info表表示文件块存储表，主要用于存储FastDFS的块信息，小文件存储到FastDFS后最终会存储到一个块上，所述块为一个特殊格式的大文件。

在本实施例中，所述md5-path索引的存储字段包括存储类型、MD5值、文件存储FileID、文件块信息、文件检测标记、创建时间以及更新时间。

在本实施例中，所述fastdfs-trunk-info表的存储字段包括MD5值、文件块信息、存储类型、删除标记、版本号、创建时间以及更新时间。

在本实施例中，所述存储类型是指文件存储在全量库或持久库中。

在本实施例中，需要说明的是，小文件存储到FastDFS集群全量库中需要判断该文件是否已经存在，若该文件已经存在，则在md5-path索引中更新相应的数据即可，若该文件不存在，则需要对该文件进行存储，并保存相应的数据至md5-path索引以及fastdfs-trunk-info表中；具体的过程如下：

文件消费服务计算小文件的MD5值，在md5-path索引中查询是否存在该MD5值，若不存在，则将该文件存储至FastDFS集群全量库中，并返回存储File ID，将存储File ID保存至md5-path索引中，同时解析该存储FileID，将FastDFS真实存储块文件信息存储到fastdfs-trunk-info表中；若该MD5值存在，则根据MD5值更新md5-path索引数据中的更新时间。

进一步地，所述海量网络小文件检测及恶意小文件存储步骤主要包括以下内容：

文件检测模块从md5-path索引中提取最新出现且未被检测的文件进行分析，分析完成后将检测分析结果存储到ElasticSearch的md5-libs索引中，并将md5-path索引中对应的md5值状态修改为完成分析。

在本实施例中，所述md5-libs索引的存储字段包括MD5值、文件等级、木马信息、网络行为、概要报告、文件报告路径、检测时间以及更新时间。

在本实施例中，需要说明的是，md5-path索引中存储了创建时间以及文件检测状态等字段，最新出现且未被检测的文件即表示文件检测状态为未分析+按创建时间进行排序，取最新的。

在本实施例中，还需要说明的是，文件检测模块对文件进行检测分析的过程主要有启动沙箱 => 上传文件 => 模拟文件执行过程 => 收集文件执行过程数据 => 存储过程数据 => 调用外部接口 => 返回检测结果。文件检测模块内部定义了一套完整的可疑文件评判标准，最终体现在分析结果等级字段上，等级有正常、低危、中危、高危，外部直接获取等级字段，非正常的即为可疑的文件。

文件检测模块针对可疑的检测分析结果，对原始文件进行提取，并将文件重新存储至FastDFS持久库中，根据该文件的MD5值更新md5-path索引中对应的文件存储类型、存储块信息和文件存储时的FileID字段信息。

在本实施例中，需要说明的是，用户可以根据MD5值从md5-path索引中下载原始样本文件，也可通过MD5值在md5-path索引中获取文件的检测分析报告。

流量探针还原的文件具有量大、重复性低、小文件居多等特点，所以随着存储周期的增加，磁盘存储空间面临瓶颈，文件的清理工作必不可少。本发明通过文件清理服务和分布式存储节点监听服务实现文件的清理，文件清理只能针对FastDFS全量库FullGroup的文件进行清理，持久库PersisGroup中的文件为恶意文件，将永久存储。具体的，所述海量网络小文件清理步骤主要包括以下内容：

分布式存储节点监听服务每小时向文件清理服务上报当前磁盘的存储信息和FastDFS集群全量库及持久库的存储信息，文件清理服务统计各分布式节点存储信息。

在本实施例中，所述分布式存储节点为安装有存储服务的服务器。

在本实施例中，需要说明的是，文件清理服务统计各分布式节点存储信息是指磁盘的存储信息和FastDFS集群全量库及持久库的存储信息总和。

在本实施例中，还需要说明的是，所述文件清理服务的设计如下：

A、文件清理服务部署在服务器主节点；

B、文件清理服务做为服务端，启动Netty服务端口8089；

C、文件清理服务接受并处理监听服务推送的磁盘存储信息，并根据配置的清理策略下发清理指令到各分布式节点监听服务。

在本实施例中，还需要进一步说明的是，所述分布式监听服务的设计如下：

A、监听服务部署在各分布式存储节点，并主动与文件清理服务8089进行长连接；

B、监听服务负责采集当前节点的磁盘存储信息并推送到文件清理服务；

C、监听服务负责接受文件清理服务下发的指令对存储在FastDFS的块文件进行清理。

当整个分布式集群存储总量达到阈值上限时，文件清理服务启动清理任务，从fastdfs-trunk-info表中根据更新时间提取最早且未被清理的全量库中的记录，并下发文件清除指令至各个分布式存储节点，同时将fastdfs-trunk-info表中对应记录状态标记为删除中。

在本实施例中，需要说明的是，阈值上限是指分布式集群存储总量占磁盘存储空间的85%，阈值下限是指分布式集群存储总量占磁盘存储空间的75%。

各监听服务接收指令后启动文件清理工作，根据块文件存储路径按块文件删除，删除完成后反馈文件清理服务当前节点清理完成。

当所有分布式存储节点上的文件清除指令执行完成后，文件存储服务将fastdfs-trunk-info表中对应的记录状态标记为已删除，同时根据已经被清理的块文件信息，对md5-path索引中对应记录进行删除。

本发明通过对全量文件存储到FastDFS集群全量库中，对恶意文件存储到FastDFS集群持久库中，实现了对小文件的分区存储及差异化管理；其中，分区存储方便对海量小文件进行回滚，而差异化管理则实现了对流量中重点关注的文件进行用久存储，为取证提供了原始素材；进一步地，通过文件清理服务和分布式存储节点监听服务，实现了按需进行大文件的清理，提高了文件清理的性能和效率。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims

1.一种分布式网络小文件存储管理方法，其特征在于，包括海量网络小文件存储步骤、海量网络小文件检测及恶意小文件存储步骤和海量网络小文件清理步骤；

2.根据权利要求1所述的一种分布式网络小文件存储管理方法，其特征在于，所述将所有小文件统一存储到FastDFS集群全量库中，包括：

计算小文件的MD5值，在ElasticSearch的md5-path索引中查询是否存在该MD5值，若不存在，则将该文件存储至FastDFS集群全量库中，并返回FileID，将FileID保存至ElasticSearch的md5-path索引中，同时解析FileID，将FastDFS真实存储块文件信息存储到MySQL的fastdfs-trunk-info表中；若该MD5值存在，则根据MD5值更新md5-path索引数据中的更新时间。

3.根据权利要求1所述的一种分布式网络小文件存储管理方法，其特征在于，所述md5-path索引的存储字段包括存储类型、MD5值、文件存储FileID、文件块信息、文件检测标记、创建时间以及更新时间。

4.根据权利要求1所述的一种分布式网络小文件存储管理方法，其特征在于，所述fastdfs-trunk-info表的存储字段包括MD5值、文件块信息、存储类型、删除标记、版本号、创建时间以及更新时间。

5.根据权利要求1所述的一种分布式网络小文件存储管理方法，其特征在于，所述md5-libs索引的存储字段包括MD5值、文件等级、木马信息、网络行为、概要报告、文件报告路径、检测时间以及更新时间。

6.根据权利要求3或4所述的一种分布式网络小文件存储管理方法，其特征在于，所述存储类型是指文件存储在全量库或持久库中。

7.根据权利要求1所述的一种分布式网络小文件存储管理方法，其特征在于，所述可疑的检测分析结果是指文件的检测等级为低危、中危以及高危的文件。

8.根据权利要求1所述的一种分布式网络小文件存储管理方法，其特征在于，所述阈值上限是指分布式集群存储总量占磁盘存储空间的85%，阈值下限是指分布式集群存储总量占磁盘存储空间的75%。