CN113420000A - 一种存储管理方法、装置、设备及机器可读存储介质 - Google Patents

Abstract

本公开提供一种存储管理方法、装置、设备及机器可读存储介质，该方法包括：为不同的业务名及其数据类型建立关联的文件夹；为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；若关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间，则将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。通过本公开的技术方案，根据不同的业务分别建立文件夹，并对每个文件夹设置存储容量上限，所有存储容量上限的总和大于总存储空间，从而保证每个储容量上限尽可能大，以避免总存储空间被浪费。

Description

一种存储管理方法、装置、设备及机器可读存储介质

技术领域

本公开涉及通信技术领域，尤其是涉及一种存储管理方法、装置、设备及机器可读存储介质。

背景技术

随着互联网的快速发展，网络安全问题日益严重，安全设备发挥着越来越重要的作用。安全设备中运行着不同的安全业务模块，如IPS(Intrusion Prevention System，入侵防御系统)、AV(Anti-Virus，反病毒)等，这些业务模块在处理业务时会产生大量的数据，这些数据需要本地持久化保存，来让用户了解当前网络安全状态。

随着设备侧产生的数据日益增长，对于海量网络安全数据的存储需求也变得日益突出。然而对于安全设备来说，一般不像服务器具有庞大的存储空间以及可扩展性，而是只能挂载少量空间有限的存储介质如硬盘、U盘、SD卡等，以对数据进行存储。

一方面需要充分利用设备上有限的存储空间来存储，不造成空间浪费，也不能由于空间不足造成数据丢失，另一方面，安全数据的种类很多，需要对各类数据进行分类、管理，防止某类数据过多占用存储空间。

一般来说，对于一块挂载在设备上的存储介质，可以通过分区等方式，为各类业务划分并预留固定的空间，不同的业务数据彼此隔离，某类业务数据不会超过分配的空间上限。

此类方法虽然能比较好的控制不同类别数据的存储上限，但是空间是预分配的，导致缺乏灵活性，重新调整可能需要重新分区，对于特定的应用场景难以满足需求，也无法应对环境的变化以及新增类型的数据。因为在不同的场景下，不同业务的数据产生的数据速度以及积累的数据量可能差别很大。这样一方面会让更需要空间的业务模块无存储空间可用，另一方面会让某些空间由于被预分配较大的空间，但是却只存储了少量数据而被大大的浪费。

发明内容

有鉴于此，本公开提供一种存储管理方法、装置及电子设备、机器可读存储介质，以改善上述存储空间分配不灵活、存储空间被浪费至少之一的问题。

具体地技术方案如下：

本公开提供了一种存储管理方法，应用于安全设备，所述方法包括：根据业务信息，为不同的业务名及其数据类型建立关联的文件夹；根据业务需求，为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；若关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间，则将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。

作为一种技术方案，所述根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间，包括：以预设周期，根据总存储空间和当前已用存储量，检查当前剩余存储空间；若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据。

作为一种技术方案，所述若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据，包括：若当前剩余存储空间小于等于阈值，则删除数量关联于上一所述周期内新增数据量的最旧的已存储数据。

作为一种技术方案，所述安全设备包括至少两个存储介质，所述方法包括：为不同的业务名及其数据类型建立相应的与各存储介质的不同的关联优先级；优先在业务名及其数据类型关联优先级高的存储介质上建立关联的文件夹。

本公开同时提供了一种存储管理装置，应用于安全设备，所述装置包括：文件夹模块，用于根据业务信息，为不同的业务名及其数据类型建立关联的文件夹；设置模块，用于根据业务需求，为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；写入模块，用于在关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间时，将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。

作为一种技术方案，所述根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间，包括：以预设周期，根据总存储空间和当前已用存储量，检查当前剩余存储空间；若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据。

作为一种技术方案，所述若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据，包括：若当前剩余存储空间小于等于阈值，则删除数量关联于上一所述周期内新增数据量的最旧的已存储数据。

作为一种技术方案，所述安全设备包括至少两个存储介质，所述装置包括：为不同的业务名及其数据类型建立相应的与各存储介质的不同的关联优先级；优先在业务名及其数据类型关联优先级高的存储介质上建立关联的文件夹。

本公开同时提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的存储管理方法。

本公开同时提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的存储管理方法。

本公开提供的上述技术方案至少带来了以下有益效果：

根据不同的业务及其关联的不同的业务数据类型，分别建立文件夹，替代对硬盘进行分区，并对每个业务及数据类型即关联文件夹设置存储容量上限，所有设定的存储容量上限的总和大于总存储空间，从而保证每个业务及数据类型被设定的储容量上限尽可能大，以在实际情况中保证实际发生数据量较大的业务能够抢占更多的存储空间，避免总存储空间被浪费。

附图说明

为了更加清楚地说明本公开实施方式或者现有技术中的技术方案，下面将对本公开实施方式或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施方式，对于本领域普通技术人员来讲，还可以根据本公开实施方式的这些附图获得其他的附图。

图1是本公开一种实施方式中的存储管理方法的流程图；

图2是本公开一种实施方式中的存储管理装置的结构图；

图3是本公开一种实施方式中的电子设备的硬件结构图。

具体实施方式

在本公开实施方式使用的术语仅仅是出于描述特定实施方式的目的，而非限制本公开。本公开和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开实施方式可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

一种技术方案是为数据库的规格设置上限，通过限制条数上限，基本保持存储空间不增长，并通过在数据库中设置unique列或主键的方式，通过为此列分配ID的方式，保持数据不超过上限。

此方案适合不考虑分库的小空间存储介质，只支持单库小规格数据的存储，一旦要支持大数据存储，不可避免的会产生分库，但此方法只能同时限制一个数据库的大小，无法成功进行限制。可对条数进行限制，但不方便对上限进行调整，如果需要调整可能需要重新分配所有数据的主键ID值。另外此方案是通过条数与存储空间进行对应的，仍然可能造成空间浪费或新数据无法存储的问题。

设备一般支持挂载的硬盘、U盘、SD卡等存储介质来进行存储，可能同时支持多种不同类型的存储介质，一种方案是使用默认的存储介质或者确定一个简单的优先级来确定使用何种存储介质。

该方案只能选择某个存储介质进行存储，或者只能按优先级对使用的存储介质进行切换，无法灵活的使用并充分利用设备上不同类型的存储介质，这样只能对设备上当前使用的存储介质的进行管理以及使用状况的展示，这样其他的存储介质就会空闲，无法有效利用。

有鉴于此，本公开提供一种存储管理方法、装置及电子设备、机器可读存储介质，以改善上述存储空间分配不灵活、存储空间被浪费至少之一的问题。

具体地，技术方案如后述。

在一种实施方式中，本公开提供了一种存储管理方法，应用于安全设备，所述方法包括：根据业务信息，为不同的业务名及其数据类型建立关联的文件夹；根据业务需求，为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；若关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间，则将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。

具体地，如图1，包括以下步骤：

步骤S11，根据业务信息，为不同的业务名及其数据类型建立关联的文件夹；

步骤S12，根据业务需求，为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；

步骤S13，在关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间时，将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。

根据不同的业务及其关联的不同的业务数据类型，分别建立文件夹，替代对硬盘进行分区，并对每个业务及数据类型即关联文件夹设置存储容量上限，所有设定的存储容量上限的总和大于总存储空间，从而保证每个业务及数据类型被设定的储容量上限尽可能大，以在实际情况中保证实际发生数据量较大的业务能够抢占更多的存储空间，避免总存储空间被浪费。在一种实施方式中，所述根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间，包括：以预设周期，根据总存储空间和当前已用存储量，检查当前剩余存储空间；若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据。

在一种实施方式中，所述若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据，包括：若当前剩余存储空间小于等于阈值，则删除数量关联于上一所述周期内新增数据量的最旧的已存储数据。从而确保数据可以循环记录。

在一种实施方式中，所述安全设备包括至少两个存储介质，所述方法包括：为不同的业务名及其数据类型建立相应的与各存储介质的不同的关联优先级；优先在业务名及其数据类型关联优先级高的存储介质上建立关联的文件夹。

在一种实施方式中，通过维持每业务占用存储空间动态平衡的方式，充分利用空间，让新数据能持续存储。

数据库每条数据的存储空间占用与数据库表、列、实际每列的长度、索引等等因素相关，取决于实际情况，不方便直接计算，即使计算也无法保证准确性。同一类的不同条数据可能实际有长度的区别，占用数据库分页空间的大小不一，但对于每列数据来说，安全数据具有较高的相似性，因此在一个较长的时间范围内，平均每条日志的占用空间接近。对于大存储介质的存储，由于存储空间增长变化不大，对存储空间占用的检测允许一定时间的滞后，并可以预留出足够的空间用于缓冲来应对检测不及时以及一些突发情况。

不同的业务数据存在不同的目录中，以目录(挂载路径)、子目录(业务名)、子子目录(数据类型)的以此分类的方式，对不同业务数据例如日志、抓包文件等按类型进行划分；不以分区的形式提前划分大小，可以通过定义来限定每业务最大的占用空间并可以修改，业务数据之间的空间可以相互抢占，即需要使用更大空间的业务可以抢占更大的空间，但是最后不能超过配置的上限。

例如，当前总空间为S0，总已用空间为S1，总剩余空间为S2＝S0-S1。将业务n配置的存储上限设为sn，sn可以由用户进行调整、修改，则可能出现所有业务总上限s1+s2+…+sn>S0，即各业务会共同抢占剩余空间S2，且这种情况下在S1达到S0前，由于其他业务的抢占，业务n实际能存储的空间可能无法到达各自配置的上限sn，此上限只能保证不超过，不保证一定能达到，这样总空间S0不会被浪费。

不同的存储介质有不同的挂载路径，如“/mnt/hda0:”、“/mnt/hdb0:”，彼此存储空间相互隔离，根据存储空间大小的区别有默认的优先级，在用户不做配置的情况下，按默认优先级进行选择。

定时计算总的存储空间以及每个存储介质的空间使用情况，以及其中每类业务不同数据类型的空间占用情况，可通过web进行展示。可以同时使用多种存储介质，通过配置来确定使用哪些介质，并可以添加与删除。可以将不同业务数据与不同的存储介质绑定，也可以自定义存储介质优先级，等存满一种存储介质后，再使用下一种。存储设备在存储满后或者用户需要进行手动卸载时，先释放所有相关文件句柄，然后按照配置的规则或优先级选择另一个合适的存储介质进行存储，来保证业务数据的不中断。

在一种实施方式中，本公开同时提供了一种存储管理装置，如图2，应用于安全设备，所述装置包括：文件夹模块21，用于根据业务信息，为不同的业务名及其数据类型建立关联的文件夹；设置模块22，用于根据业务需求，为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；写入模块23，用于在关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间时，将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。

在一种实施方式中，所述根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间，包括：以预设周期，根据总存储空间和当前已用存储量，检查当前剩余存储空间；若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据。

在一种实施方式中，所述若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据，包括：若当前剩余存储空间小于等于阈值，则删除数量关联于上一所述周期内新增数据量的最旧的已存储数据。

在一种实施方式中，所述安全设备包括至少两个存储介质，所述装置包括：为不同的业务名及其数据类型建立相应的与各存储介质的不同的关联优先级；优先在业务名及其数据类型关联优先级高的存储介质上建立关联的文件夹。

装置实施方式与对应的方法实施方式相同或相似，在此不再赘述。

在一种实施方式中，本公开提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的存储管理方法，从硬件层面而言，硬件架构示意图可以参见图3所示。

在一种实施方式中，本公开提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的存储管理方法。

这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施方式阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本公开时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本公开的实施方式可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本公开实施方式可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域技术人员应明白，本公开的实施方式可提供为方法、系统或计算机程序产品。因此，本公开可以采用完全硬件实施方式、完全软件实施方式、或者结合软件和硬件方面的实施方式的形式。而且，本公开可以采用在一个或者多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本公开的实施方式而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。

Claims (10)

1.一种存储管理方法，其特征在于，应用于安全设备，所述方法包括：

根据业务信息，为不同的业务名及其数据类型建立关联的文件夹；

根据业务需求，为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；

若关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间，则将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。

2.根据权利要求1所述的方法，其特征在于，所述根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间，包括：

以预设周期，根据总存储空间和当前已用存储量，检查当前剩余存储空间；

若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据。

3.根据权利要求2所述的方法，其特征在于，所述若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据，包括：

若当前剩余存储空间小于等于阈值，则删除数量关联于上一所述周期内新增数据量的最旧的已存储数据。

4.根据权利要求1所述的方法，其特征在于，所述安全设备包括至少两个存储介质，所述方法包括：

为不同的业务名及其数据类型建立相应的与各存储介质的不同的关联优先级；

优先在业务名及其数据类型关联优先级高的存储介质上建立关联的文件夹。

5.一种存储管理装置，其特征在于，应用于安全设备，所述装置包括：

文件夹模块，用于根据业务信息，为不同的业务名及其数据类型建立关联的文件夹；

设置模块，用于根据业务需求，为每个文件夹设置关联的存储容量上限，根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间；

写入模块，用于在关联的文件夹已存数据未超过该文件夹关联的存储容量上限，且各文件夹已存数据总量未超过总存储空间时，将业务产生的数据，根据数据关联的业务名及其数据类型存入关联的文件夹。

6.根据权利要求5所述的装置，其特征在于，所述根据设备存储硬件信息，设定总存储空间，各文件夹关联的存储容量上限之和大于总存储空间，包括：

以预设周期，根据总存储空间和当前已用存储量，检查当前剩余存储空间；

若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据。

7.根据权利要求6所述的装置，其特征在于，所述若当前剩余存储空间小于等于阈值，则删除设定数量的最旧的已存储数据，包括：

若当前剩余存储空间小于等于阈值，则删除数量关联于上一所述周期内新增数据量的最旧的已存储数据。

8.根据权利要求5所述的装置，其特征在于，所述安全设备包括至少两个存储介质，所述装置包括：

为不同的业务名及其数据类型建立相应的与各存储介质的不同的关联优先级；

优先在业务名及其数据类型关联优先级高的存储介质上建立关联的文件夹。

9.一种电子设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令，以实现权利要求1-4任一所述的方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-4任一所述的方法。

Images