CN110275865B - 文件存储优化方法和装置 - Google Patents

文件存储优化方法和装置 Download PDF

Info

Publication number
CN110275865B
CN110275865B CN201910535866.5A CN201910535866A CN110275865B CN 110275865 B CN110275865 B CN 110275865B CN 201910535866 A CN201910535866 A CN 201910535866A CN 110275865 B CN110275865 B CN 110275865B
Authority
CN
China
Prior art keywords
file
service
storage
optimized
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910535866.5A
Other languages
English (en)
Other versions
CN110275865A (zh
Inventor
李小峰
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Apas Technology Co ltd
Original Assignee
Zhuhai Tianyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Tianyan Technology Co ltd filed Critical Zhuhai Tianyan Technology Co ltd
Priority to CN201910535866.5A priority Critical patent/CN110275865B/zh
Publication of CN110275865A publication Critical patent/CN110275865A/zh
Application granted granted Critical
Publication of CN110275865B publication Critical patent/CN110275865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1737Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种文件存储优化方法和装置,其中方法包括:遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径;根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;接收用户基于所述文件存储树形结构图发送的存储优化指令,并在所述确定的各个业务文件中确定所述存储优化指令对应的待优化业务文件;根据所述存储优化指令,对所述待优化业务文件执行优化操作。通过本实施例,能够对文件存储方式进行优化,节约存储成本,提高存储资源利用率。

Description

文件存储优化方法和装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种文件存储优化方法和装置。
背景技术
随着数据时代的到来,数据量呈爆发式增长,各种互联网业务产生的日志文件或资源文件逐日增多,这为文件存储带来了挑战。目前各企业主要通过企业内部的文件服务器或者第三方的文件服务器存储文件,然而,现有的存储方式中,缺乏合理的规划和设计,难以避免的存在存储不合理的情况。比如:文件存储的目录结构过深,文件没有做压缩处理而直接存档,无效的大文件占用存储空间等。这些不合理情况都会造成存储成本的浪费,降低存储资源利用率。基于此,有必要提供一种技术方案,以对文件存储方式进行优化,节约存储成本,提高存储资源利用率。
发明内容
本申请实施例的目的是提供一种文件存储优化方法和装置,以对文件存储方式进行优化,节约存储成本,提高存储资源利用率。
为解决上述技术问题,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种文件存储优化方法,包括:
遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径;其中,所述特定业务的各个业务文件存储在所述文件服务器,存储路径中记录有确定的业务文件的各层上级目录;
根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,所述文件存储树形结构图中,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
接收用户基于所述文件存储树形结构图发送的存储优化指令,并在所述确定的各个业务文件中确定所述存储优化指令对应的待优化业务文件;
根据所述存储优化指令,对所述待优化业务文件执行优化操作;其中,所述优化操作包括:压缩所述待优化业务文件、调整所述待优化业务文件的存储路径、删除所述待优化业务文件中的一项或组合。
第二方面,本申请实施例提供了一种文件存储优化装置,包括:
遍历模块,用于遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径;其中,所述特定业务的各个业务文件存储在所述文件服务器,存储路径中记录有确定的业务文件的各层上级目录;
构建模块,用于根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,所述文件存储树形结构图中,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
接收模块,用于接收用户基于所述文件存储树形结构图发送的存储优化指令,并在所述确定的各个业务文件中确定所述存储优化指令对应的待优化业务文件;
优化模块,用于根据所述存储优化指令,对所述待优化业务文件执行优化操作;其中,所述优化操作包括:压缩所述待优化业务文件、调整所述待优化业务文件的存储路径、删除所述待优化业务文件中的一项或组合。
第三方面,本申请实施例提供了一种文件存储优化设备,包括:存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令,所述计算机可执行指令被所述处理器执行时实现如上述第一方面所述的文件存储优化方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令被处理器执行时实现如上述第一方面所述的文件存储优化方法的步骤。
可见,通过本申请实施例,能够确定各类业务的业务文件及其存储路径,或者确定特定业务的各个业务文件及其存储路径,并根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示,从而使用户基于文件存储树形结构图发送存储优化指令,还能够根据存储优化指令,对待优化业务文件执行优化操作,优化操作包括压缩待优化业务文件、调整待优化业务文件的存储路径、删除待优化业务文件中的一项或组合,从而方便用户可视化地了解业务文件的存储情况,并可视化地对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的文件存储优化方法的应用场景示意图;
图2为本申请一实施例提供的文件存储优化方法的流程示意图;
图3为本申请另一实施例提供的文件存储优化方法的应用场景示意图;
图4a为本申请一实施例提供的文件存储树形结构图的示意图;
图4b为本申请另一实施例提供的文件存储树形结构图的示意图;
图4c为本申请另一实施例提供的文件存储树形结构图的示意图;
图4d为本申请另一实施例提供的文件存储树形结构图的示意图;
图5为本申请另一实施例提供的文件存储优化方法的应用场景示意图;
图6为本申请一实施例提供的文件存储优化装置的模块组成示意图;
图7为本申请一实施例提供的文件存储优化设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请实施例的目的是提供一种文件存储优化方法和装置,以对文件存储方式进行优化,节约存储成本,提高存储资源利用率。
图1为本申请一实施例提供的文件存储优化方法的应用场景示意图,如图1所示,该场景包括多个文件服务器,如图1中的文件服务器101、102、103等,还包括文件存储优化系统,如图1中的文件存储优化系统104。图1中,文件服务器中存储有业务文件,文件存储优化系统分别与每个文件服务器通信连接,用于执行本申请实施例中的文件存储优化方法,对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
图2为本申请一实施例提供的文件存储优化方法的流程示意图,如图2所示,该流程包括以下步骤:
步骤S202,遍历文件服务器,以确定文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径;其中,特定业务的各个业务文件存储在文件服务器,存储路径中记录有确定的业务文件的各层上级目录;
步骤S204,根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,文件存储树形结构图中,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
步骤S206,接收用户基于文件存储树形结构图发送的存储优化指令,并在确定的各个业务文件中确定存储优化指令对应的待优化业务文件;
步骤S208,根据存储优化指令,对待优化业务文件执行优化操作;其中,优化操作包括:压缩待优化业务文件、调整待优化业务文件的存储路径、删除待优化业务文件中的一项或组合。
可见,通过本申请实施例,能够确定各类业务的业务文件及其存储路径,或者确定特定业务的各个业务文件及其存储路径,并根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示,从而使用户基于文件存储树形结构图发送存储优化指令,还能够根据存储优化指令,对待优化业务文件执行优化操作,优化操作包括压缩待优化业务文件、调整待优化业务文件的存储路径、删除待优化业务文件中的一项或组合,从而方便用户可视化地了解业务文件的存储情况,并可视化地对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
本实施例中,业务文件包括日志文件、资源文件等。一个实施例中,文件服务器中存储有至少一类业务的业务文件。该实施例中,上述步骤S202为,遍历文件服务器,以确定文件服务器存储的各类业务的业务文件以及每个业务文件的存储路径。该存储路径中记录有确定的业务文件的各层上级目录。针对某业务文件A,该存储路径可以举例为:C/2018/0301/A,该存储路径表示,业务文件A存储在C盘的名为2018文件夹下,进一步地,存储在名为0301文件夹下。该例中,业务文件A的各层上级目录分别为名为2018的文件夹和名为0301的文件夹。
另一个实施例中,文件服务器中存储有特定业务的各个业务文件,特定业务可以举例为某应用程序对应的业务,比如聊天程序中的发红包业务。该实施例中,上述步骤S202为,遍历文件服务器,以确定特定业务的各个业务文件以及每个业务文件的存储路径。该存储路径中记录有特定业务的业务文件的各层上级目录。针对某业务文件B,该存储路径可以举例为:C/2018/0301/B,该存储路径表示,业务文件B存储在C盘的名为2018文件夹下,进一步地,存储在名为0301文件夹下。该例中,业务文件B的各层上级目录分别为名为2018的文件夹和名为0301的文件夹。
上述步骤S202,遍历文件服务器,以确定文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径,具体为:
(a1)在文件服务器上部署从属于分布式系统的遍历节点;
(a2)通过分布式系统的主控节点控制该遍历节点遍历文件服务器,以确定文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径。
具体地,本实施例中,在文件服务器上部署从属于分布式系统的遍历节点,并通过分布式系统的主控节点控制该遍历节点遍历文件服务器,以确定文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径。
对应到图1的场景中,图3为本申请另一实施例提供的文件存储优化方法的应用场景示意图,如图3所示,该场景中,文件存储优化系统104包括主控节点1041和遍历节点1042,主控节点1041位于单独的服务器上,遍历节点1042部署在文件服务器上,可以由主控节点1041在文件服务器上部署遍历节点1042。通过主控节点1041控制该遍历节点1042遍历文件服务器,以确定文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径。
当文件服务器由第三方企业提供时,通过本实施例中的方法,能够由主控节点在文件服务器上部署遍历节点,并通过主控节点控制该遍历节点遍历文件服务器,从而达到确定业务文件及其存储路径的效果。当然,当文件服务器位于企业内部时,也可以不通过分布式系统,分别在每个文件服务器上部署特定程序以遍历该文件服务器,或者,设置文件存储优化系统包括单独的服务器,通过该单独的服务器遍历文件服务器。
上述步骤S204中,根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示。能够理解,这里“确定的各个业务文件”指的是步骤S202中的“各类业务的业务文件”或者“特定业务的各个业务文件”。
上述步骤S204中,根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示。该文件存储树形结构图中,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径。该文件存储树形结构图中,当确定的业务文件为步骤S202中的“各类业务的业务文件”时,根节点可以表示上述的文件服务器,当确定的业务文件为步骤S202中的“特定业务的各个业务文件”时,根节点可以表示上述的文件服务器或者表示特定业务。
图4a为本申请一实施例提供的文件存储树形结构图的示意图,如图4a所示,该图中,确定的各个业务文件为步骤S202中的“各类业务的业务文件”,则如图4a所示,该图中,根节点表示文件服务器,文件服务器中存储有业务A和业务B的各个业务文件,该图中,叶子节点表示业务A和业务B的各个业务文件,子节点表示业务A和业务B的各个业务文件的各级上层目录。
图4a的详细说明如下:图4a中,根节点为文件服务器1,文件服务器1中存储有文件夹“业务A”和文件夹“业务B”,“业务A”下存储有文件夹1和文件夹2,文件夹1下存储有文件夹11,文件夹2下存储有文件夹21,文件夹11下存储有文件111和文件112,文件夹21下存储有文件211和文件212。“业务B”下存储有文件夹3,文件夹3下存储有文件31。
图4b为本申请另一实施例提供的文件存储树形结构图的示意图,如图4b所示,该图中,确定的各个业务文件为步骤S202中的“特定业务的各个业务文件”,则如图4b所示,该图中,根节点表示文件服务器,文件服务器中存储有特定业务C的各个业务文件,该图中,叶子节点表示特定业务C的各个业务文件,子节点表示特定业务C的各个业务文件的各级上层目录。
图4b的详细说明如下:图4b中,根节点为文件服务器1,文件服务器1中存储有文件夹“业务C”,“业务C”下存储有文件夹4和文件夹5,文件夹4下存储有文件夹41,文件夹5下存储有文件夹51,文件夹41下存储有文件411和文件412,文件夹51下存储有文件511和文件512。
图4c为本申请另一实施例提供的文件存储树形结构图的示意图,如图4c所示,该图中,确定的各个业务文件为步骤S202中的“特定业务的各个业务文件”,则如图4c所示,该图中,根节点表示特定业务C,叶子节点表示特定业务C的各个业务文件,子节点表示特定业务C的各个业务文件的各级上层目录。
图4c的详细说明如下:图4c中,根节点为业务C,业务C下存储有文件夹4和文件夹5,文件夹4下存储有文件夹41,文件夹5下存储有文件夹51,文件夹41下存储有文件411和文件412,文件夹51下存储有文件511和文件512。
上述步骤S204中,根据确定的各个业务文件的存储路径,构建文件存储树形结构图,具体为:
(b1)针对每个确定的业务文件,根据该业务文件的存储路径,确定该业务文件的存储结构树形分支;
其中,存储结构树形分支中,根节点通过至少一层子节点与叶子节点连接,叶子节点表示该业务文件,子节点表示该业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示该业务文件的存储路径;
(b2)将每个确定的业务文件的存储结构树形分支进行组合,得到文件存储树形结构图。
首先,针对每个确定的业务文件,根据该业务文件的存储路径,确定该业务文件的存储结构树形分支。以某业务文件B的存储路径“C盘/2018/0301/B”为例,该业务文件B对应的存储结构树形分支中,叶子节点表示该业务文件B,子节点包括三个,分别表示“C盘”、“2018”文件夹和“0301”文件夹,并且,这三个子节点依次连接,子节点“0301”文件夹和叶子节点连接,子节点“C盘”和根节点连接,从而形成该业务文件的存储结构树形分支。
若该业务文件为特定业务的业务文件,则该业务文件B对应的存储结构树形分支中,根节点可以表示文件服务器,或者表示特定业务,若该业务文件为步骤S202中的“各类业务的业务文件”,则该业务文件B对应的存储结构树形分支中,根节点可以表示文件服务器。
然后,将每个确定的业务文件的存储结构树形分支进行组合,得到文件存储树形结构图。文件存储树形结构图可以如上图4a至4c所示,这里不再重复。
如图3所示,在一个具体的实施例中,主控节点控制遍历节点遍历所在的文件服务器,得到业务文件的存储路径、文件大小、文件格式等信息,并将遍历得到的信息发送至主控节点。主控节点根据接收到的信息,不断递归构造所有节点层级和完整的路径信息,得到文件存储树形结构图,不同的存储结构对应不同的文件存储树形结构图。主控节点还通过前端组件展示构造的文件存储树形结构图。文件存储树形结构图中,从根节点不断展开,可以获取所有的存储资源信息。
图3中,遍历节点的主要工作有:(1)遍历并获取业务文件的存储路径、文件大小、文件格式等信息,并存储入库,(2)在主控节点接收到存储优化指令后,在主控结点的控制下,执行步骤S208,并将执行进度和执行结果等信息反馈给主控结点并入库存储,(3)维持节点自身的存活状态以及和主控节点的通信,接收主控节点的执行命令,以确保整个运行集群的高效稳定运行。
图3中,主控节点启动后会向遍历节点发送执行命令,比如收集存储路径的命令、进行存储优化(也即执行步骤S208的命令),遍历节点命令执行完成后,会向主控节点发送完成消息,若遍历节点命令执行失败,也会告知主控节点,以方便主控节点管理遍历节点。
可见,通过本实施例,能够根据确定的各个业务文件的存储路径,构建文件存储树形结构图,从而方便用户可视化地了解业务文件的存储情况,并可视化地对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
进一步地,本实施例中的方法还包括:在文件存储树形结构图中标注每个确定的业务文件所属的业务的业务信息、每个确定的业务文件的名称、数据量大小和文件格式,每个确定的业务文件的各层上级目录的名称和包含的数据量大小;其中,存储优化指令基于文件存储树形结构图中标注的信息生成。
具体地,可以在文件存储树形结构图中标注每个确定的业务文件所属的业务的业务信息,其中,该所属的业务可以为特定业务,当然根据前文描述,也可以为其他业务。业务信息包括业务属性信息等信息。进一步地,还可以在文件存储树形结构图中标注每个确定的业务文件的名称、数据量大小和文件格式,以及,标注每个确定的业务文件的各层上级目录的名称和包含的数据量大小。本文中的用户即为存储管理人员,存储管理人员可以根据标注的信息,结合业务的实际情况,判断需要优化哪个业务文件,从而生成存储优化指令。
上述步骤S206中,接收用户基于文件存储树形结构图发送的存储优化指令,并在确定的各个业务文件中确定存储优化指令对应的待优化业务文件。本实施例中,存储管理人员可以根据标注的信息,结合业务的实际情况,判断需要优化哪个业务文件,从而生成存储优化指令。
一个实施例中,存储管理人员可以根据文件存储树形结构图中标注的信息,定制资源权重评估机制,该机制中可以规定应用日志或者文件资源的权重比例,从而根据该权重比例判断需要优化哪个业务文件,从而生成存储优化指令。
本实施例中,存储优化指令可以包括多种指令,具体包括:大文件压缩存储指令、零碎文件打包压缩并按不同周期存储指令、重要文件从深层机的叶子节点提升到树形结构的根级节点指令等,这些指令可以在文件存储优化系统中以优化指令集合的形式存在,存储管理人员可以从该集合中选取需要的指令,并在确定的各个业务文件中指定该指令针对的待优化业务文件,比如通过选择节点的方式在确定的各个业务文件中指定该指令针对的待优化业务文件,从而使得文件存储优化系统可以通过上述步骤S206,接收用户基于文件存储树形结构图发送的存储优化指令,并在确定的各个业务文件中确定存储优化指令对应的待优化业务文件。本实施例中,优化指令集合中包含的指令可以根据需要进行增加和删除,从而根据业务需求及时扩展指令。
一个具体的例子中,假定文件服务器1上的存储目录中,存在业务A的目录,以及其他的相关目录。通过和业务A的相关负责人,确认A业务权重比较高,尤其是应用日志,会定期用于数据分析,而目录下的资源文件可以直接忽略,那么可以定义业务A的应用日志的权重数值为99,而将业务A的资源文件权重定义为0。业务A的应用日志对应的存储优化指令为大文件压缩存储指令,业务A的资源文件对应的存储优化指令为删除指令,从而压缩业务A的应用日志,删除业务A的资源文件,提升存储资源利用率。
上述步骤S208中,根据用户的存储优化指令,对待优化业务文件执行优化操作;其中,优化操作包括:压缩待优化业务文件、调整待优化业务文件的存储路径、删除待优化业务文件中的一项或组合。
具体地,本实施例中,存储优化指令包括多种,对于文件存储优化系统而言,在接收到用户的存储优化指令后,可以将存储优化指令的具体内容拆解为以上三种优化操作中的一种或组合,通过执行以上三种优化操作中的一种或组合,达到根据存储优化指令优化待优化业务文件的效果。
对应到图3中的场景图,本实施例中可以由主控节点所在的设备显示文件存储树形结构图,并由主控节点所在的设备执行步骤S206和步骤S208。另一个情况下,图5为本申请另一实施例提供的文件存储优化方法的应用场景示意图,如图5所示,在图3的基础上,该图5还包括可视化系统105,该图中,主控节点根据各个遍历节点发送的存储路径生成文件存储树形结构图后,将该文件存储树形结构图发送至可视化系统105进行显示,并由可视化系统105接收用户的存储优化指令,并将用户的存储优化指令转发至主控节点,由主控节点执行上述的步骤S206和步骤S208。
本实施例中,当由主控结点执行上述的步骤S206和步骤S208时,可以由主控节点向遍历节点转发用户的存储优化指令,由遍历节点根据该存储优化指令,执行上述步骤S208,并将执行结果返回至主控节点。
一个实施例中,上述步骤S208中,存储优化指令包括文件压缩指令,根据存储优化指令,对待优化业务文件执行优化操作,具体为:根据文件压缩指令,对待优化业务文件进行压缩,得到压缩文件,并删除待优化业务文件;其中,压缩文件存储在特定目录下。
具体地,当存储优化指令包括文件压缩指令时,则首先在确定的各个业务文件中确定文件压缩指令对应的待优化业务文件(也即待压缩业务文件)。待优化业务文件的数量可以为一个可以为多个。然后,根据文件压缩指令,对该一个或多个待优化业务文件进行压缩,得到压缩文件,压缩文件的格式可以为rar等格式。最后,删除各个待优化业务文件,并将压缩文件存储在特定目录下。其中,若各个待优化业务文件从属于同一业务文件夹下,则压缩文件存储在各个待优化业务文件从属的业务文件夹下,反之,将压缩文件存储在根目录下或预先确定的其他目录下。
一个情况下,待优化业务文件的数量为一个,则压缩该待优化业务文件,从而达到压缩大文件的效果。另一个情况下,待压缩业务文件的数量为多个并且分布在不同的文件夹下,比如不同日期文件夹下的同一类文件(如错误日志文件),则将该多个待优化业务文件进行压缩,并将压缩文件存储在根目录下或预先确定的其他目录下,从而达到整理分散文件的目的。
另一个实施例中,上述步骤S208中,存储优化指令包括存储路径调整指令,根据存储优化指令,对待优化业务文件执行优化操作,具体为:根据存储路径调整指令,确定待优化业务文件待调整至的目标目录,将待优化业务文件移动至该目标目录下,其中,目标目录的层级位于待优化业务文件所属的原目录的层级之上。
具体地,当存储优化指令包括存储路径调整指令时,则首先在确定的各个业务文件中确定存储路径调整指令对应的待优化业务文件(也即待调整业务文件)。待优化业务文件的数量可以为多个可以为一个。然后,根据存储路径调整指令,确定待优化业务文件待调整至的目标目录,最后,将待优化业务文件移动至该目标目录下,从而达到调整文件存储路径的目的。
由于目标目录的层级位于待优化业务文件所属的原目录的层级之上,因此通过调整文件的存储路径,能够达到重要文件优先存储方便检索的效果。其中,目标目录可以举例为“C/2018/”,待优化业务文件所属的原目录可以举例为“C/2018/0301/”。一个例子中,通过调整待优化业务文件的存储路径,从而将重要文件的存储路径调整至根目录下,从而方便该重要文件的检索。
图4d为本申请另一实施例提供的文件存储树形结构图的示意图,如图4c和图4d所示,将文件411和文件412的存储路径更改后,能够更加方便检索查找文件411和文件412。
图4d的详细说明如下:图4d中,根节点为业务C,业务C下存储有文件夹4和文件夹5,文件夹4下存储有文件411和文件412,文件夹5下存储有文件夹51,文件夹51下存储有文件511和文件512。
另一个实施例中,上述步骤S208中,存储优化指令包括文件整合指令,文件整合指令用于整合不同目录下存储重复的多个相同的待优化业务文件,根据存储优化指令,对待优化业务文件执行优化操作,具体为:根据文件整合指令,将该多个相同的待优化业务文件中的任意一个移动至预设目录下,并删除该多个相同的待优化业务文件中的其他文件。
具体地,当存储优化指令包括文件整合指令时,则首先在确定的各个业务文件中确定文件整合指令对应的待优化业务文件,待优化业务文件为存储在不同目录下的多个相同的业务文件。然后,根据文件整合指令,将该多个相同的待优化业务文件中的任意一个移动至预设目录下,并删除该多个相同的待优化业务文件中的其他文件,从而达到保留一个文件,删除多余文件的目的。
一个实施例中,对于不同业务的文件夹,均存储有相同的图片文件,则为了避免存储重复浪费存储空间,可以将该图片文件移动至预设目录(如根目录)下,并删除其他存储重复的该图片文件,从而达到整合文件、节省存储空间的效果。
可见,通过本实施例,能够通过删除文件、压缩文件、移动文件的方式达到文件存储优化的效果,比如重要业务日志可以直接从树形结构的叶子节点提升为根节点,提高日志的快速检索和数据分析效率,而其他权重较低的日志或文件资源,可以压缩并按周、月或年规整并转冷存,从而备份所有日志文件资源并归档,避免后续不时之需,并且转冷存,更大程度节省存储成本,提升检索效率,提高文件服务器的存储资源利用率。
进一步地,本实施例中的方法还可以包括:在对待优化业务文件执行优化操作后,再次遍历文件服务器,以重新确定文件服务器存储的各类业务的业务文件及其存储路径,或者,以重新确定特定业务的各个业务文件及其存储路径;根据重新确定的各个业务文件的存储路径,更新文件存储树形结构图。
具体地,在对待优化业务文件执行优化操作后,由于文件存储结构发生变化,因此再次遍历文件服务器,以重新确定文件服务器存储的各类业务的业务文件及其存储路径,或者,以重新确定特定业务的各个业务文件及其存储路径;并根据重新确定的各个业务文件的存储路径,更新文件存储树形结构图,从而向用户显示最新的文件存储树形结构图。更新文件存储树形结构图的过程可以参考前面步骤S204的过程,这里不再重复。
这里通过一个具体的例子说明本实施例中的方法的过程。
假定文件服务器1上的存储目录中,存在业务A的目录,以及其他的相关目录。通过和业务A的相关负责人,确认A业务权重比较高,尤其是应用日志,会定期用于数据分析,而目录下的资源文件可以直接忽略,那么可以定义业务A的应用日志的权重数值为99,而将业务A的资源文件权重定义为0。通过运行文件服务器1上的遍历节点,统计从第一级目录结构到所有目录结构下的资源存储信息,并记录入库。通过可视化存储管理系统构建出树形数据存储结构图。根据权重值和树形结构图,可以制定业务A的应用日志的具体优化策略:将日志文件的存储层级减少一层,便于快速检索,根据业务和存储路径信息重命名日志文件,便于直接检索到。例如优化前的文件路径bizA/logs/20180301/biz.log,优化后的存储路径为bizA/logs/bizA-logs-20180301-biz.log,同理可以将bizA/logs/下的所有文件全部应用此策略。而业务A的资源文件的权重值为0,则可以直接执行清理操作,定位目录为/bizA/resource/,此为业务A的两条优化策略,描述为:
优化前:
bizA/logs/20180301/biz.log
bizA/logs/20180301/error.log
bizA/logs/20180302/biz.log
bizA/logs/20180302/error.log
优化后为:
bizA/logs/bizA-logs-20180301-biz.log
bizA/logs/bizA-logs-20180301-error.log
bizA/logs/bizA-logs-20180302-biz.log
bizA/logs/bizA-logs-20180302-error.log
通过主控节点发送执行优化策略的命令,文件服务器1上的遍历节点接收后,便定位业务A目录下的logs目录,递归执行日志文件的规整,同时定位到resource目录执行文件删除操作。
综上,通过本申请实施例,能够方便用户可视化地了解业务文件的存储情况,并可视化地对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
图6为本申请一实施例提供的文件存储优化装置的模块组成示意图,如图6所示,该装置包括:
遍历模块61,用于遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径;其中,所述特定业务的各个业务文件存储在所述文件服务器,存储路径中记录有确定的业务文件的各层上级目录;
构建模块62,用于根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,所述文件存储树形结构图中,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
接收模块63,用于接收用户基于所述文件存储树形结构图发送的存储优化指令,并在所述确定的各个业务文件中确定所述存储优化指令对应的待优化业务文件;
优化模块64,用于根据所述存储优化指令,对所述待优化业务文件执行优化操作;其中,所述优化操作包括:压缩所述待优化业务文件、调整所述待优化业务文件的存储路径、删除所述待优化业务文件中的一项或组合。
可选地,所述遍历模块61具体用于:
在所述文件服务器上部署从属于分布式系统的遍历节点;
通过所述分布式系统的主控节点控制所述遍历节点遍历所述文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径。
可选地,所述构建模块62具体用于:
针对每个确定的业务文件,根据该业务文件的存储路径,确定该业务文件的存储结构树形分支;
其中,所述存储结构树形分支中,根节点通过至少一层子节点与叶子节点连接,叶子节点表示该业务文件,子节点表示该业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示该业务文件的存储路径;
将每个确定的业务文件的存储结构树形分支进行组合,得到所述文件存储树形结构图。
可选地,该装置还包括标注模块,用于:
在所述文件存储树形结构图中标注每个确定的业务文件所属的业务的业务信息、每个确定的业务文件的名称、数据量大小和文件格式,每个确定的业务文件的各层上级目录的名称和包含的数据量大小;其中,所述存储优化指令基于所述文件存储树形结构图中标注的信息生成。
可选地,所述存储优化指令包括文件压缩指令;所述优化模块64具体用于:
根据所述文件压缩指令,对所述待优化业务文件进行压缩,得到压缩文件,并删除所述待优化业务文件;其中,所述压缩文件存储在特定目录下。
可选地,所述存储优化指令包括存储路径调整指令;所述优化模块64具体用于:
根据所述存储路径调整指令,确定所述待优化业务文件待调整至的目标目录;
将所述待优化业务文件移动至所述目标目录下,其中,所述目标目录的层级位于所述待优化业务文件所属的原目录的层级之上。
可选地,所述存储优化指令包括文件整合指令,所述文件整合指令用于整合不同目录下存储重复的多个相同的待优化业务文件;所述优化模块64具体用于:
根据所述文件整合指令,将所述多个相同的待优化业务文件中的任意一个移动至预设目录下,并删除所述多个相同的待优化业务文件中的其他文件。
可选地,还包括更新模块,用于:
在对所述待优化业务文件执行优化操作后,再次遍历所述文件服务器,以重新确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以重新确定特定业务的各个业务文件及其存储路径;
根据重新确定的各个业务文件的存储路径,更新所述文件存储树形结构图。
可见,通过本申请实施例,能够确定各类业务的业务文件及其存储路径,或者确定特定业务的各个业务文件及其存储路径,并根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示,从而使用户基于文件存储树形结构图发送存储优化指令,还能够根据存储优化指令,对待优化业务文件执行优化操作,优化操作包括压缩待优化业务文件、调整待优化业务文件的存储路径、删除待优化业务文件中的一项或组合,从而方便用户可视化地了解业务文件的存储情况,并可视化地对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
本申请实施例提供的文件存储优化装置能够实现前述文件存储优化方法实施例中的各个过程,并达到相同的功能和效果,这里不再重复。
进一步地,本申请实施例还提供了一种文件存储优化设备,图7为本申请一实施例提供的文件存储优化设备的结构示意图,如图7所示,该设备包括:存储器701、处理器702、总线703和通信接口704。存储器701、处理器702和通信接口704通过总线703进行通信,通信接口704可以包括输入输出接口,输入输出接口包括但不限于键盘、鼠标、显示器、麦克风、扩音器等。
图7中,所述存储器701上存储有可在所述处理器702上运行的计算机可执行指令,所述计算机可执行指令被所述处理器702执行时实现以下流程:
遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径;其中,所述特定业务的各个业务文件存储在所述文件服务器,存储路径中记录有确定的业务文件的各层上级目录;
根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,所述文件存储树形结构图中,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
接收用户基于所述文件存储树形结构图发送的存储优化指令,并在所述确定的各个业务文件中确定所述存储优化指令对应的待优化业务文件;
根据所述存储优化指令,对所述待优化业务文件执行优化操作;其中,所述优化操作包括:压缩所述待优化业务文件、调整所述待优化业务文件的存储路径、删除所述待优化业务文件中的一项或组合。
可选地,所述计算机可执行指令被所述处理器执行时,遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径,包括:
在所述文件服务器上部署从属于分布式系统的遍历节点;
通过所述分布式系统的主控节点控制所述遍历节点遍历所述文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径。
可选地,所述计算机可执行指令被所述处理器执行时,根据确定的各个业务文件的存储路径,构建文件存储树形结构图,包括:
针对每个确定的业务文件,根据该业务文件的存储路径,确定该业务文件的存储结构树形分支;
其中,所述存储结构树形分支中,根节点通过至少一层子节点与叶子节点连接,叶子节点表示该业务文件,子节点表示该业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示该业务文件的存储路径;
将每个确定的业务文件的存储结构树形分支进行组合,得到所述文件存储树形结构图。
可选地,所述计算机可执行指令被所述处理器执行时,还包括:
在所述文件存储树形结构图中标注每个确定的业务文件所属的业务的业务信息、每个确定的业务文件的名称、数据量大小和文件格式,每个确定的业务文件的各层上级目录的名称和包含的数据量大小;其中,所述存储优化指令基于所述文件存储树形结构图中标注的信息生成。
可选地,所述计算机可执行指令被所述处理器执行时,所述存储优化指令包括文件压缩指令;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述文件压缩指令,对所述待优化业务文件进行压缩,得到压缩文件,并删除所述待优化业务文件;其中,所述压缩文件存储在特定目录下。
可选地,所述计算机可执行指令被所述处理器执行时,所述存储优化指令包括存储路径调整指令;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述存储路径调整指令,确定所述待优化业务文件待调整至的目标目录;
将所述待优化业务文件移动至所述目标目录下,其中,所述目标目录的层级位于所述待优化业务文件所属的原目录的层级之上。
可选地,所述计算机可执行指令被所述处理器执行时,所述存储优化指令包括文件整合指令,所述文件整合指令用于整合不同目录下存储重复的多个相同的待优化业务文件;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述文件整合指令,将所述多个相同的待优化业务文件中的任意一个移动至预设目录下,并删除所述多个相同的待优化业务文件中的其他文件。
可选地,所述计算机可执行指令被所述处理器执行时,还包括:
在对所述待优化业务文件执行优化操作后,再次遍历所述文件服务器,以重新确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以重新确定特定业务的各个业务文件及其存储路径;
根据重新确定的各个业务文件的存储路径,更新所述文件存储树形结构图。
可见,通过本申请实施例,能够确定各类业务的业务文件及其存储路径,或者确定特定业务的各个业务文件及其存储路径,并根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示,从而使用户基于文件存储树形结构图发送存储优化指令,还能够根据存储优化指令,对待优化业务文件执行优化操作,优化操作包括压缩待优化业务文件、调整待优化业务文件的存储路径、删除待优化业务文件中的一项或组合,从而方便用户可视化地了解业务文件的存储情况,并可视化地对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
本申请实施例提供的文件存储优化设备能够实现前述文件存储优化方法实施例中的各个过程,并达到相同的功能和效果,这里不再重复。
进一步地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令被处理器执行时实现以下流程:
遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径;其中,所述特定业务的各个业务文件存储在所述文件服务器,存储路径中记录有确定的业务文件的各层上级目录;
根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,所述文件存储树形结构图中,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
接收用户基于所述文件存储树形结构图发送的存储优化指令,并在所述确定的各个业务文件中确定所述存储优化指令对应的待优化业务文件;
根据所述存储优化指令,对所述待优化业务文件执行优化操作;其中,所述优化操作包括:压缩所述待优化业务文件、调整所述待优化业务文件的存储路径、删除所述待优化业务文件中的一项或组合。
可选地,所述计算机可执行指令被处理器执行时,遍历文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径,包括:
在所述文件服务器上部署从属于分布式系统的遍历节点;
通过所述分布式系统的主控节点控制所述遍历节点遍历所述文件服务器,以确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以确定特定业务的各个业务文件及其存储路径。
可选地,所述计算机可执行指令被处理器执行时,根据确定的各个业务文件的存储路径,构建文件存储树形结构图,包括:
针对每个确定的业务文件,根据该业务文件的存储路径,确定该业务文件的存储结构树形分支;
其中,所述存储结构树形分支中,根节点通过至少一层子节点与叶子节点连接,叶子节点表示该业务文件,子节点表示该业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示该业务文件的存储路径;
将每个确定的业务文件的存储结构树形分支进行组合,得到所述文件存储树形结构图。
可选地,所述计算机可执行指令被处理器执行时,还包括:
在所述文件存储树形结构图中标注每个确定的业务文件所属的业务的业务信息、每个确定的业务文件的名称、数据量大小和文件格式,每个确定的业务文件的各层上级目录的名称和包含的数据量大小;其中,所述存储优化指令基于所述文件存储树形结构图中标注的信息生成。
可选地,所述计算机可执行指令被处理器执行时,所述存储优化指令包括文件压缩指令;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述文件压缩指令,对所述待优化业务文件进行压缩,得到压缩文件,并删除所述待优化业务文件;其中,所述压缩文件存储在特定目录下。
可选地,所述计算机可执行指令被处理器执行时,所述存储优化指令包括存储路径调整指令;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述存储路径调整指令,确定所述待优化业务文件待调整至的目标目录;
将所述待优化业务文件移动至所述目标目录下,其中,所述目标目录的层级位于所述待优化业务文件所属的原目录的层级之上。
可选地,所述计算机可执行指令被处理器执行时,所述存储优化指令包括文件整合指令,所述文件整合指令用于整合不同目录下存储重复的多个相同的待优化业务文件;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述文件整合指令,将所述多个相同的待优化业务文件中的任意一个移动至预设目录下,并删除所述多个相同的待优化业务文件中的其他文件。
可选地,所述计算机可执行指令被处理器执行时,还包括:
在对所述待优化业务文件执行优化操作后,再次遍历所述文件服务器,以重新确定所述文件服务器存储的各类业务的业务文件及其存储路径,或者,以重新确定特定业务的各个业务文件及其存储路径;
根据重新确定的各个业务文件的存储路径,更新所述文件存储树形结构图。
可见,通过本申请实施例,能够确定各类业务的业务文件及其存储路径,或者确定特定业务的各个业务文件及其存储路径,并根据确定的各个业务文件的存储路径,构建文件存储树形结构图并展示,从而使用户基于文件存储树形结构图发送存储优化指令,还能够根据存储优化指令,对待优化业务文件执行优化操作,优化操作包括压缩待优化业务文件、调整待优化业务文件的存储路径、删除待优化业务文件中的一项或组合,从而方便用户可视化地了解业务文件的存储情况,并可视化地对文件服务器的业务文件存储方式进行优化,从而节约文件服务器的存储成本,提高文件服务器的存储资源利用率。
本申请实施例提供的存储介质能够实现前述文件存储优化方法实施例中的各个过程,并达到相同的功能和效果,这里不再重复。
其中,所述的计算机可读存储介质包括只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种文件存储优化方法,其特征在于,应用于部署在文件存储优化系统中的主控节点,包括:
控制部署在文件服务器中的从属于分布式系统的遍历节点遍历所述文件服务器,以使所述遍历节点确定所述文件服务器存储的特定业务的各个业务文件及其存储路径;其中,确定的各个业务文件来自于多个文件服务器;所述存储路径中记录有确定的业务文件的各层上级目录;
根据所述遍历节点确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,所述文件存储树形结构图中,根节点表示所述特定业务,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
在所述文件存储树形结构图中标注所述特定业务的业务信息、每个确定的业务文件的名称、数据量大小和文件格式,每个确定的业务文件的各层上级目录的名称和包含的数据量大小;
在可视化系统中显示标注后的所述文件存储树形结构图,接收用户基于标注后的所述文件存储树形结构图和预先确定的资源权重评估机制发送的存储优化指令,并在所述确定的各个业务文件中确定用户在标注后的所述文件存储树形结构图中选择的所述存储优化指令对应的待优化业务文件;其中,所述资源权重评估机制用于表示不同业务文件的重要程度的权重比例,以使用户根据所述权重比例选择所述待优化业务文件,所述存储优化指令由用户在优化指令集合中选择得到;
控制所述遍历节点根据所述存储优化指令,对所述待优化业务文件执行优化操作;其中,所述优化操作包括:压缩所述待优化业务文件、调整所述待优化业务文件的存储路径、删除所述待优化业务文件中的一项或组合。
2.根据权利要求1所述的方法,其特征在于,根据确定的各个业务文件的存储路径,构建文件存储树形结构图,包括:
针对每个确定的业务文件,根据该业务文件的存储路径,确定该业务文件的存储结构树形分支;
其中,所述存储结构树形分支中,根节点通过至少一层子节点与叶子节点连接,叶子节点表示该业务文件,子节点表示该业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示该业务文件的存储路径;
将每个确定的业务文件的存储结构树形分支进行组合,得到所述文件存储树形结构图。
3.根据权利要求1至2任一项所述的方法,其特征在于,所述存储优化指令包括文件压缩指令;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述文件压缩指令,对所述待优化业务文件进行压缩,得到压缩文件,并删除所述待优化业务文件;其中,所述压缩文件存储在特定目录下。
4.根据权利要求1至2任一项所述的方法,其特征在于,所述存储优化指令包括存储路径调整指令;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述存储路径调整指令,确定所述待优化业务文件待调整至的目标目录;
将所述待优化业务文件移动至所述目标目录下,其中,所述目标目录的层级位于所述待优化业务文件所属的原目录的层级之上。
5.根据权利要求1至2任一项所述的方法,其特征在于,所述存储优化指令包括文件整合指令,所述文件整合指令用于整合不同目录下存储重复的多个相同的待优化业务文件;根据所述存储优化指令,对所述待优化业务文件执行优化操作,包括:
根据所述文件整合指令,将所述多个相同的待优化业务文件中的任意一个移动至预设目录下,并删除所述多个相同的待优化业务文件中的其他文件。
6.根据权利要求1所述的方法,其特征在于,还包括:
在对所述待优化业务文件执行优化操作后,再次遍历所述文件服务器,以重新确定特定业务的各个业务文件及其存储路径;
根据重新确定的各个业务文件的存储路径,更新所述文件存储树形结构图。
7.一种文件存储优化装置,其特征在于,应用于部署在文件存储优化系统中的主控节点,包括:
遍历模块,用于控制部署在文件服务器中的从属于分布式系统的遍历节点遍历所述文件服务器,以使所述遍历节点确定所述文件服务器存储的特定业务的各个业务文件及其存储路径;其中,确定的各个业务文件来自于多个文件服务器;所述存储路径中记录有确定的业务文件的各层上级目录;
构建模块,用于根据所述遍历节点确定的各个业务文件的存储路径,构建文件存储树形结构图并展示;其中,所述文件存储树形结构图中,根节点表示所述特定业务,根节点通过至少一层子节点与各个叶子节点连接,叶子节点表示确定的业务文件,子节点表示确定的业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示确定的业务文件的存储路径;
标注模块,用于在所述文件存储树形结构图中标注所述特定业务的业务信息、每个确定的业务文件的名称、数据量大小和文件格式,每个确定的业务文件的各层上级目录的名称和包含的数据量大小;
接收模块,用于在可视化系统中显示标注后的所述文件存储树形结构图,接收用户基于标注后的所述文件存储树形结构图和预先确定的资源权重评估机制发送的存储优化指令,并在所述确定的各个业务文件中确定用户在标注后的所述文件存储树形结构图中选择的所述存储优化指令对应的待优化业务文件;其中,所述资源权重评估机制用于表示不同业务文件的重要程度的权重比例,以使用户根据所述权重比例选择所述待优化业务文件,所述存储优化指令由用户在优化指令集合中选择得到;
优化模块,用于控制所述遍历节点根据所述存储优化指令,对所述待优化业务文件执行优化操作;其中,所述优化操作包括:压缩所述待优化业务文件、调整所述待优化业务文件的存储路径、删除所述待优化业务文件中的一项或组合。
8.根据权利要求7所述的装置,其特征在于,所述构建模块具体用于:
针对每个确定的业务文件,根据该业务文件的存储路径,确定该业务文件的存储结构树形分支;
其中,所述存储结构树形分支中,根节点通过至少一层子节点与叶子节点连接,叶子节点表示该业务文件,子节点表示该业务文件的各层上级目录,根节点和叶子节点之间的连接关系表示该业务文件的存储路径;
将每个确定的业务文件的存储结构树形分支进行组合,得到所述文件存储树形结构图。
9.根据权利要求7至8任一项所述的装置,其特征在于,所述存储优化指令包括文件压缩指令;所述优化模块具体用于:
根据所述文件压缩指令,对所述待优化业务文件进行压缩,得到压缩文件,并删除所述待优化业务文件;其中,所述压缩文件存储在特定目录下。
10.根据权利要求7至8任一项所述的装置,其特征在于,所述存储优化指令包括存储路径调整指令;所述优化模块具体用于:
根据所述存储路径调整指令,确定所述待优化业务文件待调整至的目标目录;
将所述待优化业务文件移动至所述目标目录下,其中,所述目标目录的层级位于所述待优化业务文件所属的原目录的层级之上。
11.根据权利要求7至8任一项所述的装置,其特征在于,所述存储优化指令包括文件整合指令,所述文件整合指令用于整合不同目录下存储重复的多个相同的待优化业务文件;所述优化模块具体用于:
根据所述文件整合指令,将所述多个相同的待优化业务文件中的任意一个移动至预设目录下,并删除所述多个相同的待优化业务文件中的其他文件。
CN201910535866.5A 2019-06-20 2019-06-20 文件存储优化方法和装置 Active CN110275865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910535866.5A CN110275865B (zh) 2019-06-20 2019-06-20 文件存储优化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910535866.5A CN110275865B (zh) 2019-06-20 2019-06-20 文件存储优化方法和装置

Publications (2)

Publication Number Publication Date
CN110275865A CN110275865A (zh) 2019-09-24
CN110275865B true CN110275865B (zh) 2021-08-27

Family

ID=67961091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910535866.5A Active CN110275865B (zh) 2019-06-20 2019-06-20 文件存储优化方法和装置

Country Status (1)

Country Link
CN (1) CN110275865B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020315A (zh) * 2013-01-10 2013-04-03 中国人民解放军国防科学技术大学 一种基于主从分布式文件系统的海量小文件存储方法
CN103678579A (zh) * 2013-12-12 2014-03-26 浪潮电子信息产业股份有限公司 一种小文件存储效率的优化方法
CN103984507A (zh) * 2014-05-15 2014-08-13 浪潮电子信息产业股份有限公司 一种生物信息学高性能计算平台的存储配置以及优化策略
CN105808690A (zh) * 2016-03-03 2016-07-27 深圳市创想天空科技股份有限公司 目录展示系统及方法
CN107967322A (zh) * 2017-11-23 2018-04-27 努比亚技术有限公司 文件分类显示方法、移动终端及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005801B2 (en) * 2008-06-02 2011-08-23 Microsoft Corporation Aging and compressing multimedia content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020315A (zh) * 2013-01-10 2013-04-03 中国人民解放军国防科学技术大学 一种基于主从分布式文件系统的海量小文件存储方法
CN103678579A (zh) * 2013-12-12 2014-03-26 浪潮电子信息产业股份有限公司 一种小文件存储效率的优化方法
CN103984507A (zh) * 2014-05-15 2014-08-13 浪潮电子信息产业股份有限公司 一种生物信息学高性能计算平台的存储配置以及优化策略
CN105808690A (zh) * 2016-03-03 2016-07-27 深圳市创想天空科技股份有限公司 目录展示系统及方法
CN107967322A (zh) * 2017-11-23 2018-04-27 努比亚技术有限公司 文件分类显示方法、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN110275865A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN109739815B (zh) 文件处理方法、系统、装置、设备及存储介质
CN112612835B (zh) 一种数据模型的创建方法和终端
CN102169507A (zh) 一种分布式实时搜索引擎
WO2009036500A1 (en) Layout manager
CN106933837A (zh) 一种数据库表模型及创建方法
CA2379930A1 (en) Multi-model access to data
CN105183768B (zh) 一种文件管理方法、装置和终端设备
CN104519078A (zh) 实现云存储的方法与装置
EP1480130B1 (en) Method and apparatus for moving data between storage devices
CN110941629B (zh) 元数据处理方法、装置、设备及计算机可读存储介质
JP2001188702A (ja) 分散ファイルシステム及びファイル操作方法
US11687508B2 (en) Accessing historical content items of a content management system through placeholders
CN104063446A (zh) 多用户创作内容的版本控制方法和实现方法
CN110597821B (zh) 数据仓库表结构变更方法及装置
CN110633250A (zh) 资源管理系统和方法
CN112840334A (zh) 管理分区表的数据的方法、装置、管理节点及存储介质
CN113238997A (zh) 终端设备用的云端数据操作方法、存储介质和终端设备
US10853316B1 (en) File versioning for content stored in a cloud computing environment
CN110275865B (zh) 文件存储优化方法和装置
CN109408322A (zh) 一种云平台的自动业务流程实现方法
CN115905114B (zh) 元数据的批量更新方法、系统、电子设备及可读存储介质
CN103885664B (zh) 桌面文件映射方法和系统
CN109992575B (zh) 大数据的分布式存储系统
CN111159142B (zh) 一种数据处理方法及装置
US20220358170A1 (en) System and method for copying linked documents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220803

Address after: No.16 and 17, unit 1, North District, Kailin center, No.51 Jinshui East Road, Zhengzhou area (Zhengdong), Henan pilot Free Trade Zone, Zhengzhou City, Henan Province, 450000

Patentee after: Zhengzhou Apas Technology Co.,Ltd.

Address before: E301-27, building 1, No.1, hagongda Road, Tangjiawan Town, Zhuhai City, Guangdong Province

Patentee before: ZHUHAI TIANYAN TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right