CN115277682A

CN115277682A - 一种海量小文件的归集方法及装置

Info

Publication number: CN115277682A
Application number: CN202210920928.6A
Authority: CN
Inventors: 崔翔; 周竣涛; 辛子英
Original assignee: CITIC Aibank Corp Ltd
Current assignee: CITIC Aibank Corp Ltd
Priority date: 2022-08-02
Filing date: 2022-08-02
Publication date: 2022-11-01
Anticipated expiration: 2042-08-02

Abstract

本发明涉及计算机技术领域，尤其涉及一种海量小文件的归集方法及装置，包括以下步骤：各地域服务器安装小文件归集客户端，触发小文件归集事件；小文件归集客户端扫描小文件的索引节点，并通过小文件的索引节点访问相对应的文件块；根据配置的地域归集调度策略，获取小文件的索引节点和文件块信息生成小文件元清单，并将小文件元清单上报归集调度中心；根据地域归集调度策略及小文件的索引节点，生成镜像文件，并上传镜像文件至归集调度中心。该方法能有效的解决当前海量小文件的打包、传输、引用、访问，且能够有效的解决海量小文件的校验、重定向、读取等操作，有效的保证业务系统安全。

Description

一种海量小文件的归集方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种海量小文件的归集方法及装置。

背景技术

随着技术更新迭代，越来越多的技术应用在金融领域，传统金融业快速向金融科技转变，金融信息管理系统上一代分级管理的技术架构也逐步向集中化部署、云化资源转变。为了完成集约化建设，系统中几十年积累的海量小文件归集成为迫在眉睫的事项，当然，随着各种业务信息化的不断扩大，需要存储的文件数量也越来越多。然而小文件(1K-1M)数量增加会给文件管理、文件存储、文件传输造成很大压力，例如单文件夹文件数不能超过1万，如果文件超过1万条，并且文件夹数量不断增多，服务性能会快速下降。然而各机构为了完成集约建设，有的选择仅归集最近数据，有的由于文件数量太大归集时间按月开始计算，整个多地域实施下来短则几个月长则按年评估，还有的机构采用压缩到物理存储，把物理存储通过物流等方式运送到集约机房，存在数据同步不及时、应用需要停机等诸多局限性，更有甚者造成数据部分损坏丢失，不能满足金融领域的RTO/RPO的要求。

由于文件存在节点(iNode)的实现方式，操作系统复制移动海量小文件特别慢，效率极低；海量小文件需进行分割拆解，通过网络传输速率也无法提高，短时间内无法保证文件的传输数量，而金融系统专线中办公时间还需要运行业务流量，只能选择在非业务时间归集，时间变成了紧迫资源；批量小文件压缩解压需要占用大量的计算资源和时间，压缩传递的方式会导致文件归集过程中服务RTO超过要求。

发明内容

为解决现有技术的不足，本发明提出一种海量小文件的归集方法及装置，能有效的解决当前海量小文件的打包、传输、引用、访问，且能够有效的解决海量小文件的校验、重定向、读取等操作，有效的保证业务系统安全。

为实现以上目的，本发明所采用的技术方案包括：

本发明第一个方面，公开了一种海量小文件的归集方法，包括以下步骤：

各地域服务器安装小文件归集客户端，触发小文件归集事件；

小文件归集客户端扫描小文件的索引节点，并通过小文件的索引节点访问相对应的文件块；

根据配置的地域归集调度策略，获取小文件的索引节点和文件块信息生成小文件元清单，并将小文件元清单上报归集调度中心；

根据地域归集调度策略及小文件的索引节点，生成镜像文件，并上传镜像文件至归集调度中心。

进一步地，所述方法还包括：

归集调度中心汇总接收所述小文件元清单和镜像文件，调用挂载命令对所述镜像文件进行挂载；

接收文件访问命令，查询所述小文件元清单获取相对应的索引节点并对所述小文件进行判断；

若判断所述小文件为本地文件，直接访问镜像内文件；

若判断所述小文件类型为非本地文件，则通过所述小文件元清单中的远程访问地址获取所述小文件，同时将所述小文件归集到本地，并更新所述小文件元清单。

进一步地，所述小文件元清单包括小文件的校验信息、索引节点信息、地域信息、访问信息中的一项或几项。

进一步地，所述根据地域归集调度策略及小文件的索引节点，生成镜像文件包括通过对文件块的内存映射方式归档为操作系统支持的直接挂载的镜像，镜像模式支持ISO和/或DMG。

进一步地，根据各个地域不同的网络环境和业务要求配置所述地域归集调度策略。

进一步地，所述根据各个地域不同的网络环境和业务要求配置所述地域归集调度策略包括：根据各个地域传输路径所包含的各条传输链路的带宽占用率、各条传输链路的额定带宽以及各条传输链路的数据量信息，确定各个地域传输路径的传输速度与归集时间。

本发明第二个方面，公开了一种海量小文件的归集装置，包括：

触发模块，各地域服务器安装小文件归集客户端，触发小文件归集事件；

扫描模块，小文件归集客户端通过所述扫描模块扫描小文件的索引节点，并通过小文件的索引节点访问相对应的文件块；

元清单生成模块，根据配置的地域归集调度策略，调用所述元清单生成模块模块获取小文件的索引节点和文件块信息生成小文件元清单；将小文件元清单上报归集调度中心；

镜像生成模块，根据地域归集调度策略及小文件的索引节点，调用镜像生成模块生成镜像文件，并上传镜像文件至归集调度中心。

进一步地，所述装置还包括：

挂载模块，归集调度中心汇总接收所述小文件元清单和镜像文件，调用挂载命令对所述镜像文件进行挂载；

判断模块，接收文件访问命令，查询所述小文件元清单获取相对应的索引节点并对所述小文件进行判断；

若判断所述小文件为本地文件，直接访问镜像内文件；

本发明第三个方面，公开了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明第四个方面，公开了一种电子设备，包括处理器和存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行上述的方法。

本发明第五个方面，公开了一种计算机程序产品，包括计算机程序和/或指令，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。

本发明的有益效果为：

本发明所述海量小文件的归集方法及装置，主要应用于金融信息管理服务平台对金融办公套件进行优化，本申请中小文件归档为镜像模式，避免压缩、解压带来的损失，可直接挂载文件系统中；生成镜像模式的同时，通过对小文件索引节点的访问，生成小文件元清单，并把元清单信息上报归集调度中心；通过各个地域上报的小文件元清单信息，结合地域独特的网络环境、业务要求等因素配置归集策略，对各个地域的小文件归集进行调度，并提供操作系统挂载，客户端的模式透明对小文件进行访问。该技术方案能有效的解决当前海量小文件的打包、传输、引用、访问，且能够有效的解决海量小文件的校验、重定向、读取等操作，实现业务操作高度自动化的同时，有效的保证业务系统安全。

附图说明

图1为本发明实施例提供的海量小文件的归集方法流程示意图。

图2为本发明实施例提供的海量小文件的归集装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明第一方面涉及一种步骤流程如图1所示的海量小文件的归集方法，包括以下步骤：

步骤S1、各地域服务器安装小文件归集客户端，触发小文件归集事件；

本实施例中，所述小文件优选为大小为1K-1M之间的文件，但不限于此。

步骤S2、小文件归集客户端扫描小文件的索引节点(INode)，并通过小文件的索引节点访问相对应的文件块(Block)；

其中，通过对小文件索引节点区三级索引的访问，快速找到相对应的文件块。

步骤S3、根据配置的地域归集调度策略，获取小文件的索引节点和文件块信息生成小文件元清单(MetaList)，并将小文件元清单上报归集调度中心；

其中，根据各个地域不同的网络环境和业务要求配置所述地域归集调度策略。

优选的，根据流量控制和/或时间控制配置的地域归集调度策略。

具体地，地域调度器根据各个地域传输路径所包含的各条传输链路的带宽占用率、各条传输链路的额定带宽以及各条传输链路的数据量信息，确定各个地域传输路径的传输速度与归集时间。地域调度器优选为LSF/SGE/Slurm/PBS。

优选的，所述小文件元清单包括小文件的校验信息、索引节点信息、地域信息和访问信息。

步骤S4、根据地域归集调度策略及小文件的索引节点，生成镜像文件，并上传镜像文件至归集调度中心。

优选的，通过对文件块的内存映射方式(MemoryMapping)归档为操作系统支持的直接挂载的镜像，镜像模式支持ISO和/或DMG。

本实施例中，所述方法还包括以下步骤：

步骤S5、归集调度中心汇总接收所述小文件元清单和镜像文件，调用挂载命令对所述镜像文件进行挂载；

步骤S6、接收文件访问命令，查询所述小文件元清单获取相对应的索引节点并对所述小文件进行判断；

步骤S7、若判断所述小文件为本地文件(Local)，直接访问镜像内文件；若判断所述小文件类型为非本地文件(Remote)，则通过所述小文件元清单中的远程访问地址(IP地址)获取所述小文件，同时将所述小文件归集到本地，并更新所述小文件元清单。

本发明所述海量小文件的归集方法，主要应用于金融信息管理服务平台对金融办公套件进行优化，本申请中小文件归档为镜像模式，避免压缩、解压带来的损失，可直接挂载文件系统中；生成镜像模式的同时，通过对小文件索引节点的访问，生成小文件元清单，并把元清单信息上报归集调度中心；通过各个地域上报的小文件元清单信息，结合地域独特的网络环境、业务要求等因素配置归集策略，对各个地域的小文件归集进行调度，并提供操作系统挂载，客户端的模式透明对小文件进行访问。该方法能有效的解决当前海量小文件的打包、传输、引用、访问，且能够有效的解决海量小文件的校验、重定向、读取等操作，实现业务操作高度自动化的同时，有效的保证业务系统安全。

本发明另一方面还涉及一种海量小文件的归集装置，其结构如图2所示，包括：

所述装置还包括：

若判断所述小文件为本地文件，直接访问镜像内文件；

通过使用该装置，能够执行上述的运算处理方法并实现对应的技术效果。

本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。

本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。

优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种海量小文件的归集方法，其特征在于，包括以下步骤：

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

若判断所述小文件为本地文件，直接访问镜像内文件；

3.如权利要求1或2所述的方法，其特征在于，所述小文件元清单包括小文件的校验信息、索引节点信息、地域信息、访问信息中的一项或几项。

4.如权利要求1或2所述的方法，其特征在于，所述根据地域归集调度策略及小文件的索引节点，生成镜像文件包括通过对文件块的内存映射方式归档为操作系统支持的直接挂载的镜像，镜像模式支持ISO和/或DMG。

5.如权利要求1或2所述的方法，其特征在于，根据各个地域不同的网络环境和业务要求配置所述地域归集调度策略。

6.如权利要求5所述的方法，其特征在于，所述根据各个地域不同的网络环境和业务要求配置所述地域归集调度策略包括：根据各个地域传输路径所包含的各条传输链路的带宽占用率、各条传输链路的额定带宽以及各条传输链路的数据量信息，确定各个地域传输路径的传输速度与归集时间。

7.一种海量小文件的归集装置，其特征在于，包括：

8.如权利要7所述的装置，其特征在于，所述装置还包括：

若判断所述小文件为本地文件，直接访问镜像内文件；

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

10.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行权利要求1至6中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。