CN114513530B - 一种跨域存储空间双向供给方法和系统 - Google Patents

一种跨域存储空间双向供给方法和系统 Download PDF

Info

Publication number
CN114513530B
CN114513530B CN202210407398.5A CN202210407398A CN114513530B CN 114513530 B CN114513530 B CN 114513530B CN 202210407398 A CN202210407398 A CN 202210407398A CN 114513530 B CN114513530 B CN 114513530B
Authority
CN
China
Prior art keywords
storage
node
information
file
storage space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210407398.5A
Other languages
English (en)
Other versions
CN114513530A (zh
Inventor
王英龙
陈泳杰
王继彬
郭莹
杨美红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202210407398.5A priority Critical patent/CN114513530B/zh
Publication of CN114513530A publication Critical patent/CN114513530A/zh
Application granted granted Critical
Publication of CN114513530B publication Critical patent/CN114513530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明属于记录载体的处理领域，提供了一种跨域存储空间双向供给方法和系统。该方法包括，位于至少两个域的应用、节点集群和存储系统，所述节点集群向上对接应用、向下对接存储系统，根据不同域中存储系统内用户的存储空间，构建存储池；依据配置信息关联的存储池，构建连接节点集群的分布式存储集群系统；其中，配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包；针对不同应用的访问请求，依据所述访问请求，以使所述应用通过节点集群访问分布式存储集群系统中的存储池。本发明可实现不同存储系统间的存储空间资源双向共享，可满足不同计算环境对不同的存储系统访问和数据处理。

Description

一种跨域存储空间双向供给方法和系统
技术领域
本发明属于记录载体的处理领域，尤其涉及一种跨域存储空间双向供给方法和系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
存储系统随着混合云、分布式云等云计算架构的演进，也出现了诸如云存储网关、数据迁移等多种形态的云服务解决方案，从而保证云上多样化复杂应用对存储和数据的需求。出现了存储和计算一体架构与存储和计算分离架构的应用支撑形态，通过构建贯穿计算、网络和存储三个层面的调度解决方案适应应用需求的变化，这里尤其以计算和网络的调度发展最快也最为成熟，针对存储的跨域调度和资源组织有待进一步变革。
在跨域复杂应用场景下，在其应用的不同流程环节，需要接入不同存储系统和不同的数据集，尤其针对云计算、高性能计算和人工智能计算应用，针对这种应用需求主要实现思路是在不同的存储系统之上构建一套统一抽象化的存储网关解决，通过存储网关屏蔽底层系统间的存储差异。目前云存储网关仅支持的同构的底层存储系统，且大多接入的存储是云平台提供商提供的公有云存储系统，如集成多家云服务商的对象存储系统，这种方式的接入可以部分解决跨云复杂应用问题，如通过价格模型介入降低应用对存储的部署成本、应用数据备份等，其存储资源供给形态相对单一，供给形态相对固定。尤其是针对跨域场景下的不同存储系统、不同存储系统用户间的存储资源、数据资源等的供给，目前还不太灵活，造成的结果是存储系统用户的数据与其应用运行环境间打通困难，需要大量的数据迁移和数据缩扩容，这对不同体量的用户应用是不可接受的。
发明内容
为了解决同域同一用户下存储资源不足或充足、同域不同用户间存储资源共享、跨域异构存储系统间、跨域同构存储系统间等多种场景下的存储资源供给问题，本发明提供一种跨域存储空间双向供给方法和系统，其可实现不同存储系统间的存储空间资源双向共享，可满足不同计算环境对不同的存储系统访问和数据处理，有效支撑了存算分离体系架构下的数据使用方式和应用领域，通过上层提供的存储访问协议和存储插件，可为大数据集群、容器集群、虚拟机集群以及应用系统提供存储池资源；有效提升存储空间的利用率并降低成本，满足复杂应用对统一存储资源的无感使用需求。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种跨域存储空间双向供给方法。
一种跨域存储空间双向供给方法，位于至少两个域的应用、节点集群和存储系统，所述节点集群向上对接应用、向下对接存储系统，包括：
根据不同域中存储系统内用户的存储空间，构建存储池；
依据配置信息关联的存储池，构建连接节点集群的分布式存储集群系统；其中，配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包；
针对不同应用的访问请求，依据所述访问请求，以使所述应用通过节点集群访问分布式存储集群系统中的存储池。
本发明第一部分，将所述集群系统所涉分布式存储服务集群和存储系统进行网络互联，用于构建存储资源的可访问架构；
于本发明所述分布式存储服务集群，其用于提供本地化存储服务，由访问接入节点，存储适配与服务节点，元数据节点和调度节点构成。具体的访问节点用于对上层应用提供访问存储访问协议接入，且其节点数量可根据系统存储服务性能进行横向扩展；存储适配与服务节点提供对映射的存储空间进行统一组织管理，同时用于对接不同的存储系统，对上层提供某用户的统一存储空间，对下提供存储系统访问协议的适配，该节点也具备跨域数据预取和缓存能力；元数据节点用于存储服务集群的元数据信息和管理文件视图，同时也用于不同存储服务集群的元数据信息供给；调度节点负责整体存储集群跨域元数据信息同步、存储池初始化、数据垃圾回收和数据可靠性管理。
于本发明所述分布式存储服务集群中所涉的访问接入节点，存储适配与服务节点，元数据节点和调度节点在跨域分布式系统下均可部署多个节点，其中网络在上述所有节点和系统间是默认可访问的。
1.结合第一部分所述架构，分布式存储集群与存储系统构建的主存储空间步骤包括：
为所述分布式存储集群和存储系统的清晰描述，定义表1所示的标识描述信息：
表1：描述标识定义
Figure 978795DEST_PATH_IMAGE001
1.1首先初始化分布式存储集群
Figure 581815DEST_PATH_IMAGE002
，该初始化过程默认构建连接访问接入节点、存储适配与服务节点，元数据节点和调度节点，然后通过配置信息对接该分布式存储集群所关联的主存储系统
Figure 287603DEST_PATH_IMAGE003
，这里配置信息主要包括访问存储系统
Figure 685086DEST_PATH_IMAGE003
所需的认证信息、连接地址、适配信息、北向接口和开发包等；
1.2若
Figure 273062DEST_PATH_IMAGE003
系统未开放用户存储空间供
Figure 617456DEST_PATH_IMAGE002
系统对接，则不需要进行存储适配与服务节点，元数据节点和调度节点的配置初始化；否则转步骤1.3，依次开始新增存储系统后的节点信息初始化；
1.3 初始化存储适配与服务节点，该节点向下对接存储系统的存储协议支持CIFS、NFS、HTTP、HDFS、S3、NVMe-oF、FC、FCoE、iSCSI和并行文件系统访问协议，为保障可适配相应的存储协议，该节点同时应配置对应的适配硬件，如HBA（Host Bus Adapter）、IB卡（InfiniBand）和NVMe-oF卡等。若对接的存储系统
Figure 177750DEST_PATH_IMAGE003
支持北向访问接口调用，则配置存储系统接口调用认证信息，并在存储适配节点配置该信息；否则，在存储系统中配置需要供给的用户存储空间
Figure 542872DEST_PATH_IMAGE004
的信息，包括存储空间大小，访问权限，访问带宽，并在存储适配节点配置认证信息和存储空间信息；该步骤认证信息包括调用接口的用户Token，存储系统类型，存储系统标识，接口调用地址和存储协议；该节点还需要初始化的本地缓存存储池和初始化全局缓存元数据信息，以便保障跨域存储系统的远程调用，降低存储请求延迟；转向步骤1.4；
1.4 如所述初始化存储适配与服务节点，访问元数据节点检测接入的用户存储空间
Figure 24669DEST_PATH_IMAGE004
是否存在未回收的文件即回收状态信息为1，并生成回收文件清单，若回收文件清单不为空，则按照回收文件清单信息请求存储系统，若请求的文件存在，则更新该文件回收状态信息为0即可用状态，否则继续清单查询。这里查询文件条件为存储系统标识、文件存储路径、文件名等
Figure 31808DEST_PATH_IMAGE005
所示六元组信息；若回收文件清单为空则转步骤1.5；
1.5 初始化调度节点，将所述存储适配节点获取到的认证信息、存储空间信息、存储系统信息同步至该节点，并设置存储空间的读写属性为可读写，并存储所有信息到数据库中。
1.6 存储集群更新新加入的存储空间的主从属性为主存储，信息同步至调度节点数据库。
于本发明第一部分所述步骤，所构建的分布式存储集群
Figure 446609DEST_PATH_IMAGE002
接入了存储系统
Figure 248212DEST_PATH_IMAGE003
中的一个用户存储空间
Figure 951726DEST_PATH_IMAGE004
作为整个存储集群的存储池，即该存储池也表示为
Figure 434660DEST_PATH_IMAGE006
本发明第二部分，将所述集群系统涉及的一个或多个存储空间支持存储池双向供给的方法，从而可以实现跨域场景下的存储资源弹性扩缩容和存储数据流动。
针对已构建存储池
Figure 766284DEST_PATH_IMAGE007
，若将存储系统
Figure 879733DEST_PATH_IMAGE008
中的用户
Figure 664019DEST_PATH_IMAGE009
存储空间开放供给并扩容至
Figure 153906DEST_PATH_IMAGE002
集群中，扩容过程遵循以下步骤：
2.1.1 存储系统
Figure 480982DEST_PATH_IMAGE008
所供给存储空间通过
Figure 827650DEST_PATH_IMAGE002
所属的存储适配与服务节点获取认证信息和存储空间信息，流程与步骤1.3所述用户存储空间初始化过程一致；
2.1.2 针对
Figure 99231DEST_PATH_IMAGE008
供给存储空间执行步骤1.4和步骤1.5所属过程，从而完成存储空间信息在存储适配与服务节点，元数据节点和调度节点的更新；
2.1.3 若当前存储集群仅存在一个存储空间，系统将该存储空间的主从属性置为主存储空间，否则将该存储空间置为从存储空间，并将该信息同步至调度节点数据库中。
至此，存储集群
Figure 127230DEST_PATH_IMAGE002
的新存储节点扩容完成，新的存储池更新为
Figure 371129DEST_PATH_IMAGE010
（描述1），后续新存储空间扩容均按照上述步骤进行。
若存储集群
Figure 685436DEST_PATH_IMAGE002
中某个存储空间
Figure 850838DEST_PATH_IMAGE011
关闭存储空间供给（隶属于存储系统
Figure 479266DEST_PATH_IMAGE008
中的用户
Figure 577672DEST_PATH_IMAGE012
），则存储空间缩容过程遵循以下步骤：
2.2.1 存储集群所属调度节点将所属存储空间
Figure 266142DEST_PATH_IMAGE011
的读写属性置为只读；
2.2.2 调度节点中周期性轮询检测存储空间
Figure 512316DEST_PATH_IMAGE011
置为只读后的写入流是否完成写入，若完成则发送文件迁移消息至存储适配与服务节点并执行步骤2.2.3；
2.2.3 存储适配与服务节点收到数据迁移消息，首先请求调度节点获取迁移目的存储空间信息，其由调度节点根据该空间的元数据信息判断给出，若目的迁移存储空间不存在，则存储空间
Figure 882117DEST_PATH_IMAGE011
缩容失败，并退出，否则转至步骤2.2.4；
2.2.4 锁定迁移目的节点空间大小并获取待迁移文件清单，并将清单中的所有文件的回收状态置为1,启动数据文件迁移；
2.2.5 数据迁移过程中每迁移完成一个文件，确认文件缓存区中是否存在该文件，若存在则删除，同时更新该文件的回收状态为0，直至全部文件迁移完成；
2.2.6 更新存储空间
Figure 100609DEST_PATH_IMAGE011
在迁移节点和存储适配与服务节点的信息。
本发明第三部分，应用通过接入节点访问以2.1.3所述“描述1”构成的存储池
Figure 756718DEST_PATH_IMAGE013
，本发明所述接入节点对上层应用支持多种存储协议，包括CIFS、NFS、HTTP和并行文件系统访问协议。所述应用通过接入节点访问所构建存储池，具体方法如下：
2.3.1 业务应用节点通过存储协议挂载或连接接入节点；
2.3.2 若应用对存储池发送读写请求，首先接入节点根据请求信息查询元数据节点，获取该请求文件所在存储适配与服务节点信息和访问信息
Figure 631133DEST_PATH_IMAGE014
，并转向步骤2.3.3；
2.3.3 响应该请求的接入节点根据获取到的节点信息和访问信息
Figure 663680DEST_PATH_IMAGE014
向存储适配与服务节点发送请求，这里选择“存储适配与服务节点
Figure 939941DEST_PATH_IMAGE015
”的策略根据
Figure 829268DEST_PATH_IMAGE014
的哈希值确定，即具体目的请求节点标识
Figure 190979DEST_PATH_IMAGE016
，其中
Figure 699321DEST_PATH_IMAGE017
表示一致性哈希函数，n表示“存储适配与服务节点”数量；
2.3.4 选定的目的存储适配与服务节点根据发送的文件信息
Figure 689143DEST_PATH_IMAGE014
判断该请求类型，若是读请求，则转向2.3.5，否则转向2.3.10。本发明本地缓存采用基于热点阈值的缓存策略，分布式缓存则采用LRU（Least Recently Used）缓存策略；
2.3.5 检查当前节点的本地缓存，若该请求缓存命中，则更新缓存计数，并返回请求，同时转向步骤2.3.10，否则转向步骤2.3.6；
2.3.6 根据文件信息
Figure 93579DEST_PATH_IMAGE014
计算一致性哈希值
Figure 739324DEST_PATH_IMAGE018
，并发送请求至相应的存储适配与服务节点，转向步骤2.3.7；
2.3.7 对应的存储适配与服务节点的分布式缓存根据文件信息
Figure 51357DEST_PATH_IMAGE014
，若缓存命中则返回请求并转向步骤2.3.10，否则转向步骤2.3.8；
2.3.8当前响应读请求的存储适配与服务节点根据文件信息
Figure 958002DEST_PATH_IMAGE014
分别向具体的存储池
Figure 533340DEST_PATH_IMAGE013
所涉及的存储系统
Figure 666381DEST_PATH_IMAGE019
或
Figure 578842DEST_PATH_IMAGE020
发送请求，待请求文件返回后，并转向步骤2.3.9；
2.3.9若对应节点的分布式缓存也未命中，则检查请求的文件是否可被缓存，即首先判断其是否满足基于热点阈值的缓存策略，若文件访问次数满足热点阈值要求，则该文件默认缓存在响应请求节点的本地缓存中存储并更新文件计数，若本地缓存池已满，则将该缓存文件发送至集群的存储适配与服务节点的分布式缓存中（节点选择方式同样采用一致性哈希），并转向步骤2.3.10；
2.3.10 由存储适配与服务节点向对应的接入节点返回该文件请求响应信息。
本发明的第二个方面提供一种跨域存储空间双向供给系统。
一种跨域存储空间双向供给系统，位于至少两个域的应用、节点集群和存储系统，所述节点集群向上对接应用、向下对接存储系统，包括：
第一构建模块，其被配置为：根据不同域中存储系统内用户的存储空间，构建存储池；
第二构建模块，其被配置为：依据配置信息关联的存储池，构建连接节点集群的分布式存储集群系统；其中，配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包；
供给模块，其被配置为：针对不同应用的访问请求，依据所述访问请求，以使所述应用通过节点集群访问分布式存储集群系统中的存储池。
本发明通过三个部分的描述构建了分布式存储集群
Figure 684201DEST_PATH_IMAGE021
，且系统支持任意多个跨域存储系统的组合，并可在逻辑上构建统一的一个存储集群，这里一个用户存储空间
Figure 23916DEST_PATH_IMAGE022
同一时间只能被一个存储集群引用。
与现有技术相比，本发明的有益效果是：
本发明所述系统具备良好的扩展性，针对应用的分布情况，可灵活组织应用本地的存储系统与业务流所需的远端存储系统，即整体系统可被分为多个
Figure 644253DEST_PATH_IMAGE023
。
本发明的架构灵活，所有节点可根据需求组成融合架构的一个或多个节点，也可将每个类型节点单独构建成一个集群，从而增加系统整体的性能、可靠性和容量。
本发明主要解决了复杂应用场景对多个存储系统统一访问或跨域访问问题，同时通过基于本地缓存和分布式缓存策略，保证了跨域场景下的文件访问性能，通过单独对接某个应用的存储需求并绑定逻辑上统一的存储池和缓存热点文件实现应用对存储性能和扩展性的要求。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例涉及的应用跨域访问存储场景；
图2为本发明实施例提供的跨域存储资源双向供给系统框图；
图3为本发明实施例构建的缓存架构图；
图4为本发明实施例跨域应用场景下的存储资源组织架构示例；
图5为本发明迭代存储资源组织架构示例图；
图6为本发明实施例中开启某一存储空间资源供给流程图；
图7为本发明实施例中关闭某一存储空间资源供给流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
为了更清晰理解本发明内容，特进行以下定义约定描述：
存储系统用户：存储系统中的用户，具备访问该存储系统的权限。
租户：使用统一存储视图后的存储资源用户，具备存储系统访问权限。
跨域：隶属于不同存储系统间的连接模式，例如：同一用户的不同存储系统间实现一个或多个存储池互联，或不同用户的不同存储系统间实现一个或多个存储池互联，互联的存储系统可以位于同一地理区域或不同的地理区域。一般认为跨域比同域应用在存储访问性能或互联延迟上要差。
本地存储系统：以某租户应用视角，其应用系统可直接访问的存储系统，且靠近应用计算环境，可以是应用服务器硬盘通过软件构成的存储系统或通过网络可直接访问存储系统。
文件：“文件”在不同的存储系统中称谓不同，例如对象存储系统中“文件”称为对象，文件系统中称为文件，块存储系统中称为块，为方便描述，本发明中涉及的不同存储系统的“文件”描述均以文件描述。
存储协议：本发明中涉及的存储协议指的是访问不同的存储系统所采用的协议标准，包括但不限于CIFS（Common Internet File System）、NFS（Network File System）、HTTP（Hypertext transfer protocol）、NVMe-oF（NVMe over Fabrics）、FC（FiberChannel）、FCoE（Fibre Channel over Ethernet）、iSCSI（Internet Small ComputerSystem Interface），并行文件系统访问协议等。
实施例一
本实施例提供了一种跨域存储空间双向供给方法。
一种跨域存储空间双向供给方法，位于至少两个域的应用、节点集群和存储系统，所述节点集群向上对接应用、向下对接存储系统，包括：
根据不同域中存储系统内用户的存储空间，构建存储池；
依据配置信息关联的存储池，构建连接节点集群的分布式存储集群系统；其中，配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包；
针对不同应用的访问请求，依据所述访问请求，以使所述应用通过节点集群访问分布式存储集群系统中的存储池。
为进一步阐述本发明的应用背景，图1进一步给出了相关说明，如图所示是本发明传统应用与跨域应用对存储资源的使用区别，可以看出传统应用中，应用1的业务在域1中可直接本地访问存储系统中用户
Figure 360405DEST_PATH_IMAGE024
的存储空间，该访问模式可以保证应用本身所需的I/O（Input/Output）性能，是最常用的一种应用访问存储的模式。图中应用2的存储访问涉及到域1和域2的两个存储系统
Figure 320271DEST_PATH_IMAGE025
和
Figure 34149DEST_PATH_IMAGE026
，这里
Figure 204099DEST_PATH_IMAGE026
对应用2来说属于同域的本地存储，
Figure 661625DEST_PATH_IMAGE025
对应用2来说属于跨域系统。对应用2的业务系统来说，因为涉及两个域的存储系统，在应用上需要做针对性适配，且提供的存储空间从视图上看也是两个独立的存储，两个存储空间间若需要做数据的迁移、缓存等，该过程对应用2都不是透明的，本发明就是为了解决这个问题，可以实现上层应用对不同跨域存储系统的无感知且提供统一的一个存储视图，减少了应用对存储的适配依赖。
图2是本发明实施例中所提供的一种跨域存储资源双向供给系统架构形式。在具体实施中，本发明所涉系统节点包括接入节点、元数据节点、存储适配与服务节点、调度节点，并附带跨域存储系统，同时上层支撑了三种不同的应用。图中所示是位于域1的某个分布式存储系统
Figure 272735DEST_PATH_IMAGE027
，图中各节点的互联形态是本发明常见的一种架构，系统在进行初始化时将依次进行各个节点的配置。具体来说：
该存储系统
Figure 423094DEST_PATH_IMAGE027
同时连接了位于两个域（域1和域2）的三个存储系统
Figure 549182DEST_PATH_IMAGE028
，分别是位于域1中的对象存储系统
Figure 833836DEST_PATH_IMAGE025
和文件存储系统
Figure 361769DEST_PATH_IMAGE029
，位于域2中的块存储系统
Figure 886292DEST_PATH_IMAGE030
。首先系统初始化接入节点集群，图中集群由四个节点构成，且四个节点都是对等的，均可以接收来自应用的请求，其初始化过程主要是构建连接元数据节点和存储适配与服务节点的请求通路，依托组网拓扑配置访问各节点集群的信息。图中初始化存储适配与服务节点集群过程主要涉及三个部分，第一是配置向上对接应用、向下对接存储系统以及对接元数据节点、调度节点、接入节点的访问信息。第二部分涉及初始化接入用户存储空间，第三部分主要是初始化节点集群的本地缓存空间和全局缓存元数据。
具体的针对初始化图中存储适配与服务节点集群第一部分内容，涉及的访问信息包括：
1）各接入分布式系统集群的存储系统访问认证信息，如用户名/密码，访问密钥等；
2）对接存储系统所需的访问协议，如NAS存储系统使用的NFS协议，CIFS协议，对象存储系统使用的S3协议，大数据存储使用的HDFS协议等，节点通过相应的协议会配置相关的适配工具和驱动；
3）配置所对接的存储系统标识，供给的存储空间大小，访问权限，访问带宽，存储系统类型，存储系统标识和接口调用地址信息等，该部分信息不仅在集群内存储同时还同步至元数据节点。
具体的针对初始化图中存储适配与服务节点集群第二部分内容，涉及初始化接入用户存储空间的步骤包括：
表2：生成的文件清单示例
Figure 437359DEST_PATH_IMAGE031
（1）根据第一部分配置的存储系统访问信息，第二部分用于完成接入用户存储的初始化，检测所对接的存储空间是否已存在数据，即访问元数据集群获取存储系统
Figure 564584DEST_PATH_IMAGE032
对应的存储空间且回收状态为1的空间信息，并生成相应存储系统的文件清单，其示例如表2所示，并依次进行下述步骤的检测：
（1-1）检测存储系统
Figure 947023DEST_PATH_IMAGE033
所生成的文件清单示例，可以看出该节点集群对接了标识为“2e63”的存储系统的两个存储空间“6f6d”和“7d3c”，通过提供的文件存储路径和文件名访问存储系统
Figure 376868DEST_PATH_IMAGE033
。这里存储系统
Figure 539865DEST_PATH_IMAGE035
为对象存储，因此其文件存储路径和文件拼接后的信息为对象名，不存在文件夹概念；
（1-2）检测存储系统
Figure 346147DEST_PATH_IMAGE037
所生成的文件清单示例，表2中的节点集群对接了标识为“6e6c”的存储系统的1个存储空间“696e”，且该存储空间中也存在未被回收的文件信息即存储空间之前被接入过但还未被系统完全回收完成。这里该存储系统
Figure 786355DEST_PATH_IMAGE037
为文件存储，因此其访问路径即代表真实的访问目录和文件名；
（1-3）检测存储系统
Figure 511735DEST_PATH_IMAGE039
所生成的文件清单示例，表2中的节点集群对接了标识为“5e6f”的存储系统的1个存储空间“6c73”，且该空间中存在两个块数据未被回收。这里存储系统
Figure 834132DEST_PATH_IMAGE039
为块存储，因此其文件存储路径代表LBA（Logical Block Addressing）地址，且不存在文件名；
以上对接的三种存储系统在检测文件时均转向执行步骤（2）
（2）若存在清单中文件，则更新该文件元数据信息的回收状态为0，否则删除该元数据信息。这里若检测存储空间中文件不存在而元数据中标识该文件存在，导致这一问题的原因在于存储系统中的用户在断开资源供给后，自行删除其空间中数据信息导致。
本实施例针对图2仅阐述了接入的三种不同存储系统用户供给存储空间资源的初始化示例，若接入其他存储系统如HDFS，Key-Value存储等均可以采用类似上述初始化方法实现初始化。
具体的针对存储适配与服务节点集群的第三部分主要是完成初始化节点集群的本地缓存和分布式缓存。图3所示示例给出了3个存储适配与服务节点构成的集群分布式缓存架构，采用一致性哈希算法构建，用于加速跨域文件访问性能，可以看出，每个存储适配与服务节点
Figure 444104DEST_PATH_IMAGE041
均具有本地缓存和分布式缓存结构，对其缓存的具体初始化和缓存请求步骤如下（编号
Figure 863453DEST_PATH_IMAGE043
为图3中所示示例）：
a）依次初始化3个节点的本地缓存和分布式缓存，该初始化操作依附于节点内文件系统且在分布式集群构建完成时默认开始；
b）待3个节点的两个缓存均初始化完成后，即可对上层提供缓存请求服务，这里以图3中的文件读请求为例，即
Figure 635100DEST_PATH_IMAGE044
节点1响应文件读请求，访问文件信息标识为
Figure 913635DEST_PATH_IMAGE046
；
c）若步骤
Figure 858457DEST_PATH_IMAGE048
的读请求在本地缓存命中，则通过步骤
Figure 132312DEST_PATH_IMAGE050
向分布式缓存集群请求缓存文件；
d）步骤
Figure 74861DEST_PATH_IMAGE052
通过文件信息和集群节点数，采用一致性哈希函数
Figure 575112DEST_PATH_IMAGE054
计算出目的请求缓存节点；
e）步骤
Figure 120363DEST_PATH_IMAGE056
则表明了本次读请求的目的节点即
Figure 451987DEST_PATH_IMAGE041
节点2，然后读取该节点的分布式缓存，直至步骤
Figure 831016DEST_PATH_IMAGE058
所示的缓存命中。
本实施例针对存储适配与服务节点集群的本地缓存和分布式缓存的命中判断不需要通过额外的元数据结构，均通过对文件信息
Figure 818564DEST_PATH_IMAGE060
和一致性哈希函数计算实现，可保证整个缓存集群的灵活扩展，同时整体架构不存在中心节点。
作为本实施例典型的实施例，图4给出了涉及3个域的5个存储系统构建而来的3个跨域分布式存储集群，通过构建的跨域存储资源系统可分别支撑3个域中3种应用需求。
于图4所示，域1中的分布式存储集群由2个调度节点、4个接入节点、3个元数据节点和3个存储适配与服务节点构成，这种节点集群架构具有很好的可靠性、性能和扩展性，是本实施例推荐的一种架构形式。其中的分布式存储集群
Figure 901926DEST_PATH_IMAGE062
由该域中的
Figure 556898DEST_PATH_IMAGE035
存储系统中的
Figure 700304DEST_PATH_IMAGE064
存储空间和域2中
Figure 112830DEST_PATH_IMAGE066
存储系统中的
Figure 999884DEST_PATH_IMAGE068
存储空间构成了一个统一的存储空间，即
Figure 509363DEST_PATH_IMAGE070
，这里对应用1、应用2和应用3来说，
Figure 823669DEST_PATH_IMAGE072
的存储空间中
Figure 989071DEST_PATH_IMAGE035
供给的存储称之为主存储空间，因为其均位于同一个域中。
于图4所示，域2中跨域分布式存储集群
Figure 617499DEST_PATH_IMAGE074
存储资源由3个域中3个存储系统供给，涉及4个租户级存储空间即
Figure 512643DEST_PATH_IMAGE075
，可以看出，
Figure 466692DEST_PATH_IMAGE076
的存储空间
Figure 650549DEST_PATH_IMAGE077
和
Figure 82667DEST_PATH_IMAGE079
均来自于域1中的同一个存储系统
Figure 97897DEST_PATH_IMAGE037
，而涉及的存储系统
Figure 222847DEST_PATH_IMAGE037
，
Figure 690738DEST_PATH_IMAGE081
和
Figure 864230DEST_PATH_IMAGE083
可以为异构存储，也可支持不同的上层访问协议，本实施例所述资源供给方法主要通过存储适配与服务节点实现存储空间的向下兼容适配和向上统一组织，并可对应用实现透明无感知。在节点构成方面，
Figure 999545DEST_PATH_IMAGE074
则由2个接入节点和均采用双节点模式的调度节点、元数据节点和存储适配与服务节点构建，该架构的可用性和性能等方面较
Figure 29818DEST_PATH_IMAGE062
稍差，但其在构建成本上具有很好的优势。
于图4所示，域3中的分布式存储集群
Figure 985005DEST_PATH_IMAGE085
只有1个融合节点构成，该节点融合了调度节点、接入节点、元数据节点和存储适配与服务节点的软件功能即本实施例支持集群多节点功能融合，该架构具有部署灵活，结构简单等特点，适用于应用规模小、成本要求低、可靠性要求不高的场景。
为进一步地阐述本实施例存储资源供给方法的灵活性，图5给出了基于跨域集群架构
Figure 962188DEST_PATH_IMAGE062
，
Figure 14327DEST_PATH_IMAGE074
和
Figure 418763DEST_PATH_IMAGE085
衍生出的一种迭代存储资源组织架构的示例图。该架构是建立在已有的统一存储空间基础之上再次划分的存储空间通过本实施例的供给方法迭代构建，即由
Figure 798929DEST_PATH_IMAGE062
中划分的存储空间
Figure 438858DEST_PATH_IMAGE087
，
Figure 283186DEST_PATH_IMAGE074
中划分的存储空间
Figure 881961DEST_PATH_IMAGE089
和
Figure 608477DEST_PATH_IMAGE085
中划分的存储空间
Figure 52097DEST_PATH_IMAGE091
构成，最终的统一存储空间
Figure 954194DEST_PATH_IMAGE093
。通过迭代式存储资源供给并进行数据组织，可支撑更广泛和更深层次的应用形式和场景。
当有新的存储空间资源供给至分布式存储集群中时，存储集群将执行扩容流程，图6为本实施例中将存储系统
Figure 559488DEST_PATH_IMAGE095
中的
Figure 179825DEST_PATH_IMAGE097
存储空间资源扩容至存储集群的过程，具体实施步骤如下：
1）存储集群会通过调度节点
Figure 630398DEST_PATH_IMAGE099
获取到新扩容存储空间的认证访问信息和存储空间信息，具体认证信息针对接入的存储系统不同而不同。本实施例支持接入对象存储系统，其租户存储空间的访问认证信息包括“访问秘钥”和“私有访问秘钥”；接入NAS存储系统中的所用的“用户名”和“密码”或LDAP（Lightweight Directory Access Protocol）用户认证信息等。存储空间信息方面，获取的信息主要包括存储系统标识，空间大小，域信息和权限等。获取完成后转向步骤2）；
2）系统开始初始化存储适配与服务节点
Figure 855843DEST_PATH_IMAGE101
或存储适配与服务集群，主要下发认证信息和空间信息以便对接入的存储系统空间
Figure 366459DEST_PATH_IMAGE097
进行后续初始化操作，下发完成后转向步骤3）；
3）对供给的存储系统空间
Figure 411775DEST_PATH_IMAGE097
进行初始化，这里的初始化操作首先会判断接入的存储空间是否曾经接入过，主要依据用户存储空间标识和所属存储系统标识，该操作可以识别反复接入本集群的存储文件，避免数据的二次拷贝，若接入过则转向步骤4），否则转向步骤7）；
4）向元数据节点发送请求，并识别接入的存储空间的文件信息，查询该空间的文件元数据信息是否存在回收状态为1的文件，具体信息如标识
Figure 869301DEST_PATH_IMAGE103
所示，同时生成文件清单，并转向步骤5）；
5）循环检查所生成的文件清单，若文件清单为空，则转向步骤8），否则转向步骤6）；
6）根据文件清单中的文件路径信息请求对应的存储系统，已确认文件是否存在，若存在则更新该文件的元数据信息，将其回收状态置为0，并转向步骤5）；
7）设置新接入的存储空间主从属性等信息，若接入存储资源与存储集群不在一个域中，则设置该空间的主从属性为从存储，否则设置为主存储，并转向步骤8）；
8）更新元数据节点信息，确认新接入存储空间的信息与存储集群的元数据节点的一致性，并转向步骤9）；
9）更新调度节点信息，并确认新接入的存储空间信息是否全部同步完成，此外还需要更新该空间的数据可靠性策略，元数据同步周期等参数，并转向步骤10）；
10）新接入的存储空间扩容完成。
上述步骤完成后，新提供的存储系统空间
Figure 808307DEST_PATH_IMAGE097
将被加入到存储系统集群中，并作为其统一存储空间的一部分对上层应用提供存储服务。
若存储系统空间
Figure 693087DEST_PATH_IMAGE097
的所属用户关闭存储资源供给，该操作将会触发所属的存储集群启动存储缩容流程，如图7所示的实施例中关闭资源供给示例，具体实施步骤如下：
步骤1：由调度节点
Figure 819174DEST_PATH_IMAGE099
或调度集群根据所属用户存储空间供给关闭请求下发数据文件缩容操作，并转向步骤2；
步骤2：调用元数据节点
Figure 283654DEST_PATH_IMAGE105
或元数据集群将所属存储空间
Figure 811587DEST_PATH_IMAGE106
中存储的所有文件的读写属性置为只读，并转向步骤3；
步骤3：周期性检测系统对该存储空间
Figure 70530DEST_PATH_IMAGE106
的写入请求是否已完成，该检测操作由调度节点中的周期性任务模块实现，待检测任务启动后转向步骤4；
步骤4：若对存储空间
Figure 887176DEST_PATH_IMAGE106
的写入请求已完成，则转向步骤5，否则转向步骤3；
步骤5：调度节点
Figure 748822DEST_PATH_IMAGE107
或调度集群根据
Figure 537786DEST_PATH_IMAGE106
的存储空间信息和文件信息选取迁移的目的存储空间，这里的文件信息包括文件存储容量，平均文件大小，文件数量等信息，且目的存储空间根据实际调度策略需求可以为一个或多个，并转向步骤6；
步骤6：根据调度迁移需求生成迁移文件清单，清单格式如表3所示，
表3：迁移文件清单示例
Figure 623423DEST_PATH_IMAGE108
可以看出，迁移文件清单中的记录的文件信息标识了待关闭供给的
Figure 130628DEST_PATH_IMAGE109
空间和文件存储路径信息，而迁移目的端的存储空间或系统类型可以有多个，但在本实施例中其存储路径均与原文件存储路径一致，在存储上层做了统一抽象，不区分文件存储、对象存储或其他存储系统。待迁移文件清单生成完成后，转向步骤7；
步骤7：请求元数据节点或元数据集群并更新迁移文件清单中的文件回收状态为1即待回收状态，并转向步骤8；
步骤8：系统启动文件迁移，并开始循环遍历迁移文件清单，转向步骤9；
步骤9：更新已迁移文件的回收状态为0即可用状态，同时启动该文件的缓存检查操作并转向步骤10，针对未完成迁移任务转向步骤12；
步骤10：通过存储适配与服务节点
Figure 530385DEST_PATH_IMAGE110
或存储适配与服务节点集群根据发送过来的文件信息检查是否在其集群内的缓存中，这里的缓存检查包括本地缓存和分布式缓存均需执行该操作，并转向步骤11，否则转向步骤15；
步骤11：若集群缓存中存在该文件则执行缓存文件删除操作，转向步骤15；
步骤12：判断整个迁移文件清单是否完成，若未完成，则转向步骤8继续遍历，否则转向步骤13。这里在实际实施过程中文件的迁移采用调度方式实现，可支持多进程并发迁移；
步骤13：更新迁移节点或迁移集群信息，保证整个存储集群的文件元数据信息一致性，并转向步骤14；
步骤14：更新存储适配与服务节点
Figure 173856DEST_PATH_IMAGE110
或存储适配与服务节点集群信息，使其具备存储资源供给与
Figure 836918DEST_PATH_IMAGE109
断开关联的条件，转向步骤15；
步骤15：
Figure 159315DEST_PATH_IMAGE109
的存储空间资源供给关闭完成，即缩容完成。
实施例二
本实施例提供了一种跨域存储空间双向供给系统。
一种跨域存储空间双向供给系统，位于至少两个域的应用、节点集群和存储系统，所述节点集群向上对接应用、向下对接存储系统，包括：
第一构建模块，其被配置为：根据不同域中存储系统内用户的存储空间，构建存储池；
第二构建模块，其被配置为：依据配置信息关联的存储池，构建连接节点集群的分布式存储集群系统；其中，配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包；
供给模块，其被配置为：针对不同应用的访问请求，依据所述访问请求，以使所述应用通过节点集群访问分布式存储集群系统中的存储池。
此处需要说明的是，上述第一构建模块、第二构建模块和供给模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种跨域存储空间双向供给方法，其特征在于，应用于至少两个域，每个域包括应用、节点集群和存储系统，所述节点集群向上对接应用、向下对接存储系统，包括：
根据不同域中存储系统内用户的存储空间，构建存储池；
依据配置信息关联的存储池，构建连接节点集群的分布式存储集群系统；其中，配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包；
针对不同应用的访问请求，依据所述访问请求，以使所述应用通过节点集群访问分布式存储集群系统中的存储池；
所述节点集群包括：接入节点、存储适配与服务节点、元数据节点和调度节点，或，包括融合了接入节点、存储适配与服务节点、元数据节点和调度节点的功能的融合节点；
所述接入节点用于对上层应用提供访问存储、访问协议接入；
所述存储适配与服务节点用于提供对映射的存储空间进行统一组织管理，对接不同的存储系统，对上层提供某用户的统一存储空间，对下提供存储系统访问协议的适配；
所述元数据节点用于存储分布式存储集群系统的元数据信息和管理文件视图，不同分布式存储集群系统的元数据信息供给；
所述调度节点用于负责分布式存储集群系统跨域元数据信息同步、存储池初始化、数据垃圾回收和数据可靠性管理。
2.根据权利要求1所述的跨域存储空间双向供给方法，其特征在于，所述根据不同域中存储系统内用户的存储空间，构建存储池；依据配置信息关联的存储池，构建连接节点集群的分布式存储集群系统具体包括：若存储系统未开放用户存储空间供分布式存储集群系统对接，则不需要进行节点集群初始化；否则初始化节点集群。
3.根据权利要求2所述的跨域存储空间双向供给方法，其特征在于，所述初始化节点集群具体包括：初始化存储适配与服务节点，该节点向下对接存储系统的存储协议和并行文件系统访问协议，配置对应的适配硬件；若对接的存储系统支持北向访问接口调用，则配置存储系统接口调用认证信息，并在存储适配与服务节点配置该信息；否则，在存储系统中配置需要供给的用户存储空间的信息；并在存储适配与服务节点配置认证信息和存储空间信息；初始化本地缓存存储池和初始化全局缓存元数据信息。
4.根据权利要求3所述的跨域存储空间双向供给方法，其特征在于，所述初始化节点集群具体还包括：
接入节点检测接入的用户存储空间是否存在未回收的文件，回收状态信息为1，并生成回收文件清单，若回收文件清单不为空，则按照回收文件清单信息请求存储系统；若请求的文件存在，则更新该文件回收状态信息为0，即可用状态，否则继续清单查询。
5.根据权利要求4所述的跨域存储空间双向供给方法，其特征在于，若回收文件清单为空，则初始化调度节点，将所述存储适配与服务节点获取到的认证信息、存储空间信息和存储系统信息同步至该调度节点，并设置存储空间的读写属性为可读写，并存储所有信息到数据库中。
6.根据权利要求1所述的跨域存储空间双向供给方法，其特征在于，若将所述存储系统中的用户存储空间开放供给并扩容至分布式存储集群系统中，则执行以下步骤：
存储系统所供给存储空间通过分布式存储集群系统所属的存储适配与服务节点获取认证信息和存储空间信息，初始化用户存储空间；
针对存储系统供给存储空间，更新存储适配与服务节点、元数据节点和调度节点的存储空间信息；
若当前分布式存储集群系统仅存在一个存储空间，分布式存储集群系统将该存储空间的主从属性置为主存储空间，否则将该存储空间置为从存储空间，并将该信息同步至调度节点数据库中；
至此，分布式存储集群系统的新存储节点扩容完成。
7.根据权利要求1所述的跨域存储空间双向供给方法，其特征在于，若分布式存储集群系统中某个存储空间关闭存储空间供给，则执行以下步骤：
分布式存储集群系统所属调度节点将所属存储空间的读写属性置为只读；
调度节点中周期性轮询检测存储空间置为只读后的写入流是否完成写入，若完成则发送文件迁移消息至存储适配与服务节点；
存储适配与服务节点收到数据迁移消息，首先请求调度节点获取迁移目的存储空间信息，其由调度节点根据该空间的元数据信息判断给出，若目的迁移存储空间不存在，则存储空间缩容失败，并退出；否则，锁定迁移目的节点空间大小并获取待迁移文件清单，并将清单中的所有文件的回收状态置为1，启动数据文件迁移；
数据迁移过程中每迁移完成一个文件，确认文件缓存区中是否存在该文件，若存在则删除，同时更新该文件的回收状态为0，直至全部文件迁移完成；
更新存储空间在迁移节点和存储适配与服务节点的信息。
8.根据权利要求1所述的跨域存储空间双向供给方法，其特征在于，所述应用通过节点集群访问分布式存储集群系统中的存储池，具体包括：
业务应用节点通过存储协议挂载或连接接入节点；
若应用对存储池发送读写请求，首先接入节点根据请求信息查询元数据节点，获取该请求文件所在存储适配与服务节点信息和访问信息；
响应该请求的接入节点根据获取到的节点信息和访问信息向存储适配与服务节点发送请求；
根据发送的文件信息，选定目的存储适配与服务节点；
若是读请求，则检查当前节点的本地缓存，若该请求缓存命中，则更新缓存计数，并返回请求；否则，根据文件信息计算一致性哈希值，并发送请求至相应的存储适配与服务节点；
对应的存储适配与服务节点的分布式缓存文件信息，若缓存命中则返回请求，否则，当前响应读请求的存储适配与服务节点根据文件信息分别向具体的存储池所涉及的存储系统发送请求，待请求文件返回后，若对应存储适配与服务节点的分布式缓存也未命中，则检查请求的文件是否可被缓存，即首先判断其是否满足基于热点阈值的缓存策略，若文件访问次数满足热点阈值要求，则该文件默认缓存在响应请求节点的本地缓存中存储并更新文件计数，若本地缓存池已满，则将该文件发送至集群的存储适配与服务节点的分布式缓存中；
由存储适配与服务节点向对应的接入节点返回该文件请求响应信息。
CN202210407398.5A 2022-04-19 2022-04-19 一种跨域存储空间双向供给方法和系统 Active CN114513530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210407398.5A CN114513530B (zh) 2022-04-19 2022-04-19 一种跨域存储空间双向供给方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210407398.5A CN114513530B (zh) 2022-04-19 2022-04-19 一种跨域存储空间双向供给方法和系统

Publications (2)

Publication Number Publication Date
CN114513530A CN114513530A (zh) 2022-05-17
CN114513530B true CN114513530B (zh) 2022-08-19

Family

ID=81555157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210407398.5A Active CN114513530B (zh) 2022-04-19 2022-04-19 一种跨域存储空间双向供给方法和系统

Country Status (1)

Country Link
CN (1) CN114513530B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991333B (zh) * 2023-09-25 2024-01-26 苏州元脑智能科技有限公司 分布式数据存储方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156216A (zh) * 2014-08-14 2014-11-19 浪潮(北京)电子信息产业有限公司 一种面向云计算的异构存储管理系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9390055B2 (en) * 2012-07-17 2016-07-12 Coho Data, Inc. Systems, methods and devices for integrating end-host and network resources in distributed memory
US11531495B2 (en) * 2014-04-21 2022-12-20 David Lane Smith Distributed storage system for long term data storage
US10209982B2 (en) * 2017-05-16 2019-02-19 Bank Of America Corporation Distributed storage framework information server platform architecture
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储系统及其数据路由方法
CN110825520B (zh) * 2019-10-18 2023-08-29 山东省计算中心（国家超级计算济南中心） 一种实现资源高效利用的集群极速弹性伸缩方法
CN112995097B (zh) * 2019-12-13 2023-09-22 中兴通讯股份有限公司 跨域访问系统及方法、装置
US20210405902A1 (en) * 2020-06-30 2021-12-30 Portworx, Inc. Rule-based provisioning for heterogeneous distributed systems
CN111782655A (zh) * 2020-07-01 2020-10-16 浪潮云信息技术股份公司 一种基于地理分区的数据库跨区域数据就近访问方法
CN112714166B (zh) * 2020-12-22 2022-03-29 新华三大数据技术有限公司 分布式存储系统的多集群管理方法及装置
CN114089917A (zh) * 2021-11-19 2022-02-25 中国电信集团系统集成有限责任公司 分布式对象存储集群及其扩容方法、装置及电子设备
CN114338725B (zh) * 2021-12-31 2024-01-30 深圳市瑞云科技有限公司 一种提升大规模集群渲染上限的分布式存储调度方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156216A (zh) * 2014-08-14 2014-11-19 浪潮(北京)电子信息产业有限公司 一种面向云计算的异构存储管理系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种可扩展分布式RAID存储集群系统;章宏灿等;《计算机研究与发展》;20080415(第04期);全文 *

Also Published As

Publication number Publication date
CN114513530A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
Mayer et al. Fogstore: Toward a distributed data store for fog computing
JP5976842B2 (ja) 計算機システム、及び、計算機システムの仮想サーバ移行制御方法
CN105549904B (zh) 一种应用于存储系统中的数据迁移方法及存储设备
CN106537881B (zh) 基于存根追踪允许同步访问云存储系统的方法及计算设备
US10789217B2 (en) Hierarchical namespace with strong consistency and horizontal scalability
US9405781B2 (en) Virtual multi-cluster clouds
US8078622B2 (en) Remote volume access and migration via a clustered server namespace
TWI476610B (zh) 同級間冗餘檔案伺服器系統及方法
US20080235300A1 (en) Data migration processing device
US8176012B1 (en) Read-only mirroring for load sharing
US8380815B2 (en) Root node for file level virtualization
US20090063556A1 (en) Root node for carrying out file level virtualization and migration
CN109314721B (zh) 分布式文件系统的多个集群的管理
CN103338242B (zh) 一种基于多级缓存的混合云存储系统和方法
US8296420B2 (en) Method and apparatus for constructing a DHT-based global namespace
JP2008533564A (ja) データ管理のための方法および装置
CN110572439B (zh) 一种基于元数据服务和虚拟转发网桥的云监控方法
CN104281506A (zh) 一种文件系统的数据维护方法及系统
US10735369B2 (en) Hierarchical namespace service with distributed name resolution caching and synchronization
JP2006059119A (ja) ストレージネットワークの移行方法、管理装置、管理プログラムおよびストレージネットワークシステム
US10320905B2 (en) Highly available network filer super cluster
US20130332418A1 (en) Method of managing data in asymmetric cluster file system
US10579597B1 (en) Data-tiering service with multiple cold tier quality of service levels
US8627446B1 (en) Federating data between groups of servers
US7818390B2 (en) Method for transferring data between terminal apparatuses in a transparent computation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant