CN115623012A - 数据处理方法、装置及系统 - Google Patents
数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN115623012A CN115623012A CN202110785742.XA CN202110785742A CN115623012A CN 115623012 A CN115623012 A CN 115623012A CN 202110785742 A CN202110785742 A CN 202110785742A CN 115623012 A CN115623012 A CN 115623012A
- Authority
- CN
- China
- Prior art keywords
- units
- unit
- data
- unit group
- deployed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置及系统,属于数据存储领域。所述方法包括:获取针对单元组的容灾规则,所述单元组包括一个或多个单元,所述单元为文件系统或所述单元为文件系统的目录;按照所述容灾规则,对所述单元组中单元进行容灾部署。本申请能够解决存储系统的功能单一,对存储系统的管理灵活性低的问题。本申请用于存储系统的管理。
Description
技术领域
本申请涉及数据存储领域,特别涉及一种数据处理方法、装置及系统。
背景技术
目前,一种存储系统包括网关设备(也称数据网关)和多个文件系统,每个文件系统为至少一个应用提供服务。该网关设备用于为该多个文件系统提供统一的访问入口。不同的应用可以通过该访问入口访问对应的文件系统。
但是,该存储系统的功能单一,导致对存储系统的管理灵活性低。
发明内容
本申请实施例提供了一种数据处理方法、装置及系统。该技术方案如下:
第一方面,本申请实施例提供了一种数据处理方法,该方法可以应用于接口装置,该接口装置部署在计算设备或网关设备上。该方法包括:获取针对单元组的容灾规则,该单元组包括一个或多个单元,该单元为文件系统或该单元为文件系统的目录;按照该容灾规则,对该单元组中单元进行容灾部署。
综上所述,本申请实施例提供的数据处理方法,由于接口装置能够以单元组为对象获取容灾规则,并对该单元组中的单元进行容灾部署,从而丰富了存储系统的功能,实现了存储系统的灵活管理。
在本申请实施例中,单元组是容灾规则的基本配置单元。一个单元组可以对应一个或多个容灾规则。该单元组包括一个或多个单元。在一种可选方式中,单元为文件系统,例如,一个单元为一个文件系统。在另一种可选方式中,单元为文件系统的目录,例如,一个单元为一个文件系统的一个目录。
在一种可选示例中,该单元组包括多个单元,该多个单元中的不同单元属于不同文件系统。在另一种可选示例中,该单元组包括多个单元,该多个单元分别属于的文件系统为异构的文件系统。例如,该多个单元属于同一文件系统,且该文件系统为异构的文件系统。又例如,该多个单元的不同单元分别属于不同文件系统,且该不同文件系统中每个文件系统均为异构的文件系统。
在一种可选的实现方式中,本申请实施例中的存储系统支持多集群。则容灾规则所针对的单元组包括多个单元时,在第一种情况中,单元组中的不同单元部署在不同集群;在第二种情况中,单元组中的两个单元部署在同一集群;在第三种情况中,单元组中的不同单元所属的文件系统部署在不同集群;在第四种情况中,单元组中的两个单元所属的文件系统部署在同一集群。在前述第一种情况和第三种情况中,接口装置支持针对单元组的跨集群的容灾,丰富了接口装置的功能,提高了集群的管理灵活性。在前述第二种情况和第四种情况中,接口装置支持针对单元组的同一集群的容灾,丰富了接口装置的功能,提高了集群的管理灵活性。本申请实施例中,集群包括高性能集群、一般集群或归档集群等。
在另一种可选的实现方式中,本申请实施例提供的存储系统是一种部署在一个或多个VPC上的系统,则容灾规则所针对的单元组包括多个单元时,在第一种情况中,单元组中的不同单元部署在不同VPC;在第二种情况中,单元组中的两个单元部署在同一VPC;在第三种情况中,单元组中的不同单元所属的文件系统部署在不同VPC;在第四种情况中,单元组中的两个单元所属的文件系统部署在同一VPC。在前述第一种情况和第三种情况中,接口装置支持针对单元组的跨VPC的容灾,丰富了接口装置的功能,提高了VPC的管理灵活性。在前述第二种情况和第四种情况中,接口装置支持针对单元组的同一VPC的容灾,丰富了接口装置的功能,提高了VPC的管理灵活性。
可选地,该针对单元组的容灾规则包括如下一种或多种:该单元按照同步复制来容灾部署;该单元按照异步复制来容灾部署;该单元按照双活来容灾部署;该单元按照主备来容灾部署;该单元按照HA来容灾部署。
进一步地,该针对单元组的容灾规则还包括:容灾阶段的协议转换功能。例如,将目标数据所采用的文件访问协议转换为源数据所采用的文件访问协议后存储,该目标数据是基于该源数据得到,且该目标数据和该源数据存储在该单元组的不同单元。
前述容灾阶段的协议转换功能可以保证目标数据和源数据所采用的文件访问协议的一致性。由于容灾功能主要是为了保证源数据的有效备份,而备份的目标数据所采用的协议也与源数据所采用的协议一致,可以实现后续在灾难(如宕机或故障)发生时快速获取与源数据相同协议的数据,减少灾难后的恢复时延,提高容灾效率。并且容灾规则与协议转换的联动执行,可以进一步丰富接口装置的功能。
前述获取针对单元组的容灾规则的方式可以有多种,本申请实施例以以下几种为例进行说明:
第一种获取方式,接收针对单元组的容灾规则。例如,运维人员可以通过管理设备向接口装置输入针对单元组的容灾规则。相应的,接口装置接收该单元组的容灾规则。通过该获取方式,接口装置可以实时获取运维人员输入的容灾规则,从而及时实现容灾规则的执行,提高分布式存储系统的管理效率。
第二种获取方式,在检测到针对单元组的容灾规则的触发事件后,获取容灾规则。例如,接口装置中配置有针对不同单元组的容灾规则,并定义有单元组的容灾规则所对应的触发事件。当接口装置检测到任一触发事件后,获取该任一触发事件所对应的容灾规则。
本申请实施例中,接口装置还可以接收对单元组的容灾规则的更新。其支持容灾规则的切换。该接收对单元组的容灾规则的更新的过程指的是采用新的容灾规则替换旧的容灾规则。
本申请实施例中,由于容灾规则的更新是在接口装置内部执行,因为应用不感知。如此北向文件接口不感知,文件业务不中断。并且,容灾规则变更后,接口装置自动完成单元组的容灾规则的切换,实现更为灵活的容灾。
本申请实施例中,接口装置还支持数据输出阶段的协议转换功能。例如,在输出单元组中的单元的数据时,将数据所采用的文件访问协议转换为单元组支持的文件访问协议。可以保证接口装置在执行容灾规则所指示的操作属于同一个单元组的单元中的数据所采用的文件访问协议一致,如此便于单元组的文件访问协议的管理,降低接口装置的数据处理开销。
值得说明的是,若存储系统中存在多个单元组,该多个单元组支持的文件访问协议可以相同,均为接口装置支持的出口文件访问协议。该出口文件访问协议指的是该接口装置与应用通信时所采用的文件访问协议。将多个单元组的文件访问协议统一成相同的文件访问协议,可以便于多个单元组的文件访问协议的管理,降低接口装置的数据处理开销。
第二方面,本申请提供了一种数据处理装置,装置包括:至少一个模块,该至少一个模块可以用于实现上述第一方面或者第一方面的各种可能实现提供的该数据处理方法。
第三方面,本申请提供一种存储系统,包括:接口装置和多个子文件系统,接口装置包括第二方面任一的数据处理装置。
第四方面,本申请提供一种计算机设备,该计算机设备包括处理器和存储器。该存储器存储计算机指令;该处理器执行该存储器存储的计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可能实现提供的方法。
第五方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,该计算机指令指示该计算机设备执行上述第一方面或者第一方面的各种可能实现提供的方法。
第六方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可能实现提供的方法。
第七方面,提供一种芯片,该芯片可以包括可编程逻辑电路和/或程序指令,当该芯片运行时用于实现如第一方面任一所述的数据处理方法。
本申请实施例提供的数据处理方法,由于接口装置能够以单元组为对象获取容灾规则,并对该单元组中的单元进行容灾部署,从而丰富了存储系统的功能,实现了存储系统的灵活管理。尤其对于支持多集群的存储系统或支持多VPC的存储系统,有效丰富了接口装置的功能,实现了存储系统的灵活管理。
附图说明
图1是本申请实施例提供的一种分布式文件系统的工作原理示意图;
图2是本申请实施例提供的数据处理方法所涉及存储系统的一种应用环境的示意图;
图3是本申请实施例提供的一种子文件系统的架构示意图;
图4是本申请实施例提供一种数据处理方法的流程示意图;
图5是本申请实施例提供的一种同步复制规则的原理示意图;
图6是本申请实施例提供的一种异步复制规则的原理示意图;
图7是本申请实施例提供的一种双活规则的所涉及的双活架构示意图;
图8为本申请实施例提供的一种接口装置的工作原理示意图;
图9为本申请实施例提供的另一种接口装置的工作原理示意图;
图10分别为本申请实施例提供的又一种接口装置的工作原理示意图;
图11是本申请实施例提供的一种数据处理装置的框图;
图12是本申请实施例提供的一种接口装置的框图;
图13示意性地提供本申请该计算机设备的一种可能的基本硬件架构。
具体实施方式
为使本申请的原理和技术方案更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种分布式文件系统的工作原理示意图。分布式文件系统也称分布式存储系统,是指将数据分散存储在多台独立的存储节点上的系统。图1中假设数据A至E分散存储在4个存储节点上。传统的存储系统采用集中式的存储阵列存放所有数据,存储阵列的性能既是系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式文件系统采用可扩展的系统结构,利用多台存储节点分担存储负荷,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
图2是本申请实施例提供的数据处理方法所涉及存储系统10的一种应用环境的示意图。该存储系统可以为图1所示的分布式文件系统。该存储系统10可以包括一个服务器或者由多个服务器组成的服务器集群。该存储系统10包括:接口装置101和多个文件系统102,接口装置101用于管理其连接的文件系统102。
本申请实施例中,接口装置101可以为单独的一个节点,或者多个文件系统102中指定节点,其可以为一个台式计算机、一个服务器或者由多个服务器组成的服务器集群。该接口装置上可以部署操作系统以及应用程序。每个文件系统102为至少一个应用提供服务。该应用可以包括应用客户端和/或应用服务器。接口装置101用于为该多个文件系统102提供统一的访问入口。不同的应用可以通过该访问入口访问对应的文件系统。示例的,该接口装置可以部署在计算设备或者网关设备上。
为了便于读者理解,下面结合图3对文件系统进行介绍。图3是本申请实施例提供的一种文件系统的架构示意图。本申请实施例中,文件系统指的是存储系统10下的一个文件系统。文件系统是一个结构化的数据文件存储和组织形式。计算机设备中所有的数据都是0和1,存储在硬件介质上的一连串的01组合对用户来说无法去分辨以及管理。因此用“文件”这个概念对这些数据进行组织。用于同一用途的数据,按照不同应用要求的结构方式组成不同类型的文件。通常用不同的后缀来指代文件的不同类型。工作人员会给每个文件分配一个方便理解记忆的名字。而当文件很多的时候,工作人员按照某种划分方式给这些文件分组,每一组文件放在同一个目录(或者叫文件夹)里面。而且目录下面除了文件还可以有下一级目录(称之为子目录或者子文件夹),所有的文件、目录形成一个如图3所示的树状结构。这个树状结构具有一个专用的名字:文件系统(File System)。文件系统有很多类型,常见的有Windows的FAT/FAT32/NTFS,或者Linux的EXT2/EXT3/EXT4/XFS/BtrFS等。为了方便查找,从树状结构的根节点开始逐级目录往下,一直到文件本身,把这些目录、子目录、文件的名字用特殊的字符(例如Windows/DOS用“\”,类Unix系统用“/”)拼接起来,这样的一串字符称之为文件路径(也称存储路径),例如Linux中的“/etc/systemd/system.conf”或者Windows中的“C:\Windows\System32\taskmgr.exe”。路径是访问某个具体的文件的唯一标识。例如,Windows下的D:\data\file.exe就是一个文件的路径,它表示D分区下的data目录下的file.exe文件。
文件系统是建立在块设备上面的,文件系统不但记录文件路径,还记录哪些块组成一个文件,哪些块记录的是目录或子目录信息。不同的文件系统有不同的组织结构。为了方便管理,如硬盘这样的块设备通常可以划分为多个逻辑块设备,也就是硬盘分区(Partition)。反过来,单个介质的容量、性能有限,可以通过某些技术手段把多个物理块设备组合成一个逻辑块设备,例如各种级别的磁盘阵列(Redundant Arrays of IndependentDisks,RAID),磁盘簇(Just a Bunch Of Disks,JBOD)等。文件系统也可以建立在这些逻辑块设备之上。应用并不需要关心所要访问的文件位于底层的块设备的具体位置,只需要该文件的文件标识发送给文件系统,由文件系统根据文件标识查询出文件路径即可。该文件标识可以为文件名称、文件索引或文件的身份标识号(Identity document,ID)。
示例的,文件系统支持的文件访问协议包括以下的一种或多种:网络文件系统(Network File System,NFS)、通用网络文件系统(Common Internet File System,CIFS)、服务器信息块(Server Message Block,SMB)、网络附属存储(Network Attached Storage,NAS)、简单存储服务(S3 Simple Storage Service,S3)、Hadoop分布式文件系统(HadoopDistributed File System,HDFS)、Hadoop兼容文件系统(Hadoop Compatible FileSystem,HCFS)、DFS、通用文件系统或集群文件系统(Cluster filesystem,CFS)等,本申请实施例不对此进行任何限定。
在一种可选的实现方式中,本申请实施例提供的存储系统是一种集群(也称存储集群或文件集群)系统。集群之所以称之为集群,是因为这个集群对外应当表现为一个整体,内部不存在冲突或者重复的事物。比如某一集群对外用采用NFS协议提供某个路径:/cluster/data1(该路径可以由exports命令配置),应用不管向哪个集群中的哪个存储节点发起请求(该请求可以由mount命令配置)使用NFS协议来访问该路径之后,所看到的数据内容都应当是相同的。这就要求集群内部不会在多个存储节点上共同存在多份独立的路径/cluster/data1。比如,集群中的某个存储节点A将自己所管理的某个磁盘分区sda1挂载到了/cluster/data1路径下面,而这个路径是将要被NFS协议的export命令设置,以供应用访问的,那么这个存储节点就应当同时通知其他所有存储节点都生成这磁盘分区sda1对应的挂载点(Mount Point),只不过其他存储节点会感知到这个路径对应的实际存储空间并不位于本地所管理的存储空间。一旦其他存储节点收到针对路径:/cluster/data1/sda1的访问请求,就需要将请求发送到存储节点A执行然后取回结果并返回给应用。或者,向存储节点A发起请求将这个路径对应的数据空间的映射信息发送过来,然后自己从后端存储空间中读取数据并返回给应用。已经被某存储节点使用的路径,不能再在其他存储节点上再次挂载,因为会引起冲突,但是其他存储节点可以将自己所管理的存储空间挂载到/cluster/data1的下一级路径比如/cluster/data1/othernode中,这样是不冲突的。总之,集群中所有存储节点上的供应用挂载的路径不重复并且所有存储节点统一协作。数据将会按照一定的规则从该集群的多台存储节点上存储和读取,以获得更高的并发访问性能。
由于存储系统的大小增加以及组织内存在的不同的需求,使得存储系统中,可以创建和管理多个集群。传统的支持多集群的存储系统中,接口装置的功能单一,导致对存储系统的管理灵活性低。
在另一种可选的实现方式中,本申请实施例提供的存储系统是一种部署在一个或多个虚拟私有云(virtual private cloud,VPC)上的系统。VPC是公有云上自定义的逻辑隔离网络空间,是一块可以自定义的网络空间。托管在VPC内的是私有云上的服务器资源,如云主机、负载均衡或云数据库等。
由于存储系统的大小增加以及组织内存在的不同的需求,使得存储系统中,可以创建和管理多个VPC。传统的支持多VPC的存储系统中,接口装置的功能单一,导致对存储系统的管理灵活性低。
图4是本申请实施例提供一种数据处理方法的流程示意图。应用于存储系统中的接口装置,其可以解决上述问题。该方法包括:
S201、接口装置获取针对单元组的容灾规则。
在本申请实施例中,单元组是容灾规则的基本配置单元。接口装置可以先获取单元组的定义,再获取容灾规则。接收装置也可以直接获取容灾规则,该容灾规则包括其针对的单元组的信息。一个单元组可以对应一个或多个容灾规则。该单元组包括一个或多个单元。在一种可选方式中,单元为文件系统,例如,一个单元为一个文件系统。在另一种可选方式中,单元为文件系统的目录,例如,一个单元为一个文件系统的一个目录。
在一种可选示例中,该单元组包括多个单元,该多个单元中的不同单元属于不同文件系统。在另一种可选示例中,该单元组包括多个单元,该多个单元分别属于的文件系统为异构的文件系统。例如,该多个单元属于同一文件系统,且该文件系统为异构的文件系统。又例如,该多个单元的不同单元分别属于不同文件系统,且该不同文件系统中每个文件系统均为异构的文件系统。异构的文件系统包括至少两个子文件系统,所谓异构是指至少两个的子文件系统采用了不同的接入技术,或者是采用相同的接入技术但属于不同的运营商。
如前所述,在一种可选的实现方式中,本申请实施例中的存储系统支持多集群。则容灾规则所针对的单元组包括多个单元时,在第一种情况中,单元组中的不同单元部署在不同集群;在第二种情况中,单元组中的两个单元部署在同一集群;在第三种情况中,单元组中的不同单元所属的文件系统部署在不同集群;在第四种情况中,单元组中的两个单元所属的文件系统部署在同一集群。在前述第一种情况和第三种情况中,接口装置支持针对单元组的跨集群的容灾,丰富了接口装置的功能,提高了集群的管理灵活性。在前述第二种情况和第四种情况中,接口装置支持针对单元组的同一集群的容灾,丰富了接口装置的功能,提高了集群的管理灵活性。本申请实施例中,集群包括高性能集群、一般集群或归档集群等。其中,高性能集群的性能高于一般集群的性能。归档集群主要用于进行数据的归档。
其中,性能可以通过输入/输出(input/output,IO)指标、IO时延(delay)、IO错误(error)信息、IO执行次数和IO处理时长等性能参数反映。IO指标指的是:IO请求被执行所产生的IO次数;时延指的是IO请求被执行所产生的时延;错误信息指的是:IO请求被执行所产生的错误的内容,和/或,IO请求被执行所产生的不同类型的错误在产生的整体错误中的占比,也即是每种类型的错误的个数与整体错误个数的比值;执行次数指的是:IO请求被执行的次数;处理时长可以为IO请求被执行时占用处理器的时长,例如占用中央处理器(CPU,central processing unit)的处理时长,该占用CPU的处理时长称为CPU时长(CPU time)。该IO请求为应用访问存储系统所产生的请求,例如写请求或读请求。前述性能参数与性能负相关,也即是性能参数越大,性能越低。
在另一种可选的实现方式中,本申请实施例提供的存储系统是一种部署在一个或多个VPC上的系统,则容灾规则所针对的单元组包括多个单元时,在第一种情况中,单元组中的不同单元部署在不同VPC;在第二种情况中,单元组中的两个单元部署在同一VPC;在第三种情况中,单元组中的不同单元所属的文件系统部署在不同VPC;在第四种情况中,单元组中的两个单元所属的文件系统部署在同一VPC。在前述第一种情况和第三种情况中,接口装置支持针对单元组的跨VPC的容灾,丰富了接口装置的功能,提高了VPC的管理灵活性。在前述第二种情况和第四种情况中,接口装置支持针对单元组的同一VPC的容灾,丰富了接口装置的功能,提高了VPC的管理灵活性。
前述获取针对单元组的容灾规则的方式可以有多种,本申请实施例以以下几种为例进行说明:
第一种获取方式,接收针对单元组的容灾规则。例如,运维人员可以通过管理设备向接口装置输入针对单元组的容灾规则。相应的,接口装置接收该单元组的容灾规则。通过该获取方式,接口装置可以实时获取运维人员输入的容灾规则,从而及时实现容灾规则的部署和执行,提高分布式存储系统的管理效率。
第二种获取方式,在检测到针对单元组的容灾规则的触发事件后,获取容灾规则。例如,接口装置中配置有针对不同单元组的容灾规则,并定义有单元组的容灾规则所对应的触发事件。当接口装置检测到任一触发事件后,获取该任一触发事件所对应的容灾规则。
S202、接口装置按照容灾规则,对单元组中单元进行容灾部署。
针对单元组的容灾规则用于指示对该单元组中的单元的容灾部署。在该单元组中的某一单元出现灾难后,该容灾部署可以保证该单元的数据恢复;或者,该容灾部署可以保证单元的数据的日常备份。该容灾规则包括:容灾涉及的单元以及容灾动作。示例的,该容灾动作可以包括同步复制、异步复制、双活、主备或高可用性配置等。例如,容灾涉及的单元为第一单元和第二单元,容灾动作为:同步复制。则针对单元组的容灾规则用于指示对该单元组的第一单元和第二单元进行同步复制的容灾部署。值得说明的是,该容灾动作还可以包括对单元组中的单元的处理,例如,单元的添加、删除、修改、替换或查询。当一个容灾规则的信息包括多个容灾动作,该容灾规则的信息还可以包括该多个容灾动作的执行时序。如此,接口装置可以按照该执行时序来执行该多个容灾动作,以避免执行时序错乱导致的容灾失效。
在本申请实施例中,针对单元组的容灾规则可以包括一种或多种。本申请实施例以以下几种容灾规则为例进行说明。
第一种容灾规则,同步复制规则,该规则指的是单元按照同步复制来容灾部署。示例的,假设单元组包括源单元和目标单元。该同步复制指的是将应用的数据写入源单元后,再将该数据复制到目标单元,完成复制后,通知应用完成写任务(task)。图5是本申请实施例提供的一种同步复制规则的原理示意图。如图5所示,该同步复制规则包括以下容灾部署:
A1、应用向接口装置发送写请求后,接口装置基于写请求向源单元写入数据,该写请求指示向源单元写入数据。
A2、接口装置将数据从源单元复制到目标单元。
A3、接口装置在目标单元完成复制任务后,向应用发送写完成通知,该写完成通知用于通知应用该源单元完成写任务。
在一种可选示例中,目标单元向接口装置发送复制完成通知,之后接口装置向应用发送写完成通知。在另一种可选示例中,目标单元向源单元发送复制完成通知,之后源单元通过接口装置向应用发送写完成通知。
在同步复制规则中,接口装置需要在通知应用“写完成”之前将写任务提交给源单元和目标单元。在先前的写任务完成并通知应用之前不能进行后续的写任务,这就保证了源单元上的数据与目标单元上的数据在任何时候都是相同的。此外,向目标单元上传输的写任务(即复制任务)和源单元接收到的写任务按照相同顺序进行,由此维持了写任务的顺序。如果源单元发生了灾难,同步复制规则可以提供零或接近于零的复原时间目标(Recovery Time Objective,RTO)。
第二种容灾规则,异步复制规则,该规则指的是单元按照异步复制来容灾部署。示例的,假设单元组包括源单元和目标单元。该异步复制指的是将应用的数据写入源单元后,通知应用完成写任务,再将该数据复制到目标单元。图6是本申请实施例提供的一种异步复制规则的原理示意图。如图6所示,该异步复制规则包括以下容灾部署:
B1、应用向接口装置发送写请求后,接口装置基于写请求向源单元写入数据,该写请求指示向源单元写入数据。
B2、接口装置在目标单元完成写任务后,向应用发送写完成通知,该写完成通知用于通知应用该源单元完成写任务。
B3、接口装置将数据从源单元复制到目标单元。
在一种可选示例中,目标单元在完成复制任务后,向接口装置发送复制完成通知。在另一种可选示例中,目标单元在完成复制任务后,向源单元发送复制完成通知,之后源单元向接口装置向应用发送该复制完成通知。
在异步复制规则中,接口装置将一个写任务提交给源单元之后立即通知应用。应用的数据可以先缓存在源单元,之后再传输给目标单元。因为立即确认源单元的写任务,所以异步复制规则消除了复制对应用响应时间的影响。异步复制规则中,目标单元的数据落后与源单元中的数据至少缓存容量大小的数据量,因此异步复制规则提供的是有限的RPO容灾方案。RPO依赖于缓存容量的大小,可用网络带宽和源单元的写负载。异步复制规则可以利用引用局部性(向同一位置重复执行写任务)的特性:在向目标单元传输数据前,缓存中的同一位置被多次执行写任务,只有最后一次写入的数据被传输。这一特性节约了源单元和目标单元的连接带宽。
需要说明的是,无论同步复制规则或者异步复制规则,只有对源单元的写任务的数据会被复制,读任务仍然还是在源单元上进行。
第三种容灾规则,双活规则,该规则指的是单元按照双活来容灾部署。假设单元组包括第一单元和第二单元。图7是本申请实施例提供的一种双活规则的所涉及的双活架构示意图。如图7所示,分布式存储系统包括的接口装置为活动-活动式(active-active)接口装置,又称双活接口装置。其中,分布式存储系统包括存储第一单元110中的数据的第一存储阵列和存储第二单元120中数据的第二存储阵列。第一单元110和第二单元120都可以承担应用310的任务。前述存储阵列可以包括若干个磁盘或者固态硬盘等。
接口装置101可以与应用310连接。例如通过互联网协议(Internet Protocol,IP)网络与应用310连接。接口装置101可以接收来自应用的输入输出(I/O)请求,接口装置101还可以将I/O请求中携带的数据写入第一单元110或第二单元120。在本申请实施例中,第一单元110和第二单元120是一对双活单元,这对双活单元对应用310是以一个单元的模式提供存储文件服务。
为了便于读者理解,将应用310与第一单元110之间的链路称为链路A,将应用310与第二单元120之间的链路称为链路B。应用310中运行有多个虚拟机。虚拟机可以通过链路A访问第一单元110,也可以通过链路B访问第二单元120。例如,当虚拟机要写入数据时,它所在的应用通过接口装置选择链路A或者链路B。该接口装置的链路选择原则可以是负载均衡原则、轮询原则或者其他原则。假设链路A相对空闲,应用选择了链路A,虚拟机将数据写入第一单元110。为了保持第一单元110和第二单元120中的数据一致,在第一单元110接收数据之后,会将数据复制到第二单元120中。另外,在第一单元110和第二单元120对应的存储阵列中的任意一个存储阵列发生灾难时,另一个存储阵列可以继续接受任务,实现任务的无中断切换。
示例的,单元按照双活来容灾部署包括应用310通过接口装置101同时对第一单元110和第二单元120下发读写任务的过程。以第一单元为例,针对第一单元的执行的写任务的流程如下:
C1、应用通过网关向第一单元下发写任务。
例如,接口装置接收应用发送的针对第一单元的写请求,该写请求指示向第一单元写入数据。接口装置基于该写请求向第一单元下发写任务。
C2、第一单元110将下发的写任务中的数据同时写入第一单元110和第二单元120。
C3、第一单元110在第一单元110和第二单元120的均完成写任务后,通过接口装置向应用发送写完成通知。
针对第二单元的执行的写任务的流程可以参考前述针对第一单元的执行的写任务的流程,本申请实施例对此不做赘述。
可选地,该双活规则还可以包括仲裁机制。当第一单元110与第二单元120之间的通信链路发生故障(即,脑裂)时,为了避免业务不同步,只能由第一单元110与第二单元120中的一个单元接管应用的存储业务,由于此时第一单元110与第二单元120之间不能进行通信,因此需要由接口装置101来确定谁来接管存储业务。则该仲裁机制对应的容灾部署包括:第一单元110与第二单元120分别向接口装置101发起仲裁请求,如果接口装置101先接收到第一单元110发送的仲裁请求消息,则仲裁服务器可以根据第一单元110的注册信息以及第一单元110的仲裁请求消息确定第一单元110获胜,将第一单元110确定为接管主机业务的单元,并将第二单元120的注册信息清除。当然,接口装置101判断谁是获胜方的方式有多种,“先到先得”只是其中一种示例。接口装置101也可以根据第一单元110和第二单元120的运行状态,选择运行状态好的单元来接管主机业务。本申请实施例不对仲裁方式进行任何限定。
可选地,该双活规则还可以包括锁机制。如图7所示,第一单元110和第二单元120被写入相同的内容,他们的逻辑地址段也是对应的。为了避免两个单元的数据无法保持一致,在实际实现中,该双活规则的容灾部署还包括:使用全局性的锁来保证写操作的互斥。在同一时间段,只有一个单元可以申请到一个逻辑地址段的写锁,而只有对这个逻辑地址段请到写锁的单元才能写入数据到两个单元中。假设第一单元110从锁服务器中申请到了某个逻辑地址段的写锁,那么第二单元120将无法获得写锁,因此无法在自己的对应逻辑地址段上写入数据。只有写锁被锁服务器从第一单元110召回后,第二单元120才能获得写锁。
第四种容灾规则,主备规则,该规则指的是单元按照主备来容灾部署。假设单元组包括主单元和备份单元。按照备份单元的准备程度,可将主备分为冷备份、温备份和热备份三类。本申请实施例分别以以下几种主备的容灾部署为例进行说明:
第一、冷备份:备份单元未安装或未配置成与主单元相同或相似的运行环境,应用的数据未及时备份在备份单元。相应的容灾部署包括:接口装置在检测到主单元发生灾难后,先对备份单元配置所需的运行环境,采用备份介质(如磁带、硬盘或光盘)恢复应用的数据,人工逐笔或自动批量追补孤立的数据,之后将应用到主单元的链路切换到应用到备份单元的链路,之后恢复业务运行。
第二、温备份:备份单元已安装配置成与主单元相同或相似的运行环境,接口装置将应用的数据定期备份在备份单元。相应的容灾部署包括:接口装置在检测到主单元发生灾难后,直接使用备份单元中定期备份的数据,人工逐笔或自动批量追补孤立的数据,或将应用到主单元的链路切换到应用到备份单元的链路,之后恢复业务运行。
第三、热备份:主单元和备份单元处于联机状态。相应的容灾部署包括:在一种示例中,接口装置也将应用的数据实时传送到主单元和备份单元(例如接收应用通过高速通信线路传输的数据,并将数据存储在主单元和备份单元),保持备份单元与主单元当前存储的应用的数据的同步。在另一种示例中,接口装置也可以将应用的数据实时传送到主单元,并定时在备份单元上恢复应用的数据。接口装置在检测到主单元发生灾难后,对备份单元不用追补或只需追补很少的孤立数据,备份单元可快速接替主单元,恢复业务运行。
在实际实现时,主备规则可以包括归档规则。在该规则下,备份单元也称为归档单元。相应的容灾部署包括:将主单元中不再经常使用的数据移到备份单元来进行长期保存。归档的数据由旧的数据(也称历史数据)组成,但它是以后参考所必需且很重要的数据,其数据需要遵从设定的归档格式来保存,并且数据的归档具有索引和搜索功能,这样数据可以很容易地找到。示例的,该归档规则包括以下容灾部署:
D1、接口装置从主单元获取待归档数据。
D2、接口装置按照归档格式将待归档数据写入备份单元。
可选地,接口装置在将归档数据写入备份单元后,可以删除主单元中已写入备份单元中的数据。
第五种容灾规则,高可用性(High Availability,HA)规则。该规则指的是单元按照高可用性来容灾部署。高可用性用于描述单元经过专门的设计,从而减少停工时间,而保持其服务的高度可用性。在第一种可选方式中,容灾部署包括主从方式(也称非对称方式)部署。具体包括:主单元工作,备份单元处于监控准备状况;当主单元发生灾难时,备份单元接管主单元的一切工作,待主单元恢复正常后,以自动或手动方式将应用的服务切换到主单元上运行,数据的一致性通过共享存储系统解决。在第二种可选方式中,容灾部署包括双机双工方式(也称互备互援方式)部署。具体包括:两个主单元同时运行各自的服务且相互监测情况,当任一个主单元发生灾难时,另一个主单元立即接管它的一切工作,保证工作实时,应用的服务系统的关键数据存放在共享存储系统中。在第三种可选方式中,容灾部署包括集群工作方式(多服务器互备方式)部署。具体包括多个主单元一起工作,各自运行一个或几个服务,并分别为服务定义一个或多个备用主单元,当某个主单元发生灾难时,运行在其上的服务就可以被其它主单元接管。
值得说明的是,接口装置还支持容灾阶段的协议转换功能。该容灾规则还包括:将目标数据所采用的文件访问协议转换为源数据所采用的文件访问协议后存储,目标数据是基于源数据得到,且目标数据和源数据存储在单元组的不同单元。例如,在前述第一种容灾规则和第二种容灾规则中,源数据为写入源单元中的数据,目标数据是将该源数据复制得到的数据,其写入目标单元。在前述第三种容灾规则中,源数据为写入第一单元中的数据,目标数据是将该源数据复制得到的数据,其写入第二单元;或者,源数据为写入第二单元中的数据,目标数据是将该源数据复制得到的数据,其写入第一单元。在前述第四种容灾规则中,源数据为写入主单元中的数据,目标数据是将该源数据复制得到的数据,其写入备份单元。在前述第五种容灾规则的第一种可选方式中,源数据为写入主单元中的数据,目标数据是从共享存储系统中获取的与源数据对应的数据(例如与源数据内容相同的数据),其写入备份单元;在前述第五种容灾规则的第二种和第三种可选方式中,源数据为写入一个主单元中的数据,目标数据是该主单元发生灾难后,从共享存储系统中获取的与源数据对应的数据(例如与源数据内容相同的数据),其写入其他主单元。
前述容灾阶段的协议转换功能可以保证目标数据和源数据所采用的文件访问协议的一致性。由于容灾功能主要是为了保证源数据的有效备份,而备份的目标数据所采用的协议也与源数据所采用的协议一致,可以实现后续在灾难发生时快速获取与源数据相同协议的数据,减少灾难后的恢复时延,提高容灾效率。并且容灾规则与协议转换的联动执行,可以进一步丰富接口装置的功能。
可选地,接口装置还可以支持针对单元组的其他管理规则,如块存储规则、对象存储规则和/或文件存储规则等。
本申请实施例中,接口装置还可以接收对单元组的容灾规则的更新。其支持容灾规则的切换。该接收对单元组的容灾规则的更新的过程指的是采用新的容灾规则替换旧的容灾规则。相应的过程包括后续的S203和S204。
S203、接口装置获取针对单元组的新的容灾规则。
接口装置获取针对单元组的新的容灾规则的方式可以参考前述S201中接口装置获取针对单元组的容灾规则的方式。本申请实施例对此不做赘述。
S204、接口装置按照新的容灾规则,对单元组中单元进行新的容灾部署。
在S202中,接口装置按照容灾规则,对单元组中单元进行容灾部署后,在达到该容灾规则对应的执行条件后,被部署的单元执行其被部署的动作。接口装置获取针对单元组的新的容灾规则后,按照原容灾部署被部署的单元先停止执行原容灾规则所指示的动作,接口装置对单元组中单元进行新的容灾部署。之后,在达到新的容灾规则对应的执行条件后,被部署的单元执行其被部署的新的动作。
本申请实施例中,由于容灾规则的更新是在接口装置内部执行,因为应用不感知。如此北向文件接口不感知,文件业务不中断。并且,容灾规则变更后,接口装置自动完成单元组的容灾规则的切换,实现更为灵活的容灾。
本申请实施例中,接口装置还支持数据输出阶段的协议转换功能。例如,在向应用输出单元组中的单元的数据时,将数据所采用的文件访问协议转换为单元组支持的文件访问协议。该转换过程可以包括后续的S205至S207。
S205、在输出单元组中的单元的数据时,接口装置检测该数据所采用的文件访问协议与该单元组支持的文件访问协议是否相同。当该数据所采用的文件访问协议与单元组支持的文件访问协议相同,执行S206;当该数据所采用的文件访问协议与单元组支持的文件访问协议不同,执行S207。
其中,输出数据指的是向应用输出数据。
S206、接口装置保持该数据采用的文件访问协议不变。
S207、接口装置将该数据采用的文件访问协议转换为单元组支持的文件访问协议。
通过执行S205至S207,可以保证接口装置在执行容灾规则所指示的操作属于同一个单元组的单元中的数据所采用的文件访问协议一致,如此便于单元组的文件访问协议的管理,降低接口装置的数据处理开销。
值得说明的是,若存储系统中存在多个单元组,该多个单元组支持的文件访问协议可以相同,均可以为接口装置支持的出口文件访问协议。该出口文件访问协议指的是该接口装置与应用通信时所采用的文件访问协议。将多个单元组的文件访问协议统一成相同的文件访问协议,可以便于多个单元组的文件访问协议的管理,降低接口装置的数据处理开销。
综上所述,本申请实施例提供的数据处理方法,由于接口装置能够以单元组为对象获取容灾规则,并对该单元组中的单元进行容灾部署,从而丰富了存储系统的功能,实现了存储系统的灵活管理。尤其对于支持多集群的存储系统或支持多VPC的存储系统,有效丰富了接口装置的功能,实现了存储系统的灵活管理。
为了便于读者理解,下面以图8至图10为例对本申请实施例提供的数据处理方法进行说明。图8至图10分别为本申请实施例提供的三种接口装置的工作原理示意图。如图8至图10所示,接口装置具有文件接口101a和全局命名空间(NameSpace)101b。文件接口101a是接口装置与应用连接的接口,其可以与用户的应用系统对接。示例的,图8至图10假设该文件接口101a支持DFS协议的文件传输。全局命名空间101b用于控制存储系统中的所有存储节点上的路径不重复并且所有存储节点统一协作,统一入口,对外表现为一个文件系统。
图8中,假设接口装置通过文件接口101接收应用新建的一个文件系统。该接口装置的全局命名空间101b为该文件系统的数据分配树状结构,图8中假设该文件系统的文件标识为DFS://logic01/。图8以一个单元组为该文件系统为例进行说明。该单元组中的一个单元为该文件系统的目录。则单元组也可以由文件标识:DFS://logic01/表示。接口装置可以获取针对该单元组的容灾规则,并按照容灾规则,对单元组中单元进行容灾部署,该过程可以参考前述S201和S202。假设该单元组中包括单元1、单元2和单元3,3个单元的标识分别为xDFS://part01、HDFS://part02和//logicbak&//logicArc。图8中假设为单元1和单元2配置有第一容灾规则,则该单元1和单元2满足第一容灾规则所指示的容灾部署。该第一容灾规则可以为同步复制规则、异步复制规则或双活规则等。假设为单元2和单元3配置有第二容灾规则,则该单元2和单元3满足第二容灾规则所指示的容灾部署。该第二容灾规则可以为主备规则。
示例的,图8中假设接口装置还支持容灾阶段的协议转换功能。如图8所示,单元1和单元2满足第一容灾规则所指示的容灾部署,假设第一容灾规则所对应的源数据为单元1中的数据,目标数据为单元2中的数据,单元组1支持的文件访问协议为xDFS,单元2支持的协议为NFS等,其中,xxx为单元2当前支持的一种协议。则接口装置将目标数据所采用的文件访问协议xxx转换为xDFS后存储在单元2中。如此可以实现单元2中备份的单元1中的数据所采用的协议与单元1中的被备份数据所采用的协议一致,进而实现后续在灾难发生时快速获取与单元2中被备份数据相同协议的数据,减少灾难后的恢复时延,提高容灾效率。图8中假设单元2所对应的文件路径为:NFS://x.x.x.x,其他单元的文件路径未示出。
图9以一个单元组为文件系统DFS://logic02/为例进行说明。图9假设在第一时段,该单元组中包括单元1和单元2,2个单元的标识分别为DFS://part01和HDFS://part02。单元1和单元2配置有第一容灾规则,则该单元1和单元2满足第一容灾规则所指示的容灾部署。该第一容灾规则可以为同步复制规则,源单元为单元1,目标单元为单元2。假设在第一时段后的第二时段,该第三容灾规则更新为第四容灾规则,该第四容灾规则指示先执行采用单元3(标识为DFS://part03)替换单元2的操作,再执行同步复制规则,该同步复制规则中源单元为单元1,目标单元为单元2。则接口装置获取针对该单元组的新的容灾规则,即第四容灾规则,并按照第四容灾规则,对单元组中单元进行容灾部署。该过程可以参考前述S203和S204。示例的,接口装置可以先中断第三容灾规则指示的动作,即中断同步复制的数据移动中的任务,然后刷新单元组的元数据配置,剔除单元2(图9中采用在单元2相关内容上打叉表示剔除该单元2),接入单元3,从而基于第四容灾规则,对单元组中单元进行新的容灾部署,之后再执行第四容灾规则指示的动作。值得说明的是,接入单元3指的是当单元组包括单元3,则保持单元3在单元组中;当单元组不包括单元3,则在文件系统中新建单元3,并将该单元3添加在单元组中。
图9中接口装置还支持容灾阶段的协议转换功能。在第一时段,第三容灾规则所对应的源数据为单元1中的数据,目标数据为单元2中的数据,单元组1支持的文件访问协议为DFS,单元2支持的协议为NFS等,其中,xxx为单元2在第一时段支持的一种协议。则接口装置将目标数据所采用的文件访问协议xxx转换为DFS后存储在单元2中。在第二时段,由于单元1的源数据和单元3的目标数据采用的文件访问协议相同,因此无需进行文件访问协议的转换。
由于接口装置不仅能够以单元组为对象获取容灾规则,并进行单元的容灾部署,还支持容灾规则的更新,容灾阶段的协议转换功能以及数据输出阶段的协议转换功能,有效丰富了接口装置的功能,实现了存储系统的灵活管理。
图10以文件系统DFS://logic01/包括3个单元组为例进行说明。该3个单元组分别为单元组1至3,单元组1至3的标识分别为DFS://关键数据,DFS://异步数据,以及DFS://归档数据。假设单元组1至3分别配置有容灾规则1至3,单元组1包括单元1和单元2,单元组2包括单元3和单元4,单元组3包括单元5和单元6。单元1至5的标识分别为DFS://关键数据part01,DFS://关键数据part02,DFS://异步数据part01(源),DFS://异步数据part02(目标),DFS://归档数据part01(源),DFS://归档数据part02(目标)。其中,单元1分布在高性能集群1。单元2和单元3分布在高性能集群2。单元4和单元5分布在一般集群1。单元6分布在归档集群1。
由图10可知,本申请实施例中一个文件系统可以分布于不同集群,一个文件系统包括的多个单元组可以在不同的集群中实现容灾。从而实现了一个文件系统的不同目录提供不同的容灾能力,进一步提高了存储系统的管理灵活性。
本申请实施例中,建立单元组后,单元组的元数据可以写入前述全局命名空间,以实现元数据的有效保存。
需要说明的是,本申请实施例提供的数据处理方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
图11是本申请实施例提供的一种数据处理装置30的框图。该装置包括:
获取模块301,用于获取针对单元组的容灾规则,该单元组包括一个或多个单元,该单元为文件系统或该单元为文件系统的目录。部署模块302,用于按照该容灾规则,对该单元组中单元进行容灾部署。
综上所述,本申请实施例提供的数据处理装置,由于部署模块能够以单元组为对象获取容灾规则,并对该单元组中的单元进行容灾部署,从而丰富了存储系统的功能,实现了存储系统的灵活管理。
在一种可选示例中,该单元组包括多个单元,该多个单元中的不同单元属于不同文件系统。在另一种可选示例中,该单元组包括多个单元,该多个单元分别属于的文件系统为异构的文件系统。
在一种可选的实现方式中,本申请实施例中的存储系统支持多集群。则容灾规则所针对的单元组包括多个单元时,在第一种情况中,单元组中的不同单元部署在不同集群;在第二种情况中,单元组中的两个单元部署在同一集群;在第三种情况中,单元组中的不同单元所属的文件系统部署在不同集群;在第四种情况中,单元组中的两个单元所属的文件系统部署在同一集群。在前述第一种情况和第三种情况中,接口装置支持针对单元组的跨集群的容灾,丰富了接口装置的功能,提高了集群的管理灵活性。
在另一种可选的实现方式中,本申请实施例提供的存储系统是一种部署在一个或多个VPC上的系统,则容灾规则所针对的单元组包括多个单元时,在第一种情况中,单元组中的不同单元部署在不同VPC;在第二种情况中,单元组中的两个单元部署在同一VPC;在第三种情况中,单元组中的不同单元所属的文件系统部署在不同VPC;在第四种情况中,单元组中的两个单元所属的文件系统部署在同一VPC。
可选地,该针对单元组的容灾规则包括如下一种或多种:该单元按照同步复制来容灾部署;该单元按照异步复制来容灾部署;该单元按照双活来容灾部署;该单元按照主备来容灾部署;该单元按照HA来容灾部署。
示例的,该针对单元组的容灾规则还包括:将目标数据所采用的文件访问协议转换为源数据所采用的文件访问协议后存储,该目标数据是基于该源数据得到,且该目标数据和该源数据存储在该单元组的不同单元。
可选地,该获取模块301,用于:接收针对该单元组的容灾规则;或者,在检测到针对该单元组的容灾规则的触发事件后,获取该容灾规则。
在一种可选示例中,该装置还包括:接收模块,用于接收对该单元组的容灾规则的更新。
可选地,该装置还包括:转换模块,用于在输出该单元组中的单元的数据时,将该数据所采用的文件访问协议转换为该单元组支持的文件访问协议。
在实际实现时,不同单元组支持的文件访问协议相同。
本申请实施例中,该装置应用于接口装置,该接口装置部署在计算设备或网关设备上。
图12是本申请实施例提供的一种接口装置40的框图。该接口装置40包括:
数据访问层401和容灾管理层402。
其中,数据访问层401用于实现存储系统的接入功能。其可以包括文件接口4011和全局命名空间4012。示例的,存储系统为DFS,文件接口4011支持DFS协议的文件传输。全局命名空间4012用于控制存储系统中的所有存储节点上的路径不重复并且所有存储节点统一协作,统一入口,对外表现为一个文件系统。示例的,全局命名空间4012可以实现元数据封装。可选地,数据访问层401还可以包括调度模块,用于实现数据流向的策略管理。还可以用于存储系统中的目录的管理。可选地,数据访问层401还可以包括集群管理模块,用于实现存储系统的状态管理,还可以用于进行多个目录的整合。
容灾管理层402用于实现存储系统的容灾管理。其可以包括:单元组管理模块4021、协议转换模块4022和数据搬移模块4023。单元组管理模块4021用于实现单元组的容灾逻辑管理,其可以设置容灾规则,该单元组管理模块4021可以定制策略,实现分布式事务,并且实现文件强一致性和弱一致性的管理。单元组管理模块4021可以执行前述获取模块301、部署模块302和/或接收模块的动作。
协议转换模块4022用于进行文件访问协议的转换。该协议转换模块4022可以执行前述转换模块的动作。
数据搬移模块4023,用于进行数据搬迁(Data Mover)以及移动的调度管理。其支持多种类型的子文件系统的接入访问,支持独立的文件读取和写入。
可选地,图13示意性地提供本申请该计算机设备的一种可能的基本硬件架构。
参见图13,计算机设备400包括处理器401、存储器402、通信接口403和总线404。
计算机设备400中,处理器401的数量可以是一个或多个,图13仅示意了其中一个处理器401。可选地,处理器401,可以是中央处理器(central processing unit,CPU)。如果计算机设备400具有多个处理器401,多个处理器401的类型可以不同,或者可以相同。可选地,计算机设备400的多个处理器401还可以集成为多核处理器。
存储器402存储计算机指令和数据;存储器402可以存储实现本申请提供的执行计划的处理方法所需的计算机指令和数据,例如,存储器402存储用于实现执行计划的处理方法的步骤的指令。存储器402可以是以下存储介质的任一种或任一种组合:非易失性存储器(例如只读存储器(ROM)、固态硬盘(SSD)、硬盘(HDD)、光盘),易失性存储器。
通信接口403可以是以下器件的任一种或任一种组合:网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
通信接口403用于计算机设备400与其它计算机设备或者终端进行数据通信。
总线404可以将处理器401与存储器402和通信接口403连接。这样,通过总线404,处理器401可以访问存储器402,还可以利用通信接口403与其它计算机设备或者终端进行数据交互。
在本申请中,计算机设备400执行存储器402中的计算机指令,使得计算机设备400实现本申请提供的数据处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由服务器的处理器执行以完成本申请各个实施例所示的数据处理方法。例如,该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机的可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质,或者半导体介质(例如固态硬盘)等。
在本申请中,术语“第一”、“第二”和“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“至少一个”表示1个或多个,术语“多个”指两个或两个以上,除非另有明确的限定。A参考B,指的是A与B相同或者A为B的简单变形。
需要说明的是:上述实施例提供的数据处理装置在执行该数据处理方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据库系统与数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供一种存储系统,包括:接口装置和多个子文件系统,所述接口装置包括图11所述的数据处理装置或者图13所示的计算机设备。或者该接口装置为图12所示的接口装置。该存储系统的架构可以参考前述图2。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (27)
1.一种数据处理方法,其特征在于,所述方法包括:
获取针对单元组的容灾规则,所述单元组包括一个或多个单元,所述单元为文件系统或所述单元为文件系统的目录;
按照所述容灾规则,对所述单元组中单元进行容灾部署。
2.根据权利要求1所述的方法,其特征在于,所述单元组包括多个单元,所述多个单元中的不同单元属于不同文件系统。
3.根据权利要求1或2所述的方法,其特征在于,所述单元组包括多个单元,所述多个单元分别属于的文件系统为异构的文件系统。
4.根据权利要求1至3任一所述的方法,其特征在于,所述单元组包括多个单元;
其中,所述单元组中的不同单元部署在不同集群;
或者,所述单元组中的两个单元部署在同一集群;
或者,所述单元组中的不同单元所属的文件系统部署在不同集群;
或者,所述单元组中的两个单元所属的文件系统部署在同一集群。
5.根据权利要求1至3任一所述的方法,其特征在于,所述单元组包括多个单元;
所述单元组中的不同单元部署在不同虚拟私有云VPC;
或者,所述单元组中的两个单元部署在同一VPC;
或者,所述单元组中的不同单元所属的文件系统部署在不同VPC;
或者,所述单元组中的两个单元所属的文件系统部署在同一VPC。
6.根据权利要求1至5任一所述的方法,其特征在于,所述针对单元组的容灾规则包括如下一种或多种:
所述单元按照同步复制来容灾部署;
所述单元按照异步复制来容灾部署;
所述单元按照双活来容灾部署;
所述单元按照主备来容灾部署;
所述单元按照高可用性HA来容灾部署。
7.根据权利要求6所述的方法,其特征在于,所述针对单元组的容灾规则还包括:
将目标数据所采用的文件访问协议转换为源数据所采用的文件访问协议后存储,所述目标数据是基于所述源数据得到,且所述目标数据和所述源数据存储在所述单元组的不同单元。
8.根据权利要求1至7任一所述的方法,其特征在于,所述获取针对单元组的容灾规则,包括:
接收针对所述单元组的容灾规则;
或者,在检测到针对所述单元组的容灾规则的触发事件后,获取所述容灾规则。
9.根据权利要求1至8任一所述的方法,其特征在于,所述方法还包括:
接收对所述单元组的容灾规则的更新。
10.根据权利要求1至9任一所述的方法,其特征在于,所述方法还包括:
在输出所述单元组中的单元的数据时,将所述数据所采用的文件访问协议转换为所述单元组支持的文件访问协议。
11.根据权利要求10所述的方法,其特征在于,不同单元组支持的文件访问协议相同。
12.根据权利要求1至11任一所述的方法,其特征在于,所述方法应用于接口装置,所述接口装置部署在计算设备或网关设备上。
13.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取针对单元组的容灾规则,所述单元组包括一个或多个单元,所述单元为文件系统或所述单元为文件系统的目录;
部署模块,用于按照所述容灾规则,对所述单元组中单元进行容灾部署。
14.根据权利要求13所述的装置,其特征在于,所述单元组包括多个单元,所述多个单元中的不同单元属于不同文件系统。
15.根据权利要求13或14所述的装置,其特征在于,所述单元组包括多个单元,所述多个单元分别属于的文件系统为异构的文件系统。
16.根据权利要求13至15任一所述的装置,其特征在于,所述单元组包括多个单元;
其中,所述单元组中的不同单元部署在不同集群;
或者,所述单元组中的两个单元部署在同一集群;
或者,所述单元组中的不同单元所属的文件系统部署在不同集群;
或者,所述单元组中的两个单元所属的文件系统部署在同一集群。
17.根据权利要求13至15任一所述的装置,其特征在于,所述单元组包括多个单元;
所述单元组中的不同单元部署在不同虚拟私有云VPC;
或者,所述单元组中的两个单元部署在同一VPC;
或者,所述单元组中的不同单元所属的文件系统部署在不同VPC;
或者,所述单元组中的两个单元所属的文件系统部署在同一VPC。
18.根据权利要求13至16任一所述的装置,其特征在于,所述针对单元组的容灾规则包括如下一种或多种:
所述单元按照同步复制来容灾部署;
所述单元按照异步复制来容灾部署;
所述单元按照双活来容灾部署;
所述单元按照主备来容灾部署;
所述单元按照高可用性HA来容灾部署。
19.根据权利要求18所述的装置,其特征在于,所述针对单元组的容灾规则还包括:
将目标数据所采用的文件访问协议转换为源数据所采用的文件访问协议后存储,所述目标数据是基于所述源数据得到,且所述目标数据和所述源数据存储在所述单元组的不同单元。
20.根据权利要求13至19任一所述的装置,其特征在于,所述获取模块,用于:
接收针对所述单元组的容灾规则;
或者,在检测到针对所述单元组的容灾规则的触发事件后,获取所述容灾规则。
21.根据权利要求13至20任一所述的装置,其特征在于,所述装置还包括:
接收模块,用于接收对所述单元组的容灾规则的更新。
22.根据权利要求13至21任一所述的装置,其特征在于,所述装置还包括:
转换模块,用于在输出所述单元组中的单元的数据时,将所述数据所采用的文件访问协议转换为所述单元组支持的文件访问协议。
23.根据权利要求22所述的装置,其特征在于,不同单元组支持的文件访问协议相同。
24.根据权利要求13至23任一所述的装置,其特征在于,所述装置应用于接口装置,所述接口装置部署在计算设备或网关设备上。
25.一种存储系统,其特征在于,包括:接口装置和多个子文件系统,所述接口装置包括权利要求13至24任一所述的数据处理装置。
26.一种计算机设备,其特征在于,包括:
处理器和存储器;
所述存储器,用于存储计算机指令;
所述处理器,用于执行所述存储器存储的计算机指令,使得所述计算机设备执行权利要求1至12任一所述的数据处理方法。
27.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,所述计算机指令指示计算机设备执行权利要求1至12任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110785742.XA CN115623012A (zh) | 2021-07-12 | 2021-07-12 | 数据处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110785742.XA CN115623012A (zh) | 2021-07-12 | 2021-07-12 | 数据处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115623012A true CN115623012A (zh) | 2023-01-17 |
Family
ID=84856150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110785742.XA Pending CN115623012A (zh) | 2021-07-12 | 2021-07-12 | 数据处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115623012A (zh) |
-
2021
- 2021-07-12 CN CN202110785742.XA patent/CN115623012A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11855905B2 (en) | Shared storage model for high availability within cloud environments | |
US11836155B2 (en) | File system operation handling during cutover and steady state | |
US11614883B2 (en) | Distributed data storage system using erasure coding on storage nodes fewer than data plus parity fragments | |
US20200201725A1 (en) | Moving a consistency group having a replication relationship | |
US11893264B1 (en) | Methods and systems to interface between a multi-site distributed storage system and an external mediator to efficiently process events related to continuity | |
US20240104061A1 (en) | Gransets for managing consistency groups of dispersed storage items | |
US11449260B2 (en) | Persistent hole reservation | |
US11907261B2 (en) | Timestamp consistency for synchronous replication | |
US20240103744A1 (en) | Block allocation for persistent memory during aggregate transition | |
US20230376455A1 (en) | Coordinating snapshot operations across multiple file systems | |
CN115623012A (zh) | 数据处理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |