CN117271205A - 数据处理系统、数据处理方法、装置及相关设备 - Google Patents
数据处理系统、数据处理方法、装置及相关设备 Download PDFInfo
- Publication number
- CN117271205A CN117271205A CN202211170871.9A CN202211170871A CN117271205A CN 117271205 A CN117271205 A CN 117271205A CN 202211170871 A CN202211170871 A CN 202211170871A CN 117271205 A CN117271205 A CN 117271205A
- Authority
- CN
- China
- Prior art keywords
- subsystem
- mode
- data processing
- processing system
- host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 256
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000006855 networking Effects 0.000 claims description 98
- 238000003860 storage Methods 0.000 claims description 81
- 238000013500 data storage Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000835 fiber Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 13
- 238000009826 distribution Methods 0.000 description 10
- 230000002085 persistent effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1492—Generic software techniques for error detection or fault masking by run-time replication performed by the application software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
提供一种数据处理系统,该数据处理系统包括第一子系统、第二子系统、接收单元和处理单元;接收单元,用于接收配置指令,处理单元,用于根据接收单元所接收到的配置指令,将第一子系统和第二子系统之间由第一模式切换为第二模式,该第一模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的一种模式,第二模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的另一种模式。如此,数据处理系统可以自动切换第一子系统与第二子系统之间的工作模式,以此实现数据处理系统能够适应租户的需求变化,从而可以有效提高租户使用数据处理系统的体验。此外,还提供了相应的数据处理方法、装置及相关设备。
Description
本申请要求于2022年06月22日提交中国国家知识产权局、申请号为202210715668.9、申请名称为“一种在一套存储系统提供双模式双活的方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据处理系统、数据处理方法、装置及相关设备。
背景技术
双活数据处理系统,是指数据处理系统中的两个子系统均处于运行状态,并且,两个子系统中的数据保持一致。这样,当一个子系统因火灾、洪水等情况下无法提供业务服务时,可以由该数据处理系统中的另一个子系统及时接管业务,从而实现业务服务不中断、数据不丢失,进而提高数据处理系统的可靠性。
目前,数据处理系统通常采用活动-消极(active-passive,AP)模式运行两个子系统,其中,只有处于活动(active)状态的子系统能够给主机提供业务服务(如数据读写服务等),处于消极(passive)状态的子系统作为容灾端,通常会实时备份活动状态的子系统中的数据,并在数据处理系统未发生异常时不提供业务服务。
但是,实际应用场景中,主机可能会要求对数据处理系统中的两个子系统均能进行访问,这使得基于AP模式运行的数据处理系统难以满足该主机的需求,从而影响租户使用该数据处理系统的体验。
发明内容
提供一种数据处理系统、数据处理方法、装置、计算设备、存储介质以及计算机程序产品,以使得数据处理系统能够满足主机对于访问子系统的需求变化,提高租户使用数据处理系统的体验。
第一方面,本申请实施例提供一种数据处理系统,该数据处理系统包括第一子系统以及第二子系统,并且,该数据处理系统还包括接收单元和处理单元;其中,接收单元,用于接收配置指令,例如可以接收管理员下发的配置指令,或者可以检测到接入数据处理系统的主机的组网模式发生变化等,处理单元,用于根据接收单元所接收到的配置指令,将第一子系统和第二子系统之间由第一模式切换为第二模式,该第一模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的一种模式,第二模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的另一种模式,如可以将第一子系统和第二子系统之间由AA模式切换为AP模式,或者由AP模式切换为AA模式等。其中,AA模式中第一子系统与第二子系统均可以为主机提供数据处理服务,AP模式中尽可以由一个子系统(处于active状态的子系统)为主机提供数据处理服务。
如此,数据处理系统可以根据租户的需求变化(也即该租户的主机所匹配的两个子系统工作模式发生变化),自动切换第一子系统与第二子系统之间的工作模式,以此实现数据处理系统能够适应租户的需求变化,即在租户需求AA模式时,数据处理系统可以将两个子系统的工作模式切换为租户所需的AA模式,在租户再次需求AP模式时,数据处理系统可以再将这两个子系统的工作模式切换为AP模式,从而可以有效提高租户使用数据处理系统的体验。
在一种可能的实施方式中,第一子系统与第二子系统之间基于第一模式为目标租户的主机提供数据处理服务,如数据存储服务、数据计算服务等,并且,在将第一子系统与第二子系统之间的工作模式切换为第二模式后,第一子系统与第二子系统之间基于第二模式为该目标租户的主机提供数据处理服务。如此,可以根据目标租户的主机所需求的工作模式的变化,自适应切换工作模式以继续为目标租户的主机提供相应的数据处理服务,以此可以有效提高租户使用数据处理系统的体验。
在一种可能的实施方式中,接收单元,具体用于检测到接入数据处理系统的主机的组网模式,由第一组网模式切换为第二组网模式。此时,接收单元可以触发执行切换第一子系统与第二子系统的工作模式的过程,以便通过切换两个子系统的工作模式,来适应主机的组网模式的变化(主机不同的组网模式可能要求数据处理系统基于不同的工作模式提供数据处理服务)。
在一种可能的实施方式中,主机的第一组网模式可以是平行组网模式和全交叉组网模式中的一种组网模式,主机的第二组网模式为平行组网模式和全交叉组网模式中的另一种组网模式。如此,当主机的组网模式在平行组网模式和全交叉组网模式之间进行切换时,数据处理系统也可以自适应的切换两个子系统之间的工作模式,以适应主机组网模式的变化。
在一种可能的实施方式中,数据处理系统还包括第三子系统以及第四子系统,并且,在第一子系统与第二子系统之间工作在第二模式时,第三子系统与第四子系统之间工作在第一模式。如此,数据处理系统可以基于多个子系统,同时为不同的主机提供AA模式以及AP模式,这使得数据处理系统可以根据租户的需求选择相应运行模式的子系统为该租户的主机提供业务服务,以此可以满足实际应用场景中不同主机的业务需求,提高数据处理系统提供业务服务的普适性。
在一种可能的实施方式中,当数据处理系统同时包括第一子系统至第四子系统时,第一子系统与第三子系统属于第一站点,第二子系统与第四子系统属于第二站点。
可选地,第一子系统至第四子系统可以分别属于不同的站点。
在一种可能的实施方式中,第一子系统与第二子系统为目标租户提供的数据处理服务具体为数据存储服务,此时,第一子系统包括至少一个存储阵列,以便利用该存储阵列存储该目标租户的数据,实现提供数据存储服务。
在一种可能的实施方式中,第一子系统与第二子系统通过IP协议、RDMA协议、FC中的至少一种进行通信。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据处理服务具体为数据存储服务,并且,该数据存储服务具体可以是文件存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据处理服务具体为数据存储服务,并且,该数据存储服务具体可以是块存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据处理服务具体为数据存储服务,并且,该数据存储服务具体可以是对象存储服务。
第二方面,本申请提供一种数据处理方法,该数据处理方法应用于数据处理系统,该数据处理系统包括第一子系统、第二子系统、接收单元和处理单元,则在进行数据处理时,接收单元接收配置指令,并将配置指令提供给处理单元;处理单元根据配置指令将第一子系统和第二子系统之间由第一模式切换为第二模式;其中,第一模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的一种模式;第二模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的另一种模式。如此,数据处理系统可以根据租户的需求变化,自动切换第一子系统与第二子系统之间的工作模式,以此实现数据处理系统能够适应租户的需求变化,从而可以有效提高租户使用数据处理系统的体验。
在一种可能的实施方式中,第一子系统与第二子系统之间基于第一模式为目标租户的主机提供数据处理服务,并且,在将第一子系统与第二子系统之间的工作模式切换为第二模式后,第一子系统与第二子系统之间基于第二模式为目标租户的主机提供数据处理服务。如此,可以根据目标租户的主机所需求的工作模式的变化,自适应切换工作模式以继续为目标租户的主机提供相应的数据处理服务,以此可以有效提高租户使用数据处理系统的体验。
在一种可能的实施方式中,接收单元接收配置指令,包括:接收单元检测到接入数据处理系统的主机的组网模式,由第一组网模式切换为第二组网模式。如此,接收单元可以通过检测主机的组网模式的变化,来触发执行切换第一子系统与第二子系统的工作模式的过程,以便通过切换两个子系统的工作模式,来适应主机的组网模式的变化
在一种可能的实施方式中,第一组网模式为平行组网模式和全交叉组网模式中的一种组网模式,第二组网模式为平行组网模式和全交叉组网模式中的另一种组网模式。如此,当主机的组网模式在平行组网模式和全交叉组网模式之间进行切换时,数据处理系统也可以自适应的切换两个子系统之间的工作模式,以适应主机组网模式的变化。
在一种可能的实施方式中,数据处理系统还包括第三子系统以及第四子系统,在第一子系统与第二子系统之间工作在第二模式时,第三子系统与第四子系统之间工作在第一模式。如此,数据处理系统可以基于多个子系统,同时为不同的主机提供AA模式以及AP模式,这使得数据处理系统可以根据租户的需求选择相应运行模式的子系统为该租户的主机提供业务服务,以此可以满足实际应用场景中不同主机的业务需求,提高数据处理系统提供业务服务的普适性。
在一种可能的实施方式中,第一子系统与第三子系统属于第一站点,第二子系统与第四子系统属于第二站点。实际应用时,第一子系统至第四子系统也可以分别属于不同的站点。
在一种可能的实施方式中,第一子系统与第二子系统用于为目标租户提供数据存储服务,第一子系统包括至少一个存储阵列。如此,数据处理系统可以利用子系统包括的存储阵列来存储该目标租户的数据,实现提供数据存储服务。
在一种可能的实施方式中,第一子系统与第二子系统通过IP协议、RDMA协议、FC中的至少一种进行通信。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为文件存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为块存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为对象存储服务。
第三方面,本申请实施例提供了一种数据处理装置,数据处理装置应用于数据处理系统,数据处理系统包括第一子系统以及第二子系统,数据处理装置包括:接收单元,用于接收配置指令;处理单元,用于根据配置指令将第一子系统和第二子系统之间由第一模式切换为第二模式;其中,第一模式为第一子系统与第二子系统之间工作在活动-消极AP模式和活动-活动AA模式中的一种模式;第二模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的另一种模式。
在一种可能的实施方式中,第一子系统与第二子系统之间基于第一模式为目标租户的主机提供数据处理服务,并且,在将第一子系统与第二子系统之间的工作模式切换为第二模式后,第一子系统与第二子系统之间基于第二模式为目标租户的主机提供数据处理服务。
在一种可能的实施方式中,接收单元,具体用于检测到接入数据处理系统的主机的组网模式,由第一组网模式切换为第二组网模式。
在一种可能的实施方式中,第一组网模式为平行组网模式和全交叉组网模式中的一种组网模式,第二组网模式为平行组网模式和全交叉组网模式中的另一种组网模式。
在一种可能的实施方式中,数据处理系统还包括第三子系统以及第四子系统,在第一子系统与第二子系统之间工作在第二模式时,第三子系统与第四子系统之间工作在第一模式。
在一种可能的实施方式中,第一子系统与第三子系统属于第一站点,第二子系统与第四子系统属于第二站点。
在一种可能的实施方式中,第一子系统与第二子系统用于为目标租户提供数据存储服务,第一子系统包括至少一个存储阵列。
在一种可能的实施方式中,第一子系统与第二子系统通过网际互联协议IP、远程直接数据存取RDMA协议、光纤通道FC中的至少一种进行通信。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为文件存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为块存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为对象存储服务。
由于第三方面提供的数据处理装置,对应于第一方面提供的数据处理系统以及第二方面提供的数据处理方法,因此,第三方面以及第三方面中各实施方式所具有技术效果,可以参见相应的第一方面以及第一方面中各实施方式所具有的技术效果,或者可以参见相应的第二方面以及第二方面中各实施方式所具有的技术效果,在此不做赘述。
第四方面,本申请实施例提供一种计算设备,包括:处理器和存储器;该存储器用于存储指令,当该计算设备运行时,该处理器执行该存储器存储的该指令,以使该计算设备执行上述第二方面或第二方面的任一实现方式提供的数据处理方法。需要说明的是,该存储器可以集成于处理器中,也可以是独立于处理器之外。计算设备还可以包括总线。其中,处理器通过总线连接存储器。其中,存储器可以包括可读存储器以及随机存取存储器。
第五方面,本申请实施例还提供一种可读存储介质,所述可读存储介质中存储有程序或指令,当其在计算机上运行时,使得上述第二方面或第二方面的任一实现方式中提供的数据处理方法被执行。
第六方面,本申请实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面或第二方面的任一实现方式中提供的数据处理方法。
另外,第二方面至六方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一示例性数据处理系统的结构示意图;
图2为本申请实施例提供的数据存储系统100中的子系统基于AP模式运行的示意图;
图3为在AP模式下子系统101故障后由子系统102继续提供业务服务的示意图;
图4为本申请实施例提供的数据存储系统100中的子系统基于AA模式运行的示意图;
图5为在AA模式下子系统103故障后由子系统104继续提供业务服务的示意图;
图6为本申请实施例提供的两个子系统的工作模式由AP模式切换至AA模式的示意图;
图7为本申请实施例提供的两个子系统的工作模式由AA模式切换至AP模式的示意图;
图8为本申请实施例提供的另一示例性数据处理系统的结构示意图;
图9为本申请实施例提供的又一示例性数据处理系统的结构示意图;
图10为本申请实施例提供的一种数据处理方法的流程示意图;
图11为本申请实施例提供的一种数据处理装置的流程示意图;
图12为本申请实施例提供的一种计算设备的硬件结构示意图。
具体实施方式
参见图1,为一示例性数据处理系统的结构示意图。如图1所示,数据处理系统100可以包括多个子系统,图1中以包括子系统101以及子系统102为例进行示例性说明。实际应用时,数据处理系统100可以包括更多数量的子系统。
其中,子系统101属于站点(site)A,子系统102属于站点B,每个站点可以用于存储租户(或者租户)提供的文件,属于不同站点的子系统之间可以通过网际互联协议(internet protocol,IP)、远程直接数据存取(remote direct memory access,RDMA)协议、光纤通道(fibre channel,FC)中的至少一种进行通信,或者可以通过其它方式进行数据通信等,本实施例对此并不进行限定。
每个子系统,可以包括一个或者多个设备,用于提供相应的数据计算或者存储能力。如,每个子系统包括多个计算设备,或者包括多个存储设备,或者同时包括计算设备以及存储设备等。示例性地,当数据处理系统100具体为存储系统时,数据处理系统100中的多个子系统具体可以是多个存储阵列,可以用于支持主机所请求的数据存储类型的业务、数据读取类型的业务等。或者,数据处理系统100中的多个子系统可以是同一存储阵列中的不同存储域,如可以按照租户划分的存储域,或者是按照业务划分的存储域(文件域、块域、对象域等)。
如图1所示,数据处理系统100中的子系统101以及子系统102可以基于AP模式运行,并为主机集群200中的主机201提供服务,如数据存储服务、数据计算服务等,主机集群200中的主机202可以作为主机201的灾备。但是,实际应用场景中,主机201以及主机202对于数据处理系统100的工作模式的要求可能发生变化,比如,在初始状态下,租户P可能期望数据处理系统100采用AP模式运行,如仅允许数据处理系统100中的一个子系统与租户P的主机201进行数据通信等。但是,随着租户P的主机组网模式或者主机运行业务的变化,租户P可能要求数据处理系统100采用活动-活动(active-active,AA)模式运行,以便于租户P的主、备身份的主机201以及主机202均能向数据处理系统请求业务等。此时,数据处理系统100如果仅支持运行AP模式,则难以适应该租户P对于数据处理系统100的工作模式的需求变化。类似的,如果数据处理系统100仅支持运行AA模式,则当租户P要求数据处理系统100的工作模式为AP模式时,同样难以适应该租户P对于数据处理系统100的工作模式的需求变化。
基于此,本申请实施例提供的数据处理系统100可以支持工作模式在AP模式之间AA模式之间进行切换。具体地,在图1所示的数据处理系统100中,可以配置有数据处理装置400,该数据处理装置400包括接收单元401以及处理单元402,并且,该数据处理装置可以与子系统101以及子系统102进行通信。当租户的主机要求数据处理系统100切换工作模式时,接收单元401可以接收配置指令,该配置指令例如可以是由租户或者管理员下发,并将该配置指令提供给处理单元402,从而处理单元402可以根据该配置指令,将子系统101与子系统102之间的工作模式在AP模式与AA模式之间进行切换。
如此,数据处理系统100可以根据租户主机的需求变化,自动切换子系统101与子系统102之间的工作模式,以此实现数据处理系统100能够适应租户主机的需求变化,提高租户使用数据处理系统100的体验。
实际应用时,数据处理系统100例如可以是提供存储服务的系统,或者可以是提供计算服务的系统,又或者是其它类型的系统等。为便于理解,下面以数据存储系统为例,对数据存储系统分别基于AP模式运行、基于AA模式运行为主机提供业务服务的过程进行详细介绍。
参阅图2,示出了本申请实施例提供的数据存储系统100中的子系统基于AP模式运行的示意图。如图2所示,在AP模式中,归属于站点A的子系统101中可以包括一个或者多个控制器,并且,该控制器可以对外提供多个端口,用于通过该多个端口与主机集群200中的主机201进行通信。如图2所示,子系统101中控制器0可以提供0号端口以及1号端口、控制器1可以提供2号端口以及3号端口,并且,子系统101可以通过0号端口以及2号端口与主机201进行数据通信,如接收主机201下发的业务请求等。实际应用时,可以将子系统101中的任意数量的端口分配给主机201,本实施例对此并不进行限定。
归属于站点B的子系统102中包括控制器2和控制器3,并且,控制器2中的0′号端口以及控制器3中的2′号端口可以分配给主机201,以便子系统101故障时,主机201可以基于该0′号端口或者2′号端口访问子系统102。实际应用时,主机集群200中的还可以包括主机202,该主机202可以作为主机201的热备(即在线备份),并且,子系统101中控制器0的0号端口、控制器1的2号端口可以分配给主机202。这样,在主机201发生故障时,主机202通过0号端口以及2号端口继续访问子系统101,以实现接管主机201上的业务,以此提高主机上的业务的可靠性。进一步地,主机202还可以分配到子系统102的控制器2中的0′号端口以及控制器3中的2′号端口,用于在子系统101故障时,主机202能够利用0′号端口、或者2′号端口访问子系统102。
当数据处理系统100正常运行时,站点A可以作为向主机201提供服务的主站点,并且,主机201仅能向站点A请求提供业务服务。
站点A包括的子系统101中可以设置有文件系统(file system,FS),并且,该文件系统具有根目录,该根目录可以保存在子系统101的内存中。当主机201与子系统101建立通信连接后,子系统101可以将该文件系统挂载至主机201,并将该文件系统的根目录提供给主机201。这样,主机201可以根据文件系统的根目录访问子系统101中的文件系统,并读取该文件系统中的数据。当主机201请求向子系统101写入数据时,子系统101可以在该根目录下创建子目录,并将主机201提供的数据通过文件格式保存在该子目录下。实际应用时,子系统101可以配置有多个IP地址,并且,当主机201接入该子系统101时,子系统101可以从多个IP地址中选择一个或者多个IP地址,并将其分配给主机201,从而主机201可以基于分配到的IP地址,访问子系统101中的文件系统。并且,每个IP地址可以用于访问文件系统中各个子目录下的所有文件,并可以支持主机201在文件系统中创建子目录,以便后续将文件存储至该子目录下。如,主机201利用分配到的IP地址1在文件系统中创建子目录d5,利用分配到的IP地址2在文件系统中创建子目录d7等。
并且,子系统101中可以配置有预设数量的分片(shard),如图2中配置有4096个分片等(即分片0至分片4095),这些分片用于将文件系统的目录以及文件分布存储至该子系统中的不同物理节点,可以用于控制数据的分布和访问,每个物理节点可以用于存储一个或者多个分片的数据。基于多个分片的数据分布,可以生成分片视图(或者可以成为数据分布视图),并且,该分片视图可以指示数据在不同物理节点的分布情况。
由于子系统101的内存空间通常有限,因此,子系统101可以周期性的将内存中的数据进行持久化存储,具体可以是将内存中的目录、文件以及分片视图等数据下发至持久化存储介质中进行存储,并由相应的控制器支持对持久化存储介质进行数据读写。如此,子系统101可以基于释放的内存空间继续接收主机201写入的新数据。
站点B包括的子系统102,作为子系统101的灾备,可以同样配置有文件系统,并且,子系统102的文件系统中的数据(包括目录、目录下的文件以及分片视图等),可以从子系统101中的文件系统完成数据同步。并且,租户在配置主机201访问子系统的IP地址时,可以为该主机201配置访问子系统102的IP地址。
当站点A中的子系统101故障时,站点B中的子系统102可以基于其上存储的目标、文件以及分片视图等数据,接管主机201上的业务,从而可以继续为主机201提供业务服务。参见图3,示出了子系统101故障后由子系统102继续提供业务服务的示意图。
实际应用时,子系统102可以周期性的监测子系统101的心跳,具体可以是接收子系统101发送的心跳消息。当子系统102距离上一次接收子系统101的心跳消息的时间间隔超出预设间隔时,子系统102可以确定该子系统101发生故障。或者,子系统102也可以是在接收到仲裁服务器(图3中未示出)发送的通知消息后,确定子系统101发生故障等,本实施例对此并不进行限定。
子系统102在确定子系统101故障后,可以将主机201访问子系统101的IP地址漂移至子系统102,并启用为主机201分配的、用于支持主机201访问子系统102的0′号端口或者2′号端口,从而主机201可以基于该IP地址以及端口访问子系统102中的数据。由于子系统101正常运行时,在为主机201提供业务服务的过程中,不仅会将所产生的新数据保存在本地,也会将该新数据同步至子系统102中,因此,子系统102中的内存以及持久化存储介质中的数据,与子系统101中的内存、持久化存储介质中的数据可以保持一致,从而子系统102可以基于这些数据继续向主机201提供业务服务。
需要说明的是,上述图2以及图3,主要介绍了数据处理系统100中的子系统101以及子系统102基于AP模式运行以及进行灾备的实现方式。下面对数据处理系统100中的子系统101以及子系统102基于AP模式运行以及进行灾备的实现方式进行介绍。
参阅图4,示出了本申请实施例提供的数据存储系统100中的子系统基于AA模式运行的示意图。如图4所示,在AA模式中,归属于站点A的子系统101中可以包括一个或者多个控制器,并且,该控制器可以对外提供多个端口,用于通过该多个端口与主机集群200中的主机201进行通信。如图4所示,子系统101中控制器0可以提供0号端口以及1号端口、控制器1可以提供2号端口以及3号端口,并且,子系统101可以通过0号端口以及2号端口与主机201进行数据通信,如接收主机201下发的业务请求等。
归属于站点B的子系统102中包括控制器2和控制器3,并且,控制器2中的1′号端口以及控制器3中的3′号端口可以与主机集群200中的主机202进行数据通信。其中,主机202,可以作为主机201的热备(即在线备份),用于提高主机上的业务的可靠性。进一步地,子系统102中的0′号端口以及2′号端口还可以分配给主机201,以便在子系统101故障时,主机201通过0′号端口、2′号端口访问子系统102以继续请求业务服务。并且,子系统101中1号端口以及3号端口还可以分配给主机202,以便在子系统102故障时,主机202通过1号端口、3号端口访问子系统101以继续请求业务服务。
值得注意的是,在AA模式中,当数据处理系统100正常运行时,主机201以及主机202均可以向站点请求提供业务服务。具体的,主机201可以向站点A请求提供业务,主机202可以向站点B请求提供业务。如此,在利用作为灾备的子系统102满足容灾要求的同时,通过子系统102为主机提供一部分的业务服务,可以提高数据处理系统100的整体服务能力和系统资源利用率。
站点A包括的子系统101中可以设置有文件系统,并且,该文件系统具有根目录,该根目录可以保存在子系统101的内存中。当主机201与子系统101建立通信连接后,子系统101可以将该文件系统挂载至主机201,并将该文件系统的根目录提供给主机201。这样,主机201可以根据文件系统的根目录访问子系统101中的文件系统,并读取该文件系统中的数据。当主机201请求向子系统101写入数据时,子系统101可以在该根目录下创建子目录,并将主机201提供的数据通过文件格式保存在该子目录下。
站点B中的子系统102中同样设置有文件系统,并且,子系统102中的文件系统与子系统101中的文件系统可以具有统一的根目录。当主机202与子系统102建立通信连接后,主机202可以访问子系统101中的文件系统,并在该文件系统中读写数据。
由于子系统101以及子系统102均可以提供业务服务,因此,在为主机201以及主机202配置访问子系统的IP地址时,主机201以及主机202可以分配到相同的多个IP地址,该多个IP地址用于支持主机201/主机202访问文件系统中各个子目录下的所有文件,并可以在该文件系统中创建相应的目录,以便后续将文件存储至所创建的子目录下,如主机201可以利用分配到的IP地址a在文件系统中创建子目录d5、主机202可以利用分配到的IP地址b在文件系统中创建子目录d7等。实际应用时,还可以配置主机201以及主机202分别所述的归属站点,如配置主机201归属于站点A、配置主机202归属于站点B,并且,主机201以及主机202优先对归属站点的文件系统中的数据进行访问,以此尽可能避免主机所请求访问的文件在不同站点之间进行数据传输,并且,两个站点上各有一部分IP地址处于工作状态。
子系统101以及子系统102中,分别可以配置有不同的分片。如图4所示,子系统101中以及子系统102中分别配置有2048个分片,其中,子系统101中的分片为分片0~分片2047,子系统102中的分片为分片2048~分片4095。这些分片用于将文件系统的目录以及文件分布存储至该子系统中的不同物理节点,可以用于控制数据的分布和访问,每个物理节点可以用于存储一个或者多个分片的数据。基于多个分片的数据分布,可以生成分片视图,并且,该分片视图可以指示数据在不同物理节点的分布情况。本实施例中,是以将分片视图均分在子系统101以及子系统102上为例,实际应用时,分片视图也可以不均分于两个子系统中。
通常情况下,子系统101以及子系统102的内存空间通常有限,因此,子系统101以及子系统102可以周期性的将内存中的数据进行持久化存储。由于子系统101以及子系统102中分别存储有部分分片视图中的数据,因此,在对内存中的数据进行持久化存储之前,子系统101可以将分片0~分片2047中的数据发送给子系统102,子系统102可以将分片2048~分片4095中的数据发送给子系统101。这样,子系统101以及子系统102中均能够获得完整的4096个分片的数据。然后,子系统101以及子系统102可以分别将所有分片中的数据(如完整的目录、文件以及分片视图等数据)下发至持久化存储介质中进行存储,并由相应的控制器支持对持久化存储介质进行数据读写。如此,子系统101以及子系统102可以基于释放的内存空间继续接收主机201以及主机202写入的新数据。
实际应用场景中,子系统101或者子系统102在运行过程中可能发生故障,此时,可以由正常运行的另一子系统接管故障子系统上的业务。以站点A中的子系统101发生故障为例,参见图5,示出了子系统102继续提供业务服务的示意图。
具体地,子系统101以及子系统102可以同时监测对端的心跳,当子系统101发生故障时,子系统102距离上一次接收子系统101的心跳消息的时间间隔通常会超出预设间隔,此时,子系统102可以确定该子系统101发生故障。或者,子系统101也可以是在接收到仲裁服务器(图5中未示出)发送的通知消息后,确定子系统101发生故障等,本实施例对此并不进行限定。
子系统102在确定子系统101故障后,可以要求子系统101将内存中存储的分片0~分片2047中的数据提供给子系统102,如此,子系统102上的分片视图可以更新为分片0~分片4095。
并且,子系统102可以将主机201访问子系统101的IP地址漂移至子系统102,并启用0′号端口以及2′号端口接收主机201下发的业务请求。这样,主机201在请求访问文件系统中的文件时,子系统102可以将分片0~分片4095中存储的相应文件反馈给主机201,从而实现为主机201继续提供业务服务。
由于实际应用场景中,主机集群200或者主机集群200中的主机对于数据处理系统100的工作模式的要求可能发生变化,为此,本实施例中数据处理系统100中的子系统101以及子系统102支持工作模式在AP模式以及AA模式之间进行切换,以满足主机集群对于子系统101以及子系统102之间的工作模式的要求,提高数据处理系统100提供业务服务的普适性。其中,数据处理系统100可以支持子系统101与子系统102的工作模式由AP模式切换为AA模式,可以由AA模式切换为AP模式。
本实施例中,可以由数据处理系统100中的数据处理装置400切换子系统101与子系统102之间的工作模式。具体实现时,接收单元401可以接收配置指令,该配置指令用于指示数据处理装置400对子系统101与子系统102之间的工作模式由AP模式切换为AA模式,或者由AA模式切换为AP模式。
作为一些示例,本实施例提供了以下几种接收配置指令的实现方式。
在第一种可能的实施方式中,数据处理装置400可以对外提供客户端,从而租户或者管理员在确定需要切换子系统101与子系统102之间的工作模式时,通过该客户端向数据处理装置400下发配置指令,以指示数据处理装置400将子系统101与子系统102之间的工作模式由当前的模式切换至另一种模式,并由接收单元401接收到该配置指令。
在第二种可能的实施方式中,数据处理装置400可以对当前接入数据处理系统100的主机的组网方式进行检测,该主机的组网方式可以平行组网或者全交叉组网。其中,平行组网,是指网络中的不同主机之间可以不建立交叉连接,如不同主机之间可以不直接建立数据通信的通道;并且,当采用平行组网方式的主机接入数据处理系统100时,子系统101与子系统102通常基于AP模式运行以为主机提供相应的服务。全交叉组网,是指网络中的不同主机之间可以建立连接,从而不同主机之间可以通过该通信连接进行数据通信;并且,当采用全交叉组网方式的主机接入数据处理系统100时,子系统101与子系统102通常基于AA模式运行以为主机提供相应的服务。实际应用时,主机的组网方式也可以是其它方式,本实施例对此并不进行限定。
如此,接收单元401可以通过对主机的组网方式进行检测,判断当前接入数据处理系统100的主机的组网方式是否与子系统101以及子系统102之间的工作模式相匹配,如果不匹配,则接收单元401可以生成配置指令,以触发对子系统101与子系统102之间的工作模式的切换。如果匹配,则数据处理装置400无需切换子系统101与子系统102之间的工作模式。
上述两种接收配置指令的实现方式仅作为一些示例性说明,在其他实施例中,接收单元也可以是基于其它方式获取配置指令,本实施例对此并不进行限定。
接收单元401在接收到配置指令后,可以将该配置指令发送给处理单元402,以便处理单元402执行切换子系统101与子系统102之间的工作模式的操作。
下面结合附图对处理单元402切换子系统101与子系统102之间的工作模式的具体实现过程进行示例性说明。
参见图6,示出了子系统101与子系统102的工作模式由AP模式切换为AA模式的示意图。
如图6所示,当子系统101与子系统102的工作模式切换为AA模式时,子系统102可以支持对主机202向子系统102请求业务。
具体实现时,处理单元402可以指示站点B中的子系统102,将控制器2中的1′号端口以及控制器3中的3′号端口分配给主机202,以便主机202可以通过该1′号端口或3′号端口访问子系统102中的文件系统。
并且,处理单元402可以指示子系统101将部分分片中的数据迁移至子系统102中,并分别在子系统101以及子系统102中对分片视图进行更新。比如,假设子系统101将分片2048~分片4095中的数据迁移至子系统102,则子系统101以及子系统102中更新后的分片视图如图6所示。
由于主机201以及主机202均可以向站点请求业务,因此,处理单元402可以指示子系统102为主机202分配访问子目录下文件的IP地址。进一步地,子系统102还可以指定主机202的归属站点为站点B,这样,主机202在访问子目录下的文件时(如访问子目录d6和d7下的文件等),可以优先对其归属的站点B中的子系统102进行访问,并可以根据子系统102上的分片视图(如分片2048~分片4095),在子系统102中获得其所需的数据。如此,可以避免主机202访问子系统101而导致文件在不同站点之间进行数据传输。另外,子系统101可以指定主机201的归属站点为站点A,以便主机201优先对站点A中的子系统101进行访问。
如此,可以实现子系统101与子系统102的工作模式由AP模式至AA模式的切换。
参见图7,示出了子系统101与子系统102的工作模式由AA模式切换为AP模式的示意图。
如图7所示,当子系统101与子系统102的工作模式切换为AP模式时,子系统102不支持主机202向子系统102请求业务。
具体实现时,处理单元402可以指示站点B中的子系统102,可以将0′号端口以及2′号端口分配给主机201,以便当子系统101故障时,主机201可以通过该0′号端口或2′号端口访问子系统102中的文件系统。由于在AP模式下,数据处理系统100仅支持主机201向站点请求业务,因此,子系统102可以禁用之前为主机202分配的、用于访问子目录下文件的IP地址。
并且,由于子系统101以及子系统102在基于AA模式运行时,子系统101以及子系统102中的分片均为部分分片,因此,在切换至AP模式时,处理单元402可以指示子系统101将所有分片中的数据备份至子系统102中,子系统102可以将所有分片中的数据备份至子系统101中,并分别在子系统101以及子系统102中对分片视图进行更新。比如,假设在AA模式下,子系统101以及子系统102中的分片分别为分片0~分片2047、分片2048~分片4095,则在切换至AP模式时,子系统101以及子系统102在相互备份分片数据后,子系统101以及子系统102中更新后的分片视图如图7所示。
如此,可以实现对数据处理系统100中的不同子系统的工作模式在AP模式与AA模式之间进行灵活切换,以满足实际应用场景的需求。
值得注意的是,图1所示的数据处理系统100的系统架构仅作为一种示例,并不用于限定其具体实现局限于该示例。比如,在图8所示的数据处理系统100中,除了包括子系统101以及子系统102之间,还可以包括子系统103以及子系统104,并且,子系统101与子系统103均属于站点A,子系统102与子系统104均属于站点B。在图8所示的数据处理系统中,可以利用子系统101至子系统104支持同时提供AP模式以及AA模式对应的服务。具体地,子系统101与子系统102可以基于AP模式运行,用于为主机集群200中的主机201以及主机202提供AP模式对应的服务;子系统103与子系统104可以基于AA模式运行,用于为主机集群300中的主机301以及主机302提供AA模式对应的服务。
又比如,在图9所示的数据处理系统100中,与图8所示的数据处理系统100类似,同样包括子系统101至子系统104,并且同时支持提供AP模式与AA模式分别对应的服务。其区别在于,图9所示的数据处理系统100中,子系统101至子系统104分别归属于不同的站点,具体的,子系统101归属于站点A、子系统102归属于站点B、子系统103归属于站点C、子系统104归属于站点D。本申请对于数据处理系统的具体架构并不进行限定。
这样,在图8或者图9所示的数据处理系统100中,对于部分要求AP模式的租户,数据处理系统100可以利用子系统101以及子系统102处理该租户的主机所请求的业务;对于另一部分要求AA模式的租户,数据处理系统100可以利用子系统103以及子系统104处理该租户的主机所请求的业务。由于数据处理系统100中的不同子系统分别运行AP模式以及AA模式,这使得数据处理系统100可以根据租户的需求选择相应工作模式的子系统为该租户的主机提供业务服务,以此可以满足实际应用场景中不同主机的业务需求,提高数据处理系统100提供业务服务的普适性。
需要说明的是,上述图2至图9所示的数据处理系统100,是以为租户提供数据存储服务并且该数据存储服务具体为文件存储服务为例进行说明,即,数据处理系统100所存储的数据可以是文件的形式进行保存,而在其它可能的实施方式中,数据处理系统100所提供数据存储服务,也可以是块存储服务或者对象存储服务。其中,块存储服务,是指数据处理系统100在存储数据时,将该数据按照固定大小的尺寸进行分块,每个分块的数据量例如可以是512字节或者4千字节(KB)等。对象存储服务,是指数据处理系统100将数据作为对象(object)进行存储,此时,对象可以是数据处理系统100中数据存储的基本单位,每个对象可以是数据和数据属性的综合体,该数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等。实际应用时,数据处理系统100也可以是提供其它类型的服务,如数据计算服务,如模型训练服务、数据统计服务等,本实施例对此并不进行限定。
并且,上述图1至图9所示的数据处理系统100,可以适用于集中式存储的应用场景或者分布式存储的应用场景。
其中,在集中式存储应用场景中,每个子系统可以由一台或多台计算节点组成中心节点,并且整个子系统的所有数据处理业务可以集中部署在这个中心节点上。此时,计算节点与存储设备之间可以采用盘控分离架构,即计算节点与存储设备独立部署;或者,计算节点与存储设备之间可以采用盘控一体架构,即计算节点可以具有槽位,并通过该槽位将存储设备放置在该计算节点中,与该计算节点集成部署。
在分布式存储应用场景中,每个子系统中的数据可以分散存储在多个独立的存储节点上。此时,计算节点可以与存储设备集成部署,使得该计算节点同时具有计算能力以及存储能力,并且在该计算节点上可以创建虚拟机,或者也可以不创建虚拟机。或者,计算节点与存储设备之间可以采用存算分离架构,即计算节点与存储设备独立部署并通过网络进行通信。另外,存储设备中可以包括一种或者多种不同的存储介质,本实施例对此并不进行限定。
另外,当租户的主机接入上述数据处理系统100时,可以由管理员根据租户的需求,配置该租户的主机接入AP模式运行的子系统,或者接入AA模式运行的子系统。而在另一种实现方式中,数据处理系统100也可以根据主机的组网方式自动为主机接入适合的子系统。下面结合附图对该自动化过程进行详细说明。
如图10所示,为本申请实施例中一种数据处理方法的流程示意图,该方法可以应用于如图1、图8、或图9所示的数据处理系统100中。实际应用时,该方法也可以应用于其它可适用的数据处理系统中。为便于理解与描述,下面以应用于图8所示的数据处理系统100为例进行示例性说明,该方法具体可以包括:
S901:接收单元401获取接入数据处理系统100的主机的组网形式。
其中,主机的组网形式,可以是平行组网或者全交叉组网等,或者可以是其他类型的组网方式。其中,平行组网,是指网络中的不同主机之间可以不建立交叉连接,如不同主机之间可以不直接建立数据通信的通道。全交叉组网,是指网络中的不同主机之间可以建立连接,从而不同主机之间可以通过该通信连接进行数据通信。
S902:当该主机的组网形式为平行组网时,处理单元402利用数据处理系统100中的子系统101以及子系统102处理该主机所请求的业务,子系统101与子系统102之间的工作模式为AP模式。
S903:当该主机的组网形式为全交叉组网时,处理单元402利用数据处理系统100中的子系统103以及子系统104处理该主机所请求的业务,子系统103与子系统104之间的工作模式为AA模式。
本实施例中,可以根据实际应用的场景需求,将组网形式为平行组网的主机,接入基于AP模式运行的子系统101,并可以为该主机自动配置子系统102上的访问端口以及IP地址,以便在子系统101发生故障后,该主机可以通过访问子系统102实现业务的不中断处理。
而对于组网形式为全交叉组网的主机,可以将该主机接入基于AA模式运行的子系统103,将作为该主机的热备的另一主机接入子系统104中,并配置两个主机具有相同的IP地址、各个主机分别归属的站点,以便子系统103以及子系统104分别各自接入的主机所请求的业务。
在进一步可能的实施方式中,当主机对于接入的子系统的工作模式的要求发生变化时,可以对该主机所接入的子系统的工作模式进行自动切换,如当主机要求子系统101的工作模式由AP模式转换为AA模式时,子系统101可以基于上述图6所示的方式,自动将子系统101余子系统102的工作模式切换为AA模式,以满足主机的实际应用需求,其具体实现过程,可参见前述实施例的相关之处描述,在此不做赘述。其中,可以由接入主机的子系统自动执行工作模式的切换过程,或者可以是在仲裁服务器或者其他设备的控制下实现将子系统的工作模式进行自动切换,本实施例对此并不进行限定。
上述结合附图所描述的本申请实施例中的各种非限定性实施方式,仅作为示例性说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,基于上述内容所获得的所有其它实施例,都属于本申请保护的范围。
上文中结合图1至图10,详细描述了本申请所提供的数据处理系统以及数据处理方法,下面将结合图11和图12,描述根据本申请所提供的数据处理装置以及实现该数据处理装置功能的计算设备。
与上述方法同样的发明构思,本申请实施例还提供一种数据处理装置。如图11所示,数据处理装置1100应用于数据处理系统,如上述图1至图10所示的数据处理系统100等,该数据处理系统包括第一子系统以及第二子系统,如上述子系统101和子系统102等,图11所示的数据处理装置100包括:
接收单元1101,用于接收配置指令;
处理单元1102,用于根据配置指令将第一子系统和第二子系统之间由第一模式切换为第二模式;其中,第一模式为第一子系统与第二子系统之间工作在活动-消极AP模式和活动-活动AA模式中的一种模式;第二模式为第一子系统与第二子系统之间工作在AP模式和AA模式中的另一种模式。
在一种可能的实施方式中,第一子系统与第二子系统之间基于第一模式为目标租户的主机提供数据处理服务,并且,在将第一子系统与第二子系统之间的工作模式切换为第二模式后,第一子系统与第二子系统之间基于第二模式为目标租户的主机提供数据处理服务。
在一种可能的实施方式中,接收单元1101,具体用于检测到接入数据处理系统的主机的组网模式,由第一组网模式切换为第二组网模式。
在一种可能的实施方式中,第一组网模式为平行组网模式和全交叉组网模式中的一种组网模式,第二组网模式为平行组网模式和全交叉组网模式中的另一种组网模式。
在一种可能的实施方式中,数据处理系统还包括第三子系统以及第四子系统,在第一子系统与第二子系统之间工作在第二模式时,第三子系统与第四子系统之间工作在第一模式。
在一种可能的实施方式中,第一子系统与第三子系统属于第一站点,第二子系统与第四子系统属于第二站点。
在一种可能的实施方式中,第一子系统与第二子系统用于为目标租户提供数据存储服务,第一子系统包括至少一个存储阵列。
在一种可能的实施方式中,第一子系统与第二子系统通过IP协议、RDMA协议、FC中的至少一种进行通信。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为文件存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为块存储服务。
在一种可能的实施方式中,第一子系统与第二子系统提供的数据存储服务为对象存储服务。
图11所示的数据处理装置1100,对应于前述实施例中数据处理装置400,因此,数据处理装置1100的具体实现及其所具有的技术效果,可参见前述实施例的相关之处描述,在此不做赘述。
本申请实施例还提供一种计算设备,如图12所示,计算设备1200中可以包括通信接口1210、处理器1220。可选的,计算设备1200中还可以包括存储器1230。其中,存储器1230可以设置于计算设备1200内部,还可以设置于计算设备1200外部。示例性地,上述图1至图10所示实施例中数据处理装置400执行的各个动作均可以由处理器1220实现。处理器1220可以通过通信接口1210获取配置指令,并用于实现上述图9中所述的方法。在实现过程中,处理流程的各步骤可以通过处理器1220中的硬件的集成逻辑电路或者软件形式的指令完成图9所述的方法。为了简洁,在此不再赘述。处理器1220用于实现上述方法所执行的程序代码可以存储在存储器1230中。存储器1230和处理器1220连接,如耦合连接等。
本申请实施例的一些特征可以由处理器1220执行存储器1230中的程序指令或者软件代码来完成/支持。存储器1230上在加载的软件组件可以从功能或者逻辑上进行概括,例如,图11所示的处理单元1102。而接收单元1101的功能可以由通信接口1210实现。
本申请实施例中涉及到的任一通信接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。比如计算设备1200中的通信接口1210,示例性地,该其它装置可以是与该计算设备1200相连的设备等。
本申请实施例中涉及的处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件单元组合执行完成。
本申请实施例中的耦合是装置、单元或单元之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或单元之间的信息交互。
处理器可能和存储器协同操作。存储器可以是非易失性存储器,比如硬盘或固态硬盘等,还可以是易失性存储器,例如随机存取存储器。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
本申请实施例中不限定上述通信接口、处理器以及存储器之间的具体连接介质。比如存储器、处理器以及通信接口之间可以通过总线连接。所述总线可以分为地址总线、数据总线、控制总线等。
基于以上实施例,本申请实施例还提供了一种计算机存储介质,该存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时可实现上述任意一个或多个实施例提供的数据处理装置400执行的方法。所述计算机存储介质可以包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
基于以上实施例,本申请实施例还提供了一种芯片,该芯片包括处理器,用于实现上述实施例所涉及的数据处理装置400的功能,例如用于实现图9中所执行的方法。可选地,所述芯片还包括存储器,所述存储器,用于处理器所执行必要的程序指令和数据。该芯片,可以由芯片构成,也可以包含芯片和其他分立器件。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (36)
1.一种数据处理系统,其特征在于,包含第一子系统和第二子系统;所述数据处理系统包含接收单元和处理单元;其中,
所述接收单元,用于接收配置指令;
所述处理单元,用于根据所述配置指令将所述第一子系统和所述第二子系统之间由第一模式切换为第二模式;其中,所述第一模式为所述第一子系统与所述第二子系统之间工作在活动-消极AP模式和活动-活动AA模式中的一种模式;所述第二模式为所述第一子系统与所述第二子系统之间工作在所述AP模式和所述AA模式中的另一种模式。
2.根据权利要求1所述的数据处理系统,其特征在于,所述第一子系统与所述第二子系统之间基于所述第一模式为目标租户的主机提供数据处理服务,并且,在将所述第一子系统与所述第二子系统之间的工作模式切换为所述第二模式后,所述第一子系统与所述第二子系统之间基于所述第二模式为所述目标租户的主机提供数据处理服务。
3.根据权利要求1或2所述的数据处理系统,其特征在于,所述接收单元,具体用于检测到接入所述数据处理系统的主机的组网模式,由第一组网模式切换为第二组网模式。
4.根据权利要求3所述的数据处理系统,其特征在于,所述第一组网模式为平行组网模式和全交叉组网模式中的一种组网模式,所述第二组网模式为所述平行组网模式和所述全交叉组网模式中的另一种组网模式。
5.根据权利要求1至4任一项所述的数据处理系统,其特征在于,所述数据处理系统还包括第三子系统以及第四子系统,在所述第一子系统与所述第二子系统之间工作在所述第二模式时,所述第三子系统与所述第四子系统之间工作在所述第一模式。
6.根据权利要求5所述的数据处理系统,其特征在于,所述第一子系统与所述第三子系统属于第一站点,所述第二子系统与所述第四子系统属于第二站点。
7.根据权利要求1至6任一项所述的数据处理系统,其特征在于,所述第一子系统与所述第二子系统用于为目标租户提供数据存储服务,所述第一子系统包括至少一个存储阵列。
8.根据权利要求1至7任一项所述的数据处理系统,其特征在于,所述第一子系统与所述第二子系统通过网际互联协议IP、远程直接数据存取RDMA协议、光纤通道FC中的至少一种进行通信。
9.根据权利要求1至8任一项所述的数据处理系统,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为文件存储服务。
10.根据权利要求1至8任一项所述的数据处理系统,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为块存储服务。
11.根据权利要求1至8任一项所述的数据处理系统,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为对象存储服务。
12.一种数据处理方法,其特征在于,所述方法应用于数据处理系统,所述数据处理系统包含第一子系统、第二子系统、接收单元和处理单元,所述方法包括:
所述接收单元接收配置指令,并将所述配置指令提供给所述处理单元;
所述处理单元根据所述配置指令将所述第一子系统和所述第二子系统之间由第一模式切换为第二模式;其中,所述第一模式为所述第一子系统与所述第二子系统之间工作在活动-消极AP模式和活动-活动AA模式中的一种模式;所述第二模式为所述第一子系统与所述第二子系统之间工作在所述AP模式和所述AA模式中的另一种模式。
13.根据权利要求12所述的方法,其特征在于,所述第一子系统与所述第二子系统之间基于所述第一模式为目标租户的主机提供数据处理服务,并且,在将所述第一子系统与所述第二子系统之间的工作模式切换为所述第二模式后,所述第一子系统与所述第二子系统之间基于所述第二模式为所述目标租户的主机提供数据处理服务。
14.根据权利要求12或13所述的方法,其特征在于,所述接收单元接收配置指令,包括:
所述接收单元检测到接入所述数据处理系统的主机的组网模式,由第一组网模式切换为第二组网模式。
15.根据权利要求14所述的方法,其特征在于,所述第一组网模式为平行组网模式和全交叉组网模式中的一种组网模式,所述第二组网模式为所述平行组网模式和所述全交叉组网模式中的另一种组网模式。
16.根据权利要求12至15任一项所述的方法,其特征在于,所述数据处理系统还包括第三子系统以及第四子系统,在所述第一子系统与所述第二子系统之间工作在所述第二模式时,所述第三子系统与所述第四子系统之间工作在所述第一模式。
17.根据权利要求16所述的方法,其特征在于,所述第一子系统与所述第三子系统属于第一站点,所述第二子系统与所述第四子系统属于第二站点。
18.根据权利要求12至17任一项所述的方法,其特征在于,所述第一子系统与所述第二子系统用于为目标租户提供数据存储服务,所述第一子系统包括至少一个存储阵列。
19.根据权利要求12至18任一项所述的方法,其特征在于,所述第一子系统与所述第二子系统通过网际互联协议IP、远程直接数据存取RDMA协议、光纤通道FC中的至少一种进行通信。
20.根据权利要求12至19任一项所述的方法,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为文件存储服务。
21.根据权利要求12至19任一项所述的方法,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为块存储服务。
22.根据权利要求12至19任一项所述的方法,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为对象存储服务。
23.一种数据处理装置,其特征在于,所述数据处理装置应用于数据处理系统,所述数据处理系统包括第一子系统以及第二子系统,所述数据处理装置包括:
所述接收单元,用于接收配置指令;
所述处理单元,用于根据所述配置指令将所述第一子系统和所述第二子系统之间由第一模式切换为第二模式;其中,所述第一模式为所述第一子系统与所述第二子系统之间工作在活动-消极AP模式和活动-活动AA模式中的一种模式;所述第二模式为所述第一子系统与所述第二子系统之间工作在所述AP模式和所述AA模式中的另一种模式。
24.根据权利要求23所述的数据处理装置,其特征在于,所述第一子系统与所述第二子系统之间基于所述第一模式为目标租户的主机提供数据处理服务,并且,在将所述第一子系统与所述第二子系统之间的工作模式切换为所述第二模式后,所述第一子系统与所述第二子系统之间基于所述第二模式为所述目标租户的主机提供数据处理服务。
25.根据权利要求23或24所述的数据处理装置,其特征在于,所述接收单元,具体用于检测到接入所述数据处理系统的主机的组网模式,由第一组网模式切换为第二组网模式。
26.根据权利要求25所述的数据处理装置,其特征在于,所述第一组网模式为平行组网模式和全交叉组网模式中的一种组网模式,所述第二组网模式为所述平行组网模式和所述全交叉组网模式中的另一种组网模式。
27.根据权利要求23至26任一项所述的数据处理装置,其特征在于,所述数据处理系统还包括第三子系统以及第四子系统,在所述第一子系统与所述第二子系统之间工作在所述第二模式时,所述第三子系统与所述第四子系统之间工作在所述第一模式。
28.根据权利要求27所述的数据处理装置,其特征在于,所述第一子系统与所述第三子系统属于第一站点,所述第二子系统与所述第四子系统属于第二站点。
29.根据权利要求23至28任一项所述的数据处理装置,其特征在于,所述第一子系统与所述第二子系统用于为目标租户提供数据存储服务,所述第一子系统包括至少一个存储阵列。
30.根据权利要求23至29任一项所述的数据处理装置,其特征在于,所述第一子系统与所述第二子系统通过网际互联协议IP、远程直接数据存取RDMA协议、光纤通道FC中的至少一种进行通信。
31.根据权利要求23至30任一项所述的数据处理装置,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为文件存储服务。
32.根据权利要求23至30任一项所述的数据处理装置,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为块存储服务。
33.根据权利要求23至30任一项所述的数据处理装置,其特征在于,所述第一子系统与所述第二子系统提供的数据存储服务为对象存储服务。
34.一种计算设备,其特征在于,所述计算设备包括处理器和存储器;
所述处理器用于执行所述存储器中存储的指令,以使得所述计算设备执行权利要求12至22任一项所述的方法。
35.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算设备上运行时,使得所述计算设备执行如权利要求12至22任一项所述的方法。
36.一种包含指令的计算机程序产品,其特征在于,当其在计算设备上运行时,使得所述计算设备执行如权利要求12至22任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2023/087566 WO2023246241A1 (zh) | 2022-06-22 | 2023-04-11 | 数据处理系统、数据处理方法、装置及相关设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2022107156689 | 2022-06-22 | ||
CN202210715668 | 2022-06-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117271205A true CN117271205A (zh) | 2023-12-22 |
Family
ID=89199638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211170871.9A Pending CN117271205A (zh) | 2022-06-22 | 2022-09-23 | 数据处理系统、数据处理方法、装置及相关设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117271205A (zh) |
WO (1) | WO2023246241A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10009215B1 (en) * | 2012-11-30 | 2018-06-26 | EMC IP Holding Company LLC | Active/passive mode enabler for active/active block IO distributed disk(s) |
US9626212B2 (en) * | 2014-06-28 | 2017-04-18 | Vmware, Inc. | Live migration of virtual machines with memory state sharing |
US10732888B1 (en) * | 2019-01-23 | 2020-08-04 | EMC IP Holding Company LLC | Seamless transitioning among replication modes in a storage system |
-
2022
- 2022-09-23 CN CN202211170871.9A patent/CN117271205A/zh active Pending
-
2023
- 2023-04-11 WO PCT/CN2023/087566 patent/WO2023246241A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023246241A1 (zh) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11445019B2 (en) | Methods, systems, and media for providing distributed database access during a network split | |
CN106899518B (zh) | 一种基于互联网数据中心的资源处理方法以及装置 | |
JP6317856B2 (ja) | クラスタ間冗長構成におけるスムーズな制御部交代 | |
JP4448719B2 (ja) | ストレージシステム | |
CN102355369B (zh) | 虚拟化集群系统及其处理方法和设备 | |
CN109828868B (zh) | 数据存储方法、装置、管理设备和双活数据存储系统 | |
US20120079090A1 (en) | Stateful subnet manager failover in a middleware machine environment | |
CN106789168B (zh) | 一种数据中心服务器管理网络的部署方法及架顶式交换机 | |
US8032786B2 (en) | Information-processing equipment and system therefor with switching control for switchover operation | |
CN110224871A (zh) | 一种Redis集群的高可用方法及装置 | |
JP2003323263A (ja) | 共有メモリ制御方法および制御システム | |
US10826812B2 (en) | Multiple quorum witness | |
US20190391831A1 (en) | Seamless virtual standard switch to virtual distributed switch migration for hyper-converged infrastructure | |
JP2009237826A (ja) | ストレージシステム及びそのボリューム管理方法 | |
EP3648405B1 (en) | System and method to create a highly available quorum for clustered solutions | |
CN113010496B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
CN113467873A (zh) | 虚拟机的调度方法、装置、电子设备及存储介质 | |
US10305987B2 (en) | Method to syncrhonize VSAN node status in VSAN cluster | |
JP2020191100A (ja) | システム及びその制御方法並びにプログラム | |
CN111400285A (zh) | mySQL数据分片处理方法、装置、计算机设备和可读存储介质 | |
EP3167372B1 (en) | Methods for facilitating high availability storage services and corresponding devices | |
CN104052799B (zh) | 一种利用资源环实现高可用存储的方法 | |
CN117271205A (zh) | 数据处理系统、数据处理方法、装置及相关设备 | |
CN110971872B (zh) | 一种基于分布式集群的视频图像信息采集方法 | |
CN111400110B (zh) | 数据库访问管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |