CN105677519B - 一种资源的访问方法和装置 - Google Patents
一种资源的访问方法和装置 Download PDFInfo
- Publication number
- CN105677519B CN105677519B CN201610104610.5A CN201610104610A CN105677519B CN 105677519 B CN105677519 B CN 105677519B CN 201610104610 A CN201610104610 A CN 201610104610A CN 105677519 B CN105677519 B CN 105677519B
- Authority
- CN
- China
- Prior art keywords
- storage control
- resource
- port
- client
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
- G06F11/2092—Techniques of failing over between control units
Abstract
本发明提供一种资源的访问方法和装置,该方法包括:在第二存储控制器对应的路径发生故障时,在第一端口上创建第二端口对应的虚拟端口;获取第二存储控制器对应的资源;将所述第二存储控制器对应的资源分配给所述虚拟端口;通过所述虚拟端口将所述第二存储控制器对应的资源提供给客户端,以使所述客户端通过所述虚拟端口访问所述第二存储控制器对应的资源。通过本发明的技术方案,可以由第一存储控制器接管第二存储控制器的资源,并对客户端提供第二存储控制器的资源,接管过程的时间很短,客户端的业务流量不会发生中断。而且可以不使用多路径软件,而是进行存储双控互备的故障保护,实现较简单、难度较低、稳定性较好、维护工作量较小。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种资源的访问方法和装置。
背景技术
为了保证客户端与磁盘之间路径的可靠性,通常会在客户端与磁盘之间部署多条路径,如图1所示,为客户端与磁盘之间部署多条路径的组网示意图。客户端通过端口P1连接到交换机1,客户端通过端口P2连接到交换机2。交换机1通过端口P1连接到存储控制器A,交换机1通过端口P2连接到存储控制器B。交换机2通过端口P1连接到存储控制器A,交换机2通过端口P2连接到存储控制器B。存储控制器A和存储控制器B均与磁盘连接。
客户端上使用FC(Fibre Channel,光纤通道)卡,且该FC卡上包括端口P1和端口P2。交换机1上使用FC卡,且该FC卡上包括端口P1、端口P2和端口P3。交换机2上使用FC卡,且该FC卡上包括端口P1、端口P2和端口P3。存储控制器A上使用FC卡,且该FC卡上包括端口PA1、端口PA2。存储控制器B1上使用FC卡,且该FC卡上包括端口PB1、端口PB2。此外,每个FC卡上的每个端口均有各自的全球唯一的WWPN(World Wide Port Name,全球唯一端口名称),可以通过该WWPN连接对应的端口。
客户端使用多路径软件进行存储双控双活的故障保护,多路径软件能够保护客户端与交换机之间的光纤路径故障、交换机故障、交换机与磁盘之间的光纤路径故障、存储控制器故障等。在图1中,当路径1发生故障时,可以使用路径1+。当路径2发生故障时,可以使用路径2+。当路径3发生故障时,可以使用路径3+。当路径4发生故障时,可以使用路径3和路径4+。
但是,在使用多路径软件进行存储双控双活的故障保护时,要求存储控制器A和存储控制器B之间是双活的,即从任意的存储控制器上都能够访问(读或写)同一个资源,而不同存储控制器之间的双活的实现难度很大。
发明内容
本发明提供一种资源的访问方法,应用于包括第一存储控制器和第二存储控制器的系统中,所述第一存储控制器上的第一端口与所述第二存储控制器上的第二端口互为保护端口,所述方法应用在所述第一存储控制器上,在所述第二存储控制器对应的路径发生故障时,所述方法包括:在所述第一端口上创建所述第二端口对应的虚拟端口;获取所述第二存储控制器对应的资源;将所述第二存储控制器对应的资源分配给所述虚拟端口;通过所述虚拟端口将所述第二存储控制器对应的资源提供给客户端,以使所述客户端通过所述虚拟端口访问所述第二存储控制器对应的资源。
本发明提供一种资源的访问装置,应用于包括第一存储控制器和第二存储控制器的系统中,所述第一存储控制器上的第一端口与所述第二存储控制器上的第二端口互为保护端口,所述装置应用在所述第一存储控制器上,在所述第二存储控制器对应的路径发生故障时,所述装置具体包括:创建模块,用于在所述第一端口上创建所述第二端口对应的虚拟端口;获取模块,用于获取所述第二存储控制器对应的资源;分配模块,用于将所述第二存储控制器对应的资源分配给所述虚拟端口;发送模块,用于通过所述虚拟端口将第二存储控制器对应的资源提供给客户端,以使客户端通过所述虚拟端口访问所述第二存储控制器对应的资源。
基于上述技术方案,本发明实施例中,通过将第一存储控制器上的第一端口与第二存储控制器上的第二端口配置成互为保护端口,从而在第二存储控制器对应的路径发生故障时,在第一端口上创建第二端口对应的虚拟端口,并将第二存储控制器对应的资源分配给虚拟端口,以使客户端通过该虚拟端口访问第二存储控制器对应的资源。基于上述方式,可以由第一存储控制器接管第二存储控制器的资源,并对客户端提供第二存储控制器的资源,接管过程的时间很短,客户端的业务流量不会发生中断。而且,可以不使用多路径软件,而是进行存储双控互备的故障保护,实现较简单、难度较低、稳定性较好、维护工作量较小。而且,互为保护端口的两个端口不再闲置,可以同时分配资源提供给客户端,端口利用率很高,端口利用率可以高达100%。
附图说明
图1是现有技术中的客户端与磁盘之间部署多条路径的组网示意图;
图2是现有技术中的双控双活信息的同步示意图;
图3是现有技术中的存储双控双活的负载均衡配置示意图;
图4是本发明一种实施方式中的资源的访问方法的流程图;
图5是本发明一种实施方式中的存储双控互备配置的组网示意图;
图6是本发明一种实施方式中的存储双控互备的信息同步示意图;
图7是本发明一种实施方式中的接管后的存储双控互备的配置示意图;
图8是本发明一种实施方式中多路径软件的存储双控互备配置示意图;
图9A和图9B是本发明一种实施方式中的交换机先故障,存储控制器后故障的存储双控互备配置示意图;
图10A和图10B是本发明一种实施方式中的存储控制器先故障,交换机后故障的存储双控互备配置示意图;
图11是本发明一种实施方式中的第一存储控制器的硬件结构图;
图12是本发明一种实施方式中地址的资源的访问装置的结构图。
具体实施方式
为了使用多路径软件进行存储双控双活的故障保护,存储控制器A和存储控制器B上的所有RAID(Redundant Arrays of Independent Disks,独立磁盘冗余阵列)资源和LV(Logical Volume,逻辑资源卷)资源需要相同,一个存储控制器的RAID资源/LV资源变化,需要同步到另一个存储控制器。两个存储控制器可以同时对同一RAID资源/LV资源进行读写访问,又要避免RAID资源/LV资源的使用冲突,保证两个存储控制器的读写数据正确。
为了保证存储控制器A和存储控制器B上的所有RAID资源和LV资源相同,可以采用如图2所示的双控双活信息的同步示意图来实现。
如图2所示,存储控制器A和存储控制器B需要都能够访问磁盘。在一个存储控制器上使用多个磁盘创建RAID资源时,存储控制器A和存储控制器B上的磁盘管理模块均判断这些磁盘是否可以使用。在一个存储控制器上创建RAID资源成功时,在生成各个模块(如RAID管理模块、CACHE(高速缓存)管理模块、SCSI LLD(Small Computer Systems InterfaceLower Level Device,小型计算机系统接口较低层驱动器)模块等)的RAID内存节点时,可以通知另一个存储控制器的各个模块创建相同的RAID内存节点。在一个存储控制器上创建LV资源时,存储控制器A和存储控制器B均判断该LV资源对应的RAID段是否可以使用。在一个存储控制器上创建LV资源成功时,可以在生成LV资源的内存节点时,将LV资源的段列表等配置信息同步到另一个存储控制器,并通知另一个存储控制器创建相同的LV资源的内存节点。当一个存储控制器上发现RAID资源/LV资源异常或者状态变化,并且该存储控制器对该RAID资源/LV资源进行处理时,通知另一个存储控制器进行相应处理,并且需要避免重复处理和资源竞争使用。当数据需要写入一个存储控制器的写缓存时,存储控制器A和存储控制器B均判断是否可以使用某一个空闲的缓存块,数据同时写入存储控制器A和存储控制器B的写缓存中,并通知另一个存储控制器进行空闲写缓存和已使用缓存块等链表的操作。当存储控制器A和存储控制器B启动时,存储控制器A和存储控制器B都会扫描所有的磁盘,并运行所有的RAID资源/LV资源。
在存储双控双活的基础上,存储控制器A和存储控制器B都存在LV1资源和LV2资源,且将LV1资源和LV2资源同时分配给不同的端口,形成使用多路径软件的存储双控双活配置,如图3所示,为使用多路径软件的存储双控双活的负载均衡配置示意图。针对同一个LV资源,可以通过两个存储控制器上各自的FC卡端口提供给客户端,客户端通过多路径软件访问到相应的LV资源,并将该LV资源提供给需要这个LV资源的具体应用。
为了实现上述过程,在存储控制器A上将LV1资源和LV2资源分配给端口PA1和端口PA2,在存储控制器B上将LV1资源和LV2资源分配给端口PB1和端口PB2。客户端使用交换机1访问到端口PA1,继而访问到存储控制器A上的LV1资源;客户端使用交换机1访问到端口PB1,继而访问到存储控制器B上的LV2资源。客户端使用交换机2访问到端口PA2,继而访问到存储控制器A上的LV2资源;客户端使用交换机2访问到端口PB2,继而访问到存储控制器B上的LV1资源。客户端使用多路径软件将经过交换机1的路径作为正在使用的路径,将经过交换机2的路径作为备份路径。
多路径软件获知两条路径(正在使用的路径、备份路径)提供了两个相同LV资源,因此只给具体应用提供一个LV资源。这样,就在磁盘与客户端之间形成了双通道的冗余路径连接,由多路径软件控制使用哪一条路径。客户端到磁盘的整个路径包含路径1、交换机1、路径2、存储控制器A、路径4,当一个存储控制器、或存储控制器上下的任一条路径、或存储控制器发生故障时,都会被多路径软件识别到故障,并将整个路径切换为另一条路径,并通过另一条路径来访问LV资源,从而实现双控的故障保护。
在图3中,分别由存储控制器A提供LV1资源的访问,并由存储控制器B提供LV2资源的访问,从而在存储控制器A和存储控制器B之间实现负载均衡。但是,在这种配置下,如果交换机1和存储控制器A同时发生故障,虽然能够切换到交换机2,但是LV2资源的访问路径却不能够恢复。
综上所述,发明人发现上述技术方案中至少存在以下缺陷:存储控制器A和存储控制器B都需要看到所有磁盘、CACHE资源、RAID资源和LV资源,并能够同时读写所有LV资源,才使得多路径软件能够从两条路径看到同一个LV资源,否则就不支持使用多路径软件进行双控故障保护。在存储控制器A和存储控制器B之间需要同步大量的信息,实现复杂、难度高、稳定性低、维护工作量大。在存储双控负载均衡配置下,无法支持一个交换机和一个存储控制器同时故障。使用多路径软件的故障保护方法,端口保护模式是主备模式,多路径软件看到的两条路径,在同一时间只能使用一条路径,另一条路径被闲置,利用率低,最高只能达到50%。多路径软件和客户端的操作系统强相关,需要针对不同的操作系统开发不同的多路径软件。
针对上述发现,本发明实施例中提出一种资源的访问方法,在一个存储控制器对应的路径发生故障时,可以由另一个存储控制器接管该一个存储控制器的资源,该接管过程的时间很短,客户端的业务流量不会发生中断,从而提供存储控制器对应的路径发生故障时的保护方法。在该保护方法中,可以不使用多路径软件,即不执行存储双控双活的故障保护,而是进行存储双控互备的故障保护,实现较简单、难度较低、稳定性较好、维护工作量较小。而且,互为保护端口的两个端口均不再闲置,可以同时分配资源提供给客户端,端口利用率很高,端口利用率可以高达100%。而且,针对两个存储控制器,只需要都看到所有磁盘,但是不需要看到另一个存储控制器的RAID资源和LV资源,不需要双活,不需要实时同步大量的信息。而且,由于该保护方法不需要使用多路径软件,因此与客户端的操作系统无关,不需要针对不同的操作系统开发不同的软件,兼容性高。
如图4所示,为本发明实施例中提出的资源的访问方法的流程示意图,可以应用于包括第一存储控制器和第二存储控制器的系统中,第一存储控制器上的第一端口与第二存储控制器上的第二端口互为保护端口。以图5为本发明实施例的应用场景示意图,假设存储控制器B为第一存储控制器,存储控制器A为第二存储控制器,端口PB1(端口PB2)为第一端口,端口PA1(端口PA2)为第二端口。此外,该系统还可以包括客户端、交换机和磁盘。
在上述应用场景下,在第二存储控制器对应的路径发生故障(如第二存储控制器与交换机之间的路径发生故障,第二存储控制器发生故障,第二存储控制器与磁盘之间的路径发生故障)时,该资源的访问方法包括以下步骤:
步骤401,第一存储控制器在第一端口上创建第二端口对应的虚拟端口。
本发明实施例中,第一端口具体可以包括第一FC端口,且第二端口具体可以包括第二FC端口。基于此,第一存储控制器在第一端口上创建第二端口对应的虚拟端口的过程,具体可以包括但不限于如下方式:第一存储控制器获取第二FC端口对应的标识信息,并在第一FC端口上创建虚拟端口,并将该标识信息分配给该虚拟端口。其中,该标识信息具体可以包括但不限于:WWPN和WWNN(World Wide Node Name,全球唯一节点名称)。
步骤402,第一存储控制器获取第二存储控制器对应的资源。
本发明实施例中,第二存储控制器对应的资源具体可以包括但不限于:第二存储控制器对应的RAID资源和LV资源。第一存储控制器获取第二存储控制器对应的资源的过程,具体可以包括但不限于如下方式:第一存储控制器在本第一存储控制器上运行属于第二存储控制器的RAID资源,并在本第一存储控制器上生成RAID资源对应的内存节点。第一存储控制器在本第一存储控制器上启用第二存储控制器镜像到本第一存储控制器的数据;其中,当数据写入到第二存储控制器的写缓存时,第二存储控制器将数据镜像到第一存储控制器的镜像空间。第一存储控制器根据第二存储控制器同步到本第一存储控制器的LV资源的配置信息,在本第一存储控制器上创建LV资源对应的内存节点;其中,在第二存储控制器上创建LV资源成功,且生成LV资源对应的内存节点时,将LV资源的配置信息同步到第一存储控制器。
其中,步骤401和步骤402之间没有严格的先后顺序关系。
步骤403,第一存储控制器将第二存储控制器对应的资源分配给虚拟端口。
步骤404,第一存储控制器通过虚拟端口将第二存储控制器对应的资源提供给客户端,以使客户端通过该虚拟端口访问第二存储控制器对应的资源。
本发明实施例中,在第二存储控制器对应的路径发生故障之后,在第一存储控制器获取第二存储控制器对应的资源之前,第一存储控制器还可以对第二存储控制器进行下电处理。在第一存储控制器通过虚拟端口将第二存储控制器对应的资源提供给客户端之后,第一存储控制器还可以对第二存储控制器进行上电处理。进一步的,在第二存储控制器的上电处理过程中,第二存储控制器在扫描到第二端口上线时,第二存储控制器不向客户端进行注册操作,以使客户端继续通过虚拟端口访问第二存储控制器对应的资源。
本发明实施例中,在第二存储控制器对应的路径故障恢复(如第二存储控制器与交换机之间的路径故障恢复,或者第二存储控制器故障恢复,或者第二存储控制器与磁盘之间的路径故障恢复)时,则第一存储控制器删除在第一端口上创建的虚拟端口,并删除在本第一存储控制器上生成的RAID资源对应的内存节点,并删除在本第一存储控制器上创建的LV资源对应的内存节点,并禁用镜像到本第一存储控制器的数据。进一步的,第二存储控制器恢复本第二存储控制器对应的资源,并在恢复第二存储控制器对应的资源后,第二存储控制器通过第二端口将本第二存储控制器对应的资源提供给客户端,以使客户端通过第二端口访问第二存储控制器对应的资源。
基于上述技术方案,本发明实施例中,通过将第一存储控制器上的第一端口与第二存储控制器上的第二端口配置成互为保护端口,从而在第二存储控制器对应的路径发生故障时,在第一端口上创建第二端口对应的虚拟端口,并将第二存储控制器对应的资源分配给虚拟端口,以使客户端通过该虚拟端口访问第二存储控制器对应的资源。基于上述方式,可以由第一存储控制器接管第二存储控制器的资源,并对客户端提供第二存储控制器的资源,接管过程的时间很短,客户端的业务流量不会发生中断。而且,可以不使用多路径软件,而是进行存储双控互备的故障保护,实现较简单、难度较低、稳定性较好、维护工作量较小。而且,互为保护端口的两个端口不再闲置,可以同时分配资源提供给客户端,端口利用率很高,端口利用率可以高达100%。
以下结合具体的应用场景,对本发明实施例的上述过程进行详细说明。
在使用多路径软件进行存储双控双活的故障保护时,存储控制器A和存储控制器B上的所有RAID资源和LV资源相同,与此不同的是,本发明实施例中,在哪个存储控制器上创建RAID资源,该RAID资源就始终属于该存储控制器,即存储控制器A创建的RAID资源属于存储控制器A,存储控制器B创建的RAID资源属于存储控制器B。而且,存储控制器A和储控制器B只需要都看到所有磁盘,但是不需要看到另一个存储控制器的RAID资源和LV资源,不同存储控制器的RAID资源和LV资源相互独立。
如图6所示,为存储双控互备模式的信息同步的示意图,存储控制器A和存储控制器B需要都能够访问所有磁盘。在一个存储控制器上使用多个磁盘创建RAID资源时,存储控制器A和存储控制器B上的磁盘管理模块均判断这些磁盘是否可以使用。在一个存储控制器上创建RAID资源成功时,在生成各个模块(如RAID管理模块、CACHE管理模块、SCSI LLD模块等)的RAID内存节点时,只需要标记该RAID资源所属的存储控制器,不需要通知另一个存储控制器的各个模块创建相同的RAID内存节点。在一个存储控制器上创建LV资源时,只需要在本存储控制器上判断该LV资源对应的RAID段是否可以使用,而不是存储控制器A和存储控制器B均判断该LV资源对应的RAID段是否可以使用。在一个存储控制器上创建LV资源成功时,在生成该LV资源的内存节点时,只需要将LV资源的段列表等配置信息同步到另一个存储控制器的数据库中,而不需要通知另一个存储控制器创建相同的LV资源的内存节点。当一个存储控制器上发现RAID资源/LV资源异常或者状态变化,并且该存储控制器对该RAID资源/LV资源进行处理时,不需要通知另一个存储控制器进行相应处理,也不存在重复处理和资源竞争使用的情况。当数据需要写入一个存储控制器的写缓存时,只需要在本存储控制器判断是否可以使用某一个空闲的缓存块,而不需要存储控制器A和存储控制器B均判断是否可以使用某一个空闲的缓存块;而且,在数据写入本存储控制器的写缓存时,只需要将数据镜像到另一个存储控制器的写缓存的镜像空间中,而不需要将数据同时写入到另一个存储控制器的写缓存中,也不需要通知另一个存储控制器进行空闲写缓存和已使用缓存块等链表的操作。当存储控制器A和存储控制器B启动时,存储控制器A和存储控制器B都会扫描所有的磁盘,但只运行属于本存储控制器的RAID资源/LV资源。
其中,存储控制器A和存储控制器B上的磁盘管理模块均判断这些磁盘是否可以使用的原因是:假设在存储控制器A上使用多个磁盘创建RAID资源,如果存储控制器B也正好使用这多个磁盘创建RAID资源,这样,这多个磁盘的使用就会发生冲突,通过存储控制器A和存储控制器B上的磁盘管理模块均判断这些磁盘是否可以使用,则可以避免这种冲突的发生。
其中,针对生成各个模块(如RAID管理模块、CACHE管理模块、SCSI LLD模块等)的RAID内存节点的过程,假设在存储控制器A上创建RAID资源成功,则需要使用RAID管理模块、CACHE管理模块和SCSI LLD模块对该RAID资源进行处理,因此,需要分别生成RAID管理模块、CACHE管理模块和SCSI LLD模块的RAID内存节点,以使各模块可以正常工作。
其中,针对在本存储控制器上判断该LV资源对应的RAID段是否可以使用的过程,假设在存储控制器A上创建LV资源,且是在RAID资源中划分出多个LV资源,各LV资源属于RAID资源中的一个RAID段。由于该RAID资源只属于存储控制器A,因此,可以由存储控制器A判断该LV资源对应的RAID段是否可以使用。由于该RAID资源与存储控制器B没有关系,因此不需要存储控制器B判断该LV资源对应的RAID段是否可以使用。
其中,针对将LV资源的段列表等配置信息同步到另一个存储控制器的数据库的过程,假设在存储控制器A上创建LV资源1成功,则将LV资源1的段列表等配置信息同步到存储控制器B,该配置信息可以使存储控制器B创建相同的LV资源1。在此过程中,存储控制器A只是将该配置信息同步到存储控制器B,而存储控制器B当前并未使用该配置信息创建相同的LV资源1。该配置信息可以包括LV资源1在RAID资源中的位置信息等。
其中,针对数据写入存储控制器的写缓存的过程,在实际应用中,存储控制器A将数据写入到磁盘的过程中,存储控制器A通常会先将数据写入到本存储控制器A的写缓存中,在写缓存中写入了预设数量的数据后,才将写缓存中的所有数据写入到磁盘中。基于此,当数据需要写入存储控制器A的写缓存时,存储控制器A判断写缓存中是否存在空闲的缓存块,如果是,则将数据写入到写缓存中,如果否,则先将写缓存中的数据写入到磁盘中,并清除写缓存中的数据,并将当前收到的数据写入到写缓存中。在此过程中,存储控制器A只需要判断本地写缓存中是否存在空闲的缓存块,而不需要判断存储控制器B的写缓存中是否存在空闲的缓存块。进一步的,存储控制器A将数据写入到本存储控制器A的写缓存之后,将数据镜像到存储控制器B的写缓存的镜像空间中,而不是将数据写入到存储控制器B的写缓存中。
针对存储控制器A和存储控制器B只运行属于本存储控制器的RAID资源/LV资源的过程,由于每个RAID资源/LV资源只需要存储控制器A或者存储控制器B,而不是同时属于存储控制器A和存储控制器B,因此,存储控制器A和存储控制器B只运行属于本存储控制器的RAID资源/LV资源。
在上述处理的基础上,基于图5所示的应用场景,假设存储控制器B为第一存储控制器,存储控制器A为第二存储控制器,端口PB1(端口PB2)为第一端口,端口PA1(端口PA2)为第二端口。配置端口PB1和端口PA1互为保护端口,配置端口PB2和端口PA2互为保护端口。可以将存储控制器A的资源分配给存储控制器A的端口PA1和端口PA2,并可以将存储控制器B的资源分配给存储控制器B的端口PB1和端口PB2。在实际应用中,一个端口的保护端口可以为一个,也可以为多个,本实施例中以一个为例。
以端口PB1和端口PA1的处理为例,在存储控制器A上记录端口PA1对应的保护端口(端口PB1)的标识信息,如端口PB1对应的WWPN和WWNN。在存储控制器B上记录端口PB1对应的保护端口(端口PA1)的标识信息,如端口PA1对应的WWPN和WWNN。各端口均为FC端口。
存储控制器A和存储控制器B均可以看到所有的磁盘,但是存储控制器A和存储控制器B均有各自的RAID资源和LV资源,例如,RAID资源1属于存储控制器A,RAID资源2属于存储控制器B。RAID资源1中的LV资源1属于存储控制器A,RAID资源2中的LV资源2属于存储控制器B。
在存储控制器A和存储控制器B对应的路径均未发生故障时,存储控制器A通过端口PA1将本存储控制器A对应的资源(如RAID资源1、的LV资源1)提供给客户端,以使客户端通过该端口PA1访问存储控制器A对应的资源。存储控制器B通过端口PB1将本存储控制器B对应的资源(如RAID资源2、的LV资源2)提供给客户端,以使客户端通过该端口PB1访问存储控制器B对应的资源。在此情况下,互为保护端口的两个端口(端口PA1和端口PB1)均向客户端提供资源,这两个端口中不再存在闲置的端口。
当一个存储控制器对应的路径发生故障(如存储控制器A发生故障,或者存储控制器A到交换机的路径发生故障,或者存储控制器A到磁盘的路径发生故障)时,则另一个存储控制器B可以接管存储控制器A的资源,接管后的存储双控配置图可以如图7所示。由于资源接管的过程时间很短,客户端业务流量不会中断。接管后的端口PA1是虚拟端口,是承载在端口PB1上的,路径2+和路径3实际上是同一条物理路径,端口PA1上的访问请求和响应,实际上是通过端口PB1接收和发送的。资源接管的过程可以包括:
步骤1、存储控制器B对存储控制器A进行下电处理。
步骤2、存储控制器B重新扫描磁盘。
步骤3、存储控制器B在端口PB1上创建端口PA1对应的虚拟端口。
端口PA1对应的虚拟端口也是端口PA1,该虚拟端口是承载在端口PB1上的,该虚拟端口上的访问请求和响应,是通过端口PB1接收和发送的。
其中,存储控制器B在端口PB1上创建端口PA1对应的虚拟端口的过程,具体可以包括但不限于如下方式:存储控制器B获取该端口PA1对应的WWPN和WWNN(存储控制器B本地记录了该信息),并在端口PB1上创建虚拟端口,并将端口PA1对应的WWPN和WWNN分配给该虚拟端口,以使该虚拟端口的WWPN和WWNN为端口PA1对应的WWPN和WWNN。
步骤4、存储控制器B获取存储控制器A对应的资源。其中,步骤4与步骤3之间并没有严格的顺序关系,步骤4也可以在步骤3之前执行。
其中,存储控制器A对应的资源具体可以:RAID资源和LV资源。
本发明实施例中,存储控制器B获取存储控制器A对应的资源的过程,具体可以包括:存储控制器B在本存储控制器B上运行属于存储控制器A的RAID资源,并在本存储控制器B上生成RAID资源对应的内存节点。存储控制器B在本存储控制器B上启用存储控制器A镜像到本存储控制器B的数据;其中,当数据写入到存储控制器A的写缓存时,存储控制器A将数据镜像到存储控制器B的镜像空间。存储控制器B根据存储控制器A同步到本存储控制器B的LV资源的配置信息,在本存储控制器B上创建LV资源对应的内存节点;其中,在存储控制器A上创建LV资源成功,且生成LV资源对应的内存节点时,将LV资源的配置信息同步到存储控制器B。
其中,针对存储控制器B在本存储控制器B上生成RAID资源对应的内存节点的过程,可以在本存储控制器B上生成各个模块(例如,RAID管理模块、CACHE管理模块、SCSI LLD模块等)的RAID资源对应的内存节点。
其中,针对在本存储控制器B上启用存储控制器A镜像到本存储控制器B的数据的过程,可以保证存储控制器A在写缓存中的数据不丢失。
其中,针对存储控制器B根据配置信息,在本存储控制器B上创建LV资源对应的内存节点的过程,不需要重新扫描RAID资源,可以在存储控制器B上,快速恢复存储控制器A上创建LV资源对应的内存节点。
步骤5、存储控制器B将存储控制器A对应的资源分配给虚拟端口,并通过虚拟端口将存储控制器A对应的资源提供给客户端。客户端在访问存储控制器A对应的资源时,可以通过该虚拟端口访问存储控制器A对应的资源。
步骤6、存储控制器B对存储控制器A进行上电处理。
其中,如果故障是存储控制器A发生故障(如死机、软硬件故障等,通过下电再上电的处理,存储控制器A一般能够恢复正常),则存储控制器B对存储控制器A进行上电处理之后,存储控制器A可以故障恢复。此外,如果故障是存储控制器A到交换机的路径发生故障,或者存储控制器A到磁盘的路径发生故障,还需要采用其它方式恢复存储控制器A对应的路径的故障。
其中,在存储控制器A的上电处理过程中,存储控制器A在扫描到端口上线时,存储控制器A不会向客户端进行注册(login)操作,在此情况下,客户端会继续通过虚拟端口访问存储控制器A对应的资源,即客户端向端口PA1发送的请求,仍然会被发送到存储控制器B的虚拟端口上。
本发明实施例中,在存储控制器A对应的路径故障恢复(如存储控制器A与交换机之间的路径故障恢复,或者存储控制器A故障恢复,或者存储控制器A与磁盘之间的路径故障恢复等)时,存储控制器B还可以将存储控制器A的资源归还给存储控制器A,其中,存储控制器B可以自动将存储控制器A的资源归还给存储控制器A,或者,存储控制器B还可以在接收到用户命令后,将存储控制器A的资源归还给存储控制器A。进一步的,在存储控制器B将存储控制器A的资源归还给存储控制器A时,由于资源归还的过程时间很短,客户端业务流量不会中断。资源归还的过程可以包括以下步骤:
步骤1、存储控制器B删除在端口PB1上创建的虚拟端口。
步骤2、存储控制器B删除在本存储控制器B上生成的RAID资源(即属于存储控制器A的RAID资源)对应的内存节点。
例如,存储控制器B删除各个模块(SCSI LLD模块、CACHE管理模块、RAID管理模块)中的属于存储控制器A的RAID资源1对应的内存节点。
步骤3、存储控制器B删除在本存储控制器B上创建的LV资源(即属于存储控制器A的LV资源,如资源LV1)对应的内存节点。
步骤4、存储控制器B禁用镜像到本存储控制器B的数据。
步骤5、存储控制器A重新扫描磁盘,在本存储控制器A上恢复本存储控制器A对应的资源,将存储控制器A对应的资源分配给端口PA1,并通过端口PA1将存储控制器A对应的资源提供给客户端。客户端在访问存储控制器A对应的资源时,可以通过端口PA1访问存储控制器A对应的资源。
基于上述技术方案,本发明实施例中,通过将第一存储控制器上的第一端口与第二存储控制器上的第二端口配置成互为保护端口,从而在第二存储控制器对应的路径发生故障时,在第一端口上创建第二端口对应的虚拟端口,并将第二存储控制器对应的资源分配给虚拟端口,以使客户端通过该虚拟端口访问第二存储控制器对应的资源。基于上述方式,可以由第一存储控制器接管第二存储控制器的资源,并对客户端提供第二存储控制器的资源,接管过程的时间很短,客户端的业务流量不会发生中断。而且,可以不使用多路径软件,而是进行存储双控互备的故障保护,实现较简单、难度较低、稳定性较好、维护工作量较小。而且,互为保护端口的两个端口不再闲置,可以同时分配资源提供给客户端,端口利用率很高,端口利用率可以高达100%。
在实际应用中,本发明实施例的上述技术方案(存储双控互备故障保护方案),还可以配合多路径软件来使用,此时,可以保护任意一个交换机单独发生故障,和/或,保护任意一个存储控制器单独发生故障。
如图8所示,为使用多路径软件的存储双控互备配置示意图,LV1资源和RAID资源1属于存储控制器A,LV2资源和RAID资源2属于存储控制器B。当路径1或者交换机1发生故障时,可以切换到路径1+和交换机2上。当交换机1与存储控制器A之间的路径2发生故障,或者存储控制器A发生故障时,采用本发明实施例提供的技术方案,由存储控制器B接管存储控制器A的资源,多路径软件感知不到该故障,客户端到交换机的路径保持不变。
基于图8所示的应用场景,还支持一个交换机和一个存储控制器同时发生故障,当任意一个交换机和任意一个存储控制器同时发生故障时,如图9A和图9B所示,为交换机先故障,存储控制器后故障的配置示意图。如图10A和图10B所示,为存储控制器先故障,交换机后故障的配置示意图。
基于与上述方法同样的发明构思,本发明实施例中还提供了一种资源的访问装置,该资源的访问装置应用在第一存储控制器上。其中,该资源的访问装置可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在的第一存储控制器的处理器,读取非易失性存储器中对应的计算机程序指令形成的。从硬件层面而言,如图11所示,为本发明提出的资源的访问装置所在的第一存储控制器的一种硬件结构图,除了图11所示的处理器、非易失性存储器外,第一存储控制器还可以包括其他硬件,如负责处理报文的转发芯片、网络接口、内存等;从硬件结构上来讲,该第一存储控制器还可能是分布式设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
如图12所示,为本发明提出的资源的访问装置的结构图,该资源的访问装置应用于包括第一存储控制器和第二存储控制器的系统中,所述第一存储控制器上的第一端口与所述第二存储控制器上的第二端口互为保护端口,所述资源的访问装置应用在所述第一存储控制器上,在所述第二存储控制器对应的路径发生故障时,所述资源的访问装置具体包括:
创建模块11,用于在所述第一端口上创建所述第二端口对应的虚拟端口;获取模块12,用于获取所述第二存储控制器对应的资源;分配模块13,用于将所述第二存储控制器对应的资源分配给所述虚拟端口;发送模块14,用于通过所述虚拟端口将第二存储控制器对应的资源提供给客户端,以使客户端通过所述虚拟端口访问所述第二存储控制器对应的资源。
本发明实施例中,所述第一端口具体包括第一光纤通道FC端口,且所述第二端口具体包括第二FC端口;所述创建模块11,具体用于在所述第一端口上创建所述第二端口对应的虚拟端口的过程中,获取所述第二FC端口对应的标识信息,并在所述第一FC端口上创建虚拟端口,并将所述标识信息分配给所述虚拟端口;其中,所述标识信息具体包括:WWPN、WWNN。
所述第二存储控制器对应的资源具体包括:独立磁盘冗余阵列RAID资源和逻辑资源卷LV资源;所述获取模块12,具体用于在获取所述第二存储控制器对应的资源的过程中,在所述第一存储控制器上运行属于所述第二存储控制器的RAID资源,并在所述第一存储控制器上生成所述RAID资源对应的内存节点;在所述第一存储控制器上启用所述第二存储控制器镜像到所述第一存储控制器的数据;其中,当数据写入到所述第二存储控制器的写缓存时,所述第二存储控制器将所述数据镜像到所述第一存储控制器的镜像空间;根据所述第二存储控制器同步到所述第一存储控制器的LV资源的配置信息,在所述第一存储控制器上创建所述LV资源对应的内存节点;其中,在所述第二存储控制器上创建LV资源成功,且生成所述LV资源对应的内存节点时,将所述LV资源的配置信息同步到所述第一存储控制器。
还包括:处理模块(图中未体现),用于在所述第二存储控制器对应的路径发生故障之后,在获取所述第二存储控制器对应的资源之前,对所述第二存储控制器进行下电处理;在通过所述虚拟端口将所述第二存储控制器对应的资源提供给客户端之后,对所述第二存储控制器进行上电处理;其中,在所述第二存储控制器的上电处理过程中,第二存储控制器扫描到第二端口上线时不向客户端进行注册操作,以使所述客户端通过所述虚拟端口访问所述第二存储控制器对应的资源。
还包括:删除模块(图中未体现),用于在所述第二存储控制器对应的路径故障恢复时,删除在所述第一端口上创建的所述虚拟端口,删除在所述第一存储控制器上生成的所述RAID资源对应的内存节点,删除在所述第一存储控制器上创建的所述LV资源对应的内存节点,禁用镜像到所述第一存储控制器的数据;以使所述第二存储控制器在恢复所述第二存储控制器对应的资源后,通过所述第二端口将所述第二存储控制器对应的资源提供给客户端,以使所述客户端通过所述第二端口访问所述第二存储控制器对应的资源。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (8)
1.一种资源的访问方法,应用于包括第一存储控制器和第二存储控制器的系统中,其特征在于,所述第一存储控制器上的第一端口与所述第二存储控制器上的第二端口互为保护端口,所述方法应用在所述第一存储控制器上,在所述第二存储控制器对应的路径发生故障时,所述方法包括:
在所述第一端口上创建所述第二端口对应的虚拟端口;
获取所述第二存储控制器对应的资源;
将所述第二存储控制器对应的资源分配给所述虚拟端口;
通过所述虚拟端口将所述第二存储控制器对应的资源提供给客户端,以使所述客户端通过所述虚拟端口访问所述第二存储控制器对应的资源;
其中,所述第二存储控制器对应的资源具体包括:独立磁盘冗余阵列RAID资源和逻辑资源卷LV资源;所述获取所述第二存储控制器对应的资源的过程,具体包括:
在所述第一存储控制器上运行属于所述第二存储控制器的RAID资源,并在所述第一存储控制器上生成所述RAID资源对应的内存节点;
在所述第一存储控制器上启用所述第二存储控制器镜像到所述第一存储控制器的数据;其中,当数据写入到所述第二存储控制器的写缓存时,所述第二存储控制器将所述数据镜像到所述第一存储控制器的镜像空间;
根据所述第二存储控制器同步到所述第一存储控制器的LV资源的配置信息,在所述第一存储控制器上创建所述LV资源对应的内存节点;其中,在所述第二存储控制器上创建LV资源成功,且生成所述LV资源对应的内存节点时,将所述LV资源的配置信息同步到所述第一存储控制器。
2.根据权利要求1所述的方法,其特征在于,所述第一端口具体包括第一FC端口,且所述第二端口具体包括第二FC端口;所述在所述第一端口上创建所述第二端口对应的虚拟端口的过程,具体包括:
获取所述第二FC端口对应的标识信息,并在所述第一FC端口上创建虚拟端口,并将所述标识信息分配给所述虚拟端口;其中,所述标识信息具体包括:全球唯一端口名称WWPN、全球唯一节点名称WWNN。
3.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
在所述第二存储控制器对应的路径发生故障之后,在获取所述第二存储控制器对应的资源之前,对所述第二存储控制器进行下电处理;
在通过所述虚拟端口将所述第二存储控制器对应的资源提供给客户端之后,对所述第二存储控制器进行上电处理;其中,在第二存储控制器的上电处理过程中,第二存储控制器扫描到第二端口上线时不向客户端进行注册操作,以使所述客户端通过所述虚拟端口访问所述第二存储控制器对应的资源。
4.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
在所述第二存储控制器对应的路径故障恢复时,删除在所述第一端口上创建的所述虚拟端口,并删除在所述第一存储控制器上生成的所述RAID资源对应的内存节点,并删除在所述第一存储控制器上创建的所述LV资源对应的内存节点,并禁用镜像到所述第一存储控制器的数据;
以使所述第二存储控制器在恢复所述第二存储控制器对应的资源后,通过所述第二端口将所述第二存储控制器对应的资源提供给客户端,以使所述客户端通过所述第二端口访问所述第二存储控制器对应的资源。
5.一种资源的访问装置,应用于包括第一存储控制器和第二存储控制器的系统中,其特征在于,所述第一存储控制器上的第一端口与所述第二存储控制器上的第二端口互为保护端口,所述装置应用在所述第一存储控制器上,在所述第二存储控制器对应的路径发生故障时,所述装置具体包括:
创建模块,用于在所述第一端口上创建所述第二端口对应的虚拟端口;
获取模块,用于获取所述第二存储控制器对应的资源;
分配模块,用于将所述第二存储控制器对应的资源分配给所述虚拟端口;
发送模块,用于通过所述虚拟端口将第二存储控制器对应的资源提供给客户端,以使客户端通过所述虚拟端口访问所述第二存储控制器对应的资源;
其中,所述第二存储控制器对应的资源具体包括:独立磁盘冗余阵列RAID资源和逻辑资源卷LV资源;
所述获取模块,具体用于在获取所述第二存储控制器对应的资源的过程中,在所述第一存储控制器上运行属于所述第二存储控制器的RAID资源,并在所述第一存储控制器上生成所述RAID资源对应的内存节点;
在所述第一存储控制器上启用所述第二存储控制器镜像到所述第一存储控制器的数据;其中,当数据写入到所述第二存储控制器的写缓存时,所述第二存储控制器将所述数据镜像到所述第一存储控制器的镜像空间;
根据所述第二存储控制器同步到所述第一存储控制器的LV资源的配置信息,在所述第一存储控制器上创建所述LV资源对应的内存节点;其中,在所述第二存储控制器上创建LV资源成功,且生成所述LV资源对应的内存节点时,将所述LV资源的配置信息同步到所述第一存储控制器。
6.根据权利要求5所述的装置,其特征在于,所述第一端口具体包括第一FC端口,且所述第二端口具体包括第二FC端口;
所述创建模块,具体用于在所述第一端口上创建所述第二端口对应的虚拟端口的过程中,获取所述第二FC端口对应的标识信息,并在所述第一FC端口上创建虚拟端口,并将所述标识信息分配给所述虚拟端口;其中,所述标识信息具体包括:全球唯一端口名称WWPN、全球唯一节点名称WWNN。
7.根据权利要求5所述的装置,其特征在于,还包括:
处理模块,用于在所述第二存储控制器对应的路径发生故障之后,在获取所述第二存储控制器对应的资源之前,对所述第二存储控制器进行下电处理;在通过所述虚拟端口将所述第二存储控制器对应的资源提供给客户端之后,对所述第二存储控制器进行上电处理;其中,在第二存储控制器的上电处理过程中,第二存储控制器扫描到第二端口上线时不向客户端进行注册操作,以使所述客户端通过所述虚拟端口访问所述第二存储控制器对应的资源。
8.根据权利要求5所述的装置,其特征在于,还包括:
删除模块,用于在所述第二存储控制器对应的路径故障恢复时,删除在所述第一端口上创建的所述虚拟端口,并删除在所述第一存储控制器上生成的所述RAID资源对应的内存节点,并删除在所述第一存储控制器上创建的所述LV资源对应的内存节点,并禁用镜像到所述第一存储控制器的数据;
以使所述第二存储控制器在恢复所述第二存储控制器对应的资源后,通过所述第二端口将所述第二存储控制器对应的资源提供给客户端,以使所述客户端通过所述第二端口访问所述第二存储控制器对应的资源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610104610.5A CN105677519B (zh) | 2016-02-25 | 2016-02-25 | 一种资源的访问方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610104610.5A CN105677519B (zh) | 2016-02-25 | 2016-02-25 | 一种资源的访问方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105677519A CN105677519A (zh) | 2016-06-15 |
CN105677519B true CN105677519B (zh) | 2019-04-30 |
Family
ID=56306139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610104610.5A Active CN105677519B (zh) | 2016-02-25 | 2016-02-25 | 一种资源的访问方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105677519B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959137A (zh) * | 2018-09-21 | 2018-12-07 | 郑州云海信息技术有限公司 | 一种数据传输方法、装置、设备及可读存储介质 |
CN111949213B (zh) * | 2020-07-28 | 2022-08-30 | 新华三半导体技术有限公司 | 内存颗粒访问控制芯片、内存颗粒的访问控制系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1825267A (zh) * | 2005-02-23 | 2006-08-30 | 株式会社日立制作所 | 存储控制装置及其控制方法 |
CN101677321A (zh) * | 2008-09-16 | 2010-03-24 | 株式会社日立制作所 | 用于存储转移的方法和装置 |
CN102263807A (zh) * | 2010-05-31 | 2011-11-30 | 国际商业机器公司 | 在存储区域网络保持通信路径畅通的方法和存储区域网络 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8776050B2 (en) * | 2003-08-20 | 2014-07-08 | Oracle International Corporation | Distributed virtual machine monitor for managing multiple virtual resources across multiple physical nodes |
-
2016
- 2016-02-25 CN CN201610104610.5A patent/CN105677519B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1825267A (zh) * | 2005-02-23 | 2006-08-30 | 株式会社日立制作所 | 存储控制装置及其控制方法 |
CN101677321A (zh) * | 2008-09-16 | 2010-03-24 | 株式会社日立制作所 | 用于存储转移的方法和装置 |
CN102263807A (zh) * | 2010-05-31 | 2011-11-30 | 国际商业机器公司 | 在存储区域网络保持通信路径畅通的方法和存储区域网络 |
Also Published As
Publication number | Publication date |
---|---|
CN105677519A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106407040B (zh) | 一种远程数据复制方法及系统 | |
US7565503B2 (en) | Method and apparatus implementing virtualization for data migration with volume mapping based on configuration information and with efficient use of old assets | |
CN103942112B (zh) | 磁盘容错方法、装置及系统 | |
KR101547719B1 (ko) | 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지 | |
US6553389B1 (en) | Resource availability determination mechanism for distributed data storage system | |
CN106446159B (zh) | 一种存储文件的方法、第一虚拟机及名称节点 | |
CN100458677C (zh) | 配置一个或多个存储阵列的装置与方法 | |
CN100383749C (zh) | 远程复制方法及远程复制系统 | |
CN101322105B (zh) | 用于重新配置存储阵列的装置和方法 | |
CN103761058B (zh) | Raid1和raid4混合结构网络存储系统及方法 | |
CN1968292B (zh) | 在存储阵列中分配网络地址的系统与方法 | |
JP2003162377A (ja) | ディスクアレイシステム及びコントローラ間での論理ユニットの引き継ぎ方法 | |
US20120198096A1 (en) | Method, Apparatus, System for Address Management | |
CN104050102B (zh) | 一种电信系统中的对象存储方法及装置 | |
CN105049258B (zh) | 网络容灾系统的数据传输方法 | |
CN110807064A (zh) | Rac分布式数据库集群系统中的数据恢复装置 | |
CN106331166A (zh) | 一种存储资源的访问方法及装置 | |
CN105404565B (zh) | 一种双活数据保护方法和装置 | |
CN103970486A (zh) | 一种数据存储方法和系统 | |
CN103814352B (zh) | 一种虚拟设备重建方法与装置 | |
CN102387175A (zh) | 一种存储系统迁移的方法和系统 | |
CN105677519B (zh) | 一种资源的访问方法和装置 | |
CN104517067B (zh) | 访问数据的方法、装置及系统 | |
CN107577564A (zh) | 一种基于块同步技术实现双活系统的方法 | |
CN112379825A (zh) | 基于数据特征分池的分布式数据存储方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |