CN113448513B - 一种冗余存储系统的数据读写方法和装置 - Google Patents
一种冗余存储系统的数据读写方法和装置 Download PDFInfo
- Publication number
- CN113448513B CN113448513B CN202110595151.6A CN202110595151A CN113448513B CN 113448513 B CN113448513 B CN 113448513B CN 202110595151 A CN202110595151 A CN 202110595151A CN 113448513 B CN113448513 B CN 113448513B
- Authority
- CN
- China
- Prior art keywords
- data read
- module
- service
- write
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims description 34
- 230000008439 repair process Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种冗余存储系统的数据读写方法和装置,方法包括:由公共模块访问冗余存储系统的多个存储节点以获取彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并逻辑卷的卷状态信息;由数据读写转发模块根据逻辑卷的卷状态信息确定数据读写流程的可行性,并为多个存储节点生成数据读写流程的数据读写转发节点路径。本发明能够在在整个冗余存储系统上统一管理逻辑卷,降低数据读写转发故障的影响,保障正常执行业务流程。
Description
技术领域
本发明涉及冗余存储系统的数据读写领域,更具体地,特别是指一种冗余存储系统的数据读写方法和装置。
背景技术
在统一存储设备的设计架构下,由主机发出的IO(读写)是经过存储端多个不同功能模块按照一定顺序的处理,最终完成数据写入后端存储盘或者由存储盘读出的过程。在这一过程中,存储设备中通过用户创建的逻辑卷是非常重要的结构,IO流程中涉及到的多个模块也会通过各自对于卷的不同操作,最终实现数据正常的读写流程。
在这一过程中,由于不同模块执行各自不同的功能,也就会在卷层面对IO数据进行各自不同的操作,因此同一个卷在各模块中会处于不同的状态,即不同模块在相同的一个卷上执行着各自不同的功能,从而会对该卷定义不同的属性与操作逻辑,最终该卷在不同模块也会呈现出不同的状态。例如在具体的业务流程中,一个卷在缓存层的逻辑功能都正常完成,则在缓存模块该卷上的数据可以正常进行读写等操作;另一方面这个卷在精简卷模块中的业务流程中,其逻辑运行出现问题,导致对于精简卷模块,这个卷上的数据业务无法正常运行。而对于整个IO流程来说,一个模块中卷状态出现问题则意味着IO流程的中断。
当前统一存储设备一般为冗余设计,即一个卷上的数据会在两个或者多个节点(存储控制器)上进行备份,则正常情况下,在一个卷上的数据业务可以通过两个或者多个节点进行。而在一个模块中,如果由于某些问题,导致卷对应的其中一个节点出现问题,数据只能通过一个节点通过时,此时虽然卷的状态依然是可以正常工作的,但是IO数据的路径则会受到限制,但现有技术并未能针对这种限制提升逻辑卷的工作能力。
针对现有技术中个别逻辑卷在个别业务模块上不正常工作导致整个数据读写流程中断的问题,目前尚无有效的解决方案。
发明内容
有鉴于此,本发明实施例的目的在于提出一种冗余存储系统的数据读写方法和装置,能够在在整个冗余存储系统上统一管理逻辑卷,降低数据读写转发故障的影响,保障正常执行业务流程。
基于上述目的,本发明实施例的第一方面提供了一种冗余存储系统的数据读写方法,包括执行以下步骤:
由公共模块访问冗余存储系统的多个存储节点以获取在多个存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;
为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并基于元数据信息由每个业务子模块进一步生成与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息;
由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径。
在一些实施方式中,元数据信息包括每个逻辑卷的基本数据结构信息,基本数据结构信息进一步包括以下至少之一:逻辑卷的在线状态、逻辑卷的镜像组、逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态。
在一些实施方式中,基于数据读写流程的业务逻辑生成提供元数据信息的对外接口包括:基于确定与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息各自所需的部分元数据信息生成仅包含部分元数据信息的多个结构体,并允许业务模块通过对外接口调用多个结构体。
在一些实施方式中,对外接口具有统一格式;多个业务子模块和数据读写转发模块均使用统一格式来调用对外接口。
在一些实施方式中,方法还包括:
由多个业务子模块分别通过对外接口周期性地更新元数据信息,并基于元数据信息由每个业务子模块进一步周期性地更新与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息。
在一些实施方式中,每个业务子模块内均包括逻辑卷状态处理状态机;逻辑卷状态处理状态机配置为响应于确定逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态均为不在线、或确定业务子模块对逻辑卷不可用而将逻辑卷的卷状态信息生成或更新为包括逻辑卷不在线。
在一些实施方式中,卷状态信息包括逻辑卷在线或不在线、以及逻辑卷的镜像组中每一镜像所对应的存储节点分别在线或不在线。
在一些实施方式中,由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径包括:
响应于数据读写转发模块确认每个业务模块所关心的逻辑卷均在线,而确定数据读写流程可行;
响应于确定数据读写流程可行而在每个逻辑卷的镜像组中每一镜像所对应的存储节点中确定一个可用节点作为与逻辑卷相对应的业务模块执行数据读写转发所使用的节点。
在一些实施方式中,方法还包括:
响应于确定数据读写流程不可行而将逻辑卷不在线的业务模块定位为问题模块,并对问题模块及其业务子模块的状态机逻辑执行分析和修复。
本发明实施例的第二方面提供了一种装置,包括:
处理器;
控制器,存储有处理器可运行的程序代码,处理器在运行程序代码时执行以下步骤:
由公共模块访问冗余存储系统的多个存储节点以获取在多个存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;
为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并基于元数据信息由每个业务子模块进一步生成与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息;
由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径。
在一些实施方式中,元数据信息包括每个逻辑卷的基本数据结构信息,基本数据结构信息进一步包括以下至少之一:逻辑卷的在线状态、逻辑卷的镜像组、逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态。
在一些实施方式中,基于数据读写流程的业务逻辑生成提供元数据信息的对外接口包括:基于确定与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息各自所需的部分元数据信息生成仅包含部分元数据信息的多个结构体,并允许业务模块通过对外接口调用多个结构体。
在一些实施方式中,对外接口具有统一格式;多个业务子模块和数据读写转发模块均使用统一格式来调用对外接口。
在一些实施方式中,方法还包括:
由多个业务子模块分别通过对外接口周期性地更新元数据信息,并基于元数据信息由每个业务子模块进一步周期性地更新与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息。
在一些实施方式中,每个业务子模块内均包括逻辑卷状态处理状态机;逻辑卷状态处理状态机配置为响应于确定逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态均为不在线、或确定业务子模块对逻辑卷不可用而将逻辑卷的卷状态信息生成或更新为包括逻辑卷不在线。
在一些实施方式中,卷状态信息包括逻辑卷在线或不在线、以及逻辑卷的镜像组中每一镜像所对应的存储节点分别在线或不在线。
在一些实施方式中,由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径包括:
响应于数据读写转发模块确认每个业务模块所关心的逻辑卷均在线,而确定数据读写流程可行;
响应于确定数据读写流程可行而在每个逻辑卷的镜像组中每一镜像所对应的存储节点中确定一个可用节点作为与逻辑卷相对应的业务模块执行数据读写转发所使用的节点。
在一些实施方式中,方法还包括:
响应于确定数据读写流程不可行而将逻辑卷不在线的业务模块定位为问题模块,并对问题模块及其业务子模块的状态机逻辑执行分析和修复。
本发明具有以下有益技术效果:本发明实施例提供的冗余存储系统的数据读写方法和装置,通过由公共模块访问冗余存储系统的多个存储节点以获取在多个存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并基于元数据信息由每个业务子模块进一步生成与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息;由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径的技术方案,能够在在整个冗余存储系统上统一管理逻辑卷,降低数据读写转发故障的影响,保障正常执行业务流程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的冗余存储系统的数据读写方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
基于上述目的,本发明实施例的第一个方面,提出了一种在在整个冗余存储系统上统一管理逻辑卷,降低数据读写转发故障的影响,保障正常执行业务流程的冗余存储系统的数据读写方法的一个实施例。图1示出的是本发明提供的冗余存储系统的数据读写方法的流程示意图。
所述的冗余存储系统的数据读写方法,如图1所示,包括执行以下步骤:
步骤S101,由公共模块访问冗余存储系统的多个存储节点以获取在多个存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;
步骤S103,为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并基于元数据信息由每个业务子模块进一步生成与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息;
步骤S105,由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径。
本发明设立一个独立的可应用于各个业务模块中的公共模块,为每个业务模块提供统一的逻辑与接口,在其公共模块定义了表示卷状态的基本数据结构、处理逻辑及相关接口,从而可以在业务模块内部设立专门管理卷状态的子模块来管理各自模块内卷状态相关逻辑以接收一个卷在下层业务模块中的状态,并根据本层的业务逻辑运行情况,更新卷的状态与路径情况,最终达到方便多个模块对同一个卷的管理的目的,并方便在遇到IO流程故障时对于故障原因的定位分析。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。所述计算机程序的实施例,可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
在一些实施方式中,元数据信息包括每个逻辑卷的基本数据结构信息,基本数据结构信息进一步包括以下至少之一:逻辑卷的在线状态、逻辑卷的镜像组、逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态。
在一些实施方式中,基于数据读写流程的业务逻辑生成提供元数据信息的对外接口包括:基于确定与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息各自所需的部分元数据信息生成仅包含部分元数据信息的多个结构体,并允许业务模块通过对外接口调用多个结构体。
在一些实施方式中,对外接口具有统一格式;多个业务子模块和数据读写转发模块均使用统一格式来调用对外接口。
在一些实施方式中,方法还包括:
由多个业务子模块分别通过对外接口周期性地更新元数据信息,并基于元数据信息由每个业务子模块进一步周期性地更新与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息。
在一些实施方式中,每个业务子模块内均包括逻辑卷状态处理状态机;逻辑卷状态处理状态机配置为响应于确定逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态均为不在线、或确定业务子模块对逻辑卷不可用而将逻辑卷的卷状态信息生成或更新为包括逻辑卷不在线。
在一些实施方式中,卷状态信息包括逻辑卷在线或不在线、以及逻辑卷的镜像组中每一镜像所对应的存储节点分别在线或不在线。
在一些实施方式中,由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径包括:
响应于数据读写转发模块确认每个业务模块所关心的逻辑卷均在线,而确定数据读写流程可行;
响应于确定数据读写流程可行而在每个逻辑卷的镜像组中每一镜像所对应的存储节点中确定一个可用节点作为与逻辑卷相对应的业务模块执行数据读写转发所使用的节点。
在一些实施方式中,方法还包括:
响应于确定数据读写流程不可行而将逻辑卷不在线的业务模块定位为问题模块,并对问题模块及其业务子模块的状态机逻辑执行分析和修复。
结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器,使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中,所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中,处理器和存储介质可以作为分立组件驻留在用户终端中。
下面根据具体实施例进一步阐述本发明的具体实施方式。
本发明实施例首先需要在统一存储设备软件架构中设置用于管理卷状态的公共模块(下记为Path),该公共模块主要功能包括以下几个方面:
(1)设置卷状态相关的基本数据结构,其中包括了卷的在线状态(state)为在线或离线(ONLINE/OFFLINE);卷所属的镜像对编号(index),其表明该卷对应的两个冗余节点,如果是更多冗余的备份则对应多个节点;镜像对对应两个节点的在线情况(online_nodes),在线情况可以利用位运算表示,例如在线节点对应位置为1,退出集群的节点对应位置为0。
(2)提供基本的对外接口,包括业务模块中创建Path对象接口,业务模块中获取卷的各类Path属性(如前所述的state,index,online_nodes等)的接口等。
(3)根据不同业务模块的不同需求,可以提供不同的执行方案,并在公共模块内部设置逻辑完成对于不同需求的判断。例如,对于两个不同的模块,其中一个模块只需要下层提供卷的state状态即可,并不关注对应的镜像对以及两个节点各自的在线情况,则可以在Path公共模块中设置两种类型的path对象,其中包含不同的结构体,供不同模块根据具体情况选择使用。
不过应当注意对不同业务模块的针对性支持的结构体应当是有限的;而且也可以以网络占用为代价,将所有数据的总结构体发送到子模块并交由子模块进行针对性地个别处理。本发明实施例通过设置这一独立的公共模块,使数据处理的相关模块可以获取统一的接口,创建同类型的用来表示卷状态的对象,并可以在此基础上在本模块内部以类似的方式实现确定卷状态的控制逻辑。
设置好用于处理卷状态的公共模块后,则需要在各个业务模块内部增加处理卷状态的独立的子模块,实现根据业务模块内部卷属性以及卷对应的节点的变化情况,更新本模块内卷状态的设置更新流程,并通过对外接口实现卷状态跨模块的传递流程。该子模块为卷级别逻辑,具体功能包含以下几方面:
(1)利用Path公共模块提供的接口创建模块内卷状态相关数据结构(state,index,online_nodes等)。
(2)利用外部接口从下层获取下层模块卷状态的输出值。
(3)模块中设置卷状态处理状态机,实现根据下层传递的卷状态以及本模块内该卷的业务处理状态,更新该卷的状态的功能(其中state状态在该状态机内确定,例如,当下层传入卷状态state为OFFLINE时,输出卷状态的state值同样为OFFLINE;当下层传入的卷状态state为ONLINE时,判断本模块内可能导致卷OFFLINE的所有情况,如果有满足的,则输出卷状态state值为OFFLINE),并利用外部接口将更新后的卷状态传递给上层模块。
当通过一个模块内卷状态控制逻辑后,可以向上层传递该卷的卷状态,该状态不仅包含了卷的state为ONLINE还是OFFLINE,即该卷是否可以正常的执行IO流程,同时也包括了该卷对应的两个节点的状况,即该卷的IO操作可以通过哪个节点执行。因此如果一个卷在某个模块中只有一个节点可以执行正常数据业务,而其他模块都正常时,改卷的state为ONLINE,但IO流程由于该模块的情况导致只能从一个节点进行处理。因此对于从另一端发起的IO流程,需要设置数据转发模块,实现数据业务的正常运行。
数据转发模块中首先通过公共卷状态管理模块创建Path对象,并接收下层传递的卷状态;同时通过获取下层传入的卷状态中的online_nodes,获得改卷在其对应两个节点的路径的情况;当IO数据位于非在线节点时,则指定另一个正常节点作为目标节点,将IO数据转发至正常节点所在的路径,最终实现业务的正常进行。
最后,当存储设备发生业务流程的故障时,由于IO流程通常会涉及到存储软件架构中的多个模块,因此对于问题原因的定位有一定的困难性。在本发明实施例中,当IO流程出现问题时,可以利用各个模块中卷状态管理子模块中对于存储设备逻辑卷的状态处理来协助问题的定位与分析。首先可以通过每一层向上一层输出的卷状态,看哪一层开始卷状态出现OFFLINE的情况,定位问题模块。进而可以通过分析业务中卷状态管理子模块的状态机逻辑,确订本模块内导致卷OFFLINE的具体原因,从而更加快捷有效的定位分析故障问题。
从上述实施例可以看出,本发明实施例提供的冗余存储系统的数据读写方法,通过由公共模块访问冗余存储系统的多个存储节点以获取在多个存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并基于元数据信息由每个业务子模块进一步生成与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息;由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径的技术方案,能够在在整个冗余存储系统上统一管理逻辑卷,降低数据读写转发故障的影响,保障正常执行业务流程。
需要特别指出的是,上述冗余存储系统的数据读写方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于冗余存储系统的数据读写方法也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在所述实施例之上。
基于上述目的,本发明实施例的第二个方面,提出了一种在在整个冗余存储系统上统一管理逻辑卷,降低数据读写转发故障的影响,保障正常执行业务流程的冗余存储系统的数据读写装置的一个实施例。装置包括:
处理器;
控制器,存储有处理器可运行的程序代码,处理器在运行程序代码时执行以下步骤:
由公共模块访问冗余存储系统的多个存储节点以获取在多个存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;
为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并基于元数据信息由每个业务子模块进一步生成与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息;
由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径。
在一些实施方式中,元数据信息包括每个逻辑卷的基本数据结构信息,基本数据结构信息进一步包括以下至少之一:逻辑卷的在线状态、逻辑卷的镜像组、逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态。
在一些实施方式中,基于数据读写流程的业务逻辑生成提供元数据信息的对外接口包括:基于确定与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息各自所需的部分元数据信息生成仅包含部分元数据信息的多个结构体,并允许业务模块通过对外接口调用多个结构体。
在一些实施方式中,对外接口具有统一格式;多个业务子模块和数据读写转发模块均使用统一格式来调用对外接口。
在一些实施方式中,方法还包括:
由多个业务子模块分别通过对外接口周期性地更新元数据信息,并基于元数据信息由每个业务子模块进一步周期性地更新与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息。
在一些实施方式中,每个业务子模块内均包括逻辑卷状态处理状态机;逻辑卷状态处理状态机配置为响应于确定逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态均为不在线、或确定业务子模块对逻辑卷不可用而将逻辑卷的卷状态信息生成或更新为包括逻辑卷不在线。
在一些实施方式中,卷状态信息包括逻辑卷在线或不在线、以及逻辑卷的镜像组中每一镜像所对应的存储节点分别在线或不在线。
在一些实施方式中,由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径包括:
响应于数据读写转发模块确认每个业务模块所关心的逻辑卷均在线,而确定数据读写流程可行;
响应于确定数据读写流程可行而在每个逻辑卷的镜像组中每一镜像所对应的存储节点中确定一个可用节点作为与逻辑卷相对应的业务模块执行数据读写转发所使用的节点。
在一些实施方式中,方法还包括:
响应于确定数据读写流程不可行而将逻辑卷不在线的业务模块定位为问题模块,并对问题模块及其业务子模块的状态机逻辑执行分析和修复。
本发明例公开所述的装置、设备等可为各种电子终端设备,例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等,也可以是大型终端设备,如服务器等,因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
从上述实施例可以看出,本发明实施例提供的冗余存储系统的数据读写装置,通过由公共模块访问冗余存储系统的多个存储节点以获取在多个存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供元数据信息的对外接口;为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过对外接口获取元数据信息,并基于元数据信息由每个业务子模块进一步生成与每个业务子模块相对应的每个业务模块所关心的逻辑卷的卷状态信息;由数据读写转发模块根据每个业务模块所关心的逻辑卷的卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个存储节点生成数据读写流程的数据读写转发节点路径的技术方案,能够在在整个冗余存储系统上统一管理逻辑卷,降低数据读写转发故障的影响,保障正常执行业务流程。
需要特别指出的是,上述装置的实施例采用了所述冗余存储系统的数据读写方法的实施例来具体说明各模块的工作过程,本领域技术人员能够很容易想到,将这些模块应用到所述冗余存储系统的数据读写方法的其他实施例中。当然,由于所述冗余存储系统的数据读写方法实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于所述装置也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在所述实施例之上。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上所述的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种冗余存储系统的数据读写方法,其特征在于,包括执行以下步骤:
由公共模块访问冗余存储系统的多个存储节点以获取在多个所述存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供所述元数据信息的对外接口;
为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过所述对外接口获取所述元数据信息,并基于所述元数据信息由每个所述业务子模块进一步生成与每个所述业务子模块相对应的每个所述业务模块所关心的逻辑卷的卷状态信息;
由数据读写转发模块根据每个所述业务模块所关心的逻辑卷的所述卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个所述存储节点生成数据读写流程的数据读写转发节点路径。
2.根据权利要求1所述的方法,其特征在于,所述元数据信息包括每个所述逻辑卷的基本数据结构信息,所述基本数据结构信息进一步包括以下至少之一:所述逻辑卷的在线状态、所述逻辑卷的镜像组、所述逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态。
3.根据权利要求2所述的方法,其特征在于,基于数据读写流程的业务逻辑生成提供所述元数据信息的对外接口包括:基于确定与每个所述业务子模块相对应的每个所述业务模块所关心的逻辑卷的卷状态信息各自所需的部分元数据信息生成仅包含所述部分元数据信息的多个结构体,并允许所述业务模块通过所述对外接口调用多个所述结构体。
4.根据权利要求1所述的方法,其特征在于,所述对外接口具有统一格式;多个所述业务子模块和所述数据读写转发模块均使用所述统一格式来调用所述对外接口。
5.根据权利要求1所述的方法,其特征在于,还包括:
由多个业务子模块分别通过所述对外接口周期性地更新所述元数据信息,并基于所述元数据信息由每个所述业务子模块进一步周期性地更新与每个所述业务子模块相对应的每个所述业务模块所关心的逻辑卷的卷状态信息。
6.根据权利要求5所述的方法,其特征在于,每个所述业务子模块内均包括逻辑卷状态处理状态机;所述逻辑卷状态处理状态机配置为响应于确定所述逻辑卷的镜像组中每一镜像所对应的存储节点的在线状态均为不在线、或确定所述业务子模块对所述逻辑卷不可用而将所述逻辑卷的卷状态信息生成或更新为包括所述逻辑卷不在线。
7.根据权利要求1所述的方法,其特征在于,所述卷状态信息包括所述逻辑卷在线或不在线、以及所述逻辑卷的镜像组中每一镜像所对应的存储节点分别在线或不在线。
8.根据权利要求7所述的方法,其特征在于,由数据读写转发模块根据每个所述业务模块所关心的逻辑卷的所述卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个所述存储节点生成数据读写流程的数据读写转发节点路径包括:
响应于所述数据读写转发模块确认每个所述业务模块所关心的所述逻辑卷均在线,而确定数据读写流程可行;
响应于确定数据读写流程可行而在每个所述逻辑卷的镜像组中每一镜像所对应的存储节点中确定一个可用节点作为与所述逻辑卷相对应的所述业务模块执行数据读写转发所使用的节点。
9.根据权利要求8所述的方法,其特征在于,还包括:
响应于确定数据读写流程不可行而将所述逻辑卷不在线的所述业务模块定位为问题模块,并对所述问题模块及其所属业务子模块的状态机逻辑执行分析和修复。
10.一种冗余存储系统的数据读写装置,其特征在于,包括:
处理器;
控制器,存储有所述处理器可运行的程序代码,所述处理器在运行所述程序代码时执行以下步骤:
由公共模块访问冗余存储系统的多个存储节点以获取在多个所述存储节点上以冗余存储方式存储的彼此不同的多个逻辑卷的元数据信息,并基于数据读写流程的业务逻辑生成提供所述元数据信息的对外接口;
为在冗余存储系统的数据读写流程中按顺序执行的多个业务模块分别配置多个业务子模块以分别通过所述对外接口获取所述元数据信息,并基于所述元数据信息由每个所述业务子模块进一步生成与每个所述业务子模块相对应的每个所述业务模块所关心的逻辑卷的卷状态信息;
由数据读写转发模块根据每个所述业务模块所关心的逻辑卷的所述卷状态信息确定数据读写流程的可行性,并响应于确定数据读写流程可行而进一步地为多个所述存储节点生成数据读写流程的数据读写转发节点路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110595151.6A CN113448513B (zh) | 2021-05-28 | 2021-05-28 | 一种冗余存储系统的数据读写方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110595151.6A CN113448513B (zh) | 2021-05-28 | 2021-05-28 | 一种冗余存储系统的数据读写方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113448513A CN113448513A (zh) | 2021-09-28 |
CN113448513B true CN113448513B (zh) | 2022-08-09 |
Family
ID=77810414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110595151.6A Active CN113448513B (zh) | 2021-05-28 | 2021-05-28 | 一种冗余存储系统的数据读写方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113448513B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317742B (zh) * | 2014-11-17 | 2017-05-03 | 浪潮电子信息产业股份有限公司 | 一种优化空间管理的自动精简配置方法 |
US20180150234A1 (en) * | 2016-11-28 | 2018-05-31 | Hewlett Packard Enterprise Development Lp | Cloud volume storage |
CN110515557B (zh) * | 2019-08-23 | 2022-06-17 | 北京浪潮数据技术有限公司 | 一种集群管理方法、装置、设备及可读存储介质 |
CN112114957A (zh) * | 2020-10-29 | 2020-12-22 | 苏州浪潮智能科技有限公司 | 多控存储系统io路径管理方法、装置及电子设备和介质 |
-
2021
- 2021-05-28 CN CN202110595151.6A patent/CN113448513B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113448513A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6756924B2 (ja) | ブロックチェーンを基にしたコンセンサス方法およびデバイス | |
US20070180288A1 (en) | Method, system and program for securing redundancy in parallel computing sytem | |
CN112597153B (zh) | 一种基于区块链的数据存储方法、装置及存储介质 | |
EP3648405B1 (en) | System and method to create a highly available quorum for clustered solutions | |
CN108418859B (zh) | 写数据的方法和装置 | |
RU2721235C2 (ru) | Способ и система для маршрутизации и выполнения транзакций | |
CN111049913A (zh) | 数据文件的传输方法及装置、存储介质、电子设备 | |
CN114371914A (zh) | 容器ip地址配置方法、装置、存储介质及电子设备 | |
CN112199176B (zh) | 一种业务处理方法、装置及相关设备 | |
JP5352027B2 (ja) | 計算機システムの管理方法及び管理装置 | |
CN113448513B (zh) | 一种冗余存储系统的数据读写方法和装置 | |
CN111741080B (zh) | 网络文件分发方法及装置 | |
CN116208487A (zh) | 区块链系统中的共识算法升级方法、装置、设备及介质 | |
CN111522883B (zh) | 对象数据的备份方法、装置、设备及存储介质 | |
CN114328032A (zh) | 基于大数据双活的容灾切换处理方法、装置和计算机设备 | |
CN113127110A (zh) | 交易服务管控方法、装置、设备及存储介质 | |
CN113220237A (zh) | 一种分布式存储方法、装置、设备及存储介质 | |
CN111159786B (zh) | 一种元数据保护方法、装置及电子设备和存储介质 | |
CN111639089B (zh) | 事务处理方法、装置、电子设备和计算机可读存储介质 | |
CN118277344B (zh) | 分布式键值存储系统的存储节点层间合并方法及装置 | |
WO2024174306A1 (zh) | 一种基于共享存储数据库集群的事务托管方法及装置 | |
CN112765056B (zh) | 一种预留存储集群lun的方法、系统、设备及介质 | |
CN118822485A (zh) | 一种设备状态的维护方法、装置、设备、存储介质及产品 | |
CN117112223A (zh) | 分布式系统配置分发方法及装置 | |
CN117492813A (zh) | 一种业务服务实现方法、系统、计算设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |