CN110286852A - 双控构架分布式存储系统、数据读取方法、装置和存储介质 - Google Patents
双控构架分布式存储系统、数据读取方法、装置和存储介质 Download PDFInfo
- Publication number
- CN110286852A CN110286852A CN201910418969.3A CN201910418969A CN110286852A CN 110286852 A CN110286852 A CN 110286852A CN 201910418969 A CN201910418969 A CN 201910418969A CN 110286852 A CN110286852 A CN 110286852A
- Authority
- CN
- China
- Prior art keywords
- server
- distributed node
- standby
- distributed
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000009977 dual effect Effects 0.000 title abstract description 14
- 238000004891 communication Methods 0.000 claims description 33
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 10
- 239000004744 fabric Substances 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000011084 recovery Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- WGZDBVOTUVNQFP-UHFFFAOYSA-N N-(1-phthalazinylamino)carbamic acid ethyl ester Chemical compound C1=CC=C2C(NNC(=O)OCC)=NN=CC2=C1 WGZDBVOTUVNQFP-UHFFFAOYSA-N 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明涉及一种分布式存储技术，公开了一种双控构架分布式存储系统、数据读取方法、装置和存储介质。本发明通过在每个分布式存储节点进行双控构架的设计，即配备两台服务器，分别为主用服务器和备用服务器。两个服务器采用A/P(Active/Passive)模式，主用服务器处于工作状态，备用服务器处于待机状态。通过集群资源管理器动态配置同一个虚拟IP地址，即两台服务器对整个ceph系统呈现为同一个虚拟节点。相较于现有技术，本发明采用了存储节点双控设计，在仅有服务器故障的情况下避免复制大量数据，降低ceph系统进行节点数据恢复的概率。
Description
技术领域
本发明涉及分布式存储技术领域、特别涉及一种双控架构分布式存储系统、电子装置、数据读取方法、装置和计算机可读存储介质。
背景技术
CEPH分布式文件系统是一种容量大、性能高、可靠性强的分布式存储系统。现有的CEPH分布式系统里面，设置有有多个存储节点并且可实现数据的多副本存储。采用这种分布式结构的系统中，当一台存储节点中的服务器(主机)坏掉的时候，该服务器中存储的数据也同时不可访问。这个时候ceph系统需要恢复这个服务器上的相关数据，才能进行访问。恢复一台服务器上的数据需要相当长的时间，会对集群性能产生影响。特别是随着现在硬盘的容量增加，单盘通常可具有6T或者8T的存储容量，因而一个服务器上存储的数据可能有好几十T，巨大数据量使得上述对系统的的影响更加明显。
当实际上当一台服务器故障时，很多时候这个服务器上面的存储(磁盘)实际并没有损坏，磁盘上的数据依然是有效的，因此单纯的复制数据其实是比较无效的工作，如何避免复制大量数据又能使得系统能够正常工作成为一个亟待解决的问题。
发明内容
本发明的主要目的是提供一种双控架构分布式存储系统、电子装置、数据读取方法、装置和计算机可读存储介质，旨在通过存储节点双控设计，在仅有服务器故障的情况下避免复制大量数据，降低ceph系统进行节点数据恢复的概率。
为实现上述目的，本发明提出的一种电子装置，所述电子装置分别与分布式系统中多个分布式节点的主用服务器和备用服务器通信连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，所述电子装置包括存储器和处理器，所述存储器上存储有数据读取程序，所述数据读取程序被所述处理器执行时实现如下步骤：
初始访问步骤：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据；
状态转换步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态；
数据读取步骤：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
优选地，所述的电子装置中，还与所述分布式系统中的监控单元通信连接，所述数据读取程序被所述处理器执行时还实现如下步骤：
写入检测步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则通过所述监控单元检测是否有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘；
同步数据步骤：若有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘，则在该分布式节点中的所述备用服务器成功切换至工作状态后，将所述待写入的数据通过该分布式节点中的所述备用服务器写入对应的共享磁盘。
优选地，所述的电子装置中，该分布式节点中的主用服务器和备用服务器动态配置同一虚拟地址，所述数据读取程序被所述处理器执行时还实现如下步骤：
通过所述虚拟地址访问该分布式节点中的所述主用服务器；
当该分布式节点中的所述主用服务器出现故障时，将配置在该分布式节点中的所述主用服务器上的虚拟地址配置至该分布式节点中的所述备用服务器；
通过所述虚拟地址访问该分布式节点中的所述备用服务器。
优选地，所述的电子装置中，还与所述分布式系统中的集群资源管理器通信连接，用于在该分布式节点中的所述主用服务器和备用服务器上配置所述同一虚拟地址。
此外，为实现上述目的，本发明还提出一种数据读取方法，所述电子装置分别与分布式系统中多个分布式节点的主用服务器和备用服务器通信连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，该方法包括步骤：
初始访问步骤：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据；
状态转换步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态；
数据读取步骤：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
优选地，所述的数据读取方法中，在状态转换步骤中，该方法还包括：
写入检测步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则通过所述监控单元检测是否有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘；
同步数据步骤：若有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘，则在该分布式节点中的所述备用服务器成功切换至工作状态后，将所述待写入的数据通过该分布式节点中的所述备用服务器写入对应的共享磁盘。
优选地，所述的数据读取方法中，该方法还包括：该分布式节点中的所述主用服务器和备用服务器上配置所述同一虚拟地址。
优选地，所述的数据读取方法中，该方法还包括以下步骤：
通过所述虚拟地址访问该分布式节点中的所述主用服务器；
当该分布式节点中的所述主用服务器出现故障时，将配置在该分布式节点中的所述主用服务器上的虚拟地址配置至该分布式节点中的所述备用服务器；
通过所述虚拟地址访问该分布式节点中的所述备用服务器。
优选地，所述的分布式存储系统中，还具有集群资源管理器，用于配置所述虚拟地址。
此外，为实现上述目的，本发明还提供一种分布式存储系统，包括电子装置、多个分布式节点的多个主用服务器和多个备用服务器通讯连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，所述电子装置包括存储器和处理器，所述存储器上存著有数据读取程序，所述数据读取程序被所述处理器执行时实现如下步骤：
初始访问步骤：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据；
状态转换步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态；
数据读取步骤：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有数据读取程序，所述数据读取程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述任一项所述的数据读取程序方法的步骤。
相较于现有技术，本发明提出的提出的一种双控架构分布式存储系统、电子装置及计算机可读存储介质，通过在每个分布式存储节点进行双控构架的设计，即配备两台服务器，分别为主用服务器和备用服务器。两个服务器采用A/P(Active/Passive)模式，该分布式节点的主用服务器处于工作状态，该分布式节点的备用服务器处于待机状态。通过集群资源管理器动态配置同一个虚拟IP地址，即两台服务器对整个ceph系统呈现为同一个虚拟节点。两台实际物理主机(服务器)在工作模式下可以同样的方式访问同一个共享存储硬盘。在正常情况下，该分布式节点下的该存储磁盘由处于工作状态的主用服务器接管，分布式系统通过主用服务器上的虚拟IP地址来访问该存储磁盘，当该分布式节点的两个服务器中处于工作状态的主用服务器发生故障时，集群资源管理器将当前主用服务器上的虚拟IP地址切换到备用服务器，该分布式节点的备用服务器切换成工作状态并可访问存储磁盘上的数据。由于当前共享存储磁盘上的数据信息仍然绝大部分有效，对于ceph系统来说，上述的访问模式等效于该分布式存储节点短时间断开然后再恢复连接。通过上述的双控架构设计，可大大降低以往ceph系统在存储节点故障时候必须大规模数据恢复的概率。本系统还设计有具有监控模块，可监控当切换两台服务器的工作状态时是否正好有数据正在写入，假如期间有数据写入，会检测数据版本号，并将这部分数据信息同步到当前处于工作状态的服务器。同时，通过人工的关闭某个物理主机，还可以实现ceph系统在线情况下对存储节点配置的升级(比如添加内存条)。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明分布式存储系统第一实施例的系统构架示意图；
图2为本发明分布式存储系统的存储分布关系示意图；
图3为本发明数据读取程序第一实施例的运行环境示意图；
图4为本发明的数据读取程序第一实施例的程序模块图；
图5为本发明的数据读取程序第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参阅图1所示，是本发明分布式存储系统第一实施例的系统构架示意图。
在本实施例中，分布式存储系统包括多个分布式存储节点，每个分布式存储节点都具有两台物理主机，在本发明中两台物理主机为一主用服务器和一备用服务器，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，可以同样的方式访问该共享磁盘。
在一些应用场景中，分布式存储系统中还设置有电子装置1，该电子装置与各个分布式节点中的主用服务器和备用服务器之间通讯连接(例如，通过网络2通讯连接)。
在一些应用场景中，上述电子装置1独立于分布式存储系统设置，且与分布式存储系统通讯连接(例如，通过网络2通信连接)。
下面，将基于上述分布式系统和相关设备，提出本发明的各个实施例。
本发明提出一种数据读取程序。
请参阅图1，是本发明是本发明分布式存储系统第一实施例的系统构架示意图。
在本实施例中，数据读取程序10安装并运行于电子装置1中。电子装置1可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子装置1可包括，但不仅限于，通过程序总线相互通信的存储器11及处理器12。图3仅示出了具有组件11、12的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器11在一些实施例中可以是电子装置1的内部存储单元，例如该电子装置1的硬盘或内存。存储器11在另一些实施例中也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括电子装置1的内部存储单元也包括外部存储设备。存储器11用于存储安装于电子装置1的应用软件及各类数据，例如数据写入程序10的程序代码等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据写入程序10等。
请参阅图4，是数据读取程序10第一实施例的程序模块图。在本实施例中，数据读取程序10可以被分割成一个或多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行，以完成本发明。例如，在图4中，数据读取程序10可以被分割成初始访问模块101、状态转换模块102及数据读取模块103。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述数据读取程序10在电子装置1中的执行过程，其中：
初始访问模块：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据。
在常见的分布式系统中，当一个节点上的主机(即服务器)发生故障时，大多时候与这个服务器通讯连接的存储磁盘实际上并没有发生损坏，存储磁盘上的数据依然有效。如果此时能立刻让另外一台服务器启动并接管这些数据，替换坏掉的故障服务器，那么，对于整个分布式系统来说，该节点依然在正常运行，因此此时并不需要进行大量的数据恢复，整个系统自然就很快可以恢复到正常运行的状态。
请参阅图2，为分布式存储系统的存储分布关系示意图。
如图2所示，本实施例的的CEPH双控架构分布式系统中，在系统中的每个分布式节点都配置两台服务器，两台服务器分别处于工作状态和待机状态，按照初始状态的区别，节点A中两台服务器分别作为处于工作状态的主用服务器(A1)和处于待机状态的备用服务器(A2)，即此时A1正在处于工作状态，而A2准备就绪处于待机状态。主用服务器A1和备用服务器A2分别与同一共享磁盘通讯连接，可以同样的方式访问该共享磁盘。相似的，节点B配置服务器B1和服务器B2，并与共享磁盘通讯连接，其中，B1处于工作状态，B2处于待机状态。节点C配置服务器C1和服务器C2，并与共享磁盘通讯连接，其中，C1处于工作状态，C2处于待机状态。当本实施例中分布式系统访问分布式节点A时，系统会首先访问该节点A中当前处于工作状态的主用服务器A1。
状态转换模块：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态。
请参阅图3，是数据读取程序第一实施例的运行环境示意图。
如图3所示，在本实施例中，主用服务器A1和备用服务器A2虽然分别处于工作状态和待机状态，但对系统整体表现为节点A。当系统通过主用服务器A1访问当前节点中的存储磁盘时，当主用服务器正常工作，并未出现故障时，主用服务器A1讲直接访问通讯连接的存储磁盘，若处于工作状态的服务器A1发生故障不能正常访问，本来处于待机状态A2则启动应用进程启动，从待机状态进入工作状态。由于主用服务器A1和备用服务器A2对系统表现为同一个节点A，主用服务器A1和备用服务器A2之间工作状态的切换对系统而言，等效于节点A短时间断开并再次连接上，而此时备用服务器A2替换主用服务器A1扮演了系统集群中节点A的角色。
数据读取模块：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
在本实施例中，节点A中，因主用服务器A1发生故障，从待机状态转换为工作状态的备用服务器A2读取通讯连接的共享磁盘上的数据。如上所述，主用服务器A1和备用服务器A2分别与同一个共享磁盘通讯连接，两个服务器可以完全相同的方式分别访问该共享磁盘。当主用服务器A1发生故障时，系统通过转换成工作状态的备用服务器A2访问该共享磁盘。
优选的，本实施例中，该程序还包括监控模块(图中未示出)，用于执行所述状态转换步骤时还实现以下步骤：
写入检测步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则通过所述监控模块检测是否有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘。
在本实施例中，Ceph分布式系统中具有的监控模块可以检测到是否有数据正在写入，当没有数据写入时，分布式系统可在写入检测步骤之后自动结束后续步骤。
同步数据步骤：若有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘，则在该分布式节点中的所述备用服务器成功切换至工作状态后，将所述待写入的数据通过该分布式节点中的所述备用服务器写入对应的共享磁盘。
在本实施例中，分布式系统可恢复这一段主用服务器A1和备用服务器A2之间状态转换时系统内可能写入的数据变化，因此系统仍然是属于正常运行的状态，而不用像之前的部署架构，需要很长时间来恢复大量数据，进而影响系统的整体性能。当监控模块检检测到当该分布式节点中的主用服务器A1和备用服务器A2在转换工作状态时有数据在写入主用服务器A1时，分布式系统会将这部分写入的数据重新同步至转换为工作状态的该分布式节点中的备用服务器A2。
优选的，本实施例中，该分布式节点中的所述主用服务器和备用服务器上配置所述同一虚拟地址。
在本实施例中，通过对同一个节点中的两台服务器配置同一个虚拟IP地址，该分布式节点中的主用服务器A1和备用服务器A2可对分布式系统整体表现为同一个节点A。该虚拟IP地址是动态配置在正在处于工作状态的主用服务器A1或者备用服务器A2上。比如，两个服务器的虚拟地址都设置为160.1.0.0，当两个服务器切进行工作状态切换时，对分布式系统整体表现为该节点一直在线工作，并未发生状态转换和地址转换。
优选的，通过虚拟地址的配置，所述数据读取程序被所述处理器执行时还实现如下步骤：
虚拟访问步骤：通过所述虚拟地址访问该分布式节点中的所述主用服务器。
在本实施例中，系统通过所述主用服务器A1所配置的虚拟地址160.1.0.0来访问当前节点A。
地址转换步骤：当该分布式节点中的所述主用服务器出现故障时，将配置在该分布式节点中的所述主用服务器上的虚拟地址配置至该分布式节点中的所述备用服务器。
在本实施例中，当所述主用服务器A2出现故障时，原本配置在主用服务器A1上的虚拟地址160.1.0.0将动态配置至备用服务器A2上，原本处于待机状态的备用服务器A2转换成工作状态。
地址访问步骤：通过所述虚拟地址访问该分布式节点中的所述备用服务器。
在本实施例中，系统通过此时配置在备用服务器A2上的虚拟地址160.1.0.0来访问当前节点A。
在上述的访问过程中，通过同一个虚拟地址在主用服务器和备用服务器上的动态配置，当主用服务器A1发生故障时，并没有对系统的正常运行产生影响，系统此时通过服用服务器A2访问了当前分布式节点。
优选地，所述的电子装置中，还具有集群资源管理器，用于配置所述虚拟地址。
在本实施例中，虚拟IP地址的配置可通过使用pacemaker资源代理实现。例如在当前系统中运行脚本Ocf::heartbeat::IPaddr2，当服务器A2接替服务器A1，工作状态产生切换的时候,实现一个简单脚本Ocf::heartbeat::ceph，启动ceph的相关进程，如mon或osd即可，从而实现在两个服务器上动态配置同一个虚拟地址。
此外，为实现上述目的，本发明还提出一种数据读取方法。
如图5所示，图5为本发明数据读取方法第一实施例的流程示意图。
本实施例的数据读取方法适用于电子装置，所述电子装置分别与分布式系统中多个分布式节点的主用服务器和备用服务器通信连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，该方法包括步骤：
初始访问步骤S10：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据。
如图3所示，本实施例的的CEPH双控架构分布式系统中，在系统中的每个分布式节点都配置两台服务器，两台服务器分别处于工作状态和待机状态，按照初始状态的区别，节点A中两台服务器分别作为处于工作状态的主用服务器(A1)和处于待机状态的备用服务器(A2)，即此时A1正在处于工作状态，而A2准备就绪处于待机状态。主用服务器A1和备用服务器A2分别与同一共享磁盘通讯连接，可以同样的方式访问该共享磁盘。相似的，节点B配置服务器B1和服务器B2，并与共享磁盘通讯连接，其中，B1处于工作状态，B2处于待机状态。节点C配置服务器C1和服务器C2，并与共享磁盘通讯连接，其中，C1处于工作状态，C2处于待机状态。当本实施例中分布式系统访问分布式节点A时，系统会首先访问该节点A中当前处于工作状态的主用服务器A1。
状态转换步骤S20：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态。
在本实施例中，主用服务器A1和备用服务器A2虽然分别处于工作状态和待机状态，但对系统整体表现为节点A。当系统通过主用服务器A1访问当前节点中的存储磁盘时，当主用服务器正常工作，并未出现故障时，主用服务器A1讲直接访问通讯连接的存储磁盘，若处于工作状态的服务器A1发生故障不能正常访问，本来处于待机状态A2则启动应用进程启动，从待机状态进入工作状态。由于主用服务器A1和备用服务器A2对系统表现为同一个节点A，主用服务器A1和备用服务器A2之间工作状态的切换对系统而言，等效于节点A短时间断开并再次连接上，而此时备用服务器A2替换主用服务器A1扮演了系统集群中节点A的角色。
数据读取步骤S30：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
在本实施例中，节点A中，因主用服务器A1发生故障，从待机状态转换为工作状态的备用服务器A2读取通讯连接的共享磁盘上的数据。如上所述，主用服务器A1和备用服务器A2分别与同一个共享磁盘通讯连接，两个服务器可以完全相同的方式分别访问该共享磁盘。当主用服务器A1发生故障时，系统通过转换成工作状态的备用服务器A2访问该共享磁盘。
优选地，所述的数据读取方法中，在状态转换步骤中，该方法还包括：
写入检测步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则通过所述监控单元检测是否有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘。
在本实施例中，Ceph分布式系统中具有的监控模块可以检测到是否有数据正在写入，当没有数据写入时，分布式系统可在写入检测步骤之后自动结束后续步骤。
同步数据步骤：若有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘，则在该分布式节点中的所述备用服务器成功切换至工作状态后，将所述待写入的数据通过该分布式节点中的所述备用服务器写入对应的共享磁盘。
在本实施例中，分布式系统可恢复这一段主用服务器A1和备用服务器A2之间状态转换时系统内可能写入的数据变化，因此系统仍然是属于正常运行的状态，而不用像之前的部署架构，需要很长时间来恢复大量数据，进而影响系统的整体性能。当监控模块检检测到当主用服务器A1和备用服务器A2在转换工作状态时有数据在写入主用服务器A1时，分布式系统会将这部分写入的数据重新同步至转换为工作状态的备用服务器A2。
优选地，所述的数据读取方法中，该方法还包括：该分布式节点中的所述主用服务器和备用服务器上配置所述同一虚拟地址。
优选地，所述的数据读取方法中，该方法还包括以下步骤：
通过所述虚拟地址访问该分布式节点中的所述主用服务器。
在本实施例中，系统通过所述主用服务器A1所配置的虚拟地址160.1.0.0来访问当前节点A。
当该分布式节点中的所述主用服务器出现故障时，将配置在该分布式节点中的所述主用服务器上的虚拟地址配置至该分布式节点中的所述备用服务器。
在本实施例中，当所述主用服务器A2出现故障时，原本配置在主用服务器A1上的虚拟地址160.1.0.0将动态配置至备用服务器A2上，原本处于待机状态的备用服务器A2转换成工作状态。
通过所述虚拟地址访问该分布式节点中的所述备用服务器。
在本实施例中，系统通过此时配置在备用服务器A2上的虚拟地址160.1.0.0来访问当前节点A。
优选地，所述的分布式存储系统中，还具有集群资源管理器，用于配置所述虚拟地址。
在本实施例中，虚拟IP地址的配置可通过使用pacemaker资源代理实现。
此外，为实现上述目的，本发明还提供一种分布式存储系统，
所述分布式存储系统包括电子装置、多个分布式节点的多个主用服务器和多个备用服务器通讯连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，所述电子装置包括存储器和处理器，所述存储器上存著有数据读取程序，所述数据读取程序被所述处理器执行时实现如下步骤：
初始访问步骤：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据；
状态转换步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态；
数据读取步骤：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储有数据读取程序，所述数据读取程序可被至少一个处理器执行，以使所述至少一个处理器执行上述任一实施例中的数据读取方法。
与现有技术相比，本实施例提出的一种双控架构分布式存储系统、电子装置及计算机可读存储介质，通过在每个分布式存储节点进行双控构架的设计，即配备两台服务器，分别为主用服务器和备用服务器。两个服务器采用A/P(Active/Passive)模式，该分布式节点的主用服务器处于工作状态，该分布式节点的备用服务器处于待机状态。通过集群资源管理器动态配置同一个虚拟IP地址，即两台服务器对整个ceph系统呈现为同一个虚拟节点。两台实际物理主机(服务器)在工作模式下可以同样的方式访问同一个共享存储硬盘。在正常情况下，该分布式节点下的该存储磁盘由处于工作状态的主用服务器接管，分布式系统通过主用服务器上的虚拟IP地址来访问该存储磁盘，当该分布式节点的两个服务器中处于工作状态的主用服务器发生故障时，集群资源管理器将当前主用服务器上的虚拟IP地址切换到备用服务器，该分布式节点的备用服务器切换成工作状态并可访问存储磁盘上的数据。由于当前共享存储磁盘上的数据信息仍然绝大部分有效，对于ceph系统来说，上述的访问模式等效于该分布式存储节点短时间断开然后再恢复连接。通过上述的双控架构设计，可大大降低以往ceph系统在存储节点故障时候必须大规模数据恢复的概率。本实施例还设计有具有监控模块，可监控当切换两台服务器的工作状态时是否正好有数据正在写入，假如期间有数据写入，会检测数据版本号，并将这部分数据信息同步到当前处于工作状态的服务器。同时，通过人工的关闭某个物理主机，还可以实现ceph系统在线情况下对存储节点配置的升级(比如添加内存条)。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种电子装置，其特征在于，所述电子装置分别与分布式系统中多个分布式节点的主用服务器和备用服务器通信连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，所述电子装置包括存储器和处理器，所述存储器上存储有数据读取程序，所述数据读取程序被所述处理器执行时实现如下步骤：
初始访问步骤：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据；
状态转换步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态；
数据读取步骤：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
2.如权利要求1所述的电子装置，其特征在于，所述电子装置还与所述分布式系统中的监控单元通信连接，所述数据读取程序被所述处理器执行时还实现如下步骤：
写入检测步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则通过所述监控单元检测是否有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘；
同步数据步骤：若有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘，则在该分布式节点中的所述备用服务器成功切换至工作状态后，将所述待写入的数据通过该分布式节点中的所述备用服务器写入对应的共享磁盘。
3.如权利要求2所述的电子装置，其特征在于，该分布式节点中的主用服务器和备用服务器动态配置同一虚拟地址，所述数据读取程序被所述处理器执行时还实现如下步骤：
通过所述虚拟地址访问该分布式节点中的所述主用服务器；
当该分布式节点中的所述主用服务器出现故障时，将配置在该分布式节点中的所述主用服务器上的虚拟地址配置至该分布式节点中的所述备用服务器；
通过所述虚拟地址访问该分布式节点中的所述备用服务器。
4.如权利要求3所述的电子装置，其特征在于，所述电子装置还与所述分布式系统中的集群资源管理器通信连接，用于在该分布式节点中的所述主用服务器和备用服务器上配置所述同一虚拟地址。
5.一种数据读取方法，适用于电子装置，其特征在于，所述电子装置分别与分布式系统中多个分布式节点的主用服务器和备用服务器通信连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，该方法包括步骤：
初始访问步骤：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据；
状态转换步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态；
数据读取步骤：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
6.如权利要求5所述的数据读取方法，其特征在于，在状态转换步骤中，该方法还包括：
写入检测步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则通过所述监控单元检测是否有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘；
同步数据步骤：若有数据正在通过该分布式节点中的所述主用服务器写入对应的共享磁盘，则在该分布式节点中的所述备用服务器成功切换至工作状态后，将所述待写入的数据通过该分布式节点中的所述备用服务器写入对应的共享磁盘。
7.如权利要求5或6所述的数据读取方法，其特征在于，该方法还包括：该分布式节点中的所述主用服务器和备用服务器上配置所述同一虚拟地址。
8.如权利要求7所述的数据读取方法，其特征在于，该方法还包括以下步骤：
通过所述虚拟地址访问该分布式节点中的所述主用服务器；
当该分布式节点中的所述主用服务器出现故障时，将配置在该分布式节点中的所述主用服务器上的虚拟地址配置至该分布式节点中的所述备用服务器；
通过所述虚拟地址访问该分布式节点中的所述备用服务器。
9.一种分布式存储系统，其特征在于，所述分布式存储系统包括电子装置、多个分布式节点的多个主用服务器和多个备用服务器通讯连接，同一分布式节点中的主用服务器和备用服务器之间通过网络连接，各个分布式节点中的主用服务器分别处于工作状态，各个分布式节点中的备用服务器分别处于待机状态，各个分布式节点分别对应一个共享磁盘，同一分布式节点中的主用服务器和备用服务器分别与所在分布式节点对应的同一共享磁盘通信连接，所述电子装置包括存储器和处理器，所述存储器上存著有数据读取程序，所述数据读取程序被所述处理器执行时实现如下步骤：
初始访问步骤：实时，或者，定时，或者，在收到从一分布式节点的主用服务器读取数据的指令后，访问该分布式节点中当前处于工作状态的主用服务器，以读取对应的共享磁盘上的数据；
状态转换步骤：若该分布式节点中的所述主用服务器出现故障无法访问，则将该分布式节点中当前处于待机状态的备用服务器切换至工作状态；
数据读取步骤：在该分布式节点中的所述备用服务器成功切换至工作状态后，访问该分布式节点中的所述备用服务器，以读取对应的共享磁盘上的数据。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有数据读取程序，所述数据读取程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求6中的任一项所述的数据读取程序方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910418969.3A CN110286852A (zh) | 2019-05-20 | 2019-05-20 | 双控构架分布式存储系统、数据读取方法、装置和存储介质 |
| PCT/CN2019/117349 WO2020233001A1 (zh) | 2019-05-20 | 2019-11-12 | 双控构架分布式存储系统、数据读取方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910418969.3A CN110286852A (zh) | 2019-05-20 | 2019-05-20 | 双控构架分布式存储系统、数据读取方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110286852A true CN110286852A (zh) | 2019-09-27 |
Family
ID=68002769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910418969.3A Pending CN110286852A (zh) | 2019-05-20 | 2019-05-20 | 双控构架分布式存储系统、数据读取方法、装置和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110286852A (zh) |
| WO (1) | WO2020233001A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111901415A (zh) * | 2020-07-27 | 2020-11-06 | 星辰天合（北京）数据科技有限公司 | 数据处理方法和系统、计算机可读存储介质及处理器 |
| WO2020233001A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 双控构架分布式存储系统、数据读取方法、装置和存储介质 |
| CN114189429A (zh) * | 2021-11-25 | 2022-03-15 | 山东云海国创云计算装备产业创新中心有限公司 | 一种服务器集群故障的监测系统、方法、装置及介质 |
| CN115277377A (zh) * | 2022-05-19 | 2022-11-01 | 亿点云计算(珠海)有限公司 | 基于分布式云的服务获取方法、装置、终端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105553701A (zh) * | 2015-12-11 | 2016-05-04 | 国网青海省电力公司 | 一种配网调控系统及其控制方法 |
| CN106445741A (zh) * | 2016-09-28 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于ceph实现oracle数据库容灾备份方法 |
| US20170123943A1 (en) * | 2015-10-30 | 2017-05-04 | Netapp, Inc. | Distributed data storage and processing techniques |
| CN107948248A (zh) * | 2017-11-01 | 2018-04-20 | 平安科技（深圳）有限公司 | 分布式存储方法、控制服务器及计算机可读存储介质 |
| CN108259239A (zh) * | 2018-01-11 | 2018-07-06 | 郑州云海信息技术有限公司 | 一种数据库高可用性保障方法和系统 |
| CN109271280A (zh) * | 2018-08-30 | 2019-01-25 | 重庆富民银行股份有限公司 | 存储故障快速切换处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8046446B1 (en) * | 2004-10-18 | 2011-10-25 | Symantec Operating Corporation | System and method for providing availability using volume server sets in a storage environment employing distributed block virtualization |
| CN103077242B (zh) * | 2013-01-11 | 2016-03-09 | 北京佳讯飞鸿电气股份有限公司 | 一种实现数据库服务器双机热备的方法 |
| CN106982259A (zh) * | 2017-04-19 | 2017-07-25 | 聚好看科技股份有限公司 | 服务器集群的故障解决方法 |
| CN110286852A (zh) * | 2019-05-20 | 2019-09-27 | 平安科技（深圳）有限公司 | 双控构架分布式存储系统、数据读取方法、装置和存储介质 |
-
2019
- 2019-05-20 CN CN201910418969.3A patent/CN110286852A/zh active Pending
- 2019-11-12 WO PCT/CN2019/117349 patent/WO2020233001A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170123943A1 (en) * | 2015-10-30 | 2017-05-04 | Netapp, Inc. | Distributed data storage and processing techniques |
| CN105553701A (zh) * | 2015-12-11 | 2016-05-04 | 国网青海省电力公司 | 一种配网调控系统及其控制方法 |
| CN106445741A (zh) * | 2016-09-28 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于ceph实现oracle数据库容灾备份方法 |
| CN107948248A (zh) * | 2017-11-01 | 2018-04-20 | 平安科技（深圳）有限公司 | 分布式存储方法、控制服务器及计算机可读存储介质 |
| CN108259239A (zh) * | 2018-01-11 | 2018-07-06 | 郑州云海信息技术有限公司 | 一种数据库高可用性保障方法和系统 |
| CN109271280A (zh) * | 2018-08-30 | 2019-01-25 | 重庆富民银行股份有限公司 | 存储故障快速切换处理方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233001A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 双控构架分布式存储系统、数据读取方法、装置和存储介质 |
| CN111901415A (zh) * | 2020-07-27 | 2020-11-06 | 星辰天合（北京）数据科技有限公司 | 数据处理方法和系统、计算机可读存储介质及处理器 |
| CN111901415B (zh) * | 2020-07-27 | 2023-07-14 | 北京星辰天合科技股份有限公司 | 数据处理方法和系统、计算机可读存储介质及处理器 |
| CN114189429A (zh) * | 2021-11-25 | 2022-03-15 | 山东云海国创云计算装备产业创新中心有限公司 | 一种服务器集群故障的监测系统、方法、装置及介质 |
| CN115277377A (zh) * | 2022-05-19 | 2022-11-01 | 亿点云计算(珠海)有限公司 | 基于分布式云的服务获取方法、装置、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020233001A1 (zh) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110286852A (zh) | 双控构架分布式存储系统、数据读取方法、装置和存储介质 | |
| CN101937376B (zh) | 一种数据管理方法及数据存储装置 | |
| US5220668A (en) | Digital data processor with maintenance and diagnostic system | |
| CN1770707B (zh) | 计算机簇中基于法定成员数关无响应服务器的装置和方法 | |
| CN104077199B (zh) | 基于共享磁盘的高可用集群的隔离方法和系统 | |
| CN110807064A (zh) | Rac分布式数据库集群系统中的数据恢复装置 | |
| CN111274077A (zh) | 一种磁盘阵列可靠性测试方法、系统、终端及存储介质 | |
| CN106911802B (zh) | 分布式块存储系统的管理平台的部署方法和装置 | |
| CN110287151A (zh) | 分布式存储系统、数据写入方法、装置和存储介质 | |
| CN109587331A (zh) | 云手机故障自动修复的方法与系统 | |
| CN106249840A (zh) | 节能非易失性微处理器 | |
| CN115167782B (zh) | 临时存储副本管理方法、系统、设备和存储介质 | |
| CN110737504A (zh) | 一种深度学习模型训练容错方法、系统、终端及存储介质 | |
| CN102025758B (zh) | 分布式系统中数据副本的恢复方法、装置和系统 | |
| CN104170307A (zh) | 失效切换方法、装置和系统 | |
| CN110750445A (zh) | 一种yarn组件高可用性功能的测试方法、系统及设备 | |
| CN110928492A (zh) | 分布式文件系统的硬盘更换方法、系统、终端及存储介质 | |
| CN117591327A (zh) | core文件生成方法、装置、电子设备及存储介质 | |
| CN112596371A (zh) | 控制卡切换方法、装置、电子设备及存储介质 | |
| CN108427584A (zh) | 快速启动的具有并行计算核的芯片及该芯片的配置方法 | |
| CN116974489A (zh) | 一种数据处理方法、装置、系统、电子设备及存储介质 | |
| CN109558179A (zh) | 程序代码在线加载方法、程序代码在线升级方法及系统 | |
| CN110703988B (zh) | 一种分布式存储的存储池创建方法、系统、终端及存储介质 | |
| CN113849357A (zh) | 磁盘阵列后台任务测试方法、系统、终端及存储介质 | |
| CN111752911A (zh) | 一种基于Flume的数据传输方法、系统、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190927 |