CN108241544B

CN108241544B - 一种基于集群的故障处理方法

Info

Publication number: CN108241544B
Application number: CN201611209482.7A
Authority: CN
Inventors: 吴方才; 刘斌; 王焰辉
Original assignee: Zhongke Star Map Co ltd
Current assignee: Zhongke Star Map Co ltd
Priority date: 2016-12-23
Filing date: 2016-12-23
Publication date: 2023-06-06
Anticipated expiration: 2036-12-23
Also published as: CN108241544A

Abstract

本发明涉及一种基于集群的故障处理方法，该方法包括：控制节点根据当前故障处理节点的运行状况，将分表策略提供给数据库节点；数据库节点根据分表策略进行文件分表，根据数据库中在发生故障时需要故障处理服务的文件的优先级确定故障处理节点需要保存的表文件冗余数量；根据故障处理节点中保存的该数量的表文件对故障数据库中的故障文件进行并行故障处理；该方法能够通过大量的集群节点，提供并行的层次化故障处理方案，从而能够适应性的进行数据库端的故障，能够同时考虑数据库节点的优先级和故障处理节点的运行状况来计算节点保存的份数。

Description

一种基于集群的故障处理方法

【技术领域】

本发明属于故障处理领域，尤其涉及一种基于集群的故障处理方法。

【背景技术】

数据库集群广泛应用于各种领域，用于储存海量数据。通常的，数据库集群由一台主节点和多台从节点组成，其中，主节点和从节点均配置有虚拟IP，使得数据库可以通过虚拟IP访问数据库，以查询数据或操作数据。然而，在实际运行过程中，数据库集群经常面对海量的数据写入或读取，使得数据库集群存在一定的故障率。

现有技术中，对于数据库集群的故障处理并不完善：在主节点发生故障时，通常进行主从倒换，即将一台从节点提升为主节点，并将原主节点的虚拟IP迁移至新的主节点，以维持数据库集群正常运行。但是，当有从节点发生故障时，现有技术并没有对从节点进行维护的策略，随着更多的从节点发生故障，将使得整个数据库集群崩溃，停止服务。现有技术中，不能在数据库处理故障时利用集群系统自动的进行故障修复。基于上述诸多问题，现在亟需一种新的基于集群的故障处理方法，能够实时的监控数据库端发生的故障，在故障发生时，根据故障发生的类型和故障文件的优先级提供故障解决方案，还能够通过大量的集群节点，提供并行的层次化故障处理方案，从而能够适应性的进行数据库端的故障，能够同时考虑数据库节点的优先级和故障处理节点的运行状况来计算节点保存的份数。

【发明内容】

为了解决现有技术中的上述问题，本发明采用的技术方案如下：一种基于集群的故障处理方法，其特征在于，该方法包括如下步骤：

步骤1：控制节点根据当前故障处理节点的运行状况，将分表策略提供给数据库节点；

步骤2：数据库节点根据分表策略进行文件分表，根据数据库中在发生故障时需要故障处理服务的文件的优先级确定故障处理节点需要保存的表文件冗余数量；

步骤3：根据故障处理节点中保存的该数量的表文件对故障数据库中的故障文件进行并行故障处理。

进一步的，数据库节点位于同一个物理设备上或者位于多个不同的物理设备上。

进一步的，同时考虑数据库节点的优先级和故障处理节点的运行状况来计算该数量值。

进一步的，在进行文件分表之前，将文件根据其大小进行预处理。

进一步的，预处理具体为：将文件按照大小作合并，将小于第一大小阈值的文件合并，而将超过第二大小阈值的文件拆分，合并或者拆分后的文件为分表处理所针对的文件。

进一步的，将小于第一大小阈值的文件合并，具体为：将多个小于第一大小阈值的文件合并使得合并后的文件大小位于设定范围内；将超过第二大小阈值的文件拆分，具体为：将一个超过第二大小阈值的文件拆分为设定范围内大小的文件。

进一步的，在拆分或合并后保存拆分或合并对应关系表，该表中保存了拆分后的拆分文件和拆分之前的文件之间的对应关系，还保存了合并之前的文件和合并后的文件之间的对应关系。

进一步的，该拆分和合并处理对于控制结点来说是不可见的。

进一步的，当小于第一大小阈值的文件数量超过第一数量阈值后将会触发该合并处理，当存在大于第二大小阈值的文件时出发拆分处理。

进一步的，通过拆分和合并减少了在分表过程中的操作时间同时减少了故障处理节点可能存在可用空间不足的情况。

本发明的有益效果包括：能够实时的监控数据库端发生的故障，在故障发生时，根据故障发生的类型和故障文件的优先级提供故障解决方案，还能够通过大量的集群节点，提供并行的层次化故障处理方案，从而能够适应性的进行数据库端的故障。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明的一种基于集群的故障处理方法的流程图。

图2是本发明的一种基于集群的故障处理系统的结构图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，其示出了本发明的一种基于集群的故障处理方法的基本步骤：

步骤3：发生故障时，根据故障处理节点中保存的该数量的表文件对故障数据库中的故障文件进行并行故障处理；

参见附图2，是本发明所应用的一种基于集群的故障处理系统，该系统包括多个数据库，多个故障处理节点，控制节点；在控制节点的控制下，将数据库中的文件数据保存到一个或多个故障处理节点中；

基于上述系统，下面对本发明的一种基于集群的故障处理方法进行详细说明：

(1)数据库向控制节点发送镜像请求，请求中携带该数据库本次需要镜像的文件个数n、文件平均大小FS、数据库标识ID；

数据库周期性的、在空闲时段、或发起重要数据操作前发出镜像请求；

需要镜像的文件在全量模式下为全部文件，在增量模式下为部分文件，该部分文件基于文件的优先级或者类型选出；优选的：该需要镜像的文件不包括临时文件、日志文件、已删除文件；

(2)控制节点接收镜像请求，根据当前故障处理节点的运行状况，确定并发送分表策略给该请求数据库；分表策略中包含本次分表基准值Z，表文件冗余份数基准值R；

其中：运行状况包括存储资源可用情况、计算资源可用情况、占用资源的释放时间等；

具体的：根据数据库标识ID从本地预存的数据库标识ID和数据库优先级PR之间的对应表获取该数据库的优先级PR；

基于该优先级PR和文件平均大小FS，根据公式(1)计算文件分表基准值Z；考虑到文件大小较大时，应当将文件尽量分派到不同的故障处理节点以提高文件的修复速度，同时当数据库优先级较高时，将文件分配到多个故障处理节点可以提高文件的修复速度，从而给高优先级用户更好的修复体验，因此，对高优先级数据库和大文件镜像提供更高的基准值从而提高文件的分散度，以保证数据的安全性和恢复速度；

分表基准值的最大值Zmax根据公式(3)计算得到；

Zmax＝FS×n/∑(CP/NM)×Rmax×w 公式(3)

其中，CP为一个故障处理节点的可用空间大小，∑(CP/NM)为所有可用故障处理节点的平均可用空间大小；NM为可用故障处理节点总数；Rmax最大冗余份数，w为调节系数，可以由控制节点根据当前故障处理节点运行状况来预设，故障处理节点运行状况包括：故障处理节点可用计算资源，可用端口，可用存储资源；当冗余份数过多时，数据库不能提供足够的端口进行并行恢复，且安全性也不能再提高更多，因此，可以根据经验来设置该Rmax值；

冗余份数基准值R由控制节点根据当前可用故障处理节点个数或系统中故障处理节点总数来设置；R是可以动态调节的；

(3)数据库根据文件分表基准值Z进行文件分表，并计算表Lj的冗余份数Rj；具体的：数据库中的数据以文件为组织单位进行顺序编号；顺序编号后的文件为：F1，F2，···，Fi，···，Fn；其中，n为数据库总的文件个数；将n个文件分为Z个表文件，L1，L2···，Lj，···L_Z；其中：Fi将被分配到表L_imodZ中；根据公式(2)计算表Lj的冗余份数Rj，其中NLj为表文件Lj中文件的数量，FPRj,k为表Lj中的第k个文件Lj,k的文件优先级，FPRmax为最高文件优先级；

文件优先级可以由数据库根据文件重要程度来设置；也可以在提交文件基本信息后由控制节点设置；FPRmax为最高文件优先级，由控制节点统一设置；预设数量由控制节点预先设置；

将文件编号和文件在数据库的物理位置(文件存储的起始位置)、文件所在的表，文件在表中的位置，关联保存在文件和表对照表中；将表及其包含的文件编号、文件在表中的位置保存在表目录表中；

优选的：按照文件在数据库的物理位置的前后顺序进行编号；

(4)控制节点计算每个表文件对应的故障处理节点集合Sj，Sz+j···，S_Rj；其中，S为故障处理节点的编号；具体的：计算所有故障处理节点到该数据库ID的通信开销C，并将通信开销按照从小到大排序，从中选取前Z个故障处理节点构成第一故障处理节点组{S1，S2，···Sj，···Sz}；继续从第Z+1个故障处理节点开始选取第二故障处理节点组{Sz+1，Sz+2，···Sz+j，···Sz+z}，如果表Lj的冗余份数Rj小于2，则Sz+j＝0，表示没有选取任何故障处理节点；类似的，继续选取下一故障处理节点组，直到故障处理节点组数量大于FPRmax×R，或者所有的故障处理节点均被分配完毕为止；类似的，如果当次分配已经超过了表Lj的冗余份数Rj，则将相应的故障处理节点分配编号设置为0，表示没有选取任何故障处理节点；表文件Lj对应的故障处理节点集合为{Sj，Sz+j···，S_Rj}(如果故障处理节点被分配完，则分配的故障处理节点数量会少于Rj个)；

考虑到通信开销小的情况下，修复的速度也会高，因此保证为每个表文件均优先选择通信开销最小的故障处理节点进行表镜像；而为冗余份数较多的表选择较多的故障处理节点进行备份；

(5)数据库依次向每个表Lj对应的故障处理节点集合Sj，Sz+j···，S_Rj进行表镜像；具体为：从L1开始到L_Z，对于每个Lj，首先向Lj对应的故障处理节点集合中的第一个故障处理节点Sj发出镜像请求，并进行表文件的镜像，将Lj中包含的所有文件镜像到故障处理节点Sj中；然后对Lj+1对应的故障处理节点集合中的第一个故障处理节点Sj+1发出镜像请求，并进行表文件的镜像，将Lj+1中包含的所有文件镜像到故障处理节点Sj+1中；直到对所有表对应的故障处理节点集合中的第一个故障处理节点均完成镜像为止；然后开始对每个Lj完成向其对应的故障处理节点集合中的第二故障处理节点的镜像，具体为：向Lj对应的故障处理节点集合中的第二个故障处理节点Sz+j发出镜像请求，并进行表文件的镜像，将Lj中包含的所有文件镜像到故障处理节点Sz+j中；直到对所有表对应的故障处理节点集合中的第二个故障处理节点均完成镜像为止；按照这样的方式进行镜像，直到对所有表对应的所有故障处理节点集合中的每个故障处理节点的镜像均完毕为止；其中，如果故障处理节点编号为0，则表示该表Lj对应的冗余份数已经镜像完毕，跳过直接处理下一个故障处理节点的镜像；

将一个表中包含的所有文件镜像到一个故障处理节点中，具体为：将表Lj中包含的所有文件保存到故障处理节点Sj中合适的可用空间中并保存该Lj和其保存位置的对应关系；还包括选择合适的可用空间的步骤，具体为：查找故障处理节点Sj中的所有可用空间的大小，计算Lj的大小，选择和Lj的大小最接近的可用空间作为合适的可用空间；在所有的可用空间均小于Lj的时候，将Lj进行分块，并将Lj按照可用空间的大小从大到小进行分块，直到剩余表大小不再需要分块为止，将这些分块分别保存在对应大小的可用空间中，这些对应大小的可用空间为合适的可用空间；保存Lj的分块和该些合适的可用空间位置之间的对应关系；优选的：该对应关系可以保存在故障处理节点Sj中或保存在控制节点中；优选的：将表Lj或者表Lj的分块保存在合适的可用空间的开始位置处；

(6)控制节点对每个数据库的运行状态进行实时监测，当数据库发生故障时，根据故障处理节点中保存的数据对故障数据库进行数据恢复；

具体的：判断数据库的故障类型，如果是局部故障，则确定发生故障的文件编号，查找文件和表对照表获取故障文件所在表Lj，将表Lj中的所有文件均作恢复；如果是全局故障，则依次对数据库的所有表中的每个表Lj，将表Lj中的所有文件均作恢复；

确定局部故障，具体为：确定发生故障的文件的个数，当故障文件的个数超过第一预订数量或者故障文件中包含的高于指定优先级的故障文件的数量高于第二预定数量时，确定为局部故障；否则，继续保持数据库的运行而不作恢复；由于每次恢复需要不小的时间和空间开销，因此，只有在故障达到一定程度时才考虑做局部故障；

确定全局故障，具体为：确定发生故障的文件的个数超过第三预定数量或者数据库发生硬件故障时，确定为全局故障；

其中，将表Lj中的所有文件均作恢复，具体为：获取表Lj所在的所有故障处理节点集合{Sj，Sz+j···，S_Rj}，获取故障数据库的端口数目NP，从所有故障处理节点集合中选择NP个故障处理节点用于本次镜像；该NP个故障处理节点为：第一故障处理节点、第二故障处理节点，···，第NP故障处理节点；建立该NP个故障处理节点和数据库NP个端口之间绑定关系，通过该NP个端口使该NP个故障处理节点对数据库的包含在表Lj中的文件作并行恢复；

从所有故障处理节点集合中选择NP个故障处理节点用于本次镜像，具体为：对所有故障处理节点集合中的每个故障处理节点中保存的表Lj计算该表Lj的数据签名，计算所有数据签名值的平均值；计算每个故障处理节点中保存的表Lj的数据签名和该平均值之间的距离，选择距离最小的前NP个数据签名对应的NP个故障处理节点为所选择的NP个故障处理节点；

优选的：采用公式

计算距离；

由于故障处理节点中保存的数据也可能会发生错误，因此，需要对故障处理节点中保存的数据正确性做检查，选择正确性高的故障处理节点作恢复；

通过该NP个端口使该NP个故障处理节点对数据库的包含在表Lj中的文件作并行恢复，具体为：考虑通信开销的同时，使NP个故障处理节点中的每个不同故障处理节点存储的Lj镜像对Lj包含的不同文件做恢复；优选的：通过查找文件和表对照表获取文件在数据库的物理位置，将文件恢复到该保存的物理位置处；通过这样的方式，可以在文件恢复的同时，将文件恢复到原始位置处；查找表目录表获取Lj中包含的所有文件，获取文件大小信息，将文件按照从大到小的顺序排序，获取该NP个故障处理节点和数据库之间的通信开销C，依次将文件从大到小分配给通信开销从小到大排序的故障处理节点作恢复；通过均衡大小和通信开销，使得并行恢复的各个文件进展速度能够大致保持一致，避免短板情况的出现；

建立该NP个故障处理节点和数据库NP个端口之间绑定关系，具体为：在控制节点的控制下，NP个故障处理节点中的每个故障处理节点分别和NP个端口中的每一个建立绑定关系，建立绑定关系后，故障处理节点主动的进行数据恢复，将保存的数据保存到数据库对应的位置中；

本发明的一种基于集群的故障处理方法，能够实时的监控数据库端发生的故障，在故障发生时，根据故障发生的类型和故障文件的优先级提供故障解决方案，还能够通过大量的集群节点，提供并行的层次化故障处理方案，从而能够适应性的进行数据库端的故障。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims

1.一种基于集群的故障处理方法，其特征在于，该方法包括如下步骤：

数据库根据文件分表基准值Z进行文件分表，并计算表Lj的冗余份数Rj；具体的：数据库中的数据以文件为组织单位进行顺序编号；顺序编号后的文件为：F1，F2，···，Fi，···，Fn；其中，n为数据库总的文件个数；将n个文件分为Z个表文件，L1，L2···，Lj，···L_Z；其中：Fi将被分配到表L_imod_Z中；根据公式(2)计算表Lj的冗余份数Rj，其中NLj为表文件Lj中文件的数量，FPRj,k为表Lj中的第k个文件Lj,k的文件优先级，FPRmax为最高文件优先级；

文件优先级由数据库根据文件重要程度来设置或在提交文件基本信息后由控制节点设置；FPRmax为最高文件优先级，由控制节点统一设置；预设数量由控制节点预先设置；

将文件编号和文件在数据库的物理位置、文件所在的表，文件在表中的位置，关联保存在文件和表对照表中；将表及其包含的文件编号、文件在表中的位置保存在表目录表中；

按照文件在数据库的物理位置的前后顺序进行编号；

控制节点计算每个表文件对应的故障处理节点集合S_j，S_z+j···，S_Rj；其中，S为故障处理节点的编号；具体的：计算所有故障处理节点到该数据库ID的通信开销C，并将通信开销按照从小到大排序，从中选取前Z个故障处理节点构成第一故障处理节点组{S₁，S₂，···S_j，···S_z}；继续从第Z+1个故障处理节点开始选取第二故障处理节点组{S_z+1，S _z+2，···S _z+j，···S_z+z}，如果表Lj的冗余份数Rj小于2，则S z+j＝0，表示没有选取任何故障处理节点；当继续选取下一故障处理节点组，直到故障处理节点组数量大于FPRmax×R，或者所有的故障处理节点均被分配完毕为止；如果当次分配已经超过了表Lj的冗余份数Rj，则将相应的故障处理节点分配编号设置为0，表示没有选取任何故障处理节点；表文件Lj对应的故障处理节点集合为{S_j，S_z+j···，S_Rj}，如果故障处理节点被分配完，则分配的故障处理节点数量会少于Rj个；

2.根据权利要求1所述的故障处理方法，其特征在于，数据库节点位于同一个物理设备上或者位于多个不同的物理设备上。

3.根据权利要求1-2任意一项所述的故障处理方法，其特征在于，同时考虑数据库节点的优先级和故障处理节点的运行状况来计算需要保存的表文件冗余数量值。

4.根据权利要求1-3任意一项所述的故障处理方法，其特征在于，在进行文件分表之前，将文件根据其大小进行预处理。

5.根据权利要求4所述的故障处理方法，其特征在于，所述预处理为：将文件按照大小作合并，将小于第一大小阈值的文件合并，而将超过第二大小阈值的文件拆分，合并或者拆分后的文件为分表处理所针对的文件。

6.根据权利要求5所述的故障处理方法，其特征在于，所述将小于第一大小阈值的文件合并包括：将多个小于第一大小阈值的文件合并使得合并后的文件大小位于设定范围内；所述将超过第二大小阈值的文件拆分包括：将一个超过第二大小阈值的文件拆分为设定范围内大小的文件。

7.根据权利要求6所述的故障处理方法，其特征在于，在拆分或合并后保存拆分或合并对应关系表，该表中保存了拆分后的拆分文件和拆分之前的文件之间的对应关系，还保存了合并之前的文件和合并后的文件之间的对应关系。

8.根据权利要求5所述的故障处理方法，其特征在于，该拆分和合并处理对于控制结点来说是不可见的。

9.根据权利要求5所述的故障处理方法，其特征在于，当小于第一大小阈值的文件数量超过第一数量阈值后将会触发该合并处理，当存在大于第二大小阈值的文件时触发拆分处理。