CN111581221B - 一种分布式多站融合系统信息冗余存储与重构的方法 - Google Patents

Abstract

本发明公开了一种分布式多站融合系统信息冗余存储与重构的方法。基于数据动态备份冗余,借助数据的再生和转移,引入元数据概念实现了分布式多站融合系统的信息备份冗余存储与重构。该方法主要由六个模块组成：数据分割、副本备份策略、副本备份、副本更新、副本备份检测、副本还原重构，同时还设定了备份站点的运行周期。利用元数据和副本备份实现动态信息备份冗余存储、更新、检索、检测和重构，在副本备份重构时提供了重构数据块的选取算法。

Description

一种分布式多站融合系统信息冗余存储与重构的方法

技术领域

本发明属于计算机领域，特别涉及一种分布式多站融合系统信息冗余存储与重构的方法。

背景技术

随着云计算和“互联网+”应用的普及，分布式存储系统在电网系统中得到广泛的应用，用户访问不良特征和系统软硬件的错误导致站点的失效非常之多。为了提高分布式存储系统的可靠性，系统通常引入良好的数据冗余机制和数据修复策略.当系统发生站点失效时，保证持续的可靠性，系统需要将失效站点上的数据重新修复到新的站点上.

随着时代的发展，数据量逐渐增加，在这样的背景下，不只数据量增加了，数据的来源也更加多元和多样，这即为数据的处理带来了挑战，也带来了提升的空间，更多的数据来源意味着信息量和信息维度的增加，使得数据挖掘和预测的效果得到提升。电网系统的数据量巨大，传统单机数据分析挖掘系统已经无法满足大数据量、高数据吞吐、高处理速度的要求，需要使用分布式系统进行处理。但是传统数据挖掘算法需要进行一定的变化才能在分布式平台下实现，同时一些算法需要根据分布式平台特点做出一些改变才能达到较高的效率。

由于分布式系统的优势，数据库的发展也逐渐进入了分布式的阶段.相比传统集中式数据库，分布式数据库可以通过动态增加存储节点来实现存储容量的横向扩展.并且，分布式数据库为了保证数据的安全和可靠存储，往往会采用备份的策略.数据多副本存储不仅能够提供可靠、安全的存储，还可以提高系统查询的并发量.由分布式数据支持横向扩展和多副本安全存储的特性，越来越多的企业开始采用分布式数据库作为自己的数据存储分析平台.而为了设计高可用的分布式并行数据库系统,计算机工作者除了从系统结构去探索外,更注重系统内部机制的研究与实现,系统重构就是内部机制实现的关键技术之一。系统重构是分布式系统实现容错的主要措施。在分布式系统中,各站点自治性导致其加入和退出的随机性,站点自身软硬件缺陷、网络和自然因素等造成其故障的不可预测性。因此,要设计高可用的分布式系统,就必须解决好站点状态变化的系统重构问题,其实现的好坏直接影响着系统数据资源的可用性。

发明内容

为了解决现有技术中存在的缺点和不足，本发明提供了用于实现系统重构的分布式多站融合系统信息冗余存储与重构的方法。

为了达到上述技术目的，本发明提供了一种分布式多站融合系统信息冗余存储与重构的方法，该方法包括以下具体步骤：

步骤一：动态数据冗余与备份，利用副本备份、副本分割技术来实现数据的冗余存储，对副本和元数据进行更新；

步骤二：数据还原检测，在数据还原前对副本进行选取，对选取到的副本数据进行完整性检测；

步骤三：数据还原重构，利用元数据将存放在不同站点位置的数据进行还原。

可选的，所述动态数据冗余方法具体包括：

副本分割：数据块以64M为单位，并将分块进行备份，并记录其元数据；

副本备份策略：一份副本需要3份备份，根据就近原则将2份备份存储在就近的两个站点内，1份存储在中心站点处，副本与其备份的元数据也存储在中心站点；

副本备份：将分割好的副本进行备份，并将其按照副本备份策略进行存储；

副本更新：副本更新采用弱一致性，即当对副本操作完成且半小时内未进行读写操作时对副本进行更新；由变动站点通知中心站点，中心站点对所管辖站点内副本备份进行更新，同时更新元数据；

元数据：元数据主要包括用户信息、文件元数据、存储资源信息等，记录着备份数据的归属关系、在备份前的保存路径、在备份后的存储位置、使用的备份方式等等；在进行备份是将更新元数据，并基于元数据进行数据还原重构。

可选的，所述数据还原检测方法具体包括：

副本选择：对处于不同站点位置的副本进行选择，确保系统的高效性；

副本检测：对于选取的副本进行检测，确保副本没有被修改或是残缺。

可选的，所述的数据还原检测方法具体包括：

元数据检索：利用元数据对副本进行检索；

数据重构：对副本进行重构还原。

可选的，所述分布式多站中每个站点具有运行周期，包括启动、正常、退出三个阶段。

本发明提供的技术方案带来的有益效果是：

(1)利用了副本技术，保证文件可用性的同时还能有效地平衡文件的访问请求，加快对请求的响应时间，从而提高系统的性能。

(2)利用了动态的副本管理策略，采用弱一致性，先把文件更新信息传递给中心站点，然后由中心站点进行统筹更新，最终让其他的副本数据都一致。在保证文件具有能够接受的可用性的前提下，提高系统的性能。

(3)引入了元数据概念，通过对元数据的管理与检索，使调度服务器完成备份系统的资源管理与作业运行。

(4)增加了站点状态检测。站点状态检测是数据重构的先决条件,减少系统开销,提高数据重构效率和运行效率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种分布式多站融合系统信息冗余存储与重构的方法的流程示意图；

图2是本发明提供的多站融合系统冗余备份策略及存储示意图；

图3是本发明提供的副本备份框架图；

图4是本发明提供的存储文件还原图；

图5是本发明提供的数据恢复元数据处理流程图；

图6是本发明提供的数据重构系统运行状态图。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。

实施例一

本发明提供了一种分布式多站融合系统信息冗余存储与重构的方法，如图1所示，该方法包括以下具体步骤：

步骤一：动态数据冗余与备份，利用副本备份、副本分割技术来实现数据的冗余存储，对副本和元数据进行更新；

步骤二：数据还原检测，在数据还原前对副本进行选取，对选取到的副本数据进行完整性检测；

步骤三：数据还原重构，利用元数据将存放在不同站点位置的数据进行还原。

为了使本发明的目的更加清楚明了，一下结合附图对本发明进行进一步详细说明。

如图2所示，本发明提供了一种分布式多站融合系统信息冗余存储与重构的方法，目的在分布式多站之间能够进行信息冗余存储以及重构。具体的分为六个模块：数据分割、副本备份策略、副本备份、副本更新、副本备份检测、备份还原重构。同时还设定了备份站点的运行周期。

以下针对本发明的主要部分和实现策略进行阐述：

一、数据分割

由于电网系统中的数据大小参差不齐，将较大的数据直接备份则需要大量的时间与内存容量，而在计算机中，大块的空闲内存是少见的，相反，零碎的小内存碎片则是遍地存在。因此将大于64M的数据进行分割，对其备份块进行备份存储，这样大大提高了对系统资源的利用，同时对小的数据块进行读写、备份等操作都比较节约时间。

二、副本备份策略

方法的网络模型采用典型的C/S设计模式,整个系统由中心站点S、站点群C和网络N三部分组成,结构示意图如图2所示。其中,站点群C是由n个独立自治的站点Ci(i＝1,2,…,n,一般来说,n≥2)通过中心站点连接成的有机整体,站点群间通过中心站点实现数据通信,借助分布式调度完成动态任务调度功能,对外提供统一的数据库服务。

在方法中,副本策略是将每一个文件的数据进行分块存储,同时每一个数据块又保存有多个副本,这些数据块副本分布在不同的站点上。如图3中彩色的数据块表示基本块，白色的数据块表示备份块，Namenode节点负责管理集群中的元数据，为防止Namenode的单节点故障，增加了一个Secondary Namenode作为Namenode的备份。通过站点感知策略确定了站点与之拓扑距离最短的副本的策略,即将一个副本存储在本站点上,两个副本存储在相邻站点上,最后一个副本存储在中心站点上。这种策略减少了站点间的数据传输,提高了写操作的效率。同时中心站点的错误远远比其他站点的错误少,所以这种策略不会影响到数据的可靠性和可用性。与此同时,因为数据块只存放在两个不同的站点,所以此策略减少了读取数据时需要的网络传输总带宽。

客户端在读取数据块1的时候，会优先请求站点0提供的1的基本块，只有在读取失败后才会委托站点1提取在站点2，3，4中的备份块。客户端写入文件3，首先会在站点3写入基本块3，当写入完成后且半小时内未进行读写操作，则由站点3将基本块复制，通知中心站点将备份存储在其他站点上。

三、副本备份

如模块数据分割所述，将大于64M的数据进行分割，然后对分割的数据块进行备份。这样大大提高了对系统资源的利用，同时对小的数据块进行读写、备份等操作都比较节约时间。

四、副本更新

副本更新模块包括了对副本本身数据的更新，也包括了对元数据的更新，两者的更新策略具体如下：

副本更新策略采用弱一致性，也就是当某文件的副本发生改变时，可以不及时同步数据，允许一个文件的多个副本之间有着短时间的差异。通常是在完成操作后并在半小时内未进行再次修改，把文件更新信息传递给中心站点，由中心站点进行备份更新。同时也采用定期同步来同步其他副本，规定时间，如每月某一天或者每个星期二进行全部数据更新同步，最终让其他的副本数据都一致。

而元数据的更新策略为当有新的数据进入时则对新的元数据与数据库中的元数据进行版本比对。如果发现相同的元数据，接下来会对数据对象进行逐字节的比较，从而发现发生变化的数据。如果数据对象确实是重复的，则删除该数据对象并代之以相应的指针。

五、副本备份检测

站点状态检测是数据重构的先决条件,合理的检测策略不仅不会增加太多的系统开销,还能提高数据重构效率和运行效率。

模型站点的故障检测与数据库执行的关系密不可分,为此,先描述数据库执行的完整过程:客户操作某数据库D时,首先通过分布式调度与站点群C中某个正常站点Ci(i＝1,2,…,n)建立连接,然后在该站点上创建该客户的主代理PDmain,用以负责系统与客户间的交互。在操作请求发送到PDmain后,PDmain根据任务类型将其分解成若干子任务在DS中进行分配,各站点处理完自己的子任务后将结果返回PDmain,PDmain汇总所有子任务结果,进行相应处理后向客户返回最终执行结果。由于会话站点上不一定存在要执行的数据库,所以参与冗余度为r(2≤r≤n)的数据库执行的站点数为r或r+1。由执行过程可见,某数据库操作的执行只与参与该库执行的站点相关,而与其余n-r个或者是n-r-1个站点没有直接联系。因此,采用局部故障检测法,只检测与数据库执行相关的站点状态。具体检测方法是:在数据库执行过程中,由PDmain对参与站点的执行结果进行检测,如果在一定时间内没有收到执行结果即认为该站点故障。

若发现站点故障，则中心站点则会根据元数据内容将故障站点内的数据找到其他备份并增加一份备份，将其放入其他邻近站点。这样的凡是保障了就算是个别站点的数据丢失，剩余其他的站点也可以重构原有数据，其原理如图4所示。

六、备份还原重构

元数据处理：在进行数据重构时调度服务器内部对同一个对象数次备份作业的元数据信息进行融合处理，从而在数据恢复时，只需要执行一次恢复操作，就可以将文件集恢复到用户指定的某一个时间点状态。相当于由调度服务器完成“第一天的全量备份+第二天的增量备份+第三天的增量备份＝第三天的全量备份”这个加法算式，这需要由调度服务器将全量备份与后面的增量备份合并成为最后的全量备份。

在备份重构时进行备份融合的元数据处理流程如下(如图5所示)：

(1)用户从备份代理界面上查询某个对象的历史备份作业信息，并选择一个时间点执行版本恢复。

(2)调度服务器接受到版本恢复功能请求，根据备份代理发送过来的对象名，查询数据库对象表找出对象ID。

(3)根据备份代理发送过来的给定时间点与对象ID，查询作业表，找出该对象在时间点之前最近一次全量备份作业的作业ID。

(4)根据对象ID，查询作业表，找出该对象在最近一次全量备份作业时间与给定时间点之间，最近一次差量备份作业的作业ID。在这两个时间点之间可能并没有差量备份作业。

(5)根据对象ID，查询作业表，找出该对象在最近一次差量备份作业时间与给定时间点之间，所有增量备份作业的作业ID。如果步骤(4)没有找到差量备份作业，则以最近一次全量备份作业的时间来代替。

(6)根据步骤(3)、(4)、(5)得到的作业ID集合，查询文件表，得到这些作业所备份的所有文件记录的集合，并且根据文件名ID和路径名ID对文件记录进行分组，将同组内具有更大文件ID值的文件记录选择出来，就需要恢复的文件的记录集合。

(7)根据文件ID集合查询文件表、卷表，将得到的文件ID、文件所在卷的ID、卷所在存储服务器的ID等元数据按特定顺序整理后发送给调度服务器的作业调度模块。

数据重构：在模型中,当系统检测到站点加入信息时进行系统升级重构,将加入站点数据资源按照特定算法融入系统并充分利用其系统资源；在检测到站点故障时启动降级重构,及时隔离故障站点并在当前系统中自动补充所需数据库副本；在系统负载不平衡时进行负载转移重构。这样,各站点可始终运行在负载平衡下的“加入->升级重构->正常(负载平衡重构)->故障->降级重构->加入”的无限循环中,对外提供永不停顿的数据库服务。整个系统运行状态转换如图6所示。

A、升级重构(包括新站点加入和重启加入)。它是站点启动到融入系统的全过程。在模型中,每个站点都配置了相同的竞争时间T,当前总竞争时间t为各加入站点竞争时间之和,并根据站点数的增减作相应调整。在竞争时间内,新加入站点通过比较逻辑时钟值(简称时标)进行竞争排序,在竞争结束后,根据系统数据信息进行本地数据处理,处理完毕后站点进入正常运行过程中。各启动站点具体处理步骤如下:

①向系统广播站点加入信息

t＝T；//配置竞争时间初值

初始化临时站点信息表；//临时记录启动站点信息

站点状态置为COMPETE_STATE；//竞争状态

广播本站点状态信息；

//系统中正常站点收到后传送当前系统的数据库信息

②进入竞争过程,等待竞争结束

while(t>0){

if(收到COMPETE_STATE站点状态消息)

{

将加入站点按时标顺序插入临时站点信息表；

t＝t+T；

}

if(mod(t,T)＝＝0)

{

更新当前临时站点信息表中最大时标站点状态＝RECOVERY_STATE；

if(本站点竞争结束)

处理本地数据库；

}

t＝t-1；

}

③根据系统当前数据库信息表处理本地数据库获取本地数据库信息；

do:

{

if(当前数据库信息表中没有该数据库)

提示系统管理员是否允许该库进入系统；

else

{

if(当前该数据库的r<rmin)

根据站点负载情况创建和同步该本地数据库；

else

删除该本地数据库；

}

}

until(本地数据库处理完毕)

④将该站点状态更新为OK_STATE,加入站点信息表,正式提供数据库服务。

B、降级重构(站点退出)。它是站点退出时的系统自动重构。站点退出按其退出方式分为主动退出和故障退出。主动退出是指站点正常关机；故障退出包括站点断电、硬件故障等原因造成的永久性故障退出和硬件、网络速度等原因造成的瞬时性故障退出。在系统降级重构过程中,两种退出方式都采用清除退出站点数据库信息和站点信息的方式及时隔离退出站点,然后在系统中负载较轻的站点自动生成数据库副本以满足数据库冗余度要求。不同的是,主动退出站点在退出过程中启动降级重构,而故障退出是在检测到站点故障后才启动降级重构。其中瞬时故障站点需强制结束本站点数据库服务进程后再重新启动加入系统。

C、负载转移重构(负载失衡)。它是一种负载平衡策略。在系统中设置负载监控模块,定时收集系统负载信息,若在超时时间内未收到站点应答,则认为该站点故障,启动降级重构。当检测到系统负载失衡时,采用特定算法,通过增加数据库副本或转移重负载站点数据库副本的方式调整系统负载。

七、站点运行周期

一个站点的运行周期分为启动、正常和退出三个阶段,其中,退出包括计划内的管理停机和站点故障。因为模型是各站点连接成的一个有机整体,其运行周期也相应地分为启动、正常运行和退出三个阶段,各阶段运行过程描述如下:

(1)启动阶段。系统启动是一个或几个站点的同时启动,启动前系统中没有正常站点。各站点在启动时,首先向系统广播其加入信息,在通过相关认证后,根据一定的竞争算法将它们进行排序,最后根据排序结果依次把本地原始数据资源按照特定算法融入系统。数据资源在融入系统后即可对外提供数据库服务。

(2)正常运行阶段。系统启动后,整个服务器站点群就形成一个有机的整体,统一对外提供数据库服务。在数据库服务过程中,新站点可能随机地加入系统,系统中各站点也可能由于硬件或软件的原因导致崩溃。另外,站点间的通信也可能由于网络原因造成中断或故障,用户对数据库访问的不平均性也可能造成系统负载失衡现象。

(3)退出阶段。系统的退出指的是系统中所有站点都不能提供服务,按退出原因分为管理需要和系统故障两种情况。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种分布式多站融合系统信息冗余存储与重构的方法，其特征在于，该方法包括以下具体步骤：

步骤一：动态数据冗余与备份，利用副本备份、副本分割技术来实现数据的冗余存储，对副本和元数据进行更新；

步骤二：数据还原检测，在数据还原前对副本进行选取，对选取到的副本数据进行完整性检测；

步骤三：数据还原重构，利用元数据将存放在不同站点位置的数据进行还原；所述动态数据冗余方法具体包括：

副本分割：数据块以64M为单位，并将分块进行备份，并记录其元数据；

副本备份策略：一份副本需要3份备份，根据就近原则将2份备份存储在就近的两个站点内，1份存储在中心站点处，副本与其备份的元数据也存储在中心站点；

副本备份：将分割好的副本进行备份，并将其按照副本备份策略进行存储；

副本更新：副本更新采用弱一致性，即当对副本操作完成且半小时内未进行读写操作时对副本进行更新；由变动站点通知中心站点，中心站点对所管辖站点内副本备份进行更新，同时更新元数据；

元数据：元数据包括用户信息、文件元数据、存储资源信息，记录着备份数据的归属关系、在备份前的保存路径、在备份后的存储位置、使用的备份方式；在进行备份是将更新元数据，并基于元数据进行数据还原重构；

所述数据还原检测方法具体包括：

副本选择：对处于不同站点位置的副本进行选择，确保系统的高效性；

副本检测：对于选取的副本进行检测，确保副本没有被修改或是残缺。

2.根据权利要求1所述的一种分布式多站融合系统信息冗余存储与重构的方法，其特征在于，所述的数据还原检测方法具体包括：

元数据检索：利用元数据对副本进行检索；

数据重构：对副本进行重构还原。

3.根据权利要求1所述的一种分布式多站融合系统信息冗余存储与重构的方法，其特征在于，所述分布式多站中每个站点具有运行周期，包括启动、正常、退出三个阶段。