CN101515296A - 数据更新方法和装置 - Google Patents

数据更新方法和装置 Download PDF

Info

Publication number
CN101515296A
CN101515296A CNA2009101058884A CN200910105888A CN101515296A CN 101515296 A CN101515296 A CN 101515296A CN A2009101058884 A CNA2009101058884 A CN A2009101058884A CN 200910105888 A CN200910105888 A CN 200910105888A CN 101515296 A CN101515296 A CN 101515296A
Authority
CN
China
Prior art keywords
data
data object
memory node
information
associated data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2009101058884A
Other languages
English (en)
Inventor
徐涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Digital Technologies Chengdu Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CNA2009101058884A priority Critical patent/CN101515296A/zh
Publication of CN101515296A publication Critical patent/CN101515296A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据更新方法和装置,其中数据更新方法包括:获得待更新的第一存储节点的数据对象的关联数据对象的信息;根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点。本发明实施例提供的技术方案有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险,同时在数据的迁移和备份过程中,减少对当前业务的影响。

Description

数据更新方法和装置
技术领域
本发明涉及通信技术领域,尤其涉及一种数据更新方法和装置。
背景技术
并行文件系统(pNFS,parallel Net File System)是读写操作可以在多个节点并行进行的集群文件系统,包括客户代理(CA,Client Agent)、元数据服务器(MDS,meta-data server)和对象存储节点(OSN,Object Storage Node),如图1所示。其中,OSN以对象形式存储数据,并行文件系统中的文件以条带的形式分布到各个OSN上。CA为应用程序提供访问并行文件系统的用户开发接口,可以部署到多个应用服务器。MDS负责向客户提供整个系统的元数据,管理整个系统的命名空间,维护整个系统的目录结构、用户权限,并负责维护系统的数据一致性,同时MDS维护着OSN的部署信息,给CA提供文件部署方案。CA读取数据的一般过程为:CA向MDS读取文件的元数据信息,再根据元数据信息向几个OSN获取文件的各个条带的内容。
目前的一些并行文件系统只是实现了类似于RAID0思想的条带化存储方案。当某一个OSN上的硬盘发生故障,或者由于OSN本身宕机,或者连接此OSN的网络断开时,客户就不能从它上面读出数据。因此,需要考虑有效的容灾方案,当某一个OSN不能正常工作时,整个系统还能有效地提供服务。
现有技术通过软件RAID的方式提供容灾方案,MDS对于新生成的文件指定RAID模式,例如对于小文件采用RAID1,对于大文件采用RAID5的存储方式。MDS存放文件的RAID模式和条带信息,并对OSN有监测机制,当某个OSN故障时,可以给客户提示此OSN有故障,以使客户启动RAID模式读取数据。客户从MDS收到文件的扩展属性信息(包括条带个数、RAID模式、OSN工作状态等)后,可以向工作状态正常的OSN通信,把数据读取出来,然后按照RAID计算出故障OSN上的数据。如图2所示,若OSN_2无法提供数据的情况下,根据OSN_2节点中数据对象的RAID模式,可知OSN_2节点中数据对象的备份节点或关联数据节点,如OSN_4和OSN_5,若OSN_4和OSN_5工作状态正常,客户可从OSN_4和OSN_5读取数据然后按照OSN_2中数据对象的RAID模式读取出故障数据。
CA读取数据的一般过程为:CA向MDS读取文件的元数据信息;CA根据元数据信息向几个OSN获取文件的各个条带的内容;当某个条带不能正常获取时,CA根据RAID模式读取出文件的内容。
现有技术的问题在于,当一个数据对象损坏时,虽然基于软件RAID的方式客户可以从其他正常工作状态的OSN节点读取数据并继续有效使用数据,但这种方法只是使CA能够读取数据,损坏的数据对象并没有得到恢复,如果不及时恢复损坏的数据对象,当存放与损坏数据对象相关联数据对象的节点失效或者节点中的关联数据对象损坏时,数据对象中的数据就不可使用了,CA也就无法读取并继续有效使用数据。所以应该采用恢复机制及时恢复出数据。
另一方面,当某个数据成为热点数据时,对于它的访问就会成为系统的瓶颈。在这种情形下,采用数据备份、迁移的方法,可以达到负载均衡的效果。现有技术中,通过把热点文件整体复制多份的方式,来分散访问,消除热点访问的瓶颈。但热点文件的整体复制,会影响到当前客户对于此文件的访问。
发明内容
本发明实施例的目的在于提供一种数据更新方法和装置,有效解决当前并行文件系统中的数据恢复问题,降低并行文件系统的运行风险,同时在数据的迁移和备份过程中,减少对当前业务的影响。
本发明实施例提供一种数据更新方法,包括:
获得待更新的第一存储节点的数据对象的关联数据对象的信息;
根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供一种数据更新装置,包括:
第三获取模块,用于获得待更新的第一存储节点的数据对象的关联数据对象的信息;
第二读取模块,用于根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
更新模块,用于采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供一种数据恢复方法,包括:
获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供一种数据恢复方法,包括:
获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供一种数据恢复装置,包括:
第一获取模块,用于获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
第一读取模块,用于根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
恢复模块,用于采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供一种数据恢复装置,包括:
第二获取模块,用于获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
发送模块,用于发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到目标存储节点。
由上述本发明实施例提供的技术方案可以看出,本发明实施例通过获得待更新的第一存储节点的数据对象的关联数据对象的信息,根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险,同时在数据的迁移和备份过程中,减少对当前业务的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术并行文件系统示意图;
图2为现有技术的软件RAID容灾方法示意图;
图3为本发明实施例一的数据恢复方法流程图;
图4为本发明实施例二的数据恢复方法流程图;
图5为本发明实施例三的数据恢复方法中并行文件系统示意图;
图6为本发明实施例三的数据恢复方法流程图;
图7为本发明实施例三的数据恢复方法中数据块示意图;
图8为本发明实施例三的数据恢复方法中文件存储示意图;
图9为本发明实施例四的数据恢复方法中并行文件系统示意图;
图10为本发明实施例四的数据恢复方法流程图;
图11为本发明实施例五的数据恢复装置示意图;
图12为本发明实施例六的数据恢复装置示意图;
图13为本发明实施例七的数据更新方法流程图;
图14为本发明实施例九的数据更新装置示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,并行文件系统的组成可以包括MDS、OSN、Agent(存储节点代理)、OTD(OSN-Agent Task Dispatcher,任务分发器)、OLL(OSN-object List Library,OSN上对象的列表存放库),以及Monitor(系统的监控节点)。上述各组成部分可以是物理组件,也可以是逻辑组件,只是为了叙述方便将实现某些功能的组件赋予一个名称,具体实现中,可以是某组件实现其他组件的功能,如可以没有OLL,而由OTD或Agent实现OLL的功能;没有Monitor,而由OTD或MDS实现其功能;甚至OSN、Agent、OLL,及Monitor全部集成在MDS中,由MDS具有所有的功能。
其中,Monitor是系统的主控节点,负责整个系统的监控管理,用于发现待恢复的OSN,某些实施方式中Monitor也可由控制台代替,由管理员从控制台对系统进行人工监控。
本发明实施例中,可以用OLL存放OSN上数据对象的关联数据对象的信息,所述数据对象的关联数据对象的信息可以包括:所述数据对象的关联数据对象、即所述数据对象所属文件的其他数据对象;所述关联数据对象所在的存储节点,即所述数据对象所属文件的其他数据对象分布的存储节点;所述数据文件的存储模式,即存放在各数据对象中的数据文件的数据之间的关联模式,包括RAID模式。每个OSN的数据对象的关联数据对象的信息可以存放在对象表中。本发明实施例中,数据对象的关联数据对象的信息也可以不以对象表的方式存放,也可以不存放于OLL中,如可以通过文件的形式保存在其他的组成部分中。本发明实施例的OLL和对象表只是数据对象的关联数据对象的信息的存放方式,其他的存放方式也在本发明实施例的保护范围之内。
OTD接收Monitor或控制台发送过来的恢复指令,从OLL上获取待恢复的OSN的对象表,发送给Agent,由Agent恢复出所述对象表中的数据对象。
OTD、OLL、Monitor、Agent可以是单独的服务器,也可位于一个服务器中,进一步的上述组成部分也可以位于MDS或OSN中,在连接关系上,本发明实施例提供的并行文件系统可能有多种结构形式,只要在功能上实现了本发明实施例的数据恢复方法,任何连接方式均在本发明实施例的保护范围之内。进一步的,本发明实施例的并行文件系统中各组成部分可以有一个,也可以有多个,例如存在多个Monitor或多个MDS,组成部分的复杂程度只影响系统管理的复杂度,不影响本发明实施例技术方案和技术效果的实现,本领域技术人员根据本发明提供的实施例进行的简单变换得到的其他并行文件系统结构均在本发明实施例的保护范围之内。
本发明实施例一的数据恢复方法,如图3所示,包括:
S101、获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
S102、根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
S103、采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供的方法,通过获得待恢复的第一存储节点的数据对象的关联数据对象的信息,根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险。
本发明实施例二的数据恢复方法,如图4所示,包括:
S201、获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
S202、发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供的方法,通过获得待恢复的第一存储节点的数据对象的关联数据对象的信息,发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险。
下面结合并行文件系统的运行,详细说明本发明实施例的数据恢复方法:
本发明实施例三提供的数据恢复方法,该方法中并行文件系统的组成如图5所示,存在一个集中的OTD分发恢复任务,对象表集中存放在一个OLL中,Agent位于OSN上。本发明实施例的数据恢复方法,如图6所示,包括:
S301、Monitor发现某个OSN的数据无法读取后,发送一个恢复此OSN上数据对象的指令给OTD。
为说明方便,以下假设待恢复的OSN为OSN1。在某些实施方式中,上述过程也可以由管理员完成,即管理员发现无法读取数据的OSN1,然后手工从控制台发出恢复指令;在另外一些实施方式中,也可以由Monitor和管理员共同完成上述过程。下面以Monitor进行自动控制为例加以说明。
所述OSN1的数据无法读取的原因可能有多种,包括OSN1上的硬盘发生故障,OSN1本身宕机,或者连接OSN1的网络中断等各种造成客户不能从OSN1上读取数据的原因,此时OSN1上所有的数据对象均无法读取。某些实施方式中,也可能是由于部分数据对象丢失,损坏等而导致的OSN1上部分数据对象无法读取,即OSN1中一个或多个数据对象无法读取,此时在进行恢复操作时,OSN1的数据对象的关联数据对象的信息即OSN1中一个或多个数据对象的关联数据对象的信息。本发明实施例中,以OSN1的数据对象整体不可读为例进行说明,OSN1上部分数据对象无法读取的情况原理是相同的,可以参照执行。
当Monitor发现OSN1的数据无法读取后,可以即时发送一个恢复OSN1的指令给OTD,也可以等待所述OSN1自身恢复,当一段时间内所述OSN1无法完成自身恢复时,再向OTD发送恢复指令。
某些实施方式中,Monitor在发送恢复指令的同时可以给出作为目标存储节点的可用OSN的范围,由OTD在可用OSN范围内选择进行数据恢复的OSN。可用OSN可以是Monitor根据系统当前运行状况选择的OSN。某些实施方式中,可用OSN的范围也可以由OTD进行确认。在另外一些实施方式中,可以在系统中预先配置专门用来作为目标存储节点进行数据恢复的OSN,系统将其缺省默认为可用OSN。某些实施方式中上述过程中Monitor的功能也可由OTD自身完成。
S302、OTD从OLL获取OSN1的对象表。
S303、OTD把所述对象表分发到至少一个OSN上,以使OSN上的Agent恢复所述对象表中的数据对象。
本发明实施例中,OTD分析OSN1的对象表中存放数据对象的关联数据对象的信息,为保证数据安全,可以将对象表发送给没有存储OSN1上数据对象的关联数据对象的OSN,假设为OSN2,由OSN2上的Agent从其他存放关联数据对象的OSN上恢复出OSN1的数据对象到OSN2。某些实施方式中,OTD也可将所述对象表发给任意OSN,由该OSN上的Agent从存放关联数据对象的OSN上恢复出OSN1的数据对象到OSN2。某些实施方式中,选择Agent的策略也可以为Agent的当前状态,如运行能力,闲忙状态等或Agent所在OSN的当前状态,如负载、容量、所在节点等。某些实施方式中,也可以不做选择,默认为采用系统中预先配置专门用来作为目标存储节点进行数据恢复的OSN的Agent。总之Agent的选择方式有多种,均在本发明实施例的保护范围之内。
某些实施方式中,OTD可以根据所述对象表的内容,把所述对象表分解为几个子表,每个子表中包括OSN1的一部分数据对象的关联数据对象的信息。所有子表互不重复,合起来为原来的对象表。OTD将每个子表分发到一个对应的OSN,从而由多个Agent执行恢复任务,从而进一步提高数据对象的恢复效率,减少对系统运行的影响。拆分表时,需要按照一定的策略,如当需要接收子表的OSN作为数据对象恢复的目标OSN,则要考虑该OSN的数据容量、所在节点,及所在机柜等。总之原则是系统中各OSN的负载均衡和系统的数据安全,避免把存有关联数据对象的节点作为恢复节点,避免选择的多个恢复节点处于同一个机柜中。
S304、接收到对象表的OSN上的Agent根据对象表,按RAID模式恢复出所述对象表中的数据对象。
根据S303中OTD选择的接收对象表的OSN的不同,OSN上的Agent执行的操作相应不同,可以是Agent从其他存放关联数据对象的OSN上读取关联数据对象,按RAID模式恢复数据对象到其所在的OSN上;也可以是Agent从其所在的OSN上读取存放的关联数据对象,按RAID模式恢复出数据对象到其他的OSN上;也可以是Agent从其他存放关联数据对象的OSN上读取关联数据对象,按RAID模式恢复数据对象到另外的OSN上。数据恢复过程中,根据RAID模式的不同,恢复方法相应不同,如按RAID1模式存放的数据对象,采用直接复制的方法即可恢复;按RAID5模式存放的数据对象,则需采用异或运算计算出待恢复的数据对象。
某些实施方式中,如果在S303中对象表被拆分为子表,则存在多个Agent执行恢复操作,每个Agent恢复相应的子表中的数据对象。
在恢复过程中,可以合理控制数据复制的步长,从而减少对于当前正常业务的影响。
S305、Agent完成恢复任务后,把恢复的结果上报给MDS,在MDS上更新文件的条带分布信息,这样新的访问就可以进行了。
某些实施方式中,也可以MDS主动向Agent获取恢复结果。在MDS上更新文件的条带分布后,CA根据MDS访问OSN时就可以直接读取数据,不需要CA通过软件RAID的方式读取数据,从而使CA感觉不到系统中OSN发生的变化。在某些实施方式中,如果在OSN恢复过程中,CA进行访问,此时由于MDS还未进行更新,要由CA通过软件RAID的方式读取数据。
S306、MDS上元数据中条带分布信息有变化,就会同步到OLL中,目的是保证当有新的OSN需要恢复时,OTD可以从OLL获取最新的数据对象的关联数据对象的信息。
S307、在恢复进程中,Agent实时上报执行任务的情况,由OTD对恢复进程进行监控。
某些实施方式中,也可由OTD主动获取Agent的恢复进程以进行监控。所述监控可以包括统计对象恢复进度,以使Monitor或管理员对系统运行进行管理,比如当恢复进行过程中,所述被恢复OSN恢复正常,此时可以根据恢复进度决定是否需要继续进行恢复进程,以避免系统中存在不必要的数据冗余。比如在恢复进行到30%时,可以终止恢复进程;在恢复到80%时,则继续恢复,同时将待恢复OSN数据清空。
所述监控还可以包括处理恢复故障,比如某个Agent恢复数据对象失败,无法完成恢复任务,此时OTD可以及时重新指派其他Agent。
S308、OTD把恢复的结果上报给Monitor,Monitor可以根据恢复任务完成情况,决定是否重新启动失败的任务,从而进一步保证数据恢复过程的完善。
下面给出本发明实施例三的一个具体的数据对象恢复过程:
假设文件file1如图7所示,分为6个数据块。又如图8所示,分为3个条带按RAID5的方式存放,其中: P 1 = B 1 ⊕ B 2 ; P 2 = B 3 ⊕ B 4 ; P 3 = B 5 ⊕ B 6 ;
Figure A20091010588800185
为异或运算。又假设在图5中,obj1存放在OSN_2上,obj2存放在OSN_4上,obj3存放在OSN_5上。
当OSN_4宕机超过一定时间后,Monitor程序会启动恢复OSN_4上的数据对象的过程,发送恢复OSN_4的指令给OTD,可用的OSN为所有可用的OSN节点。OTD从OLL获取OSN_4的对象表,根据每个数据对象的具体分布确定恢复的目的OSN。比如,对于OSN_4上的数据对象obj2,obj2的关联数据对象为OSN_2上的obj1和OSN_5上的obj3。为保证数据安全,obj2不能恢复到OSN_2上,也不能恢复到OSN_5上。根据某种选取策略,可以把obj2恢复到OSN_6上。于是OTD把恢复obj2的任务发送给OSN_6上的Agent。
由于RAID关系为RAID5,OSN_6上的Agent可以读取OSN_2上的obj1和OSN_5上的obj3,然后依照RAID5算法把obj2计算出来: B 2 = B 1 ⊕ P 1 ; P 2 = B 3 ⊕ B 4 ; B 5 = P 3 ⊕ B 6 . OSN_6上的Agent在写完obj2后,由于现在file1的分布为:obj1存放在OSN_2上,obj2存放在OSN_6上,obj3存放在OSN_5上,所以需要更新MDS上的条带分布信息。Agent上报给MDS,更新file1的条带分布信息,这样客户端就可以按照新的条带分布直接访问文件file1了。
在恢复过程中,可以合理控制数据复制的步长,从而减少对于当前正常业务的影响。在恢复obj2的过程中,按照数据块的大小进行操作,即读取OSN_2上的obj1的数据块B1,和OSN_5上的obj3的数据块P1;然后再读取OSN_2上的obj1的数据块B3,和OSN_5上的obj3的数据块B4;然后再读取OSN_2上的obj1的数据块P3,和OSN_5上的obj3的数据块B6。这样操作单元较小,不影响其他客户端的读写操作。
本发明实施例四的数据恢复方法,并行文件系统的组成如图9所示,将实施例三中集中式的OLL和OTD改为分布式,分布位于OSN中,同时引入ML(Meta List,元表)作为分布式OLL的索引。ML可以单独为一个服务器,也可以位于并行文件系统的其他组成部分。
本发明实施例的数据恢复方法,如图10所示,包括:
S401、Monitor发现某个OSN的数据无法读取后,查询ML表,找到存放该OSN对象表的OLL的位置。
为说明方便,以下假设数据无法读取的OSN为OSN1。本发明实施例中,由于OLL分布存放在OSN上,为保证数据安全,需要对OLL进行冗余配置,即所有分布式OLL合起来相当于多个集中式OLL,而且OSN上存放的OLL不会包含该OSN的对象表。根据ML查询到的OSN1的对象表可能存放在多个OLL中,此时,可以根据一定策略选择一个OLL,如可以根据OLL所在OSN的当前状态、所在节点等,也可随机选取一个OLL。为说明方便,以下假设选择存放在OSN3上的OLL3。
S402、Monitor发送一个恢复OSN1上数据对象的指令给某一OTD,所述指令中包括OLL3的位置。
本发明实施例中,接收数据恢复指令的OTD的选择方式可以有多种,如可以根据OTD所在的节点,可以根据OTD的处理能力等进行选择,在某些实施方式中,Monitor可以根据OLL3的位置,找出一个较优的OTD,如OSN3上的OTD3,由于OLL3与OTD3都位于OSN3节点,二者的通信更为便捷。以下以OLL3和OTD3为例进行说明。
在某些实施方式中,上述过程也可以由管理员完成,即管理员发现无法读取数据的OSN1,然后手工从控制台发出恢复指令;在另外一些实施方式中,也可以由Monitor和管理员共同完成上述过程。下面以Monitor进行自动控制为例加以说明。
所述OSN1的数据无法读取的原因可能有多种,包括OSN1上的硬盘发生故障,OSN1本身宕机,或者连接OSN1的网络中断等各种造成客户不能从OSN1上读取数据的原因,此时OSN1上所有的数据对象均无法读取。某些实施方式中,也可能是由于部分数据对象丢失,损坏等而导致的OSN1上部分数据对象无法读取,即OSN1中一个或多个数据对象无法读取,此时在进行恢复操作时,OSN1的数据对象的关联数据对象的信息即OSN1中一个或多个数据对象的关联数据对象的信息。本发明实施例中,以OSN1的数据对象整体不可读为例进行说明,OSN1上部分数据对象无法读取的情况原理是相同的,可以参照执行。
当Monitor发现OSN1的数据无法读取后,可以即时发送一个恢复OSN1的指令给OTD3,也可以等待所述OSN1自身恢复,当一段时间内所述OSN1无法完成自身恢复时,再向OTD3发送恢复指令。
某些实施方式中,Monitor在发送恢复指令的同时可以给出可用OSN的范围,由OTD3在可用OSN范围内选择进行数据恢复的OSN。可用OSN可以是Monitor根据系统当前运行状况选择的OSN。某些实施方式中,可用OSN的范围也可以由OTD3进行确认。在另外一些实施方式中,可以在系统中预先配置专门用来进行数据恢复的OSN,系统将其缺省默认为可用OSN。
某些实施方式中,上述步骤S401和S402也可能通过其他方案完成,如Monitor发现某个OSN的数据无法读取后,发送恢复该OSN的指令给某一OTD,由该OTD查询ML表,找到存放待恢复OSN对象表的OLL的位置。
S403、OTD3从OLL3获取OSN1的对象表。
S404、同S303。
S405、同S304。
S406、同S305。
S407、MDS上元数据中条带分布信息变化后,发出同步更新OLL信息的指令给ML。
S408、ML根据存放的OLL位置信息,把MDS发送的更新的条带分布信息复制成多份发给下面的多个OLL。
S409、同S307。
S410、同S308。
上述实施例给出了OLL和OTD以集中式和分布式存放的例子,在某些实施方式中,也可以是OLL集中、OTD分布,或者是OLL分布、OTD集中,恢复过程与上述描述大体相同,均在本发明实施例的保护范围之内。
本发明实施例提供的方法,通过获得待恢复的第一存储节点的数据对象的关联数据对象的信息,根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险。
相应于上述方法实施例,本发明实施例五提供一种数据恢复装置,如图11所示,包括:
第一获取模块501,用于获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
第一读取模块502,用于根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
恢复模块503,用于采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供的装置,用于实现获得待恢复的第一存储节点的数据对象的关联数据对象的信息,根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险。
某些实施方式中,本发明实施例的数据恢复装置还包括上报模块504,用于上报恢复任务进展以监控恢复进程、及上报恢复结果,以更新文件的条带信息。
相应于上述方法实施例,本发明实施例六提供一种数据恢复装置,如图12所示,包括:
第二获取模块601,用于获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
发送模块602,用于发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供的装置,用于实现获得待恢复的第一存储节点的数据对象的关联数据对象的信息,发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险。
某些实施方式中,本发明实施例的数据恢复装置还包括确定模块603,用于所述发送模块发送关联数据对象的信息到至少一个执行恢复的存储节点代理前,根据所述关联数据对象的信息,采用恢复策略确定所述至少一个执行恢复的存储节点代理;或,以预先设置的存储节点作为所述第一存储节点的数据对象恢复的目标存储节点。
某些实施方式中,本发明实施例的数据恢复装置还包括监控模块604,用于获得所述存储节点代理的恢复任务进展,监控恢复进程。
某些实施方式中,本发明实施例的数据恢复装置还包括拆分模块605,用于拆分所述第一存储节点的对象表,以形成多个子表。
下面结合本发明实施例三提供的数据恢复方法,对本发明实施例提供的数据恢复装置进行说明:
Monitor发现某个OSN的数据无法读取后,发送一个恢复此OSN上数据对象的指令给本发明实施例六提供的数据恢复装置,在本实施例中具体指OTD。为说明方便,以下假设待恢复的OSN为OSN1。在某些实施方式中,上述过程也可以由管理员完成,即管理员发现无法读取数据的OSN1,然后手工从控制台发出恢复指令;在另外一些实施方式中,也可以由Monitor和管理员共同完成上述过程。下面以Monitor进行自动控制为例加以说明。
所述OSN1的数据无法读取的原因可能有多种,包括OSN1上的硬盘发生故障,OSN1本身宕机,或者连接OSN1的网络中断等各种造成客户不能从OSN1上读取数据的原因,此时OSN1上所有的数据对象均无法读取。某些实施方式中,也可能是由于部分数据对象丢失,损坏等而导致的OSN1上部分数据对象无法读取,即OSN1中一个或多个数据对象无法读取,此时在进行恢复操作时,OSN1的数据对象的关联数据对象的信息即OSN1中一个或多个数据对象的关联数据对象的信息。本发明实施例中,以OSN1的数据对象整体不可读为例进行说明,OSN1上部分数据对象无法读取的情况原理是相同的,可以参照执行。
当Monitor发现OSN1的数据无法读取后,可以即时发送一个恢复OSN1的指令给OTD,也可以等待所述OSN1自身恢复,当一段时间内所述OSN1无法完成自身恢复时,再向OTD发送恢复指令。
某些实施方式中,Monitor在发送恢复指令的同时可以给出作为目标存储节点的可用OSN的范围,由确定模块603在可用OSN范围内选择进行数据恢复的OSN。可用OSN可以是Monitor根据系统当前运行状况选择的OSN。某些实施方式中,可用OSN的范围也可以由确定模块603进行确认。在另外一些实施方式中,可以在系统中预先配置专门用来作为目标存储节点进行数据恢复的OSN,系统将其缺省默认为可用OSN。某些实施方式中上述过程中Monitor的功能也可由OTD自身完成。
第二获取模块601从OLL获取OSN1的对象表。所述对象表包括待恢复的第一存储节点的数据对象的关联数据对象的信息,包括所述数据对象的关联数据对象的信息和所述数据对象与所述关联数据对象中的各数据关联数据对象的信息。
发送模块602把所述对象表分发到至少一个OSN上,以使OSN上的Agent从所述关联数据对象所在的存储节点读取所述关联数据对象的数据,根据所述关联数据对象的数据恢复所述第一存储节点的数据对象到目标存储节点。
本发明实施例中,发送模块602分析OSN1的对象表中存放数据对象的关联数据对象的信息,为保证数据安全,可以将对象表发送给没有存储OSN1上数据对象的关联数据对象的OSN,假设为OSN2,由OSN2上的Agent从其他存放关联数据对象的OSN上恢复出OSN1的数据对象到OSN2。某些实施方式中,OTD也可将所述对象表发给任意OSN,由该OSN上的Agent从存放关联数据对象的OSN上恢复出OSN1的数据对象到OSN2。某些实施方式中,选择Agent的策略也可以为Agent的当前状态,如运行能力,闲忙状态等或Agent所在OSN的当前状态,如负载、容量、所在节点等。某些实施方式中,也可以不做选择,默认为采用系统中预先配置专门用来作为目标存储节点进行数据恢复的OSN的Agent。总之Agent的选择方式有多种,均在本发明实施例的保护范围之内。
某些实施方式中,可以根据所述对象表的内容,由拆分模块605把所述对象表分解为几个子表,每个子表中包括OSN1的一部分数据对象的关联数据对象的信息。所有子表互不重复,合起来为原来的对象表。将每个子表分发到一个对应的OSN,从而由多个Agent执行恢复任务,从而进一步提高数据对象的恢复效率,减少对系统运行的影响。拆分模块605拆分表时,需要按照一定的策略,如当需要接收子表的OSN作为数据对象恢复的目标OSN,则要考虑该OSN的数据容量、所在节点,及所在机柜等。总之原则是系统中各OSN的负载均衡和系统的数据安全,避免把存有关联数据对象的节点作为恢复节点,避免选择的多个恢复节点处于同一个机柜中。
某些实施方式中,本发明实施例的数据恢复装置还包括监控模块604,用于获得所述存储节点代理的恢复任务进展,监控恢复进程。
在恢复进程中,监控模块604可以接收Agent实时上报执行任务的情况,对恢复进程进行监控。某些实施方式中,也可由监控模块604主动获取Agent的恢复进程以进行监控。所述监控可以包括统计对象恢复进度,以使Monitor或管理员对系统运行进行管理,比如当恢复进行过程中,所述被恢复OSN恢复正常,此时可以根据恢复进度决定是否需要继续进行恢复进程,以避免系统中存在不必要的数据冗余。比如在恢复进行到30%时,可以终止恢复进程;在恢复到80%时,则继续恢复,同时将待恢复OSN数据清空。
所述监控还可以包括处理恢复故障,比如某个Agent恢复数据对象失败,无法完成恢复任务,此时可以及时重新指派其他Agent。
某些实施方式中,发送模块602还可用于把恢复的结果上报给Monitor,Monitor可以根据恢复任务完成情况,决定是否重新启动失败的任务,从而进一步保证数据恢复过程的完善。
对于本发明实施例五的数据恢复装置,在本实施例中具体指Agent,其进行数据对象恢复的过程如下:
第一获取模块501接收OTD发送的待恢复的OSN1的对象表,第一读取模块502根据对象表从关联数据对象所在的存储节点读取所述关联数据对象的数据,恢复模块503根据第一读取模块502读取的所述关联数据对象的数据按RAID模式恢复出所述对象表中的数据对象。
根据OTD选择的接收对象表的OSN的不同,执行的操作相应不同,可以是第一读取模块502从其他存放关联数据对象的OSN上读取关联数据对象,恢复模块503按RAID模式恢复数据对象到其所在的OSN上;也可以是第一读取模块502从其所在的OSN上读取存放的关联数据对象,恢复模块503按RAID模式恢复出数据对象到其他的OSN上;也可以是第一读取模块502从其他存放关联数据对象的OSN上读取关联数据对象,恢复模块503按RAID模式恢复数据对象到另外的OSN上。数据恢复过程中,根据RAID模式的不同,恢复方法相应不同,如按RAID1模式存放的数据对象,采用直接复制的方法即可恢复;按RAID5模式存放的数据对象,则需采用异或运算计算出待恢复的数据对象。
某些实施方式中,如果在对象表被拆分为子表,则存在多个Agent执行恢复操作,每个Agent恢复相应的子表中的数据对象。
在恢复过程中,可以合理控制数据复制的步长,从而减少对于当前正常业务的影响。
某些实施方式中,恢复模块503完成恢复任务后,上报模块504把恢复的结果上报给MDS,在MDS上更新文件的条带分布信息,这样新的访问就可以进行了。
某些实施方式中,也可以MDS主动向上报模块504获取恢复结果。在MDS上更新文件的条带分布后,CA根据MDS访问OSN时就可以直接读取数据,不需要CA通过软件RAID的方式读取数据,从而使CA感觉不到系统中OSN发生的变化。在某些实施方式中,如果在OSN恢复过程中,CA进行访问,此时由于MDS还未进行更新,要由CA通过软件RAID的方式读取数据。
MDS上元数据中条带分布信息有变化,就会同步到OLL中,目的是保证当有新的OSN需要恢复时,OTD可以从OLL获取最新的数据对象的关联数据对象的信息。
某些实施方式中,在恢复进程中,上报模块504实时上报执行任务的情况,由OTD对恢复进程进行监控。
同理,本发明实施例提供的数据恢复装置也可结合本发明实施例四,实现本发明实施例四的数据恢复方法。
本发明实施例提供的装置,用于实现获得待恢复的第一存储节点的数据对象的关联数据对象的信息,发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险。
本发明实施例七的数据更新方法,如图13所示,包括:
S701、获得待更新的第一存储节点的数据对象的关联数据对象的信息;
S702、根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
S703、采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点。
本发明实施例的数据更新方法,通过获得待更新的第一存储节点的数据对象的关联数据对象的信息,根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险,同时在数据的迁移和备份过程中,减少对当前业务的影响。
本发明实施例中,所述更新包括恢复第一存储节点的数据对象、迁移第一存储节点上的数据对象和对第一存储节点上的数据对象增加备份等。其中,恢复第一存储节点的数据对象在前面已有说明。
为说明方便,以下假设需要迁移或增加备份数据对象为obj1,其存放于OSN1。数据对象需要迁移可以包括OSN1上有多个数据对象同时被访问,为分担OSN1负载,可以把其中的一部分数据对象迁移到其他的OSN,如obj1。OSN1上的数据对象需要增加备份可以包括有多个客户同时访问某一数据对象obj1,可以将obj1备份到其他OSN,即通过增加obj1的方式以分担访问负载。某些实施方式中,需要迁移或备份的对象可以为多个。
本发明实施例中,关于数据恢复的方法流程可以适用于对数据对象的迁移或备份。下面给出本发明实施例八的数据迁移或备份方法,包括:
S801、Monitor发现OSN1上有包括obj1的多个数据对象需要迁移或增加备份后,发送一个任务指令给OTD。
S802、OTD从OLL获取所述包括obj1的多个数据对象的对象表,即关联数据对象的信息。
S803、OTD把所述对象表分发到至少一个OSN上。
S804、接收到对象表的OSN上的Agent根据对象表,从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,按RAID模式获得所述包括obj1的多个数据对象。
S805、Agent完成任务后,把迁移或备份的结果上报给MDS,在MDS上更新文件的条带分布信息,这样新的访问就可以进行了。
S806、MDS上元数据中条带分布信息有变化,就会同步到OLL中,目的是保证当有新的OSN需要迁移或备份时,OTD可以从OLL获取最新的数据对象的关联数据对象的信息。
S807、在迁移或备份进程中,Agent实时上报执行任务的情况,由OTD对迁移或备份进程进行监控。
S808、OTD把迁移或备份的结果上报给Monitor,Monitor可以根据迁移或备份任务完成情况,决定是否重新启动失败的任务,从而进一步保证数据迁移或备份过程的完善。
S809、进一步的,在数据对象迁移后,删除OSN1的被迁移的数据对象
上述实施例只是数据迁移或备份的一个简单实施例,由于数据迁移或备份的流程与数据恢复原理相同,具体细节请参照上述关于数据恢复的详细实施例。
本发明实施例,通过获得待迁移或备份的第一存储节点的数据对象的关联数据对象的信息,根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,迁移或备份出所述第一存储节点的数据对象的技术手段,由于完全不对需要迁移或备份的数据对象本身进行操作,避免了在数据迁移或备份过程中影响对待迁移或备份数据对象的访问,尤其在热点数据的迁移或备份过程中上述效果更加明显。
相应于上述方法实施例,本发明实施例九提供一种数据更新装置,如图14所示,包括:
第三获取模块901,用于获得待更新的第一存储节点的数据对象的关联数据对象的信息;
第二读取模块902,用于根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
更新模块903,用于采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点。
本发明实施例提供的数据更新装置与数据更新方法的结合,可参照本说明书中关于数据恢复装置部分的说明执行。
本发明实施例提供的装置,通过获得待更新的第一存储节点的数据对象的关联数据对象的信息,根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点的技术手段,有效解决了当前并行文件系统中的数据恢复问题,降低了并行文件系统的运行风险,同时在数据的迁移和备份过程中,减少对当前业务的影响。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述仅为本发明的几个实施例,本领域的技术人员依据申请文件公开的可以对本发明进行各种改动或变型而不脱离本发明的精神和范围。

Claims (33)

1、一种数据恢复方法,其特征在于,所述方法包括:
获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点。
2、根据权利要求1所述的数据恢复方法,其特征在于:
所述关联数据对象的信息包括所述第一存储节点中一个或多个数据对象的关联数据对象的信息。
3、根据权利要求1所述的数据恢复方法,其特征在于:
所述关联数据对象的信息以对象表形式存放,所述对象表为一个或多个,所述第一存储节点的数据对象的关联数据对象存放在至少一个对象表中。
4、根据权利要求3所述的数据恢复方法,其特征在于,所述获得待恢复的第一存储节点的数据对象的关联数据对象的信息包括:
获得所述第一存储节点的对象表;或,
获得任务分发器拆分所述第一存储节点的对象表后形成的子表。
5、根据权利要求1所述的数据恢复方法,其特征在于:
所述目标存储节点根据策略确定或预先设置。
6、根据权利要求1所述的数据恢复方法,其特征在于:
所述数据文件的存储模式为存放在各数据对象中的数据文件的数据之间的关联模式,包括RAID模式。
7、根据权利要求1所述的数据恢复方法,其特征在于,所述方法还包括:
上报恢复任务进展以监控恢复进程。
8、根据权利要求1至7任一项所述的数据恢复方法,其特征在于,所述方法还包括:
上报恢复结果,以更新文件的条带信息。
9、一种数据恢复方法,其特征在于,所述方法包括:
获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到至少一个目标存储节点。
10、根据权利要求9所述的数据恢复方法,其特征在于:
所述关联数据对象的信息包括所述第一存储节点中一个或多个数据对象的关联数据对象的信息。
11、根据权利要求9所述的数据恢复方法,其特征在于:
所述关联数据对象的信息以对象表形式存放,所述对象表为一个或多个,所述第一存储节点的数据对象的关联数据对象存放在至少一个对象表中。
12、根据权利要求11所述的数据恢复方法,其特征在于,所述发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理包括:
发送所述第一存储节点的对象表到至少一个执行恢复的存储节点代理;或,发送拆分所述第一存储节点的对象表后形成的子表到至少一个执行恢复的存储节点代理。
13、根据权利要求9所述的数据恢复方法,其特征在于,所述发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理前,所述方法还包括:
根据所述关联数据对象的信息,采用恢复策略确定所述至少一个执行恢复的存储节点代理;或,
预先设置至少一个目标存储节点代理作为所述至少一个执行恢复的的存储节点代理。
14、根据权利要求9所述的数据恢复方法,其特征在于:
所述目标存储节点根据策略确定或预先设置。
15、根据权利要求9所述的数据恢复方法,其特征在于,所述方法还包括:
获得所述存储节点代理的恢复任务进展,以监控恢复进程。
16、根据权利要求9至15任一项所述的数据恢复方法,其特征在于,所述获得待恢复的第一存储节点的数据对象的关联数据对象的信息前还包括:
接收恢复指令,获知待恢复的第一存储节点信息。
17、一种数据恢复装置,其特征在于,所述装置包括:
第一获取模块,用于获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
第一读取模块,用于根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
恢复模块,用于采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,恢复出所述第一存储节点的数据对象到目标存储节点。
18、根据权利要求17所述的数据恢复装置,其特征在于:
所述数据文件的存储模式为存放在各数据对象中的数据文件的数据之间的关联模式,包括RAID模式。
19、根据权利要求17所述的数据恢复装置,其特征在于:
所述关联数据对象的信息包括所述第一存储节点中一个或多个数据对象的关联数据对象的信息;所述关联数据对象的信息以对象表形式存放,所述对象表为一个或多个,所述第一存储节点的数据对象的关联数据对象存放在至少一个对象表中。
20、根据权利要求19所述的数据恢复装置,其特征在于,所述获得待恢复的第一存储节点的数据对象的关联数据对象的信息包括:
所述第一获取模块获得所述第一存储节点的对象表;或,
所述第一获取模块获得任务分发器拆分所述第一存储节点的对象表后形成的子表。
21、根据权利要求17至20任一项所述的数据恢复装置,其特征在于,所述装置还包括:
上报模块,用于上报恢复任务进展以监控恢复进程。
22、根据权利要求21所述的数据恢复装置,其特征在于:
所述上报模块还用于上报恢复结果,以更新文件的条带信息。
23、一种数据恢复装置,其特征在于,所述装置包括:
第二获取模块,用于获得待恢复的第一存储节点的数据对象的关联数据对象的信息;
发送模块,用于发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理,以使所述至少一个执行恢复的存储节点代理根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据,采用所述关联数据对象的数据按照数据文件的存储模式恢复所述第一存储节点的数据对象到至少一个目标存储节点。
24、根据权利要求23所述的数据恢复装置,其特征在于:
所述关联数据对象的信息包括所述第一存储节点中一个或多个数据对象的关联数据对象的信息;所述关联数据对象的信息以对象表形式存放,所述对象表为一个或多个,所述第一存储节点的数据对象的关联数据对象存放在至少一个对象表中。
25、根据权利要求24所述的数据恢复装置,其特征在于,所述装置还包括:
拆分模块,用于拆分所述第一存储节点的对象表,以形成多个子表。
26、根据权利要求25所述的数据恢复装置,其特征在于,所述发送所述关联数据对象的信息到至少一个执行恢复的存储节点代理包括:
所述发送模块发送所述第一存储节点的对象表到至少一个执行恢复的存储节点代理;或,发送拆分所述第一存储节点的对象表后形成的子表到至少一个执行恢复的存储节点代理。
27、根据权利要求23所述的数据恢复装置,其特征在于,所述装置还包括:
确定模块,用于所述发送模块发送关联数据对象的信息到至少一个执行恢复的存储节点代理前,根据所述关联数据对象的信息,采用恢复策略确定所述至少一个执行恢复的存储节点代理;或,以预先设置的存储节点作为所述第一存储节点的数据对象恢复的目标存储节点。
28、根据权利要求23至27任一项所述的数据恢复装置,其特征在于,所述装置还包括:
监控模块,用于获得所述存储节点代理的恢复任务进展,监控恢复进程。
29、一种数据更新方法,其特征在于,所述方法包括:
获得待更新的第一存储节点的数据对象的关联数据对象的信息;
根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点。
30、根据权利要求29所述的数据更新方法,其特征在于,所述更新包括:
恢复、迁移和备份。
31、根据权利要求30所述的数据更新方法,其特征在于:
所述更新为迁移时,所述方法还包括删除所述第一存储节点的数据对象。
32、根据权利要求29至31任一项所述的数据更新方法,其特征在于:
所述数据文件的存储模式为存放在各数据对象中的数据文件的数据之间的关联模式,包括RAID模式。
33、一种数据更新装置,其特征在于,所述装置包括:
第三获取模块,用于获得待更新的第一存储节点的数据对象的关联数据对象的信息;
第二读取模块,用于根据所述关联数据对象的信息从所述关联数据对象所在的存储节点获得所述关联数据对象的数据;
更新模块,用于采用所述关联数据对象的数据按照数据文件的存储模式得到所述第一存储节点的数据对象的数据,更新出所述第一存储节点的数据对象到目标存储节点。
CNA2009101058884A 2009-03-06 2009-03-06 数据更新方法和装置 Pending CN101515296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2009101058884A CN101515296A (zh) 2009-03-06 2009-03-06 数据更新方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2009101058884A CN101515296A (zh) 2009-03-06 2009-03-06 数据更新方法和装置

Publications (1)

Publication Number Publication Date
CN101515296A true CN101515296A (zh) 2009-08-26

Family

ID=41039749

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2009101058884A Pending CN101515296A (zh) 2009-03-06 2009-03-06 数据更新方法和装置

Country Status (1)

Country Link
CN (1) CN101515296A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479243A (zh) * 2010-11-30 2012-05-30 英业达股份有限公司 以双层容器生成目标文件的系统及其方法
US20120259818A1 (en) * 2011-04-05 2012-10-11 International Business Machines Corporation System And Method For Hierarchical Recovery Of A Cluster File System
CN102831029A (zh) * 2011-06-14 2012-12-19 中兴通讯股份有限公司 一种网元升级回退的实现方法及系统
CN103106213A (zh) * 2011-11-14 2013-05-15 中国科学院声学研究所 一种基于文件和数据块两级粒度的副本替换方法及系统
CN102025758B (zh) * 2009-09-18 2014-06-04 华为数字技术(成都)有限公司 分布式系统中数据副本的恢复方法、装置和系统
CN104536785A (zh) * 2014-12-23 2015-04-22 北京国双科技有限公司 实时系统更新方法及装置
CN104765651A (zh) * 2014-01-06 2015-07-08 中国移动通信集团福建有限公司 一种数据处理方法和装置
WO2016101283A1 (zh) * 2014-12-27 2016-06-30 华为技术有限公司 一种数据处理方法装置及系统
CN105786405A (zh) * 2016-02-25 2016-07-20 华为技术有限公司 一种在线升级方法、装置及系统
CN107357689A (zh) * 2017-08-02 2017-11-17 郑州云海信息技术有限公司 一种存储节点的故障处理方法及分布式存储系统
CN107544869A (zh) * 2017-05-27 2018-01-05 新华三技术有限公司 一种数据恢复方法和装置
CN108009041A (zh) * 2017-12-17 2018-05-08 华中科技大学 一种基于数据关联性感知的闪存阵列校验更新方法
CN109144791A (zh) * 2018-09-30 2019-01-04 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
CN109558089A (zh) * 2018-12-03 2019-04-02 湖南御家科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN109582213A (zh) * 2017-09-29 2019-04-05 杭州海康威视系统技术有限公司 数据重构方法及装置、数据存储系统
CN110347415A (zh) * 2019-07-19 2019-10-18 北京优密数码科技有限公司 一种用于复杂装备产品的文件系统更新方法和装置
WO2021077746A1 (zh) * 2019-10-25 2021-04-29 浪潮电子信息产业股份有限公司 一种数据恢复方法、装置、设备及可读存储介质
CN112764837A (zh) * 2021-01-29 2021-05-07 腾讯科技(深圳)有限公司 数据上报方法、装置、存储介质及终端

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025758B (zh) * 2009-09-18 2014-06-04 华为数字技术(成都)有限公司 分布式系统中数据副本的恢复方法、装置和系统
CN102479243A (zh) * 2010-11-30 2012-05-30 英业达股份有限公司 以双层容器生成目标文件的系统及其方法
US20120259818A1 (en) * 2011-04-05 2012-10-11 International Business Machines Corporation System And Method For Hierarchical Recovery Of A Cluster File System
WO2012137088A1 (en) * 2011-04-05 2012-10-11 International Business Machines Corporation System and method for hierarchical recovery of a cluster file system
GB2503841A (en) * 2011-04-05 2014-01-08 Ibm System and method for hierarchical recovery of a cluster system
US8671079B2 (en) 2011-04-05 2014-03-11 International Business Machines Corporation System and method for hierarchical recovery of a cluster file system
GB2503841B (en) * 2011-04-05 2017-03-22 Ibm System and method for hierarchical recovery of a cluster system
CN102831029A (zh) * 2011-06-14 2012-12-19 中兴通讯股份有限公司 一种网元升级回退的实现方法及系统
CN102831029B (zh) * 2011-06-14 2017-05-10 中兴通讯股份有限公司 一种网元升级回退的实现方法及系统
CN103106213B (zh) * 2011-11-14 2016-11-23 中国科学院声学研究所 一种基于文件和数据块两级粒度的副本替换方法及系统
CN103106213A (zh) * 2011-11-14 2013-05-15 中国科学院声学研究所 一种基于文件和数据块两级粒度的副本替换方法及系统
CN104765651A (zh) * 2014-01-06 2015-07-08 中国移动通信集团福建有限公司 一种数据处理方法和装置
CN104536785B (zh) * 2014-12-23 2018-04-06 北京国双科技有限公司 实时系统更新方法及装置
CN104536785A (zh) * 2014-12-23 2015-04-22 北京国双科技有限公司 实时系统更新方法及装置
CN108733761A (zh) * 2014-12-27 2018-11-02 华为技术有限公司 一种数据处理方法装置及系统
US11032368B2 (en) 2014-12-27 2021-06-08 Huawei Technologies Co., Ltd. Data processing method, apparatus, and system
WO2016101283A1 (zh) * 2014-12-27 2016-06-30 华为技术有限公司 一种数据处理方法装置及系统
CN108733761B (zh) * 2014-12-27 2021-12-03 华为技术有限公司 一种数据处理方法装置及系统
US11799959B2 (en) 2014-12-27 2023-10-24 Huawei Technologies Co., Ltd. Data processing method, apparatus, and system
CN105993013A (zh) * 2014-12-27 2016-10-05 华为技术有限公司 一种数据处理方法装置及系统
CN105786405B (zh) * 2016-02-25 2018-11-13 华为技术有限公司 一种在线升级方法、装置及系统
CN105786405A (zh) * 2016-02-25 2016-07-20 华为技术有限公司 一种在线升级方法、装置及系统
US10999139B2 (en) 2016-02-25 2021-05-04 Huawei Technologies Co., Ltd. Online upgrade method, apparatus, and system
CN107544869A (zh) * 2017-05-27 2018-01-05 新华三技术有限公司 一种数据恢复方法和装置
CN107544869B (zh) * 2017-05-27 2020-06-09 新华三技术有限公司 一种数据恢复方法和装置
CN107357689A (zh) * 2017-08-02 2017-11-17 郑州云海信息技术有限公司 一种存储节点的故障处理方法及分布式存储系统
CN107357689B (zh) * 2017-08-02 2020-09-08 郑州云海信息技术有限公司 一种存储节点的故障处理方法及分布式存储系统
CN109582213B (zh) * 2017-09-29 2020-10-30 杭州海康威视系统技术有限公司 数据重构方法及装置、数据存储系统
CN109582213A (zh) * 2017-09-29 2019-04-05 杭州海康威视系统技术有限公司 数据重构方法及装置、数据存储系统
CN108009041A (zh) * 2017-12-17 2018-05-08 华中科技大学 一种基于数据关联性感知的闪存阵列校验更新方法
CN108009041B (zh) * 2017-12-17 2020-02-14 华中科技大学 一种基于数据关联性感知的闪存阵列校验更新方法
CN109144791A (zh) * 2018-09-30 2019-01-04 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
CN109558089A (zh) * 2018-12-03 2019-04-02 湖南御家科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN110347415A (zh) * 2019-07-19 2019-10-18 北京优密数码科技有限公司 一种用于复杂装备产品的文件系统更新方法和装置
WO2021077746A1 (zh) * 2019-10-25 2021-04-29 浪潮电子信息产业股份有限公司 一种数据恢复方法、装置、设备及可读存储介质
US12001289B2 (en) 2019-10-25 2024-06-04 Inspur Electronic Information Industry Co., Ltd. Data recovery method, apparatus and device, and readable storage medium
CN112764837A (zh) * 2021-01-29 2021-05-07 腾讯科技(深圳)有限公司 数据上报方法、装置、存储介质及终端

Similar Documents

Publication Publication Date Title
CN101515296A (zh) 数据更新方法和装置
CN100461121C (zh) 把存储单元和相关元数据复制到存储器的方法和系统
US9823980B2 (en) Prioritizing data reconstruction in distributed storage systems
US11614883B2 (en) Distributed data storage system using erasure coding on storage nodes fewer than data plus parity fragments
US9459804B1 (en) Active replication switch
US9182918B2 (en) Network storage systems having clustered raids for improved redundancy and load balancing
US7840536B1 (en) Methods and apparatus for dynamic journal expansion
CN103793271B (zh) 用于在镜像卷之间进行切换的方法和系统
US8850144B1 (en) Active replication switch
US8108634B1 (en) Replicating a thin logical unit
JP5192226B2 (ja) 待機系計算機の追加方法、計算機及び計算機システム
US10223007B1 (en) Predicting IO
US11570243B2 (en) Decommissioning, re-commissioning, and commissioning new metadata nodes in a working distributed data storage system
US20040153481A1 (en) Method and system for effective utilization of data storage capacity
US7398354B2 (en) Achieving data consistency with point-in-time copy operations in a parallel I/O environment
CN103777897A (zh) 用于在主要存储位置和辅助存储位置之间复制数据的方法和系统
CN104081354A (zh) 在可缩放环境中管理分区
EP2643771B1 (en) Real time database system
CN104081353A (zh) 可缩放环境中的动态负载平衡
JP4920248B2 (ja) サーバの障害回復方法及びデータベースシステム
CN102546782A (zh) 一种分布式系统及其数据操作方法
US10235145B1 (en) Distributed scale-out replication
CN101567211A (zh) 一种提高磁盘可用性的方法和磁盘阵列控制器
CN103942112A (zh) 磁盘容错方法、装置及系统
CN103080909A (zh) 计算机系统及其管理方法以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20090826