CN102629223A - 一种数据修复方法及装置 - Google Patents

Abstract

本申请实施例公开了一种数据修复方法。该方法包括：读取数据异常存储器内数据对象的序列号，所述序列号在数据对象写入多个存储器过程中统一分配；将数据异常存储器的序列号与数据复本存储器的序列号进行比较，将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。本申请实施例还公开了一种数据修复装置。本申请实施例通过比较序列号得出数据异常存储器相对于复本存储器的差异后，仅需要将多出序列号对应的数据对象而不是全部数据复制到数据异常存储器，从而减少了复制的数据总量，节约了数据拷贝开销。

Description

一种数据修复方法及装置

技术领域

本申请涉及数据存储技术领域，特别是涉及一种数据复本修复方法及相应的装置。

背景技术

为提高数据的可用性和系统的稳定性，现有的数据储存模式通常采用分布式存储技术，即将一份数据作为整体同时备份存储在多个独立的存储器，形成多个数据复本，以便一处存储的数据出现坏损或丢失时可通过其他数据复本实现数据恢复。比如FaceBook的相册存储系统、淘宝的图片存储系统TFS，Google的海量数据存储系统GFS等。这些存储系统采用的数据修复方法是全额复制技术。所谓全额复制技术是指在一处数据出现坏损或丢失后，将复本的全部数据均复制到坏损的存储器，这种方式技术上简单、处理方便，被广泛使用于分布式存储系统。但是，无论一份数据是局部坏损或全部丢失，全额复制技术均复制整份数据用以数据修复，在数据复本含有的数据量比较大的情况下，将导致大量的数据拷贝开销，特别在分布式存储系统环境下，进行大数据量传输不仅消耗磁盘总线带宽，还将占用较多的网络资源，影响到基于网络的前端应用服务。

发明内容

为解决上述技术问题，本申请实施例提供一种数据修复方法及装置，以减少数据修复过程中的数据拷贝开销。

本申请实施例提供的数据修复方法包括：

读取数据异常存储器内数据对象的序列号，所述序列号在数据对象写入多个存储器过程中统一分配；

将数据异常存储器的序列号与数据复本存储器的序列号进行比较，将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

优选地，在数据对象写入多个存储器过程中统一分配序列号包括：

选择多个存储器中的一个存储器作为主存储器；

在主存储器接收数据对象后生成与该数据对象对应的序列号；

将所述数据对象和对应的序列号写入到多个存储器。

进一步优选地，所述与数据对象对应的序列号按预设步长顺序增加，则：读取数据异常存储器内数据对象的最大序列号，将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较。

进一步优选地，将所述数据对象和对应的序列号写入多个从存储器之前，所述方法还包括：

将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，则：将多出的序列号对应的数据对象设置为无效。

本申请实施例还提供了一种数据修复装置。该装置包括：读取单元、分配单元、比较单元和复制单元，其中：

所述读取单元，用于读取数据异常存储器内数据对象的序列号，所述序列号由分配单元在数据对象写入多个存储器过程中统一分配；

所述比较单元，用于将数据异常存储器的序列号与数据复本存储器的序列号进行比较；

所述复制单元，用于将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

优选地，所述分配单元包括：选择子单元、生成子单元和写入子单元，其中：

所述选择子单元，用于选择多个存储器中的一个存储器作为主存储器；

所述生成子单元，用于在主存储器接收数据对象后生成与该数据对象对应的序列号；

所述写入子单元，用于将所述数据对象和对应的序列号写入到多个从存储器。

进一步优选地，所述生成子单元生成的序列号按预设步长顺序增加，则：读取单元用于读取数据异常存储器内数据对象的最大序列号，比较单元用于将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较。

进一步优选地，所述分配单元还包括比较子单元和设置子单元，其中：

所述比较子单元，用于在将所述数据对象和对应的序列号写入多个从存储器之前，将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，触发设置子单元；

所述设置子单元，用于将多出的序列号对应的数据对象设置为无效。

本申请实施例将数据异常存储器内数据对象的序列号与数据复本存储器的序列号进行比较，比较后获得数据复本存储器相对于数据异常存储器多出的序列号，然后将多出序列号对应的数据对象复制到数据异常存储器，从而实现数据修复。与现有技术相比，本申请实施例由于在将数据对象写入多个存储器过程中统一分配了相应的序列号，通过比较序列号得出数据异常存储器相对于复本存储器的差异后，仅需要将多出序列号对应的数据对象而不是全部数据复制到数据异常存储器，从而减少了复制的数据总量，节约了数据拷贝开销。而且，在分布式存储系统环境下，由于进行数据修复需要复制的数据总量减小，对磁盘总线带宽的消耗、网络资源的占用量随之减小，从而避免了对基于网络的前端应用服务的影响。此外，由于需要复制的数据总量减小，数据修复操作的时间变短，缩小了潜在的数据失效窗口，从而进一步从整体上提高了数据可用性和系统稳定性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一的数据修复方法流程图；

图2为本申请实施例二的数据修复方法的序列号分配流程图；

图3为本申请实施例三的数据修复方法流程图；

图4为本申请实施例的一种数据修复装置结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参见图1，该图示出了本申请实施例一的数据修复方法的流程。该实施例包括：

步骤S101：读取数据异常存储器内数据对象的序列号，所述序列号在数据对象写入多个存储器过程中统一分配；

数据存储系统在存储数据时，限于存储速度和吞吐带宽，通常不能将一个大块数据一次性全部写入存储器，而需要将待存储的数据划分为多个数据块，每个数据块作为一个数据对象存入存储器。本实施例在数据对象写入相互作为备份的多个存储器过程中统一分配序列号，该序列号与数据对象对应。为了进行数据修复，需要读取数据异常存储器内数据对象的序列号，如果序列号仅与数据对象对应、相互之间具有独立时，需要读取数据异常存储器内目前存储的全部数据对象对应的序列号；如果序列号不仅与数据对象对应，而且序列号之间还存在某种有规律性的关系，比如，逐次增加或减小，则可以仅读取最大或最小的序列号。这里数据异常存储器指存储器存储的数据因各种原因出现坏损、缺失等异常的存储器，包括存储器硬件整体出现故障数据全部损失后经过故障排除后的存储器。异常存储器在系统重新启动后将发起数据修复工作。

步骤S102：将数据异常存储器的序列号与数据复本存储器的序列号进行比较，获取数据复本存储器多出的序列号；

读取数据异常存储器的序列号后，将该序列号与数据复本存储器的序列号进行比较，以确定数据异常存储器相对于数据复本存储器出现的数据坏损或缺失。这里的数据复本存储器指存储器存储的数据未出现坏损、缺失等异常情况而数据完备的存储器。与前述读取数据异常存储器内数据对象的序列号相对应，如果读取的是数据异常存储器的全部的序列号，则将这些序列号与数据复本存储器的全部序列号进行比较，如果读取的仅是最大(小)序列号，则将该最大(小)序列号与数据复本存储器的最大(小)序列号进行比较。比较的目的在于确定两个数据存储器的差异，从而找出数据异常存储器的数据异常点。经过比较后，可获得数据复本存储器相对于数据异常存储器多出的序列号，该序列号反映了数据异常存储器内的数据异常情况。

步骤S103：将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

数据复本存储器多出的序列号实际上即是数据异常存储器缺失的序列号。找出数据异常存储器的缺少的序列号后，即可将数据复本存储器中相应序列号对应的数据对象拷贝到数据异常存储器，从而实现数据修复。

本实施例将数据异常存储器内数据对象的序列号与数据复本存储器的序列号进行比较，比较后获得数据复本存储器相对于数据异常存储器多出的序列号，然后将多出序列号对应的数据对象复制到数据异常存储器，从而实现数据修复。与现有技术相比，本实施例由于在将数据对象写入多个存储器过程中统一分配了相应的序列号，通过比较序列号得出数据异常存储器相对于复本存储器的差异后，仅需要将多出序列号对应的数据对象而不是全部数据复制到数据异常存储器，从而减少了复制的数据总量，节约了数据拷贝开销。而且，在分布式存储系统环境下，由于进行数据修复需要复制的数据总量减小，对磁盘总线带宽的消耗、网络资源的占用量随之减小，从而避免了对基于网络的前端应用服务的影响。此外，由于需要复制的数据总量减小，数据修复操作的时间变短，缩小了潜在的数据失效窗口，从而进一步从整体上提高了数据可用性和系统稳定性。

上述实施例一的步骤S101中提到数据对象的序列号在数据对象写入多个存储器过程中统一分配。要实现序列号的统一分配，其方式较多，比如每个存储器维护一个计数器，各存储器每接收到一个数据对象时该计数器的数值自动增加，由此确保在多个存储器上的数据对象获得的序列号一致；还比如将数据对象按照预设规则进行运算得到与该数据对象对应的序列号，由于相互存在备份关系的多个存储器在一次写操作过程中写入的数据对象相同，因此得到的序列号也相同，从而保证了序列号的统一分配。但是，上述方式的序列号存在多个“源”(每个存储器一个“源”)，如果某个存储器出现计数错误或计算错误，将导致相互具有备份关系的多个存储器存储的数据对象并不一致，相应地，每个存储器内的全部序列号也将存在“先天”差别，那么修复过程中多出的序列号并不能真正反映数据异常存储器出现的数据缺失或坏损等异常情况。为此，本申请实施例优选按照如下的方式实现数据对象写入多个存储器过程中的序列号的统一分配，该实现方法构成本申请的另一种数据修复方法实施例。参见图2，该图示出了本申请实施例二的数据修复方法的序列号分配流程，该流程包括：

步骤S2011：选择多个存储器中的一个存储器作为主存储器；

如前所述，现有的数据存储系统为了提高数据的可用性和系统的稳定性，通常将一个数据同时存储在多个相互独立的存储器中，以便在某个存储器的数据出现问题时可以利用其他存储器上存储的复本进行修复。这里的多个存储器可以指位于一个集群存储系统中各个存储单元，也可以指通过网络连接分布式存储存储器，无论何种架构，该存储系统内的各个存储器通常具有等同地位。从多个存储器中选择一个存储器作为主存储器，该主存储器就存储数据本身而言仍有其他存储器相同。选择主存储器可以随机选择，也可以按照一定的顺序逐个选择，或者按照某种概率分布进行选择。此外，该选择过程还可以通过对主存储器的“健康状况”进行监控实现选择，当发现主存储器发生故障后，从剩余的其他“健康”存储器中重新选择一台充当主存储器。通过这些选择机制保证只要有多个可用存储器存在即可选择出主存储器。

步骤S2012：在主存储器接收数据对象后生成与该数据对象对应的序列号；

在选择出主存储器后，其他存储器即处于从存储器地位，整个存储系统通过该主存储器实现数据写入控制，准备存储数据存储系统的数据不直接发送到各存储器，而是先由主存储器接收数据对象，在主存储器接收数据对象后生成与该数据对象对应的序列号，该序列号的生成方式可以有多种，比如按照自然序列生成，或根据数据对象生成；这些生成的序列号之间可以具有某种规律，比如按顺序递增或递减，也可以不具有某种规律、相互之间独立存在。

步骤S2013：将所述数据对象和对应的序列号写入到多个存储器。

生成数据序列号后，将数据对象和对应的序列号写入到多个存储器，由于序列号出于一“源”，从而保证了多个存储器的序列号的统一。

上述实施例二的数据修复方法中，如果在分布式存储系统环境下，网络出现异常，由主存储器处将数据对象和序列号写入多个存储器的过程将可能导致某些存储器未能正常接收数据对象和序列号，一旦出现这种情况，将导致后续的写操作在未接收数据对象和序列号的存储器与其他正常接收数据对象和序列号的存储器被赋予不同的序列号。为了解决该问题，本申请提出了一种序列号同步机制。该机制在将所述数据对象和对应的序列号写入多个从存储器之前，将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，则：将多出的序列号对应的数据对象设置为无效。通过对接收数据对象和序列号的从存储器接收的序列号与该从存储器已经存储的序列号进行比较，如果两个序列号相差一个预设步长，说明该从存储器在上次的数据对象和序列号写入过程未发生异常情况，如果两个序列号相差两个或两个预设步长以上，说明上次的写入过程出现异常，未能成功写入上次的数据对象和序列号，这种情况下，该从存储器与其他存储器的序列号即出现不一致现象，为此，需要将其他存储器上已经正确写入的数据对象设置为无效，从而确保所有的存储器的有效数据对象和序列号保持一致。

上述两个实施例中提到的序列号之间可以有规律，也可以没有规律，尽管无论何种情况并不影响本申请发明目的的实现。但是，本申请优选所述的序列号按照预设步长顺序增加，这样各个存储器的序列号总体呈现“栈”式排列，即先写入的数据对象对应的序列号小，后写入的数据对象对应的序列号大，这种情况下即可简化本申请实施例的数据修复过程，由此，该简化后的数据修复过程构成本申请的第三实施例。参见附图3，实施例三包括：

步骤S301：读取数据异常存储器内数据对象的最大序列号，所述序列号在数据对象写入存储器过程中按照预设步长顺序增加方式统一分配；

步骤S302：将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较，获取数据复本存储器多出的序列号；。

步骤S303：将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

本实施例由于数据对象对应的序列号之间存在按照预设步长顺序递增的规律，序列号最大的数据对象是最新写入的数据对象，处于数据对象存储的最上层，在通过比较查找数据缺失或损坏时，只需要读取数据异常存储器中的最大序列号而不是读取全部的序列号，仅需要与数据复本存储器中的最大序列号进行比较而不是全部的序列号比较，由此简化了操作，节约了时间，提高了数据修复效率。

以上内容详细描述了本申请的方法实施例，相应地，本申请还给出了实现数据修复的装置实施例。

参见图4，该图示出了本申请数据修复的装置实施例的结构示意图。该装置实施例包括：读取单元401、分配单元402、比较单元403和复制单元404，其中：

所述读取单元401，用于读取数据异常存储器内数据对象的序列号，所述序列号由分配单元402在数据对象写入多个存储器过程中统一分配；

所述比较单元403，用于将数据异常存储器的序列号与数据复本存储器的序列号进行比较；

所述复制单元404，用于将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

该装置实施例的工作过程是：读取单元401读取数据异常存储器内数据对象的序列号，所述序列号由分配单元402在数据对象写入多个存储器过程中统一分配；比较单元403将读取的数据异常存储器的序列号与数据复本存储器的序列号进行比较，然后由复制单元404将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

本装置实施例将数据异常存储器内数据对象的序列号与数据复本存储器的序列号进行比较，比较后获得数据复本存储器相对于数据异常存储器多出的序列号，然后将多出序列号对应的数据对象复制到数据异常存储器，从而实现数据修复。与现有技术相比，本申请实施例由于在将数据对象写入多个存储器过程中统一分配了相应的序列号，通过比较序列号得出数据异常存储器相对于复本存储器的差异后，仅需要将多出序列号对应的数据对象而不是全部数据复制到数据异常存储器，从而减少了复制的数据总量，节约了数据拷贝开销。而且，在分布式存储系统环境下，由于进行数据修复需要复制的数据总量减小，对磁盘总线带宽的消耗、网络资源的占用量随之减小，从而避免了对基于网络的前端应用服务的影响。此外，由于需要复制的数据总量减小，数据修复操作的时间变短，缩小了潜在的数据失效窗口，从而进一步从整体上提高了数据可用性和系统稳定性。

上述系统实施例中的分配单元在具体的应用场景下可以有各种实现结构，本申请优选按照如下的方式构成分配单元。分配单元402包括：选择子单元4021、生成子单元4022和写入子单元4023，其中：

所述选择子单元4021，用于选择多个存储器中的一个存储器作为主存储器；

所述生成子单元4022，用于在主存储器接收数据对象后生成与该数据对象对应的序列号；

所述写入子单元4023，用于将所述数据对象和对应的序列号写入到多个从存储器。

该分配单元的选择子单元4021从多个存储器中选择一个存储器作为主存储器，然后生成子单元4022在主存储器接收数据对象后生成与该数据对象对应的序列号，写入子单元4023将所述数据对象和对应的序列号写入到多个从存储器。

上述装置实施例中生成子单元生成的序列号可以具有某种规律或者没有规律，尽管无论序列号间存在何种关系，均不影响本发明的发明目的的实现。但是，本申请优选生成子单元生成的序列号按预设步长顺序增加，在这种情况下，读取单元可以仅读取数据异常存储器内数据对象的最大序列号，比较单元可仅将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较。从而简化了上述装置实施例的工作过程。在这种简化后的装置实施例中，分配单元还可以进一步包括比较子单元和设置子单元，其中：比较子单元，用于在将所述数据对象和对应的序列号写入多个从存储器之前，将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，触发设置子单元；设置子单元，用于将多出的序列号对应的数据对象设置为无效。通过这种方式可严格保证多个存储器上的可用数据对象和序列号高度一致，从而有利于更加准确地实现数据修复。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种数据修复方法，其特征在于，该方法包括：

读取数据异常存储器内数据对象的序列号，所述序列号在数据对象写入多个存储器过程中统一分配；

将数据异常存储器的序列号与数据复本存储器的序列号进行比较，将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

2.根据权利要求1所述的方法，其特征在于，在数据对象写入多个存储器过程中统一分配序列号包括：

选择多个存储器中的一个存储器作为主存储器；

在主存储器接收数据对象后生成与该数据对象对应的序列号；

将所述数据对象和对应的序列号写入到多个从存储器。

3.根据权利要求2所述的方法，其特征在于，所述与数据对象对应的序列号按预设步长顺序增加，则：读取数据异常存储器内数据对象的最大序列号，将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较。

4.根据权利要求3所述的方法，其特征在于，将所述数据对象和对应的序列号写入多个从存储器之前，所述方法还包括：

将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，则：将多出的序列号对应的数据对象设置为无效。

5.一种数据修复装置，其特征在于，该装置包括：读取单元、分配单元、比较单元和复制单元，其中：

所述读取单元，用于读取数据异常存储器内数据对象的序列号，所述序列号由分配单元在数据对象写入多个存储器过程中统一分配；

所述比较单元，用于将数据异常存储器的序列号与数据复本存储器的序列号进行比较；

所述复制单元，用于将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

6.根据权利要求5所述的装置，其特征在于，所述分配单元包括：选择子单元、生成子单元和写入子单元，其中：

所述选择子单元，用于选择多个存储器中的一个存储器作为主存储器；

所述生成子单元，用于在主存储器接收数据对象后生成与该数据对象对应的序列号；

所述写入子单元，用于将所述数据对象和对应的序列号写入到多个从存储器。

7.根据权利要求6所述的装置，其特征在于，所述生成子单元生成的序列号按预设步长顺序增加，则：读取单元用于读取数据异常存储器内数据对象的最大序列号，比较单元用于将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较。

8.根据权利要求7所述的装置，其特征在于，所述分配单元还包括比较子单元和设置子单元，其中：

所述比较子单元，用于在将所述数据对象和对应的序列号写入多个从存储器之前，将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，触发设置子单元；

所述设置子单元，用于将多出的序列号对应的数据对象设置为无效。

Images