CN103294957A - 支持重复数据删除文件系统中数据更新时的数据保护方法 - Google Patents

Abstract

本发明提供了一种支持重复数据删除文件系统中数据更新时的数据保护方法，用于实现对存量数据的数据块和索引的一致性保障，属于信息安全领域。本发明方法所应用的重复数据删除文件系统中，将文件的数据流划分为数据块存储，设置的数据存储结构主要包括文件块索引集、数据块集和数据块索引集三部分；结合三部分的数据存储结构实现三种操作：生成校验数据的操作；更新数据的操作；删除数据的操作。本发明方法有效地解决了重复数据消除系统中数据更新过程中数据索引一致性保障的问题，确保数据更新失败后存量数据的正确性，增强系统的数据安全性，保证系统的稳定性，有效降低系统的维护成本。

Description

支持重复数据删除文件系统中数据更新时的数据保护方法

技术领域

本发明属于信息安全领域，涉及一种支持重复数据删除功能的文件系统的数据更新过程中数据块及索引一致性保障的方法。

背景技术

随着数据量的爆炸式增长，数据存储的压力越来越明显，随之重复数据删除技术的应用也越来越广。可以为企业减少存储空间扩容，机房扩建，设备维护成本等等。为了更有效地利用存储空间，重复数据删除技术发挥了巨大的作用，但是随着该技术的大量应用，数据安全的重要性也随之体现出来。

因信息数据丢失所造成的损失也越来越大，关注也越来越多。当数据块重复引用的次数增加时，且系统对于重复数据块中的数据的内容进行更新时，会出现数据更新失败等问题，因此产生了对系统数据安全性的隐患。在重复数据删除文件系统中，当前正常状态下已存储的数据称为存量数据；从系统上一次正常状态时到当前状态这一数据更新过程中新增加的数据，称为增量数据。如果出现数据更新失败，即增量数据存储有误，造成存量数据错误或丢失，则由于数据块的重复引用，会造成对应的上层存量文件数据丢失、数据错误等问题。断电、系统异常退出等异常情况也将造成数据更新失败，并且使系统产生垃圾数据。因此，在确保系统效率的前提下保证数据安全性，是目前数据存储的要求，因此对于应用重复数据删除技术的文件中数据的更新，需要提供一种数据索引一致性保障机制，已适用现有应用需求。

发明内容

本发明提供了一种支持重复数据删除文件系统下数据更新时的数据保护方法，用于实现对存量数据的数据块和索引的一致性保障，确保数据更新失败后存量数据的正确性，增强系统的数据安全性，保证系统的稳定性，有效降低系统的维护成本。

本发明提供的一种支持重复数据删除文件系统中数据更新时的数据保护方法，所应用的重复数据删除文件系统中，将文件的数据流划分为数据块存储，设置的数据存储结构包括文件块索引集、数据块集和数据块索引集。文件块索引集中的各文件块索引包括该文件的指纹以及该文件所包含的各数据块在数据块集中的索引信息，数据块集中各数据块信息包括存放该数据块的物理存储地址以及该数据块的指纹、校验码和长度，数据块索引集中的各数据块索引包括该数据块的指纹、校验码、长度、引用文件以及该数据块在数据块集中的索引信息。具体本发明的数据保护方法，包括如下三种操作：

（1）生成校验数据的操作；在数据更新过程中，对每个待更新的数据块都产生一个校验数据，校验数据包括更新前的数据块及数据块索引；

（2）更新数据的操作；根据更新的数据在文件中的位置，找到待更新的数据块及数据块的指纹，对每个待更新的数据块进行更新，包括更新数据块的数据、数据块信息、数据块索引和文件块索引；

（3）删除数据的操作；首先获取删除文件的数据信息，然后执行异步删除或同步删除，在异步删除时，对引用计数为0的数据块进行彻底删除。

本发明的数据保护方法的优点和积极效果在于：

（1）本发明的数据保护方法支持数据块更新前对关联的数据块、数据块索引、文件块索引进行一致性备份，避免在更新失败后关联的数据块、数据块索引、文件块索引做出了相应的调整后造成被重复引用的数据块对应的上层存量文件数据丢失；保证了数据索引的一致性，对于断电、系统异常退出等异常情况确保系统数据的正确性，并且减少了系统产生垃圾数据的情况。

（2）本发明的数据保护方法支持对于更新的数据块原地进行数据更新，确保了系统进行数据读取时依然是顺序读取，保证了系统的数据读取的性能，同时也降低了数据读取的随机度。

（3）本发明的数据保护方法支持对数据的同步删除、异步删除和备份数据安全删除，提高了系统的并行请求响应频率，提高了系统的适用性和易用性，提高了文件系统和应用系统结合的有效性，对于备份的数据会在系统判断其安全后将其删除。

总之，本发明提出的数据保护方法可以确保重复数据删除文件系统的数据更新时的数据安全性，保证了更新操作失败后对于重复引用的数据不会导致存量数据损坏，确保了重复数据删除文件系统中数据的正确性和系统的正常运行，对于重复数据删除文件系统的存量数据是一种保护，对于增量数据是一种持续保护，进而可以大大提高数据更新时重复数据删除文件系统的安全性；且本发明方法可以拓展重复数据删除文件系统的应用范围和实用性，可以使重复数据删除文件系统具有更广泛的应用前景。

附图说明

图1为本发明中支持重复数据删除文件系统的数据及索引组织结构示意图；

图2为本发明的数据保护方法中生成校验数据的操作流程图；

图3为本发明的数据保护方法中更新数据的操作流程图；

图4为本发明的数据保护方法中删除数据的操作流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明的技术方案进一步详细说明。

本发明提供的一种支持重复数据删除文件系统中数据更新时的数据保护方法，重复数据删除文件系统中数据存储的结构，如图1所示。重复数据删除文件系统中以数据块的形式存储文件，每个文件的数据流都用设定的数据流划分方式划分为若干数据块。重复数据删除文件系统中的数据存储结构主要包括文件块索引集、数据块集和数据块索引集三大部分。文件块索引集中存放文件块索引，所述的文件块索引用来保存上层文件到数据块位置的映射关系，主要包括每个文件的指纹以及该文件所包含的各数据块在数据块集中的索引信息。数据块集主要存储消冗后的数据块的物理存储地址及数据块的指纹、校验码和长度等。数据块索引集用来存放上层文件对数据块的引用信息，主要有数据块指纹、校验码、长度、引用文件、引用计数以及数据块在数据块集中的索引信息等，以实现对索引的反向恢复。根据数据块在数据块集中的索引信息能够定位该数据块在数据块集中的存储位置，从而进一步从数据块集中获得该数据块的物理存储地址。例如图1中，对于文件A和文件B，两个文件中都包含若干数据块，在文件块索引集中保存各个文件所包含的数据块在数据块集中的存储位置。

一种实现例中，文件块索引中的主要内容包括文件ID、数据块指纹、数据块在数据块集中的存储地址、数据块长度、数据块校验码等基本信息。数据块集中存储全部的数据块的物理地址及数据块校验码等关键数据及信息。通过查找文件块索引集，根据数据块在数据块集中的存储地址可以直接定位到数据库集中对应的数据。数据索引集主要存储了数据块指纹、数据块长度、数据块校验码、引用文件、引用计数以及数据块在数据块集中的存储地址等相关信息。数据索引集主要是用来对索引进行反向恢复。除了正常数据的存储，数据块集中还有对应更新过程中产生的校验数据，校验数据用来保护更新过程中存量数据的正确性。同时数据索引集也有数据更新过程中产生的校验数据，与数据块集中的校验数据配合使用。校验数据在验证更新数据过程正常完成时删除。

本发明支持重复数据删除文件系统中数据更新时的数据保护方法，结合三部分的数据存储结构，实现如下三种操作：

第一方面：生成校验数据的操作；在数据更新过程中，对每个待更新的数据块都产生一个校验数据，校验数据包括更新前的数据块及数据块索引；

第二方面：更新数据的操作；根据更新的数据在文件中的位置，找到待更新的数据块及数据块的指纹，对每个待更新的数据块进行更新，包括更新数据块的数据、数据块信息、数据块索引和文件块索引；

第三方面：删除数据的操作；首先获取删除文件的数据信息，然后执行异步删除或同步删除，在异步删除时，对引用计数为0的数据块进行彻底删除。

下面分别结合附图说明三种操作的具体实现流程。

如图2所示，生成校验数据的操作的具体步骤如下：

步骤201：将缓存中更新前的数据块、数据块索引和文件块索引同步刷新到磁盘上；更新前的数据块就是原始数据。

步骤202：判断需要同步的数据是否成功，如果成功，执行步骤203；如果数据同步失败，将系统状态标记为“系统数据同步失败”，然后退出。

步骤203：存储校验数据；校验数据在文件产生更新操作时生成，本发明实施例中的校验数据包括如下组成部分：更新前的数据块及数据块索引，生成后组织写入到磁盘即可。

步骤204：根据校验数据中数据块索引中的数据块的引用文件，从文件块索引集中获取该数据块被引用的全部文件块索引。

步骤205：判断获取数据块被引用的文件块索引是否成功，如果成功，则执行步骤207，否则，执行步骤206；当磁盘故障，如出现坏道数据损坏等情况将出现获取不成功的情况。

步骤206：删除校验数据和索引，然后结束。如何不成功，则说明生成的校验数据有误。步骤205中当获取数据失败实际就意味着本次更新操作失败，也退出本次更新。

步骤207：存储校验数据对应的文件块索引；然后结束。

在数据更新过程中，重复数据删除系统将根据更新的数据在文件中的位置，找到待更新的数据块，获得该数据块的指纹。若更新的数据较多时，扫描更新的数据，根据数据在文件中的位置，获得待更新的多个数据块。对每个数据块进行更新的操作，如图3所示。

图3给出了更新一个数据块的操作流程图，例如，需要对数据块chunk_f进行数据更新，数据块chunk_f的引用文件有文件A和文件B，则对数据块chunk_f进行更新的具体操作步骤如下：

步骤301：根据待更新的数据块chunk_f的指纹，在数据块索引集中获取数据块chunk_f的数据块索引信息，主要包括：数据块chunk_f的引用文件以及数据块chunk_f的映射信息。

步骤302：对获取到的数据块chunk_f的数据块索引信息进行备份。

步骤303：判断备份操作是否成功，如果成功，执行步骤304，否则，提示数据更新失败，退出本次数据更新过程。

步骤304：对数据块chunk_f以及数据块chunk_f的数据块索引原地进行更新。原地进行更新是指对更新的数据块或数据块索引信息在磁盘上依旧连续组织存储。

步骤304的过程可具体描述如下：

（a）判断数据块chunk_f的引用文件是否都发出更新该数据块为新数据块的请求，若是，执行（b），否则，执行（c）；

（b）根据数据块chunk_f在数据块集中的索引信息，在数据块集中定位到数据块chunk_f的物理存储地址，进而在磁盘上原地更新数据块，得到新的数据块chunk_f’；然后获得新的数据块chunk_f’的指纹、校验码和长度；并将数据块集中的原数据块chunk_f信息更新为新数据块chunk_f’的信息，将数据块索引集中的原数据块chunk_f索引更新为新数据块chunk_f’的索引信息。新数据块chunk_f’的引用文件就是原数据块chunk_f的引用文件。

（c）当数据块chunk_f的部分引用文件未发出更新该数据块chunk_f为新数据块chunk_f’的请求时，根据数据块chunk_f在数据块集中的索引信息，在数据块集中定位到数据块chunk_f的物理存储地址，在磁盘上新的位置存储更新前的数据块chunk_f，在数据块chunk_f原始物理存储位置上进行数据更新，得到新的数据块chunk_f’，然后获得原数据块chunk_f新的物理存储地址，以及新数据块chunk_f’的指纹、校验码和长度；在数据块集中复制一条原数据块chunk_f的信息，并更新其中原数据块chunk_f的物理存储地址，将原数据块chunk_f的原始数据块信息更新为新数据块chunk_f’的信息；在数据块索引集中复制一条原数据块chunk_f的索引，并更新其中的引用文件和引用计数，将原数据块chunk_f的原始数据块索引更新为新数据块chunk_f’的索引。新数据块chunk_f’的引用文件为发出将数据块chunk_f更新为chunk_f’请求的文件；更新后的数据块chunk_f的引用文件为原始引用文件中未发出将数据块chunk_f更新为chunk_f’请求的文件。

步骤305：判断数据块以及数据块索引的更新操作是否成功，如果成功，执行步骤307，否则，执行步骤306。

步骤306：停止更新操作，根据原数据块chunk_f生成的校验数据回退到更新前的系统状态。

对于原数据块chunk_f根据图2所示的校验数据生成操作，生成相应的校验数据，在更新数据有误时，根据校验数据可恢复原始的数据块。

步骤307：依据更新前后的数据块的引用文件，对相应的文件块索引进行更新操作。

在步骤304中，若执行的是（b）过程，则更新新数据块chunk_f’所有引用文件中关于数据块的信息，例如数据块的指纹、长度和校验码等。若执行的是（c）过程，则需要更新数据块chunk_f和新数据块chunk_f’的所有引用文件中关于数据块的信息，对于chunk_f的引用文件，需要更新数据块在数据库集中的存储地址；对于chunk_f’的引用文件，需要更新数据块的指纹、长度和校验码等。

步骤308：判断文件块索引的更新操作是否执行成功，如果成功，本次数据块更新操作结束，否则执行步骤309。

步骤309：根据更新过程中，对应原数据块chunk_f产生的校验数据和对应的文件块索引，将系统恢复至更新前的状态。

图4给出了重复数据删除文件系统的数据删除的操作流程，主要提供了两种删除策略即同步删除和异步删除，具体步骤如下：

步骤401：解析删除请求，判读是同步删除还是异步删除，若是同步删除，执行操作步骤402；若是异步删除，执行步骤404。通过解析删除请求的内容，获取标记删除类型的标志位，从而判断删除策略是同步删除还是异步删除。

步骤402：获取删除文件的数据信息，然后执行步骤403。获取删除文件的数据信息，是指对进行删除操作的文件，根据对应的文件块索引、待删除数据在文件中的偏移位置以及长度，获得待删除的所有数据块，并获得待删除的数据块在数据块集中的数据块信息，待删除数据块在数据块索引集中的数据块索引。

步骤403：根据获取到的信息执行删除操作，然后结束本次删除操作。

步骤404：获取删除数据的信息，并同步记录到本地磁盘上。

步骤405：按需启动异步删除线程。

步骤406：在子流程中运行异步删除监控线程。

步骤407：判断是否有待删除的数据块信息，如果有，执行步骤408，否则，执行步骤406继续监控。

步骤408：获取待删除的数据块。

步骤409：判断是否满足数据删除条件，如果满足，执行步骤410，否则，执行步骤411。所述的数据删除条件是指：待删除的数据块的引用计数是否为零；如果为零，说明已经没有任何文件引用该数据块，可以对该数据彻底删除，满足删除条件；否则仅更新相应文件的文件块索引以及数据块索引。

步骤410：根据删除信息执行数据删除操作，本步骤将数据块以及对应的数据块索引、数据块信息在磁盘上删除；并更新对应的文件块索引，主要是将对应文件块索引中对应的数据块的相关信息删除，包括数据块指纹、数据块在数据块集中的存储地址、数据块长度、数据块校验码等等。

步骤411：更新数据块索引中引用文件和引用计数，引用计数值减1；更新对应的文件块索引，主要是将文件块索引中对应的数据块的相关信息删除。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (5)

1.一种支持重复数据消除文件系统中数据更新时的数据保护方法，在所应用的重复数据删除文件系统中，将文件的数据流划分为数据块存储，其特征在于，在重复数据删除文件系统中设置的数据存储结构包括文件块索引集、数据块集和数据块索引集，文件块索引集中的各文件块索引包括该文件的指纹以及该文件所包含的各数据块在数据块集中的索引信息，数据块集中各数据块信息包括存放该数据块的物理存储地址以及该数据块的指纹、校验码和长度，数据块索引集中的各数据块索引包括该数据块的指纹、校验码、长度、引用文件、引用计数以及该数据块在数据块集中的索引信息；所述的数据保护方法，包括如下三种操作：

（1）生成校验数据的操作；在数据更新过程中，对每个待更新的数据块都产生一个校验数据，校验数据包括更新前的数据块及数据块索引；

（2）更新数据的操作；根据更新的数据在文件中的位置，找到待更新的数据块及数据块的指纹，对每个待更新的数据块进行更新，包括更新数据块的数据、数据块信息、数据块索引和文件块索引；

（3）删除数据的操作；首先获取删除文件的数据信息，然后执行异步删除或同步删除，在异步删除时，对引用计数为0的数据块进行彻底删除。

2.根据权利要求1所述的数据保护方法，其特征在于，所述的生成校验数据的操作，包括如下步骤：

步骤201：将缓存中更新前的数据块、数据块索引和文件块索引同步到磁盘上；

步骤202：判断需要同步的数据是否成功，如果成功，执行步骤203；如果失败，将系统状态标记为“系统数据同步失败”，然后结束生成校验数据的操作；

步骤203：存储校验数据；

步骤204：根据校验数据中数据块索引中的引用文件，从文件块索引集中获取该数据块被引用的全部文件块索引；

步骤205：判断获取数据块被引用的文件块索引是否成功，如果成功，则执行步骤207，否则，执行步骤206；

步骤206：删除校验数据和索引，然后结束生成校验数据的操作；

步骤207：存储校验数据对应的文件块索引，然后结束生成校验数据的操作。

3.根据权利要求1所述的数据保护方法，其特征在于，所述的对每个待更新的数据块进行更新，包括如下步骤：

步骤301：根据数据块的指纹，在数据块索引集中获取该数据块的索引；

步骤302：对获取到的数据块索引进行备份；

步骤303：判断备份操作是否成功，如果成功，执行步骤304，否则，提示数据更新失败，退出本次数据更新过程；

步骤304：对数据块以及数据块索引原地进行更新；

步骤305：判断步骤304中的更新操作是否成功，如果成功，执行步骤307，否则，执行步骤306；

步骤306：停止更新操作，根据原数据块生成的校验数据回退到更新前的系统状态；

步骤307：依据更新前后的数据块的引用文件，对相应的文件块索引进行更新操作；

步骤308：判断文件块索引的更新操作是否执行成功，如果成功，本次数据块更新操作结束，否则，执行步骤309；

步骤309：根据原数据块生成的校验数据和对应的文件块索引，将系统恢复至更新前的状态。

4.根据权利要求3所述的数据保护方法，其特征在于，所述的步骤304具体是：

（a）判断数据块的引用文件是否都发出更新该数据块为新数据块的请求，若是，执行（b），否则，执行（c）；

（b）根据该数据块信息定位到对应的物理存储地址，在磁盘上原地更新数据，得到新数据块；获得新数据块的指纹、校验码和长度；将数据块集中的原数据块信息更新为新数据块的信息；将数据块索引集中的原数据块索引更新为新数据块索引；

（c）根据该数据块信息定位到对应的物理存储地址，在磁盘上新的位置存储更新前的数据块，在数据块原始物理存储位置上进行数据更新，得到新数据块；获得原数据块新的物理存储地址，以及新数据块的指纹、校验码和长度；在数据块集中复制一条原数据块的信息，并更新其中的物理存储地址，将数据块集中原数据块的原始数据块信息更新为新数据块的信息；在数据块索引集中复制一条原数据块的索引，并更新其中的引用文件和引用计数，将原数据块的原始数据块索引更新为新数据块的索引。

5.根据权利要求1所述的数据保护方法，其特征在于，所述的删除数据的操作具体包括如下步骤：

步骤401：解析删除请求，判读是同步删除还是异步删除，若是同步删除，执行操作步骤402；若是异步删除，执行步骤404；

步骤402：获取删除文件的数据信息，具体是：对进行删除操作的文件，根据对应的文件块索引、待删除数据在文件中的偏移位置以及长度，获得待删除的所有数据块，并获得待删除的数据块的数据块信息和数据块索引；

步骤403：根据获取到的数据信息执行删除操作，然后结束本次删除操作；

步骤404：获取删除文件的数据信息，并同步记录到本地磁盘上；

步骤405：按需启动异步删除线程；

步骤406：运行异步删除监控线程；

步骤407：判断是否有待删除的数据块，如果有，执行步骤408，否则，执行步骤406；

步骤408：获取待删除的数据块；

步骤409：判断待删除的数据块的引用计数是否为零，若是，执行步骤410，否则，执行步骤411；

步骤410：将数据块以及对应的数据块索引、数据块信息在磁盘上删除，更新对应的文件块索引；

步骤411：更新数据块索引中引用文件和引用计数，引用计数值减1；更新对应的文件块索引。

Images