CN110297728B - 基于起源数据的文件重建过程中选择性数据重建方法 - Google Patents

Abstract

本发明公开的一种基于起源数据的文件重建过程中选择性数据重建方法，该方法重新设计了利用起源数据文件重建的过程。当前系统中已存在或者在文件重建过程中生成差异版本文件时，利用差异版本文件，选择性重建所需的目标文件。当存在差异版本文件时，利用差异版本文件选择性重建文件可以减少文件重建时所需的溯源信息，文件重新写入的数据量。因此，本发明公开的选择性数据重建方法有效提高了文件重建的效率。

Description

基于起源数据的文件重建过程中选择性数据重建方法

技术领域

本发明涉及存储系统技术领域，具体涉及一种基于起源数据的文件重建过程中选择性重建方法。

背景技术

当前保证系统数据可靠性的方案主要分为备份，系统日志，ECC错误纠正码等，这些技术都能够从系统的整体方面来保证数据的可靠性，却忽略了单独的数据对象。当系统出现数据丢失时，通过备份等上述方案能够对系统数据进行重建。但同时文件数据的某些信息例如创建时间，创建者等系统故障点之前描述数据的信息都会丢失。数据起源恰恰能够弥补这一点。数据起源保存着所有文件的历史，保证数据完整性，适用于安全要求较高的系统中。ECC校验是一种内存纠正错误原理，其存储结构具有校验位，能够对错误进行判断，确定哪一位出了错误，并且可以通过计算纠正错误，其被广泛应用于磁盘阵列中。但是其也有明显的缺点，在条数据出现多比特错误时，只能判断有错却无法恢复。通过ECC校验不能控制数据重建的优先程度。备份同样是保障数据安全的常见方法。但在备份时，如果在程序还在读写操作时，备份不会保留新加入的数据。ECC和备份满足不了高精度、高效率的文件重建。

数据起源重建具备着粒度细，精度高，可追溯等优点，能够很好地契合数据重建的特点。起源信息记录数据的历程，由于收集了部分溯源数据，能够基于溯源信息来判断数据的重要程度。重建过程中能够计算出重建文件的最优顺序。同时起源重建框架兼顾系统整体性重建和单个文件重建，相比备份方式，起源重建框架精准描述一个对象的细节，利用重放生成单个文件。

当前针对起源数据重建的工作仅仅停留在使用溯源对数据进行重建的基本流程层次，没有更深入的优化研究和解决方案。当文件发生损坏丢失，现有方法查找该文件信息的溯源，找到相应进程和数据，根据时间顺序回放操作完成重建。每一次回放操作都会生成一个文件版本。文件重建前或者过程中可能存在文件的某一版本，当前方法直接删除差异版本文件，忽略了差异版本文件中可能有重建文件所需的数据。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，公开了一种基于起源数据的文件重建过程中选择性重建方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于起源数据的文件重建过程中选择性数据重建方法，所述的重建方法包括下列步骤：

S1、当利用起源信息对文件进行重建时，先查询所需重建的文件是否存在于重建数据库中，若存在则转至步骤S2执行文件重建，若不存在则退出文件重建，其中，所述的重建数据库包括文件数据库和溯源数据库，所述的文件数据库记录文件的内容信息，用于文件重建，所述的溯源数据库记录文件的版本信息和文件名，用于查询需要重建文件的信息；

S2、判断当前重建请求是单个文件还是多个文件，若所需重建的文件是多个文件，则根据多个文件建立文件重建列表，对溯源数据库进行第一次查询，查询文件重建列表中文件重建时所需的依赖文件，并将依赖文件加入文件重建列表中，对溯源数据库进行第二次查询，根据文件的读写次数和依赖关系计算文件重建列表中文件的权值，并根据权值对文件重建列表排序；若所需重建的文件是单个文件，则无需计算，进行下一步；

S3、查询溯源信息，根据需要重建的单个文件或者文件重建列表，查询重建数据库溯源信息和文件内容信息，并判断需要重建的文件是否存在差异性版本；

若需要重建的文件不存在差异版本文件，则在重建多个文件时根据文件重建列表中权值大小顺序重建，在重建单个文件时根据时间顺序重建；

若需要重建的文件存在差异版本文件，则根据溯源信息，查询需要的目标文件版本与存在的文件版本之间的差异，基于差异信息对文件差异重建。重建多个文件时根据文件重建列表中权值大小顺序差异重建，重建单个文件时根据时间顺序差异重建；

S4、查询初始所需重建的文件，删除多余的文件。

进一步地，所述的步骤S1中所需重建的查询文件是否存在于重建数据库中的过程如下：

根据所需重建的文件名以及文件具有的版本信息来判断已有的重建数据库中是否存在该文件版本。

进一步地，所述的步骤S2中查询多个文件重建所需依赖文件的处理过程如下：

根据当前所需重建文件建立文件重建列表；

根据当前文件重建列表，顺序查询溯源数据库获取所需的依赖文件，并判断该依赖文件是否在文件重建列表中，若不存在，则加入文件重建列表；

当遍历文件重建列表上的文件时，查询该文件的访问次数和依赖文件，根据访问次数和依赖关系计算并记录文件的权值，文件权值越大代表文件越重要，在遍历完文件重建列表上所有文件后，根据权值由大到小将文件排序。

进一步地，所述的步骤S2中权值计算如下：

权值的计算根据读写次数和依赖关系，其中，读写次数是根据查询现有的溯源信息中获得，假设第i个文件的访问次数，记为F_i，依赖关系同样根据查询现有的溯源信息中获得，假设第i个文件被R_i个数量的文件依赖，在文件重建中，文件的依赖关系占主要因素，第i个文件的权值N_i等于文件的依赖R_i与文件的读写次数F_i的反正切函数之和。

进一步地，所述的步骤S3中若需要重建的文件不存在差异版本文件时，

需要查询重建数据库，将需要重建文件溯源信息和文件内容全部读取出来，按照时间的先后顺序重新回放溯源信息，将文件内容写入重新生成所需目标文件。

进一步地，所述的步骤S3中存在差异版本文件时，处理过程如下：

首先需要查询溯源数据库，获得现存在文件的溯源信息和需要重建文件的溯源信息，用于计算两者之间的差异信息，然后查询文件数据库，获取相应差异信息对应文件中的差异内容；

根据计算的差异信息和获取的差异内容进行差异重建：对比需要重建的目标文件版本和存在的文件版本之间的差异，根据差异将存在的文件版本差异重建为目标文件版本，差异重建通过三种操作方式实现，分别是：添加，删除，修改；若现存文件版本中内容比重建目标文件版本内容多，则删除多余内容，若少，则添加缺少内容，若不同，则修改到与重建目标文件版本相同，通过以上三种操作的组合，将任意文件版本重建为目标文件版本。

进一步地，所述的步骤S4具体如下：

重建文件后查询是否生成不需要的依赖文件或中间文件，当生成的文件不在初始文件重建列表时，删除该文件。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明主要用于优化基于起源数据的文件重建过程，与传统的文件重建方法相比，本发明提出的选择重建方法能有效利用现有文件，减少了重建的数据量，减少重建繁琐的过程。

(2)本发明主要用于优化基于起源数据的文件重建过程，与传统的文件重建方法相比，本发明提出的选择重建方法能利用文件的溯源信息，计算文件的重要程度。优先重建重要的文件。

附图说明

图1是本发明公开的基于起源数据的文件重建过程中选择性数据重建方法的流程框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本发明实施例实现了一种基于起源数据文件重建过程中的选择性重建架构，并对其中的重建过程进行优化。当前基于起源数据的文件重建过程从文件创建一步步重建文件，该方法较为繁琐忽略了系统存在的差异版本文件。本发明实施例通过查询文件是否存在差异版本来选择性重建文件，当存在差异版本，选择性重建方法计算溯源，查询所需文件和现有文件之间的差异，并利用差异选择性修改现有文件，达到重建文件的目的。通过和现有重建方法相比，存在差异版本的选择性重建方法，有效减少了重建的数据量，减少重建文件的时间，提升了重建的效率。

根据附图1所示，本实施例公开一种基于起源数据的文件重建过程中的选择性重建框架具体包括以下步骤：

S1、当利用起源信息对文件进行重建时，先查询所需重建的文件是否存在于重建数据库中，若存在则转至步骤S2执行文件重建，若不存在则退出文件重建；根据所需重建的文件名以及文件具有的版本信息来判断重建数据库中是否存在该文件版本。其中重建数据库包含文件数据库和溯源数据库：文件数据库记录文件的内容信息，用于文件重建。溯源数据库记录文件的版本信息，文件名等，用于查询需要重建文件的信息。

S2、判断当前重建请求是单个文件还是多个文件，若所需重建的文件是多个文件，则根据多个文件建立文件重建列表，对溯源数据库进行第一次，查询文件重建列表中文件重建时所需的依赖文件，并将依赖文件加入文件重建列表中。对溯源数据库进行第二次，根据文件的读写次数和依赖关系计算文件重建列表中文件的权值。并根据权值对文件重建列表排序。若所需重建的文件是单个文件，则无需计算，进行下一步。

其中，上述步骤S2中计算多个文件重建所需依赖文件的处理过程如下：

根据当前所需重建文件建立文件重建列表；

根据当前文件重建列表，顺序查询溯源数据库获取所需的依赖文件，并判断该依赖文件是否在文件重建列表中，若不存在，则加入文件重建列表；

当遍历文件重建列表上的文件时，查询该文件的访问次数和依赖文件，根据访问次数和依赖计算并记录文件的权值，文件权值越大代表文件越重要，在遍历完文件重建列表上所有文件后，根据权值由大到小将文件排序。当前重建方法仅仅按照时间顺序重建文件，本发明使用文件权值，即依赖程度与读写次数来表示文件的重要性，能够有效将重要文件优先重建。考虑使用依赖文件计算权值能够合理安排文件与其所依赖的文件的重建顺序，避免多次重建。

上述步骤S2中权值计算如下：

权值的计算根据读写次数和依赖关系，其中，读写次数是根据查询现有的溯源信息中获得，假设第i个文件的访问次数，记为F_i，依赖关系同样根据查询现有的溯源信息中获得，假设第i个文件被R_i个数量的文件依赖，在文件重建中，文件的依赖关系占主要因素，这是因为当文件所依赖的文件不存在时，是无法重建该文件的。因此需要优先将文件依赖的文件重建。第i个文件的权值N_i等于文件的依赖R_i与文件的读写次数F_i的反正切函数之和。

S3、查询溯源信息，根据需要重建的单个文件或者文件重建列表，查询重建数据库中溯源信息和文件内容信息，并判断需要重建的文件是否存在差异性版本；

若需要重建的文件不存在差异版本文件，则在重建多个文件时根据文件重建列表中权值大小顺序重建，在重建单个文件时根据时间顺序重建；

若需要重建的文件存在差异版本文件，则根据溯源信息，查询需要的目标文件版本与存在的文件版本之间的差异，基于差异信息对文件差异重建，重建多个文件时根据文件重建列表中权值大小顺序差异重建，重建单个文件时根据时间顺序差异重建；

上述步骤S3中若需要重建的文件不存在差异版本文件时，

需要查询重建数据库，将需要重建文件溯源信息和文件内容全部读取出来，按照时间的先后顺序重新回放溯源信息，将文件内容写入重新生成所需目标文件。

上述步骤S3中查询文件差异版本时，处理过程如下：

首先需要查询溯源数据库，获得现存在文件的溯源信息和需要重建文件的溯源信息，用于计算两者之间的差异信息。然后查询文件数据库，获取相应差异信息对应文件中的差异内容。

根据计算的差异信息和获取的差异内容进行差异重建：对比需要重建的目标文件版本和存在的文件版本之间的差异，根据差异将存在的文件版本差异重建为目标文件版本。差异重建可以通过三种操作方式实现，分别是：添加，删除，修改。若现存文件版本中内容比重建目标文件版本内容多，则删除多余内容，若少，则添加缺少内容，若不同，则修改到与重建目标文件版本相同。通过若干三种操作的组合，能够将任意文件版本重建为目标文件版本。

当前重建方案未考虑存在差异版本文件的情况，忽略差异版本文件中存在大量的有用信息，查询重建数据库读取所有数据，按照时间的先后顺序重新生成目标文件。但是随着文件的增多，这种方式代价巨大，重建时间久，本发明提出的利用差异版本文件，能够有效解决该问题，使用差异版本文件进行差异重建，有效减少了重建文件所需的数据量，减少重建时间，提高重建效率。

S4、查询初始所需重建的文件，删除多余的文件。

上述步骤S4具体如下：

重建文件后查询是否生成不需要的依赖文件或中间文件，当生成的文件不在初始文件重建列表时，删除该文件。

综上所述，本发明基于起源数据文件重建过程中的选择性重建方法，通过利用差异版本文件，查询溯源信息，选择性恢复差异信息使得差异版本文件恢复到所需目标文件。该方法相比传统方法避免了全部数据重写而是选择性重写差异信息，能够有效减少文件数据重建时间。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于起源数据的文件重建过程中选择性数据重建方法，其特征在于，所述的重建方法包括下列步骤：

S1、当利用起源信息对文件进行重建时，先查询所需重建的文件是否存在于重建数据库中，若存在则转至步骤S2执行文件重建，若不存在则退出文件重建，其中，所述的重建数据库包括文件数据库和溯源数据库，所述的文件数据库记录文件的内容信息，用于文件重建，所述的溯源数据库记录文件的版本信息和文件名，用于查询需要重建文件的信息；

S2、判断当前重建请求是单个文件还是多个文件，若所需重建的文件是多个文件，则根据多个文件建立文件重建列表，对溯源数据库进行第一次查询，查询文件重建列表中文件重建时所需的依赖文件，并将依赖文件加入文件重建列表中，对溯源数据库进行第二次查询，根据文件的读写次数和依赖关系计算文件重建列表中文件的权值，并根据权值对文件重建列表排序；若所需重建的文件是单个文件，则无需计算，进行下一步；

S3、查询溯源信息，根据需要重建的单个文件或者文件重建列表，查询重建数据库溯源信息和文件内容信息，并判断需要重建的文件是否存在差异性版本；

若需要重建的文件不存在差异版本文件，则在重建多个文件时根据文件重建列表中权值大小顺序重建，在重建单个文件时根据时间顺序重建；

若需要重建的文件存在差异版本文件，则根据溯源信息，查询需要的目标文件版本与存在的文件版本之间的差异，基于差异信息对文件差异重建；重建多个文件时根据文件重建列表中权值大小顺序差异重建，重建单个文件时根据时间顺序差异重建；

S4、查询初始所需重建的文件，删除多余的文件。

2.根据权利要求1所述的基于起源数据的文件重建过程中选择性数据重建方法，其特征在于，所述的步骤S1中查询所需重建的文件是否存在于重建数据库中的过程如下：

根据所需重建的文件名以及文件具有的版本信息来判断已有的重建数据库中是否存在该文件版本。

3.根据权利要求1所述的基于起源数据的文件重建过程中选择性数据重建方法，其特征在于，所述的步骤S2中查询多个文件重建所需依赖文件的处理过程如下：

根据当前所需重建文件建立文件重建列表；

根据当前文件重建列表，顺序查询溯源数据库获取所需的依赖文件，并判断该依赖文件是否在文件重建列表中，若不存在，则加入文件重建列表；

当遍历文件重建列表上的文件时，查询该文件的访问次数和依赖文件，根据访问次数和依赖关系计算并记录文件的权值，在遍历完文件重建列表上所有文件后，根据权值由大到小将文件排序。

4.根据权利要求1或3所述的基于起源数据的文件重建过程中选择性数据重建方法，其特征在于，所述的步骤S2中权值计算如下：

权值的计算根据读写次数和依赖关系，其中，读写次数是根据查询现有的溯源信息中获得，假设第i个文件的访问次数，记为

，依赖关系同样根据查询现有的溯源信息中获得，假设第i个文件被

个数量的文件依赖，在文件重建中，将文件的依赖关系作为主要因素，第i个文件的权值

等于文件的依赖

与文件的读写次数

的反正切函数之和。

5.根据权利要求1所述的基于起源数据的文件重建过程中选择性数据重建方法，其特征在于，所述的步骤S3中若需要重建的文件不存在差异版本文件时，

需要查询重建数据库，将需要重建文件溯源信息和文件内容全部读取出来，按照时间的先后顺序重新回放溯源信息，将文件内容写入重新生成所需目标文件。

6.根据权利要求1所述的基于起源数据的文件重建过程中选择性数据重建方法，其特征在于，所述的步骤S3中若需要重建的文件存在差异版本文件时，处理过程如下：

首先需要查询溯源数据库，获得现存在文件的溯源信息和需要重建文件的溯源信息，用于计算两者之间的差异信息，然后查询文件数据库，获取相应差异信息对应文件中的差异内容；

根据计算的差异信息和获取的差异内容进行差异重建：对比需要重建的目标文件版本和存在的文件版本之间的差异，根据差异将存在的文件版本差异重建为目标文件版本，差异重建通过三种操作方式实现，分别是：添加，删除，修改；若现存文件版本中内容比重建目标文件版本内容多，则删除多余内容，若少，则添加缺少内容，若不同，则修改到与重建目标文件版本相同，通过以上三种操作的组合，将任意文件版本重建为目标文件版本。

7.根据权利要求1所述的基于起源数据的文件重建过程中选择性数据重建方法，其特征在于，所述的步骤S4具体如下：

重建文件后查询是否生成不需要的依赖文件或中间文件，当生成的文件不在初始文件重建列表时，删除该不需要的依赖文件或中间文件。

Images