CN104657386A - 版本文件去重处理方法及装置 - Google Patents

Abstract

本发明提供了一种版本文件去重处理方法及装置，该方法包括：获取当前版本文件所对应的第一临时完整文件；比较上传版本文件与第一临时完整文件的差异部分；将差异部分更新为新版本文件，通过本发明，解决了在相关技术中文件去重或是块去重的处理并不能有效地从根本上实现存储空间的节约的问题，进而达到了只对修改部分进行存储，大大节约存储空间的效果。

Description

版本文件去重处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种版本文件去重处理方法及装置。

背景技术

对象存储系统是云计算领域中的云存储业务的基础架构，近年来持续以较高的比率迅猛增长。在对象存储中，去重是一项节约存储空间的核心技术，直接影响着硬件成本。对象存储中对象以文件的形式保存在存储系统中。目前各厂商对象存储都支持文件去重和块去重功能，文件去重和块去重针对的是有相同特征码的文件或块，对特征码相同文件或者文件块只保留一份，从而达到节约存储空间的目的。

文件去重以文件为单位，要求两个文件的内容完全相同。而块去重以文件块为单位，因此在无法去重的两个块中，相异的地方可能是的一部分，而块中其它相同的部分并不能实现去重。

因此，在相关技术中文件去重或是块去重的处理并不能有效地从根本上实现存储空间的节约。

发明内容

本发明提供了一种版本文件去重处理方法及装置，以至少解决在相关技术中文件去重或是块去重的处理并不能有效地从根本上实现存储空间的节约的问题。

根据本发明的一个方面，提供了一种版本文件去重处理方法，包括：获取当前版本文件所对应的第一临时完整文件；比较上传版本文件与所述第一临时完整文件的差异部分；将所述差异部分更新为新版本文件。

优选地，获取所述当前版本文件所对应的所述第一临时完整文件包括：判断所述当前版本文件的父文件是否存在；在判断结果为是的情况下，将所述当前版本文件及其之前所有版本文件合并为所述第一临时完整文件。

优选地，在将所述差异部分更新为新版本文件之后，还包括：接收版本文件下载信息，其中，所述版本文件下载信息包括版本文件的下载版本；获取与所述下载版本对应的第二临时完整文件；下载所述第二临时完整文件。

优选地，获取与所述下载版本对应的所述第二临时完整文件包括：判断所述下载版本对应的父文件是否存在；在判断结果为是的情况下，将所述下载版本及其之前所有版本文件合并为所述第二临时完整文件。

优选地，在获取所述当前版本文件所对应的所述第一临时完整文件之前，还包括：确定启用版本策略和/或版本文件去重处理功能。

根据本发明的另一方面，提供了一种版本文件去重处理装置，包括：第一获取模块，用于获取当前版本文件所对应的第一临时完整文件；比较模块，用于比较上传版本文件与所述第一临时完整文件的差异部分；更新模块，用于将所述差异部分更新为新版本文件。

优选地，所述第一获取模块包括：第一判断单元，用于判断所述当前版本文件的父文件是否存在；第一合并单元，用于在所述第一判断单元的判断结果为是的情况下，将所述当前版本文件及其之前所有版本文件合并为所述第一临时完整文件。

优选地，该装置还包括：接收模块，用于接收版本文件下载信息，其中，所述版本文件下载信息包括版本文件的下载版本；第二获取模块，用于获取与所述下载版本对应的第二临时完整文件；下载模块，用于下载所述第二临时完整文件。

优选地，所述第二获取模块包括：第二判断单元，用于判断所述下载版本对应的父文件是否存在；第二合并单元，用于在所述第二判断单元的判断结果为是的情况下，将所述下载版本及其之前所有版本文件合并为所述第二临时完整文件。

优选地，该装置还包括：确定模块，用于确定启用版本策略和/或版本文件去重处理功能。

通过本发明，采用获取当前版本文件所对应的第一临时完整文件；比较上传版本文件与所述第一临时完整文件的差异部分；将所述差异部分更新为新版本文件，解决了在相关技术中文件去重或是块去重的处理并不能有效地从根本上实现存储空间的节约的问题，进而达到了只对修改部分进行存储，大大节约存储空间的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的版本文件去重处理方法的流程图；

图2是根据本发明实施例的版本文件去重处理装置的结构框图；

图3是根据本发明实施例的版本文件去重处理装置中第一获取模块22的结构框图；

图4是根据本发明实施例的版本文件去重处理装置的优选结构框图一；

图5是根据本发明实施例的版本文件去重处理装置中第二获取模块44的结构框图；

图6是根据本发明实施例的版本文件去重处理装置的优选结构框图二；

图7是根据本发明实施例的版本文件去重系统的结构示意图；

图8是根据本发明实施例的文件合并方法示意图；

图9是根据本发明实施例的上传控制处理的流程图；

图10是根据本发明实施例的版本文件去重请求处理的流程图；

图11是根据本发明实施例的版本文件去重处理的流程图；

图12是根据本发明实施例的版本文件去重系统对上传的完整版本文件进行去重处理的流程图；

图13是根据本发明实施例的版本文件去重系统对上传的修改部分版本文件进行去重处理的流程图；

图14是根据本发明实施例的用户下载版本文件请求处理的流程图；

图15是根据本发明实施例的开启了版本策略时处理版本文件下载的流程图；

图16是根据本发明实施例的版本文件组装合并处理的流程图；

图17是根据本发明实施例的版本文件组装合并的流程图；

图18是根据本发明实施例的在版本去重情况下处理用户上传指定对象完整版本文件的流程图；

图19是根据本发明优选实施方式的版本去重情况下处理用户下载指定对象的指定版本的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种版本文件去重处理方法，图1是根据本发明实施例的版本文件去重处理方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，获取当前版本文件所对应的第一临时完整文件；

步骤S104，比较上传版本文件与该第一临时完整文件的差异部分；

步骤S106，将差异部分更新为新版本文件。

通过上述步骤，只对有修改的部分（即差异部分）进行更新存储，相对于在相关技术中文件去重或是块去重的处理并不能有效地从根本上实现存储空间的节约的问题，不仅解决了相关技术中存储浪费的问题，而且只对修改部分进行存储，大大节约存储空间的效果。

获取当前版本文件所对应的第一临时完整文件时，即将当前版本文件之前的所有文件进行合并处理，形成一个完整文件，例如，可以采用以下处理，判断该当前版本文件的父文件是否存在；在判断结果为是的情况下，将当前版本文件及其之前所有版本文件合并为该第一临时完整文件，需要说明的是，父文件可能还存在父文件，因此，对存储的版本文件进行持续有序的合并，例如，可以先将父文件加入合并列表，循环查询父文件，直到将最初版本加入列表后，再依照从旧到新(V1～Vn)的顺序合并形成一个第一临时完整文件。

在将差异部分更新为新版本文件之后，还可以依据版本存储的版本文件下载存储的版本文件，例如，先接收版本文件下载信息，其中，该版本文件下载信息包括版本文件的下载版本；获取与下载版本对应的第二临时完整文件；下载该第二临时完整文件。与版本文件的上传处理类似，下载时，获取与下载版本对应的第二临时完整文件也可以采用类似的处理，即先判断下载版本对应的父文件是否存在；在判断结果为是的情况下，将该下载版本及其之前所有版本文件合并为第二临时完整文件。即对版本文件上传和下载处理时均涉及版本文件的合并处理。

优选地，在获取当前版本文件所对应的第一临时完整文件之前，还包括：确定启用版本策略和/或版本文件去重处理功能，在确定启用版本和/或版本文件去重处理功能的情况下，才执行版本文件的去重处理，可以有效提高文件的处理效率。

在本实施例中还提供了一种版本文件去重处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的版本文件去重处理装置的结构框图，如图2所示，该装置包括第一获取模块22、比较模块24和更新模块26，下面对该装置进行说明。

第一获取模块22，用于获取当前版本文件所对应的第一临时完整文件；比较模块24，连接至上述第一获取模块22，用于比较上传版本文件与第一临时完整文件的差异部分；更新模块26，连接至上述比较模块24，用于将差异部分更新为新版本文件。

图3是根据本发明实施例的版本文件去重处理装置中第一获取模块22的结构框图，如图3所示，该第一获取模块22包括第一判断单元32、第一合并单元34，下面对该第一获取模块22进行说明。

第一判断单元32，用于判断当前版本文件的父文件是否存在；第一合并单元34，连接至上述第一判断单元32，用于在第一判断单元的判断结果为是的情况下，将当前版本文件及其之前所有版本文件合并为第一临时完整文件。

图4是根据本发明实施例的版本文件去重处理装置的优选结构框图一，如图4所示，该装置除包括图2所示的所有模块外，还包括接收模块42、第二获取模块44和下载模块46，下面对该版本文件去重处理装置进行说明。

接收模块42，连接至上述更新模块26，用于接收版本文件下载信息，其中，版本文件下载信息包括版本文件的下载版本；第二获取模块44，连接至上述接收模块42，用于获取与下载版本对应的第二临时完整文件；下载模块46，连接至上述第二获取模块44，用于下载第二临时完整文件。

图5是根据本发明实施例的版本文件去重处理装置中第二获取模块44的结构框图，如图5所示，该第二获取模块44包括第二判断单元52和第二合并单元54，下面对该第二获取模块44进行说明。

第二判断单元52，用于判断下载版本对应的父文件是否存在；第二合并单元54，连接至上述第二判断单元52，用于在第二判断单元的判断结果为是的情况下，将下载版本及其之前所有版本文件合并为第二临时完整文件。

图6是根据本发明实施例的版本文件去重处理装置的优选结构框图二，如图6所示，该装置除包括图2所示的所有模块外，还包括确定模块62，下面对该确定模块62进行说明。

确定模块62，连接至上述第一获取模块22，用于确定启用版本策略和/或版本文件去重处理功能。

版本文件是指对象存储开启了文件版本功能后，同一对象的不同历史版本。不同历史版本体现了用户对文件的修改，一般每次修改量不会太大，即相邻两个历史版本的差异不会太大，但即使修改一个字节，文件去重功能就不适用，而块去重功能存在着之前的问题。即在版本文件中同样存在上述文件去重与块去重的问题。

基于上述问题，在本实施例中，提供了一种在对象存储中进行版本文件去重的方法和系统。该方法包括：对象存储系统对用户上传的对象的新版本应用版本策略以及版本文件去重的过程。该过程包括对象存储系统根据系统和用户设置的步骤判断是否对目标对象使用版本策略、创建版本文件并实现版本文件去重、用户下载时将经过去重的版本文件进行组装等步骤。

版本文件去重系统，该系统属于对象存储系统的一部分，用于设置系统和用户的文件版本策略并创建经过去重处理后的版本文件。图7是根据本发明实施例的版本文件去重系统的结构示意图，如图7所示，该系统包括：版本策略设置模块70（与上述确定模块62功能相当）、请求处理模块72（与上述接收模块42功能相当）、版本文件处理模块74（与上述比较模块24、第一获取模块22、第二获取模块44功能相当）、文件读写模块76（与上述下载模块46功能相当），下面对该系统进行说明。

版本策略设置模块70，为管理员提供操作接口，用于设置版本策略。版本文件去重系统在版本策略设置模块70未启用版本策略时不进行版本文件处理，在版本策略设置模块70启用了版本策略但未设置版本去重策略时进行版本文件处理但不进行版本文件的去重。

请求处理模块72，接收用户的上传/下载请求，调用版本文件处理模块74处理后将结果响应给用户。针对上传操作，请求处理模块72接收用户上传的文件并返回操作结果。针对下载操作，请求处理模块72将用户请求的文件传送给用户。

版本文件处理模块74，根据请求处理模块72的要求进行版本文件处理，主要完成版本文件合并和版本文件创建两个功能。

文件读写模块76，根据版本文件处理模块74的要求完成文件在文件系统上的读写操作。

通过上述版本文件去重处理方法及系统，实现了版本文件的组装，使得除了最初的原始版本之外每个版本文件只需要保存修改的部分，通过有序地合并生成用户指定的版本文件；实现了版本文件的创建，使得用户上传对象的新版本时对象存储系统无需保存整个版本文件，只需要保存新版本与当前版本相异的部分，大大节约了存储空间。

图8是根据本发明实施例的文件合并方法示意图，如图8所示，该版本去重处理使用的文件具有特殊的文件头，文件头里包含了父文件指针即父文件的路径信息。当访问某个文件时，需要将其与其父文件进行合并才能得到完整的文件，同时，父文件可能又存在父文件，所以需要有序地持续合并，直到最后一个父文件不存在父文件，即其父文件指针为空为止，例如，可以先将父文件加入合并列表，循环查询父文件，直到将最初版本加入列表后，再依照从旧到新(V1～Vn)的顺序合并，最后形成一个完整的文件。

用户对文件的操作主要包括上传和下载两部分，在启用了版本文件去重时，两部分都需要版本文件去重系统进行处理。

图9是根据本发明实施例的上传控制处理的流程图，如图9所示，该流程包括如下步骤：

步骤S902，判断当前系统是否设置了版本策略，若未设置则转到步骤S904，若已设置则转到步骤S906；

步骤S904，未设置版本策略时不需要进行版本处理，直接保存文件即可，若存在同名原文件则直接覆盖；

步骤S906，若设置了版本策略表示上传的文件需要进行版本文件处理，则进入版本文件处理。

图10是根据本发明实施例的版本文件去重请求处理的流程图，如图10所示，在开启了版本策略时处理版本文件上传时，该流程包括如下步骤：

步骤S1002，对象存储系统判断是否设置了版本文件去重，若未设置则转到步骤S1004，否则转到步骤S1006；

步骤S1004，未设置版本文件去重时，保存上传的版本文件，不进行去重处理，将新上传文件设置为对象的当前版本，同时原当前版本文件成为历史版本；

步骤S1006，设置了版本文件去重时需要进行版本文件去重处理，则进行版本文件去重处理。

图11是根据本发明实施例的版本文件去重处理的流程图，如图11所示，该流程包括如下步骤：

步骤S1102，判断上传的版本文件是完整文件还是只包含修改部分的文件片段，若是完整文件则转到步骤S1104，否则转到步骤S1106；

步骤S1104，进行完整版本文件上传的去重处理；

步骤S1106：进行修改部分版本文件上传的去重处理。

图12是根据本发明实施例的版本文件去重系统对上传的完整版本文件进行去重处理的流程图，如图12所示，该流程包括如下步骤：

步骤S1202，将当前版本文件进行组装合并，得到完整的当前版本文件；

步骤S1204，比较对象的上传版本文件和当前版本文件的差异，将修改的部分保存为新的版本文件；

步骤S1206，将新版本文件的父文件指定为当前版本文件；

步骤S1208，将新版本文件设定为对象的当前版本，同时之前的当前版本文件成为对象的历史版本。

图13是根据本发明实施例的版本文件去重系统对上传的修改部分版本文件进行去重处理的流程图，如图13所示，该流程包括如下步骤：

步骤S1302，将上传的修改部分文件保存为对象的新版本；

步骤S1304，将新版本文件的父文件指定为当前版本文件；

步骤S1306，将新版本文件设定为当前版本文件，同时之前的当前版本文件成为对象的历史版本。

下面以下载文件为例，对版本文件去重处理进行说明。图14是根据本发明实施例的用户下载版本文件请求处理的流程图，如图14所示，该流程包括如下步骤：

步骤S1402，判断当前系统是否设置了版本策略，若未设置则转到步骤S1404，若已设置则转到步骤S1406；

步骤S1404，未设置版本策略时不需要进行版本处理，直接下载用户指定对象；

步骤S1406，若设置了版本策略表示上传的文件，则进行版本文件处理。

图15是根据本发明实施例的开启了版本策略时处理版本文件下载的流程图，如图15所示，该流程包括如下步骤：

步骤S1502，对象存储系统判断是否设置了版本文件去重，若未设置则转到步骤S1504，否则转到步骤S1506；

步骤S1504，未设置版本文件去重时，不需要做组装合并处理，直接下载用户指定对象的指定版本；

步骤S1506，设置了版本文件去重时，进行版本文件组装合并处理。

图16是根据本发明实施例的版本文件组装合并处理的流程图，如图16所示，该流程包括以下步骤：

步骤S1602，通过对对象当前版本的组装合并，得到完整的当前版本文件；

步骤S1604：下载组装后的用户指定对象的指定版本。

图17是根据本发明实施例的版本文件组装合并的流程图，如图17所示，该流程包括以下步骤：

步骤S1702，获取用户指定对象的指定版本文件并加入待合并列表，查询该文件的父文件信息；

步骤S1704，若所查询的父文件信息不存在，则转到步骤S1706，否则转到步骤S1708；

步骤S1706，依次合并待合并列表中的文件，生成完整的版本文件，结束合并；

步骤S1708，将父文件添加到待合并列表，查询父文件的父文件信息。

下面结合本发明优选实施方式进行说明。

优选实施方式1

需要说明的是，以下以应用于对象存储系统为例进行说明。本实施例的初始条件包括：

（1）系统已开启版本策略，并设置了版本文件去重；

（2）用户上传了一个文件的最新版本Vn，并且上传的是完整文件；

（3）该文件已经存在历史版本，分别为版本V1～Vn-1，其中V1为第一个原始版本，是完整文件，V2～Vn-1是分别在前一个版本基础上的修改部分版本文件。

图18是根据本发明实施例的在版本去重情况下处理用户上传指定对象完整版本文件的流程图，如图18所示，用户上传Vn版本完整文件时，版本文件去重系统进行版本文件去重处理包括如下步骤：

步骤S1802，判断当前系统已经启用了版本策略；

步骤S1804，判断当前系统已经设置了版本去重；

步骤S1806，判断上传的版本为Vn的指定对象为完整文件；

步骤S1808，查询该对象的当前版本，为Vn-1；

步骤S1810，获取版本文件Vn-1的父文件信息Vn-2…直至V1；

步骤S1812，将V1～Vn-1合并为Vn-1的临时的完整版本文件Vn-1’；

步骤S1814，将上传的文件Vn和临时完整文件Vn-1’对比，将差异部分保存为修改部分文件Vn；

步骤S1816，将该对象的当前版本设置为Vn，Vn-1成为历史版本；

步骤S1818，版本文件去重成功。

优选实施方式2

需要说明的是，以应用于对象存储系统为例。本实施例的初始条件包括：

（1）系统已开启版本策略，并设置了版本文件去重；

（2）用户下载对象的当前版本为Vm，用户指定下载其Vn版本，其中m>=n；

图19是根据本发明优选实施方式的版本去重情况下处理用户下载指定对象的指定版本的流程图，如图19所示，用户下载Vn版本文件时，版本文件去重系统进行版本文件合并处理包括如下步骤：

步骤S1902，判断当前系统已经启用了版本策略；

步骤S1904，判断当前系统已经设置了版本去重；

步骤S1906，判断下载目标是对象的Vn版本；

步骤S1908，获取版本Vn的父文件信息，Vn-1...直到V1；

步骤S1910，将V1～Vn合并为Vn的临时完整文件Vn’；

步骤S1912，下载文件Vn’。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种版本文件去重处理方法，其特征在于，包括：

获取当前版本文件所对应的第一临时完整文件；

比较上传版本文件与所述第一临时完整文件的差异部分；

将所述差异部分更新为新版本文件。

2.根据权利要求1所述的方法，其特征在于，获取所述当前版本文件所对应的所述第一临时完整文件包括：

判断所述当前版本文件的父文件是否存在；

在判断结果为是的情况下，将所述当前版本文件及其之前所有版本文件合并为所述第一临时完整文件。

3.根据权利要求1所述的方法，其特征在于，在将所述差异部分更新为新版本文件之后，还包括：

接收版本文件下载信息，其中，所述版本文件下载信息包括版本文件的下载版本；

获取与所述下载版本对应的第二临时完整文件；

下载所述第二临时完整文件。

4.根据权利要求3所述的方法，其特征在于，获取与所述下载版本对应的所述第二临时完整文件包括：

判断所述下载版本对应的父文件是否存在；

在判断结果为是的情况下，将所述下载版本及其之前所有版本文件合并为所述第二临时完整文件。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在获取所述当前版本文件所对应的所述第一临时完整文件之前，还包括：

确定启用版本策略和/或版本文件去重处理功能。

6.一种版本文件去重处理装置，其特征在于，包括：

第一获取模块，用于获取当前版本文件所对应的第一临时完整文件；

比较模块，用于比较上传版本文件与所述第一临时完整文件的差异部分；

更新模块，用于将所述差异部分更新为新版本文件。

7.根据权利要求6所述的装置，其特征在于，所述第一获取模块包括：

第一判断单元，用于判断所述当前版本文件的父文件是否存在；

第一合并单元，用于在所述第一判断单元的判断结果为是的情况下，将所述当前版本文件及其之前所有版本文件合并为所述第一临时完整文件。

8.根据权利要求6所述的装置，其特征在于，还包括：

接收模块，用于接收版本文件下载信息，其中，所述版本文件下载信息包括版本文件的下载版本；

第二获取模块，用于获取与所述下载版本对应的第二临时完整文件；

下载模块，用于下载所述第二临时完整文件。

9.根据权利要求8所述的装置，其特征在于，所述第二获取模块包括：

第二判断单元，用于判断所述下载版本对应的父文件是否存在；

第二合并单元，用于在所述第二判断单元的判断结果为是的情况下，将所述下载版本及其之前所有版本文件合并为所述第二临时完整文件。

10.根据权利要求6至9中任一项所述的装置，其特征在于，还包括：

确定模块，用于确定启用版本策略和/或版本文件去重处理功能。