CN111104787B - 用于比较文件的方法、设备和计算机程序产品 - Google Patents
用于比较文件的方法、设备和计算机程序产品 Download PDFInfo
- Publication number
- CN111104787B CN111104787B CN201811260855.2A CN201811260855A CN111104787B CN 111104787 B CN111104787 B CN 111104787B CN 201811260855 A CN201811260855 A CN 201811260855A CN 111104787 B CN111104787 B CN 111104787B
- Authority
- CN
- China
- Prior art keywords
- file
- data blocks
- mapping
- mapping information
- comparing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004590 computer program Methods 0.000 title abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 161
- 230000004044 response Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 235000004348 Perilla frutescens Nutrition 0.000 description 4
- 244000124853 Perilla frutescens Species 0.000 description 4
- 235000015278 beef Nutrition 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 241000283690 Bos taurus Species 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例提供了用于比较文件的方法、设备和计算机程序产品。该方法包括确定与该第一部分相关联的第一文件数据块集合和与该第二部分相关联的第二文件数据块集合;获取该第一文件数据块集合中的数据块的第一映射信息和该第二文件数据块集合中的数据块的第二映射信息;以及基于该第一映射信息和该第二映射信息,确定该第一部分与该第二部分的差异性。通过本公开的实施例,节省了网络资源并提高了处理效率。
Description
技术领域
本公开的实施例涉及数据分析领域,并且更具体地,涉及用于比较文件的方法、设备以及计算机程序产品。
背景技术
用户经常需要将客户端的文件存储到备份存储系统中以防止数据丢失以及节约本地存储空间。有时,客户端的文件会随时间不断发生改变,由此需要在备份存储系统中存储不同时间生成的多个备份。在这种场景下,用户可能需要比对该多个备份文件以获取多个备份之间的差异,由此进行数据分析。例如,餐厅经理会记录每日售出的牛排数量、统计每月售出的牛排量,从而预测下个月需要预备的牛排量。在此过程中,记录了售出牛排量信息的文件会随时间不断发生变化、从而形成不同时间点的备份文件。这些备份文件均被存储在备份存储系统中,而餐厅经理则通过比较该不同时间点的备份文件来预测下个月需要预备的牛排量。
然而,现有技术中对多个备份文件进行比较的方式要求先从备份存储系统向客户端返回各备份文件本身,再在客户端进行比对。显然,这种方式一方面占用了较大的数据传输带宽,浪费网络资源,另一方面,由于各备份文件在内容上可能大部分相同而仅存在少量差异,对全部文件内容进行比较也效率低下。
发明内容
本公开的实施例提供了一种用于比较文件的方法、设备和计算机程序产品。
在本公开的第一方面中,提供了一种用于比较文件的方法。该方法包括:响应于接收到比较第一文件的第一部分和第二文件的第二部分的请求,确定与该第一部分相关联的第一文件数据块集合和与该第二部分相关联的第二文件数据块集合;获取该第一文件数据块集合中的数据块的第一映射信息和该第二文件数据块集合中的数据块的第二映射信息;以及基于该第一映射信息和该第二映射信息,确定该第一部分与该第二部分的差异性。其中,该第一映射信息和该第二映射信息分别基于该第一文件数据块集合和该第二文件数据块集合生成。
在本公开的第二方面中,提供了一种用于比较文件的设备。该设备包括:处理器以及与所述处理器耦合的存储器。该存储器具有存储于其中的指令,该指令在被处理器执行时使该设备执行动作。该动作包括:响应于接收到比较第一文件的第一部分和第二文件的第二部分的请求,获取与该第一部分相关联的第一文件数据块集合和与该第二部分相关联的第二文件数据块集合;获取该第一文件数据块集合中的数据块的第一映射信息和该第二文件数据块集合中的数据块的第二映射信息;以及基于该第一映射信息和该第二映射信息,确定该第一部分与该第二部分的差异性。其中,该第一映射信息和该第二映射信息分别基于该第一文件数据块集合和该第二文件数据块集合生成。
在本公开的第三方面中,提供了一种计算机程序产品,计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令,机器可执行指令在被执行时使机器执行根据第一方面的方法。
提供发明内容部分是为了简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征,也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施例中,相同的参考标号通常代表相同部件。
图1示出了本公开的实施例可以在其中被实现的环境的示意图;
图2示出了根据本公开的实施例的比较文件的方法的流程图;
图3示出了根据本公开的实施例的在备份操作生成映射信息的示意图;
图4A-图4C分别示出了根据本公开的实施例的通过比较映射信息来确定文件差异性的示意图;以及
图5示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例,但应当理解,描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
在本文中使用的术语“数据”包括存储系统中各种格式且包含各种内容的数据,诸如电子文档、图像数据、视频数据、音频数据或者任何其他格式的数据;此外,术语“备份”和“存储”在本文中可以互换地使用。
图1示出了本公开的实施例可以在其中被实现的环境100的示意图。如图1所示,环境100包括客户端110和存储系统120,该存储系统120用于备份来自客户端110的文件或数据。本领域技术人员应当理解,虽然在环境100中仅示例性示出一个客户端110,但存储系统120可以针对多个这样的客户端110来备份数据。虽然在环境100中仅示例性示出一个存储系统120,但可以存在多个这样的存储系统120。
此外,虽然在图1中仅示例性示出要备份到存储系统120的第一文件112和第二文件122,但在客户端还可以存在多个这样的待备份文件。以下以第一文件112的备份为例介绍在图1的环境100下的文件备份过程。然而,本领域技术人员可以理解,针对第二文件122也可以具有类似的备份过程。
为了将客户端110的第一文件112备份到存储服务器120上,可以先将第一文件112划分成多个数据块114、116、118…,再将该多个数据块分别备份到存储系统120中。由此,第一文件112会与多个数据块114、116、118…相关联。将文件划分成数据块可以采用现有技术中的各种方式,根据需要进行选择即可。例如在一些实施例中,针对具有相似内容的文件(例如同一文件在不同时间点形成的备份文件)的数据块的划分可以使得相同的数据内容被划分在同样的数据块中,而在其他实施例中,可以按照起始位置和数据块的大小来划分数据块。
此外,本文中所提及的术语“数据块”既可以指代通过划分文件而直接获得的原始数据,也可以是为了增加安全性而将划分得到的原始数据进行加密和压缩形成的数据,本公开的实施例在此方面不受限制。
将第一文件112划分成多个数据块进行备份的好处在于,一方面可以利用碎片化的存储资源,优化备份系统存储空间的使用,另一方面也可以让同一数据块仅存储一次,供具有该数据块的全部文件所共享,由此节约存储空间。
需要说明的是,在第一文件112或第二文件122从客户端备份到存储系统120之后,可以删除位于客户端处的第一文件112和第二文件122以便节约客户端的存储空间。然而,也可以出于其他考虑而在客户端保留该第一文件112和第二文件122。
在客户端未保留第一文件112和第二文件122的情况下,如在背景技术部分所描述的,现有技术中若需要从存储系统120取回备份的第一文件112进行分析,需要将第一文件112整个取回。即便考虑以数据块的方式来存储文件,也需要将与该第一文件112相关联的所有数据块114、116、118…取回、恢复第一文件112后再进行分析。
如果涉及对多个文件(例如,第一文件112和第二文件122)的比较,则需针对每个备份文件都进行上述操作。这种方式显然会占用大的数据传输带宽,浪费网络资源。且由于各备份文件在内容上可能大部分相同而仅存在少量差异,对全部文件内容进行比较也效率低下。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个,本公开的实施例提出了一种用于比较文件的方案。在该方案中,为每个数据块生成相应的映射元素、并利用对该映射元素的比较来判断数据块之间的差异性,提高了文件的比对效率。此外,由于该方案的高效性和便捷性,可以在存储系统120端实施该比较操作从而获得差异性数据、并仅向客户端110返回该差异性数据,从而也大幅度地节约了网络资源。
以下将参考附图来详细描述本公开的实施例。图2示出了根据本公开的实施例的比较文件的方法200的流程图。该方法200可以由相应的设备来实现,而该设备可以整体地或分布地实施在存储系统120上。为便于讨论,仍然结合图1的架构来讨论方法200。
在210接收到比较第一文件的第一部分和第二文件的第二部分的请求时,在220确定与该第一部分相关联的第一文件数据块集合和与该第二部分相关联的第二文件数据块集合。
本领域技术人员可以理解,本文所提及的术语“第一文件”和“第二文件”仅用于在这两个文件之间进行区分,而非对文件的具体内容进行限定。
在一些实施例中,例如图1中示出的第一文件112和第二文件122可以是针对同一源文件在不同时间点的不同备份文件。例如,在背景技术部分所给出的餐厅的示例中,第一文件112可以是记录了到上个月为止本年度售出牛排量信息的文件,而第二文件122可以是记录了到当天为止本年度售出牛排量信息的文件。
在其他实施例中,第一文件112和第二文件122可以是内容具有强关联的文件。例如,第一文件112可以是记录了仅上个月售出牛排量信息的文件,而第二文件122可以是记录了仅当月售出牛排量信息的文件。在其他实施例中,第一文件112和第二文件122也可以是任何两个用户需要比对的文件。
在本公开的实施例中,对第一文件112和第二文件122进行比较的请求可以是请求对两个文件的部分或全部进行比较。也即,该请求既可以请求对第一文件112和第二文件122全文进行比较,也可以请求仅对这两个文件各自的一部分进行比较,由此增加比较的灵活度。在文件较大而用户又明确知悉所需比较的具体一部分内容时,增加比对的灵活度能够极大地提高比对效率。应当理解,本文中的术语“第一部分”和“第二部分”意在分别指代第一文件和第二文件的至少一部分,而非意在对文件的具体内容进行限定。
在一些实施例中,可以在比较第一部分和第二部分的请求中给出对该第一部分/第二部分的指示,以标识需要比对的对象。以指示第一部分为例,方法200还可以进一步包括基于接收到的请求,确定与第一部分相关联的至少一项如下信息的步骤:文件名、文件路径、比对起始位置和比对结束位置、比对起始位置和比对长度、以及比对结束位置和比对长度等。
比对起始位置和比对结束位置可以通过具体的文件行号来指示,也可以通过具体的关键字进行指示。例如在请求中给出行号10来表明从第一文件112的第10行开始比对或者比对到第一文件112的第10行结束;而在请求中给出关键字“牛排销量”来表明从第一文件112第一次出现“牛排销量”的内容开始比对或者比对到第一文件112第一次出现“牛排销量”时结束,本公开的实施例在此发明不受限制。本领域技术人员应当理解,对第二文件122的第二部分的指示方式与对第一文件112的第一部分的指示方式,不再赘述。
如前所述,第一文件112与第二文件122在存储系统120中分别与多个数据块相关联。例如,第一文件112在存储系统120中与数据块114、116和118…相关联;第二文件122在存储系统120中与数据块124、126和128…相关联。这样,在比较的对象是第一文件112的第一部分和第二文件122的第二部分时,则需获取具体与第一部分相关联的第一数据块集合以及和第二部分相关联的第二数据块集合。同样,这里所称的“第一数据块集合”和“第二数据块集合”仅用于区分这两者,而非对数据块集合的具体内容进行限定。
继续参考图2,在步骤230获取该第一文件数据块集合中的数据块的第一映射信息和该第二文件数据块集合中的数据块的第二映射信息,该第一映射信息和该第二映射信息分别基于该第一文件数据块集合和该第二文件数据块集合生成。本领域技术人员可以理解,映射信息可以至少包括数据块集合中各数据块的映射元素的集合,而各数据块的映射元素则可以与相应数据块的内容相关联,后文具体描述。
本领域技术人员可以理解,该映射信息由于与数据块集合本身相关联,因而除了可以用于索引相应的数据块集合之外,还可以至少部分地指示数据块集合中的数据块。
根据本公开的实施例,可以以如下方式生成数据块集合的映射信息。如图1所示,可以以数据块为单位,为针对第一文件112划分的每个数据块114、116、118…分别确定出相应的映射元素111、113、115…,以及为针对第二文件122划分的每个数据块124、126、128…分别确定出相应的映射元素117、119、121…,并基于确定的各映射元素来生成数据块集合的映射信息。由此方式生成的映射信息通过其所基于的映射元素而体现各个数据块的信息,从而便于形成对各数据块的索引路径和提供对数据块的指示。以下以针对第一文件112的数据块114、116、118…生成映射信息为例进行描述,然而本领域技术人员应当理解,同样的过程也适用于针对第二文件122的数据块124、126、128…的映射信息生成。
在本公开的进一步实施例中,可以基于每个数据块114、116、118…的映射元素111、113、115…以及基于这些映射元素所生成的索引路径来共同生成映射信息。该实施例将在后文参照图3具体描述。
在进一步的示例中,映射元素111、113、115…可以通过针对相应数据块生成哈希值、并基于该哈希值来确定的方式而获得。由于哈希值与映射元素之间的一一对应关系,以此方式获得的映射元素111、113、115可以用于唯一地标识相应的数据块并索引到该相应的数据块。在其他示例中,映射元素111、113、115…可以通过本领域的其他映射方式获得,只要其与相应的数据块具有对应关系即可。
如图1所示,各数据块114、116、118…连同其各自的映射元素111、113、115…将被一起备份到存储系统120中,以供在后续对数据块的索引和比对时使用。需要理解的是,图1仅示出了一种示例环境,其结构和文件数目仅仅是示例性的,而无意对本公开的实施例进行任何限制。在该环境中,可以包括更多的文件、数据块和相关联的备份操作。例如,在该环境100中,除了文件112之外,还可以包括其他的待备份文件、其各自的数据块和相应的映射元素。
在一些实施例中,可以在上述备份过程中基于各映射元素111、113、115…来生成映射信息。例如,图3示出了根据本公开的实施例的在备份操作生成映射信息的示意图300。为了简化说明,假定这次操作要备份文件1、文件2和文件3,其中文件1被划分成两个数据块(未示出),其各自的映射元素为307和308;文件2被划分为一个数据块(未示出),其映射元素为309;文件3被划分为一个数据块(未示出),其映射元素为310。则各数据块连同映射信息307-310被备份到存储系统120中。
如上所述,映射元素307-310可以分别基于各数据块所生成的哈希值来确定。同样内容的数据块所对应的哈希值相同、由此形成相同的映射元素,而不同内容的数据块所对应的哈希值不同、由此形成不同的映射元素。因此,映射元素307-310可以用于标识相应的数据块。
此外,为了便于后续对本次备份文件的数据块进行索引,可以基于各映射元素307-310形成索引路径。例如,可以基于文件1的文件名、和与文件1相关联的数据块的映射元素307和308生成文件1的映射信息304;可以基于文件2的文件名、和与文件2相关联的数据块的映射元素309生成文件2的映射信息305;可以基于文件3的文件名、和与文件3相关联的数据块的映射元素310生成文件3的映射信息306。
类似地,在本公开的实施例中,还可以基于文件目录以及该目录下的文件生成文件目录的映射信息。假定文件1和文件2位于同一个文件目录下,而文件3位于另一目录下。则例如基于文件1和文件2所位于的文件目录和该目录下的文件1和文件2的映射元素304和305生成文件目录的映射信息302;以及基于文件3所位于的文件目录和该目录下的文件3的映射元素306生成文件目录的映射信息303。
类似地,在一些实例中,还可以基于本次备份操作的所涉及的文件目录302和303、以及备份操作的时间、备份获取权限、创建者信息等元数据中的一项或多项生成本次备份的映射信息301,作为备份文件查找的入口。本领域技术人员应当理解,例如映射信息301、302、304构成了对文件1进行索引的索引路径;例如映射信息301、302、305构成了对文件2进行索引的索引路径;例如映射信息301、303、306构成了对文件3进行索引的索引路径。如上所述,这些索引路径可以基于各数据块对应的映射元素307-310生成,并与相关联的映射元素一起作为各文件的映射信息。
本领域技术人员应当理解,虽然在如图3所示的具体示例中将与数据块的映射元素和基于该映射元素生成的各映射信息形成的索引路径作为的映射信息,但也可以以其他方式来生成映射信息,例如仅以各数据块的映射元素形成映射信息,只要该映射信息是基于相关数据块集合生成即可。
在一些实施例中,所生成的例如如图3所示的映射信息可以存储在存储系统120中,以供后续的对数据块进行索引和比较时使用。
回到方法200,在240,基于该第一映射信息和该第二映射信息,确定第一部分与第二部分的差异性。应当理解,该差异性可以指示第一部分和第二部分的区别或不同。
根据本公开的实施例,第一部分与第二部分的差异性可以通过多种方式来确定。图4A-图4C示出了根据本公开的实施例的通过比较映射信息来确定文件差异性的示例性示意图。具体而言,图4A示出了示例性的第一映射信息400和第二映射信息400’。在该示例中,假定与第一文件112的第一部分相关联的数据块集合为三个(未示出),其各自的映射元素为404-406。
与参照图3所描述的映射信息的结构类似地,第一映射信息400可以包括各映射元素404-406,以及基于映射元素404-406生成的映射信息403、402和401,分别用于索引文件、文件目录、以及该次备份。
为了便于说明,假定第二文件122和第一文件112是针对同一源文件的不同时间节点备份文件。第二文件122同样被划分为三个数据块,其中仅一个数据块与第一文件112中的数据块不同,其对应的映射元素为407。
根据本公开的实施例,在确定该第一部分与该第二部分的差异性时,可以基于第一映射信息400和第二映射信息400’进行。例如,当确定第一映射信息400和第二映射信息400’存在差异时,可以认为第一部分和第二部分存在差异。
在一些实施例中,可以通过比较与该第一文件数据块集合中的所有数据块对应的第一组映射元素和与该第二文件数据块集合中的所有数据块对应的第二组映射元素来确定该第一部分和第二部分的具体差异性。例如,响应于第一组映射元素404、405和406与第二组映射元素404、407、406不完全相同,确定第一部分与第二部分不同。
更进一步地,可以通过逐一比较具体数据块的映射元素来确定第一部分和第二部分之间具体不相同的部分,即二者之间的差异性。举例而言,可以将第一组映射元素中的404与第二组映射元素中的对应顺序的元素404进行比较、将第一组映射元素中的405与第二组映射元素中的对应顺序的元素407进行比较、以及将第一组映射元素406与第二组映射元素中的对应顺序的元素406进行比较,由此确定该差异性是与第一部分的映射元素405相关联的数据块和与第二部分的映射元素407相关联的数据块。
在根据本公开的进一步实施例中,可以基于与该差异性相关联的各数据块分别恢复第一部分的至少一部分,以及第二部分的至少一部分,并将恢复的第一部分的至少一部分以及第二部分的至少一部分发送给客户端。
作为备选方式,图4B示出了另外的示例性的第一映射信息400和第二映射信息400”。在该示例中,可以通过比较该第一映射信息400和该第二映射信息400”,发现在第二映射信息400”中缺少映射元素405,由此确定第一部分与第二部分的差异在于与映射元素405对应的数据块;也可以通过按顺序比较第一组映射元素中的404和第二组映射元素中的404、第一组映射元素中的405和第二组映射元素中的406而确定第一部分与第二部分的差异性在于与映射元素405和406对应的数据块。具体的比较策略可以根据需要进行设置,本公开的实施方式在此不作限定。
作为又一备选方式,图4C示出了进一步的示例性的第一映射信息400和第二映射信息400”’。在该示例中,通过比较该第一映射信息400和该第二映射信息400”’,发现在第二映射信息400”’中增加了映射元素407,由此确定第一部分与第二部分的差异在于与映射元素407对应的数据块。
此外,响应于第一组映射元素与第二组映射元素完全相同(图4C中未示出),确定第一部分与第二部分相同。
以上结合图1至图4C描述了根据本公开实施例的比较文件的方案。该方案通过比对与待比较的文件数据块集合相关联的映射信息来确定文件之间的差异性,能够一方面提高比对的效率,另一方面也可实现仅返回差异性部分,从而节约网络资源。
图5示意性示出了适于用来实现本公开实施例的电子设备500的框图。设备500可以用于实现执行图2所示的用于比较文件的方法200。如图5所示,设备500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令,来执行各种适当的动作和处理。在RAM503中,还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元501执行上文所描述的各个方法和处理,例如执行用于数据备份的方法200和/或方法400。例如,在一些实施例中,方法200和/或方法400可被实现为计算机软件程序,其被存储于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU 501执行时,可以执行上文描述的方法200的一个或多个操作。备选地,在其他实施例中,CPU 501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法200和/或方法400的一个或多个动作。
需要进一步说明的是,本公开可以是方法、设备、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,该编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,该模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
以上该仅为本公开的可选实施例,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等效替换、改进等,均应包含在本公开的保护范围之内。
Claims (11)
1.一种比较文件的方法,包括:
响应于接收到比较第一文件的第一部分和第二文件的第二部分的请求,确定与所述第一部分相关联的第一文件数据块集合和与所述第二部分相关联的第二文件数据块集合;
获取所述第一文件数据块集合中的数据块的第一映射信息和所述第二文件数据块集合中的数据块的第二映射信息,所述第一映射信息和所述第二映射信息分别基于与所述第一文件数据块集合中的数据块对应的映射元素以及与所述第二文件数据块集合中的数据块对应的映射元素来生成;以及
基于所述第一映射信息和所述第二映射信息,确定所述第一部分与所述第二部分的差异性,
其中确定所述第一部分与所述第二部分的差异性包括:
比较与所述第一文件数据块集合中的所有数据块对应的第一组映射元素和与所述第二文件数据块集合中的所有数据块对应的第二组映射元素;
响应于所述第一组映射元素与所述第二组映射元素不完全相同,确定所述第一部分与所述第二部分不同;以及
响应于所述第一组映射元素与所述第二组映射元素完全相同,确定所述第一部分与所述第二部分相同。
2.根据权利要求1所述的方法,其中与所述第一文件数据块集合中的数据块对应的所述映射元素基于以下而被确定:
生成所述第一文件数据块集合中的数据块的哈希值;以及
基于所述哈希值,确定与所述数据块对应的所述映射元素。
3.根据权利要求1所述的方法,还包括:
恢复与所述差异性相关联的所述第一部分的至少一部分和所述第二部分的至少一部分;以及
发送恢复的所述第一部分的至少一部分和所述第二部分的至少一部分。
4.根据权利要求1所述的方法,还包括:
基于接收的所述请求,确定与所述第一文件的所述第一部分相关联的以下至少一项信息:
文件名,
文件路径,
比对起始位置和比对结束位置,
比对起始位置和长度,以及
比对结束位置和长度。
5.根据权利要求1所述的方法,其中所述第一文件和所述第二文件是针对同一源文件的不同备份文件。
6.一种比较文件的设备,包括:
处理器;以及
与所述处理器耦合的存储器,所述存储器具有存储于其中的指令,所述指令在被处理器执行时使所述设备执行动作,所述动作包括:
响应于接收到比较第一文件的第一部分和第二文件的第二部分的请求,确定与所述第一部分相关联的第一文件数据块集合和与所述第二部分相关联的第二文件数据块集合;
获取所述第一文件数据块集合中的数据块的第一映射信息和所述第二文件数据块集合中的数据块的第二映射信息,所述第一映射信息和所述第二映射信息分别基于与所述第一文件数据块集合中的数据块对应的映射元素以及与所述第二文件数据块集合中的数据块对应的映射元素来生成;以及
基于所述第一映射信息和所述第二映射信息,确定所述第一部分与所述第二部分的差异性,
其中确定所述第一部分与所述第二部分的差异性包括:
比较与所述第一文件数据块集合中的所有数据块对应的第一组映射元素和与所述第二文件数据块集合中的所有数据块对应的第二组映射元素;
响应于所述第一组映射元素与所述第二组映射元素不完全相同,确定所述第一部分与所述第二部分不同;以及
响应于所述第一组映射元素与所述第二组映射元素完全相同,确定所述第一部分与所述第二部分相同。
7.根据权利要求6所述的设备,其中与所述第一文件数据块集合中的数据块对应的所述映射元素基于以下而被确定:
生成所述第一文件数据块集合中的数据块的哈希值;以及
基于所述哈希值,确定与所述数据块对应的所述映射元素。
8.根据权利要求6所述的设备,所述动作还包括:
恢复与所述差异性相关联的所述第一部分的至少一部分和所述第二部分的至少一部分;以及
发送恢复的所述第一部分的至少一部分和所述第二部分的至少一部分。
9.根据权利要求6所述的设备,所述动作还包括:
基于接收的所述请求,确定与所述第一文件的所述第一部分相关联的以下至少一项信息:
文件名,
文件路径,
比对起始位置和比对结束位置,
比对起始位置和长度,以及
比对结束位置和长度。
10.根据权利要求6所述的设备,其中所述第一文件和所述第二文件是针对同一源文件的不同备份文件。
11.一种计算机可读介质,存储机器可执行指令,所述机器可执行指令在被执行时使机器执行根据权利要求1至5中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811260855.2A CN111104787B (zh) | 2018-10-26 | 2018-10-26 | 用于比较文件的方法、设备和计算机程序产品 |
US16/284,567 US20200133935A1 (en) | 2018-10-26 | 2019-02-25 | Method, apparatus and computer program product for comparing files |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811260855.2A CN111104787B (zh) | 2018-10-26 | 2018-10-26 | 用于比较文件的方法、设备和计算机程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111104787A CN111104787A (zh) | 2020-05-05 |
CN111104787B true CN111104787B (zh) | 2024-04-26 |
Family
ID=70326252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811260855.2A Active CN111104787B (zh) | 2018-10-26 | 2018-10-26 | 用于比较文件的方法、设备和计算机程序产品 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20200133935A1 (zh) |
CN (1) | CN111104787B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101256526A (zh) * | 2008-03-10 | 2008-09-03 | 清华大学 | 检查点容错技术中文件状态一致性维护的实现方法 |
US8595454B1 (en) * | 2010-08-31 | 2013-11-26 | Symantec Corporation | System and method for caching mapping information for off-host backups |
CN108572958A (zh) * | 2017-03-07 | 2018-09-25 | 腾讯科技(深圳)有限公司 | 数据处理方法及装置 |
-
2018
- 2018-10-26 CN CN201811260855.2A patent/CN111104787B/zh active Active
-
2019
- 2019-02-25 US US16/284,567 patent/US20200133935A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101256526A (zh) * | 2008-03-10 | 2008-09-03 | 清华大学 | 检查点容错技术中文件状态一致性维护的实现方法 |
US8595454B1 (en) * | 2010-08-31 | 2013-11-26 | Symantec Corporation | System and method for caching mapping information for off-host backups |
CN108572958A (zh) * | 2017-03-07 | 2018-09-25 | 腾讯科技(深圳)有限公司 | 数据处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111104787A (zh) | 2020-05-05 |
US20200133935A1 (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922196B2 (en) | Method and device for file backup and recovery | |
US9400800B2 (en) | Data transport by named content synchronization | |
US10089338B2 (en) | Method and apparatus for object storage | |
US20170031948A1 (en) | File synchronization method, server, and terminal | |
EP2724266A1 (en) | Extracting incremental data | |
US10983718B2 (en) | Method, device and computer program product for data backup | |
CN110389859B (zh) | 用于复制数据块的方法、设备和计算机程序产品 | |
US20200117543A1 (en) | Method, electronic device and computer readable storage medium for data backup and recovery | |
US11281623B2 (en) | Method, device and computer program product for data migration | |
US20220043723A1 (en) | Method, electronic device and computer program product for storage management | |
CN111143113B (zh) | 复制元数据的方法、电子设备和计算机程序产品 | |
CN112748866A (zh) | 一种增量索引数据的处理方法和装置 | |
CN109726039B (zh) | 用于管理虚拟机的方法和设备 | |
CN112925750B (zh) | 用于访问数据的方法、电子设备和计算机程序产品 | |
US9866619B2 (en) | Transmission of hierarchical data files based on content selection | |
CN111104787B (zh) | 用于比较文件的方法、设备和计算机程序产品 | |
CN104063377A (zh) | 信息处理方法和使用其的电子设备 | |
CN107526530B (zh) | 数据处理方法和设备 | |
US11513913B2 (en) | Method for storage management, electronic device, and computer program product | |
US11281391B2 (en) | Method, device, and computer program for migrating backup system | |
CN111625500B (zh) | 文件快照方法及装置、电子设备和存储介质 | |
US11138075B2 (en) | Method, apparatus, and computer program product for generating searchable index for a backup of a virtual machine | |
US20210081370A1 (en) | Method, device and computer program product for event ordering | |
CN110674084A (zh) | 用于数据保护的方法、设备和计算机可读存储介质 | |
US20210081110A1 (en) | Method, device and computer program product for managing storage blocks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |