CN102624871A - 一种基于分布式企业服务总线实现的远程文件同步方法 - Google Patents

Abstract

本发明公开了一种基于分布式企业服务总线实现的远程文件同步方法，该方法可以对分布式企业服务总线中异构系统开启实时监控，随时跟踪文件系统的动态变化，并通过差异计算得到增量信息，后发送到目的端，完成新文件的重构。该方法采用高效的文件发现、差异计算及重构策略，大大减少了文件远程同步的时间和传输量。

Description

一种基于分布式企业服务总线实现的远程文件同步方法

技术领域

本发明涉及分布式企业服务总线远程文件备份、恢复领域，尤其涉及一种高效的分布式企业服务总线文件增量同步方法。

背景技术

企业服务总线(Enterprise Service Bus, ESB)作为面向服务体系架构SOA(Service Oriented Architecture)的核心框架，是企业异构应用交互的基础平台，具有高效、全面、灵活的特性，是解决信息孤岛的有效手段。企业服务总线的定义可以简单的理解为：由中间件技术实现并支持SOA的一组基础架构，支持异构环境中的服务、消息以及基于事件的交互，并且具有适当的服务级别和可管理性。通过企业服务总线实现应用系统的快速接入，并通过更高级的事件、流程处理能力，能够很好的将企业信息系统与实际业务协调起来，在保证原有投资的条件下，实现更加灵活和敏捷的企业信息系统改造。

企业服务总线主要功能是连接外部系统与服务，实现不同系统间的交互需求。在大量企业分布式应用环境中，基于LAN或WAN的网络应用之间进行数据传输或者同步非常普遍，比如远程数据镜像、备份、复制、同步，数据下载、上传、共享等等，如果对文件采用简单的完全复制，在文件较大的情况下，会占用大量网络带宽，针对ESB数据交换平台多应用接入时高频繁交互性和实时性要求，显然这种同步效率是不够的。

目前，文件同步领域的鼻祖是rsync同步，它以rsync算法为基础计算新旧文件的差异数据，从而取代原有冗余的数据，节省传输时的网络带宽并提高效率。尽管rsync已在业界广泛应用，但是仍然存在许多不足之处：

1、rsync采用的滚动校验值（Rolling checksum）虽然可以节省大量校验计算量，但多出一倍以上的hash查找，消耗太大；

　2、rsync中数据块大小是固定的，对数据变化的适应能力有限。

另一种新兴的且流行度很高的技术是De-duplication，即重复数据删除，可以大大减少传输数据量。Dedupe技术应用于数据备份时常采用Rabin 指纹基于文件内容对文件进行块划分，然后计算差异。这种可变块大小的策略在很大程度上减少了计算量和重复数据传输量。

尽管Dedupe技术已在增量备份领域取得了很大进步，但是仍存在一定的局限性: 

1、在可变分块检测过程中,对于两个文件之间仅有较小的随机改变时,检测效果不好，算法的适应性很差。

2、数据块的划分在很大程度上取决于算法中期望块大小的设定, 如果该值设置得较小，那么额外存储每块信息的开销会很大；反之，若该值设置得较大,则粒度过粗,重复数据删除的效果不好。

发明内容

本发明的目的在于针对现有技术中所存在的缺陷，提供一种基于分布式企业服务总线实现的远程文件同步方法。

为了解决上述技术问题，本发明采用以下技术方案：一种基于分布式企业服务总线实现的远程文件同步方法，包括以下步骤：

（1）开启源端文件系统实时监控：采用jnotify库实现文件系统的实时监控，jnotify通过JNI技术调用操作系统的本地库监视文件或文件目录的变化，当文件或文件目录发生新建、删除、修改及重命名等操作时，jnotify的Listener类就会返回相应的文件地址，根据地址可快速获取该文件并做相应的处理；

（2）差异计算并生成差异文件；

（3）消息发送及处理：将所生成的差异文件写入ESB标准消息体，作为ESB的内部消息发往服务器端；在传输过程中，集成ESB消息处理逻辑，可完成对原始传输内容的加密、解密、合并、拆分、路由及格式转换等；

（4）目的端文件重构：当包含差异文件的消息从服务器端传输到目的客户端，经解压解密后，目的客户端根据差异文件和本地旧文件重构出新文件，完成新旧文件的同步；按照差异文件的定义规则，遍历差异文件的每一个数据块描述，根据更新标志updated分别从差异文件或旧文件中读取相应数据块，即可以将旧文件同步到最新的版本。

进一步地，所述步骤（2）具体为：差异文件由文件头和差异数据实体组成，其中文件头按顺序定义了所有数据块的描述，包括数据块长度length、偏移offset、数据块更新标志updated和更新参数count；差异数据实体存储于差异文件尾部，长度和偏移由头部指示；根据差异文件的格式定义，差异文件的具体生成过程如下：

文件每次同步后产生一个快照文件存于本地，这样下次同步过程将只针对快照文件进行；在具体同步时，在count中记录每个块的更新情况，当每次进行同步时，如果该块没有被更新，count加一，否则count设为0；当count>=3时，直接根据chunk中保存的偏移量offset对应到新的文件中取相应的块，并为之计算MD5，与先前文件的快照snapshot中的MD5进行比较，如果相等，则匹配成功，不需更新，只需在差异文件中填入该块在旧文件中的偏移量offset和长度length即可；

如果匹配失败或是count<3时，采用线性差异计算算法LDA找到新的匹配点；LDA基于一种模糊匹配的思想，采用双向启发式搜索完成邻近数据块的线性匹配，最终返回新的匹配点；记录下新的匹配点的偏移值，作为全局偏移量，随后各块的offset均增加一个全局偏移，重复上面的过程直至整个文件分块并匹配结束；此外，如果检测到又一连串的块，其count都>10，则进行合并操作，把他们合并成一个块，并计算这些块对应连续内容的MD5；如果合并成的块找不到对应的内容，则需要再运用CDC算法执行拆分操作；对新文件全文完成匹配后即可得到最终的差异文件。

本发明的有益效果是，通过以下几个方面，本发明能够有效提高远程文件备份的效率和性能：

1）采用jnotify机制实现文件系统更新监控，避免了利用传统方法另外开启线程，不断扫描文件来确定是否更新。

2）采用快照技术作为目的端文件的拷贝，减少了同步过程中过多的网络传输消耗。

3）采用全新的差异计算算法是该发明的亮点，基于统计思想的分块方式与线性模糊的差异计算方法的结合，使得整个过程无论是同步效率还是带宽占用量，都取得了明显进步。其中，同步效率经测试最大可提高50%。

4）合理的差异文件重构规则，使得文件重构过程快速高效、重构结果准确无误。

附图说明

    图1为企业服务总线应用文件同步示意图；

图2为jnotify监控文件系统常用接口图表；

图3为完整差异计算过程示意图；

图4 为重构文件示意图。

具体实施方式

本发明利用分布式企业服务总线对源客户端目标文件开启实时监测，若有更新将其与原始文件进行匹配，计算差异（本发明采用了全新差异计算算法），将差异计算结果发送到ESB服务器端，并由服务器端根据流程配置文件发往目的客户端，最后在目的客户端进行差异重放，实现远程文件同步，另外，作为可选项，目的端根据配置需求，采用心跳检测机制向源端返回同步信号，保证每次同步过程安全可靠的进行。

本发明方法包括以下具体步骤：

1、开启源端文件系统实时监控

本方法采用jnotify库实现文件系统的实时监控。jnotify通过JNI技术调用操作系统的本地库（Win下的是dll文件，Linux下是so文件）监视文件或文件目录的变化，当文件或文件目录发生新建、删除、修改及重命名等操作时，jnotify的Listener类就会返回相应的文件地址，根据地址可快速获取该文件并做相应的处理。

2、差异计算并生成差异文件

针对现有差异计算不足，本发明改进了rsync算法的定长分块和dedupe技术的CDC分块的策略，提出了一种基于统计方式的可变分块算法（SAA）和线性差异计算算法(LDA)，并将两种算法巧妙结合，从而大大减少了差异计算时间。

根据差异文件的格式定义，差异编码信息由文件头和差异数据实体组成，其中文件头按顺序的定义了所有数据块的描述，包括数据块长度length、偏移offset以及数据块更新标志updated和更新参数count。差异数据实体存储于差异编码文件尾部，长度和偏移由头部指示。差异文件的具体生成过程如下：

文件每次同步后产生一个快照文件存于本地，这样下次同步过程将只针对快照文件进行。在具体同步时，在count中记录每个块的更新情况，当每次进行同步时，如果该块没有被更新，count加一，否则count设为0。当count>=3时（此常量可配置），直接根据chunk中保存的偏移量（offset）对应到新的文件中取相应的块，并为之计算MD5，与先前文件的快照snapshot中的MD5进行比较，如果相等，则匹配成功，不需更新，只需在差异文件中填入该块在旧文件中的偏移量offset和长度length即可。

如果匹配失败或是count<3时，基于这样一个优势，即（上文中提到的）CDC算法对文件块的影响仅限于较少的几块，所以我们采用线性差异计算算法（Line Differentiation Algorithm）找到新的匹配点。这里，LDA基于一种模糊匹配的思想，采用双向启发式搜索完成邻近数据块的线性匹配，最终返回新的匹配点。记录下新的匹配点的偏移值，作为全局偏移量，随后各块的offset均增加一个全局偏移，重复上面的过程直至整个文件分块并匹配结束。此外，如果检测到又一连串的块，其count都>10（参数可配），则进行合并操作，把他们合并成一个块，并计算这些块对应连续内容的MD5。当然，如果合并成的块找不到对应的内容，则需要再运用CDC算法执行拆分操作。按照上述规则对新文件全文完成匹配后即可得到最终的差异文件。

3、消息发送及处理

将所生成的差异文件写入ESB标准消息体，作为ESB的内部消息发往服务器端。在传输过程中，集成ESB消息处理逻辑，可完成对原始传输内容的加密、解密、合并、拆分、路由及格式转换等。

4、目的端文件重构

当包含差异文件的消息从服务器端传输到目的客户端，经解压解密后，目的客户端根据差异文件和本地旧文件重构出新文件，完成新旧文件的同步。

根据差异文件的格式定义，差异编码信息由文件头和差异数据实体组成，其中文件头按顺序的定义了所有数据块的描述，包括数据块长度length、偏移offset以及数据块更新标志updated和更新参数count。差异数据实体存储于差异编码文件尾部，长度和偏移由头部指示。

按照以上差异文件的定义规则，遍历差异文件的每一个数据块描述，根据更新标志updated分别从差异文件或旧文件中读取相应数据块，即可以将旧文件同步到最新的版本。

下面将结合附图和具体实施例子对本发明作进一步说明。

现在采用杰唐企业服务总线，实现两台客户端上的数据库文件同步过程。

图1表示分布式企业服务总线加入文件同步组件（文件适配器）后的整体架构设计。同步双方客户端均通过统一的文件同步组件（文件适配器）接入ESB集成环境。文件同步组件（文件适配器）是ESB内部与外部文件系统进行交互的中介和代理。在服务请求者一端，轮询某一个文件目录下是否有文件内容发生了改变，或者新文件加入到该目录中，如果有以上的情形发生，文件适配器需要将变化的内容封装成ESB消息，并且发往ESB环境中；在服务提供者一端，文件适配器需要从消息通道中获取消息，并将消息内容写入指定目录下的某文件中或者作为差异文件重构新文件。 

图2表示采用jnotify监控文件系统变更的常用接口。对不同的文件目录可增加多个文件监控器：JNotify.addWatch(path, mask, watchSubtree, new Listener())。可返回一个唯一标识该监控器的ID。在加入更新后的处理逻辑时需要注意，因实际应用中jontify监控方法的域限制较强，故采用将处理逻辑和消息发送直接添加在jnotify的接口函数中。

图3表示一次完整的差异计算过程。首先通过SAA和LDA方法对文件进行分块，满足条件的块得到后为其计算MD5，并与上次同步后保存的MD5列表进行匹配，若匹配成功表示此数据块没有更新，若未匹配到，将该数据块写入差异文件，重复上面的匹配过程直至文件末尾，最后生成完整的差异文件。

图4表示目的客户端重构文件的过程。同步算法遍历差异文件的每一个数据块描述，根据更新标志updated分别从差异文件或旧文件中读取相应数据块，如果updated为1，则表示需更新的数据块位于差异编码文件中offset处，数据紧随该实体后；如果updated为0，则表示数据块不需要更新，直接从旧文件中获取相应位置数据，遍历完整个差异文件后，即可得到重构后的新文件。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围内。

Claims (2)

1.一种基于分布式企业服务总线实现的远程文件同步方法，其特征在于，包括以下步骤：

（1）开启源端文件系统实时监控：采用jnotify库实现文件系统的实时监控，jnotify通过JNI技术调用操作系统的本地库监视文件或文件目录的变化，当文件或文件目录发生新建、删除、修改及重命名等操作时，jnotify的Listener类就会返回相应的文件地址，根据地址可快速获取该文件并做相应的处理；

（2）差异计算并生成差异文件；

（3）消息发送及处理：将所生成的差异文件写入ESB标准消息体，作为ESB的内部消息发往服务器端；在传输过程中，集成ESB消息处理逻辑，可完成对原始传输内容的加密、解密、合并、拆分、路由及格式转换等；

（4）目的端文件重构：当包含差异文件的消息从服务器端传输到目的客户端，经解压解密后，目的客户端根据差异文件和本地旧文件重构出新文件，完成新旧文件的同步；按照差异文件的定义规则，遍历差异文件的每一个数据块描述，根据更新标志updated分别从差异文件或旧文件中读取相应数据块，即可以将旧文件同步到最新的版本。

2.根据权利要求1所述基于分布式企业服务总线实现的远程文件同步方法，其特征在于，所述步骤（2）具体为：差异文件由文件头和差异数据实体组成，其中文件头按顺序定义了所有数据块的描述，包括数据块长度length、偏移offset、数据块更新标志updated和更新参数count；差异数据实体存储于差异文件尾部，长度和偏移由头部指示；根据差异文件的格式定义，差异文件的具体生成过程如下：

文件每次同步后产生一个快照文件存于本地，这样下次同步过程将只针对快照文件进行；在具体同步时，在count中记录每个块的更新情况，当每次进行同步时，如果该块没有被更新，count加一，否则count设为0；当count>=3时，直接根据chunk中保存的偏移量offset对应到新的文件中取相应的块，并为之计算MD5，与先前文件的快照snapshot中的MD5进行比较，如果相等，则匹配成功，不需更新，只需在差异文件中填入该块在旧文件中的偏移量offset和长度length即可；

如果匹配失败或是count<3时，采用线性差异计算算法LDA找到新的匹配点；LDA基于一种模糊匹配的思想，采用双向启发式搜索完成邻近数据块的线性匹配，最终返回新的匹配点；记录下新的匹配点的偏移值，作为全局偏移量，随后各块的offset均增加一个全局偏移，重复上面的过程直至整个文件分块并匹配结束；此外，如果检测到又一连串的块，其count都>10，则进行合并操作，把他们合并成一个块，并计算这些块对应连续内容的MD5；如果合并成的块找不到对应的内容，则需要再运用CDC算法执行拆分操作；对新文件全文完成匹配后即可得到最终的差异文件。

Images