CN112416878A

CN112416878A - 一种基于云平台的文件同步管理方法

Info

Publication number: CN112416878A
Application number: CN202011239312.XA
Authority: CN
Inventors: 张航; 韩国栋; 张晨祥; 李志刚; 石永红; 苗建鹏; 李洪杰; 范楷; 李嘉伟
Original assignee: Shanxi Yunshidai Technology Co ltd
Current assignee: Shanxi Yunshidai Technology Co ltd
Priority date: 2020-11-09
Filing date: 2020-11-09
Publication date: 2021-02-26

Abstract

本发明属于云平台管理技术领域，具体涉及一种基于云平台的文件同步管理方法，用于将客户端内的数据同步至两台或多台服务器，包括以下步骤：S1、采用sersync文件监测客户端内的同步文件夹，来直接捕捉同步文件夹内文件系统的各种增删操作；S2、客户端内的同步文件夹内文件发生修改时，将文件修改的差量部分从客户端传输至服务器，实现各个服务器之间的数据同步，传输过程中，使用SSH协议对所有传输的数据进行加密；S3、查找冗余数据，删除重复数据，并利用存储指向已经存在的chunk的指针来替代数据本身，同时将原数据反馈给存储服务接口。采用差量同步方式，提高同步效率，防止数据泄露，通过重复校验机制，去除重复数据，节约存储空间。

Description

一种基于云平台的文件同步管理方法

技术领域

本发明属于云平台管理技术领域，具体涉及一种基于云平台的文件同步管理方法。

背景技术

当前全球化的互联网社会带给人们丰富信息的同时，也给带来了管理海量数据的困难。为了高效简介地管理这些海量数据，云存储技术应运而生并蓬勃发展。文件同步服务作为云存储服务成为了信息化时代管理数据的一种有效手段，重复数据删除技术以其能够利用特定应用数据集内数据高度冗余的特性，高效增加存储空间利用率，降低网络带宽消耗，降低IT运营成本等特点，成为了优化云存储系统的关键技术之一；而差量同步算法因其检测网络两端数据间的高度重复而避免传输冗余，提高网络带宽利用率，降低同步操作延迟，同样成为优化云存储系统网络传输的热门技术。从数据服务维护的发展趋势来看，一方面，是对数据的存储量的需求越来越大，另一方面，是对数据的有效管理提出了更高的要求。首先是存储容量的急剧膨胀，从而对于存储服务器提出了更大的需求；其次是数据持续时间增长。最后，对数据存储的管理提出了更高的要求。数据的多样化、地理上的分散性、对重要数据保护等等都对数据管理提出了更高的要求。采用数据同步技术，可及时更新文件内容，避免数据差异，统一各存储器及平台的文件数据，进而提升运维管理能力、提高运维服务质量和效率。

随着互联网的不断发展和使用人群的不断扩大，用户对新业务的需求以及对服务质量的要求也不断提升，应用系统每天都将产生大量的文件数据。服务器负载的部署方式已逐渐取代传统的单台服务器提供服务。基于负载服务器部署方式，文件同步和传输将至关重要。传统的文件传输方式，如：FTP、网盘等方式，对于少量文件和小型文件具有一定优势；但是对于数量较多的文件数据在多台应用服务器进行同步时，将带来相关的问题，如：文件分散存放，数量多，用户访问应用时会有文件丢失的错觉，极大影响了用户体验；文件版本不统一，可管理性过低；同时会出现传输速度慢，数据不可靠的情况，极大的影响了工作效率。

综上所述，网络服务器中，容灾系统保证了核心数据的可用性和关键业务的持续性,而文件同步是容灾系统的基础。现有的同步算法没有考虑应用间文件的关联关系、应用启动依赖关系和优先级关系以及应用产生的中间型文件和临时文件,导致同步了大量重复文件,紧急应用的文件无法优先同步,不必要的同步文件占用了珍贵的网络资源。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于云平台的文件同步管理方法，以做到简单、高效的进行数据的实时同步。

为了解决上述技术问题，本发明采用的技术方案为：一种基于云平台的文件同步管理方法，用于将客户端内的数据同步至两台或多台服务器，包括以下步骤：

S1、采用sersync文件监测客户端内的同步文件夹，来直接捕捉同步文件夹内文件系统的各种增删操作；

S2、客户端内的同步文件夹内文件发生修改时，将文件修改的差量部分从客户端传输至服务器，实现各个服务器之间的数据同步，传输过程中，使用SSH协议对所有传输的数据进行加密；

S3、通过重复数据删除模块将存储在各服务器中的同步目录下的数据内容进行比对，查找冗余数据，对已经确定为重复的数据进行删除，并利用存储指向已经存在的 chunk的指针来替代数据本身，同时将原数据反馈给存储服务接口。

所述的一种基于云平台的文件同步管理方法，还包括将同步文件夹内的文件的历次更改的历史状态都保存下来的步骤。

所述的一种基于云平台的文件同步管理方法，文件同步传输时，通过Rsync算法将文件按照固定大小分割成不同的块，每个数据块根据其内容都计算两个校验码：32位的弱滚动校验码和128位的MD5强校验码，并将文件计算出的所有弱滚动校验码和MD5强校验码跟随在对应数据块后形成校验码集合，然后发送给同步主机；当同步主机接收到文件的校验码集合后，同步主机将对此校验码集合中的每个rolling checksum计算16位长度的hash值，通过比较块的哈希值来确定原文件和目标文件之间的重复部分，在随后的同步过程仅将源文件和目标文件之间不同的差量部分通过网络传输。

所述的一种基于云平台的文件同步管理方法，还包括将数据备份至网络数据中心，当服务器发生故障时，利用网络数据中心进行故障恢复的步骤。

所述步骤S2具体包括以下步骤：

S201、获取数据表中最大timestamp参数，以及uid参数并对synctype参数赋值为false；

S202、获取请求的timestamp参数，以及uid参数，判断同步类型是否相同，若是，则进入步骤S203；，若否，则进入步骤S204；

S203、查询大于timestamp参数的数据，并将其按时间戳排序，然后判断返回数据是否小于请求条数，若是，则进行数据同步，并结束；若否，则判断时间戳是否一致，若不一致，则将请求timestamp参数赋值为返回数据第二大时间戳，对synctype参数赋值ture，并返回步骤S202，若一致，则将请求timestamp参数赋值为返回数据中的最大时间戳，对synctype参数赋值false，并返回步骤S202；

S204、查询大于请求uid参数，且等于请求timestamp参数的数据，按uid参数排序，然后判断返回数据是否小于请求条数，若是，则对synctype参数赋值图热，并返回步骤S202，若否，则将uid参数赋值为返回的uid参数，并返回步骤S202。

所述步骤S2中，客户端内的同步文件夹内文件发生修改，将文件修改的差量部分从客户端传输至服务器时，采用XML作为信息传播的组织形式。

本发明与现有技术相比具有以下有益效果：

本发明提供一种基于云平台的文件同步管理方法，能够实时不间断的将两台甚至多台服务器中的数据进行统一，采用差量同步方式，加快同步时间，提高同步效率，同时使用安全传输协议进行数据加密，防止数据泄露，通过重复校验机制，去除重复数据，节约存储空间。整体架构使用技术包括：数据同步技术、安全传输技术、差量传输技术和重复数据删除技术等。这些技术能够解决对大量文件数据的记录、传输和备份的需求。部署形式灵活，支持扩展性部署，极大提高了系统的完整性。

附图说明

图1为本发明实施例提供的一种基于云平台的文件同步管理方法的流程示意图；

图2为本发明实施例中文件同步的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于云平台的文件同步管理方法，用于将客户端内的数据同步至两台或多台服务器。本发明能够实时不间断的将两台甚至多台服务器中的数据进行统一，采用差量同步方式，加快同步时间，提高同步效率，同时使用安全传输协议进行数据加密，防止数据泄露，通过重复校验机制，去除重复数据，节约存储空间。本发明的整体架构使用技术包括：数据同步技术、安全传输技术、差量传输技术和重复数据删除技术等。本发明能够解决对大量文件数据的记录、传输和备份的需求。部署形式灵活，支持扩展性部署，极大提高了系统的完整性。文件同步服务的核心功能之一，用户在服务器设置了同步文件夹之后，对文件夹内任意文件的增删改会捕获并会被立即同步至其他服务器。

具体地，如图1所示，本发明实施例提供的一种文件同步管理方法具体包括以下步骤：

S1、采用sersync文件监测客户端内的同步文件夹，来直接捕捉同步文件夹内文件系统的各种增删操作。

本实施例采用sersync文件监测，直接捕捉文件系统的各种操作，这种方式的优势可以最准确的知悉用户对文件的各种修改，直接产生修改的差异部分，而不再需要对所有文件进行遍历操作。这种方式使得整个重复数据删除的过程与差量产生的过程对文件系统都是透明的。

S2、客户端内的同步文件夹内文件发生修改时，将文件修改的差量部分从客户端传输至服务器，实现各个服务器之间的数据同步，传输过程中，使用SSH协议对所有传输的数据进行加密。

传统的文件同步服务中，服务的客户端程序安装在主机上并设置同步文件夹后，客户端就可以自动监控用户指定的同步文件夹，及时发现用户对于同步目录里的文件的修改，并将更改之后的最新文件传送至服务器端。由于客户端持续检测用户对于文件的修改，当用户对同步文件夹内的文件进行频繁修改的情况下，文件同步服务软件也需要频繁的将文件同步至服务器。如果用户每次对文件的修改粒度很小，那么将每次修改后的文件整体上传至服务器的方式是效率低下的;尤其是在比较差的网络环境下进行同步操作，文件同步服务软件的响应时间会大大影响用户的使用体验。为了解决这一问题，本实施例采用差异传输的策略来减少每次传输的数据量，即每次只将文件修改的差量部分从客户端传送至服务器。Rsync算法是目前使用得比较广泛的差异化算法，Rsync将文件按照固定大小分割成不同的块，每个数据块根据其内容都计算两个校验码：32位的弱滚动校验码(rollingchecksum)和128位的MD5强校验码。并将文件计算出的所有rolling checksum和强校验码跟随在对应数据块chunk[N]后形成校验码集合，然后发送给主机同步主机。当同步主机主机接收到文件的校验码集合后，同步主机主机将对此校验码集合中的每个rollingchecksum计算16位长度的hash值，通过比较块的哈希值来确定原文件和目标文件之间的重复部分。在随后的同步过程仅将源文件和目标文件之间不同的差量部分通过网络传输，避免传输重复部分带来的带宽消耗。如果网络两端的文件之间的重复部分较大，差异较小，使用差量算法进行传输的策略就会得到非常优异的性能。

而且，本实施例中，文件在传输过程中使用SSH协议对所有传输的数据进行加密，这样＂中间人＂这种攻击方式就不可能实现，而且也能够防止DNS和IP欺骗，另外传输的数据是经过压缩的，可以加快传输的速度，SSH协议有两种验证方式:第一种级別(基于口令的安全验证)只要你知道自己账号和口令，就可以登录到远程主机，但是不能保证你正在连接的服务器就是你想连接的服务噐，(有被“中间人”欺骗的风险，虽然很小。)第二种级别(基于密钥的安全验证)需要依靠密匙，也就是你必须为自己创建对密匙，并把公用密钥放在需要访问的服务器上，通过这种方式，可以排除“中间人＂这种攻击方式。

进一步地，本实施例中，客户端内的同步文件夹内文件发生修改，将文件修改的差量部分从客户端传输至服务器时，采用XML作为信息传播的组织形式。因为同时采用了重复数据删除技术与差量生成技术，使得通过网路传递的信息形式比较复杂，为了能够进行跨平台的多客户端的协作，保证客户端之间信息的兼容性，我们采用XML作为信息传播的组织形式。XML因其简洁跨平台等多种特性，已经逐渐成为互联网交换信息的一种常用的标准之一。XML的标签结构特性能够很好的描述差量信息中对原文件的偏移与实际数据之间的对应关系。对于差量内部的重复数据结构，采用一种自描述的方式来组织。在XML中加入dedupe标签来表明当前的方式差量信息内是否采用了重复数据删除的方式进行组织。若以XML形式进行传输的差量delta信息头部包含 dedupe域，则说明该差量信息内已经包含重复数据删除处理过的信息，在服务器端进行解析时，首先要经过重复数据删除的析构。

具体地，如图2所示，所述步骤S2具体包括以下步骤：

S3、通过重复数据删除模块将存储在各服务器中的同步目录，负责对数据内容进行比对，查找冗余数据，对已经确定为重复的数据进行删除，并利用存储指向已经存在的chunk的指针来替代数据本身，同时将原数据反馈给存储服务接口。

本实施例中，重复数据删除技术是基于数据自身冗余度来检测共享数据集内中相同的数据对象，对于相同的数据对象，只传输或者存储唯一的数据对象副本，而对于其他重复的数据对象只存储唯一的指针或者标记对应。相比较传统的数据压缩算法，重复数据删除技术不仅能够消除文件内部的重复数据，对于共享数据集内的冗余数据也能够被很好的检测和消除。作为一种有效的数据缩减手段将较大的数据对象分割成为一系列较小的块(chunk)，系统中的重复数据删除模块将将作用于存储在各服务器中的同步目录，负责对数据内容进行比对，查找冗余数据，对已经确定为重复的数据，利用存储指向已经存在的chunk的指针来替代数据本身，而不再存储数据的本身，并将元数据反馈给存储服务接口。重复数删除因为仅仅存储已经被检测为重复数据的 chunk对应的标记或者指针，仅将不重复的数据存储到存储介质中从而降低存储空间的使用，增加存储设施利用率;当数据在网络中传输时，更能够有效的降低网络带宽消耗，进一步降低能耗和网络成本。

重复数据主要应用于备份、容灾和归档系统。在备份、容灾和归档系统中主要以写操作为主，在其数据集中存在大量重复数据，采用重复数据删除技术可以极大的减少相同数据，消除数据中的冗余，增加存储设备空间利用率，降低写操作的相应时间，并缩减备份窗口以及优化网络带宽消耗。对于归档系统，重复数据删除技术在提供了写操作的高性能基础之上，也能够较容易的实现数据的不可擦除性，这对归档系统的安全审计要求提供了强有力的技术支持。

进一步地，本发明提供的一种基于云平台的文件同步管理方法，还包括将同步文件夹内的文件的历次更改的历史状态都保存下来的步骤。通过对历次更改的历史状态进行保存，使得文件同步系统可以具备版本控制功能，版本控制功能可以将文件历次更改的历史状态都保存下来，方便对于历史版本的查看，维护和更新。可以随时恢复到任何历史版本。文件同步服务通常还可以满足多台服务器同时进行同步操作，任何一台服务器中的文件同步目录发生改变，其余服务器都将实时进行更改。

进一步地，本发明提供的一种基于云平台的文件同步管理方法，还包括将数据备份至网络数据中心，当服务器发生故障时，利用网络数据中心进行故障恢复的步骤。服务器中数据由于各种原因常常会有意外损坏的可能，传统的解决方案需要借助介质恢复软件进行恢复。这种恢复机制难免会受到软件功能是否完善的限制，而且一旦介质损坏，则完全不可恢复。文件同步软件会自动将数据备份至网络，维护数据的稳定工作全部交由功能强大的数据中心来完成，故障后的恢复也非常方便快捷。

综上所述，本发明提供了一种基于云平台的文件同步管理方法，能够实时不间断的将两台甚至多台服务器中的数据进行统一，采用差量同步方式，加快同步时间，提高同步效率，同时使用安全传输协议进行数据加密，防止数据泄露，通过重复校验机制，去除重复数据，节约存储空间。整体架构使用技术包括：数据同步技术、安全传输技术、差量传输技术和重复数据删除技术等。这些技术能够解决对大量文件数据的记录、传输和备份的需求。部署形式灵活，支持扩展性部署，极大提高了系统的完整性。其具体面向多应用的文件同步方法,通过对应用间文件去重,减少重复文件同步，解决了同步效率低，资源浪费等相关问题。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于云平台的文件同步管理方法，用于将客户端内的数据同步至两台或多台服务器，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于云平台的文件同步管理方法，其特征在于：还包括将同步文件夹内的文件的历次更改的历史状态都保存下来的步骤。

3.根据权利要求1所述的一种基于云平台的文件同步管理方法，其特征在于，文件同步传输时，通过Rsync算法将文件按照固定大小分割成不同的块，每个数据块根据其内容都计算两个校验码：32位的弱滚动校验码和128位的MD5强校验码，并将文件计算出的所有弱滚动校验码和MD5强校验码跟随在对应数据块后形成校验码集合，然后发送给同步主机；当同步主机接收到文件的校验码集合后，同步主机将对此校验码集合中的每个rollingchecksum计算16位长度的hash值，通过比较块的哈希值来确定原文件和目标文件之间的重复部分，在随后的同步过程仅将源文件和目标文件之间不同的差量部分通过网络传输。

4.根据权利要求1所述的一种基于云平台的文件同步管理方法，其特征在于，还包括将数据备份至网络数据中心，当服务器发生故障时，利用网络数据中心进行故障恢复的步骤。

5.根据权利要求1所述的一种基于云平台的文件同步管理方法，其特征在于，所述步骤S2具体包括以下步骤：

6.根据权利要求1所述的一种基于云平台的文件同步管理方法，其特征在于，所述步骤S2中，客户端内的同步文件夹内文件发生修改，将文件修改的差量部分从客户端传输至服务器时，采用XML作为信息传播的组织形式。