CN108063779A - 一种云存储和本地存储实现同步的方法和系统 - Google Patents

Abstract

本发明公开了一种云存储和本地存储实现同步的方法和系统，该方法包括：从云存储获取文件目录；将所述文件目录与本地文件进行对比，获得本地所没有文件的目录；标记所述文件目录；传输文件；传输文件限于所述文件目录所标记的、本地没有的文件；更新文件目录。本发明技术方案优化了文件同步的流程，减少了服务器的流量，避免了文件同步过程中的文件重复或遗失，保证了文件数据的完整性，有效提高了数据同步的效率，提高了数据同步的准确性与可靠性。

Description

一种云存储和本地存储实现同步的方法和系统

技术领域

本发明涉及互联网技术领域，特别涉及一种云存储和本地存储实现同步的方法和系统。

背景技术

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

云存储采用的是新型的云状结构的存储系统系统，这个存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。

当我们使用某一个独立的存储设备时，需要清楚该存储设备的型号、接口和传输协议，必须清楚地知道存储系统中硬件空间、型号和容量，必须清楚存储设备和服务器之间的连接线缆规格。为了保证数据安全和业务的连续性，需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。如果采用云存储，那么上面要求都不再需要。云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接，对云存储进行数据访问。

目前在行业中应用的云存储系统从架构上整体区分主要有两类：

1)、全对称云存储架构。全对称云存储架构中所有节点的硬件、软件、功能均相同，即其元数据模块和数据模块均在同一台存储设备中。在该架构下所有存储设备地位相同，通过云存储软件系统将存储设备进行整合，共同提供服务。

2)、非全对称云存储架构。非全对称云存储架构多采用将元数据模块独立部署在服务器上，数据模块则部署在存储设备上，通过云存储软件系统控制系统的整体服务，并将信令流和业务流进行分离提供云存储服务。

二者虽然在架构上有较大区别，但是云存储提供服务的本质并没有太大的差别。统一的服务提供能力、虚拟化的空间使用方式、分布式的存储模式、业务实时动态调度和容灾等是衡量云存储基本属性的几个方面。

云存储系统的结构模型由4层组成：

1)、存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

2)、基础管理

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

3)、用接口

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。

4)、访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提高系统性能和效率，保证整个系统的高效稳定运行。

现有在云存储与本地存储的同步技术中，主要的技术方案包括：

目前对文件同步通常采用定时同步，主要有以下两种方式：

1)、定时对源机需要同步的目录进行一次全扫描，对每个扫描到的文件到目的机验证，以确定该文件是否为新增或者做过修改，如果为新增或做过修改，则将文件同步到目的机。

2)、定时对源机需要同步的目录进行一次全扫描，对每个扫描后的文件先进行同步操作，然后将同步后的文件转移到本机备份目录。以后每次扫描时，都是处理新增文件。

上述这两种定时同步方式均不能同步删除文件，也会造成文件的重复，不能做到实时同步，可行性较差。

发明内容

本发明提供一种云存储和本地存储实现同步的方法和系统，优化了文件同步的流程，减少了服务器的流量，避免了文件同步过程中的文件重复或遗失，保证了文件数据的完整性，有效提高了数据同步的效率，提高了数据同步的准确性与可靠性。

本发明的技术方案提供了一种云存储和本地存储实现同步的方法，包括以下步骤：

从云存储获取文件目录；

将所述文件目录与本地文件进行对比，获得本地所没有文件的目录；

标记所述文件目录；

传输文件；

更新所述文件目录。

进一步的，所述文件目录所包含的文件信息，包括但不限于文件名称、大小、录入时间和文件属性。

进一步的，所述对比的内容包括但不限于文件名称、大小、录入时间和文件属性。

进一步的，所述标记所述文件目录，进一步包括：

将本地所没有的文件在所述文件目录中进行。

进一步的，所述传输文件，进一步包括：

根据所述文件目录的标记进行传输；

传输文件限于所述文件目录所标记的、本地没有的文件。

进一步的，所述更新所述文件目录，进一步包括：

对已完成传输的文件，更新相应的所述文件目录的标记。

进一步的，对所述文件目录的标记进行实时的更新。

本发明的技术方案还提供了一种云存储和本地存储实现同步的系统，其特征在于，包括：管理单元、云存储单元和本地存储单元，其中，

管理单元用于获取所述文件目录、标记所述文件目录和管理向所述本地存储单元传输文件；

云存储单元用于在云端存储文件和生成所述文件目录；

本地存储单元用于在本地存储文件。

进一步的，所述文件目录的标记进行实时更新。

进一步的，管理单元根据所述文件目录的标记，管理向所述本地存储单元传输文件。

本发明技术方案提供一种云存储和本地存储实现同步的方法和系统，优化了文件同步的流程，减少了服务器的流量，避免了文件同步过程中的文件重复或遗失，保证了文件数据的完整性，有效提高了数据同步的效率，提高了数据同步的准确性与可靠性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中云存储和本地存储实现同步的方法流程图；

图2为本发明实施例一中云存储和本地存储实现同步的系统结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例一中云存储和本地存储实现同步的方法流程图。如图1所示，该云存储和本地存储实现同步的方法流程包括以下步骤：

步骤101、从云存储获取文件目录。

文件目录所包含的文件信息，包括但不限于文件名称、大小、录入时间和文件属性。

步骤102、将文件目录与本地文件进行对比，获得本地所没有文件的目录。

对比的内容包括但不限于文件名称、大小、录入时间和文件属性。

步骤103、标记文件目录。

将本地所没有的文件在文件目录中进行标记。

步骤104、传输文件。

根据文件目录的标记进行文件传输；

传输文件限于文件目录所标记的、本地没有的文件。

步骤105、更新文件目录。

完成传输的文件，更新相应的文件目录的标记。

对文件目录的标记进行实时的更新。

为了实现上述实施例一，本实施例还提供了一种云存储和本地存储实现同步的系统，图2为本发明实施例一中云存储和本地存储实现同步的系统的结构图。如图2所示，该系统包括：管理单元201、云存储单元202和本地存储单元203，其中，

管理单元用于获取文件目录、标记文件目录和管理向本地存储单元传输文件；

云存储单元用于在云端存储文件和生成所述文件目录；

本地存储单元用于在本地存储文件。

对文件目录的标记进行实时更新。

管理单元根据文件目录的标记，管理向本地存储单元传输文件。

上述实施例中的技术方案提供一种云存储和本地存储实现同步的方法和系统，优化了文件同步的流程，减少了服务器的流量，避免了文件同步过程中的文件重复或遗失，保证了文件数据的完整性，有效提高了数据同步的效率，提高了数据同步的准确性与可靠性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种云存储和本地存储实现同步的方法，其特征在于，包括以下步骤：

从云存储获取文件目录；

将所述文件目录与本地文件进行对比，获得本地所没有文件的目录；

标记所述文件目录；

传输文件；

更新所述文件目录。

2.根据权利要求1所述的方法，其特征在于，所述文件目录所包含的文件信息，包括但不限于文件名称、大小、录入时间和文件属性。

3.根据权利要求1所述的方法，其特征在于，所述对比的内容包括但不限于文件名称、大小、录入时间和文件属性。

4.根据权利要求1所述的方法，其特征在于，所述标记所述文件目录，进一步包括：

将本地所没有的文件在所述文件目录中进行标记。

5.根据权利要求1所述的方法，其特征在于，所述传输文件，进一步包括：

根据所述文件目录的标记进行传输；

传输文件限于所述文件目录所标记的、本地没有的文件。

6.根据权利要求1所述的方法，其特征在于，所述更新所述文件目录，进一步包括：

对已完成传输的文件，更新相应的所述文件目录的标记。

7.根据权利要求1或6所述的方法，其特征在于，对所述文件目录的标记进行实时的更新。

8.一种云存储和本地存储实现同步的系统，其特征在于，包括：管理单元、云存储单元和本地存储单元，其中，

管理单元用于获取所述文件目录、标记所述文件目录和管理向所述本地存储单元传输文件；

云存储单元用于在云端存储文件和生成所述文件目录；

本地存储单元用于在本地存储文件。

9.根据权利要求8所述的系统，其特征在于，所述文件目录的标记进行实时更新。

10.根据权利要求8所述的系统，其特征在于，管理单元根据所述文件目录的标记，管理向所述本地存储单元传输文件。