CN112015592A - 数据复制方法及装置 - Google Patents

Abstract

本发明公开了一种数据复制方法及装置。其中，该方法包括：通过安全外壳协议SSH对待复制文件系统进行安全认证；在安全认证通过的情况下，根据远程存储方的配置数据，确定待复制文件系统的复制数据；将复制数据通过复制工具的传输通道，传输给远程存储方。本发明解决了相关技术中数据复制方法，易发生异常，数据复制性能较差的技术问题。

Description

数据复制方法及装置

技术领域

本发明涉及数据存储领域，具体而言，涉及一种数据复制方法及装置。

背景技术

在存储领域，为了保证数据的安全性，需要将数据复制到远程的备份系统，以保证数据的安全性和满足行业，法规等要求。

数据远程复制技术是数据远程容灾的关键技术。在异地远程对数据保留一份或多份副本，通过数据远程复制技术使得在灾难发生时降低对数据的破坏程序，同时在较短的时间内恢复业务运行。可见，数据远程复制技术是传统本地数据备份的补充，通过数据远程复制技术，提高了备份数据的安全和健壮性。

传统ZFS数据远程复制技术有如下两种方式来实现：远程主机将存储映射给本地主机，ZFS(动态文件系统Zettabyte File System)发送和接收数据都在本地进行；本地主机通过使用SSH(安全外壳协议Secure Shell)作为ZFS发送和接收的通道。

如上两种方式分别存在如下几个难点：第一种方式受限于网络距离，若距离太长，难免出现网络抖动，导致IO异常，影响正常数据复制；第二种方式受限于SSH加密/解密的性能影响，数据复制性能较差，每秒不到200MB。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据复制方法及装置，以至少解决相关技术中数据复制方法，易发生异常，数据复制性能较差的技术问题。

根据本发明实施例的一个方面，提供了一种数据复制方法，包括：通过安全外壳协议SSH对待复制文件系统进行安全认证；在安全认证通过的情况下，根据远程存储方的配置数据，确定所述待复制文件系统的复制数据；将所述复制数据通过复制工具的传输通道，传输给所述远程存储方。

可选的，根据远程存储方的配置数据，确定待复制文件系统的复制数据包括：确定所述远程存储方是否存在配置数据，其中，所述配置数据包括所述待复制文件系统的已复制数据，以及当前复制的复制参数；在所述远程存储方存在所述配置数据的情况下，根据所述复制参数对所述待复制文件系统进行快照，将快照数据作为所述复制数据。

可选的，还包括：在所述远程存储方不存在所述配置数据的情况下，对所述待复制文件系统进行初始化复制，将所述待复制文件系统的起始部分数据作为所述复制数据。

可选的，将所述复制数据通过预设的复制工具的传输通道，传输给所述远程存储方包括：从所述远程存储方获取所述复制参数；根据所述复制参数确定所述复制工具；根据所述复制工具的传输通道，将所述复制数据传输给所述远程存储方。

可选的，从所述远程存储方获取所述复制参数之前包括：接收复制参数的修改指令；根据所述修改指令更新所述配置数据的复制参数。

可选的，将所述复制数据通过复制工具的传输通道，传输给所述远程存储方之后，还包括：根据所述复制数据更新所述配置数据。

可选的，通过安全外壳协议SSH对待复制文件系统进行安全认证之前，还包括：通过任务管理器定期建立对所述待复制文件系统的复制任务；响应所述复制任务，执行通过安全外壳协议SSH对待复制文件系统进行安全认证的步骤；通过所述任务管理器监控所述复制任务。

根据本发明实施例的另一方面，还提供了一种数据复制装置，包括：认证模块，用于通过安全外壳协议SSH对待复制文件系统进行安全认证；复制模块，用于在安全认证通过的情况下，根据远程存储方的配置数据，确定所述待复制文件系统的复制数据；传输模块，用于将所述复制数据通过复制工具的传输通道，传输给所述远程存储方。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的数据复制方法。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的数据复制方法。

在本发明实施例中，采用通过安全外壳协议SSH对待复制文件系统进行安全认证；在安全认证通过的情况下，根据远程存储方的配置数据，确定待复制文件系统的复制数据；将复制数据通过复制工具的传输通道，传输给远程存储方的方式，通过SSH对带复制文件系统进行安全认证，在认证通过的情况下，将待复制文件的复制数据通过复制工具的传输通道，传输到远程存储方，达到了通过SSH进行验证，并通过复制工具的传输通道快速的将复制数据进行传输的目的，从而实现了保证待复制文件系统的安全性的前提下，提高待复制文件的复制效率的技术效果，进而解决了相关技术中数据复制方法，易发生异常，数据复制性能较差的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种数据复制方法的流程图；

图2是根据本发明实施方式的数据复制流程的示意图；

图3是根据本发明实施例的一种数据复制装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种数据复制方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种数据复制方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，通过安全外壳协议SSH对待复制文件系统进行安全认证；

步骤S104，在安全认证通过的情况下，根据远程存储方的配置数据，确定待复制文件系统的复制数据；

步骤S106，将复制数据通过复制工具的传输通道，传输给远程存储方。

通过上述步骤，采用通过安全外壳协议SSH对待复制文件系统进行安全认证；在安全认证通过的情况下，根据远程存储方的配置数据，确定待复制文件系统的复制数据；将复制数据通过复制工具的传输通道，传输给远程存储方的方式，通过SSH对带复制文件系统进行安全认证，在认证通过的情况下，将待复制文件的复制数据通过复制工具的传输通道，传输到远程存储方，达到了通过SSH进行验证，并通过复制工具的传输通道快速的将复制数据进行传输的目的，从而实现了保证待复制文件系统的安全性的前提下，提高待复制文件的复制效率的技术效果，进而解决了相关技术中数据复制方法，易发生异常，数据复制性能较差的技术问题。

上述步骤的执行主体可以为待复制文件系统所在的终端或者服务器端，也可以是独立于上述待复制文件系统所在的终端或者服务器端的第三方终端，上述第三方终端用于为上述待复制文件系统所在终端或者服务器端提供服务，具体的，例如，文件复制服务，通过上述步骤将待复制文件系统复制到远程存储方，也即是远程的存储中弄断，例如，云服务器。

上述SSH可以为用于对待复制文件系统进行验证，包括待复制文件系统对应的用户系统的用户账号，用户信息，用户身份进行验证，上述SSH可以用作传输带复制文件的复制数据传输通道，但是，由于SSH的传输通道需要对传输数据进行加密/解密的操作，导致复制性能较差，效率较低。而本申请只通过SSH对待复制文件系统进行认证，保证安全性能，在认证通过的情况下，通过复制工具的复制通道直接进行复制数据的传输，有效提高了复制数据的传输性能，并提高复制数据的传输效率。

上述待复制文件系统可以为存储在本地的动态文件系统ZFS(Zettabyte FileSystem)，在动态文件系统中还可以将远程主机应设在本地主机上，可以在本地进行发送和接收数据，但是，其受限于网络距离，若距离太长，难免出现网络抖动，导致远程主机和本地主机的输入输出IO接口异常，影响正常数据复制。本实施例通过复制工具的复制通道直接进行复制数据的传输，有效提高了复制数据的传输性能，并提高复制数据的传输效率。

上述复制工具可以为BBCP复制工具，或者其他的可以将复制数据进行传输的复制工具。在本地可以具有多种对待复制文件系统进行复制的方式，在通过BBCP进行复制时，可以通过在本地设置传输参数，根据传输参数确定BBCP的传输通道的传输方式将复制数据进行传输。需要其他的复制方式，可以通过修改传输参数的方式修改带复制文件系统的复制方式，在本实施例中，可以将上述BBCP的复制方式作为默认的复制方式。

可选的，根据远程存储方的配置数据，确定待复制文件系统的复制数据包括：确定远程存储方是否存在配置数据，其中，配置数据包括待复制文件系统的已复制数据，以及当前复制的复制参数；在远程存储方存在配置数据的情况下，根据复制参数对待复制文件系统进行快照，将快照数据作为复制数据。

在对待复制文件系统进行复制时，线确定远程存储方是否存在配置数据，该配置数据可以用于指示待复制文件系统的已复制数据，以及复制参数，包括已复制数据在待复制文件系统的位置和部分，以及操作时间，确定当前复制的复制参数，包括在待复制文件系统中的位置和部分，以及操作时间。根据该复制参数对待复制文件系统需要进行复制的数据进行快照，得到复制数据。从而使得待复制数据有序准确的进行分部复制。

可选的，还包括：在远程存储方不存在配置数据的情况下，对待复制文件系统进行初始化复制，将待复制文件系统的起始部分数据作为复制数据。

在远程存储方不存在配置数据的情况下，也即是没有待复制文件系统的已复制数据，则说明该待复制文件系统刚开始进行复制，也即是初始化复制，将待复制文件系统的起始部分数据作为复制数据，上述待复制文件系统的起始部分数据，也即是从带复制文件系统开始复制的部分和位置的数据，上述起始部分数据可以为从开始复制的部分和位置的预设大小的部分数据。

可选的，将复制数据通过预设的复制工具的传输通道，传输给远程存储方包括：从远程存储方获取复制参数；根据复制参数确定复制工具；根据复制工具的传输通道，将复制数据传输给远程存储方。

通过将待复制文件的复制数据通过复制工具的传输通道，传输到远程存储方，达到了通过SSH进行验证，并通过复制工具的传输通道快速的将复制数据进行传输的目的，从而实现了保证待复制文件系统的安全性的前提下，提高待复制文件的复制效率的技术效果，进而解决了相关技术中数据复制方法，易发生异常，数据复制性能较差的技术问题。

可选的，从远程存储方获取复制参数之前包括：接收复制参数的修改指令；根据修改指令更新配置数据的复制参数。

用户根据需求，可以对复制参数进行修改，从而修改复制方式。

可选的，将复制数据通过复制工具的传输通道，传输给远程存储方之后，还包括：根据复制数据更新配置数据。

上述复制数据传输到远程存储方后，远程存储方进行存储，将复制数据与已复制数据进行结合，并更新上述配置数据，包括更新已复制数据和复制参数。为下一次的数据复制提供服务。

可选的，通过安全外壳协议SSH对待复制文件系统进行安全认证之前，还包括：通过任务管理器定期建立对待复制文件系统的复制任务；响应复制任务，执行通过安全外壳协议SSH对待复制文件系统进行安全认证的步骤；通过任务管理器监控复制任务。

通过对复制操作建立任务的方式，可以实现对复制操作的灵活管理，可以根据需求，进行开启，暂停和中止，取消等。进一步提高了用户体验，和复制的灵活性。

需要说明的是，本申请实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式涉及存储系统技术领域，尤其是涉及一种ZFS数据复制传输通道的实现方法，是备份容灾系统中的核心技术。

本实施方式实现一种高效的ZFS数据复制传输通道的方法。本实施方式底层使用的文件系统是ZFS。ZFS具有如下特性：提供数据冗余的存储池；写时拷贝；无限数量的快照；支持数据流异步传输数据。

文件系统快照模块(FSSM)：

文件系统快照模块，根据指令，可针对特定文件系统创建快照。创建快照是一个很快的操作，与文件系统的大小无关，可在1秒级完成快照的创建。整个文件系统由当前最新的状态和历次的快照组成。

文件系统当前最新的状态是可读可写的状态，而快照是文件系统在过去某个时间点的状态，它是不可读，不可写的状态。因数据更新并不是原地更新，文件系统会自动将新写入数据和更新的数据存放在文件系统的别处，所以快照的大小仅仅是这次快照与上次快照之间数据的差异。

文件系统数据复制模块(FSRM)：

文件系统数据复制基于快照进行。因每次快照大小只记录差异数据，故可使用将快照传输至远程存储池的方式来保持本地存储池和远程存储池之间数据的异步复制。

文件系统数据复制模块支持的认证信息传输通道必须是SSH。它支持两种数据传输通道，分别是SSH和BBCP，默认使用BBCP数据传输通道进行数据传输，可配置为使用SSH传输通道进行数据传输。传输通道支持在文件系统级别进行单独配置。

BBCP(Securely and quickly copy data from source to target)是开源的数据复制工具。它支持安全和快速地将数据从源端复制到目标端。在本实现方法里，源端为本地ZFS存储池，目标端为远程ZFS存储池。BBCP通道支持限速和并行度。

数据复制传输通道:BBCP-s 8

数据复制传输通道限速:BBCP-x 100M,设置于命令执行前的环境变量。

SSH(Secure Shell)是一种加密的网络传输协议，可在网络中为网络服务提供安全的传输环境。SSH通道支持限速。

数据复制传输通道限速:scp-l 100M,设置于命令执行前的环境变量。

图2是根据本发明实施方式的数据复制流程的示意图，如图2所示，FSRM模块复制数据流程如下：

步骤1：检查本地存储池所在主机是否可以SSH到远程存储池所在主机，此阶段使用SSH进行安全认证。

步骤2：对本地主机上的本地存储池的某个文件系统定义默认数据传输通道、传输通道参数、传输频率。默认传输通道使用BBCP。

步骤3：对文件系统创建快照，记录快照名称、快照时间、快照大小等信息。

步骤4：检查文件系统数据复制的配置文件是存在，若不存在，使用步骤2的参数开始第一次数据复制初始化操作。若配置文件(通道类)存在，使用步骤2的参数开始异步复制快照数据。使用BBCP通道传输数据期间，数据并不加密，从而提高了数据传输的效率。

任务管理模块(JOBM):

任务管理模块定期创建任务，通过任务调度文件系统数据复制模块完成文件系统的数据复制。它有如下几个用途：

根据文件系统复制参数自动创建任务和触发任务调度，默认文件系统每2分钟同步一次数据，任务管理模块就间隔2分钟创建一个新的任务，新的任务调度文件系统数据复制模块去完成数据复制。

任务管理模块支持对任务状态的控制，如支持：开启，暂停，取消。

本实施方式的优点：本实施方式提供了一种ZFS高效复制数据到远端的传输通道，速度高达1GB/S以上，数据复制传输速率是基于SSH传输通道的5倍以上；本实施方式自动调度任务，保证数据复制持续地进行。

本实施方式的关键点和保护点：本实施方式在使用BBCP实现ZFS高效复制数据到远端的传输通道的实现。本实施方式在文件系统自动和持续的进行数据复制的实现

图3是根据本发明实施例的一种数据复制装置的示意图，如图3所示，根据本发明实施例的另一方面，还提供了一种数据复制装置，包括：认证模块32，复制模块34和传输模块36，下面对该装置进行详细说明。

认证模块32，用于通过安全外壳协议SSH对待复制文件系统进行安全认证；复制模块34，与上述认证模块32相连，用于在安全认证通过的情况下，根据远程存储方的配置数据，确定待复制文件系统的复制数据；传输模块36，与上述复制模块34相连，用于将复制数据通过复制工具的传输通道，传输给远程存储方。

通过上述装置，采用认证模块32通过安全外壳协议SSH对待复制文件系统进行安全认证；复制模块34在安全认证通过的情况下，根据远程存储方的配置数据，确定待复制文件系统的复制数据；传输模块36将复制数据通过复制工具的传输通道，传输给远程存储方的方式，通过SSH对带复制文件系统进行安全认证，在认证通过的情况下，将待复制文件的复制数据通过复制工具的传输通道，传输到远程存储方，达到了通过SSH进行验证，并通过复制工具的传输通道快速的将复制数据进行传输的目的，从而实现了保证待复制文件系统的安全性的前提下，提高待复制文件的复制效率的技术效果，进而解决了相关技术中数据复制方法，易发生异常，数据复制性能较差的技术问题。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质包括存储的程序，其中，在程序运行时控制计算机存储介质所在设备执行上述中任意一项的数据复制方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的数据复制方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据复制方法，其特征在于，包括：

通过安全外壳协议SSH对待复制文件系统进行安全认证；

在安全认证通过的情况下，根据远程存储方的配置数据，确定所述待复制文件系统的复制数据；

将所述复制数据通过复制工具的传输通道，传输给所述远程存储方。

2.根据权利要求1所述的方法，其特征在于，根据远程存储方的配置数据，确定待复制文件系统的复制数据包括：

确定所述远程存储方是否存在配置数据，其中，所述配置数据包括所述待复制文件系统的已复制数据，以及当前复制的复制参数；

在所述远程存储方存在所述配置数据的情况下，根据所述复制参数对所述待复制文件系统进行快照，将快照数据作为所述复制数据。

3.根据权利要求2所述的方法，其特征在于，还包括：

在所述远程存储方不存在所述配置数据的情况下，对所述待复制文件系统进行初始化复制，将所述待复制文件系统的起始部分数据作为所述复制数据。

4.根据权利要求2所述的方法，其特征在于，将所述复制数据通过预设的复制工具的传输通道，传输给所述远程存储方包括：

从所述远程存储方获取所述复制参数；

根据所述复制参数确定所述复制工具；

根据所述复制工具的传输通道，将所述复制数据传输给所述远程存储方。

5.根据权利要求4所述的方法，其特征在于，从所述远程存储方获取所述复制参数之前包括：

接收复制参数的修改指令；

根据所述修改指令更新所述配置数据的复制参数。

6.根据权利要求1所述的方法，其特征在于，将所述复制数据通过复制工具的传输通道，传输给所述远程存储方之后，还包括：

根据所述复制数据更新所述配置数据。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，通过安全外壳协议SSH对待复制文件系统进行安全认证之前，还包括：

通过任务管理器定期建立对所述待复制文件系统的复制任务；

响应所述复制任务，执行通过安全外壳协议SSH对待复制文件系统进行安全认证的步骤；

通过所述任务管理器监控所述复制任务。

8.一种数据复制装置，其特征在于，包括：

认证模块，用于通过安全外壳协议SSH对待复制文件系统进行安全认证；

复制模块，用于在安全认证通过的情况下，根据远程存储方的配置数据，确定所述待复制文件系统的复制数据；

传输模块，用于将所述复制数据通过复制工具的传输通道，传输给所述远程存储方。

9.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至7中任意一项所述的数据复制方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的数据复制方法。

Images