CN111581175B - 一种文件存储网关系统及其数据迁移方法 - Google Patents

Abstract

本发明涉及一种文件存储网关系统及其数据迁移方法，其中，该系统包括文件协议模块、文件日志模块和文件同步模块，文件协议模块分别与业务端、文件存储系统、文件日志模块和文件同步模块相连接，文件日志模块还与文件同步模块相连接，文件同步模块还与非结构化数据管理系统相连接，文件协议模块用于提供多种传统文件访问协议；文件日志模块用于存储文件读写操作日志；文件同步模块用于进行文件存储系统与非结构化数据管理系统之间的异步数据复制操作，以及将文件数据从文件存储系统迁移至非结构化数据管理系统。与现有技术相比，本发明通过解耦业务端IO和异步复制数据IO，在不影响业务端性能的前提下，能够保证数据迁移的完整性。

Description

一种文件存储网关系统及其数据迁移方法

技术领域

本发明涉及文件存储技术领域，尤其是涉及一种文件存储网关系统及其数据迁移方法。

背景技术

传统常采用NAS(Network Attached Storage，网络附属存储)或SAN(StorageArea Network，存储区域网络)对海量文件进行存储，且由这些文件存储设备挂载给业务系统所在的服务器，以提供业务系统的后端存储，然而这些文件存储设备的扩展性较差、难以进行维护。

为此，目前有利用非结构化数据管理系统(如：文档云)对原文件存储设备中的文件数据进行统一管理，此时，原文件存储设备上面的海量文件需要迁移到非结构化数据管理系统中，同时原来的业务系统所需的存储服务又不能中断。但在实际迁移过程中，由于受待迁移的文件数量及容量、非结构化数据管理系统的性能、网络带宽、原存储设备性能的影响，导致迁移总时间过长。

如果先停止业务系统访问，再迁移，迁移完成之后，最后让业务系统继续访问非结构化数据管理系统，此方案在海量文件下，迁移时间可能会持续数个月，且业务系统会停机数月。

如果不停止业务，边迁移边使用原存储设备，则会发生漏迁移现象，为了防止漏迁移，可能需要反复迁移来减少漏迁文件的数量，但是在实际情况中，还是可能存在某些重命名或删除等特殊场景下，不可避免地会漏迁移一些文件，或者多迁移一些文件。即使迁移完毕了，这些业务系统大部分使用的原文件存储访问方式，而非结构化数据管理系统通常会有自己的私有访问协议，若想让这些业务系统访问非结构化数据管理系统的私有访问协议，就需要重新改造业务系统，而业务系统的改造存在长期无人维护、改造访问方式困难以及改造代价大的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种文件存储网关系统及其数据迁移方法，利用非结构化数据管理系统的传统文件协议网关，以替代原文件存储设备，同时可作为原文件存储设备到非结构化数据管理系统的在线迁移系统，无需改造业务系统，能够在不影响业务系统性能的前提下，实现数据无缝透明迁移，且能保证数据迁移的完整性。

本发明的目的可以通过以下技术方案来实现：一种文件存储网关系统，包括文件协议模块、文件日志模块和文件同步模块，所述文件协议模块分别与业务端、文件存储系统、文件日志模块和文件同步模块相连接，所述文件日志模块还与文件同步模块相连接，所述文件同步模块还与非结构化数据管理系统相连接，其中，所述文件存储系统为文件协议模块的缓存系统，

所述文件协议模块用于提供多种传统文件访问协议；

所述文件日志模块用于存储文件读写操作日志；

所述文件同步模块用于进行文件存储系统与非结构化数据管理系统之间的异步数据复制操作，以及将文件数据从文件存储系统迁移至非结构化数据管理系统。

进一步地，所述文件协议模块设置有文件读写接口和目录读写接口。

进一步地，所述文件协议模块提供的传统文件访问协议包括NFS(Network FileSystem，网络文件系统)、SMB(Server Message Block，服务器信息块)、CIFS(CommonInternet File System，通用网络文件系统)、HTTP(HyperText Transfer Protocol，超文本传输协议)、HDFS(Hadoop Distributed File System，平台分布式文件系统)、FTP(FileTransfer Protocol，文件传输协议)和S3(Simple Storage Service，简单存储服务)。

进一步地，所述非结构化数据管理系统包括文档云、内容云或网盘系统。

进一步地，所述文件存储系统为原有文件存储设备，所述文件存储系统包括NAS(Network Attached Storage，网络附属存储)、分布式文件存储系统、SAN(Storage AreaNetwork，存储区域网络)或SSD(Solid State Drive，固态驱动器)之上格式化的文件系统。

进一步地，所述文件协议模块的工作过程包括：

接收来自业务端或文件同步模块的读写操作指令；

按照接收的读写操作指令，对文件存储系统进行读写操作。

进一步地，所述文件同步模块的工作过程包括：

定时从文件日志模块中拉取文件读写操作日志；

按照拉取的文件读写操作日志，进行异步数据复制操作，即分别通过文件协议模块对文件存储系统进行读取和写入操作、直接对非结构化数据管理系统进行读取和写入操作；

通过文件协议模块从业务端获取文件待迁移目录，按照文件待迁移目录，从文件存储系统中将文件数据逐个迁移至非结构化数据管理系统。

进一步地，所述文件日志模块中存储的文件读写操作日志包括对应于业务端读写操作指令的操作日志、以及对应于文件数据迁移过程的操作日志。

进一步地，一种文件存储网关系统的数据迁移方法，包括以下步骤：

S1、业务端访问文件协议模块，将文件待迁移目录记录至文件同步模块；

S2、文件同步模块扫描文件待迁移目录，并将该文件待迁移目录与非结构化数据管理系统的目录进行对比，以将文件数据逐个从文件存储系统迁移至非结构化数据管理系统；

S3、由文件日志模块实时记录文件数据迁移过程的操作日志；

S4、根据记录的文件数据迁移过程操作日志，将迁移过程中的变化再增量地同步至非结构化数据管理系统中。

与现有技术相比，本发明具有以下优点：

一、本发明通过文件日志模块记录操作日志，同时结合文件存储系统作为缓存系统，解除了文件协议模块和文件同步模块之间相互依赖的关系，使得业务端的读写操作与异步复制数据读写操作分离，能够保证业务端不停机、不影响业务端访问性能。

二、本发明设置的文件协议模块提供多种传统文件协议，使得本发明提出的文件存储网关系统能够作为非结构化数据管理系统的传统文件协议网关，实现传统文件协议到非结构化数据管理系统私有协议的转换，避免了重新改造业务系统。

三、本发明在数据迁移过程中，利用文件同步模块扫描文件待迁移目录、并与非结构化数据管理系统的目录进行对比，能够保证文件数据迁移的准确性，此外，利用文件日志模块记录迁移过程中变化的操作日志，以将迁移过程中的变化再增量地同步至非结构化数据管理系统，能够有效避免迁移过程中文件漏迁，同时无需反复多次迁移，即可保证文件数据迁移的完整性，实现无缝透明迁移。

附图说明

图1为本发明的系统架构图；

图2为实施例中支持NFS的文件存储网关系统结构图；

图3为实施例中采用文档云替换原有NFS的对比示意图；

图4为实施例中文件协议模块连接的文件存储系统示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种文件存储网关系统，包括文件协议模块、文件日志模块和文件同步模块：

1)、文件协议模块：负责提供传统文件访问协议的代理服务，主要包括传统文件访问协议的读写流程。文件协议模块与文件存储系统连接，由文件存储系统作为文件协议模块的缓存系统，该文件存储系统可以是原有的文件存储设备。文件协议模块会将必要的文件处理的操作日志写入到文件日志模块中，文件协议模块还需要提供给文件同步模块用于非结构化数据管理系统同步的文件和目录读写接口。

2)、文件日志模块：能够提供操作日志读写的高性能服务，用于存放文件读写操作的操作日志记录，通过文件日志模块能够解除文件协议模块和文件同步模块两个模块的相互依赖关系，使业务端的IO和异步复制数据的IO分离。

3)、文件同步模块：根据文件日志模块中存储的操作日志，对非结构化数据管理系统进行数据同步，将同步的元数据信息保存起来，便于做缓存的管理和同步状态的管理，文件同步模块还负责将原有存储设备上的文件异步地同步至非结构化数据管理系统中。

在具体应用过程中，上述各模块的主要工作内容包括：

101)、业务端发起读写操作；

102)、文件协议模块接收读写操作，该读写操作可以是业务端发送过来的，也可以是文件同步模块发送过来的，按照相应的读写语义对文件存储系统进行读写；

103)、文件协议模块对文件存储系统进行读写完毕后，如果是业务端发起的读写操作，则需要记录必要的操作日志；否则不记录操作日志。

业务端读写的操作至此结束，业务端的读写是经过文件存储系统这一缓存系统，不会直接和非结构化数据管理系统进行交互，因此实现了业务端的IO和同非结构化数据管理系统异步复制的IO隔离，如果该文件存储系统是原有的文件存储设备，那么业务系统无需改造，且不影响业务系统的访问性能。

文件同步模块会异步地根据文件日志模块中记录的操作日志，与非结构化数据管理系统进行数据同步：

104)、文件同步模块定时地拉取文件日志模块中的日志；

105)、文件同步模块通过文件协议模块从文件存储系统中执行相关读取操作：比如读取文件内容、读取文件或目录元数据信息等，该步骤也可以是文件同步模块通过文件协议模块往文件存储系统中执行相关写入操作：比如创建文件、创建目录、删除文件或目录、重命名文件或目录等；

106)、文件同步模块从非结构化数据管理系统中执行相关读取操作：比如读取文件内容、读取文件或目录元数据信息等，该步骤也可以是文件同步模块往非结构化数据管理系统中执行相关写入操作：比如创建文件、创建目录、删除文件或目录、重命名文件或目录等。

文件同步模块的异步的数据复制操作至此结束，整个文件存储网关系统，可以为非结构化数据管理系统提供传统文件协议访问的网关，实现了传统文件协议到非结构化数据管理系统私有协议的转换，它是基于原生文件存储系统的缓存机制，能够进一步让业务端的IO和异步复制数据的IO分离。

在进行文件迁移时，具体的处理步骤为：业务端由访问原有文件存储设备改为访问本发明的文件存储网关系统，将待迁移的目录记录到文件同步模块中，文件同步模块异步地一边扫描待迁目录、一边和非结构化数据管理系统的目录进行对比，逐个地从原文件存储系统中迁移至非结构化数据管理系统中；

对于迁移过程的中变化，由于所做操作记录到了文件日志模块中，根据操作日志，可以将迁移过程中的变化再增量地同步到非结构化数据管理系统中，避免迁移过程中文件漏迁，也无需反复多次迁移。

上述迁移过程完成之后，原存储设备中的文件可以选择不删除，继续用于热数据缓存，提升这部分数据的访问性能，本发明作为原文件存储系统到非结构化数据管理系统的在线迁移系统，能够有效实现数据无缝透明迁移，无需停机，且能保障数据迁移的完整性。

本实施例中，原有文件存储设备为NAS系统，非结构化数据管理系统为文档云，业务端运行在Linux操作系统中，文件协议模块提供NFS协议，如图2所示，Linux业务端读写流程的步骤为：

步骤201)、Linux业务端发起NFS协议的读写操作流程；文件协议模块中的NFS-Server负责接收NFS协议层的消息处理，进入步骤202；

步骤202)、文件协议模块将读写操作直接透传给原有NAS服务处理；处理成功后，进入步骤203；

步骤203)、文件协议模块将读写操作的这条操作日志记录到文件日志模块中。

Linux业务端读写的操作至此结束，接下来文件同步模块会异步地根据文件日志模块中的操作日志和文档云进行同步，文件同步模块的操作过程包括：

步骤204)、文件同步模块定时地从文件日志模块拉取日志；

步骤205)、文件同步模块通过文件协议模块从原有NAS中执行相关读取操作：比如读取文件内容、读取文件或目录元数据信息等，或者文件同步模块通过文件协议模块往原有NAS中执行相关写入操作：比如创建文件、创建目录、删除文件或目录、重命名文件或目录等；

步骤206)、文件同步模块从文档云中执行相关读取操作：比如读取文件内容、读取文件或目录元数据信息等，或者文件同步模块往文档云中执行相关写入操作：比如创建文件、创建目录、删除文件或目录、重命名文件或目录等。

Linux业务端原有使用场景如图3左侧所示，Linux业务端直接通过NFS协议访问NAS存储。为了达到将原有NAS存储中的文件迁移到文档云中，而且还需要让业务不中断。如图3右侧所示，Linux业务端通过NFS协议访问文件存储网关系统，文件存储网关系统会将Linux业务端发送的数据透传给原有NAS存储处理，并记录必要的操作日志，文件存储网关系统会根据操作日志，将数据同步到文档云中。原有NAS存储中的大量数据会经过文件存储网关系统的文件同步模块后台异步地上传至文档云中。全部迁移完成后，原有存储设备中的数据继续作为文件存储网关系统的热数据保留下来，无需再次从文档云中下载访问，保障了原有数据的访问性能。

此外，将图1中的文件存储采用SSD格式化之后挂载到文件协议模块的服务器端，本发明可以为非结构化数据管理系统提供传统文件存储的访问协议，可以满足业务系统无需改造，达到访问原生文件系统的需求。

本发明中文件协议模块支持的文件访问协议包括但不限于：NFS、SMB、CIFS、HTTP、HDFS、FTP、S3等。即本实施例中的NFS可被替换成SMB，文件协议模块的缓存系统如图4所示，包括但不限于：传统NAS、集群NAS、分布式文件存储(如CephFS)及SAN或SSD之上格式化的文件系统等，本发明中文件同步模块对接的非结构化数据管理系统则包括：文档云、内容云、网盘系统等。

综上所述，本发明实现了传统文件协议到非结构化数据管理系统私有协议的转换；且实现了业务端IO和异步复制IO解耦，从而不影响业务系统的性能；能够作为原文件存储系统到非结构化数据管理系统的在线迁移系统，保证迁移数据的完整性，极大降低了文件存储系统切换对业务系统带来的风险。

Claims (6)

1.一种数据迁移方法，应用于一种文件存储网关系统，其特征在于，所述文件存储网关系统包括文件协议模块、文件日志模块和文件同步模块，所述文件协议模块分别与业务端、文件存储系统、文件日志模块和文件同步模块相连接，所述文件日志模块还与文件同步模块相连接，所述文件同步模块还与非结构化数据管理系统相连接，其中，所述文件存储系统为文件协议模块的缓存系统，

所述文件协议模块用于提供多种传统文件访问协议；

所述文件日志模块用于存储文件读写操作日志；

所述文件同步模块用于进行文件存储系统与非结构化数据管理系统之间的异步数据复制操作，以及将文件数据从文件存储系统迁移至非结构化数据管理系统；

所述文件协议模块的工作过程包括：

接收来自业务端或文件同步模块的读写操作指令；

按照接收的读写操作指令，对文件存储系统进行读写操作；

所述文件同步模块的工作过程包括：

定时从文件日志模块中拉取文件读写操作日志；

按照拉取的文件读写操作日志，进行异步数据复制操作，即分别通过文件协议模块对文件存储系统进行读取和写入操作、直接对非结构化数据管理系统进行读取和写入操作；

通过文件协议模块从业务端获取文件待迁移目录，按照文件待迁移目录，从文件存储系统中将文件数据逐个迁移至非结构化数据管理系统；

所述数据迁移方法包括以下步骤：

S1、业务端访问文件协议模块，将文件待迁移目录记录至文件同步模块；

S2、文件同步模块扫描文件待迁移目录，并将该文件待迁移目录与非结构化数据管理系统的目录进行对比，以将文件数据逐个从文件存储系统迁移至非结构化数据管理系统；

S3、由文件日志模块实时记录文件数据迁移过程的操作日志；

S4、根据记录的文件数据迁移过程操作日志，将迁移过程中的变化再增量地同步至非结构化数据管理系统中。

2.根据权利要求1所述的一种数据迁移方法，其特征在于，所述文件协议模块设置有文件读写接口和目录读写接口。

3.根据权利要求1所述的一种数据迁移方法，其特征在于，所述文件协议模块提供的传统文件访问协议包括NFS、SMB、CIFS、HTTP、HDFS、FTP和S3。

4.根据权利要求1所述的一种数据迁移方法，其特征在于，所述非结构化数据管理系统包括文档云、内容云或网盘系统。

5.根据权利要求1所述的一种数据迁移方法，其特征在于，所述文件存储系统为原有文件存储设备，所述文件存储系统包括NAS、分布式文件存储系统、SAN或SSD之上格式化的文件系统。

6.根据权利要求1所述的一种数据迁移方法，其特征在于，所述文件日志模块中存储的文件读写操作日志包括对应于业务端读写操作指令的操作日志、以及对应于文件数据迁移过程的操作日志。