CN105843554A

CN105843554A - 基于对象存储的数据迁移的方法及其系统

Info

Publication number: CN105843554A
Application number: CN201610141499.7A
Authority: CN
Inventors: 李伟杰; 王志军; 房秉毅; 贾智宇
Original assignee: China United Network Communications Group Co Ltd
Current assignee: China United Network Communications Group Co Ltd
Priority date: 2016-03-11
Filing date: 2016-03-11
Publication date: 2016-08-10
Anticipated expiration: 2036-03-11
Also published as: CN105843554B

Abstract

本发明属于计算机技术领域，具体涉及一种基于对象存储的数据迁移的方法及其基于对象存储的数据迁移的系统。该基于对象存储的数据迁移的方法，包括步骤：步骤S1)根据数据级别，从原存储系统中抽取所述数据，并将所述数据的用户、容器、对象以及相应的权限规则信息生成对应的属性文件；步骤S2)解析所述属性文件，执行所述属性文件中的指令，按照设定的数据级别将所述数据写入新的存储系统，并为所述数据的用户、容器、对象设定对应的权限规则。该基于对象存储的数据迁移的方法可以有效屏蔽原存储系统和目的存储系统的差异，在不同的操作系统下具有可移植性，简单易用、通用性高。

Description

基于对象存储的数据迁移的方法及其系统

技术领域

本发明属于计算机技术领域，具体涉及一种基于对象存储的数据迁移的方法及其基于对象存储的数据迁移的系统。

背景技术

随着互联网、Web2.0的快速发展，Web应用创建出数百亿的小文件；人们上传海量的照片、视频、音乐，Facebook每天都新增数十亿条内容，人们每天发送数千亿封电子邮件。据IDC统计，未来在10年间数据将增长44倍，到2020年全球数据将增加到35ZB。海量数据集的共同特点主要包含三点：其一是超过80％的数据是非结构化的；其二是数据量在持续不断地增加；其三是这些数据需要长时间存储，而非热点的数据也会被随机访问。

面对如此庞大的数据量，仅具备PB级扩展能力的块存储(SAN)和文件存储(NAS)显得有些无能为力：通常块存储(SAN)的一个LUN容量仅数TB。单个文件系统最优性能情况下支持的文件数量通常只在百万级别。人们需要一种全新的架构的存储系统，这种存储系统需要具备极高的可扩展性，能够满足人们对存储容量TB到EB规模的扩展的需求。

对象存储应运而生，其是一种基于对象的存储设备，兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点，具备智能、自我管理能力，通过web服务协议(如：REST、SOAP)实现对象的读写和存储资源的访问。2002年对象存储被用于政府法规要求的金融服务、健康医疗等行业的数据归档场景，对象存储由此具备了备份归档的基因；2006年Amazon发布AWS，S3服务及其使用的REST、SOAP访问接口成为对象存储的事实标准。AmazonS3成功为对象存储注入云服务基因。

对象存储系统包含两种数据描述：容器(Bucket)、对象(Object)。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据，用户或者应用通过接入码(AccessKey)认证后，只需要根据ID就可以访问容器和对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)。

数据在写入存储系统时，会被分片，以实现并发读写。在不同的对象存储系统中，分片的算法不一样，并且元数据和权限控制信息的定义和存储格式也不一样。所以当需要更换存储系统，对数据进行迁移时，必须先将文件从原对象存储系统中读取出来，再写入新的存储系统，而不是简单的对硬盘进行数据拷贝迁移。

目前数据迁移的方法主要包括：系统切换前通过工具迁移、系统切换前采用手工录入。其中：

系统切换前通过工具迁移是指：在系统切换前，开发一个程序把原存储系统中的历史数据抽取、转换，并装载到新系统中去。这种方法是数据迁移最主要、也是最快捷的方法。但这些工具都需要特定开发，存在各种各样的局限性，不能作为一个独立的软件产品。这种方法是应用的最为普遍和快捷的方法，但是对原始数据的要求较高。

系统切换前采用手工录入是指：在系统切换前，组织相关运维人员将存储数据手工导出，然后导入到新系统中。这种方法虽然对原始数据没有太多要求，但是消耗的人力、物力比较大，同时出错率也比较高。主要适用于无法转换到新系统中的数据，和新系统启用时必需而原存储系统无法提供的数据的场合，可作为第一种方法的有益补充。

可见，以上数据迁移的方法均有一定的缺陷，数据迁移的方法有待进一步开发和完善。

发明内容

本发明所要解决的技术问题是针对现有技术中存在的上述不足，提供一种基于对象存储的数据迁移的方法及其基于对象存储的数据迁移的系统，该基于对象存储的数据迁移的方法可以有效屏蔽原存储系统和目的存储系统的差异，在不同的操作系统下具有可移植性，简单易用、通用性高。

解决本发明技术问题所采用的技术方案是该基于对象存储的数据迁移的方法，包括步骤：

步骤S1)根据数据级别，从原存储系统中抽取所述数据，并将所述数据的用户、容器、对象以及相应的权限规则信息生成对应的属性文件；

步骤S2)解析所述属性文件，执行所述属性文件中的指令，按照设定的数据级别将所述数据写入新的存储系统，并为所述数据的用户、容器、对象设定对应的权限规则。

优选的是，步骤S1)具体包括：

步骤S11)建立第一级目录，以将所有要迁移的元数据保存在该第一级目录下；

步骤S12)建立第二级目录，用用户的ID建立一个文件夹，将用户账号、密码、配额信息转换为用户属性文件；

步骤S13)建立第三级目录，在对应用户的第二级目录下，用容器的ID建立一个文件夹，将容器的权限信息和元数据信息转换为一个容器属性文件；

步骤S14)建立第四级目录，读取对应容器下的所有对象并保存到该容器的第三级目录下，将对象的权限信息和元数据信息转换为对象属性文件。

优选的是，步骤S2)具体包括：

步骤S21)遍历第二级目录所有的用户属性文件，根据所述用户属性文件建立与原存储系统相同的用户账号、密码以及配额；

步骤S22)遍历第三级目录所有文件夹的名字，根据所述容器属性文件在该用户下建立对应的容器，并对该容器设置对应的权限；

步骤S23)遍历第四级目录所有对象属性文件，根据所述对象属性文件在该用户下建立对应的对象，并对该对象设置对应的权限。

优选的是，所述用户属性文件、所述容器属性文件和所述对象属性文件的内容均为xml格式数据。

优选的是，从原存储系统中抽取的数据，以及对应着所述数据的所述用户属性文件、所述容器属性文件、所述对象属性文件暂存于临时存储空间。

一种基于对象存储的数据迁移的系统，包括数据导出单元、数据转换单元和数据导入单元，其中：

所述数据导出单元，用于根据数据级别，从原存储系统中抽取所述数据；

所述数据转换单元，用于将所述数据中用户、容器、对象以及相应的权限规则信息生成对应的属性文件；

所述数据导入单元，用于解析所述属性文件，执行所述属性文件中的指令，按照设定的数据级别将所述数据写入新的存储系统，并为所述数据中用户、容器、对象设定对应的权限规则。

优选的是，所述数据转换单元包括用户信息转换模块、容器信息转换模块和对象信息转换模块，其中：

所述用户信息转换模块，用于将所述数据中用户以及相应的权限规则信息生成对应的属性文件，该所述属性文件为用户属性文件；

所述容器信息转换模块，用于将所述数据中容器以及相应的权限规则信息生成对应的属性文件，该所述属性文件为容器属性文件；

所述对象信息转换模块，用于将所述数据中对象以及相应的权限规则信息生成对应的属性文件，该所述属性文件为对象属性文件。

优选的是，所述数据导入单元包括用户信息解析模块、容器信息解析模块和对象信息解析模块，其中：

所述用户信息解析模块，用于从所述用户属性文件中解析出用户以及相应的权限规则；

所述容器信息解析模块，用于从所述容器属性文件中解析出容器以及相应的权限规则；

所述对象信息解析模块，用于从所述对象属性文件中解析出对象以及相应的权限规则。

优选的是，还包括临时存储空间，所述临时存储空间用于保存从原存储系统中抽取的所述数据，以及对应着所述数据的所述用户属性文件、所述容器属性文件、所述对象属性文件。

本发明的有益效果是：

该基于对象存储的数据迁移的方法可以有效屏蔽原存储系统和目的存储系统的差异，在不同的操作系统下具有可移植性，只需存储系统的运维人员按照该方法就可进行数据迁移，具有简单易用、通用性高、无需用户参与、对用户透明等特性；

相应的，该基于对象存储的数据迁移的系统可以实现数据在两个存储介质之间的便捷迁移，保证数据的准确性。

附图说明

图1为基于对象存储的数据存储结构示意图；

图2为本发明实施例中数据迁移方法的流程示意图；

图3为本发明实施例中基于对象存储的数据导出的示意图；

图4为本发明实施例中数据迁移系统的结构示意图；

图中：

1－数据导出单元；

2－数据转换单元；21－用户信息转换模块；22－容器信息转换模块；23－对象信息转换模块；

3－数据导入单元；31－用户信息解析模块；32－容器信息解析模块；33－对象信息解析模块。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明基于对象存储的数据迁移的方法及其基于对象存储的数据迁移的系统作进一步详细描述。

对象存储系统(Object-Based Storage System)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及无限容量和可扩展性的安全的数据共享的存储体系结构。

在本实施例中，具体根据基于对象的存储存储元素的性质来设置数据导出层次、需要导出的内容以及数据导入新系统的方法等。通常情况下，基于对象存储系统的组成元素包括：对象(Object)、容器(bucket)、元数据(meta data)以及权限规则(ACL)，其中：

对象(Object)：对象是系统中数据存储的基本单位，一个对象是用URI(Uniform Resource Identifier，即统一资源标识符)、数据内容和若干个属性对组成的数据结构对用户数据进行记录的数据单元。所有对象的URI全局唯一，依据URI可以唯一定位到该对象。而传统的存储系统中用文件或块作为基本的存储单位，在块存储系统中还需要始终追踪系统中每个块的属性，对象通过与存储系统通信维护自己的属性。

容器(bucket)：对象存储系统中存储对象的逻辑空间。对象必须属于一个容器；容器同时作为容器内对象总体进行统计和访问控制的入口点。容器用URI和若干属性对组成，所有容器的URI全局唯一，URI可以唯一定位到具有该容器。

元数据(meta data)：描述容器或对象的数据，主要是描述容器或对象属性。这些属性信息可以定义基于文件的RAID参数、数据分布和服务质量等。

权限规则(ACL)：对象和容器分别支持五类权限，如表1所示：

表1对象和容器的权限

在基于对象的数据存储系统中，如图1所示，对象存储结构是一个用户下有两级目录结构。其采用扁平化结构(二级目录)管理所有数据，对存储有多个对象的资源池中，第一级是容器(容器A、容器B等)，第二级是对象(对象a、对象b、对象c等)。

本实施例中基于对象存储的数据迁移的方法总体分为两步，第一步是将元数据和权限从原存储系统导出成文件，第二步将导出的文件写入新的存储系统，并对元数据的权限进行设置。

在数据迁移过程中，数据导出和数据导入设置在不同的存储空间，数据从原存储空间导出，导入至新存储空间。如图2所示，该基于对象存储的数据迁移的方法的具体步骤如下：

步骤S1)根据数据级别，从原存储系统中抽取数据，并将数据的用户、容器、对象以及相应的权限规则信息生成对应的属性文件。

从原存储系统中抽取数据，利用原存储系统的接口读取用户、容器、对象的基本信息，并将数据的用户、容器、对象以及相应的权限规则信息生成对应的属性文件。通常情况下，不同的存储系统封装的接口不一样，包括读写文件、新建用户、查看权限等。在该步骤中，从原存储系统导出数据，并将用户、容器和对象的元数据和权限信息转换成xml格式文件，xml格式文件中包括可执行的指令。具体包括如下子步骤：

步骤S11)建立第一级目录，所有要迁移的元数据将保存在该目录下。

在该步骤中，第一级目录仅用于指定数据导出存放的地方或者系统，用户可根据实际情况灵活定义。

步骤S12)建立第二级目录，用用户的ID建立一个文件夹，将用户账号、密码、配额信息导出为一个文件。

在该步骤中，建立第二级目录，用用户的账号ID建立一个文件夹；然后将用户的ID、密码、配额信息导出为一个用户属性文件，名字是用户的名字加“.info”，文件的内容是xml格式的数据。

用户的信息存储格式如：

<user>

<command>create user</command>

<ID>ACCOUNT_TEST</ID>

</user>

步骤S13)建立第三级目录，在对应用户的第二级目录下，用容器的ID建立一个文件夹，将容器的权限信息和元数据信息导出为一个文件。

在该步骤中，在对应用户的第二级目录下建立第三级目录，用容器bucket的ID建立一个文件夹；然后将容器bucket的权限信息和元数据信息导出为一个容器属性文件，文件的名字是容器的ID加“.acl”，内容是xml格式的数据。该文件用owner标签说明该容器的所属用户。

容器的信息存储格式如：

<command>create a bucket</command>

<Owner><ID>ACCOUNT_TEST</ID><DisplayName>admin</DisplayName></Owner>

<Grant><ID>ACCOUNT_TEST</ID><Permission>FULL_CONTROL</Permission></Grant>

</bucket>

其中<Grant><ID>ACCOUNT_TEST</ID><Permission>FULL_CONTROL</Permission></Grant>表示对容器的每个权限进行设置，FULL_CONTROL表示ACCOUNT_TEST用户对该容器bucket拥有全部控制权。

步骤S14)建立第四级目录，读取对应容器下的所有对象并保存到该容器的第三级目录下，将对象的权限信息和元数据信息导出为一个文件。

在该步骤中，建立第四级目录。读取对应容器下的所有对象，保存到该容器的第三级目录下；然后将对象的权限信息和元数据信息导出为一个对象属性文件，文件的名字是对象的ID加“.acl”，内容是xml格式的数据。每一对象对应一对象属性文件，该文件用owner标签说明该对象的所属用户。

对象的信息存储格式如：

<command>create a object</command>

<Owner><ID>ACCOUNT_TEST</ID><DisplayName>admin</DisplayName></Owner>

<Grant><ID>ACCOUNT_TEST</ID><Permission>FULL_CONTROL</Permission></Grant>

</object>

其中<Grant><ID>ACCOUNT_TEST</ID><Permission>FULL_CONTROL</Permission></Grant>表示对对象的每个权限进行设置，FULL_CONTROL表示ACCOUNT_TEST用户对该对象object拥有全部控制权。

经过以上子步骤，即可用xml格式文件将不同平台的数据进行转换、表示。其中的对象信息元素嵌套在容器信息元素中，容器信息元素嵌套在用户信息元素中。最后，导出的文件目录如下图2所示。

步骤S2)解析属性文件，执行属性文件中的指令，按照设定的数据级别将数据写入新的存储系统，并为数据的用户、容器、对象设定对应的权限规则。

在该步骤中，解析在步骤S1)中生成的xml数据文件，然后执行其中的指令，将基于对象存储的数据写入新的存储系统。解析xml格式文件，将导出的数据导入到新存储系统具体包括如下子步骤：

步骤S21)遍历第二级目录所有的用户属性文件，根据用户属性文件建立与原存储系统相同的用户账号、密码以及配额。

在该步骤中，遍历第二级目录所有的用户属性文件，建立与原存储系统一样的用户账号、密码以及配额。

步骤S22)遍历第三级目录所有文件夹的名字，根据容器属性文件在该用户下建立对应的容器，并对该容器设置对应的权限。

在该步骤中，遍历第三级目录所有文件夹的名字，即所有容器bucket的名字，在该用户下建立对应的容器bucket；然后，遍历第三级目录所有的容器属性文件，即容器bucket权限信息文件，解析该文件的xml数据，对该容器bucket设置对应的权限。

步骤S23)遍历第四级目录所有对象属性文件，根据对象属性文件在该用户下建立对应的对象，并对该对象设置对应的权限。

第四级目录为最后一层目录，只有对象(即最终的文件)。在该步骤中，遍历第四级目录的所有对象属性文件，将该对象object写入对应的用户和容器bucket下；然后，遍历第四级目录所有的对象属性文件，即对象object权限信息文件，解析该文件的xml数据，对该对象object设置对应的权限。

至此，数据迁移已经全部完成。由于对象存储兼容亚马逊S3接口，所以用户无需更改自己业务的程序代码，只需要将访问原存储系统的IP和端口改为新存储系统的IP和端口即可。

在该基于对象存储的数据迁移的方法中，从原存储系统中抽取的数据，以及对应着数据的用户属性文件、容器属性文件、对象属性文件暂存于临时存储空间。如图3所示，基于对象存储的数据导出的目录结构为四级，对于相应的属性文件中的内容，第一级目录无所谓，仅仅是指这次导出的数据要存放的地方；第二级目录是用户的目录属性，第三级目录是容器属性，第四级目录是对象属性。

本实施例的数据迁移的方法中，基于对象存储的数据迁移，引入了分级存储和对应迁移机制，提供了具体的读取和迁移数据的流程以及更换对象存储系统的数据迁移规则：先把数据从原存储系统导出到一个临时存放的空间，再把数据导入到新的存储系统中。由于每一级目录下都有相应的权限和元数据的一个属性文件，根据目录级别依次进行读取和对应的迁移导入，能有效保证数据的正确性。

本发明提供的基于对象存储的数据迁移的方法，可用于更换对象存储系统时对基于对象的数据进行迁移。该基于对象存储的数据迁移的方法可以有效屏蔽原存储系统和目的存储系统的差异，在不同的操作系统下具有可移植性，只需存储系统的运维人员按照该方法就可进行数据迁移，具有简单易用、通用性高、无需用户参与、对用户透明等特性。

相应的，作为本发明的另一方面，如图4所示，一种基于对象存储的数据迁移的系统，包括数据导出单元1、数据转换单元2和数据导入单元3，其中：

数据导出单元1，用于根据数据级别，从原存储系统中抽取数据；

数据转换单元2，用于将数据中用户、容器、对象以及相应的权限规则信息生成对应的属性文件；

数据导入单元3，用于解析属性文件，执行属性文件中的指令，按照设定的数据级别将数据写入新的存储系统，并为数据中用户、容器、对象设定对应的权限规则。

优选的是，数据转换单元2包括用户信息转换模块21、容器信息转换模块22和对象信息转换模块23，其中：

用户信息转换模块21，用于将数据中用户以及相应的权限规则信息生成对应的属性文件，该属性文件为用户属性文件；

容器信息转换模块22，用于将数据中容器以及相应的权限规则信息生成对应的属性文件，该属性文件为容器属性文件；

对象信息转换模块23，用于将数据中对象以及相应的权限规则信息生成对应的属性文件，该属性文件为对象属性文件。

其中，数据导入单元3包括用户信息解析模块31、容器信息解析模块32和对象信息解析模块33，其中：

用户信息解析模块31，用于从用户属性文件中解析出用户以及相应的权限规则；

容器信息解析模块32，用于从容器属性文件中解析出容器以及相应的权限规则；

对象信息解析模块33，用于从对象属性文件中解析出对象以及相应的权限规则。

优选的是，用户属性文件、容器属性文件和对象属性文件的内容均为xml格式数据。

进一步的，该基于对象存储的数据迁移的系统还包括临时存储空间，临时存储空间用于保存从原存储系统中抽取的数据，以及对应着数据的用户属性文件、容器属性文件、对象属性文件。

该基于对象存储的数据迁移的系统可以实现数据在两个存储介质之间的便捷迁移，保证数据的准确性。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims

1.一种基于对象存储的数据迁移的方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于对象存储的数据迁移的方法，其特征在于，步骤S1)具体包括：

3.根据权利要求2所述的基于对象存储的数据迁移的方法，其特征在于，步骤S2)具体包括：

4.根据权利要求2所述的基于对象存储的数据迁移的方法，其特征在于，所述用户属性文件、所述容器属性文件和所述对象属性文件的内容均为xml格式数据。

5.根据权利要求2所述的基于对象存储的数据迁移的方法，其特征在于，从原存储系统中抽取的数据，以及对应着所述数据的所述用户属性文件、所述容器属性文件、所述对象属性文件暂存于临时存储空间。

6.一种基于对象存储的数据迁移的系统，其特征在于，包括数据导出单元、数据转换单元和数据导入单元，其中：

7.根据权利要求6所述的基于对象存储的数据迁移的系统，其特征在于，所述数据转换单元包括用户信息转换模块、容器信息转换模块和对象信息转换模块，其中：

8.根据权利要求7所述的基于对象存储的数据迁移的系统，其特征在于，所述数据导入单元包括用户信息解析模块、容器信息解析模块和对象信息解析模块，其中：

9.根据权利要求7所述的基于对象存储的数据迁移的系统，其特征在于，所述用户属性文件、所述容器属性文件和所述对象属性文件的内容均为xml格式数据。

10.根据权利要求7所述的基于对象存储的数据迁移的系统，其特征在于，还包括临时存储空间，所述临时存储空间用于保存从原存储系统中抽取的所述数据，以及对应着所述数据的所述用户属性文件、所述容器属性文件、所述对象属性文件。