CN112558881A - 一种迁移存储系统的方法及系统 - Google Patents

一种迁移存储系统的方法及系统 Download PDF

Info

Publication number
CN112558881A
CN112558881A CN202011507409.4A CN202011507409A CN112558881A CN 112558881 A CN112558881 A CN 112558881A CN 202011507409 A CN202011507409 A CN 202011507409A CN 112558881 A CN112558881 A CN 112558881A
Authority
CN
China
Prior art keywords
storage system
data
description information
new
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011507409.4A
Other languages
English (en)
Inventor
许式伟
于翟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qiniu Information Technology Co ltd
Original Assignee
Shanghai Qiniu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qiniu Information Technology Co ltd filed Critical Shanghai Qiniu Information Technology Co ltd
Priority to CN202011507409.4A priority Critical patent/CN112558881A/zh
Publication of CN112558881A publication Critical patent/CN112558881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Abstract

本发明公开一种在线迁移存储系统的方法，该方法包括：在原有存储系统上部署一套新存储系统；通过所述新存储系统从所述原有存储系统读出原有文件描述信息；将所述原有文件描述信息导入所述新存储系统；通过所述新存储系统根据导入的原有文件描述信息，重新构建新的数据描述信息；将所述新存储系统上线，以对外提供数据服务。本发明还公开一种在线迁移存储系统的系统，通过本发明所述的方法和系统，消除了现有技术中数据拷贝过程耗时高、效率低、存储空间消耗严重等问题，大大提高了迁移效率，明显降低了数据迁移成本，因此具有明显的技术优势和有益效果。

Description

一种迁移存储系统的方法及系统
技术领域
本发明涉及数据迁移领域，尤其涉及一种迁移存储系统的方法及系统。
背景技术
在存储系统的使用过程中，由于旧的存储系统无法满足新的需求需要升级，需要对原有存储的数据进行迁移，通常的做法是通过拷贝的方式将原有存储系统中的数据拷贝到新的存储系统中，在此过程中，数据拷贝的过程非常耗时，效率很低，同时对存储空间的消耗较为严重，数据在线迁移的过程中，需要同时占用2倍的存储空间。
因此，如何提高在线数据迁移的效率，减少数据迁移过程中的存储消耗，降低迁移成本是该领域亟需解决的问题。
发明内容
本发明的目的在于克服现有技术中存在的上述缺陷，提供一种迁移存储系统的方法，用于解决现有技术中存在的在耗时高、效率低、存储消耗高的缺陷。
为达到上述目的，本发明第一方面公开一种迁移存储系统的方法，其特征在于，所述方法具体包括以下实现步骤：S1：在原有存储系统上部署一套新存储系统；S2：通过所述新存储系统从所述原有存储系统读出原有文件描述信息；S3：将所述原有文件描述信息导入所述新存储系统；S4：通过所述新存储系统根据导入的原有文件描述信息，重新构建新的数据描述信息；S5：将所述新存储系统上线，以对外提供数据服务。
进一步的，所述的原有文件描述信息包括文件在实际物理存储介质的起始地址和结束地址。
进一步的，所述的新的数据描述信息包括节点识别号、存储设备识别号、起始地址和结束地址。
进一步的，还包括将原有存储系统中非纠删码数据块迁移为纠删码数据块。
进一步的，还包括根据所述纠删码数据块生成校验数据。
本发明第二方面公开一种迁移存储系统的系统，具体包括：部署模块：用于在所述原有存储系统上部署新的存储系统；信息读取模块：用于从所述原有存储系统读出原有文件描述信息；信息导入模块：用于将所述原有文件描述信息导入所述新存储系统；信息重构模块：用于根据导入的原有文件描述信息，重新构建新的数据描述信息；数据服务模块：用于对外提供数据服务。
进一步的，还包括数据格式转换模块：用于将原有存储系统中非纠删码数据描述信息转换为纠删码数据描述信息。
进一步的，还包括校验码生成模块：用于根据纠删码数据块生成校验数据，或者根据所述原有存储系统生成校验数据。
本发明第三方面还公开一种电子设备，所述设备包括处理器以及存储器，其中，所述存储器用于存储可执行程序,所述处理器用于执行所述可执行程序以实现本发明第一方面所述的任意一种迁移存储系统的方法。
综上，利用本发明公开的方法和系统，在对原有存储系统的数据迁移过程中，不需要数据拷贝，也不需要进行其他转码或者迁移工作，而是在现有的存储系统服务器上部署一套新的存储系统，即可实现对原数据的无缝迁移，相比现有技术，消除了现有技术中数据拷贝过程耗时高、效率低、存储空间消耗严重等问题，大大提高了迁移效率，明显降低了数据迁移成本，因此具有明显的技术优势和有益效果。
本发明公开的方法和系统中所述的模块，在实际应用中，即可以在一台服务器上部署多个模块，也可以每一模块独立部署在不同的服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群服务器上。
为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了一个实施例中数据迁移方法的主要步骤示意图。
图2示出了一个实施例中数据迁移的原理示意图。
图3示出了一个实施例中数据迁移方法中数据描述的构建示意图；
图4示出了一个实施例中数据迁移系统的框架示意图。
具体实施方式
请参阅图1，图1示出了一个实施例中数据迁移方法的主要步骤示意图，具体包括步骤S11～S13：
S11：在原有存储系统上部署一套新存储系统；
通过部署一套新存储系统，用于管理分布在不同地方的服务器物理介质，它和原有存储系统的物理存储介质无关，通过和数据的物理地址建立的映射关系，从而实现对原有存储系统上的物理介质的数据进行操作(例如增删改查)。
S12：通过所述新存储系统从所述原有存储系统读出原有文件描述信息；
新存储系统首先要从原有存储系统获取文件的描述信息，作为一种举例，有些存储介质数据的组织形式为：H1+D1/H2+D2/H3+D3，则其文件的描述形式为:ip1:device1/block2；另一些存储介质数据的组织形式为：H1/D1/D2/D3，则其文件的描述形式可能是：Node1:device1/BlockId/size。
S13：将所述原有文件描述信息导入所述新存储系统；
新存储系统读入原有文件描述信息，并进行解析，获取数据的实际物理存储位置的信息(如begin地址和end地址)即可。
S14：通过所述新存储系统根据导入的原有文件描述信息，重新构建新的数据描述信息。
新存储系统基于导入的文件描述信息，全部重新建立生成新的数据描述信息，作为一种举例，新的描述信息为：node:device:begin:end。
S15：将所述新存储系统上线提供数据操作服务。
对新存储系统上线，新存储系统上可对外提供数据操作服务(例如增删改查)。
作为一种举例，如图2所示，图2示出了一个实施例中数据迁移的原理示意图，该实施例中，假设原有存储系统包含4个不同厂家的存储介质，不同厂家的编号为：201、202、203、204，其中，不同厂家的存储介质对应的编号为a、b、c、d，原有文件系统对应的编号为：A、B、C、D。
数据迁移的原理是，在原有存储系统中部署新存储系统，新存储系统不需要修改原有存储系统的文件系统，也不需要和原有存储系统之间有任何的格式变换、数据拷贝或者交互的过程，也不更改原有存储介质的存储数据格式，只是读入已有的物理存储介质上的文件描述信息，解析获得数据的存储位置，然后进一步重新构建新的数据描述信息，进而建立新的数据管理形式。
具体如何通过原有存储介质上的文件描述信息获得新的数据描述信息的过程，请参阅图3所示的示意图。
请参阅图3，图3示出了一个实施例中数据迁移方法中数据描述的构建示意图，在该实施例中，以一个大小为10M的图片文件1.jpg为例，分别采用不同的存储介质进行存储，为了方便描述，分别标识为第一文件301和第二文件302，1.jpg在不同的存储介质的数据组织形式和文件描述信息分别如下：
第一文件301：数据组织形式为：H1+D1/H2+D2/H3+D3；每个存储块分配的空间大小一样，文件分块存储在D1、D2、D3的物理介质上时，其每一个数据块的描述信息为：ip1:device1/block2；
第二文件301：数据组织形式为：H/D5/D6/D7；每个存储块分配的空间大小不一样，文件分块存储在D5、D6、D7的物理介质上时，其每一个数据块的描述信息为：Node1:device1/Block/size；
新存储系统读入上述两个文件的描述信息，解析出每个数据块所处的节点编号、存储介质编号，以及或者计算或者读出数据存放的起始位置和结束位置，然后按照格式产生新的数据描述信息，作为一种举例，新的数据描述信息包括节点识别号、存储设备识别号、起始地址和结束地址，格式为：node:device:begin:end。通过这样的转换，新存储系统获得存储介质上所有文件的新的数据描述信息，进一步可以据此实现对存储介质的接管。
请参阅图4，图4示出了一个实施例中数据迁移系统的框架示意图，该实施例中，数据迁移系统包括部署模块401、信息读取模块402、信息导入模块403、信息重构模块404、校验码生成模块405、数据服务模块406，其中：
部署模块401:用于在所述原有存储系统上部署新的存储系统；
信息读取模块402：用于从所述原有存储系统读出原有文件描述信息；
信息导入模块403：用于将所述原有文件描述信息导入所述新存储系统；
信息重构模块404：用于根据导入的原有文件描述信息，重新构建新的数据描述信息；
校验码生成模块405：用于根据纠删码数据块生成校验数据，或者根据所述原有存储系统生成校验数据；
数据服务模块406：用于对外提供数据服务；
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种迁移存储系统的方法，其特征在于，所述方法具体包括以下实现步骤：
S1：在原有存储系统上部署一套新存储系统；
S2：通过所述新存储系统从所述原有存储系统读出原有文件描述信息；
S3：将所述原有文件描述信息导入所述新存储系统；
S4：通过所述新存储系统根据导入的原有文件描述信息，重新构建新的数据描述信息；
S5：将所述新存储系统上线，以对外提供数据服务。
2.如权利要求1所述的一种迁移存储系统的方法，其特征在于，所述的原有文件描述信息包括文件在实际物理存储介质的起始地址和结束地址。
3.如权利要求1所述的一种迁移存储系统的方法，其特征在于，所述的新的数据描述信息包括节点识别号、存储设备识别号、起始地址和结束地址。
4.如权利要求1所述的一种迁移存储系统的方法，其特征在于，还包括将原有存储系统中非纠删码数据块迁移为纠删码数据块。
5.如权利要求4所述的一种迁移存储系统的方法，其特征在于，还包括根据所述纠删码数据块生成校验数据。
6.如权利要求1所述的一种迁移存储系统的方法，其特征在于，还包括根据所述原有存储系统生成校验数据。
7.一种迁移存储系统的系统，其特征在于，包括：
部署模块：用于在所述原有存储系统上部署新的存储系统；
信息读取模块：用于从所述原有存储系统读出原有文件描述信息；
信息导入模块：用于将所述原有文件描述信息导入所述新存储系统；
信息重构模块：用于根据导入的原有文件描述信息，重新构建新的数据描述信息；
数据服务模块：用于对外提供数据服务。
8.如权利要求7所述的系统，其特征在于，还包括：
数据格式转换模块：用于将原有存储系统中非纠删码数据描述信息转换为纠删码数据描述信息。
9.如权利要求7所述的系统，其特征在于，还包括：
校验码生成模块：用于根据纠删码数据块生成校验数据，或者根据所述原有存储系统生成校验数据。
10.一种电子设备，其特征在于，所述设备包括处理器以及存储器，其中：
所述存储器用于存储可执行程序；
所述处理器用于执行所述可执行程序以实现权利要求1-6所述的任意一种迁移存储系统的方法。
CN202011507409.4A 2020-12-18 2020-12-18 一种迁移存储系统的方法及系统 Pending CN112558881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011507409.4A CN112558881A (zh) 2020-12-18 2020-12-18 一种迁移存储系统的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011507409.4A CN112558881A (zh) 2020-12-18 2020-12-18 一种迁移存储系统的方法及系统

Publications (1)

Publication Number Publication Date
CN112558881A true CN112558881A (zh) 2021-03-26

Family

ID=75031703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011507409.4A Pending CN112558881A (zh) 2020-12-18 2020-12-18 一种迁移存储系统的方法及系统

Country Status (1)

Country Link
CN (1) CN112558881A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340530A (zh) * 2010-07-26 2012-02-01 杭州信核数据科技有限公司 一种存储空间接管和数据迁移的方法和系统
US8719534B1 (en) * 2012-03-21 2014-05-06 Netapp, Inc. Method and system for generating a migration plan
CN104932986A (zh) * 2014-03-19 2015-09-23 中国移动通信集团公司 一种数据重分布方法及装置
CN106953893A (zh) * 2017-02-15 2017-07-14 北京百度网讯科技有限公司 云存储系统间的数据迁移
CN107704206A (zh) * 2017-10-09 2018-02-16 郑州云海信息技术有限公司 在线迁移异构系统数据的方法、装置、设备和存储介质
CN107766374A (zh) * 2016-08-19 2018-03-06 上海凯翔信息科技有限公司 一种海量小文件存储读取的优化方法和系统
CN109901786A (zh) * 2017-12-08 2019-06-18 腾讯科技（深圳）有限公司 数据迁移方法、系统、装置及计算机可读存储介质
CN110990189A (zh) * 2019-11-29 2020-04-10 北京金山云网络技术有限公司 数据存储方法、装置、电子设备及计算机可读存储介质
CN111078121A (zh) * 2018-10-18 2020-04-28 深信服科技股份有限公司 一种分布式存储系统数据迁移方法、系统、及相关组件

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340530A (zh) * 2010-07-26 2012-02-01 杭州信核数据科技有限公司 一种存储空间接管和数据迁移的方法和系统
US8719534B1 (en) * 2012-03-21 2014-05-06 Netapp, Inc. Method and system for generating a migration plan
CN104932986A (zh) * 2014-03-19 2015-09-23 中国移动通信集团公司 一种数据重分布方法及装置
CN107766374A (zh) * 2016-08-19 2018-03-06 上海凯翔信息科技有限公司 一种海量小文件存储读取的优化方法和系统
CN106953893A (zh) * 2017-02-15 2017-07-14 北京百度网讯科技有限公司 云存储系统间的数据迁移
CN107704206A (zh) * 2017-10-09 2018-02-16 郑州云海信息技术有限公司 在线迁移异构系统数据的方法、装置、设备和存储介质
CN109901786A (zh) * 2017-12-08 2019-06-18 腾讯科技（深圳）有限公司 数据迁移方法、系统、装置及计算机可读存储介质
CN111078121A (zh) * 2018-10-18 2020-04-28 深信服科技股份有限公司 一种分布式存储系统数据迁移方法、系统、及相关组件
CN110990189A (zh) * 2019-11-29 2020-04-10 北京金山云网络技术有限公司 数据存储方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP3260993A1 (en) File operation method and device
US20060161583A1 (en) Method, system and program product for interning invariant data objects in dynamic space constrained systems
CN102272751B (zh) 在数据库环境通过背景同步的数据完整性
US11289115B1 (en) Copying a storage tape
CN111143446A (zh) 数据对象的数据结构转换处理方法、装置及电子设备
CN111324457A (zh) 一种gpu集群中发布推理服务的方法、装置、设备和介质
CN110888843A (zh) 一种跨主机的稀疏文件拷贝方法、装置、设备及存储介质
CN110018878B (zh) 一种分布式系统数据加载方法以及装置
CN110413376A (zh) 一种虚拟机管理usb设备的方法、设备以及存储介质
CN103685408A (zh) 以存储区域网络提供读取基础镜像的服务器、主机及方法
JP6193406B2 (ja) 差分符号化のためのシリアライゼーション
CN111666088A (zh) Pod的更替方法、装置、电子设备及计算机可读存储介质
CN113051102A (zh) 文件备份方法、装置、系统、存储介质和计算机设备
CN111143126A (zh) 一种分布式文件系统的数据拷贝方法、系统及相关组件
JP2010198528A (ja) ストレージシステム
CN108604231B (zh) 镜像处理方法以及计算设备
CN112965939A (zh) 一种文件合并方法、装置和设备
CN112558881A (zh) 一种迁移存储系统的方法及系统
CN113835625B (zh) 一种基于子路径的数据存储方法、装置、设备及存储介质
CN115586872A (zh) 一种容器镜像管理方法、装置、设备及存储介质
CN115714706A (zh) 基于内嵌h5的访问加速系统、方法、存储介质及电子设备
CN111625397B (zh) 业务日志备份方法、集群、装置、电子设备及存储介质
CN110837442B (zh) 基于脏数据位图和网络块设备的kvm虚拟机备份系统
CN114444440A (zh) 一种标识符生成方法、装置、存储介质及系统
CN110597759B (zh) LayaIDE中图集资源优化的方法、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination