CN107679206A - 一种用于对象存储S3和Swift的数据互访方法及系统 - Google Patents

一种用于对象存储S3和Swift的数据互访方法及系统 Download PDF

Info

Publication number
CN107679206A
CN107679206A CN201710954253.6A CN201710954253A CN107679206A CN 107679206 A CN107679206 A CN 107679206A CN 201710954253 A CN201710954253 A CN 201710954253A CN 107679206 A CN107679206 A CN 107679206A
Authority
CN
China
Prior art keywords
swift
data
hadoop
instruction
extraneous user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710954253.6A
Other languages
English (en)
Inventor
海鑫
白学余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710954253.6A priority Critical patent/CN107679206A/zh
Publication of CN107679206A publication Critical patent/CN107679206A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于对象存储S3和Swift的数据互访方法及系统，该方法包括：将Hadoop分布式系统架构中的HDFS存储模块更换为Hadoop‑aws接口库和Hadoop‑openstack接口库；通过Hadoop‑aws接口库对接对象存储S3，通过Hadoop‑openstack接口库对接对象存储Swift；获取外界用户输入的数据访问指令；根据数据访问指令进行相应的S3和Swift之间的数据访问。通过Hadoop分别对接S3和Swift，使得Hadoop作为S3和Swift之间数据互访的桥梁，通过该架构实现了S3和Swift的数据互访、数据同步，打破了两大对象存储类型之间的隔离，实现了对象存储的大一统，极大地提高了对象存储的应用范围和可用性。

Description

一种用于对象存储S3和Swift的数据互访方法及系统
技术领域
本发明涉及存储技术领域，特别是涉及一种用于对象存储S3和Swift的数据互访方法及系统。
背景技术
在存储领域内，主要包括三大存储方式，分别为文件系统、块存储与对象存储。其中对象存储(Object-based Storage)是一种新的网络存储架构，同时兼具块存储高速直接访问磁盘特点及文件系统的分布式共享特点，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构，集中了块存储的高速与文件存储利于共享的特点。
目前应用最为广泛的两大对象存储为S3与Swift。其中，S3即Simple StorageService简单存储服务；Swift是openstack开源云计算项目的子项目之一，也是一种对象存储。业内使用对象存储，会选择使用S3或者swift。随着对象存储应用越来越广，使用S3的用户也有使用Swift的需求，反之亦然。传统的对象存储使用都是二者选其一，在更换对象存储类型时，必然要面对数据的迁移，即将S3中的数据迁移到swift，或者将swift中的数据迁移到S3。虽然二者同为对象存储，但是使用的协议不同，数据无法相互之间进行访问，无法迁移。
因此，如何打破S3和swift这两个对象存储类型之间的隔离，实现S3和swift之间的数据互访，提高对象存储的应用范围和可用性，是本领域技术人员目前需要解决的技术问题。
发明内容
本发明的目的是提供一种用于对象存储S3和Swift的数据互访方法及系统，可以打破S3和swift这两个对象存储类型之间的隔离，实现S3和swift之间的数据互访，提高对象存储的应用范围和可用性。
为解决上述技术问题，本发明提供了如下技术方案：
一种用于对象存储S3和Swift的数据互访方法，包括：
将Hadoop分布式系统架构中的HDFS存储模块更换为Hadoop-aws接口库和Hadoop-openstack接口库；
通过所述Hadoop-aws接口库对接对象存储S3，通过所述Hadoop-openstack接口库对接对象存储Swift；
获取外界用户输入的数据访问指令；
根据所述数据访问指令进行相应的S3和Swift之间的数据访问。
优选地，所述获取外界用户输入的数据访问指令，包括：
获取外界用户输入的将S3中的数据迁移到Swift中的指令。
优选地，所述根据所述数据访问指令进行相应的S3和Swift之间的数据访问，包括：
根据外界用户输入的将S3中的数据迁移到Swift中的指令向所述S3发送读取目标数据的命令；
读取所述S3中的目标数据；
根据外界用户输入的将S3中的数据迁移到Swift中的指令向所述Swift发出写入数据的命令；
向所述Swift中写入所述目标数据。
优选地，所述获取外界用户输入的将S3中的数据迁移到Swift中的指令为：
获取外界用户输入的将S3中的数据移动到Swift中的指令；
或，获取外界用户输入的将S3中的数据复制到Swift中的指令。
优选地，所述获取外界用户输入的数据访问指令，包括：
获取外界用户输入的将Swift中的数据迁移到S3中的指令。
优选地，所述根据所述数据访问指令进行相应的S3和Swift之间的数据访问，包括：
根据外界用户输入的将Swift中的数据迁移到S3中的指令向所述Swift发送读取目标数据的命令；
读取所述Swift中的目标数据；
根据外界用户输入的将Swift中的数据迁移到S3中的指令向所述S3发出写入数据的命令；
向所述S3中写入所述目标数据。
优选地，所述获取外界用户输入的将Swift中的数据迁移到S3中的指令为：
获取外界用户输入的将Swift中的数据移动到S3中的指令；
或，获取外界用户输入的将Swift中的数据复制到S3中的指令。
一种用于对象存储S3和Swift的数据互访系统，包括：
设有Hadoop-aws接口库和Hadoop-openstack接口库的Hadoop分布式系统架构；
与所述Hadoop-aws接口库对接的对象存储S3；
与所述Hadoop-openstack接口库对接的对象存储Swift；
其中，所述Hadoop分布式系统架构用于获取外界用户输入的数据访问指令，并根据所述数据访问指令进行相应的S3和Swift之间的数据访问。
与现有技术相比，上述技术方案具有以下优点：
本发明所提供的一种用于对象存储S3和Swift的数据互访方法，包括：将Hadoop分布式系统架构中的HDFS存储模块更换为Hadoop-aws接口库和Hadoop-openstack接口库；通过Hadoop-aws接口库对接对象存储S3，通过Hadoop-openstack接口库对接对象存储Swift；获取外界用户输入的数据访问指令；根据数据访问指令进行相应的S3和Swift之间的数据访问。本发明通过Hadoop分别对接S3和Swift，使得Hadoop作为S3和Swift之间数据互访的桥梁，通过该架构实现了S3和Swift的数据互访、数据同步，打破了两大对象存储类型之间的隔离，实现了对象存储的大一统，极大地提高了对象存储的应用范围和可用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种具体实施方式所提供的用于对象存储S3和Swift的数据互访方法流程图；
图2为本发明一种具体实施方式所提供的用于对象存储S3和Swift的数据互访系统结构示意图。
具体实施方式
本发明的核心是提供一种用于对象存储S3和Swift的数据互访方法及系统，可以打破S3和swift这两个对象存储类型之间的隔离，实现S3和swift之间的数据互访，提高对象存储的应用范围和可用性。
为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。
请参考图1，图1为本发明一种具体实施方式所提供的用于对象存储S3和Swift的数据互访方法流程图。
本发明的一种具体实施方式提供了一种用于对象存储S3和Swift的数据互访方法，包括：
S11：将Hadoop分布式系统架构中的HDFS存储模块更换为Hadoop-aws接口库和Hadoop-openstack接口库。
S12：通过Hadoop-aws接口库对接对象存储S3，通过Hadoop-openstack接口库对接对象存储Swift。
在本实施方式中，通过对象存储Swift和S3取代原Hadoop分布式系统架构中的原HDFS分布式存储系统，并通过Hadoop-aws接口库对接对象存储S3，通过Hadoop-openstack接口库对接对象存储Swift。
S13：获取外界用户输入的数据访问指令。
S14：根据数据访问指令进行相应的S3和Swift之间的数据访问。
这样，由Hadoop作为对象存储Swift和S3二者的共同客户端，通过Hadoop可以读写S3的数据，也可以通过Hadoop读写Swift的数据，以Hadoop为介质，使得Hadoop作为S3和Swift之间数据互访的桥梁，通过该架构实现了S3和Swift的数据互访、数据同步，打破了两大对象存储类型之间的隔离，实现了对象存储的大一统，极大地提高了对象存储的应用范围和可用性。
在本发明的一种实施方式中，获取外界用户输入的数据访问指令，包括：获取外界用户输入的将S3中的数据迁移到Swift中的指令。
根据数据访问指令进行相应的S3和Swift之间的数据访问，包括：根据外界用户输入的将S3中的数据迁移到Swift中的指令向S3发送读取目标数据的命令；读取S3中的目标数据；根据外界用户输入的将S3中的数据迁移到Swift中的指令向Swift发出写入数据的命令；向Swift中写入目标数据。
获取外界用户输入的将S3中的数据迁移到Swift中的指令为：获取外界用户输入的将S3中的数据移动到Swift中的指令；或，获取外界用户输入的将S3中的数据复制到Swift中的指令。
本实施方式对从S3读取向Swift写入数据的实现进行了详细说明，在该方法中，对于数据的迁移既可以是数据的移动，也可以是数据的复制。
在本发明的另一种实施方式中，获取外界用户输入的数据访问指令，包括：获取外界用户输入的将Swift中的数据迁移到S3中的指令。
根据数据访问指令进行相应的S3和Swift之间的数据访问，包括：根据外界用户输入的将Swift中的数据迁移到S3中的指令向Swift发送读取目标数据的命令；读取Swift中的目标数据；根据外界用户输入的将Swift中的数据迁移到S3中的指令向S3发出写入数据的命令；向S3中写入目标数据。
获取外界用户输入的将Swift中的数据迁移到S3中的指令为：获取外界用户输入的将Swift中的数据移动到S3中的指令；或，获取外界用户输入的将Swift中的数据复制到S3中的指令。
本实施方式对从Swift读取向S3写入数据的实现进行了详细说明，在该方法中，对于数据的迁移既可以是数据的移动，也可以是数据的复制。
请参考图2，图2为本发明一种具体实施方式所提供的用于对象存储S3和Swift的数据互访系统结构示意图。
相应的，本发明一种实施方式还提供了一种用于对象存储S3和Swift的数据互访系统，包括：
设有Hadoop-aws接口库1和Hadoop-openstack接口库2的Hadoop分布式系统架构3；
与Hadoop-aws接口库1对接的对象存储S3 4；
与Hadoop-openstack接口库2对接的对象存储Swift 5；
其中，Hadoop分布式系统架3构用于获取外界用户输入的数据访问指令，并根据数据访问指令进行相应的S3 4和Swift 5之间的数据访问。
通过Hadoop分别对接S3和Swift，使得Hadoop作为S3和Swift之间数据互访的桥梁，通过该架构实现了S3和Swift的数据互访、数据同步，打破了两大对象存储类型之间的隔离，实现了对象存储的大一统，极大地提高了对象存储的应用范围和可用性。
以上对本发明所提供的一种用于对象存储S3和Swift的数据互访方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种用于对象存储S3和Swift的数据互访方法，其特征在于，包括：
将Hadoop分布式系统架构中的HDFS存储模块更换为Hadoop-aws接口库和Hadoop-openstack接口库；
通过所述Hadoop-aws接口库对接对象存储S3，通过所述Hadoop-openstack接口库对接对象存储Swift；
获取外界用户输入的数据访问指令；
根据所述数据访问指令进行相应的S3和Swift之间的数据访问。
2.根据权利要求1所述的方法，其特征在于，所述获取外界用户输入的数据访问指令，包括：
获取外界用户输入的将S3中的数据迁移到Swift中的指令。
3.根据权利要求2所述的方法，其特征在于，所述根据所述数据访问指令进行相应的S3和Swift之间的数据访问，包括：
根据外界用户输入的将S3中的数据迁移到Swift中的指令向所述S3发送读取目标数据的命令；
读取所述S3中的目标数据；
根据外界用户输入的将S3中的数据迁移到Swift中的指令向所述Swift发出写入数据的命令；
向所述Swift中写入所述目标数据。
4.根据权利要求3所述的方法，其特征在于，所述获取外界用户输入的将S3中的数据迁移到Swift中的指令为：
获取外界用户输入的将S3中的数据移动到Swift中的指令；
或，获取外界用户输入的将S3中的数据复制到Swift中的指令。
5.根据权利要求1所述的方法，其特征在于，所述获取外界用户输入的数据访问指令，包括：
获取外界用户输入的将Swift中的数据迁移到S3中的指令。
6.根据权利要求5所述的方法，其特征在于，所述根据所述数据访问指令进行相应的S3和Swift之间的数据访问，包括：
根据外界用户输入的将Swift中的数据迁移到S3中的指令向所述Swift发送读取目标数据的命令；
读取所述Swift中的目标数据；
根据外界用户输入的将Swift中的数据迁移到S3中的指令向所述S3发出写入数据的命令；
向所述S3中写入所述目标数据。
7.根据权利要求6所述的方法，其特征在于，所述获取外界用户输入的将Swift中的数据迁移到S3中的指令为：
获取外界用户输入的将Swift中的数据移动到S3中的指令；
或，获取外界用户输入的将Swift中的数据复制到S3中的指令。
8.一种用于对象存储S3和Swift的数据互访系统，其特征在于，包括：
设有Hadoop-aws接口库和Hadoop-openstack接口库的Hadoop分布式系统架构；
与所述Hadoop-aws接口库对接的对象存储S3；
与所述Hadoop-openstack接口库对接的对象存储Swift；
其中，所述Hadoop分布式系统架构用于获取外界用户输入的数据访问指令，并根据所述数据访问指令进行相应的S3和Swift之间的数据访问。
CN201710954253.6A 2017-10-13 2017-10-13 一种用于对象存储S3和Swift的数据互访方法及系统 Pending CN107679206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710954253.6A CN107679206A (zh) 2017-10-13 2017-10-13 一种用于对象存储S3和Swift的数据互访方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710954253.6A CN107679206A (zh) 2017-10-13 2017-10-13 一种用于对象存储S3和Swift的数据互访方法及系统

Publications (1)

Publication Number Publication Date
CN107679206A true CN107679206A (zh) 2018-02-09

Family

ID=61140783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710954253.6A Pending CN107679206A (zh) 2017-10-13 2017-10-13 一种用于对象存储S3和Swift的数据互访方法及系统

Country Status (1)

Country Link
CN (1) CN107679206A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491163A (zh) * 2018-03-19 2018-09-04 腾讯科技（深圳）有限公司 一种大数据处理方法、装置和存储介质
CN109002730A (zh) * 2018-07-26 2018-12-14 郑州云海信息技术有限公司 一种文件系统目录权限管理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130091094A1 (en) * 2011-10-06 2013-04-11 International Business Machines Corporation Accelerating data profiling process
US20160179682A1 (en) * 2014-12-18 2016-06-23 Bluedata Software, Inc. Allocating cache memory on a per data object basis
CN106598502A (zh) * 2016-12-23 2017-04-26 广州杰赛科技股份有限公司 数据存储方法和系统
CN106709048A (zh) * 2017-01-05 2017-05-24 无锡江南计算技术研究所 一种面向高性能计算的分布式数据组织方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130091094A1 (en) * 2011-10-06 2013-04-11 International Business Machines Corporation Accelerating data profiling process
US20160179682A1 (en) * 2014-12-18 2016-06-23 Bluedata Software, Inc. Allocating cache memory on a per data object basis
CN106598502A (zh) * 2016-12-23 2017-04-26 广州杰赛科技股份有限公司 数据存储方法和系统
CN106709048A (zh) * 2017-01-05 2017-05-24 无锡江南计算技术研究所 一种面向高性能计算的分布式数据组织方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JASONCCCCC转载: "为 Hadoop 的存储层增加对 OpenStack Swift 的支持", 《HTTPS://BLOG.CSDN.NET/END0O0/ARTICLE/DETAILS/24452465?UTM_MEDIUM=DISTRIBUTE.PC_AGGPAGE_SEARCH_RESULT.NONE-TASK-BLOG-2~ALL~FIRST_RANK_V2~RANK_V25-4-24452465.NONECASE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491163A (zh) * 2018-03-19 2018-09-04 腾讯科技（深圳）有限公司 一种大数据处理方法、装置和存储介质
CN108491163B (zh) * 2018-03-19 2022-01-04 腾讯科技（深圳）有限公司 一种大数据处理方法、装置和存储介质
CN109002730A (zh) * 2018-07-26 2018-12-14 郑州云海信息技术有限公司 一种文件系统目录权限管理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11922070B2 (en) Granting access to a storage device based on reservations
CN103562879B (zh) 透明文件系统迁移到新物理位置的方法和系统
CN101946246B (zh) 促进主计算机系统处的i/o操作的i/o处理的方法和系统
CN105159610B (zh) 大规模数据处理系统及方法
CN105612498B (zh) 虚拟机热迁移的方法、虚拟机内存数据处理方法、服务器和虚拟机系统
CN104346240B (zh) 用于在迁移操作期间利用多个存储器池的方法和装置
CN103049219B (zh) 适用于虚拟化平台的虚拟磁盘写缓存系统及其操作方法
CN109725829A (zh) 用于数据存储系统的端到端 QoS 解决方案的系统和方法
CN104899218B (zh) 数据读写方法及数据读写装置
WO2016044111A1 (en) Online data movement without compromising data integrity
CN103647850B (zh) 一种分布式版本控制系统的数据处理方法、设备及系统
US10901725B2 (en) Upgrade of port firmware and driver software for a target device
US10725494B2 (en) Optimizing neurosynaptic networks
US20180293064A1 (en) Upgrade of firmware in an interface hardware of a device in association with the upgrade of driver software for the device
CN107526534A (zh) 管理存储设备的输入输出(i/o)的方法和设备
CN104636185A (zh) 业务上下文管理方法、物理主机、pcie设备及迁移管理设备
CN105808443A (zh) 一种数据迁移的方法、装置及系统
CN107679206A (zh) 一种用于对象存储S3和Swift的数据互访方法及系统
CN104994135B (zh) 存储系统中融合san及nas存储架构的方法及装置
CN107291392A (zh) 一种固态硬盘及其读写方法
US9804903B2 (en) Data processing apparatus for pipeline execution acceleration and method thereof
CN104601711A (zh) 用于云服务器的基于fpga的数据存储方法和系统
CN108388524A (zh) 用于缓存数据的方法和设备
CN106202152B (zh) 一种云平台的数据处理方法及系统
CN109947531B (zh) 超融合一体机的存储容量扩展方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209

RJ01 Rejection of invention patent application after publication