CN111625513A - 一种文件存储网关的实现方法 - Google Patents

一种文件存储网关的实现方法 Download PDF

Info

Publication number
CN111625513A
CN111625513A CN202010393391.3A CN202010393391A CN111625513A CN 111625513 A CN111625513 A CN 111625513A CN 202010393391 A CN202010393391 A CN 202010393391A CN 111625513 A CN111625513 A CN 111625513A
Authority
CN
China
Prior art keywords
file
directory
configuring
storage gateway
smb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010393391.3A
Other languages
English (en)
Inventor
贾如瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicloud Technology Co Ltd
Original Assignee
Unicloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicloud Technology Co Ltd filed Critical Unicloud Technology Co Ltd
Priority to CN202010393391.3A priority Critical patent/CN111625513A/zh
Publication of CN111625513A publication Critical patent/CN111625513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种文件存储网关的实现方法，包括以下步骤：S1、搭建文件系统，配置fstab文件使其完成自动挂载；S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录；S3、关掉SELinx及防火墙，配置成开机自启的服务；S4、在windows机器上挂载对应的目录，完成由windows机器到对象存储的直接连接。本发明所述的s3fs搭建通过配置fstab，可以重启后自动挂载，完成Smb搭建，通过Smb与s3fs配合由windows机器与对象存储直接连接，挂载到对象存储的目录配置成共享目录，成本低廉，功能较全面，实现了无缝对接，实现了故障隔离，支持主流的系统，可以多种场景下应用，可以完美的实现基本功能，可以兼容标准型和低频型对象存储，ceph集群的架构可以提高集群利用率，且安全性不受影响。

Description

一种文件存储网关的实现方法
技术领域
本发明属于文件存储技术领域，尤其是涉及一种文件存储网关的实现方法。
背景技术
随着互联网数据的极具增长，互联网应用对存储的需求越来越高。然而传统的存储方式越来越难以适应需求的变化；而分布式文件系统在可靠性、扩展性以及性能方面具有无可比拟的优势，越来越受到青睐。实现这一需求有较多方案。如例如GlusterFs、Lustre、TFS、HDFS、ceph等，广泛应用于不同领域的生产实践中。
本发明技术方案是一种分布式存储选用ceph，通过smb及s3fs相结合的方法。支持将对象存储中的桶以文件形式导出，兼容POSIX语义，完成文件读写、目录操作、链接操作、权限管理、uid/gid管理等功能，并可以完成自适应文件上传。
发明内容
有鉴于此，本发明旨在提出一种文件存储网关的实现方法，以解决对象存储中的桶不能以文件形式导出，不能完成自适应文件的上传。
为达到上述目的，本发明的技术方案是这样实现的：
一种文件存储网关的实现方法，包括以下步骤：
S1、搭建文件系统，配置fstab文件使其完成自动挂载；
S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录；
S3、关掉SELinx及防火墙，配置成开机自启的服务；
S4、在windows机器上挂载对应的目录，完成由windows机器到对象存储的直接连接。
所述步骤S1中的文件系统为s3fs文件系统。
所述s3fs文件系统搭建过程如下，第一步在编译之前下载对应的的依赖包；第二步，将对象存储的密钥AK及SK添加到passwd-s3fs；第三步，更改域名为线上对象存储提供的域名；第四步，将对象存储的桶挂载到linux机器上的一个目录上。
所述依赖包包括fuse>＝2.8.4、automake、gcc-c++、make、libcurl、libxml2、openssl、pkg-config组件。
所述步骤S2中的协议为Smb协议。
Smb搭建过程如下，第一步，在同一台机器上安装smb服务，第二步创建用户，并完成用户和windows机器的验证通信。
相对于现有技术，本发明所述的一种文件存储网关的实现方法具有以下优势：
本发明所述的s3fs搭建通过配置fstab，可以重启后自动挂载，完成Smb搭建，通过Smb与s3fs配合由windows机器与对象存储直接连接，挂载到对象存储的目录配置成共享目录，成本低廉，功能较全面，实现了无缝对接，实现了故障隔离，支持主流的系统，可以多种场景下应用，可以完美的实现基本功能，可以兼容标准型和低频型对象存储，ceph集群的架构可以提高集群利用率，且安全性不受影响。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种文件存储网关的实现方法原理图；
图2为本发明实施例所述的对象存储底层架构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1至图2所示，一种文件存储网关的实现方法，包括以下步骤：
S1、搭建文件系统，配置fstab文件使其完成自动挂载；
S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录；
S3、关掉SELinx及防火墙，配置成开机自启的服务；
S4、在windows机器上挂载对应的目录，完成由windows机器到对象存储的直接连接。
所述步骤S1中的文件系统为s3fs文件系统。
所述s3fs文件系统搭建过程如下，第一步在编译之前下载对应的的依赖包；第二步，将对象存储的密钥AK及SK添加到passwd-s3fs；第三步，更改域名为线上对象存储提供的域名；第四步，将对象存储的桶挂载到linux机器上的一个目录上。
所述依赖包包括fuse>＝2.8.4、automake、gcc-c++、make、libcurl、libxml2、openssl、pkg-config组件。
所述步骤S2中的协议为Smb协议。
Smb搭建过程如下，第一步，在同一台机器上安装smb服务，第二步创建用户，并完成用户和windows机器的验证通信。
具体实现过程如下：
文件存储网关将对象存储作为后端存储，前端给用户提供标准的s3fs和SMB协议实现文件共享读写；文件存储网关对外提供标准的POSIX语义，能够对接第三方软件，为应用软件提供高性价比的存储。
其实现原理为：通过获取上传文件的大小，然后进行判断，若大于1G的阈值，则对文件进行切片处理然后并行上传，然后在传输完成后进行拼装；在进行文件下载时同理；通过实时监控网速及存储网关的线程池空闲数，将大于阈值的文件切分，提高了文件上传与下载的速度；其实现原理如图1所示。
s3fs搭建过程：对于源码编译或者使用编译好的s3fs二进制文件。在编译之前首先下载对应的的依赖包fuse>＝2.8.4、automake、gcc-c++、make、libcurl、libxml2、openssl、pkg-config；然后将对象存储的密钥AK及SK添加到passwd-s3fs；更改域名为线上对象存储提供的域名，然后将对象存储的桶挂载到linux机器上的一个目录上；这一过程中通过加缓存完成大文件的传输；配置fstab使其可以重启后自动挂载。
Smb搭建过程：在同一台机器上安装smb服务，通过创建用户完成和windows机器的验证通信。之后将s3fs挂载到对象存储的目录配置成共享目录；关掉SELinx及防火墙，然后配置成开机自启的服务。最后在windows机器上挂载对应的目录；完成由windows机器到对象存储的直接连接。
如图2所示，在对象存储底层实现方面，通过将ceph的监控与管理组件部署在三台集群上，可以大大提高系统的稳定性。且将osd同时部署，可以提高本集群的利用率，将ntp时间服务同时同步在第一台机器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种文件存储网关的实现方法，其特征在于包括以下步骤：
S1、搭建文件系统，配置fstab文件使其完成自动挂载；
S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录；
S3、关掉SELinx及防火墙，配置成开机自启的服务；
S4、在windows机器上挂载对应的目录，完成由windows机器到对象存储的直接连接。
2.根据权利要求1所述的一种文件存储网关的实现方法，其特征在于：所述步骤S1中的文件系统为s3fs文件系统。
3.根据权利要求2所述的一种文件存储网关的实现方法，其特征在于：所述s3fs文件系统搭建过程如下，第一步在编译之前下载对应的的依赖包；第二步，将对象存储的密钥AK及SK添加到passwd-s3fs；第三步，更改域名为线上对象存储提供的域名；第四步，将对象存储的桶挂载到linux机器上的一个目录上。
4.根据权利要求1所述的一种文件存储网关的实现方法，其特征在于：所述依赖包包括fuse>＝2.8.4、automake、gcc-c++、make、libcurl、libxml2、openssl、pkg-config组件。
5.根据权利要求1所述的一种文件存储网关的实现方法，其特征在于：所述步骤S2中的协议为Smb协议。
6.根据权利要求5所述的一种文件存储网关的实现方法，其特征在于：Smb搭建过程如下，第一步，在同一台机器上安装smb服务，第二步创建用户，并完成用户和windows机器的验证通信。
CN202010393391.3A 2020-05-11 2020-05-11 一种文件存储网关的实现方法 Pending CN111625513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010393391.3A CN111625513A (zh) 2020-05-11 2020-05-11 一种文件存储网关的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010393391.3A CN111625513A (zh) 2020-05-11 2020-05-11 一种文件存储网关的实现方法

Publications (1)

Publication Number Publication Date
CN111625513A true CN111625513A (zh) 2020-09-04

Family

ID=72270918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010393391.3A Pending CN111625513A (zh) 2020-05-11 2020-05-11 一种文件存储网关的实现方法

Country Status (1)

Country Link
CN (1) CN111625513A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462315A (zh) * 2014-12-02 2015-03-25 浪潮电子信息产业股份有限公司 一种实现lustre文件系统对云渲染农场支持的方案
CN104639658A (zh) * 2015-03-12 2015-05-20 浪潮集团有限公司 一种以文件系统挂载访问对象存储的实现方法
CN105072184A (zh) * 2015-08-12 2015-11-18 汕头大学 一种适用于中小企业的文件共享系统
CN107070972A (zh) * 2016-12-30 2017-08-18 中国银联股份有限公司 一种分布式文件处理方法及装置
CN109783117A (zh) * 2019-01-18 2019-05-21 中国人民解放军国防科技大学 一种无盘系统的镜像文件制作及启动方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462315A (zh) * 2014-12-02 2015-03-25 浪潮电子信息产业股份有限公司 一种实现lustre文件系统对云渲染农场支持的方案
CN104639658A (zh) * 2015-03-12 2015-05-20 浪潮集团有限公司 一种以文件系统挂载访问对象存储的实现方法
CN105072184A (zh) * 2015-08-12 2015-11-18 汕头大学 一种适用于中小企业的文件共享系统
CN107070972A (zh) * 2016-12-30 2017-08-18 中国银联股份有限公司 一种分布式文件处理方法及装置
CN109783117A (zh) * 2019-01-18 2019-05-21 中国人民解放军国防科技大学 一种无盘系统的镜像文件制作及启动方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
迷失: ""samba与nfs\"", 《51CTO博客》 *
钱文: ""基于用户空间的云网关网络文件系统设计与实现"", 《CNKI》, pages 2 - 4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质

Similar Documents

Publication Publication Date Title
CN111371696B (zh) 一种在Kubernetes中实现Pod网络流控的方法
EP2675127B1 (en) Method and device for automatically migrating system configuration item
CN103297275B (zh) Web网管客户端模块动态发现与加载方法
CN105049502B (zh) 一种云端网络管理系统中设备软件更新的方法和装置
US20120233299A1 (en) Managing configurations of system management agents in a distributed environment
CN102355500B (zh) 业务推送方法和装置
CN102739775A (zh) 物联网数据采集服务器集群的监控和管理方法
BRPI0621958B1 (pt) Método de implementação de atualização de terminais em lotes
JP2005085281A (ja) モバイル装置構成の設定を管理するｏｍａｄｍ拡張のためのシステムおよび方法
WO2006071338A1 (en) Apparatus and method for managing security policy information using a device management tree
KR20150093663A (ko) 무선 통신 시스템에서 접근 권한 인증을 위한 방법 및 장치
EP1782577A1 (en) Caching directory server data for controlling the disposition of multimedia data on a network
CN102035669B (zh) 功能调用系统及方法
US20090160626A1 (en) Method for Setting Home Code in Network System and Device for Network
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
EP2512064A1 (en) Data configuration method and apparatus
CN103944814A (zh) 一种数据交换方法和系统及一种网关服务器
CN109039764B (zh) 一种分布式存储系统的网络参数配置方法
CN105404530B (zh) 一种实现简易部署和使用私有云的系统及方法
CN111625513A (zh) 一种文件存储网关的实现方法
CN111641521A (zh) 一种基于Ambari的云上部署大数据集群的方法
CN103095826A (zh) 一种网关设备升级保护的方法
CN101867484A (zh) 一种设备升级的方法及系统
US8279788B2 (en) Method and system for stateful negotiation of energy efficient parameters in layer 2
US8527612B2 (en) Methods, devices and computer program products for configuring network-enabled devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination