CN109302499B - 一种可兼容访问nas存储和oss存储的存储网关 - Google Patents

一种可兼容访问nas存储和oss存储的存储网关 Download PDF

Info

Publication number
CN109302499B
CN109302499B CN201811449514.XA CN201811449514A CN109302499B CN 109302499 B CN109302499 B CN 109302499B CN 201811449514 A CN201811449514 A CN 201811449514A CN 109302499 B CN109302499 B CN 109302499B
Authority
CN
China
Prior art keywords
storage
nas
interface
dll
oss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811449514.XA
Other languages
English (en)
Other versions
CN109302499A (zh
Inventor
张力
唐学怡
袁渊
张洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Chinamcloud Technology Co ltd
Original Assignee
Chengdu Chinamcloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Chinamcloud Technology Co ltd filed Critical Chengdu Chinamcloud Technology Co ltd
Priority to CN201811449514.XA priority Critical patent/CN109302499B/zh
Publication of CN109302499A publication Critical patent/CN109302499A/zh
Application granted granted Critical
Publication of CN109302499B publication Critical patent/CN109302499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种可兼容访问nas存储和oss存储的存储网关,该存储网关实现步骤如下:1)将对nas存储和oss存储的接口封装成统一的调用方法;2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。本方案可在同一个传输工具上兼容nas存储和oss存储,nas存储或oss存储具有高安全性、可分布式读写操作的存储,不会担心数据丢失的问题,并且一般将nas存储或oss存储使用专线连接,可靠性高,读写速度快。

Description

一种可兼容访问nas存储和oss存储的存储网关
技术领域
本发明涉及网关领域,具体涉及一种可兼容访问nas存储和oss存储的存储网关。
背景技术
融合媒体时代,广电媒体和互联网媒体齐头并进,相辅相成。广电媒体拥有丰富的资源,比如,有大量的媒体数据可以为互联网媒体提供内容支撑,而大量的媒体数据也是广电媒体或互联网媒体向大量受众展示的时候需要频繁读取或写入操作的信息,为了更加快捷的操作媒体数据和把大量的大文件媒体数据方便传输至各种网络存储(比如本存储网关已实现可访问的nas存储和oss存储),为了让用户能够更好的方便快捷兼容的使用nas存储和oss存储,于是就研发了本发明创造了本存储网关;互联网媒体具有传播速度快、散播面广、信息碎片化等特点,能够持续保持热度,一方面,能够推动广电媒体的生产,另一方面,也对广电媒体现有制作系统提出了内容和效率的要求。
现有的制作系统中,主要存在以下问题:
内容,广电媒体或互联网媒体会每天产生大量的媒体数据,而这些数据需要被存储,传统磁盘存储显然不能满足大量数据和频繁的数据操作,磁盘存储不能分布式读写、并且磁盘容易损坏,磁盘损坏而没有其他备份,数据就丢失了。
效率,传统的磁盘存储读写数据的速度受限于磁盘本身,速度较慢, 读写大量的媒体数据时花费的时间较久。对于现在超高清视频的大文件来说,读写速度影响着工作效率。
兼容,如果广电媒体使用了nas存储或oss存储时,如果对其文件进行访问时,需要使用不同的客户端工具对其进行分别访问,因为这样的不兼容可能会导致用户操作的不方便。
发明内容
本发明的目的在于克服现有技术的不足,提供一种可兼容访问nas存储和oss存储的存储网关,可在同一个传输工具上兼容nas存储和oss存储,nas存储或oss存储具有高安全性、可分布式读写操作的存储,不会担心数据丢失的问题,并且一般将nas或oss存储使用专线连接,可靠性高,读写速度快。
英文词汇解释说明:
nas存储:网络附加存储;
oss存储:对象存储服务;
agentsdk模块:实现了对外提供统一接口的模块;
BasicAgentIo类:实现了对外提供统一接口的类;
nasagent.dll:实现了对nas(网络附加存储)访问的动态链接库;
ossagent.dll:实现了对oss(对象存储服务)访问的动态链接库;
hnet:客户端与服务器之间进行RPC(远程过程调用)网络通信的模块;
agent:定义了对外提供的访问接口;
vbossauth:对存储访问的授权模块;
本发明的目的是通过以下技术方案来实现的:
一种可兼容访问nas存储和oss存储的存储网关,该存储网关实现步骤如下:
1)将对nas存储和oss存储的接口封装成统一的调用方法;
2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;
3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;
4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk根据串向传输工具返回对应的代理接口。
进一步的,所述代理接口nasagent.dll和ossagent.dll可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
更进一步的,还包括一个通过所述存储网关读写nas存储或oss存储的方法,其步骤如下:
1)传输工具调用agent接口,agent接口实现了agentsdk模块的接口,该接口向传输工具导出了统一的存储调用接口, 可供传输工具实现对存储的上传下载操作;
传输工具在调用agent接口时传递一个可识别是nas和oss存储的串,以告知agentsdk模块在初始化的时候需要打开当前的存储类型;
2)存储代理,nasagent模块实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;ossagent模块实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;
3)hnet网络通信,hnet实现了使用了RPC进行与服务端的网络通信,hnet使用了两个端口实现了与服务端的网络通信, 与服务端文件读写使用了29443端口,与服务端元数据的操作使用了29444端口;
4)用户认证,vbossauth授权认证vbossauth在nas存储的时候采用了使用认证服务器进行认证的授权认证, 与认证服务器使用http协议进行通信;认证通过之后才可与nas存储进行操作,oss存储通过使用访问密钥的对称加密的方法来验证某个请求的发送者身份。
本发明的有益效果是:本发明通过将对nas存储和oss存储的接口封装成统一的调用方法并自实现一个代理接口nasagent.dll和ossagent.dll,可在同一个传输工具上兼容nas存储和oss存储,nas存储或oss存储具有高安全性、可分布式读写操作的存储,不会担心数据丢失的问题,并且一般将nas或oss存储使用专线连接,可靠性高,读写速度快。
附图说明
图1为本发明通过存储网关访问读写nas存储或oss存储的流程图。
具体实施方式
下面结合具体实施例进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
一种可兼容访问nas存储和oss存储的存储网关,该存储网关实现步骤如下:
1)将对nas存储和oss存储的接口封装成统一的调用方法;
2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;
3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;
4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。
进一步的,所述代理接口nasagent.dll和ossagent.dll可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
本发明把对nas存储和oss存储的接口封装成统一的调用方法,然后对每种存储各自实现一个代理接口nasagent.dll和ossagent.dll,实现的代理接口可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中,在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。使用动态库插件模式可以让该存储网关更具扩展性,可支持更多的存储接口,只需实现一个继承自BasicAgentIo类的该存储接口的存储代理即可。
当传输工具获取到代理接口时,就可以通过代理接口对相应的存储进行读写操作。
如图1所示,通过所述存储网关读写nas存储和oss存储的方法,其步骤如下:
1)传输工具调用agent接口,agent接口实现了agentsdk的接口,该接口向传输工具导出了统一的存储调用接口, 可供传输工具实现对存储的上传下载操作;
传输工具在调用agent接口时传递一个可识别是nas和oss存储的串,以告知agentsdk在初始化的时候需要打开当前的存储类型;
2)存储代理,nasagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;ossagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;
3)hnet网络通信,hnet实现了使用了RPC进行与服务端的网络通信,hnet使用了两个端口实现了与服务端的网络通信, 与服务端文件读写使用了29443端口,与服务端元数据的操作使用了29444端口;
4)用户认证,vbossauth授权认证vbossauth在nas存储的时候采用了使用认证服务器进行认证的授权认证, 与认证服务器使用http协议进行通信;认证通过之后才可与nas存储进行操作,oss存储通过使用访问密钥的对称加密的方法来验证某个请求的发送者身份。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (3)

1.一种可兼容访问nas存储和oss存储的存储网关的实现方法,其特征在于,该存储网关实现步骤如下:
1)将对nas存储和oss存储的接口封装成统一的调用方法;
2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;
3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;
4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。
2.根据权利要求1所述的一种可兼容访问nas存储和oss存储的存储网关的实现方法,其特征在于,所述代理接口nasagent.dll和ossagent.dll可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
3.根据权利要求1或2所述的一种可兼容访问nas存储和oss存储的存储网关的实现方法,其特征在于,还包括一个通过所述存储网关读写nas存储或oss存储的方法,其步骤如下:
1)传输工具调用agent接口,agent接口实现了agentsdk的接口,该接口向传输工具导出了统一的存储调用接口, 可供传输工具实现对存储的上传下载操作;
传输工具在调用agent接口时传递一个可识别是nas和oss存储的串,以告知agentsdk模块在初始化的时候需要打开当前的存储类型;
2)存储代理,nasagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;ossagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;
3)hnet网络通信,hnet实现了使用了RPC进行与服务端的网络通信,hnet使用了两个端口实现了与服务端的网络通信, 与服务端文件读写使用了29443端口,与服务端元数据的操作使用了29444端口;
4)用户认证,vbossauth授权认证vbossauth在nas存储的时候采用了使用认证服务器进行认证的授权认证, 与认证服务器使用http协议进行通信;认证通过之后才可与nas存储进行操作,oss存储通过使用访问密钥的对称加密的方法来验证某个请求的发送者身份。
CN201811449514.XA 2018-11-30 2018-11-30 一种可兼容访问nas存储和oss存储的存储网关 Active CN109302499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811449514.XA CN109302499B (zh) 2018-11-30 2018-11-30 一种可兼容访问nas存储和oss存储的存储网关

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811449514.XA CN109302499B (zh) 2018-11-30 2018-11-30 一种可兼容访问nas存储和oss存储的存储网关

Publications (2)

Publication Number Publication Date
CN109302499A CN109302499A (zh) 2019-02-01
CN109302499B true CN109302499B (zh) 2021-08-03

Family

ID=65141910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811449514.XA Active CN109302499B (zh) 2018-11-30 2018-11-30 一种可兼容访问nas存储和oss存储的存储网关

Country Status (1)

Country Link
CN (1) CN109302499B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688674B (zh) * 2019-09-23 2024-04-26 中国银联股份有限公司 一种访问对接器、系统及应用该访问对接器的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843907B1 (en) * 2004-02-13 2010-11-30 Habanero Holdings, Inc. Storage gateway target for fabric-backplane enterprise servers
US7990994B1 (en) * 2004-02-13 2011-08-02 Habanero Holdings, Inc. Storage gateway provisioning and configuring
CN104283960A (zh) * 2014-10-15 2015-01-14 福建亿榕信息技术有限公司 实现异构网络存储的虚拟化整合及分级管理的系统
CN106681650A (zh) * 2015-11-10 2017-05-17 中国电信股份有限公司 虚拟卷访问方法和虚拟化系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073742B (zh) * 2011-01-31 2012-11-14 清华大学 一种海量对象的存储系统及其运行方法
CN102325157A (zh) * 2011-07-15 2012-01-18 中国人民解放军国防科学技术大学 一种异构对象并行存储系统构造方法
US9171009B1 (en) * 2013-06-21 2015-10-27 Emc Corporation Cluster file system comprising storage server units each having a scale-out network attached storage cluster
JP6241178B2 (ja) * 2013-09-27 2017-12-06 富士通株式会社 ストレージ制御装置,ストレージ制御方法及びストレージ制御プログラム
CN104092672A (zh) * 2014-06-26 2014-10-08 安徽云盾信息技术有限公司 一种采用密文存储网关对信息进行加解密的方法
CN106293490A (zh) * 2015-05-12 2017-01-04 中兴通讯股份有限公司 数据存储、读取的方法、装置及系统
CN105045534A (zh) * 2015-07-10 2015-11-11 浪潮电子信息产业股份有限公司 一种监控Lustre文件系统的装置、方法及系统
CN105119737A (zh) * 2015-07-16 2015-12-02 浪潮软件股份有限公司 一种通过Zabbix监控Ceph集群的方法
CN105824932A (zh) * 2016-03-18 2016-08-03 浪潮软件集团有限公司 一种基于阿里云对象存储oss的档案系统
CN107273378B (zh) * 2016-04-07 2021-01-01 创新先进技术有限公司 一种文件存储方法及装置
CN106506668B (zh) * 2016-11-23 2019-07-16 浪潮云信息技术有限公司 一种基于分布式存储实现对象存储的方法
CN108881412B (zh) * 2018-05-31 2020-09-04 郑州云海信息技术有限公司 分布式存储集群的统一管理方法、系统、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843907B1 (en) * 2004-02-13 2010-11-30 Habanero Holdings, Inc. Storage gateway target for fabric-backplane enterprise servers
US7990994B1 (en) * 2004-02-13 2011-08-02 Habanero Holdings, Inc. Storage gateway provisioning and configuring
CN104283960A (zh) * 2014-10-15 2015-01-14 福建亿榕信息技术有限公司 实现异构网络存储的虚拟化整合及分级管理的系统
CN106681650A (zh) * 2015-11-10 2017-05-17 中国电信股份有限公司 虚拟卷访问方法和虚拟化系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Openfiler 构建NAS 与SAN 的整合存储研究;张志雄,吴云;《计算机网络》;20111231;全文 *

Also Published As

Publication number Publication date
CN109302499A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
US10540190B2 (en) Generic connector module capable of integrating multiple applications into an integration platform
CN110198334B (zh) 基于对象存储服务的访问方法、装置和存储介质
US8924511B2 (en) Cloud connector for interfacing between a network attached storage device and a cloud storage system
US8839403B2 (en) Local proxy system and method
EP2566286B1 (en) Wireless Internet Access Module, Communication Method for Host and Wireless Internet Access Module, and Data Card
US10783121B2 (en) Techniques for optimizing data flows in hybrid cloud storage systems
WO2015176648A1 (zh) 将智能终端上的数据传输至电视终端的方法、装置
CN104092672A (zh) 一种采用密文存储网关对信息进行加解密的方法
CN109302499B (zh) 一种可兼容访问nas存储和oss存储的存储网关
US20220291975A1 (en) Techniques for managing access to file systems
EP3270322B1 (en) Encrypting system level data structures
US11394776B2 (en) Systems and methods for transport layer processing of server message block protocol messages
KR101325025B1 (ko) 셋톱박스 기반의 클라우드 서비스 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
WO2019045837A1 (en) REMOTE APPLICATION CONFIGURATION ON A NETWORK STORAGE SERVER
WO2023246486A1 (zh) 一种创建连接器的方法及装置
CN108111575B (zh) 一种可扩展的客户机与虚拟机数据交互系统
US11283768B1 (en) Systems and methods for managing connections
KR20200139647A (ko) 미디어 컨텐츠 프로세싱 방법
CN108616537B (zh) 一种低耦合的通用数据加解密方法及系统
EP3804244B1 (en) Systems and methods for transport layer processing of server message block protocol messages
CN109660604B (zh) 数据存取方法及设备
KR102195837B1 (ko) 미디어 컨텐츠 프로세싱 방법
US11553031B2 (en) Method and apparatus for processing data
CN116764234A (zh) 防游戏外挂方法、装置、设备及存储介质
CN117792792A (zh) 通信系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant