CN109302499A - 一种可兼容访问nas存储和oss存储的存储网关 - Google Patents
一种可兼容访问nas存储和oss存储的存储网关 Download PDFInfo
- Publication number
- CN109302499A CN109302499A CN201811449514.XA CN201811449514A CN109302499A CN 109302499 A CN109302499 A CN 109302499A CN 201811449514 A CN201811449514 A CN 201811449514A CN 109302499 A CN109302499 A CN 109302499A
- Authority
- CN
- China
- Prior art keywords
- storage
- nas
- oss
- interface
- dll
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种可兼容访问nas存储和oss存储的存储网关,该存储网关实现步骤如下:1)将对nas存储和oss存储的接口封装成统一的调用方法;2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。本方案可在同一个传输工具上兼容nas存储和oss存储,nas存储或oss存储具有高安全性、可分布式读写操作的存储,不会担心数据丢失的问题,并且一般将nas存储或oss存储使用专线连接,可靠性高,读写速度快。
Description
技术领域
本发明涉及网关领域,具体涉及一种可兼容访问nas存储和oss存储的存储网关。
背景技术
融合媒体时代,广电媒体和互联网媒体齐头并进,相辅相成。广电媒体拥有丰富的资源,比如,有大量的媒体数据可以为互联网媒体提供内容支撑,而大量的媒体数据也是广电媒体或互联网媒体向大量受众展示的时候需要频繁读取或写入操作的信息,为了更加快捷的操作媒体数据和把大量的大文件媒体数据方便传输至各种网络存储(比如本存储网关已实现可访问的nas存储和oss存储),为了让用户能够更好的方便快捷兼容的使用nas存储和oss存储,于是就研发了本发明创造了本存储网关;互联网媒体具有传播速度快、散播面广、信息碎片化等特点,能够持续保持热度,一方面,能够推动广电媒体的生产,另一方面,也对广电媒体现有制作系统提出了内容和效率的要求。
现有的制作系统中,主要存在以下问题:
内容,广电媒体或互联网媒体会每天产生大量的媒体数据,而这些数据需要被存储,传统磁盘存储显然不能满足大量数据和频繁的数据操作,磁盘存储不能分布式读写、并且磁盘容易损坏,磁盘损坏而没有其他备份,数据就丢失了。
效率,传统的磁盘存储读写数据的速度受限于磁盘本身,速度较慢, 读写大量的媒体数据时花费的时间较久。对于现在超高清视频的大文件来说,读写速度影响着工作效率。
兼容,如果广电媒体使用了nas存储或oss存储时,如果对其文件进行访问时,需要使用不同的客户端工具对其进行分别访问,因为这样的不兼容可能会导致用户操作的不方便。
发明内容
本发明的目的在于克服现有技术的不足,提供一种可兼容访问nas存储和oss存储的存储网关,可在同一个传输工具上兼容nas存储和oss存储,nas存储或oss存储具有高安全性、可分布式读写操作的存储,不会担心数据丢失的问题,并且一般将nas或oss存储使用专线连接,可靠性高,读写速度快。
英文词汇解释说明:
nas存储:网络附加存储;
oss存储:对象存储服务;
agentsdk模块:实现了对外提供统一接口的模块;
BasicAgentIo类:实现了对外提供统一接口的类;
nasagent.dll:实现了对nas(网络附加存储)访问的动态链接库;
ossagent.dll:实现了对oss(对象存储服务)访问的动态链接库;
hnet:客户端与服务器之间进行RPC(远程过程调用)网络通信的模块;
agent:定义了对外提供的访问接口;
vbossauth:对存储访问的授权模块;
本发明的目的是通过以下技术方案来实现的:
一种可兼容访问nas存储和oss存储的存储网关,该存储网关实现步骤如下:
1)将对nas存储和oss存储的接口封装成统一的调用方法;
2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;
3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;
4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk根据串向传输工具返回对应的代理接口。
进一步的,所述代理接口nasagent.dll和ossagent.dll可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
更进一步的,还包括一个通过所述存储网关读写nas存储或oss存储的方法,其步骤如下:
1)传输工具调用agent接口,agent接口实现了agentsdk模块的接口,该接口向传输工具导出了统一的存储调用接口, 可供传输工具实现对存储的上传下载操作;
传输工具在调用agent接口时传递一个可识别是nas和oss存储的串,以告知agentsdk模块在初始化的时候需要打开当前的存储类型;
2)存储代理,nasagent模块实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;ossagent模块实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;
3)hnet网络通信,hnet实现了使用了RPC进行与服务端的网络通信,hnet使用了两个端口实现了与服务端的网络通信, 与服务端文件读写使用了29443端口,与服务端元数据的操作使用了29444端口;
4)用户认证,vbossauth授权认证 vbossauth在nas存储的时候采用了使用认证服务器进行认证的授权认证, 与认证服务器使用http协议进行通信;认证通过之后才可与nas存储进行操作,oss存储通过使用访问密钥的对称加密的方法来验证某个请求的发送者身份。
本发明的有益效果是:本发明通过将对nas存储和oss存储的接口封装成统一的调用方法并自实现一个代理接口nasagent.dll和ossagent.dll,可在同一个传输工具上兼容nas存储和oss存储,nas存储或oss存储具有高安全性、可分布式读写操作的存储,不会担心数据丢失的问题,并且一般将nas或oss存储使用专线连接,可靠性高,读写速度快。
附图说明
图1为本发明通过存储网关访问读写nas存储或oss存储的流程图。
具体实施方式
下面结合具体实施例进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
一种可兼容访问nas存储和oss存储的存储网关,该存储网关实现步骤如下:
1)将对nas存储和oss存储的接口封装成统一的调用方法;
2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;
3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;
4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。
进一步的,所述代理接口nasagent.dll和ossagent.dll可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
本发明把对nas存储和oss存储的接口封装成统一的调用方法,然后对每种存储各自实现一个代理接口nasagent.dll和ossagent.dll,实现的代理接口可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中,在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。使用动态库插件模式可以让该存储网关更具扩展性,可支持更多的存储接口,只需实现一个继承自BasicAgentIo类的该存储接口的存储代理即可。
当传输工具获取到代理接口时,就可以通过代理接口对相应的存储进行读写操作。
如图1所示,通过所述存储网关读写nas存储和oss存储的方法,其步骤如下:
1)传输工具调用agent接口,agent接口实现了agentsdk的接口,该接口向传输工具导出了统一的存储调用接口, 可供传输工具实现对存储的上传下载操作;
传输工具在调用agent接口时传递一个可识别是nas和oss存储的串,以告知agentsdk在初始化的时候需要打开当前的存储类型;
2)存储代理,nasagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;ossagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;
3)hnet网络通信,hnet实现了使用了RPC进行与服务端的网络通信,hnet使用了两个端口实现了与服务端的网络通信, 与服务端文件读写使用了29443端口,与服务端元数据的操作使用了29444端口;
4)用户认证,vbossauth授权认证 vbossauth在nas存储的时候采用了使用认证服务器进行认证的授权认证, 与认证服务器使用http协议进行通信;认证通过之后才可与nas存储进行操作,oss存储通过使用访问密钥的对称加密的方法来验证某个请求的发送者身份。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (3)
1.一种可兼容访问nas存储和oss存储的存储网关,其特征在于,该存储网关实现步骤如下:
1)将对nas存储和oss存储的接口封装成统一的调用方法;
2)对nas存储和oss存储各自实现一个代理接口nasagent.dll和ossagent.dll;
3)使用动态库插件模式,在agentsdk模块的初始化函数中,将nasagent.dll和ossagent.dll加载至内存中;
4)在传输工具调用代理接口之前需要向agentsdk模块传递一个可识别是哪种存储的串,agentsdk模块根据串向传输工具返回对应的代理接口。
2.根据权利要求1所述的一种可兼容访问nas存储和oss存储的存储网关,其特征在于,所述代理接口nasagent.dll和ossagent.dll可直接操作对应的存储,并且实现的代理接口需继承自BasicAgentIo类,向外界导出BasicAgentIo类即agentsdk.dll,提供给传输工具调用。
3.根据权利要求1或2所述的一种可兼容访问nas存储和oss存储的存储网关,其特征在于,还包括一个通过所述存储网关读写nas存储或oss存储的方法,其步骤如下:
1)传输工具调用agent接口,agent接口实现了agentsdk的接口,该接口向传输工具导出了统一的存储调用接口, 可供传输工具实现对存储的上传下载操作;
传输工具在调用agent接口时传递一个可识别是nas和oss存储的串,以告知agentsdk模块在初始化的时候需要打开当前的存储类型;
2)存储代理,nasagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;ossagent实现了对nas存储接口的封装,使用该代理可实现对nas存储上的文件进行上传或下载;
3)hnet网络通信,hnet实现了使用了RPC进行与服务端的网络通信,hnet使用了两个端口实现了与服务端的网络通信, 与服务端文件读写使用了29443端口,与服务端元数据的操作使用了29444端口;
4)用户认证,vbossauth授权认证 vbossauth在nas存储的时候采用了使用认证服务器进行认证的授权认证, 与认证服务器使用http协议进行通信;认证通过之后才可与nas存储进行操作,oss存储通过使用访问密钥的对称加密的方法来验证某个请求的发送者身份。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811449514.XA CN109302499B (zh) | 2018-11-30 | 2018-11-30 | 一种可兼容访问nas存储和oss存储的存储网关 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811449514.XA CN109302499B (zh) | 2018-11-30 | 2018-11-30 | 一种可兼容访问nas存储和oss存储的存储网关 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109302499A true CN109302499A (zh) | 2019-02-01 |
CN109302499B CN109302499B (zh) | 2021-08-03 |
Family
ID=65141910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811449514.XA Active CN109302499B (zh) | 2018-11-30 | 2018-11-30 | 一种可兼容访问nas存储和oss存储的存储网关 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109302499B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688674A (zh) * | 2019-09-23 | 2020-01-14 | 中国银联股份有限公司 | 一种访问对接器、系统及应用该访问对接器的方法及装置 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7843907B1 (en) * | 2004-02-13 | 2010-11-30 | Habanero Holdings, Inc. | Storage gateway target for fabric-backplane enterprise servers |
CN102073742A (zh) * | 2011-01-31 | 2011-05-25 | 清华大学 | 一种海量对象的存储系统及其运行方法 |
US7990994B1 (en) * | 2004-02-13 | 2011-08-02 | Habanero Holdings, Inc. | Storage gateway provisioning and configuring |
CN102325157A (zh) * | 2011-07-15 | 2012-01-18 | 中国人民解放军国防科学技术大学 | 一种异构对象并行存储系统构造方法 |
CN104092672A (zh) * | 2014-06-26 | 2014-10-08 | 安徽云盾信息技术有限公司 | 一种采用密文存储网关对信息进行加解密的方法 |
CN104283960A (zh) * | 2014-10-15 | 2015-01-14 | 福建亿榕信息技术有限公司 | 实现异构网络存储的虚拟化整合及分级管理的系统 |
EP2854020A1 (en) * | 2013-09-27 | 2015-04-01 | Fujitsu Limited | Storage control apparatus, storage control method, and storage control program |
US9171009B1 (en) * | 2013-06-21 | 2015-10-27 | Emc Corporation | Cluster file system comprising storage server units each having a scale-out network attached storage cluster |
CN105045534A (zh) * | 2015-07-10 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 一种监控Lustre文件系统的装置、方法及系统 |
CN105119737A (zh) * | 2015-07-16 | 2015-12-02 | 浪潮软件股份有限公司 | 一种通过Zabbix监控Ceph集群的方法 |
CN105824932A (zh) * | 2016-03-18 | 2016-08-03 | 浪潮软件集团有限公司 | 一种基于阿里云对象存储oss的档案系统 |
CN106293490A (zh) * | 2015-05-12 | 2017-01-04 | 中兴通讯股份有限公司 | 数据存储、读取的方法、装置及系统 |
CN106506668A (zh) * | 2016-11-23 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种基于分布式存储实现对象存储的方法 |
CN106681650A (zh) * | 2015-11-10 | 2017-05-17 | 中国电信股份有限公司 | 虚拟卷访问方法和虚拟化系统 |
CN107273378A (zh) * | 2016-04-07 | 2017-10-20 | 阿里巴巴集团控股有限公司 | 一种文件存储方法及装置 |
CN108881412A (zh) * | 2018-05-31 | 2018-11-23 | 郑州云海信息技术有限公司 | 分布式存储集群的统一管理方法、系统、设备及存储介质 |
-
2018
- 2018-11-30 CN CN201811449514.XA patent/CN109302499B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7990994B1 (en) * | 2004-02-13 | 2011-08-02 | Habanero Holdings, Inc. | Storage gateway provisioning and configuring |
US7843907B1 (en) * | 2004-02-13 | 2010-11-30 | Habanero Holdings, Inc. | Storage gateway target for fabric-backplane enterprise servers |
CN102073742A (zh) * | 2011-01-31 | 2011-05-25 | 清华大学 | 一种海量对象的存储系统及其运行方法 |
CN102325157A (zh) * | 2011-07-15 | 2012-01-18 | 中国人民解放军国防科学技术大学 | 一种异构对象并行存储系统构造方法 |
US9171009B1 (en) * | 2013-06-21 | 2015-10-27 | Emc Corporation | Cluster file system comprising storage server units each having a scale-out network attached storage cluster |
EP2854020A1 (en) * | 2013-09-27 | 2015-04-01 | Fujitsu Limited | Storage control apparatus, storage control method, and storage control program |
CN104092672A (zh) * | 2014-06-26 | 2014-10-08 | 安徽云盾信息技术有限公司 | 一种采用密文存储网关对信息进行加解密的方法 |
CN104283960A (zh) * | 2014-10-15 | 2015-01-14 | 福建亿榕信息技术有限公司 | 实现异构网络存储的虚拟化整合及分级管理的系统 |
CN106293490A (zh) * | 2015-05-12 | 2017-01-04 | 中兴通讯股份有限公司 | 数据存储、读取的方法、装置及系统 |
CN105045534A (zh) * | 2015-07-10 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 一种监控Lustre文件系统的装置、方法及系统 |
CN105119737A (zh) * | 2015-07-16 | 2015-12-02 | 浪潮软件股份有限公司 | 一种通过Zabbix监控Ceph集群的方法 |
CN106681650A (zh) * | 2015-11-10 | 2017-05-17 | 中国电信股份有限公司 | 虚拟卷访问方法和虚拟化系统 |
CN105824932A (zh) * | 2016-03-18 | 2016-08-03 | 浪潮软件集团有限公司 | 一种基于阿里云对象存储oss的档案系统 |
CN107273378A (zh) * | 2016-04-07 | 2017-10-20 | 阿里巴巴集团控股有限公司 | 一种文件存储方法及装置 |
CN106506668A (zh) * | 2016-11-23 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种基于分布式存储实现对象存储的方法 |
CN108881412A (zh) * | 2018-05-31 | 2018-11-23 | 郑州云海信息技术有限公司 | 分布式存储集群的统一管理方法、系统、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
张志雄,吴云: "基于Openfiler 构建NAS 与SAN 的整合存储研究", 《计算机网络》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688674A (zh) * | 2019-09-23 | 2020-01-14 | 中国银联股份有限公司 | 一种访问对接器、系统及应用该访问对接器的方法及装置 |
CN110688674B (zh) * | 2019-09-23 | 2024-04-26 | 中国银联股份有限公司 | 一种访问对接器、系统及应用该访问对接器的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109302499B (zh) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200153903A1 (en) | Data files synchronization with cloud storage service | |
CN109120639B (zh) | 一种基于区块链的数据云存储加密方法及系统 | |
US8813243B2 (en) | Reducing a size of a security-related data object stored on a token | |
CN113364735B (zh) | 多链场景下数据跨链访问控制方法、系统、设备及终端 | |
TWI709059B (zh) | 檔案打包、檔案包解包方法、裝置及網路設備 | |
CN108900483A (zh) | 云存储细粒度访问控制方法、数据上传和数据访问方法 | |
US20210328786A1 (en) | Blockchain integrated station and cryptographic acceleration card, key management methods and apparatuses | |
CN104820701A (zh) | 数据记录和同步方法及系统 | |
US20150205819A1 (en) | Techniques for optimizing data flows in hybrid cloud storage systems | |
CN109521956B (zh) | 一种基于区块链的云存储方法、装置、设备及存储介质 | |
WO2017206754A1 (zh) | 分布式文件系统的存储方法和存储装置 | |
EP2869232A1 (en) | Security key device for secure cloud services, and system and method of providing security cloud services | |
CN108694331B (zh) | 一种数据存储方法、装置、系统及计算机可读存储介质 | |
CN103150154B (zh) | 一种应用程序插件的实现方法及装置 | |
CN102413159A (zh) | 一种面向网络化操作系统的可信任在线存储系统 | |
CN104243510B (zh) | 一种安全网络存储系统与方法 | |
CN107590368A (zh) | 嵌入式设备程序防拷贝的方法 | |
CN104092672A (zh) | 一种采用密文存储网关对信息进行加解密的方法 | |
WO2024061005A1 (zh) | 一种音视频缓冲区读取处理方法及装置 | |
CN104753870B (zh) | 一种数据传输方法和系统 | |
CN106941524A (zh) | 一种hdfs的web文件配置方法 | |
CN115134087A (zh) | 一种面向去中心化云存储的客户端安全数据去重方法 | |
CN109302499A (zh) | 一种可兼容访问nas存储和oss存储的存储网关 | |
CN107749862A (zh) | 一种数据加密集中存储方法、服务器、用户终端及系统 | |
CN110633125A (zh) | 一种基于云平台存储的集成管理平台及管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |