CN113918100A - 一种多协议多功能云存储网关 - Google Patents

一种多协议多功能云存储网关 Download PDF

Info

Publication number
CN113918100A
CN113918100A CN202111346616.0A CN202111346616A CN113918100A CN 113918100 A CN113918100 A CN 113918100A CN 202111346616 A CN202111346616 A CN 202111346616A CN 113918100 A CN113918100 A CN 113918100A
Authority
CN
China
Prior art keywords
protocol
storage
management
cloud storage
gateway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111346616.0A
Other languages
English (en)
Inventor
张玉启
金陵
吴贵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chaoshu Software Technology Co ltd
Original Assignee
Shenzhen Chaoshu Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chaoshu Software Technology Co ltd filed Critical Shenzhen Chaoshu Software Technology Co ltd
Priority to CN202111346616.0A priority Critical patent/CN113918100A/zh
Publication of CN113918100A publication Critical patent/CN113918100A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及云计存储技术领域，具体是一种多协议多功能云存储网关，包括控制层和转发层：所述控制层包括统一资源管理和生命周期管理，统一资源管理：用于对主流存储设备进行集中管理、运维，实现在同一个界面中管理市面上主流存储设备；生命周期管理：通过制定不同的策略简化部署，达到规范化管理；所述转发层通过协议转换系统实现S3协议、NFS协议、SMB协议、ISCSI协议之间互转。本发明通过对主流存储设备进行集中管理、运维，实现在同一个界面上管理市面上大多数的存储设备，将本地存储与归档介质、本地存储与云端存储的无缝衔接，协议转换系统实现S3协议、NFS协议、SMB协议、ISCSI协议之间互转，便于不同协议的用户使用，降低了使用限制。

Description

一种多协议多功能云存储网关
技术领域
本发明涉及云计存储技术领域，具体是一种多协议多功能云存储网关。
背景技术
随着云计算的发展，如今大多数单位都具有多套存储系统，他们的数据一般会分布在本地、公有云中。
但是对管理而言：管理人员需要在不同存储之间切换；
对前端应用而言: 业务系统迁移到公有云，数据存储方式由原来的FC转换为S3，需要原业务系统供应用商进行升级开发，因此，本领域技术人员提供了一种多协议多功能云存储网关，以解决上述背景技术中提出的问题。
发明内容
本发明的目的在于提供一种多协议多功能云存储网关，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种多协议多功能云存储网关，包括控制层和转发层：
所述控制层包括统一资源管理和生命周期管理，统一资源管理：用于对主流存储设备进行集中管理、运维，实现在同一个界面中管理市面上主流存储设备；
生命周期管理：通过制定不同的策略简化部署，达到规范化管理；
所述转发层通过协议转换系统实现S3协议、NFS协议、SMB协议、ISCSI协议之间互转。
作为本发明更进一步的方案：所述存储设备包括：SAN、NAS、VTL、物理磁带库、蓝光光盘库、对象存储。
作为本发明更进一步的方案：制定不同的策略是将文件按时间、数据量大小、类型进行统一分类存储。
作为本发明更进一步的方案：分类存储中又包含标准存储、转低频存储、转归档存储、删除文件；
其中，标准存储：设置存储期限≥30天；
转低频存储：设置存储期限≥30天后，自动转换成低频存储；
转归档存储：设置存储期限≥30天后，自动转换成低频存储（归档介质可选对象存储、光盘库、磁带库、虚拟带库）；
删除文件：设置存储对象≥30年后自动销毁，删除时提前1周采用邮件、短信或微信的方式提醒。
作为本发明更进一步的方案：统一分类存储采用聚类算法，具体方法如下：
A1：从数据中随机抽取K个点作为初始聚类中心，由这个中心代表各个聚类；
A2：计算数据中所有的点到K个点的距离，将点归到离其最近的聚类里；
A3：调整聚类中心，即将聚类的中心移动到聚类的几何中心；
A4：重复A2直到聚类的中心不再移动，此时算法收敛；
A5：通过Kmeans计算时间复杂度和空间复杂度，时间复杂度：上限为O（thmn），下限为：Ω（Kmn）,其中，t为迭代次数，K为簇的数目，m为记录数，n为维数；
空间复杂度：O（（m+K）n），其中，K为簇的数目，m为记录数，n为维数。
作为本发明更进一步的方案：协议转换系统包括单片机、接收器、发送器，其转换方法如下：
S1：单片机获取发送器发送进来的数据包；
S2：单片机通过解析数据包获取信息的协议类型；
S3：单片机确定接收器所需的协议类型后，将发送器的信息内容转换成接收器所需要的协议类型，并封装成待发送信息。
与现有技术相比，本发明的有益效果是：本发明通过控制层和分离层对主流存储设备进行集中管理、运维，实现在同一个界面上管理市面上大多数的存储设备，将本地存储与归档介质、本地存储与云端存储的无缝衔接，通过协议转换系统实现S3协议、NFS协议、SMB协议、ISCSI协议之间互转，便于不同协议的用户使用，降低了使用限制，提高了用户的实用体验。
具体实施方式
本发明实施例中，一种多协议多功能云存储网关，包括控制层和转发层：
所述控制层包括统一资源管理和生命周期管理，统一资源管理：用于对主流存储设备进行集中管理、运维，实现在同一个界面中管理市面上主流存储设备；
生命周期管理：通过制定不同的策略简化部署，达到规范化管理；
所述转发层通过协议转换系统实现S3协议、NFS协议、SMB协议、ISCSI协议之间互转。
进一步的，所述存储设备包括：SAN、NAS、VTL、物理磁带库、蓝光光盘库、对象存储。
进一步的，制定不同的策略是将文件按时间、数据量大小、类型进行统一分类存储。
进一步的，分类存储中又包含标准存储、转低频存储、转归档存储、删除文件；
其中，标准存储：设置存储期限≥30天；
转低频存储：设置存储期限≥30天后，自动转换成低频存储；
转归档存储：设置存储期限≥30天后，自动转换成低频存储（归档介质可选对象存储、光盘库、磁带库、虚拟带库）；
删除文件：设置存储对象≥30年后自动销毁，删除时提前1周采用邮件、短信或微信的方式提醒。
进一步的，统一分类存储采用聚类算法，具体方法如下：
A1：从数据中随机抽取K个点作为初始聚类中心，由这个中心代表各个聚类；
A2：计算数据中所有的点到K个点的距离，将点归到离其最近的聚类里；
A3：调整聚类中心，即将聚类的中心移动到聚类的几何中心；
A4：重复A2直到聚类的中心不再移动，此时算法收敛；
A5：通过Kmeans计算时间复杂度和空间复杂度，时间复杂度：上限为O（thmn），下限为：Ω（Kmn）,其中，t为迭代次数，K为簇的数目，m为记录数，n为维数；
空间复杂度：O（（m+K）n），其中，K为簇的数目，m为记录数，n为维数。
进一步的，协议转换系统包括单片机、接收器、发送器，其转换方法如下：
S1：单片机获取发送器发送进来的数据包；
S2：单片机通过解析数据包获取信息的协议类型；
S3：单片机确定接收器所需的协议类型后，将发送器的信息内容转换成接收器所需要的协议类型，并封装成待发送信息。
综上所述：本发明通过控制层和分离层对主流存储设备进行集中管理、运维，实现在同一个界面上管理市面上大多数的存储设备，将本地存储与归档介质、本地存储与云端存储的无缝衔接，通过协议转换系统实现S3协议、NFS协议、SMB协议、ISCSI协议之间互转，便于不同协议的用户使用，降低了使用限制，提高了用户的实用体验。
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种多协议多功能云存储网关，其特征在于，包括控制层和转发层：
所述控制层包括统一资源管理和生命周期管理，统一资源管理：用于对主流存储设备进行集中管理、运维，实现在同一个界面中管理市面上主流存储设备；
生命周期管理：通过制定不同的策略简化部署，达到规范化管理；
所述转发层通过协议转换系统实现S3协议、NFS协议、SMB协议、ISCSI协议之间互转。
2.根据权利要求1所述的一种多协议多功能云存储网关，其特征在于，所述存储设备包括：SAN、NAS、VTL、物理磁带库、蓝光光盘库、对象存储。
3.根据权利要求1所述的一种多协议多功能云存储网关，其特征在于，制定不同的策略是将文件按时间、数据量大小、类型进行统一分类存储。
4.根据权利要求3所述的一种多协议多功能云存储网关，其特征在于，分类存储中又包含标准存储、转低频存储、转归档存储、删除文件；
其中，标准存储：设置存储期限≥30天；
转低频存储：设置存储期限≥30天后，自动转换成低频存储；
转归档存储：设置存储期限≥30天后，自动转换成低频存储（归档介质可选对象存储、光盘库、磁带库、虚拟带库）；
删除文件：设置存储对象≥30年后自动销毁，删除时提前1周采用邮件、短信或微信的方式提醒。
5.根据权利要求3所述的一种多协议多功能云存储网关，其特征在于，统一分类存储采用聚类算法，具体方法如下：
A1：从数据中随机抽取K个点作为初始聚类中心，由这个中心代表各个聚类；
A2：计算数据中所有的点到K个点的距离，将点归到离其最近的聚类里；
A3：调整聚类中心，即将聚类的中心移动到聚类的几何中心；
A4：重复A2直到聚类的中心不再移动，此时算法收敛；
A5：通过Kmeans计算时间复杂度和空间复杂度，时间复杂度：上限为O（thmn），下限为：Ω（Kmn）,其中，t为迭代次数，K为簇的数目，m为记录数，n为维数；
空间复杂度：O（（m+K）n），其中，K为簇的数目，m为记录数，n为维数。
6.根据权利要求1所述的一种多协议多功能云存储网关，其特征在于，协议转换系统包括单片机、接收器、发送器，其转换方法如下：
S1：单片机获取发送器发送进来的数据包；
S2：单片机通过解析数据包获取信息的协议类型；
S3：单片机确定接收器所需的协议类型后，将发送器的信息内容转换成接收器所需要的协议类型，并封装成待发送信息。
CN202111346616.0A 2021-11-15 2021-11-15 一种多协议多功能云存储网关 Pending CN113918100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111346616.0A CN113918100A (zh) 2021-11-15 2021-11-15 一种多协议多功能云存储网关

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111346616.0A CN113918100A (zh) 2021-11-15 2021-11-15 一种多协议多功能云存储网关

Publications (1)

Publication Number Publication Date
CN113918100A true CN113918100A (zh) 2022-01-11

Family

ID=79246511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111346616.0A Pending CN113918100A (zh) 2021-11-15 2021-11-15 一种多协议多功能云存储网关

Country Status (1)

Country Link
CN (1) CN113918100A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105283879A (zh) * 2013-06-11 2016-01-27 思科技术公司 在多个公共云中提供存储服务的方法和系统
CN106598498A (zh) * 2016-12-13 2017-04-26 郑州信息科技职业学院 一种兼容整合异构存储设备的存储虚拟化系统和方法
CN109218366A (zh) * 2017-07-04 2019-01-15 北京航天长峰科技工业集团有限公司 基于k均值的监控视频热度云存储方法
CN111371891A (zh) * 2020-03-03 2020-07-03 腾讯云计算（北京）有限责任公司 业务处理方法、装置、设备及存储介质
CN111555967A (zh) * 2020-04-23 2020-08-18 北京智通云联科技有限公司 协议转换网关、纺织机监控系统及方法
CN111614730A (zh) * 2020-04-28 2020-09-01 北京金山云网络技术有限公司 云存储系统的文件处理方法、装置及电子设备
CN112068780A (zh) * 2020-09-10 2020-12-11 国家卫星气象中心(国家空间天气监测预警中心) 一种基于异构存储的数据统一管理系统
US11108861B1 (en) * 2020-08-26 2021-08-31 Commvault Systems, Inc. System for managing multiple information management cells

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105283879A (zh) * 2013-06-11 2016-01-27 思科技术公司 在多个公共云中提供存储服务的方法和系统
CN106598498A (zh) * 2016-12-13 2017-04-26 郑州信息科技职业学院 一种兼容整合异构存储设备的存储虚拟化系统和方法
CN109218366A (zh) * 2017-07-04 2019-01-15 北京航天长峰科技工业集团有限公司 基于k均值的监控视频热度云存储方法
CN111371891A (zh) * 2020-03-03 2020-07-03 腾讯云计算（北京）有限责任公司 业务处理方法、装置、设备及存储介质
CN111555967A (zh) * 2020-04-23 2020-08-18 北京智通云联科技有限公司 协议转换网关、纺织机监控系统及方法
CN111614730A (zh) * 2020-04-28 2020-09-01 北京金山云网络技术有限公司 云存储系统的文件处理方法、装置及电子设备
US11108861B1 (en) * 2020-08-26 2021-08-31 Commvault Systems, Inc. System for managing multiple information management cells
CN112068780A (zh) * 2020-09-10 2020-12-11 国家卫星气象中心(国家空间天气监测预警中心) 一种基于异构存储的数据统一管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潮数科技: "一专多能 潮数推多协议云存储网关", pages 1 - 8, Retrieved from the Internet <URL:https://mp.weixin.qq.com/s?src=11&timestamp=1700635648&ver=4911&signature=GRCnOJX-QSzyjOVNUQlhDxWu1VZkcwLV6KitvG0krTLEef7FCuXH93sticA8yxIQzdfWKIxZRscv88d4OpLoSGsn5ZcmsL5m1Kg6rgSCCHi4SVe-4c2hQ6ANwNR6HQQ2&new=1> *

Similar Documents

Publication Publication Date Title
US10001944B2 (en) Systems and methods for data organization in storage systems using large erasure codes
US10409769B1 (en) Data archiving in data storage system environments
CN104598495A (zh) 基于分布式文件系统的分级存储方法及系统
EP3285186B1 (en) Methods and procedures for timestamp-based indexing of items in real-time storage
CN103440244A (zh) 一种大数据存储优化方法
EP3387522A1 (en) Synchronizing snapshots between storage systems
JP2009129441A (ja) 記憶システムにおける非重複化のための方法および装置
CN110609813B (zh) 一种数据存储系统及方法
US20210357397A1 (en) Efficient event-type-based distributed log-analytics system
US20090222569A1 (en) Storage system front end
CN110603518A (zh) 复合聚合架构
US9451024B2 (en) Self-organizing disk (SoD)
CN111813332A (zh) 一种高性能、高扩展和高安全的智能分布式存储系统
US20230135583A1 (en) Distributed storage systems and methods to provide change tracking integrated with scalable databases
CN102681790B (zh) 一种数据转储设备和通过其进行数据转储的方法及系统
CN113918100A (zh) 一种多协议多功能云存储网关
CN202856789U (zh) 一种融合nas和san的数据资源存储系统
US12026132B2 (en) Storage tiering for computing system snapshots
US9396023B1 (en) Methods and systems for parallel distributed computation
Wang Cloud Data Backup and Recovery Method Based on the DELTA Compression Algorithm
US10635128B1 (en) Storing backup data using snapshots
CN103986757A (zh) 一种块存储录像的分布式备份方法和系统
CN113778334A (zh) 基于电子卷宗的分布式存储系统
US11074002B2 (en) Object storage system with meta object replication
Huawei Technologies Co., Ltd. Storage Basics in Cloud Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220111