CN112272209B - 分布式对象存储中网关分离方法、装置、设备及存储介质 - Google Patents
分布式对象存储中网关分离方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112272209B CN112272209B CN202011045111.6A CN202011045111A CN112272209B CN 112272209 B CN112272209 B CN 112272209B CN 202011045111 A CN202011045111 A CN 202011045111A CN 112272209 B CN112272209 B CN 112272209B
- Authority
- CN
- China
- Prior art keywords
- management
- gateway
- service
- distributed object
- object storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 21
- 238000007726 management method Methods 0.000 claims abstract description 111
- 238000013500 data storage Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000005204 segregation Methods 0.000 claims 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种分布式对象存储中网关分离方法、装置、设备及存储介质，所述方法包括如下步骤：S1.在分布式对象存储系统设置业务网关和管理网关；S2.客户端节点通过业务网关访问分布式对象存储系统的数据存储模块进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；S3.管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作。本发明提供的分布式对象存储中网关分离方法、装置、设备及存储介质，通过管理网关及业务网关的分离，实现业务繁忙时，分布式对象存储系统性能的优化，降低管理节点对客户端节点业务的影响。
Description
技术领域
本发明属于分布式对象存储技术领域，具体涉及一种分布式对象存储中网关分离方法、装置、设备及存储介质。
背景技术
分布式系统，是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。
对象存储，是面向海量非结构化数据的通用数据存储平台，提供稳定、安全、高效、低成本的云端存储服务。
网关服务，是指对象存储系统提供的基于当前流行的RESTful协议的网关，兼容Amazon S3和openstack swift两种接口，它把客户端符合S3或Swift协议的http请求解析、转换、处理后发送给数据存储层，并将数据存储层返回的数据发送给客户端，以供相应的对象存储的客户端开发使用。
现有分布式对象存储系统中，通过Gateway网关服务对外提供对象存储服务，存储系统管理软件和客户端通过向Gateway网关发送http请求来进行对象的对上传、下载、拷贝等操作。
目前的系统架构中，存储系统管理软件通过命令行工具完成部分设置类操作，而桶的创建删除、桶特性开启关闭、对象的上传下载等操作则通过访问Gateway网关来实现，也就是说，客户端和管理软件访问同一个Gateway网关，分别完成业务操作和管理操作。现有的网关服务架构存在问题：由于客户端和管理软件同样通过向Gateway网关发送http请求访问存储服务，业务繁忙时，管理软件的任务会对Gateway处理客户端业务请求造成性能上的影响。
此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种分布式对象存储中网关分离方法、装置、设备及存储介质，是非常有必要的。
发明内容
针对现有技术的上述客户端和管理软件访问同一个Gateway网关，业务繁忙时，管理软件的任务会对Gateway处理客户端业务请求造成性能上的影响的缺陷，本发明提供一种分布式对象存储中网关分离方法、装置、设备及存储介质，以解决上述技术问题。
第一方面，本发明提供一种分布式对象存储中网关分离方法，包括如下步骤：
S1.在分布式对象存储系统设置业务网关和管理网关；
S2.客户端节点通过业务网关访问分布式对象存储系统的数据存储模块进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；
S3.管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作。
进一步地，所述第一管理类操作包括桶创建删除操作、桶特性开启关闭操作以及对象的上传；所述桶用于存储对象。第二管理类操作为非对象存储相关的管理操作。
进一步地，步骤S2具体步骤如下：
S21.在分布式对象存储系统的数据存储模块设置业务端口及管理端口，并设置业务网关监听业务端口以及管理网关监听管理端口；
S22.客户端节点通过集群用户网络访问业务网关，向业务端口发送http业务请求；
S23.管理节点通过集群管理网络访问管理网关，向管理端口发送http管理请求。
进一步地，所述集群用户网络采用万兆网络，所述集群管理网络采用千兆网络。
进一步地，所述分布式对象存储系统运行于linux平台。
第二方面，本发明提供一种分布式对象存储中网关分离装置，包括：
网关分离设置单元，用于在分布式对象存储系统设置业务网关和管理网关；
网关功能设置单元，用于设置客户端节点通过业务网关访问分布式对象存储系统的数据存储进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；
命令行工作设置单元，用于设置管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作。
进一步地，所述第一管理类操作包括桶创建删除操作、桶特性开启关闭操作以及对象的上传；所述桶用于存储对象。第一管理类操作为对象存储相关的管理操作。
进一步地，网关功能设置单元包括：
端口设置子单元，用于在分布式对象存储系统的数据存储模块设置业务端口及管理端口，并设置业务网关监听业务端口以及管理网关监听管理端口；
业务请求发送子单元，用于设置客户端节点通过集群用户网络访问业务网关，向业务端口发送http业务请求；
管理请求发送子单元，管理用于设置管理节点通过集群管理网络访问管理网关，向管理端口发送http管理请求。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述第一方面的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
本发明的有益效果在于，
本发明提供的分布式对象存储中网关分离方法、装置、设备及存储介质，通过管理网关及业务网关的分离，实现业务繁忙时，分布式对象存储系统性能的优化，降低管理节点对客户端节点业务的影响。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的方法流程示意图一；
图2是本发明的方法流程示意图二；
图3是本发明的系统示意图；
图中，1-网关分离设置单元；2-网关功能设置单元；2.1-端口设置子单元；2.2-业务请求发送子单元；2.3-管理请求发送子单元；3-命令行工作设置单元。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例1：
如图1所示，本发明提供一种分布式对象存储中网关分离方法，包括如下步骤：
S1.在分布式对象存储系统设置业务网关和管理网关；
S2.客户端节点通过业务网关访问分布式对象存储系统的数据存储模块进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；
S3.管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作。
实施例2：
如图2所示，本发明提供一种分布式对象存储中网关分离方法，包括如下步骤：
S1.在分布式对象存储系统设置业务网关和管理网关；
S2.客户端节点通过业务网关访问分布式对象存储系统的数据存储模块进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；所述第一管理类操作包括桶创建删除操作、桶特性开启关闭操作以及对象的上传；所述桶用于存储对象；
S3.管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作；所述第二管理类操作指的是非对象存储相关的管理操作。
实施例3：
如图3所示，本发明提供一种分布式对象存储中网关分离装置，包括：
网关分离设置单元1，用于在分布式对象存储系统设置业务网关和管理网关；
网关功能设置单元2，用于设置客户端节点通过业务网关访问分布式对象存储系统的数据存储模块进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；所述第一管理类操作包括桶创建删除操作、桶特性开启关闭操作以及对象的上传；所述桶用于存储对象；网关功能设置单元2包括：
端口设置子单元2.1，用于在分布式对象存储系统的数据存储模块设置业务端口及管理端口，并设置业务网关监听业务端口以及管理网关监听管理端口；
业务请求发送子单元2.2，用于设置客户端节点通过集群用户网络访问业务网关，向业务端口发送http业务请求；
管理请求发送子单元2.3，管理用于设置管理节点通过集群管理网络访问管理网关，向管理端口发送http管理请求；
命令行工作设置单元3，用于设置管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作。
实施例4：
本发明提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述实施例1或实施例2所述的方法。
实施例5：
本发明提供一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例1或实施例2所述的方法。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种分布式对象存储中网关分离方法，其特征在于，包括如下步骤：
S1.在分布式对象存储系统设置业务网关和管理网关；
S2.客户端节点通过业务网关访问分布式对象存储系统的数据存储模块进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；
S3.管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作。
2.如权利要求1所述的分布式对象存储中网关分离方法，其特征在于，所述第一管理类操作包括桶创建删除操作、桶特性开启关闭操作以及对象的上传；所述桶用于存储对象。
3.如权利要求1所述的分布式对象存储中网关分离方法，其特征在于，步骤S2具体步骤如下：
S21.在分布式对象存储系统的数据存储模块设置业务端口及管理端口，并设置业务网关监听业务端口以及管理网关监听管理端口；
S22.客户端节点通过集群用户网络访问业务网关，向业务端口发送http业务请求；
S23.管理节点通过集群管理网络访问管理网关，向管理端口发送http管理请求。
4.如权利要求3所述的分布式对象存储中网关分离方法，其特征在于，所述集群用户网络采用万兆网络，所述集群管理网络采用千兆网络。
5.如权利要求1所述的分布式对象存储中网关分离方法，其特征在于，所述分布式对象存储系统运行于linux平台。
6.一种分布式对象存储中网关分离装置，其特征在于，包括：
网关分离设置单元(1)，用于在分布式对象存储系统设置业务网关和管理网关；
网关功能设置单元(2)，用于设置客户端节点通过业务网关访问分布式对象存储系统的数据存储模块进行对象业务操作，以及管理节点通过管理网关访问分布式对象存储系统的数据存储模块进行对象的第一管理类操作；
命令行工作设置单元(3)，用于设置管理节点通过命令行工具模块对分布式对象存储系统的数据存储模块进行对象的第二管理类操作。
7.如权利要求6所述的分布式对象存储中网关分离装置，其特征在于，所述第一管理类操作包括桶创建删除操作、桶特性开启关闭操作以及对象的上传；所述桶用于存储对象。
8.如权利要求6所述的分布式对象存储中网关分离装置，其特征在于，网关功能设置单元(2)包括：
端口设置子单元(2.1)，用于在分布式对象存储系统的数据存储模块设置业务端口及管理端口，并设置业务网关监听业务端口以及管理网关监听管理端口；
业务请求发送子单元(2.2)，用于设置客户端节点通过集群用户网络访问业务网关，向业务端口发送http业务请求；
管理请求发送子单元(2.3)，管理用于设置管理节点通过集群管理网络访问管理网关，向管理端口发送http管理请求。
9.一种终端，其特征在于，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述权利要求1-5任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011045111.6A CN112272209B (zh) | 2020-09-28 | 2020-09-28 | 分布式对象存储中网关分离方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011045111.6A CN112272209B (zh) | 2020-09-28 | 2020-09-28 | 分布式对象存储中网关分离方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112272209A CN112272209A (zh) | 2021-01-26 |
| CN112272209B true CN112272209B (zh) | 2022-06-10 |
Family
ID=74349333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011045111.6A Active CN112272209B (zh) | 2020-09-28 | 2020-09-28 | 分布式对象存储中网关分离方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112272209B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114050960B (zh) * | 2021-10-19 | 2024-05-14 | 厦门亿联网络技术股份有限公司 | 一种分布式服务器集群节点管理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108521656B (zh) * | 2018-03-23 | 2021-03-02 | 深圳市信锐网科技术有限公司 | 一种Lora通信方法及系统 |
-
2020
- 2020-09-28 CN CN202011045111.6A patent/CN112272209B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112272209A (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12093575B2 (en) | Global de-duplication of virtual disks in a storage platform | |
| CN103237046B (zh) | 支持混合云存储应用的分布式文件系统及实现方法 | |
| CN111131379B (zh) | 一种分布式流量采集系统和边缘计算方法 | |
| US10795577B2 (en) | De-duplication of client-side data cache for virtual disks | |
| US11361027B2 (en) | Historical state management in databases | |
| CN106161633B (zh) | 一种基于云计算环境下打包文件的传输方法及系统 | |
| WO2018121334A1 (zh) | 一种提供网页应用服务的方法、装置、电子设备及系统 | |
| CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
| CN113010818A (zh) | 访问限流方法、装置、电子设备及存储介质 | |
| CN110113406B (zh) | 基于分布式的计算服务集群系统 | |
| US9311314B2 (en) | System and method for migrating data from a source file system to a destination file system with use of attribute manipulation | |
| US20220358108A1 (en) | Historical graph database | |
| WO2021017907A1 (zh) | 一种优化的微服务间通信的方法及装置 | |
| CN112272209B (zh) | 分布式对象存储中网关分离方法、装置、设备及存储介质 | |
| CN107979640B (zh) | 一种数据传输方法及装置 | |
| US20150066846A1 (en) | System and method for asynchronous replication of a network-based file system | |
| US11709749B1 (en) | Diagnostic data collection for kubernetes | |
| CN113630464B (zh) | 分布式语音处理方法、系统、设备及存储介质 | |
| CN109033250B (zh) | 一种支持大数据文件访问服务的高可用性对象存储方法 | |
| US20240163213A1 (en) | Expanding connection tables in smart switches in sdn networks | |
| CN111865994B (zh) | 一种软硬件结合网关防火墙的构建方法及其网络防护方法 | |
| CN111722608B (zh) | 基于tsn网络的工艺流程控制方法、系统、介质及边缘服务器 | |
| CN116760850B (zh) | 一种数据处理方法、装置、设备、介质及系统 | |
| KR102707345B1 (ko) | 5g 라이브 업링크 스트리밍용 프레임워크(flus) 제어를 통한 네트워크 기반 미디어 처리(nbmp) 작업흐름 관리 | |
| US20240241762A1 (en) | Automated migration-framework for live applications to operator managed orchestration systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |