CN112383486A - 基于租约的分布式对象存储服务质量保证方法及系统 - Google Patents

基于租约的分布式对象存储服务质量保证方法及系统 Download PDF

Info

Publication number
CN112383486A
CN112383486A CN202011223479.7A CN202011223479A CN112383486A CN 112383486 A CN112383486 A CN 112383486A CN 202011223479 A CN202011223479 A CN 202011223479A CN 112383486 A CN112383486 A CN 112383486A
Authority
CN
China
Prior art keywords
lease
distributed object
based distributed
object storage
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011223479.7A
Other languages
English (en)
Inventor
秦伟
尹微
李家祥
文中领
周泽湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Toyou Feiji Electronics Co ltd
Original Assignee
Beijing Toyou Feiji Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Toyou Feiji Electronics Co ltd filed Critical Beijing Toyou Feiji Electronics Co ltd
Priority to CN202011223479.7A priority Critical patent/CN112383486A/zh
Publication of CN112383486A publication Critical patent/CN112383486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/286—Time to live
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于租约的分布式对象存储服务质量保证方法及系统。该方法包括：每个对象存储网关按照租约中的参数独立进行流量控制，通过定时更新租约来获取一段时间内节点分配到的流量速率，每个服务节点在租约时间范围内使用总流量速率的一部分进行流量控制，进而达到整体流量控制的效果。本发明提供的基于租约的分布式对象存储服务质量保证方法及系统能够减少流量控制对分布式对象存储扩展性和可靠性的影响。

Description

基于租约的分布式对象存储服务质量保证方法及系统
技术领域
本发明涉及分布式服务质量保证技术领域，特别是涉及一种基于租约的分布式对象存储服务质量保证方法及系统。
背景技术
随着云计算和大数据的迅猛发展，传统的集中式存储越来越无法满足云计算和大数据应用的需求，分布式存储系统因为其灵活的扩展能力已成为云计算平台的重要组成部分。而云计算环境通常采用多租户的方式分配和管理资源，因此如何分配和管理有限的带宽和请求处理能力保证不同租户的服务质量是分布式存储系统需要解决的重要问题。
针对单节点服务环境，目前业内普遍采用相对成熟的令牌桶和漏桶算法进行流量控制。对于多节点分布式存储系统的流量控制方法通常有如下两种方式：
方法一：引入集中式代理网关，在代理网关完成对请求和流量的控制。该方案的缺点是集中式代理网关限制了分布式对象存储系统的扩展性，并引入了单点问题。
方法二：引入Redis等缓存系统，将流量控制的状态信息保存在缓存中，多个节点通过共享缓存状态实现流量控制。该方案每次访问存储的IO请求都会更新缓存中的状态信息，缓存系统的性能和可靠性一定程度制约了整合分布式存储的扩展性。
上述方案都没有将分布式存储的IO请求和流量控制进行解耦，使得IO请求的处理流程中还要访问第三方实体，影响系统的扩展性和可靠性。特别是对于大规模多数据中心部署的分布式对象存储系统，因为数据中心间的网络延时较大，上述方法都无法较好地支持。
发明内容
本发明要解决的技术问题是提供一种基于租约的分布式对象存储服务质量保证方法及系统，能够减少流量控制对分布式对象存储扩展性和可靠性的影响。
为解决上述技术问题，本发明提供了一种基于租约的分布式对象存储服务质量保证方法，应用于对象存储网关，包括：按照租约中的参数独立进行流量控制，通过定时更新租约来获取一段时间内节点分配到的流量速率，每个服务节点在租约时间范围内使用总流量速率的一部分进行流量控制，进而达到整体流量控制的效果。
在一些实施方式中，还包括：定时上报IO统计信息到租约管理中心。
在一些实施方式中，还包括：租约管理中心根据IO状态计算每个对象存储网关分配的流量速率控制值。
在一些实施方式中，从租约管理中心获取流量控制租约信息。
在一些实施方式中，维护两个租约，根据租约的有效期进行切换，保持可用租约的连续性。
在一些实施方式中，按照流量控制租约中的参数进行流量控制。
此外，本发明还提供了一种基于租约的分布式对象存储服务质量保证系统，所述系统包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的基于租约的分布式对象存储服务质量保证方法。
采用这样的设计后，本发明至少具有以下优点：
状态信息上报和租约更新是由异步定时任务处理，独立于存储的IO处理过程，即存储IO处理过程中不需要访问租约管理中心，分布式存储系统吞吐量不受限于第三方系统。系统的性能和可扩展性没有因为流量控制受到影响。
由于租约的更新频率和状态的更新频率不取决于系统的IO速率，所以租约管理中心压力并不会因为存储系统的IO压力增加而加大。租约管理中心可以采用成熟的zookeeper、ectd等相对成熟的配置管理中心进行管理，也可以直接将全局的租约等信息保存至分布式存储中进行集中管理。
因为本发明中分布式存储网关和租约管理中心之间采用定时通信的方式，对网络延时有一定容忍度，因此对于大规模多数据中心部署的分布式对象存储系统依然适用。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是本发明实施例提供的系统架构图；
图2是本发明实施例提供的IO状态上报和租约获取的流程图；
图3是本发明实施例提供的对象存储网关租约切换流程图；
图4是本发明实施例提供的基于租约的分布式对象存储服务质量保证系统的系统架构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明相关组件和系统架构如图1所示，客户端通过访问分布式存储网关的接口使用对象存储服务，分布式存储网关通常采用多个节点部署以提高系统性能和可靠性，客户端按照策略选择不同存储网关接入。租约管理中心是本发明引入的独立实体，它由三个模块组成：QoS配置管理模块用于QoS相关配置参数的管理，如：每秒的最大请求数量、每秒读写的字节数量等；IO统计管理模块负责各分布式存储网关的IO统计信息的管理，基于这些信息评估各个存储网关节点的IO负载状况；QoS租约管理模块主要负责各存储网关的QoS租约的分配和管理。
IO状态上报和租约获取的流程如图2所示，分布式存储网关按照一定规则对其处理的IO进行统计，并定时将这些统计信息以及其保存的最新租约的过期时间等信息上报给租约管理中心。租约管理中心将请求中租约过期时间和QoS租约管理模块中保存的租约进行比较，若请求中的租约过期时间小于租约管理中心中的租约过期时间，则在返回消息中将租约返回给存储网关。存储网关将本地保存的过期时间较早的租约替换为最新获取的租约。
分布式存储网关租约切换流程如图3所示。分布式存储网关本地保存两个租约，一个是当前正在生效的租约，另一个是即将使用的或已过期的租约，通过图2所示的租约定时获取流程，可以保持分布式存储网关持续获取到最新租约。在IO请求过程中会获取当前租约中的流量控制参数，若当前租约还在有有效期，则直接使用当前租约，若当前租约过期，则检查另外一个租约是否有效，若有效则更新当前租约的标识为该租约并返回，否则生成一个临时租约，暂时使用临时租约，待租约更新后切换为分配租约。
租约管理中心依据各分布式存储网关上报的IO统计信息，在上一个租约过期前计算下一段时间内各网关节点可以使用的流量速率控制值，具体计算方法和参数如下：
设IO请求的等待时长L，统计列表长度n，分别对各网关节点上报的IO统计信息进行加权求和得到
Figure BDA0002762873490000051
存储网关的带宽和处理能力权重值W，存储网关的数量m，保证流量占比u，总流量速率控制值Limit，通过如下公式计算得到，各存储网关节点分配到的流量速率控制值γi：
Figure BDA0002762873490000052
按照上述公式租约管理中心定时计算下一段时间各个存储网关节点的租约，待节点上报IO状态时，将最新的租约信息返回存储网关节点，具体流参见图2。
图4示出了基于租约的分布式对象存储服务质量保证系统的结构。参见图4，例如，所述基于租约的分布式对象存储服务质量保证系统400可以用于充当分布式服务质量保证系统中的对象存储网关。如本文所述，基于租约的分布式对象存储服务质量保证系统400可以用于在分布式服务质量保证系统中实现对基于租约的流量控制功能。基于租约的分布式对象存储服务质量保证系统400可以在单个节点中实现，或者基于租约的分布式对象存储服务质量保证系统400的功能可以在网络中的多个节点中实现。本领域的技术人员应意识到，术语基于租约的分布式对象存储服务质量保证系统包括广泛意义上的设备，图4中示出的基于租约的分布式对象存储服务质量保证系统400仅是其中一个示例。包括基于租约的分布式对象存储服务质量保证系统400是为了表述清楚，并不旨在将本发明的应用限制为特定的基于租约的分布式对象存储服务质量保证系统实施例或某一类基于租约的分布式对象存储服务质量保证系统实施例。本发明所述的至少部分特征/方法可以在网络装置或组件，例如，基于租约的分布式对象存储服务质量保证系统400中实现。例如，本发明中的特征/方法可以采用硬件、固件和/或在硬件上安装运行的软件实现。基于租约的分布式对象存储服务质量保证系统400可以是任何通过网络处理，存储和/或转发数据帧的设备，例如，服务器，客户端，数据源等。如图4所示，基于租约的分布式对象存储服务质量保证系统400可以包括收发器(Tx/Rx)410，其可以是发射器，接收器，或其组合。Tx/Rx 410可以耦合到多个端口450(例如上行接口和/或下行接口)，用于从其他节点发送和/或接收帧。处理器430可耦合至Tx/Rx 410，以处理帧和/或确定向哪些节点发送帧。处理器430可以包括一个或多个多核处理器和/或存储器设备432，其可以用作数据存储器，缓冲区等。处理器430可以被实现为通用处理器，或者可以是一个或多个专用集成电路(application specificintegrated circuit，简称ASIC)和/或数字信号处理器(digital signal processor，简称DSP)的一部分。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (7)

1.一种基于租约的分布式对象存储服务质量保证方法，应用于对象存储网关，其特征在于，包括：
按照租约中的参数独立进行流量控制，通过定时更新租约来获取一段时间内节点分配到的流量速率，每个服务节点在租约时间范围内使用总流量速率的一部分进行流量控制，进而达到整体流量控制的效果。
2.根据权利要求1所述的基于租约的分布式对象存储服务质量保证方法，其特征在于，还包括：
定时上报IO统计信息到租约管理中心。
3.根据权利要求1所述的基于租约的分布式对象存储服务质量保证方法，其特征在于，还包括：
租约管理中心根据IO状态计算每个对象存储网关分配的流量速率控制值。
4.根据权利要求1所述的基于租约的分布式对象存储服务质量保证方法，其特征在于，从租约管理中心获取流量控制租约信息。
5.根据权利要求1所述的基于租约的分布式对象存储服务质量保证方法，其特征在于，维护两个租约，根据租约的有效期进行切换，保持可用租约的连续性。
6.根据权利要求1所述的基于租约的分布式对象存储服务质量保证方法，其特征在于，按照流量控制租约中的参数进行流量控制。
7.一种基于租约的分布式对象存储服务质量保证系统，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至6任意一项所述的基于租约的分布式对象存储服务质量保证方法。
CN202011223479.7A 2020-11-05 2020-11-05 基于租约的分布式对象存储服务质量保证方法及系统 Pending CN112383486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011223479.7A CN112383486A (zh) 2020-11-05 2020-11-05 基于租约的分布式对象存储服务质量保证方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011223479.7A CN112383486A (zh) 2020-11-05 2020-11-05 基于租约的分布式对象存储服务质量保证方法及系统

Publications (1)

Publication Number Publication Date
CN112383486A true CN112383486A (zh) 2021-02-19

Family

ID=74578306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011223479.7A Pending CN112383486A (zh) 2020-11-05 2020-11-05 基于租约的分布式对象存储服务质量保证方法及系统

Country Status (1)

Country Link
CN (1) CN112383486A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296717A (zh) * 2021-07-26 2021-08-24 紫光恒越技术有限公司 对象存储分布式服务质量的优化方法、服务器及存储设备
CN115665175A (zh) * 2022-12-26 2023-01-31 江苏苏宁银行股份有限公司 一种分布式网关系统及其交易处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152214A1 (en) * 2001-04-17 2002-10-17 Muntz Daniel A. Lease enforcement in a distributed file system
US6917976B1 (en) * 2000-05-09 2005-07-12 Sun Microsystems, Inc. Message-based leasing of resources in a distributed computing environment
US20070156588A1 (en) * 2005-12-30 2007-07-05 Microsoft Corporation Scalable leases
US20170220500A1 (en) * 2014-10-22 2017-08-03 Huawei Technologies Co.,Ltd. Method, controller, and system for service flow control in object-based storage system
US20170251076A1 (en) * 2016-02-29 2017-08-31 Red Hat Inc. Quality of service in a distributed system
CN110138756A (zh) * 2019-04-30 2019-08-16 网宿科技股份有限公司 一种限流方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917976B1 (en) * 2000-05-09 2005-07-12 Sun Microsystems, Inc. Message-based leasing of resources in a distributed computing environment
US20020152214A1 (en) * 2001-04-17 2002-10-17 Muntz Daniel A. Lease enforcement in a distributed file system
US20070156588A1 (en) * 2005-12-30 2007-07-05 Microsoft Corporation Scalable leases
US20170220500A1 (en) * 2014-10-22 2017-08-03 Huawei Technologies Co.,Ltd. Method, controller, and system for service flow control in object-based storage system
US20170251076A1 (en) * 2016-02-29 2017-08-31 Red Hat Inc. Quality of service in a distributed system
CN110138756A (zh) * 2019-04-30 2019-08-16 网宿科技股份有限公司 一种限流方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田怡萌: "BlueOcean 海量存储系统Windows 客户端设计与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 July 2013 (2013-07-15), pages 21 - 29 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296717A (zh) * 2021-07-26 2021-08-24 紫光恒越技术有限公司 对象存储分布式服务质量的优化方法、服务器及存储设备
CN113296717B (zh) * 2021-07-26 2021-10-29 紫光恒越技术有限公司 对象存储分布式服务质量的优化方法、服务器及存储设备
CN115665175A (zh) * 2022-12-26 2023-01-31 江苏苏宁银行股份有限公司 一种分布式网关系统及其交易处理方法
CN115665175B (zh) * 2022-12-26 2023-03-31 江苏苏宁银行股份有限公司 一种分布式网关系统及其交易处理方法

Similar Documents

Publication Publication Date Title
US11546644B2 (en) Bandwidth control method and apparatus, and device
US11350318B2 (en) Multichannel data transmission method and apparatus
US11689606B2 (en) Communication method, system and apparatus
US20200351207A1 (en) Method and system of limiting traffic
US12074794B2 (en) Receiver-based precision congestion control
US10230644B2 (en) Distributed API proxy system and apparatus and method for managing traffic in such system
US7644230B1 (en) Dynamic load management of network memory
CN111512602B (zh) 一种发送报文的方法、设备和系统
US10193831B2 (en) Device and method for packet processing with memories having different latencies
CN112383486A (zh) 基于租约的分布式对象存储服务质量保证方法及系统
CN110297698B (zh) 一种多优先级动态限流方法、装置、服务器及存储介质
CN113923216B (zh) 一种分布式集群限流系统及方法和分布式集群节点
US7032073B2 (en) Cache system for network and multi-tasking applications
CN110505156B (zh) 一种高速互连网络中低开销的拥塞控制方法
US11277356B2 (en) Network buffer credit allocation
CN115604106A (zh) 算力发布方法、算力更新方法及装置
WO2023005817A1 (zh) 路径确定方法、装置、设备、系统及计算机可读存储介质
TWI766387B (zh) 一種具延遲感知負載平衡的反向代理方法和存儲裝置
US20040240388A1 (en) System and method for dynamic assignment of timers in a network transport engine
CN111182011B (zh) 一种服务集分配方法及装置
US20230129107A1 (en) Method and apparatus to aggregate objects to be stored in a memory to optimize the memory bandwidth
CN109510864A (zh) 一种缓存请求的转发方法、传输方法及相关装置
US20240264854A1 (en) Methods, systems, and computer readable media for using optimized token bucket algorithm for ingress message rate limiting across distributed producer network function (nf) applications
WO2024114926A1 (en) Determining latency in a network node
WO2024114928A1 (en) Determining latency in a system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination