CN115941622A - 一种带宽调节方法、系统、设备及存储介质 - Google Patents

一种带宽调节方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115941622A
CN115941622A CN202211312177.6A CN202211312177A CN115941622A CN 115941622 A CN115941622 A CN 115941622A CN 202211312177 A CN202211312177 A CN 202211312177A CN 115941622 A CN115941622 A CN 115941622A
Authority
CN
China
Prior art keywords
bandwidth
storage unit
node
amount
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211312177.6A
Other languages
English (en)
Inventor
罗庆超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211312177.6A priority Critical patent/CN115941622A/zh
Publication of CN115941622A publication Critical patent/CN115941622A/zh
Priority to PCT/CN2023/124391 priority patent/WO2024088078A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供一种带宽调节方法、系统、设备及存储介质。可统计当前接入数据湖的计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。

Description

一种带宽调节方法、系统、设备及存储介质
技术领域
本申请涉及云计算技术领域，尤其涉及一种带宽调节方法、系统、设备及存储介质。
背景技术
数据湖(Data Lake)，可解释为高度可扩展的数据存储区域，以原始格式存储大量原始数据，直到需要使用为止。数据湖可以存储所有类型的数据，对帐户大小或文件没有固定限制，也没有定义特定用途。数据来自不同的来源，可以是结构化的、半结构化的，甚至是非结构化的，数据可按需查询。数据湖可无缝对接多种计算分析平台，根据使用场景不同，可以选择相应的计算引擎对数据湖中存储的数据进行数据处理与分析，从而打破孤岛，挖掘业务价值。
带宽是数据湖的重要资源。目前，数据湖通常是按照存储量来提供带宽，例如，租户在数据湖中的存储量为16TB，则默认向租户提供100MBps的带宽能力。但是，这对于数据湖的租户来说却过于死板，并无法满足租户灵活多变的带宽需求，经常出现提供给租户的带宽量冗余浪费或者带宽量不足影响租户的数据分析效率等问题。
发明内容
本申请的多个方面提供一种带宽调节方法、系统、设备及存储介质，用以更加合理地为接入数据湖的计算节点提供带宽。
本申请实施例提供一种带宽调节方法，包括：
从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；
基于所述属性描述信息，分别预测所述计算节点的期望带宽量；
将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。
本申请实施例还提供一种带宽调节方法，包括：
获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；
在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
获取所述存储单元当前的实际带宽量；
在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
本申请实施例还提供一种电子设备，包括存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；
基于所述属性描述信息，分别预测所述计算节点的期望带宽量；
将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。
本申请实施例还提供一种电子设备，包括存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；
在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
获取所述存储单元当前的实际带宽量；
在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
本申请实施例还提供一种带宽调节系统，包括：
应用了前述带宽调节方法的统计节点，以及，应用了前述带宽调节方法的动态调节节点；所述统计节点将为接入数据湖的计算节点预测的期望带宽量提供至所述动态调节节点，以供所述动态调节节点为数据湖中的存储单元调整带宽配额。
本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的带宽调节方法。
在本申请实施例中，提供了一种应用于数据湖场景的带宽调节系统，可统计当前接入数据湖的各个计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，本申请实施例中，带宽调节系统可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一示例性实施例提供的一种带宽调节系统的结构示意图；
图2为本申请另一示例性实施例提供的一种带宽调节方法的流程示意图；
图3为本申请又一示例性实施例提供的一种统计阶段的流程示意图；
图4为本申请又一示例性实施例提供的一种动态调节阶段的流程示意图；
图5为本申请又一示例性实施例提供的一种执行阶段的流程示意图；
图6为本申请又一示例性实施例提供的一种带宽调节方法的流程示意图；
图7为本申请又一示例性实施例提供的一种电子设备的结构示意图；
图8为本申请又一示例性实施例提供的另一种带宽调节方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，数据湖通常按照存储量来提供带宽，过于死板，无法租户灵活多变的带宽需求。为此，本申请的一些实施例中：提供了一种应用于数据湖场景的带宽调节系统，可统计当前接入数据湖的各个计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，本申请实施例中，带宽调节系统可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供的带宽调节系统的结构示意图。如图1所示，该系统包括：统计节点和动态调节节点。
统计节点，用于从数据湖接收到的访问请求中，统计当前接入数据湖的各个计算节点的属性描述信息；基于属性描述信息，分别预测各个计算节点的期望带宽量；
动态调节节点，用于在数据湖中的各个存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；获取各个存储单元当前的实际带宽量；在各个存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
本实施例提供的带宽调节系统，可应用于数据湖场景中，为数据湖提供带宽调节方案。数据湖可解释为高度可扩展的数据存储区域，数据湖中可包含大量的存储单元，这里的存储单元可理解为数据湖中的最小存储单位。在不同的数据湖产品中，对存储单元的定义名称可能不同，存储单元可以是桶bucket等，本实施例对存储单元的名称、规格、存储形式等均不作限定。另外，数据湖原有的流控系统(用于管理带宽的系统)通常是以存储单元为单位进行带宽管控的。例如，租户A租用了数据湖中的多个桶bucket，流控系统可根据租户A在其租用的各个桶上的存储量来在各个桶上为租户A配置固定带宽。
数据湖可无缝对接多种计算分析平台，根据分析需求的不同，可以选择相应的计算引擎对数据湖中存储的数据进行数据处理与分析。目前，数据湖与计算分析平台之间通常分属不同的运营商，这导致计算和存储两个环节很难打通，因此，数据湖只能根据自身被租户所使用的存储量来为租户配置带宽，这导致了带宽配置不合理的问题。应当理解的是，数据湖通常并无法准确感知到租户的带宽需求，也就更无法按照租户的带宽需求进行带宽配置。
为了解决这种困境，本实施例提供了带宽调节系统，以使数据湖更加合理地为计算节点提供带宽。本实施例中，由于租户的计算需求的灵活多变性，接入数据湖的计算节点也是动态变化的，这里的动态变化包括但不限于计算节点的数量变化，计算节点所接入的存储单元变化等。为此，本实施例提供的带宽调节系统，可随着计算节点的动态变化，而动态调整数据湖向计算节点所提供的带宽。考虑到计算节点实质是接入数据湖中的存储单元上，而同一存储单元上承载的计算节点之间功能分享存储单元上提供的带宽，为此，本实施例中提出，可动态调整数据湖中各个存储单元的带宽配额，这样，可间接地调整存储单元上承载的计算节点所获得的带宽。
本实施例中，为了避免对租户侧造成引入影响，可将带宽调节系统包含的各个节点全部部署在数据湖中，当然，本实施例对此并不限定，带宽调节系统中的节点也可部署在数据湖之外。另外，考虑到数据湖中发生的访问请求的数量巨大，为了保证带宽调节的效率，带宽调节系统中的各个节点可实现为云中的节点，当然，本实施例并不限于此，带宽调节系统中的各个节点也可以实现为一台计算设备中的处理模块，本实施例对带宽调节系统中各节点的物理实现形式不做限定。
参考图1，本实施例中，统计节点，可从数据湖接收到的访问请求中，统计当前接入数据湖的各个计算节点的属性描述信息。其中，统计节点可部署在数据湖中原有的访问接入层，以更便捷地分析数据湖所接收到的访问请求。另外，统计节点可采用分布式集群进行实现，而分布式集群中可包含至少一个控制节点以及每个控制节点所管控的多个工作节点。在控制节点的数量为一个的情况下，可由该控制节点接管数据湖中所接入的所有计算节点；而控制节点的数量为多个的情况下，多个控制节点可分管不同部分租户下的计算节点。例如，控制节点为3个，分别为a、b和c，若数据湖的租户有300万个，可将300万个租户分为3组，则3个控制节点可分别接管其中一组。每个控制节点可调用其管控的多个工作节点来完成统计工作。
本实施例中，统计的属性描述信息可包括但不限于所属租户的标识、所访问的存储单元的标识、节点类型或节点地址等。当然，属性描述信息中还可包括其它能够表征计算节点身份或者对后续为计算节点预测期望带宽量有帮助的信息，而并不限于此。另外，本实施例中，还可在统计节点和计算节点之间预先预定通信协议，并在通信协议中指定需要计算节点携带在访问请求中的属性描述信息，这样，计算节点在向数据湖发起访问请求的过程中，可将属性描述信息携带在访问请求中，从而，统计节点可从访问请求中解析出属性描述信息。
在此基础上，统计节点可基于属性描述信息，分别预测各个计算节点的期望带宽量。本实施例中，统计节点与计算节点打通，可获取到各种用于预测带宽的参数，因此，统计节点可基于获得到的参数而方便快捷的为当前接入数据湖的各个计算节点预测出期望带宽量。其中，本实施例对统计节点采用的预测方案不做限定，预测方案可按需灵活设定。
一种示例性的预测方案可以是：基于各个计算节点中的任一目标节点的节点类型，获取目标节点的硬件参数；根据硬件参数，计算目标节点的第一预测带宽量；感知目标节点上发起当前访问请求的应用程序的类型；从经验库中，查找应用程序的类型与目标节点的节点类型组合后所对应的第二预测带宽量；根据第一预测带宽量和第二预测带宽量，确定目标节点对应的期望带宽量。其中，硬件参数可包括但不限于CPU核数、内存数、网络带宽能力等。另外，经验库中可包括各种应用程序在不同类型的计算节点上运行时可达到的带宽能力值，经验库中的带宽能力值可以是经验值，在此基础上，可从经验库中选出合适的经验值作为第二预测带宽量。
在该示例性的预测方案中，可结合硬件角度和软件角度为目标节点计算了期望带宽量。应当理解的是，这仅是一种示例性的预测方案，本实施例中为计算节点预测期望带宽量的方案并不限于此。
需要说明的是，本实施例中，数据湖所接收到的访问请求可能来源与多个计算节点、涉及到多个租户，且接入数据湖的计算节点或租户可以是动态变化的。为此，本实施例中，统计节点可周期性地执行统计工作，以及时感知到这些变化。为了更便于感知这些变化，在一种示例性的实现方案中：统计节点还可维护访问请求统计表，访问请求统计表中包括属性描述相关的字段和期望带宽量对应的字段；在访问请求统计表中动态更新接入数据湖的各个计算节点的属性描述信息及期望带宽量。一种示例性的访问请求统计表如下，表-1：
租户 桶 计算节点IP 节点类型 扩展字段 期望带宽量
租户A A-桶1 192.168.0.2 I2 普通 1Gbps
租户A A-桶1 192.168.0.3 I2 普通 1Gbps
租户A A-桶1 192.168.1.2 G2 普通 2Gbps
租户A A-桶2 192.168.1.3 G2 普通 2Gbps
租户A A-桶2 192.168.100.2 D1 普通 0.5Gbps
… … … … … …
租户B B-桶3 192.168.200.2 G2 普通 2Gbps
… … … … … …
基于此，统计节点可在监测到访问请求统计表发生变化的情况下，触发图1中的动态调节节点开始工作。其中，访问请求统计表发生变化是指表中出现记录的增减或者字段下的取值发生变化，记录的增减表征接入数据湖的计算节点发生了弹性伸缩，而字段下的取值发生变化则可能表征现有计算节点的访问状态发生了变化。当然，这是一种优选方案，本实施例对此不做限定，动态调节节点也可不受统计节点的触发，而是自主的安排自身的工作时机，例如，动态调节节点也可周期性地工作，等。
参考图1，对于动态调节节点来说，可在数据湖中的各个存储单元下，分别计算当前承载的计算节点对应的期望带宽总量。也即是，动态调节节点可将从计算节点侧感知到的节点维度下或者租户维度下的带宽需求(计算节点的期望带宽量等)转化为对数据湖中存储单元下的带宽要求，从而实现计算和存储两个环节的打通。可选地，动态调节节点可在各个存储单元中的目标单元下，计算目标单元当前承载的所有计算节点的期望带宽量的总和，作为目标单元对应的期望带宽总量。单个存储单元通常只承载一个租户下的计算节点，这种情况下，动态调节节点可将该存储单元当前承载的所有计算节点各自对应的期望带宽量进行求和，以获得该存储单元的期望带宽总量。例如，数据湖中桶B上当前承载有租户A的5个计算节点，则可将这各个计算节点各自对应的期望带宽量进行求和，以获得桶B的期望带宽总量。单个存储单元可能承载多个租户下的计算节点，而租户之间可能存在带宽优先级，在带宽资源分配过程中，租户之间也将按照带宽优先级进行带宽抢占，已从存储单元上按比例获取到带宽，这种情况下，动态条件节点可在动态调节的阶段中暂时弱化租户的概念，而同样将该存储单元当前承载的所有计算节点各自对应的期望带宽量进行求和，以获得该存储单元的期望带宽总量；当然，动态调节节点还可在该存储单元下分别计算其承载的多个租户各自对应的期望带宽总量，以备在后续的带宽资源分配过程中按多个租户各自对应的期望带宽总量对该存储单元调节后的带宽资源进行分配。
参考图1，动态调节节点还可获取各个存储单元当前的实际带宽量。正如前文提及的，数据湖中原本部署有流控系统，因此可复用流控系统对各个存储单元进行实际带宽测量，动态调节节点可从流控系统中获取到各个存储单元当前的实际带宽量。当然，本实施例并不限于此，动态调节节点也可自主测量出各个存储单元当前的实际带宽量。
另外，本实施例中，动态调节节点还可获取各个存储单元原本的带宽配额，这里原本的带宽配额是指上一次动态调节操作后各个存储单元所获得带宽配额。在本次动态调节操作中，将继续对各个存储单元的带宽配额进行调整。
在一种可选的实现方案中，动态调节节点可维护动态调节记录表，动态调节记录表中可包括但不限于租户标识字段、存储单元标识字段、实际带宽量字段、原本的带宽配额字段和期望带宽总量字段。一种示例性的动态调节记录表如下，表-2：
Figure BDA0003907452340000061
Figure BDA0003907452340000071
在此基础上，参考图1，动态调节节点还可在各个存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。一种示例性的调节方案可以是：
在各个第一类存储单元下，分别计算所需的带宽增量，第一类存储单元的期望带宽总量大于原本的带宽配额且实际带宽量达到原本的带宽配额；
在各个第二类存储单元下，分别计算所支持的带宽减量，第二类存储单元的实际带宽量小于原本的带宽配额；
在第一类存储单元对应的带宽增量总值小于第二类存储单元对应的带宽减量总值的情况下，将第一类存储单元的带宽配额调整至期望带宽总量且将第二类存储单元的带宽配额调整至实际带宽量。
其中，在该示例性的调节方案中，可分别计算各个第一类存储单元的带宽增量，带宽增量＝期望带宽总量-原本的带宽配额。并对各个第一类存储单元各自对应的带宽增量进行求和，以获得第一类存储单元对应的带宽增量总值。同样，还可计算各个第二类存储单元对应的带宽减量，带宽减量＝原本的带宽配额-实际带宽量。并对各个第二类存储单元各自对应的带宽减量进行求和，以获得第二类存储单元对应的带宽减量总值。
在该实例性方案中，可从数据湖的各个存储单元中分别找出第一类存储单元和第二类存储单元。具体地，找出期望带宽总量大于原本的带宽配额且实际带宽量达到原本的带宽配额的存储单元，作为第一类存储单元。以上面的动态调节记录表为例，其中的A-桶1和A-桶2即为第一类存储单元。找出实际带宽量小于原本的带宽配额的存储单元，作为第二类存储单元。以上面的动态调节记录表为例，其中的B-桶3、B-桶4、C-桶5和C-桶6即为第二类存储单元。
动态调节节点将调高第一类存储单元的带宽配额，调低第二类存储单元的带宽配额。在此过程中，需要考虑第一类存储单元对应的带宽增量总值与第二类存储单元对应的带宽减量总值之间的关系。在第一类存储单元对应的带宽增量总值小于第二类存储单元对应的带宽减量总值的情况下，表征第二类存储单元可腾出的带宽资源能够满足第一类存储单元的带宽增量需求，因此，可将将第一类存储单元的带宽配额调整至期望带宽总量且将第二类存储单元的带宽配额调整至实际带宽量。
而，在第一类存储单元对应的带宽增量总值大于第二类存储单元对应的带宽减量总值的情况下，则可根据数据湖当前的剩余带宽量以及前述的带宽增量总值，计算增量系数；按照增量系数和期望带宽总量，调整各个第一类存储单元的带宽配额。示例性地，增量系数可＝(数据湖当前的剩余带宽量+第二类存储单元对应的带宽减量总值)/带宽增量值。应当理解的是，本实施例中，在第一类存储单元对应的带宽增量总值大于第二类存储单元对应的带宽减量总值的情况下，表征第二类存储单元可腾出的带宽资源无法满足第一类存储单元的带宽增量需求，数据湖中出现了新增的带宽压力，此处的发明构思在于，动态调节节点按照数据湖的带宽服务上限来调节各个第一类存储单元的带宽配额，保证调节后的带宽配额不会导致数据湖中配置出去的带宽总量超出数据湖的带宽服务上限即可，而并不限于上述的增量系数的实现方式。另外，计算增量系数的方案也并不限于上述的具体逻辑，本实施例对此也不做限定。
至此，可动态调节数据湖中各个存储单元对应的带宽配额。
本实施例中，带宽调节系统中还可包括执行节点，执行节点可从动态调节节点中获取各个存储单元调节后的带宽配额，并将带宽配额发送至数据湖中的流控系统，以供流控系统按照各个存储单元的带宽配额调整所承载的计算节点的带宽量。
另外，执行节点，还可确定各个存储单元所属的租户；在各个租户下，分别计算所使用的存储单元所获得带宽配额的和值，作为租户级带宽配额。这里，有一种前文提及的特殊情况，也即是同一个存储单元上承载多个租户的情况，这种情况下，执行节点可案前述的带宽抢占逻辑，分别确定该存储单元上的多个租户各自可分配到的带宽配额，分配到的带宽配额可并入到租户级带宽配额中。
可选地，执行节点可维护带宽配额记录表，带宽配额记录表中可包括但不限于配置级别字段、租户标识字段、存储单元标识字段和带宽配额字段等。其中，执行节点可在本次调节后的带宽配额生效后，及时将带宽配额记录表中的带宽配额更新至前述的动态调节记录表中的原本的带宽配额字段下，以供动态调节节点在下一次调节阶段中使用。一种示例性的带宽配额记录表如下，表-3：
配置级别 租户 桶 带宽配额
租户级 租户A 无 50
桶级 租户A A-桶1 20
桶级 租户A A-桶2 30
…
租户级 租户B 无 40
桶级 租户B B-桶3 20
桶级 租户B B-桶4 20
基于此，数据湖中的各个存储单元的带宽配额得以动态调整，且调整后的带宽配额与其上承载的计算节点的带宽需求相适配。至于存储单元上承载的各个计算节点之间如何分配该存储单元上的带宽配额，则可通过设置带宽抢占机制、平均分配机制、带宽均衡机制等来保证各个计算节点获取到所需的带宽量，本实施例对此不做限定。
综上，本实施例中，提供了一种应用于数据湖场景的带宽调节系统，可统计当前接入数据湖的各个计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，本申请实施例中，带宽调节系统可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。
图2为本申请另一示例性实施例提供的一种带宽调节方法的流程示意图，该方法可由前述的带宽调节系统实施。参考图2，该方法可包括：
步骤200、从数据湖接收到的访问请求中，统计当前接入数据湖的各个计算节点的属性描述信息；
步骤201、基于属性描述信息，分别预测各个计算节点的期望带宽量；
步骤202、在数据湖中的各个存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
步骤203、获取各个存储单元当前的实际带宽量；
步骤204、在各个存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
在一可选实施例中，属性描述信息包括所属租户的标识、所访问的存储单元的标识、节点类型或节点地址中的一种或多种。
在一可选实施例中，步骤基于属性描述信息，分别计算各个计算节点的期望带宽量，包括：
基于各个计算节点中的任一目标节点的节点类型，获取目标节点的硬件参数；
根据硬件参数，计算目标节点的第一预测带宽量；
感知目标节点上发起当前访问请求的应用程序的类型；
从经验库中，查找应用程序的类型与目标节点的节点类型组合后所对应的第二预测带宽量；
根据第一预测带宽量和第二预测带宽量，确定目标节点对应的期望带宽量。
在一可选实施例中，该方法还可包括：
维护访问请求统计表，访问请求统计表中包括属性描述相关的字段和期望带宽量对应的字段；
在访问请求统计表中动态更新接入数据湖的各个计算节点的属性描述信息及期望带宽量。
在一可选实施例中，该方法还可包括：
在监测到访问请求统计表发生变化的情况下，触发在数据湖中的各个存储单元下分别计算当前承载的计算节点对应的期望带宽总量的操作及后续操作。
在一可选实施例中，步骤在数据湖中的各个存储单元下，分别计算当前承载的计算节点对应的期望带宽总量，包括：
在各个存储单元中的目标单元下，计算目标单元当前承载的所有计算节点的期望带宽量的总和，作为目标单元对应的期望带宽总量。
在一可选实施例中，步骤在各个存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额，包括：
在各个第一类存储单元下，分别计算所需的带宽增量，第一类存储单元的期望带宽总量大于原本的带宽配额且实际带宽量达到原本的带宽配额；
在各个第二类存储单元下，分别计算所支持的带宽减量，第二类存储单元的实际带宽量小于原本的带宽配额；
在第一类存储单元对应的带宽增量总值小于第二类存储单元对应的带宽减量总值的情况下，将第一类存储单元的带宽配额调整至期望带宽总量且将第二类存储单元的带宽配额调整至实际带宽量。
在一可选实施例中，该方法还可包括：
在第一类存储单元对应的带宽增量总值大于第二类存储单元对应的带宽减量总值的情况下，根据数据湖当前的剩余带宽量以及带宽增量总值，计算增量系数，增量系数小于1；
按照增量系数和期望带宽总量，调整各个第一类存储单元的带宽配额。
在一可选实施例中，该方法还可包括：
确定各个存储单元所属的租户；
在各个租户下，分别计算所使用的存储单元所获得带宽配额的和值，作为租户级带宽配额。
在一可选实施例中，该方法还可包括：
将各个存储单元下获得的最新的带宽配额发送至数据湖中的流控系统中，以供流控系统按照各个存储单元的带宽配额调整所承载的计算节点的带宽量。
据此，本实施例提供了一种应用于数据湖场景的带宽调节方法，可统计当前接入数据湖的各个计算节点的属性描述信息，并预测各个计算节点的期望带宽量；在数据湖中的各个存储单元下，可分别计算其当前承载的计算节点对应的期望带宽总量，并根据期望带宽总量和存储单元当前的实际带宽量来调节存储单元的带宽配额。这样，带宽调节系统可作为计算节点和数据湖之间的中间媒介，实时地感知接入数据湖的计算节点的动态带宽需求，并可基于感知到的动态带宽需求调整数据湖中存储单元的带宽配额。据此，本申请实施例中，带宽调节系统可动态调节数据湖中各个存储单元的带宽配额，以使数据湖中的存储单元提供的带宽量与计算节点的带宽需求相适配，从而更加合理地为接入数据湖的计算节点提供带宽。
以下将带宽调节方法分为统计阶段、动态调节阶段和执行阶段，并分别对各个阶段进行示例性说明。
图3为本申请又一示例性实施例提供的一种统计阶段的流程示意图。参考图3，统计阶段的示例性处理逻辑可包括：
1、在请求接入层，统计所有请求；
2、单机按事件间隔t，本机(分布式集群中的节点)统计各租户请求；
3、各单机将租户请求统计发送到指定节点N，节点N负责在表-1中更新对应租户的信息；
4、租户请求统计是否有变化，如有，通过动态调节节点更新表-2对应记录；如果没有，单机处理下一时间间隔t，返回到2。
在该阶段中，访问请求统计按指定频率进行，即表示按时间间隔t执行。统计采用数据湖、存储层接入层的大量单机独立统计，通过本地化处理提高效率；然后按照分布式原理，用指定控制节点来处理特定租户的统计，并由控制节点负责在表-1中更新数据，从而减少大量单机并发访问表-1带来的性能问题。表-1可存储在控制节点本地。
为了降低每次每个租户变化都去更新表-2的性能影响，在多个控制节点处理完所有租户的信息后，判断是否表-1整体是否有更新变化，如果有变化批量的去更新表2对应记录，从而提高节点间数据交换效率，降低性能影响。
图4为本申请又一示例性实施例提供的一种动态调节阶段的流程示意图。参考图4，动态调节阶段的示例性处理逻辑可包括：
1、按时间间隔t’分析表-2；
2、“计算节点期望带宽总量”大于“带宽配额”，且“实际带宽”已达到“带宽配额”，说明需要增加带宽，并计算各租户汇总后希望增加带宽X；
3、“实际带宽”小于“带宽配额”，说明可降低带宽，计算各租户汇总后可减少带宽Y；
4、若X-Y小于0，执行5；若X-Y不小于0，则执行6；
5、系统无新增带宽压力，按需调整表-3；
6、判断新增量是否超过数据湖的系统压力，若是，则执行7；若否，则执行8；
7、系统无新增带宽压力，按需调整表-3；
8、按系统能力，按比例下调带宽增量，并将调节后的带宽配额发送至表-3.
在该阶段中，动态调节节点会扫描表-2，处理增加和减少带宽的场景：
·分析记录，找出“计算节点期望带宽总量”大于“带宽配额”且”实际带宽”已达”带宽配额”记录，说明需增加带宽，并计算各租户汇总后希望增加带宽X。
·分析表记录，找出“实际带宽”小于”带宽配额”的记录，说明可降低带宽，计算各租户汇总后可减少带宽Y。
·然后分析本轮动态调整的趋势，如果“X-Y小于0”，说明系统无新增带宽压力、按需调整表-3；否则说明系统有新增带宽压力，此时需要判断是否超过系统压力。
如果“新增量超过系统压力”，则按系统能力按比例下调带宽增量，并将调节后带宽配额发送到表-3；否则，说明系统无新增带宽压力，按需调整表-3。
如果表-3存在内容更新，则将由带宽实际流控模块完成在系统中重新配置带宽。
图5为本申请又一示例性实施例提供的一种执行阶段的流程示意图。参考图5，执行阶段的示例性处理逻辑可包括：
1、执行节点按照时间间隔t”读取表-3更新记录；
2、带宽实际流控模块，将表-3记录的值写入到流控系统中；
3、确认流控在系统中生效，流控配额值应用到单机或集群。
通过上述流程，可以实现根据计算节点的弹性伸缩动态调整带宽，充分发挥计算能力，让计算引擎使用更便捷。
综上，本实施例提供的带宽调节方案至少可在以下几个方面产生有益效果：
租户级的访问请求统计表的字段定义。通过该表，可以高效的掌握节点、预期带宽信息，帮助后续的带宽动态调节。
租户级的访问请求统计采用单机本地统计、租户记录由代理节点更新表方式，降低并发影响，提高系统性能。
动态调节节点，能够根据增加、降低带宽需求，结合系统带宽能力，实现带宽动态调整，灵活满足业务需求。
动态调节节点，按实际变化情况更新表，从而实现最小粒度的表更新，降低大范围处理字段带来的性能问题。
执行节点，可通过写入和确认两个阶段，保证配置的有效性。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤200至步骤204的执行主体可以为设备A；又比如，步骤200和201的执行主体可以为设备A，步骤202至步骤204的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如201、202等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的存储单元等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
值得说明的是，上述关于带宽调节方法各实施例中的技术细节，可参考前述的系统实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。
在另一些可能的设计中，图6为本申请又一示例性实施例提供的一种带宽调节方法的流程示意图，参考图6，在这些可能的设计中，该方法可包括：
步骤600、从数据湖接收到的访问请求中，统计当前接入数据湖的计算节点的属性描述信息；
步骤601、基于属性描述信息，分别预测计算节点的期望带宽量；
步骤602、将期望带宽量作为依据，以在数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据期望带宽总量及存储单元当前的实际带宽量调整带宽配额。
其中，属性描述信息可包括所属租户的标识、所访问的存储单元的标识、节点类型或节点地址中的一种或多种。
其中，步骤基于属性描述信息，分别计算计算节点的期望带宽量，可包括：
基于计算节点中的任一目标节点的节点类型，获取目标节点的硬件参数；
根据硬件参数，计算目标节点的第一预测带宽量；
感知目标节点上发起当前访问请求的应用程序的类型；
从经验库中，查找应用程序的类型与目标节点的节点类型组合后所对应的第二预测带宽量；
根据第一预测带宽量和第二预测带宽量，确定目标节点对应的期望带宽量。
可选地，该方法还可包括：
维护访问请求统计表，访问请求统计表中包括属性描述相关的字段和期望带宽量对应的字段；
在访问请求统计表中动态更新接入数据湖的计算节点的属性描述信息及期望带宽量。
图7为本申请又一示例性实施例提供的一种电子设备的结构示意图，参考图7，电子设备可包括存储器70、处理器71、通信组件72及电源组件73等。图6相关的方法可由电子设备实施，该电子设备可以是云服务器、云节点、服务器集群等，对电子设备的物理实现形式不做限定。对于不同的物理实现形式，电子设备中的各个组件也可按照对应的部署需求来实施，在此不再赘述。
值得说明的是，图6所示的带宽调节方法可独立实施，而不受其它系统参与方的限制，另外，图6所示的带宽调节方法中产生的期望带宽量，还可应用于出带宽调节场景之外的其它应用场景中，本实施例对此不做限定。
在又一些可能的设计中，图8为本申请又一示例性实施例提供的另一种带宽调节方法的流程示意图，参考图8，在这些可能的设计中，该方法可包括：
步骤800、获取为当前接入数据湖的计算节点预测的期望带宽量，期望带宽量为基于计算节点的属性描述信息而预测的；
步骤801、在数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
步骤802、获取存储单元当前的实际带宽量；
步骤803、在存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
其中，步骤在数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量，可包括：
在存储单元中的目标单元下，计算目标单元当前承载的所有计算节点的期望带宽量的总和，作为目标单元对应的期望带宽总量。
其中，步骤在存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额，可包括：
在第一类存储单元下，分别计算所需的带宽增量，第一类存储单元的期望带宽总量大于原本的带宽配额且实际带宽量达到原本的带宽配额；
在第二类存储单元下，分别计算所支持的带宽减量，第二类存储单元的实际带宽量小于原本的带宽配额；
在第一类存储单元对应的带宽增量总值小于第二类存储单元对应的带宽减量总值的情况下，将第一类存储单元的带宽配额调整至期望带宽总量且将第二类存储单元的带宽配额调整至实际带宽量。
可选地，该方法还可包括：
在第一类存储单元对应的带宽增量总值大于第二类存储单元对应的带宽减量总值的情况下，根据数据湖当前的剩余带宽量以及带宽增量总值，计算增量系数，增量系数小于1；
按照增量系数和期望带宽总量，调整第一类存储单元的带宽配额。
可选地，该方法还包括：
确定存储单元所属的租户；
在租户下，分别计算所使用的存储单元所获得带宽配额的和值，作为租户级带宽配额。
可选地，该方法还包括：
将存储单元下获得的最新的带宽配额发送至数据湖中的流控系统中，以供流控系统按照存储单元的带宽配额调整所承载的计算节点的带宽量。
基于图7提供的电子设备的结构示意图，图8相关的方法可由电子设备实施，该电子设备可以是云服务器、云节点、服务器集群等，对电子设备的物理实现形式不做限定。值得说明的是，图8所示的带宽调节方法可独立实施，而不受其它系统参与方的限制，另外，图8所示的带宽调节方法中所需的期望带宽量可通过各种可能的途径获得，本实施例对获取途径不做限定。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种带宽调节方法，包括：
从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；
基于所述属性描述信息，分别预测所述计算节点的期望带宽量；
将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。
2.根据权利要求1所述的方法，所述属性描述信息包括所属租户的标识、所访问的存储单元的标识、节点类型或节点地址中的一种或多种。
3.根据权利要求2所述的方法，所述基于所述属性描述信息，分别计算所述计算节点的期望带宽量，包括：
基于所述计算节点中的任一目标节点的节点类型，获取所述目标节点的硬件参数；
根据所述硬件参数，计算所述目标节点的第一预测带宽量；
感知所述目标节点上发起当前访问请求的应用程序的类型；
从经验库中，查找所述应用程序的类型与所述目标节点的节点类型组合后所对应的第二预测带宽量；
根据所述第一预测带宽量和所述第二预测带宽量，确定所述目标节点对应的期望带宽量。
4.根据权利要求1所述的方法，还包括：
维护访问请求统计表，所述访问请求统计表中包括属性描述相关的字段和期望带宽量对应的字段；
在所述访问请求统计表中动态更新接入所述数据湖的计算节点的属性描述信息及期望带宽量。
5.一种带宽调节方法，包括：
获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；
在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
获取所述存储单元当前的实际带宽量；
在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
6.根据权利要求5所述的方法，所述在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量，包括：
在所述存储单元中的目标单元下，计算所述目标单元当前承载的所有计算节点的期望带宽量的总和，作为所述目标单元对应的期望带宽总量。
7.根据权利要求5所述的方法，所述在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额，包括：
在第一类存储单元下，分别计算所需的带宽增量，所述第一类存储单元的期望带宽总量大于原本的带宽配额且实际带宽量达到原本的带宽配额；
在第二类存储单元下，分别计算所支持的带宽减量，所述第二类存储单元的实际带宽量小于原本的带宽配额；
在所述第一类存储单元对应的带宽增量总值小于所述第二类存储单元对应的带宽减量总值的情况下，将所述第一类存储单元的带宽配额调整至期望带宽总量且将所述第二类存储单元的带宽配额调整至实际带宽量。
8.根据权利要求7所述的方法，还包括：
在所述第一类存储单元对应的带宽增量总值大于所述第二类存储单元对应的带宽减量总值的情况下，根据所述数据湖当前的剩余带宽量以及所述带宽增量总值，计算增量系数，所述增量系数小于1；
按照所述增量系数和期望带宽总量，调整第一类存储单元的带宽配额。
9.根据权利要求5所述的方法，还包括：
确定存储单元所属的租户；
在租户下，分别计算所使用的存储单元所获得带宽配额的和值，作为租户级带宽配额。
10.根据权利要求5所述的方法，还包括：
将所述存储单元下获得的最新的带宽配额发送至所述数据湖中的流控系统中，以供所述流控系统按照所述存储单元的带宽配额调整所承载的计算节点的带宽量。
11.一种电子设备，包括存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
从数据湖接收到的访问请求中，统计当前接入所述数据湖的计算节点的属性描述信息；
基于所述属性描述信息，分别预测所述计算节点的期望带宽量；
将所述期望带宽量作为依据，以在所述数据湖中的存储单元下确定当前承载的计算节点对应的期望带宽总量并根据所述期望带宽总量及所述存储单元当前的实际带宽量调整带宽配额。
12.一种电子设备，包括存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
获取为当前接入数据湖的计算节点预测的期望带宽量，所述期望带宽量为基于所述计算节点的属性描述信息而预测的；
在所述数据湖中的存储单元下，分别计算当前承载的计算节点对应的期望带宽总量；
获取所述存储单元当前的实际带宽量；
在所述存储单元下，分别根据实际带宽量和期望带宽总量，调整带宽配额。
13.一种带宽调节系统，包括：
应用了如权利要求1-4任一项所述带宽调节方法的统计节点，以及，应用了如权利要求5-10任一项所述带宽调节方法的动态调节节点；所述统计节点将为接入数据湖的计算节点预测的期望带宽量提供至所述动态调节节点，以供所述动态调节节点为数据湖中的存储单元调整带宽配额。
14.一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-10任一项所述的带宽调节方法。
CN202211312177.6A 2022-10-25 2022-10-25 一种带宽调节方法、系统、设备及存储介质 Pending CN115941622A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211312177.6A CN115941622A (zh) 2022-10-25 2022-10-25 一种带宽调节方法、系统、设备及存储介质
PCT/CN2023/124391 WO2024088078A1 (zh) 2022-10-25 2023-10-13 一种带宽调节方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211312177.6A CN115941622A (zh) 2022-10-25 2022-10-25 一种带宽调节方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115941622A true CN115941622A (zh) 2023-04-07

Family

ID=86651556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211312177.6A Pending CN115941622A (zh) 2022-10-25 2022-10-25 一种带宽调节方法、系统、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115941622A (zh)
WO (1) WO2024088078A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024088078A1 (zh) * 2022-10-25 2024-05-02 杭州阿里云飞天信息技术有限公司 一种带宽调节方法、系统、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109510715B (zh) * 2017-09-14 2022-02-08 中国电信股份有限公司 带宽分配方法、装置、数据中心以及存储介质
CN110968260A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 配额调整处理方法、装置及计算机设备
CN113098651A (zh) * 2020-01-08 2021-07-09 华为技术有限公司 一种带宽调整方法及装置
CN111447577B (zh) * 2020-02-18 2021-07-27 中国联合网络通信集团有限公司 配额管理方法及设备
CN111565323B (zh) * 2020-03-23 2022-11-08 视联动力信息技术股份有限公司 一种流量控制方法、装置、电子设备及存储介质
US11372544B2 (en) * 2020-09-24 2022-06-28 Netapp, Inc. Write type based crediting for block level write throttling to control impact to read input/output operations
EP4030708A1 (en) * 2021-01-19 2022-07-20 Nokia Solutions and Networks Oy Method and apparatus for bandwidth allocation
CN115941622A (zh) * 2022-10-25 2023-04-07 阿里巴巴（中国）有限公司 一种带宽调节方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024088078A1 (zh) * 2022-10-25 2024-05-02 杭州阿里云飞天信息技术有限公司 一种带宽调节方法、系统、设备及存储介质

Also Published As

Publication number Publication date
WO2024088078A1 (zh) 2024-05-02

Similar Documents

Publication Publication Date Title
US10733029B2 (en) Movement of services across clusters
US9552231B2 (en) Client classification-based dynamic allocation of computing infrastructure resources
CN108845884B (zh) 物理资源分配方法、装置、计算机设备和存储介质
CN112153700B (zh) 一种网络切片资源管理方法及设备
CN107426274B (zh) 基于时序的业务应用及监控分析调度的方法和系统
US20180198855A1 (en) Method and apparatus for scheduling calculation tasks among clusters
CN110597858A (zh) 任务数据处理方法、装置、计算机设备和存储介质
WO2016178316A1 (ja) 計算機調達予測装置、計算機調達予測方法、及び、プログラム
CN109739627B (zh) 任务的调度方法、电子设备及介质
CN106201839B (zh) 一种业务对象的信息加载方法和装置
US20210271648A1 (en) Data migration methods and system
CN110018781B (zh) 磁盘流控方法、装置以及电子设备
CN112231098A (zh) 任务处理方法、装置、设备及存储介质
CN112269661B (zh) 基于Kafka集群的分区迁移方法和装置
CN115941622A (zh) 一种带宽调节方法、系统、设备及存储介质
CN107038067B (zh) 分布式流处理中处理资源的管理方法和装置
CN109992408B (zh) 一种资源分配方法、装置、电子设备和存储介质
WO2024148864A1 (zh) 虚拟机内存的调整方法和装置、非易失性可读存储介质及电子装置
CN111400241B (zh) 数据重构方法和装置
CN117369941A (zh) Pod调度方法和系统
CN113127289B (zh) 一种基于yarn集群的资源管理方法、计算机设备和存储介质
CN115878303A (zh) 一种资源调度方法、装置及电子设备
CN115878309A (zh) 资源分配方法、装置、处理核、设备和计算机可读介质
CN113867736A (zh) 部署方案生成方法及装置
CN114116790A (zh) 数据处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination