CN109992396B - 负载控制方法、装置、电子设备及分布式文件系统 - Google Patents

负载控制方法、装置、电子设备及分布式文件系统 Download PDF

Info

Publication number
CN109992396B
CN109992396B CN201711484762.3A CN201711484762A CN109992396B CN 109992396 B CN109992396 B CN 109992396B CN 201711484762 A CN201711484762 A CN 201711484762A CN 109992396 B CN109992396 B CN 109992396B
Authority
CN
China
Prior art keywords
interface
data request
concurrency number
available resource
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711484762.3A
Other languages
English (en)
Other versions
CN109992396A (zh
Inventor
张建兴
李林森
朱超
姜鸿康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201711484762.3A priority Critical patent/CN109992396B/zh
Publication of CN109992396A publication Critical patent/CN109992396A/zh
Application granted granted Critical
Publication of CN109992396B publication Critical patent/CN109992396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请实施例提供了一种负载控制方法、装置、电子设备及分布式文件系统,方法包括:接收数据请求;根据各个接口的并发数及各个接口的负载能力,确定可用资源率;检测可用资源率是否大于资源阈值;若否,则拒绝数据请求。应用本申请实施例提供的技术方案,降低了资源计算的复杂度,提高了资源计算的可行性。

Description

负载控制方法、装置、电子设备及分布式文件系统
技术领域
本申请涉及数据处理技术领域,特别是涉及一种负载控制方法、装置、电子设备及分布式文件系统。
背景技术
分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统中包括Hadoop、HBase、Spark、Zookeeper等组件,分布式文件系统中安装的数据应用可以通过调用上述组件实现不同的功能,例如查询功能、存储功能等。
为了保证分布式文件系统的运行需要对分布式文件系统进行负载控制。目前,实现负载控制的方式为:在分布式文件系统中设置一个监控组件,来监控分布式文件系统中各个组件的使用情况,以确定分布式文件系统的资源利用率,确定是否存在可用资源,进而确定是否为接收到的数据请求分配资源,调用组件执行该数据请求。
分布式文件系统中各个组件间存在依赖关系,若依据各个组件的使用情况,来确定分布式文件系统的资源使用情况,则将使得资源计算较为复杂,可行性较差。
发明内容
本申请实施例的目的在于提供一种负载控制方法、装置、电子设备及分布式文件系统,以降低资源计算的复杂度,提高资源计算的可行性。具体技术方案如下:
一方面,本申请实施例公开了一种负载控制方法,所述方法包括:
接收数据请求;
根据各个接口的并发数及各个接口的负载能力,确定可用资源率;
检测所述可用资源率是否大于资源阈值;
若否,则拒绝所述数据请求。
在本申请的一个实施例中,在根据各个接口的并发数及各个接口的负载能力,确定可用资源率之前,还包括:
检测接收所述数据请求的第一接口的并发数是否达到所述第一接口的并发数阈值;
若否,则执行所述根据各个接口的并发数及各个接口的负载能力,确定可用资源率的步骤。
在本申请的一个实施例中,所述方法还包括:
定时检测各个接口的调用次数;
根据各个接口的调用次数,更新各个接口的并发数阈值。
在本申请的一个实施例中,所述根据各个接口的并发数及各个接口的负载能力,确定可用资源率的步骤,包括:
根据以下公式确定可用资源率δ:
Figure BDA0001534510910000021
其中,pi为接口i的负载能力,ni为接口i的并发数,t为接收所述数据请求的第一接口,N为分布式文件系统中接口的总个数。
在本申请的一个实施例中,所述方法还包括:
对于每一接口,根据以下公式确定该接口的负载能力p:
p=1/Cmax
其中,Cmax为该接口的最大并发数。
在本申请的一个实施例中,所述方法还包括:
若检测到所述第一接口的并发数达到所述第一接口的并发数阈值,则拒绝所述数据请求。
在本申请的一个实施例中,所述方法还包括:
若检测到所述可用资源率大于所述资源阈值,则为所述数据请求分配资源,执行所述数据请求。
二方面,本申请实施例公开了一种负载控制装置,所述装置包括:
接收单元,用于接收数据请求;
第一确定单元,用于根据各个接口的并发数及各个接口的负载能力,确定可用资源率;
第一检测单元,用于检测所述可用资源率是否大于资源阈值;
处理单元,用于当所述第一检测单元的检测结果为否时,拒绝所述数据请求。
在本申请的一个实施例中,所述装置还包括:
第二检测单元,用于检测接收所述数据请求的第一接口的并发数是否达到所述第一接口的并发数阈值;
所述第一确定单元,具体用于当所述第二检测单元的检测结果为否时,根据各个接口的并发数及各个接口的负载能力,确定可用资源率。
在本申请的一个实施例中,所述装置还包括:
第三检测单元,用于定时检测各个接口的调用次数;
第二确定单元,用于根据各个接口的调用次数,更新各个接口的并发数阈值。
在本申请的一个实施例中,所述第一确定单元,具体用于:
根据以下公式确定可用资源率δ:
Figure BDA0001534510910000031
其中,pi为接口i的负载能力,ni为接口i的并发数,t为接收所述数据请求的第一接口,N为分布式文件系统中接口的总个数。
在本申请的一个实施例中,所述装置还包括:
第三确定单元,用于对于每一接口,根据以下公式确定该接口的负载能力p:
p=1/Cmax
其中,Cmax为该接口的最大并发数。
在本申请的一个实施例中,所述处理单元,还用于:
若检测到所述第一接口的并发数达到所述第一接口的并发数阈值,则拒绝所述数据请求。
在本申请的一个实施例中,所述处理单元,还用于:
若检测到所述可用资源率大于所述资源阈值,则为所述数据请求分配资源,执行所述数据请求。
三方面,本申请实施例公开了一种电子设备,包括处理器、通信接口、存储器和通信总线;其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,实现上述负载控制方法。
四方面,本申请实施例公开了一种分布式文件系统,所述分布式文件系统包括多个服务器,每一服务器包括上述任一负载控制装置。
本申请实施例,根据接口的并发数及接口的负载能力,确定分布式文件系统的资源使用情况,确定分布式文件系统是否存在可用资源,不必考虑分布式文件系统中各个组件间的依赖关系,降低了资源计算的复杂度,提高了资源计算的可行性。当然,实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的负载控制方法的第一种流程示意图;
图2为本申请实施例提供的负载控制方法的第二种流程示意图;
图3为本申请实施例提供的负载控制装置的第一种结构示意图;
图4为本申请实施例提供的负载控制装置的第二种结构示意图;
图5为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
分布式文件系统中的各个组件间存在依赖关系,在实现负载控制时,若依据各个组件的使用情况,来确定分布式文件系统的资源使用情况,则将使得资源计算较为复杂,可行性较差。
为降低资源计算的复杂度,提高资源计算的可行性,基于分布式文件系统,本申请实施例提供了一种负载控制方法及装置,该方法可以应用于分布式文件系统中的任一服务器上。参考图1,图1为本申请实施例提供的负载控制方法的第一种流程示意图,该方法包括:
步骤101:接收数据请求。
这里,数据请求可以为查询请求、存储请求等。
分布式文件系统的接口按对外提供服务的不同,分为不同的接口。接口根据自身对外提供服务的不同,接收不同的数据请求,为数据请求分配服务相关资源,利用分配的资源调用服务相关的组件处理数据请求。
例如,分布式文件系统的接口分为对外提供查询服务的接口和对外提供存储服务的接口。对外提供查询服务的接口接收查询请求,为查询请求分配查询资源,利用分配的查询资源调用查询服务相关的组件处理查询请求。对外提供存储服务的接口接收查询请求,为存储请求分配存储资源,利用分配的存储资源调用存储服务相关的组件处理存储请求。
步骤102:根据各个接口的并发数及各个接口的负载能力,确定可用资源率。
其中,接口的并发数为当前该接口正在处理的数据请求的数量。例如,接口I0接到数据请求a1,接口I0的并发数为1;当接口I0接到数据请求a2,且接口I0未处理完数据请求a1时,接口I0的并发数为2;当接口I0处理完数据请求a1,但未处理完数据请求a2时,接口I0的并发数为1。
接口的负载能力为该接口处理数据请求的能力。
在本申请的一个实施例中,可以在分布式文件系统正常运行的情况下,测试单个接口的最大并发数,分布式文件系统的负载能力为1,依据单个接口的最大并发数,根据以下公式,可以确定单个接口的负载能力:
p=1/Cmax
其中,p表示单个接口的负载能力,Cmax为单个接口的最大并发数。
例如,当前有3台服务器构成了分布式文件系统,在分布式文件系统上有一个数据应用,该数据应用的业务量为10亿数据的查询,分布式文件系统对外提供了5个提供查询服务的接口,分别为I1、I2、I3、I4、I5,若在分布式文件系统正常运行的情况下,测试获得单个接口的最大并发数,其中,
I1的最大并发数为100;
I2的最大并发数为120;
I3的最大并发数为110;
I4的最大并发数为90;
I5的最大并发数为130;
则I1的负载能力p1为:1/100,I2的负载能力p2为:1/120,I3的负载能力p3为:1/110,I4的负载能力p4为:1/90,I5的负载能力p5为:1/130。
在本申请的一个实施例中,根据以下公式,可以确定可用资源率:
Figure BDA0001534510910000061
其中,δ为可用资源率,pi为接口i的负载能力,ni为接口i的并发数,t为接收数据请求的第一接口,N为分布式文件系统中接口的总个数。
仍以上述例子为例进行说明,分布式文件系统中接口的总个数为5。若当前I1的并发数为10,I2的并发数为12,I3的并发数为11,I4的并发数为9,I5的并发数为13;
当接口I1接收到一个数据请求且不存在处理完的数据请求时,I1的并发数加1,即I1的并发数为10+1=11,分布式文件系统的可用资源率δ1为:
δ1=1-p1×11-p2×12-p3×11-p4×9-p5×13
=1-(1/100)×11-(1/120)×12-(1/110)×11-(1/90)×9-(1/130)×13=0.4;
当接口I3接收到又一个数据请求且不存在处理完的数据请求时,I3的并发数加1,即I3的并发数为11+1=12,分布式文件系统的可用资源率δ2为:
δ2=1-p1×11-p2×12-p3×12-p4×9-p5×13
=1-(1/100)×11-(1/120)×12-(1/110)×12-(1/90)×9-(1/130)×13=0.309。
以此类推,可以计算出分布式文件系统的可用资源率。
在本申请的另一个实施例中,可以在分布式文件系统正常运行的情况下,测试单个接口的最大并发数,将单个接口的最大并发数Cmax确定为该接口的负载能力。
在本申请的一个实施例中,根据以下公式,可以确定可用资源率:
Figure BDA0001534510910000071
其中,δ为可用资源率,ni为接口i的并发数,Cmaxi为接口i的最大并发数,t为接收数据请求的第一接口,Cmaxt为第一接口的最大并发数,N为分布式文件系统中接口的总个数。
步骤103:检测可用资源率是否大于资源阈值;若否,则执行步骤104。
步骤104:拒绝数据请求。
在本申请的一个实施例中,资源阈值可以为0,若确定分布式文件系统的可用资源率为0,则可以确定分布式文件系统中不存在可用的资源,为保证分布式文件系统的稳定,可以拒绝该数据请求。
在本申请的一个实施例中,资源阈值可以为一个较小的值,例如0.01、0.02等,若确定分布式文件系统的可用资源率小于等于资源阈值,则可以确定分布式文件系统中可用的资源较少,为保证分布式文件系统能够快速的处理数据请求,可以拒绝该数据请求。
上述拒绝数据请求可以为丢弃该数据请求,也可以丢弃该数据请求并向发送数据请求方输出提示信息,以提示资源不足。
在本申请的一个实施例中,若检测可用资源率大于资源阈值,则可以确定分布式文件系统中存在可用的资源,为数据请求分配资源,调用组件执行该数据请求。例如,资源阈值为0,若检测可用资源率大于0,确定分布式文件系统中可用资源有剩余,接收数据请求的接口为数据请求分配资源,调用组件执行该数据请求。
当该数据请求执行结束后,接收数据请求的接口的并发数减1,释放为该数据请求分配的资源,以保证分布式文件系统处理后续接收到的数据请求。
在本申请的一个实施例中,参考图2,图2为本申请实施例提供的负载控制方法的第二种流程示意图,该方法包括:
步骤201:接收数据请求。
步骤201与步骤101相同。
步骤202:检测接收数据请求的第一接口的并发数是否达到第一接口的并发数阈值;若否,则执行步骤203;若是,则执行步骤205。
分布式文件系统对外提供多个接口,为了保证分布式文件系统的稳定,可以预先为每一接口设置并发数阈值。对于每一接口,该接口的并发数阈值小于等于该接口的最大并发数。
若检测到接收数据请求的第一接口的并发数达到第一接口的并发数阈值,则可以执行步骤205拒绝数据请求;若检测到接收数据请求的第一接口的并发数未达到第一接口的并发数阈值,则可以继续执行步骤203。
在本申请的一个实施例中,可以为每一接口设置一个初始的并发数阈值,之后,可以定时检测各个接口的调用次数,这里,一个接口每接收到一个数据请求,则该接口的调用次数加1;在检测到各个接口的调用次数后,根据各个接口的调用次数,调整更新各个接口的并发数阈值。这里,调用次数越高,说明该接口提供的服务越重要,为该接口设置的并发数阈值越大,以保证分布式文件系统对重要服务的数据请求的处理。
上述初始的并发数阈值可以根据业务的使用方的要求来设定,也可以根据经验值设置,本申请实施例对此不进行限定。
为了便于检测各个接口的调用次数,可以为接口配置rest服务,接口以rest服务对外提供服务。rest服务可配置日志系统,该日志系统可以记录接口的调用次数。这样,分布式文件系统通过检测日志系统,就可以获取到每一接口的调用次数,进而根据各个接口的调用次数,更新各个接口的并发数阈值。
步骤203:根据各个接口的并发数及各个接口的负载能力,确定可用资源率。
步骤204:检测可用资源率是否大于资源阈值;若否,则执行步骤205。
步骤205:拒绝数据请求。
步骤203-205与步骤102-104相同。
应用本申请实施例,根据接口的并发数及接口的负载能力,确定分布式文件系统的资源使用情况,确定分布式文件系统是否存在可用资源,不必考虑分布式文件系统中各个组件间的依赖关系,降低了资源计算的复杂度,提高了资源计算的可行性。
与负载控制方法实施例对应,本申请实施例还提供了一种负载控制装置。参考图3,图3为本申请实施例提供的负载控制装置的第一种结构示意图,该装置包括:
接收单元301,用于接收数据请求;
第一确定单元302,用于根据各个接口的并发数及各个接口的负载能力,确定可用资源率;
第一检测单元303,用于检测可用资源率是否大于资源阈值;
处理单元304,用于当第一检测单元303的检测结果为否时,拒绝数据请求。
在本申请的一个实施例中,参考图4所示的负载控制装置的第二种结构示意图,基于图3,该装置还可以包括:
第二检测单元305,用于检测接收数据请求的第一接口的并发数是否达到第一接口的并发数阈值;
第一确定单元302,具体可以用于当第二检测单元305的检测结果为否时,根据各个接口的并发数及各个接口的负载能力,确定可用资源率。
在本申请的一个实施例中,上述负载控制装置还可以包括:
第三检测单元,用于定时检测各个接口的调用次数;
第二确定单元,用于根据各个接口的调用次数,更新各个接口的并发数阈值。
在本申请的一个实施例中,第一确定单元302,具体可以用于:
根据以下公式确定可用资源率δ:
Figure BDA0001534510910000101
其中,pi为接口i的负载能力,ni为接口i的并发数,t为接收数据请求的第一接口,N为分布式文件系统中接口的总个数。
在本申请的一个实施例中,上述负载控制装置还可以包括:
第三确定单元,用于对于每一接口,根据以下公式确定该接口的负载能力p:
p=1/Cmax
其中,Cmax为该接口的最大并发数。
在本申请的一个实施例中,处理单元304,还可以用于:
若检测到第一接口的并发数达到第一接口的并发数阈值,则拒绝数据请求。
在本申请的一个实施例中,处理单元304,还可以用于:
若检测到可用资源率大于资源阈值,则为数据请求分配资源,执行数据请求。
应用本申请实施例,根据接口的并发数及接口的负载能力,确定分布式文件系统的资源使用情况,确定分布式文件系统是否存在可用资源,不必考虑分布式文件系统中各个组件间的依赖关系,降低了资源计算的复杂度,提高了资源计算的可行性。
与负载控制方法实施例对应,本申请实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信;
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的计算机程序时,实现上述负载控制方法。其中,负载控制方法包括:
接收数据请求;
根据各个接口的并发数及各个接口的负载能力,确定可用资源率;
检测可用资源率是否大于资源阈值;
若否,则拒绝数据请求。
在本申请的一个实施例中,在述根据各个接口的并发数及各个接口的负载能力,确定可用资源率之前,还可以包括:
检测接收数据请求的第一接口的并发数是否达到第一接口的并发数阈值;
若否,则执行根据各个接口的并发数及各个接口的负载能力,确定可用资源率的步骤。
在本申请的一个实施例中,还可以包括:
定时检测各个接口的调用次数;
根据各个接口的调用次数,更新各个接口的并发数阈值。
在本申请的一个实施例中,根据各个接口的并发数及各个接口的负载能力,确定可用资源率的步骤,可以包括:
根据以下公式确定可用资源率δ:
Figure BDA0001534510910000121
其中,pi为接口i的负载能力,ni为接口i的并发数,t为接收数据请求的第一接口,N为分布式文件系统中接口的总个数。
在本申请的一个实施例中,还可以包括:
对于每一接口,根据以下公式确定该接口的负载能力p:
p=1/Cmax
其中,Cmax为该接口的最大并发数。
在本申请的一个实施例中,还可以包括:
若检测到第一接口的并发数达到第一接口的并发数阈值,则拒绝数据请求。
在本申请的一个实施例中,还可以包括:
若检测到可用资源率大于资源阈值,则为数据请求分配资源,执行数据请求。
应用本申请实施例,根据接口的并发数及接口的负载能力,确定分布式文件系统的资源使用情况,确定分布式文件系统是否存在可用资源,不必考虑分布式文件系统中各个组件间的依赖关系,降低了资源计算的复杂度,提高了资源计算的可行性。
通信总线504可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(Extended Industry Standard Architecture,扩展工业标准结构)总线等。该通信总线504可以分为地址总线、数据总线、控制总线等。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器503可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器503还可以是至少一个位于远离前述处理器的存储装置。
处理器501可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
与负载控制方法实施例对应,本申请实施例还提供了一种分布式文件系统,该分布式文件系统包括多个服务器,每一服务器包括上述图3、图4所示实施例中的任一负载控制装置。
应用本申请实施例,根据接口的并发数及接口的负载能力,确定分布式文件系统的资源使用情况,确定分布式文件系统是否存在可用资源,不必考虑分布式文件系统中各个组件间的依赖关系,降低了资源计算的复杂度,提高了资源计算的可行性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于负载控制装置、电子设备、分布式文件系统实施例而言,由于其基本相似于负载控制方法实施例,所以描述的比较简单,相关之处参见负载控制方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (14)

1.一种负载控制方法,其特征在于,所述方法包括:
接收数据请求;
根据各个接口的并发数及各个接口的负载能力,确定可用资源率;
检测所述可用资源率是否大于资源阈值;
若否,则拒绝所述数据请求;
所述根据各个接口的并发数及各个接口的负载能力,确定可用资源率的步骤,包括:
根据以下公式确定可用资源率δ:
Figure FDA0002899918010000011
其中,pi为接口i的负载能力,ni为接口i的并发数,t为接收所述数据请求的第一接口,N为分布式文件系统中接口的总个数。
2.根据权利要求1所述的方法,其特征在于,在根据各个接口的并发数及各个接口的负载能力,确定可用资源率之前,还包括:
检测接收所述数据请求的第一接口的并发数是否达到所述第一接口的并发数阈值;
若否,则执行所述根据各个接口的并发数及各个接口的负载能力,确定可用资源率的步骤。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
定时检测各个接口的调用次数;
根据各个接口的调用次数,更新各个接口的并发数阈值。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
对于每一接口,根据以下公式确定该接口的负载能力p:
p=1/Cmax
其中,Cmax为该接口的最大并发数。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若检测到所述第一接口的并发数达到所述第一接口的并发数阈值,则拒绝所述数据请求。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若检测到所述可用资源率大于所述资源阈值,则为所述数据请求分配资源,执行所述数据请求。
7.一种负载控制装置,其特征在于,所述装置包括:
接收单元,用于接收数据请求;
第一确定单元,用于根据各个接口的并发数及各个接口的负载能力,确定可用资源率;
第一检测单元,用于检测所述可用资源率是否大于资源阈值;
处理单元,用于当所述第一检测单元的检测结果为否时,拒绝所述数据请求;
所述第一确定单元,具体用于根据以下公式确定可用资源率δ:
Figure FDA0002899918010000021
其中,pi为接口i的负载能力,ni为接口i的并发数,t为接收所述数据请求的第一接口,N为分布式文件系统中接口的总个数。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二检测单元,用于检测接收所述数据请求的第一接口的并发数是否达到所述第一接口的并发数阈值;
所述第一确定单元,具体用于当所述第二检测单元的检测结果为否时,根据各个接口的并发数及各个接口的负载能力,确定可用资源率。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第三检测单元,用于定时检测各个接口的调用次数;
第二确定单元,用于根据各个接口的调用次数,更新各个接口的并发数阈值。
10.根据权利要求7或8所述的装置,其特征在于,所述装置还包括:
第三确定单元,用于对于每一接口,根据以下公式确定该接口的负载能力p:
p=1/Cmax
其中,Cmax为该接口的最大并发数。
11.根据权利要求8所述的装置,其特征在于,所述处理单元,还用于:
若检测到所述第一接口的并发数达到所述第一接口的并发数阈值,则拒绝所述数据请求。
12.根据权利要求7所述的装置,其特征在于,所述处理单元,还用于:
若检测到所述可用资源率大于所述资源阈值,则为所述数据请求分配资源,执行所述数据请求。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线;其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,实现权利要求1-6任一所述的方法步骤。
14.一种分布式文件系统,其特征在于,所述分布式文件系统包括多个服务器,每一服务器包括权利要求7-12任一项所述的负载控制装置。
CN201711484762.3A 2017-12-29 2017-12-29 负载控制方法、装置、电子设备及分布式文件系统 Active CN109992396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711484762.3A CN109992396B (zh) 2017-12-29 2017-12-29 负载控制方法、装置、电子设备及分布式文件系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711484762.3A CN109992396B (zh) 2017-12-29 2017-12-29 负载控制方法、装置、电子设备及分布式文件系统

Publications (2)

Publication Number Publication Date
CN109992396A CN109992396A (zh) 2019-07-09
CN109992396B true CN109992396B (zh) 2021-03-19

Family

ID=67110350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711484762.3A Active CN109992396B (zh) 2017-12-29 2017-12-29 负载控制方法、装置、电子设备及分布式文件系统

Country Status (1)

Country Link
CN (1) CN109992396B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188226A (ja) * 2006-01-12 2007-07-26 Canon Inc デジタル複合機及びその制御方法
CN101541041A (zh) * 2009-04-23 2009-09-23 华为技术有限公司 负载分担方法、装置及系统
CN102131230A (zh) * 2010-01-14 2011-07-20 普天信息技术研究院有限公司 Iur-g接口消息的处理方法
CN102958168A (zh) * 2011-08-30 2013-03-06 中兴通讯股份有限公司 一种认知无线电系统资源的重配方法及系统
CN104182282A (zh) * 2014-09-12 2014-12-03 五八同城信息技术有限公司 一种服务器过载保护系统及方法
CN105357275A (zh) * 2015-10-12 2016-02-24 江西掌中无限网络科技股份有限公司 智能聚合接口的方法及系统
CN107360261A (zh) * 2017-09-07 2017-11-17 北京奇艺世纪科技有限公司 一种http请求处理方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188226A (ja) * 2006-01-12 2007-07-26 Canon Inc デジタル複合機及びその制御方法
CN101541041A (zh) * 2009-04-23 2009-09-23 华为技术有限公司 负载分担方法、装置及系统
CN102131230A (zh) * 2010-01-14 2011-07-20 普天信息技术研究院有限公司 Iur-g接口消息的处理方法
CN102958168A (zh) * 2011-08-30 2013-03-06 中兴通讯股份有限公司 一种认知无线电系统资源的重配方法及系统
CN104182282A (zh) * 2014-09-12 2014-12-03 五八同城信息技术有限公司 一种服务器过载保护系统及方法
CN105357275A (zh) * 2015-10-12 2016-02-24 江西掌中无限网络科技股份有限公司 智能聚合接口的方法及系统
CN107360261A (zh) * 2017-09-07 2017-11-17 北京奇艺世纪科技有限公司 一种http请求处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN109992396A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN110049130B (zh) 一种基于边缘计算的服务部署和任务调度方法及装置
CN109936511B (zh) 一种令牌获取方法、装置、服务器、终端设备及介质
CN109005085B (zh) 一种服务可用性监控系统、方法、装置及设备
CN107819797B (zh) 访问请求处理方法和装置
CN109800204B (zh) 数据分配方法及相关产品
CN113285883A (zh) 一种访问请求的限流方法及装置、电子设备、存储介质
CN107229511B (zh) 集群任务均衡调度方法、装置、存储介质及电子设备
WO2019052225A1 (zh) 开放平台控制方法、系统、计算机设备和存储介质
US11768706B2 (en) Method, storage medium storing instructions, and apparatus for implementing hardware resource allocation according to user-requested resource quantity
CN111552567B (zh) 一种线程管理方法、装置、电子设备及存储介质
CN106161511B (zh) 业务请求处理方法、相关装置及系统
CN111262795A (zh) 基于服务接口的限流方法、装置、电子设备及存储介质
CN113067875B (zh) 基于微服务网关动态流控的访问方法和装置以及设备
WO2020168933A1 (zh) 一种网络请求的处理方法、装置、终端及存储介质
CN111382206B (zh) 一种数据存储方法及装置
CN108022028B (zh) 一种资源处理方法及装置
CN112530074A (zh) 排队叫号提醒方法、装置、设备及存储介质
CN109992396B (zh) 负载控制方法、装置、电子设备及分布式文件系统
CN114500381A (zh) 网络带宽限制方法、系统、电子设备及可读存储介质
CN104754029B (zh) 确定主管理服务器的方法、装置和系统
CN113055199B (zh) 网关访问方法、装置及网关设备
CN109246216B (zh) 一种访问请求处理方法和装置
CN108572871B (zh) 一种资源分配方法、装置、电子设备及存储介质
CN109309717B (zh) 一种数据传输方法、装置、电子设备及存储介质
CN110968409A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant