CN107786586A - 业务的负载调度方法及装置 - Google Patents

业务的负载调度方法及装置 Download PDF

Info

Publication number
CN107786586A
CN107786586A CN201610717777.9A CN201610717777A CN107786586A CN 107786586 A CN107786586 A CN 107786586A CN 201610717777 A CN201610717777 A CN 201610717777A CN 107786586 A CN107786586 A CN 107786586A
Authority
CN
China
Prior art keywords
data
load
storage device
service request
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610717777.9A
Other languages
English (en)
Other versions
CN107786586B (zh
Inventor
卜基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610717777.9A priority Critical patent/CN107786586B/zh
Publication of CN107786586A publication Critical patent/CN107786586A/zh
Application granted granted Critical
Publication of CN107786586B publication Critical patent/CN107786586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Abstract

本发明公开了一种业务的负载调度方法及装置,属于计算机技术领域。所述方法包括:根据获取到的业务请求集合确定第一存储设备中出现的热点负载,所述热点负载是所述业务请求集合所请求的数据的负载量超过所述第一存储设备的极限负载量的负载;将所述热点负载所对应的数据复制到至少一个第二存储设备中;对所述业务请求集合中请求所述数据的部分业务请求进行处理,并将所述业务请求集合中请求所述数据的剩余业务请求分配至所述至少一个第二存储设备,每个第二存储设备用于利用复制的所述数据对分配到的所述业务请求进行处理。本发明解决了第一存储设备丢弃业务请求,影响业务服务质量的问题,达到了提高业务服务质量的效果。

Description

业务的负载调度方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种业务的负载调度方法及装置。
背景技术
热点负载是指对特定资源的业务请求量极大的负载。当出现热点负载时,可能会导致存储该特定资源的存储设备的局部资源耗尽,引起局部故障,因此,对热点负载进行调度成为亟待解决的问题。
相关技术提供的一种业务的负载调度方法包括:当存储设备接收到的对某一资源的业务请求的数量达到预存的业务请求的极限值时,存储设备读取预存的过载丢弃比例,将过载丢弃比例乘以极限值得到丢弃的业务请求的数量,从接收到的所有业务请求中随机选取该数量的业务请求进行丢弃。
丢弃业务请求会影响业务服务质量。
发明内容
为了解决出现热点负载时,丢弃业务请求而影响业务服务质量的问题,本发明实施例提供了一种业务的负载调度方法及装置。所述技术方案如下:
第一方面,提供了一种业务的负载调度方法,所述方法包括:
根据获取到的业务请求集合确定第一存储设备中出现的热点负载,所述业务请求集合中包括用于请求所述第一存储设备中存储的数据的各个业务请求,所述热点负载是所述业务请求集合所请求的数据的负载量超过所述第一存储设备的极限负载量的负载;
将所述热点负载所对应的数据复制到至少一个第二存储设备中;
对所述业务请求集合中请求所述数据的部分业务请求进行处理,并将所述业务请求集合中请求所述数据的剩余业务请求分配至所述至少一个第二存储设备,每个第二存储设备用于利用复制的所述数据对分配到的所述业务请求进行处理。
第二方面,提供了一种业务的负载调度装置,所述装置包括:
确定模块,用于根据获取到的业务请求集合确定第一存储设备中出现的热点负载,所述业务请求集合中包括用于请求所述第一存储设备中存储的数据的各个业务请求,所述热点负载是所述业务请求集合所请求的数据的负载量超过所述第一存储设备的极限负载量的负载;
复制模块,用于将所述确定模块确定的所述热点负载所对应的数据复制到至少一个第二存储设备中;
第一调度模块,用于对所述业务请求集合中请求所述数据的部分业务请求进行处理,并将所述业务请求集合中请求所述数据的剩余业务请求分配至所述至少一个第二存储设备,每个第二存储设备用于利用所述复制模块复制的所述数据对分配到的所述业务请求进行处理。
本发明实施例提供的技术方案的有益效果是:
通过将热点负载所对应的数据复制到至少一个第二存储设备中;对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制的数据对分配到的业务请求进行处理,这样,在出现热点负载时,第一存储设备可以将用于请求热点负载所对应的数据的部分业务请求分配至第二存储设备进行处理,解决了第一存储设备丢弃业务请求,影响业务服务质量的问题,达到了提高业务服务质量的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的业务的负载调度方法的方法流程图;
图2是本发明另一实施例提供的业务的负载调度方法的方法流程图;
图3是本发明一个实施例提供的业务的负载调度装置的结构框图;
图4是本发明再一实施例提供的业务的负载调度装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1,其示出了本发明一个实施例提供的业务的负载调度方法的方法流程图,该业务的负载调度方法可以应用于第一存储设备中,该第一存储设备可以是服务器等等。该业务的负载调度方法,包括:
步骤101,根据获取到的业务请求集合确定第一存储设备中出现的热点负载,业务请求集合中包括用于请求第一存储设备中存储的数据的各个业务请求,热点负载是业务请求集合所请求的数据的负载量超过第一存储设备的极限负载量的负载。
步骤102,将热点负载所对应的数据复制到至少一个第二存储设备中。
步骤103,对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制的数据对分配到的业务请求进行处理。
综上所述,本发明实施例提供的业务的负载调度方法,通过将热点负载所对应的数据复制到至少一个第二存储设备中;对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制的数据对分配到的业务请求进行处理,这样,在出现热点负载时,第一存储设备可以将用于请求热点负载所对应的数据的部分业务请求分配至第二存储设备进行处理,解决了第一存储设备丢弃业务请求,影响业务服务质量的问题,达到了提高业务服务质量的效果。
请参考图2,其示出了本发明另一实施例提供的业务的负载调度方法的方法流程图,该业务的负载调度方法可以应用于第一存储设备中,该第一存储设备可以是服务器等等。该业务的负载调度方法,包括:
步骤201,获取业务请求集合。
其中,业务请求集合中包括用于请求第一存储设备中存储的数据的各个业务请求。每个业务请求中携带有所请求的数据的标识,数据的标识可以是名称,也可以是编号等,本实施例不作限定。例如,第一存储设备中存储有电影A和图片B,则将用于请求电影A的业务请求和用于请求图片B的业务请求组合成业务请求集合。
本实施例中,第一存储设备可以每隔预定时间间隔获取业务请求集合。
步骤202,统计业务请求集合中每个业务请求的负载量属性,负载量属性用于指示业务请求所请求的数据的负载量。
负载量属性可以具有多个维度。例如,当数据是电影时,负载量属性可以是电影的下载次数,也可以是对电影的下载带宽;当数据是图片时,负载量属性可以是图片的下载次数。
本实施例中,第一存储设备可以预先设置对业务请求的负载量属性的维度,再统计每个业务请求的负载量属性。例如,负载量属性包括下载次数和下载带宽时,若业务请求1请求下载流畅版的电影A,业务请求2请求下载超清版的电影A,则第一存储设备确定业务请求1的负载量属性中的下载次数是1,下载带宽是500Kb/s;业务请求2的负载量属性中的下载次数是1,下载带宽是1Mb/s。
步骤203,将业务请求集合中所有业务请求的负载量属性映射到第一存储设备中存储的数据,得到映射结果。
由于业务请求是用于请求第一存储设备中存储的数据的,因此,业务请求与第一存储设备中存储的数据之间存在映射关系,此时,第一存储设备可以将每个业务请求的负载量属性映射到第一存储设备中存储的数据。
具体地,由于业务请求中携带有所请求的数据的标识,因此,映射规则可以设置为具有相同的数据的标识。例如,业务请求1中携带有电影A的名称,第一存储设备可以将业务请求1的负载量属性映射到电影A。
在将业务请求中所有的业务请求的负载量属性都映射到数据后,第一存储设备可以统计映射到每个数据的所有的负载量属性,从而得到每个数据的负载量。例如,业务请求集合中包括3个业务请求,且业务请求1用于请求下载图片B,业务请求2用于请求下载电影A,业务请求3用于请求下载图片B,则第一存储设备确定图片B的负载量是2次,电影A的负载量是1次。
由于第一存储设备中可能存储有大量的数据,而热点负载所对应的数据的数量通常较少,逐个统计每个数据的负载量需要消耗较多的资源,因此,可选的,第一存储设备还可以先过滤掉非热点负载所对应的数据,避免对这部分数据的负载量的统计,以节省资源。此时,第一存储设备继续执行步骤204。
步骤204,将第一存储设备中存储的所有数据划分到n个数据单元中,n>1。
具体地,将第一存储设备中存储的所有数据划分到n个数据单元中,包括:计算第一存储设备中存储的所有数据的标识的哈希值;利用每个哈希值对n进行取模运算;将具有相同余数的哈希值所对应的数据划分到同一个数据单元中,得到n个数据单元。
对数据的标识进行哈希运算,得到哈希值的技术已经非常成熟,本实施例在此不作赘述。
例如,第一存储设备中存储有10000个数据,且n为100,则第一存储设备可以对这10000个数据的标识进行哈希计算,得到10000个哈希值;将这10000个哈希值对100进行取模运算,记录每个哈希值的余数;将余数为0的所有哈希值所对应的数据划分到第1个数据单元中;将余数为1的所有哈希值所对应的数据划分到第2个数据单元中;将余数为2的所有哈希值所对应的数据划分到第3个数据单元中;……,依次类推,将余数为99的所有哈希值所对应的数据划分到第100个数据单元中。
步骤205,根据映射结果计算n个数据单元中每个数据单元所包括的所有数据的负载量之和。
例如,某个数据单元包括电影A和图片B,且电影A的负载量是4次,图片B的负载量是5次,则第一存储设备确定该数据单元所包括的所有数据的负载量之和为9次。
步骤206,筛选负载量之和大于第一阈值的m个数据单元,m≥1。
步骤207,对于m个数据单元所包括的每个数据的负载量,将负载量大于第二阈值的负载确定为第一存储设备中的热点负载。
其中,热点负载是业务请求集合所请求的数据的负载量超过第一存储设备的极限负载量的负载。例如,第一存储设备中某数据的极限负载量是1Gb的带宽,若同时下载该数据的带宽达到1Gb,则将第一存储设备的带宽确定为热点负载。
第一存储设备将每个数据的负载量与第二阈值进行比较,将负载量大于第二阈值的负载确定为热点负载。例如,对电影A的下载带宽为1.5Gb,大于极限负载量1Gb,将带宽作为热点负载。
其中,第二阈值可以是固定的数值,也可以是根据实际负载情况动态变化的数值,本实施例不作限定。第二阈值可以与第一阈值相同,也可以与第一阈值不同,本实施例不作限定。
在识别出热点负载之后,第一存储设备还需要对热点负载进行调度。具体地,第一存储设备检测热点负载所对应的数据是否允许被复制,当该数据允许被复制时,执行步骤208;当该数据禁止被复制时,执行步骤210。
步骤208,将热点负载所对应的数据复制到至少一个第二存储设备中。
第一存储设备在复制数据之前,还需要按照选择规则选择至少一个第二存储设备。其中,选择规则可以包括但不限于:带宽资源充足的第二存储设备、距离第一存储设备较近的第二存储设备。
步骤209,对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制的数据对分配到的业务请求进行处理。
在确定出热点负载所对应的数据后,第一存储设备还可以从业务请求集合中确定出用于请求该数据的所有业务请求,对其中的部分业务请求进行处理,并将剩余业务请求分配至至少一个第二存储设备,以利用第二存储设备提供业务服务。
当第二存储设备是带宽资源充足的第二存储设备时,将业务请求分配至第二存储设备后,第二存储设备可以快速响应业务请求,以提高业务服务质量。当第二存储设备是距离第一存储设备较近的第二存储设备时,根据就近原则可知,发送业务请求的设备距离第一存储设备的距离较近,也即,这些设备距离第二存储设备的距离也较近,可以提高对业务请求的响应速度,以提高业务服务质量。
在将热点负载所对应的数据复制到至少一个第二存储设备之后,在其他设备再次生成用于请求该数据的业务请求时,可以根据就近原则将业务请求直接分配到第一存储设备或第二存储设备,以提高对业务请求的响应速度。
步骤210,当禁止复制热点负载所对应的数据时,将热点负载所对应的数据的负载资源与第一存储设备中出现的非热点负载所对应的数据的负载资源进行隔离。
第一存储设备可以将热点负载所对应的数据和非热点负载所对应的数据放在不同的存储空间,以隔离这两种数据的负载资源。例如,热点负载对应的数据是电影A,非热点负载对应的数据是图片B,且电影A和图片B都存储在磁盘C上,若不对电影A和图片B的存储空间进行隔离,那么,在电影A被大量下载时,磁盘C的资源被大量占用,无法满足设备对图片B的访问,此时,电影A和图片B的业务服务质量都会下滑。本实施例中,第一存储设备将电影A从磁盘C转移到磁盘D中,这样,当电影A被大量下载时,磁盘D的资源被大量占用,而磁盘C的资源不会受影响,可以满足设备对图片B的访问,以提高图片B的业务服务质量。
综上所述,本发明实施例提供的业务的负载调度方法,通过将热点负载所对应的数据复制到至少一个第二存储设备中;对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制的数据对分配到的业务请求进行处理,这样,在出现热点负载时,第一存储设备可以将用于请求热点负载所对应的数据的部分业务请求分配至第二存储设备进行处理,解决了第一存储设备丢弃业务请求,影响业务服务质量的问题,达到了提高业务服务质量的效果。
当禁止复制热点负载所对应的数据时,通过将热点负载所对应的数据的负载资源与第一存储设备中出现的非热点负载所对应的数据的负载资源进行隔离,使得在出现热点负载时,其他设备仍然可以利用非热点负载所对应的数据的负载资源请求该数据,解决了在热点负载所对应的数据与非热点负载所对应的数据共享负载资源时,若出现了热点负载,则共享的负载资源被全部占用,其他设备无法请求非热点负载所对应的数据的问题,达到了提高业务服务质量的效果。
需要说明的是,上述方法不仅可以识别出业务的热点负载,还可以将上述方法应用于其他领域中,下面以将该上述方法应用于声音处理领域为例进行说明。
具体地,声音处理设备在获取到声音波形数据后,利用傅里叶变换将声音波形数据映射成频谱数据,按照频率区段对频谱数据进行分段,提取出其中声音能量强度高的频率区段,将这些频率区段作为频谱数据的分布热点。可选的,除了按照频率区段对频谱数据进行分段外,声音处理设备还可以按照相位对频谱数据进行分段,本实施例不作限定。
在识别出声音波形数据的分布热点后,声音处理设备可以对噪声的分布热点进行抑制,以消除噪声,提高声音波形数据的处理质量;或者,当产生声音波形数据的设备是机器时,声音处理设备可以根据分布热点识别该机器的运行状态,以便及时对出现问题的机器进行维护。
请参考图3,其示出了本发明一个实施例提供的业务的负载调度装置的结构框图,该业务的负载调度装置可以应用于第一存储设备中,该第一存储设备可以是服务器等等。该业务的负载调度装置,包括:
确定模块310,用于根据获取到的业务请求集合确定第一存储设备中出现的热点负载,业务请求集合中包括用于请求第一存储设备中存储的数据的各个业务请求,热点负载是业务请求集合所请求的数据的负载量超过第一存储设备的极限负载量的负载;
复制模块320,用于将确定模块310确定的热点负载所对应的数据复制到至少一个第二存储设备中;
第一调度模块330,用于对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制模块320复制的数据对分配到的业务请求进行处理。
综上所述,本发明实施例提供的业务的负载调度装置,通过将热点负载所对应的数据复制到至少一个第二存储设备中;对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制的数据对分配到的业务请求进行处理,这样,在出现热点负载时,第一存储设备可以将用于请求热点负载所对应的数据的部分业务请求分配至第二存储设备进行处理,解决了第一存储设备丢弃业务请求,影响业务服务质量的问题,达到了提高业务服务质量的效果。
请参考图4,其示出了本发明再一实施例提供的业务的负载调度装置的结构框图,该业务的负载调度装置可以应用于第一存储设备中,该第一存储设备可以是服务器等等。该业务的负载调度装置,包括:确定模块410、复制模块420和第一调度模块430。
确定模块410,用于根据获取到的业务请求集合确定第一存储设备中出现的热点负载,业务请求集合中包括用于请求第一存储设备中存储的数据的各个业务请求,热点负载是业务请求集合所请求的数据的负载量超过第一存储设备的极限负载量的负载;
复制模块420,用于将确定模块410确定的热点负载所对应的数据复制到至少一个第二存储设备中;
第一调度模块430,用于对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制模块420复制的数据对分配到的业务请求进行处理。
可选的,装置还包括:
第二调度模块440,用于当禁止复制热点负载所对应的数据时,将热点负载所对应的数据的负载资源与第一存储设备中出现的非热点负载所对应的数据的负载资源进行隔离。
可选的,确定模块410,包括:
获取单元411,用于获取业务请求集合;
统计单元412,用于统计获取单元411获取到的业务请求集合中每个业务请求的负载量属性,负载量属性用于指示业务请求所请求的数据的负载量;
映射单元413,用于将业务请求集合中所有业务请求的负载量属性映射到第一存储设备中存储的数据,得到映射结果;
确定单元414,用于根据映射单元413得到的映射结果确定第一存储设备中的热点负载。
可选的,确定单元414,具体用于:
将第一存储设备中存储的所有数据划分到n个数据单元中,n>1;
根据映射结果计算n个数据单元中每个数据单元所包括的所有数据的负载量之和;
筛选负载量之和大于第一阈值的m个数据单元,m≥1;
对于m个数据单元所包括的每个数据的负载量,将负载量大于第二阈值的负载确定为第一存储设备中的热点负载。
可选的,确定单元414,还用于:
计算第一存储设备中存储的所有数据的标识的哈希值;
利用每个哈希值对n进行取模运算;
将具有相同余数的哈希值所对应的数据划分到同一个数据单元中,得到n个数据单元。
综上所述,本发明实施例提供的业务的负载调度装置,通过将热点负载所对应的数据复制到至少一个第二存储设备中;对业务请求集合中请求数据的部分业务请求进行处理,并将业务请求集合中请求数据的剩余业务请求分配至至少一个第二存储设备,每个第二存储设备用于利用复制的数据对分配到的业务请求进行处理,这样,在出现热点负载时,第一存储设备可以将用于请求热点负载所对应的数据的部分业务请求分配至第二存储设备进行处理,解决了第一存储设备丢弃业务请求,影响业务服务质量的问题,达到了提高业务服务质量的效果。
当禁止复制热点负载所对应的数据时,通过将热点负载所对应的数据的负载资源与第一存储设备中出现的非热点负载所对应的数据的负载资源进行隔离,使得在出现热点负载时,其他设备仍然可以利用非热点负载所对应的数据的负载资源请求该数据,解决了在热点负载所对应的数据与非热点负载所对应的数据共享负载资源时,若出现了热点负载,则共享的负载资源被全部占用,其他设备无法请求非热点负载所对应的数据的问题,达到了提高业务服务质量的效果。
需要说明的是:上述实施例提供的业务的负载调度装置在进行业务的负载调度时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将业务的负载调度装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的业务的负载调度装置与业务的负载调度方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种业务的负载调度方法,其特征在于,所述方法包括:
根据获取到的业务请求集合确定第一存储设备中出现的热点负载,所述业务请求集合中包括用于请求所述第一存储设备中存储的数据的各个业务请求,所述热点负载是所述业务请求集合所请求的数据的负载量超过所述第一存储设备的极限负载量的负载;
将所述热点负载所对应的数据复制到至少一个第二存储设备中;
对所述业务请求集合中请求所述数据的部分业务请求进行处理,并将所述业务请求集合中请求所述数据的剩余业务请求分配至所述至少一个第二存储设备,每个第二存储设备用于利用复制的所述数据对分配到的所述业务请求进行处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当禁止复制所述热点负载所对应的数据时,将所述热点负载所对应的数据的负载资源与所述第一存储设备中出现的非热点负载所对应的数据的负载资源进行隔离。
3.根据权利要求1或2所述的方法,其特征在于,所述根据获取到的业务请求集合确定第一存储设备中的热点负载,包括:
获取所述业务请求集合;
统计所述业务请求集合中每个业务请求的负载量属性,所述负载量属性用于指示所述业务请求所请求的数据的负载量;
将所述业务请求集合中所有业务请求的负载量属性映射到所述第一存储设备中存储的数据,得到映射结果;
根据所述映射结果确定所述第一存储设备中的热点负载。
4.根据权利要求3所述的方法,其特征在于,所述根据所述映射结果确定所述第一存储设备中的热点负载,包括:
将所述第一存储设备中存储的所有数据划分到n个数据单元中,n>1;
根据所述映射结果计算所述n个数据单元中每个数据单元所包括的所有数据的负载量之和;
筛选负载量之和大于第一阈值的m个数据单元,m≥1;
对于所述m个数据单元所包括的每个数据的负载量,将负载量大于第二阈值的负载确定为所述第一存储设备中的热点负载。
5.根据权利要求4所述的方法,其特征在于,所述将所述第一存储设备中存储的所有数据划分到n个数据单元中,包括:
计算所述第一存储设备中存储的所有数据的标识的哈希值;
利用每个哈希值对所述n进行取模运算;
将具有相同余数的哈希值所对应的数据划分到同一个数据单元中,得到所述n个数据单元。
6.一种业务的负载调度装置,其特征在于,所述装置包括:
确定模块,用于根据获取到的业务请求集合确定第一存储设备中出现的热点负载,所述业务请求集合中包括用于请求所述第一存储设备中存储的数据的各个业务请求,所述热点负载是所述业务请求集合所请求的数据的负载量超过所述第一存储设备的极限负载量的负载;
复制模块,用于将所述确定模块确定的所述热点负载所对应的数据复制到至少一个第二存储设备中;
第一调度模块,用于对所述业务请求集合中请求所述数据的部分业务请求进行处理,并将所述业务请求集合中请求所述数据的剩余业务请求分配至所述至少一个第二存储设备,每个第二存储设备用于利用所述复制模块复制的所述数据对分配到的所述业务请求进行处理。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二调度模块,用于当禁止复制所述热点负载所对应的数据时,将所述热点负载所对应的数据的负载资源与所述第一存储设备中出现的非热点负载所对应的数据的负载资源进行隔离。
8.根据权利要求6或7所述的装置,其特征在于,所述确定模块,包括:
获取单元,用于获取所述业务请求集合;
统计单元,用于统计所述获取单元获取到的所述业务请求集合中每个业务请求的负载量属性,所述负载量属性用于指示所述业务请求所请求的数据的负载量;
映射单元,用于将所述业务请求集合中所有业务请求的负载量属性映射到所述第一存储设备中存储的数据,得到映射结果;
确定单元,用于根据所述映射单元得到的所述映射结果确定所述第一存储设备中的热点负载。
9.根据权利要求8所述的装置,其特征在于,所述确定单元,具体用于:
将所述第一存储设备中存储的所有数据划分到n个数据单元中,n>1;
根据所述映射结果计算所述n个数据单元中每个数据单元所包括的所有数据的负载量之和;
筛选负载量之和大于第一阈值的m个数据单元,m≥1;
对于所述m个数据单元所包括的每个数据的负载量,将负载量大于第二阈值的负载确定为所述第一存储设备中的热点负载。
10.根据权利要求9所述的装置,其特征在于,所述确定单元,还用于:
计算所述第一存储设备中存储的所有数据的标识的哈希值;
利用每个哈希值对所述n进行取模运算;
将具有相同余数的哈希值所对应的数据划分到同一个数据单元中,得到所述n个数据单元。
CN201610717777.9A 2016-08-24 2016-08-24 业务的负载调度方法及装置 Active CN107786586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610717777.9A CN107786586B (zh) 2016-08-24 2016-08-24 业务的负载调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610717777.9A CN107786586B (zh) 2016-08-24 2016-08-24 业务的负载调度方法及装置

Publications (2)

Publication Number Publication Date
CN107786586A true CN107786586A (zh) 2018-03-09
CN107786586B CN107786586B (zh) 2019-11-05

Family

ID=61388777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610717777.9A Active CN107786586B (zh) 2016-08-24 2016-08-24 业务的负载调度方法及装置

Country Status (1)

Country Link
CN (1) CN107786586B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432039A (zh) * 2020-06-15 2020-07-17 北京金山云网络技术有限公司 Cdn中数据请求方法、装置、设备和cdn节点
CN111935695A (zh) * 2020-07-16 2020-11-13 鸣飞伟业技术有限公司 一种基于应急通信单兵动中通的应用系统
CN113504881A (zh) * 2021-09-13 2021-10-15 飞狐信息技术(天津)有限公司 热点数据的处理方法、客户端、目标计算设备及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932418A (zh) * 2012-09-27 2013-02-13 东软集团股份有限公司 一种云应用部署方法和装置
CN102999442A (zh) * 2012-11-16 2013-03-27 成都索贝数码科技股份有限公司 面向媒体应用的存储系统及方法
CN103164490A (zh) * 2011-12-19 2013-06-19 北京新媒传信科技有限公司 一种不固定长度数据的高效存储实现方法和装置
US20140032958A1 (en) * 2001-06-05 2014-01-30 Silicon Graphics International Corp. Clustered filesystems for mix of trusted and untrusted nodes
CN104598459A (zh) * 2013-10-30 2015-05-06 阿里巴巴集团控股有限公司 数据库处理、数据访问方法及系统
CN105354091A (zh) * 2015-10-19 2016-02-24 北京天耀宏图科技有限公司 一种基于空间位置的弹性负载均衡方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032958A1 (en) * 2001-06-05 2014-01-30 Silicon Graphics International Corp. Clustered filesystems for mix of trusted and untrusted nodes
CN103164490A (zh) * 2011-12-19 2013-06-19 北京新媒传信科技有限公司 一种不固定长度数据的高效存储实现方法和装置
CN102932418A (zh) * 2012-09-27 2013-02-13 东软集团股份有限公司 一种云应用部署方法和装置
CN102999442A (zh) * 2012-11-16 2013-03-27 成都索贝数码科技股份有限公司 面向媒体应用的存储系统及方法
CN104598459A (zh) * 2013-10-30 2015-05-06 阿里巴巴集团控股有限公司 数据库处理、数据访问方法及系统
CN105354091A (zh) * 2015-10-19 2016-02-24 北京天耀宏图科技有限公司 一种基于空间位置的弹性负载均衡方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432039A (zh) * 2020-06-15 2020-07-17 北京金山云网络技术有限公司 Cdn中数据请求方法、装置、设备和cdn节点
CN111935695A (zh) * 2020-07-16 2020-11-13 鸣飞伟业技术有限公司 一种基于应急通信单兵动中通的应用系统
CN111935695B (zh) * 2020-07-16 2021-07-27 鸣飞伟业技术有限公司 一种基于应急通信单兵动中通的应用系统
CN113504881A (zh) * 2021-09-13 2021-10-15 飞狐信息技术(天津)有限公司 热点数据的处理方法、客户端、目标计算设备及装置

Also Published As

Publication number Publication date
CN107786586B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN103874073B (zh) 一种通信系统的载波选择方法、基站和终端设备
CN110401657B (zh) 一种访问日志的处理方法及装置
CN106325998A (zh) 一种基于云计算的应用部署的方法和装置
WO2015096681A1 (zh) 一种业务访问处理方法及装置
CN104426694B (zh) 一种调整虚拟机资源的方法和装置
CN105068755B (zh) 一种面向云计算内容分发网络的数据副本存储方法
CN107786586A (zh) 业务的负载调度方法及装置
CN102045396A (zh) 服务器文件的负载均衡方法
CN107729514A (zh) 一种基于hadoop的副本放置节点确定方法及装置
Smolka et al. Evaluation of fog application placement algorithms: a survey
CN110046994A (zh) 一种受理区块链存证交易的方法及系统
CN102932271A (zh) 负载均衡的实现方法和装置
WO2014194704A1 (en) A grouping processing method and system
CN109800204A (zh) 数据分配方法及相关产品
CN106936877A (zh) 一种内容分发方法、装置及系统
CN106034047B (zh) 数据处理方法及装置
CN108153758A (zh) 一种数据累计方法、装置及电子设备
CN106888238A (zh) 一种数据同步方法及装置
CN107294922A (zh) 一种应对网络攻击的网络地址调度方法及装置
CN105100151B (zh) 一种内容分发的方法、设备和系统
CN110209350A (zh) 一种混合存储架构hpc系统中应用i/o请求的动态调度方法
CN112000657A (zh) 数据管理方法、装置、服务器及存储介质
CN110069319A (zh) 一种面向朵云资源管理的多目标虚拟机调度方法及系统
CN109981726A (zh) 一种存储节点的分配方法、服务器及系统
CN113079062B (zh) 一种资源调整方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210916

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.