CN112148474B - 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统 - Google Patents
面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统 Download PDFInfo
- Publication number
- CN112148474B CN112148474B CN202010841295.0A CN202010841295A CN112148474B CN 112148474 B CN112148474 B CN 112148474B CN 202010841295 A CN202010841295 A CN 202010841295A CN 112148474 B CN112148474 B CN 112148474B
- Authority
- CN
- China
- Prior art keywords
- data
- computing node
- cpu
- processing
- loongson
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统,该方案通过获取各计算节点CPU数量、性能和负载,将待处理数据进行初始化分割,再将所分割数据包和相应的处理程序分配给各计算节点CPU处理;进一步根据第一次各计算节点处理结果,统计计算节点各CPU对数据包的最长处理时间与最短处理时间的比值,根据该比值对剩余数据包进行划分,依次循环,直至所有的数据包处理完毕,从而实现各CPU的负载均衡和处理任务的时间同步,该方法较好地适应了计算量未知的待处理数据包的自适应任务划分,提高并行效率,适应具有MIPS架构的龙芯大数据一体机的负载均衡和流式大数据实时处理。
Description
技术领域
本发明涉及大数据处理技术领域,尤其涉及一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统。
背景技术
大数据一体机是云计算的有效补充,能够减轻云计算中心的计算负担和通信代价。龙芯大数据一体机是基于龙芯处理器研制的国产大数据处理系统,其基本组成包括1个管理节点、5个计算节点和1个万兆交换机,实现大数据的传输、存储、处理和分析。负载均衡是实现大数据一体机高性能计算的关键技术。由于龙芯处理器为MIPS架构,基于X86指令集开发封装的负载均衡系统无法移植到龙芯大数据一体机使用;Hadoop的负载均衡机制虽然为开源系统,但是需要对硬盘等外设频繁地进行输入/输出操作,由于龙芯处理器较酷睿等处理器的性能有较大差距,影响了对大数据的高效处理,因此,Hadoop的负载均衡也不适用于龙芯大数据一体机系统。需要研发面向MIPS架构的大数据一体机负载均衡系统,以实现大数据一体机基础设施的国产化替代。
相关的大数据处理负载均衡方法主要包括:(1)FIFO调度算法:该方法采用先进先出队列,不考虑作业的大小或优先级,效率较低;(2)随机调度算法:该类算法综合考虑节点负载状态、物理性能、任务优先级等,基于权值实现任务的动态调度,侧重于存储空间利用率的处理;(3)轮询及加权轮询:适用于服务器群中各服务器的处理能力相同且每笔业务处理量差异不大的情况,按公约后的权重设置轮循比率或为轮询中的每台服务器附加一定的权重,但是存在慢的提供者累积请求等局限性;(4)最小连接:该算法事先为每台服务器分配处理连接的数量,并将客户端请求转至连接数最少的服务器上,能够在一定程度上降低服务器的负载,但是难以适应动态的处理请求。
现有负载均衡方法主要侧重于提高存储器的利用率,未考虑处理任务的时间同步,以及对待处理数据的合理划分等问题,难以适用龙芯大数据一体机-这一小规模群集系统的负载均衡要求。
发明内容
本发明的目的是提供一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统,可以实现对大数据的高效处理和负载均衡。
本发明的目的是通过以下技术方案实现的:
一种面向负载均衡的龙芯大数据一体机自适应任务分割方法,包括:
采集待处理的数据,并存储与缓存之中;
获取各计算节点的CPU数量信息、负载信息与性能信息;
按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据,并按照CPU数量信息进行数据包平均划分;
将划分后的数据包发送至各计算节点的CPU进行处理,并统计各计算节点的CPU对数据包的处理时间,通过处理时间的最大值与最小值,确定计算量差异;
基于计算量差异对缓存中剩余的数据进行数据包大小的划分,直至缓存中的数据全部处理完毕。
一种面向负载均衡的龙芯大数据一体机自适应任务分割系统,包括:
数据采集模块,用于采集待处理的数据,并存储与缓存之中;
计算节点监测模块,用于获取各计算节点的CPU数量信息、负载信息与性能信息;
待处理数据划分模块,用于按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据,并按照CPU数量信息进行数据包数平均划分;
任务分配模块,用于将划分后的数据包发送至各计算节点的CPU进行处理;
所述待处理数据划分模块,还用于统计各计算节点的CPU对数据包的处理时间,通过处理时间的最大值与最小值,确定计算量差异;基于计算量差异对缓存中剩余的数据进行数据包大小的划分,直至缓存中的数据全部处理完毕。
由上述本发明提供的技术方案可以看出,通过对待处理大数据的自适应任务分割,为龙芯大数据一体机提供了高效的负载均衡机制,不仅适合于处理具有较大差异计算量的数据包,实现负载均衡,且能够有效进行处理任务的时间同步。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法的流程图;
图2为本发明实施例提供的龙芯大数据一体机自适应任务分割方法形成的并行效率示意图;
图3为本发明实施例提供的一种面向负载均衡的龙芯大数据一体机自适应任务分割系统的示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
龙芯大数据一体机是大数据的基础设施,对国家信息安全具有重要的意义。考虑龙芯处理器采用MIPS架构,以及性能较之Intel同类型处理器有较大差距,为了实现对大数据的高效处理和负载均衡,本发明提出了龙芯大数据一体机的自适应任务划分方法,该方法主要通过管理节点来执行,主要如下:管理节点获取龙芯大数据一体机各计算节点CPU数量、性能和负载,将待处理数据进行初始化分割,管理节点将所分割数据包和相应的处理程序分配给各计算节点CPU处理;进一步根据第一次各计算节点处理结果,统计计算节点各CPU对数据包的最长处理时间与最短处理时间的比值,根据该比值、各计算节点CPU数量和前一次数据包的划分大小,取剩余数据包进行划分,所划分数据包大小为前一次数据包大小乘以该比值,将划分后的数据包传输至龙芯大数据一体机的计算节点CPU继续处理,依次循环,直至所有的数据包处理完毕,从而实现各CPU的负载均衡和处理任务的时间同步,该方法较好地适应了计算量未知的待处理数据包的自适应任务划分,提高并行效率,适应具有MIPS架构的龙芯大数据一体机的负载均衡和流式大数据实时处理。
如图1所示,为本发明实施例所提供面向负载均衡的龙芯大数据一体机自适应任务分割方法的流程图,其主要包括如下步骤:
步骤11、采集待处理的数据,并存储于缓存之中。
如之前所述,该方法通过管理节点来执行,因此,将管理节点作为执行主体。
步骤12、获取各计算节点的CPU数量信息、负载信息与性能信息。
管理节点可经过万兆交换机与各计算节点配置的BMC(基板管理控制器)模块进行通信,经所述BMC模块读取各计算节点的CPU负载、性能(主频)和CPU数量信息。
步骤13、按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据,并按照CPU数量信息进行数据包平均划分。
本发明实施例中,数据包划分是统一针对所有计算节点的CPU而言,在后文进行数据包大小调整的步骤中,也是针对所有CPU统一进行数据包大小的调整。
步骤14、将划分后的数据包和对应的处理程序发送至各计算节点的CPU进行处理(处理程序用于相关数据包的处理,只有第一次发送处理包的时候发送),并统计各计算节点的CPU对数据包的处理时间,通过处理时间的最大值与最小值,确定计算量差异。
每一次划分后,都会接收到计算节点回传的数据包处理结果,同时,还会获取计算节点的CPU对数据包的处理时间;将处理时间的最大值与最小值分别记为tmax和最小值tmin,再通过下式确定计算量差异:
P=Int(tmax/tmin+0.5)
其中,Int(.)为取整函数。
步骤15、基于计算量差异对缓存中剩余的数据进行数据包大小的划分,直至缓存中的数据全部处理完毕。
对剩余的部分待处理数据进行划分,同样按照计算节点的CPU数目N来确定数据包的数目,本次划分的数据包大小为:M'=(1/P)*M,其中,M为上一次划分的数据包大小。
计算出本次划分数据包大小后结合数据包的数目即可确定数据量大小,从缓存中取出相应大小的数据进行相应的划分。
重复执行步骤14~步骤15,直至待处理数据包处理完毕。
最终,综合所有数据包的处理结果,并存储至本地数据库,供用户查询。
为了验证本发明上述方法的有效性,分别采用典型的负载均衡算法:轮询调度算法(polling scheduling algorithm)、加权调度算法(weighted scheduling algorithm)和本发明上述方法(our method)进行比较,数据流大小均为1Gb/5分钟,评价指标为并行效率,实验结果如图2所示。计算过程中,各计算节点CPU的等待时间(空闲时间)如表1所示。
表1计算节点CPU的等待时间
实验结果显示,本发明上述方法较典型的负载均衡算法,不仅具有良好的并行效率,且任务的处理时间同步化效果也最优,从而为国产大数据一体机提供了有效的负载均衡和高效数据处理机制。
本发明另一实施例还提供一种面向负载均衡的龙芯大数据一体机自适应任务分割系统,该系统主要用于实现前述实施例提供的方法,如图3所示,其主要包括:
数据采集模块,用于采集待处理的数据,并存储于缓存之中;具体实现时,可以通过有线和/或无线网络采集流式大数据,并将所采集大数据存入相应的数据库;示例性的,大数据可以为实时交通流量、配用电数据、气象数据等。
计算节点监测模块,用于获取各计算节点的CPU数量信息、负载信息与性能信息;本发明实施例中,经过万兆交换机与各计算节点配置的BMC模块进行通信,经所述BMC模块读取各计算节点的CPU负载、性能和CPU数量信息。
待处理数据划分模块,用于按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据,并按照CPU数量信息进行数据包平均划分。
任务分配模块,用于将划分后的数据包发送至各计算节点的CPU进行处理。
所述待处理数据划分模块,还用于统计各计算节点的CPU对数据包的处理时间,通过处理时间的最大值与最小值,确定计算量差异;基于计算量差异对缓存中剩余的数据进行数据包大小的划分,直至缓存中的数据全部处理完毕。
本发明实施例中,所述通过处理时间的最大值与最小值,确定计算量差异包括:将处理时间的最大值与最小值分别记为tmax和最小值tmin,再通过下式确定计算量差异:P=Int(tmax/tmin+0.5);其中,Int(.)为取整函数。
本发明实施例中,基于计算量差异对缓存中剩余的数据进行数据包大小的划分的方式包括:将上一次划分的数据包大小记为M,计算量差异记为P,则本次划分的数据包大小为:M'=(1/P)*M。
此外,本实施例提供的上述系统还包括:
计算结果回传模块,用于在每一次划分后,回传计算节点的数据包处理结果至管理节点。
处理结果综合模块,用于综合所有数据包的处理结果,并存储至本地数据库,供用户查询。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将系统的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (8)
1.一种面向负载均衡的龙芯大数据一体机自适应任务分割方法,其特征在于,包括:
采集待处理的数据,并存储于缓存之中;
获取各计算节点的CPU数量信息、负载信息与性能信息;
按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据,并按照CPU数量信息进行数据包平均划分;
将划分后的数据包发送至各计算节点的CPU进行处理,并统计各计算节点的CPU对数据包的处理时间,通过处理时间的最大值与最小值,确定计算量差异;
基于计算量差异对缓存中剩余的数据进行数据包大小的划分,直至缓存中的数据全部处理完毕;
其中,基于计算量差异对缓存中剩余的数据进行数据包大小的划分的方式包括:
将上一次划分的数据包大小记为M,计算量差异记为P,则本次划分的数据包大小为:M'=(1/P)*M。
2.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法,其特征在于,经过万兆交换机与各计算节点配置的BMC模块进行通信,经所述BMC模块读取各计算节点的CPU负载、性能和CPU数量信息。
3.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法,其特征在于,所述通过处理时间的最大值与最小值,确定计算量差异包括:
将处理时间的最大值与最小值分别记为tmax和最小值tmin,再通过下式确定计算量差异:
P=Int(tmax/tmin+0.5)
其中,Int(.)为取整函数。
4.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法,其特征在于,该方法还包括:
每一次划分后,都会接收到计算节点回传的数据包处理结果;
综合所有数据包的处理结果,并存储至本地数据库。
5.一种面向负载均衡的龙芯大数据一体机自适应任务分割系统,其特征在于,包括:
数据采集模块,用于采集待处理的数据,并存储于缓存之中;
计算节点监测模块,用于获取各计算节点的CPU数量信息、负载信息与性能信息;
待处理数据划分模块,用于按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据,并按照CPU数量信息进行数据包数平均划分;
任务分配模块,用于将划分后的数据包发送至各计算节点的CPU进行处理;
所述待处理数据划分模块,还用于统计各计算节点的CPU对数据包的处理时间,通过处理时间的最大值与最小值,确定计算量差异;基于计算量差异对缓存中剩余的数据进行数据包大小的划分,直至缓存中的数据全部处理完毕;
其中,基于计算量差异对缓存中剩余的数据进行数据包大小的划分的方式包括:
将上一次划分的数据包大小记为M,计算量差异记为P,则本次划分的数据包大小为:M'=(1/P)*M。
6.根据权利要求5所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割系统,其特征在于,经过万兆交换机与各计算节点配置的BMC模块进行通信,经所述BMC模块读取各计算节点的CPU负载、性能和CPU数量信息。
7.根据权利要求5所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割系统,其特征在于,所述通过处理时间的最大值与最小值,确定计算量差异包括:
将处理时间的最大值与最小值分别记为tmax和最小值tmin,再通过下式确定计算量差异:
P=Int(tmax/tmin+0.5)
其中,Int(.)为取整函数。
8.根据权利要求5所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割系统,其特征在于,该系统还包括:
计算结果回传模块,用于在每一次划分后,回传计算节点的数据包处理结果;
处理结果综合模块,用于综合所有数据包的处理结果,并存储至本地数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010841295.0A CN112148474B (zh) | 2020-08-20 | 2020-08-20 | 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010841295.0A CN112148474B (zh) | 2020-08-20 | 2020-08-20 | 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112148474A CN112148474A (zh) | 2020-12-29 |
CN112148474B true CN112148474B (zh) | 2024-06-04 |
Family
ID=73888639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010841295.0A Active CN112148474B (zh) | 2020-08-20 | 2020-08-20 | 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112148474B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113835888B (zh) * | 2021-09-23 | 2023-09-08 | 深圳创维数字技术有限公司 | CPU动态分配提升WiFi性能的方法、WiFi通讯设备及存储介质 |
CN117931432A (zh) * | 2023-12-29 | 2024-04-26 | 北京中嘉和信通信技术有限公司 | 一种基于工作目标任务分解的智能管控方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104281494A (zh) * | 2014-09-26 | 2015-01-14 | 清华大学 | 一种基于插值算法面向计算通信联合优化的负载均衡方法 |
CN105700948A (zh) * | 2014-11-24 | 2016-06-22 | 阿里巴巴集团控股有限公司 | 一种用于在集群中调度计算任务的方法与设备 |
CN110659278A (zh) * | 2018-06-12 | 2020-01-07 | 上海郑明现代物流有限公司 | 基于cpu-gpu异构架构的图数据分布式处理系统 |
-
2020
- 2020-08-20 CN CN202010841295.0A patent/CN112148474B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104281494A (zh) * | 2014-09-26 | 2015-01-14 | 清华大学 | 一种基于插值算法面向计算通信联合优化的负载均衡方法 |
CN105700948A (zh) * | 2014-11-24 | 2016-06-22 | 阿里巴巴集团控股有限公司 | 一种用于在集群中调度计算任务的方法与设备 |
CN110659278A (zh) * | 2018-06-12 | 2020-01-07 | 上海郑明现代物流有限公司 | 基于cpu-gpu异构架构的图数据分布式处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112148474A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109218355B (zh) | 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法 | |
CN107196870B (zh) | 一种基于dpdk的流量动态负载均衡方法 | |
CN110602156A (zh) | 一种负载均衡调度方法及装置 | |
CN109831524B (zh) | 一种负载均衡处理方法及装置 | |
CN113110933B (zh) | 一种具有Nginx负载均衡技术的系统 | |
CN112148474B (zh) | 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统 | |
WO2020019743A1 (zh) | 流量控制方法及装置 | |
CN110308984B (zh) | 一种用于处理地理分布式数据的跨集群计算系统 | |
CN105516360A (zh) | 一种计算机的负载均衡方法及装置 | |
CN108900626B (zh) | 一种云环境下数据存储方法、装置及系统 | |
CN116360972A (zh) | 资源管理方法、装置及资源管理平台 | |
CN108829512A (zh) | 一种云中心硬件加速计算力的分配方法、系统和云中心 | |
Zhang et al. | DIDO: Dynamic pipelines for in-memory key-value stores on coupled CPU-GPU architectures | |
CN104618406A (zh) | 一种基于朴素贝叶斯分类的负载均衡算法 | |
CN115103404A (zh) | 一种算力网络中节点任务调度方法 | |
CN114064294A (zh) | 移动边缘计算环境下的动态资源分配方法和系统 | |
CN117076133B (zh) | 云游戏平台异构资源分配方法、计算机装置及存储介质 | |
CN111680791B (zh) | 适用于异构环境中的通信方法、装置、系统 | |
CN116501828B (zh) | 基于非结构化数据集的服务器无感知向量查询方法和系统 | |
CN109254844B (zh) | 一种大规模图的三角形计算方法 | |
CN112148475B (zh) | 综合负载与功耗的龙芯大数据一体机任务调度方法及系统 | |
CN110647399A (zh) | 一种基于人工智能网络的高性能计算系统及方法 | |
WO2012113224A1 (zh) | 多节点计算系统下选择共享内存所在节点的方法和装置 | |
Chunlei et al. | Design and implementation of a TCP long connection load balancing algorithm based on negative feedback mechanism | |
CN216352283U (zh) | 一种适用于边缘计算环境的请求过滤装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |