CN117271074A - 一种面向服务的轻量级异构计算集群系统 - Google Patents
一种面向服务的轻量级异构计算集群系统 Download PDFInfo
- Publication number
- CN117271074A CN117271074A CN202310736756.1A CN202310736756A CN117271074A CN 117271074 A CN117271074 A CN 117271074A CN 202310736756 A CN202310736756 A CN 202310736756A CN 117271074 A CN117271074 A CN 117271074A
- Authority
- CN
- China
- Prior art keywords
- service
- task
- computing
- cluster system
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- 238000013523 data management Methods 0.000 claims description 6
- 238000013475 authorization Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- LHMQDVIHBXWNII-UHFFFAOYSA-N 3-amino-4-methoxy-n-phenylbenzamide Chemical compound C1=C(N)C(OC)=CC=C1C(=O)NC1=CC=CC=C1 LHMQDVIHBXWNII-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/544—Remote
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种面向服务的轻量级异构计算集群系统,包括前端服务、任务管理服务、计算节点、数据存储服务和网络通信服务;前端服务用于接收用户请求,进行请求分类和分发;任务管理服务用于任务的调度和管理;计算节点由多个异构计算节点组成;数据存储服务用于数据的存储和管理;网络通信服务用于计算节点之间和计算节点与存储节点之间的数据传输和通信。本发明采用了服务化架构,将计算集群系统中的各种资源抽象成服务,并通过服务间的协作来完成各种计算任务,且该系统采用了任务管理服务,具有自适应性和动态性,该管理方式可以根据不同的计算任务需求,动态地分配和调度计算资源,使得计算资源利用率更高。
Description
技术领域
本发明涉及分布式计算领域,特别涉及一种面向服务的轻量级异构计算集群系统。
背景技术
随着计算机科学和技术的不断发展,异构计算集群系统已经成为了高性能计算领域的重要研究方向。然而,传统的异构计算集群系统存在着诸多问题,如复杂的配置和管理,包括一些嵌入式的集成管理模块,使得整个集群系统管理起来操作十分的繁琐,因为具有复杂的管理系统,就使得系统的计算量增加,进而使得系统的计算处理效率降低。
发明内容
本发明的目的在于提供一种面向服务的轻量级异构计算集群系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种面向服务的轻量级异构计算集群系统,所述集群系统包括前端服务、任务管理服务、计算节点、数据存储服务和网络通信服务;
所述前端服务用于接收用户请求,进行请求分类和分发,同时提供用户界面和数据展示功能;
所述任务管理服务用于任务的调度和管理,根据任务的类型和优先级,将任务分配给不同的计算节点进行处理;
所述计算节点由多个异构计算节点组成,且每个计算节点都包含了不同的处理器和加速器,用于执行不同类型的计算任务;
所述数据存储服务用于数据的存储和管理,包括数据的备份、恢复和安全保护功能;
所述网络通信服务用于计算节点之间和计算节点与存储节点之间的数据传输和通信,所述网络通信服务的传输方式包括DMA传输、AXI总线协议和片上网络。
优选的,所述面向服务的轻量级异构计算集群系统的前端服务体现形式可以采用Web应用程序的形式,通过Web服务,用户可以通过浏览器或其他客户端应用程序来访问系统的前端服务,实现对异构计算集群的管理和控制。
优选的,所述Web服务提供的功能包括用户身份认证和授权、任务提交和管理、资源管理和监控、数据管理和存储以及安全管理和审计。
优选的,所述Web服务还可以提供可扩展的接口和协议,以便与其他系统进行集成和交互。
优选的,所述任务管理服务通过一个中心化的任务调度器来实现任务的调度和管理,所述调度器可以根据任务的类型、优先级和可用资源因素,将任务分配给不同的计算节点进行处理。
优选的,所述调度器的调度过程依次包括任务分类、任务优先级判定、选取计算节点、任务分配以及监控和调整,所述监控和调整是对节点处理任务的进度进行监控和调整。
优选的,所述异构计算节点的处理器由CPU、GPU和FPGA中的一种或多种进行分类组合构成。
优选的,多个所述异构计算节点的连接方式包括直接连接、以太网连接和InfiniBand连接中的一种或多种组合。
优选的,所述数据存储服务的存储形式包括分布式文件存储、对象存储、关系型数据库和NoSQL数据库。
优选的,所述网络通信服务的表现形式包括基于TCP/IP协议栈的Socket通信、基于RPC的远程调用、基于消息队列的异步通信和基于HTTP协议的RESTful接口。
本发明的技术效果和优点:
本发明采用了服务化架构,将计算集群系统中的各种资源抽象成服务,并通过服务间的协作来完成各种计算任务,这种架构可以使系统更加灵活、可扩展、易管理,且该系统采用了任务管理服务,具有自适应性和动态性,该管理方式可以根据不同的计算任务需求,动态地分配和调度计算资源,使得计算资源利用率更高。
附图说明
图1为本发明系统构成模块连接示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了如图1所示的一种面向服务的轻量级异构计算集群系统,集群系统包括前端服务、任务管理服务、计算节点、数据存储服务和网络通信服务;
前端服务用于接收用户请求,进行请求分类和分发,同时提供用户界面和数据展示功能;
具体的,前端服务体现形式可以采用Web应用程序的形式,通过Web服务,用户可以通过浏览器或其他客户端应用程序来访问系统的前端服务,实现对异构计算集群的管理和控制。
需要说明的是,用户可以通过Web浏览器访问系统,进行任务的提交、管理和监控操作。前端服务还可以提供多种数据处理和可视化的功能,例如数据预处理、数据可视化、数据分析。同时,前端服务还可以提供API接口,方便其他系统与之进行数据交互和任务调度。
进一步的,Web服务提供的功能包括用户身份认证和授权、任务提交和管理、资源管理和监控、数据管理和存储以及安全管理和审计。
需要说明的是,用户身份认证和授权是用户可以通过Web服务进行登录和身份认证,获取相应的授权,以便访问和管理系统的各项资源;
任务提交和管理是用户可以通过Web服务提交异构计算任务,并对任务进行管理和监控,包括任务状态查询和任务结果下载;
资源管理和监控是Web服务可以提供资源管理和监控功能,包括CPU、内存、存储和网络资源的监控和管理,以及负载均衡、容错和故障恢复功能;
数据管理和存储是Web服务可以提供数据管理和存储功能,包括数据上传、下载、备份和恢复功能;
安全管理和审计是Web服务可以提供安全管理和审计功能,包括访问控制、日志记录和安全审计功能,以保证系统的安全性和可靠性。
更进一步的,Web服务还可以提供可扩展的接口和协议,以便与其他系统进行集成和交互。
需要说明的是,通过Web服务,用户可以方便地访问和管理异构计算集群系统,实现高效的计算和数据处理,因此,Web服务还可以提供可扩展的接口和协议,以便与其他系统进行集成和交互。
任务管理服务用于任务的调度和管理,根据任务的类型和优先级,将任务分配给不同的计算节点进行处理;
具体的,任务管理服务通过一个中心化的任务调度器来实现任务的调度和管理,调度器可以根据任务的类型、优先级和可用资源因素,将任务分配给不同的计算节点进行处理。
需要说明的是,这种方式可以实现任务的统一管理和调度,避免了任务之间的冲突和资源浪费,提高了计算资源的利用率和系统的性能。此外,任务管理服务还可以通过分布式的方式来实现任务的调度和管理,每个计算节点都具有一定的任务调度和管理能力,可以根据本地资源和任务的需求来进行任务的分配和调度。这种方式可以提高系统的可扩展性和容错性,避免了单点故障的影响。
需要说明的是,调度器根据调度的方式可分为以下集中类型:
基于优先级的调度器,按照任务的优先级高低来进行任务的调度,优先处理高优先级的任务;
基于资源分配的调度器,根据计算节点的可用资源情况(如CPU、内存、网络带宽)来分配任务,确保每个计算节点的资源利用率达到最优;
基于任务类型的调度器,针对不同类型的任务(如计算密集型、I/O密集型),采用不同的调度策略和算法,以达到最优的性能和效率;
基于负载均衡的调度器,通过动态地调整任务的分配和调度,使得每个计算节点的负载尽可能均衡,以避免出现负载不均衡的情况;
基于实时性的调度器,针对需要实时响应的任务(如视频流处理、音频处理),采用实时调度算法和策略,确保任务能够及时得到处理;
基于预测的调度器,通过对任务的历史数据和趋势进行分析和预测,预测未来的任务负载和资源利用情况,从而做出更加准确的任务调度决策。
进一步的,调度器的调度过程依次包括任务分类、任务优先级判定、选取计算节点、任务分配以及监控和调整,监控和调整是对节点处理任务的进度进行监控和调整。
需要说明的是,任务分类是将任务按照类型进行分类,例如图像处理、文本处理和数据分析;任务优先级判定是根据任务的紧急程度和重要性,设置任务的优先级,比如,对于需要实时处理的任务,可以设置高优先级;选取计算节点是根据计算节点的可用资源,如CPU核心数、内存大小和存储容量资源信息,选择最适合的计算节点;任务分配是根据任务类型、优先级和可用资源,将任务分配给最适合的计算节点进行处理;监控和调整是监控任务的执行情况,如果发现某个节点处理任务的速度较慢或者出现故障,可以及时调整任务的分配,将任务分配给其他可用的计算节点。
需要注意的是,任务调度器需要考虑各种因素,如任务的紧急程度、可用资源、计算节点的负载情况,以实现最优的任务分配。同时,任务调度器还需要具备一定的容错能力,以应对计算节点故障异常情况。
计算节点由多个异构计算节点组成,且每个计算节点都包含了不同的处理器和加速器,用于执行不同类型的计算任务;
需要说明的是,异构计算节点指的是在一个计算集群中,不同的计算节点所使用的硬件配置和计算能力不同。这些节点可以使用不同的处理器架构、不同的操作系统、不同的内存、存储和网络配置。异构计算节点可以提高计算集群的性能和效率,因为不同的节点可以针对不同类型的计算任务进行优化,从而提高整个集群的计算能力。
具体的,异构计算节点的处理器由CPU、GPU和FPGA中的一种或多种进行分类组合构成。
需要说明的是,CPU一般指中央处理器,是作为计算机系统的运算和控制核心,是信息处理、程序运行的最终执行单元;GPU一般指图形处理器,又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备上做图像和图形相关运算工作的微处理器;FPGA采用了逻辑单元阵列LCA概念,内部包括可配置逻辑模块CLB、输入输出模块IOB和内部连线三个部分。现场可编程门阵列是可编程器件,与传统逻辑电路和门阵列相比,FPGA具有不同的结构。FPGA利用小型查找表来实现组合逻辑,每个查找表连接到一个D触发器的输入端,触发器再来驱动其他逻辑电路或驱动I/O,由此构成了既可实现组合逻辑功能又可实现时序逻辑功能的基本逻辑单元模块,这些模块间利用金属连线互相连接或连接到I/O模块。FPGA的逻辑是通过向内部静态存储单元加载编程数据来实现的,存储在存储器单元中的值决定了逻辑单元的逻辑功能以及各模块之间或模块与I/O间的联接方式,并最终决定了FPGA所能实现的功能,FPGA允许无限次的编程。这些节点可以根据其性能和能力进行分类和组合,以构成一个异构计算集群系统。
进一步的,多个异构计算节点的连接方式包括直接连接、以太网连接和InfiniBand连接中的一种或多种组合。
数据存储服务用于数据的存储和管理,包括数据的备份、恢复和安全保护功能;
需要说明的是,存储器和网络设备也是异构计算集群系统中重要的组成部分。这些节点可以通过网络互相通信和协作,以完成各种计算任务。
具体的,数据存储服务的存储形式包括分布式文件存储、对象存储、关系型数据库和NoSQL数据库。
需要说明的是,分布式文件存储是将数据分散存储在不同的节点上,实现数据的高可靠性和可扩展性;对象存储是将数据以对象的形式存储在分布式存储集群中,支持海量数据的存储和访问;关系型数据库是采用关系型数据模型,支持ACID事务,并提供SQL查询和数据管理功能;NoSQL数据库是采用非关系型数据模型,支持分布式存储和高并发访问,适合处理大规模、高速度的数据,这些数据存储服务可以根据具体的业务需求和性能要求进行选择和组合,以实现系统的高效、可靠和可扩展的数据存储服务。
网络通信服务用于计算节点之间和计算节点与存储节点之间的数据传输和通信,网络通信服务的传输方式包括DMA传输、AXI总线协议和片上网络。
需要说明的是,DMA方式也称为成组数据传送方式,有时也称为直接内存操作,DMA方式在数据传送过程中,没有保存现场、恢复现场之类的工作,其原理为一个设备接口试图通过总线直接向另一个设备发送数据(一般是大批量的数据),它会先向CPU发送DMA请求信号。外设通过DMA的一种专门接口电路――DMA控制器,向CPU提出接管总线控制权的总线请求,CPU收到该信号后,在当前的总线周期结束后,会按DMA信号的优先级和提出DMA请求的先后顺序响应DMA信号。CPU对某个设备接口响应DMA请求时,会让出总线控制权。于是在DMA控制器的管理下,外设和存储器直接进行数据交换,而不需CPU干预。数据传送完毕后,设备接口会向CPU发送DMA结束信号,交还总线控制权。
AXI是一种总线协议,是一种面向高性能、高带宽、低延迟的片内总线。它的地址/控制和数据相位是分离的,支持不对齐的数据传输,同时在突发传输中,只需要首地址,同时分离的读写数据通道、并支持Outstanding传输访问和乱序访问,并更加容易进行时序收敛。AXI是AMBA中一个新的高性能协议。
片上网络是片上系统的一种新的通信方法。它是多核技术的主要组成部分。NoC方法带来了一种全新的片上通信方法,显著优于传统总线式系统的性能。基于NoC的系统能更好地适应在未来复杂多核SoC设计中使用的全局异步局部同步的时钟机制。NoC构架主要基于电子或光学技术,分别称为片上电网络及片上光网络。
具体的,网络通信服务的表现形式包括基于TCP/IP协议栈的Socket通信、基于RPC的远程调用、基于消息队列的异步通信和基于HTTP协议的RESTful接口。
需要说明的是,基于TCP/IP协议栈的Socket通信是一种常见的网络通信方式,通过Socket接口实现数据的传输和接收,具有较高的可靠性和稳定性;
基于RPC的远程调用是一种基于网络的远程调用方式,通过定义接口和参数,实现对远程计算节点的函数调用,具有较高的效率和可扩展性;
基于消息队列的异步通信是一种基于消息传递的通信方式,通过消息队列实现异步通信,具有较高的灵活性和可靠性;
基于HTTP协议的RESTful接口是一种基于HTTP协议的接口设计方式,通过定义资源和操作,实现对远程计算节点的访问和操作,具有较高的可扩展性和易用性。
以上几种通信方式都可以在面向服务的轻量级异构计算集群系统中使用,具体选择哪种方式需要根据具体的需求和场景进行评估和选择。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行同替换,凡在本发明的精神和原则之内,所作的任何修改、同替换、改进,均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向服务的轻量级异构计算集群系统,其特征在于,所述集群系统包括前端服务、任务管理服务、计算节点、数据存储服务和网络通信服务;
所述前端服务用于接收用户请求,进行请求分类和分发,同时提供用户界面和数据展示功能;
所述任务管理服务用于任务的调度和管理,根据任务的类型和优先级,将任务分配给不同的计算节点进行处理;
所述计算节点由多个异构计算节点组成,且每个计算节点都包含了不同的处理器和加速器,用于执行不同类型的计算任务;
所述数据存储服务用于数据的存储和管理,包括数据的备份、恢复和安全保护功能;
所述网络通信服务用于计算节点之间和计算节点与存储节点之间的数据传输和通信,所述网络通信服务的传输方式包括DMA传输、AXI总线协议和片上网络。
2.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述前端服务体现形式可以采用Web应用程序的形式,通过Web服务,用户可以通过浏览器或其他客户端应用程序来访问系统的前端服务,实现对异构计算集群的管理和控制。
3.根据权利要求2所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述Web服务提供的功能包括用户身份认证和授权、任务提交和管理、资源管理和监控、数据管理和存储以及安全管理和审计。
4.根据权利要求3所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述Web服务还可以提供可扩展的接口和协议,以便与其他系统进行集成和交互。
5.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述任务管理服务通过一个中心化的任务调度器来实现任务的调度和管理,所述调度器可以根据任务的类型、优先级和可用资源因素,将任务分配给不同的计算节点进行处理。
6.根据权利要求5所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述调度器的调度过程依次包括任务分类、任务优先级判定、选取计算节点、任务分配以及监控和调整,所述监控和调整是对节点处理任务的进度进行监控和调整。
7.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述异构计算节点的处理器由CPU、GPU和FPGA中的一种或多种进行分类组合构成。
8.根据权利要求7所述的一种面向服务的轻量级异构计算集群系统,其特征在于,多个所述异构计算节点的连接方式包括直接连接、以太网连接和InfiniBand连接中的一种或多种组合。
9.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述数据存储服务的存储形式包括分布式文件存储、对象存储、关系型数据库和NoSQL数据库。
10.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统,其特征在于,所述网络通信服务的表现形式包括基于TCP/IP协议栈的Socket通信、基于RPC的远程调用、基于消息队列的异步通信和基于HTTP协议的RESTful接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310736756.1A CN117271074A (zh) | 2023-06-20 | 2023-06-20 | 一种面向服务的轻量级异构计算集群系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310736756.1A CN117271074A (zh) | 2023-06-20 | 2023-06-20 | 一种面向服务的轻量级异构计算集群系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117271074A true CN117271074A (zh) | 2023-12-22 |
Family
ID=89205131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310736756.1A Pending CN117271074A (zh) | 2023-06-20 | 2023-06-20 | 一种面向服务的轻量级异构计算集群系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117271074A (zh) |
-
2023
- 2023-06-20 CN CN202310736756.1A patent/CN117271074A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8949847B2 (en) | Apparatus and method for managing resources in cluster computing environment | |
US10212092B2 (en) | Architectures and methods for processing data in parallel using offload processing modules insertable into servers | |
US9485310B1 (en) | Multi-core storage processor assigning other cores to process requests of core-affined streams | |
CN112465129B (zh) | 片内异构人工智能处理器 | |
US20210073170A1 (en) | Configurable heterogeneous ai processor | |
Graham et al. | Open MPI: A high-performance, heterogeneous MPI | |
EP3283974B1 (en) | Systems and methods for executing software threads using soft processors | |
CN115210693A (zh) | 具有可预测时延的存储事务 | |
US20190121671A1 (en) | Flexible allocation of compute resources | |
US8266393B2 (en) | Coordination among multiple memory controllers | |
WO2015096656A1 (zh) | 线程创建方法、业务请求处理方法及相关设备 | |
EP2486715B1 (en) | Smart memory | |
US9158713B1 (en) | Packet processing with dynamic load balancing | |
CN104657308A (zh) | 一种用fpga实现的服务器硬件加速的方法 | |
CN109697122A (zh) | 任务处理方法、设备及计算机存储介质 | |
CN105955807A (zh) | 一种任务处理系统及方法 | |
EP4361808A1 (en) | Resource scheduling method and device and computing node | |
CN105045566B (zh) | 一种嵌入式并行计算系统及采用其的并行计算方法 | |
CN114710571B (zh) | 数据包处理系统 | |
CN113515361B (zh) | 一种面向服务的轻量级异构计算集群系统 | |
Sun et al. | SKV: A SmartNIC-Offloaded Distributed Key-Value Store | |
EP3084603B1 (en) | System and method for supporting adaptive busy wait in a computing environment | |
CN115878301A (zh) | 一种数据库网络负载性能的加速框架、加速方法及设备 | |
US20150309755A1 (en) | Efficient complex network traffic management in a non-uniform memory system | |
CN117271074A (zh) | 一种面向服务的轻量级异构计算集群系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |