CN111813562B - 具有ooda多分区io资源池机制的服务器主机 - Google Patents

具有ooda多分区io资源池机制的服务器主机 Download PDF

Info

Publication number
CN111813562B
CN111813562B CN202010866762.5A CN202010866762A CN111813562B CN 111813562 B CN111813562 B CN 111813562B CN 202010866762 A CN202010866762 A CN 202010866762A CN 111813562 B CN111813562 B CN 111813562B
Authority
CN
China
Prior art keywords
resource pool
server host
resource
ooda
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010866762.5A
Other languages
English (en)
Other versions
CN111813562A (zh
Inventor
谭光明
邵恩
张春明
段勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences
Original Assignee
Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences filed Critical Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences
Publication of CN111813562A publication Critical patent/CN111813562A/zh
Application granted granted Critical
Publication of CN111813562B publication Critical patent/CN111813562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种具有OODA多分区IO资源池机制的服务器主机，其特征在于：所述服务器主机包括四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池，所述四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池通过高速访存互连总线连接；每个IO资源池相互独立设计且按照全互连方式与其他三个IO资源池连接，每个IO资源池均包括一个或一个以上与所述IO资源池对应的计算卡；所述计算卡通过高速访存互连总线访问内存资源池。从而优化处理OODA类计算作业在单个服务器主机上的处理流程。

Description

具有OODA多分区IO资源池机制的服务器主机
技术领域
本发明涉及并行计算机系统体系结构，尤其涉及一种具有OODA多分区IO资源池机制的服务器主机。
背景技术
随着具有前后依赖关系的工作流逐渐成为独立服务器主机的主要计算负载，针对服务器主机的结构设计逐渐向“流式”化处理作业任务的设计思路延伸。然而，现有服务器主机结构设计往往向单个服务器主机内，不断集成相同类型的计算板卡方式，通过横向扩展方式不断提高单个服务器主机的算力。此外，现有服务器主机，很难能够根据工作流的负载特征，保证以高效并行流水线方式执行包含不同类型细算需求的工作流作业。
因此，亟需一种可实现高效并行流水线方式执行包含不同类型细算需求的工作流作业的服务器主机。
发明内容
有鉴于此，本发明提供一种具有OODA多分区IO资源池机制的服务器主机，其特征在于：所述服务器主机包括四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池，所述四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池通过高速访存互连总线连接；
每个IO资源池相互独立设计且按照全互连方式与其他三个IO资源池连接，每个IO资源池均包括一个或一个以上与所述IO资源池对应的计算卡；
所述计算卡通过高速访存互连总线访问内存资源池。
进一步，所述四个IO资源池分别为O1 IO资源池、O2 IO资源池、D3 IO资源池和A4IO资源池，所述O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池通过资源池互联总线相互连接。
进一步，所述O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池为服务器主机的计算部件。
进一步，所述计算卡均共享同一个地址空间。
进一步，每个IO资源池对应的计算卡包括多个类型相同的处理器。
进一步，所述节点系统管理CPU用于分派具体任务给各个资源池并对任务进行管理。
进一步，所述服务器主机在执行具体任务时，每个计算任务按照O1->O2->D3->A4->O1的顺序，循环占用OODA四个IO资源池。
进一步，每个计算任务分别占用四个IO资源池的部分或全部资源。
进一步，每个计算任务占用资源池的数量由节点系统管理CPU指定。
本发明的有益技术效果：其一、本申请提供的服务器主机通过预设的四个IO资源池无需通过横向扩展方式即可提高单台服务器主机的计算机(CPU)计算哈希函数输出的速度；其二、可实现高效并行流水线方式执行包含不同类型细算需求的工作流作业；其三、对工作流任务的并行流水线加速。本专利的服务器主机，针对具有OODA个独立步骤的工作流计算作业，可通过四个资源池分区间全互连方式，以流水线方式处理工作流迆，实现“主机级”多工作流并行执行，提高处理工作流作业的处理效率；其四、工作流的可扩展性。本专利所设计的服务器主机，可通过节点系统管理，为每个工作流分配各个资源池分区的单块或多块计算卡，保证主要占用计算资源数量不同的工作流作业在服务器主机上运行。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本发明的OODA多分区IO资源池服务器主机结构图。
图2为本发明的主机的IO资源池结构图。
具体实施方式
以下结合说明书附图对本发明做出进一步的说明：
本发明提供的本发明提供一种具有OODA多分区IO资源池机制的服务器主机，其特征在于：所述服务器主机包括四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池，所述四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池通过高速访存互连总线连接；
每个IO资源池相互独立设计且按照全互连方式与其他三个IO资源池连接，如O1分别于O2、D3和A4相互连接，D3资源池分别于O1、O2和A4资源池相互连接，每个IO资源池均包括一个或一个以上与所述IO资源池对应的计算卡；即O1 IO资源池对应一个或一以上的计算卡，本领域技术人员可根据服务器主机的实际需要来确定计算卡的数量，此外，通过多个计算卡可有效提高服务器主机的可扩展性；
所述计算卡通过高速访存互连总线访问内存资源池。
通过本技术方案，可实现高效并行流水线方式执行包含不同类型细算需求的工作流作业；针对具有OODA个独立步骤的工作流计算作业，可通过四个资源池分区间全互连方式，以流水线方式处理工作流迆，实现“主机级”多工作流并行执行，提高处理工作流作业的处理效率。
在本实施例中，所述四个IO资源池分别为O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池，所述O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池通过资源池互联总线相互连接。本申请提供的服务器主机通过预设的四个IO资源池无需通过横向扩展方式即可提高单台服务器主机的计算机(CPU)计算哈希函数输出的速度。
所述O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池为服务器主机的计算部件。由节点系统管理CPU为服务器主机的计算任务分配计算资源，每个计算任务按照O1->O2->D3->A4->O1的顺序，循环占用OODA四个IO资源池，优化处理OODA类计算作业在单个服务器主机上的处理流程。
在本实施例中，所述计算卡均共享同一个地址空间。每个IO资源池对应的计算卡包括一个或一个以上的类型相同的处理器。每个IO资源池对应的计算卡的数量可增强工作流的可扩展性。本专利所设计的服务器主机，可通过节点系统管理，为每个工作流分配各个资源池分区的单块或多块计算卡，保证主要占用计算资源数量不同的工作流作业在服务器主机上运行。
在本实施例中，所述节点系统管理CPU用于分派具体任务给各个资源池并对任务进行管理。所述服务器主机在执行具体任务时，每个计算任务按照O1->O2->D3->A4->O1的顺序，循环占用OODA四个IO资源池。每个计算任务分别占用四个IO资源池的部分或全部资源。每个计算任务占用资源池的数量由节点系统管理CPU指定。通过节点系统管理CPU对各个计算任务的管理控制，可实现对工作流任务的并行流水线加速。本专利的服务器主机，针对具有OODA个独立步骤的工作流计算作业，可通过四个资源池分区间全互连方式，以流水线方式处理工作流迆，实现“主机级”多工作流并行执行，提高处理工作流作业的处理效率。
本专利在具有全互连IO资源池和OODA多分区服务器主机设计方面的核心出发点是：利用OODA多分区结构，来设计具有多IO资源池的服务器主机。详细的说，结合OODA四类计算分区，即O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池，并设置各个分区之间的全互连总线数据访问方式，设计服务器主机。由此，优化处理OODA类计算作业在单个服务器主机上的处理流程。
本专利还提供一种构建具有OODA多分区IO资源池机制的服务器主机的方法，其特征在于：基于OODA多分区IO资源池机制构建服务器主机的方法、主机的IO资源池构建方法。
本专利提供基于OODA多分区IO资源池机制构建服务器主机的方法。其特征如图1所示，具有如下3个特征：
特征1：服务器主机由四个IO资源池组成，包括“OODA”四个独立IO资源池，每个分区由多个具有相同类型处理器的计算卡组成。
特征2：板卡由“节点系统管理CPU”通过运行操作系统，管理整个服务器的各个IO资源池执行哪些具体的计算任务。
特征3：服务器主机在执行具体每个计算任务时，每个计算任务按照O1->O2->D3->A4->O1的顺序，循环占用OODA四个IO资源池。
特征4：每个计算执行单位，将分别占用OODA四个分区的部分或全部资源。每计算执行单位占用各个分区资源的数量，由节点系统管理CPU指定。
特征5：服务器主机的两两资源池之间，具有直达式互连总线。如图1所示，其中O1与O2，O2与D3，D3与A4，A4与O1，分别设置资源池互连总线。
本专利提供主机的IO资源池构建方法。其特征如图2所示，具有如下3个特征：
特征6：OODA四个IO资源池，即O1，O2，D3，A4在内的四个IO资源池。每个IO资源池，分别具有一个或多个与资源池分区对应的计算卡。
特征7：如图2所示，每个资源池分区中的各个计算卡，都与高速访存互连总线(如：PCI-e)直接相连。而各个IO资源池的各个计算卡，通过高速互连总线访问内存资源池，并且共享同一地址空间。
特征8：计算卡的每个IO资源池，按照如图1所示的全互连方式，与任意其他三个IO资源池进行连接。计算卡间，与两资源池间的资源池互连总线进行连接。如图2所示，每个资源池分区中的各个计算卡，都与其他三个分区资源池互连总线相连。
OODA环(OODA Loop)理论最早由美国空军上校John Boyd于1966年提出，是用于描述军事指挥决策过程的主要模型框架。OODA环依次由：观察(Observe)，调整(Orient)，想定(Decide)，行动(Act)，在内共四步以循环方式执行军事决策。OODA环理论完成决策或复杂问题的思维过程，整是人脑理性思维的思维定式。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种具有OODA多分区IO资源池机制的服务器主机，其特征在于：所述服务器主机包括四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池，所述四个IO资源池、节点系统管理CPU、内存资源池和网卡资源池通过高速访存互连总线连接；
每个IO资源池相互独立设计且按照全互连方式与其他三个IO资源池连接，每个IO资源池均包括一个或一个以上与所述IO资源池对应的计算卡；
所述计算卡通过高速访存互连总线访问内存资源池；
所述四个IO资源池分别为O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池，所述O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池通过资源池互联总线相互连接；
所述服务器主机在执行具体任务时，每个计算任务按照O1->O2->D3->A4->O1的顺序，循环占用OODA四个IO资源池。
2.根据权利要求1所述具有OODA多分区IO资源池机制的服务器主机，其特征在于：所述O1 IO资源池、O2 IO资源池、D3 IO资源池和A4 IO资源池为服务器主机的计算部件。
3.根据权利要求1所述具有OODA多分区IO资源池机制的服务器主机，其特征在于：所述计算卡均共享同一个地址空间。
4.根据权利要求1所述具有OODA多分区IO资源池机制的服务器主机，其特征在于：每个IO资源池对应的计算卡包括多个类型相同的处理器。
5.根据权利要求1所述具有OODA多分区IO资源池机制的服务器主机，其特征在于：所述节点系统管理CPU用于分派具体任务给各个资源池并对任务进行管理。
6.根据权利要求1所述具有OODA多分区IO资源池机制的服务器主机，其特征在于：每个计算任务分别占用四个IO资源池的部分或全部资源。
7.根据权利要求6所述具有OODA多分区IO资源池机制的服务器主机，其特征在于：每个计算任务占用资源池的数量由节点系统管理CPU指定。
CN202010866762.5A 2020-04-30 2020-08-25 具有ooda多分区io资源池机制的服务器主机 Active CN111813562B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010363732.2A CN111506432A (zh) 2020-04-30 2020-04-30 具有ooda多分区io资源池机制的服务器主机
CN2020103637322 2020-04-30

Publications (2)

Publication Number Publication Date
CN111813562A CN111813562A (zh) 2020-10-23
CN111813562B true CN111813562B (zh) 2023-09-26

Family

ID=71876645

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010363732.2A Pending CN111506432A (zh) 2020-04-30 2020-04-30 具有ooda多分区io资源池机制的服务器主机
CN202010866762.5A Active CN111813562B (zh) 2020-04-30 2020-08-25 具有ooda多分区io资源池机制的服务器主机

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010363732.2A Pending CN111506432A (zh) 2020-04-30 2020-04-30 具有ooda多分区io资源池机制的服务器主机

Country Status (1)

Country Link
CN (2) CN111506432A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521209A (zh) * 2011-12-12 2012-06-27 浪潮电子信息产业股份有限公司 一种并行多处理器计算机的设计方法
CN106886368A (zh) * 2016-12-30 2017-06-23 北京同有飞骥科技股份有限公司 一种块设备写io整形和多控制器同步系统及同步方法
CN107783768A (zh) * 2017-10-31 2018-03-09 济南浪潮高新科技投资发展有限公司 一种在X86平台linux系统中部署RRMAP的方法
CN110286966A (zh) * 2019-05-21 2019-09-27 上海烜翊科技有限公司 嵌入式系统中多个子系统的对接方法及装置
CN110334134A (zh) * 2019-07-17 2019-10-15 中国人民解放军国防科技大学 基于元路径的异质信息网络能力节点重要度评估方法
WO2019217290A1 (en) * 2018-05-07 2019-11-14 Micron Technology, Inc. Thread commencement and completion using work descriptor packets in a system having a self-scheduling processor and a hybrid threading fabric
CN110809760A (zh) * 2018-06-06 2020-02-18 华为技术有限公司 资源池的管理方法、装置、资源池控制单元和通信设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655939B2 (en) * 2007-01-05 2014-02-18 Digital Doors, Inc. Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
US10740358B2 (en) * 2013-04-11 2020-08-11 Oracle International Corporation Knowledge-intensive data processing system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521209A (zh) * 2011-12-12 2012-06-27 浪潮电子信息产业股份有限公司 一种并行多处理器计算机的设计方法
CN106886368A (zh) * 2016-12-30 2017-06-23 北京同有飞骥科技股份有限公司 一种块设备写io整形和多控制器同步系统及同步方法
CN107783768A (zh) * 2017-10-31 2018-03-09 济南浪潮高新科技投资发展有限公司 一种在X86平台linux系统中部署RRMAP的方法
WO2019217290A1 (en) * 2018-05-07 2019-11-14 Micron Technology, Inc. Thread commencement and completion using work descriptor packets in a system having a self-scheduling processor and a hybrid threading fabric
CN110809760A (zh) * 2018-06-06 2020-02-18 华为技术有限公司 资源池的管理方法、装置、资源池控制单元和通信设备
CN110286966A (zh) * 2019-05-21 2019-09-27 上海烜翊科技有限公司 嵌入式系统中多个子系统的对接方法及装置
CN110334134A (zh) * 2019-07-17 2019-10-15 中国人民解放军国防科技大学 基于元路径的异质信息网络能力节点重要度评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
" 嵌入式实时多处理系统的通信中间件技术研究";秦玉函;《中国优秀硕士学位论文全文数据库 信息科技辑》(2018年第12期);第I137-92页 *
"Novel Big Data-supported dynamic toll charging system: Impact assessment on Portugal’s shadow-toll highways";Paulo Figueiras;《Computers & Industrial Engineering》;第135卷;第476-491页 *

Also Published As

Publication number Publication date
CN111506432A (zh) 2020-08-07
CN111813562A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US7647590B2 (en) Parallel computing system using coordinator and master nodes for load balancing and distributing work
CN107111517B (zh) 针对归约器任务的虚拟机优化分配和/或生成
Tripathy et al. Scheduling in cloud computing
KR102253582B1 (ko) Dram 기반 프로세싱 장치를 위한 확장 아키텍처
Bicer et al. Time and cost sensitive data-intensive computing on hybrid clouds
US10142156B2 (en) Computer cluster arrangement for processing a computation task and method for operation thereof
KR20190058619A (ko) 고성능 컴퓨팅 시스템 및 방법
EP2881862B1 (en) Distributed processing device and distributed processing system as well as distributed processing method
US20160196157A1 (en) Information processing system, management device, and method of controlling information processing system
EP2710481B1 (en) Decentralized allocation of resources and interconnect structures to support the execution of instruction sequences by a plurality of engines
Natesan et al. Optimal task scheduling in the cloud environment using a mean grey wolf optimization algorithm
US20140068625A1 (en) Data processing systems
CN113391918A (zh) 用于处理计算作业的方法、设备和计算机程序产品
CN107329822B (zh) 面向多源多核系统的基于超任务网的多核调度方法
CN110990154A (zh) 一种大数据应用优化方法、装置及存储介质
CN108984286A (zh) 一种云计算平台的资源调度方法和系统
US10031784B2 (en) Interconnect system to support the execution of instruction sequences by a plurality of partitionable engines
CN111813562B (zh) 具有ooda多分区io资源池机制的服务器主机
US20170269944A1 (en) Method for optimizing performance of computationally intensive applications
US8881163B2 (en) Kernel processor grouping
JP2011175573A (ja) クラスタシステム、プロセス配置方法、及びプログラム
JP2012038275A (ja) 取引計算シミュレーションシステム、方法及びプログラム
JP7347537B2 (ja) 分散処理システム
CN117311910B (zh) 一种高性能虚拟密码机运行方法
Kalia et al. An overview of data locality based scheduler in Hadoop MapReduce environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant