CN113391919A - 一种基于二维胖树网络的计算结点分配方法及装置 - Google Patents

一种基于二维胖树网络的计算结点分配方法及装置 Download PDF

Info

Publication number
CN113391919A
CN113391919A CN202110450135.8A CN202110450135A CN113391919A CN 113391919 A CN113391919 A CN 113391919A CN 202110450135 A CN202110450135 A CN 202110450135A CN 113391919 A CN113391919 A CN 113391919A
Authority
CN
China
Prior art keywords
tree network
nodes
machine frame
dimensional fat
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110450135.8A
Other languages
English (en)
Other versions
CN113391919B (zh
Inventor
杨文祥
喻杰
王昉
王岳青
邓亮
杨志供
赵丹
陈呈
杨超
代喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computational Aerodynamics Institute of China Aerodynamics Research and Development Center
Original Assignee
Computational Aerodynamics Institute of China Aerodynamics Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computational Aerodynamics Institute of China Aerodynamics Research and Development Center filed Critical Computational Aerodynamics Institute of China Aerodynamics Research and Development Center
Priority to CN202110450135.8A priority Critical patent/CN113391919B/zh
Publication of CN113391919A publication Critical patent/CN113391919A/zh
Application granted granted Critical
Publication of CN113391919B publication Critical patent/CN113391919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种基于二维胖树网络的计算结点分配方法及装置，该方法包括：确定预设二维胖树网络中的行数、总计算结点数以及总机框数，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目；根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，其中，重新编号的二维胖树网络中同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续；确定待处理作业，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点。本申请解决了现有技术中通信开销较大的技术问题。

Description

一种基于二维胖树网络的计算结点分配方法及装置
技术领域
本申请涉及超级计算机技术领域，尤其涉及一种基于二维胖树网络的计算结点分配方法及装置。
背景技术
超级计算机系统能够提供强大的并行计算能力，因此，超级计算机系统中的作业可利用超级计算机数量庞大的计算结点，协同完成复杂的科学计算问题。当用户提交作业后，超级计算机通过作业调度和资源管理系统来对作业进行计算结点分配，作业分配到的计算结点在网络中位置关系直接决定了该作业的通信开销，因此作业的计算结点分配对于通信和系统性能至关重要。
目前，作业的计算结点分配方式主要是把作业的进程映射到特定的计算结点，完成计算结点选择，即先深入作业内部获取各进程间的通信模式，然后按照进程间通信的密集程度匹配不同网络距离的计算结点。而在超级计算机所采用的作业调度和资源管理系统中有专门配置网络拓扑的文件，对于采用二维胖树网络拓扑的超级计算机，为了降低网络的复杂度并提高作业调度的性能，在配置网络拓扑时候，一般会去掉本地机框交换板这一层，并同时去掉列交换机的信息，而把在真实物理网络中连接到本地机框交换板上的计算结点直接配置到相应的上层行交换机，由于物理网络拓扑中结点采用逐行编号方式，每一个行交换机上的结点编号是完全连续的。在这样的配置下，当作业调度和资源管理系统采用默认的连续结点分配策略时，会给作业尽可能分配同一个行交换机上的结点，然而这些结点在物理网络中很可能位于多个本地机框交换板，产生更多的通信开销。因此，现有技术对于计算结点分配虽然大多考虑了网络拓扑特性，但是由于需要在映射前探查并掌握作业的通信模式，不可避免地产生额外开销。
发明内容
本申请解决的技术问题是：针对现有技术中通信开销较大的问题，本申请提供了一种基于二维胖树网络的计算结点分配方法及装置，本申请实施例所提供的方案中，通过对二维胖树网络中的计算结点进行重新编号，使得同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续，然后根据待处理作业需求从二维胖树网络中选择出位于同于机框中的多个连续计算结点，并将该多个连续计算结点分配给待处理作业。因此，在本申请实施例所提供的方案中，通过对二维胖树网络中的计算结点进行重新编号，不仅使得待处理作业被分配到同一机框中的计算结点，提高了待处理作业对应的计算结点之间的亲和度，降低了通信开销；还使得在分配计算结点过程中，不需要探查应用或作业之间的关联性，避免引入额外开销，降低了通信开销。
第一方面，本申请实施例提供一种基于二维胖树网络的计算结点分配方法，该方法包括：
确定预设二维胖树网络中的行数、总计算结点数以及总机框数，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目；
根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，其中，重新编号的二维胖树网络中同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续；
确定待处理作业，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点。
本申请实施例所提供的方案中，通过对二维胖树网络中的计算结点进行重新编号，使得同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续，然后根据待处理作业需求从二维胖树网络中选择出位于同于机框中的多个连续计算结点，并将该多个连续计算结点分配给待处理作业。因此，在本申请实施例所提供的方案中，通过对二维胖树网络中的计算结点进行重新编号，不仅使得待处理作业被分配到同一机框中的计算结点，提高了待处理作业对应的计算结点之间的亲和度，进而降低了通信开销；还使得在分配计算结点过程中，不需要探查应用或作业之间的关联性，避免引入额外开销，降低了通信开销。
可选地，根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，包括：
根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络进行调整得到调整后的二维胖树网络，其中，所述调整后的二维胖树网络中每一行的计算结点的数目相同，且每一机框中的计算结点的数目相同；
以均匀分配到每一机框的计算结点数目为单位，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号。
可选地，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号，包括：
确定所述调整后的二维胖树网络的网络拓扑信息，其中，所述网络拓扑信息中包含所述二维胖树网络中的计算结点和行交换机信息；
以均匀分配到每一机框的计算结点数目为单位对所述网络拓扑信息中计算结点按照逐列编号的方式进行重新编号。
可选地，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点，包括：根据所述待处理作业确定出所述待处理作业所需的计算结点数目；在所述重新编号的二维胖树网络中进行逐行搜索确定出连续所述计算结点数目的计算结点。
第二方面，本申请实施例提供了一种基于二维胖树网络的计算结点分配装置，该装置包括：
计算单元，用于确定预设二维胖树网络中的行数、总计算结点数以及总机框数，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目；
重新编号单元，用于根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，其中，重新编号的二维胖树网络中同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续；
选择单元，用于确定待处理作业，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点。
可选地，所述重新编号单元，具体用于：根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络进行调整得到调整后的二维胖树网络，其中，所述调整后的二维胖树网络中每一行的计算结点的数目相同，且每一机框中的计算结点的数目相同；以均匀分配到每一机框的计算结点数目为单位，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号。
可选地，所述重新编号单元，具体用于：确定所述调整后的二维胖树网络的网络拓扑信息，其中，所述网络拓扑信息中包含所述二维胖树网络中的计算结点和行交换机信息；以均匀分配到每一机框的计算结点数目为单位对所述网络拓扑信息中计算结点按照逐列编号的方式进行重新编号。
可选地，所述选择单元，具体用于：根据所述待处理作业确定出所述待处理作业所需的计算结点数目；在所述重新编号的二维胖树网络中进行逐行搜索确定出连续所述计算结点数目的计算结点。
附图说明
图1为本申请实施例所提供的一种基于二维胖树网络的计算结点分配方法的流程示意图；
图2为本申请实施例所提供的一种二维胖树网络的结构示意图；
图3为本申请实施例所提供的一种二维胖树网络的传统网络拓扑结构示意图；
图4为本申请实施例所提供的一种二维胖树网络的网络拓扑结构示意图；
图5为本申请实施例所提供的一种基于二维胖树网络的计算结点分配装置的结构示意图。
具体实施方式
本申请实施例提供的方案中，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
以下结合说明书附图对本申请实施例所提供的一种基于二维胖树网络的计算结点分配方法做进一步详细的说明，该方法具体实现方式可以包括以下步骤(方法流程如图1所示)：
步骤101，确定预设二维胖树网络中的行数、总计算结点数以及总机框数，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目。
具体的，在计算机存储中预先存储着二维胖树的网络拓扑信息，其中，网络拓扑信息包括二维胖树网络中的行数、总计算结点数、总机框数以及计算结点的编号信息，计算结点的编号信息是采用逐行编号的方式对每一行交换机对应的多个计算结点进行编号得到的。
为了便于理解对网络拓扑信息的理解，下面对配置网络拓扑的过程进行简要介绍。
参见图2，为本申请实施例提供的一种二维胖树网络的结构示意图。在图2中，二维胖树网络为4行×4列的网络，每一行包含多个机框，每一个机框中又包括多个计算结点和机框交换板，在二维胖树网络中每一行机框通过行一交换机连接，每一列通过一列交换机连接。
为了降低网络的复杂度并提高作业调度的性能，传统的在配置二维胖树网络的网络拓扑时，一般会去掉二维胖树网络中机框交换板以及列交换机的信息，而把在二维胖树网络中连接到机框交换板上的计算结点直接配置到相应的行交换机，所有行交换机又通过一个虚拟的总交换机互联。参见图3，为本申请实施例提供一种二维胖树网络的传统网络拓扑结构示意图。图3中的网络拓扑结构是图2中所示的二维胖树网络的网络拓扑。在图3中，R0、R1、R2和R3为行交换机，M0为虚拟的总交换机，其中，R0所连接的所有计算结点编号连续，R1所连接的所有计算结点编号连续，R2所连接的所有计算结点编号连续，R3所连接的所有计算结点编号连续。
进一步，在确定预设二维胖树网络中的行数、总计算结点数以及总机框数之后，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目。
例如，设预设二维胖树网络中的行数为NR，总计算结点数为Ncn，总机框数为Nf，然后根据如下公式计算将计算结点均匀分配到每一行的数目以及每一机框的数目：
n＝Ncn/NR
m＝Ncn/Nf
其中，n表示将计算结点均匀分配到每一行的数目；m表示将计算结点均匀分配到每一机框的数目。
步骤102，根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，其中，重新编号的二维胖树网络中同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续。
在一种可能实现的方式中，根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，包括：根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络进行调整得到调整后的二维胖树网络，其中，所述调整后的二维胖树网络中每一行的计算结点的数目相同，且每一机框中的计算结点的数目相同；以均匀分配到每一机框的计算结点数目为单位，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号。
进一步，在一种可能实现的方式中，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号，包括：确定所述调整后的二维胖树网络的网络拓扑信息，其中，所述网络拓扑信息中包含所述二维胖树网络中的计算结点和行交换机信息；以均匀分配到每一机框的计算结点数目为单位对所述网络拓扑信息中计算结点按照逐列编号的方式进行重新编号。
具体的，在本申请实施例所提供的方案中，以连续的m个计算节点为单位，按照逐列编号的方式对网络拓扑中的计算结点进行重新编号，重编号后，拓扑配置文件中的每一个行交换机上面配置的结点数仍为n个，但是这n个结点编号不完全连续，而是被分成了n/m个彼此编号分离的结点组，结点组内是m个连续的结点。参见图4，为本申请实施例提供的一种二维胖树网络的网络拓扑结构示意图。在图4中，在网络拓扑配置时仍然没有加入机框交换板这一层，也没有添加列交换机信息，但是通过重编号，每一个行交换机下配置的不同机框中计算结点编号被分开，同一机框中计算结点编号连续。
步骤103，确定待处理作业，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点。
具体的，在对二维胖树网络中的计算结点进行重新编号后，根据当前待处理作业从所述重新编号的二维胖树网络中选择出所述待处理作业所需的多个计算结点。在本申请实施例所提供的方案中，从二维胖树网络中为待处理作业分配计算结点的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现的方式中，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点，包括：根据所述待处理作业确定出所述待处理作业所需的计算结点数目；在所述重新编号的二维胖树网络中进行逐行搜索确定出连续所述计算结点数目的计算结点。
本申请实施例所提供的方案中，通过对二维胖树网络中的计算结点进行重新编号，使得同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续，然后根据待处理作业需求从二维胖树网络中选择出位于同于机框中的多个连续计算结点，并将该多个连续计算结点分配给待处理作业。因此，在本申请实施例所提供的方案中，通过对二维胖树网络中的计算结点进行重新编号，不仅使得待处理作业被分配到同一机框中的计算结点，提高了待处理作业对应的计算结点之间的亲和度，进而降低了通信开销；还使得在分配计算结点过程中，不需要探查应用或作业之间的关联性，避免引入额外开销，降低了通信开销。
基于与图1所示的方法相同的发明构思，本申请实施例提供了一种基于二维胖树网络的计算结点分配装置，参见图5，该装置包括：
计算单元501，用于确定预设二维胖树网络中的行数、总计算结点数以及总机框数，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目；
重新编号单元502，用于根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，其中，重新编号的二维胖树网络中同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续；
选择单元503，用于确定待处理作业，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点。
可选地，所述重新编号单元502，具体用于：根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络进行调整得到调整后的二维胖树网络，其中，所述调整后的二维胖树网络中每一行的计算结点的数目相同，且每一机框中的计算结点的数目相同；以均匀分配到每一机框的计算结点数目为单位，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号。
可选地，所述重新编号单元502，具体用于：确定所述调整后的二维胖树网络的网络拓扑信息，其中，所述网络拓扑信息中包含所述二维胖树网络中的计算结点和行交换机信息；以均匀分配到每一机框的计算结点数目为单位对所述网络拓扑信息中计算结点按照逐列编号的方式进行重新编号。
可选地，所述选择单元503，具体用于：根据所述待处理作业确定出所述待处理作业所需的计算结点数目；在所述重新编号的二维胖树网络中进行逐行搜索确定出连续所述计算结点数目的计算结点。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种基于二维胖树网络的计算结点分配方法，其特征在于，包括：
确定预设二维胖树网络中的行数、总计算结点数以及总机框数，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目；
根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，其中，重新编号的二维胖树网络中同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续；
确定待处理作业，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点。
2.如权利要求1所述的方法，其特征在于，根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，包括：
根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络进行调整得到调整后的二维胖树网络，其中，所述调整后的二维胖树网络中每一行的计算结点的数目相同，且每一机框中的计算结点的数目相同；
以均匀分配到每一机框的计算结点数目为单位，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号。
3.如权利要求2所述的方法，其特征在于，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号，包括：
确定所述调整后的二维胖树网络的网络拓扑信息，其中，所述网络拓扑信息中包含所述二维胖树网络中的计算结点和行交换机信息；
以均匀分配到每一机框的计算结点数目为单位对所述网络拓扑信息中计算结点按照逐列编号的方式进行重新编号。
4.如权利要求1～3任一项所述的方法，其特征在于，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点，包括：
根据所述待处理作业确定出所述待处理作业所需的计算结点数目；
在所述重新编号的二维胖树网络中进行逐行搜索确定出连续所述计算结点数目的计算结点。
5.一种基于二维胖树网络的计算结点分配装置，其特征在于，包括：
计算单元，用于确定预设二维胖树网络中的行数、总计算结点数以及总机框数，根据所述行数、所述总计算结点数以及所述总机框数计算将计算结点均匀分配到每一行的数目以及每一机框的数目；
重新编号单元，用于根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络中的计算结点进行重新编号，其中，重新编号的二维胖树网络中同一机框中的计算结点编号连续，且同一行不同机框的计算结点编号不连续；
选择单元，用于确定待处理作业，根据所述待处理作业从所述重新编号的二维胖树网络中选择出位于同一机框的所述待处理作业所需的多个连续计算结点。
6.如权利要求5所述的装置，其特征在于，所述重新编号单元，具体用于：
根据所述每一行的数目和所述每一机框的数目对所述二维胖树网络进行调整得到调整后的二维胖树网络，其中，所述调整后的二维胖树网络中每一行的计算结点的数目相同，且每一机框中的计算结点的数目相同；
以均匀分配到每一机框的计算结点数目为单位，在所述调整后的二维胖树网络中按照逐列编号的方式对计算结点进行重新编号。
7.如权利要求6所述的方法，其特征在于，所述重新编号单元，具体用于：
确定所述调整后的二维胖树网络的网络拓扑信息，其中，所述网络拓扑信息中包含所述二维胖树网络中的计算结点和行交换机信息；
以均匀分配到每一机框的计算结点数目为单位对所述网络拓扑信息中计算结点按照逐列编号的方式进行重新编号。
8.如权利要求5～7任一项所述的装置，其特征在于，所述选择单元，具体用于：
根据所述待处理作业确定出所述待处理作业所需的计算结点数目；
在所述重新编号的二维胖树网络中进行逐行搜索确定出连续所述计算结点数目的计算结点。
CN202110450135.8A 2021-04-25 2021-04-25 一种基于二维胖树网络的计算结点分配方法及装置 Active CN113391919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110450135.8A CN113391919B (zh) 2021-04-25 2021-04-25 一种基于二维胖树网络的计算结点分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110450135.8A CN113391919B (zh) 2021-04-25 2021-04-25 一种基于二维胖树网络的计算结点分配方法及装置

Publications (2)

Publication Number Publication Date
CN113391919A true CN113391919A (zh) 2021-09-14
CN113391919B CN113391919B (zh) 2023-06-06

Family

ID=77617572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110450135.8A Active CN113391919B (zh) 2021-04-25 2021-04-25 一种基于二维胖树网络的计算结点分配方法及装置

Country Status (1)

Country Link
CN (1) CN113391919B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116996359A (zh) * 2023-09-26 2023-11-03 中国空气动力研究与发展中心计算空气动力研究所 一种超级计算机的网络拓扑构建方法及网络拓扑结构

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070168594A1 (en) * 2006-01-16 2007-07-19 Hideki Mitsubayashi Signal transmission method, bridge unit, and information processing apparatus
CN103078798A (zh) * 2012-12-28 2013-05-01 华为技术有限公司 一种建立路由表的方法和设备
CN106412143A (zh) * 2016-09-12 2017-02-15 新疆石油管理局数据公司 一种集群节点ip地址的可视化分配方法
US20190007341A1 (en) * 2017-06-28 2019-01-03 International Business Machines Corporation Large scale fabric attached architecture
CN110191155A (zh) * 2019-05-07 2019-08-30 中国人民解放军国防科技大学 一种面向胖树互连网络的并行作业调度方法、系统及存储介质
CN111597038A (zh) * 2020-01-08 2020-08-28 中国空气动力研究与发展中心计算空气动力研究所 一种超级计算机i/o转发结点轮询映射方法
CN112165405A (zh) * 2020-10-13 2021-01-01 中国人民解放军国防科技大学 基于网络拓扑结构的超级计算机大数据处理能力测试方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070168594A1 (en) * 2006-01-16 2007-07-19 Hideki Mitsubayashi Signal transmission method, bridge unit, and information processing apparatus
CN103078798A (zh) * 2012-12-28 2013-05-01 华为技术有限公司 一种建立路由表的方法和设备
CN106412143A (zh) * 2016-09-12 2017-02-15 新疆石油管理局数据公司 一种集群节点ip地址的可视化分配方法
US20190007341A1 (en) * 2017-06-28 2019-01-03 International Business Machines Corporation Large scale fabric attached architecture
CN110191155A (zh) * 2019-05-07 2019-08-30 中国人民解放军国防科技大学 一种面向胖树互连网络的并行作业调度方法、系统及存储介质
CN111597038A (zh) * 2020-01-08 2020-08-28 中国空气动力研究与发展中心计算空气动力研究所 一种超级计算机i/o转发结点轮询映射方法
CN112165405A (zh) * 2020-10-13 2021-01-01 中国人民解放军国防科技大学 基于网络拓扑结构的超级计算机大数据处理能力测试方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JAVIER NAVARIDAS等: "Effects of Job and Task Placement on Parallel Scientific Applications Performance" *
MOHAMMAD AL-FARES等: "A Scalable, Commodity Data Center Network Architecture" *
喻杰: "高性能计算机I/O性能优化关键技术研究" *
杨文祥: "基于多级交换网络的高阶路由器设计与分析" *
陈新海: "面向高性能计算机的拓扑映射算法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116996359A (zh) * 2023-09-26 2023-11-03 中国空气动力研究与发展中心计算空气动力研究所 一种超级计算机的网络拓扑构建方法及网络拓扑结构
CN116996359B (zh) * 2023-09-26 2023-12-12 中国空气动力研究与发展中心计算空气动力研究所 一种超级计算机的网络拓扑构建方法及装置

Also Published As

Publication number Publication date
CN113391919B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US9298760B1 (en) Method for shard assignment in a large-scale data processing job
CN110618870B (zh) 一种深度学习训练任务的工作方法及装置
Lo et al. Noncontiguous processor allocation algorithms for mesh-connected multicomputers
EP3281359B1 (en) Application driven and adaptive unified resource management for data centers with multi-resource schedulable unit (mrsu)
CN107111517B (zh) 针对归约器任务的虚拟机优化分配和/或生成
CN105786619B (zh) 虚拟机分配方法及装置
CN106936739B (zh) 一种报文转发方法及装置
US11055139B2 (en) Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster
CN110221920B (zh) 部署方法、装置、存储介质及系统
CN104346318B (zh) 面向通用多核dsp的矩阵乘加速方法
CN106790332A (zh) 一种资源调度方法、系统及主节点
US20190018698A1 (en) Optimizing virtual machine placement for multi-destination traffic
CN113391919B (zh) 一种基于二维胖树网络的计算结点分配方法及装置
CN112085644A (zh) 多列数据排序方法、装置、可读存储介质和电子设备
CN116991560A (zh) 针对语言模型的并行调度方法、装置、设备及存储介质
CN113766047B (zh) 一种任务分组方法、装置、计算机设备及存储介质
CN114282661A (zh) 神经网络模型的运行方法、可读介质和电子设备
CN107707661B (zh) 一种负载均衡资源管理方法和装置
CN113381940B (zh) 一种二维胖树网络拓扑的设计方法及装置
CN114281516A (zh) 一种基于numa属性的资源分配方法及装置
CN108804377A (zh) 一种总线任务处理方法及系统
CN109684602B (zh) 一种批处理方法和装置及计算机可读存储介质
CN112306675B (zh) 数据处理方法、相关设备以及计算机可读存储介质
CN111737347A (zh) 在Spark平台顺序切分数据的方法及装置
CN114785745A (zh) 一种配置设备资源的方法和交换机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant