JP2016075968A - Information processing device - Google Patents

Information processing device Download PDF

Info

Publication number
JP2016075968A
JP2016075968A JP2013002215A JP2013002215A JP2016075968A JP 2016075968 A JP2016075968 A JP 2016075968A JP 2013002215 A JP2013002215 A JP 2013002215A JP 2013002215 A JP2013002215 A JP 2013002215A JP 2016075968 A JP2016075968 A JP 2016075968A
Authority
JP
Japan
Prior art keywords
communication
communication path
information processing
optical
optical switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013002215A
Other languages
Japanese (ja)
Inventor
山岡 雅直
Masanao Yamaoka
雅直 山岡
加藤 猛
Takeshi Kato
猛 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2013002215A priority Critical patent/JP2016075968A/en
Priority to PCT/JP2013/079918 priority patent/WO2014109117A1/en
Publication of JP2016075968A publication Critical patent/JP2016075968A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2005Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0005Switch and router aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0005Switch and router aspects
    • H04Q2011/0037Operation
    • H04Q2011/0039Electrical control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062Network aspects
    • H04Q2011/0073Provisions for forwarding or routing, e.g. lookup tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Hardware Redundancy (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve a problem that it is hard to achieve both of cost reduction and performance when conducting communication by using an optical signal in a parallel computer having many computation nodes.SOLUTION: An information processing device includes a plurality of calculation nodes, a communication path using an optical signal, an optical switch switching the communication path, a control unit for allocating a job to the plurality of calculation nodes, and a control unit for generating a signal for switching the optical switch. The information processing device characteristically allocates the jobs and switches the optical switch according to the information in a table where the performance of the calculation nodes, performance of the communication path using the optical signal, and performance of a calculation object are arranged.SELECTED DRAWING: Figure 12

Description

本発明は、複数の計算ノードが接続された並列情報処理装置に関し、特に複数の計算ノードが光配線と光スイッチを用いて接続されている並列情報処理装置に関する。   The present invention relates to a parallel information processing apparatus to which a plurality of calculation nodes are connected, and more particularly to a parallel information processing apparatus in which a plurality of calculation nodes are connected using optical wiring and optical switches.

大規模な情報処理を行うための計算機として、並列計算機が一般的となっている。並列計算機では、複数ある計算ノードが配線で接続され、計算するジョブが各計算ノードに割り当てられ、計算ノード間でデータをやり取りして計算が実行される。   A parallel computer is generally used as a computer for performing large-scale information processing. In a parallel computer, a plurality of calculation nodes are connected by wiring, a job to be calculated is assigned to each calculation node, and calculation is performed by exchanging data between the calculation nodes.

特に、グラフと呼ばれるノード(頂点)群とノード間の連結関係を表すエッジ(枝)群で構成される抽象データを計算する際には、計算ノード間の通信性能が全体の情報処理性能に大きく影響を与える。よって、これらの並列計算機では、計算ノード間の通信速度の向上が必要となる。通信速度を向上させる一つの手段として、光信号を用いた通信が挙げられる。従来の電気信号を用いた通信では、例えば25Gbpsという速度で1m程度の計算ノード間通信を行おうとすると通信に必要な消費電力が劇的に増加するが、光信号を用いた通信では消費電力を抑えることが可能となる。   In particular, when computing abstract data composed of nodes (vertices) called graphs and edges (branches) that represent the connection between nodes, the communication performance between computation nodes greatly increases the overall information processing performance. Influence. Therefore, in these parallel computers, it is necessary to improve the communication speed between the computation nodes. One means for improving the communication speed is communication using an optical signal. In conventional communication using electrical signals, for example, if communication between computing nodes of about 1 m is performed at a speed of 25 Gbps, power consumption required for communication increases dramatically, but communication using optical signals reduces power consumption. It becomes possible to suppress.

光信号を用いた通信では、発光素子を用いた通信装置が必要となる。しかし、発光素子は従来の電気信号を扱う素子よりも信頼性が低く、故障しやすいという問題がある。   Communication using an optical signal requires a communication device using a light emitting element. However, the light emitting element has a problem that it is less reliable than a conventional element that handles an electric signal and is likely to break down.

よって、この問題を解決するために、光通信経路に冗長な経路を設けておき、発光素子が故障した場合には冗長な経路に切り替えて通信を行うという技術があった(特許文献1)。   Therefore, in order to solve this problem, there has been a technique in which a redundant path is provided in the optical communication path, and communication is performed by switching to the redundant path when the light emitting element fails (Patent Document 1).

特開2010-514366号公報JP 2010-514366 A

しかしながら、特許文献1記載の方法では、余分な発光素子を含む通信装置を準備しておく必要があるため、コストが大きくなる。特に、計算ノードの数の多い並列計算機では、通信経路も多くなり、冗長な通信経路のコストは膨大となる。また、別の観点から見れば、冗長な通信経路を素子が故障する以前に使用できればさらに高速な通信が可能となり、同じコストで考えれば特許文献1に記載の発明では、通信性能が低下している。よって、光信号を用いた通信を行う際に、コストと性能を両立させることが課題となっていた。   However, in the method described in Patent Document 1, it is necessary to prepare a communication device including an extra light emitting element, which increases the cost. In particular, in a parallel computer with a large number of computing nodes, the number of communication paths increases, and the cost of redundant communication paths becomes enormous. From another point of view, if a redundant communication path can be used before an element breaks down, higher-speed communication is possible, and the invention described in Patent Document 1 reduces communication performance if considered at the same cost. Yes. Therefore, when performing communication using an optical signal, it has been a problem to achieve both cost and performance.

本発明では、実行するジョブが必要とする通信量を考慮してジョブを計算ノードに配置するとともに、配置されたジョブに最適な通信経路構成に組み替える。   In the present invention, the job is arranged in the calculation node in consideration of the communication amount required for the job to be executed, and is rearranged to the optimum communication path configuration for the arranged job.

本願発明による課題を解決するための手段のうち、代表的なものは以下の通りである。   Among the means for solving the problems according to the present invention, typical ones are as follows.

第1に、情報処理装置であって、複数の計算ノードと、光信号を用いた通信経路と、通信経路を切り替えるための光スイッチと、複数の計算ノードにジョブを割り当てる制御部と、光スイッチを切り替える信号を発生させる制御部とを有し、計算ノードの性能と光信号を用いた通信経路と計算する対象の性能を並べたテーブルの情報に従って、必要通信量の多いジョブを通信容量の多い計算ノードに割り当てるとともに、計算ノード間に必要な通信量を確保できるように光スイッチの接続を切り替えることを特徴とする。   First, an information processing apparatus, a plurality of calculation nodes, a communication path using optical signals, an optical switch for switching communication paths, a control unit that assigns jobs to the plurality of calculation nodes, and an optical switch A control unit that generates a signal for switching between, and according to the information of the table in which the performance of the calculation node, the communication path using the optical signal and the performance of the target to be calculated are arranged, a job with a large amount of necessary communication has a large communication capacity It is characterized in that the connection of the optical switch is switched so as to be allocated to the calculation nodes and to secure a necessary communication amount between the calculation nodes.

本発明によれば、光通信経路を用いた情報処理装置において、光通信経路に障害があっても性能を極力落とさずに情報処理を実施することが可能となる。さらには、情報処理装置が持つ通信経路等のリソースを最大限活用して性能を出すことが可能となる。さらには、通信経路等のコストを最小限に抑えて性能を最大にすることが可能となる。   According to the present invention, in an information processing apparatus using an optical communication path, it is possible to perform information processing without degrading performance as much as possible even if there is a failure in the optical communication path. Furthermore, it is possible to maximize performance by utilizing resources such as communication paths possessed by the information processing apparatus. Furthermore, it is possible to maximize the performance by minimizing the cost of the communication path and the like.

本発明を用いた並列計算機の基本構成図。1 is a basic configuration diagram of a parallel computer using the present invention. 計算ノードの一例。An example of a computation node. 各計算ノードのネットワーク容量を保持した表。A table holding the network capacity of each compute node. 演算するジョブ間の通信量を保持した表。A table that holds the amount of communication between jobs to be calculated. 光スイッチおよびジョブの割り当て表。Optical switch and job assignment table. 演算するジョブ間の通信量を保持した表。A table that holds the amount of communication between jobs to be calculated. 光スイッチおよびジョブの割り当て表。Optical switch and job assignment table. 本発明を用いた並列計算機の光スイッチ切替え後の構成図。The block diagram after the optical switch switching of the parallel computer using this invention. 並列計算機の通信経路に故障が発生した場合の状態を示す図。The figure which shows a state when a failure generate | occur | produces in the communication path of a parallel computer. 各計算ノードのネットワーク容量を保持した表。A table holding the network capacity of each compute node. 光スイッチおよびジョブの割り当て表。Optical switch and job assignment table. 本発明を用いた並列計算機に故障が発生した場合の状態図。The state diagram when a failure occurs in the parallel computer using the present invention. この図の(a)および(b)は、故障場所を特定するためのスイッチ切り替え図。(A) And (b) of this figure is a switch switching diagram for specifying a failure location. 故障箇所を特定するためのフローチャート。The flowchart for specifying a failure location. 本発明を用いた並列計算機の基本構成図。1 is a basic configuration diagram of a parallel computer using the present invention. 電気スイッチのネットワーク容量を保持した表。A table holding the network capacity of electrical switches. 演算するジョブ間の通信量を保持した表。A table that holds the amount of communication between jobs to be calculated. 光スイッチおよびジョブの割り当て表。Optical switch and job assignment table. 電気スイッチのネットワーク容量を保持した表。A table holding the network capacity of electrical switches. 光スイッチおよびジョブの割り当て表。Optical switch and job assignment table. 本発明を用いた並列計算機の光スイッチ切替え後の構成図。The block diagram after the optical switch switching of the parallel computer using this invention. 各計算ノードのネットワーク容量を保持した表。A table holding the network capacity of each compute node. 演算するジョブ間の通信量を保持した表。A table that holds the amount of communication between jobs to be calculated. 光スイッチおよびジョブの割り当て表。Optical switch and job assignment table. 本発明を用いた並列計算機の光スイッチ切替え後の構成図。The block diagram after the optical switch switching of the parallel computer using this invention. 本発明を用いた並列計算機の光スイッチ切替え後の構成図。The block diagram after the optical switch switching of the parallel computer using this invention. ネットワークの稼働時間を保持した表。A table holding network uptime. 本発明を用いた並列計算機の光スイッチ切替え後の構成図。The block diagram after the optical switch switching of the parallel computer using this invention. ネットワーク内の光素子の発光強度を保持した表。The table | surface which hold | maintained the emitted light intensity of the optical element in a network. 本発明を用いた並列計算機の光スイッチ切替え後の構成図。The block diagram after the optical switch switching of the parallel computer using this invention. ネットワークの発光素子の周辺温度を保持した表。A table holding the ambient temperature of the light emitting elements of the network. ジョブの実行フロー。Job execution flow. ジョブの計算ノードへの割り当てと光スイッチ切り替えフロー。Job assignment to compute nodes and optical switch switching flow. ジョブの計算ノードへの割り当てと光スイッチ切り替えフロー。Job assignment to compute nodes and optical switch switching flow. 通信経路に障害が起こった場合のジョブの実行フロー。The job execution flow when a failure occurs in the communication path. 通信経路に障害が起こった場合のジョブの実行フロー。The job execution flow when a failure occurs in the communication path.

本発明の代表的な情報処理装置では、複数の計算ノードと光素子を用いた通信経路を用いた並列情報処理装置において、光通信経路に障害があった場合にも性能を落とさず情報処理を行うことが可能となる。以下、本発明の各実施例について、図面を用いて詳細に説明する。   In a typical information processing apparatus of the present invention, in a parallel information processing apparatus using a communication path using a plurality of calculation nodes and optical elements, even if there is a failure in the optical communication path, the information processing is not performed. Can be done. Embodiments of the present invention will be described below in detail with reference to the drawings.

図1に本発明を用いた情報処理装置の構成を示す。図1において、NODE1〜NODE4は演算を行う計算ノード、OSW1は12入力×12出力の光スイッチ、CONT1は計算ノードにジョブを割り振るとともに光スイッチを制御する制御回路、JCONT1は計算ノードにジョブを割り当てるための信号、OCONT1は光スイッチの経路を切り替えるための制御信号を表す。各計算ノードからは3本の通信経路が出力され、光スイッチを介して他の計算ノードと接続されている。この構成で情報処理を行う際には、複数ある計算ノードにそれぞれジョブが割り振られて計算が実施される。あるジョブで計算した結果を他のジョブに渡す際には、光スイッチを用いた通信経路を通じてデータが転送される。また、あるノードからあるノードにデータを送る際に、直接の経路がなくても他のノードを経由してデータを送ることが可能である。例えば、NODE1からNODE4へデータを送る際に直接の通信経路がない場合にも、NODE1からNODE2とNODE2からNODE4の経路があれば、まずはNODE1からNODE2へデータを送り、さらにそのデータをNODE2からNODE4に送ることでデータ通信が可能となる。ただし、直接の経路がない場合にはデータの転送に時間がかかり、直接の経路がある場合と比較して性能は劣化する。   FIG. 1 shows a configuration of an information processing apparatus using the present invention. In FIG. 1, NODE1 to NODE4 are computation nodes that perform operations, OSW1 is a 12-input x 12-output optical switch, CONT1 assigns a job to the computation node and controls the optical switch, and JCONT1 assigns a job to the computation node The signal OCONT1 represents a control signal for switching the path of the optical switch. Three communication paths are output from each computation node, and are connected to other computation nodes via optical switches. When information processing is performed with this configuration, a job is allocated to each of a plurality of calculation nodes and calculation is performed. When the result calculated in a certain job is transferred to another job, data is transferred through a communication path using an optical switch. Further, when sending data from one node to another node, it is possible to send data via another node even if there is no direct route. For example, even if there is no direct communication path when sending data from NODE1 to NODE4, if there is a route from NODE1 to NODE2 and NODE2 to NODE4, first send the data from NODE1 to NODE2, and then send the data from NODE2 to NODE4. Data communication is possible by sending to. However, when there is no direct route, it takes time to transfer data, and the performance deteriorates as compared with the case where there is a direct route.

計算ノードNODE1〜NODE4の一例を図2に示す。計算ノードは、ボード(図中BOARD)上に、計算を実行するCPU(図中のCPU)と計算データを記憶するメモリ(図中のMEM)、メモリよりも大容量の一時的にデータを保存するストレージ(図中のSTO)、3本の通信経路(図中のLAN)を出力する通信カード(図中のHCA)が配置されて構成されている。CPUは一般的なCPUであり、メモリには通常DRAMが、ストレージにはハードディスクドライブやSSD(Solid State Drive)等が用いられる。通信経路には、イーサネットやInfiniband、PCE Expressなどが用いられる。本実施例では、各計算ノードからは3本の通信経路が出力されており、ここには光信号を用いた通信経路が用いられる。図3では、各計算ノードの通信経路数、つまり通信経路の容量がテーブルであらわされる。図1の状態では各ノードの通信経路がすべて動作している場合を示しているため、各ノードのネットワーク容量は3となっている。   An example of the computation nodes NODE1 to NODE4 is shown in FIG. The computation node is a board (BOARD in the figure) on the board (CPU in the figure), a memory to store calculation data (MEM in the figure), and temporarily stores data with a larger capacity than the memory. Storage (STO in the figure) and communication card (HCA in the figure) that outputs three communication paths (LAN in the figure) are arranged. The CPU is a general CPU, and a DRAM is usually used as a memory, and a hard disk drive or an SSD (Solid State Drive) is used as a storage. Ethernet, Infiniband, PCE Express, etc. are used for the communication path. In this embodiment, three communication paths are output from each computation node, and a communication path using an optical signal is used here. In FIG. 3, the number of communication paths of each computation node, that is, the capacity of the communication path is represented by a table. Since the state of FIG. 1 shows the case where all the communication paths of each node are operating, the network capacity of each node is 3.

図4に、この情報処理装置で処理する並列な計算における各ジョブ間の通信量の一例を示す。並列計算では、計算する処理をノード数のジョブに分割し、そのジョブを情報処理装置の各ノードに割り当てる。その際に、ノード間では計算結果のやり取りが必要となるため、通信が発生する。   FIG. 4 shows an example of the communication amount between each job in the parallel calculation processed by this information processing apparatus. In the parallel calculation, the processing to be calculated is divided into jobs of the number of nodes, and the job is assigned to each node of the information processing apparatus. At this time, communication is generated because calculation results need to be exchanged between nodes.

計算処理を分割した際には各ジョブ間で必要な通信量はわかるため、図4のテーブルに示す通信量の分布が得られる。本発明を用いた情報処理装置では、図3の各ノードが持っているネットワーク容量と図4の各ジョブ間で必要な通信量を考慮して、各ジョブを各ノードに割り当てるとともに、ノード間の通信を行うための配線を光スイッチで切替え、処理を実行する。この例では、各ノードのネットワーク容量が均等であることと、必要な通信量が均等であることから、図5に示すようにジョブを割り当てるとともに光スイッチの接続も各ノード間に均等に割り当てる。図5の表の中心の4列は各ノード間を接続する通信路の本数を示しており、4つあるノード間が均等に1本ずつで接続されている。また右の列はジョブの割り当てを示しており、NODE1〜NODE4にそれぞれJOB1〜JOB4が割り当てられる。この際の光スイッチによる通信経路の割り当ては、図1のとおりとなる。   When the calculation process is divided, the communication amount necessary for each job is known, so the communication amount distribution shown in the table of FIG. 4 is obtained. In the information processing apparatus using the present invention, each job is assigned to each node in consideration of the network capacity possessed by each node in FIG. 3 and the traffic required between each job in FIG. The wiring for performing communication is switched by an optical switch, and processing is executed. In this example, because the network capacity of each node is equal and the necessary communication amount is equal, jobs are assigned as shown in FIG. 5 and optical switch connections are also equally assigned between the nodes. The four columns at the center of the table of FIG. 5 indicate the number of communication paths connecting the nodes, and the four nodes are evenly connected one by one. The right column shows job assignment, and JOB1 to JOB4 are assigned to NODE1 to NODE4, respectively. In this case, the assignment of communication paths by the optical switch is as shown in FIG.

図32に本発明を用いた情報処理装置での演算の実行手順を示す。最初に実行するジョブの特性に応じて計算ノードへのジョブの割り当てと光スイッチの切り替えを実行し、ジョブ割り当てと光スイッチの切り替えが終了後ジョブを実行する。ジョブの実行が終了すると、次のジョブの内容にしたがって、再度計算ノードへのジョブの割り当てと光スイッチの切り替えを行う。   FIG. 32 shows a calculation execution procedure in the information processing apparatus using the present invention. Job assignment to a calculation node and switching of an optical switch are executed according to the characteristics of the job to be executed first, and the job is executed after job assignment and switching of the optical switch are completed. When the execution of the job is completed, the job assignment to the calculation node and the switching of the optical switch are performed again according to the contents of the next job.

この繰り返しによって、ジョブを実行するとともに各ジョブに最適な計算ノードの割り当てとネットワーク構成を用いて計算を実行する。図33に、図32でのジョブ割り当てと光スイッチ切り替えを実行する際のフローを示す。最初にジョブの特性の情報より各ジョブが必要とする通信量のテーブルを作成する。次に、そのテーブルの情報を元に必要情報量が情報装置の有するネットワーク容量にあうように各ジョブを情報装置内の計算ノードに割り当てる。次に各ジョブが割り当てられた各計算ノードに必要なネットワーク構成を実現するように光スイッチを切り替える。光スイッチの切り替えが終わると、計算を実行する。   By repeating this, the job is executed and the calculation is executed using the optimum calculation node assignment and network configuration for each job. FIG. 33 shows a flow when executing job assignment and optical switch switching in FIG. First, a communication amount table required for each job is created based on job characteristic information. Next, based on the information in the table, each job is assigned to a calculation node in the information device so that the required information amount matches the network capacity of the information device. Next, the optical switch is switched so as to realize a network configuration necessary for each computation node to which each job is assigned. When the switching of the optical switch is finished, the calculation is performed.

図34には、図33のフローを実行するためのフローチャートの一例を示す。ステップ101において、各ジョブ間の必要通信量のテーブルにより各ジョブに必要な通信量の合計を計算する。これによって図4の表が得られる。ステップ102において、必要通信量の多いジョブから順に通信容量の大きい計算ノードに割り当てる。ステップ102〜104の条件分岐およびループによって、すべてのジョブを必要通信量の多い順に割り当てることが可能となる。次にステップ106においてノード間の必要通信量のテーブルを作成する。   FIG. 34 shows an example of a flowchart for executing the flow of FIG. In step 101, the total amount of communication required for each job is calculated from the table of required communication amount between jobs. This gives the table in FIG. In step 102, jobs with a large communication capacity are assigned in order from jobs with a large required communication volume. With the conditional branches and loops of steps 102 to 104, all jobs can be assigned in the order of the required amount of communication. Next, in step 106, a table of necessary traffic between nodes is created.

これは、割り当てられたジョブの情報を元にノード間に必要な通信量を書き出すことで容易に作成可能である。次にステップ107において各ノードが持つネットワークを必要通信量に比例配分で割り当てる。この時に使われる各ノードの持つネットワーク容量は例えば図3の表が使用される。ステップ108〜110の分岐およびループは、単純にネットワーク容量を各ノードに比例配分すると、ネットワークは必要だが実際にはネットワークが接続されないノードが出てくることを防ぐためのフローである。   This can be easily created by writing out the necessary communication amount between the nodes based on the assigned job information. Next, in step 107, the network possessed by each node is allocated to the required communication amount by proportional distribution. For example, the table of FIG. 3 is used as the network capacity of each node used at this time. The branches and loops of steps 108 to 110 are flows for preventing a node that needs a network but is not actually connected to the network when a network capacity is simply distributed proportionally to each node.

たとえば、ノード1とノード2の間の必要通信量が100、ノード1とノード3との間の必要通信量が1で、ノード1に配分できる通信経路(ネットワーク容量)が3だった場合、3ある通信経路がすべてノード1とノード2の間に割り当てられてしまう。これを防ぐために、通信経路がまったくないノードがあった場合には、必要通信量を便宜上2倍に大きく見せてネットワークの割り当てをやり直すことでネットワーク接続が必要にもかかわらずネットワークが接続されていないノードが形成されることを防ぐ。この割り当て結果によって図5の表が得られる。この表のとおりに光スイッチを切り替えれば、ジョブを配置して計算が可能となる。   For example, if the required traffic between node 1 and node 2 is 100, the required traffic between node 1 and node 3 is 1, and the communication path (network capacity) that can be allocated to node 1 is 3, A certain communication path is allotted between node 1 and node 2. To prevent this, if there is a node that has no communication path, the network is not connected even though the network connection is necessary by re-allocating the network by making the required communication amount twice larger for convenience. Prevent nodes from forming. The table of FIG. 5 is obtained according to the assignment result. If the optical switch is switched as shown in this table, jobs can be arranged and calculation can be performed.

ここで、本例における情報処理装置で処理する計算の内容が変化し、ジョブ間の必要通信量が変わった場合を考える。図6に変化した各ジョブ間の必要通信量を示す。図4の場合と比較すると、JOB1とJOB3の間の必要通信量が増加する一方、JOB4からJOB1およびJOB3への必要通信量が減っていることが分かる。この処理を図1および図5で示した通信経路で処理した場合、JOB1とJOB3の間の通信がボトルネックとなってしまう。よって、光スイッチによって通信経路を変更することで、このボトルネックを解消することが可能となる。   Here, a case is considered where the content of calculation processed by the information processing apparatus in the present example changes, and the necessary communication amount between jobs changes. Figure 6 shows the amount of communication required between each job that has changed. Compared to the case of FIG. 4, it can be seen that the required communication volume between JOB1 and JOB3 increases, while the required communication volume from JOB4 to JOB1 and JOB3 decreases. When this process is performed using the communication paths shown in FIGS. 1 and 5, communication between JOB1 and JOB3 becomes a bottleneck. Therefore, this bottleneck can be eliminated by changing the communication path using the optical switch.

そのための光スイッチの割り当て方を図7の表に示す。JOB1とJOB3が割り当てられているNODE1およびNODE3の間の通信経路を図5の場合から増やして2とする一方で、通信が必要のないJOB4が割り当てられたNODE4とNODE1およびNODE3との経路は減って0となっている。これを実際に光スイッチで切り替えた場合の構成を図8に示す。図1の場合と異なり、NODE1とNODE3の間は2本の通信経路が出来ている一方、NODE1およびNODE3からNODE4への通信経路はなくなっていることがわかる。   The table in FIG. 7 shows how to assign optical switches for this purpose. While the number of communication paths between NODE1 and NODE3 to which JOB1 and JOB3 are assigned is increased to 2 from the case of Figure 5, the number of paths between NODE4 and NODE1 and NODE3 to which JOB4 that does not require communication is assigned is reduced. 0. FIG. 8 shows a configuration when this is actually switched by an optical switch. Unlike the case of FIG. 1, it can be seen that there are two communication paths between NODE1 and NODE3, but there are no communication paths from NODE1 and NODE3 to NODE4.

つまり、光スイッチによって通信経路を切り替えることによって、計算する処理に応じた計算機構成をとることが出来、性能が向上できることがわかる。この場合も、図34のフローを用いて、各ジョブの各計算ノードへの割り当てと光スイッチの切り替えを実行することが可能となる。この場合、図34のステップ101で生成されるテーブルは図6のテーブルであり、各ノードが持つ通信量のテーブルは図3のテーブルが使用され、最終的なジョブの計算ノードへの割り当てと光スイッチの接続を表すテーブルとして図7のテーブルが生成される。図11のテーブルにしたがって光スイッチを切り替えれば、ジョブを計算ノードに配置して処理を実行することが可能となる。   That is, it can be seen that by switching the communication path by the optical switch, a computer configuration corresponding to the processing to be calculated can be taken, and the performance can be improved. Also in this case, it is possible to execute assignment of each job to each calculation node and switching of the optical switch using the flow of FIG. In this case, the table generated in step 101 of FIG. 34 is the table of FIG. 6, and the table of FIG. 3 is used as the traffic volume table of each node. The table shown in FIG. 7 is generated as a table representing switch connections. If the optical switch is switched according to the table of FIG. 11, the job can be arranged in the calculation node and executed.

さらに、通信経路では故障がおきやすく、特に光信号を用いる場合に必要となる発光素子は壊れやすいという特徴がある。本発明を用いると、通信経路に故障が発生した場合に性能を落とさずに計算を行うことがある。   Furthermore, there is a feature that a failure is likely to occur in the communication path, and in particular, a light emitting element required when using an optical signal is easily broken. When the present invention is used, a calculation may be performed without degrading performance when a failure occurs in a communication path.

図9に通信経路に故障が発生した場合の情報処理装置の状態を示す。本例では、NODE3がもつ3本の通信経路の1本が故障した状態をあらわしている。この際に、NODE3で通信路が故障したことを感知し、制御部に通知する。それにともなって、制御部で保持する各ノードのネットワーク容量の表が図10のように書き換えられる。それにともなって、図6で示した各ジョブの必要な通信量と図10のネットワーク容量からジョブおよび光スイッチの再割り当てが行われる。   FIG. 9 shows the state of the information processing apparatus when a failure occurs in the communication path. In this example, one of the three communication paths of NODE3 has failed. At this time, NODE3 senses that the communication path has failed and notifies the control unit. Accordingly, the network capacity table of each node held by the control unit is rewritten as shown in FIG. Along with this, the jobs and optical switches are reassigned based on the necessary communication amount of each job shown in FIG. 6 and the network capacity of FIG.

ジョブおよびスイッチの割り当て結果の一例を図11に示す。NODE3のネットワーク容量が低くなっているため、必要な通信量が少ないJOB4がNODE3に割り当てられ、JOB3はNODE4に割り当てられる。JOB1とJOB3間の通信量は多いため、NODE1とNODE4の接続本数が増やされて2となる。このジョブの割り当ての状態、および、光スイッチの接続を図12に示す。   An example of job and switch assignment results is shown in FIG. Since NODE3 has a low network capacity, JOB4, which requires less communication, is assigned to NODE3, and JOB3 is assigned to NODE4. Since the amount of communication between JOB1 and JOB3 is large, the number of connections between NODE1 and NODE4 is increased to 2. FIG. 12 shows the job assignment state and the optical switch connection.

図8の場合と同じ処理を実行しても、ジョブの割り当ておよび光スイッチの接続状態が異なっていることがわかる。また、このとき、図12では通信経路の一部が故障しているが、必要な通信量は確保できているため、図8と比較して図12では性能が落ちていないことが分かる。   Even when the same processing as in FIG. 8 is executed, it can be seen that the job assignment and the optical switch connection state are different. In addition, at this time, although a part of the communication path is broken in FIG. 12, the necessary communication amount can be secured, so that it can be seen that the performance does not deteriorate in FIG. 12 compared to FIG.

この場合も、図34のフローを用いて、各ジョブの各計算ノードへの割り当てと光スイッチの切り替えを実行することが可能となる。この場合、図34のステップ101で生成されるテーブルは図6のテーブルであり、各ノードが持つ通信量のテーブルは図10のテーブルが使用され、最終的なジョブの計算ノードへの割り当てと光スイッチの接続を表すテーブルとして図11のテーブルが生成される。図11のテーブルにしたがって光スイッチを切り替えれば、ジョブを計算ノードに配置し、通信経路に故障があった場合にも計算性能を落とさずに処理を実行することが可能となる。   Also in this case, it is possible to execute assignment of each job to each calculation node and switching of the optical switch using the flow of FIG. In this case, the table generated in step 101 in FIG. 34 is the table in FIG. 6, and the table in FIG. 10 is used as the traffic volume table of each node. The table shown in FIG. 11 is generated as a table representing switch connections. If the optical switch is switched according to the table of FIG. 11, it is possible to place a job on a calculation node and execute the processing without degrading the calculation performance even when there is a failure in the communication path.

ここで、通信経路が故障した場合、通信経路を構成する部品に故障が発生した際にエラー信号を発生したり、ランプが点いたりという機能がある場合には容易に故障箇所を突き止めることが出来る。特に、故障信号を発生する場合には、その信号を光スイッチの制御回路に入力することで、容易に図3に示したネットワーク容量の表を書き換えることが出来、ジョブおよび光スイッチの構成を変更することが出来る。   Here, when the communication path fails, it is possible to easily locate the failure point when there is a function such as generating an error signal when a failure occurs in a component constituting the communication path or turning on a lamp. . In particular, when a fault signal is generated, the network capacity table shown in Fig. 3 can be easily rewritten by inputting the signal to the control circuit of the optical switch, and the configuration of the job and optical switch can be changed. I can do it.

また、部品にその機能がない場合には、通信経路を制御することで故障箇所を特定することが出来る。例えば、図13(a)において、NODE3の一番上の通信出力が故障した場合、NODE1とNODE3のデータのやり取りからNODE1の一番上の通信路とNODE3の一番上を接続した経路Aにて障害が発生したことは検出可能であるが、経路A上のどこが故障したかは判明しない。よってこの場合には、図14のシーケンスにしたがって故障箇所を特定する。故障が発生すると、そのとき実行していたジョブを停止する。経路A上で故障が発生したことはわかるため、次に光スイッチを図13(b)の状態に切替え、経路Bおよび経路Cを構成する。   In addition, when a component does not have the function, the failure location can be specified by controlling the communication path. For example, in Fig. 13 (a), if the communication output at the top of NODE3 fails, the exchange of data between NODE1 and NODE3 changes to the path A that connects the top communication path of NODE1 and the top of NODE3. It is possible to detect that a failure has occurred, but it is not known where the failure occurred on the path A. Therefore, in this case, the failure location is specified according to the sequence of FIG. When a failure occurs, the job being executed at that time is stopped. Since it is understood that a failure has occurred on the path A, the optical switch is then switched to the state shown in FIG.

この状態において、経路Bの通信路が不通であればNODE3の一番上の通信路が故障したことが分かり、経路Cの通信路が不通であればNODE1の一番上の通信路が故障したことが分かる。よって、この情報を各ノードの通信容量のテーブルに反映してジョブおよび光スイッチを切り替えることで、性能を落とさないように故障箇所を迂回することが可能となる。   In this state, if the communication path of route B is not connected, it turns out that the communication channel at the top of NODE3 has failed. If the communication route of route C is not connected, the communication channel at the top of NODE1 has failed. I understand that. Therefore, by reflecting this information on the communication capacity table of each node and switching the job and the optical switch, it is possible to bypass the failure location without degrading the performance.

また、通信経路に障害が発生したときのジョブの実行フローを図35に示す。故障が発生してない状況では、図32と同様に、ジョブの割り当ておよび光スイッチの切り替えが行われた後にジョブの実行が行われる。ここで、例えばジョブBを実行中に通信経路に障害が発生した場合を考える。例えば、ノード間の通信に、例えば、Infinibandが使用されていた場合には、完全に通信路が遮断されない限り、通信の性能は低下するが、通信自体は実行可能である。よって、ジョブの実行時間は長くなるが、その時点で実行中のジョブBは実行可能である。本発明を用いた情報通信装置では、ジョブBが終わった時点で、障害が起きたネットワークの情報をもとに各ノードがもつネットワーク容量のテーブルが書き換えられる。   FIG. 35 shows a job execution flow when a failure occurs in the communication path. In a situation where no failure has occurred, the job is executed after the job assignment and the optical switch switching, as in FIG. Here, for example, consider a case where a failure occurs in the communication path during execution of job B. For example, when Infiniband is used for communication between nodes, for example, the communication performance is lowered unless the communication path is completely blocked, but the communication itself can be executed. Therefore, the job execution time becomes long, but the job B being executed at that time can be executed. In the information communication apparatus using the present invention, when the job B is completed, the network capacity table of each node is rewritten based on the information of the network where the failure has occurred.

そのテーブルを用いて、図34のフローで各計算ノードへのジョブの割り当てと光スイッチの切り替えが実行され、次のジョブCの実行が行われる。   Using the table, job assignment to each computation node and switching of the optical switch are executed in the flow of FIG. 34, and the next job C is executed.

また通信経路に障害が発生した場合に、接続されているノードの通信経路が完全に失われてしまった場合や、ノード間の通信にイーサネットが使われていた場合には、通信経路に障害が発生した時点でそのネットワークは完全に遮断されてしまう。この場合のジョブの実行フローを図36に示す。その場合には実行中のジョブが停止し、ジョブを割り当てるノードが停止を検知する。その時点で各ノードが持つネットワーク容量のテーブルを書き換えるとともに、そのテーブルの情報を用いて図34のフローで各計算ノードへのジョブの割り当てと光スイッチの切り替えが実行され、停止したジョブBの再実行が行われる。   Also, when a communication path failure occurs, if the communication path of the connected node is completely lost, or if Ethernet is used for communication between nodes, the communication path will fail. The network is completely shut down when it occurs. FIG. 36 shows the job execution flow in this case. In that case, the job being executed stops, and the node to which the job is assigned detects the stop. At that time, the network capacity table of each node is rewritten, and the information in that table is used to assign jobs to each computation node and switch the optical switch in the flow of FIG. Execution is performed.

本実施例において、図1の制御回路CONT1は計算ノードとは別の構成要素として図示したが、実際にはいずれかの計算ノードがその役割を担うことが可能である。また計算ノードや通信経路、光スイッチのポートは複数あれば数が変わっても同様の効果が得られる。   In the present embodiment, the control circuit CONT1 in FIG. 1 is illustrated as a component different from the calculation node, but in reality, any one of the calculation nodes can play the role. Further, if there are a plurality of calculation nodes, communication paths, and optical switch ports, the same effect can be obtained even if the number changes.

以上のように、本発明を用いれば、複数の計算ノードを有する情報処理装置において、通信経路に障害があった際にも性能を落とさずに情報処理を実行することが可能となる。   As described above, according to the present invention, in an information processing apparatus having a plurality of computation nodes, it is possible to execute information processing without degrading performance even when there is a failure in a communication path.

図15に本発明を用いた情報処理装置の構成を示す。図15において、NODE1〜NODE8は演算を行う計算ノード、OSW1は光信号を用いた通信経路を切り替える光スイッチ、ESW1〜ESW4は複数の計算ノードと光スイッチ間で通信する際のデータを割り振る電気スイッチ、CONT2は計算ノードにジョブを割り振るとともに電気スイッチのルーティングと光スイッチの接続を制御する制御回路、JCONT2は計算ノードにジョブを割り当てるための信号、OCONT2は光スイッチの経路を切り替えるための制御信号、ECONT2は電気スイッチのルーティングを制御するための制御信号を表す。   FIG. 15 shows a configuration of an information processing apparatus using the present invention. In FIG. 15, NODE1 to NODE8 are computation nodes that perform computation, OSW1 is an optical switch that switches a communication path using an optical signal, and ESW1 to ESW4 are electrical switches that allocate data when communicating between a plurality of computation nodes and the optical switch , CONT2 is a control circuit that assigns jobs to calculation nodes and controls routing of electrical switches and connection of optical switches, JCONT2 is a signal for assigning jobs to calculation nodes, OCONT2 is a control signal for switching the path of optical switches, ECONT2 represents a control signal for controlling the routing of the electrical switch.

本実施例が実施例1と異なるのは、計算ノードと光スイッチの間に電気スイッチが入り、電気スイッチと光スイッチ間は光信号を用いた通信が行われる点である。計算ノードと電気スイッチ間の通信は、電気信号を用いた通信を用いることも可能であり、光信号を用いた通信を用いることも可能である。ある計算ノードから他の計算ノードへデータを送る場合には、同じ電気スイッチに接続されている計算ノードには電気スイッチのみを経由してデータを転送する。   This embodiment is different from the first embodiment in that an electrical switch is inserted between the calculation node and the optical switch, and communication using an optical signal is performed between the electrical switch and the optical switch. Communication between the calculation node and the electrical switch can be performed using communication using an electrical signal, or can be performed using communication using an optical signal. When data is sent from one computation node to another computation node, the data is transferred to the computation nodes connected to the same electrical switch only through the electrical switch.

このため、そのデータ転送の性能は高い。一方、同じ電気スイッチに接続されていない計算ノード間でデータをやり取りする場合、例えば図15のNODE1からNODE5にデータを送る場合には、NODE1から電気スイッチESW1にデータが送られ、そこで通信先が選択され、光信号を用いた通信路で光スイッチを経由し、電気スイッチESW3にデータが送られる。ESW3ではデータの転送先であるNODE5が選択され電気スイッチからNODE5にデータが転送される。   For this reason, the performance of the data transfer is high. On the other hand, when data is exchanged between computation nodes that are not connected to the same electrical switch, for example, when sending data from NODE1 to NODE5 in FIG. 15, data is sent from NODE1 to electrical switch ESW1, where the communication destination is Data is sent to the electrical switch ESW3 via the optical switch via the communication path using the optical signal. In ESW3, NODE5 which is a data transfer destination is selected, and data is transferred from the electrical switch to NODE5.

また、光スイッチの状態が図15の状態のときに、NODE1からNODE8にデータを転送する際には、NODE1からESW1、ESW1から光スイッチOSW1を介してESW2へ、さらにESW2から光スイッチOSW1を介してESW4へデータが転送され、最終的にESW4からNODE8へデータが転送される。このように、計算ノード間でデータを転送する際には、同じ電気スイッチに接続されたノード間でのデータ転送がもっとも高速で、次に異なる電気スイッチに接続されているがその電気スイッチが光スイッチで切り替える経路で接続されているノード間での通信が次に高速、異なる電気スイッチに接続されていてさらにその電気スイッチ同士が光スイッチを介した経路で結ばれていない場合がもっとも低速となる。   In addition, when data is transferred from NODE1 to NODE8 when the optical switch is in the state shown in FIG. 15, NODE1 to ESW1, ESW1 to ESW2 via optical switch OSW1, and ESW2 to optical switch OSW1. The data is transferred to ESW4, and finally the data is transferred from ESW4 to NODE8. In this way, when transferring data between computation nodes, data transfer between nodes connected to the same electrical switch is the fastest, and then connected to a different electrical switch. Communication between nodes connected by a switch switching path is the next fastest, and it is the slowest when connected to different electrical switches and the electrical switches are not connected by a path via an optical switch. .

よって、本情報処理装置で演算を行う際には、通信量が多いジョブを同じ電気スイッチに接続されたノードに割り振り、次に通信量が多いジョブを光スイッチで接続された電気スイッチに接続された計算ノードに割り振ると性能が高くなる。   Therefore, when performing computations with this information processing device, jobs with the largest amount of traffic are allocated to the nodes connected to the same electrical switch, and jobs with the next largest amount of traffic are connected to the electrical switch connected with the optical switch. Performance increases when allocated to different compute nodes.

図16および図17に、それぞれ各電気スイッチの光ネットワーク容量と計算するジョブ間の通信量の一例を示す。この情報をテーブルとして図15中の制御回路CONT2が持ち、最適化を行い、図18のように光スイッチの接続とジョブの各ノードへの割り当てが決定される。この決定された情報は、図15における光スイッチ制御信号OCONT2で光スイッチを制御するとともに、ジョブ割り当て信号であるJCONT2によってジョブ各ノードに割り当てるのに使用される。さらに、実際に信号を送る際には、各電気スイッチがどのように接続されていて、どのあて先のデータをどの経路で送るか、という情報を電気スイッチが持っておく必要があるため、電気信号を制御する信号ECONT2によってその情報が各電気スイッチに転送される。   FIGS. 16 and 17 show an example of the optical network capacity of each electrical switch and the amount of communication between jobs to be calculated. The control circuit CONT2 in FIG. 15 has this information as a table, performs optimization, and determines the connection of the optical switch and the assignment of the job to each node as shown in FIG. This determined information is used to control the optical switch with the optical switch control signal OCONT2 in FIG. 15 and to allocate to each job node with the job allocation signal JCONT2. In addition, when actually sending a signal, it is necessary for the electrical switch to have information on how each electrical switch is connected and which destination data is sent via which path. The information is transferred to each electric switch by a signal ECONT2 for controlling

ここで光の通信経路に故障が発生した場合には、図19のように各電気スイッチの光ネットワークの容量の情報が変更される。この障害を検知するには、実施例1と同様の方法を用いれば可能である。この変更された情報と図17の各ジョブの情報から、光スイッチの状態と各ジョブの割り当てを決定すると図20のようになる。これを実現した光スイッチの状態を図21に示す。このとき、図21では通信経路の一部が故障しているが、必要な通信量は確保できているため、図15と比較して性能が落ちていないことが分かる。   Here, when a failure occurs in the optical communication path, the information on the capacity of the optical network of each electrical switch is changed as shown in FIG. This failure can be detected by using the same method as in the first embodiment. FIG. 20 shows the state of the optical switch and the assignment of each job determined from the changed information and the information of each job shown in FIG. The state of the optical switch that realizes this is shown in FIG. At this time, although a part of the communication path is broken in FIG. 21, it can be seen that the required communication amount is secured, so that the performance is not lowered as compared with FIG.

以上のように、本発明を用いれば、複数の計算ノードを有する情報処理装置において、通信経路に障害があった際にも性能を落とさずに情報処理を実行することが可能となる。   As described above, according to the present invention, in an information processing apparatus having a plurality of computation nodes, it is possible to execute information processing without degrading performance even when there is a failure in a communication path.

実施例1では、光信号を用いた通信経路の故障を検出してジョブの割り当ておよび光スイッチの経路の切替えを行ったが、現在の通信経路では、通信を行う部品の一部が故障しても性能を落として通信を行うことが可能である。例えば、Infinibandでは、一部の部品が壊れた場合に、正常時には40Gbpsの通信速度を一部故障時には10Gbpsで通信することが可能である。   In the first embodiment, a communication path failure using an optical signal is detected and job assignment and optical switch path switching are performed. However, in the current communication path, a part of the communication component fails. However, it is possible to perform communication with reduced performance. For example, in Infiniband, when some parts are broken, it is possible to communicate at a communication speed of 40 Gbps at normal times and at 10 Gbps at the time of partial failure.

よって、通信経路のネットワーク性能を正常か故障かの2値ではなく性能が落ちた状態を用いて、計算機でのジョブの割り当てと光スイッチの切り替えを行うことが可能である。   Therefore, it is possible to perform job assignment and optical switch switching in a computer using a state in which the network performance of the communication path is not a binary value indicating whether the communication path is normal or failed, but the performance is degraded.

実施例3が実施例1と異なるのは、通信経路の性能を細かく見ることが出来る点である。   The third embodiment is different from the first embodiment in that the performance of the communication path can be seen in detail.

図22に各計算ノードのネットワーク容量の情報の一例を示す。各計算ノードは3本のネットワーク経路を持っているため、それぞれの経路の性能を示している。   FIG. 22 shows an example of network capacity information of each computation node. Since each compute node has three network routes, the performance of each route is shown.

さらに図23には計算を行うジョブ間の通信量を示す。この2つの表から、通信量をなるべく減らすように光スイッチの切り替えとジョブの割り当てを決定すると図24となる。これを実現するための装置構成は図25となる。図25の1001と1002は性能の低下した端子を示す。実施例1の場合と異なるのは、制御回路CONT3と各計算ノードを接続する信号JCONT3によって、各通信経路の性能が細かく制御回路CONT3にフィードバックされる点にある。   Further, FIG. 23 shows the amount of communication between jobs to be calculated. From these two tables, FIG. 24 shows the optical switch switching and job assignment so as to reduce the traffic as much as possible. A device configuration for realizing this is shown in FIG. Reference numerals 1001 and 1002 in FIG. 25 denote terminals with degraded performance. The difference from the first embodiment is that the performance of each communication path is finely fed back to the control circuit CONT3 by a signal JCONT3 connecting the control circuit CONT3 and each calculation node.

以上のように、本発明を用いれば、複数の計算ノードを有する情報処理装置において、通信経路に障害があった際にも性能を落とさずに情報処理を実行することが可能となる。   As described above, according to the present invention, in an information processing apparatus having a plurality of computation nodes, it is possible to execute information processing without degrading performance even when there is a failure in a communication path.

光信号を用いた通信に用いられる光素子は、稼働時間が長くなると故障しやすくなるという性質がある。本発明では、稼働時間が長い素子をできるだけ使わないようにネットワークを構成する。図26に本発明を用いた情報処理装置の構成を示す。実施例1の図1と異なるのは、光素子の稼働時間を記憶するOTIMEと、光素子の稼働状況をOTIMEに伝える信号OINFOと、光素子の稼働時間の情報を加味して計算ノードへのジョブの割り振りと光スイッチの切り替えを制御する制御回路CONT4を有している点である。本構成では、図27のようにネットワークの稼働時間を記憶しており、稼働時間が長い素子を使わないように光スイッチが切り替えられる。本例では、NODE3が有しているネットワーク装置の稼働時間が長いため、図26のように光スイッチOSW1が切り替わり稼働時間を抑えている。   An optical element used for communication using an optical signal has a property that it easily breaks down when an operation time becomes long. In the present invention, the network is configured so as not to use an element having a long operation time as much as possible. FIG. 26 shows the configuration of an information processing apparatus using the present invention. The difference from FIG. 1 of the first embodiment is that OTIME for storing the operation time of the optical element, a signal OINFO for transmitting the operation status of the optical element to OTIME, and information on the operation time of the optical element are added to the calculation node. It has a control circuit CONT4 for controlling job allocation and optical switch switching. In this configuration, the network operation time is stored as shown in FIG. 27, and the optical switch is switched so as not to use an element having a long operation time. In this example, since the operation time of the network device included in NODE 3 is long, the optical switch OSW1 is switched to suppress the operation time as shown in FIG.

以上のように、本発明を用いれば、複数の計算ノードを有する情報処理装置において、通信装置の故障を発生させずさらに性能を落とさずに情報処理を実行することが可能となる。   As described above, according to the present invention, in an information processing apparatus having a plurality of calculation nodes, it is possible to execute information processing without causing a failure of the communication apparatus and further degrading performance.

光信号を用いた通信に用いられる光素子は、故障する前に発光強度が低下するという性質がある。本発明では、発光強度を測定し、発光強度の低い素子をできるだけ使わないようにネットワークを構成する。図28に本発明を用いた情報処理装置の構成を示す。   An optical element used for communication using an optical signal has a property that light emission intensity decreases before failure. In the present invention, the light emission intensity is measured, and the network is configured so as not to use an element having a low light emission intensity as much as possible. FIG. 28 shows the configuration of an information processing apparatus using the present invention.

実施例1の図1と異なるのは、光素子の発光強度をデータ化するOCALCと、光素子の発光強度を測定する測定器OMEASと、光素子の発光強度の情報を加味して計算ノードへのジョブの割り振りと光スイッチの切り替えを制御する制御回路CONT5を有している点である。   The difference from FIG. 1 of Example 1 is that the OCALC that converts the emission intensity of the optical element into data, the measuring device OMEAS that measures the emission intensity of the optical element, and the calculation node taking into account the information of the emission intensity of the optical element A control circuit CONT5 for controlling job allocation and switching of optical switches.

本構成では、図29のように光素子の発光強度がテーブル化され、発光強度の低下した素子を使わないように光スイッチが切り替えられる。本例では、NODE3が有しているネットワーク装置の光素子の発光強度が低いため、図28のように光スイッチOSW1が切り替わり稼働時間を抑えている。OCALCでは測定した発光強度情報を加工せずにCONT5に入力してスイッチを制御することも可能であるし、発光強度の変化を計測して記憶する記憶回路をOCALC内に有し、以前の状態と比較して発光強度が低下した光素子を使用しないようにスイッチを制御することも可能である。   In this configuration, the light emission intensity of the optical element is tabulated as shown in FIG. 29, and the optical switch is switched so as not to use the element having the light emission intensity lowered. In this example, since the light intensity of the optical element of the network device possessed by NODE3 is low, the optical switch OSW1 is switched as shown in FIG. 28 to suppress the operation time. In OCALC, it is also possible to control the switch by inputting the measured luminescence intensity information to CONT5 without processing, and it has a memory circuit in OCALC that measures and memorizes the change in luminescence intensity. It is also possible to control the switch so as not to use an optical element whose emission intensity is lower than that of the optical element.

以上のように、本発明を用いれば、複数の計算ノードを有する情報処理装置において、通信装置の故障を発生させずさらに性能を落とさずに情報処理を実行することが可能となる。   As described above, according to the present invention, in an information processing apparatus having a plurality of calculation nodes, it is possible to execute information processing without causing a failure of the communication apparatus and further degrading performance.

光信号を用いた通信に用いられる光素子は、温度が高い状況で稼動すると故障しやすいという性質がある。本発明では、光素子周辺の温度を測定し、温度が高い状態にある素子をできるだけ使わないようにネットワークを構成する。   An optical element used for communication using an optical signal has a property of easily failing when operated in a high temperature state. In the present invention, the temperature around the optical element is measured, and the network is configured so as not to use the element at a high temperature as much as possible.

図30に本発明を用いた情報処理装置の構成を示す。実施例1の図1と異なるのは、光素子周辺の温度情報をデータ化するTCALCと、光素子周辺の温度を測定する温度計TMEASと、光素子周辺の温度情報を加味して計算ノードへのジョブの割り振りと光スイッチの切り替えを制御する制御回路CONT6を有している点である。本構成では、図31のように光素子の周辺の温度情報がテーブル化され、周辺温度が高い素子を使わないように光スイッチが切り替えられる。本例では、NODE3が有しているネットワーク装置の光素子の周辺温度が高いため、図30のように光スイッチOSW1が切り替わる。TCALCでは測定した温度情報を加工せずにCONT6に入力してスイッチを制御することも可能であるし、温度の変化を計測し温度が上がってきた光素子を使用しないようにスイッチを制御することも可能である。   FIG. 30 shows a configuration of an information processing apparatus using the present invention. The difference from FIG. 1 of Example 1 is that the TCALC that converts temperature information around the optical element into data, the thermometer TMEAS that measures the temperature around the optical element, and the temperature information around the optical element are taken into the calculation node. The control circuit CONT6 controls the job allocation and switching of the optical switch. In this configuration, temperature information around the optical element is tabulated as shown in FIG. 31, and the optical switch is switched so as not to use an element having a high ambient temperature. In this example, the optical switch OSW1 is switched as shown in FIG. 30 because the ambient temperature of the optical element of the network device included in the NODE 3 is high. In TCALC, it is possible to control the switch by inputting the measured temperature information into CONT6 without processing it, and control the switch so that the temperature change is measured and the optical element whose temperature has risen is not used. Is also possible.

以上のように、本発明を用いれば、複数の計算ノードを有する情報処理装置において、通信装置の故障を発生させずさらに性能を落とさずに情報処理を実行することが可能となる。   As described above, according to the present invention, in an information processing apparatus having a plurality of calculation nodes, it is possible to execute information processing without causing a failure of the communication apparatus and further degrading performance.

CONT1〜CONT6…ジョブおよび光スイッチ制御素子
NODE1〜NODE8…計算ノード
OSW1…光スイッチ
JCONT3…ジョブ制御信号
OCONT2…光スイッチ制御信号
CPU…演算LSI、CPU
MEM…メモリLSI
STO…ストレージ装置(ハードディスク、SSD)
HCA…通信カード
LAN…通信経路
JOB1〜JOB8…計算ジョブ
OTIME…通信装置の稼働時間を記憶する素子
OINFO…通信装置の稼働状況を示す信号
OCALC…通信装置内の光強度をデータ化する素子
OMEAS…通信装置内の光素子の光強度測定器
TCALC…通信装置内の光素子の周辺温度をデータ化する素子
TMEAS…通信装置内の光素子の周辺温度測定器
101〜112…ジョブの割り当てと光スイッチの切り替えフローのステップ
CONT1 to CONT6: Job and optical switch control elements
NODE1 ~ NODE8 ... compute node
OSW1 ... Optical switch
JCONT3: Job control signal
OCONT2: Optical switch control signal
CPU: Arithmetic LSI, CPU
MEM ... Memory LSI
STO ... Storage device (hard disk, SSD)
HCA ... Communication card
LAN: Communication path
JOB1 ~ JOB8 ... Calculation job
OTIME: Element that stores the operating time of the communication device
OINFO: Signal indicating the operating status of the communication device
OCALC: An element that converts light intensity in a communication device into data
OMEAS ... Light intensity measuring device for optical elements in communication devices
TCALC: Element that converts the ambient temperature of optical elements in communication equipment into data
TMEAS ... Ambient temperature measuring device for optical elements in communication devices
101-112 ... Job assignment and optical switch switching flow steps

Claims (16)

複数の計算ノードと、
光信号を用いた通信経路と、
通信経路を切り替えるための光スイッチと、
複数の計算ノードにジョブを割り当てる制御部と、
光スイッチを切り替える信号を発生させる第1の制御部とを有し、
各計算ノードの持つ通信経路の数と計算するジョブの必要通信量を記載した第1のテーブルの情報に従って、
ジョブの必要通信量が多い順に通信経路の数の多い計算ノードにジョブが割り当てられるとともに、
第1のジョブが割り当てられている第1の計算ノードから、第2のジョブが割り当てられている第2の計算ノードへのデータ通信を行うために、かつ、
前記第1の計算ノードと前記第2の計算ノードとの間の光通信回線を設定するために、前記複数の計算ノードの間に設けられた光スイッチの設定を行うことを特徴とする情報処理装置。
Multiple compute nodes;
A communication path using optical signals;
An optical switch for switching the communication path;
A controller that assigns jobs to a plurality of compute nodes;
A first control unit for generating a signal for switching the optical switch,
According to the information in the first table that describes the number of communication paths each calculation node has and the required communication volume of the job to be calculated,
Jobs are assigned to compute nodes with the largest number of communication paths in descending order of the required communication volume of jobs,
To perform data communication from the first computation node to which the first job is assigned to the second computation node to which the second job is assigned, and
Information processing characterized by setting an optical switch provided between the plurality of calculation nodes in order to set an optical communication line between the first calculation node and the second calculation node apparatus.
通信経路に障害があった場合に障害のある通信経路を使用しないように前記光スイッチを切り替えることを特徴とする請求項1記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the optical switch is switched so that a faulty communication path is not used when there is a fault in the communication path. 通信路の障害は光信号を送受信する光素子に発生することを特徴とする請求項2記載の情報処理装置。   The information processing apparatus according to claim 2, wherein a communication path failure occurs in an optical element that transmits and receives an optical signal. 通信路に障害があった場合に前記のジョブを割り当てる制御部は使用しない通信路が発生するようにジョブを割り当てることを特徴とする請求項3記載の情報処理装置。   The information processing apparatus according to claim 3, wherein when there is a failure in the communication path, the control unit that allocates the job assigns the job so that an unused communication path is generated. 前記ジョブを割り当てる制御部は計算ノードの一部の機能を用いて実現されていることを特徴とする請求項4記載の情報処理装置。   The information processing apparatus according to claim 4, wherein the control unit that assigns the job is realized by using a part of a function of the computation node. 通信路の故障した場所を特定するために光スイッチを切り替えて複数の通信経路を用いることを特徴とする請求項4記載の情報処理装置。   5. The information processing apparatus according to claim 4, wherein a plurality of communication paths are used by switching an optical switch in order to identify a place where the communication path has failed. 通信路の稼働時間を記憶する記憶回路と、
通信路の稼働状況を伝達する信号とを有し、
通信路の稼働状況が長い通信路を使用しないように光スイッチを切り替えることを特徴とする請求項1記載の情報処理装置。
A storage circuit for storing the operating time of the communication path;
And a signal for transmitting the operation status of the communication path,
The information processing apparatus according to claim 1, wherein the optical switch is switched so as not to use a communication path having a long operation status of the communication path.
通信に使用される光素子の稼働時間が通信路の稼働時間として使用されることを特徴とする請求項7記載の情報処理装置。   The information processing apparatus according to claim 7, wherein an operation time of an optical element used for communication is used as an operation time of a communication path. 通信に使用される光素子の発光強度を測定する装置を有し、
発光強度が低下した発光素子を含む通信路を使用しないように光スイッチを切り替えることを特徴とする請求項1記載の情報処理装置。
It has a device that measures the light emission intensity of the optical element used for communication,
The information processing apparatus according to claim 1, wherein the optical switch is switched so as not to use a communication path including a light emitting element having a reduced emission intensity.
光の発光強度の履歴を記憶する回路を有し、
光の発光強度が以前よりも低下した発光素子を含む通信路と使用しないように光スイッチを切り替えることを特徴とする請求項9記載の情報処理装置。
A circuit for storing a history of light emission intensity;
The information processing apparatus according to claim 9, wherein the optical switch is switched so as not to be used with a communication path including a light emitting element whose light emission intensity is lower than before.
通信に使用される部品の周辺回路の温度を測定する温度計を有し、
温度が高い部品を含む通信路を使用しないように光スイッチを切り替えることを特徴とする請求項1記載の情報処理装置。
It has a thermometer that measures the temperature of the peripheral circuits of parts used for communication,
The information processing apparatus according to claim 1, wherein the optical switch is switched so as not to use a communication path including a component having a high temperature.
通信路には光素子を含み、
光素子周辺の温度を計測することを特徴とする請求項11記載の情報処理装置。
The communication path includes an optical element,
The information processing apparatus according to claim 11, wherein the temperature around the optical element is measured.
複数の電気スイッチを有し、
計算ノードから出力される通信経路は前記電気スイッチに接続され、
電気スイッチから出力される通信経路の一部が光スイッチに接続されることを特徴とする請求項1記載の情報処理装置。
Have multiple electrical switches,
The communication path output from the computation node is connected to the electrical switch,
The information processing apparatus according to claim 1, wherein a part of a communication path output from the electrical switch is connected to the optical switch.
電気スイッチから出力される経路を制御する信号と
前記電気スイッチから出力される経路を制御する信号を出力する第2の制御部とを有することを特徴とする請求項13記載の情報処理装置。
The information processing apparatus according to claim 13, further comprising: a signal that controls a path output from the electrical switch; and a second control unit that outputs a signal that controls the path output from the electrical switch.
前記第2の制御部は第1のテーブルの情報を用いて光スイッチの切り替え情報をもとに出力経路を決定することを特徴とする請求項14記載の情報処理装置。   15. The information processing apparatus according to claim 14, wherein the second control unit determines an output path based on optical switch switching information using information in the first table. 複数の計算ノードと、
前記複数の計算ノードが光信号を用いた通信経路で接続された光スイッチと、
複数の計算ノードにジョブを割り当てる第1の制御部と、
光スイッチを切り替える信号を発生させる第2の制御部とを有し、
計算ノードで実行するジョブが通信量の多い順に光信号を用いた通信経路の多い計算ノードに割り当てられるように第1の制御部が計算ノードにジョブを割り当てるとともに、第2の制御部が光スイッチの接続を切り替えることを特徴とする情報処理装置。
Multiple compute nodes;
An optical switch in which the plurality of calculation nodes are connected by a communication path using an optical signal;
A first controller that assigns jobs to a plurality of compute nodes;
A second control unit for generating a signal for switching the optical switch,
The first controller assigns jobs to the computation nodes so that jobs executed on the computation nodes are assigned to computation nodes with many communication paths using optical signals in the order of traffic, and the second controller is an optical switch. Information processing apparatus characterized by switching connection of.
JP2013002215A 2013-01-10 2013-01-10 Information processing device Pending JP2016075968A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013002215A JP2016075968A (en) 2013-01-10 2013-01-10 Information processing device
PCT/JP2013/079918 WO2014109117A1 (en) 2013-01-10 2013-11-05 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013002215A JP2016075968A (en) 2013-01-10 2013-01-10 Information processing device

Publications (1)

Publication Number Publication Date
JP2016075968A true JP2016075968A (en) 2016-05-12

Family

ID=51166782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013002215A Pending JP2016075968A (en) 2013-01-10 2013-01-10 Information processing device

Country Status (2)

Country Link
JP (1) JP2016075968A (en)
WO (1) WO2014109117A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065144A (en) * 2018-10-16 2020-04-23 富士通株式会社 Parallel processing device and method of replacing optical fiber cable

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215816A (en) * 2005-02-03 2006-08-17 Fujitsu Ltd Information processing system and its control method
JP5724626B2 (en) * 2011-05-23 2015-05-27 富士通株式会社 Process placement apparatus, process placement method, and process placement program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065144A (en) * 2018-10-16 2020-04-23 富士通株式会社 Parallel processing device and method of replacing optical fiber cable
JP7035950B2 (en) 2018-10-16 2022-03-15 富士通株式会社 How to replace parallel processing equipment and fiber optic cable

Also Published As

Publication number Publication date
WO2014109117A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
US10042404B2 (en) Automatic generation of power management sequence in a SoC or NoC
US9130856B2 (en) Creating multiple NoC layers for isolation or avoiding NoC traffic congestion
Gandhi et al. Duet: Cloud scale load balancing with hardware and software
US8982734B2 (en) Methods, apparatus, and systems for routing information flows in networks using spanning trees and network switching element resources
US9571420B2 (en) Integrated NoC for performing data communication and NoC functions
US9477280B1 (en) Specification for automatic power management of network-on-chip and system-on-chip
US9244880B2 (en) Automatic construction of deadlock free interconnects
US9160627B2 (en) Multiple heterogeneous NoC layers
US9176799B2 (en) Hop-by-hop error detection in a server system
US11451889B2 (en) Reconfigurable computing pods using optical networks with one-to-many optical switches
US11042416B2 (en) Reconfigurable computing pods using optical networks
US20180183672A1 (en) System and method for grouping of network on chip (noc) elements
CN107409095B (en) Method, system, medium, and switch for routing packets from an input port to an output port of the switch
CN113254205A (en) Load balancing system, method and device, electronic equipment and storage medium
WO2016197694A1 (en) Fan testing method and device
JP2016075968A (en) Information processing device
US8793412B1 (en) Event-based execution buffer management
US9864728B2 (en) Automatic generation of physically aware aggregation/distribution networks
US20150288596A1 (en) Systems and methods for selecting a router to connect a bridge in the network on chip (noc)
US11182325B1 (en) Memory centric computing storage controller system
CN114257462A (en) Power off of power over Ethernet interface