JP2023106496A - 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 - Google Patents
高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2023106496A JP2023106496A JP2023081518A JP2023081518A JP2023106496A JP 2023106496 A JP2023106496 A JP 2023106496A JP 2023081518 A JP2023081518 A JP 2023081518A JP 2023081518 A JP2023081518 A JP 2023081518A JP 2023106496 A JP2023106496 A JP 2023106496A
- Authority
- JP
- Japan
- Prior art keywords
- subnet
- switches
- end nodes
- sub
- switch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 239000004744 fabric Substances 0.000 claims description 43
- 238000007726 management method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 74
- 230000003863 physical function Effects 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000005192 partition Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 17
- 238000013508 migration Methods 0.000 description 16
- 230000005012 migration Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000007449 liver function test Methods 0.000 description 5
- 239000004153 Potassium bromate Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000004230 Fast Yellow AB Substances 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 238000007417 hierarchical cluster analysis Methods 0.000 description 3
- 101100216234 Schizosaccharomyces pombe (strain 972 / ATCC 24843) cut20 gene Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101100128228 Schizosaccharomyces pombe (strain 972 / ATCC 24843) lid2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001341 grazing-angle X-ray diffraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/083—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for increasing network speed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0836—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/10—Packet switching elements characterised by the switching fabric construction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/15—Interconnection of switching modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/35—Switches specially adapted for specific applications
- H04L49/356—Switches specially adapted for specific applications for storage area networks
- H04L49/358—Infiniband Switches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/44—Star or tree networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Multi Processors (AREA)
- Stored Programmes (AREA)
Abstract
【課題】大規模な無損失ネットワークにおいて性能駆動型の再構成を提供するハイブリッド再構成方式及びシステムを提供する。【解決手段】方法は、1つ以上のマイクロプロセッサにおいて第1のサブネットを提供する。第1のサブネットは複数のスイッチを含み、各スイッチは夫々、複数のスイッチポートと、1以上のホストチャネルアダプタポートを含む複数のホストチャネルアダプタと、複数のエンドノードとを含む。方法はまた、複数のレベルを有するネットワークアーキテクチャにおいて第1のサブネットのうちの複数のスイッチを配置し、第1の構成方法に従って複数のスイッチを構成し、複数のスイッチのサブセットを第1のサブネットのサブ・サブネットとして構成する。前記サブ・サブネットは第1のサブネットの複数のレベルよりも少ない幾つかのレベルを含む。方法はさらに、第2の構成方法に従って第1のサブネットのサブ・サブネットを再構成する。【選択図】図16
Description
著作権表示:
この特許文献の開示の一部は、著作権保護の対象となる資料を含む。この特許文献または特許開示は特許商標庁の特許ファイルまたは記録に記載されているため、著作権保有者は、何人によるその複写複製に対しても異議はないが、その他の場合には如何なるときもすべての著作権を保有する。
この特許文献の開示の一部は、著作権保護の対象となる資料を含む。この特許文献または特許開示は特許商標庁の特許ファイルまたは記録に記載されているため、著作権保有者は、何人によるその複写複製に対しても異議はないが、その他の場合には如何なるときもすべての著作権を保有する。
発明の分野:
本発明は、概して、コンピュータシステムに関し、特に、SR-IOV vSwitchアーキテクチャを用いるコンピュータシステム仮想化およびライブマイグレーションをサポートすることに関する。
本発明は、概して、コンピュータシステムに関し、特に、SR-IOV vSwitchアーキテクチャを用いるコンピュータシステム仮想化およびライブマイグレーションをサポートすることに関する。
背景:
導入されるクラウドコンピューティングアーキテクチャがより大規模になるのに応じて、従来のネットワークおよびストレージに関する性能および管理の障害が深刻な問題になってきている。クラウドコンピューティングファブリックのための基礎としてインフィニバンド(登録商標)(InfiniBand:IB)技術を用いることへの関心がますます高まってきている。これは、本発明の実施形態が対応するように意図された一般領域である。
導入されるクラウドコンピューティングアーキテクチャがより大規模になるのに応じて、従来のネットワークおよびストレージに関する性能および管理の障害が深刻な問題になってきている。クラウドコンピューティングファブリックのための基礎としてインフィニバンド(登録商標)(InfiniBand:IB)技術を用いることへの関心がますます高まってきている。これは、本発明の実施形態が対応するように意図された一般領域である。
概要:
一実施形態に従うと、システムおよび方法は、大規模な無損失ネットワークにおいて性能駆動型の再構成を提供することができる。ハイブリッド再構成方式は、ネットワークのうちさまざまな下位区分を選択するためのさまざまなルーティングアルゴリズムを用いた高速の部分的なネットワーク再構成を可能にし得る。部分的な再構成は、初期の全体構成よりも桁違いに高速であり得るので、無損失ネットワークにおける性能駆動型の再構成を検討することが可能となり得る。提案されているメカニズムは、大型のHPCシステムおよびクラウドが、隔離されたタスクを実行する複数のテナント(たとえば、さまざまなパーティション上のさまざまなテナント)によって共有されるという点を利用している。このようなシナリオにおいては、テナント間の相互通信が不可能となり、このため、ワークロード展開および配置スケジューラは、効率的なリソース利用を確実にするためにフラグメンテーションを回避しようと試みるはずである。すなわち、テナント当たりのトラフィックの大部分をネットワークのうち集約された下位区分内に含めることができ、SMは、全体的な性能を向上させるためにいくつかの下位区分を再構成することができる。SMは、ファットツリートポロジーおよびファットツリールーティングアルゴリズムを用いることができる。このようなハイブリッド再構成方式は、ネットワークを再構成するために提供されるノード順序付けを用いるカスタムのファットツリールーティングアルゴリズムを用いることによって、サブツリー内の性能をうまく再構成および向上させることができる。SMがネットワーク全体を再構成することを所望する場合、SMは、デフォルトのファットツリールーティングアルゴリズムを用いて、単一のサブネットにおけるさまざまな使用事例のための2つの異なるルーティングアルゴリズムの組合せを効果的に発揮することができる。
一実施形態に従うと、システムおよび方法は、大規模な無損失ネットワークにおいて性能駆動型の再構成を提供することができる。ハイブリッド再構成方式は、ネットワークのうちさまざまな下位区分を選択するためのさまざまなルーティングアルゴリズムを用いた高速の部分的なネットワーク再構成を可能にし得る。部分的な再構成は、初期の全体構成よりも桁違いに高速であり得るので、無損失ネットワークにおける性能駆動型の再構成を検討することが可能となり得る。提案されているメカニズムは、大型のHPCシステムおよびクラウドが、隔離されたタスクを実行する複数のテナント(たとえば、さまざまなパーティション上のさまざまなテナント)によって共有されるという点を利用している。このようなシナリオにおいては、テナント間の相互通信が不可能となり、このため、ワークロード展開および配置スケジューラは、効率的なリソース利用を確実にするためにフラグメンテーションを回避しようと試みるはずである。すなわち、テナント当たりのトラフィックの大部分をネットワークのうち集約された下位区分内に含めることができ、SMは、全体的な性能を向上させるためにいくつかの下位区分を再構成することができる。SMは、ファットツリートポロジーおよびファットツリールーティングアルゴリズムを用いることができる。このようなハイブリッド再構成方式は、ネットワークを再構成するために提供されるノード順序付けを用いるカスタムのファットツリールーティングアルゴリズムを用いることによって、サブツリー内の性能をうまく再構成および向上させることができる。SMがネットワーク全体を再構成することを所望する場合、SMは、デフォルトのファットツリールーティングアルゴリズムを用いて、単一のサブネットにおけるさまざまな使用事例のための2つの異なるルーティングアルゴリズムの組合せを効果的に発揮することができる。
一実施形態に従うと、高性能コンピューティング環境において高速ハイブリッド再構成
をサポートするための例示的な方法は、1つ以上のマイクロプロセッサにおいて第1のサブネットを設け得る。第1のサブネットは複数のスイッチを含み、複数のスイッチは少なくともリーフスイッチを含み、複数のスイッチの各々は、複数のスイッチポートと、各々が少なくとも1つのホストチャネルアダプタポートを含む複数のホストチャネルアダプタと、複数のエンドノードとを含み、複数のエンドノードの各々は、複数のホストチャネルアダプタのうち少なくとも1つのホストチャネルアダプタに関連付けられている。当該方法は、複数のレベルを有するネットワークアーキテクチャにおいて第1のサブネットのうちの複数のスイッチを配置し得る。複数のレベルの各々は、複数のスイッチのうち少なくとも1つのスイッチを含む。当該方法は、第1の構成方法に従って複数のスイッチを構成し得る。第1の構成方法は、複数のエンドノードについての第1の順序付けに関連付けられている。当該方法は、複数のスイッチのサブセットを第1のサブネットのサブ・サブネット(sub-subnet)として構成し得る。第1のサブネットのサブ・サブネットは第1のサブネットの複数のレベルよりも少ないいくつかのレベルを含む。当該方法は、第2の構成方法に従って第1のサブネットのサブ・サブネットを再構成し得る。
をサポートするための例示的な方法は、1つ以上のマイクロプロセッサにおいて第1のサブネットを設け得る。第1のサブネットは複数のスイッチを含み、複数のスイッチは少なくともリーフスイッチを含み、複数のスイッチの各々は、複数のスイッチポートと、各々が少なくとも1つのホストチャネルアダプタポートを含む複数のホストチャネルアダプタと、複数のエンドノードとを含み、複数のエンドノードの各々は、複数のホストチャネルアダプタのうち少なくとも1つのホストチャネルアダプタに関連付けられている。当該方法は、複数のレベルを有するネットワークアーキテクチャにおいて第1のサブネットのうちの複数のスイッチを配置し得る。複数のレベルの各々は、複数のスイッチのうち少なくとも1つのスイッチを含む。当該方法は、第1の構成方法に従って複数のスイッチを構成し得る。第1の構成方法は、複数のエンドノードについての第1の順序付けに関連付けられている。当該方法は、複数のスイッチのサブセットを第1のサブネットのサブ・サブネット(sub-subnet)として構成し得る。第1のサブネットのサブ・サブネットは第1のサブネットの複数のレベルよりも少ないいくつかのレベルを含む。当該方法は、第2の構成方法に従って第1のサブネットのサブ・サブネットを再構成し得る。
詳細な説明:
本発明は、同様の参照番号が同様の要素を指している添付図面の図において、限定のた
めではなく例示のために説明されている。なお、この開示における「ある」または「1つの」または「いくつかの」実施形態への参照は必ずしも同じ実施形態に対するものではなく、そのような参照は少なくとも1つを意味する。特定の実現例が説明されるが、これらの特定の実現例が例示的な目的のためにのみ提供されることが理解される。当業者であれば、他の構成要素および構成が、この発明の範囲および精神から逸脱することなく使用され得ることを認識するであろう。
本発明は、同様の参照番号が同様の要素を指している添付図面の図において、限定のた
めではなく例示のために説明されている。なお、この開示における「ある」または「1つの」または「いくつかの」実施形態への参照は必ずしも同じ実施形態に対するものではなく、そのような参照は少なくとも1つを意味する。特定の実現例が説明されるが、これらの特定の実現例が例示的な目的のためにのみ提供されることが理解される。当業者であれば、他の構成要素および構成が、この発明の範囲および精神から逸脱することなく使用され得ることを認識するであろう。
図面および詳細な説明全体にわたって同様の要素を示すために、共通の参照番号が使用され得る。したがって、ある図で使用される参照番号は、要素が別のところで説明される場合、そのような図に特有の詳細な説明において参照される場合もあり、または参照されない場合もある。
高性能コンピューティング環境における高速ハイブリッド再構成をサポートするシステムおよび方法がこの明細書中に記載される。
この発明の以下の説明は、高性能ネットワークについての一例として、インフィニバンド(IB)ネットワークを使用する。他のタイプの高性能ネットワークが何ら限定されることなく使用され得ることが、当業者には明らかであるだろう。以下の説明ではまた、ファブリックトポロジーについての一例として、ファットツリートポロジーを使用する。他のタイプのファブリックトポロジーが何ら限定されることなく使用され得ることが当業者には明らかであるだろう。
本発明の一実施形態に従うと、仮想化は、クラウドコンピューティングにおける効率的なリソース利用および融通性のあるリソース割当てに有益であり得る。ライブマイグレーションは、アプリケーションにトランスペアレントな態様で物理サーバ間で仮想マシン(virtual machine:VM)を移動させることによってリソース使用を最適化することを可
能にする。このため、仮想化は、ライブマイグレーションによる統合、リソースのオン・デマンド・プロビジョニングおよび融通性を可能にし得る。
能にする。このため、仮想化は、ライブマイグレーションによる統合、リソースのオン・デマンド・プロビジョニングおよび融通性を可能にし得る。
インフィニバンド(登録商標)
インフィニバンド(IB)は、インフィニバンド・トレード・アソシエーション(InfiniBandTMTrade Association)によって開発されたオープン標準無損失ネットワーク技術
である。この技術は、特に高性能コンピューティング(high-performance computing:HPC)アプリケーションおよびデータセンタを対象とする、高スループットおよび少ない待ち時間の通信を提供するシリアルポイントツーポイント全二重相互接続(serial point-to-point full-duplex interconnect)に基づいている。
インフィニバンド(IB)は、インフィニバンド・トレード・アソシエーション(InfiniBandTMTrade Association)によって開発されたオープン標準無損失ネットワーク技術
である。この技術は、特に高性能コンピューティング(high-performance computing:HPC)アプリケーションおよびデータセンタを対象とする、高スループットおよび少ない待ち時間の通信を提供するシリアルポイントツーポイント全二重相互接続(serial point-to-point full-duplex interconnect)に基づいている。
インフィニバンドアーキテクチャ(InfiniBand Architecture:IBA)は、2層トポ
ロジー分割をサポートする。より低い層では、IBネットワークはサブネットと称され、1つのサブネットは、スイッチおよびポイントツーポイントリンクを使用して相互接続される一組のホストを含み得る。より高いレベルでは、1つのIBファブリックは、ルータを使用して相互接続され得る1つ以上のサブネットを構成する。
ロジー分割をサポートする。より低い層では、IBネットワークはサブネットと称され、1つのサブネットは、スイッチおよびポイントツーポイントリンクを使用して相互接続される一組のホストを含み得る。より高いレベルでは、1つのIBファブリックは、ルータを使用して相互接続され得る1つ以上のサブネットを構成する。
1つのサブネット内で、ホストは、スイッチおよびポイントツーポイントリンクを使用して接続され得る。加えて、サブネットにおける指定されたサブネットデバイス上に存在する、1つのマスター管理エンティティ、すなわちサブネットマネージャ(subnet manager:SM)があり得る。サブネットマネージャは、IBサブネットを構成し、起動し、維持する役割を果たす。加えて、サブネットマネージャ(SM)は、IBファブリックにおいてルーティングテーブル計算を行なう役割を果たし得る。ここで、たとえば、IBネットワークのルーティングは、ローカルサブネットにおけるすべての送信元と宛先とのペア
間の適正な負荷バランシングを目標とする。
間の適正な負荷バランシングを目標とする。
サブネット管理インターフェイスを通して、サブネットマネージャは、サブネット管理パケット(subnet management packet:SMP)と称される制御パケットを、サブネット管理エージェント(subnet management agent:SMA)と交換する。サブネット管理エ
ージェントは、すべてのIBサブネットデバイス上に存在する。SMPを使用することにより、サブネットマネージャは、ファブリックを発見し、エンドノードおよびスイッチを構成し、SMAから通知を受信することができる。
ージェントは、すべてのIBサブネットデバイス上に存在する。SMPを使用することにより、サブネットマネージャは、ファブリックを発見し、エンドノードおよびスイッチを構成し、SMAから通知を受信することができる。
一実施形態によれば、IBネットワークにおけるサブネット間およびサブネット内のルーティングは、スイッチに格納されたLFTに基づき得る。LFTは、使用中のルーティングメカニズムに従って、SMによって計算される。サブネットでは、エンドノード上のホストチャネルアダプタ(Host Channel Adapter:HCA)ポートおよびスイッチが、ローカル識別子(LID)を使用してアドレス指定される。LFTにおける各エントリは、宛先LID(destination LID:DLID)と出力ポートとからなる。テーブルにおける
LIDごとに1つのエントリのみがサポートされる。パケットがあるスイッチに到着すると、その出力ポートは、そのスイッチのフォワーディングテーブルにおいてDLIDを検索することによって判断される。所与の送信元-宛先ペア(LIDペア)間のネットワークにおいてパケットは同じ経路を通るため、ルーティングは決定論的である。
LIDごとに1つのエントリのみがサポートされる。パケットがあるスイッチに到着すると、その出力ポートは、そのスイッチのフォワーディングテーブルにおいてDLIDを検索することによって判断される。所与の送信元-宛先ペア(LIDペア)間のネットワークにおいてパケットは同じ経路を通るため、ルーティングは決定論的である。
一般に、マスターサブネットマネージャを除く他のすべてのサブネットマネージャは、耐故障性のために待機モードで作動する。しかしながら、マスターサブネットマネージャが故障した状況では、待機中のサブネットマネージャによって、新しいマスターサブネットマネージャが取り決められる。マスターサブネットマネージャはまた、サブネットの周期的なスイープ(sweep)を行なってあらゆるトポロジー変化を検出し、それに応じてネ
ットワークを再構成する。
ットワークを再構成する。
さらに、サブネット内のホストおよびスイッチは、ローカル識別子(LID)を使用してアドレス指定可能であり、単一のサブネットは49151個のユニキャストLIDに制限可能である。サブネット内で有効なローカルアドレスであるLIDの他に、各IBデバイスは、64ビットのグローバル一意識別子(global unique identifier:GUID)を有し得る。GUIDは、IBレイヤー3(L3)アドレスであるグローバル識別子(global identifier:GID)を形成するために使用され得る。
SMは、ネットワーク初期化時間に、ルーティングテーブル(すなわち、サブネット内のノードの各ペア間の接続/ルート)を計算し得る。さらに、トポロジーが変化するたびに、ルーティングテーブルは、接続性および最適性能を確実にするために更新され得る。通常動作中、SMは、トポロジー変化をチェックするためにネットワークの周期的なライトスイープ(light sweep)を実行し得る。ライトスイープ中に変化が発見された場合、
または、ネットワーク変化を信号で伝えるメッセージ(トラップ)をSMが受信した場合、SMは、発見された変化に従ってネットワークを再構成し得る。
または、ネットワーク変化を信号で伝えるメッセージ(トラップ)をSMが受信した場合、SMは、発見された変化に従ってネットワークを再構成し得る。
たとえば、SMは、リンクがダウンした場合、デバイスが追加された場合、またはリンクが除去された場合など、ネットワークトポロジーが変化する場合に、ネットワークを再構成し得る。再構成ステップは、ネットワーク初期化中に行なわれるステップを含み得る。さらに、再構成は、ネットワーク変化が生じたサブネットに制限されるローカルスコープを有し得る。また、ルータを用いる大規模ファブリックのセグメント化は、再構成の範囲を制限し得る。
一実施形態によれば、IBネットワークは、ネットワークファブリックを共有するシス
テムの論理グループの分離をもたらすためにセキュリティメカニズムとしてパーティショニングをサポートし得る。ファブリックにおけるノード上の各HCAポートは、1つ以上のパーティションのメンバであり得る。パーティションメンバーシップは、SMの一部であり得る集中型パーティションマネージャによって管理される。SMは、各ポートに関するパーティションメンバーシップ情報を、16ビットのパーティションキー(partition key:Pキー)のテーブルとして構成することができる。SMはまた、LIDに関連付け
られたPキー情報を含むパーティション実施テーブルを用いて、スイッチおよびルータを構成することができる。加えて、一般的な場合には、スイッチポートのパーティションメンバーシップは、(リンクに向かう)出口方向に向かってポートを介してルーティングされたLIDに間接的に関連付けられたすべてのメンバーシップの集合を表わし得る。
テムの論理グループの分離をもたらすためにセキュリティメカニズムとしてパーティショニングをサポートし得る。ファブリックにおけるノード上の各HCAポートは、1つ以上のパーティションのメンバであり得る。パーティションメンバーシップは、SMの一部であり得る集中型パーティションマネージャによって管理される。SMは、各ポートに関するパーティションメンバーシップ情報を、16ビットのパーティションキー(partition key:Pキー)のテーブルとして構成することができる。SMはまた、LIDに関連付け
られたPキー情報を含むパーティション実施テーブルを用いて、スイッチおよびルータを構成することができる。加えて、一般的な場合には、スイッチポートのパーティションメンバーシップは、(リンクに向かう)出口方向に向かってポートを介してルーティングされたLIDに間接的に関連付けられたすべてのメンバーシップの集合を表わし得る。
一実施形態によれば、ノード間の通信のために、管理キューペア(QP0およびQP1)を除き、キューペア(Queue Pair:QP)およびエンドツーエンドコンテキスト(End-to-End context:EEC)を特定のパーティションに割当てることができる。次に、Pキー情報を、送信されたすべてのIBトランスポートパケットに追加することができる。パケットがHCAポートまたはスイッチに到着すると、そのPキー値を、SMによって構成されたテーブルに対して確認することができる。無効のPキー値が見つかった場合、そのパケットは直ちに廃棄される。このように、通信は、パーティションを共有するポート間でのみ許可される。
一実施形態に従ったインフィニバンド環境100の例を示す図1に、インフィニバンドファブリックの一例を示す。図1に示す例では、ノードA101~E105は、インフィニバンドファブリック120を使用して、それぞれのホストチャネルアダプタ111~115を介して通信する。一実施形態に従うと、さまざまなノード(たとえばノードA101~E105)はさまざまな物理デバイスによって表わすことができる。一実施形態に従うと、さまざまなノード(たとえばノードA101~E105)は仮想マシンなどのさまざまな仮想デバイスによって表わすことができる。
インフィニバンドにおける仮想マシン
過去10年の間に、ハードウェア仮想化サポートによってCPUオーバーヘッドが実質的に排除され、メモリ管理ユニットを仮想化することによってメモリオーバーヘッドが著しく削減され、高速SANストレージまたは分散型ネットワークファイルシステムの利用によってストレージオーバーヘッドが削減され、シングルルートI/O仮想化(Single Root Input/Output Virtualization:SR-IOV)のようなデバイス・パススルー技術
を使用することによってネットワークI/Oオーバーヘッドが削減されてきたことに応じて、仮想化された高性能コンピューティング(High Performance Computing:HPC)環境の将来見通しが大幅に改善されてきた。現在では、クラウドが、高性能相互接続ソリューションを用いて仮想HPC(virtual HPC:vHPC)クラスタに対応し、必要な性能
を提供することができる。
過去10年の間に、ハードウェア仮想化サポートによってCPUオーバーヘッドが実質的に排除され、メモリ管理ユニットを仮想化することによってメモリオーバーヘッドが著しく削減され、高速SANストレージまたは分散型ネットワークファイルシステムの利用によってストレージオーバーヘッドが削減され、シングルルートI/O仮想化(Single Root Input/Output Virtualization:SR-IOV)のようなデバイス・パススルー技術
を使用することによってネットワークI/Oオーバーヘッドが削減されてきたことに応じて、仮想化された高性能コンピューティング(High Performance Computing:HPC)環境の将来見通しが大幅に改善されてきた。現在では、クラウドが、高性能相互接続ソリューションを用いて仮想HPC(virtual HPC:vHPC)クラスタに対応し、必要な性能
を提供することができる。
しかしながら、インフィニバンド(IB)などの無損失ネットワークと連結されたとき、仮想マシン(VM)のライブマイグレーションなどのいくつかのクラウド機能は、これらのソリューションにおいて用いられる複雑なアドレス指定およびルーティングスキームのせいで、依然として問題となる。IBは、高帯域および低レイテンシを提供する相互接続ネットワーク技術であり、このため、HPCおよび他の通信集約型のワークロードに非常によく適している。
IBデバイスをVMに接続するための従来のアプローチは直接割当てされたSR-IOVを利用することによるものである。しかしながら、IBに割当てられたVMのライブマイグレーションを実現するためには、SR-IOVを用いるホストチャネルアダプタ(H
CA)が難易度の高いものであることが判明した。各々のIBが接続されているノードは、3つの異なるアドレス(すなわちLID、GUIDおよびGID)を有する。ライブマイグレーションが発生すると、これらのアドレスのうち1つ以上が変化する。マイグレーション中のVM(VM-in-migration)と通信する他のノードは接続性を失う可能性がある
。これが発生すると、IBサブネットマネージャ(Subnet Manager:SM)にサブネット管理(Subnet Administration:SA)経路記録クエリを送信することによって、再接続
すべき仮想マシンの新しいアドレスを突きとめることにより、失われた接続を回復させるように試みることができる。
CA)が難易度の高いものであることが判明した。各々のIBが接続されているノードは、3つの異なるアドレス(すなわちLID、GUIDおよびGID)を有する。ライブマイグレーションが発生すると、これらのアドレスのうち1つ以上が変化する。マイグレーション中のVM(VM-in-migration)と通信する他のノードは接続性を失う可能性がある
。これが発生すると、IBサブネットマネージャ(Subnet Manager:SM)にサブネット管理(Subnet Administration:SA)経路記録クエリを送信することによって、再接続
すべき仮想マシンの新しいアドレスを突きとめることにより、失われた接続を回復させるように試みることができる。
IBは3つの異なるタイプのアドレスを用いる。第1のタイプのアドレスは16ビットのローカル識別子(LID)である。少なくとも1つの固有のLIDは、SMによって各々のHCAポートおよび各々のスイッチに割当てられる。LIDはサブネット内のトラフィックをルーティングするために用いられる。LIDが16ビット長であるので、65536個の固有のアドレス組合せを構成することができ、そのうち49151個(0×0001-0×BFFF)だけをユニキャストアドレスとして用いることができる。結果として、入手可能なユニキャストアドレスの数は、IBサブネットの最大サイズを定義することとなる。第2のタイプのアドレスは、製造業者によって各々のデバイス(たとえば、HCAおよびスイッチ)ならびに各々のHCAポートに割当てられた64ビットのグローバル一意識別子(GUID)である。SMは、HCAポートに追加のサブネット固有GUIDを割当ててもよく、これは、SR-IOVが用いられる場合に有用となる。第3のタイプのアドレスは128ビットのグローバル識別子(GID)である。GIDは有効なIPv6ユニキャストアドレスであり、少なくとも1つが各々のHCAポートに割当てられている。GIDは、ファブリックアドミニストレータによって割当てられたグローバルに固有の64ビットプレフィックスと各々のHCAポートのGUIDアドレスとを組合わせることによって形成される。
ファットツリー(Fat Tree:FTree)トポロジーおよびルーティング
一実施形態によれば、IBベースのHPCシステムのいくつかは、ファットツリートポロジーを採用して、ファットツリーが提供する有用な特性を利用する。これらの特性は、各送信元宛先ペア間の複数経路の利用可能性に起因する、フルバイセクション帯域幅および固有の耐故障性を含む。ファットツリーの背後にある初期の考えは、ツリーがトポロジーのルート(root)に近づくにつれて、より利用可能な帯域幅を用いて、ノード間のより太いリンクを採用することであった。より太いリンクは、上位レベルのスイッチにおける輻輳を回避するのに役立てることができ、バイセクション帯域幅が維持される。
一実施形態によれば、IBベースのHPCシステムのいくつかは、ファットツリートポロジーを採用して、ファットツリーが提供する有用な特性を利用する。これらの特性は、各送信元宛先ペア間の複数経路の利用可能性に起因する、フルバイセクション帯域幅および固有の耐故障性を含む。ファットツリーの背後にある初期の考えは、ツリーがトポロジーのルート(root)に近づくにつれて、より利用可能な帯域幅を用いて、ノード間のより太いリンクを採用することであった。より太いリンクは、上位レベルのスイッチにおける輻輳を回避するのに役立てることができ、バイセクション帯域幅が維持される。
図2は、一実施形態に従った、ネットワーク環境におけるツリートポロジーの例を示す。図2に示すように、ネットワークファブリック200において、1つ以上のエンドノード201~204が接続され得る。ネットワークファブリック200は、複数のリーフスイッチ211~214と複数のスパインスイッチまたはルート(root)スイッチ231~234とを含むファットツリートポロジーに基づき得る。加えて、ネットワークファブリック200は、スイッチ221~224などの1つ以上の中間スイッチを含み得る。
また、図2に示すように、エンドノード201~204の各々は、マルチホームノード、すなわち、複数のポートを通してネットワークファブリック200の2つ以上の部分に接続される単一のノードであり得る。たとえば、ノード201はポートH1およびH2を含み、ノード202はポートH3およびH4を含み、ノード203はポートH5およびH6を含み、ノード204はポートH7およびH8を含み得る。
加えて、各スイッチは複数のスイッチポートを有し得る。たとえば、ルートスイッチ231はスイッチポート1~2を有し、ルートスイッチ232はスイッチポート3~4を有
し、ルートスイッチ233はスイッチポート5~6を有し、ルートスイッチ234はスイッチポート7~8を有し得る。
し、ルートスイッチ233はスイッチポート5~6を有し、ルートスイッチ234はスイッチポート7~8を有し得る。
一実施形態によれば、ファットツリールーティングメカニズムは、IBベースのファットツリートポロジーに関して最も人気のあるルーティングアルゴリズムのうちの1つである。ファットツリールーティングメカニズムはまた、OFED(Open Fabric Enterprise
Distribution:IBベースのアプリケーションを構築しデプロイするための標準ソフト
ウェアスタック)サブネットマネージャ、すなわちOpenSMにおいて実現される。
Distribution:IBベースのアプリケーションを構築しデプロイするための標準ソフト
ウェアスタック)サブネットマネージャ、すなわちOpenSMにおいて実現される。
ファットツリールーティングメカニズムの目的は、ネットワークファブリックにおけるリンクにわたって最短経路ルートを均一に広げるLFTを生成することである。このメカニズムは、索引付け順序でファブリックを横断し、エンドノードの目標LID、ひいては対応するルートを各スイッチポートに割当てる。同じリーフスイッチに接続されたエンドノードについては、索引付け順序は、エンドノードが接続されるスイッチポートに依存し得る(すなわち、ポートナンバリングシーケンス)。各ポートについては、メカニズムはポート使用カウンタを維持することができ、新しいルートが追加されるたびに、このポート使用カウンタを使用して使用最小ポートを選択することができる。
一実施形態に従うと、パーティショニングされたサブネットでは、共通のパーティションのメンバではないノードは通信することを許可されない。実際には、これは、ファットツリールーティングアルゴリズムによって割当てられたルートのうちのいくつかがユーザトラフィックのために使用されないことを意味する。ファットツリールーティングメカニズムが、それらのルートについてのLFTを、他の機能的経路と同じやり方で生成する場合、問題が生じる。この動作は、リンク上でバランシングを劣化させるおそれがある。なぜなら、ノードが索引付けの順序でルーティングされているからである。パーティションに気づかずにルーティングが行なわれるため、ファットツリーでルーティングされたサブネットにより、通常、パーティション間の分離が不良なものとなる。
入出力(Input/Output:I/O)仮想化
一実施形態に従うと、I/O仮想化(I/O Virtualization:IOV)は、仮想マシン(VM)が基礎をなす物理リソースにアクセスできるようにすることによって、I/Oを利用できるようにすることができる。ストレージトラフィックとサーバ間通信とを組合わせると、シングルサーバのI/Oリソースにとって抗し難い高い負荷が課され、結果として、データの待機中に、バックログが発生し、プロセッサがアイドル状態になる可能性がある。I/O要求の数が増えるにつれて、IOVにより、利用可能性をもたらすことができるとともに、最新のCPU仮想化において見られる性能レベルに匹敵するように、(仮想化された)I/Oリソースの性能、スケーラビリティおよび融通性を向上させることができる。
一実施形態に従うと、I/O仮想化(I/O Virtualization:IOV)は、仮想マシン(VM)が基礎をなす物理リソースにアクセスできるようにすることによって、I/Oを利用できるようにすることができる。ストレージトラフィックとサーバ間通信とを組合わせると、シングルサーバのI/Oリソースにとって抗し難い高い負荷が課され、結果として、データの待機中に、バックログが発生し、プロセッサがアイドル状態になる可能性がある。I/O要求の数が増えるにつれて、IOVにより、利用可能性をもたらすことができるとともに、最新のCPU仮想化において見られる性能レベルに匹敵するように、(仮想化された)I/Oリソースの性能、スケーラビリティおよび融通性を向上させることができる。
一実施形態に従うと、I/Oリソースの共有を可能にして、VMからリソースへのアクセスが保護されることを可能にし得るようなIOVが所望される。IOVは、VMにエクスポーズされる論理装置を、その物理的な実装から分離する。現在、エミュレーション、準仮想化、直接的な割当て(direct assignment:DA)、およびシングルルートI/O
仮想化(single root-I/O virtualization:SR-IOV)などのさまざまなタイプのIOV技術が存在し得る。
仮想化(single root-I/O virtualization:SR-IOV)などのさまざまなタイプのIOV技術が存在し得る。
一実施形態に従うと、あるタイプのIOV技術としてソフトウェアエミュレーションがある。ソフトウェアエミュレーションは分離されたフロントエンド/バックエンド・ソフトウェアアーキテクチャを可能にし得る。フロントエンドはVMに配置されたデバイスドライバであり得、I/Oアクセスをもたらすためにハイパーバイザによって実現されるバ
ックエンドと通信し得る。物理デバイス共有比率は高く、VMのライブマイグレーションはネットワークダウンタイムのわずか数ミリ秒で実現可能である。しかしながら、ソフトウェアエミュレーションはさらなる不所望な計算上のオーバーヘッドをもたらしてしまう。
ックエンドと通信し得る。物理デバイス共有比率は高く、VMのライブマイグレーションはネットワークダウンタイムのわずか数ミリ秒で実現可能である。しかしながら、ソフトウェアエミュレーションはさらなる不所望な計算上のオーバーヘッドをもたらしてしまう。
一実施形態に従うと、別のタイプのIOV技術として直接的なデバイスの割当てがある。直接的なデバイスの割当てでは、I/OデバイスをVMに連結する必要があるが、デバイスはVM間では共有されない。直接的な割当てまたはデバイス・パススルーは、最小限のオーバーヘッドでほぼ固有の性能を提供する。物理デバイスはハイパーバイザをバイパスし、直接、VMに取付けられている。しかしながら、このような直接的なデバイスの割当ての欠点は、仮想マシン間で共有がなされないため、1枚の物理ネットワークカードが1つのVMと連結されるといったように、スケーラビリティが制限されてしまうことである。
一実施形態に従うと、シングルルートIOV(Single Root IOV:SR-IOV)は、
ハードウェア仮想化によって、物理装置がその同じ装置の複数の独立した軽量のインスタンスとして現われることを可能にし得る。これらのインスタンスは、パススルー装置としてVMに割当てることができ、仮想機能(Virtual Function:VF)としてアクセスすることができる。ハイパーバイザは、(1つのデバイスごとに)固有の、十分な機能を有する物理機能(Physical Function:PF)によってデバイスにアクセスする。SR-IO
Vは、純粋に直接的に割当てする際のスケーラビリティの問題を軽減する。しかしながら、SR-IOVによって提示される問題は、それがVMマイグレーションを損なう可能性があることである。これらのIOV技術の中でも、SR-IOVは、ほぼ固有の性能を維持しながらも、複数のVMから単一の物理デバイスに直接アクセスすることを可能にする手段を用いてPCI Express(PCIe)規格を拡張することができる。これにより、SR-IOVは優れた性能およびスケーラビリティを提供することができる。
ハードウェア仮想化によって、物理装置がその同じ装置の複数の独立した軽量のインスタンスとして現われることを可能にし得る。これらのインスタンスは、パススルー装置としてVMに割当てることができ、仮想機能(Virtual Function:VF)としてアクセスすることができる。ハイパーバイザは、(1つのデバイスごとに)固有の、十分な機能を有する物理機能(Physical Function:PF)によってデバイスにアクセスする。SR-IO
Vは、純粋に直接的に割当てする際のスケーラビリティの問題を軽減する。しかしながら、SR-IOVによって提示される問題は、それがVMマイグレーションを損なう可能性があることである。これらのIOV技術の中でも、SR-IOVは、ほぼ固有の性能を維持しながらも、複数のVMから単一の物理デバイスに直接アクセスすることを可能にする手段を用いてPCI Express(PCIe)規格を拡張することができる。これにより、SR-IOVは優れた性能およびスケーラビリティを提供することができる。
SR-IOVは、PCIeデバイスが、各々のゲストに1つの仮想デバイスを割当てることによって複数のゲスト間で共有することができる複数の仮想デバイスをエクスポーズすることを可能にする。各々のSR-IOVデバイスは、少なくとも1つの物理機能(PF)と、1つ以上の関連付けられた仮想機能(VF)とを有する。PFは、仮想マシンモニタ(virtual machine monitor:VMM)またはハイパーバイザによって制御される通
常のPCIe機能であるのに対して、VFは軽量のPCIe機能である。各々のVFはそれ自体のベースアドレス(base address:BAR)を有しており、固有のリクエスタIDが割当てられている。固有のリクエスタIDは、I/Oメモリ管理ユニット(I/O memory
management unit:IOMMU)がさまざまなVFへの/からのトラフィックストリームを区別することを可能にする。IOMMUはまた、メモリを適用して、PFとVFとの間の変換を中断する。
常のPCIe機能であるのに対して、VFは軽量のPCIe機能である。各々のVFはそれ自体のベースアドレス(base address:BAR)を有しており、固有のリクエスタIDが割当てられている。固有のリクエスタIDは、I/Oメモリ管理ユニット(I/O memory
management unit:IOMMU)がさまざまなVFへの/からのトラフィックストリームを区別することを可能にする。IOMMUはまた、メモリを適用して、PFとVFとの間の変換を中断する。
しかし、残念ながら、直接的デバイス割当て技術は、仮想マシンのトランスペアレントなライブマイグレーションがデータセンタ最適化のために所望されるような状況においては、クラウドプロバイダにとって障壁となる。ライブマイグレーションの本質は、VMのメモリ内容がリモートハイパーバイザにコピーされるという点である。さらに、VMがソースハイパーバイザにおいて中断され、VMの動作が宛先において再開される。ソフトウェアエミュレーション方法を用いる場合、ネットワークインターフェイスは、それらの内部状態がメモリに記憶され、さらにコピーされるように仮想的である。このため、ダウンタイムは数ミリ秒にまで減らされ得る。
しかしながら、SR-IOVなどの直接的デバイス割当て技術が用いられる場合、マイグレーションはより困難になる。このような状況においては、ネットワークインターフェ
イスの内部状態全体は、それがハードウェアに結び付けられているのでコピーすることができない。代わりに、VMに割当てられたSR-IOV VFが分離され、ライブマイグレーションが実行されることとなり、新しいVFが宛先において付与されることとなる。インフィニバンドおよびSR-IOVの場合、このプロセスがダウンタイムを数秒のオーダでもたらす可能性がある。さらに、SR-IOV共有型ポートモデルにおいては、VMのアドレスがマイグレーション後に変化することとなり、これにより、SMにオーバーヘッドが追加され、基礎をなすネットワークファブリックの性能に対して悪影響が及ぼされることとなる。
イスの内部状態全体は、それがハードウェアに結び付けられているのでコピーすることができない。代わりに、VMに割当てられたSR-IOV VFが分離され、ライブマイグレーションが実行されることとなり、新しいVFが宛先において付与されることとなる。インフィニバンドおよびSR-IOVの場合、このプロセスがダウンタイムを数秒のオーダでもたらす可能性がある。さらに、SR-IOV共有型ポートモデルにおいては、VMのアドレスがマイグレーション後に変化することとなり、これにより、SMにオーバーヘッドが追加され、基礎をなすネットワークファブリックの性能に対して悪影響が及ぼされることとなる。
インフィニバンドSR-IOVアーキテクチャ-共有ポート
さまざまなタイプのSR-IOVモデル(たとえば共有ポートモデルおよび仮想スイッチモデル)があり得る。
さまざまなタイプのSR-IOVモデル(たとえば共有ポートモデルおよび仮想スイッチモデル)があり得る。
図3は、一実施形態に従った例示的な共有ポートアーキテクチャを示す。図に示されるように、ホスト300(たとえばホストチャネルアダプタ)はハイパーバイザ310と対話し得る。ハイパーバイザ310は、さまざまな仮想機能330、340および350をいくつかの仮想マシンに割当て得る。同様に、物理機能はハイパーバイザ310によって処理することができる。
一実施形態に従うと、図3に示されるような共有ポートアーキテクチャを用いる場合、ホスト(たとえばHCA)は、物理機能320と仮想機能330、350、350との間において単一の共有LIDおよび共有キュー対(Queue Pair:QP)のスペースがあるネットワークにおいて単一のポートとして現われる。しかしながら、各々の機能(すなわち、物理機能および仮想機能)はそれら自体のGIDを有し得る。
図3に示されるように、一実施形態に従うと、さまざまなGIDを仮想機能および物理機能に割当てることができ、特別のキュー対であるQP0およびQP1(すなわちインフィニバンド管理パケットのために用いられる専用のキュー対)が物理機能によって所有される。これらのQPはVFにも同様にエクスポーズされるが、VFはQP0を使用することが許可されておらず(VFからQP0に向かって入来するすべてのSMPが廃棄され)、QP1は、PFが所有する実際のQP1のプロキシとして機能し得る。
一実施形態に従うと、共有ポートアーキテクチャは、(仮想機能に割当てられることによってネットワークに付随する)VMの数によって制限されることのない高度にスケーラブルなデータセンタを可能にし得る。なぜなら、ネットワークにおける物理的なマシンおよびスイッチによってLIDスペースが消費されるだけであるからである。
しかしながら、共有ポートアーキテクチャの欠点は、トランスペアレントなライブマイグレーションを提供することができない点であり、これにより、フレキシブルなVM配置についての可能性が妨害されてしまう。各々のLIDが特定のハイパーバイザに関連付けられており、かつハイパーバイザ上に常駐するすべてのVM間で共有されているので、マイグレートしているVM(すなわち、宛先ハイパーバイザにマイグレートする仮想マシン)は、そのLIDを宛先ハイパーバイザのLIDに変更させなければならない。さらに、QP0アクセスが制限された結果、サブネットマネージャはVMの内部で実行させることができなくなる。
インフィニバンドSR-IOVアーキテクチャモデル-仮想スイッチ(vSwitch)
さまざまなタイプのSR-IOVモデル(たとえば共有ポートモデルおよび仮想スイッチモデル)があり得る。
さまざまなタイプのSR-IOVモデル(たとえば共有ポートモデルおよび仮想スイッチモデル)があり得る。
図4は、一実施形態に従った例示的なvSwitchアーキテクチャを示す。図に示されるように、ホスト400(たとえばホストチャネルアダプタ)はハイパーバイザ410と対話することができ、当該ハイパーバイザ410は、さまざまな仮想機能430、440および450をいくつかの仮想マシンに割当てることができる。同様に、物理機能はハイパーバイザ410によって処理することができる。仮想スイッチ415もハイパーバイザ401によって処理することができる。
一実施形態に従うと、vSwitchアーキテクチャにおいては、各々の仮想機能430、440、450は完全な仮想ホストチャネルアダプタ(virtual Host Channel Adapter:vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSMについては、HCA400は、仮想スイッチ415を介して追加のノードが接続されているスイッチのように見えている。ハイパーバイザ410はPF420を用いることができ、(仮想機能に付与された)VMはVFを用いる。
一実施形態に従うと、vSwitchアーキテクチャは、トランスペアレントな仮想化を提供する。しかしながら、各々の仮想機能には固有のLIDが割当てられているので、利用可能な数のLIDが速やかに消費される。同様に、多くのLIDアドレスが(すなわち、各々の物理機能および各々の仮想機能ごとに1つずつ)使用されている場合、より多くの通信経路をSMによって計算しなければならず、それらのLFTを更新するために、より多くのサブネット管理パケット(SMP)をスイッチに送信しなければならない。たとえば、通信経路の計算は大規模ネットワークにおいては数分かかる可能性がある。LIDスペースが49151個のユニキャストLIDに制限されており、(VFを介する)各々のVMとして、物理ノードおよびスイッチがLIDを1つずつ占有するので、ネットワークにおける物理ノードおよびスイッチの数によってアクティブなVMの数が制限されてしまい、逆の場合も同様に制限される。
インフィニバンドSR-IOVアーキテクチャモデル-LIDが予めポピュレートされたvSwitch
一実施形態に従うと、本開示は、LIDが予めポピュレートされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
一実施形態に従うと、本開示は、LIDが予めポピュレートされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
図5は、一実施形態に従った、LIDが予めポピュレートされた例示的なvSwitchアーキテクチャを示す。図に示されるように、いくつかのスイッチ501~504は、ネットワーク切替環境500(たとえばIBサブネット)内においてインフィニバンドファブリックなどのファブリックのメンバ間で通信を確立することができる。ファブリックはホストチャネルアダプタ510、520、530などのいくつかのハードウェアデバイスを含み得る。さらに、ホストチャネルアダプタ510、520および530は、それぞれ、ハイパーバイザ511、521および531と対話することができる。各々のハイパーバイザは、さらに、ホストチャネルアダプタと共に、いくつかの仮想機能514、515、516、524、525、526、534、535および536と対話し、設定し、いくつかの仮想マシンに割当てることができる。たとえば、仮想マシン1 550はハイパーバイザ511によって仮想機能1 514に割当てることができる。ハイパーバイザ511は、加えて、仮想マシン2 551を仮想機能2 515に割当て、仮想マシン3
552を仮想機能3 516に割当てることができる。ハイパーバイザ531は、さらに、仮想マシン4 553を仮想機能1 534に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上における十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
552を仮想機能3 516に割当てることができる。ハイパーバイザ531は、さらに、仮想マシン4 553を仮想機能1 534に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上における十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
一実施形態に従うと、スイッチ501~504の各々はいくつかのポート(図示せず)を含み得る。いくつかのポートは、ネットワーク切替環境500内においてトラフィックを方向付けるために線形のフォワーディングテーブルを設定するのに用いられる。
一実施形態に従うと、仮想スイッチ512、522および532は、それぞれのハイパーバイザ511、521、531によって処理することができる。このようなvSwitchアーキテクチャにおいては、各々の仮想機能は完全な仮想ホストチャネルアダプタ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して追加のノードが接続されているスイッチのように見えている。
一実施形態に従うと、本開示は、LIDが予めポピュレートされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。図5を参照すると、LIDは、さまざまな物理機能513、523および533に、さらには、仮想機能514~516、524~526、534~536(その時点でアクティブな仮想マシンに関連付けられていない仮想機能であっても)にも、予めポピュレートされている。たとえば、物理機能513はLID1が予めポピュレートされており、仮想機能1 534はLID10が予めポピュレートされている。ネットワークがブートされているとき、LIDはSR-IOV vSwitch対応のサブネットにおいて予めポピュレートされている。VFのすべてがネットワークにおけるVMによって占有されていない場合であっても、ポピュレートされたVFには、図5に示されるようにLIDが割当てられている。
一実施形態に従うと、多くの同様の物理的なホストチャネルアダプタが2つ以上のポートを有することができ(冗長性のために2つのポートが共用となっている)、仮想HCAも2つのポートで表わされ、1つまたは2つ以上の仮想スイッチを介して外部IBサブネットに接続され得る。
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャにおいては、各々のハイパーバイザは、それ自体のための1つのLIDをPFを介して消費し、各々の追加のVFごとに1つ以上のLIDを消費することができる。IBサブネットにおけるすべてのハイパーバイザにおいて利用可能なすべてのVFを合計すると、サブネットにおいて実行することが可能なVMの最大量が得られる。たとえば、サブネット内の1ハイパーバイザごとに16個の仮想機能を備えたIBサブネットにおいては、各々のハイパーバイザは、サブネットにおいて17個のLID(16個の仮想機能ごとに1つのLIDと、物理機能のために1つのLID)を消費する。このようなIBサブネットにおいては、単一のサブネットについて理論上のハイパーバイザ限度は利用可能なユニキャストLIDの数によって規定されており、(49151個の利用可能なLIDをハイパーバイザごとに17個のLIDで割って得られる)2891であり、VMの総数(すなわち限度)は(ハイパーバイザごとに2891個のハイパーバイザに16のVFを掛けて得られる)46256である(実質的には、IBサブネットにおける各々のスイッチ、ルータまたは専用のSMノードが同様にLIDを消費するので、これらの数は実際にはより小さくなる)。なお、vSwitchが、LIDをPFと共有することができるので、付加的なLIDを占有する必要がないことに留意されたい。
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャにおいては、ネットワークが一旦ブートされると、すべてのLIDについて通信経路が計算される。新しいVMを始動させる必要がある場合、システムは、サブネットにおいて新
しいLIDを追加する必要はない。それ以外の場合、経路の再計算を含め、ネットワークを完全に再構成させ得る動作は、最も時間を消費する要素となる。代わりに、VMのための利用可能なポートはハイパーバイザのうちの1つに位置し(すなわち利用可能な仮想機能)、仮想マシンは利用可能な仮想機能に付与されている。
しいLIDを追加する必要はない。それ以外の場合、経路の再計算を含め、ネットワークを完全に再構成させ得る動作は、最も時間を消費する要素となる。代わりに、VMのための利用可能なポートはハイパーバイザのうちの1つに位置し(すなわち利用可能な仮想機能)、仮想マシンは利用可能な仮想機能に付与されている。
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャはまた、同じハイパーバイザによってホストされているさまざまなVMに達するために、さまざまな経路を計算して用いる能力を可能にする。本質的には、これは、LIDを連続的にすることを必要とするLMCの制約によって拘束されることなく、1つの物理的なマシンに向かう代替的な経路を設けるために、このようなサブネットおよびネットワークがLIDマスク制御ライク(LID-Mask-Control-like:LMCライク)な特徴を用いること
を可能にする。VMをマイグレートしてその関連するLIDを宛先に送達する必要がある場合、不連続なLIDを自由に使用できることは特に有用となる。
を可能にする。VMをマイグレートしてその関連するLIDを宛先に送達する必要がある場合、不連続なLIDを自由に使用できることは特に有用となる。
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャについての上述の利点と共に、いくつかの検討事項を考慮に入れることができる。たとえば、ネットワークがブートされているときに、SR-IOV vSwitch対応のサブネットにおいてLIDが予めポピュレートされているので、(たとえば起動時の)最初の経路計算はLIDが予めポピュレートされていなかった場合よりも時間が長くかかる可能性がある。
インフィニバンドSR-IOVアーキテクチャモデル-動的LID割当てがなされたvSwitch
一実施形態に従うと、本開示は、動的LID割当てがなされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
一実施形態に従うと、本開示は、動的LID割当てがなされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
図6は、一実施形態に従った、動的LID割当てがなされた例示的なvSwitchアーキテクチャを示す。図に示されるように、いくつかのスイッチ501~504は、ネットワーク切替環境600(たとえばIBサブネット)内においてインフィニバンドファブリックなどのファブリックのメンバ間で通信を確立することができる。ファブリックは、ホストチャネルアダプタ510、520、530などのいくつかのハードウェアデバイスを含み得る。ホストチャネルアダプタ510、520および530は、さらに、ハイパーバイザ511、521および531とそれぞれ対話することができる。各々のハイパーバイザは、さらに、ホストチャネルアダプタと共に、いくつかの仮想機能514、515、516、524、525、526、534、535および536と対話し、設定し、いくつかの仮想マシンに割当てることができる。たとえば、仮想マシン1 550はハイパーバイザ511によって仮想機能1 514に割当てることができる。ハイパーバイザ511は、加えて、仮想マシン2 551を仮想機能2 515に割当て、仮想マシン3 552を仮想機能3 516に割当てることができる。ハイパーバイザ531はさらに、仮想マシン4 553を仮想機能1 534に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上における十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
一実施形態に従うと、スイッチ501~504の各々はいくつかのポート(図示せず)を含み得る。いくつかのポートは、ネットワーク切替環境600内においてトラフィックを方向付けるために線形のフォワーディングテーブルを設定するのに用いられる。
一実施形態に従うと、仮想スイッチ512、522および532は、それぞれのハイパーバイザ511、521および531によって処理することができる。このようなvSwitchアーキテクチャにおいては、各々の仮想機能は完全な仮想ホストチャネルアダプ
タ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して、追加のノードが接続されているスイッチのように見えている。
タ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して、追加のノードが接続されているスイッチのように見えている。
一実施形態に従うと、本開示は、動的LID割当てがなされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。図6を参照すると、LIDには、さまざまな物理機能513、523および533が動的に割当てられており、物理機能513がLID1を受取り、物理機能523がLID2を受取り、物理機能533がLID3を受取る。アクティブな仮想マシンに関連付けられたそれらの仮想機能はまた、動的に割当てられたLIDを受取ることもできる。たとえば、仮想マシン1 550がアクティブであり、仮想機能1 514に関連付けられているので、仮想機能514にはLID5が割当てられ得る。同様に、仮想機能2 515、仮想機能3 516および仮想機能1 534は、各々、アクティブな仮想機能に関連付けられている。このため、これらの仮想機能にLIDが割当てられ、LID7が仮想機能2 515に割当てられ、LID11が仮想機能3 516に割当てられ、仮想機能9が仮想機能1 535に割当てられている。LIDが予めポピュレートされたvSwitchとは異なり、アクティブな仮想マシンにその時点で関連付けられていない仮想機能はLIDの割当てを受けない。
一実施形態に従うと、動的LID割当てがなされていれば、最初の経路計算を実質的に減らすことができる。ネットワークが初めてブートしており、VMが存在していない場合、比較的少数のLIDを最初の経路計算およびLFT分配のために用いることができる。
一実施形態に従うと、多くの同様の物理的なホストチャネルアダプタが2つ以上のポートを有することができ(冗長性のために2つのポートが共用となっている)、仮想HCAも2つのポートで表わされ、1つまたは2つ以上の仮想スイッチを介して外部IBサブネットに接続され得る。
一実施形態に従うと、動的LID割当てがなされたvSwitchを利用するシステムにおいて新しいVMが作成される場合、どのハイパーバイザ上で新しく追加されたVMをブートすべきであるかを決定するために、自由なVMスロットが発見され、固有の未使用のユニキャストLIDも同様に発見される。しかしながら、新しく追加されたLIDを処理するためのスイッチのLFTおよびネットワークに既知の経路が存在しない。新しく追加されたVMを処理するために新しいセットの経路を計算することは、いくつかのVMが毎分ごとにブートされ得る動的な環境においては望ましくない。大規模なIBサブネットにおいては、新しい1セットのルートの計算には数分かかる可能性があり、この手順は、新しいVMがブートされるたびに繰返されなければならないだろう。
有利には、一実施形態に従うと、ハイパーバイザにおけるすべてのVFがPFと同じアップリンクを共有しているので、新しいセットのルートを計算する必要はない。ネットワークにおけるすべての物理スイッチのLFTを繰返し、(VMが作成されている)ハイパーバイザのPFに属するLIDエントリから新しく追加されたLIDにフォワーディングポートをコピーし、かつ、特定のスイッチの対応するLFTブロックを更新するために単一のSMPを送信するだけでよい。これにより、当該システムおよび方法では、新しいセットのルートを計算する必要がなくなる。
一実施形態に従うと、動的LID割当てアーキテクチャを用いたvSwitchにおいて割当てられたLIDは連続的である必要はない。各々のハイパーバイザ上のVM上で割当てられたLIDをLIDが予めポピュレートされたvSwitchと動的LID割当て
がなされたvSwitchとで比較すると、動的LID割当てアーキテクチャにおいて割当てられたLIDが不連続であり、そこに予めポピュレートされたLIDが本質的に連続的であることが分かるだろう。さらに、vSwitch動的LID割当てアーキテクチャにおいては、新しいVMが作成されると、次に利用可能なLIDが、VMの生存期間の間中ずっと用いられる。逆に、LIDが予めポピュレートされたvSwitchにおいては、各々のVMは、対応するVFに既に割当てられているLIDを引継ぎ、ライブマイグレーションのないネットワークにおいては、所与のVFに連続的に付与されたVMが同じLIDを得る。
がなされたvSwitchとで比較すると、動的LID割当てアーキテクチャにおいて割当てられたLIDが不連続であり、そこに予めポピュレートされたLIDが本質的に連続的であることが分かるだろう。さらに、vSwitch動的LID割当てアーキテクチャにおいては、新しいVMが作成されると、次に利用可能なLIDが、VMの生存期間の間中ずっと用いられる。逆に、LIDが予めポピュレートされたvSwitchにおいては、各々のVMは、対応するVFに既に割当てられているLIDを引継ぎ、ライブマイグレーションのないネットワークにおいては、所与のVFに連続的に付与されたVMが同じLIDを得る。
一実施形態に従うと、動的LID割当てアーキテクチャを用いたvSwitchは、いくらかの追加のネットワークおよびランタイムSMオーバーヘッドを犠牲にして、予めポピュレートされたLIDアーキテクチャモデルを用いたvSwitchの欠点を解決することができる。VMが作成されるたびに、作成されたVMに関連付けられた、新しく追加されたLIDで、サブネットにおける物理スイッチのLFTを更新することができる。この動作のために、1スイッチごとに1つのサブネット管理パケット(SMP)が送信される必要がある。各々のVMがそのホストハイパーバイザと同じ経路を用いているので、LMCのような機能も利用できなくなる。しかしながら、すべてのハイパーバイザに存在するVFの合計に対する制限はなく、VFの数は、ユニキャストLIDの限度を上回る可能性もある。このような場合、当然、アクティブなVM上でVFのすべてが必ずしも同時に付与されることが可能になるわけではなく、より多くの予備のハイパーバイザおよびVFを備えることにより、ユニキャストLID限度付近で動作する際に、断片化されたネットワークの障害を回復および最適化させるための融通性が追加される。
インフィニバンドSR-IOVアーキテクチャモデル-動的LID割当てがなされかつLIDが予めポピュレートされたvSwitch
図7は、一実施形態に従った、動的LID割当てがなされてLIDが予めポピュレートされたvSwitchを備えた例示的なvSwitchアーキテクチャを示す。図に示されるように、いくつかのスイッチ501~504は、ネットワーク切替環境500(たとえばIBサブネット)内においてインフィニバンドファブリックなどのファブリックのメンバ間で通信を確立することができる。ファブリックはホストチャネルアダプタ510、520、530などのいくつかのハードウェアデバイスを含み得る。ホストチャネルアダプタ510、520および530は、それぞれ、さらに、ハイパーバイザ511、521および531と対話することができる。各々のハイパーバイザは、さらに、ホストチャネルアダプタと共に、いくつかの仮想機能514、515、516、524、525、526、534、535および536と対話し、設定し、いくつかの仮想マシンに割当てることができる。たとえば、仮想マシン1 550は、ハイパーバイザ511によって仮想機能1 514に割当てることができることができる。ハイパーバイザ511は、加えて、仮想マシン2 551を仮想機能2 515に割当てることができる。ハイパーバイザ521は、仮想マシン3 552を仮想機能3 526に割当てることができる。ハイパーバイザ531は、さらに、仮想マシン4 553を仮想機能2 535に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上における十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
図7は、一実施形態に従った、動的LID割当てがなされてLIDが予めポピュレートされたvSwitchを備えた例示的なvSwitchアーキテクチャを示す。図に示されるように、いくつかのスイッチ501~504は、ネットワーク切替環境500(たとえばIBサブネット)内においてインフィニバンドファブリックなどのファブリックのメンバ間で通信を確立することができる。ファブリックはホストチャネルアダプタ510、520、530などのいくつかのハードウェアデバイスを含み得る。ホストチャネルアダプタ510、520および530は、それぞれ、さらに、ハイパーバイザ511、521および531と対話することができる。各々のハイパーバイザは、さらに、ホストチャネルアダプタと共に、いくつかの仮想機能514、515、516、524、525、526、534、535および536と対話し、設定し、いくつかの仮想マシンに割当てることができる。たとえば、仮想マシン1 550は、ハイパーバイザ511によって仮想機能1 514に割当てることができることができる。ハイパーバイザ511は、加えて、仮想マシン2 551を仮想機能2 515に割当てることができる。ハイパーバイザ521は、仮想マシン3 552を仮想機能3 526に割当てることができる。ハイパーバイザ531は、さらに、仮想マシン4 553を仮想機能2 535に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上における十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
一実施形態に従うと、スイッチ501~504の各々はいくつかのポート(図示せず)を含み得る。これらいくつかのポートは、ネットワーク切替環境700内においてトラフィックを方向付けるために線形のフォワーディングテーブルを設定するのに用いられる。
一実施形態に従うと、仮想スイッチ512、522および532は、それぞれのハイパーバイザ511、521、531によって処理することができる。このようなvSwit
chアーキテクチャにおいては、各々の仮想機能は、完全な仮想ホストチャネルアダプタ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して、追加のノードが接続されているスイッチのように見えている。
chアーキテクチャにおいては、各々の仮想機能は、完全な仮想ホストチャネルアダプタ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して、追加のノードが接続されているスイッチのように見えている。
一実施形態に従うと、本開示は、動的LID割当てがなされLIDが予めポピュレートされたハイブリッドvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。図7を参照すると、ハイパーバイザ511には、予めポピュレートされたLIDアーキテクチャを用いたvSwitchが配置され得るとともに、ハイパーバイザ521には、LIDが予めポピュレートされて動的LID割当てがなされたvSwitchが配置され得る。ハイパーバイザ531には、動的LID割当てがなされたvSwitchが配置され得る。このため、物理機能513および仮想機能514~516には、それらのLIDが予めポピュレートされている(すなわち、アクティブな仮想マシンに付与されていない仮想機能であってもLIDが割当てられている)。物理機能523および仮想機能1 524にはそれらのLIDが予めポピュレートされ得るとともに、仮想機能2 525および仮想機能3 526にはそれらのLIDが動的に割当てられている(すなわち、仮想機能2 525は動的LID割当てのために利用可能であり、仮想機能3 526は、仮想マシン3 552が付与されているので、11というLIDが動的に割当てられている)。最後に、ハイパーバイザ3 531に関連付けられた機能(物理機能および仮想機能)にはそれらのLIDを動的に割当てることができる。これにより、結果として、仮想機能1 534および仮想機能3 536が動的LID割当てのために利用可能となるとともに、仮想機能2 535には、仮想マシン4 553が付与されているので、9というLIDが動的に割当てられている。
LIDが予めポピュレートされたvSwitchおよび動的LID割当てがなされたvSwitchがともに(いずれかの所与のハイパーバイザ内で独立して、または組合わされて)利用されている、図7に示されるような一実施形態に従うと、ホストチャネルアダプタごとの予めポピュレートされたLIDの数はファブリックアドミニストレータによって定義することができ、(ホストチャネルアダプタごとに)0<=予めポピュレートされたVF<=総VFの範囲内になり得る。動的LID割当てのために利用可能なVFは、(ホストチャネルアダプタごとに)VFの総数から予めポピュレートされたVFの数を減じることによって見出すことができる。
一実施形態に従うと、多くの同様の物理的なホストチャネルアダプタが2つ以上のポートを有することができ(冗長性のために2つのポートが共用となっている)、仮想HCAも2つのポートで表わされ、1つまたは2つ以上の仮想スイッチを介して外部IBサブネットに接続され得る。
高速ハイブリッド再構成
一実施形態に従うと、高性能コンピューティング(High Performance Computing:HPC)クラスタは、何千ものノードおよび何百万ものコアから成る大規模並列システムである。従来より、このようなシステムは科学学界に関連があり、複雑で高粒度の演算を実行するのに用いることができる。しかしながら、クラウドコンピューティングパラダイムおよびビッグデータ・アナリティクスが出現したことで、コンピュータ科学学会は、HPCおよびビッグデータの集約がなされるであろうこと、クラウドが、関連するサービスをより広範囲の視聴対象者に対して提供するための手段になりつつあることに同意する傾向がある。大型の従来のHPCクラスタは、通常、多様に広がっているユーザ間で共有される環境であるが予測可能なワークロードである。しかしながら、クラウドおよびよりダイナ
ミックなプリペイド型モデルの影響を受けた場合、システムのワークロードおよび利用は予測不可能になる可能性があり、これにより、ランタイム中に性能を最適化する必要が生じる可能性がある。
一実施形態に従うと、高性能コンピューティング(High Performance Computing:HPC)クラスタは、何千ものノードおよび何百万ものコアから成る大規模並列システムである。従来より、このようなシステムは科学学界に関連があり、複雑で高粒度の演算を実行するのに用いることができる。しかしながら、クラウドコンピューティングパラダイムおよびビッグデータ・アナリティクスが出現したことで、コンピュータ科学学会は、HPCおよびビッグデータの集約がなされるであろうこと、クラウドが、関連するサービスをより広範囲の視聴対象者に対して提供するための手段になりつつあることに同意する傾向がある。大型の従来のHPCクラスタは、通常、多様に広がっているユーザ間で共有される環境であるが予測可能なワークロードである。しかしながら、クラウドおよびよりダイナ
ミックなプリペイド型モデルの影響を受けた場合、システムのワークロードおよび利用は予測不可能になる可能性があり、これにより、ランタイム中に性能を最適化する必要が生じる可能性がある。
一実施形態に従うと、性能を向上させるために調整および再構成することができるコンポーネントのうちの1つとして、基礎的な相互接続ネットワークが挙げられる。相互接続ネットワークは、ノード間に通信が集中するせいで、大規模な並列アーキテクチャにおいて重要な部分を成している。そのため、典型的には、無損失の層2フロー制御を採用する高性能ネットワーク技術が非常に優れた性能を提供するので、この高性能ネットワーク技術が用いられている。しかしながら、この性能は複雑度および管理コストを増すことによって得られるものであり、ネットワークの再構成が難易度の高いものになる可能性がある。無損失ネットワークにおいてはパケットが欠落することがないので、ルーティング機能によってループの形成が可能になれば、デッドロックが発生する可能性がある。サブネットマネージャ(Subnet Manager:SM)ソフトウェアはネットワークを管理することに関わっている。タスクの中でも、このSMは、ネットワークにおけるノード間においてデッドロックのない通信パス(経路)を計算して、対応する線形のフォワーディングテーブル(Linear Forwarding Table:LFT)をスイッチに分配する役割を果たしている。再構
成が必要になった場合、SMは、デッドロックのないルートの新しいセットを再計算する。しかしながら、移行段階中に新しいLFTを分配すると、新しいルーティング機能Rnewが古いルーティング機能Roldと共存することになる。RoldおよびRnewはともにデッドロックがないが、これらを組合わせるとそうならない可能性もある。さらに、パス演算は、再構成のうちよりコストのかかる段階であるとともに、トポロジーおよび選択されたルーティング機能次第では最大で数分かかる可能性もある。これにより、再構成が重大な障害が発生しない限り回避されるべき過度な動作に変えられてしまうような障害物が導入される可能性がある。障害が発生した場合、性能の低下を犠牲にして、デッドロックのない接続性を迅速に回復させるために、再構成が最小限に維持される。
成が必要になった場合、SMは、デッドロックのないルートの新しいセットを再計算する。しかしながら、移行段階中に新しいLFTを分配すると、新しいルーティング機能Rnewが古いルーティング機能Roldと共存することになる。RoldおよびRnewはともにデッドロックがないが、これらを組合わせるとそうならない可能性もある。さらに、パス演算は、再構成のうちよりコストのかかる段階であるとともに、トポロジーおよび選択されたルーティング機能次第では最大で数分かかる可能性もある。これにより、再構成が重大な障害が発生しない限り回避されるべき過度な動作に変えられてしまうような障害物が導入される可能性がある。障害が発生した場合、性能の低下を犠牲にして、デッドロックのない接続性を迅速に回復させるために、再構成が最小限に維持される。
一実施形態に従うと、システムおよび方法は、大規模な無損失ネットワークにおいて性能駆動型の再構成を提供することができる。ハイブリッド再構成方式は、ネットワークのうちさまざまな下位区分を選択するためのさまざまなルーティングアルゴリズムを用いた高速の部分的ネットワーク再構成を可能にし得る。部分的な再構成は、初期の全体構成よりも桁違いに高速であり得るので、無損失ネットワークにおける性能駆動型の再構成を検討することが可能となり得る。提案されているメカニズムは、大型のHPCシステムおよびクラウドが、隔離されたタスクを実行する複数のテナント(たとえば、さまざまなパーティション上のさまざまなテナント)によって共有されるという点を利用している。このようなシナリオにおいては、テナント間の相互通信が不可能となり、このため、ワークロード展開および配置スケジューラは、効率的なリソース利用を確実にするためにフラグメンテーションを回避しようと試みるはずである。すなわち、テナント当たりのトラフィックの大部分をネットワークのうち集約された下位区分内に含めることができる。SMは、全体的な性能を向上させるためにいくつかの下位区分を再構成することができる。SMは、ファットツリートポロジーおよびファットツリールーティングアルゴリズムを用いることができる。このようなハイブリッド再構成方式は、ネットワークを再構成するために提供されるノード順序付けを用いるカスタムのファットツリールーティングアルゴリズムを用いることによって、サブツリー内の性能をうまく再構成および向上させることができる。SMがネットワーク全体を再構成することを所望する場合、SMは、デフォルトのファットツリールーティングアルゴリズムを用いて、単一のサブネットにおけるさまざまな使用事例のための2つの異なるルーティングアルゴリズムの組合せを効果的に発揮することができる。
一実施形態に従うと、ファットツリールーティングアルゴリズム(FTree)はファ
ットツリートポロジーのためのトポロジー認識型ルーティングアルゴリズムである。FTreeが初めにネットワークトポロジーを発見し、各々のスイッチには、トポロジーにおけるその位置を識別するタプルで印が付けられている。各々のタプルは、(l,ah,...,a1)の形式の値のベクトルであり、この場合、「l」はスイッチが位置するレベル
を表わしている。さらに、「ah」は、最上位のサブツリー内におけるスイッチインデックスを表わしており、「a1」がその第1のサブツリーなどの内部におけるサブツリーのインデックスを表わすようになるまで再帰的に数字「ah-1」を表わしている。nレベルのファットツリーの場合、ルートレベル(最上位またはコア)のスイッチはレベルl=0に位置するものの、リーフスイッチ(この場合、そこにノードが接続されている)はレベルl=n-1に位置する。一例としての2-ary-4-treeについてのタプル割当てが図8に示される。
ットツリートポロジーのためのトポロジー認識型ルーティングアルゴリズムである。FTreeが初めにネットワークトポロジーを発見し、各々のスイッチには、トポロジーにおけるその位置を識別するタプルで印が付けられている。各々のタプルは、(l,ah,...,a1)の形式の値のベクトルであり、この場合、「l」はスイッチが位置するレベル
を表わしている。さらに、「ah」は、最上位のサブツリー内におけるスイッチインデックスを表わしており、「a1」がその第1のサブツリーなどの内部におけるサブツリーのインデックスを表わすようになるまで再帰的に数字「ah-1」を表わしている。nレベルのファットツリーの場合、ルートレベル(最上位またはコア)のスイッチはレベルl=0に位置するものの、リーフスイッチ(この場合、そこにノードが接続されている)はレベルl=n-1に位置する。一例としての2-ary-4-treeについてのタプル割当てが図8に示される。
図8は、一実施形態に従ったスイッチタプルを示す。より具体的には、この図は、一例であるファットツリー、XGFT(4;2,2,2,2;2,2,2,1)について実現された、OpenSMのファットツリールーティングアルゴリズムによって割当てられたものとしてスイッチタプルを示している。ファットツリー800は、スイッチ801~808、811~818、921~1428、および831~838を含み得る。ファットツリーが(リーフレベルで行3になるまで、ルートレベルで行0として印が付けられている)n=4スイッチレベルを有しているので、ファットツリーは、m=2つの第1レベルのサブツリーで構成されており、この場合、各々は、n′=n-1=3スイッチレベルである。これは、レベル1からレベル3までのスイッチを囲む破線によって規定されている2つのボックスによって図中に示されており、第1レベルのサブツリーは0または1の識別子を受取る。それらの第1レベルのサブツリーの各々は、m2=2つの第2レベルのサブツリーで構成されており、この場合、リーフスイッチの上では、各々、n″=n′―1=2のスイッチレベルとなっている。これは、レベル2からレベル3までのスイッチを囲む点線によって規定されている4つのボックスによって図中に示されており、第2レベルのサブツリーは各々、0または1の識別子を受取る。同様に、リーフスイッチの各々もサブツリーと見なすことができ、鎖線によって規定された8つのボックスによって図中に示されており、これらのサブツリーの各々は0または1の識別子を受取る。
一実施形態に従うと、図に例示されるように、4つの数字のタプルなどのタプルをさまざまなスイッチに割当てることができ、タプルの各々の数字は、タプルにおける各々の値の位置についての特定のサブツリー対応関係を示している。たとえば、スイッチ814(スイッチ1_3と称され得る)には、レベル1におけるその位置と0番目の第1レベルのサブツリーとを表わしているタプル1.0.1.1を割当てることができる。
一実施形態に従うと、一旦タプルが割当てられると、FTreeは、昇順のタプル順序で各々のリーフスイッチを繰返し、ノードが昇順のポート順序で接続されている下向きの各スイッチポートの場合、アルゴリズムは、それらのLIDに基づいて、選択されたノードをルーティングする。図9~図13は、一実施形態に従ってノードがどのようにルーティングされるかについてのさまざまな段階を示している。
図9は、一実施形態に従った、ノードルーティングの段階についてのシステムを示す。図におけるスイッチ901~912は1~12までの数字で印が付けられている。各々のスイッチは複数のポート(図示せず)を含み得る。たとえば、各々のスイッチは32個のポート(下向きの16個および上向きの16個)を含み得る。スイッチ1、2、3、4の各々も2つ以上のノードにリンクさせることができ、たとえば、ノードA920およびノードB921をスイッチ1にリンクさせ、ノードC922およびノードD923をスイッチ2にリンクさせ、ノードE924およびノードF925をスイッチ3にリンクさせ、かつ、ノードG926およびノードH927をスイッチ4にリンクさせることができる。F
Treeは、ルート同士のバランスを取るためにポート使用カウンタを維持しているとともに、下向きのルートを選択しつつロード量の最も少ないポートからファブリックを上方向に横断することを開始する。図に示されるように、最初の繰返し時には、すべてのポートカウンタはゼロであるため、第1の利用可能な上向きのポートが選択される。レベルが上がるごとに、新しく到達したスイッチ、この場合スイッチ5 905が、到達したスイッチが経由した入力ポートからルーティングされたノード(ノードA920)に向かってトラフィック全体を下方向にルーティングするためのスイッチとして選択される。図中の破線は、ノードAに割当てられたルートを表わしている。
Treeは、ルート同士のバランスを取るためにポート使用カウンタを維持しているとともに、下向きのルートを選択しつつロード量の最も少ないポートからファブリックを上方向に横断することを開始する。図に示されるように、最初の繰返し時には、すべてのポートカウンタはゼロであるため、第1の利用可能な上向きのポートが選択される。レベルが上がるごとに、新しく到達したスイッチ、この場合スイッチ5 905が、到達したスイッチが経由した入力ポートからルーティングされたノード(ノードA920)に向かってトラフィック全体を下方向にルーティングするためのスイッチとして選択される。図中の破線は、ノードAに割当てられたルートを表わしている。
図10は、一実施形態に従った、ノードルーティングの段階についてのシステムを示す。図中のスイッチ901~912は1~12までの数字で印が付けられている。各々のスイッチは複数のポート(図示せず)を含み得る。たとえば、各々のスイッチは32個のポート(下向きの16個および上向きの16個)を含み得る。スイッチ1、2、3、4の各々も、2つ以上のノードにリンクさせることができ、たとえば、ノードA920およびノードB921をスイッチ1にリンクさせ、ノードC922およびノードD923をスイッチ2にリンクさせ、ノードE924およびノードF925をスイッチ3にリンクさせ、かつ、ノードG926およびノードH927をスイッチ4にリンクさせることができる。FTreeは、図9に示されるルーティングステップの後、ファブリックを下方向に横断し、ルートを同様の態様でスイッチに向かって上方向に割当てる。これは、図においては、スイッチ5からスイッチ2に向かうとともにルーティングアルゴリズムを表わしている長い矢印として示されている。次いで、ルート割当てが、スイッチ2からスイッチ5に向かって上向きに進められる。図中の破線はノードAに割当てられたルートを表わしている。
図11は、一実施形態に従った、ノードルーティングの段階についてのシステムを示す。図中のスイッチ901~912は1~12までの数字で印が付けられている。各々のスイッチは複数のポート(図示せず)を含み得る。たとえば、各々のスイッチは32個のポート(下向きの16個および上向きの16個)を含み得る。スイッチ1、2、3、4の各々も、2つ以上のノードにリンクさせることができ、たとえば、ノードA920およびノードB921をスイッチ1にリンクさせ、ノードC922およびノードD923をスイッチ2にリンクさせ、ノードE924およびノードF925をスイッチ3にリンクさせ、かつ、ノードG926およびノードH927をスイッチ4にリンクさせることができる。図9および図10に記載されているのと同じまたは同様の再帰的な動作は、選択されたノードのためのルートエントリがファブリックにおける必要なスイッチのすべてに追加されるまで続けられる。図11に示されるように、上向きに昇っていく動作によって下降するルートが示されている。FTreeメカニズムがツリーを(スイッチ5からスイッチ9まで)上向きに横断するのに応じて、ルートがスイッチ9とスイッチ5との間でノードAに割当てられる(下向きのルート)。
図12は、一実施形態に従った、ノードルーティングの段階についてのシステムを示す。図中のスイッチ901~912は1~12までの数字で印が付けられている。各々のスイッチは複数のポート(図示せず)を含み得る。たとえば、各々のスイッチは32個のポート(下向きの16個および上向きの16個)を含み得る。スイッチ1、2、3、4の各々も、2つ以上のノードにリンクさせることができ、たとえば、ノードA920およびノードB921をスイッチ1にリンクさせ、ノードC922およびノードD923をスイッチ2にリンクさせ、ノードE924およびノードF925をスイッチ3にリンクさせ、かつ、ノードG926およびノードH927をスイッチ4にリンクさせることができる。図9、図10および図11に記載されているのと同じまたは同様の再帰的な動作は、選択されたノードのためのルートエントリがファブリックにおける必要なスイッチのすべてに追加されるまで続けられる。図12に示されるように、下向きに下降する動作によって上昇するルートがスイッチ9とスイッチ7との間に存在し、下向きに下降する動作によって上
に昇っていく2つのルートが実行され、一方のルートがスイッチ7とスイッチ3との間に存在し、もう一方のルートがスイッチ7とスイッチ4との間に存在している。図中の破線は、ノードAに割当てられたルートを表わしている。この時点で、すべてのノードからノードAまでのルートがシステムにおいて規定されている。このような動作は、すべてのノードのすべてのルートが計算されてしまうまで、ポートカウンタを維持しながら、システムにおける各ノードごとに繰返すことができる。
に昇っていく2つのルートが実行され、一方のルートがスイッチ7とスイッチ3との間に存在し、もう一方のルートがスイッチ7とスイッチ4との間に存在している。図中の破線は、ノードAに割当てられたルートを表わしている。この時点で、すべてのノードからノードAまでのルートがシステムにおいて規定されている。このような動作は、すべてのノードのすべてのルートが計算されてしまうまで、ポートカウンタを維持しながら、システムにおける各ノードごとに繰返すことができる。
ノードAに向かうルーティングが完了していても、ノードAに向かうルートのないブランクのスイッチ(スイッチ6、8、10、11、12)がいくつか存在していることに留意されたい。実際には、FTreeはこれらのブランクのスイッチにおいてもルートを追加することができる。ノードAに向かうパケットがたとえばスイッチ12に到達した場合、このスイッチは、それが、受取ったパケットをスイッチ6に向かって下方向に転送しなければならないことを認識している一方で、スイッチ6は、スイッチ12から受取ったパケットをその宛先Aを到達させるためにスイッチ1に転送しなければならないことを認識している。しかしながら、より低いレベルのスイッチは、ノードAに向かうトラフィックをスイッチ12に転送することはないだろう。なぜなら、上向きのルートが常にパケットをスイッチ9に向かって押し進めることになるからである。宛先ノードカウンタ毎に1つのルートスイッチを用いることにより、幅広い輻輳ツリーの成長が阻止されることに留意されたい。
一実施形態に従うと、高速ハイブリッド再構成方法は、HPCシステムおよびクラウド環境が、隔離されたタスクを実行する複数のテナントによって共有されている(すなわち、テナント間の相互通信が許可されていない)という概念に基づき得る。より適切なリソース利用を実現するために、ワークロード展開または仮想マシン配置スケジューラは、リソースのフラグメンテーションを可能な限り回避しようと試みる。結果として、テナントごとのワークロードは、不必要なネットワークトラフィックおよびクロステナントのネットワーク干渉を回避するために、物理ネットワーク接続に対して近傍にある物理的マシン上にマッピングされる。2レベルよりも高いレベルのファットツリートポロジーの場合、これは、マルチレベル・ファットツリーのサブツリー内にテナントごとのトラフィックを含めることができることを意味している。
図13は、一実施形態に従った、2レベルよりも高いレベルを有するファットツリートポロジーを含むシステムを示す。いくつかのスイッチレベル(図示される実施形態においては3つのスイッチレベル)を有するファットツリートポロジーサブネット1300内においては、サブツリー1310(この明細書中においてはサブ・サブネットとしても称される)を規定することができる。この場合、サブツリー1310内のトラフィックは全体が含まれている。すなわち、サブツリー1310内の(すなわち、エンドノードAからエンドノードPにわたるエンドノード1320間における)トラフィックは、トポロジーの残りの部分に流れ込んだり、この残りの部分から流れ出したりすることはない。一例として、エンドノード1320はすべて同じパーティションに属し得る(たとえば、1320におけるすべてのノードが共通のパーティションキー(P_Key)を共有している)。なお、図示されていないが、エンドノードの各々がホストチャネルアダプタ(HCA)を介して交換網に接続され得ることに留意されたい。
一実施形態に従うと、高速ハイブリッド再構成方法は、部分的な再構成を適用して、内部のトラフィックパターンのみに基づいてサブ・サブネット内でローカルに最適化することができる。このような部分的な再構成を適用することによって、当該方法は、より少ないレベルを有するファットツリーとして再構成を有効に処理することができ、このため、パス演算および全体的な再構成のコストを下げることができる。実際には、性能駆動型の再構成は、共有された高度にダイナミックな環境においてさえも魅力的なものとなる。さ
らに、部分的な再構成を適用する場合、当該方法は、サブ・サブネット1310内のノードの転送エントリを変更するだけでよい。ファブリックをルーティングするために用いられる初期のルーティングアルゴリズムがFTreeまたはその同様のものであり、仮想レーンを用いることなく上向き/下向きルーティングの変形例を適用することによって確実にデッドロックが解消されると想定すると、当該方法は、所与のサブツリーを隔離されたものとして再ルーティングするために任意の最適なルーティングアルゴリズムを用いることができる(ハイブリッド再構成)。
らに、部分的な再構成を適用する場合、当該方法は、サブ・サブネット1310内のノードの転送エントリを変更するだけでよい。ファブリックをルーティングするために用いられる初期のルーティングアルゴリズムがFTreeまたはその同様のものであり、仮想レーンを用いることなく上向き/下向きルーティングの変形例を適用することによって確実にデッドロックが解消されると想定すると、当該方法は、所与のサブツリーを隔離されたものとして再ルーティングするために任意の最適なルーティングアルゴリズムを用いることができる(ハイブリッド再構成)。
一実施形態に従うと、一旦ファットツリーのサブツリーが再構成されれば、すべてのエンドノード間の接続は、再構成されたサブ・サブネットの外側にあるものであったとしても、依然として維持されている。これは、スイッチが、トラフィックをどの宛先に向けて転送すべきかを規定するLFTを有しているからである。すなわち、すべてのスイッチSは、他のノードが、Sを介してxに向かうよう定められたパケットを実際に転送し得ない場合であっても、すべての宛先xごとに、LFTにおいて、有効な転送エントリを有している。たとえば、サブツリー内で選択された初期のルーティングの後、(ここではスイッチ5と称される)リーフスイッチよりも1レベル高いレベルにあるスイッチは、トラフィックをノードAに向けて下方向にルーティングすることが選択されるとともに、スイッチ5と同じレベルにあるスイッチ6は、トラフィックをノードBに向けてルーティングすることが選択されていた。サブツリーの再構成の後、スイッチ5は、このとき、トラフィックをノードBに向けてルーティングするのに用いられ、スイッチ6は、ノードAに向けてルーティングするのに用いられる。この場合、サブツリー内に位置するノードEおよびノードFがノードAまたはノードBに向けてトラフィックを送信する場合、新しく計算されたパスが用いられることとなり、トラフィックは全体がサブツリー内に残ることとなる。しかしながら、サブツリー(図示せず)の外側に位置するノードがトラフィックをノードAおよびノードBに送信する場合、古いパス(すなわち、それらのパスがサブツリーの外側にあるので再構成の一部とはならない)が用いられることとなり、AおよびBに向かうトラフィックが、サブネット全体の元のルーティングによって指定されるスイッチにおけるサブツリーに入ることとなる。サブツリー外におけるこのような挙動は、潜在的には、たとえばサブツリー内部のロードバランシングに干渉することによって、サブツリー再構成の目的を妨害する可能性がある。しかしながら、(たとえば、サブツリーがパーティション全体を含む場合に)サブツリー境界を横断するトラフィックがほとんどなくなるようにまたは当該トラフィックが全くなくなるようにサブツリーが構成されている場合、このような干渉はほんの些細な問題となる。
一実施形態に従うと、部分的な再構成を適用するために、当該方法は、初めに、再構成されなければならないサブツリーにあるすべてのノードおよびスイッチを選択し得る。当該方法は、どのサブツリーを再構成するべきであるかを選択するためにスイッチタプルを用いることができる。部分的な再構成の場合、当該方法は、サブツリーにあり再構成される必要のあるすべてのノードおよびスイッチを選択することができる。サブツリーにおけるすべてのノードを選択して検討する必要がある。サブツリーにおけるすべてのエンティティの選択プロセスは以下のステップで行うことができる。
1)アドミニストレータ(またはファブリック利用を監視する自動化されたソリューション)は、再構成に関与するはずであるノードのリストを提供する。
2)ステップ1からのノードのリーフスイッチのタプル同士が比較されて、共通の先祖サブツリーが選択される。
3)ステップ2において選択されたサブツリーに属するすべてのスイッチには再構成のために印が付けられることとなる。
4)ステップ3におけるスイッチのリストから、リーフスイッチが選ばれて、選ばれたリーフスイッチに接続されたすべてのノードが、再構成プロセスに関与することとなる。
5)最後に、ルーティングアルゴリズムは、ステップ4において選択されたノードについてのみルートの新しいセットを計算し、ステップ3において選択されたスイッチに対してのみLFTを分配しなければならない。
一実施形態に従うと、ファットツリーのような多段式スイッチトポロジーにおいては、有効なバイセクション帯域幅は、通常、さまざまなトラフィックパターンに対しては、理論上のバイセクション帯域幅未満となる。これは、どのノード対が通信のために選択されたかに応じて、上向き方向に共有されるリンクが存在する可能性があるからである。一例が図14に示される。
図14は、一実施形態に従った、高速ハイブリッド再構成のためのシステムを示す。いくつかのスイッチレベル(図示された実施形態においては3つのスイッチレベル)を有するファットツリートポロジーサブネット1400内では、サブ・サブネット1410内のトラフィック全体が含まれているサブツリー1410を規定することができる。すなわち、サブ・サブネット1410内の(すなわち、エンドノードAからエンドノードPにわたるエンドノード1420間における)トラフィックは、トポロジーの残りの部分に流れ込んだり、この残りの部分から流れ出したりすることはない。一例として、エンドノード1420はすべて、同じパーティションに属し得る。
図に示されるように、エンドノード1420(エンドノードA~P)は、FTreeルーティングアルゴリズムでグローバルにルーティングされた3レベルのファットツリーの(1410として示される)2レベルのサブツリー内において通信することができる。図示された実施形態においては、ルーティング方法、すなわちFTreeは、ノードA、E、IおよびMに向かって下方向にルーティングするためにスイッチ5を選択し、ノードB、F、JおよびNに向かって下方向にルーティングするためにスイッチ6を選択し、ノードC、G、KおよびOに向かって下方向にルーティングするためにスイッチ7を選択し、ノードD、H、LおよびPに向かって下方向にルーティングするためにスイッチ8を選択していた。このサブツリーは理論上のフルバイセクション帯域幅を有しているが、ノードB、CおよびDがノードE、IおよびMのそれぞれにトラフィックを送信している図示される通信パターンでの有効なバイセクション帯域幅は、フル帯域幅の1/3である。これは、すべての宛先ノードが第2のレベルにある同じスイッチ(スイッチ5)を介してルーティングされているとともに、スイッチ1とスイッチ5とを接続する太い破線のリンクが3つのすべての流れによって共有されており、トラフィックに関する障害になるからである。しかしながら、リンクの共有を回避してフル帯域幅を提供するのに十分な空のリンクが存在している。ポート順序に基づいた同じルーティング順序になるとは限らないフレキシブルな再構成を可能にするために、高速ハイブリッド再構成方式は、ファットツリールーティングメカニズム(NoFTreeとも称され得る)を用いることができる。このファットツリールーティングメカニズムは、ユーザによって定義されたノード順序付けを用いて、ファットツリーネットワークをルーティングするものである。これにより向上をもたらすことができる。1ノード当たりの受信トラフィックを決定するための単純な方法として、IBポートカウンタを読取ることが挙げられる。これにより、アドミニストレータは、テナントによって実行されるジョブについての詳細に精通している必要がなくなる。
一実施形態に従うと、NoFTreeは、高速ハイブリッド再構成方式のコンテキストにおいて用いることができ、スイッチおよびノードが上述のとおり選択された後、サブツリーをルーティングする。当該方式は以下のステップに従い得る。
1)ルーティングされるべきノードについての順序付けされたリストは、ユーザまたは監視ソリューションによって提供される。
2)NoFTreeは、リーフスイッチ毎にノードに再度順序付けをする。次いで、順序付けられたノードの各々は、所与のリーフスイッチにおいてルーティングされるべきリーフsw+1スロット当たりn%の最大ノードに配置される。この場合、nは、ノードについての再順序付けされたリストにおけるノードの全体位置である。
3)各々のリーフスイッチに接続されているが提供されたノード順序付けリスト内には存在しない残りのノードは、ノードが接続されるポート順序に基づいて、残りのリーフスイッチルーティングスロットを埋めている。ポートの順序付けがユーザによって提供されていない場合、NoFTreeはFTreeルーティングアルゴリズムとして機能することができる。
4)NoFTreeは再び各々のリーフスイッチを繰返し、先のステップ全体を経て構築されたノード順序に基づいて各々のノードをルーティングする。
図15は、一実施形態に従った、高速ハイブリッド再構成のためのシステムを示す。いくつかのスイッチレベル(図示される実施形態においては3つのスイッチレベル)を有するファットツリートポロジーサブネット1500内において、サブ・サブネット1510内のトラフィック全体が含まれているサブツリー1510を規定することができる。すなわち、サブ・サブネット1510内の(すなわち、エンドノードAからエンドノードPにわたるエンドノード1520間における)トラフィックは、トポロジーの残りの部分に流れ込んだり、この残りの部分から流れ出したりすることはない。一例として、エンドノード1520はすべて、同じパーティションに属し得る。
図に示されるように、エンドノード1520(エンドノードA~P)は、FTreeルーティングアルゴリズムでグローバルにルーティングされた3レベルのファットツリーの(1510として示される)2レベルのサブツリー内において通信することができる。図示される実施形態においては、ルーティング方法では、NoFTreeは、供給された/受取られたノード順序E、I、Mを用いて図15のサブツリーを再構成しており、ノードA、E、JおよびNに向かって下方向にルーティングするためにスイッチ5を選択し、ノードB、F、IおよびOに向かって下方向にルーティングするためにスイッチ6を選択し、ノードC、G、KおよびMに向かって下方向にルーティングするためにスイッチ7を選択し、ノードD、H、LおよびPに向かって下方向にルーティングするためにスイッチ8を選択している。
この場合、NoFTreeが再構成のために用いている供給された/受取られたノード順序はE、I、Mである。リーフスイッチ1からのノードがノード順序付けでは規定されていないので、スイッチ1に接続されたノードはポート順序に基づいてルーティングされる。ノードEは、全体的なノード順序付けにおける第1のノードであるとともに、リーフスイッチ2において順序付けされるべき第1のノードであるので、ノードEはスイッチ2においてルーティングされる(スイッチ5から下方向にルーティングされる)べき第1のノードになる。リーフスイッチ2上のノードの残り(ノードF、G、H)は、ポート順序に従ってルーティングされる。次いで、当該メカニズムは、第3のリーフスイッチ(スイッチ3)へと進み、ここで、提供された/受取られたノード順序付けからノードIが接続される。ノードIは、提供された/受取られたノード順序付けにおける第2のノードであるとともにスイッチ3において順序付けられるべき第1のノードであるので、ノードIは、スイッチ3においてルーティングされる(スイッチ6から下方向にルーティングされる
)べき第2のノードとなる。スイッチ4に接続されたノードは同じ態様でルーティングされる。残りのルーティングが、上述され図示されるように行なわれる。このシナリオにおいては、300%の性能向上を達成することができる。なぜなら、ノードB、CおよびDからノードE、IおよびMに流れ込むトラフィックと共有される上向きのリンクがもはや存在しないからである。
)べき第2のノードとなる。スイッチ4に接続されたノードは同じ態様でルーティングされる。残りのルーティングが、上述され図示されるように行なわれる。このシナリオにおいては、300%の性能向上を達成することができる。なぜなら、ノードB、CおよびDからノードE、IおよびMに流れ込むトラフィックと共有される上向きのリンクがもはや存在しないからである。
図16は、一実施形態に従った、高性能コンピューティング環境における高速ハイブリッド再構成をサポートするための例示的な方法を示すフローチャートである。
ステップ1610において、当該方法は、1つ以上のマイクロプロセッサにおいて第1のサブネットを提供し得る。第1のサブネットは複数のスイッチを含み、複数のスイッチは少なくともリーフスイッチを含み、複数のスイッチの各々は、複数のスイッチポートと、各々が少なくとも1つのホストチャネルアダプタポートを含む複数のホストチャネルアダプタと、複数のエンドノードとを含む。複数のエンドノードの各々は、複数のホストチャネルアダプタのうち少なくとも1つのホストチャネルアダプタに関連付けられている。
ステップ1620において、当該方法は、複数のレベルを有するネットワークアーキテクチャにおいて第1のサブネットのうちの複数のスイッチを配置し得る。複数のレベルの各々は複数のスイッチのうち少なくとも1つのスイッチを含む。
ステップ1630において、当該方法は、第1の構成方法に従って複数のスイッチを構成し得る。第1の構成方法は、複数のエンドノードについての第1の順序付けに関連付けられている。
ステップ1640において、当該方法は、複数のスイッチのサブセットを第1のサブネットのサブ・サブネットとして構成し得る。第1のサブネットのサブ・サブネットは第1のサブネットの複数のレベルよりも少ないいくつかのレベルを含む。
ステップ1650において、当該方法は、第2の構成方法に従って第1のサブネットのサブ・サブネットを再構成し得る。
本発明のさまざまな実施形態を上述してきたが、これら実施形態が限定ではなく例示として提示されていることが理解されるべきである。これら実施形態は本発明の原理およびその実用化を説明するために選択され記載されている。これら実施形態は、新しい特徴および/もしくは改善された特徴を提供することによって、ならびに/または、リソース利用の低減、容量の増加、効率の向上および待ち時間の低下などの利点を提供することによって、システムおよび方法の性能を向上させるために本発明が利用されているシステムおよび方法を例示している。
いくつかの実施形態においては、本発明の特徴は、全体的または部分的に、プロセッサ、メモリなどの記憶媒体、および他のコンピュータと通信するためのネットワークカードを含むコンピュータにおいて実現される。いくつかの実施形態においては、本発明の特徴は、コンピュータの1つ以上のクラスタがローカルエリアネットワーク(Local Area Network:LAN)、スイッチファブリックネットワーク(たとえば、インフィニバンド)、またはワイドエリアネットワーク(Wide Area Network:WAN)などのネットワークに
よって接続されている分散コンピューティング環境において実現される。分散コンピューティング環境は、一箇所においてすべてのコンピュータを有していてもよく、または、WANによって接続されているさまざまな遠隔地理位置においてコンピュータのクラスタを有していてもよい。
よって接続されている分散コンピューティング環境において実現される。分散コンピューティング環境は、一箇所においてすべてのコンピュータを有していてもよく、または、WANによって接続されているさまざまな遠隔地理位置においてコンピュータのクラスタを有していてもよい。
いくつかの実施形態においては、本発明の特徴は、全体的または部分的に、ウェブ技術を用いたセルフサービスの調整された態様でユーザに送達される共有型で融通性のあるリソースに基づいて、クラウド・コンピューティング・システムの一部またはサービスとしてクラウドにおいて実現される。(米国標準技術局(National Institute of Standards and Technology)よって定義される)クラウドの5つの特徴がある。すなわち、オン・デマンドのセルフサービス、広域ネットワークアクセス、リソースプール化、高速伸縮性、およびメジャードサービスである。たとえば、この明細書中に引用によって援用されている「クラウドコンピューティングのNIST定義(The NIST Definition of Cloud Computing)」(特殊出版(Special Publication)800~145(2011))を参照され
たい。クラウド展開モデルは、パブリック、プライベートおよびハイブリッドを含む。クラウドサービスモデルは、ソフトウェア・アズ・ア・サービス(Software as a Service
:SaaS)、プラットフォーム・アズ・ア・サービス(Platform as a Service:Pa
aS)、データベース・アズ・ア・サービス(Database as a Service:DBaaS)お
よびインフラストラクチャ・アズ・ア・サービス(Infrastructure as a Service:Ia
aS)を含む。この明細書中に用いられているように、クラウドは、セルフサービスの調整された態様で、共有される融通性のあるリソースをユーザに対して配信する、ハードウェア技術とソフトウェア技術とネットワーク技術とウェブ技術とを組合せたものである。特に既定のない限り、クラウドは、この明細書中において用いられているとおり、パブリッククラウド、プライベートクラウドおよびハイブリッドクラウドの実施形態を包含しており、すべてのクラウド展開モデルは、クラウドSaaS、クラウドDBaaS、クラウドPaaSおよびクラウドIaaSを含むもののこれらに限定されない。
たい。クラウド展開モデルは、パブリック、プライベートおよびハイブリッドを含む。クラウドサービスモデルは、ソフトウェア・アズ・ア・サービス(Software as a Service
:SaaS)、プラットフォーム・アズ・ア・サービス(Platform as a Service:Pa
aS)、データベース・アズ・ア・サービス(Database as a Service:DBaaS)お
よびインフラストラクチャ・アズ・ア・サービス(Infrastructure as a Service:Ia
aS)を含む。この明細書中に用いられているように、クラウドは、セルフサービスの調整された態様で、共有される融通性のあるリソースをユーザに対して配信する、ハードウェア技術とソフトウェア技術とネットワーク技術とウェブ技術とを組合せたものである。特に既定のない限り、クラウドは、この明細書中において用いられているとおり、パブリッククラウド、プライベートクラウドおよびハイブリッドクラウドの実施形態を包含しており、すべてのクラウド展開モデルは、クラウドSaaS、クラウドDBaaS、クラウドPaaSおよびクラウドIaaSを含むもののこれらに限定されない。
いくつかの実施形態においては、本発明の特徴が、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組合せを用いて、またはそれらの組合せの助けを借りて実現される。いくつかの実施形態においては、本発明の特徴は、本発明の1つ以上の機能を実行するように構成されたかまたはプログラムされたプロセッサを用いて実現される。プロセッサは、いくつかの実施形態においては、シングルプロセッサもしくはマルチチッププロセッサ、デジタル信号プロセッサ(digital signal processor:DSP)、システム・オン・ア・チップ(system on a chip:SOC)、特定用途向け集積回路(application specific integrated circuit:ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate array:FPGA)もしくは他のプログラマブルロジックデバイス、ステートマシン、離散的なゲートもしくはトランジスタ論理、離散的なハードウェアコンポーネント、または、この明細書中に記載される機能を実行するように設計されたそれらのいずれかの組合せである。いくつかの実現例においては、本発明の特徴が、所与の機能に特有の回路類によって実現され得る。他の実現例においては、これらの特徴は、たとえば、コンピュータ読取り可能記憶媒体上に格納された命令を用いて特定の機能を実行するように構成されたプロセッサにおいて実現され得る。
いくつかの実施形態においては、本発明の特徴は、処理システムおよび/またはネットワーキングシステムのハードウェアを制御するために、かつ、プロセッサおよび/またはネットワークが本発明の特徴を利用する他のシステムと対話することを可能にするために、ソフトウェアおよび/またはファームウェアに組込まれている。このようなソフトウェアまたはファームウェアは、アプリケーションコード、デバイスドライバ、オペレーティングシステム、仮想マシン、ハイパーバイザ、アプリケーションプログラムインターフェイス、プログラミング言語、および実行環境/コンテナを含み得るがこれらに限定されない。適切なソフトウェアコーディングは、ソフトウェア技術に精通した当業者にとって明らかになるように、熟練したプログラマであれば本開示の教示に基づいて容易に準備することができる。
いくつかの実施形態においては、本発明は、命令が格納されている記憶媒体またはコン
ピュータ読取り可能媒体であるコンピュータプログラムプロダクトを含む。これらの命令は、本発明のプロセスまたは機能のいずれかを実行するようにコンピュータなどのシステムをプログラムするかまたは他の場合には構成するのに用いることができる。記憶媒体またはコンピュータ読取り可能媒体は、フロッピー(登録商標)ディスク、光ディスク、DVD、CD-ROM、マイクロドライブ、および磁気光ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気もしくは光カード、(分子メモリICを含む)ナノシステムを含む任意のタイプのディスク、ならびに、命令および/もしくはデータを格納するのに適した任意のタイプの媒体もしくは装置、を含み得るが、これらには限定されない。特定の実施形態においては、記憶媒体またはコンピュータ読取り可能媒体は、非一時的な記憶媒体または非一時的なコンピュータ読取り可能媒体である。
ピュータ読取り可能媒体であるコンピュータプログラムプロダクトを含む。これらの命令は、本発明のプロセスまたは機能のいずれかを実行するようにコンピュータなどのシステムをプログラムするかまたは他の場合には構成するのに用いることができる。記憶媒体またはコンピュータ読取り可能媒体は、フロッピー(登録商標)ディスク、光ディスク、DVD、CD-ROM、マイクロドライブ、および磁気光ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気もしくは光カード、(分子メモリICを含む)ナノシステムを含む任意のタイプのディスク、ならびに、命令および/もしくはデータを格納するのに適した任意のタイプの媒体もしくは装置、を含み得るが、これらには限定されない。特定の実施形態においては、記憶媒体またはコンピュータ読取り可能媒体は、非一時的な記憶媒体または非一時的なコンピュータ読取り可能媒体である。
上述の記載は、網羅的となるよう意図されたものではなく、または、本発明を開示されたとおりの形態に限定するように意図されたものではない。加えて、本発明の実施形態が特定の一連のトランザクションおよびステップを用いて記載されてきたが、本発明の範囲が上述の一連のトランザクションおよびステップに限定されないことが当業者にとって明らかとなるはずである。さらに、本発明の実施形態がハードウェアとソフトウェアとの特定の組合わせを用いて記載されてきたが、ハードウェアとソフトウェアとの他の組合せが本発明の範囲内であることも認識されるはずである。さらに、さまざまな実施形態が本発明の特徴の特定の組合せを記載しているが、当業者にとっては、一実施形態の特徴が別の実施形態に組込まれ得るようにこれらの特徴のさまざまな組合せが本発明の範囲内にあるものとして明らかになるであろうことが理解されるはずである。さらに、本発明の精神および範囲から逸脱することなく、形態、詳細、実施および適用のさまざまな追加、削減、削除、変形および他の変更がなされ得ることが当業者にとって明らかになるだろう。本発明のより広範な精神および範囲が、添付の特許請求の範囲およびその同等例によって規定されることが意図されている。
Claims (23)
- 高性能コンピューティング環境において高速ハイブリッド再構成をサポートするためのシステムであって、
1つ以上のマイクロプロセッサと、
第1のサブネットとを含み、前記第1のサブネットは、
複数のスイッチを含み、前記複数のスイッチは少なくともリーフスイッチを含み、前記複数のスイッチの各々は複数のスイッチポートを含み、前記第1のサブネットはさらに、
各々が少なくとも1つのホストチャネルアダプタポートを含む複数のホストチャネルアダプタと、
複数のエンドノードとを含み、前記複数のエンドノードの各々は、前記複数のホストチャネルアダプタのうち少なくとも1つのホストチャネルアダプタに関連付けられており、
前記第1のサブネットのうちの前記複数のスイッチは、複数のレベルを有するネットワークアーキテクチャに配置され、前記複数のレベルの各々は、前記複数のスイッチのうち少なくとも1つのスイッチを含み、
前記複数のスイッチは、最初に第1の構成方法に従って構成され、前記第1の構成方法は、前記複数のエンドノードについての第1の順序付けに関連付けられており、
前記複数のスイッチのサブセットは前記第1のサブネットのサブ・サブネットとして構成されており、前記第1のサブネットの前記サブ・サブネットは、前記第1のサブネットの前記複数のレベルよりも少ないいくつかのレベルを含み、
前記第1のサブネットの前記サブ・サブネットは第2の構成方法に従って再構成される、システム。 - 前記第1のサブネットの前記複数のエンドノードは前記複数のスイッチを介して相互接続される、請求項1に記載のシステム。
- 前記複数のエンドノードのサブセットは前記第1のサブネットの前記サブ・サブネットに関連付けられており、
前記第1のサブネットの前記サブ・サブネットは、前記複数のエンドノードのサブセット間のトラフィックが前記第1のサブネットの前記サブ・サブネットとして構成された前記複数のスイッチの前記サブセットに制限されるように構成されている、請求項2に記載のシステム。 - 前記第2の再構成方法は、前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうち少なくとも2つのエンドノードについての第2の順序付けに関連付けられている、請求項3に記載のシステム。
- 前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうち前記少なくとも2つのエンドノードについての前記第2の順序付けは、システムアドミニストレータから受取られる、請求項4に記載のシステム。
- 前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうち少なくとも2つのエンドノードについての前記第2の順序付けは、管理エンティティから受取られる、請求項4に記載のシステム。
- 前記第1のサブネットはインフィニバンドサブネットを含み、
前記管理エンティティは、
サブネットマネージャ、
ファブリックマネージャ、および、
グローバルファブリックマネージャからなる群から選択される管理エンティティである、請求項6に記載のシステム。 - 高性能コンピューティング環境において高速ハイブリッド再構成をサポートするための方法であって、
1つ以上のマイクロプロセッサにおいて第1のサブネットを設けるステップを含み、前記第1のサブネットは、
複数のスイッチを含み、前記複数のスイッチは少なくともリーフスイッチを含み、前記複数のスイッチの各々は複数のスイッチポートを含み、前記第1のサブネットはさらに、
各々が少なくとも1つのホストチャネルアダプタポートを含む複数のホストチャネルアダプタと、
複数のエンドノードとを含み、前記複数のエンドノードの各々は、前記複数のホストチャネルアダプタのうち少なくとも1つのホストチャネルアダプタに関連付けられており、前記方法はさらに、
複数のレベルを有するネットワークアーキテクチャにおいて、前記第1のサブネットのうちの前記複数のスイッチを配置するステップを含み、前記複数のレベルの各々は、前記複数のスイッチのうち少なくとも1つのスイッチを含み、前記方法はさらに、
第1の構成方法に従って前記複数のスイッチを構成するステップを含み、前記第1の構成方法は、前記複数のエンドノードについての第1の順序付けに関連付けられており、前記方法はさらに、
前記複数のスイッチのサブセットを前記第1のサブネットのサブ・サブネットとして構成するステップを含み、前記第1のサブネットの前記サブ・サブネットは、前記第1のサブネットの前記複数のレベルよりも少ないいくつかのレベルを含み、前記方法はさらに、
第2の構成方法に従って前記第1のサブネットの前記サブ・サブネットを再構成するステップを含む、方法。 - 前記第1のサブネットの前記複数のエンドノードは前記複数のスイッチを介して相互接続される、請求項8に記載の方法。
- 前記複数のエンドノードのサブセットは前記第1のサブネットの前記サブ・サブネットに関連付けられており、
前記第1のサブネットの前記サブ・サブネットは、前記複数のエンドノードのサブセット間のトラフィックが前記第1のサブネットの前記サブ・サブネットとして構成された前記複数のスイッチの前記サブセットに制限されるように構成されている、請求項9に記載の方法。 - 前記第2の再構成方法は、前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうちの少なくとも2つのエンドノードについての第2の順序付けに関連付けられている、請求項10に記載の方法。
- 前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうちの前記少なくとも2つのエンドノードについての前記第2の順序付けは、システムアドミニストレータから受取られる、請求項11に記載の方法。
- 前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうちの前記少なくとも2つのエンドノードについての前記第2の順序付けは、管理エンティティから受取られる、請求項11に記載の方法。
- 前記第1のサブネットはインフィニバンドサブネットを含み、
前記管理エンティティは、
サブネットマネージャ、
ファブリックマネージャ、および、
グローバルファブリックマネージャからなる群から選択される管理エンティティである、請求項13に記載の方法。 - 高性能コンピューティング環境において高速ハイブリッド再構成をサポートするための命令が格納された非一時的なコンピュータ読取り可能記憶媒体であって、前記命令が1つ以上のコンピュータによって読出されて実行されると、前記1つ以上のコンピュータに、
1つ以上のマイクロプロセッサにおいて第1のサブネットを設けるステップを実行させ、前記第1のサブネットは、
複数のスイッチを含み、前記複数のスイッチは少なくともリーフスイッチを含み、前記複数のスイッチの各々は複数のスイッチポートを含み、前記第1のサブネットはさらに、
各々が少なくとも1つのホストチャネルアダプタポートを含む複数のホストチャネルアダプタと、
複数のエンドノードとを含み、前記複数のエンドノードの各々は、前記複数のホストチャネルアダプタのうち少なくとも1つのホストチャネルアダプタに関連付けられており、前記1つ以上のコンピュータに、さらに、
前記第1のサブネットのうちの前記複数のスイッチを、複数のレベルを有するネットワークアーキテクチャに配置するステップを実行させ、前記複数のレベルの各々は、前記複数のスイッチのうち少なくとも1つのスイッチを含み、前記1つ以上のコンピュータに、さらに、
第1の構成方法に従って前記複数のスイッチを構成するステップを実行させ、前記第1の構成方法は、前記複数のエンドノードについての第1の順序付けに関連付けられており、前記1つ以上のコンピュータに、さらに、
前記複数のスイッチのサブセットを前記第1のサブネットのサブ・サブネットとして構成するステップを実行させ、前記第1のサブネットの前記サブ・サブネットは、前記第1のサブネットの前記複数のレベルよりも少ないいくつかのレベルを含み、前記1つ以上のコンピュータに、さらに、
前記第1のサブネットの前記サブ・サブネットを第2の構成方法に従って再構成するステップを実行させる、非一時的なコンピュータ読取り可能記憶媒体。 - 前記第1のサブネットの前記複数のエンドノードは前記複数のスイッチを介して相互接続される、請求項15に記載の非一時的なコンピュータ読取り可能記憶媒体。
- 前記複数のエンドノードのサブセットは前記第1のサブネットの前記サブ・サブネットに関連付けられており、
前記第1のサブネットの前記サブ・サブネットは、前記複数のエンドノードのサブセット間のトラフィックが前記第1のサブネットの前記サブ・サブネットとして構成された前記複数のスイッチの前記サブセットに制限されるように構成されている、請求項16に記載の非一時的なコンピュータ読取り可能記憶媒体。 - 前記第2の再構成方法は、前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうち少なくとも2つのエンドノードについての第2の順序付けに関連付けられている、請求項17に記載の非一時的なコンピュータ読取り可能記憶媒体。
- 前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノー
ドの前記サブセットのうちの前記少なくとも2つのエンドノードについての前記第2の順序付けは、システムアドミニストレータから受取られる、請求項18に記載の非一時的なコンピュータ読取り可能記憶媒体。 - 前記第1のサブネットの前記サブ・サブネットに関連付けられた前記複数のエンドノードの前記サブセットのうちの前記少なくとも2つのエンドノードについての前記第2の順序付けは、管理エンティティから受取られ、
前記第1のサブネットはインフィニバンドサブネットを含み、
前記管理エンティティは、
サブネットマネージャ、
ファブリックマネージャ、および、
グローバルファブリックマネージャからなる群から選択される管理エンティティである、請求項18に記載の非一時的なコンピュータ読取り可能記憶媒体。 - 機械読取り可能なフォーマットのプログラム命令を含むコンピュータプログラムであって、前記プログラム命令がコンピュータシステムによって実行されると、前記コンピュータシステムに請求項8から13のいずれかに記載の方法を実行させる、コンピュータプログラム。
- 非一時的な機械読取り可能データ記憶媒体に格納された、請求項21に記載のコンピュータプログラムを含むコンピュータプログラムプロダクト。
- 請求項8から13のいずれかに記載の方法を実行するための手段を含む装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662378583P | 2016-08-23 | 2016-08-23 | |
US62/378,583 | 2016-08-23 | ||
JP2021131306A JP7282840B2 (ja) | 2016-08-23 | 2021-08-11 | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021131306A Division JP7282840B2 (ja) | 2016-08-23 | 2021-08-11 | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023106496A true JP2023106496A (ja) | 2023-08-01 |
Family
ID=59738493
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018541609A Active JP6929863B2 (ja) | 2016-08-23 | 2017-08-18 | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 |
JP2021131306A Active JP7282840B2 (ja) | 2016-08-23 | 2021-08-11 | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 |
JP2023081518A Pending JP2023106496A (ja) | 2016-08-23 | 2023-05-17 | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018541609A Active JP6929863B2 (ja) | 2016-08-23 | 2017-08-18 | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 |
JP2021131306A Active JP7282840B2 (ja) | 2016-08-23 | 2021-08-11 | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (4) | US10057119B2 (ja) |
EP (1) | EP3452909A1 (ja) |
JP (3) | JP6929863B2 (ja) |
CN (1) | CN108604199B (ja) |
WO (1) | WO2018039061A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10169120B2 (en) * | 2016-06-24 | 2019-01-01 | International Business Machines Corporation | Redundant software stack |
US10425324B2 (en) * | 2017-08-17 | 2019-09-24 | Fabriscale Technologies AS | Method of computing balanced routing paths in fat-trees |
US10574624B2 (en) * | 2017-10-09 | 2020-02-25 | Level 3 Communications, Llc | Staged deployment of rendezvous tables for selecting a content delivery network (CDN) |
CN111106974B (zh) * | 2018-10-25 | 2022-03-08 | 中国信息通信研究院 | 一种测试无损网络性能的方法和装置 |
CN113806258B (zh) * | 2021-11-16 | 2022-02-18 | 苏州浪潮智能科技有限公司 | 一种动态自适应的虚拟通道映射方法、装置及存储介质 |
CN114422393B (zh) * | 2021-12-28 | 2023-06-13 | 中国信息通信研究院 | 用于确定无损网络性能的方法及装置、电子设备、存储介质 |
Family Cites Families (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9828144D0 (en) * | 1998-12-22 | 1999-02-17 | Power X Limited | Data switching apparatus |
US7010607B1 (en) * | 1999-09-15 | 2006-03-07 | Hewlett-Packard Development Company, L.P. | Method for training a communication link between ports to correct for errors |
US7171484B1 (en) | 2000-05-24 | 2007-01-30 | Krause Michael R | Reliable datagram transport service |
US7103626B1 (en) | 2000-05-24 | 2006-09-05 | Hewlett-Packard Development, L.P. | Partitioning in distributed computer system |
US6954459B1 (en) | 2000-06-16 | 2005-10-11 | International Business Machines Corporation | Method for forwarding broadcast packets in a bridged IP network |
US7072360B2 (en) | 2000-09-22 | 2006-07-04 | Narad Networks, Inc. | Network architecture for intelligent network elements |
US8935333B2 (en) | 2001-08-09 | 2015-01-13 | International Business Machines Corporation | Implementing multicast on a system area network channel adapter |
US6922749B1 (en) | 2001-10-12 | 2005-07-26 | Agilent Technologies, Inc. | Apparatus and methodology for an input port of a switch that supports cut-through operation within the switch |
US6839794B1 (en) | 2001-10-12 | 2005-01-04 | Agilent Technologies, Inc. | Method and system to map a service level associated with a packet to one of a number of data streams at an interconnect device |
US20030101426A1 (en) * | 2001-11-27 | 2003-05-29 | Terago Communications, Inc. | System and method for providing isolated fabric interface in high-speed network switching and routing platforms |
US7245627B2 (en) | 2002-04-23 | 2007-07-17 | Mellanox Technologies Ltd. | Sharing a network interface card among multiple hosts |
US7149221B2 (en) | 2002-05-31 | 2006-12-12 | Palau Acquisition Corporation (Delaware) | Apparatus and methods for increasing bandwidth in an infiniband switch |
US7024672B2 (en) * | 2002-06-26 | 2006-04-04 | Microsoft Corporation | Process-mode independent driver model |
US7221676B2 (en) * | 2002-07-30 | 2007-05-22 | Brocade Communications Systems, Inc. | Supporting local IB packet communication between separate subnets |
US7401157B2 (en) * | 2002-07-30 | 2008-07-15 | Brocade Communications Systems, Inc. | Combining separate infiniband subnets into virtual subnets |
US7307996B2 (en) * | 2002-07-30 | 2007-12-11 | Brocade Communications Systems, Inc. | Infiniband router having an internal subnet architecture |
US20040030763A1 (en) | 2002-08-08 | 2004-02-12 | Manter Venitha L. | Method for implementing vendor-specific mangement in an inifiniband device |
US7574526B2 (en) | 2003-07-31 | 2009-08-11 | International Business Machines Corporation | Multicast group management in infiniband |
US7979548B2 (en) | 2003-09-30 | 2011-07-12 | International Business Machines Corporation | Hardware enforcement of logical partitioning of a channel adapter's resources in a system area network |
US7428598B2 (en) | 2003-11-20 | 2008-09-23 | International Business Machines Corporation | Infiniband multicast operation in an LPAR environment |
KR100606063B1 (ko) | 2004-03-16 | 2006-07-26 | 삼성전자주식회사 | 고속 데이터 전용 시스템에서 단말의 서브넷 이동에 따른임시식별자 할당방법 및 장치 |
US7400590B1 (en) | 2004-06-08 | 2008-07-15 | Sun Microsystems, Inc. | Service level to virtual lane mapping |
US7860096B2 (en) | 2004-06-08 | 2010-12-28 | Oracle America, Inc. | Switching method and apparatus for use in a communications network |
US7602712B2 (en) | 2004-06-08 | 2009-10-13 | Sun Microsystems, Inc. | Switch method and apparatus with cut-through routing for use in a communications network |
GB2419702A (en) * | 2004-10-29 | 2006-05-03 | Hewlett Packard Development Co | Virtual overlay infrastructures which can be suspended and later reactivated |
DE102005010476A1 (de) * | 2005-03-04 | 2006-09-07 | Daimlerchrysler Ag | Steuergerät mit konfigurierbaren Hardwaremodulen |
CN101248405B (zh) * | 2005-04-29 | 2010-09-15 | 微软公司 | 使用并发域的多线程化 |
US7911977B2 (en) | 2005-05-31 | 2011-03-22 | Cisco Technology, Inc. | Designated router assignment per multicast group address/range |
KR101290413B1 (ko) | 2005-07-17 | 2013-07-26 | 오브시디안 리서치 코포레이션 | 인피니밴드 네트워크의 물리적 범위를 확장하기 위한 방법 |
US7681130B1 (en) * | 2006-03-31 | 2010-03-16 | Emc Corporation | Methods and apparatus for displaying network data |
US7706303B2 (en) * | 2006-06-26 | 2010-04-27 | Cisco Technology, Inc. | Port pooling |
US7936753B1 (en) | 2007-11-30 | 2011-05-03 | Qlogic, Corporation | Method and system for reliable multicast |
US7983265B1 (en) | 2008-01-17 | 2011-07-19 | Qlogic, Corporation | Method and system for processing a network packet |
US7738371B1 (en) | 2008-08-29 | 2010-06-15 | Qlogic, Corporation | Method and system for routing network packets |
US8363569B2 (en) | 2009-04-22 | 2013-01-29 | Digi International Inc. | System and method for rejoining sleeping subnets in a wireless mesh network |
US8429647B2 (en) | 2009-05-06 | 2013-04-23 | Vmware, Inc. | Virtual machine migration across network by publishing routes to the associated virtual networks via virtual router after the start of migration of the virtual machine |
US8351431B2 (en) | 2009-05-13 | 2013-01-08 | Avaya Inc. | Method and apparatus for providing fast reroute of a multicast packet within a network element to an available port associated with a multi-link trunk |
US8140812B2 (en) | 2009-07-01 | 2012-03-20 | International Business Machines Corporation | Method and apparatus for two-phase storage-aware placement of virtual machines |
US8532116B2 (en) | 2009-07-21 | 2013-09-10 | Cisco Technology, Inc. | Extended subnets |
US8274987B2 (en) * | 2010-03-22 | 2012-09-25 | International Business Machines Corporation | Contention free pipelined broadcasting within a constant bisection bandwidth network topology |
JP5893628B2 (ja) * | 2010-09-17 | 2016-03-23 | オラクル・インターナショナル・コーポレイション | ミドルウェアマシン環境における部分的なサブネット初期化の実行 |
IT1403031B1 (it) * | 2010-11-19 | 2013-09-27 | Eurotech S P A | Apparecchiatura di rete unificata per sistemi di supercalcolo scalabili |
JP5594171B2 (ja) | 2011-02-02 | 2014-09-24 | 富士通株式会社 | 通信処理装置、アドレス学習プログラムおよびアドレス学習方法 |
JP5750973B2 (ja) | 2011-03-29 | 2015-07-22 | 富士通株式会社 | 通信方法および通信装置 |
CN102761471B (zh) * | 2011-04-29 | 2015-10-07 | 无锡江南计算技术研究所 | 无线计算互连网络及座标空间变换方法 |
CN102164090B (zh) | 2011-05-13 | 2013-12-25 | 杭州华三通信技术有限公司 | 基于通用路由封装隧道的报文转发的方法、系统及设备 |
US8886783B2 (en) * | 2011-06-03 | 2014-11-11 | Oracle International Corporation | System and method for providing secure subnet management agent (SMA) based fencing in an infiniband (IB) network |
US8842671B2 (en) | 2011-06-07 | 2014-09-23 | Mellanox Technologies Ltd. | Packet switching based on global identifier |
US9274825B2 (en) | 2011-08-16 | 2016-03-01 | Microsoft Technology Licensing, Llc | Virtualization gateway between virtualized and non-virtualized networks |
WO2013028175A1 (en) * | 2011-08-23 | 2013-02-28 | Intel Corporation | Gid capable switching in an infiniband fabric |
US20130083690A1 (en) * | 2011-10-04 | 2013-04-04 | International Business Machines Corporation | Network Adapter Hardware State Migration Discovery in a Stateful Environment |
US8713169B2 (en) * | 2011-10-11 | 2014-04-29 | Cisco Technology, Inc. | Distributed IPv6 neighbor discovery for large datacenter switching systems |
US9288555B2 (en) * | 2011-11-01 | 2016-03-15 | Plexxi Inc. | Data center network architecture |
US8879396B2 (en) * | 2011-11-15 | 2014-11-04 | Oracle International Corporation | System and method for using dynamic allocation of virtual lanes to alleviate congestion in a fat-tree topology |
US8880932B2 (en) * | 2011-11-15 | 2014-11-04 | Oracle International Corporation | System and method for signaling dynamic reconfiguration events in a middleware machine environment |
US9311122B2 (en) | 2012-03-26 | 2016-04-12 | Oracle International Corporation | System and method for providing a scalable signaling mechanism for virtual machine migration in a middleware machine environment |
US9432304B2 (en) | 2012-03-26 | 2016-08-30 | Oracle International Corporation | System and method for supporting live migration of virtual machines based on an extended host channel adaptor (HCA) model |
US9231888B2 (en) | 2012-05-11 | 2016-01-05 | Oracle International Corporation | System and method for routing traffic between distinct InfiniBand subnets based on source routing |
JP5928582B2 (ja) | 2012-05-16 | 2016-06-01 | 富士通株式会社 | ノード装置および通信方法 |
EP2712239B1 (en) * | 2012-09-19 | 2016-12-21 | BlackBerry Limited | System and method for controlling network scan parameters for a network connection |
US9385949B2 (en) | 2012-12-20 | 2016-07-05 | Mellanox Technologies Tlv Ltd. | Routing controlled by subnet managers |
US9069633B2 (en) | 2012-12-20 | 2015-06-30 | Oracle America, Inc. | Proxy queue pair for offloading |
US9794107B2 (en) | 2013-02-06 | 2017-10-17 | Alcatel Lucent | Method and apparatus for providing migration of cloud components across address domains |
US9378068B2 (en) * | 2013-03-13 | 2016-06-28 | International Business Machines Corporation | Load balancing for a virtual networking system |
US9237111B2 (en) | 2013-03-14 | 2016-01-12 | International Business Machines Corporation | Credit-based flow control in lossless ethernet networks |
US10404621B2 (en) | 2013-03-15 | 2019-09-03 | Oracle International Corporation | Scalable InfiniBand packet-routing technique |
US10263839B2 (en) * | 2013-03-15 | 2019-04-16 | Fortinet, Inc. | Remote management system for configuring and/or controlling a computer network switch |
US9191441B2 (en) * | 2013-03-15 | 2015-11-17 | International Business Machines Corporation | Cell fabric hardware acceleration |
US9307053B2 (en) | 2013-04-23 | 2016-04-05 | Cisco Technology, Inc. | Direct data placement over user datagram protocol in a network environment |
US9477276B2 (en) * | 2013-06-13 | 2016-10-25 | Dell Products L.P. | System and method for switch management |
US9577956B2 (en) | 2013-07-29 | 2017-02-21 | Oracle International Corporation | System and method for supporting multi-homed fat-tree routing in a middleware machine environment |
US9843512B2 (en) | 2013-08-27 | 2017-12-12 | Oracle International Corporation | System and method for controlling a data flow in an engineered system for middleware and application execution |
US10212022B2 (en) | 2013-09-13 | 2019-02-19 | Microsoft Technology Licensing, Llc | Enhanced network virtualization using metadata in encapsulation header |
US9548960B2 (en) | 2013-10-06 | 2017-01-17 | Mellanox Technologies Ltd. | Simplified packet routing |
US9836400B2 (en) * | 2013-10-31 | 2017-12-05 | Intel Corporation | Method, apparatus and system for dynamically controlling an addressing mode for a cache memory |
US9648148B2 (en) | 2013-12-24 | 2017-05-09 | Intel Corporation | Method, apparatus, and system for QoS within high performance fabrics |
US9628382B2 (en) * | 2014-02-05 | 2017-04-18 | Intel Corporation | Reliable transport of ethernet packet data with wire-speed and packet data rate match |
US10523753B2 (en) * | 2014-05-06 | 2019-12-31 | Western Digital Technologies, Inc. | Broadcast data operations in distributed file systems |
US9519328B2 (en) * | 2014-05-21 | 2016-12-13 | Intel Corporation | Techniques for selectively reducing power levels of ports and core switch logic in infiniband switches |
US9876737B2 (en) | 2014-07-11 | 2018-01-23 | Oracle International Corporation | System and method for supporting efficient load-balancing in a high performance computing (HPC) environment |
US9723009B2 (en) * | 2014-09-09 | 2017-08-01 | Oracle International Corporation | System and method for providing for secure network communication in a multi-tenant environment |
US20160080255A1 (en) * | 2014-09-17 | 2016-03-17 | Netapp, Inc. | Method and system for setting up routing in a clustered storage system |
US9311133B1 (en) | 2014-10-09 | 2016-04-12 | Cisco Technology, Inc. | Touchless multi-domain VLAN based orchestration in a network environment |
US9525636B2 (en) | 2014-10-20 | 2016-12-20 | Telefonaktiebolaget L M Ericsson (Publ) | QoS on a virtual interface over multi-path transport |
WO2016069927A1 (en) * | 2014-10-31 | 2016-05-06 | Oracle International Corporation | System and method for supporting partition-aware routing in a multi-tenant cluster environment |
US10348428B2 (en) * | 2014-12-23 | 2019-07-09 | Intel Corporation | Techniques for synchronized execution of a command at network fabric nodes |
US10599458B2 (en) * | 2015-01-23 | 2020-03-24 | Unisys Corporation | Fabric computing system having an embedded software defined network |
US9928093B2 (en) | 2015-02-24 | 2018-03-27 | Red Hat Israel, Ltd. | Methods and systems for establishing connections associated with virtual machine migrations |
US9733968B2 (en) | 2015-03-16 | 2017-08-15 | Oracle International Corporation | Virtual machine (VM) migration from switched fabric based computing system to external systems |
US11204791B2 (en) | 2015-06-30 | 2021-12-21 | Nicira, Inc. | Dynamic virtual machine network policy for ingress optimization |
US10284383B2 (en) * | 2015-08-31 | 2019-05-07 | Mellanox Technologies, Ltd. | Aggregation protocol |
US10033647B2 (en) * | 2015-10-13 | 2018-07-24 | Oracle International Corporation | System and method for efficient network isolation and load balancing in a multi-tenant cluster environment |
US10498654B2 (en) * | 2015-12-28 | 2019-12-03 | Amazon Technologies, Inc. | Multi-path transport design |
US10171353B2 (en) * | 2016-03-04 | 2019-01-01 | Oracle International Corporation | System and method for supporting dual-port virtual router in a high performance computing environment |
US10623315B1 (en) * | 2016-03-22 | 2020-04-14 | Amazon Technologies, Inc. | Extending virtual routing and forwarding |
US10255213B1 (en) * | 2016-03-28 | 2019-04-09 | Amazon Technologies, Inc. | Adapter device for large address spaces |
US10877911B1 (en) * | 2016-03-30 | 2020-12-29 | Amazon Technologies, Inc. | Pattern generation using a direct memory access engine |
US10977192B1 (en) * | 2016-04-08 | 2021-04-13 | Amazon Technologies, Inc. | Real-time memory-page state tracking and its applications |
US11086801B1 (en) * | 2016-04-14 | 2021-08-10 | Amazon Technologies, Inc. | Dynamic resource management of network device |
US10225185B2 (en) | 2016-04-18 | 2019-03-05 | International Business Machines Corporation | Configuration mechanisms in a switchless network |
US10257080B1 (en) * | 2016-05-31 | 2019-04-09 | Amazon Technologies, Inc. | Hardware resource allocation for equal-cost multi-path groups |
US10237378B1 (en) * | 2016-06-29 | 2019-03-19 | Amazon Technologies, Inc. | Low-latency metadata-based packet rewriter |
US20180026878A1 (en) | 2016-07-24 | 2018-01-25 | Mellanox Technologies Tlv Ltd. | Scalable deadlock-free deterministic minimal-path routing for dragonfly networks |
US11042496B1 (en) * | 2016-08-17 | 2021-06-22 | Amazon Technologies, Inc. | Peer-to-peer PCI topology |
US10158500B2 (en) * | 2016-09-13 | 2018-12-18 | Ciena Corporation | G.8032 prioritized ring switching systems and methods |
US11076025B1 (en) * | 2016-12-27 | 2021-07-27 | Amazon Technologies, Inc. | Generating network packet centric signatures |
-
2017
- 2017-08-18 JP JP2018541609A patent/JP6929863B2/ja active Active
- 2017-08-18 EP EP17758745.8A patent/EP3452909A1/en active Pending
- 2017-08-18 US US15/680,463 patent/US10057119B2/en active Active
- 2017-08-18 CN CN201780010773.XA patent/CN108604199B/zh active Active
- 2017-08-18 WO PCT/US2017/047552 patent/WO2018039061A1/en unknown
-
2018
- 2018-02-07 US US15/891,183 patent/US10097412B2/en active Active
- 2018-07-19 US US16/040,114 patent/US10708131B2/en active Active
-
2020
- 2020-05-29 US US16/887,328 patent/US11716247B2/en active Active
-
2021
- 2021-08-11 JP JP2021131306A patent/JP7282840B2/ja active Active
-
2023
- 2023-05-17 JP JP2023081518A patent/JP2023106496A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US10097412B2 (en) | 2018-10-09 |
US20180167274A1 (en) | 2018-06-14 |
WO2018039061A1 (en) | 2018-03-01 |
EP3452909A1 (en) | 2019-03-13 |
CN108604199B (zh) | 2022-08-23 |
CN108604199A (zh) | 2018-09-28 |
JP2021185693A (ja) | 2021-12-09 |
JP6929863B2 (ja) | 2021-09-01 |
US20200295992A1 (en) | 2020-09-17 |
US20180351801A1 (en) | 2018-12-06 |
US10708131B2 (en) | 2020-07-07 |
US11716247B2 (en) | 2023-08-01 |
US10057119B2 (en) | 2018-08-21 |
JP2019526943A (ja) | 2019-09-19 |
JP7282840B2 (ja) | 2023-05-29 |
US20180062925A1 (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7109527B2 (ja) | 無損失ネットワークにおける効率的な仮想化のためのシステムおよび方法 | |
US11132216B2 (en) | System and method for providing an InfiniBand SR-IOV vSwitch architecture for a high performance cloud computing environment | |
JP7282840B2 (ja) | 高性能コンピューティング環境における高速ハイブリッド再構成をサポートするためのシステムおよび方法 | |
US10693809B2 (en) | System and method for representing PMA attributes as SMA attributes in a high performance computing environment | |
US11750513B2 (en) | System and method for scalable multi-homed routing for vSwitch based HCA virtualization | |
JP7297830B2 (ja) | 高性能コンピューティング環境においてスケーラブルなビットマップに基づくP_Keyテーブルをサポートするためのシステムおよび方法 | |
EP3408983B1 (en) | System and method for supporting scalable representation of switch port status in a high performance computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |