JP2020119498A - フレキシブルなpcieトポロジー - Google Patents

フレキシブルなpcieトポロジー Download PDF

Info

Publication number
JP2020119498A
JP2020119498A JP2019199707A JP2019199707A JP2020119498A JP 2020119498 A JP2020119498 A JP 2020119498A JP 2019199707 A JP2019199707 A JP 2019199707A JP 2019199707 A JP2019199707 A JP 2019199707A JP 2020119498 A JP2020119498 A JP 2020119498A
Authority
JP
Japan
Prior art keywords
pcie
computing system
switch
nics
switch circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019199707A
Other languages
English (en)
Inventor
連▲ゆー▼晨
Yu-Chen Lien
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of JP2020119498A publication Critical patent/JP2020119498A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4022Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4063Device-to-bus coupling
    • G06F13/4068Electrical coupling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026PCI express
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/38Universal adapter
    • G06F2213/3808Network interface controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3877Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Systems (AREA)
  • Bus Control (AREA)

Abstract

【課題】フレキシブルなPCIEトポロジーを提供する。【解決手段】ユーザーが、特定のアプリケーションに基づいて、コンピューティングシステムのCPUと素子間のPCIeを調整することができるようにする。コンピューティングシステムは、複数のCPU、複数のGPU、あるいは、フィールドプログラマブルゲートアレイ (FPGA)、複数のPCIeスイッチ、および、複数のネットワークインターフェースコントローラー (NIC)を有する。いくつかの実施形態において、コンピューティングシステムは、スイッチ回路を有して、複数のCPU、複数のPCIeスイッチ、および、複数のNICを接続する。スイッチ回路は、複数の入力、および、複数の出力を有して、複数のCPU、複数のPCIeスイッチ、および、複数のNICを接続する。スイッチ回路中の接続経路が調整されて、コンピューティングシステムの特定のPCIeトポロジーを設置する。【選択図】図3A

Description

本発明は、コンピュータサーバシステムに関するものであって、特に、フレキシブルな配置を有するコンピュータサーバシステムに関するものである。
現代のコンピューティングシステムは、いくつかの電子部品、たとえば、グラフィックスプロセッシングユニット(GPU)、中央処理ユニット(CPU)、ランダムアクセスメモリ(RAM)等を有する。コンピューティングシステムがさらに複雑になって、ユーザーの計算、および、その他のアプリケーションに対する要求をサポートするのに伴い、同じコンピューティングシステム中で、常に、複数のGPU、および/または、CPUが必要とされる。
従来、コンピューティングシステムは、固定のペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)トポロジーを設計して、複数のGPUとCPUをサポートする。コンピューティングシステムのユーザーは、コンピューティングシステムのPCIeトポロジーを変化させることができない。しかし、特定のアプリケーションにとって理想的な特定のPCIeトポロジーは、その他のあるアプリケーション(たとえば、その他のGPUアプリケーション)にとって不十分である。
特表2016−526716号公報
本発明は、フレキシブルなPCIEトポロジーを提供する。
本発明の各種実施形態によるシステムと方法は、コンピューティングシステムにおけるフレキシブルなPCIeトポロジーを有効にすることにより、上記の問題に一方策を提供する。フレキシブルなPCIeトポロジーは、コンピューティングシステムのユーザー、あるいは、マネジメントコントローラーが、特定のアプリケーションに基づいて、コンピューティングシステムのCPUと素子間のPCIeを調整することができるようにする。いくつかの実施形態において、コンピューティングシステムは、複数のCPU、複数のGPU、あるいは、フィールドプログラマブルゲートアレイ(FPGA)、複数のPCIeスイッチ、および、複数のネットワークインターフェースコントローラー(NIC)を有する。いくつかの実施形態において、コンピューティングシステムは、スイッチ回路を有して、複数のCPU、複数のPCIeスイッチ、および、複数のNICを接続する。スイッチ回路は、複数の入力、および、複数の出力を有して、複数のCPU、複数のPCIeスイッチ、および、複数のNICを接続する。スイッチ回路中の接続経路が調整されて、コンピューティングシステムの特定のPCIeトポロジーを設置する。特定のPCIeトポロジーは、これに限定されないが、フルコンフィギュレーションモード(configuration mode)、バランスモード(balance mode)、コモンモード(common mode)、および、カスケードモード(cascade mode)を有する。
いくつかの実施形態において、スイッチ回路は、デュアルインラインパッケージ(Dual-Inline-Package、DIP)スイッチに接続される。DIPスイッチが配置されて、スイッチの複数の入力、および、複数の出力間の接続経路を設置する。
いくつかの実施形態において、スイッチ回路は、複数のマルチプレクサ (MUX)を有して、複数の入力、および、複数の出力を接続する。DIPスイッチは、複数のMUXのそれぞれの接続状態を設定し、これにより、複数の入力、および、複数の出力間の接続経路を設置することができる。
いくつかの実施形態において、複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路は、多重ミニSASコネクタ、および、少なくとも一つの物理的PCIeケーブルを有する。少なくとも一つの物理的PCIeケーブルにより、多重ミニSASコネクタ、および/または、複数のNICの一つにインストールされたゴールドフィンガーリピーターボード(golden finger repeater board)間の接続経路を調整することにより、コンピューティングシステムの特定のPCIeトポロジーが設置される。
本発明の一態様において、コンピューティングシステム中で、ペリフェラルコンポーネントインターコネクトエクスプレス (PCIe)トポロジーを設置するコンピュータ実行方法は、コンピューティングシステムの特定のPCIeトポロジーに対する要求を受信する工程と、コンピューティングシステム中、複数のCPU、複数のPCIeスイッチ、複数のNIC、および、複数のFPGA、および/または、GPU間の現在の接続経路を判断する工程と、現在の接続経路が、特定のPCIeトポロジーと一致するか否か判断する工程、および、複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の接続経路が、特定のPCIeトポロジーと一致しない事象において、複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路を調整する工程、を有する。
本発明の別の態様において、命令を保存する持続性(non-transitory)コンピュータ可読媒体が提供される。コンピューティングシステムのプロセッサにより命令が実行されるとき、プロセッサに、以下の操作を実行させる:コンピューティングシステムの特定のPCIeトポロジーへの要求を受信する;コンピューティングシステム中、複数のCPU、複数のPCIeスイッチ、複数のNIC、および、複数のFPGA、および/または、GPU間の現在の接続経路を判断する;現在の接続経路が、特定のPCIeトポロジーと一致するか否か判断する;複数のCPU、複数のPCIeスイッチ、および、複数のNIC中の接続経路が、特定のPCIeトポロジーと一致しない事象において、複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路を調整する。
本開示のさらなる特徴および利点は、以下の説明に記載され、その説明から明らかになるか、または本明細書に開示される原理の実施によって理解され得る。 本開示の特徴および利点は、添付の特許請求の範囲で特に指摘された手段および組み合わせによって実現および得ることができる。
本発明により、PCIeトポロジーがフレキシブルになる。
上記開示内容、および、その長所と特徴が獲得される方式を記述するため、添付図面で説明される特定の例によって、上記の原理のさらに具体的な描写が表示される。これらの図面は、本開示の例示的態様を示すものであり、よって、その範囲の制限とみなされない。
本発明の一実施形態によるフレキシブルな配置の複数のCPU、複数のPCIeスイッチ、および、複数のGPUを有する例示的システムのブロック図である。 本発明の一実施形態による複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路が、多重ミニSASコネクタ、および、物理的PCIeケーブルを有する例示的システムのブロック図(その1)である。 本発明の一実施形態による複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路が、多重ミニSASコネクタ、および、物理的PCIeケーブルを有する例示的システムのブロック図(その2)である。 本発明の一実施形態による複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路が、多重ミニSASコネクタ、および、物理的PCIeケーブルを有する例示的システムのブロック図(その3)である。 本発明の一実施形態による複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路が、多重ミニSASコネクタ、および、物理的PCIeケーブルを有する例示的システムのブロック図(その4)である。 本発明の一実施形態による複数のCPU、複数のPCIeスイッチ、および、複数のNIC間の少なくとも一つの接続経路が、多重ミニSASコネクタ、および、物理的PCIeケーブルを有する例示的システムのブロック図(その5)である。 本発明の一実施形態によるスイッチ回路を有し、例示的システムの特定のPCIeトポロジーを設置する例示的システムのブロック図(その1)である。 本発明の一実施形態によるスイッチ回路を有し、例示的システムの特定のPCIeトポロジーを設置する例示的システムのブロック図(その2)である。 本発明の一実施形態によるスイッチ回路を有し、例示的システムの特定のPCIeトポロジーを設置する例示的システムのブロック図(その3)である。 本発明の一実施形態によるスイッチ回路を有し、例示的システムの特定のPCIeトポロジーを設置する例示的システムのブロック図(その4)である。 本発明の一実施形態によるスイッチ回路を有し、例示的システムの特定のPCIeトポロジーを設置する例示的システムのブロック図(その5)である。 本発明の一実施形態によるスイッチ回路を有し、例示的システムの特定のPCIeトポロジーを設置する例示的システムのブロック図(その6)である。 本発明の一実施形態によるコンピューティングシステム中でPCIeトポロジーを設置する例示的方法を示す図である。
本発明は、多くの異なる形態で具体化することができる。代表的な実施形態を図面に示し、本明細書で詳細に説明する。本開示は、本発明の原理の一例又は例示であり、本発明の広い態様を、図示した実施形態に限定することを意図していない。その範囲において、例えば、要約、概要及び詳細な説明に開示されているが、特許請求の範囲の明示的に記載されていない要素及び限定は、単独で又は集合的に、黙示、推論又は他の方法によって特許請求の範囲に組み込まれてはならない。本発明を詳細に説明する目的のために、特に否定しない限り、単数形は複数形を含み、その逆もまた同様である。「含む」という用語は、「制限なしに含む」ことを意味している。さらに、例えば、「約」、「殆ど」、「実施的に」、「およそ」等の近似語は、本明細書では、例えば、「〜に」、「〜に近い」、「大体」、「〜の3〜5%の範囲内」、「許容される製造公差内」、又は、これらの任意の論理的組み合わせを意味するものとして用いることができる。
本発明の各種例は、コンピューティングシステムにおけるフレキシブルなPCIeトポロジーを有効にするシステムと方法を提供する。フレキシブルなPCIeトポロジーは、コンピューティングシステムのユーザー、あるいは、マネジメントコントローラーが、特定のアプリケーションに基づいて、コンピューティングシステムのCPUと素子間のPCIeを調整することができるようにする。いくつかの実施形態において、コンピューティングシステムは、複数のCPU、複数のGPU、あるいは、フィールドプログラマブルゲートアレイ (FPGA)、複数のPCIeスイッチ、および、複数のネットワークインターフェースコントローラー (NIC)を有する。いくつかの実施形態において、コンピューティングシステムは、スイッチ回路を有して、複数のCPU、複数のPCIeスイッチ、および、複数のNICを接続する。スイッチ回路は、複数の入力、および、複数の出力を有して、複数のCPU、複数のPCIeスイッチ、および、複数のNICを接続する。スイッチ回路中の接続経路が調節されて、コンピューティングシステムの特定のPCIeトポロジーを設置する。
図1は、本発明の一実施形態によるフレキシブルな配置の複数のプロセッサ104、複数のPCIeスイッチ113、および、複数のGPU、あるいは、FPGA112を有する例示的システム100のブロック図である。この例において、コンピューティングシステム100は、GPU112、プロセッサ104、PCIeスイッチ113、一つ以上の冷却モジュール110、メインメモリ(MEM)111、および、AC電源101からAC電力を受ける少なくとも一つの電源ユニット(PSU)102を有する。PSU102は、コンピューティングシステム100の各種素子、たとえば、プロセッサ104、ノースブリッジ (NB)ロジック106、PCIeスロット161、サウスブリッジ (SB)ロジック108、ストレージデバイス109、ISAスロット151、PCIスロット171、および、マネジメントコントローラー103に電力を供給する。
この例において、GPU、あるいは、FPGA112は、PCIeスイッチ113により、プロセッサ104に接続される。PCIeスイッチ113は、複数のI/Oデバイス、GPU、あるいは、FPGA112、および、プロセッサ104間の高速シリアルポイントトゥポイント(serial point-to-point )接続を有効にして、ホストまでのエンドポイントトラフィック(end-point traffic)のアグリゲーション(aggregation)、ファンアウト(fan-out)、あるいは、ピアトゥピア通信(peer-to-peer communication)を最適化する。いくつかの例において、コンピューティングシステム100は、さらに、PCIeスイッチ113に接続されるNIC (図示しない)を有する。NICは、コンピューティングシステム100とコンピュータネットワークを接続する。
プロセッサ104は、特定機能のプログラム命令を実行する中央処理ユニット (CPU)である。たとえば、起動プロセス中、プロセッサ104は、マネジメントデバイス103、あるいは、フラッシュストレージデバイス中に保存されたファームウェアデータにアクセスし、且つ、BIOS105を実行して、コンピューティングシステム100を初期化する。起動プロセス後、プロセッサ104はオペレーティング (OS)を実行して、コンピューティングシステム100に特定のタスクを実行、並びに、管理する。
いくつかの構成において、プロセッサ104は、NBロジック106に接続されたCPUバス(図示しない)を介して互いに接続されている。いくつかの構成において、NBロジック106をプロセッサ104に統合することができる。また、NBロジック106は、複数の周辺コンポーネント相互接続エクスプレス(PCIe)スロット161及びSBロジック108(オプション)に接続することができる。複数のPCIeスロット161は、例えば、PCIエクスプレス x1、USB2.0、SMBus、SIMカード、他のPCIeレーンの将来の拡張、1.5V及び3.3Vの電源、並びに、サーバシステム100のシャーシ上の診断LEDへの配線等の接続及びバスに使用することができる。
コンピューティングシステム100において、NBロジック106、および、SBロジック108は、ペリフェラルコンポーネントインターコネクト(PCI)バス107により接続される。SBロジック108は、拡張バスにより、PCIバス107を、複数の拡張カード、あるいは、ISAスロット150(たとえば、ISAスロット151)に結合する。SBロジック108は、さらに、少なくとも一つのPSU102に接続されるマネジメントデバイス103に結合される。いくつかの実施形態において、マネジメントデバイス103は、サーバシステム100のマザーボード上に組み込まれる専用のマイクロコントローラーである。マネジメントデバイス103は、ベースボードマネジメントコントローラー (BMC)、あるいは、ラックマネジメントコントローラー (RMC)である。
いくつかの実施形態において、プロセッサ104は、スイッチ回路 (図示しない)により、PCIeスイッチ113に接続される。スイッチ回路は、複数の入力、および、複数の出力を有して、複数のプロセッサ104、複数のPCIeスイッチ113、および、複数のNIC (図示しない)を接続する。スイッチ回路中の接続経路は調整されて、コンピューティングシステム100の特定のPCIeトポロジーを設置する。特定のPCIeトポロジーは、フルコンフィギュレーションモード、バランスモード、コモンモード、および、カスケードモードを有する。
いくつかの実施形態において、複数のプロセッサ104、複数のPCIeスイッチ113、および、複数のNIC間の少なくとも一つの接続経路は、多重ミニSASコネクタ (図示しない)、および、少なくとも一つの物理的PCIeケーブル (図示しない)を有する。少なくとも一つの物理的PCIeケーブルにより、多重ミニSASコネクタ、および/または、複数のNICの一つにインストールされたゴールドフィンガーリピーターボード間の接続経路を調整することにより、コンピューティングシステム100の特定のPCIeトポロジーが設置される。
図2A〜図2Eは、さらに、図1のPCIe配置の実施例を示す。図2A〜図2Eにおいて、多重ミニシリアルアタッチドSCSI (SAS)コネクタ、および、少なくとも一つの物理的PCIeケーブルが用いられて、コンピューティングシステム中のフレキシブルなPCIeトポロジーを設置する。特定のPCIeトポロジーは、これに限定されないが、フルコンフィギュレーションモード、バランスモード、コモンモード、および、カスケードモードを有する。
図2Aは、コンピューティングシステム200Aの通用のPCIeトポロジーを示す図である。コンピューティングシステム200Aは、CPU204−1、および、204−2、FPGA212−1〜212−16、NIC 202−1〜202−4、PCIeスイッチ213−1〜213−4、および、SASコネクタ201−1〜201−6を有する。この例において、CPU204−1は、ウルトラパスインターコネクト(UltraPath Interconnect、UPI)により、CPU204−2に接続される。CPU204−1は、PCIe接続により、PCIeスイッチ213−1に接続され、二個のSASコネクタ201−1、201−2、および、PCIeケーブル203−1により、PCIeスイッチ213−2に接続される。CPU204−2は、二個のSASコネクタ 201−3、201−4、および、PCIeケーブル203−2により、PCIeスイッチ213−3に接続されるとともに、二個のSASコネクタ201−5、201−6、および、PCIeケーブル203−3により、PCIeスイッチ213−4に接続される。PCIeスイッチ213−1は、FPGA212−1、212−3、212−5、および、212−7、および、NIC202−1に接続される。PCIeスイッチ213−2は、FPGA212−2、212−4、212−6、および、212−8、および、NIC202−2に接続される。PCIeスイッチ213−3は、FPGA212−9、212−11、212−13、および、212−15、および、NIC202−3に接続される。PCIeスイッチ213−4は、FPGA212−10、212−12、212−14、および、212−16、および、NIC202−4に接続される。
コンピューティングシステム200A中のPCIeトポロジーは、それぞれ、図2B〜図2Eに示されるように、フルコンフィギュレーションモード、バランスモード、コモンモード、および、カスケードモードに調整される。
図2Bにおいて、コンピューティングシステム200BのPCIeトポロジーは、フルコンフィギュレーションモードである。コンピューティングシステム200Bは、CPU204−1、および、204−2、FPGA、あるいは、GPU212−1〜212−16、NIC202−1〜202−4、PCIeスイッチ213−1〜213−4、および、SASコネクタ201−1〜201−6を有する。コンピューティングシステム200Bの上記素子間の接続経路は図2Aと同じである。フルコンフィギュレーションモードにおいて、コンピューティングシステム200Bは、エンドポイントデバイスに接続される全PCIeスイッチ213−1〜213−4のダウンストリームをサポートする。この例において、コンピューティングシステム200Bは、4個のPCIeスイッチを有し、且つ、20個以上のPCIex16エンドポイントデバイスをサポートしなければならない。
図2Cにおいて、コンピューティングシステム200CのPCIeトポロジーは、バランスモードである。コンピューティングシステム200Cは、CPU204−1、および、204−2、FPGA、あるいは、GPU (すなわち、212−1、212−3、212−5、212−7、212−9、212−11、212−13、および、212−13、および、212−15)、NIC 202−1、および、202−3、PCIeスイッチ213−1、および、213−3、および、SASコネクタ201−1〜201−6を有する。図2Bのフルコンフィギュレーションモードと図2Cのバランスモードを比較すると、コンピューティングシステム200Cは、PCIeスイッチ213−2、および、213−4を必要としない、あるいは、搭載しない。PCIeケーブル203−1が用いられて、SASコネクタ201−3、および、201−4を接続する。SASコネクタ201−3、および、201−4は、それぞれ、CPU204−2、および、PCIeスイッチ213−3に接続される。バランスモードにおいて、コンピューティングシステム200Cの各CPUは、一PCIeスイッチに接続され、且つ、対応するPCIeスイッチの全ダウンストリームに接続される。この例において、CPU204−1、および、204−2は、それぞれ、PCIeスイッチに接続され、よって、各CPUのPCIeルートポート(root port)は、対応するPCIeスイッチ213−1、および、213−3により、それぞれ、5個以上のPCIe x 16エンドポイントデバイスに接続される。
図2Dにおいて、コンピューティングシステム200DのPCIeトポロジーは、コモンモードである。図2Cのコンピューティングシステム200Cと同様に、コンピューティングシステム200Dは、PCIeスイッチ213−2、および、213−4を必要としない。あるいは、搭載しない。しかし、コンピューティングシステム200Dにおいて、PCIeケーブル203−1が用いられて、SASコネクタ201−1と201−4を接続する。SASコネクタ201−1、および、201−4は、それぞれ、CPU204−1、および、PCIeスイッチ213−3に接続される。コンピューティングシステム200DのPCIeトポロジーの残りの接続経路は、コンピューティングシステム200CのPCIeトポロジーと同じである。SASコネクタ201−4、201−1、および/または、201−3を接続するPCIeケーブル203−1を調整することにより、PCIeトポロジーは、コモンモードとバランスモード間で切り換えられる。コモンモードにおいて、コンピューティングシステム200DのCPUは、二個のPCIeスイッチ、および、二個のPCIeスイッチの全ダウンストリームに接続される。この例において、CPU204−1は、アクティブPCIeスイッチ213−1、および、213−3、および、エンドポイントデバイス212−1、212−3、212−5、212−7、202−1、202−3、212−9、212−11、212−13、および、212−15に接続される。これらのエンドポイントデバイスからのデータは、直接、CPU204−1に転送され、いくつかのデータを、CPU204−2から、UPIにより、CPU204−1に転送する必要がない。
図2Eにおいて、コンピューティングシステム200EのPCIeトポロジーは、カスケードモードである。それぞれ、図2Cと図2D中のコンピューティングシステム200Cと200Dと同様に、コンピューティングシステム200Eは、PCIeスイッチ213−2、および、213−4を必要としない、あるいは、搭載しない。しかし、コンピューティングシステム200Eにおいて、PCIeケーブル203−1が用いられて、SASコネクタ201−4、および、NIC202−1上にインストールされるゴールドフィンガーリピーターボード205−1を接続する。SASコネクタ201−4は、PCIeスイッチ213−3に接続される。ゴールドフィンガーリピーターボード205−1が配置されて、PCIe信号を、NIC202−1からSAS通信チャネル (たとえば、PCIeケーブル203−1)、および、PCIeスイッチ213−3に送る。カスケードモードにおいて、コンピューティングシステム200EのCPUは、二個のPCIeスイッチ、および、二個のPCIeスイッチの全ダウンストリームに接続される。この例において、CPU204−1は、アクティブPCIeスイッチ213−1、および、213−3、および、エンドポイントデバイス212−1、212−3、212−5、212−7、202−1、202−3、212−9、212−11、212−13、および、212−15に接続される。これらのエンドポイントデバイスからのデータは、直接、CPU204−1に転送され、いくつかのデータを、CPU204−2から、UPIにより、CPU204−1に転送する必要がない。カスケードモードにおいて、コンピューティングシステム200Eは、第一PCIeスイッチに接続され、第二PCIeスイッチは、第一PCIeスイッチ下に接続される。よって、CPUは、全アクティブエンドポイントデバイスに接続されるとともに、第一と第二PCIeスイッチ間でデータを転送し、コンピューティングシステム200EのCPUのスループットにより制限されない。この例において、CPU204−1は第一PCIeスイッチ213−1により接続され、第二PCIeスイッチ213−3は、NIC202−1により、第一PCIeスイッチ213−1に接続される。
図2A〜図2Eに示されるように、コンピューティングシステム200A〜200E中、多重ミニシリアルアタッチドSCSI (SAS)コネクタ、および、少なくとも一つの物理的PCIeケーブルが用いられて、フレキシブルなPCIeトポロジーを設置する。しかし、本発明は、スイッチ回路が用いられて、異なるモード間で、PCIeトポロジーを切り換えると考える。これは、図3A〜図3Fに示される。
図3A〜図3Fは、本発明の一実施形態によるスイッチ回路301を有し、例示的システムの特定のPCIeトポロジーを設置する例示的システム300A〜300Fのブロック図である。スイッチ回路301が配置されて、例示的システムのマネジメントコントローラー、あるいは、ユーザーの要求に基づいて、特定のPCIeトポロジーを設置する。
図3Aにおいて、コンピューティングシステム300Aは、CPU304−1、および、304−2、FPGA 312−1〜312−16、NIC302−1、および、302−4、PCIeスイッチ313−1〜313−4、および、CPU (すなわち、304−1、および、304−2)、PCIeスイッチ(すなわち、313−1〜313−4)、および、NIC (すなわち、302−1、および、302−3)を接続するスイッチ回路301を有する。この例において、CPU304−1は、ウルトラパスインターコネクト (UPI)により、CPU304−2に接続される。CPU304−1はさらに、PCIeスイッチ313−1に接続され、CPU304−2はさらに、PCIeスイッチ313−4に接続される。PCIeスイッチ313−1は、FPGA312−1、312−3、312−5、および、312−7に接続される。PCIeスイッチ313−2は、FPGA312−2、312−4、312−6、および、312−8、および、NIC302−2に接続される。PCIeスイッチ313−3は、FPGA312−9、312−11、312−13、および、312−15に接続される。PCIeスイッチ313−4は、FPGA312−10、312−12、312−14、および、312−16、および、NIC302−4に接続される。
この例において、スイッチ回路301は4個(すなわち、CPU 304−1、および、304−2から、および、PCIeスイッチ313−1、および、313−3から)、および、4個の出力(すなわち、PCIeスイッチ313−2、および、313−3に出力、および、NIC302−1、および、302−3に出力)を有する。この例において、DIPスイッチ302が用いられて、スイッチ回路中の接続経路を設置する。
いくつかの実施形態において、図3Bに示されるように、スイッチ回路301は、複数のMUX (すなわち、301−1〜301−6)に接続されるCPU (すなわち、304−1、および、304−2)、PCIeスイッチ (すなわち、313−1〜313−4)、および、NIC(すなわち、302−1、および、302−3)を有する。DIPスイッチ302は、複数のMUX (すなわち、301−1〜301−6)中のそれぞれの接続状態を設定するとともに、これにより、スイッチ回路301の四個の入力と四個の出力間の接続経路を設置する。
図3Cにおいて、コンピューティングシステム300CのPCIeトポロジーは、フルコンフィギュレーションモードである。コンピューティングシステム300Cは、CPU304−1、および、304−2、FPGA、あるいは、GPU 312−1〜312−16、NIC302−1、および、302−4、PCIeスイッチ313−1〜313−4、および、SASコネクタ301−1〜301−6を有する。この例において、DIPスイッチ302は、スイッチ回路301の入力を、CPU304−1からMUX301−1に設置し、その後、MUX301−3、そして、PCIeスイッチ313−2に設置する。また、DIPスイッチ302は、スイッチ回路301の入力を、CPU304−2からMUX301−2に設置し、その後、MUX301−4、そして、PCIeスイッチ313−3に設置する。DIPスイッチ302は、さらに、スイッチ回路301の入力を、PCIeスイッチ313−1から、MUX301−5に設置し、その後、NIC302−1に設置する。また、DIPスイッチ302は、スイッチ回路301の入力を、PCIeスイッチ313−3からMUX301−6に設置し、その後、NIX302−3に設置する。スイッチ回路301中のその他の全接続経路は、コンピューティングシステム300C中のDIPスイッチ302により無効になる。
図3Dにおいて、コンピューティングシステム300DのPCIeトポロジーは、バランスモードである。この例において、DIPスイッチ302は、スイッチ回路301の入力を、CPU304−2からMUX301−2に設置し、その後、MUX301−4、そして、PCIeスイッチ313−3に設置する。DIPスイッチ302は、さらに、スイッチ回路301の入力を、PCIeスイッチ313−1からMUX301−5に設置し、その後、NIC302−1に設置する。また、DIPスイッチ302は、スイッチ回路301の入力を、PCIeスイッチ313−3から、MUX301−6に設置し、その後、NIX302−3に設置する。スイッチ回路301中のその他のすべての接続経路は、コンピューティングシステム300D中のDIPスイッチ302により無効になる。
図3Eにおいて、コンピューティングシステム300EのPCIeトポロジーは、コモンモードである。この例において、DIPスイッチ302は、スイッチ回路301の入力を、CPU304−1からMUX301−1に設置し、その後、MUX301−4、そして、PCIeスイッチ313−3に設置する。DIPスイッチ302は、さらに、スイッチ回路301の入力を、PCIeスイッチ313−1からMUX301−5に設置し、NIC302−1に設置する。また、DIPスイッチ302は、スイッチ回路301の入力を、PCIeスイッチ313−3からMUX301−6に設置し、その後、NIX302−3に設置する。スイッチ回路301中のその他の全接続経路は、コンピューティングシステム300E中のDIPスイッチ302により無効になる。
図3Fにおいて、コンピューティングシステム300FのPCIeトポロジーは、カスケードモードである。この例において、DIPスイッチ302は、スイッチ回路301の入力を、PCIeスイッチ313−1からMUX301−5に設置し、その後、MUX301−6に設置し、その後、PCIeスイッチ313−3に設置する。スイッチ回路301中のその他の全接続経路は、コンピューティングシステム300F中のDIPスイッチ302により無効になる。
図3A〜図3Fに示されるように、スイッチ回路301が用いられて、コンピューティングシステム300A〜300F中のフレキシブルなPCIeトポロジーを設置する。スイッチ回路301により設置されるPCIeトポロジーは、これに限定されないが、フルコンフィギュレーションモード、バランスモード、コモンモード、および、カスケードモードを有する。
図4は、本発明の一実施形態によるコンピューティングシステム中のPCIeトポロジーを設置する例示的方法400を示す図である。理解すべきことは、例示的方法400は説明のためだけに示され、且つ、本発明のその他の方法にしたがって、追加、さらに少ない、あるいは代替のステップを有して、相似の、あるいは、代替の順序で上述の工程を実行することができることである。例示的方法400は、工程402から開始し、コンピューティングシステムの特定のPCIeトポロジーに対する要求を受信する。いくつかの実施形態において、要求は、コンピューティングシステムのマネジメントコントローラー (たとえば、BMC)、あるいは、ユーザーからのものである。特定のPCIeトポロジーは、これに限定されないが、フルコンフィギュレーションモード、バランスモード、コモンモード、および、カスケードモードを有する。
工程404において、マネジメントコントローラーは、コンピューティングシステム中、複数のCPU、複数のPCIeスイッチ、複数のNIC、および、複数のFPGA、および/または、GPU間の現在の接続経路を判断する。いくつかの実施形態において、コンピューティングシステムは、スイッチ回路を有し、スイッチ回路は、複数の入力、および、複数の出力を有する。スイッチ回路の入力と出力は、複数のCPU、複数のPCIeスイッチ、複数のNIC、および、複数のFPGA、および/または、GPUを接続する。いくつかの実施形態において、スイッチ回路は、複数のMUXを有する。スイッチに接続されるDIPスイッチは、複数のMUX中のそれぞれの接続状態を設定し、これにより、スイッチ回路の複数の入力、および、複数の出力間の接続経路を設置する。
工程405において、マネジメントコントローラーは、CPU、PCIeスイッチ、NIC、および、FPGA、および/または、GPU中の現在の接続経路が、特定のPCIeトポロジーと一致するか否か判断する。CPU、PCIeスイッチ、NIC、および、FPGA、および/または、GPU間の現在の接続経路が、特定のPCIeトポロジーと一致する事象において、プロセス400は工程406で終了する。CPU、PCIeスイッチ、NIC、および、FPGA、および/または、GPU間の現在の接続経路が、特定のPCIeトポロジーと一致しない事象において、マネジメントコントローラーは、工程408において、スイッチ回路の複数の入力、および、複数の出力間の接続経路を調整して、接続経路が特定のPCIeトポロジーと一致させる。いくつかの実施形態において、マネジメントコントローラーは、DIPスイッチの設定を調整して、スイッチ回路中の複数のMUXのそれぞれの接続状態を設定することができる。
本発明の様々な実施形態が上に記述されたが、理解すべきことは、示される例は単なる範例であって、制限ではないことである。本発明の実施形態に基づく各種変更は、本発明の精神と範囲を逸脱しない。よって、本発明の幅と範囲は、上記の任意の実施形態により限定されるべきではない。さらに、本発明の範囲は、以下の請求項とそれらの等価物によって定義されるべきである
100、200A、200B、200C、200D、200E、300A、300C、300D、300E、300F コンピューティングシステム
101 AC電源
102 電源ユニット
103 マネジメントコントローラー
104 プロセッサ
105 BIOS
106 ノースブリッジ (NB)ロジック
107 PCIバス
108 サウスブリッジ (SB)ロジック
109 ストレージデバイス
110 冷却モジュール
111 メインメモリ
112 GPU、あるいは、FPGA
113、213−1〜213−4、313−1〜313−4 PCIeスイッチ
151 ISAスロット
161 PCIeスロット
171 PCIスロット
201−1〜201−6 SASコネクタ
202−1〜202−4、302−1〜302−4 NIC
203−1〜203−4 PCIeケーブル
204−1、204−2、304−1、304−2 CPU
205−1 ゴールドフィンガーリピーターボード
212−1〜212−16 FPGA、あるいは、GPU
UPI ウルトラパスインターコネクト
301 スイッチ回路
302 DIPスイッチ
312−1〜312−16 FPGA
300B コンピューティングシステム
301−1〜301−6 MUX
400 方法
402〜408 工程

Claims (10)

  1. コンピューティングシステムであって、
    複数の中央処理ユニット (CPU)と、
    複数のグラフィックスプロセッシングユニット (GPU)、あるいは、フィールドプログラマブルゲートアレイ (FPGA)と、
    複数のペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)スイッチと、
    複数のネットワークインターフェースコントローラー(NIC)、および、
    前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNIC間の少なくとも一つの接続経路を調整して、前記コンピューティングシステムの特定のPCIeトポロジーを設置する接続メカニズム、
    を有することを特徴とするコンピューティングシステム。
  2. 前記接続メカニズムは、
    多重ミニシリアルアタッチドSCSI (SAS)コネクタ、
    少なくとも一つの物理的PCIeケーブル、および、
    前記複数のNICの一つの上にインストールされるゴールドフィンガーリピーターボード、
    を有することを特徴とする請求項1に記載のコンピューティングシステム。
  3. 前記接続メカニズムは、スイッチ回路を有して、前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNICを接続し、
    さらに、前記コンピューティングシステムは、デュアルインラインパッケージ (DIP)スイッチを有し、前記DPIスイッチが配置されて、前記スイッチ回路の複数の入力、および、複数の出力間の接続経路を設定することを特徴とする請求項1に記載のコンピューティングシステム。
  4. 前記スイッチ回路は、複数のマルチプレクサ (MUXs)を有して、前記複数の入力、および、前記複数の出力を接続し、
    前記DIPスイッチが設置されて、前記複数のMUXのそれぞれの接続状態を設定し、よって、前記スイッチ回路の前記複数の入力、および、前記複数の出力間の前記接続経路を設置することを特徴とする請求項3に記載のコンピューティングシステム。
  5. コンピューティングシステム中、ペリフェラルコンポーネントインターコネクトエクスプレス (PCIe)トポロジーを設置するコンピュータ実行方法であって、
    前記コンピューティングシステムの特定のPCIeトポロジーに対する要求を受信する工程と、
    前記コンピューティングシステム中、複数の中央処理ユニット(CPU)、複数のペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)スイッチ、複数のNIC、および、複数のフィールドプログラマブルゲートアレイ (FPGA)、および/または、グラフィックスプロセッシングユニット (GPU)間の現在の接続経路を判断する工程と、
    前記現在の接続経路が、前記特定のPCIeトポロジーと一致するか否か判断する工程、および、
    前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNIC間の前記接続経路が、前記特定のPCIeトポロジーと一致しない事象において、前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNIC間の少なくとも一つの接続経路を調整する工程、
    を有することを特徴とするコンピュータ実行方法。
  6. 前記コンピューティングシステムは、
    前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNICを接続するスイッチ回路、および、
    前記スイッチ回路の複数の入力、および、複数の出力間の接続経路を設置するデュアルインラインパッケージ(DIP)スイッチ、
    を有することを特徴とする請求項5に記載のコンピュータ実行方法。
  7. 前記スイッチ回路は、複数のマルチプレクサ (MUXs)を有して、前記複数の入力、および、前記複数の出力を接続し、
    前記DIPスイッチが配置されて、前記複数のMUXのそれぞれの接続状態を設定し、これにより、前記スイッチ回路の前記複数の入力、および、前記複数の出力間の前記接続経路を設置することを特徴とする請求項6に記載のコンピュータ実行方法。
  8. 持続性コンピュータ可読媒体であって、前記持続性コンピュータ可読媒体は命令を有し、コンピューティングシステムの少なくとも一つのプロセッサにより実行されるとき、前記コンピューティングシステムに以下の操作を実行させ、前記操作は、
    前記コンピューティングシステムの特定のペリフェラルコンポーネントインターコネクトエクスプレス (PCIe)トポロジーに対する要求を受信する工程と、
    コンピューティングシステム中で、複数の中央処理ユニット(CPU)、複数のペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)スイッチ、複数のNIC、および、複数のフィールドプログラマブルゲートアレイ (FPGA)、および/または、グラフィックスプロセッシングユニット(GPU)間の現在の接続経路を判断する工程と、
    前記現在の接続経路が、前記特定のPCIeトポロジーと一致するか否か判断する工程、および、
    前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNIC中の前記接続経路が、前記特定のPCIeトポロジーと一致しない事象において、前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNIC間の少なくとも一つの接続経路を調整する工程、
    を有することを特徴とする持続性コンピュータ可読媒体。
  9. 前記コンピューティングシステムは、
    前記複数のCPU、前記複数のPCIeスイッチ、および、前記複数のNICを接続するスイッチ回路、および、
    前記スイッチ回路の複数の入力、および、複数の出力間の接続経路を設置するデュアルインラインパッケージ (DIP)スイッチ、
    を有することを特徴とする請求項8に記載の持続性コンピュータ可読媒体。
  10. 前記スイッチ回路は複数のマルチプレクサ (MUXs)を有して、前記複数の入力、および、前記複数の出力を接続し、
    前記DIPスイッチが配置されて、前記複数のMUXのそれぞれの接続状態を設定し、これにより、前記スイッチ回路の前記複数の入力、および、前記複数の出力間の前記接続経路を設置することを特徴とする請求項9に記載の持続性コンピュータ可読媒体。
JP2019199707A 2019-01-28 2019-11-01 フレキシブルなpcieトポロジー Pending JP2020119498A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/259,488 2019-01-28
US16/259,488 US10585833B1 (en) 2019-01-28 2019-01-28 Flexible PCIe topology

Publications (1)

Publication Number Publication Date
JP2020119498A true JP2020119498A (ja) 2020-08-06

Family

ID=67303389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019199707A Pending JP2020119498A (ja) 2019-01-28 2019-11-01 フレキシブルなpcieトポロジー

Country Status (5)

Country Link
US (1) US10585833B1 (ja)
EP (1) EP3686747A1 (ja)
JP (1) JP2020119498A (ja)
CN (1) CN111488302B (ja)
TW (1) TWI710879B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737181A (zh) * 2020-06-19 2020-10-02 苏州浪潮智能科技有限公司 异构处理设备、系统、端口配置方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035738A1 (ja) * 2004-09-28 2006-04-06 Zentek Technology Japan, Inc. ホストコントローラ
WO2015162774A1 (ja) * 2014-04-25 2015-10-29 株式会社日立製作所 計算機、計算機のi/oスイッチの制御方法
US20170177528A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Architecture for software defined interconnect switch
US20180322082A1 (en) * 2017-05-08 2018-11-08 Liqid Inc. Peer-To-Peer Communication For Graphics Processing Units

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100531037C (zh) * 2004-12-24 2009-08-19 鸿富锦精密工业(深圳)有限公司 通用异步收发器桥接电路
TWM295417U (en) * 2005-12-01 2006-08-01 Wistron Corp Interface card with a mechanism for covering a golden finger thereof
US8693208B2 (en) * 2010-08-06 2014-04-08 Ocz Technology Group, Inc. PCIe bus extension system, method and interfaces therefor
CN103444133A (zh) * 2010-09-16 2013-12-11 卡尔克塞达公司 性能和功率优化计算机系统架构和运用功率优化树结构互连的方法
CN102497432B (zh) * 2011-12-13 2014-06-25 华为技术有限公司 一种多路径访问i/o设备的方法、i/o多路径管理器及系统
US9535827B2 (en) * 2011-12-29 2017-01-03 Intel Corporation RAM disk using non-volatile random access memory
CN110489365B (zh) * 2016-01-13 2023-09-12 华为技术有限公司 交换设备、外围部件互连高速系统及其初始化方法
US10387346B2 (en) 2016-05-06 2019-08-20 Quanta Computer Inc. Dynamic PCIE switch reconfiguration mechanism
CN107992438A (zh) 2017-11-24 2018-05-04 郑州云海信息技术有限公司 一种服务器及在服务器内灵活配置PCIe拓扑的方法
CN109242754B (zh) * 2018-07-17 2020-12-04 北京理工大学 一种基于OpenVPX平台的多GPU高性能处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035738A1 (ja) * 2004-09-28 2006-04-06 Zentek Technology Japan, Inc. ホストコントローラ
WO2015162774A1 (ja) * 2014-04-25 2015-10-29 株式会社日立製作所 計算機、計算機のi/oスイッチの制御方法
US20170177528A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Architecture for software defined interconnect switch
US20180322082A1 (en) * 2017-05-08 2018-11-08 Liqid Inc. Peer-To-Peer Communication For Graphics Processing Units

Also Published As

Publication number Publication date
US10585833B1 (en) 2020-03-10
TWI710879B (zh) 2020-11-21
TW202028915A (zh) 2020-08-01
EP3686747A1 (en) 2020-07-29
CN111488302A (zh) 2020-08-04
CN111488302B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
US10521273B2 (en) Physical partitioning of computing resources for server virtualization
EP3033681B1 (en) Method and apparatus for delivering msi-x interrupts through non-transparent bridges to computing resources in pci-express clusters
WO2016037503A1 (zh) PCIe拓扑的配置方法和装置
US11775464B2 (en) Computer system and a computer device
EP2680155A1 (en) Hybrid computing system
US8943343B2 (en) Controlling an asymmetrical processor
EP3575969B1 (en) Reducing cache line collisions
US20190094926A1 (en) Multi-criteria power management scheme for pooled accelerator architectures
US20140047156A1 (en) Hybrid computing system
CN116389542A (zh) 具有可配置的池化资源的平台
US10877918B2 (en) System and method for I/O aware processor configuration
JP2020119498A (ja) フレキシブルなpcieトポロジー
US11093422B2 (en) Processor/endpoint communication coupling configuration system
US20140089533A1 (en) Allocation of flow control credits for high performance devices
US10360167B1 (en) Systems and methods for using a bus exchange switch to control processor affinity
CN112732627B (zh) 一种ocp装置和服务器
US20160292117A1 (en) Methods and Apparatus for Efficient Network Analytics and Computing Card
WO2016175837A1 (en) Configuration of a peripheral component interconnect express link

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210706