JP2023143302A

JP2023143302A - 中継装置および中継方法

Info

Publication number: JP2023143302A
Application number: JP2022050606A
Authority: JP
Inventors: 祐人猪飼; Sukehito Igai
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2022-03-25
Filing date: 2022-03-25
Publication date: 2023-10-06

Abstract

【課題】PCIeバスシステムにおいて、255個を超えるデバイスへのアクセスを低レイテンシで実現できる。【解決手段】第１のデバイスから２つ以上の第２のデバイスのうちのアクセス対象デバイスへの第１アクセスパケットに対して、第１アクセスパケットに含まれるルーティング情報を、前記２つ以上の第２のデバイスに対して予め設定した限定ルーティング情報に変換することで第２アクセスパケットに変換するパケット変換部３０ａ，３０ｂと、生成した第２アクセスパケットをPCIeバスツリーにおける下流にフォワードする出力部３１とを備える。【選択図】図２

Description

本発明は、中継装置および中継方法に関する。

PCIe（Peripheral Component Interconnect Express：登録商標）の規格に従ったシステムでは、ひとつのデバイスツリーに搭載可能なデバイス数が最大で255個に制限されている。これは、個別のデバイスの各ポートに対してデバイスツリー内でユニークなBUSN（バスナンバー）を割り当てる仕様になっているためである。

特開２０１６－１３９２５６号公報国際公開第２０１４／０２０７１６号

近年、通信の高速・大容量化やクラウドコンピューティングの普及によりストレージシステムなどではより多くのデバイスの搭載が求められるようになっている。さらに、将来的にはPCIe規格で規定される最大数より多くのデバイスの搭載が要求されるものと推測される。

そこで、PCIe Gen4以降の規格では、FPB（Flattening Portal Bridge）が規定され、BUSN（バスナンバー），DEVN（デバイスナンバー）およびFNCN（ファンクションナンバー）の16bitを使ってデバイスをフラットに割り当てるオプショナル機能が規定されている。しかしながら、現時点において、このFPBの機能をサポートするPCIe スイッチは製品化されておらず、また、次世代Gen5のスイッチでもFPBのサポートを明言するベンダーはない。

なお、特定のアドレス範囲にあるデバイスへのリクエストがあった場合に、その都度、ソフトウェア（ドライバ）が介在してデバイスツリー内のスイッチなどに保持されているルーティング情報を書き換える従来手法が知られている。当該手法においては、デバイスツリー内のスイッチなどに保持されているルーティング情報を書き換えることにより、全体で255個を超えるデバイスへのアクセスを可能とする。

また、PCIe規格のTLP（Transaction Layer Packet）に拡張ルーティング情報を記載したヘッダ部を付加した独自のパケットを使ってルーティングを行なうことで255個を超えるデバイスへのアクセスを可能とする従来手法も知られている。

しかしながら、これらの従来手法においては、スループットが小さくなりレイテンシも大きくなる。

１つの側面では、本発明は、PCIeバスシステムにおいて、255個を超えるデバイスへのアクセスを低レイテンシで実現できるようにすることを目的とする。

このため、この中継装置は、複数のデバイスを接続するPCIe（Peripheral Component Interconnect Express）バスツリーにおいて、前記複数のデバイスのうちの第１のデバイスの下流であり、且つ前記複数のデバイスのうちの２つ以上の第２のデバイスよりも上流の位置に配置される中継装置であって、前記第１のデバイスから前記２つ以上の第２のデバイスのうちのアクセス対象デバイスへの第１アクセスパケットに対して、当該第１アクセスパケットに含まれるルーティング情報を、前記２つ以上の第２のデバイスに対して予め設定した限定ルーティング情報に変換することで第２アクセスパケットに変換するパケット変換部と、生成した前記第２アクセスパケットを前記PCIeバスツリーにおける下流にフォワードする出力部とを備える。

一実施形態によれば、PCIeバスシステムにおいて、255個を超えるデバイスへのアクセスを低レイテンシで実現できる。

第１実施形態の一例としてのバスシステムの構成を例示する図である。第１実施形態の一例としてのバスシステムのエクストラブリッジの構成を例示する図である。 PCIe規格で定義されているCfgWr/RdパケットHeader部のbit mapを示す図である。第１実施形態の一例としてのバスシステムにおける、PCIeデバイスツリーにおけるメモリ空間の割り当て例を示す図である。 PCIe規格で定義されている32bit addressing modeのMemWr/RdパケットHeader部のbit mapを示す図である。 PCIe規格で定義されているCpl/CplDパケットHeader部のbit mapを示す図である。第１実施形態の一例としてのバスシステムにおける変換情報を例示する図である。第１実施形態の一例としてのバスシステムにおけるエクストラブリッジのパケット変換部の処理を説明するためのフローチャートである。第２実施形態の一例としてのバスシステムのエクストラブリッジの構成を例示する図である。第２実施形態の一例としてのバスシステムにおける変換情報を例示する図である。第２実施形態の一例としてのバスシステムにおけるエクストラブリッジのパケット変換部の処理を示すフローチャートである。

以下、図面を参照して本中継装置および中継方法にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形（実施形態および各変形例を組み合わせる等）して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

（Ｉ）第１実施形態の説明
（Ａ）構成
図１は第１実施形態の一例としてのバスシステム１の構成を例示する図、図２はそのエクストラブリッジ２０ａの構成を例示する図である。

図１に例示するバスシステム１は、PCIeの規格に従った通信を行なうものであり、２つのスイッチ１０－１，１０－２とエクストラブリッジ２０ａとを含むPCIeバスツリーを構成している。

スイッチ１０－１をSW#0と表す場合がある。また、スイッチ１０－２をSW#1と表す場合がある。以下、スイッチ１０－１，１０－２を特に区別しない場合には、スイッチ１０と表記する。

スイッチ１０－１は複数のデバイスのうちの第１のデバイスに相当する。また、スイッチ１０－２やエンドポイントデバイス３０－３，３０－４はそれぞれ複数のデバイスのうちの第２のデバイスに相当する。

各スイッチ１０は、それぞれアップストリームポート１０１とダウンストリームポート１０２－１～１０２－３とを備える。アップストリームポート１０１をup#0と表す場合がある。

以下、ダウンストリームポート１０２－１～１０２－３を特に区別しない場合には、ダウンストリームポート１０２と表記する。また、ダウンストリームポート１０２－１，１０２－２，１０２－３をdn#0，dn#1，dn#2と表す場合がある。

また、エクストラブリッジ２０ａは、アップストリームポート２０１およびダウンストリームポート２０２を備える。アップストリームポート２０１をupと表す場合があり、ダウンストリームポート２０２をdnと表す場合がある。また、エクストラブリッジ２０ａをextra.BRGと表す場合がある。

エクストラブリッジ２０ａは、PCIeバスツリーにおいて、スイッチ１０－１（第１のデバイス）の下流であり、且つ、スイッチ１０－２やエンドポイントデバイス（第２のデバイス）よりも上流の位置に配置される中継装置に相当する。

図１に示す例において、スイッチ１０－１のダウンストリームポート１０２－３は、エクストラブリッジ２０ａのアップストリームポート２０１と接続されている。エクストラブリッジ２０ａのダウンストリームポート２０２は、スイッチ１０－２のアップストリームポート１０１に接続されている。これにより、スイッチ１０－１，エクストラブリッジ２０ａおよびスイッチ１０－２は、カスケード接続されている。

スイッチ１０－１のアップストリームポート１０１（up#0）には、図示しないプロセッサが、直接もしくは間接で接続される。当該プロセッサは、PCIeデバイスドライバを実行することで、PCIe規格に基づく各種機能を実現する。PCIeデバイスドライバを単にソフトウェアといってもよい。

スイッチ１０－１のダウンストリームポート１０２－１には、エンドポイントデバイス３０－１が接続されている。また、スイッチ１０－１のダウンストリームポート１０２－２には、エンドポイントデバイス３０－２が接続されている。

スイッチ１０－２のダウンストリームポート１０２－１には、エンドポイントデバイス３０－３が接続されている。また、スイッチ１０－２のダウンストリームポート１０２－２には、エンドポイントデバイス３０－４が接続されている。

エンドポイントデバイス３０－１をep#0と表す場合がある。また、エンドポイントデバイス３０－２をep#1と表す場合がある。エンドポイントデバイス３０－３をep#2と表す場合がある。また、エンドポイントデバイス３０－４をep#3と表す場合がある。以下、エンドポイントデバイス３０－１～３０－４を特に区別しない場合には、エンドポイントデバイス３０と表記する。

スイッチ１０－２のダウンストリームポート１０２－３には、他のスイッチ１０やエンドポイントデバイス３０が接続されてよい。

また、スイッチ１０－１，１０－２およびエクストラブリッジ２０ａをデバイスといってもよい。

本バスシステム１においては、PCIe規格に従ったパケットの送受信機能が実現される。

本バスシステム１においては、PCIe 規格におけるConfig Write パケット（CfgWrパケット）もしくはConfig Readパケット（CfgRdパケット）のルーティングが行なわれる。CfgWrパケットもしくはCfgRdパケットをCfgWr/Rd パケットと表してもよい。

PCIe規格においては、複数のデバイスを接続することでPCIeデバイスツリーが構成される。複数のデバイスには、スイッチ１０，エンドポイントデバイス３０，エクストラブリッジ２０ａが含まれる。また、デバイスには、PCIeの規格で通信を行なう他の装置を含んでもよく、例えば、図示しないブリッジを含んでもよい。

以下、デバイスのうち、スイッチやブリッジ等の中継機能を備えるデバイスを、スイッチ等という場合がある。

PCIe規格では、ひとつのPCIeデバイスツリー内に複数のデバイスを搭載する場合には、スイッチ１０を多段に組み合わせて、そのダウンストリームポート１０２毎に１つのデバイスを搭載する。

各デバイスは、アップストリームポートとダウンストリームポートとを備える。図１に示す例においては、各スイッチ１０はアップストリームポート１０１およびダウンストリームポート１０２－１～１０２－３を備える。また、エクストラブリッジ２０ａは、アップストリームポート２０１およびダウンストリームポート２０２を備える。

PCIe規格においては、接続されたデバイスツリー内のすべてのデバイスのポートに、デバイスツリー内でユニークなBUSN が割り当てられる。これによって、BUSNをもとにハードウェアがCfgWr/Rd パケットをルーティングすることが可能となり、任意のデバイスのConfig空間へアクセスすることができる。

各デバイスのアップストリームポートのBUSNは、PCIe規格に従って、既知の手法により設定される。すなわち、各デバイスのアップストリームポートのBUSNは、最初に受信したCfgWrパケット内のBUSNフィールド（BUSN field）の値を取り込むことで自動的に割り当てられる。

各デバイスの各ダウンストリームポートのBUSNは、PCIeデバイスドライバによってアップストリームポートの2ndBUS （2ndaryBusNumber）レジスタを使って設定される。2ndBUSレジスタは、PCIe Typ1 Configレジスタである。

デバイスのダウンストリームポートにさらにデバイスが接続される場合には、当該ダウンストリームポートの2ndBUS レジスタに、直下のデバイスのアップストリームポートのBUSNが設定される。また、SubOrd （SubordinaryBusNumber）レジスタには、その下流に実装される全てのデバイスのBUSNの範囲が設定される。SubOrdレジスタは、PCIe Typ1 Configレジスタである。

各デバイスのアップストリームポートに、デバイスツリー内で有効なデバイスの全ポートのBUSNが正しく（重複や欠落なく）割り当てられた後は、BUSNおよびDEVNを指定したCfgWr/Rdパケットを使うことで、PCIeデバイスドライバから任意のデバイスのConfig空間へアクセスすることが可能となる。

図３はPCIe規格で定義されているCfgWr/RdパケットHeader部のbit mapを示す図である。

PCIe規格においては、CfgWr/RdパケットHeader部のByte 8およびByte 9にDestination Deviceを指定するためのBUSN fieldおよびDEVN fieldが定義されている。BUSN fieldもしくはDEVN fieldをBUSN/DEVN field と表してもよい。

CfgWr/Rdパケットを受信したデバイスにおいては、アップストリームポートに備えられたTLP（Transaction Layer Packet）制御部が、このBUSN field の値が自ポートのBUSNと一致した場合に、自分自身を該パケットの宛先（Destination）と判断して必要な処理を行なう。

また、デバイスにおいては、BUSN field の値が2ndBUSレジスタおよびSubOrdレジスタで定義されたBUSNの範囲外であった場合は、TLP制御部は、当該パケットをダウンストリームポートへフォワードし、それ以外の場合は当該パケットを破棄する。

また、本バスシステム１においては、PCIe 規格におけるMemory Writeパケット（MemWrパケット）またはMemory Read（MemRdパケット）のルーティングが行なわれる。MemWrパケットまたはMemRdパケットをMemWr/Rdと表してもよい。

PCIe規格においては、ひとつのPCIeデバイスツリーに搭載される各デバイス個別のメモリ空間を、各デバイスに実装されるレジスタを使って排他的に割り当てる。これにより、ハードウェアがAddress fieldの値だけでMemWr/Rdパケットをルーティングすることが可能となり、任意のデバイスのメモリ空間へアクセスすることができる。

図４は第１実施形態の一例としてのバスシステム１における、PCIeデバイスツリーにおけるメモリ空間の割り当て例を示す図である。

PCIe規格では、デバイスツリー内の有効なすべてのデバイスに実装されるBAR（Base Address Register）と、全てのスイッチ１０や図示しないブリッジに実装されるMBase （MemoryBase）レジスタ， MLimit（MemoryLimit）レジスタ，pfMBase （PrefetchableMemoryBase）レジスタおよびpfMLimit（PrefetchableMemoryLimit ）レジスタとを使ってメモリ空間のマッピングを行なう。

図４に示す例において、system Memory mapはデバイスツリー全体のメモリ空間を示している。また、Memory map at SW#0 up#0はSW#0のup#0が認識しているメモリ空間を示しており、Memory map at SW#0 dn#0,#1,#2はSW#0のdn#0,#1,#2が認識しているメモリ空間を示している。さらに、Memory map at SW#1 up#0はSW#1のup#0が認識しているメモリ空間を示しており、Memory map at SW#1 dn#0,#1,#2はSW#1のdn#0,#1,#2が認識しているメモリ空間を示している。

各レジスタに正しい（重複や欠落のない）値を設定した後は、適切なアドレスを指定したMemWr/Rd パケットを使うことでPCIeデバイスドライバからデバイスツリー内の任意のデバイスのメモリ空間へPIO（Programmed Input/Output）アクセスすることが可能となる。

同様に、任意のデバイスから主記憶（図示省略）あるいは別のデバイスとの間で適切なアドレスを指定したMemWr/Rd パケットを使ってDMA（Direct Memory Access）転送することも可能となる。

図５はPCIe規格で定義されている32bit addressing modeのMemWr/RdパケットHeader部のbit mapを示す図である。

この図５に示す32bit addressing modeのMemWr/Rdパケットでは、Byte 8，Byte 9，Byte 10およびByte 11に、ターゲットとなるAddress fieldが定義されている。なお、64bit addressing modeのMemWr/Rdパケットでは、Byte 8, Byte 9, Byte 10, Byte 11, Byte 12, Byte 13, Byte 14, Byte 15にターゲットとなるAddress fieldが定義される（図省略）。

まず、PCIeデバイスドライバ（ソフトウェア）からデバイスへのPIOアクセスにおけるルーティングを説明する。

MemWr/Rd パケットを受信したデバイスのアップストリームポートでは、TLP制御部が、そのAddress field の値が自ポートのBARで定義されたアドレス範囲に含まれる場合は、自分自身を該パケットのDestinationと判断して必要な処理を行なう。TLP制御部は、MBaseレジスタとMLimitで定義されたアドレス範囲もしくはpfMBaseとpfMLimitで定義されたアドレス範囲に該当する場合は当該パケットをダウンストリームポートへフォワードし、それ以外の場合は該パケットを破棄する。

次に、エンドポイントデバイスから主記憶（図示省略）あるいは他デバイスのメモリ空間へのDMAにおけるルーティングを説明する。

エンドポイントからのMemWr/Rd パケットを受信したスイッチ等のダウンストリームポートでは、そのAddress field の値が自ポートのMBaseレジスタとMLimitレジスタとで定義されたアドレス範囲、もしくはpfMBaseレジスタとpfMLimitレジスタとで定義されたアドレス範囲に該当する場合は、当該パケットを破棄する。また、それ以外の場合には、アップストリームポートへフォワードする。

アップストリームポートでは、そのAddress field の値が自デバイス内のいずれかのダウンストリームポートのMemBaseレジスタとMemLimitレジスタと、もしくはpfMBaseレジスタとpfMLimitレジスタとで定義されたアドレス範囲に該当する場合は、当該パケットを該当するダウンストリームポートへフォワードする。また、それ以外の場合はアップストリームリンク（Upstream link）へ送信する。

また、本バスシステム１においては、PCIe 規格におけるCplパケットおよびCplDパケットのルーティングも行なわれる。CplパケットもしくはCplDパケットを、Cpl/CplDパケットと表してもよい。

図６はPCIe規格で定義されているCpl/CplDパケット（Completionパケット or Completion with Dataパケット）Header部のbit mapを示す図である。

この図６に示すCpl/CplDパケットでは、Byte 4, Byte 5にCompleter ID fieldが、Byte 8, Byte 9にRequester ID fieldが、各々定義されている。

NonPosted requestであるCfgWr/RdパケットあるいはMemRdパケットのDestinationとなったデバイスは、CplもしくはCplDパケットでRequesterにreplyする必要がある。また、その際に、Cpl/CplDパケットのCompleter ID fieldに自デバイスのBUSN/DEVNを格納し、Requester ID fieldには対応するCfgWr/RdもしくはMemRdパケットに記載されていたRequester IDの値を格納する必要がある。

このRequester ID fieldの値によってハードウェアがCpl/CplDパケットを正しいDestination（Requester）へルーティングする仕組みはCfgWr/Rdパケットの場合と同様である。なお、Posted requestであるMemWrパケットはCpl/CplDでReplyすることは許されていない。

エクストラブリッジ２０ａは、カスケード接続されたスイッチ１０－１とスイッチ１０－２との間において、CfgWr/Rdパケット内BUSN/DEVN fieldを任意の値に書き換える仕組みを有する。

エクストラブリッジ２０ａは、図２に示すように、アップストリームポート２０１およびダウンストリームポート２０２を備える。

エクストラブリッジ２０ａには、上位デバイス（PCIeデバイスドライバ）から、アクセス対象デバイスへのCfgWr/Rdパケット（第１アクセスパケット）が入力される。このCfgWr/RdパケットのBUSN fieldおよびDEVN fieldには、ルーティング情報であるBUSNおよびDEVNが格納されている。

アップストリームポート２０１は、図２に示すように、TLP制御部２１，BAR２２，MBaseレジスタ２４， MLimitレジスタ２５，2ndBUSレジスタ２６，subOrdレジスタ２７，パケット（pkt）変換部３０ａおよび変換情報（Convinfo）２８ａを備える。

TLP制御部２１は、BAR２２，MBaseレジスタ２４， MLimitレジスタ２５，2ndBUSレジスタ２６およびsubOrdレジスタ２７を用いて、上述したPCIeにおけるTLPの処理を行なう。かかるTLP制御部２１の機能は既知であり、その説明は省略する。

図１に示す例において、エクストラブリッジ２０ａのアップストリームポート２０１のBUSNが仮に0x6であった場合、2ndBUSレジスタ２６およびsubOrdレジスタ２７におけるダウンストリームポート２０２の有効な設定値は、PCIe規格上0x7-0xffである。

これに対して、本バスシステム１においては、エクストラブリッジ２０ａではデバイスに任意の値を設定できる。

図７は第１実施形態の一例としてのバスシステム１における変換情報２８ａを例示する図である。

変換情報２８ａは、エクストラブリッジ２０ａのBAR空間（BARで設定されるデバイス固有のメモリ空間）に実装されてよい。また、変換情報２８ａは、User Specific レジスタに格納されてよい。
エクストラブリッジ２０ａのBARやUser Specific レジスタが、第１アクセスパケット（CfgWr/Rdパケット，MemWr/Rdパケット）に含まれるルーティング情報（BUSN/DEVN，Address）を、スイッチ１０－２，エンドポイントデバイス等の第２のデバイスに対して予め設定した限定ルーティング情報（BUSN/DEVN）とを対応付けた変換情報２８ａを記憶する記憶部として機能する。

この図７に例示する変換情報２８ａは、変換前のCfgWr/Rdパケット内のBUSN/DEVN fieldと変換後のCfgWr/Rdパケット内BUSN/DEVN fieldとを対応付けるものであり、変換テーブルとして表されている。

この図７に例示する変換情報２８ａは、ext.BRG upstream port受信packet情報，ext.BRG 内制御レジスタおよびext.BRG downstream port送信packet情報を構成情報として備える。ext.BRG upstream port受信packet情報は変換前のCfgWr/Rdパケット内のBUSN/DEVN fieldに相当し、ext.BRG downstream port送信packet情報は変換後のCfgWr/Rdパケット内BUSN/DEVN fieldに相当する。

ext.BRG upstream port受信packet情報は、CfgWr/Rd packet内BUSN field，DEVN fieldおよび(target)を含む。

ext.BRG upstream port受信packet情報のCfgWr/Rd packet内BUSN fieldは、受信したCfgWr/RdパケットのBUSN fieldであり、DEVN fieldは、受信したCfgWr/RdパケットのDEVN fieldである。 (target)はパケットの送信先を示す。

また、ext.BRG downstream port送信packet情報は、CfgWr/Rd packet内BUSN fieldおよびDEVN fieldを含む。

ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldは、エクストラブリッジ２０ａのダウンストリームポート２０２から出力（送信）するCfgWr/RdパケットのBUSN fieldに設定される値である。また、ext.BRG downstream port送信packet情報のDEVN fieldは、エクストラブリッジ２０ａのダウンストリームポート２０２から出力（送信）するCfgWr/RdパケットのDEVN fieldに設定される値である。

ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldおよびDEVN fieldの各値は、スイッチ１０－２やエンドポイントデバイス３０－３，３０－４等の第２のデバイスに対して予め設定した限定ルーティング情報に相当する。

パケット変換部３０ａは、デバイスツリーにおける自身が搭載されたエクストラブリッジ２０ａ（自エクストラブリッジ２０ａ）の下流に搭載される各デバイスのBUSNの割り当てを変換（疑似的に読み替える）することで、255個以上のデバイスとのパケットの送受信を可能とする。

変換情報２８ａにおいては、デバイスツリーにおける自エクストラブリッジ２０ａよりも下流の管理対象の各デバイスに対して、ユニークなBUSNとDEVNとの組み合わせが割り当てられている（ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN field，DEVN field）。自エクストラブリッジ２０ａよりも下流の管理対象の各デバイスを配下デバイスといってもよい。

これらのBUSNとDEVNとの組み合わせは、自エクストラブリッジ２０ａが管理する複数の配下デバイスに設定された宛先情報であり、自エクストラブリッジ２０ａにおいてのみ有効な限定的な（ローカルな）宛先情報である。このような、変換情報２８ａにおいて、自エクストラブリッジ２０ａにおいて各配下デバイスに対して割り当てられている限定的なBUSNとDEVNとの組み合わせを、限定ルーティング情報といってもよい。

変換情報２８ａにおいては、これらの限定ルーティング情報が設定された各配下デバイスに対して、バスツリーにおける自エクストラブリッジ２０ａよりも上位のデバイス（上位デバイス）から配下デバイスにアクセスするために用いられるBUSNとDEVNとの組み合わせが対応付けられている。

このような、上位デバイスから配下デバイスにアクセスするために用いられるBUSNとDEVNとの組み合わせは、BUSNをDEVNで拡張したルーティング情報であるといえる。上位デバイスから配下デバイスにアクセスするために用いられるBUSNとDEVNとの組み合わせを拡張ルーティング情報といってもよい。

変換情報２８ａは、拡張ルーティング情報と限定ルーティング情報とを対応付けた情報である。図７に例示した変換情報２８ａにおいて、ext.BRG upstream port受信packet情報のCfgWr/Rd packet内BUSN fieldの値とDEVN fieldの値との組み合わせが拡張ルーティング情報に相当する。また、ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldの値が限定ルーティング情報に相当する。

エクストラブリッジ２０ａにおいて、パケット変換部３０ａは、BAR空間において、CfgWr/Rdパケットに設定された特定のBUSNとDEVNとの組み合わせを、別のBUSNとDEVNとの組み合わせに変換したうえで、ダウンストリームポート２０２へフォワードする。

パケット変換部３０ａは、アップストリームポート２０１のTLP制御部２１で受信したCfgWr/Rd パケット内のBUSN fieldが2ndBUSレジスタ２６およびSubOrdレジスタ２７で設定されているBUSNの範囲にあるかを確認する。

受信したCfgWr/Rd パケット内のBUSN fieldの値が、2ndBUSレジスタ２６およびSubOrdレジスタ２７で設定されているBUSNの範囲にある場合に、パケット変換部３０ａは、当該パケットをパケット変換部３０ａにフォワードする。

ここで、パケット変換部３０ａは、変換情報２８ａの設定値に従ってCfgWr/Rd パケット内のBUSN/DEVN fieldの値を書き換える。

パケット変換部３０ａは、受信したCfgWr/Rdパケット内のBUSN/DEVN field の値に基づいて変換情報２８ａを参照し、受信パケットのBUSN fieldの値とDEVN fieldの値との組み合わせに対応する、ext.BRG downstream port送信packet情報（変換後のBUSN fieldの値およびDEVN fieldの値）を取得する。

パケット変換部３０ａは、アップストリームポート２０１からフォワードされたCfgWr/Rdパケット内のBUSN fieldおよびDEVN fieldの各値を、変換情報２８ａから取得した変換後のBUSN fieldの値およびDEVN fieldの値に置換する。

パケット変換部３０ａは、BUSN/DEVN fieldの値を書き換えたCfgWr/Rd パケットを、ダウンストリームポート２０２のTLP制御部３１へフォワードする。その後、当該CfgWr/Rd パケットは、ダウンストリームポート２０２から、デバイスツリーにおける下流側（Downstream Link）へ送信される。デバイスツリーにおける下流側に配置されるデバイスをダウンストリームデバイス（Downstream Device）といってもよい。

図１に例示したバスシステム１においては、各デバイスやバスのBUSNを符号“B=”を付して示している。

例えば、エクストラブリッジ２０ａのアップストリームポート２０１のBUSNが仮に0x6である場合、PCIe規格上においては、ダウンストリームポート２０２の2ndBUSレジスタ２６およびsubOrdレジスタ２７における有効な設定値は0x7-0xffである。

これに対して、図７に例示した変換情報２８ａにおいては、エクストラブリッジ２０ａの配下デバイスであるスイッチ１０－２やエンドポイントデバイス３０－３，３０－４等のBUSNおよびDEVNに任意の値を設定することで、BUSNを拡張している。

例えば、スイッチ１０－２（SW#1）のダウンストリームポート１０２－１（dn#0）に対して、ext.BRG downstream port送信packet情報のBUSNおよびDEVNとして0x2および0x0が設定されている。

パケット変換部３０ａは、PCIeデバイスドライバからBUSN fieldの値が0x8、DEVN fieldの値が0x10のCfgWr/Rdパケットを受信すると、変換情報２８ａを参照して、このCfgWr/RdパケットのBUSN fieldの値を0x2に、DEVN fieldの値を0x0に変換する。

エクストラブリッジ２０ａにおいては、ダウンストリームデバイスへ送信したCfgWr/Rdパケットに対応するCpl/CplD パケットを受信した場合に、当該Cpl/CplD パケットは、ダウンストリームポート２０２のTLP制御部３１からパケット変換部３０ａへフォワードされる。パケット変換部３０ａは、変換情報２８ａの設定値に基づいて、Cpl/CplD パケットのCompleter ID fieldの値をオリジナルのBUSN/DEVNに書き換える。

パケット変換部３０ａは、Cpl/CplD パケット内のCompleter ID fieldの値に基づいて変換情報２８ａを参照し、BUSNとDEVNとの組み合わせに対応する、ext.BRG upstream port受信packet情報（変換前のBUSN fieldの値およびDEVN fieldの値）を取得する。

パケット変換部３０ａは、Cpl/CplD パケット内のCompleter ID fieldの値を、変換情報２８ａから取得した変換前のBUSN fieldの値およびDEVN fieldの値を用いて置換することで、Cpl/CplD パケットを更新する。

パケット変換部３０ａは、更新したCpl/CplD パケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

ダウンストリームポート２０２からフォワードされたパケットがCpl/CplD パケットではなくMemWrパケットである場合には、パケット変換部３０ａは、当該パケットをディスカードする。

なお、Cpl/CplD パケットを規定時間以内に受信できない場合には、例えば、TLP制御部３１が、タイムアウト処理を行なったうえでCTO（Completion Timeout）のフラグを付加したCplパケットを生成する。TLP制御部３１は、生成したCplパケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

パケット変換部３０ａは、受信したCfgWr/Rd パケットのBUSN fieldおよびDEVN fieldの各値に基づいて、変換情報２８ａを参照して、対応する（変換後の）ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldおよびDEVN fieldを取得する。

そして、パケット変換部３０ａは、受信したCfgWr/Rd パケットのBUSN fieldおよびDEVN fieldの各値を、変換情報２８ａから取得したext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldおよびDEVN fieldを用いて置換（変換）する。

パケット変換部３０ａは、変換後のCfgWr/Rd パケットをダウンストリームポート２０２にフォワードする。

例えば、アップストリームポート２０１（upstream port）で受信したCfgWr/RdパケットのBUSN/DEVN=8/0が、ダウンストリームポート２０２（downstream port）から送信されるCfgWr/RdパケットのBUSN/DEVN=1/0に変換されてSW#1のup#0がターゲットとなる。

また、アップストリームポート２０１で受信したCfgWr/RdパケットのBUSN/DEVN=8/10～8/12が、BUSN/DEVN=2/0～2/2に変換されてSW#1のdn#0,#1,#2がターゲットとなり、BUSN/DEVN=8/1e～8/1fが、BUSN/DEVN=3/0～4/0に変換されてSW#1のdn#0,#1に接続されるEndpoint Deviceがターゲットとなる。

なお、図７に示す例においては、アップストリームポート２０１で受信したCfgWr/RdパケットのBUSN/DEVN=9/xx～ff/xx（xx:0～0x3f）は、変換されずBUSN/DEVN=9/xx～ff/xx のままでSW#1のdn#2に接続されるデバイス群をターゲットとすることを表している。

変換情報２８ａの値は、例えば、ハードウェア、ソフトウェアもしくはファームウェアによって設定されてもよい。また、変換情報２８ａのすべての設定情報を同時にパケット変換部３０ａにみせて、パケット変換部３０ａで適切なBUSN/DEVNを選択してもよい。また、パケット受信の都度、パケット変換部３０ａから通知されたBUSN/DEVNをもとに変換情報２８ａから送信用BUSN/DEVNをパケット変換部３０ａへ応答してもよく、適宜変更して実施することができる。

また、パケット変換部３０ａは、ダウンストリームポート２０２へCfgWr/Rdパケットをフォワードした後に、ダウンストリームポート２０２から応答されるCpl/CplD パケットを受信するまで待機する。

Cpl/CplD パケットを受信すると、パケット変換部３０ａは、ダウンストリームポート２０２から受信したCpl/CplD パケットのCompleterlD fieldに格納されているBUSN/DEVNの値に基づき、変換情報２８ａを参照する。

パケット変換部３０ａは、変換情報２８ａにおけるext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldおよびDEVN fieldに対応する、ext.BRG downstream port受信packet情報のCfgWr/Rd packet内BUSN fieldおよびDEVN fieldの値を取得する。

そして、パケット変換部３０ａは、ダウンストリームポート２０２から受信したCpl/CplD パケットのCompleterlD fieldの値を変換情報２８ａから取得したext.BRG upstream port受信packet情報のCfgWr/Rd packet内BUSN fieldおよびDEVN fieldを用いて置換（変換）する。

パケット変換部３０ａは、変換後のCpl/CplD パケットをアップストリームポート２０１のTLP制御部２１にフォワードする。これにより、アップストリームポート２０１からパケットが送信される。

ダウンストリームポート２０２は、図２に示すように、TLP制御部３１を備える。TLP制御部３１は、上述したPCIeにおけるTLPの処理を行なう。このようなダウンストリームポート２０２におけるTLP制御部３１としての機能は既知であり、その説明は省略する。

（Ｂ）動作
上述の如く構成された第１実施形態の一例としてのバスシステム１におけるエクストラブリッジ２０ａのパケット変換部３０ａの処理を、図８に示すフローチャート（ステップＡ１～Ａ９）に従って説明する。

本処理は、パケット変換部３０ａがアップストリームポート２０１からパケットを受信することで開始される。

ステップＡ１において、アップストリームポート２０１のTLP制御部２１から、パケット変換部３０ａにCfgWrパケットまたはCfgRdパケットがフォワードされる。

パケット変換部３０ａは、バスシステム１における自身が搭載されたエクストラブリッジ２０ａ（自エクストラブリッジ２０ａ）よりも下流のデバイスについてのBUSNの情報を、2ndBUSレジスタ２６およびsubOrdレジスタ２７から取得する。

ステップＡ２において、パケット変換部３０ａは、受信したCfgWr/Rd パケットのBUSN fieldの値を、2ndBUSレジスタ２６およびsubOrdレジスタ２７から取得した情報と比較して、ダウンストリームポート２０２へフォワードすべきBUSNであるかを確認する。

確認の結果、受信したパケットのBUSNがダウンストリームポート２０２へフォワードすべきBUSNでない場合には（ステップＡ２の“others”ルート参照）、ステップＡ３に移行し、当該パケットに対する通常の処理が行なわれる。当該通常の処理には、例えば、エクストラブリッジ２０ａ内に登録されている各レジスタの処理や、ディスカード，アンサポーテッドリクエストの応答，エラー処理等が含まれてもよい。

受信したパケットのBUSNがダウンストリームポート２０２へフォワードすべきBUSNである場合には（ステップＡ２の“downstream portへforwardすべきBUSNの場合”ルート参照）、ステップＡ４に移行する。

ステップＡ４において、パケット変換部３０ａは、受信したCfgWr/Rdパケット内のBUSN/DEVN field の値に基づいて変換情報２８ａを参照する。パケット変換部３０ａは、受信パケットのBUSN fieldの値とDEVN fieldの値との組み合わせに対応する、ext.BRG downstream port送信packet情報（変換後のBUSN fieldの値およびDEVN fieldの値）を、変換情報２８ａから取得する。

ステップＡ５において、パケット変換部３０ａは、変換したCfgWr/Rdパケットをダウンストリームポート２０２のTLP制御部３１へフォワードする。CfgWr/Rdパケットは、ダウンストリームポート２０２から下流側に送信される。

ステップＡ６において、例えば、TLP制御部３１は、CfgWr/Rdパケットに対応するCpl/CplD パケットの受信を待つ。

PCIeはSplit Transactionであり、non Posted requestであるCfgWrパケットまたはCfgRdパケットの発行後のCplパケットまたはCplDパケットの受信は非同期となる。

TLP制御部３１は、ダウンストリームデバイスからCfgWr/Rdパケットに対応するCpl/CplD パケットが応答されるまで待機する（ステップＡ６の“Waiting for packet”ルート参照）。

所定時間待機してもCpl/CplD パケットが応答されない場合には（ステップＡ６の“Timeout or Error”ルート参照）、ステップＡ７において、TLP制御部３１は、タイムアウト（Timeout）処理もしくはエラー（Error）処理を行なう。例えば、TLP制御部３１は、CTOのフラグを付加したCplパケットを生成し、この生成したCplパケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

一方、CfgWr/Rdパケットに対応するCpl/CplD パケットを受信した場合には（ステップＡ６の“original Cpl/CplD received”ルート参照）、ステップＡ８に移行する。

ステップＡ８において、TLP制御部３１は、受信したCpl/CplD パケットをパケット変換部３０ａへフォワードする。

すなわち、パケット変換部３０ａは、変換情報２８ａの設定値に基づいて、Cpl/CplD パケットのCompleter ID fieldの値をオリジナルのBUSN/DEVNに書き換える。

ステップＡ９において、パケット変換部３０ａは、更新したCpl/CplD パケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

その後、アップストリームポート２０１から上位デバイスに対して、更新したCpl/CplD パケットが送信される。その後、処理を終了する。

（Ｃ）効果
このように、第１実施形態の一例としてのバスシステム１によれば、エクストラブリッジ２０ａを、複数のスイッチ１０を多段にカスケード接続して構成するデバイスツリーの任意の位置に配置する。

エクストラブリッジ２０ａにおいて、パケット変換部３０ａが、受信したCfgWr/Rdパケット内のBUSN/DEVN field の値に基づいて変換情報２８ａを参照し、受信パケットのBUSN fieldの値とDEVN fieldの値との組み合わせに対応する、ext.BRG downstream port送信packet情報（変換後のBUSN fieldの値およびDEVN fieldの値）を取得する。

変換情報２８ａにおいては、デバイスツリーにおける配下デバイスに対して、ユニークなBUSNとDEVNとの組み合わせが割り当てられている。

すなわち、パケット変換部３０ａにおいて、デバイスツリーにおける配下の各デバイスのBUSNの割り当てを、BUSNとDEVNとの組み合わせを用いて変換（疑似的に読み替える，リマッピング）することで、255個以上のデバイスとのパケットの送受信を可能とする。
また、パケット変換部３０ａが変換したCfgWr/RdパケットをTLP制御部３１だけでルーティングするので、スループットが低下することがなく、レイテンシを小さくすることができる。

これにより、FPB未サポートの現行モデルのPCIeスイッチ、すなわち、既存のTyp1Config:MemBase/Limitを用いても 255以上のデバイスを搭載したデバイスツリーを構成することができる。また、このように構成したデバイスツリーにおいて、デバイスへのアクセスを高スループット、且つ、低レイテンシで実現することができる。

（ＩＩ）第２実施形態の説明
上述した第１実施形態のバスシステム１においては、エクストラブリッジ２０ａにおいて、パケット変換部３０ａが、BAR空間において、特定のBUSNとDEVNとの組み合わせのcfgWr/Rdパケットを、別のBUSNとDEVNとの組み合わせに変換したうえで、ダウンストリームポート２０２へフォワードしているが、これに限定されるものではない。

本第２実施形態のバスシステム１においては、BAR空間にマッピングされたVendor Specific addressへのMemWr/Rdパケットを2ndaryBusへのCfgWr/Rdパケットに変換する。

本第２実施形態のバスシステム１においては、第１実施形態のエクストラブリッジ２０ａに代えてエクストラブリッジ２０ｂを備える。

エクストラブリッジ２０ｂは、PCIeバスツリーにおいて、スイッチ１０－１（第１のデバイス）の下流であり、且つスイッチ１０－２やエンドポイントデバイス（第２のデバイス）よりも上流の位置に配置される中継装置に相当する。

エクストラブリッジ２０ｂには、上位デバイス（PCIeデバイスドライバ）から、アクセス対象デバイスへのMemWr/Rdパケット（第１アクセスパケット）が入力される。このMemWr/RdパケットのAddress fieldには、ルーティング情報であるAddressが格納されている。

図９は第２実施形態の一例としてのバスシステム１のエクストラブリッジ２０ｂの構成を例示する図である。

この図９に示すように、第２実施形態のエクストラブリッジ（ext.BRG）２０ｂは、第１実施形態のパケット変換部３０ａおよび変換情報２８ａに代えてパケット変換部３０ｂおよび変換情報２８ｂをそなえるとともに、リクエストキュー（ReqQue）２９を備えるものであり、その他の部分は第１実施形態のエクストラブリッジ２０ａと同様に構成されている。

なお、図中、既述の符号と同一の符号は同様の部分を示しているので、その説明は省略する。

本第２実施形態の一例としてのバスシステム１においては、エクストラブリッジ２０ｂは、カスケード接続されたスイッチ１０－１とスイッチ１０－２との間において、MemWr/RdパケットをCfgWr/Rdパケットに変換する仕組みを有する。

リクエストキュー２９にはMemWr/Rdパケット内のTAG fieldなどパケットを識別できる情報が格納される。なおパケット変換とTAGフィールドの格納処理は順番が入れ替わってもよい。リクエストキュー２９はBAR空間に実装されてもよい。

図１０は第２実施形態の一例としてのバスシステム１における変換情報２８ｂを例示する図である。

変換情報２８ｂは、エクストラブリッジ２０ｂのBAR空間に実装されてよい。また、変換情報２８ｂは、User Specific レジスタに格納されてよい。
エクストラブリッジ２０ｂのBARやUser Specific レジスタが、第１アクセスパケット（CfgWr/Rdパケット，MemWr/Rdパケット）に含まれるルーティング情報（BUSN/DEVN，Address）を、スイッチ１０－２，エンドポイントデバイス等の第２のデバイスに対して予め設定した限定ルーティング情報（BUSN/DEVN）とを対応付けた変換情報２８ｂを記憶する記憶部として機能する。

この図１０に例示する変換情報２８ｂは、上位デバイスから受信したMemWr/Rdパケット内のAddress fieldと、配下デバイスに送信するCfgWr/Rdパケット内BUSN/DEVN fieldとを対応付けるものであり、変換テーブルとして表されている。

この図１０に例示する変換情報２８ｂは、ext.BRG upstream port受信packet情報，ext.BRG 内制御レジスタおよびext.BRG downstream port送信packet情報を構成情報として備える。ext.BRG upstream port受信packet情報は上位デバイスから受信したMemWr/Rdパケット内のAddress fieldに相当し、ext.BRG downstream port送信packet情報は配下デバイスに送信するCfgWr/Rdパケット内BUSN/DEVN fieldに相当する。

ext.BRG upstream port受信packet情報は、MemWr/Rd packet内Address fieldおよび(target)を含む。

ext.BRG upstream port受信packet情報のMemWr/Rd packet内Address fieldは、受信したMemWr/RdパケットのAddress fieldである。 (target)はパケットの送信先を示す。

ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldは、エクストラブリッジ２０ｂのダウンストリームポート２０２から出力（送信）するCfgWr/RdパケットのBUSN fieldに設定される値である。また、ext.BRG downstream port送信packet情報のDEVN fieldは、エクストラブリッジ２０ｂのダウンストリームポート２０２から出力（送信）するCfgWr/RdパケットのDEVN fieldに設定される値である。

変換情報２８ｂの値は、例えば、ハードウェア、ソフトウェアもしくはファームウェアによって設定されてもよい。

図１０に例示した変換情報２８ｂにおいては、エクストラブリッジ２０ｂに設定されたBARの値が0xf8.0000でかつoffset 0xa000～0xa4fcの空間が変換対象アドレスとして割り当てられている。

例えば、アップストリームポート２０１で受信したMemWr/RdパケットのAddress=0xf8.a008がダウンストリームポート２０２から送信するパケット（Downstream送信パケット）のBUSN/DEVN=1/0に変換されてSW#1のup#0がターゲットとなる。

同様に、Address=0xf8.a080～0xf8.a088がBUSN/DEVN=2/0～2/2に変換されてSW#1のdn#0, #1, #2がターゲットとなる。また、Address=0xf8.a090～0xf8.a094がBUSN/DEVN=3/0～4/0に変換されてSW#1のdn#0, #1に接続されるエンドポイントデバイスがターゲットとなる。

さらに、Address=0xf8.a100～0xf8.a4fcがBUSN/DEVN=9/xx～ff/xxに変換されてSW#1のdn#2に接続されるデバイス群をターゲットとなる。

パケット変換部３０ｂは、デバイスツリーにおける自身が搭載されたエクストラブリッジ２０ｂ（自エクストラブリッジ２０ｂ）の下流に搭載される各デバイスのBUSNの割り当てを変換（疑似的に読み替える）することで、255個以上のデバイスとのパケットの送受信を可能とする。

変換情報２８ｂにおいては、各配下デバイスに対して、ユニークなBUSNとDEVNとの組み合わせが割り当てられている（ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN field）。

これらのBUSNとDEVNとの組み合わせは、自エクストラブリッジ２０ｂが管理する複数の配下デバイスに設定された宛先情報であり、自エクストラブリッジ２０ｂにおいてのみ有効な限定的な（ローカルな）宛先情報（限定ルーティング情報）である。

変換情報２８ｂにおいては、これらの限定ルーティング情報が設定された各配下デバイスに対して、上位デバイスから配下デバイスにアクセスするために用いられるMemWr/RdパケットのAddress fieldの値が対応付けられている。

このような、上位デバイスから配下デバイスにアクセスするために用いられるAddress fieldの値は、BUSNに代えて用いられるルーティング情報であり、拡張ルーティング情報といってもよい。

変換情報２８ｂは、拡張ルーティング情報と限定ルーティング情報とを対応付けた情報である。図１０に例示した変換情報２８ｂにおいて、ext.BRG upstream port受信packet情報のMemWr/Rd packet内Address fieldの値が拡張ルーティング情報に相当する。また、ext.BRG downstream port送信packet情報のCfgWr/Rd packet内BUSN fieldの値が限定ルーティング情報に相当する。
また、変換情報２８ｂは、各デバイスのオリジナルのBUSNおよびDEVNも登録される（図示省略）。

エクストラブリッジ２０ｂにおいて、パケット変換部３０ｂは、BAR空間において、BAR空間にマッピングされたVendorSpecific addressへのMemWr/Rdパケットを、2ndaryBusへのCfgWr/Rdパケットに変換したうえで、ダウンストリームポート２０２へフォワードする。

エクストラブリッジ２０ｂにおいて、アップストリームポート２０１のTLP制御部２１は、受信したMemWr/Rdパケット内のAddress fieldの値が変換情報２８ｂに設定されているMemory Addressのいずれかに一致するかを確認する。

確認の結果、受信したMemWr/Rdパケット内のAddress fieldの値が変換情報２８ｂに設定されているMemory Addressのいずれかに一致した場合に、TLP制御部２１は、当該パケットをパケット変換部３０ｂへフォワードする。

パケット変換部３０ｂは、変換情報２８ｂを参照して、受信したMemWr/RdパケットのAddress fieldの値に対応するBUSNとDEVNとの組み合わせを取得する。そして、パケット変換部３０ｂは、受信したMemWr/Rdパケットを、変換情報２８ｂから取得したBUSNをBUSN fieldに、また、取得したDEVNをDEVN fieldに、それぞれ設定したCfgWr/Rdパケットに変換（生成）する。

その後、パケット変換部３０ｂは、変化後のCfgWr/Rdパケットをダウンストリームポート２０２のTLP制御部３１へフォワードする。その後、当該CfgWr/Rd パケットは、ダウンストリームポート２０２から、ダウンストリームデバイスへ送信される。

上述した確認の結果、受信したMemWr/Rdパケット内のAddress fieldの値が変換情報２８ｂのいずれの設定値とも一致しない場合には、自エクストラブリッジ２０ｂ内部のMemory Mapped registerをターゲットとした処理が行なわれる。例えば、MBaseレジスタ２４，MLimitレジスタ２５あるいは、図示しないpfMBaseレジスタやpfMLimitレジスタで設定された空間であれば、オリジナルのMemWr/Rdパケットのままダウンストリームポート２０２のTLP制御部３１へForwardされる。また、それ以外の空間であればSilently Discardedされる。

エクストラブリッジ２０ｂにおいては、ダウンストリームデバイスへ送信したCfgWr/Rdパケットに対応するCpl/CplD パケットを受信した場合に、当該Cpl/CplD パケットは、ダウンストリームポート２０２のTLP制御部３１からパケット変換部３０ｂへフォワードされる。

パケット変換部３０ｂは、ダウンストリームポート２０２のTLP制御部３１から送られてきたCpl/CplDパケットに対応するリクエスト（Request）パケットをリクエストキュー２９を参照して特定する。

TLP制御部３１から送られてきたCpl/CplDパケットがMemWrに対するものであればここで破棄する。

一方、TLP制御部３１から送られてきたCpl/CplDパケットがMemRdに対するものであれば、パケット変換部３０ｂは、Cpl/CplDパケットのCompleter ID fieldをエクストラブリッジ２０ｂ自身のBUSNおよびDEVNの値に書き換える。パケット変換部３０ｂは、生成したCpl/CplDパケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

また、Cpl/CplD パケットを規定時間以内に受信できない場合は、例えば、TLP制御部３１がタイムアウト処理を行なったうえでCTOのフラグを付加したCplパケットを生成する。TLP制御部３１は、生成したCplパケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

（Ｂ）動作
上述の如く構成された第２実施形態の一例としてのバスシステム１におけるエクストラブリッジ２０ｂのパケット変換部３０ｂの処理を、図１１に示すフローチャート（ステップＢ１～Ｂ１２）に従って説明する。

本処理は、パケット変換部３０ｂがアップストリームポート２０１からパケットを受信することで開始される。

ステップＢ１において、アップストリームポート２０１のTLP制御部２１から、パケット変換部３０ｂにMemWrパケットまたはMemRdパケットがフォワードされる。

パケット変換部３０ｂは、変換情報２８ｂから変換対象のメモリ空間のアドレス情報を取得する。

ステップＢ２において、パケット変換部３０ｂは、受信したMemWr/Rd パケットのAddress fieldの値を、変換情報２８ｂから取得した情報と比較して、Address fieldの値が変換情報２８ｂに設定された領域内であるかを確認する。

確認の結果、受信したパケットのAddress fieldの値が変換情報２８ｂに設定された領域内でない場合には（ステップＢ２の“others”ルート参照）、ステップＢ３に移行し、当該パケットに対する通常の処理が行なわれる。当該通常の処理には、例えば、エクストラブリッジ２０ｂ内に登録されている各レジスタの処理や、ディスカード，アンサポーテッドリクエストの応答，エラー処理等が含まれてもよい。

受信したパケットのAddress fieldの値が変換情報２８ｂに設定された領域内である場合には（ステップＢ２の“Address fieldが変換情報で設定された領域の場合”ルート参照）、ステップＢ４に移行する。

ステップＢ４において、パケット変換部３０ｂは、受信したMemWr/Rdパケット内のAddress field の値に基づいて変換情報２８ｂを参照する。パケット変換部３０ｂは、受信パケットのAddress fieldに対応する、ext.BRG downstream port送信packet情報（変換後のBUSN fieldの値およびDEVN fieldの値）を、変換情報２８ｂから取得する。

パケット変換部３０ｂは、アップストリームポート２０１からフォワードされたMemWr/Rdパケットに対して、変換情報２８ｂから取得した変換後のBUSN fieldの値およびDEVN fieldの値を付加してCfgWr/Rdパケットに置換（変換）する。

ステップＢ５において、オリジナルパケット（MemWr/Rdパケット）内のTAG情報をリクエストキュー２９に登録する。

なお、ステップＢ４とステップＢ５との処理順序は、これに限定されるものではなく、ステップＢ５の処理を行なった後にステップＢ４の処理を行なってもよい。

ステップＢ６において、パケット変換部３０ｂは、変換したCfgWr/Rdパケットをダウンストリームポート２０２のTLP制御部３１へフォワードする。CfgWr/Rdパケットは、ダウンストリームポート２０２から下流側に送信される。

ステップＢ７において、例えば、TLP制御部３１は、CfgWr/Rdパケットに対応するCpl/CplD パケットの受信を待つ。

TLP制御部３１は、ダウンストリームデバイスからCfgWr/Rdパケットに対応するCpl/CplD パケットが応答されるまで待機する（ステップＢ７の“Waiting for packet”ルート参照）。

所定時間待機してもCpl/CplD パケットが応答されない場合には（ステップＢ７の“Timeout or Error”ルート参照）、ステップＢ８において、TLP制御部３１は、タイムアウト（Timeout）処理もしくはエラー（Error）処理を行なう。例えば、TLP制御部３１は、CTOのフラグを付加したCplパケットを生成し、この生成したCplパケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

一方、CfgWr/Rdパケットに対応するCpl/CplD パケットを受信した場合には（ステップＡ６の“original Cpl/CplD received”ルート参照）、ステップＢ９に移行する。

ステップＢ９において、TLP制御部３１は、受信したCpl/CplD パケットのTag fieldの値を確認する。

オリジナルパケットがPosted requestであるMemWrパケットの場合に、ダウンストリームポート２０２で受信したCplパケットは、エクストラブリッジ２０ｂ内でディスカードしなければならない。

Tag fieldの値の確認の結果、オリジナルパケットがMemWrパケットである場合には（ステップＢ９の“original packet == MemWr”ルート参照）、ステップＢ１０において、TLP制御部３１は、Cplパケットのディスカード処理を行なう。

Tag fieldの値の確認の結果、オリジナルパケットがMemWrパケットでない場合には（ステップＢ９の“others”ルート参照）、ステップＢ１１に移行する。TLP制御部３１は、Cpl/CplD パケットをパケット変換部３０ｂへフォワードする。

ステップＢ１１において、パケット変換部３０ｂは、Cpl/CplD パケット内のCompleter ID fieldの値に基づいて変換情報２８ｂを参照し、オリジナルのBUSNおよびDEVNを取得する。
パケット変換部３０ｂは、受信したCpl/CplD packetのCompleterlD fieldの値を、変換情報２８ｂに設定されているオリジナルのBUSN/DEVNの値に置換することで、Cpl/CplD パケットを更新する。

ステップＢ１２において、パケット変換部３０ｂは、更新したCpl/CplD パケットをアップストリームポート２０１のTLP制御部２１へフォワードする。

（Ｃ）効果
このように、第２実施形態の一例としてのバスシステム１によれば、エクストラブリッジ２０ｂを、複数のスイッチ１０を多段にカスケード接続して構成するデバイスツリーの任意の位置に配置する。

エクストラブリッジ２０ｂにおいて、パケット変換部３０ｂが、受信したMemWr/Rdパケット内のAddress field の値に基づいて変換情報２８ｂを参照し、受信パケットのAddress fieldの値に対応する、ext.BRG downstream port送信packet情報（変換後のBUSN fieldの値およびDEVN fieldの値）を取得する。

パケット変換部３０ｂは、アップストリームポート２０１からフォワードされたMemWr/Rdパケット内のAddress fieldの値を、変換情報２８ｂから取得した変換後のBUSN fieldの値およびDEVN fieldの値に置換する。

変換情報２８ｂにおいては、デバイスツリーにおける配下デバイスに対して、ユニークなBUSNとDEVNとの組み合わせが割り当てられている。

すなわち、パケット変換部３０ｂにおいて、デバイスツリーにおける配下の各デバイスのBUSNの割り当てを、BUSNとDEVNとの組み合わせを用いて変換（疑似的に読み替える，リマッピング）することで、255個以上のデバイスとのパケットの送受信を可能とする。

（ＩＩＩ）その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

例えば、上述した各実施形態において、通信プロトコルとしてNVMe（Non-Volatile Memory Express）を適用してもよく、適宜変更して実施することができる。

また、上述した各実施形態においては、バスツリーに１つのエクストラブリッジ２０ａもしくはエクストラブリッジ２０ｂを備える例を示しているが、これに限定されるものではない。エクストラブリッジ２０ａもしくはエクストラブリッジ２０ｂを、複数のスイッチ１０を多段にカスケード接続して構成するデバイスツリーの任意の複数の位置に配置してもよい。また、バスツリーにおいて、第１実施形態のエクストラブリッジ２０ａと第２実施形態のエクストラブリッジ２０ｂとを備えてもよく、適宜変更して実施することができる。

上述した実施形態においては、各スイッチ１０は、それぞれダウンストリームポート１０２－１～１０２－３を備える例を示しているが、これに限定されるものではない。各スイッチ１０は、それぞれ任意の数のダウンストリームポートを備えてよい。

また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。

（ＩＶ）付記
以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
複数のデバイスを接続するPCIe（Peripheral Component Interconnect Express）バスツリーにおいて、前記複数のデバイスのうちの第１のデバイスの下流であり、且つ前記複数のデバイスのうちの２つ以上の第２のデバイスよりも上流の位置に配置される中継装置であって、
前記第１のデバイスから前記２つ以上の第２のデバイスのうちのアクセス対象デバイスへの第１アクセスパケットに対して、当該第１アクセスパケットに含まれるルーティング情報を、前記２つ以上の第２のデバイスに対して予め設定した限定ルーティング情報とデバイス番号に変換することで第２アクセスパケットに変換するパケット変換部と、
生成した前記第２アクセスパケットを前記PCIeバスツリーにおける下流にフォワードする出力部と
を備えることを特徴とする中継装置。

（付記２）
前記限定ルーティング情報がバス番号とデバイス番号とを含む
ことを特徴とする、付記１に記載の中継装置。

（付記３）
前記第１アクセスパケットがCfgWrパケットもしくはCfgRdパケットを含み、前記ルーティング情報がバス番号とデバイス番号とを含む
ことを特徴とする、付記１または２に記載の中継装置。

（付記４）
前記第１アクセスパケットがMemWrパケットもしくはMemRdパケットを含み、前記ルーティング情報がアドレス情報を含む
ことを特徴とする、付記１または２に記載の中継装置。

（付記５）
複数のデバイスを接続するPCIe（Peripheral Component Interconnect Express）バスツリーにおいて、前記複数のデバイスのうちの第１のデバイスの下流であり、且つ前記複数のデバイスのうちの２つ以上の第２のデバイスよりも上流の位置に配置される中継装置において、
前記第１のデバイスから前記２つ以上の第２のデバイスのうちのアクセス対象デバイスへの第１アクセスパケットに対して、当該第１アクセスパケットに含まれるルーティング情報を、前記２つ以上の第２のデバイスに対して予め設定した限定ルーティング情報とデバイス番号に変換することで第２アクセスパケットに変換する処理と、
生成した前記第２アクセスパケットを前記PCIeバスツリーにおける下流にフォワードする処理と
を備えることを特徴とする中継方法。

（付記６）
前記限定ルーティング情報がバス番号とデバイス番号とを含む
ことを特徴とする、付記５に記載の中継方法。

（付記７）
前記第１アクセスパケットがCfgWrパケットもしくはCfgRdパケットを含み、前記ルーティング情報がバス番号とデバイス番号とを含む
ことを特徴とする、付記５または６に記載の中継方法。

（付記８）
前記第１アクセスパケットがMemWrパケットもしくはMemRdパケットを含み、前記ルーティング情報がアドレス情報を含む
ことを特徴とする、付記５または６に記載の中継方法。

１バスシステム
１０－１，１０－２，１０スイッチ
２０ａ，２０ｂエクストラブリッジ
３０ー１～３０ー４，３０エンドポイントデバイス
１０１，２０１アップストリームポート
１０２ー１～１０２ー３，２０２ダウンストリームポート
２１，３１ TLP制御部
２２ BAR
２４ MBaseレジスタ
２５ MLimitレジスタ
２６ 2ndBUSレジスタ
２７ subOrdレジスタ
２８ａ，２８ｂ変換情報
２９リクエストキュー
３０ａ，３０ｂパケット変換部

Claims

複数のデバイスを接続するPCIe（Peripheral Component Interconnect Express）バスツリーにおいて、前記複数のデバイスのうちの第１のデバイスの下流であり、且つ前記複数のデバイスのうちの２つ以上の第２のデバイスよりも上流の位置に配置される中継装置であって、
前記第１のデバイスから前記２つ以上の第２のデバイスのうちのアクセス対象デバイスへの第１アクセスパケットに対して、当該第１アクセスパケットに含まれるルーティング情報を、前記２つ以上の第２のデバイスに対して予め設定した限定ルーティング情報に変換することで第２アクセスパケットに変換するパケット変換部と、
生成した前記第２アクセスパケットを前記PCIeバスツリーにおける下流にフォワードする出力部と
を備えることを特徴とする中継装置。
前記限定ルーティング情報がバス番号とデバイス番号とを含む
ことを特徴とする、請求項１に記載の中継装置。
前記第１アクセスパケットがCfgWrパケットもしくはCfgRdパケットを含み、前記ルーティング情報がバス番号とデバイス番号とを含む
ことを特徴とする、請求項１または２に記載の中継装置。
前記第１アクセスパケットがMemWrパケットもしくはMemRdパケットを含み、前記ルーティング情報がアドレス情報を含む
ことを特徴とする、請求項１または２に記載の中継装置。
複数のデバイスを接続するPCIe（Peripheral Component Interconnect Express）バスツリーにおいて、前記複数のデバイスのうちの第１のデバイスの下流であり、且つ前記複数のデバイスのうちの２つ以上の第２のデバイスよりも上流の位置に配置される中継装置において、
前記第１のデバイスから前記２つ以上の第２のデバイスのうちのアクセス対象デバイスへの第１アクセスパケットに対して、当該第１アクセスパケットに含まれるルーティング情報を、前記２つ以上の第２のデバイスに対して予め設定した限定ルーティング情報に変換することで第２アクセスパケットに変換する処理と、
生成した前記第２アクセスパケットを前記PCIeバスツリーにおける下流にフォワードする処理と
を備えることを特徴とする中継方法。