JP2009282773A - Data transfer system - Google Patents

Data transfer system

Info

Publication number
JP2009282773A
JP2009282773A JP2008134509A JP2008134509A JP2009282773A JP 2009282773 A JP2009282773 A JP 2009282773A JP 2008134509 A JP2008134509 A JP 2008134509A JP 2008134509 A JP2008134509 A JP 2008134509A JP 2009282773 A JP2009282773 A JP 2009282773A
Authority
JP
Japan
Prior art keywords
switch
route
data transfer
slot
pci express
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008134509A
Other languages
Japanese (ja)
Other versions
JP5111236B2 (en
Inventor
Tatsuichiro Seki
辰一郎 関
Satoru Kokuni
哲 小国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008134509A priority Critical patent/JP5111236B2/en
Publication of JP2009282773A publication Critical patent/JP2009282773A/en
Application granted granted Critical
Publication of JP5111236B2 publication Critical patent/JP5111236B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Bus Control (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a data transfer system for providing an optimum route for use in a system including a PCI Express switch. <P>SOLUTION: A configuration in which setting is made as shown in (a) so that a route from a route complex 110 to a slot 140a and a slot 140b on a main board 100 passes though a switch 130, and a configuration in which the setting is made as shown in (b) so that the route from the route complex 110 to the slot 140a and the slot 140b on the main board 100 bypasses the switch 130 is made are switched by multiplexers 120a-120c so as to be used depending on use. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、データ転送システムに係り、特に、用途に最適な経路を設定してデータ転送を制御するデータ転送システムに関する。   The present invention relates to a data transfer system, and more particularly, to a data transfer system that controls data transfer by setting a route optimal for a use.

近年、情報処理装置に採用されるＩ／Ｏインターフェースは、性能要件の向上に伴い、ＰＣＩ（ＴＭ）、ＰＣＩ−Ｘ（ＴＭ）等のパラレルバスから、PCI Express （ＴＭ）等の高速シリアルインターフェースに置き換わりつつある。   In recent years, I / O interfaces adopted in information processing apparatuses have been changed from parallel buses such as PCI (TM) and PCI-X (TM) to high-speed serial interfaces such as PCI Express (TM) as performance requirements have improved. It is being replaced.

PCI Express は、従来のパラレルバスとは異なり、デバイス間を１対１で接続することができるため、ホストが備えるポート数以上のスロット数を実装したい場合等にしばしばPCI Express スイッチが使用される。   Unlike conventional parallel buses, PCI Express can connect devices in a one-to-one relationship, so PCI Express switches are often used when it is desired to install more slots than the number of ports provided in the host.

PCI Express スイッチは、スロット数の拡張だけではなく、複数のホストによるＩ／Ｏ資源の共有、Ｉ／Ｏの冗長構成、Ｉ／Ｏの仮想化等の幅広い応用が可能である。なお、この種のPCI Express スイッチの応用に関する各種の技術が、例えば、非特許文献１等に記載されて知られている。
“PLX PCI Express Presentation”，October, 26 2007, PLX Technology Inc The PCI Express switch can be used not only for the expansion of the number of slots but also for a wide range of applications such as I / O resource sharing by a plurality of hosts, I / O redundancy configuration, and I / O virtualization. Various techniques relating to the application of this type of PCI Express switch are described in, for example, Non-Patent Document 1 and the like.
“PLX PCI Express Presentation”, October, 26 2007, PLX Technology Inc

前述したように、PCI Express スイッチは、様々な応用が期待されるが、一方で、PCI Express カードやそれに関連するソフトウエアが、PCI Express スイッチを経由する使用方法に対応していない場合や、PCI Express スイッチを経由する際に増加するレイテンシが性能上無視できない場合等、PCI Express スイッチを経由したくない場合がある。   As described above, the PCI Express switch is expected to have various applications. On the other hand, if the PCI Express card and related software do not support the usage via the PCI Express switch, There are cases where you do not want to go through the PCI Express switch, such as when the increased latency when going through the Express switch cannot be ignored in terms of performance.

本発明の目的は、前述したような点に鑑み、PCI Express スイッチを含むシステムにおいて、用途に最適な経路を設定することを可能にしたデータ転送システムを提供することにある。   In view of the above-described points, an object of the present invention is to provide a data transfer system capable of setting an optimum route for use in a system including a PCI Express switch.

本発明によれば前記目的は、PCI Express リンクを用いたデータ転送システムであって、ルートコンプレックスと、それぞれにアドインカードが接続される少なくとも１つのスロットと、パケットスイッチと、経路を選択する経路選択手段とを備え、前記経路選択手段は、前記ルートコンプレックスと前記スロットとの間のデータ転送用の経路について、前記パケットスイッチを介する経路と、前記パケットスイッチを経由しない経路とを設定により選択することにより達成される。   According to the present invention, the object is a data transfer system using a PCI Express link, which is a route complex, at least one slot to which an add-in card is connected, a packet switch, and a route selection for selecting a route. And the route selection means selects a route for transferring data between the route complex and the slot by setting a route through the packet switch and a route not through the packet switch by setting. Is achieved.

本発明によれば、ユーザは、用途に応じた最適なデータ転送経路を選択して使用することが可能となる。   According to the present invention, the user can select and use an optimal data transfer path according to the application.

以下、本発明によるデータ転送システムの実施形態を図面により詳細に説明する。   Embodiments of a data transfer system according to the present invention will be described below in detail with reference to the drawings.

図１は本発明の第１の実施形態によるデータ転送システムの構成例を示すブロック図である。図１に示す本発明の第１の実施形態によるデータ転送システムは、３ポートのPCI Express スイッチ（以下、単に、スイッチという）を、メインボード上に搭載して構成した例である。なお、PCI Express スイッチは、一般に、マルチプレクサ等のスイッチとの区別のために、パケットスイッチと呼ばれている。   FIG. 1 is a block diagram showing a configuration example of a data transfer system according to the first embodiment of the present invention. The data transfer system according to the first embodiment of the present invention shown in FIG. 1 is an example in which a 3-port PCI Express switch (hereinafter simply referred to as a switch) is mounted on a main board. The PCI Express switch is generally called a packet switch in order to distinguish it from a switch such as a multiplexer.

そして、図１（ａ）に示す構成例は、メインボード１００におけるルートコンプレックス１１０からスロット１４０ａ及びスロット１４０ｂまでの経路が、スイッチ１３０を経由するように設定が施された構成例を示し、図１（ｂ）に示す構成例は、メインボード１００におけるルートコンプレックス１１０からスロット１４０ａ及びスロット１４０ｂまでの経路が、スイッチ１３０を迂回するように設定が施された構成例を示している。また、図１（ａ）、図１（ｂ）に示す例は、スイッチ１３０を経由する経路を作成するか否かを制御するために、ルートコンプレックス１１０とスロット１４０ａ及びスロット１４０ｂとの間に、マルチプレクサ１２０ａ、スイッチ１３０、マルチプレクサ１２０ｂ、１２０ｃが設けられて図示のように構成されている。   The configuration example shown in FIG. 1A shows a configuration example in which the route from the root complex 110 to the slot 140a and the slot 140b in the main board 100 is set so as to pass through the switch 130. FIG. The configuration example shown in (b) shows a configuration example in which the route from the route complex 110 to the slot 140a and the slot 140b in the main board 100 is set so as to bypass the switch 130. In addition, in the example shown in FIG. 1A and FIG. 1B, in order to control whether or not a route passing through the switch 130 is created, between the root complex 110 and the slot 140a and the slot 140b, A multiplexer 120a, a switch 130, and multiplexers 120b and 120c are provided and configured as shown.

前述において、ルートコンプレックス１１０は、ＰＣＩ規格における最上位の親となるコントローラであり、一般には、図示しないホストコンピュータ等の情報処理装置に接続される。また、スロット１４０ａ、１４０ｂには、図１（ａ）の場合、アドインカード２００ａ、２００ｂが経路１５０ｊ、１５０ｉを介して接続され、図１（ｂ）の場合、アドインカード２００ｃ、２００ｄが経路１５０ｊ、１５０ｉを介して接続されている。これらのアドインカードには、ネットワーク、記憶装置、Ｉ／Ｏ等を含む図示しないPCI Express デバイスが接続され、また、これらのアドインカードは、接続されるPCI Express デバイスに対するコントローラの機能を有する。なお、ルートコンプレックス及びアドインカードの機能等については、後述する本発明の他の実施形態においても前述と同様である。   In the above description, the root complex 110 is the highest parent controller in the PCI standard, and is generally connected to an information processing apparatus such as a host computer (not shown). Further, in the case of FIG. 1A, add-in cards 200a and 200b are connected to the slots 140a and 140b via paths 150j and 150i, and in the case of FIG. 1B, the add-in cards 200c and 200d are connected to paths 150j and 150j. 150i is connected. These add-in cards are connected to a PCI Express device (not shown) including a network, a storage device, I / O, and the like, and these add-in cards have a controller function for the connected PCI Express device. The functions of the root complex and the add-in card are the same as described above in other embodiments of the present invention described later.

図１（ａ）に示す例において、ルートコンプレックス１１０のリンクは、１６レーン幅の１ポートに設定され、経路１５０ａを経てマルチプレクサ１２０ａに接続される。また、マルチプレクサ１２０ａは、ルートコンプレックス１１０とスイッチ１３０との接続を１６レーン幅で経路１５０ａ、１５０ｂを経てリンクするように設定する。マルチプレクサ１２０ｂは、スイッチ１３０とアドインカード２００ａとの接続をスロット１４０ａを介して、経路１５０ｆ、１５０ｈ、１５０ｊを経て１６レーン幅でリンクするように設定する。マルチプレクサ１２０ｃは、スイッチ１３０とアドインカード２００ｂとの接続をスロット１４０ｂを介して、経路１５０ｅ、１５０ｇ、１５０ｉを経て１６レーン幅でリンクするよう設定する。各マルチプレクサの設定は、共通のセレクト信号１６０を用いて行われる。このセレクト信号１６０は、図示しないボード管理用のコントローラを介して、ホストコンピュータから指示されるものであっても、また、図示しないサービスプロセッサを用いて利用者等により指示されるものであってもよく、後述する本発明の第２及び第４の実施形態の場合も同様である。   In the example shown in FIG. 1A, the link of the root complex 110 is set to one port having a width of 16 lanes, and is connected to the multiplexer 120a via the path 150a. In addition, the multiplexer 120a sets the connection between the route complex 110 and the switch 130 so as to link via the routes 150a and 150b with a width of 16 lanes. The multiplexer 120b sets the connection between the switch 130 and the add-in card 200a to be linked with a 16 lane width via the paths 140f, 150h, and 150j via the slot 140a. The multiplexer 120c sets the connection between the switch 130 and the add-in card 200b to link with a width of 16 lanes via the paths 140e, 150g, and 150i via the slot 140b. Each multiplexer is set using a common select signal 160. The select signal 160 may be instructed from a host computer via a board management controller (not shown), or may be instructed by a user or the like using a service processor (not shown). The same applies to the second and fourth embodiments of the present invention described later.

図１（ｂ）に示す例において、ルートコンプレックス１１０のリンクは、８レーン幅の２ポートに分割され、経路１５０ｋ、１５０ｌを経てマルチプレクサ１２０ａに接続される。また、マルチプレクサ１２０ａは、ルートコンプレックス１１０とスロット１４０ａとを、マルチプレクサ１２０ａ及びマルチプレクサ１２０ｂを介して８レーン幅で経路１５０ｌ、１５０ｄ、１５０ｈを経てスイッチ１３０を介することなく接続するように直接リンクさせ、ルートコンプレックス１１０とスロット１４０ｂとを、マルチプレクサ１２０ａ及びマルチプレクサ１２０ｃを介して８レーン幅で経路１５０ｋ、１５０ｃ、１５０ｇを経てスイッチ１３０を介することなく接続するように直接リンクさせている。   In the example shown in FIG. 1B, the link of the root complex 110 is divided into two ports of 8 lane width, and is connected to the multiplexer 120a via paths 150k and 150l. Further, the multiplexer 120a directly links the route complex 110 and the slot 140a so as to be connected via the multiplexer 120a and the multiplexer 120b with a width of 8 lanes through the paths 150l, 150d, and 150h without passing through the switch 130. The complex 110 and the slot 140b are directly linked via the multiplexers 120a and 120c so as to be connected via the paths 150k, 150c, and 150g via the multiplexers 120a and 120c without passing through the switch 130.

前述で説明した図１（ａ）、図１（ｂ）に示す本発明の第１の実施形態によれば、ルートコンプレックス１１０に接続された図示しないホストコンピュータは、用途に応じて、スイッチ１３０を介したデータ転送経路を経由して、アドインカードに接続されたPCI Express デバイスを使用する経路と、スイッチ１３０を介することのないデータ転送経路を経由して、アドインカードに接続されたPCI Express デバイスを使用する経路とを使い分けることができる。   According to the first embodiment of the present invention shown in FIG. 1A and FIG. 1B described above, a host computer (not shown) connected to the root complex 110 switches the switch 130 according to the application. The PCI Express device connected to the add-in card via the data transfer path not via the switch 130 and the path using the PCI Express device connected to the add-in card via the data transfer path via The route to be used can be properly used.

図２は図１に示すPCI Express スイッチ１３０の内部構成を示すブロック図である。   FIG. 2 is a block diagram showing an internal configuration of the PCI Express switch 130 shown in FIG.

図２に示すように、PCI Express スイッチ１３０は、図１（ａ）、図１（ｂ）に示しているルートコンプレックス１１０とリンクするポート１３１ａと、スロット１４０ａ、１４０ｂとリンクし、アドインカードに接続されるPCI Express デバイスとリンクするポート１３１ｂ、１３１ｃと、これらのポート１３１ａ〜１３１ｃ相互間の接続を制御するスイッチ論理１３５とを備えている。また、図２に示すスイッチ１３０は、前述のポート１３１ａ〜１３１ｃのそれぞれと、スイッチ論理１３５との間には、物理層１３２ａ〜１３２ｃ、データリンク層１３３ａ〜１３３ｃ、トランザクション層１３４ａ〜１３４ｃが設けられている。   As shown in FIG. 2, the PCI Express switch 130 is linked to the port 131a linked to the root complex 110 shown in FIGS. 1A and 1B and the slots 140a and 140b, and is connected to the add-in card. Ports 131b and 131c linked to the PCI Express device to be connected, and switch logic 135 for controlling the connection between these ports 131a to 131c. The switch 130 shown in FIG. 2 includes physical layers 132a to 132c, data link layers 133a to 133c, and transaction layers 134a to 134c between the ports 131a to 131c and the switch logic 135, respectively. ing.

前述において、物理層１３２ａ〜１３２ｃは、転送データのシリアル化・非シリアル化、８ビットデータを１０ビットデータの時間幅で転送するようにＰＣＩ規格による１０ｂ／８ｂ変換等の処理を行う。データリンク層１３３ａ〜１３３ｃは、主にリンクの管理とエラー検出・訂正との処理を行う。トランザクション層１３４ａ〜１３４ｃは、トランザクションレイヤパケット（ＴＬＰ）の分解・生成の処理を行うと共に、相手側のデバイスとのパケット交換のフローコントロールの処理を担う。スイッチ論理１３５は、各ポートのトランザクション層間のパケットをルーティングする。そして、スイッチ論理１３５は、ポート１３１ａとポート１３１ｂとの間、ポート１３１ａとポート１３１ｃとの間のデータ転送に限らず、ポート１３１ｂとポート１３１ｃとの間のいわゆるpeer-to-peer転送も行うことが可能である。   In the above description, the physical layers 132a to 132c perform processing such as serialization / deserialization of transfer data and 10b / 8b conversion according to the PCI standard so that 8-bit data is transferred with a time width of 10-bit data. The data link layers 133a to 133c mainly perform link management and error detection / correction processing. The transaction layers 134a to 134c perform transaction layer packet (TLP) decomposition / generation processing, and are responsible for flow control processing of packet exchange with the counterpart device. The switch logic 135 routes packets between the transaction layers of each port. The switch logic 135 performs not only data transfer between the port 131a and the port 131b, but also between the port 131a and the port 131c, as well as so-called peer-to-peer transfer between the port 131b and the port 131c. Is possible.

前述したように構成されるスイッチ１３０は、一般に、このスイッチによるパケットのルーティングを行う際に、前述した各階層の処理に起因するレイテンシが増加することが知られている。   It is known that the switch 130 configured as described above generally increases the latency due to the processing of each layer described above when routing packets by this switch.

図３はスイッチ１３０のソフトウェアから見たトポロジを示す図である。   FIG. 3 is a diagram showing the topology viewed from the software of the switch 130.

PCI Express は、ソフトウエアの互換性を維持するため、ＰＣＩ互換のコンフィグレーションメカニズムが採用される。各ポート１３１ａ〜１３１ｃは、仮想ＰＣＩバス１３７ａ〜１３７ｃを介して仮想PCI to PCIブリッジ１３６ａ〜１３６ｃに接続される。仮想PCI to PCIブリッジ相互間の通信は、仮想ＰＣＩバス１３８上で行われる。コンフィグレーションソフトウェアは、各仮想ＰＣＩバス１３７ａ〜１３７ｃ、１３８のそれぞれが異なるバス番号となるように、各仮想PCI to PCIブリッジのコンフィグレーション空間レジスタを設定する。   PCI Express employs a PCI-compatible configuration mechanism to maintain software compatibility. Each port 131a to 131c is connected to a virtual PCI to PCI bridge 136a to 136c via a virtual PCI bus 137a to 137c. Communication between the virtual PCI to PCI bridge is performed on the virtual PCI bus 138. The configuration software sets the configuration space register of each virtual PCI to PCI bridge so that each of the virtual PCI buses 137a to 137c and 138 has a different bus number.

図１（ａ）に示して説明した構成例では、ルートコンプレックス１１０とスイッチ１３０との間、及び、２つのアドインカード２００ａ、２００ｂとスイッチ１３０との間が、全て１６レーン幅でリンクしている。ルートコンプレックスと両アドインカードとの間の合計スループットは、ルートコンプレックス１１０とスイッチ１３０との間の１６レーン幅に制限されるものの、アドインカード２００ａとルートコンプレックス１１０との間、アドインカード２００ｂとルートコンプレックス１１０との間の通信が重ならない場合、それぞれ１６レーン幅のスループットを享受することができる。また、図１（ａ）に示して説明した構成例の場合の最大スループットは、図１（ｂ）に示して説明した構成例の場合における８レーン幅と比べて、アドインカード同士がpeer-to-peer転送をサポートする場合のアドインカード２００ａとアドインカード２００ｂとがスイッチ１３０を介して通信を行う１６レーン幅となる。   In the configuration example illustrated in FIG. 1A, the root complex 110 and the switch 130 and the two add-in cards 200a and 200b and the switch 130 are all linked with a width of 16 lanes. . The total throughput between the root complex and both add-in cards is limited to 16 lane width between the root complex 110 and the switch 130, but between the add-in card 200a and the root complex 110, between the add-in card 200b and the root complex. When communication with 110 does not overlap, it is possible to enjoy a throughput of 16 lane widths. In addition, the maximum throughput in the case of the configuration example shown in FIG. 1A is larger than the 8-lane width in the case of the configuration example shown in FIG. The add-in card 200a and the add-in card 200b in the case of supporting the peer transfer have a 16-lane width in which communication is performed via the switch 130.

図１（ｂ）に示して説明した構成例では、ルートコンプレックス１１０とアドインカード２００ｃ、２００ｄが直接リンクするため、図１（ａ）に示した構成例の場合のように、スイッチ１３０を経由する際のレイテンシを増加させることがない。このため、アドインカードの性能がレイテンシに左右されやすい場合には、図１（ａ）に示す構成例のものを使用する場合に比較して、図１（ｂ）に示す構成例のものを使用する方が性能面で有利となる。また、アドインカードを扱うソフトウェアがスイッチ１３０による仮想PCI-to-PCIブリッジを介した使用をサポートしていないような場合には、システムの構成を図１（ｂ）に示す構成例とすることによりアドインカードを使用することが可能となる。   In the configuration example shown and described in FIG. 1B, the root complex 110 and the add-in cards 200c and 200d are directly linked. Therefore, as in the configuration example shown in FIG. There is no increase in latency. For this reason, when the performance of the add-in card is easily affected by the latency, the configuration example shown in FIG. 1B is used as compared with the case where the configuration example shown in FIG. This is advantageous in terms of performance. If the software that handles the add-in card does not support the use of the switch 130 via the virtual PCI-to-PCI bridge, the system configuration can be changed to the configuration example shown in FIG. It becomes possible to use an add-in card.

前述した本発明の第１の実施形態によるデータ転送システムは、３ポートのPCI Express スイッチを用いるとしたが、この実施形態は、２ポートのPCI Express スイッチを用いても、あるいは、３ポート以上のPCI Express スイッチを用いてもよい。   The above-described data transfer system according to the first embodiment of the present invention uses a 3-port PCI Express switch. However, this embodiment uses a 2-port PCI Express switch, or a 3-port or more PCI Express switch. PCI Express switch may be used.

図４は本発明の第２の実施形態によるデータ転送システムの構成例を示すブロック図である。図４に示す本発明の第２の実施形態は、Ｉ／Ｏ仮想化機構を含む２ポートのスイッチをライザーカードに搭載した場合の構成例である。   FIG. 4 is a block diagram showing a configuration example of a data transfer system according to the second embodiment of the present invention. The second embodiment of the present invention shown in FIG. 4 is a configuration example when a 2-port switch including an I / O virtualization mechanism is mounted on a riser card.

一般に、仮想化環境での性能を向上させる手段として、Ｉ／Ｏ仮想化機構が知られている。そして、Ｉ／Ｏ仮想化機構に対応していない既存のハードウエアを最小限の変更で対応させる方法として、メインボード上に搭載するライザーカードの追加あるいは変更という形態がある。本発明の第２の実施形態は、この場合の構成例である。   In general, an I / O virtualization mechanism is known as means for improving performance in a virtual environment. As a method of making existing hardware that does not support the I / O virtualization mechanism compatible with a minimum change, there is a form of adding or changing a riser card mounted on the main board. The second embodiment of the present invention is a configuration example in this case.

そして、図４（ａ）に示す構成例は、メインボード３００上に備えられたルートコンプレックス３１０とスロット３２０とがリンクするように経路３３０ａにより接続され、ライザカード４００上に備えられたマルチプレクサ４１０ａからスロット４３０までの経路が、スイッチ４２０を経由するように設定が施された構成例を示し、図４（ｂ）に示す構成例は、メインボード３００上に備えられたルートコンプレックス３１０とスロット３２０とがリンクするように経路３３０ａにより接続され、ライザカード４００上に備えられたマルチプレクサ４１０ａからスロット４３０までの経路が、スイッチ４２０を迂回するように設定が施された構成例を示している。また、図４（ａ）、図４（ｂ）に示す例は、スイッチ４２０を経由する経路を作成するか否かを制御するために、メインボード３００に搭載されるライザカード４００上にマルチプレクサ４１０ａ、スイッチ４２０、マルチプレクサ４１０ｂ、スロット４３０が設けられて図示のように構成されている。   The configuration example shown in FIG. 4A is connected to the route complex 310 provided on the main board 300 by the path 330a so that the slot 320 is linked, and from the multiplexer 410a provided on the riser card 400. FIG. 4B shows a configuration example in which the route to the slot 430 is set so as to pass through the switch 420. The configuration example shown in FIG. 4B shows a route complex 310 and a slot 320 provided on the main board 300. In the configuration example, the path from the multiplexer 410 a to the slot 430 provided on the riser card 400 is set so as to bypass the switch 420. 4A and 4B, the multiplexer 410a is placed on the riser card 400 mounted on the main board 300 in order to control whether or not to create a route via the switch 420. In the example shown in FIG. The switch 420, the multiplexer 410b, and the slot 430 are provided and configured as shown.

図４（ａ）に示す構成例は、メインボード３００と、ライザーカード４００と、アドインカード２００ｅとから構成される。ライザーカード４００上のマルチプレクサ４１０ａ、４１０ｂは、スイッチ４２０を経由してメインボード３００上のスロット３２０とライザーカード４００上のスロット４３０とを接続するように経路３３０ｂ、４４０ａ、４４０ｃ、４４０ｄを設定する。また、図４（ｂ）に示す構成例は、メインボード３００と、ライザーカード４００と、アドインカード２００ｆとから構成される。ライザーカード４００上のマルチプレクサ４１０ａ、４１０ｂは、スイッチ４２０を迂回してメインボード３００上のスロット３２０とライザーカード４００上のスロット４３０とを直接接続するように経路３３０ｂ、４４０ｂ、４４０ｄを設定する。   The configuration example illustrated in FIG. 4A includes a main board 300, a riser card 400, and an add-in card 200e. The multiplexers 410 a and 410 b on the riser card 400 set paths 330 b, 440 a, 440 c, and 440 d so as to connect the slot 320 on the main board 300 and the slot 430 on the riser card 400 via the switch 420. The configuration example illustrated in FIG. 4B includes a main board 300, a riser card 400, and an add-in card 200f. The multiplexers 410 a and 410 b on the riser card 400 set paths 330 b, 440 b and 440 d so as to bypass the switch 420 and directly connect the slot 320 on the main board 300 and the slot 430 on the riser card 400.

本発明の第２の実施形態は、前述のようにしてアドインカード２００ｅ、２００ｆにスイッチ４２０を経由する経路、あるいは、迂回する経路を提供することにより、Ｉ／Ｏ仮想化機構を使用する場合に図４（ａ）に示す構成とし、不要な場合やアドインカードやソフトウエアの制約により使用不可である場合に図４（ｂ）に示す構成とすることにより、従来のシステムと互換性を保ちつつＩ／Ｏ仮想化機構を導入できるという効果を得ることができる。   In the second embodiment of the present invention, when the I / O virtualization mechanism is used by providing the add-in cards 200e and 200f with a route through the switch 420 or a detour route as described above. While maintaining the compatibility with the conventional system, the configuration shown in FIG. 4A is used, and the configuration shown in FIG. 4B is used when it is unnecessary or cannot be used due to restrictions on add-in cards or software. An effect that an I / O virtualization mechanism can be introduced can be obtained.

前述した本発明の第２の実施形態によるデータ転送システムは、２ポートのPCI Express スイッチを用いるとしたが、この実施形態は、３ポート以上のPCI Express スイッチを用いてもよい。   Although the above-described data transfer system according to the second embodiment of the present invention uses a 2-port PCI Express switch, this embodiment may use a 3-port or more PCI Express switch.

図５は本発明の第３の実施形態によるデータ転送システムの構成例を示すブロック図である。図５に示す本発明の第３の実施形態は、図４により説明した本発明の第２の実施形態と同等の機能をＦＰＧＡにより実現した構成例である。   FIG. 5 is a block diagram showing a configuration example of a data transfer system according to the third embodiment of the present invention. The third embodiment of the present invention shown in FIG. 5 is a configuration example in which functions equivalent to those of the second embodiment of the present invention described with reference to FIG. 4 are realized by FPGA.

ＦＰＧＡは、論理を読み込んで論理を再構成することが可能なＬＳＩであり、起動される毎に、その都度その機能を任意に変更可能なものである。本発明の第３の実施形態は、ライザーカード５００上に、図４に示したスイッチ４２０と同等のスイッチ５１１を含むＦＰＧＡ５１０を搭載して構成される。そして、この本発明の第３の実施形態は、ＦＰＧＡ５１０の初期化時に、読み込むＲＯＭの変更により、図５（ａ）に示すように、スイッチ５１１を経由する経路と、図５（ｂ）に示すように、スイッチ５１１を迂回する経路との切り替えが可能である。   The FPGA is an LSI that can read logic and reconfigure the logic, and its function can be arbitrarily changed each time it is activated. The third embodiment of the present invention is configured by mounting an FPGA 510 including a switch 511 equivalent to the switch 420 shown in FIG. 4 on a riser card 500. In the third embodiment of the present invention, when the FPGA 510 is initialized, the ROM read is changed, as shown in FIG. 5A, and the path via the switch 511 is shown in FIG. 5B. As described above, switching to a route that bypasses the switch 511 is possible.

前述したように構成される本発明の第３の実施形態においても、図４により説明した本発明の第２の実施形態と同等な効果を得ることができる。また、この本発明の第３の実施形態においても、スイッ５１１として、３ポート以上のPCI Express スイッチを用いることができる。   Also in the third embodiment of the present invention configured as described above, an effect equivalent to that of the second embodiment of the present invention described with reference to FIG. 4 can be obtained. Also in the third embodiment of the present invention, a PCI Express switch having three or more ports can be used as the switch 511.

図６は本発明の第４の実施形態によるデータ転送システムの構成例を示すブロック図である。図６に示す本発明の第４の実施形態は、図５により説明した本発明の第３の実施形態と同等の機能をＡＳＩＣにより実現した構成例である。   FIG. 6 is a block diagram showing a configuration example of a data transfer system according to the fourth embodiment of the present invention. The fourth embodiment of the present invention shown in FIG. 6 is a configuration example in which a function equivalent to the third embodiment of the present invention described with reference to FIG. 5 is realized by an ASIC.

本発明の第４の実施形態は、ライザーカード６００上にＡＳＩＣ６１０を搭載し、このＡＳＩＣ６１０上に、第２の実施形態の場合と同様に、マルチプレクサ６１１ａ、６１１ｂ、及び、スイッチ６１２を実装して構成した例であり、セレクト信号６１４により、スイッチ６１２を経由する経路６１３ａ、６１３ｂ、６１３ｄ、６１３ｅと、スイッチ６１２を迂回する経路６１３ａ、６１３ｃ、６１３ｅとの選択を行うことが可能である。また、この本発明の第４の実施形態においても、スイッ６１２として、３ポート以上のPCI Express スイッチを用いることができる。   In the fourth embodiment of the present invention, an ASIC 610 is mounted on a riser card 600, and multiplexers 611a and 611b and a switch 612 are mounted on the ASIC 610 as in the case of the second embodiment. In this example, the selection signal 614 can be used to select the paths 613a, 613b, 613d, and 613e that pass through the switch 612 and the paths 613a, 613c, and 613e that bypass the switch 612. Also in the fourth embodiment of the present invention, a PCI Express switch having three or more ports can be used as the switch 612.

前述した本発明の各実施形態によれば、PCI Express を採用したシステムにおいて、用途に応じてPCI Express スイッチを経由する経路と、PCI Express スイッチを経由しない経路とを選択することができるため、単一のシステムで両方の経路が有するメリットを享受することができる。   According to each embodiment of the present invention described above, in a system adopting PCI Express, a route that passes through the PCI Express switch and a route that does not pass through the PCI Express switch can be selected depending on the application. One system can enjoy the merits of both routes.

本発明の第１の実施形態によるデータ転送システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the data transfer system by the 1st Embodiment of this invention. PCI Express スイッチの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a PCI Express switch. PCI Express スイッチのソフトウェアから見たトポロジを示す図である。It is a figure which shows the topology seen from the software of the PCI Express switch. 本発明の第２の実施形態によるデータ転送システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the data transfer system by the 2nd Embodiment of this invention. 本発明の第３の実施形態によるデータ転送システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the data transfer system by the 3rd Embodiment of this invention. 本発明の第４の実施形態によるデータ転送システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the data transfer system by the 4th Embodiment of this invention.

符号の説明Explanation of symbols

１００、３００ メインボード
１１０、３０１、３１０ ルートコンプレックス
１２０ａ〜１２０ｃ、４１０ａ、４１０ｂ、６１１ａ、６１１ｂ マルチプレクサ
１３０、４２０、５１１、６１２ PCI Express スイッチ
１４０ａ、１４０ｂ、 ３２０、４３０、５２０、６２０ スロット
２００ａ〜２００ｆ アドインカード
４００、５００、６００ ライザカード
５１０ ＦＰＧＡ
６１０ ＡＳＩＣ 100, 300 Main board 110, 301, 310 Route complex 120a-120c, 410a, 410b, 611a, 611b Multiplexer 130, 420, 511, 612 PCI Express switch 140a, 140b, 320, 430, 520, 620 Slot 200a-200f Add-in Card 400, 500, 600 Riser card 510 FPGA
610 ASIC

Claims (4)

PCI Express リンクを用いたデータ転送システムであって、
ルートコンプレックスと、それぞれにアドインカードが接続される少なくとも１つのスロットと、パケットスイッチと、経路を選択する経路選択手段とを備え、
前記経路選択手段は、前記ルートコンプレックスと前記スロットとの間のデータ転送用の経路について、前記パケットスイッチを介する経路と、前記パケットスイッチを経由しない経路とを設定により選択することを特徴とするデータ転送システム。 A data transfer system using a PCI Express link,
A route complex, at least one slot to which an add-in card is connected, a packet switch, and route selection means for selecting a route,
The route selection means selects a route through the packet switch and a route not through the packet switch as a data transfer route between the route complex and the slot by setting. Transfer system. 前記パケットスイッチと前記経路選択手段とがＦＰＧＡ上に実装されたことを特徴とする請求項１記載のデータ転送システム。   2. The data transfer system according to claim 1, wherein the packet switch and the route selection unit are mounted on an FPGA. 前記パケットスイッチと前記経路選択手段とがＡＳＩＣ上に実装されたことを特徴とする請求項１記載のデータ転送システム。   2. The data transfer system according to claim 1, wherein the packet switch and the route selection unit are mounted on an ASIC. 前記経路選択手段は、外部から与えられるセレクト信号により、前記経路の選択を行うことを特徴とする請求項１記載のデータ転送システム。   2. The data transfer system according to claim 1, wherein the route selection means selects the route according to a select signal given from outside.
JP2008134509A 2008-05-22 2008-05-22 Data transfer system Expired - Fee Related JP5111236B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008134509A JP5111236B2 (en) 2008-05-22 2008-05-22 Data transfer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008134509A JP5111236B2 (en) 2008-05-22 2008-05-22 Data transfer system

Publications (2)

Publication Number Publication Date
JP2009282773A true JP2009282773A (en) 2009-12-03
JP5111236B2 JP5111236B2 (en) 2013-01-09

Family

ID=41453162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008134509A Expired - Fee Related JP5111236B2 (en) 2008-05-22 2008-05-22 Data transfer system

Country Status (1)

Country Link
JP (1) JP5111236B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186658A (en) * 2010-03-05 2011-09-22 Nec Corp Information processor
US9110776B2 (en) 2013-05-20 2015-08-18 Konica Minolta, Inc. Image forming apparatus, startup control method, and non-transitory computer-readable recording medium encoded with startup control program
US10073801B2 (en) 2014-04-25 2018-09-11 Hitachi, Ltd. Computer and method of controlling I/O switch of computer

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320420A (en) * 2000-03-01 2001-11-16 Fujitsu Ltd Transmission path control apparatus and transmission path control method, and medium with recorded transmission path control program
JP2003069637A (en) * 2001-08-29 2003-03-07 Nec Commun Syst Ltd Method and system for avoiding packet transfer congestion
JP2003069619A (en) * 2001-08-27 2003-03-07 Fujitsu Ltd Route changing method for label transfer network, label switching node, and management node
JP2004056590A (en) * 2002-07-22 2004-02-19 Ricoh Co Ltd Image forming device
JP2004135106A (en) * 2002-10-11 2004-04-30 Hitachi Ltd Packet communication equipment
JP2005166028A (en) * 2003-11-11 2005-06-23 Ricoh Co Ltd Data transfer system, image formation system, and data transfer method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320420A (en) * 2000-03-01 2001-11-16 Fujitsu Ltd Transmission path control apparatus and transmission path control method, and medium with recorded transmission path control program
JP2003069619A (en) * 2001-08-27 2003-03-07 Fujitsu Ltd Route changing method for label transfer network, label switching node, and management node
JP2003069637A (en) * 2001-08-29 2003-03-07 Nec Commun Syst Ltd Method and system for avoiding packet transfer congestion
JP2004056590A (en) * 2002-07-22 2004-02-19 Ricoh Co Ltd Image forming device
JP2004135106A (en) * 2002-10-11 2004-04-30 Hitachi Ltd Packet communication equipment
JP2005166028A (en) * 2003-11-11 2005-06-23 Ricoh Co Ltd Data transfer system, image formation system, and data transfer method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186658A (en) * 2010-03-05 2011-09-22 Nec Corp Information processor
US9110776B2 (en) 2013-05-20 2015-08-18 Konica Minolta, Inc. Image forming apparatus, startup control method, and non-transitory computer-readable recording medium encoded with startup control program
US10073801B2 (en) 2014-04-25 2018-09-11 Hitachi, Ltd. Computer and method of controlling I/O switch of computer

Also Published As

Publication number Publication date
JP5111236B2 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
TWI317875B (en) Method and system for multiple gpu support
JP4599496B2 (en) SATA (Serial Advanced Technology Attachment) switch
US7293129B2 (en) Flexible routing and addressing
US7574536B2 (en) Routing direct memory access requests using doorbell addresses
US9292460B2 (en) Versatile lane configuration using a PCIe PIE-8 interface
US8223745B2 (en) Adding packet routing information without ECRC recalculation
CN110312999A (en) Dynamic based on software configuration/strategy distribution PCIe disk array divides
US20090106474A1 (en) Multi-Host USB Device
US20060242330A1 (en) Proxy-based device sharing
JP2006195870A (en) Data transfer system and electronic apparatus
JP2014099847A (en) Method and apparatus for securing and segregating host to host messaging on pcie fabric
JP2011517497A (en) System and method for converting PCIE SR-IOV function to appear as legacy function
JP2007195166A (en) Method, computer program, and apparatus for creation and management of routing table for pci bus address based routing with integrated did
US8065454B1 (en) System and method for mapping functions to and from network devices using configuration compatible with an adapter by remapping plurality of logical ports of adapter
WO2006063297A1 (en) Pci express to advanced switching fabric interface
WO2006115752A2 (en) Virtualization for device sharing
JP5930046B2 (en) Information processing apparatus and control method of information processing apparatus
JP5469081B2 (en) Control path I / O virtualization method
JP2008172727A (en) Control apparatus and image processing system
JP5111236B2 (en) Data transfer system
JP4564740B2 (en) Imaging equipment system
JP2005323159A (en) Image system
JP2005321921A (en) Serial data transfer device, image output device, image input device and image forming device
JP4425766B2 (en) Image forming system
JP5176764B2 (en) Data communication system, image processing system, and data communication method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121009

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees