JP2007226494A - Data transfer system - Google Patents

Data transfer system Download PDF

Info

Publication number
JP2007226494A
JP2007226494A JP2006046296A JP2006046296A JP2007226494A JP 2007226494 A JP2007226494 A JP 2007226494A JP 2006046296 A JP2006046296 A JP 2006046296A JP 2006046296 A JP2006046296 A JP 2006046296A JP 2007226494 A JP2007226494 A JP 2007226494A
Authority
JP
Japan
Prior art keywords
data transfer
switch
link
data
lanes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006046296A
Other languages
Japanese (ja)
Inventor
Noriyuki Terao
典之 寺尾
Junichi Ikeda
純一 池田
Koji Oshikiri
幸治 押切
Mitsuharu Takeo
光治 竹尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2006046296A priority Critical patent/JP2007226494A/en
Publication of JP2007226494A publication Critical patent/JP2007226494A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a data transfer system wherein a transfer rate is not reduced without using an excess lane number even when transaction (data transfer) from a plurality of end points to one switch simultaneously occurs. <P>SOLUTION: In this data transfer system, a lane number of a link of a high-speed serial bus forming a data transfer route from the switch 14 to a node (a route complex 13) positioned on an upper side of a tree structure is set as a lane number obtained by adding lane numbers satisfying maximum values of respective data transfer amounts transmitted through the respective data transfer routes from the end points 21-27 to the switch 14. Thereby, because a bottleneck by simultaneous operation can be dissolved, the excess lane number is not used, and the transfer rate is not reduced even when the plurality of the data transfer are overlapped. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、データ転送システムに関する。   The present invention relates to a data transfer system.

一般に、画像データその他のデータを扱うデジタル複写機、複合機(MFP)等の情報処理装置では、デバイス間のインタフェースにPCIバスが使用されている。しかし、パラレル方式のPCIバスでは、レーシングやスキューなどの問題があり、高速・高画質の画像形成装置に使用するには、転送レートが低い段階にきており、最近では、PCIバスのようなパラレル方式のインタフェースに代えて、IEEE1394やUSB等の高速シリアルインタフェースの使用が検討されている。例えば、特許文献1によれば、内部インタフェースとして、IEEE1394やUSB等の高速シリアルインタフェースを使用することが提案されている。   In general, in an information processing apparatus such as a digital copying machine or a multifunction peripheral (MFP) that handles image data and other data, a PCI bus is used as an interface between devices. However, the parallel PCI bus has problems such as racing and skew, and the transfer rate has been low for use in high-speed and high-quality image forming apparatuses. The use of a high-speed serial interface such as IEEE1394 or USB is being considered in place of the parallel interface. For example, according to Patent Document 1, it is proposed to use a high-speed serial interface such as IEEE1394 or USB as an internal interface.

また、他の高速シリアルインタフェースとして、PCIバス方式の後継規格に当るPCI Express(登録商標)なるインタフェースも提案され、実用化の段階にきている(例えば、非特許文献1参照)。このPCI Expressシステムは、概略的には、例えば非特許文献1中の図1等に示されるようなルートコンプレックス−スイッチ(任意階層)−デバイス等のツリー構造(木構造)によるデータ通信網として構成されている。   As another high-speed serial interface, an interface called PCI Express (registered trademark), which is a successor to the PCI bus system, has been proposed and has been put to practical use (for example, see Non-Patent Document 1). This PCI Express system is schematically configured as a data communication network having a tree structure (tree structure) such as a root complex-switch (arbitrary hierarchy) -device as shown in FIG. Has been.

特開2001−016382号公報JP 2001-016382 A “PCI Express 規格の概要”Interface誌、July’2003 里見尚志“Outline of PCI Express Standard” Interface, July’2003 Naoshi Satomi

ところで、IEEE1394やUSB等の高速シリアルインタフェースを用いたデータ転送システムでは、ノード間の転送路の性能は固定(レーン数1)である。一方、PCI Expressでは、レーン数を変更することで、各転送路の性能を変更することができる。ただし、性能とコストとは、トレードオフの関係になっている。   By the way, in a data transfer system using a high-speed serial interface such as IEEE1394 or USB, the performance of the transfer path between nodes is fixed (number of lanes 1). On the other hand, in PCI Express, the performance of each transfer path can be changed by changing the number of lanes. However, there is a trade-off between performance and cost.

しかしながら、PCI Expressでは、スイッチを介したノード間での平均転送レートは、経路中の最も細い転送路の性能(リンク幅・レーン数)に支配されるため、1個所のボトルネックがある場合には、その他の転送路をいくら広くしてもその効果は得られない。ボトルネックは、物理的なレーン数だけでなく、同時に動作する複数のトランザクション(データ転送)を考慮する必要がある。   However, in PCI Express, the average transfer rate between nodes via a switch is governed by the performance (link width and number of lanes) of the narrowest transfer path in the path, so there is a bottleneck at one location. However, no effect is obtained no matter how wide the other transfer paths are. The bottleneck needs to consider not only the number of physical lanes but also a plurality of transactions (data transfer) operating simultaneously.

本発明は、上記に鑑みてなされたものであって、一のスイッチに対する複数のエンドポイントからのトランザクション(データ転送)が同時に発生するような場合であっても、余分なレーン数を用いることなく、転送レートが低下することのないデータ転送システムを提供することを目的とする。   The present invention has been made in view of the above, and even when transactions (data transfer) from a plurality of endpoints to one switch occur simultaneously, an extra lane number is not used. An object of the present invention is to provide a data transfer system in which the transfer rate does not decrease.

また、本発明は、各エンドポイントからスイッチに対するデータ転送は同時に行なわれることがないデータ転送システムにおいて、コスト性能を最適化することを目的とする。   Another object of the present invention is to optimize cost performance in a data transfer system in which data transfer from each endpoint to a switch is not performed simultaneously.

上述した課題を解決し、目的を達成するために、請求項1にかかる発明は、木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対してデータ転送を行なうデータ転送システムにおいて、前記スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクのレーン数を、前記エンドポイントから前記スイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とする。   In order to solve the above-mentioned problems and achieve the object, the invention according to claim 1 is a tree-structured data communication network in which a point-to-point independent communication channel is established and any number of lanes can be selected. In a data transfer system in which a plurality of end points are connected to one switch by using a high-speed serial bus, and data is transferred from each end point to the switch. The number of lanes of the link of the high-speed serial bus that forms the data transfer path to the node located on the upper side satisfies the maximum value of each data transfer amount transmitted through each data transfer path from the end point to the switch The number of lanes is added to each lane number.

また、請求項2にかかる発明は、木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより、一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対するデータ転送は同時に行なわれることがないデータ転送システムにおいて、前記各エンドポイントから前記スイッチに至るデータ転送経路および当該スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクの全てのレーン数を、前記データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一する。   Further, the invention according to claim 2 uses a high-speed serial bus in which a communication channel independent of transmission and reception is established point-to-point as a tree-structured data communication network, and an arbitrary number of lanes can be selected. In a data transfer system in which a plurality of end points are connected to each other, and data transfer from each end point to the switch is not performed simultaneously, a data transfer path from each end point to the switch and the switch The number of lanes satisfying the maximum value of the data transfer amount transmitted through the data transfer path is the number of all lanes of the link of the high-speed serial bus that forms the data transfer path from the node to the node positioned on the upper side of the tree structure. To unify.

また、請求項3にかかる発明は、請求項1または2記載のデータ転送システムにおいて、前記高速シリアルバスは、PCI Express 規格の高速シリアルバスである。   According to a third aspect of the present invention, in the data transfer system according to the first or second aspect, the high-speed serial bus is a PCI Express standard high-speed serial bus.

請求項1にかかる発明によれば、スイッチから木構造の上位側に位置するノードに至るデータ転送経路を形成する高速シリアルバスのリンクのレーン数を、エンドポイントからスイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とすることにより、一のスイッチに対する複数のエンドポイントからのトランザクション(データ転送)が同時に発生するような場合であっても、同時動作によるボトルネックを解消することができるので、余分なレーン数を用いることなく、複数のデータ転送が重なった場合にも転送レートが低下することのないデータ転送システムを提供することができるという効果を奏する。   According to the first aspect of the present invention, the number of lanes of the link of the high-speed serial bus that forms the data transfer path from the switch to the node located on the upper side of the tree structure is determined, and each data transfer path from the end point to the switch is determined. This is the case where transactions (data transfer) from multiple endpoints to one switch occur simultaneously by setting the number of lanes to which the maximum value of each data transfer amount to be transmitted is added. However, since the bottleneck due to the simultaneous operation can be eliminated, it is possible to provide a data transfer system in which the transfer rate does not decrease even when a plurality of data transfers overlap without using an extra number of lanes. There is an effect that can be done.

また、請求項2にかかる発明によれば、各エンドポイントからスイッチに至るデータ転送経路および当該スイッチから木構造の上位側に位置するノードに至るデータ転送経路を形成する高速シリアルバスのリンクの全てのレーン数を、データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一することにより、1つのデータ転送に関するデータ転送経路上のすべてのデータ転送路のレーン数を、所望の転送レートが得られるレーン数で等しくそろえることで、コスト性能を最適化することができるという効果を奏する。   According to the invention of claim 2, all the links of the high-speed serial bus that form the data transfer path from each end point to the switch and the data transfer path from the switch to the node located on the upper side of the tree structure The number of lanes of all data transfer paths on the data transfer path related to one data transfer is changed to a desired number of lanes by unifying the number of lanes to the number of lanes satisfying the maximum value of the data transfer amount transmitted through the data transfer path. By making the transfer rate equal to the number of lanes from which the transfer rate can be obtained, the cost performance can be optimized.

また、請求項3にかかる発明によれば、高速シリアルバスは、PCI Express 規格の高速シリアルバスであることにより、低電圧差動信号伝送、ポイントツーポイントで送受信独立の通信チャネル、パケット化されたスプリットトランザクション、リンク構成の違いによる高いスケーラビリティなどの特徴を有するという効果を奏する。   According to the invention of claim 3, the high-speed serial bus is a PCI Express standard high-speed serial bus, so that low-voltage differential signal transmission, point-to-point independent transmission and reception communication channels, and packetization It has the effect of having features such as high scalability due to differences in split transactions and link configurations.

以下に添付図面を参照して、この発明にかかるデータ転送システムの最良な実施の形態を詳細に説明する。   Exemplary embodiments of a data transfer system according to the present invention will be explained below in detail with reference to the accompanying drawings.

[第1の実施の形態]
本発明の第1の実施の形態を図1ないし図18に基づいて説明する。以下では、PCI Expressの詳細について、[PCI Express規格の概要]〜[PCI Express のアーキテクチャの詳細]の欄で説明し、その後、本実施の形態のデータ転送システムについて、[データ転送システム]の欄で説明する。
[First Embodiment]
A first embodiment of the present invention will be described with reference to FIGS. In the following, details of PCI Express will be described in the columns [Outline of PCI Express Standard] to [Details of Architecture of PCI Express], and then the [Data Transfer System] column for the data transfer system of the present embodiment. I will explain it.

[PCI Express規格の概要]
まず、本実施の形態は高速シリアルバスの一つであるPCI Express(登録商標)を利用するものであり、本実施の形態の前提として当該PCI Express規格の概要について、非特許文献1の一部抜粋により説明する。ここに、高速シリアルバスとは、1本の伝送路を用いてシリアル(直列)伝送により高速(100Mbps程度以上)にデータをやり取りすることができるインタフェースを意味する。
[Outline of PCI Express standard]
First, this embodiment uses PCI Express (registered trademark), which is one of high-speed serial buses. As an assumption of this embodiment, an outline of the PCI Express standard is a part of Non-Patent Document 1. Explained with excerpts. Here, the high-speed serial bus means an interface capable of exchanging data at high speed (about 100 Mbps or more) by serial (serial) transmission using a single transmission line.

PCI Expressは、PCIの後継規格としてコンピュータ全般に通用する標準拡張バスとして規格化されたバスであり、概略的には、低電圧差動信号伝送、ポイントツーポイントで送受信独立の通信チャネル、パケット化されたスプリットトランザクション、リンク構成の違いによる高いスケーラビリティなどの特徴を持つ。   PCI Express is a standardized expansion bus that can be used for all computers as a successor to PCI. In general, low-voltage differential signal transmission, point-to-point independent communication channels, and packetization Split transactions and high scalability due to differences in link configuration.

図1に既存のPCIシステム、図2にPCI Expressシステムの各々の構成例を示す。既存のPCIシステムにあっては、CPU100やAGPグラフィックス101やメモリ102が接続されたホストブリッジ103に対して、PCI-X(PCIの上位互換規格)デバイス104a,104bがPCI-Xブリッジ105aを介して接続されたり、PCIデバイス104c,104dが接続されたPCIブリッジ105bやPCIバススロット106が接続されたPCIブリッジ107がPCIブリッジ105cを介して接続されたりしたツリー構造(木構造)とされている。   FIG. 1 shows a configuration example of an existing PCI system, and FIG. 2 shows a configuration example of a PCI Express system. In an existing PCI system, PCI-X (PCI upward compatible standard) devices 104a and 104b connect a PCI-X bridge 105a to a host bridge 103 to which a CPU 100, AGP graphics 101, and memory 102 are connected. Or a PCI bridge 105b to which the PCI devices 104c and 104d are connected and a PCI bridge 107 to which the PCI bus slot 106 is connected are connected via the PCI bridge 105c (tree structure). Yes.

これに対して、PCI Expressシステムにあっては、CPU110やメモリ111が接続されたルートコンプレックス112に対して、PCI Expressグラフィックス113がPCI Express114aにより接続され、また、エンドポイント115aやレガシーエンドポイント116aがPCI Express114bにより接続されたスイッチ117aがPCI Express114cにより接続され、さらには、エンドポイント115bやレガシーエンドポイント116bがPCI Express114dにより接続されたスイッチ117bやPCIバススロット118が接続されたPCIブリッジ119がPCI Express114eにより接続されたスイッチ117cがPCI Express114fにより接続されたツリー構造(木構造)とされている。   On the other hand, in the PCI Express system, the PCI Express graphics 113 is connected by the PCI Express 114a to the root complex 112 to which the CPU 110 and the memory 111 are connected, and the endpoint 115a and the legacy endpoint 116a. PCI Express 114b connects the switch 117a to which the PCI Express 114b is connected, and the PCI bridge 119 to which the switch 117b to which the endpoint 115b and the legacy endpoint 116b are connected by the PCI Express 114d and the PCI bus slot 118 are connected. The switch 117c connected by the Express 114e has a tree structure (tree structure) connected by the PCI Express 114f.

実際に想定されるPCI Expressプラットホーム例を図3に示す。図示例は、デスクトップ/モバイルへの適用例を示し、CPU121がCPUホストバス122により接続され、メモリ123が接続されたメモリハブ124(ルートコンプレックスに相当する)に対して、例えば、グラフィックス125がx16のPCI Express126aにより接続され、また、変換機能を有するI/Oハブ127がPCI Express126bにより接続されている。このI/Oハブ127には、例えば、Serial ATA128によりストレージ129が接続され、LPC130によりローカルI/O131が接続され、USB 2.0132やPCIバススロット133が接続されている。さらには、I/Oハブ127には、PCI Express126cによりスイッチ134が接続され、このスイッチ134には、各々、PCI Express126d,126e,126fによりモバイルドック135、ギガビットイーサネット136(イーサネットは登録商標)、アドインカード137が接続されている。   An example of an actually assumed PCI Express platform is shown in FIG. The illustrated example shows an application example to desktop / mobile. For example, graphics 125 is x16 with respect to a memory hub 124 (corresponding to a root complex) to which a CPU 121 is connected by a CPU host bus 122 and a memory 123 is connected. PCI Express 126a and an I / O hub 127 having a conversion function are connected by PCI Express 126b. For example, a storage 129 is connected to the I / O hub 127 by a Serial ATA 128, a local I / O 131 is connected by an LPC 130, and a USB 2.0 132 and a PCI bus slot 133 are connected. Further, a switch 134 is connected to the I / O hub 127 by a PCI Express 126c, and the mobile dock 135, Gigabit Ethernet 136 (Ethernet is a registered trademark), and an add-in are connected to the switch 134 by PCI Express 126d, 126e, and 126f, respectively. A card 137 is connected.

即ち、PCI Expressシステムでは、従来のPCI,PCI-X,AGPといったバスがPCI Expressで置き換わり、既存のPCI/PCI-Xデバイスを接続するためにブリッジが使用される。チップセット間の接続もPCI Express接続となり、IEEE1394,Serial ATA,USB 2.0などの既存のバスはI/OハブによりPCI Expressに接続される。   That is, in the PCI Express system, the conventional PCI, PCI-X, AGP bus is replaced with PCI Express, and a bridge is used to connect an existing PCI / PCI-X device. Connection between chipsets is also PCI Express connection, and existing buses such as IEEE1394, Serial ATA, and USB 2.0 are connected to PCI Express by an I / O hub.

[PCI Expressの構成要素]
A.ポート(Port)/レーン(Lane)/リンク(Link)
図4に物理層の構造を示す。ポートは、物理的には同一半導体内にあり、リンクを形成するトランスミッタ/レシーバの集合で、論理的にはコンポーネント・リンク間を1対1で接続(ポイント・ツー・ポイント)するインタフェースを意味する。転送レートは、例えば片方向2.5Gbpsとされている。レーンは、例えば0.8Vの差動信号ペアのセットで、送信側の信号ペア(2本)、受信側の信号ペア(2本)からなる。リンクは、2つのポートとその間を結ぶレーンの集まりであり、コンポーネント間のデュアルシンプレックス通信バスである。「xNリンク」はN本のレーンから構成され、現在の規格では、N=1,2,4,8,16,32が定義されている。図示例は、x4リンク例である。例えば、図5に示すように、デバイスA,B間を結ぶこのレーン幅Nを可変することにより、スケーラブルなバンド幅を構成することが可能となる。
[Components of PCI Express]
A. Port / Lane / Link
FIG. 4 shows the structure of the physical layer. A port is a set of transmitters / receivers that are physically in the same semiconductor and form a link, and logically means an interface that connects component links in a one-to-one relationship (point-to-point). . The transfer rate is, for example, 2.5 Gbps in one direction. The lane is, for example, a set of 0.8 V differential signal pairs, and includes a transmission-side signal pair (two) and a reception-side signal pair (two). A link is a collection of lanes connecting two ports and the two ports, and is a dual simplex communication bus between components. The “xN link” is composed of N lanes, and N = 1, 2, 4, 8, 16, 32 are defined in the current standard. The illustrated example is an x4 link example. For example, as shown in FIG. 5, by changing the lane width N connecting the devices A and B, a scalable bandwidth can be configured.

B.ルートコンプレックス(Root Complex)
ルートコンプレックス112は、I/O構造の最上位に位置し、CPUやメモリサブシステムをI/Oに接続する。ブロック図などでは、図3に示すように、「メモリハブ」と記述されることが多い。ルートコンプレックス112(又は、124)は、1つ以上のPCI Expressポート(ルートポート)(図2中では、ルートコンプレックス112中の四角で示す)を持ち、各々のポートは独立したI/O階層ドメインを形成する。I/O階層ドメインは、単純なエンドポイントである場合(例えば、図2中のエンドポイント115a側の例)や、多数のスイッチやエンドポイントから形成される場合(例えば、図2中のエンドポイント115bやスイッチ117b,115c側の例)がある。
B. Root Complex
The root complex 112 is located at the highest level of the I / O structure, and connects the CPU and the memory subsystem to the I / O. In a block diagram or the like, as shown in FIG. 3, it is often described as “memory hub”. The root complex 112 (or 124) has one or more PCI Express ports (root ports) (indicated by squares in the root complex 112 in FIG. 2), and each port is an independent I / O hierarchical domain. Form. The I / O hierarchical domain is a simple endpoint (for example, the example of the endpoint 115a side in FIG. 2), or is formed from a large number of switches and endpoints (for example, the endpoint in FIG. 2). 115b and switches 117b and 115c side).

C.エンドポイント(End Point)
エンドポイント115は、タイプ00hのコンフィグレーション空間ヘッダを持つデバイス(具体的には、ブリッジ以外のデバイス)で、レガシーエンドポイントとPCI Expressエンドポイントとに分けられる。両者の大きな違いは、PCI ExpressエンドポイントはBAR(ベースアドレスレジスタ)でI/Oリソースを要求せず、このためI/Oリクエストを要求しない。また、PCI Expressエンドポイントは、ロックリクエストもサポートしていない。
C. End point
The endpoint 115 is a device having a configuration space header of type 00h (specifically, a device other than a bridge), and is divided into a legacy endpoint and a PCI Express endpoint. The major difference between the two is that the PCI Express endpoint does not request I / O resources in the BAR (Base Address Register), and therefore does not request an I / O request. PCI Express endpoints also do not support lock requests.

D.スイッチ(Switch)
スイッチ117(又は、134)は、2つ以上のポートを結合し、ポート間でのパケットルーティングを行う。コンフィグレーションソフトウェアからは、当該スイッチは、図6に示すように、仮想PCI-PCIブリッジ141の集合体として認識される。図中、両矢印はPCI Expressリンク114(又は、126)を示し、142a〜142dはポートを示す。このうち、ポート142aはルートコンプレックスに近い方のアップストリームポートであり、ポート142b〜142dはルートコンプレックスから遠い方のダウンストリームポートである。
D. Switch
The switch 117 (or 134) couples two or more ports and performs packet routing between the ports. From the configuration software, the switch is recognized as a collection of virtual PCI-PCI bridges 141 as shown in FIG. In the figure, double arrows indicate the PCI Express link 114 (or 126), and 142a to 142d indicate ports. Among these, the port 142a is an upstream port closer to the root complex, and the ports 142b to 142d are downstream ports farther from the root complex.

E.PCI Express114e−PCIブリッジ119
PCI ExpressからPCI/PCI-Xへの接続を提供する。これにより、既存のPCI/PCI-XデバイスをPCI Expressシステム上で使用することができる。
E. PCI Express 114e-PCI bridge 119
Provides connection from PCI Express to PCI / PCI-X. Thereby, an existing PCI / PCI-X device can be used on the PCI Express system.

[階層アーキテクチャ]
従来のPCIのアーキテクチャは、図7−1に示すように、プロトコルとシグナリングが密接に関連する構造であり階層という考え方はなかったが、PCI Expressでは、図7−2に示すように、一般的な通信プロトコルやInfiniBandのように、独立した階層構造とされ、各層に分けて仕様が定義されている。即ち、最上位のソフトウェア151、最下位の機構(メカニカル)部152間に、トランザクション層153、データリンク層154、物理層155を持つ構造とされている。これにより、各層のモジュール性が確保され、スケーラビリティを持たせることやモジュールの再利用が可能となる。例えば、新たな信号コーディング方式や伝送媒体を採用する場合、物理層を変更するだけでデータリンク層やトランザクション層は変更せずに対応できる。
[Hierarchical architecture]
As shown in FIG. 7A, the conventional PCI architecture has a structure in which protocols and signaling are closely related and there is no concept of hierarchy. In PCI Express, as shown in FIG. Like the standard communication protocol and InfiniBand, it has an independent hierarchical structure, and specifications are defined for each layer. In other words, a transaction layer 153, a data link layer 154, and a physical layer 155 are provided between the uppermost software 151 and the lowermost mechanism (mechanical) unit 152. Thereby, the modularity of each layer is ensured, and it becomes possible to provide scalability and reuse the module. For example, when adopting a new signal coding method or transmission medium, it is possible to cope with only changing the physical layer without changing the data link layer or the transaction layer.

PCI Expressのアーキテクチャの中心となるのは、トランザクション層153、データリンク層154、物理層155であり、各々図8を参照して説明する以下のような役割を持つ。   The core of the PCI Express architecture is a transaction layer 153, a data link layer 154, and a physical layer 155, each having the following roles described with reference to FIG.

A.トランザクション層153
トランザクション層153は、最上位に位置し、トランザクションレイヤパケット(TLP)の組み立て、分解機能を持つ。トランザクションレイヤパケット(TLP)は、リード/ライト、各種イベントといったトランザクションの伝達に用いられる。また、トランザクション層153は、トランザクションレイヤパケット(TLP)のためのクレジットを用いたフロー制御を行う。各層153〜155におけるトランザクションレイヤパケット(TLP)の概要を図9に示す(詳細は、後述する)。
A. Transaction layer 153
The transaction layer 153 is located at the highest level and has a function of assembling and disassembling a transaction layer packet (TLP). The transaction layer packet (TLP) is used for transmission of transactions such as read / write and various events. The transaction layer 153 performs flow control using credits for transaction layer packets (TLP). An outline of a transaction layer packet (TLP) in each of the layers 153 to 155 is shown in FIG. 9 (details will be described later).

B.データリンク層154
データリンク層154の主な役割は、エラー検出/訂正(再送)によりトランザクションレイヤパケット(TLP)のデータ完全性を保証することと、リンク管理である。データリンク層154間では、リンク管理やフロー制御のためのパケットのやり取りを行う。このパケットは、トランザクションレイヤパケット(TLP)と区別するために、データリンクレイヤパケット(DLLP)と呼ばれる。
B. Data link layer 154
The main role of the data link layer 154 is to guarantee data integrity of the transaction layer packet (TLP) by error detection / correction (retransmission) and link management. Packets for link management and flow control are exchanged between the data link layers 154. This packet is called a data link layer packet (DLLP) to distinguish it from a transaction layer packet (TLP).

C.物理層155
物理層155は、ドライバ、入力バッファ、パラレル−シリアル/シリアル−パラレル変換器、PLL、インピーダンス整合回路といったインタフェース動作に必要な回路を含んでいる。また、論理的な機能としてインタフェースの初期化・保守の機能を持つ。物理層155は、データリンク層154/トランザクション層153を実際のリンクで使用される信号技術から独立させる役目も持っている。
C. Physical layer 155
The physical layer 155 includes circuits necessary for interface operations such as a driver, an input buffer, a parallel-serial / serial-parallel converter, a PLL, and an impedance matching circuit. It also has interface initialization / maintenance functions as logical functions. The physical layer 155 also serves to make the data link layer 154 / transaction layer 153 independent of the signaling technology used in the actual link.

なお、PCI Expressのハードウェア構成上、エンベデッド・クロックという技術を採用しており、クロック信号はなく、クロックのタイミングはデータ信号中に埋め込まれており、受信側でデータ信号のクロス・ポイントを基にクロックを抽出する方式とされている。   The PCI Express hardware configuration employs a technology called embedded clock, there is no clock signal, the clock timing is embedded in the data signal, and the receiving side is based on the cross-point of the data signal. The system extracts the clock.

[コンフィグレーション空間]
PCI Expressは、従来のPCIと同様にコンフィグレーション空間を持つが、その大きさは従来のPCIが256バイトであるのに対して、図10に示すように、4096バイトへと拡張されている。これにより、多数のデバイス固有レジスタセットを必要とするデバイス(ホストブリッジなど)に対しても、将来的に十分な空間が確保されている。PCI Expressでは、コンフィグレーション空間へのアクセスは、フラットなメモリ空間へのアクセス(コンフィグレーションリード/ライト)で行われ、バス/デバイス/機能/レジスタ番号はメモリアドレスにマップされている。
[Configuration space]
PCI Express has a configuration space like conventional PCI, but its size is expanded to 4096 bytes as shown in FIG. 10, whereas conventional PCI has 256 bytes. As a result, sufficient space is secured in the future even for devices (such as host bridges) that require a large number of device-specific register sets. In PCI Express, the configuration space is accessed by accessing a flat memory space (configuration read / write), and the bus / device / function / register number is mapped to a memory address.

当該空間の先頭256バイトは、PCIコンフィグレーション空間として、BIOSや従来のOSからI/Oポートを使用した方法でもアクセスできる。従来のアクセスをPCI Expressでのアクセスに変換する機能は、ホストブリッジ上に実装される。00hから3FhまではPCI2.3互換のコンフィグレーションヘッダとなっている。これにより、PCI Expressで拡張された機能以外であれば、従来のOSやソフトウェアをそのまま使用することができる。即ち、PCI Expressにおけるソフトウェア層は、既存のPCIと互換性を保ったロード・ストア・アーキテクチャ(プロセッサが直接I/Oレジスタをアクセスする方式)を継承している。しかし、PCI Expressで拡張された機能(例えば、同期転送やRAS(Reliability,Availability and Serviceability)などの機能)を使用するには、4KバイトのPCI Express拡張空間にアクセスできるようにする必要がある。   The first 256 bytes of the space can be accessed as a PCI configuration space by a method using an I / O port from a BIOS or a conventional OS. The function of converting the conventional access to the access by PCI Express is implemented on the host bridge. From 00h to 3Fh, it is a PCI2.3 compatible configuration header. As a result, a conventional OS and software can be used as they are except for functions extended by PCI Express. That is, the software layer in PCI Express inherits a load / store architecture (a method in which a processor directly accesses an I / O register) that is compatible with the existing PCI. However, in order to use functions extended by PCI Express (for example, functions such as synchronous transfer and RAS (Reliability, Availability and Serviceability)), it is necessary to make it possible to access a 4 Kbyte PCI Express expansion space.

なお、PCI Expressとしては様々なフォームファクタ(形状)が考えられるが、具体化している例としては、アドインカード、プラグインカード(Express Card)、Mini PCI Expressなどがある。   Although various form factors (shapes) can be considered as PCI Express, examples of specific examples include an add-in card, a plug-in card (Express Card), and Mini PCI Express.

[PCI Express のアーキテクチャの詳細]
PCI Express のアーキテクチャの中心となっているトランザクション層153、データリンク層154、物理層155について、各々詳細に説明する。
[PCI Express architecture details]
The transaction layer 153, data link layer 154, and physical layer 155, which are the core of the PCI Express architecture, will be described in detail.

A.トランザクション層153
トランザクション層153の主な役割は、前述したように、上位のソフトウェア層151と下位のデータリンク層154との間でトランザクションレイヤパケット(TLP)の組み立てと分解を行うことである。
A. Transaction layer 153
The main role of the transaction layer 153 is to assemble and disassemble transaction layer packets (TLP) between the upper software layer 151 and the lower data link layer 154 as described above.

a.アドレス空間とトランザクションタイプ
PCI Expressでは、従来のPCIでサポートされていたメモリ空間(メモリ空間とのデータ転送用)、I/O空間(I/O空間とのデータ転送用)、コンフィグレーション空間(デバイスのコンフィグレーションとセットアップ用)に加えて、メッセージ空間(PCI Expressデバイス間のインバンドでのイベント通知や一般的なメッセージ送信(交換)用…割り込み要求や確認は、メッセージを「仮想ワイヤ」として使用することにより伝達される)が追加され、4つのアドレス空間が定義されている。各々の空間に対してトランザクションタイプが定義されている(メモリ空間、I/O空間、コンフィグレーション空間は、リード/ライト、メッセージ空間は基本(ベンダ定義含む))。
a. Address space and transaction type
In PCI Express, memory space (for data transfer with memory space), I / O space (for data transfer with I / O space), and configuration space (device configuration and setup) supported by conventional PCI In addition to message space (in-band event notification between PCI Express devices and general message transmission (exchange) ... Interrupt requests and confirmations are communicated by using the message as a "virtual wire" And four address spaces are defined. Transaction types are defined for each space (memory space, I / O space, configuration space is read / write, and message space is basic (including vendor definition)).

b.トランザクションレイヤパケット(TLP)
PCI Expressは、パケット単位で通信を行う。図9に示したトランザクションレイヤパケット(TLP)のフォーマットにおいて、ヘッダのヘッダ長は3DW(DWはダブルワードの略;合計12バイト)又は4DW(16バイト)で、トランザクションレイヤパケット(TLP)のフォーマット(ヘッダ長とペイロードの有無)、トランザクションタイプ、トラフィッククラス(TC)、アトリビュートやペイロード長などの情報が含まれる。パケット内の最大ペイロード長は1024DW(4096バイト)である。
b. Transaction layer packet (TLP)
PCI Express performs communication in units of packets. In the transaction layer packet (TLP) format shown in FIG. 9, the header length of the header is 3DW (DW is an abbreviation of double word; total 12 bytes) or 4DW (16 bytes), and the transaction layer packet (TLP) format ( Information such as header length and presence / absence of payload), transaction type, traffic class (TC), attribute, and payload length are included. The maximum payload length in the packet is 1024 DW (4096 bytes).

ECRCは、エンドツーエンドのデータ完全性を保証するためのもので、トランザクションレイヤパケット(TLP)部分の32ビットCRCである。これは、スイッチ内部などでトランザクションレイヤパケット(TLP)にエラーが発生した場合、LCRC(リンクCRC)ではエラーを検出できないためである(エラーとなったTLPでLCRCが再計算されるため)。   ECRC is an end-to-end data integrity guarantee and is a 32-bit CRC of the transaction layer packet (TLP) portion. This is because when an error occurs in the transaction layer packet (TLP) inside the switch or the like, the LCRC (link CRC) cannot detect the error (because the LCRC is recalculated with the TLP in error).

リクエストは、完了パケットが不要なものと必要なものとがある。   Some requests do not require a completion packet, and some requests.

c.トラフィッククラス(TC)と仮想チャネル(VC)
上位のソフトウェアは、トラフィッククラス(TC)を使用することによりトラフィックの差別化(優先度をつける)を行うことができる。例えば、映像データをネットワークのデータよりも優先して転送する、といったことが可能となる。トラフィッククラス(TC)はTC0からTC7まで8つある。
c. Traffic class (TC) and virtual channel (VC)
Upper software can differentiate (prioritize) traffic by using a traffic class (TC). For example, video data can be transferred with priority over network data. There are eight traffic classes (TC) from TC0 to TC7.

仮想チャネル(VC:Vertual Channel)は、各々独立した仮想通信バス(同一のリンクを共用する複数の独立したデータ・フロー・バッファを使用するメカニズム)で、各々がリソース(バッファやキュー)を持ち、図11に示すように、独立したフロー制御を行う。これにより、1つの仮想チャネルのバッファが満杯の状態(full)になっても、他の仮想チャネルの転送を行うことができる。つまり、物理的には1つのリンクを仮想的な複数のチャネルに分けることで、有効に使用することができる。例えば、図11中に示すように、スイッチを経由してルートのリンクが複数のデバイスに分かれる場合、各デバイスのトラフィックの優先度を制御することができる。VC0は必須で、コストパフォーマンスのトレードオフに応じてその他の仮想チャネル(VC1〜VC7)が実装される。図11中の実線矢印は、デフォルト仮想チャネル(VC0)を示し、破線矢印はその他の仮想チャネル(VC1〜VC7)を示している。   A virtual channel (VC) is an independent virtual communication bus (a mechanism that uses a plurality of independent data flow buffers sharing the same link), each having resources (buffers and queues) As shown in FIG. 11, independent flow control is performed. Thereby, even if the buffer of one virtual channel becomes full (full), the transfer of another virtual channel can be performed. In other words, it can be effectively used by physically dividing one link into a plurality of virtual channels. For example, as shown in FIG. 11, when a route link is divided into a plurality of devices via a switch, the priority of traffic of each device can be controlled. VC0 is indispensable, and other virtual channels (VC1 to VC7) are mounted in accordance with the cost performance trade-off. The solid line arrow in FIG. 11 indicates the default virtual channel (VC0), and the broken line arrow indicates the other virtual channels (VC1 to VC7).

トランザクション層内では、トラフィッククラス(TC)が仮想チャネル(VC)にマッピングされる。1つの仮想チャネル(VC)に対して1つ又は複数のトラフィッククラス(TC)をマッピングできる(仮想チャネル(VC)の数が少ない場合)。単純な例では、各トラフィッククラス(TC)から各仮想チャネル(VC)に1対1、全てのトラフィッククラス(TC)を仮想チャネルVC0にマッピングする、といったことが考えられる。TC0−VC0のマッピングは、必須/固定で、それ以外のマッピングは上位のソフトウェアから制御される。ソフトウェアはトラフィッククラス(TC)を利用することで、トランザクションの優先度を制御することが可能となる。   Within the transaction layer, a traffic class (TC) is mapped to a virtual channel (VC). One or more traffic classes (TC) can be mapped to one virtual channel (VC) (when the number of virtual channels (VC) is small). In a simple example, it can be considered that each traffic class (TC) is mapped to each virtual channel (VC) on a one-to-one basis, and all traffic classes (TC) are mapped to the virtual channel VC0. The mapping of TC0-VC0 is essential / fixed, and the other mappings are controlled from the upper software. The software can control the priority of the transaction by using the traffic class (TC).

d.フロー制御
受信バッファのオーバーフローを避け、伝送順序を確立するためにフロー制御(FC:Flow Control)が行われる。フロー制御は、リンク間のポイントツーポイントで行われ、エンドツーエンドではない。従って、フロー制御により最終的な相手(コンプリータ)にパケットが届いたことを確認することはできない。
d. Flow control Flow control (FC) is performed in order to avoid overflow of the reception buffer and establish the transmission order. Flow control is done point-to-point between links, not end-to-end. Therefore, it cannot be confirmed that the packet has reached the final partner (completer) by flow control.

PCI Expressのフロー制御は、クレジット・ベースで行われる(データ転送を始める前に、受け取り側のバッファの空き状況を確認し、オーバーフロー、アンダフローが発生しないメカニズム)。即ち、受信側はリンク初期化時にバッファ容量(クレジット値)を送信側に通知し、送信側はクレジット値と送信するパケットの長さとを比較し、一定の残りがある場合のみパケットを送信する。このクレジットには6種類ある。   PCI Express flow control is performed on a credit basis (mechanism to check the buffer availability on the receiving side before starting data transfer and prevent overflow and underflow). That is, the receiving side notifies the transmitting side of the buffer capacity (credit value) at the time of link initialization, and the transmitting side compares the credit value with the length of the packet to be transmitted, and transmits the packet only when there is a certain remaining. There are six types of credits.

フロー制御の情報交換はデータリンク層のデータリンクレイヤパケット(DLLP)を使用して行われる。フロー制御はトランザクションレイヤパケット(TLP)のみに適用され、データリンクレイヤパケット(DLLP)には適用されない(DLLPは常時送受信可能)。   Flow control information exchange is performed using data link layer packets (DLLP) in the data link layer. The flow control is applied only to the transaction layer packet (TLP) and not to the data link layer packet (DLLP) (DLLP can always be transmitted / received).

B.データリンク層154
データリンク層154の主な役割は、前述したように、リンク上の2つのコンポーネント間での信頼性の高いトランザクションレイヤパケット(TLP)交換機能を提供することである。
B. Data link layer 154
The main role of the data link layer 154 is to provide a reliable transaction layer packet (TLP) exchange function between two components on the link, as described above.

a.トランザクションレイヤパケット(TLP)の扱い
トランザクション層153から受け取ったトランザクションレイヤパケット(TLP)に対しては、先頭に2バイトのシーケンス番号、末尾に4バイトのリンクCRC(LCRC)を付加して、物理層155に渡す(図9参照)。トランザクションレイヤパケット(TLP)は、リトライバッファに保管され、相手から受信確認(ACK)が届くまで再送される。トランザクションレイヤパケット(TLP)の送信に失敗が続いた場合は、リンク異常であると判断して物理層155に対してリンクの再トレーニングを要求する。リンクのトレーニングが失敗した場合、データリンク層154の状態はインアクティブに遷移する。
a. Handling of transaction layer packet (TLP) For the transaction layer packet (TLP) received from the transaction layer 153, a 2-byte sequence number at the beginning and a 4-byte link CRC (LCRC) at the end are added to the physical layer. To 155 (see FIG. 9). The transaction layer packet (TLP) is stored in the retry buffer and retransmitted until a reception confirmation (ACK) is received from the partner. When the transmission of the transaction layer packet (TLP) continues to fail, it is determined that the link is abnormal, and the physical layer 155 is requested to retrain the link. If link training fails, the state of the data link layer 154 transitions to inactive.

物理層155から受け取ったトランザクションレイヤパケット(TLP)は、シーケンス番号とリンクCRC(LCRC)が検査され、正常であればトランザクション層153に渡され、エラーがあった場合は再送を要求する。   The transaction layer packet (TLP) received from the physical layer 155 is inspected for the sequence number and the link CRC (LCRC). If normal, the transaction layer packet (TLP) is passed to the transaction layer 153. If there is an error, a retransmission is requested.

b.データリンクレイヤパケット(DLLP)
トランザクションレイヤパケット(TLP)は、物理層から送信されるときに自動的に図12に示すようなデータリンクレイヤパケット(DLLP)に分割されて各レーンに送信される。データリンク層154が生成するパケットは、データリンクレイヤパケット(DLLP)と呼ばれ、データリンク層154間でやり取りされる。データリンクレイヤパケット(DLLP)には、
・Ack/Nak:TLPの受信確認、リトライ(再送)
・InitFC1/InitFC2/UpdateFC:フロー制御の初期化とアップデート
・電源管理のためのDLLP
なる種類がある。
b. Data link layer packet (DLLP)
The transaction layer packet (TLP) is automatically divided into data link layer packets (DLLP) as shown in FIG. 12 and transmitted to each lane when transmitted from the physical layer. A packet generated by the data link layer 154 is called a data link layer packet (DLLP), and is exchanged between the data link layers 154. Data link layer packet (DLLP)
-Ack / Nak: TLP reception confirmation, retry (retransmission)
-InitFC1 / InitFC2 / UpdateFC: Flow control initialization and update-DLLLP for power management
There are different types.

図12に示すように、データリンクレイヤパケット(DLLP)の長さは6バイトで、種類を示すDLLPタイプ(1バイト)、DLLPの種類で固有の情報(3バイト)、CRC(2バイト)から構成される。   As shown in FIG. 12, the length of the data link layer packet (DLLP) is 6 bytes. From the DLLP type (1 byte) indicating the type, the information specific to the type of DLLP (3 bytes), and CRC (2 bytes) Composed.

C.物理層−論理サブブロック156
図8中に示す物理層155の論理サブブロック156での主な役割は、データリンク層154から受け取ったパケットを電気サブブロック157で送信できる形式に変換することである。また、物理層155を制御/管理する機能も有する。
C. Physical layer-logical sub-block 156
The main role of the physical layer 155 in the logical sub-block 156 shown in FIG. 8 is to convert the packet received from the data link layer 154 into a format that can be transmitted by the electrical sub-block 157. It also has a function of controlling / managing the physical layer 155.

a.データ符号化とパラレル−シリアル変換
PCI Expressは、連続した“0”や“1”が続かないように(長い期間、クロス・ポイントが存在しない状態が続かないようにするため)、データ符号化に8B/10B変換を用いる。変換されたデータは、図13中に示すように、シリアル変換され、LSBからレーン上に送信される。ここに、レーンが複数ある場合は(図13はx4リンクの場合を例示している)、符号化の前にデータがバイト単位で各レーンに割り振られる。この場合、一見パラレル・バスのようにみえるが、レーン毎に独立した転送を行うので、パラレル・バスで問題となるスキューが大幅に緩和される。
a. Data encoding and parallel-serial conversion
PCI Express uses 8B / 10B conversion for data encoding so that consecutive “0” s and “1” s do not continue (in order not to maintain a state where there is no cross point for a long period of time). The converted data is serial-converted and transmitted from the LSB onto the lane as shown in FIG. Here, when there are a plurality of lanes (FIG. 13 illustrates the case of x4 link), data is allocated to each lane in units of bytes before encoding. In this case, it looks like a parallel bus at first glance, but since the transfer is performed independently for each lane, the skew which is a problem with the parallel bus is greatly reduced.

b.電源管理とリンクステート
リンクの消費電力を低く抑えるために、図14に示すように、L0/L0s/L1/L2というリンクステートが定義されている。
b. Power Management and Link State In order to keep the power consumption of the link low, a link state of L0 / L0s / L1 / L2 is defined as shown in FIG.

L0が通常モードで、L0sからL2へと低消費電力となるが、L0への復帰にも時間がかかるようになる。図15に示すように、ソフトウェアによる電源管理に加えて、アクティブステート電源管理を積極的に行うことにより、消費電力を極力小さくすることが可能となる。   L0 is a normal mode, and power consumption is reduced from L0s to L2, but it takes time to return to L0. As shown in FIG. 15, by actively performing active state power management in addition to software power management, it is possible to reduce power consumption as much as possible.

D.物理層−電気サブブロック157
物理層155の電気サブブロック157での主な役割は、論理サブブロック156でシリアル化されたデータをレーン上に送信することと、レーン上のデータを受信して論理サブブロック156に渡すことである。
D. Physical layer—Electric sub-block 157
The main role of the physical layer 155 in the electrical sub-block 157 is to transmit the data serialized in the logical sub-block 156 onto the lane, and to receive the data on the lane and pass it to the logical sub-block 156. is there.

a.ACカップリング
リンクの送信側では、ACカップリング用のコンデンサが実装される。これにより、送信側と受信側のDCコモンモード電圧が同一である必要がなくなる。このため、送信側と受信側で異なる設計、半導体プロセス、電源電圧を使用することが可能となる。
a. AC coupling On the transmission side of the link, a capacitor for AC coupling is mounted. This eliminates the need for the DC common mode voltage on the transmission side and the reception side to be the same. For this reason, it is possible to use different designs, semiconductor processes, and power supply voltages on the transmission side and the reception side.

b.デエンファシス
PCI Expressでは、前述したように、8B/10Bエンコーディングによってできるだけ連続した“0”や“1”が続かないように処理されるが、連続した“0”や“1”が続くこともある(最大5回)。この場合、送信側はデエンファシス転送を行わなければならないことが規定されている。同一極性のビットが連続する場合は、2つ目のビットからは差動電圧レベル(振幅)を3.5±0.5dB落とすことで、受信側で受け取る信号のノイズ・マージンを稼ぐ必要がある。これを、デエンファシスという。伝送路の周波数依存性減衰のため、変化するビットの場合は高周波成分が多く、減衰により受信側の波形が小さくなるが、変化しないビットの場合は高周波成分が少なく、相対的に受信側の波形が大きくなる。このため、受信側での波形を一定とするためにデエンファシスを行う。
b. De-emphasis
In PCI Express, as described above, processing is performed so that continuous “0” and “1” do not continue as much as possible by 8B / 10B encoding, but continuous “0” and “1” may continue (maximum). 5 times). In this case, it is specified that the transmission side must perform de-emphasis transfer. When bits of the same polarity are consecutive, it is necessary to increase the noise margin of the signal received on the receiving side by dropping the differential voltage level (amplitude) from the second bit by 3.5 ± 0.5 dB. . This is called de-emphasis. Due to the frequency-dependent attenuation of the transmission line, there are many high-frequency components in the case of changing bits, and the waveform on the receiving side becomes small due to attenuation. Becomes larger. For this reason, de-emphasis is performed in order to make the waveform on the receiving side constant.

[データ転送システム]
本実施の形態のデータ転送システムは、プリンタのような画像出力装置やスキャナのような画像入力装置、さらには、これらを併せ持つデジタル複写機、MFP(Multi Function Peripheral)のような画像形成装置等の画像形成システムに適用されるものであって、前述したようなPCI Express規格に準拠する高速シリアルバスを利用するものである。
[Data transfer system]
The data transfer system according to the present embodiment includes an image output device such as a printer, an image input device such as a scanner, a digital copier having both of them, and an image forming device such as an MFP (Multi Function Peripheral). The present invention is applied to an image forming system and uses a high-speed serial bus conforming to the PCI Express standard as described above.

本実施の形態のデータ転送システムが適用される画像形成システムの一例を図16を参照して説明する。図16は、本実施の形態のデータ転送システムが適用される画像形成システムの各機器・デバイス等の接続の概要を示すブロック図である。当該画像形成システム1は、シリアルデータ転送にPCI Express規格のバスシステムを用いている。即ち、画像形成システム1の各部を集中的に制御するCPU11と、CPU11の作業エリアとなるメモリ12がPCI Express規格のルートコンプレックス(Root Complex)13に接続されている。また、ルートコンプレックス13とPCI Express規格のスイッチ(或いはスイッチ網)14とがPCI Express規格のシリアルバス15を介して接続されている。PCI Express規格のスイッチ(或いはスイッチ網)14には、PCI Express規格のエンドポイント(End Point)となる各種機器・デバイスが接続されている。即ち、画像データなどを記憶するハードディスク(HDD)ユニット21、画像メモリユニット22、及び、メモリユニット23、各種の画像処理を行なう画像処理ユニット24、外部のネットワークなどと通信を行なう高速ネットワーク25、画像入力エンジンとしてのスキャナ26、画像出力エンジンとしてのプロッタ27、画像入力エンジン、画像出力エンジンを併せ持つ他のMFP28などである。   An example of an image forming system to which the data transfer system of this embodiment is applied will be described with reference to FIG. FIG. 16 is a block diagram showing an outline of connections of devices, devices, etc. of an image forming system to which the data transfer system of the present embodiment is applied. The image forming system 1 uses a PCI Express standard bus system for serial data transfer. That is, a CPU 11 that centrally controls each unit of the image forming system 1 and a memory 12 that is a work area of the CPU 11 are connected to a root complex 13 of the PCI Express standard. A root complex 13 and a PCI Express standard switch (or switch network) 14 are connected via a PCI Express standard serial bus 15. The PCI Express standard switch (or switch network) 14 is connected to various devices and devices serving as PCI Express standard end points. That is, a hard disk (HDD) unit 21 that stores image data and the like, an image memory unit 22 and a memory unit 23, an image processing unit 24 that performs various image processing, a high-speed network 25 that communicates with an external network, etc. A scanner 26 as an input engine, a plotter 27 as an image output engine, an image input engine, another MFP 28 having an image output engine, and the like.

このような構成によれば、高速シリアルバスであるPCI Expressシステムを利用しているので、基本的にデータ転送の高速化を図れるが、それに加えて、PCI Express規格のエンドポイント(End Point)となる各種機器・デバイス21〜27間でのデータ転送の一層の高速化を図ることができる。即ち、各種機器・デバイス21〜27間のPCI Expressシステムはルートコンプレックス13を介することなくPCI Express規格のスイッチ(或いはスイッチ網)14を最上位とする木構造で接続されており、各種機器・デバイス21〜27間でのデータ転送がルートコンプレックス13を経ることなく行われるため、高速処理が可能となる。   According to such a configuration, since the PCI Express system, which is a high-speed serial bus, is used, the data transfer speed can be basically increased. In addition, the PCI Express standard end point (End Point) and Further speeding up of data transfer between the various devices / devices 21 to 27 can be achieved. That is, the PCI Express system between the various devices / devices 21 to 27 is connected through a tree structure having the PCI Express standard switch (or switch network) 14 as the highest level without going through the root complex 13. Since data transfer between 21 to 27 is performed without passing through the route complex 13, high-speed processing is possible.

ところで、図4および図5で説明したように、各ノード(各種機器・デバイス)21〜27間をスイッチ(或いはスイッチ網)14を介して接続するPCI Express規格のシリアルバス15は、各々性能の異なるもの(例えば、バス幅を示すレーン数がx8,x4.x2等)を使用可能とされており、各転送路の性能を変更することができるようになっている。しかしながら、PCI Expressでは、スイッチ(或いはスイッチ網)14を介した各ノード(各種機器・デバイス)21〜27間での平均転送レートは、経路中の最も細い転送路の性能(リンク幅・レーン数)に支配されるため、1個所のボトルネックがある場合には、その他の転送路をいくら広くしてもその効果は得られない。   4 and 5, the PCI Express standard serial bus 15 that connects the nodes (various devices / devices) 21 to 27 via the switch (or switch network) 14 has performance characteristics. Different ones (for example, the number of lanes indicating the bus width is x8, x4.x2, etc.) can be used, and the performance of each transfer path can be changed. However, in PCI Express, the average transfer rate between the nodes (various devices / devices) 21 to 27 via the switch (or switch network) 14 is the performance of the narrowest transfer path in the path (link width and number of lanes). Therefore, if there is one bottleneck, the effect cannot be obtained no matter how wide the other transfer paths are.

図17は、不必要に大きなレーン数を用いた接続例である。ここでは、同時に動作(データ転送)する複数のデータ転送経路が存在し、かつ1つ以上の同時に動作するシリアル転送路を共有する場合において、下記に示すデータ転送1とデータ転送2とを並行して処理する場合について考察する。
データ転送1:エンドポイント1とルートコンプレックス(メモリ)間
データ転送2:エンドポイント2とルートコンプレックス(メモリ)間
FIG. 17 is a connection example using an unnecessarily large number of lanes. Here, when there are a plurality of data transfer paths that operate simultaneously (data transfer) and one or more serial transfer paths that operate simultaneously are shared, data transfer 1 and data transfer 2 shown below are performed in parallel. Consider the case of processing.
Data transfer 1: Between endpoint 1 and root complex (memory) Data transfer 2: Between endpoint 2 and root complex (memory)

データ転送1における転送経路は、下記に示すような経路となっている。

エンドポイント1
↓ リンク1(レーン数x1)
スイッチ1
↓ リンク5(レーン数x4)
ルートコンプレックス
The transfer path in the data transfer 1 is as shown below.

Endpoint 1
↓ Link 1 (lane number x1)
Switch 1
↓ Link 5 (lane number x4)
Root complex

一方、データ転送2における転送経路は、下記に示すような経路となっている。

エンドポイント2
↓ リンク2(レーン数x1)
スイッチ1
↓ リンク5(レーン数x4)
ルートコンプレックス
On the other hand, the transfer path in the data transfer 2 is as shown below.

Endpoint 2
↓ Link 2 (lane number x1)
Switch 1
↓ Link 5 (lane number x4)
Root complex

このようにデータ転送1とデータ転送2とを並行して処理するような場合においては、リンク1とリンク2はともにレーン数x1であるので、リンク5の部分で同時動作したとしてもリンク5のレーン数はx2で充分であるにも関わらずレーン数がx4となっており、コスト高になっている。なお、リンク5のレーン数がx2より小さい場合は、転送レートが低下する。   Thus, when data transfer 1 and data transfer 2 are processed in parallel, both link 1 and link 2 have the number of lanes x1, so even if the link 5 portion operates simultaneously, the link 5 Although the number of lanes is x2, the number of lanes is x4, which increases the cost. Note that when the number of lanes of the link 5 is smaller than x2, the transfer rate decreases.

そこで、本実施の形態においては、上述したように複数の独立したデータ転送を並行して処理するエンドポイント(各機器・デバイス)を接続する場合、上流のPCI Express規格のシリアルバス15のリンク幅と下流のPCI Express規格のシリアルバス15のリンク幅の組み合わせをデータ転送量の最大値で決定する。   Therefore, in the present embodiment, when connecting endpoints (each device / device) that processes a plurality of independent data transfers in parallel as described above, the link width of the upstream PCI Express standard serial bus 15 is connected. And the link width of the downstream PCI Express standard serial bus 15 is determined by the maximum data transfer amount.

図18は、最適なレーン数を用いた接続例である。データ転送1における転送経路は、下記に示すような経路となっている。

エンドポイント1
↓ リンク1(レーン数x1)
スイッチ1
↓ リンク5(レーン数x2)
ルートコンプレックス
FIG. 18 is a connection example using the optimum number of lanes. The transfer path in the data transfer 1 is as shown below.

Endpoint 1
↓ Link 1 (lane number x1)
Switch 1
↓ Link 5 (lane number x2)
Root complex

一方、データ転送2における転送経路は、下記に示すような経路となっている。

エンドポイント2
↓ リンク2(レーン数x1)
スイッチ1
↓ リンク5(レーン数x2)
ルートコンプレックス
On the other hand, the transfer path in the data transfer 2 is as shown below.

Endpoint 2
↓ Link 2 (lane number x1)
Switch 1
↓ Link 5 (lane number x2)
Root complex

このようにデータ転送1とデータ転送2とを並行して処理するような場合においては、リンク1とリンク2はともにレーン数x1であるので、リンク5の部分で同時動作を考慮した場合、リンク5のレーン数はx2とするのが良い。すなわち、同時に動作するシリアル転送路のレーン数が、それぞれのデータ転送経路中の最も小さいレーン数を加算したレーン数である。レーン数がx2より小さい場合は転送レートが低下し、レーン数がx2より大きい場合はコスト高になる。   When data transfer 1 and data transfer 2 are processed in parallel in this way, both link 1 and link 2 have the number of lanes x1, so when considering the simultaneous operation in the link 5 portion, the link The number of 5 lanes should be x2. That is, the number of lanes of the serial transfer path operating simultaneously is the number of lanes obtained by adding the smallest number of lanes in each data transfer path. When the number of lanes is smaller than x2, the transfer rate decreases, and when the number of lanes is larger than x2, the cost becomes high.

このように本実施の形態によれば、スイッチから木構造の上位側に位置するノード(スイッチまたはルートコンプレックス)に至るデータ転送経路を形成する高速シリアルバスのリンクのレーン数を、エンドポイントからスイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とすることにより、一のスイッチに対する複数のエンドポイントからのトランザクション(データ転送)が同時に発生するような場合であっても、同時動作によるボトルネックを解消することができるので、余分なレーン数を用いることなく、複数のデータ転送が重なった場合にも転送レートが低下することのないデータ転送システムを提供することができる。   As described above, according to the present embodiment, the number of lanes of the high-speed serial bus link forming the data transfer path from the switch to the node (switch or root complex) located on the upper side of the tree structure is changed from the end point to the switch. Transactions (data transfer) from multiple endpoints to one switch occur simultaneously by adding the number of lanes that satisfy the maximum value of each data transfer amount sent through each data transfer path leading to Even in such a case, the bottleneck due to the simultaneous operation can be eliminated, so the data that does not decrease the transfer rate even when multiple data transfers overlap without using the extra lane number. A transfer system can be provided.

[第2の実施の形態]
次に、本発明の第2の実施の形態を図19に基づいて説明する。なお、前述した第1の実施の形態と同じ部分は同じ符号で示し説明も省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG. The same parts as those in the first embodiment described above are denoted by the same reference numerals, and description thereof is also omitted.

第1の実施の形態においては、複数の独立したデータ転送を並行して処理するエンドポイント(各機器・デバイス)を接続する場合について説明したが、本実施の形態においては、データ転送を同時に発生することがないエンドポイント(各機器・デバイス)が接続されている場合について説明する。   In the first embodiment, a case has been described in which endpoints (each device / device) that process a plurality of independent data transfers in parallel are connected. However, in this embodiment, data transfer occurs simultaneously. A case where endpoints (devices / devices) that are not connected are connected will be described.

データ転送を同時に発生することがないエンドポイント(各機器・デバイス)が接続されている場合、同時動作を考慮する必要がないことから、上流のPCI Express規格のシリアルバス15のリンク幅と下流のPCI Express規格のシリアルバス15のリンク幅とは、データ転送量の最大値で決定すれば良い。すなわち、データ転送経路上の全てのレーン数を、データ転送量の最大値で等しくすれば良い。   When endpoints (each device / device) that do not generate data transfer at the same time are connected, it is not necessary to consider the simultaneous operation. Therefore, the link width of the upstream PCI Express standard serial bus 15 and the downstream The link width of the serial bus 15 of the PCI Express standard may be determined by the maximum data transfer amount. That is, the number of all lanes on the data transfer path may be equalized with the maximum data transfer amount.

図19は、最適なレーン数を用いた接続例である。データ転送1における転送経路は、下記に示すような経路となっている。

エンドポイント1
↓ リンク1(レーン数x1)
スイッチ1
↓ リンク5(レーン数x1)
ルートコンプレックス
FIG. 19 is a connection example using the optimum number of lanes. The transfer path in the data transfer 1 is as shown below.

Endpoint 1
↓ Link 1 (lane number x1)
Switch 1
↓ Link 5 (lane number x1)
Root complex

一方、データ転送2における転送経路は、下記に示すような経路となっている。

エンドポイント2
↓ リンク2(レーン数x1)
スイッチ1
↓ リンク5(レーン数x1)
ルートコンプレックス
On the other hand, the transfer path in the data transfer 2 is as shown below.

Endpoint 2
↓ Link 2 (lane number x1)
Switch 1
↓ Link 5 (lane number x1)
Root complex

このようにデータ転送を同時に発生することがないエンドポイント(各機器・デバイス)が接続されている場合においては、リンク1とリンク2はともにレーン数x1であるので、リンク5の部分で同時動作を考慮する必要がないことから、リンク5のレーン数はx1とすれば良い。   When endpoints (devices / devices) that do not generate data transfer at the same time are connected in this way, both link 1 and link 2 have the number of lanes x1, so the link 5 portion operates simultaneously. Therefore, the number of lanes in the link 5 may be set to x1.

このように本実施の形態によれば、各エンドポイントからスイッチに至るデータ転送経路および当該スイッチから木構造の上位側に位置するノード(スイッチまたはルートコンプレックス)に至るデータ転送経路を形成する高速シリアルバスのリンクの全てのレーン数を、データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一することにより、1つのデータ転送に関するデータ転送経路上のすべてのデータ転送路のレーン数を、所望の転送レートが得られるレーン数で等しくそろえることで、コスト性能を最適化することができる。   As described above, according to the present embodiment, a high-speed serial forming a data transfer path from each end point to a switch and a data transfer path from the switch to a node (switch or root complex) positioned on the upper side of the tree structure. By unifying the number of all lanes of the bus link to the number of lanes that satisfy the maximum value of the data transfer amount to be transmitted on the data transfer route, the lanes of all data transfer routes on the data transfer route related to one data transfer Cost performance can be optimized by aligning the numbers equally with the number of lanes at which the desired transfer rate is obtained.

既存PCIシステムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the existing PCI system. PCI Expressシステムの構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of a PCI Express system. デスクトップ/モバイルでのPCI Expressプラットホームの構成例を示すブロック図である。It is a block diagram which shows the structural example of the PCI Express platform in desktop / mobile. x4の場合の物理層の構造例を示す模式図である。It is a schematic diagram which shows the structural example of the physical layer in the case of x4. デバイス間のレーン接続例を示す模式図である。It is a schematic diagram which shows the example of lane connection between devices. スイッチの論理的構造例を示すブロック図である。It is a block diagram which shows the logical structural example of a switch. 既存のPCIのアーキテクチャを示すブロック図である。It is a block diagram which shows the architecture of the existing PCI. PCI Expressのアーキテクチャを示すブロック図である。It is a block diagram which shows the architecture of PCI Express. PCI Expressの階層構造を示すブロック図である。It is a block diagram which shows the hierarchical structure of PCI Express. トランザクションレイヤパケットのフォーマット例を示す説明図である。It is explanatory drawing which shows the format example of a transaction layer packet. PCI Expressのコンフィグレーション空間を示す説明図である。It is explanatory drawing which shows the configuration space of PCI Express. 仮想チャネルの概念を説明するための模式図である。It is a schematic diagram for demonstrating the concept of a virtual channel. データリンクレイヤパケットのフォーマット例を示す説明図である。It is explanatory drawing which shows the format example of a data link layer packet. x4リンクでのバイトストライピング例を示す模式図である。It is a schematic diagram which shows the byte striping example in x4 link. L0/L0s/L1/L2というリンクステートの定義について説明する説明図である。It is explanatory drawing explaining the definition of the link state of L0 / L0s / L1 / L2. アクティブステート電源管理の制御例を示すタイムチャートである。It is a time chart which shows the example of control of active state power management. 本発明の第1の実施の形態のデータ転送システムが適用される画像形成システムの各機器・デバイス等の接続の概要を示すブロック図である。1 is a block diagram showing an outline of connections of devices, devices, etc. of an image forming system to which a data transfer system according to a first embodiment of the present invention is applied. 不必要に大きなレーン数を用いた接続例を示す模式図である。It is a schematic diagram which shows the example of a connection using an unnecessarily large number of lanes. 最適なレーン数を用いた接続例を示す模式図である。It is a schematic diagram which shows the example of a connection using the optimal number of lanes. 本発明の第2の実施の形態の最適なレーン数を用いた接続例を示す模式図である。It is a schematic diagram which shows the example of a connection using the optimal number of lanes of the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1 データ転送システム
15 高速シリアルバス
14 スイッチ
21〜27 エンドポイント
1 Data transfer system 15 High-speed serial bus 14 Switch 21-27 Endpoint

Claims (3)

木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対してデータ転送を行なうデータ転送システムにおいて、
前記スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクのレーン数を、前記エンドポイントから前記スイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とする、
ことを特徴とするデータ転送システム。
As a data communication network with a tree structure, a point-to-point independent transmission / reception channel is established, and multiple endpoints are connected to one switch by using a high-speed serial bus that can select any number of lanes. In the data transfer system for transferring data from the respective endpoints to the switch,
The number of lanes of the link of the high-speed serial bus that forms a data transfer path from the switch to a node positioned on the upper side of the tree structure, and each data transmitted through each data transfer path from the endpoint to the switch The number of lanes that satisfy the maximum transfer amount is added to each lane.
A data transfer system characterized by that.
木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより、一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対するデータ転送は同時に行なわれることがないデータ転送システムにおいて、
前記各エンドポイントから前記スイッチに至るデータ転送経路および当該スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクの全てのレーン数を、前記データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一する、
ことを特徴とするデータ転送システム。
A tree-structured data communication network establishes a point-to-point independent communication channel and uses a high-speed serial bus that can select any number of lanes to connect multiple endpoints to a single switch. In the data transfer system in which data transfer from each endpoint to the switch is not performed simultaneously,
The number of all lanes of the link of the high-speed serial bus that forms a data transfer path from each end point to the switch and a data transfer path from the switch to a node located on the upper side of the tree structure is determined by the data transfer. Unify routes to the number of lanes that meet the maximum amount of data transferred.
A data transfer system characterized by that.
前記高速シリアルバスは、PCI Express 規格の高速シリアルバスである、
ことを特徴とする請求項1または2記載のデータ転送システム。
The high-speed serial bus is a PCI Express standard high-speed serial bus.
The data transfer system according to claim 1 or 2, characterized in that
JP2006046296A 2006-02-23 2006-02-23 Data transfer system Pending JP2007226494A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006046296A JP2007226494A (en) 2006-02-23 2006-02-23 Data transfer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006046296A JP2007226494A (en) 2006-02-23 2006-02-23 Data transfer system

Publications (1)

Publication Number Publication Date
JP2007226494A true JP2007226494A (en) 2007-09-06

Family

ID=38548262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006046296A Pending JP2007226494A (en) 2006-02-23 2006-02-23 Data transfer system

Country Status (1)

Country Link
JP (1) JP2007226494A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259217A (en) * 2008-03-18 2009-11-05 Ricoh Co Ltd Data processing circuit, power saving method, power saving program, recording medium, and apparatus
JP2011154609A (en) * 2010-01-28 2011-08-11 Mitsubishi Electric Corp Data transfer apparatus
JP2014211767A (en) * 2013-04-18 2014-11-13 富士通株式会社 Information processing system, control apparatus, and method of controlling information processing system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259217A (en) * 2008-03-18 2009-11-05 Ricoh Co Ltd Data processing circuit, power saving method, power saving program, recording medium, and apparatus
JP2011154609A (en) * 2010-01-28 2011-08-11 Mitsubishi Electric Corp Data transfer apparatus
JP2014211767A (en) * 2013-04-18 2014-11-13 富士通株式会社 Information processing system, control apparatus, and method of controlling information processing system

Similar Documents

Publication Publication Date Title
JP4928732B2 (en) Data transfer system and electronic device
JP5108261B2 (en) Information processing apparatus and data communication apparatus
JP4704050B2 (en) Data transfer system and electronic device
JP2006195871A (en) Communication device, electronic equipment and image forming device
JP4564855B2 (en) Data transfer system and electronic device
JP2007087082A (en) Information processor and option device sharing method
JP2008172727A (en) Control apparatus and image processing system
JP4308680B2 (en) Image forming apparatus
JP2008204245A (en) Data communication device, image processing system and data communication method
JP4287325B2 (en) Imaging system
JP4564740B2 (en) Imaging equipment system
JP4777723B2 (en) Information processing system, program, and data transfer method
JP4928715B2 (en) Serial data transfer device, image output device, image input device, and image forming device
JP2006092286A (en) Data transfer device and image forming system
JP4828899B2 (en) Information processing apparatus and storage device sharing method
JP5218377B2 (en) Image forming system
JP2007226494A (en) Data transfer system
JP2005354658A (en) Image formation system
JP4824422B2 (en) Control device, image processing system, and data transfer path switching method
JP4476088B2 (en) Data transfer apparatus and image forming system
JP4603336B2 (en) Data transfer system, image forming system, and data transfer method
JP4690828B2 (en) Information processing system, program, and packet communication method
JP2005346629A (en) Image processing apparatus
JP2007282187A (en) Information processor, information processing system, and data communication method
JP2007241882A (en) Data communication device, and image forming system