JP2016170558A - Ｉ／ｏデバイス仮想化装置、システムおよび帯域保証制御方法 - Google Patents

Abstract

【課題】 コンピューティング内部信号を外部ネットワークにおいて低遅延で帯域制御し、複数のホスト間でＩ／Ｏデバイスを論理的にも公平に共有する。【解決手段】 Ｉ／Ｏデバイス仮想化装置は、接続仮想化手段と帯域制御手段と、を備える。接続仮想化手段は、複数のホストとネットワークを介して接続され、該複数のホストにより共有されるＩ／Ｏデバイスとの間の通信においてＩ／Ｏデバイスを仮想化する。帯域制御手段は、設定された帯域制御パラメータに基づいて、複数のホストとＩ／Ｏデバイスとの間のネットワークを介したＰＣＩｅ（Peripheral Component Interconnect express）パケット通信を監視して、複数のホストのそれぞれに対して設定された所定の通信帯域の割当を保証する帯域制御を実行する。【選択図】 図１

Description

本発明は、Ｉ／Ｏ（入出力）デバイス仮想化装置、システムおよび帯域保証制御方法に関し、特に、単一のＩ／Ｏデバイスを複数のホストで共有するＩ／Ｏデバイス仮想化装置、システムおよび帯域保証制御方法に関する。

Ｉ／Ｏデバイスを共有するシステムは、仮想化という昨今登場した新しいテクノロジーを拡張し、アドレス変換によりホストから見えるＩ／Ｏデバイスを仮想的な装置とすることで、あたかも各ホストが同時に共有しているように見せる技術である。

特に、ＳＲ-ＩＯＶ（Single-Root I/O Virtualization）規格は、ホスト間でのＰＣＩｅ（Peripheral Component Interconnect express）デバイスの効率的な共有を可能にする技術であり、ホストのデバイスパフォーマンスを改善する。ＳＲ-ＩＯＶはシングルルート機能を複数の別個の物理デバイスのように見せることができ、各ホストは一意のリソースにアクセスすることができる。

このようなＳＲ-ＩＯＶ対応のＩ／Ｏデバイスを用いた共有システムが特許文献１や特許文献２に開示されている。

特許文献１は、Ｉ／Ｏデバイスを複数のコンピュータ間で共有するためにアドレス空間の管理方法を改良し、オペレーティングシステムやデバイスドライバの変更を行なうことなくＩ／Ｏデバイスの共有を可能にするシステムを開示する。特許文献１では、複数のコンピュータとＳＲ-ＩＯＶ対応のＩ／Ｏデバイスとの間にＩ／Ｏ仮想化デバイスを設ける。Ｉ／Ｏ仮想化デバイスは、Ｉ／Ｏデバイスに独自の単一アドレス空間を形成し、個々のコンピュータのアドレス空間にこのＩ／Ｏデバイスのアドレス空間をマッピングするように構成されている。

特許文献２は、複数のコンピュータとＳＲ-ＩＯＶ対応Ｉ／Ｏデバイスとの間に設置するＩ／Ｏ仮想化ブリッジにおけるＩ／Ｏデバイスの管理を単純化する技術である。Ｉ／Ｏ仮想化ブリッジはＳＲ-ＩＯＶ対応Ｉ／Ｏデバイスを仮想化するための装置である。Ｉ／Ｏデバイスの管理としては、Ｉ／Ｏデバイスに必要なそれぞれ固有の設定処理がある。特許文献２では、ネットワークで接続されたシステムマネージャを設ける。そして、Ｉ／Ｏデバイスに共通する管理だけをＩ／Ｏ仮想化ブリッジで行い、個別のＩ／Ｏデバイスに依存する処理は、Ｉ／Ｏデバイスの製造者から提供されるソフトウェアを用いて、システムマネージャから行うように構成されている。

また、特許文献３には、通信網を構成するネットワークエレメントの輻輳予兆状態を迅速に検出可能な輻輳制御システムが開示されている。特許文献３が開示する輻輳制御システムでは、複数のネットワーク装置が自装置のトラヒック情報に基づいて輻輳予兆情報をトラヒックコントロール装置に通知する。トラヒックコントロール装置は、該輻輳予兆情報に基づいて輻輳予兆状態にあるネットワーク装置に対して通信規制命令を発動して輻輳を抑制するように動作する。

国際公開第２００９／０２５３８１号 国際公開第２０１３／１５０７９２号 特開２００４−１７２７５５号公報

仮想化のテクノロジーは、新しい技術であるがゆえに使用するうえでの課題が多い。

例えば、特許文献１や特許文献２が開示する技術では、各ホスト間の通信量の偏りや輻輳を抑制するメカニズムが考慮されていない。つまり、特許文献１や特許文献２が開示する技術は、Ｉ／Ｏデバイスを共有する各ホストは同時に通信経路も共有しているが、経路の通信帯域を保証する機構がない。そのため、それぞれのホストが処理に必要な帯域を確保したり、また、システム管理者が意図的にホスト処理負荷に応じた通信帯域を割り当てたりすることが出来ない。

また、インタフェース信号速度の高速化により、外部ネットワークにコンピューティングシステムの内部信号を直接送れるようになったが、外部ネットワークでコンピューティング内部信号を低遅延で帯域制御できるような仕組みがない。

ホストとＳＲ-ＩＯＶ対応Ｉ／Ｏデバイスとの間ではＰＣＩｅ（Peripheral Component Interconnect express）パケットが使用される。ＰＣＩｅ規格は広範囲なコンピュータプラットフォームや通信プラットフォームを対象として定義された高性能汎用Ｉ／Ｏインタコネクトである。

例えば、特許文献３が開示する輻輳制御システムは、コンピューティングシステムのＰＣＩｅ規格による内部信号を、ネットワークを介して送受信することが意識されていない。そのため、特許文献３が開示するような輻輳制御システムでは、ナノ秒単位での調整が求められるコンピューティング内部信号を送受信すると、再送が多発し、安定的なシステム運用ができない。

本発明は、コンピューティングシステムの内部信号を外部ネットワークにおいて低遅延で帯域制御し、複数のホスト間でＩ／Ｏデバイスを論理的に公平に共有するＩ／Ｏデバイス仮想化装置、システムおよび帯域保証制御方法を提供する。

上記の目的を実現するために、本発明の一形態であるＩ／Ｏデバイス仮想化装置は、複数のホストとネットワークを介して接続され、該複数のホストにより共有されるＩ／Ｏ（入出力）デバイスとの間の通信において前記Ｉ／Ｏデバイスを仮想化する接続仮想化手段と、設定された帯域制御パラメータに基づいて、前記複数のホストと前記Ｉ／Ｏデバイスとの間のネットワークを介したＰＣＩｅ（Peripheral Component Interconnect express）パケット通信を監視して、前記複数のホストのそれぞれに対して設定された所定の通信帯域の割当を保証する帯域制御を実行する帯域制御手段と、を含むことを特徴とする。

また、本発明の他の形態であるＩ／Ｏデバイス共有システムは、複数のホストと、前記複数のホストにより共有されるＩ／Ｏ（入出力）デバイスと、上記に記載のＩ／Ｏデバイス仮想化装置と、前記Ｉ／Ｏデバイス仮想化装置に前記帯域制御パラメータを設定するシステム管理装置と、を含むことを特徴とする。

さらに、本発明の別の形態である帯域保証制御方法は、複数のホストと該複数のホストにより共有されるＩ／Ｏ（入出力）デバイスとの間の通信において前記Ｉ／Ｏデバイスを仮想化するＩ／Ｏデバイス仮想化装置に、前記複数のホストと前記Ｉ／Ｏデバイスとの間のネットワークを介したＰＣＩｅ（Peripheral Component Interconnect express）パケット通信の帯域制御パラメータを設定し、前記複数のホストと前記Ｉ／Ｏデバイスとの間の前記ＰＣＩｅパケット通信を監視して、前記Ｉ／Ｏデバイス仮想化装置が前記帯域制御パラメータに基づいて、前記複数のホストのそれぞれに対して設定された所定の通信帯域の割当を保証する帯域制御を実行することを特徴とする。

本発明は、コンピューティングシステムの内部信号を外部ネットワークにおいて低遅延で帯域制御し、複数のホスト間でＩ／Ｏデバイスを論理的に公平に共有することができる。

本発明のＩ／Ｏデバイス仮想化装置とそれを含んだＩ／Ｏデバイス共有システムの第１の実施形態の構成を示すブロック図である。 本発明の帯域保証制御方法の第１の実施形態の動作を示すフロー図である。 本発明のＩ／Ｏデバイス仮想化装置とそれを含んだＩ／Ｏデバイス共有システムの第２の実施形態の構成を示すブロック図である。 帯域制御部の構成を示すブロック図である。 本発明の帯域保証制御方法の第２の実施形態の動作を示すフロー図である。 ＰＣＩｅにおけるＤＭＡ（Direct Memory Access）リード要求時のデータフローを示す概念図である。 ＴＬＰ（Transaction Layer Packet）のサイズを規定する最大リード要求長（ＭＲＲＳ：Max Read Request Size）とＴＬＰセグメントパケットの最大ペイロード長（ＭＰＳ：Max Payload Size）の関係を示す概念図である。 ＴＬＰセグメントパケット間に挿入するアイドルサイクルの概要を示す概念図である。 ＴＬＰセグメントパケットの転送にかかわるクロックサイクルを示す概念図である。 帯域制御実行通知と帯域制御解除通知に基づく帯域制御の実行と解除の制御タイミングの例を示す概念図である。 Ｉ／Ｏデバイスがネットワーク上に複数配置された場合にＩ／Ｏデバイスを単位として共有Ｉ／Ｏグループを構成する利用形態を示す概念図である。

本発明を実施するための形態について図面を参照して説明する。

尚、実施の形態は例示であり、開示の装置及びシステムは、以下の実施の形態の構成には限定されない。
（第１の実施形態）
図１は、本発明のＩ／Ｏデバイス仮想化装置とそれを含んだＩ／Ｏデバイス共有システムの第１の実施形態の構成を示すブロック図である。

第１の実施形態のＩ／Ｏデバイス仮想化装置１０は、接続仮想化手段１０１と帯域制御手段１００を含む構成になっている。

接続仮想化手段１０１は、複数のホスト３０とネットワーク４０を介して接続され、該複数のホスト３０により共有されるＩ／Ｏ（入出力）デバイス２０との間の通信においてＩ／Ｏデバイスを仮想化する。

帯域制御手段１００は、設定された帯域制御パラメータに基づいて、複数のホスト３０とＩ／Ｏデバイス２０との間のネットワーク４０を介したＰＣＩｅ（Peripheral Component Interconnect express）パケット通信を監視する。そして、帯域制御手段１００は、複数のホスト３０のそれぞれに対して設定された所定の通信帯域の割当を保証する帯域制御を実行する。

また、第１の実施形態のＩ／Ｏデバイス共有システム１は、複数のホスト３０と、複数のホスト３０により共有されるＩ／Ｏデバイス２０と、上記に記載のＩ／Ｏデバイス仮想化装置１０と、システム管理装置５０とを含んで構成される。システム管理装置５０は、Ｉ／Ｏデバイス仮想化装置１０に帯域制御パラメータを設定する。

図２は、本発明の帯域保証制御方法の第１の実施形態の動作を示すフロー図である。

本発明の帯域保証制御方法の第１の実施形態は、次のように動作する。

複数のホストと該複数のホストにより共有されるＩ／Ｏデバイスとの間の通信においてＩ／Ｏデバイスを仮想化するＩ／Ｏデバイス仮想化装置に、複数のホストとＩ／Ｏデバイスとの間の通信の帯域制御パラメータを設定する（Ｓ１０１）。複数のホストとＩ／Ｏデバイスとの間の通信は、ネットワークを介したＰＣＩｅ（Peripheral Component Interconnect express）パケット通信である。

複数のホストとＩ／Ｏデバイスとの間のＰＣＩｅパケット通信を監視して、Ｉ／Ｏデバイス仮想化装置が帯域制御パラメータに基づいて、複数のホストのそれぞれに対して設定された所定の通信帯域の割当を保証する帯域制御を実行する（Ｓ１０２）。

以上のように、本実施形態では、帯域制御手段１００を配備したＩ／Ｏデバイス仮想化装置１０により、各ホスト３０が使用する帯域の占有率（使用割合）をリアルタイムで制御することができる。しかも、帯域制御手段１００は設定された帯域制御パラメータに基づいて自律で帯域制御を実行するので、ネットワーク４０を介したＰＣＩｅパケット通信の低遅延での帯域制御が可能となる。そのため、ホスト間の帯域使用割合が適正化されて、Ｉ／Ｏデバイスを物理的に共有するのみならず、論理的にも公平に複数のホスト間で共有することができる。
（第２の実施形態）
次に第２の実施形態を説明する。

図３は、本発明のＩ／Ｏデバイス仮想化装置とそれを含んだＩ／Ｏデバイス共有システムの第２の実施形態の構成を示すブロック図である。

第２の実施形態のＩ／Ｏデバイス仮想化装置であるＩ／Ｏ仮想化ブリッジ１１は、接続仮想化手段として、ネットワーク接続部１１１、パケット転送部１１２、アドレス変換部１１３および接続仮想化部１１４を含む。これらの構成は、第１の実施形態の接続仮想化手段１０１に相当する。また、Ｉ／Ｏ仮想化ブリッジ１１は、第１の実施形態の帯域制御手段１００に相当する構成として、パラメータブロック１２０、帯域管理ブロック１３０および帯域監視ブロック１４０を含む帯域制御部１１０を備える。

ネットワーク接続部１１１、パケット転送部１１２、アドレス変換部１１３、接続仮想化部１１４、パラメータブロック１２０、帯域管理ブロック１３０および帯域監視ブロック１４０の機能については後述する。

上記の構成を備えたＩ／Ｏ仮想化ブリッジ１１を含む本発明の第２の実施形態のＩ／Ｏデバイス共有システム２は、複数のホスト３１、システムマネージャ５１および該Ｉ／Ｏ仮想化ブリッジ１１がネットワーク４１を介して接続される。そして、Ｉ／Ｏ仮想化ブリッジ１１は、ＳＲ−ＩＯＶ（Single-Root I/O Virtualization）規格に準拠するＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１と接続される。該ＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１は、Ｉ／Ｏ仮想化ブリッジ１１により仮想化されて、複数のホスト３１により共有される。

各ホスト３１は、プログラムに従って動作するＣＰＵ（Central Processing Unit）と該プログラムやデータを格納するメモリ、ホストＰＣＩｅブリッジおよびルートコンプレックスを含む構成となっている。ルートコンプレックスは、ＣＰＵとホストＰＣＩｅブリッジとを接続する機能部である。そして、ホストＰＣＩｅブリッジは、ホスト３１のＩ／ＯバスであるＰＣＩｅバスをネットワーク４１に接続する機能部である。ホストＰＣＩｅブリッジは、ＰＣＩｅパケットのネットワークパケットへのカプセル化と、ネットワークパケットにカプセル化されたＰＣＩｅパケットのデカプセル化を行う。

システムマネージャ５１は、上記のホスト３１の構成と同様の構成を有し、帯域管理ソフトウェアを備えて、帯域制御に必要とされる各種のパラメータをＩ／Ｏ仮想化ブリッジ１１の帯域制御部１１０に設定する。

ＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１は、ＰＦ（Physical Function：物理機能）と複数のＶＦ（Virtual Function：仮想機能）１乃至ＶＦＮ（Ｎは２以上の自然数）を含む構成となっている。

ＰＦは、ＳＲ−ＩＯＶ機能を管理してデバイスを制御するインタフェースである。ＰＦは、当該デバイスの設定情報を保持するＰＦ ＣＦＧ ＲＥＧ（ＰＦ構成レジスタ）を有する。ＶＦは、Ｉ／Ｏデバイスの機能を提供するインタフェースであり、ＰＦやＰＦに関連付けられた他のＶＦと１つ以上の物理リソースを共有する。

接続仮想化手段として機能するネットワーク接続部１１１、パケット転送部１１２、アドレス変換部１１３および接続仮想化部１１４について説明する。

上記のシステム構成において、ホスト３１では、ＣＰＵがＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１の中のＶＦにアクセス命令を発行すると、ルートコンプレックスが、ＶＦがマッピングされるメモリアドレス宛てのＰＣＩｅパケットを作成して送信する。ホストＰＣＩｅブリッジは、ＰＣＩｅパケットをネットワークパケットにカプセル化してネットワーク４１に送信する。

ネットワーク４１と接続されたネットワーク接続部１１１は、ホスト３１が送信したネットワークパケットを受信し、該ネットワークパケットをデカプセル化してＰＣＩｅパケットを取り出す。そして、取り出されたＰＣＩｅパケットは帯域制御部１１０を経由してパケット転送部１１２に転送される。なお、逆方向の通信でＰＣＩｅパケットをホスト３１に送信する場合には、ネットワーク接続部１１１は、送信すべきＰＣＩｅパケットをネットワークパケットにカプセル化してネットワーク４１に送信する。

パケット転送部１１２は、受信したＰＣＩｅパケットをアドレス変換部１１３に転送する。

接続仮想化部１１４は、ＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１に関する設定を行う。

接続仮想化部１１４は、ＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１がホスト３１から使用される前に、ＰＦのＰＦ ＣＦＧ ＲＥＧ（ＰＦ構成レジスタ）にアクセスしてＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１の設定を行う。このとき、ＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１のＶＦ１乃至ＶＦＮのアドレス設定を行う。

アドレス変換部１１３は、各ホスト３１と各ＶＦとの間で送受信されるＩ／ＯパスのＰＣＩｅパケットに記載されたアドレスに関して、各ホスト３１が設定したアドレスと、接続仮想化部１１４が設定したアドレスの変換を行う。

帯域制御部１１０のパラメータブロック１２０、帯域管理ブロック１３０および帯域監視ブロック１４０の機能について説明する。

パラメータブロック１２０は、システムマネージャ５１が設定する帯域制御に関するパラメータを格納するレジスタであり、システムマネージャ５１から直接制御されて書き込まれる。格納されたパラメータは帯域監視ブロック１４０および帯域管理ブロック１３０から参照される。

帯域監視ブロック１４０は、帯域制御部１１０を通過するＩ／Ｏパスの通信量をモニタして帯域の使用状況を監視する。Ｉ／Ｏパスの輻輳状態を検知し、しかもホスト間での帯域使用が公平になっていないことを判定した場合に、帯域監視ブロック１４０は、帯域管理ブロック１３０に帯域制御の実行を指示する。

なお、システム運用者は、ホスト間に割り当てる帯域を意図的に偏らせるように設定することもあり得る。そのため、帯域監視ブロック１４０は、帯域の使用状況がシステムマネージャ５１から設定された状態から逸脱していると判定した場合にも、帯域管理ブロック１３０に帯域制御の実行を指示する構成にしてもよい。

帯域管理ブロック１３０は、帯域監視ブロック１４０からの帯域制御の実行指示をトリガーにして帯域制御を実行する。帯域制御は、パラメータブロックに格納された各種パラメータに従って、各ホストのＩ／Ｏパスに設定された帯域を保証するような通信量の制御を行う。

図３のように構成された第２の実施形態のＩ／Ｏデバイス仮想化装置とそれを含んだＩ／Ｏデバイス共有システムは、以下のように動作する。ここでは、２つのホスト３１（ホスト３１-１、ホスト３１-２とする）がＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１にアクセスする場合を例にする。なお、以降の説明においては、ＳＲ−ＩＯＶ対応Ｉ／Ｏデバイス２１を単にＩ／Ｏデバイス２１と称するものとする。

ホスト３１-１において、ＣＰＵがＩ／Ｏデバイス２１にアクセスする命令を発行すると、ルートコンプレックスは、Ｉ／Ｏデバイス２１宛のＰＣＩｅパケットを作成して送信する。ホストＰＣＩｅブリッジは、ＰＣＩｅパケットをネットワークパケットにカプセル化してネットワーク４１に送信する。

Ｉ／Ｏ仮想化ブリッジ１１において、ネットワーク接続部１１１は、ネットワーク４１を介してネットワークパケットを受信すると、該ネットワークパケットをデカプセル化してＰＣＩｅパケットを取り出す。ネットワーク接続部１１１は、取り出したＰＣＩｅパケットを、帯域制御部１１０を経由してパケット転送部１１２に転送する。

パケット転送部１１２は、受信したＰＣＩｅパケットをアドレス変換部１１３に転送する。

アドレス変換部１１３は、ＰＣＩｅパケットの宛先アドレスを、ホスト３１-１が指定したアドレスから、接続仮想化部１１４が再設定したアドレスに変換する。そして、アドレス変換したＰＣＩｅパケットをＩ／Ｏデバイス２１に送信する。

なお、Ｉ／Ｏデバイス２１が送信したＰＣＩｅパケットをホスト３１-１、３１-２が受信する場合には、上記の処理と逆の処理が実行される。

上記の処理において、ホスト３１-１、３１-２宛てのＰＣＩｅパケットは、帯域制御部１１０にて監視が行われ、パケットの流量が測定される。つまり、パケットの流量を測定して通信経路の帯域使用率がモニタされる。具体的には、ホストからのＤＭＡ（Direct Memory Access）リード要求に対する応答データの量が監視される。

帯域制御部１１０はシステムマネージャ５１によって設定された「輻輳と判断する閾値」と各ホストに対して設定した「最低保証帯域」に従い、通信量の調整を行う。例えば、ホスト３１-１の通信がホスト３１-２の通信に圧迫されていると判断すると、ホスト３１-２の通信量を抑制してホスト３１-１の通信量を規定された値まで回復させて、両ホスト間の通信量のバランスを制御する。

次に、本実施形態の特徴となる帯域制御部１１０の構成と動作について図４乃至図１０を参照して詳細に説明する。

図４は、Ｉ／Ｏ仮想化ブリッジ１１が備える帯域制御部１１０の構成を示すブロック図である。

前述のように、帯域制御部１１０は、帯域制御に関するパラメータを格納したパラメータブロック１２０、Ｉ／Ｏパスの通信量をモニタする帯域監視ブロック１４０および帯域制御を実行する帯域管理ブロック１３０を含む構成になっている。

帯域制御部１１０の動作は、パラメータブロック１２０に設定する情報を介してシステムマネージャ５１から制御することができる。システムマネージャ５１はパラメータブロック１２０に帯域制御に必要なパラメータ設定を行い、帯域監視ブロック１４０および帯域管理ブロック１３０は、その設定に従い動作する。

システムマネージャ５１はネットワーク４１を介してパラメータブロック１２０にアクセスすることができ、パラメータブロック１２０のパラメータ設定値を変更できる。なお、ネットワーク４１を介することなくシステムマネージャ５１が直接パラメータブロック１２０にアクセスすることができるように構成してもよい。

システムマネージャ５１は初期のパラメータ設定通知および、変更時の設定変更通知を実行するのみで、帯域の制御そのものには直接かかわらない。つまり、帯域制御そのものは、低遅延での処理が必要となることから、帯域制御部１１０が自律で行ない、逐次システムマネージャ５１からの指示は受けない。

システムマネージャ５１によるパラメータブロック１２０の設定は任意のタイミングで変更が可能であり、ホスト３１やＩ／Ｏデバイス２１およびＩ／Ｏ仮想化ブリッジ１１の再起動や電源の再投入を必要とせずに動作することが出来る。

帯域制御部１１０は、システムマネージャ５１によって設定された帯域制御機能の有効化、設定された帯域制御に関連するパラメータ等をもとに、各ホスト３１に対して割り当てられた帯域を保証するように帯域制御を実行する。

システムマネージャ５１がパラメータブロック１２０に設定する各種のパラメータについて説明する。

システムマネージャ５１は、図４に示す５種類のパラメータのうち、帯域制御動作設定１２１、輻輳判定閾値１２２および最低保証帯域１２３を設定する。

また、図４に示す残りのパラメータの共有中のホストの数１２４および帯域制御ステータス１２５は、Ｉ／Ｏ仮想化ブリッジ１１内部で生成されて設定・更新される情報である。システムマネージャ５１は、これらの情報を確認することができる。

Ｚ：帯域制御動作設定１２１は、帯域制御部１１０の機能を動作させるか否かの情報が設定される。

Ａ：輻輳判定閾値１２２は、帯域監視ブロック１４０が輻輳状態を判定するための閾値である。帯域監視ブロック１４０は、全ホストの総通信量を監視し、該判定閾値を超えると輻輳状態にあると判断する。閾値の単位はＭｂｉｔ／秒やＰａｃｋｅｔ／秒である。なお、輻輳状態にあると判断され、かつ、最低保証帯域を下回るホストがいると、帯域管理ブロック１３０により帯域制御が実行される。帯域制御の実行に関しての詳細は後述する。

Ｂ：最低保証帯域１２３は、各ホストに対して割り当てられた最低を保証する通信帯域で、この保証帯域を下回らないように帯域制御が実行される。単位はＭｂｉｔ／秒やＰａｃｋｅｔ／秒である。

Ｃ：共有中のホストの数１２４は、Ｉ／Ｏデバイス２１を共有しているホストの数が表示される。

Ｄ：帯域制御ステータス１２５は、帯域制御実行状態か、帯域制御停止状態かを表示する。

パラメータブロック１２０の設定パラメータを使用した帯域制御の実行動作について図５を参照して説明する。

図５は、本発明の帯域保証制御方法の第２の実施形態の動作を示すフロー図である。

まず前段階として、システムマネージャ５１は、ネットワーク４１上にＩ／Ｏ仮想化ブリッジ１１を見つけると、該Ｉ／Ｏ仮想化ブリッジ１１の配下Ｉ／Ｏデバイス２１へのアクセスが帯域制御対象であるかどうかを判断する。帯域制御対象であると判断するとシステムマネージャ５１は、Ｉ／Ｏ仮想化ブリッジ１１内のパラメータブロック１２０に上述した帯域制御動作設定１２１、輻輳判定閾値１２２および最低保証帯域１２３を設定する。

帯域制御動作設定１２１に帯域制御動作ＯＮが設定されていると（Ｓ２０１、Ｙｅｓ）、帯域監視ブロック１４０は、全ホストの単位時間あたりの総通信量を監視して輻輳判定閾値１２２を超えているか否かの判定を行う（Ｓ２０２）。

監視している総通信量が輻輳判定閾値１２２を超えていると判定（Ｓ２０２、Ｙｅｓ）した帯域監視ブロック１４０は、輻輳発生を認識し、帯域制御の実行の要否を判定する。

本実施形態では、帯域制御の実行条件として、Ｉ／Ｏデバイス２１を共有しているホストの数が複数であること、および、割り当てられた最低保証帯域以下のホストが存在することを条件とする。これは、Ｉ／Ｏデバイス２１を共有しているホスト間での帯域使用を公平化することを目的とし、割り当てられた最低保証帯域を満足している限りにおいては帯域制御を実行する必要がないという考えに基づくものである。

帯域監視ブロック１４０は、パラメータブロック１２０の共有中のホストの数１２４に表示された情報を参照して、Ｉ／Ｏデバイス２１を共有しているホストの数が複数であるか否かを判定する（Ｓ２０３）。

共有ホスト数が複数であると判定（Ｓ２０３、Ｙｅｓ）すると、帯域監視ブロック１４０は、各ホストが使用しているＩ／Ｏパスの帯域使用状況が最低保証帯域１２３に登録された最低保証帯域を満足しているか否かを判定する（Ｓ２０４）。

最低保証帯域１２３に登録された最低保証帯域を満足していないホストの存在を確認すると、帯域監視ブロック１４０は、帯域制御の実行が必要であると判定する（Ｓ２０４、Ｙｅｓ）。

なお、上述した帯域監視ブロック１４０の各判定動作（Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４）のいずれかにおいて「Ｎｏ」と判定された場合には、帯域制御の実行は不要であると判定される。

帯域制御の実行が必要であると判定した場合、帯域監視ブロック１４０は帯域制御実行（Ｓ２０５）を帯域管理ブロック１３０に指示する。

また、帯域制御の実行が必要でないと判定した場合、帯域監視ブロック１４０は帯域制御解除（Ｓ２０６）を帯域管理ブロック１３０に指示する。帯域管理ブロック１３０は帯域制御解除の指示を受けた場合、もともと帯域制御を実行していない場合には何もしない。また、帯域制御が実行されている場合には、その解除の処理を行う。

帯域制御が実行状態であるか解除状態であるかは、前述したパラメータブロック１２０の帯域制御ステータス１２５に表示される。

上述したステップＳ２０１乃至ステップＳ２０６の処理は繰り返し実行される。従って、帯域制御実行状態と帯域制御解除状態は動的に変化する。

なお、上述した図４および図５を参照した説明は、輻輳状態が発生してしかもホスト間での帯域使用が公平になっていないことを判定した場合に、帯域制御の実行を行うものである。しかし、帯域の使用状況が、システムマネージャ５１が設定した状態から逸脱していると判定された場合に帯域制御を行うという構成にしてもよい。その場合は、最低保証帯域を目標保証帯域と読み替えて、輻輳状態の発生有無を判定することなく、モニタしている各ホストの帯域使用状況が所定の割合で目標保証帯域を逸脱していることを識別した場合に帯域制御を実行する制御を行なえばよい。

次に、帯域管理ブロック１３０が実行する帯域制御のメカニズムについて図６乃至図１０を参照して説明する。

図６は、ＰＣＩｅにおけるＤＭＡリード要求時のデータフローを示す概念図である。

本実施形態のシステムで使用する通信データは、ＰＣＩｅ（Peripheral Component Interconnect express）パケットである。

ＰＣＩｅは、ＴＬＰ（Transaction Layer Packet）と呼ばれるデータフォーマット（構造体）を使ってホスト３１とＩ／Ｏデバイス２１との間において通信される。

ＤＭＡリード転送の場合、読出しを要求できるサイズには上限であるＭＲＲＳ（Max Read Request Size：最大リード要求長）が定められている。また、ＴＬＰは複数のＴＬＰセグメントパケットに分割され、各ＴＬＰセグメントパケットが運ぶデータサイズ（ペイロード）は、最大ペイロード長であるＭＰＳ（Max Payload Size）以下に制限される。そして、ＴＬＰセグメントパケット間にはアイドルサイクルが挿入される。

図７は、上述したＴＬＰのサイズを規定するＭＲＲＳ（最大リード要求長）とＴＬＰセグメントパケットのＭＰＳ（最大ペイロード長）の関係を示す概念図である。

つまり、上述したＰＣＩｅパケットは、ＭＲＲＳやＭＰＳに従って分割された複数のＴＬＰセグメントパケットである。例えば、ＭＲＲＳ＝４０９６ＢｙｔｅでＭＰＳ＝１２８Ｂｙｔｅに設定されていると、セグメントパケット数は３２＝４０９６／１２８で一つの要求データが形成される。

ＭＲＲＳとＭＰＳは、ホスト起動時のコンフィギュレーションサイクルで決定され、ホスト側プログラムからＩ／Ｏデバイスのコンフィギュレーションレジスタに設定されるものである。

本実施形態では、上記のようなＰＣＩｅの特性を活用した帯域制御を行う。具体的には、ＰＣＩｅのホストからのＤＭＡリード要求に対する応答データを構成するＴＬＰセグメントパケットの間に挿入するアイドルサイクルに付加アイドルサイクルを追加して、転送遅延時間を増やすことで帯域制御を行う。

図８は、ＴＬＰセグメントパケット間に挿入するアイドルサイクルの概要を示す概念図である。

図８に示すように、ＤＭＡリード要求に対する応答データを構成するＴＬＰセグメントパケット間に挿入するアイドルサイクルを、帯域制御時には付加アイドルサイクルを追加する。これにより転送遅延時間が増え、単位時間当たりの通過パケット数が減少して帯域の使用率が下がる。

これは、帯域の使用率が大きいホストに対して実行する処理であり、その帯域使用率を下げることで他の最低保証帯域を満足していないホストが帯域を使用できるように救済するものである。

次に、帯域制御のために付加するアイドルサイクルの決定について説明する。

図９は、ＴＬＰセグメントパケットの転送にかかわるクロックサイクルを示す概念図である。

ＤＭＡリード要求時の転送性能ＢＷ（Bandwidth）は、ＴＬＰセグメントパケットの個数、データサイクル、ヘッダサイクルおよびアイドルサイクルを使って次のように表すことができる。

ここで、ＴＬＰセグメントパケット個数をＮＭ（ｔｌｐ）、データサイクルをＣＹ（ｄ）、ヘッダサイクルをＣＹ（ｈ）、アイドルサイクルをＣＹ（ｉ）で表す。また、ＴＬＰセグメントパケットを１個転送するのに必要なクロックサイクルを１セグメントサイクルと称し、ＣＹ（ｓ）で表すものとする。

１セグメントサイクルＣＹ（ｓ）は、図９に示すように、ヘッダサイクルＣＹ（ｈ）、データサイクルＣＹ（ｄ）およびアイドルサイクルＣＹ（ｉ）の合計のクロックサイクルである。

つまり、ＣＹ（ｓ）＝ＣＹ（ｈ）＋ＣＹ（ｄ）＋ＣＹ（ｉ）となる。

転送性能ＢＷは、ＴＬＰセグメントパケットをＮＭ（ｔｌｐ）個を転送するのに必要なクロックサイクルなので、ＮＭ（ｔｌｐ）に１セグメントサイクルＣＹ（ｓ）を掛ければ良い。

つまり、ＢＷ＝ＮＭ（ｔｌｐ）×ＣＹ（ｓ）となる。

ＴＬＰセグメントパケット個数ＮＭ（ｔｌｐ）は、１ＤＭＡリード要求時に生成されるＴＬＰセグメントパケット数となる。

つまり、ＮＭ（ｔｌｐ）＝ＭＲＲＳ／ＭＰＳとなる。

従って、ＢＷ＝（ＭＲＲＳ／ＭＰＳ）×｛ＣＹ（ｈ）＋ＣＹ（ｄ）＋ＣＹ（ｉ）｝と表せる。

ここで、現在の転送性能をＢＷ１、抑制すべき帯域制御目標となる転送性能をＢＷ２とすると、それぞれのアイドルサイクルＣＹ（ｉ）１およびＣＹ（ｉ）２は次のように表せる。

ＣＹ（ｉ）１＝ＢＷ１×（ＭＲＲＳ／ＭＰＳ）−｛ＣＹ（ｈ）＋ＣＹ（ｄ）｝
ＣＹ（ｉ）２＝ＢＷ２×（ＭＲＲＳ／ＭＰＳ）−｛ＣＹ（ｈ）＋ＣＹ（ｄ）｝
従って、転送性能をＢＷ１からＢＷ２に抑制するために、現在のアイドルサイクルに付加するアイドルサイクルＣＹ（ｉ）ＩＮＶは、次のように決定される。

ＣＹ（ｉ）ＩＮＶ＝ＣＹ（ｉ）２−ＣＹ（ｉ）１
つまり、付加アイドルサイクルＣＹ（ｉ）ＩＮＶは、現在のパケット流量に対応するアイドルサイクルＣＹ（ｉ）２と、目標とするパケット流量に対応するアイドルサイクルＣＹ（ｉ）１との差分のクロックサイクルとして決定する。

以上のようにして求めた付加アイドルサイクルＣＹ（ｉ）ＩＮＶを用いた帯域制御の方法について説明する。

図１０は、帯域制御実行通知と帯域制御解除通知に基づく帯域制御の実行と解除の制御タイミングの例を示す概念図である。

これは、図５を参照して説明した帯域保証制御方法の動作において、帯域制御の実行の必要有無を判定した帯域監視ブロック１４０の指示で帯域管理ブロック１３０が実行する動作である。つまり、帯域監視ブロック１４０が帯域制御対象となるホストやその通信量に関する情報を帯域管理ブロック１３０に通知することで動作が開始される。

例として、ホスト３１-１とホスト３１-２がＩ／Ｏデバイス２１を共有しており、ホスト３１-２による大量のデータ通信により、ホスト３１-１のデータ通信が最低保証帯域１２３（Ｂ１）を下回っていたとする。

上記の場合、帯域管理ブロック１３０は、ホスト３１-２のデータ通信において、各ＴＬＰセグメントパケット間に上述したようにして決定した付加アイドルサイクルＣＹ（ｉ）ＩＮＶを挿入する。

このとき、帯域管理ブロック１３０は、ホスト３１-２のデータ通信に挿入すべき付加アイドルサイクルＣＹ（ｉ）ＩＮＶの長さを決めるための目標となる転送性能を帯域監視ブロック１４０から通知される。

帯域管理ブロック１３０は、帯域監視ブロック１４０から帯域制御解除通知を受けるまで付加アイドルサイクルＣＹ（ｉ）ＩＮＶの挿入を継続する。

そして、帯域監視ブロック１４０から帯域制御解除通知を受けると、ホスト３１-２のデータ通信に挿入していた付加アイドルサイクルＣＹ（ｉ）ＩＮＶを除去して、帯域制御を解除する。

なお、図５を参照して説明したように、各判定ステップ（Ｓ２０１乃至Ｓ２０４）において「Ｎｏ」と判定された場合に帯域制御解除が通知される。これは、上述した帯域制御の効果により、判定ステップＳ２０２やＳ２０４で帯域制御の必要がないことが判明した場合が含まれる。

また、このとき、帯域管理ブロック１３０は、ホスト３１-２のデータ通信に対する付加アイドルサイクルＣＹ（ｉ）ＩＮＶの挿入を、予め決められた転送性能のステップに基づいて算出して実行するように構成にしてもよい。つまり、この場合、帯域監視ブロック１４０は前述の目標とする転送性能を帯域管理ブロック１３０に指示しない。

この場合、帯域監視ブロック１４０は、帯域管理ブロック１３０の帯域制御実行の結果に基づく各ホストの使用帯域を監視し、帯域制御実行の結果が満足できない場合には、再度の帯域制御実行の指示を出す。つまり、帯域制御実行にもかかわらず輻輳状態にあり、しかもホスト３１-１のデータ通信が最低保証帯域１２３（Ｂ１）をまだ下回っていた場合には、再度の帯域制御実行の指示が出される。

帯域管理ブロック１３０は、帯域制御実行の指示がなくなった段階でそのときの付加アイドルサイクルＣＹ（ｉ）ＩＮＶの長さを維持する。そして、帯域監視ブロック１４０から帯域制御解除通知を受けると、ホスト３１-２のデータ通信に挿入していた付加アイドルサイクルＣＹ（ｉ）ＩＮＶを除去する。

また、上述した付加アイドルサイクルＣＹ（ｉ）ＩＮＶの挿入は、ＰＣＩｅ規格に準拠した基本クロックを基準とするためナノ秒単位で制御することができる。規格の一例として１２５ＭＨｚ／２５０ＭＨｚクロックがあり、４ナノ／８ナノ秒単位でも制御することができる。

ＰＣＩｅパケットによるデータ通信のタイムアウト時間は数マイクロ秒未満と短く、一般的なネットワーク帯域制御ではタイムアウトによるデータ再送が多発して安定的なシステム運用ができなくなる。しかし、本実施形態では、ネットワーク上において、コンピューティングの内部信号で必要とされるナノ秒オーダーでの制御が行え、コンピューティング内部バスのような高速信号もリアルタイムかつ再送を発生させずに帯域制御することができる。

また、各ホストにおいては付加アイドルサイクルの挿入による遅延加算を意識できないため、ホストに対して大幅な性能低下を意識させることなく帯域を制御することができる。

なお、図１１は、Ｉ／Ｏデバイスがネットワーク上に複数配置された場合にＩ／Ｏデバイスを単位として共有Ｉ／Ｏグループを構成する利用形態を示す概念図である。

図１１のように、Ｉ／Ｏデバイス２２をネットワーク上に多数配置するとネットワーク側でも輻輳が発生するケースが考えられる。そのため、そのような場合を考慮してネットワーク４２での輻輳を抑制するために、共有Ｉ／Ｏグループを単位にした帯域制限を実行する構成にしてもよい。この場合、システム管理装置５２は、共有Ｉ／Ｏグループを構成する各Ｉ／Ｏデバイス仮想化装置１２に対して、ネットワーク４２での輻輳抑制を考慮したパラメータ設定を行えばよい。

このように、本実施形態ではＩ／Ｏデバイスを共有する通信において輻輳が発生してもホスト毎に適切な通信帯域を割り当てることが出来て、さらに輻輳そのものを抑制することができる。さらに、システム運用者が、ホスト間に割り当てる帯域を意図的に偏らせるように設定したような場合であっても、ホスト毎の帯域の使用状況を監視して、所定の通信量の範囲で通信させるように帯域制御することもできる。そのため、本実施形態はＩ／Ｏデバイスを共有するシステム全体のパフォーマンスを向上させることができる。

以上に説明したように、本実施形態は、コンピューティングシステムの内部信号を外部ネットワークにおいて低遅延で帯域制御し、複数のホスト間でＩ／Ｏデバイスを論理的に公平に共有することができる。

１、２ Ｉ／Ｏデバイス共有システム
１０、１２ Ｉ／Ｏデバイス仮想化装置
１１ Ｉ／Ｏ仮想化ブリッジ
２０、２２ Ｉ／Ｏデバイス
２１ ＳＲ-ＩＯＶ対応Ｉ／Ｏデバイス
３０、３１、３１-１、３１-２ ホスト
４０、４１、４２ ネットワーク
５０、５２ システム管理装置
５１ システムマネージャ
１００ 帯域制御手段
１０１ 接続仮想化手段
１１０ 帯域制御部
１１１ ネットワーク接続部
１１２ パケット転送部
１１３ アドレス変換部
１１４ 接続仮想部
１２０ パラメータブロック
１２１ 帯域制御動作設定
１２２ 輻輳判定閾値
１２３ 最低保証帯域
１２４ 共有中のホストの数
１２５ 帯域制御ステータス
１３０ 帯域管理ブロック
１４０ 帯域監視ブロック

Claims (10)

1. 複数のホストとネットワークを介して接続され、該複数のホストにより共有されるＩ／Ｏ（入出力）デバイスとの間の通信において前記Ｉ／Ｏデバイスを仮想化する接続仮想化手段と、
   設定された帯域制御パラメータに基づいて、前記複数のホストと前記Ｉ／Ｏデバイスとの間のネットワークを介したＰＣＩｅ（Peripheral Component Interconnect express）パケット通信を監視して、前記複数のホストのそれぞれに対して設定された所定の通信帯域の割当を保証する帯域制御を実行する帯域制御手段と、
   を備えることを特徴とするＩ／Ｏデバイス仮想化装置。
2. 前記帯域制御手段は、前記ホストからＤＭＡ（Direct Memory Access）リード要求に対する前記Ｉ／Ｏデバイスからの応答データを構成するＴＬＰ（Transaction Layer Packet）セグメントパケットの間に挿入するアイドルサイクルに、抑制すべきパケット流量に応じた付加アイドルサイクルを加えて前記帯域制御を実行し、前記帯域制御の解除を行う際には該付加アイドルサイクルを除去することを特徴とする請求項１に記載のＩ／Ｏデバイス仮想化装置。
3. 前記帯域制御手段は、現在のパケット流量に対応する前記アイドルサイクルと、抑制目標とするパケット流量に対応するアイドルサイクルとの差分のクロックサイクルとして前記付加アイドルサイクルを決定することを特徴とする請求項２に記載のＩ／Ｏデバイス仮想化装置。
4. 前記帯域制御手段は、
   輻輳状態を判定する基準となる通信量の輻輳判定閾値と、前記複数のホストのそれぞれに割り当てられた最低を保証する通信帯域を規定する最低保証帯域を含む前記帯域制御パラメータを格納するパラメータ登録部と、
   該帯域制御手段を通過する通信量を監視し、前記複数のホストによる総通信量が前記輻輳判定閾値を超え、かつ、前記最低保証帯域を下回る通信量のホストが存在する場合に、前記帯域制御の実行指示を出力する帯域監視部と、
   前記帯域監視部が出力する前記帯域制御の実行指示に基づいて、前記複数のホストのうち通信量が最大のホストの通信路を流れるパケット流量を減少させて前記帯域制御を実行する帯域管理部と、
   を備えることを特徴とする請求項１乃至請求項３のいずれかの請求項に記載のＩ／Ｏデバイス仮想化装置。
5. 前記帯域監視部は、前記帯域制御の実行指示の出力後、前記複数のホストによる総通信量が前記輻輳判定閾値を下回るか、前記最低保証帯域を下回る通信量のホストが存在しない場合に、前記帯域制御の解除指示を出力し、
   前記帯域管理部は、前記帯域制御の解除指示を受けると、前記帯域制御で減少させた前記通信路のパケット流量を元に戻す帯域制御解除を行う
   ことを特徴とする請求項４に記載のＩ／Ｏデバイス仮想化装置。
6. 複数のホストと、
   前記複数のホストにより共有されるＩ／Ｏ（入出力）デバイスと、
   前記請求項１乃至請求項５の何れかの請求項に記載のＩ／Ｏデバイス仮想化装置と、
   前記Ｉ／Ｏデバイス仮想化装置に前記帯域制御パラメータを設定するシステム管理装置と、
   を備えることを特徴とするＩ／Ｏデバイス共有システム。
7. 複数のホストと該複数のホストにより共有されるＩ／Ｏ（入出力）デバイスとの間の通信において前記Ｉ／Ｏデバイスを仮想化するＩ／Ｏデバイス仮想化装置に、前記複数のホストと前記Ｉ／Ｏデバイスとの間のネットワークを介したＰＣＩｅ（Peripheral Component Interconnect express）パケット通信の帯域制御パラメータを設定し、
   前記複数のホストと前記Ｉ／Ｏデバイスとの間の前記ＰＣＩｅパケット通信を監視して、前記Ｉ／Ｏデバイス仮想化装置が前記帯域制御パラメータに基づいて、前記複数のホストのそれぞれに対して設定された所定の通信帯域の割当を保証する帯域制御を実行する
   ことを特徴とする帯域保証制御方法。
8. 前記ホストからＤＭＡ（Direct Memory Access）リード要求に対する前記Ｉ／Ｏデバイスからの応答データを構成するＴＬＰ（Transaction Layer Packet）セグメントパケットの間に挿入するアイドルサイクルに、抑制すべきパケット流量に応じた付加アイドルサイクルを加えて前記帯域制御を実行し、
   前記帯域制御の解除を行う際には該付加アイドルサイクルを除去する
   ことを特徴とする請求項７に記載の帯域保証制御方法。
9. 現在のパケット流量に対応する前記アイドルサイクルと、抑制目標とするパケット流量に対応するアイドルサイクルとの差分のクロックサイクルとして前記付加アイドルサイクルを決定する
   ことを特徴とする請求項８に記載の帯域保証制御方法。
10. 前記帯域制御パラメータは、輻輳状態を判定する基準となる通信量の輻輳判定閾値と、前記複数のホストのそれぞれに割り当てられた最低を保証する通信帯域を規定する最低保証帯域を含み、
    前記複数のホストによる総通信量が前記輻輳判定閾値を超え、かつ、前記最低保証帯域を下回る通信量のホストが存在する場合に、前記帯域制御の実行指示を出力し、
    前記帯域制御の実行指示に基づいて、前記複数のホストのうち通信量が最大のホストの通信路を流れるパケット流量を減少させる前記帯域制御を実行し、
    前記帯域制御の実行指示の出力後、前記複数のホストによる総通信量が前記輻輳判定閾値を下回るか、前記最低保証帯域を下回る通信量のホストが存在しない場合に、前記帯域制御の解除指示を出力し、
    前記帯域制御の解除指示に基づいて、前記帯域制御で減少させた前記通信路のパケット流量を元に戻す帯域制御解除を行う
    ことを特徴とする請求項７乃至請求項９のいずれかの請求項に記載の帯域保証制御方法。

Images