JP2011171951A - 情報処理システムおよび計算機への物理位置情報割り当て方法 - Google Patents

Abstract

【課題】
計算機とＩ／ＯデバイスがＰＣＩスイッチで接続され、計算機上で複数仮想サーバが稼動しているシステムにおいて、計算機とPCIスイッチの接続が期待値であることを保障する。
【解決手段】システム制御部は計算機制御部管理テーブルとPCIスイッチ制御部管理テーブルとPCI管理番号フォーマットによって作成されるPCIスイッチ番号とPCIスイッチ番号を記憶するPCIスイッチ番号メモリを備える。
【選択図】 図１

Description

本発明は、複数の計算機と複数のＰＣＩデバイスをＰＣＩスイッチで接続した複合型計算機システムの装置管理技術に関し、特に、ＰＣＩデバイスを計算機に割当てる際の初期化や計算機の電源制御の技術や計算機に割当てたＰＣＩデバイスの割当てを変更する際の制御技術（物理位置割り当て方法）に関するものである。

インターネットサイトに代表されるＩＴシステムは、ユーザに対して情報を表示するＷＥＢサーバ、情報を結合し処理するＡＰ（Application）サーバ、情報を蓄積保存するＤＢ（Data Base）サーバ等の様々なサーバから構成され、これらサーバにはＣＰＵ、メモリ、Ｉ／Ｏデバイス等から成る計算機が用いられている。

上記のようにＩＴシステムは、多くのサーバから構成されるため、近年、サーバの管理を容易にするために１つの装置に複数の計算機を搭載したブレードサーバが用いられるようになっている（例えば、特許文献１）。またＣＰＵに複数のプロセッサコアを持つマルチコア化によりＣＰＵの処理性能が向上し、それに伴い効率的にＣＰＵを使用するため１つの計算機に複数の仮想的なサーバを稼動させる仮想サーバ技術が用いられるようになっている。

上記のように、１つの計算機に複数のサーバを稼動させる場合、相対的に計算機当りのＩ／Ｏデバイス数が不足する。このような問題を補う技術として、複数の計算機と複数のI／OデバイスであるPCI(Peripheral Component Interconnect)デバイスとを接続可能とするマルチルートPCIスイッチ技術が知られている。マルチルートＰＣＩスイッチ技術では、１つの計算機に接続可能なＰＣＩデバイスの個数をスケーラブルに変えることが可能である（例えば、特許文献２、非特許文献１等）。これらの技術を用いることで、仮想サーバを用いた場合のI/Oデバイス不足を解消することができる。

しかし、マルチルートPCIスイッチ技術では、PCIデバイスの個数を増やす場合、物理的な問題から、計算機とI/Oデバイスを別個に設置する場合がある。大規模なシステムを運用する場合において、計算機とI／Oデバイスの物理的な位置関係を把握することは非常に困難である。

特開２００２−３２１５３号 米国特許第７０５８７３８号

「Advanced Switching Technology Tech Brief」、2005年発行、著者ASI-SIG、第１〜２頁

大規模なシステムの場合、サーバのIOの拡張にIOドロワを使用すると、サーバの位置とIOドロワの位置とが離れて設置される場合があり、対となるサーバとIOドロワとがわからない場合がある。また、サーバとIOドロワとの物理位置情報を管理しようとしても、手作業で管理するのは非常に煩雑で困難である。このようなサーバとIOドロワとの物理位置情報の管理について、管理の自動化が求められている。

上述の課題を解決するために、本願発明に係る計算機への物理位置情報割り当て方法では、CPUとメモリとPCIインターフェースを有する複数の計算機と前記複数の計算機を前記PCIインターフェースで接続する１以上のPCIスイッチと、前記PCIスイッチに接続する複数のPCIデバイスと、前記計算機の制御を行う計算機制御部と、前記PCIスイッチの制御を行うPCIスイッチ制御部を管理するシステム制御部と、前記PCIスイッチ制御部と前記計算機制御部の位置情報を表す位置情報管理テーブルを有するシステム制御部と、計算機制御部位置情報管理テーブルとPCIスイッチ制御部位置情報管理テーブルを総称する前記位置情報管理テーブルと、IPアドレス欄と世界で固有のMACアドレス欄とサーバルーム内のラック位置とラック内の位置を表す位置情報欄とPCIスイッチのPCIスイッチslot番号とMACアドレスと対応して割り振られる計算機制御部番号欄を有する前記計算機制御部位置情報管理テーブルと、前記IPアドレス欄と前記MACアドレス欄と前記位置情報欄と計算機のslot番号を表す計算機slot番号欄を有する前記PCIスイッチ制御部位置情報管理テーブルと、前記PCIスイッチ制御部番号欄と前記PCIスイッチslot番号欄と前記計算機制御部番号欄と前記計算機slot番号欄からPCI管理番号を生成する為のPCI管理番号フォーマットとを有するシステムにおいて、以下のステップを行うことを特徴とする。

前記PCI管理番号はPCIスイッチ制御部によってPCI管理番号メモリに書き込まれるステップと、前記PCI管理番号メモリのデータはPCIブリッジ設定空間に書き込むステップと、前記計算機が読んだ前期PCIブリッジ設定空間の前記PCIスイッッチ管理番号を前記計算機制御部に知らせるステップと、前記管理計算機制御部が自分の前記MACアドレスと前記PCI管理番号を前記システム制御部に知らせるステップと、前記システム制御部が前記位置情報管理テーブルを比較するステップと、前記PCI管理番号を前記PCI管理番号メモリに書き込む命令を前記システム制御部が前記PCIスイッチ制御部にするステップとを行う。

したがって、本発明は複数の計算機と複数のPCIデバイスとこれらの計算機とPCIデバイス間を接続する複数のPCIスイッチで構成される複合型計算機システムにおいて、計算機に電源を投入した際、PCI管理番号と計算機制御部のマックアドレスをシステム管理部が持つ位置情報管理テーブル(例えば計算機管理テーブル及びPCIスイッチ制御部管理テーブル等）で照会することにより、計算機とPCIスイッチ間の接続が意図した接続になっていることを保証することが可能となる。

PCIスイッチ番号は、計算機の位置と接続されたケーブルの計算機slot番号、PCIスイッチの位置及びPCIスイッチに接続されたPCIスイッチslot番号と対応している。物理位置情報を管理せずに広いサーバルーム内から対象のPCIスイッチ及び計算機を探し出すことは困難であるが、本願発明のように物理位置情報を管理すると、位置とslot番号が分かるので、PCIスイッチ及び計算機の位置とこれらを繋ぐケーブルを特定することができる。システムの障害が発生し、モジュールの交換作業が必要になった場合、取り外すケーブルの確認が容易になりシステムの復旧が迅速に行えるようになる。さらに、本発明の物理位置情報には、PCIスイッチと計算機との接続構成が含まれており、交換作業後にPCIスイッチと計算機の接続構成に変更があった場合、ユーザに通知する。この機能により意図しない接続構成の変更を防ぐことができる。

全体の概略図 シャーシの概略図 IOドロワ概略図 PCIスイッチ概略図 計算機制御部管理テーブル PCIスイッチ制御部管理テーブル PCI管理番号フォーマット PCI管理番号テーブル 全体フローチャート システム制御部フローチャート 計算機制御部フローチャート

以下、本発明を適用したブレードサーバについて、図面を用いて詳細に説明する。なお、本発明が適用されるシステムは、ブレードサーバに限定されず、ラック型やタワー型であってもよい。

図１は本発明の自動物理位置情報管理システム全体構造を示す図である。

自動物理位置情報管理システム１は、複数のブレードサーバーシャーシ１０とIOドロワ２０とシステム制御部３０−１とハブLANスイッチ６０とを備えている。シャーシ１０とIOドロワ２０とは、PCIeケーブル５０−１で接続されている。IOドロワ２０とLANスイッチ６０とは、ランケーブル５０−２で接続されている。LANスイッチ６０からは、ランケーブル５０−７でネットワークにつながっている。システム制御部３０−１はランケーブル５０−３でネットワークに接続されている。

図２に、シャーシ１０の詳細を示す。シャーシ１０は、計算機１１０計算機制御部１２０で構成されている。シャーシ１０には、最大で計算機１１０を8枚挿入することができる。

図３は、IOドロワ２０の詳細図である。IOドロワ２０は、PCIスイッチ２１０とPCIスイッチ制御部２２０とPCIデバイス２３０とで、構成されている。PCIスイッチ２１０は、複数の計算機とPCIデバイスの接続が可能である。PCIスイッチ制御部２２０は、PCIスイッチの管理を行う。

図４は、PCIスイッチ２１０の詳細図である。PCIスイッチ２１０は、PCIスイッチ管理メモリ２４０とPCIバスのPort４２０とで構成されている。PCIスイッチ２１０の下流には、PCIデバイスが接続されるPort４２０が４個ある。PCIスイッチ２１０の上流には、計算機と接続されるPort４１０が2個ある。PCIスイッチ２１０は、Port４１０とPort４２０のPCI接続ツリーの切り替えを行う機能を持つ。PCIスイッチ管理メモリには、PCIブリッジにPCI管理番号５４1が書き込まれている。PCIブリッジの設定空間の設定を行う時、PCIスイッチ管理メモリ２４０を読み込んで書き込まれる。

図５に示される計算機管理テーブル５１０は、計算機制御部１２０の位置情報を管理するための情報を含むテーブルである。計算機制御部位置情報５1０−１には、サーバルーム内のラックの位置、さらにラック内の位置を表すデータを記録する。計算機制御部位置情報５１０−１は、計算機のシャーシ１０を設置するときに設定されるものである。管理する計算機制御部１２０とPCIスイッチ制御部２２０のMACアドレスに、計算機制御部番号５１０−２を割り振る。割り振られた計算機制御部番号５１０−２は、計算機管理テーブル５１０に登録される。PciSlot番号５１０−３は、シャーシ１０のPciSlot番号である。計算機制御番号５１０−２とPCISlot番号５１０−３とは、PCI管理番号５４１の作成に使われる。

図６に示されるPCIスイッチ制御部管理テーブル５２０は、PCIスイッチ制御部２２０の位置情報を管理するためのテーブルである。PCIスイッチ制御部位置情報５２０−１には、サーバルーム内のラックの位置、及びラック内の位置を表すデータが記録される。PCIスイッチ制御部位置情報５２０−１は、IOドロワ２０を設置するときに設定されるものである。

管理するPCIスイッチ制御部４３０とPCIスイッチ制御部MACアドレスに番号を割り振る。割り振られた番号はPCIスイッチ番号５２０−２に登録される。PciスイッチSlot番号５２０−３はPCIスイッチ２１０のPort４１０のslot番号である。PCIスイッチ制御番号５２０−２とPciスイッチSlot番号５２０−３はPCI管理番号の作成に使われる。

図７に示されるPCI管理番号フォーマット５３０は、PCIスイッチ番号５２０−２、PCIスイッチのslot番号５２０−３、計算機制御部番号５１０−２、及びシャーシのslot番号５１０−３から構成される。

計算機管理テーブル５１０から計算機制御部番号５１０−２とslot番号５１０−３、PCIスイッチ制御部管理テーブル５２０からPCIスイッチ制御部管理テーブル５２０からPCIスイッチ番号５２０−２とPCIスイッチのslot番号５２０−３をPCI管理番号フォーマット５３０にしたがって、PCI管理番号５４１が作成される。このPCI管理番号は、PCIスイッチの位置情報とPCIスイッチのslotにケーブルで接続された計算機の位置情報との両方を意味している。

図９を用いて、自動PCI管理番号入力動作の概略を説明する。システム制御部３０−１は、PCI管理番号を登録するために、計算機管理テーブル５１０及びPCIスイッチ制御部管理テーブル５２０から、計算機制御部位置情報５１０−１及びPCIスイッチ制御部位置情報５２０−１を参照し、PCI管理番号を生成する。

PCI管理番号テーブル５４０は、計算機管理テーブル５１０の計算機制御部番号５１０−２とPciSlot番号５１０−３、さらにPCIスイッチ番号５２０−２とSlot番号５２０−３から、PCI管理番号フォーマット５３０を利用し生成される。生成されたPCI管理番号５４１は、図８示されるPCI管理番号テーブル５４０に保存される。

まず、システム制御部３０−１からPCIスイッチ制御部２２０へPCI管理番号が送信され、PCIスイッチ制御部２２０がPCIスイッチ管理メモリに保存する。また、PCIスイッチ制御部２２０は、スイッチのPCIブリッジの設定空間に、PCI管理番号を書き込む(S11)。

次に、システム制御部３０−１は、計算機制御部１２０に対してPCIスイッチ管理情報を要求するコマンドを発行する。そして、システム制御部３０−１は、計算機制御部１２０が返したPCIスイッチ管理情報を分析し、PCI管理番号５４１が正しいか判断する(S12)。

スイッチ管理情報からもたらされた情報が矛盾している場合、スイッチ管理情報の値からPCI管理番号フォーマット５３０を利用し再生成したPCI管理番号５４１を使ってPCI管理番号テーブル５４０を更新(S13)してPCI管理番号の再設定を行う(S11)。

計算機が、スイッチのPCIブリッジに書かれたPCI管理番号を読み、スイッチのスロット番号及びシャーシのスロット番号を計算機制御部１２０に報告する。計算機制御部１２０は、計算機制御部１２０のMACアドレスと、計算機から送信されたスイッチのスロット番号及びシャーシのスロット番号と、PCI管理番号を総称するスイッチ管理情報とを、システム制御部３０−１に返す。

図１０は、システム制御部３０−１の動作の詳細を表すフローチャートである。

システム制御部３０−１は、PCI管理番号テーブル５４０は計算機管理テーブル５１０の計算機制御部番号５１０−２とPciSlot番号５１０−３、さらにPCIスイッチ番号５２０−２とSlot 番号５２０−３の情報からPCIスイッチ番号を作成する(S21)。PCI管理番号５４１はPCI管理番号フォーマット５３０を利用して生成される。

システム制御部３０−１は、PCI管理番号５４１をPCIスイッチ制御部２２０に送付する(S22)。送付されたPCI管理番号を、PCIスイッチ制御部２２０がPCIスイッチのPCIブリッジの設定空間に書きこむ。

計算機制御部１２０に、PCI管理番号５４１と計算機管理テーブル要求コマンドを発行する(S23)。

システム制御部はシステム制御部が保存している計算管理テーブル５１０の計算機制御部１２０のMACアドレスとPCI slot番号５１０−３が一致する計算機制御部番号５１０−２を参照する。参照した計算機制御部番号５１０−２とPCI slot番号５１０−３がPCI管理番号テーブル５４１のPCI管理番号５４１で参照した、計算機制御番号とPCISlot番号５１０−３に一致しているか確認する(S24)。同一であれば、物理位置情報テーブルと現実が一致していることが保証できる。
一致していない場合はuserにその旨を通知する(S25)。

その後、システム制御部は計算管理テーブル５１０の計算機制御部１２０のMACアドレスと一致する行の計算機制御番号とPCI Slot番号５１０−３を参照し、PCI管理番号テーブル５４０に登録されている計算機制御番号とPCI Slot番号５１０−３に一致する列を削除する。PCI管理番号５４１をPCI管理番号テーブル５４０に登録しデータを更新する(S26)。

図１１は、計算機制御部１２０の動作の詳細を示すフローチャートである。

計算機制御部１２０は、システム制御部からPCI管理番号と計算機管理テーブル
要求コマンドを受ける(S31)。コマンドを受け取った計算機制御部１２０は、計算機にPCI管理番号と計算機管理テーブルを取得するコマンドを送付する(S32)。計算機制御部１２０は、計算機からPCI管理番号５４１とPCIslot番号５１０−３とMACアドレスが入った計算機管理テーブルを受け取る(S33)。システム管理部にPCI管理番号と計算機管理テーブルを返す（S34）
上述の実施例によれば、以下の機能と効果を奏することができる。(1)本発明では、システム制御部が物理位置情報を管理しPCI管理番号を確認することによって、PCIスイッチと計算機のPCIケーブルの接続が正しく接続されていることを保証することができる。(2)PCI管理番号はPCIスイッチ制御部２２０と計算機制御部１２０の位置情報をもっている。計算機制御部管理テーブルとPCIスイッチ制御部管理テーブルを参照することで計算機とPCIスイッチの接続状況とサーバルーム内の位置がわかる。障害でケーブルの交換が必要な場合に、交換するケーブルの位置が自動でUSERに知らされるので、交換が円滑に行える。(3)PCI管理番号が自動で設定される。PCIスイッチの交換やPCIケーブルの接続を変えた場合でも、自動で設定されるので便利である。

１ システム全体、１０ シャーシ、２０ IOドロワ、３０ システム制御部、５０−１ PCIeケーブル、５０−２ LANケーブル、５０−３ LANケーブル、５０−６ LANケーブル、５０−７ LANケーブル、６０ LANスイッチ、１１０ 計算機、１２０ 計算機制御部、２１０ PCIスイッチ、２２０ PCIスイッチ制御部、２３０ PCIカード、２５０−１ 信号線、２５０−２ PCIeケーブル、４１０ PCIポート、４２０ PCIポート、４３０ PCIスイッチ制御部、５１０ 計算機制御部管理テーブル、５１０−１ 計算機制御部位置情報、５１０−２ 計算機制御部番号、５１０−３ PciSlot番号、５２０ PCIスイッチ制御部管理テーブル、５２０−１ PCIスイッチ制御部位置情報、５２０−２ PCIスイッチ番号、５２０−３ Slot番号、５３０ PCI管理番号フォーマット、５４０ PCI管理番号テーブル、PCI管理番号 ５４１

Claims (5)

1. 計算機管理制御テーブルとPCIスイッチ管理制御テーブルを有した、システム制御部がPCI管理番号を自動で設定するための位置情報管理テーブルからPCI管理番号を取得するステップと、
   PCIスイッチ制御部にPCIスイッチ管理番号を送付・登録するステップと、
   計算機制御部にPCIスイッチ情報要求コマンドを発行するステップと、
   PCIスイッチ制御部が設定したPCI管理番号を計算機制御部から命令して計算機に読み取らせるステップと、計算機が読んだPCI管理番号が持っている計算機制御部番号とPCI Slot番号と、計算機の計算機制御部番号とPCI Slot番号が一致するか判断するステップを有し、自動でPCIスイッチ管理番号の更新できる機能を特徴とする情報処理システム。
2. 前記PCIスイッチ管理番号は、計算機制御部管理テーブルとシャーシslot番号、PCIスイッチ制御部管理テーブルとIOドロワslot番号をPCI管理番号フォーマットを元に作成されることを特徴とする請求項１の情報処理システム。
3. 前記、計算機制御部管理テーブルは計算機制御部の位置情報を有することを特徴とする請求項２の情報処理システム。
4. 前記、PCIスイッチ制御部管理テーブルはPCIスイッチ管理部の位置情報を有することを特徴とする請求項３の情報処理システム。
5. 複数の計算機と、
   前記計算機と接続され、前記計算機とPCIデバイスとを接続するPICスイッチ及び前記PCIスイッチを制御するPCIスイッチ制御部を有するIOドロワと、
   前記複数の計算機を制御し、前記PCIスイッチ制御部の位置情報を管理するPCIスイッチ制御管理テーブルを有する計算機制御部と、
   ネットワークを介して前記計算機およびIOドロワと接続され、前記計算機制御部の位置情報を管理する計算機管理テーブルを有するシステム制御部とを備える計算機システムにおける計算機への物理位置情報割り当て方法であって、
   前記システム制御部は、
   前記計算機管理テーブル及び前記PCIスイッチ制御管理テーブルを参照してPCI管理番号を作成し、
   前記作成したPCIスイッチ管理番号を前記PCIスイッチ制御部に送信し、
   前記PCIスイッチ制御部は、
   前記PCI管理番号をPCIブリッジ設定空間に設定し、
   前記計算機制御部は、
   計算機に前記PCIブリッジ設定空間に設定されている前記PCI管理番号を取得させ、
   前記取得した前記PCI管理番号が持っている計算機制御部番号とPCI Slot番号と、前記計算機の計算機制御部番号とPCI Slot番号が一致することを確認し、
   一致する場合は、PCIスイッチと計算機のPCIケーブルとの接続を正しいとみなし、
   一致しない場合は、PCIスイッチと計算機のPCIケーブルとの接続を正しくないとみなす
   ことを特徴とする計算機への物理位置情報割り当て方法。

Images