JP2012053504A

JP2012053504A - ブレード型サーバ装置

Info

Publication number: JP2012053504A
Application number: JP2010193057A
Authority: JP
Inventors: Akio Iketani; 昭雄池谷; Takashi Aoyagi; 隆青柳; Kenji Kashiwagi; 健二柏木; Tadahiro Sezaki; 直裕瀬▲崎▼; Kazunori Nakajima; 和則中島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-08-31
Filing date: 2010-08-31
Publication date: 2012-03-15
Also published as: US8745275B2; US20120054469A1

Abstract

【課題】ＳＭＰ結合するプロセッサのＩＤ番号のつけ方に関する制約と、装置仕様から要求されるＩＤ番号のつけ方に関する制約とを同時に満たし、サーバモジュールの数が増えても信号伝送品質が低下しないブレード型サーバ装置を提供する。
【解決手段】複数のサーバモジュールと、前記複数のサーバモジュールを搭載するバックプレーンと、前記複数のサーバモジュールをＳＭＰ結合させるための配線を有するＳＭＰ結合装置を備えたブレード型サーバ装置において、各サーバモジュールは、一個以上のプロセッサと、モジュール管理部を備え、前記モジュール管理部は、各プロセッサに対してプロセッサＩＤを通知するＩＤ決定部を備え、各プロセッサは、演算部と、受信したパケットを前記ＳＭＰ結合装置のどの配線経由で送るか指示するＳＭＰ仮想接続部を備え、前記ＳＭＰ仮想接続部に対して前記プロセッサＩＤを変換して通知するＩＤ変換部を備える。
【選択図】図１

Description

本発明は、複数のブレード型サーバモジュールを密結合することで高性能なサーバの構築を可能とするブレード型サーバ装置に関する。特に対称型マルチプロセッサシステム（ＳＭＰ：Symmetric Multi Processing）を採用したブレード型ＳＭＰサーバ装置に関する。

本発明の公知技術として、特開２０１０−００９６２８号公報には、複数のブレード型サーバモジュールをバックプレーンを経由してＳＭＰ結合する技術が記載されている。また、特開２０１０−０７９４６７号公報には、バックプレーン上の配線に換えて、ブレード型サーバモジュールに装着する着脱可能なＳＭＰ結合装置を提供することで、論理的なＳＭＰ構成に応じた物理的なＳＭＰ結合を実現する技術が記載されている。

特開２０１０−００９６２８号公報特開２０１０−０７９４６７号公報

複数のサーバモジュールから成るＳＭＰ構成のサーバ装置を設計するためには、種々の制約を考慮する必要がある。例えばプロセッサアーキテクチャによる制約と、装置仕様による制約を同時に満たすよう設計すると、特許文献２記載のＳＭＰ結合装置の配線長が大幅に長くなり、信号伝送品質が低下する場合がある。

具体的な例を、図６〜図１１を用いて説明する。

第１の制約として、使用するプロセッサのアーキテクチャの都合により、ＳＭＰ結合する各プロセッサの接続先に制約がある場合がある。図６に例を示す。図６のプロセッサ400はＳＭＰ結合するプロセッサ数を２個、４個、８個から選択することができる。プロセッサ400は、ＳＭＰ仮想接続部410と演算部420を備え、プロセッサ外部のＩＤ設定回路500からプロセッサＩＤを受信し、各プロセッサ間は接続配線600で接続されている。なお図６では、代表の接続配線に符号を付してあるが、各プロセッサ間を接続する太線で示した配線は、すべて前記接続配線600である。前記演算部420が、図７に示したパケット700を、前記ＳＭＰ仮想接続部410に送付する。パケット700は、データパケット720と宛先プロセッサＩＤ 710を備えている。前記ＳＭＰ仮想接続部410は、各宛先のパケットに対してどの接続配線600を使用するかを指示するが、このとき、データ転送を効率よく行うために、特定の接続配線に同時にパケットが集中しないよう、使用する接続配線を指示する機能を持っている。ただし、プロセッサのアーキテクチャ上、プロセッサＩＤと接続配線の関係を変えるとこの機能が成り立たず、特定の接続配線にパケットが集中して、性能が低下してしまう。このため、ＳＭＰ結合の性能を最大に発揮させるためには、前記のプロセッサＩＤに対して、図６のとおり、接続配線600を接続しなければならないという制約がある。

なお、ここで言うプロセッサとは、プロセッサチップとしての物理的な塊を指し、近年主流となっているマルチコアプロセッサであっても１個とみなす。

第２の制約として、サーバ装置の仕様などの都合により、前記ＩＤ番号のつけかたに制約がある場合がある。図８〜図１１に例を示す。図８は前記プロセッサ400を４個ＳＭＰ結合したサーバ装置の構成例で、図９はその実装例である。同一の符号が付された箇所は、同じ部品、または同じ機能を指す。サーバ装置筐体1に、サーバモジュール10を２個と、バックプレーン20と、管理ユニット30と、ＳＭＰ結合装置（４個接続用）40とを備えている。管理ユニットは、ブレード間ＳＭＰ実施有無指示受け付け部31と障害情報収集部32を備えている。サーバモジュール10は、前記プロセッサ400を２個と、モジュール管理部300を備えており、モジュール管理部300は、ＩＤ決定部310と、障害検出部320を備えている。ＩＤ決定部310により決定されたプロセッサＩＤをモジュール管理部300が、各プロセッサ400に、電気信号で通知する。一方、障害検出部320も、前記プロセッサＩＤを受信し、例えば障害発生時における物理的なプロセッサ位置の指摘を行い、保守性を確保する機能として使用する。そのため、装置の仕様として、プロセッサＩＤは物理的な並びの順どおり、図８の左から順に（図９の実装図では、左から順に、かつ上から順に）#0、#1、#2、#3と定義しなければならないという制約がある。

このように、前記第２の制約によりプロセッサＩＤが一意に決まり、また前記第１の制約によりＩＤと接続先の関係が決まるため、ＳＭＰ結合装置（４個接続用）40の基板配線の接続先は一意に決まる。これら制約に適合するよう基板配線を設計すると、最長配線41の配線長は、図９のサーバモジュール10を搭載する搭載ピッチ2にほぼ等しくなる。

ここで、同じ制約をプロセッサ８個のＳＭＰ結合に適用した場合に不都合が生じる。図１０は前記プロセッサ400を８個ＳＭＰ結合したサーバ装置の構成例で、図１１はその実装例である。同一の符号が付された箇所は、同じ部品、または同じ機能を指す。図８、図９との違いは、サーバモジュール10を４個搭載し、ＳＭＰ結合装置（８個接続用）50を備えていることである。既に説明した図８、図９に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。ここで、プロセッサＩＤは、装置の仕様として、プロセッサの物理的な並びの順どおり、図１０の左から順に（図１１の実装図では、左から順に、かつ上から順に）#0、#1、#2、・・・、#7と定義しなければならないという制約がある。

このように、前記第２の制約によりプロセッサＩＤが一意に決まり、また前記第１の制約によりＩＤと接続先の関係が決まるため、ＳＭＰ結合装置（８個接続用）50の基板配線の接続先は一意に決まる。これら制約に適合するよう基板配線を設計すると、最長配線51の配線長は、図１１のサーバモジュール10を搭載する搭載ピッチ2の約３倍になる。

このように、制約を同時に満たすよう設計すると、４個接続に対して８個接続の方がＳＭＰ結合装置の配線長が３倍長くなり、ＳＭＰ結合のための信号伝送品質が大幅に劣化する場合がある。

ここで、基板材料を高価な超低損失材を使用しても、現在の技術では汎用的な基板材料に対して２倍程度の特性を得ることが限界であるため、ＳＭＰ結合装置（８個接続用）50の基板を超低損失材料にするだけでは不足で、サーバモジュール10の基板も超低損失材料にする必要が生じる。この場合、サーバモジュールのコストが上がるため、ＳＭＰ結合しない場合や４個接続のＳＭＰ結合の場合のような下位構成では、コストアップとなる。

また、信号伝送品質の観点から最大構成である８個接続のＳＭＰ結合が最も動作マージンが小さいため、開発時には最も詳細な評価が必要である一方で、このような最上位構成はファームウェア開発や部材の入手などに時間がかかり、評価用の試作機ができあがるのが最後になる場合が多く、下位構成を出荷した後に最上位構成の評価を開始する場合もある。通常、評価による不具合は、最も動作マージンが小さい構成での評価時に最も多く摘出される。このため、不具合摘出が遅くなるというリスクがあり、広義での開発コストアップとなる。

本願発明は、複数のサーバモジュールと、前記複数のサーバモジュールを搭載するバックプレーンと、前記複数のサーバモジュールをＳＭＰ結合させるための配線を有するＳＭＰ結合装置を備えたブレード型サーバ装置において、
各サーバモジュールは、ファームウェアにより制御された一個以上のプロセッサと、自サーバモジュールを管理するモジュール管理部を備え、前記モジュール管理部は、各プロセッサに対してプロセッサＩＤを通知するＩＤ決定部を備え、各プロセッサは、演算部と、前記演算部から受信したパケットを前記ＳＭＰ結合装置のどの配線経由で送るか指示するＳＭＰ仮想接続部を備え、前記ＳＭＰ仮想接続部に対して前記プロセッサＩＤを変換して通知するＩＤ変換部を前記ファームウェア内に備えたことを特徴とする。

本発明によれば、ＳＭＰ結合するプロセッサの接続先やプロセッサＩＤの定義の仕方に制約がある場合でも、前記制約のあるプロセッサＩＤとは独立してＳＭＰ仮想接続部に異なるＩＤを通知することが可能となり、ＳＭＰ結合の接続先をＩＤ定義の制約に関わらず最適化することが可能となる。これにより、８個接続のＳＭＰ結合装置の配線長を低減することができるため、信号伝送品質が向上する。

また、８個接続のＳＭＰ結合装置の基板を特性２倍の超低損失材料にすることで、サーバモジュールと４個接続のＳＭＰ結合装置の基板は安価な材料を使用でき、コスト低減となる。

また、８個接続のＳＭＰ結合装置は、４個接続のＳＭＰ結合装置に対して配線長２倍であるため、特性２倍の超低損失材料を使用することで、電気的な損失特性がほぼ等しくなる。このため、４個接続のＳＭＰ結合構成で十分に評価をしておけば、８個接続のＳＭＰ結合構成の試作評価が遅くなった場合でも、後で不具合が摘出されるリスクは大幅に低減され、広義での開発コスト低減となる。

本発明の実施例の８個接続ＳＭＰ結合サーバ装置の構成例である。本発明の実施例の８個接続ＳＭＰ結合サーバ装置の実装例である。図１のサーバ装置に使用するサーバモジュール#2の詳細説明図である。ＩＤ変換の処理を説明するフローチャートの例である。ＩＤ変換テーブルの例である。プロセッサのＳＭＰ結合の制約の例である。プロセッサ間を転送するパケットの例である。従来技術での４個接続ＳＭＰ結合サーバ装置の構成例である。従来技術での４個接続ＳＭＰ結合サーバ装置の実装例である。従来技術での８個接続ＳＭＰ結合サーバ装置の構成例である。従来技術での８個接続ＳＭＰ結合サーバ装置の実装例である。

以下、本発明の実施例を図面を用いて説明する。

本実施例では、前記課題で示した８個接続時のＳＭＰ結合装置の配線長を短縮する技術を用いたサーバ装置の例を説明する。

図１は、実施例１の８個接続ＳＭＰ結合サーバ装置の構成例で、図２はその実装例である。同一の符号が付された箇所は、同じ部品、または同じ機能を指す。図１０、図１１の従来技術との違いは、搭載するサーバモジュール100の内部にＩＤ変換部210を持ち、ＳＭＰ仮想接続部410には変換後のプロセッサＩＤを通知していることと、ＳＭＰ結合装置60の最長配線61の配線長が、図２のサーバモジュール100を搭載する搭載ピッチ2の約２倍にほぼ等しく、図１１の従来技術では搭載ピッチ2の約３倍であったことに比べて短くなっていることである。既に説明した図１０、図１１に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。

ＳＭＰ結合装置60の最長配線61の配線長短縮を実現するためのサーバモジュール100の内部について、以下に詳細な説明をする。

図３は、図１のサーバ装置に使用しているサーバモジュール#2の詳細説明図である。パックプレーン20は、スロット番号識別信号回路21を備えている。また、管理ユニット30は、ユーザからモジュール間ＳＭＰを実施するかどうかの指示を受け付けるモジュール間ＳＭＰ実施有無指示受け付け部31と、サーバモジュールが検出した障害情報を収集してユーザに通知する障害情報収集部32を備えている。また、ＳＭＰ結合装置60は、結合装置有無識別信号回路63と、結合装置タイプ識別信号回路62を備えている。また、サーバモジュール100は、プロセッサ400を２個搭載し、サーバモジュールを管理するモジュール管理部300とプロセッサを制御するファームウェア200を備えている。モジュール管理部300は、プロセッサＩＤを決定するＩＤ決定部310と、障害検出部320を備えており、前記プロセッサ400およびプロセッサを制御するファームウェア200に対して、プロセッサＩＤとＳＭＰタイプを通知する機能を備えている。また、プロセッサ400の動作を制御するファームウェア200は、ＩＤ変換部210を備えており、前記ＩＤ変換部210は、前記プロセッサ400内部のＳＭＰ仮想接続部410に対して、プロセッサＩＤを変換して通知する機能を持っている。プロセッサ400には、すでに説明した図６に示した接続先の制約がある。また、プロセッサＩＤは、図１の左から順（図２の実装図では、左から順に、かつ上から順に）#0、#1、・・・、#7と定義しなければならないというＩＤ番号のつけかたの制約がある。

前記ＩＤ変換部210によるＩＤ変換処理の流れを、図３、図４を用いて説明する。

まず、モジュール管理部300内部のＩＤ決定部310が、ＳＭＰ結合装置60内部の結合装置有無識別信号回路63から信号を受信し、ＳＭＰ結合装置の有無を検出する（S311）。「無」の場合はＳＭＰタイプ「２個接続」と判断する（S316）。「有」の場合は次に、管理ユニット30内部のモジュール間実施有無指示受け付け部31が、前記ＩＤ決定部310にモジュール間実施有無指示を通知することで（S31）ＩＤ決定部310がモジュール間実施有無を認識する（S312）。「無」の場合は、ＳＭＰタイプ「２個接続」と判断する（S316）。「有」の場合は、ＩＤ決定部310はＳＭＰ結合装置60内部の結合装置タイプ識別信号回路62から受信した信号により、ＳＭＰ結合装置のタイプを検出する（S313）。S313で、「４個接続用」の場合は、ＳＭＰタイプは「４個接続」と判断し（S315）、「８個接続用」の場合は、ＳＭＰタイプは「８個接続」と判断する(S314）。次に、ＳＭＰタイプが４個接続の場合と８個接続の場合、ＩＤ決定部310はバックプレーン20内部のスロット番号識別信号回路21から受信した信号により、自サーバモジュールが搭載されているスロット番号を認識する（S317）。以上より、ＩＤ決定部は、前記ＩＤのつけかたの制約により、プロセッサＩＤを決定する（S318）。ここで、障害検出部320は、障害検出時には、障害部位のプロセッサＩＤを管理ユニット30の障害情報収集部32に通知し（S321）、前記障害情報収集部32が、これをユーザに通知する（S32）。

つぎに、ファームウェア200は、ＩＤ決定部310から受信したプロセッサＩＤを、そのまま演算部に通知する（S201）。次に、ファームウェア200内部のＩＤ変換部が、ＳＭＰ結合タイプが８個接続の場合には、図５の変換テーブルにしたがいプロセッサＩＤを変換し（S212）、２個接続と４個接続の場合にはＩＤ変換しない。こうして得られたプロセッサＩＤを、ＳＭＰ仮想接続部に通知する（S213）。図５の変換テーブルは、具体的にはＩＤ#0〜#3の場合はそのまま、#4〜#7の場合はそれぞれ#4と#6、#5と#7を入れ替える。なお、プロセッサＩＤを変換する機能を実現できれば、前記変換テーブルを持つのでなく、関数を用いるなどの異なる方法でもかまわない。また、ここでは、プロセッサＩＤを変換しているが、趣旨に合致するものであれば、プロセッサＩＤ以外の変数を変換してもかなわない。

以上により、プロセッサＩＤのつけ方の制約があっても、ＳＭＰ仮想接続部に通知するＩＤを変換できるため、ＳＭＰ結合装置（８個接続用）60の最長配線61の配線長を、サーバモジュール100を搭載する搭載ピッチ2の約３倍から約２倍へ短縮することが可能となり、信号伝送品質が向上する。

また、この配線長は、既に図８、図９で示した４個接続のＳＭＰ結合サーバ装置の場合の約２倍であるため、ＳＭＰ結合装置（８個接続用）60の基板材料として、高価だが２倍の電気特性が得られる超低損失材料を使用することで、４個接続と８個接続とで同等以上の信号品質を得られるよう設計が可能となる。例えば、パナソニック電工株式会社のＭＥＧＴＲＯＮ６を使うことで、実現できる。これにより、サーバモジュール100は、４個接続のＳＭＰ結合時に最低限の信号伝送品質が確保できるよう安価な基板材料を選定できるため、コスト低減できる。

また、上位構成の８個接続ＳＭＰは、ファームウェアなどの開発や部材の調達などに時間がかかるため、下位構成の４個接続ＳＭＰを先行して開発し、８個接続ＳＭＰの評価は４個接続ＳＭＰの後に開発する場合が多い。ここで、図１の８個接続のＳＭＰ結合は、４個接続のＳＭＰ結合と同等以上の信号伝送品質が得られるよう設計してあるため、４個接続のＳＭＰ結合で十分な評価をしておけば、後から８個接続のＳＭＰ結合の評価で不具合が摘出されるリスクが大幅に低減される。不具合のフィードバックは、時期が遅れるほど費用が大きくなる場合が多く、８個接続のＳＭＰ結合での不具合発生リスクを低減することは広義での設計コスト低減となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１サーバ装置筐体
１０従来技術でのサーバモジュール
２０バックプレーン
３０管理ユニット
４０ＳＭＰ結合装置（４個接続用）
５０従来技術でのＳＭＰ結合装置（８個接続用）
６０本発明のＳＭＰ結合装置（８個接続用）
１００本発明のサーバモジュール
２００ファームウェア
２１０ファームウェア内のＩＤ変換部
３００モジュール管理部
３１０モジュール管理部内のＩＤ決定部
４００プロセッサ

Claims

複数のサーバモジュールと、前記複数のサーバモジュールを搭載するバックプレーンと、前記複数のサーバモジュールをＳＭＰ結合させるための配線を有するＳＭＰ結合装置を備えたブレード型サーバ装置において、
各サーバモジュールは、ファームウェアにより制御された一個以上のプロセッサと、自サーバモジュールを管理するモジュール管理部を備え、
前記モジュール管理部は、各プロセッサに対してプロセッサＩＤを通知するＩＤ決定部を備え、
各プロセッサは、演算部と、前記演算部から受信したパケットを前記ＳＭＰ結合装置のどの配線経由で送るか指示するＳＭＰ仮想接続部を備え、
前記ＳＭＰ仮想接続部に対して前記プロセッサＩＤを変換して通知するＩＤ変換部を前記ファームウェア内に備えたことを特徴とするブレード型サーバ装置。
前記モジュール管理部の前記ＩＤ決定部は、前記ＳＭＰ結合装置内のＳＭＰ結合タイプ識別信号回路からＳＭＰを構成するプロセッサの数を受信すると共に前記バックプレーン内のスロット番号識別信号回路から各サーバモジュールのスロット番号を受信して、各プロセッサのプロセッサＩＤを決定することを特徴とする請求項１記載のブレード型サーバ装置。
前記ＩＤ変換部は、前記ＩＤ決定部が決定したプロセッサＩＤをＩＤ変換テーブルに従って前記ＳＭＰ仮想接続部用のプロセッサＩＤに変換することを特徴とする請求項２記載のブレード型サーバ装置。
４個のサーバモジュールをＳＭＰ結合させるＳＭＰ結合装置は、サーバモジュール間をＳＭＰ接続する配線の最長配線長をサーバモジュール搭載ピッチの２倍とすることを特徴とする請求項１記載のブレード型サーバ装置。
４個のサーバモジュールをＳＭＰ結合させるＳＭＰ結合装置の基板材料の電気特性を、２個のサーバモジュールをＳＭＰ結合させるＳＭＰ結合装置の基板材料の電気特性の２倍とすることを特徴とする請求項４記載のブレード型サーバ装置。