JP2007148713A

JP2007148713A - 並列計算機

Info

Publication number: JP2007148713A
Application number: JP2005341359A
Authority: JP
Inventors: 康弘 ▲寺▼本; Yasuhiro Teramoto
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-11-28
Filing date: 2005-11-28
Publication date: 2007-06-14

Abstract

【課題】並列計算機におけるＣＰＵ性能を最大限に発揮させるための周波数制御方式を提供すること。
【解決手段】床下からの強制空冷方式の並列計算機１において、上段計算機ユニット３のサービスプロセッサ２１が、上段計算機ユニット３の入気温度および下段計算機ユニット２のＣＰＵ接合温度を逐次監視し、これらを用いて上段計算機ユニット３の入気９３の温度変化予測を行い、上段計算機ユニット３のクロック発信器２４を制御し動作周波数を通常動作周波数より上げて処理性能の向上を図る。
【選択図】図１

Description

本発明は、複数台の計算機ユニットにより構成される並列計算機において、計算機ユニットの動作周波数を適宜制御する制御システムおよび情報処理装置に関する。

並列計算機とは、ＣＰＵを個々に備える計算機ユニット（ノード）を複数台備え、これらを高速なネットワークで結び付けることにより、一つの高性能な計算機装置として使用することが可能な情報処理装置である。近年、並列計算機の装置設計においては、個々の計算機ユニットに搭載されているＣＰＵの動作周波数高速化に伴い、高発熱体化したＣＰＵおよび計算機ユニットを如何に装置内に高密度実装するかが命題となっている。これに対し、実現のための一形態として図１に示されるような床下からの強制空冷方式の並列計算機がある。この特徴は、装置内に計算機ユニットを多段に搭載し、装置最下部に備えられた冷却装置（ブロア）が床下の冷えた空気を吸い上げ、その送風により、まず下段に搭載された計算機ユニットを冷却し、引き続き上段に搭載された計算機ユニットをも冷却することにより、高発熱な計算機ユニットの高密度実装を実現している。（特許文献１参照）
また、このような並列計算機において最も冷却が厳しいポイントは、上段計算機ユニットのＣＰＵの接合温度（ジャンクション温度）であり、その熱設計は、冷却装置・放熱器（ヒートシンク）の性能、環境（床下）温度の最悪条件、計算機ユニットのプロセスおよび活性状態のばらつきによる発熱量ばらつきの最悪条件、計算機ユニットの安定動作限界等を考慮して行われる。さらに、その熱設計は、今日ますます高まるＣＰＵ発熱密度、および、実装構造上の制限から求められる冷却装置や放熱器の物理的大きさの制限など、困難さを増している。そのため、従来、ＣＰＵの動作速度を決める要素はその速度的な動作限界であったが、現在ではこれに加え、搭載される装置の冷却能力によっても決められると言っても過言ではなくなってきている。（非特許文献１参照）
また、一般的な並列計算機においては、同種の計算機ユニットを複数台並べるため、その計算機ユニットの動作周波数は、ＣＰＵの速度的な動作限界と装置の熱設計における動作限界周波数を基準に全ての計算機ユニットで一律に決められている。

一方、パーソナルコンピュータにおいては、例えば特許文献２に示されているような温度管理方法を用い自計算機ユニット内部の温度測定を逐次行い、自ＣＰＵの動作周波数を制御する方式も考えられている。ただし、これは主としてポータブルコンピュータにおけるバッテリの消費電力を抑えるための技術として利用されている。

特開２０００−１７４４６５号公報特開平９−１９８１６６号公報特開平７−１９１７７８号公報「動作周波数４ＧＨｚ超にらんだ新Ｐｅｎｔｉｕｍ４，性能向上阻む熱のカベ」（ｈｔｔｐ：／／ｉｔｐｒｏ．ｎｉｋｋｅｉｂｐ．ｃｏ．ｊｐ／ｍｅｍｂｅｒｓ／ＮＢＹ／ＩＴＡＲＴＩＣＬＥ／２００４０３２５／１／）

前記背景の技術で示されている床下からの強制空冷方式の並列計算機で、かつ、計算機ユニットの動作周波数がＣＰＵの速度的な限界に達しておらず装置の熱設計により決められた装置を考える。ここで、この並列計算機の上段に搭載されている計算機ユニットに関し、その下段に位置する計算機ユニットの発熱が低い時点においては、安定に動作する冷却能力に余力がありながらも、その計算機ユニットは抑えられた動作周波数で動作していることとなる。逆に言えば、ここに、この並列計算機のＣＰＵ性能の上げしろがある。さて、このような従来の並列計算機における静的な動作周波数の考え方に対し、前記パーソナルコンピュータの例で採用されているような動的な動作周波数制御方式を応用することを考える。この場合、計算機ユニットの環境温度が低いときに動作周波数を早くすることは容易であるが、計算機ユニット内の温度が急激に上昇した時、その検出から動作周波数を落としてＣＰＵ接合温度が限界温度を超えないように制御することは、温度上昇の熱源であるＣＰＵの温度変化を監視していては、そのフィードバックが遅れることは自明であり、予測を用いても実現は困難である。ちなみに、ＣＰＵの接合温度がその限界を超えてしまうと、半導体素子の寿命劣化や故障の原因となり得る。

本発明において解決しようとする課題は、前記の困難を克服し並列計算機におけるＣＰＵ性能を最大限に発揮させるための周波数制御方式を提供することである。

本発明では、床下からの強制空冷方式の並列計算機において、上段計算機ユニットのサービスプロセッサが、上段計算機ユニットの入気温度および下段計算機ユニットのＣＰＵ接合温度を逐次監視し、これらを用いて上段計算機ユニットの入気の温度変化予測を行い、上段計算機ユニットのクロック発信器を制御し動作周波数を通常動作周波数より上げて処理性能の向上を図る。

本発明により、本来の熱設計の動作条件を満たしながら、個々の計算機ユニットの活性状態ばらつきによる発熱量ばらつきによって生じる冷却能力の余力を利用し、計算機ユニットの動作周波数向上を図り処理性能の向上を得ることができる。

以下、本発明の一実施例を図面を用いて具体的に説明する。

図１は、本発明の一実施例の並列計算機に係わる要部ブロック図である。本実施例の並列計算機１は、複数の計算機ユニット２・３と冷却ユニット４と上位電源制御ユニット５と共通電源ユニット６と通信手段７を有する。ここで、計算機ユニット２・３は並列計算機１の単位床面積あたりの実装密度を向上させることを目的とし、上下多段に搭載されていることを特徴としている。なお、本実施例では２台の計算機ユニットによる上下二段構成を取り上げるが、本発明に計算機ユニットの台数の制限はなく、また、二段以上の構成を採ることも可能である。各計算機ユニット２・３は、各々にＣＰＵ２０・３０と、計算機ユニットの初期化や障害処理等を行うサービスプロセッサユニット２１・３１と、電源ユニット２２・３２と、電源ユニットの制御および環境の異常監視を主に行う電源制御ユニット２３・３３と、ＣＰＵにクロックを供給するクロック発信器２４・３４と、計算機ユニットの入気温度を測定する入気温度センサ２５・３５と、ＣＰＵの接合温度を測定する接合温度センサ２６・３６を有する。なお、本実施例では、説明の簡単化のためＣＰＵを一部位として表しているが、本発明が計算機ユニットのインプリメントにおけるマルチプロセッサ構成の採用に制限を加えるものではない。

冷却ユニット４は、並列計算機内の計算機ユニット冷却のため、床下から冷えた空気を吸気し送風するブロア４１・４２を有する。上位電源制御ユニット５は、複数の計算機ユニットに各々搭載されている電源制御ユニット２３・３３の上位管理ユニットであり、かつ、共通電源ユニット６の制御を行う。また、上位電源制御ユニット５は、各計算機ユニット２・３に搭載されているサービスプロセッサ２１・３１および電源制御ユニット２３・３３と相互通信のため通信手段７で接続されている。共通電源ユニット６は、ブロア制御ユニット６１を有する。

次に、並列計算機１内部の冷却に係わる空気の流れを説明する。まず、並列計算機１の床下の冷えた床下空気９１は、冷却ユニット４に搭載されているブロア４１・４２により吸気され、下段入気９２として計算機ユニット３へ送風される。計算機ユニット３の中で熱交換が行われ暖められた空気は、さらに上段入気９３として並列計算機１の上段に搭載されている計算機ユニット２へ送風される。その後、上段入気９３は計算機ユニット２の中を通過し、最終的に上段排気９４として並列計算機１の外へ排出される。

図２は、本発明の一実施例の並列計算機に係わる熱設計の考え方を示す説明図である。図表の縦軸２００は温度であり、本図表では並列計算機１において最も熱設計が厳しいポイントである上段計算機ユニットのＣＰＵ接合温度に関し、上段計算機ユニットＣＰＵ接合温度の最高温度予測２１０と上段計算機ユニットＣＰＵ接合温度のある時点の温度予測２１１を比較し示している。

上段計算機ユニットＣＰＵ接合温度の最高温度予測２１０は、本実施例のような構造をとる並列計算機において基本的な熱設計の結果見積もられた上段計算機ユニットのＣＰＵ接合温度の最高値（最悪値）予測であり、その内訳は最悪条件の床下温度２２０と、最悪条件の冷却ユニット温度上昇分２２１と、最悪条件の下段計算機ユニット温度上昇分２２２と、最悪条件の上段計算機ユニットＣＰＵ接合温度上昇分２２３である。当然のことながら、上段計算機ユニットＣＰＵ接合温度の最高温度予測２１０によって示される接合温度のワースト値Ｔ１は、ＣＰＵの動作性能、マージン、寿命を総合的に考慮し決められた限界温度Ｔｍａｘより低い温度である。ただし今日、本発明が取り扱う並列計算機において、熱設計は装置の動作周波数（演算性能）を決める最も重要な要素の一つであるため、限界温度ＴｍａｘとＴ１の間に余分なマージンはないことが一般的である。言い換えれば、ＣＰＵはその熱設計が許す限り早く動作させた方が処理性能は上がり得である。

一方、並列計算機の実動作中におけるある時点を考えると、上段計算機ユニットＣＰＵ接合のある時点の温度予測２１１に示すような考えが成り立つ。すなわち、ある時点の床下温度２３０と、ある時点の冷却ユニット温度上昇分２３１と、ある時点の下段計算機ユニット温度上昇分２３２は実測の値を使い、上段計算機ユニットのＣＰＵ接合温度上昇分のみ最悪条件２３３を考慮すると最高温度予測との間に差ΔＴ２４０が生まれ、これは、Ｔ１とＴ２の差ΔＴ２４１となり、上段計算機ユニットの動作温度マージンが広がったように見なせる。本発明では、このΔＴ２４１を活用し上段計算機ユニットのＣＰＵ動作周波数を従来の設計値より早くし、性能向上を図ることを目的としている。無論、下段計算機ユニットの温度上昇分は時間により変化し、最悪は、最悪条件の下段計算機ユニット温度上昇分２２２まで上昇する。その場合においても、上段計算機ユニットのＣＰＵ接合温度は、Ｔｍａｘ（≒Ｔ１）を超えることは許されず、上段計算機ユニットのＣＰＵ周波数を下げ、発熱を抑え、超えないように制御しなければならない。

図３は、本発明の一実施例の並列計算機に係わる温度変化の考え方を示す説明図である。図表の縦軸３００は温度であり、横軸３０１は時間の経過を示す。本図表では、本発明の一実施例の並列計算機における温度変化の一例として、ある計算機ユニットのＣＰＵ接合温度変化３１０とその排気温度変化３１１を重ねて示す。ここで、ＣＰＵ接合温度が急峻に変化し高くなったポイント３２０に着目すると、この時点の発熱がＣＰＵの放熱器（ヒートシンク）を伝播し計算機ユニット内の冷却風と熱交換を行い、最終的に計算機ユニットの排気温度が高くなるポイント３２１まで、時間的なディレイが生じている。

図１に戻って説明すると、下段に搭載された計算機ユニット３のＣＰＵ接合温度を逐次計測することにより、下段排気、言い換えると上段入気９３の近い将来の温度変化をある程度予測することが可能であると言える。これにより、図２で示したΔＴ２４１を活用し早くした上段計算機ユニットのＣＰＵ動作周波数を下げ、発熱を抑え、ＣＰＵ接合温度の限界値を超えないように制御することを現実的に可能とする。

図４は、本発明の一実施例の周波数変更プロセスを示すフローチャートである。本プロセスは、図１で示す上段計算機ユニット２のサービスプロセッサ２１において定期的に実行されるプロセスである。

本プロセスでは、まず、処理４００で計算機ユニットの入気温度（Ｔｉｎ）を測定し、処理４０１でＣＰＵ接合温度（Ｔｊ）を測定し、条件４０２にてもし入気温度（Ｔｉｎ）がある閾値（Ｔａ）より低かったならば、かつ条件４０３にてもしＣＰＵ接合温度（Ｔｊ）がある閾値（Ｔｂ）より低かったならば、かつ条件４０５にて現在の動作周波数（Ｆ）が動作周波数限界（Ｆｍａｘ）より小さかったならば、動作周波数（Ｆ）をΔｆだけ早く設定する。
条件４０３にてもしＣＰＵ接合温度（Ｔｊ）がある閾値（Ｔｂ）より低くなかったならば、かつ条件４０４にて現在の動作周波数（Ｆ）が標準周波数（Ｆｎ）より大きかったならば、近い将来計算機ユニットの入気温度が上がることが予測されるため、ＣＰＵの動作周波数（Ｆ）をΔｆだけ遅くする。
条件４０５にて現在の動作周波数が動作限界周波数（Ｆｍａｘ）より早くならないことを防ぎ、条件４０４にて現在の動作周波数が標準動作周波数（Ｆｎ）より遅くならないことを防ぐ。
条件４０２にてもし入気温度がある閾値（Ｔａ）より小さくなかったら、処理４０６により動作周波数を標準動作周波数へ戻し、ＣＰＵ接合温度が限界値を超えることを防ぐ。
端子４１０・４１１は、本プロセスが定期的に繰り返し実行されることを示す。閾値Ｔａ・Ｔｂは本制御プロセスのために決定されるべき値である。

図５は、図１で示す並列計算機１の中で温度測定に係わる部位の制御の流れを示す補足図である。上段計算機ユニット２のサービスプロセッサユニット２１は、リクエスト５００により上位電源制御ユニット５に対し上段計算機ユニット２の入気温度と下段搭載計算機ユニット３のＣＰＵ接合温度を要求する。上位電源制御ユニット５は、応答５０１により要求のあった測定値をサービスプロセッサユニット２１へ返答する。ここで、上位電源制御ユニット５は、リクエスト５１０・５１２により定期的に各計算機ユニットの電源制御ユニット２３・３３へ各計算機ユニットの入気温度とＣＰＵ接合温度の計測を指示し、応答５１１・５１３により最新の測定値を得ている。これらのリクエストおよび応答は図１における通信手段７において行われる。また、各電源制御ユニット２３・３３は、上位電源制御ユニット５からの指示に従い随時各入気センサ２５・３５および接合温度センサ２６・３６から測定値を取り込む。

なお、上記実施の形態は以下のように捉えることが可能である。
（１）多段に計算機ユニットを搭載する並列計算機において、床下からの強制空冷の手段を具備し、各計算機ユニットのＣＰＵ温度を監視測定する電源制御ユニットを具備し、各計算機ユニットの動作周波数を動的に制御可能なサービスプロセッサユニットを具備し、並列計算機内の下段計算機ユニットのＣＰＵ温度を逐次測定し、これを用いて上段計算機ユニットの入気温度予測を行い、前記上段計算機ユニットの動作周波数を上げて処理性能の向上を図る制御システムを備えることを特徴とする並列計算機。
（２）（１）に加え、前記制御システムは、複数の計算機ユニットの電源制御ユニットを管理するための上位電源制御ユニットを具備し、計算機ユニットのサービスプロセッサユニットは、上位電源制御ユニットを介し自他の計算機ユニットの入気温度およびＣＰＵ温度を監視することが可能なことを特徴とする並列計算機。
（３）（１）に加え、前記制御システムは、計算機ユニットのサービスプロセッサユニットが、クロック発信器を制御することにより動的に計算機ユニットの動作周波数を変更することが可能なことを特徴とする並列計算機。
（４）（１）に加え、前記制御システムは、上段計算機ユニットの入気温度がある閾値を超えた場合、上げていた動作周波数を通常動作周波数に戻し、ＣＰＵ温度が熱設計における限界値を超えない様に制御することを特徴とする並列計算機。
（５）（１）に加え、前記制御システムは、下段計算機ユニットのＣＰＵ温度がある閾値を超えた場合、上げていた周波数を段階的に下げ、ＣＰＵ温度が熱設計における限界値を超えない様に制御することを特徴とする並列計算機。
（６）（１）に加え、前記制御システムは、上段計算機ユニットの動作周波数が計算機ユニットの動作速度の限界値を超えない様に制御することを特徴とする並列計算機。
（７）（１）に加え、前記制御システムは、上段計算機ユニットの動作周波数が通常動作速度を下回らない様に制御することを特徴とする並列計算機

本発明の一実施例の並列計算機に係わる要部ブロック図である。本発明の一実施例の並列計算機に係わる熱設計の考え方を示す説明図である。本発明の一実施例の並列計算機に係わる温度変化の考え方を示す説明図である。本発明の一実施例の周波数変更プロセスを示すフローチャートである。図１の温度測定に係わる部位の制御の流れを示す補足図である。

符号の説明

１並列計算機
２・３計算機ユニット
４冷却ユニット
５上位電源制御ユニット
６共通電源ユニット
２０・３０ＣＰＵ
２１・３１サービスプロセッサユニット
２２・３２電源ユニット
２３・３３電源制御ユニット
２４・３４クロック発信器
２５・３５入気温度センサ
２６・３６接合温度センサ
４１・４２ブロア
６１ブロア制御ユニット
９１床下空気
９２下段入気
９３上段入気
９４上段排気
２４０入気温度の最高温度予測とある時点の温度予測の差
２４１ジャンクション温度の最高温度予測とある時点の温度予測の差
３１０ＣＰＵ接合温度変化
３１１計算機ユニットの排気温度変化
３２０ＣＰＵ接合温度が急峻に変化し高くなったポイント
３２１計算機ユニットの排気温度が高くなるポイント
５００サービスプロセッサユニットから上位電源制御ユニットへのリクエスト
５０１上位監視ユニットからサービスプロセッサユニットへの応答
５１０・５１２上位電源制御ユニットから電源制御ユニットへのリクエスト
５１１・５１３電源制御ユニットから上位電源制御ユニットへの応答

Claims

計算機ユニットを多段に搭載し床下から強制空冷を行う並列計算機において、各計算機ユニットのＣＰＵ温度を監視測定する電源制御ユニットと、各計算機ユニットの動作周波数を動的に制御可能なサービスプロセッサユニットとを具備し、並列計算機内の下段計算機ユニットのＣＰＵ温度を逐次測定し、これを用いて上段計算機ユニットの入気温度予測を行い、前記上段計算機ユニットの動作周波数を制御する制御システムを備えることを特徴とする並列計算機。