JP2011039889A - ネットワーク運用管理方法及びネットワーク運用管理装置 - Google Patents
ネットワーク運用管理方法及びネットワーク運用管理装置 Download PDFInfo
- Publication number
- JP2011039889A JP2011039889A JP2009188033A JP2009188033A JP2011039889A JP 2011039889 A JP2011039889 A JP 2011039889A JP 2009188033 A JP2009188033 A JP 2009188033A JP 2009188033 A JP2009188033 A JP 2009188033A JP 2011039889 A JP2011039889 A JP 2011039889A
- Authority
- JP
- Japan
- Prior art keywords
- power consumption
- server
- physical server
- data center
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Power Sources (AREA)
Abstract
【課題】データセンタに設置された機器（サーバ群や空調機等）の電力消費量を削減する場合に、サーバの電力消費量と空調機の電力消費量の両方を考慮することにより、データセンタ全体の電力消費量を削減するネットワーク運用管理装置を得る。
【解決手段】物理的に１台のサーバ(物理サーバ)を論理的に複数台のサーバ(論理サーバ)として動作させる仮想化技術が適用された複数のサーバが、ネットワークを介して接続され、各サーバのリソース（仮想化技術においては、メモリ、CPU、ネットワーク、ハードディスクの物理リソースを各論理サーバに分割して割り当てている）の使用状況に応じて、各サーバが消費する電力消費量と、それらを冷却する空調機の電力消費量を考慮し、それらを最小化するための物理サーバリソースと論理サーバの組み合わせ、各論理サーバに割り当てるリソース量を算出して、物理サーバのリソースの論理サーバへの割り当てを変更する。
【選択図】図１
【解決手段】物理的に１台のサーバ(物理サーバ)を論理的に複数台のサーバ(論理サーバ)として動作させる仮想化技術が適用された複数のサーバが、ネットワークを介して接続され、各サーバのリソース（仮想化技術においては、メモリ、CPU、ネットワーク、ハードディスクの物理リソースを各論理サーバに分割して割り当てている）の使用状況に応じて、各サーバが消費する電力消費量と、それらを冷却する空調機の電力消費量を考慮し、それらを最小化するための物理サーバリソースと論理サーバの組み合わせ、各論理サーバに割り当てるリソース量を算出して、物理サーバのリソースの論理サーバへの割り当てを変更する。
【選択図】図１
Description
本発明は、複数のサーバが接続されたネットワークの運用管理に関し、詳しくは、データセンタ内に設置された複数のサーバ機器に対して、物理的に１台のサーバ機器（物理サーバ）を論理的に複数台のサーバ機器（論理サーバ）として動作させることにより、限られた物理リソースを有効活用する仮想化技術が導入されたサーバ群が接続されるネットワークのネットワーク運用管理方法及びネットワーク運用管理装置に関する。
ネットワーク人口の増加や動画像配信など各種通信サービスの普及により、インターネット内のトラヒック量が将来的に急激に増大することが予想される。図１７は、経済産業大臣主催で開催された「グリーンＩＴイニシアティブ会議（第１回）」で示されたトラヒック量及び消費電力の推計であり、２０２５年には２００６年との比較でトラヒック量が１９０倍になると推計される。また、トラヒック量の増大に伴い、それを処理するサーバやルータなどのＩＴ機器（ネットワーク機器）も増加する傾向にあり、その消費電力量は２０２５年には２００６年との比較で５倍になると推計される。
これらサーバやネットワーク機器の電力消費量を削減することは、トラヒック量の増大を支えるうえで、重要な課題である。特に、複数のサーバやネットワーク機器が集中設置されるデータセンタにおける省電力化は急務である。
通常、データセンタには、複数のサーバ（サーバ群）を冷却するための空調機が設置され、データセンタ全体の省電力化を図るためには、空調機を駆動するための消費電力についても考慮する必要がある。
データセンタの電力消費量の内訳の一例として、空調機（Chiller(冷却機)＋CRAC(Computer room air conditioning)）に関するものが全体の４２％、サーバ及びネットワーク機器(IT Equipment)に関するものが３０％、電力系設備（PDU(Power Distributed Unit)、UPS(Uninterruptible PowerSupply)）に関するものが２３％、照明や静電気の発生を防ぐための加湿器が５％であることが知られている。
データセンタの電力消費量の内訳の一例として、空調機（Chiller(冷却機)＋CRAC(Computer room air conditioning)）に関するものが全体の４２％、サーバ及びネットワーク機器(IT Equipment)に関するものが３０％、電力系設備（PDU(Power Distributed Unit)、UPS(Uninterruptible PowerSupply)）に関するものが２３％、照明や静電気の発生を防ぐための加湿器が５％であることが知られている。
サーバの仮想化技術が適用されたデータセンタを想定する。ここでは、簡単に仮想化技術について触れる。
非特許文献１及び非特許文献２に示された仮想化技術は、物理的な計算機資源を複数の論理的な資源として見せるための技術である。仮想化技術の適用により、単一の物理サーバ上で２つの（実際は２つ以上の複数の論理サーバを単一の物理サーバ上で実行することが可能）論理サーバを動作させることが可能となる。また、論理サーバは、物理サーバのハードウェアリソース（CPU、メモリ、ネットワーク、ハードディスク）を分割して利用する（分割したハードウェアリソースが論理サーバに割り当てられる)。
特許文献１、非特許文献３及び非特許文献４には、仮想化技術を応用し、仮想化されたサーバ（論理サーバ）への物理リソース（CPUやメモリ、ネットワーク帯域、ハードディスク）の割り当てを、リソースの利用状況に応じて動的に変更し、不要となった機器の電源を休止することで、更なる省電力化を図る技術が提案されている。
非特許文献１及び非特許文献２に示された仮想化技術は、物理的な計算機資源を複数の論理的な資源として見せるための技術である。仮想化技術の適用により、単一の物理サーバ上で２つの（実際は２つ以上の複数の論理サーバを単一の物理サーバ上で実行することが可能）論理サーバを動作させることが可能となる。また、論理サーバは、物理サーバのハードウェアリソース（CPU、メモリ、ネットワーク、ハードディスク）を分割して利用する（分割したハードウェアリソースが論理サーバに割り当てられる)。
特許文献１、非特許文献３及び非特許文献４には、仮想化技術を応用し、仮想化されたサーバ（論理サーバ）への物理リソース（CPUやメモリ、ネットワーク帯域、ハードディスク）の割り当てを、リソースの利用状況に応じて動的に変更し、不要となった機器の電源を休止することで、更なる省電力化を図る技術が提案されている。
従来技術（特許文献１、非特許文献３及び非特許文献４）の動作概要について、図１５を参照しながら説明する。
従来技術においては、物理リソースの使用状況を定期監視し、リソースの使用状況が少ない場合（図１５における左の例）、物理リソースの論理サーバへの割り当てを動的に再構成し、一部の物理サーバで全ての論理サーバを実行し、さらに不要となった物理サーバを休止することが行われる（図１５における右の例）。
図１５の例においては、５台の物理サーバが設置されたサーバラック内でのみ論理サーバの物理サーバへの再割り当てを行っているが、実際にはデータセンタ内に設置された任意の物理サーバに論理サーバを割り当てることが可能である。
従来技術においては、物理リソースの使用状況を定期監視し、リソースの使用状況が少ない場合（図１５における左の例）、物理リソースの論理サーバへの割り当てを動的に再構成し、一部の物理サーバで全ての論理サーバを実行し、さらに不要となった物理サーバを休止することが行われる（図１５における右の例）。
図１５の例においては、５台の物理サーバが設置されたサーバラック内でのみ論理サーバの物理サーバへの再割り当てを行っているが、実際にはデータセンタ内に設置された任意の物理サーバに論理サーバを割り当てることが可能である。
VMware: http://www.vmware.com/
Xen: http://www.xen.org/
畑崎 恵介, 高本 良史, "サーバ仮想化を用いたシステムの省電力ポリシー運用技術," 電子情報通信学会技術研究報告 コンピュータシステム研究会CPSY2006-44 Vol.106, No.436, pp. 37-42, Dec. 2006.
VMware Distributed Power Management(DPM)
上述した従来技術（特許文献１、非特許文献３及び非特許文献４）においては、稼働中の物理サーバを削減することにより、サーバ群の電力消費量を削減することが行われていた。
すなわち、従来技術によれば、図１６に示すように、サーバ１、ネットワーク機器２及び空調機５が設置されたデータセンタにおいて、サーバ群の使用状況に応じ、その都度最小のサーバ数でユーザからのサービス要求を処理するようサーバ群の構成を動的に変更することで、サーバ群の電力消費量を最小化することが行われていた。
その一方、一部のサーバに処理を集中させた場合、サーバの電力消費量は使用率に比例して増加し、また、そのサーバによる排熱は電力消費量に応じて増加するため、一部のサーバの排熱が大きくなり、それらを冷却するために（図１６中、斜線で表示された矢印が冷気）空調機５の出力を上げる必要が発生し、空調機５の電力消費量を含むデータセンタ全体の電力消費量が大きくなる現象が生じることが懸念される。
すなわち、従来技術によれば、図１６に示すように、サーバ１、ネットワーク機器２及び空調機５が設置されたデータセンタにおいて、サーバ群の使用状況に応じ、その都度最小のサーバ数でユーザからのサービス要求を処理するようサーバ群の構成を動的に変更することで、サーバ群の電力消費量を最小化することが行われていた。
その一方、一部のサーバに処理を集中させた場合、サーバの電力消費量は使用率に比例して増加し、また、そのサーバによる排熱は電力消費量に応じて増加するため、一部のサーバの排熱が大きくなり、それらを冷却するために（図１６中、斜線で表示された矢印が冷気）空調機５の出力を上げる必要が発生し、空調機５の電力消費量を含むデータセンタ全体の電力消費量が大きくなる現象が生じることが懸念される。
すなわち、上述した従来技術（特許文献１、非特許文献３及び非特許文献４）のように、物理リソースの使用状況にのみ注目し、物理リソースの論理サーバへの割り当て、さらに不要となった物理サーバを休止し、サーバ群の電力消費量を少なくする技術だけでは、場合により、空調機(CRAC)の電力消費量の増加につながり、結果としてデータセンタＤＣ全体の電力消費量も大きくなる可能性がある。
本発明は上記事情に鑑みて提案されたもので、データセンタに電力消費量を削減するため、物理リソースの論理サーバへの割り当てを動的に変更する場合に、サーバの電力消費量に加え、空調機の電力消費量も考慮することにより、データセンタ全体の電力消費量を削減することができるネットワーク運用管理方法及びネットワーク運用管理装置を提供することを目的としている。
上記目的を達成するため本発明は、仮想化技術が適用されたサーバと、サーバを冷却するための空調機を主な構成要素とするデータセンタにおいて、データセンタの構成（物理リソースの論理サーバへの割り当て、空調機の設定）を管理する管理サーバを新たに設置する。そして、この管理サーバが、データセンタの電力消費量のうち、サーバ群および空調機による電力消費量の合計を最小化するため、物理リソースの使用状況に応じて、空調機による電力消費量を考慮した物理リソースの論理サーバへの動的割り当て変更を行う。
すなわち、請求項１の発明は、データセンタ内に複数の物理サーバを設置し、１台の物理サーバを論理的に複数台の論理サーバとして動作させる仮想化技術が適用された複数の物理サーバがネットワークを介して接続され、前記各物理サーバのリソースの使用状況に応じて、物理リソースの論理サーバへの割り当てを動的に変更する一方、データセンタ内に設置された空調機により前記各物理サーバを冷却するネットワーク運用管理方法において、
CPUの製品型式などハードウェアスペックより算出可能な物理サーバの電力消費モデルと、空調機の製品型式から算出可能な空調機の電力消費モデルと、物理サーバや空調機の物理的な位置から算出可能な、データセンタ内の空気の流れのモデルをあらかじめ管理し、
物理リソースの論理サーバへの割り当てを変更する際、前記各物理サーバの電力消費モデルから、割り当て変更後の各物理サーバの電力消費量と、データセンタ内の全ての物理サーバによる電力消費量の総量を試算するとともに、前記物理サーバの電力消費モデルと、空調機の電力消費モデル、データセンタ内の空気の流れのモデルから、割り当て変更後の各物理サーバを冷却するための空調機の電力消費量を試算することで、データセンタ全体の電力消費量を試算し、
物理リソースの使用状況に応じ、物理リソースの論理サーバへの割り当てについて、論理サーバをデータセンタ内のいずれの物理リソースに割り当てるかの組み合わせを複数算出し、各組み合わせにおける、物理リソースの論理サーバへの割り当て変更後の、データセンタ全体の電力消費量（物理サーバによる電力消費量の総量と空調機の電力消費量の和）を、前述の手順により試算し、データセンタ全体の電力消費量が最も小さい組み合わせを選択し、
その選択結果を基に、物理リソースの論理サーバへの割り当てを動的に変更する
ことを特徴としている。
CPUの製品型式などハードウェアスペックより算出可能な物理サーバの電力消費モデルと、空調機の製品型式から算出可能な空調機の電力消費モデルと、物理サーバや空調機の物理的な位置から算出可能な、データセンタ内の空気の流れのモデルをあらかじめ管理し、
物理リソースの論理サーバへの割り当てを変更する際、前記各物理サーバの電力消費モデルから、割り当て変更後の各物理サーバの電力消費量と、データセンタ内の全ての物理サーバによる電力消費量の総量を試算するとともに、前記物理サーバの電力消費モデルと、空調機の電力消費モデル、データセンタ内の空気の流れのモデルから、割り当て変更後の各物理サーバを冷却するための空調機の電力消費量を試算することで、データセンタ全体の電力消費量を試算し、
物理リソースの使用状況に応じ、物理リソースの論理サーバへの割り当てについて、論理サーバをデータセンタ内のいずれの物理リソースに割り当てるかの組み合わせを複数算出し、各組み合わせにおける、物理リソースの論理サーバへの割り当て変更後の、データセンタ全体の電力消費量（物理サーバによる電力消費量の総量と空調機の電力消費量の和）を、前述の手順により試算し、データセンタ全体の電力消費量が最も小さい組み合わせを選択し、
その選択結果を基に、物理リソースの論理サーバへの割り当てを動的に変更する
ことを特徴としている。
請求項２は、請求項１のネットワーク運用管理方法において、前記物理サーバのリソースの使用状況を定期的に取得し、前記各処理を定期的に実行することで、データセンタ全体の電力消費量が最小となるようにネットワークの構成を変更することを特徴としている。
請求項３は、データセンタ内に複数の物理サーバを設置し、１台の物理サーバを論理的に複数台の論理サーバとして動作させる仮想化技術が適用された複数の物理サーバがネットワークを介して接続され、前記各物理サーバのリソースの使用状況に応じて、物理リソースの論理サーバへの割り当てを動的に変更する一方、データセンタ内に設置された空調機により前記各物理サーバを冷却するネットワーク運用管理装置であって、次の構成を含むことを特徴としている。
前記物理サーバのCPUの製品型式などのハードウェアスペック及び論理サーバに割り当てた場合のリソース量を管理する物理サーバ情報管理データベース。
CPUの製品型式などハードウェアスペックより算出可能な前記物理サーバの電力消費モデルと、空調機の製品型式から算出可能な前記空調機の電力消費モデルと、物理サーバや空調機の物理的な位置から算出可能な、前記データセンタ内の空気の流れのモデルを電力消費モデル管理データベース。
前記物理サーバや前記物理サーバの電力消費モデルと前記空調機の電力消費モデル、前記データセンタ内の空気の流れのモデルを前記物理サーバ情報管理データベース及び前記電力消費モデル管理データベースに登録する管理インタフェース提供部。
前記物理サーバのリソースの使用状況を定期的に取得し前記物理サーバ情報管理データベースに保存するリソース利用状況取得部。
前記各物理サーバの電力消費の総量を試算する物理サーバ電力消費試算部と、前記空調機の電力消費量を試算する空調機電力消費試算部からなり、各部の和によりデータセンタ全体の電力消費量を試算するデータセンタ電力消費試算部。
各物理サーバの使用状況に応じ、物理リソースの論理サーバへの割り当てについて、複数の組み合わせを算出し、各組における電力消費量を前記データセンタ電力消費試算部により試算し、最も電力消費が小さいものを選択する物理サーバ配置算出部。
前記物理サーバ配置算出部の出力結果を基にデータセンタ内における物理リソースの論理サーバへの割り当てを変更し、物理サーバの再配置結果を前記物理サーバ情報管理データベースに保存する物理サーバ構成管理部。
前記各部を制御する中央制御部。
CPUの製品型式などハードウェアスペックより算出可能な前記物理サーバの電力消費モデルと、空調機の製品型式から算出可能な前記空調機の電力消費モデルと、物理サーバや空調機の物理的な位置から算出可能な、前記データセンタ内の空気の流れのモデルを電力消費モデル管理データベース。
前記物理サーバや前記物理サーバの電力消費モデルと前記空調機の電力消費モデル、前記データセンタ内の空気の流れのモデルを前記物理サーバ情報管理データベース及び前記電力消費モデル管理データベースに登録する管理インタフェース提供部。
前記物理サーバのリソースの使用状況を定期的に取得し前記物理サーバ情報管理データベースに保存するリソース利用状況取得部。
前記各物理サーバの電力消費の総量を試算する物理サーバ電力消費試算部と、前記空調機の電力消費量を試算する空調機電力消費試算部からなり、各部の和によりデータセンタ全体の電力消費量を試算するデータセンタ電力消費試算部。
各物理サーバの使用状況に応じ、物理リソースの論理サーバへの割り当てについて、複数の組み合わせを算出し、各組における電力消費量を前記データセンタ電力消費試算部により試算し、最も電力消費が小さいものを選択する物理サーバ配置算出部。
前記物理サーバ配置算出部の出力結果を基にデータセンタ内における物理リソースの論理サーバへの割り当てを変更し、物理サーバの再配置結果を前記物理サーバ情報管理データベースに保存する物理サーバ構成管理部。
前記各部を制御する中央制御部。
本発明によれば、物理サーバの使用状況に応じて、物理リソースの論理サーバへの割り当てを動的に変更する処理を行うに際して、物理サーバが消費する電力消費量及びそれらを冷却する空調機の電力消費量の両方を考慮して、データセンタ全体の電力消費量が最小となるように、複数の物理リソースの論理サーバへの割り当ての組合せの中から、データセンタ全体の電力消費量が最も小さくなる組み合わせを選び、物理リソースの論理サーバへの割り当てを変更するため、物理サーバの使用状況にのみ注目し割り当てを変更する従来技術と比較し、データセンタの省電力化を実現することができる。
以下、本発明のネットワーク運用管理装置の実施形態の一例について、図１乃至図５を参照しながら説明する。
本発明のネットワーク運用管理装置は、複数のサーバ及びネットワーク機器と、それらの安定稼働のための空調機が設置されるデータセンタにおいて、データセンタの電力消費量を最小化することを目的に、時々刻々と変化するユーザのデータセンタの利用量に応じて、サーバの電力消費量と空調機の電力消費量の両方を考慮し、データセンタの構成を動的に変更する処理を行うものである。
本発明のネットワーク運用管理装置は、複数のサーバ及びネットワーク機器と、それらの安定稼働のための空調機が設置されるデータセンタにおいて、データセンタの電力消費量を最小化することを目的に、時々刻々と変化するユーザのデータセンタの利用量に応じて、サーバの電力消費量と空調機の電力消費量の両方を考慮し、データセンタの構成を動的に変更する処理を行うものである。
ネットワーク運用管理装置は、図４に示すように、仮想化技術が適用された物理サーバ１（論理的に複数台の論理サーバ１´として動作させる）と、物理サーバ１の安定稼働のため、物理サーバ１を冷却する空調機５を主な構成要素とするデータセンタＤＣにおいて、データセンタの構成（物理リソースの論理サーバへの割り当て）を管理する管理サーバ１０を新たに設置することで実現される。各物理サーバ１には、物理サーバ１から排気する空気の温度を測定する温度センサ８と、各物理サーバ１が給気する空気の温度を測定する温度センサ９が設けられている。
各物理サーバ１には、その物理サーバ１が安定稼働するための動作保障温度が、物理サーバを製造する製造会社等により設定される。データセンタＤＣ内においては、各物理サーバ１が給気する空気の温度が、動作保障温度以下となるように、空調機５が出力する空気の温度が決まる。物理サーバ１の給気側に到達した空調機５からの空気は、各物理サーバ１の電力消費が熱エネルギーとなるため、各物理サーバ１内で温度が高くなり、排気側より排熱される。排気された空気は、空調機５に循環され、空調機５で冷却され再度、各物理サーバ１に到達するが、循環の際、各物理サーバ１から排気される電力消費により温められた空気の一部（全体の空気の流れに対する割合α）は空調機５に循環することなく、一部の物理サーバ１（図４の例では上側の３つの物理サーバ１）の給気側に流れ込む。各物理サーバ１から排気された空気が、空調機５に循環することなく、そのまま物理サーバの吸気側に流れ込む空気の割合αは、データセンタＤＣの広さや物理サーバ１及び空調機５の数や配置状態により異なる。
運用者は、本発明のネットワーク運用管理装置を使用する際、データセンタＤＣ内の全ての物理サーバ１の組み合わせに対する空気の流れの割合αを管理サーバ１０に登録する。更には、CPUの製品型式などハードウェアスペックより算出可能な物理サーバの電力消費モデルと、空調機の製品型式から算出可能な空調機の電力消費モデルを空気の流れの割合αに加えて管理サーバ１０に登録する。
運用者は、本発明のネットワーク運用管理装置を使用する際、データセンタＤＣ内の全ての物理サーバ１の組み合わせに対する空気の流れの割合αを管理サーバ１０に登録する。更には、CPUの製品型式などハードウェアスペックより算出可能な物理サーバの電力消費モデルと、空調機の製品型式から算出可能な空調機の電力消費モデルを空気の流れの割合αに加えて管理サーバ１０に登録する。
空気の流れの割合（他のノードもしくはノード自身の排気が含まれる割合）αは、データセンタＤＣの設計時点で運用者がシミュレーションにより求めたものを管理サーバ１０に登録してもよいし、データセンタＤＣ内の各サーバに対して設けた温度センサ８，９等を用いて得た環境情報を基に管理サーバ１０が算出してもよい。
例えば、各ノードの稼働状況において、温度センサ８及び温度センサ９から排気面及び給気面の温度を検出し、各ノードの稼働状況が異なる時点の温度センサ８および温度センサ９（各センサの値は、稼働状況が異なるため、異なる温度を示す）から、αを求める方程式を作成し、解くことでαを求める。
例えば、各ノードの稼働状況において、温度センサ８及び温度センサ９から排気面及び給気面の温度を検出し、各ノードの稼働状況が異なる時点の温度センサ８および温度センサ９（各センサの値は、稼働状況が異なるため、異なる温度を示す）から、αを求める方程式を作成し、解くことでαを求める。
単純のため、２つのノードのみで構成されたデータセンタＤＣを例に説明する。空調機が供給する空気の温度をTsup、ノード１の温度センサ８の温度をT１_out、ノード２の温度センサ８の温度をT２_out、同様にノード１の温度センサ９の温度をT１_in、ノード２の温度をT２_inとする。さらに、ノードi の給気に含まれるノードj からの排気の割合αをαjiと標記した場合、T１_in = (1−（α１１＋α２１）)×Tsup + α１１×T１_out＋α２１×T２_outとなる。異なる温度の組を２つ以上収集することで、上記式を解き、αを求めることができる。
管理サーバ１０は、論理サーバ１´のリソースの使用状況（各論理サーバに割当てられたCPU、メモリ、ネットワーク、ディスク等の物理リソースがどの程度使用されているか）を定期的、もしくは運用者からの要求により収集する。
そして、管理サーバ１０は、物理サーバ１による電力消費量と空調機(CRAC)５による電力消費量の和が最小となるよう、どの物理サーバ１にどの論理サーバ１´を割り当てるのか、また各論理サーバ１´にどの程度の物理リソースを割り当てるのかを算出し、データセンタＤＣ内における物理リソースの論理サーバへの割り当ての動的変更を行う。
そして、管理サーバ１０は、物理サーバ１による電力消費量と空調機(CRAC)５による電力消費量の和が最小となるよう、どの物理サーバ１にどの論理サーバ１´を割り当てるのか、また各論理サーバ１´にどの程度の物理リソースを割り当てるのかを算出し、データセンタＤＣ内における物理リソースの論理サーバへの割り当ての動的変更を行う。
管理サーバ１０ではこれらの処理が繰り返し実行されることで、データセンタＤＣの電力消費量が最小化されるように、時々刻々と変化するユーザからのサービス要求量に応じて、都度最適な(電力消費量を最小化する)データセンタＤＣ内の構成を算出し、さらに構成変更を行う。
すなわち、管理サーバ１０が、データセンタの電力消費量のうち、サーバ群、および、空調機による電力消費量を最小化するため、論理サーバの使用状況に応じて、物理リソースの論理サーバへの割り当てを動的に変更する処理を行うように構成されている。
すなわち、管理サーバ１０が、データセンタの電力消費量のうち、サーバ群、および、空調機による電力消費量を最小化するため、論理サーバの使用状況に応じて、物理リソースの論理サーバへの割り当てを動的に変更する処理を行うように構成されている。
ネットワーク運用管理装置を実現する管理サーバ１０の詳細構成について、図１を参照して説明する。
ネットワーク運用管理装置（管理サーバ）１０は、各物理サーバ１に関する各種情報を管理する物理サーバ情報管理データベース１１と、物理サーバ１及び空調機５の電源消費モデル等を管理する電力消費モデル管理データベース１２と、運用者が情報を入力するための管理インタフェース提供部１３と、電力消費量が最小となるデータセンタＤＣの構成候補を求める物理サーバ配置算出部１４と、物理リソースの論理サーバへの割り当て変更（物理サーバの再配置）と再配置結果を管理する物理サーバ構成管理部１５と、データセンタＤＣの構成候補から電力消費を試算するデータセンタ電力消費試算部１６と、リソース利用状況取得部１７と、各部を制御する中央制御部１８を備えて構成されている。
ネットワーク運用管理装置（管理サーバ）１０は、各物理サーバ１に関する各種情報を管理する物理サーバ情報管理データベース１１と、物理サーバ１及び空調機５の電源消費モデル等を管理する電力消費モデル管理データベース１２と、運用者が情報を入力するための管理インタフェース提供部１３と、電力消費量が最小となるデータセンタＤＣの構成候補を求める物理サーバ配置算出部１４と、物理リソースの論理サーバへの割り当て変更（物理サーバの再配置）と再配置結果を管理する物理サーバ構成管理部１５と、データセンタＤＣの構成候補から電力消費を試算するデータセンタ電力消費試算部１６と、リソース利用状況取得部１７と、各部を制御する中央制御部１８を備えて構成されている。
物理サーバ情報管理データベース１１は、図２に示すように、複数の物理サーバ１の各ハードウェアスペック、各物理サーバを複数の論理サーバに割り当てた場合の割当リソース量（各論理サーバの使用率）等の物理サーバに関する各情報が管理されている。物理サーバのハードウェアスペックとは、例えば、CPUの製品型式のような情報である。これらの情報は、運用者が管理インタフェース提供部１３から入力して記憶させる。
電力消費モデル管理データベース１２は、図３に示すように、物理サーバ１の電源消費モデル、空調機５の電源消費モデル、空気の流れ（空気の流れの割合α）のモデルが登録されて管理されている。物理サーバ１の電源消費モデルとは、各物理サーバにおける物理リソースの使用量に対する電力消費量の値であり、各サーバに数式として登録されている。
物理サーバ１の電力消費モデルは、例えばCPUの製品型式から一意に求めることができるCPU使用率(物理リソースの使用量)と、その時の電力消費量とすることができる。空調機５の電源消費モデルとは、空調機の冷却能力に対する電力消費量である。
空調機５の電力消費モデルは、例えば空調機の製品型式から一意に求めることができる。空気の流れ（空気の流れの割合α）のモデルとは、各サーバの排熱が他のサーバの給気側に流れ込む割り合い等であり、各サーバに対するテーブルにより管理される。空気の流れのモデルは、例えばデータセンタＤＣの設計時点で運用者がシミュレーションにより求めることができる。管理されるテーブルの具体例については後述する。
物理サーバ１の電力消費モデルは、例えばCPUの製品型式から一意に求めることができるCPU使用率(物理リソースの使用量)と、その時の電力消費量とすることができる。空調機５の電源消費モデルとは、空調機の冷却能力に対する電力消費量である。
空調機５の電力消費モデルは、例えば空調機の製品型式から一意に求めることができる。空気の流れ（空気の流れの割合α）のモデルとは、各サーバの排熱が他のサーバの給気側に流れ込む割り合い等であり、各サーバに対するテーブルにより管理される。空気の流れのモデルは、例えばデータセンタＤＣの設計時点で運用者がシミュレーションにより求めることができる。管理されるテーブルの具体例については後述する。
電力消費モデルデータベース１２で管理される内容は、データセンタＤＣの設計時点で運用者がシミュレーションにより求めたものを、予め運用者により管理インタフェース部１３を介して手動で入力して登録される。また、必要に応じて、データセンタＤＣ内に配置された温度センサ８，９等を用いて、ネットワーク運用管理装置（管理サーバ）１０がセンサより収集した情報を基に算出するものであってもよい。
管理インタフェース提供部１３は、運用者がデータセンタＤＣ内の物理サーバやその構成、上記各電力消費モデルなどを登録するためのユーザインタフェースとしての機能を有する。例えば、運用者は、自身のＰＣにインストールされたブラウザ等により、管理サーバ１０に接続し、各物理サーバ１に関する情報を登録する。登録された情報は物理サーバ情報管理データベース１１に保存される。
また、電力消費モデル管理データベース１２に登録されるデータセンタＤＣ内の空気の流れは、温度センサ８，９等を用いて、管理サーバ１０がセンサより収集した情報を基に算出して登録してもよいし、データセンタＤＣの設計時点で運用者がシミュレーションにより求めた空気の流れを直接管理インタフェース提供部１３を介して電力消費モデル管理データベース１２に手動登録してもよい。
運用者がデータセンタＤＣの電力消費を試算するために手動で登録する情報としては、各物理サーバ１の電力消費モデル、空調機５の電力消費モデル、データセンタＤＣ内の空気の流れのモデルが考えられる。
また、電力消費モデル管理データベース１２に登録されるデータセンタＤＣ内の空気の流れは、温度センサ８，９等を用いて、管理サーバ１０がセンサより収集した情報を基に算出して登録してもよいし、データセンタＤＣの設計時点で運用者がシミュレーションにより求めた空気の流れを直接管理インタフェース提供部１３を介して電力消費モデル管理データベース１２に手動登録してもよい。
運用者がデータセンタＤＣの電力消費を試算するために手動で登録する情報としては、各物理サーバ１の電力消費モデル、空調機５の電力消費モデル、データセンタＤＣ内の空気の流れのモデルが考えられる。
物理サーバ配置算出部１４は、データセンタＤＣの電力消費量が最小となるデータセンタＤＣの構成（どのように物理リソースを論理サーバに割り当てるか）を求めるものであり、管理インタフェース提供部１３を介しての運用者からの指示、又は、中央制御部１８からの定期的な呼び出しにより実行される。
電力消費量が最小となるデータセンタＤＣの構成を求めることは、例えば、図５に示すように、各論理サーバの使用状況（論理サーバに割り当てた物理リソースがどの程度の割合で使用され、物理リソースがどの程度の割合で使用されているか）に応じ、物理リソースの論理サーバへの割り当てについて複数の組み合わせを求め、さらに、各組の構成とした場合の電力消費量を、データセンタ電力消費試算部１６により組み合わせ毎に試算し、その結果、最も電力消費が最も小さい組み合わせを選択する手順により実現される。
電力消費量が最小となるデータセンタＤＣの構成を求めることは、例えば、図５に示すように、各論理サーバの使用状況（論理サーバに割り当てた物理リソースがどの程度の割合で使用され、物理リソースがどの程度の割合で使用されているか）に応じ、物理リソースの論理サーバへの割り当てについて複数の組み合わせを求め、さらに、各組の構成とした場合の電力消費量を、データセンタ電力消費試算部１６により組み合わせ毎に試算し、その結果、最も電力消費が最も小さい組み合わせを選択する手順により実現される。
物理サーバ構成管理部１５は、物理サーバ配置算出部１４の出力結果を基に、データセンタＤＣの構成を変更する。図５の例では、物理リソースの論理サーバへの割り当てについて、物理サーバ配置算出部１４が４種の構成について、それぞれデータセンタＤＣの電力消費量を試算し、結果、データセンタＤＣの電力消費量が一番少ない図５中最右の構成（電力消費量：1465.7Ｗ）を選択する。物理サーバ構成管理部１５は、物理サーバ配置算出部１４の結果に従い、物理リソースの論理サーバへの割り当てを変更する。さらに、物理サーバ情報管理データベース１１では、物理サーバ毎に、実行する論理サーバ等を管理するため、物理サーバ構成管理部１５が割り当てを変更した結果を物理サーバ情報管理データベース１１に保存する。
データセンタ電力消費試算部１６は、物理サーバ再配置算出部より呼び出され、データセンタＤＣの構成候補から、その際のデータセンタＤＣの電力消費を試算する機能を提供する。データセンタ電力消費試算部１６は、物理サーバ電力消費試算部１６ａと空調機電力消費試算部１６ｂからなり、それら各部が試算する電力消費量の和により、データセンタＤＣの電力消費量が求められる。各部の試算のため、電力消費モデル管理データベース１２より、物理サーバや空調機、さらにデータセンタＤＣ内の空気の流れのモデルを取得する。
リソース利用状況取得部１７は、運用者からの指示、または中央制御部からの定期呼び出しにより、論理サーバのリソースの使用状況を定期的に取得する。各論理サーバのリソースの使用状況は、前述の通り、利用者からのサービス要求量に応じ、時々刻々と変化する。また、使用状況の取得には、仮想化ソフトウェアが提供する管理インタフェース等を用いることで実現することもできる。取得した使用状況に関する情報は、物理サーバ情報管理データベース１１に保存され、時々刻々と変化する各論理サーバによる物理リソースの使用状況が、物理サーバ情報管理データベース１１に反映される。
中央制御部１８は、各部を制御しデータセンタＤＣの省電力オペレーションシステムの機能を実現するものである。
上述したネットワーク運用管理装置においては、データセンタ電力消費試算部１６でデータセンタＤＣ全体の電力消費量を算出するため、空調機５の消費電力についても考慮する必要がある。そのため、データセンタ内の各サーバに対する空調機５からの空気の流れを電力消費モデル管理データベース１２にデータとして入力しておく必要がある。以下、各サーバに対する空調機５からの空気の流れ等の把握の仕方について、図６〜図１４を参照しながら説明する。
図６において、ユーザからのサービス要求は、インターネットなどのネットワークを介し、データセンタＤＣに到達する。データセンタＤＣ内部には、ルータやスイッチなどのネットワーク機器２が存在し、ユーザからのサービス要求を適切なサーバ１に転送する。サービス要求を受け取ったサーバ１は、ユーザにサービス応答を返す。ユーザからのサービス要求量は、例えば平日昼間が多く休日夜間は少ないなど、時々刻々と変化する。
また、サービス要求量に応じ、ネットワーク機器群及びサーバ群の処理負荷も時々刻々と変化する。各サーバ１は、電力により稼働される。また、各サーバ１で消費された電力は、熱としてデータセンタＤＣ内に放出される。各サーバ１には、そのサーバ１が正常に動作するための温度（動作保障温度）がサーバ１毎に仕様として決まっており、サーバ１を正常に動作させるためには、データセンタＤＣ内において動作保障温度以下の空気をサーバ１に供給する必要がある。そのため、各サーバからの排熱は、データセンタ内に設置された空調機(CRAC)５に取り込まれ、空調機(CRAC)５にて取り込んだ各サーバの排熱を含む空気を冷却し、再度サーバ１に供給することが行われる。
この場合、図６に示すように、サーバ１からの排熱の１００％が空調機(CRAC)５に取り込まれるわけではなく、その一部は、サーバ１に供給される(空調機(CRAC)５により冷却された)空気と混ざり、サーバ１に取り込まれることとなる。上述したように、各サーバ１に対しては、正常動作する温度（動作保障温度）以下の空気を供給する必要があるため、サーバ１からの排熱がサーバに供給される空気と多量に混ざる場合には、空調機(CRAC)５の出力を大きくする必要がある（電力消費量も大きくなる)。また、Chillerは、データセンタＤＣの屋外に設置される冷却のための熱源を生成する、一般家庭のエアコンに例えると室外機にあたる機器であり、空調機(CRAC)５がデータセンタＤＣ屋内の空気を冷却するための熱源(例えば冷却水など)を空調機(CRAC)５に提供する。
データセンタＤＣの冷却方法は、多種多様なベンダより様々な方式が提案されている。多くのデータセンタＤＣで一般的に採用されている構造としては、例えば図７に示すように、底上げした床面４より空調機(CRAC)５からの空気を、サーバラック３に収納されたサーバに分配し、排熱を天井面より収集する。
その他、データセンタの天井より空調機(CRAC)５からの空気をサーバに供給し、さらに排気も天井から行う天井方式冷却ソリューション方式や、サーバラック３ごとに空調機(CRAC)５を配置しサーバラック内で給気と排気を行う方式などが提案されている。いずれの方式であっても、サーバの電力消費により排熱が発生し、空調機(CRAC)５が排熱を取り込み冷却し再度サーバに提供すること、及び、排熱の一部が空調機(CRAC)５からの冷却された空気と混ざること（図６における空気の流れ)は変わらない。
その他、データセンタの天井より空調機(CRAC)５からの空気をサーバに供給し、さらに排気も天井から行う天井方式冷却ソリューション方式や、サーバラック３ごとに空調機(CRAC)５を配置しサーバラック内で給気と排気を行う方式などが提案されている。いずれの方式であっても、サーバの電力消費により排熱が発生し、空調機(CRAC)５が排熱を取り込み冷却し再度サーバに提供すること、及び、排熱の一部が空調機(CRAC)５からの冷却された空気と混ざること（図６における空気の流れ)は変わらない。
一般的なデータセンタＤＣにおいては、図７に示すように、複数の縦長のサーバラック３が設置され、各サーバラック３に複数のサーバが納められている。空調機(CRAC)５により冷却された空気は、床下を通り、サーバラック３の給気面（多くの場合ラック前面）から給気される。また、サーバの電力消費により発生した熱はサーバラック３の排気面（多くの場合ラック背面）から排気される。排気は、天井付近を通り、空調機(CRAC)５に取り込まれ、取り込まれた空気は空調機(CRAC)５で冷却されて再度サーバラック３側に供給される。
各サーバラック３は、サーバの排熱が空調機５により冷却された給気用の空気と混合することを防ぐため、サーバラック３の給気面は一般的に他のサーバラック３の給気面と向かい合うように、また、排気面は他のサーバラック３の排気面と向かい合うように設置される。
サーバラック３に納められた各サーバからの排熱の一部は、空調機(CRAC)５から供給される冷却された空気と混合するが、その混ざり方は、サーバラック３や冷却された空気を供給する位置、排熱が空調機(CRAC)５に取り込まれる経路によりデータセンタＤＣ毎に不均一となる。そのため、データセンタＤＣ内の空気の流れは、データセンタＤＣ毎に異なるものとなる。
サーバラック３に納められた各サーバからの排熱の一部は、空調機(CRAC)５から供給される冷却された空気と混合するが、その混ざり方は、サーバラック３や冷却された空気を供給する位置、排熱が空調機(CRAC)５に取り込まれる経路によりデータセンタＤＣ毎に不均一となる。そのため、データセンタＤＣ内の空気の流れは、データセンタＤＣ毎に異なるものとなる。
図７に示したデータセンタＤＣの構造のように、床面より冷気を供給し、天井面より排気を取り込む場合を例に、データセンタＤＣ内で給気と排気の流れがどのようになるかの一例について、図８〜図１０を参照しながら説明する。
データセンタＤＣ内には、図８に示すように、１０個のサーバラックにそれぞれ５つのサーバ（サーバＡ〜Ｅ）を設置した場合を想定する。図６で述べたように、サーバからの排熱の一部は、自身もしくは他のサーバの給気に混ざり、その割合をα、排熱をToutとすると"α×Tout"で表すことができる。また、残りは空調機(CRAC)５に取り込まれ、空調機に取り込まれる熱をTACinとすると、"TACin ＝ Tout−(α×Tout)"と表すことができる。
図９に、各サーバの排気がどの程度空調機(CRAC)５に取り込まれるかの一例を示す( ＝ (Tout−(α×Tout))/Tout)。縦軸の１．０は、排気の全てが(CRAC)５に取り込まれることを示す。
データセンタＤＣ内には、図８に示すように、１０個のサーバラックにそれぞれ５つのサーバ（サーバＡ〜Ｅ）を設置した場合を想定する。図６で述べたように、サーバからの排熱の一部は、自身もしくは他のサーバの給気に混ざり、その割合をα、排熱をToutとすると"α×Tout"で表すことができる。また、残りは空調機(CRAC)５に取り込まれ、空調機に取り込まれる熱をTACinとすると、"TACin ＝ Tout−(α×Tout)"と表すことができる。
図９に、各サーバの排気がどの程度空調機(CRAC)５に取り込まれるかの一例を示す( ＝ (Tout−(α×Tout))/Tout)。縦軸の１．０は、排気の全てが(CRAC)５に取り込まれることを示す。
図１０に、各サーバ給気に、どの程度、他もしくは自身の排熱が混ざるのか、その割合(１−α)の一例を示す。本例では、サーバラックにおいて物理的に低い位置に設置されたサーバ（サーバＡ，Ｂ，Ｃ）の給気には、ほとんど他もしくは自身からの排熱が混ざることはなく、物理的に高い位置に設置されたサーバ（サーバＤ，Ｅ）の給気には、他もしくは自身の排気が多く混ざることが分かる。
図９の排気効率及び図１０の給気効率は、データセンタの想定環境により分布は異なるが、一般的に空気の流れは図１１のように表現することができる。図１１において、サーバ（Ｓｉ）（ｉ＝１〜３）からの排気が隣接するサーバ（Ｓｊ）（ｊ＝１〜３）の給気に混ざる割合をαij と表す。
空調機(CRAC)５の電力消費量は、供給する冷気の温度(Tsup)と冷却する熱量から求まる。図１２に実験的に求めたある空調機(CRAC)５の供給する空気の温度(Tsup)とその電力効率(COP, Coefficient of Performance)を示す。
空調機(CRAC)５の電力消費量は、供給する冷気の温度(Tsup)と冷却する熱量から求まる。図１２に実験的に求めたある空調機(CRAC)５の供給する空気の温度(Tsup)とその電力効率(COP, Coefficient of Performance)を示す。
図１２より、供給する空気の温度が高いほど、電力効率が優れていることが分かる。例えば、１０ｋｗの熱を冷却し１５℃としたい場合、COP ＝ 2 ＝ 0.0068*15*15+0.0008*15＋0.458 であることから、空調機(CRAC)５の電力消費量は５ｋｗ＝１０ｋｗ／２となる。
また、１０ｋｗの熱を冷却し２０℃としたい場合、COP＝3.338 であることから、空調機(CRAC)５の電力消費量は2.996ｋｗ（電力消費量が４０％削減される）となる。一方で、最終的に各サーバに到達する空気の温度(Tin)は、各サーバが正常に動作するための温度（動作保障温度）以下となる必要がある。
Cillerの電力消費量は，図６に示した通り、空調機(CRAC)５の動作と密接に関係しており、空調機(CRAC)５の電力消費量に単純に比例するものと考えることができる。
また、１０ｋｗの熱を冷却し２０℃としたい場合、COP＝3.338 であることから、空調機(CRAC)５の電力消費量は2.996ｋｗ（電力消費量が４０％削減される）となる。一方で、最終的に各サーバに到達する空気の温度(Tin)は、各サーバが正常に動作するための温度（動作保障温度）以下となる必要がある。
Cillerの電力消費量は，図６に示した通り、空調機(CRAC)５の動作と密接に関係しており、空調機(CRAC)５の電力消費量に単純に比例するものと考えることができる。
サーバの電力消費量は、図１３中の実線または点線で示されるような、サーバのCPU等の物理リソースの使用率に応じて変化する特性を有することが知られている。図１３中の実線及び点線のいずれの特性となるかは、CPUの製品型式により決まる。実線及び点線のいずれの特性においても、「使用率の増加に比例して、電力消費量が増加する」と想定できる。図１３における実線を数式で示すと下記の式１となる。このような電力消費のモデルは、一般的に全てのサーバに適用可能なものである。
Ｐ＝Pidle＋（Pmax − Pidle）＊ｎ （式１）
Pidle:サーバのCPU使用率が０％の時の電力消費量
Pmax：サーバのCPU使用率が１００％の時の電力消費量
ｎ：サーバの使用率（０〜１）
Ｐ＝Pidle＋（Pmax − Pidle）＊ｎ （式１）
Pidle:サーバのCPU使用率が０％の時の電力消費量
Pmax：サーバのCPU使用率が１００％の時の電力消費量
ｎ：サーバの使用率（０〜１）
データセンタＤＣの電力消費量の具体例について、図１４を参照して説明する。
図１４では、５つのサーバを設置したデータセンタＤＣを仮定する。データセンタＤＣ内の空気の流れαは、表１に示したようなサーバ同士のテーブルを仮定する。表１に示されるデータセンタＤＣ内の空気の流れαのモデルは、電力消費モデル管理データベース１２に記憶され、これらの情報は、前記したデータセンタ電力消費試算部１６でデータセンタＤＣの電力消費を試算する際に用いられる。
表１では、サーバＡの排熱のうち、５％が自身に、２．５％がサーバＢに、１０％がサーバＣに、２５％がサーバＤに、２５％がサーバＥの給気と混ざり、残りが空調機(CRAC)５に取り込まれるとしている。
図１４では、５つのサーバを設置したデータセンタＤＣを仮定する。データセンタＤＣ内の空気の流れαは、表１に示したようなサーバ同士のテーブルを仮定する。表１に示されるデータセンタＤＣ内の空気の流れαのモデルは、電力消費モデル管理データベース１２に記憶され、これらの情報は、前記したデータセンタ電力消費試算部１６でデータセンタＤＣの電力消費を試算する際に用いられる。
表１では、サーバＡの排熱のうち、５％が自身に、２．５％がサーバＢに、１０％がサーバＣに、２５％がサーバＤに、２５％がサーバＥの給気と混ざり、残りが空調機(CRAC)５に取り込まれるとしている。
また、サーバの電力消費は、前記した式１で計算し、Pidle＝１００Ｗ（サーバの使用率が0％の時の電力消費量）、Pmax＝３００Ｗ（サーバの使用率が100％の時の電力消費量）と仮定した（実際の高密度サーバではさらに大きな電力を消費するが、ここではあくまで例示するための値とする）。
また、各サーバの排気温度は、給気温度が１５℃だとすると、３００Ｗ（サーバの使用率１００％）消費した場合は３０℃、１００Ｗ(Pidle)消費した場合、２０℃の排気温度になるとする。
排気温度＝給気温度＋Ｋ＊サーバの電力消費量
（注）Ｋは、空気の密度とサーバを流れる空気の流量、空気の比熱から求めることができる係数。ここでは簡単のため０．０５（定数）を用いる。
さらに、空調機(CRAC)の電力消費は、図１２に前述の電力消費モデルを用いる。また、冷却する熱量は、簡単のため、サーバの電力消費量の和とした。
サーバが安定的に動作するための温度は、２５℃とし、空調機は、起動中のサーバの給気温度が２５℃以下となるよう０．５℃刻みで出力を変更するものとする。
排気温度＝給気温度＋Ｋ＊サーバの電力消費量
（注）Ｋは、空気の密度とサーバを流れる空気の流量、空気の比熱から求めることができる係数。ここでは簡単のため０．０５（定数）を用いる。
さらに、空調機(CRAC)の電力消費は、図１２に前述の電力消費モデルを用いる。また、冷却する熱量は、簡単のため、サーバの電力消費量の和とした。
サーバが安定的に動作するための温度は、２５℃とし、空調機は、起動中のサーバの給気温度が２５℃以下となるよう０．５℃刻みで出力を変更するものとする。
上述の各値を使用し、各サーバの使用率を図１５における左の例とした場合、データセンタ全体ＤＣの電力消費量（サーバと空調機(CRAC)の電力消費量の和）は、
空調機(CRAC)の設定温度：１６．５度
サーバの電力消費量の和：１０９０Ｗ
空調機(CRAC)の電力消費量の和：４６９．３Ｗ
データセンタＤＣ全体の電力消費量：１５５９．３Ｗ
となる。
空調機(CRAC)の設定温度：１６．５度
サーバの電力消費量の和：１０９０Ｗ
空調機(CRAC)の電力消費量の和：４６９．３Ｗ
データセンタＤＣ全体の電力消費量：１５５９．３Ｗ
となる。
また、各サーバの使用量を図１５における右の例とした場合、データセンタＤＣ全体の電力消費量（サーバと空調機(CRAC)の電力消費量の和）は、
空調機(CRAC)の設定温度：１６度
サーバの電力消費量の和：１０８０Ｗ
空調機(CRAC)の電力消費量の和：４８８．３Ｗ
データセンタＤＣ全体の電力消費量：１５６８．３Ｗ
となる。
空調機(CRAC)の設定温度：１６度
サーバの電力消費量の和：１０８０Ｗ
空調機(CRAC)の電力消費量の和：４８８．３Ｗ
データセンタＤＣ全体の電力消費量：１５６８．３Ｗ
となる。
上述の２例によれば、図１５における左の例から右の例とすることで、サーバ１台を休止状態とすることでサーバの電力消費量の和を１０９０Ｗから１０８０Ｗに削減したにも関わらず、空調機(CRAC)の電力消費量が増加し、データセンタＤＣ全体の電力消費量が１５５９．３Ｗから１５６８．３Ｗに増加している。
すなわち、サーバの使用率にのみ注目し、サーバ群の電力消費量を少なくしただけでは、データセンタＤＣ全体の電力消費量が大きくなる可能性がある。
すなわち、サーバの使用率にのみ注目し、サーバ群の電力消費量を少なくしただけでは、データセンタＤＣ全体の電力消費量が大きくなる可能性がある。
これに対して上述した本発明の実施例によれば、データセンタ電力消費試算部１６を設け、物理サーバ電力消費試算部１６ａと空調機電力消費試算部１６ｂが試算する電力消費量の和によりデータセンタＤＣの電力消費量を求めるようにしたので、物理サーバ配置算出部１４によりデータセンタＤＣ全体の電力消費量が最小となる論理サーバの構成（物理リソースの論理サーバへの割り当ての組み合わせ）を選択することができる。
１…物理サーバ（サーバ）、 １´…論理サーバ ２…ネットワーク機器、 ３…サーバラック、 ４…床面、 ５…空調機、 ６…室外機、 ８，９…温度センサ、 １０…管理サーバ（ネットワーク運用管理装置）、 １１…物理サーバ情報管理データベース、 １２…電力消費モデル管理データベース、 １３…管理インタフェース提供部、 １４…物理サーバ配置算出部、 １５…物理サーバ構成管理部、 １６…データセンタ電力消費試算部、 １７…リソース利用状況取得部、 １８…中央制御部、
Claims (3)
- データセンタ内に複数の物理サーバを設置し、１台の物理サーバを論理的に複数台の論理サーバとして動作させる仮想化技術が適用された複数の物理サーバがネットワークを介して接続され、前記各物理サーバのリソースの使用状況に応じて物理サーバのリソースの論理サーバへの割り当てを動的に変更する一方、データセンタ内に設置された空調機により前記各物理サーバを冷却するネットワーク運用管理方法において、
前記物理サーバのハードウェアスペック及び論理サーバに割り当てたリソース量を管理し、
前記物理サーバ及び前記空調機に関する電力消費量、前記データセンタ内の空気の流れについて予め管理し、
前記各物理サーバの電力消費の総量を試算するとともに、前記各物理サーバを冷却するための空調機の電力消費量を試算することで、データセンタ全体の電力消費量を試算し、
各物理サーバの使用状況に応じ、物理サーバのリソースの論理サーバへの割り当てについて、複数の組み合わせを算出し、各組における電力消費量を前記データセンタ電力消費試算部により試算し、最も電力消費が小さいものを選択し、
その出力結果を基にデータセンタ内における物理サーバのリソースの論理サーバへの割り当てを動的に変更する
ことを特徴とするネットワーク運用管理方法。 - 前記物理サーバのリソースの使用状況を定期的に取得し、前記各処理を定期的に実行することで、データセンタ全体の電力消費量が最小となるようにネットワークの構成を変更する請求項１に記載のネットワーク運用管理方法。
- データセンタ内に複数の物理サーバを設置し、１台の物理サーバを論理的に複数台の論理サーバとして動作させる仮想化技術が適用された複数の物理サーバが、ネットワークを介して接続され、前記各サーバのリソースの使用状況に応じて、物理サーバのリソースの論理サーバへの割り当てを動的に変更する一方、データセンタ内に設置された空調機により前記各物理サーバを冷却するネットワーク運用管理装置であって、
前記物理サーバのハードウェアスペック及び論理サーバに割り当てたリソース量を管理する物理サーバ情報管理データベースと、
前記物理サーバ及び前記空調機に関する電力消費量、前記データセンタ内の空気の流れを管理する電力消費モデル管理データベースと、
前記物理サーバや前記空調機の情報を前記物理サーバ情報管理データベース及び前記電力消費モデル管理データベースに登録する管理インタフェース提供部と、
前記物理サーバのリソースの使用状況を定期的に取得し前記物理サーバ情報管理データベースに保存するリソース利用状況取得部と、
前記各物理サーバの電力消費の総量を試算する物理サーバ電力消費試算部と、前記各物理サーバを冷却するための空調機の電力消費量を試算する空調機電力消費試算部からなり、各部の和によりデータセンタ全体の電力消費量を試算するデータセンタ電力消費試算部と、
各物理サーバの使用状況に応じ、物理サーバのリソースの論理サーバへの割り当てについて、複数の組み合わせを算出し、各組におけるデータセンタ全体の電力消費量を前記データセンタ電力消費試算部により試算し、最も電力消費が小さいものを選択する物理サーバ配置算出部と、
前記物理サーバ配置算出部の出力結果を基にデータセンタ内における物理サーバのリソースの論理サーバへの割り当てを変更し、物理サーバの再配置（物理サーバのリソースの論理サーバへの割り当て）結果を前記物理サーバ情報管理データベースに保存する物理サーバ構成管理部と、
前記各部を制御する中央制御部と
を備えたことを特徴とするネットワーク運用管理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009188033A JP5505925B2 (ja) | 2009-08-14 | 2009-08-14 | ネットワーク運用管理方法及びネットワーク運用管理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009188033A JP5505925B2 (ja) | 2009-08-14 | 2009-08-14 | ネットワーク運用管理方法及びネットワーク運用管理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011039889A true JP2011039889A (ja) | 2011-02-24 |
| JP5505925B2 JP5505925B2 (ja) | 2014-05-28 |
Family
ID=43767575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009188033A Expired - Fee Related JP5505925B2 (ja) | 2009-08-14 | 2009-08-14 | ネットワーク運用管理方法及びネットワーク運用管理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5505925B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012198736A (ja) * | 2011-03-22 | 2012-10-18 | Fujitsu Ltd | 電子機器を搭載した装置、電子機器を搭載した装置の冷却プログラム及び電子機器を搭載した装置の冷却方法 |
| CN103105923A (zh) * | 2013-03-07 | 2013-05-15 | 鄂尔多斯市云泰互联科技有限公司 | 云计算中心的it业务节能调度方法及其系统 |
| JP2013204932A (ja) * | 2012-03-28 | 2013-10-07 | Fujitsu Ltd | 空調制御システム及び空調制御方法 |
| JP2015021698A (ja) * | 2013-07-23 | 2015-02-02 | 日本電信電話株式会社 | 空調制御方法および空調制御システム |
| KR101511542B1 (ko) | 2013-09-30 | 2015-04-14 | 전자부품연구원 | 모듈형 데이터 센터 인프라스트럭처 이상 상태 처리방법 |
| US9733986B2 (en) | 2011-09-22 | 2017-08-15 | Fujitsu Limited | Computer system and virtual machine arranging method |
| WO2017168664A1 (ja) * | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 配置探索プログラム、配置探索方法、および配置探索装置 |
| KR101830859B1 (ko) * | 2016-10-27 | 2018-02-21 | 이상수 | 가상 모델을 이용한 인터넷 데이터 센터의 에너지 진단 방법 |
| CN116390461A (zh) * | 2023-05-30 | 2023-07-04 | 广州豪特节能环保科技股份有限公司 | 基于人工智能的数据中心节能调温方法、系统和介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007179437A (ja) * | 2005-12-28 | 2007-07-12 | Fujitsu Ltd | 管理システム、管理プログラムおよび管理方法 |
| WO2008092001A1 (en) * | 2007-01-24 | 2008-07-31 | American Power Conversion Corporation | System and method for evaluating equipment rack cooling performance |
-
2009
- 2009-08-14 JP JP2009188033A patent/JP5505925B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007179437A (ja) * | 2005-12-28 | 2007-07-12 | Fujitsu Ltd | 管理システム、管理プログラムおよび管理方法 |
| WO2008092001A1 (en) * | 2007-01-24 | 2008-07-31 | American Power Conversion Corporation | System and method for evaluating equipment rack cooling performance |
Non-Patent Citations (2)
| Title |
|---|
| CSNG200900188072; 荒井 大輔 Ｄａｉｓｕｋｅ ＡＲＡＩ: 'データセンタ省電力運用管理手法の提案 Ｐｒｏｐｏｓａｌ ｏｎ ＥＣＯ-ｆｒｉｅｎｄｌｙ Ｄａｔａ Ｃｅｎｔｅｒ Ｏｐｅｒａｔｉｏｎ Ｓｃｈｅｍｅ' 電子情報通信学会技術研究報告 Ｖｏｌ．１０８ Ｎｏ．４５８ ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ 第１０８巻，第４５８号, 20090224, ｐ．４６９-４７４ * |
| JPN6013037092; 荒井 大輔 Ｄａｉｓｕｋｅ ＡＲＡＩ: 'データセンタ省電力運用管理手法の提案 Ｐｒｏｐｏｓａｌ ｏｎ ＥＣＯ-ｆｒｉｅｎｄｌｙ Ｄａｔａ Ｃｅｎｔｅｒ Ｏｐｅｒａｔｉｏｎ Ｓｃｈｅｍｅ' 電子情報通信学会技術研究報告 Ｖｏｌ．１０８ Ｎｏ．４５８ ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ 第１０８巻，第４５８号, 20090224, ｐ．４６９-４７４ * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012198736A (ja) * | 2011-03-22 | 2012-10-18 | Fujitsu Ltd | 電子機器を搭載した装置、電子機器を搭載した装置の冷却プログラム及び電子機器を搭載した装置の冷却方法 |
| US9733986B2 (en) | 2011-09-22 | 2017-08-15 | Fujitsu Limited | Computer system and virtual machine arranging method |
| JP2013204932A (ja) * | 2012-03-28 | 2013-10-07 | Fujitsu Ltd | 空調制御システム及び空調制御方法 |
| CN103105923B (zh) * | 2013-03-07 | 2015-05-27 | 鄂尔多斯市云泰互联科技有限公司 | 云计算中心的it业务节能调度方法及其系统 |
| CN103105923A (zh) * | 2013-03-07 | 2013-05-15 | 鄂尔多斯市云泰互联科技有限公司 | 云计算中心的it业务节能调度方法及其系统 |
| JP2015021698A (ja) * | 2013-07-23 | 2015-02-02 | 日本電信電話株式会社 | 空調制御方法および空調制御システム |
| KR101511542B1 (ko) | 2013-09-30 | 2015-04-14 | 전자부품연구원 | 모듈형 데이터 센터 인프라스트럭처 이상 상태 처리방법 |
| WO2017168664A1 (ja) * | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 配置探索プログラム、配置探索方法、および配置探索装置 |
| JPWO2017168664A1 (ja) * | 2016-03-30 | 2019-02-07 | 富士通株式会社 | 配置探索プログラム、配置探索方法、および配置探索装置 |
| US11137817B2 (en) | 2016-03-30 | 2021-10-05 | Fujitsu Limited | Recording medium, arrangement search method, and arrangement searching apparatus |
| KR101830859B1 (ko) * | 2016-10-27 | 2018-02-21 | 이상수 | 가상 모델을 이용한 인터넷 데이터 센터의 에너지 진단 방법 |
| CN116390461A (zh) * | 2023-05-30 | 2023-07-04 | 广州豪特节能环保科技股份有限公司 | 基于人工智能的数据中心节能调温方法、系统和介质 |
| CN116390461B (zh) * | 2023-05-30 | 2023-08-08 | 广州豪特节能环保科技股份有限公司 | 基于人工智能的数据中心节能调温方法、系统和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5505925B2 (ja) | 2014-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5505925B2 (ja) | ネットワーク運用管理方法及びネットワーク運用管理装置 | |
| Ilager et al. | ETAS: Energy and thermal‐aware dynamic virtual machine consolidation in cloud data center with proactive hotspot mitigation | |
| US8458500B2 (en) | Server allocation to workload based on energy profiles | |
| Mukherjee et al. | Spatio-temporal thermal-aware job scheduling to minimize energy consumption in virtualized heterogeneous data centers | |
| Zhang et al. | Towards joint optimization over ICT and cooling systems in data centre: A survey | |
| JP5785050B2 (ja) | 情報処理システム、その省電力制御方法、及び装置 | |
| Sharma et al. | Balance of power: Dynamic thermal management for internet data centers | |
| Abbasi et al. | Tacoma: Server and workload management in internet data centers considering cooling-computing power trade-off and energy proportionality | |
| Moore et al. | Making Scheduling" Cool": Temperature-Aware Workload Placement in Data Centers. | |
| JP4751962B2 (ja) | 情報処理システムの運用管理方法 | |
| Banerjee et al. | Cooling-aware and thermal-aware workload placement for green HPC data centers | |
| Tang et al. | Thermal-aware task scheduling for data centers through minimizing heat recirculation | |
| US8131515B2 (en) | Data center synthesis | |
| CA2723442C (en) | Arrangement for managing data center operations to increase cooling efficiency | |
| Banerjee et al. | Integrating cooling awareness with thermal aware workload placement for HPC data centers | |
| Al-Qawasmeh et al. | Power and thermal-aware workload allocation in heterogeneous data centers | |
| Varsamopoulos et al. | Trends and effects of energy proportionality on server provisioning in data centers | |
| JP2011040083A (ja) | 情報処理システムの運用管理方法、運用管理プログラムおよび運用管理装置、ならびに情報処理システム | |
| Xie et al. | Energy saving virtual machine allocation in cloud computing | |
| Mukherjee et al. | A detailed study on data centre energy efficiency and efficient cooling techniques | |
| Kaplan et al. | Optimizing communication and cooling costs in HPC data centers via intelligent job allocation | |
| Ahmed et al. | A novel reliability index to assess the computational resource adequacy in data centers | |
| Lent | Evaluating the cooling and computing energy demand of a datacentre with optimal server provisioning | |
| Zapater et al. | Leveraging heterogeneity for energy minimization in data centers | |
| Lin et al. | Allocating workload to minimize the power consumption of data centers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140312 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5505925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |