JP2013092951A - 情報処理システム、その省電力制御方法、及び装置 - Google Patents

情報処理システム、その省電力制御方法、及び装置 Download PDF

Info

Publication number
JP2013092951A
JP2013092951A JP2011235537A JP2011235537A JP2013092951A JP 2013092951 A JP2013092951 A JP 2013092951A JP 2011235537 A JP2011235537 A JP 2011235537A JP 2011235537 A JP2011235537 A JP 2011235537A JP 2013092951 A JP2013092951 A JP 2013092951A
Authority
JP
Japan
Prior art keywords
information processing
information
device group
temporary
workload
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011235537A
Other languages
English (en)
Other versions
JP5785050B2 (ja
Inventor
Toru Nojiri
徹 野尻
Jun Okitsu
潤 沖津
Yuki Kuroda
雄樹 黒田
Hidekazu Suzuki
英一 鈴木
Takeshi Kato
猛 加藤
Tatsuya Saito
達也 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011235537A priority Critical patent/JP5785050B2/ja
Priority to US13/548,536 priority patent/US9507392B2/en
Priority to CN201210251189.2A priority patent/CN103150003B/zh
Priority to EP12177310.5A priority patent/EP2587339B1/en
Publication of JP2013092951A publication Critical patent/JP2013092951A/ja
Application granted granted Critical
Publication of JP5785050B2 publication Critical patent/JP5785050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/206—Cooling means comprising thermal management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Power Sources (AREA)
  • Air Conditioning Control Device (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

【課題】 装置群と設備を合わせた総電力を削減し、情報処理システムの省電力運用を実現する
【解決手段】 情報処理装置群160〜167上の作業負荷の稼動情報及び位置と、冷却設備190〜198の環境情報及び位置とを配置情報として記憶し、情報処理装置群上で実行処理される各作業負荷の稼働情報を予測し、稼働情報が割当てられる情報処理装置群における個々の性能を上回ることがないように仮作業負荷割当てを導出する。仮作業負荷割当てにおける仮消費電力と配置情報と、仮作業負荷割当てへの移行処理における仮消費電力と配置情報を算出し、冷却設備の制御を実行する仮冷却電力を算出し、情報処理装置群の仮消費電力と冷却設備の仮冷却電力の総和が最も低減する仮作業負荷割当てを探索し、探索した当該割当てに基づいて、情報処理装置群へ作業負荷を割当て移行し、移行処理の実消費電力に対して冷却設備の制御を実行する。
【選択図】 図１

Description

本発明は情報処理システムの運用管理に係り、特に情報処理装置群と設備の統合的な省電力運用管理を行なうのに好適な技術に関する。
近年、サーバ、ストレージ、ネットワークなどの情報処理装置群とその給電または冷却を行なう設備から成る情報処理システムの運用管理、特に情報処理装置群と設備の統合的な省電力運用管理技術が注目されている。これは、情報通信の急速な発展、さらに放送と通信の融合時代に向けて情報処理装置が増加しつつあり、一方で地球温暖化の防止に向けて二酸化炭素を削減するため、情報処理装置の消費電力を大幅に削減する必要に迫られているからである。
例えば、特許文献１では、並列計算機に対してジョブスケジューリングを行なう管理サーバにおいて、計算機の温度センサ情報に基づいて温度の低い計算機へ新規ジョブを投入し、温度の高い計算機から温度の低い計算機へジョブを移動させ、高温による並列計算機の障害や性能低下を防いでいる。また、ジョブの移動前後で各々の計算機とそれ毎に備わっている冷却装置の消費電力を温度情報に基づいて見積ることにより、移動の可否を判断している。
特許文献２では、複数のコンピュータの管理システムにおいて、コンピュータの温度分布と稼動情報に基づき過熱コンピュータと非過熱コンピュータを抽出し、前者から後者へソフトウェアを移動させ、省電力化を図っている。また、対象コンピュータを抽出した上でソフトウェアの移動前後のコンピュータ電力と空調電力の変動を比較し、移動可否を判断している。コンピュータ電力は稼動情報から、空調電力は温度分布から、温度分布は温度センサや温度履歴や稼動情報から求めている。
特許文献３では、データセンタに在る複数のサーバに対して作業負荷を割り当てる方法において、リクエストされた作業負荷のプロファイルを履歴プロファイルと比較し、サーバと空調の電力が最低となる履歴に従ってリクエストされた作業負荷をサーバへ割り当て、適合する履歴が無ければランダムに割り当てている。履歴プロファイルには、サーバの位置、クラス、稼動情報、入気温、排気温、作業負荷のタイプ、サーバと空調の電力が含まれている。サーバと空調の電力は、サーバの入排気温と比熱と風量から求めるか、または電力計により測定している。
また、特許文献４では、データセンタに在る複数のサーバに対して電力を配分する方法において、理想的なアナログ的な温度分布すなわち電力分布に近付くように地理的位置が近接したサーバ間またはラック間で電力予算の貸し借りを行ない、その予算配分に基づいてサーバの離散化した電力ステートを指定し、ホットスポットやコールドスポットによるサーバの障害を防いでいる。各サーバに対する理想電力を示す熱乗数は、各サーバの排気温度と平均的サーバの基準排気温度と空調の給気温度から求めている。
更に、特許文献５では、情報処理装置群の省電力化に関しては、作業負荷を特定の装置に集約配置して、他の装置は休止または停止させることで実現可能になるのに対し、空調設備の省電力化に関しては、装置群の電力をなるべく分散させることで運転効率を高めることで実現可能になるという、相反する要求がある中で、電力分布や変動と空調設備との相互配置を総合的に考慮して情報処理装置群と空調設備の電力低減を実現するために、作業負荷の変動等の状況を監視し、その状況に応じて作業負荷を装置群へ適度に集約かつ分散させて配置し、装置群と設備の総電力が最小になるように最適化する運用管理方法ならびに運用管理装置を提供している。
特開２００４−１２６９６８号公報 特開２００７−１７９４３７号公報 米国特許出願公開第２００６／０２５９６２１号明細書 米国特許出願公開第２００６／０２５９７９３号明細書 特開２００９−２５２０５６号公報
近年の情報通信の急速な発展、さらに放送と通信の融合時代に向けて情報処理装置が爆発的に増加すると予想されている。一方で地球温暖化の防止に向けて二酸化炭素を削減するため、情報処理装置の消費電力を大幅に削減する必要に迫られている。特にバックエンドで情報処理基盤を担うデータセンタでは、情報処理装置群が消費する電力に加え、その給電や冷却を行なう設備が消費する電力も大きな割合を占めており、装置群と設備を合わせた総合的な電力の削減が重要な課題となっている。
データセンタの省電力化に向けて、サーバ、ストレージ、ネットワークなどの情報処理装置、給電設備、冷却設備、システム運用管理において、それぞれの取り組みが始まっている。情報処理装置では、低電力デバイス／回路による消費電力当たり性能の向上や、作業負荷に応じた動作／待機ステート切替による省電力機能の採用が進められている。給電設備では変圧器、無停電電源装置、配電盤、分電器などから装置群の電源に至る給電系統の損失低減や変換効率向上、冷却設備では空調機自身の運転効率向上や給排気口の気流設計の最適化、さらに局所冷却や液冷の導入が始まっている。運用管理では、稼動情報監視、ジョブスケジューリング、さらに仮想化による装置群の運用効率改善やコンソリデーションが主要な対策に挙がっている。
給電設備や冷却設備は一般に装置群の最大定格電力に基づいて設計されているが、運用時の設備の効率や電力は、設備に対する装置群の電力の分布や変動に大きく依存している。例えば、電源変換効率は電力負荷に依存するため、装置の動作電力と給電系統によって給電損失が異なってくる。また、空調機の効率は装置の電力すなわち発熱、空調機と装置間の位置関係や距離、温度、風量、風向などに依存するため、装置の電力と配置によって冷却電力が大きく影響を受ける。
今後、データセンタの仮想化による運用管理が伸展し、省電力化のためにコンソリデーションやライブマイグレーションが活用されると予想されるため、設備に対する装置群の電力分布の偏在化や時間変動を十分考慮し、装置群と設備の総電力を削減する対策が必要になってくる。従来、サーバやコンピュータなどの装置群と冷却装置や空調設備に関する温度や電力の運用管理方法として幾つかの公知例が知られているが、上述した総合的な省電力化という意味においては局所的または逐次的な対策に留まっている。
こうした中、例えば、特許文献１では、並列計算機のうち温度の低い計算機へジョブを割り当てることにより計算機の温度上昇を抑えているが、データセンタのように多様な情報処理装置が混在する場合には温度が低い装置が省電力になるとは限らない。また、ジョブの移動前後で計算機の消費電力を見積もっているので、移動元と移動先に関わる電力が下がるものの、並列計算機全体に対しては局所的な省電力化に過ぎない。この見積りには計算機毎に付随する冷却装置の電力も含まれているが、空調設備や計算機などの配置に対する考慮がなされておらず、ジョブの割当てによっては計算機と冷却装置の電力が下がっても空調電力が上がって総電力が増えるということも起こり得る。
特許文献２では、過熱コンピュータから非過熱コンピュータへソフトウェアを移動させ分散させているが、温度の低いコンピュータが必ずしも電力が低いとは限らない上、特定のコンピュータへソフトウェアを集約させ他のコンピュータを待機または休止させる方がコンピュータ群全体では省電力になる場合がある。また、ソフトウェアの移動前後でコンピュータ電力と空調電力の変動を比較しているが、比較対象が抽出した過熱と非過熱のコンピュータに限られており、空調設備を合わせた総電力を考慮している訳ではない。
特許文献３では、サーバと空調の電力が最低となる履歴プロファイルに基づいてリクエストされた作業負荷をサーバへ割り当てているので、履歴の範囲内にある新しいリクエストに対してはサーバ群と空調設備を合わせた電力を低減できるが、適合する履歴が無い場合や既に割り当てられた作業負荷が大きく変動する場合には対応できないか、履歴の蓄積に応じて逐次的にしか改善されない。また、履歴プロファイルにはサーバの位置が含まれているものの、空調電力をサーバ入排気温や電力計から求めており、サーバと空調設備との位置関係が考慮されておらず、履歴に現れる範囲内の位置にあるサーバへ作業負荷を割り当てることがサーバ群と空調設備の総電力を最小にするとは限らない。
特許文献４では、理想的な温度分布に近付くように近接したサーバ間で電力予算を貸し借りするので、サーバ群全体の合計電力が低減される訳ではない。また、温度の平準化を目的として巨視的にはサーバ群に電力を分散させているので、サーバのコンソリデーションによる省電力化とは相容れない。電力配分を行なうためにサーバの地理的位置や排気温度、空調の給気温度を参照しているが、空調設備の電力や配置を考慮しておらず、空調電力の低減に寄与していない。サーバに指定される電力ステートは待機モード（待機電力）と最大動作モード（最大電力）であり、作業負荷に応じた電力の変動は考慮されておらず、サーバ自身の省電力機能が活用されていない。
特許文献５では、情報処理装置群の省電力化に関しては、作業負荷を特定の装置に集約配置して、他の装置は休止または停止させることで実現可能になるのに対し、空調設備の省電力化に関しては、装置群の電力をなるべく分散させることで運転効率を高めることで実現可能になるという、相反する要求がある中で、電力分布や変動と空調設備との相互配置を総合的に考慮して情報処理装置群と空調設備の電力低減を実現するために、作業負荷の変動等の状況を監視し、その状況に応じて作業負荷を装置群へ適度に集約かつ分散させて配置し、装置群と設備の総電力が最小になるように最適化する運用管理方法ならびに運用管理装置を提供している。しかし、作業負荷の再配置時の処理における電力消費に関して考慮されておらず、空調設備の制御において、この作業負荷再配置処理に関する消費電力に対するマージンを織り込んだ低い温度設定が必要となり、その分の省電力化の余地が残されている。
以上述べたように、従来技術は、情報処理装置群と空調設備の電力を局所的または逐次的に低減するに過ぎないという問題がある。
本発明の目的は、装置群の電力分布や変動と設備との相互配置を総合的に考慮することにより、装置群と設備を合わせた総電力を削減した情報処理システム、その省電力運用を実現する制御方法、及び装置を提供することにある。
上記の目的を達成するため、本発明においては、複数種の情報処理装置が互いに接続された情報処理装置群と、当該情報処理装置群に対して冷却を行う冷却設備から成る情報処理システムの省電力制御方法であって、情報処理装置群上の作業負荷の稼動情報及び位置と冷却設備の環境情報及び位置とを配置情報とし、所定の契機で定められた一定期間における、情報処理装置群上で実行処理される各作業負荷の稼働情報を予測し、作業負荷毎に予測した稼働情報に基づいて、一定期間において、各作業負荷の稼働情報が割当てられる情報処理装置群における個々の性能を上回ることがないように情報処理装置群への仮作業負荷割当てを導出し、情報処理装置群へ仮作業負荷割当てにおける仮消費電力とその配置情報と、情報処理装置群へ仮作業負荷割当てに移行する処理における仮消費電力とその配置情報とを算出し、算出結果に基づき、冷却設備の制御を実行するための仮冷却電力を算出し、所定の契機にもとづく一定期間における、情報処理装置群の仮消費電力と冷却設備の仮冷却電力の総和が最も低減する情報処理装置群への最適仮作業負荷割当てを探索し、所定の契機で、探索した最適仮作業負荷割当てに基づいて、情報処理装置群へ作業負荷を割当て移行し、実作業負荷の割当て移行処理の実消費電力に対して冷却設備の制御を実行する情報処理システムの省電力制御方法を提供する。
また、上記の目的を達成するため、本発明においては、複数種の情報処理装置が互いに接続された情報処理装置群と、当該情報処理装置群に対して冷却を行う設備と、運用管理装置とから成る情報処理システムであって、運用管理装置は処理部と記憶部とを備え、記憶部は、情報処理装置群上の作業負荷の稼動情報及び位置と前記冷却設備の環境情報及び位置とを配置情報として記憶し、処理部は、一定期間における、情報処理装置群上で実行処理される各作業負荷の稼働情報を予測し、予測した稼働情報に基づいて、一定期間において、各作業負荷の稼働情報が割当てられる情報処理装置群個々の性能を上回ることがないように情報処理装置群への仮作業負荷割当てを導出し、情報処理装置群へ仮作業負荷割当てにおける仮消費電力と配置情報と、情報処理装置群へ仮作業負荷割当てに移行する処理における仮消費電力と配置情報とを算出し、当該算出結果に基づいて設備の制御を実行するための仮冷却電力を算出し、一定期間における、情報処理装置群の仮消費電力と、設備の仮冷却電力の総和が低減する最適仮作業負荷割当てを探索し、所定の契機で、探索した最適仮作業負荷割当てに基づいて、情報処理装置群へ作業負荷を割当て移行し、作業負荷の割当て移行処理の実消費電力に対して設備の制御を実行する情報処理システムを提供する。
更に、上記の目的を達成するため、本発明においては、複数種の情報処理装置が互いに接続された情報処理装置群と、情報処理装置群に対して温度制御を行う設備の運用管理を行う運用管理装置であって、処理部と記憶部とを備え、記憶部に、情報処理装置群上の作業負荷の稼動情報及び位置と設備の環境情報及び位置とを配置情報として記憶し、処理部は、一定期間における、情報処理装置群上で実行処理される各作業負荷の稼働情報を予測し、予測した稼働情報に基づいて、一定期間において稼働情報が割当てられる情報処理装置群における個々の性能を上回ることがないように情報処理装置群への仮作業負荷割当てを導出し、仮作業負荷割当てにおける仮消費電力とその配置情報と、情報処理装置群へ仮作業負荷割当てに移行する処理における仮消費電力とその配置情報とを算出し、当該算出結果に基づき設備の制御を実行するための仮消費電力を算出し、一定期間における、情報処理装置群設備の仮消費電力の総和が低減する情報処理装置群への最適仮作業負荷割当てを探索し、探索した最適仮作業負荷割当てに基づいて、情報処理装置群へ作業負荷を割当て移行し、実作業負荷の割当て移行処理の実消費電力に対して設備の制御を実行する運用管理装置を提供する。
本発明の代表的実施の形態の特徴は、情報処理装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を有し、稼動情報に基づいて装置群の作業負荷に対する消費電力を求める手段と、配置情報に基づいて装置群の消費電力に対する設備の給電損失または冷却電力を求める手段を備えることにより、装置群と設備の総電力が最小になるように作業負荷を割り当てることにある。
装置群の位置と稼動情報は、過熱／非過熱装置を抽出するのではなく、装置群全体に亘って装置の位置と作業負荷を把握するように収集する。稼動情報は或る装置から他の装置へ作業負荷を移動した場合に消費電力を算出するのに十分な情報とし、必要に応じて装置の仕様情報や構成情報も含まれる。設備の位置と環境情報は、給電設備であれば変圧器から装置電源に至る給電系統の給電損失を、冷却設備であれば外気から空気や冷媒を介して装置すなわち熱源に至る熱交換サイクルと冷却電力を把握するように収集する。環境情報は、設備の内蔵センサまたは外部センサに加えて、必要に応じて装置の稼動情報からも入手する。
装置電力を求める手段では、温度情報や履歴対照からではなく、最大動作／待機ステートの固定電力と異なり、装置対象を過熱／非過熱装置に限らず、稼動情報により装置群全体に亘って作業負荷の多寡に応じて変動する電力を求める。設備電力を求める手段では、温度分布や履歴対照からではなく、装置に含まれる冷却装置の電力ではなく、装置群と設備の相互配置情報から装置群の電力分布や変動に応じた設備全体の電力を求める。装置群へ作業負荷を割り当てる手段では、温度の低い装置、非過熱装置、履歴に残る装置、地理的位置が近接した装置に対象を限らず、装置群全体を対象として求めた最適解に基づいて作業負荷を割り当てる。
本発明の代表的実施の形態の別の特徴は、装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を監視し、現在または予定の作業負荷に基づいて装置群へ仮作業負荷を割り当てる手段と、仮作業負荷の割り当てに移行する作業負荷ならびに稼動情報に基づいて装置群の仮作業負荷に対する仮消費電力を求める手段と、配置情報と仮消費電力に基づいて設備の仮給電損失または仮冷却電力を求める手段を備えることにより、装置群の仮消費電力と設備の仮給電損失または仮冷却電力との総和を最小にする仮作業負荷割当ての最適解を求めることにある。
装置群への作業負荷割当てには多数の組合せが存在するが、仮作業負荷を割り当てて装置群と設備を合わせた総電力を最小にする解を探索することにより、最適解を効率良く見つけ出し、これを踏まえて装置群へ実作業負荷を割り当てる。仮作業負荷の割当ては、現在の作業負荷だけでなく、予定または予測される作業負荷を含めて行なえる。解の探索においては、装置の動作温度条件や許容負荷条件、給電設備の配電盤やラック電源の許容電力条件、冷却設備の冷却能力や熱溜りを避けるための区画許容電力条件などの制約条件を考慮することが可能である。
さらに本発明の別の特徴は、装置群と設備が設置される空間における、装置群の位置座標及び稼動情報と設備の位置座標及び給電または冷却に関する環境情報をマッピングした配置情報を有することにある。実空間における装置群や設備の稼動状況や配置状態を仮想空間上に再現することにより、装置群の作業負荷割当てや設備の運転シミュレーションを共通の仮想空間に対して統一的に行ない、装置群と設備が緊密に連携した運用管理を実施する。また、仮想空間を可視化することにより、装置群と設備の稼動監視、業務運用、障害検知、資産管理、電力管理などを一括して効率良く行なえる。
さらに本発明の別の特徴は、装置の仕様情報、構成情報、測定情報、稼動情報または稼動履歴に基づいて、装置の作業負荷に対して消費電力を算出する装置電力関数を備えることにより、作業負荷の割当て、変更、移動などに応じて装置電力を簡便に求めることにある。例えば、時間に応じて変動する個々の作業負荷に関して時刻tを引数とする関数ljk(t)(k＝1，2，…)で表わすものとすると、装置iの装置電力関数pDi(i＝1，2， …)は、数式１のように表わせる。
Figure 2013092951
また、すべての装置の装置電力の総和は、下式２のように表せる。
Figure 2013092951
ここで、作業負荷が有る場合（装置が動作）には装置電力関数 pDi を多変数の線形関数または非線形関数とし、作業負荷が無い場合（装置が休止または停止）には電力値を与える不連続関数とする。装置電力関数 pDi は変数に対する数表の戻り値または補間でも良い。
例えば装置電力関数 pDi として、装置の仕様情報や構成情報から最大定格電力が分かれば装置のＯＮ／ＯＦＦに対応する階段関数、最大電力と待機電力が分かれば傾きと切片で表わされる一次関数、稼動情報として複数の動作ステートと待機ステート、休止ステート、または停止ステートが分かれば条件付き関数集合、装置の消費電力を監視可能ならば稼動履歴データをフィッティングした二次関数など、得られる情報や必要な計算精度に応じて適宜採択する。簡便のため、数式１中の作業負荷の装置群への割当てである変数集合を電力に影響する主要因子に集約しても良い。例えば主要因子は、サーバ装置ならプロセッサの最大性能、使用率、動作ステート（周波数、電圧）など、ストレージ装置なら起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送スループット、スイッチ頻度などである。
さらに別の特徴は、装置群への作業負荷割当てが変更される場合には、個々の作業負荷の装置群への割当ては、置換関数δkを用いて数式３のように表わせる。
Figure 2013092951
ここで、数式１中の割当てで示される作業負荷配置から、数式３の割当てで示される作業負荷配置へ移行する際には、移行に関与する装置に新たな作業負荷として、マイグレーション処理のコストが発生する。ここで、新たな作業負荷である、マイグレーション処理のコストとしては、装置mに割当てられていた作業負荷 ljk が装置nに移行する場合、作業負荷 ljk の実行にかかわるメモリ上、並びにストレージ上の作業データを装置mから装置nにネットワーク等を介して転送する作業があたり、装置m、装置n、並びに転送に関わる装置上に、新たな作業負荷が追加で割当てられる。この新たに追加された作業負荷を含めた作業負荷割当てを数式４のように、またこの新たに追加された作業負荷が完了するまでにかかる時間を数式５のように表す。
Figure 2013092951
Figure 2013092951
さらに別の特徴は、装置の消費電力と位置及び設備の環境情報と位置に対して設備の給電損失または冷却電力を算出する設備電力関数を備えることにより、作業負荷割当てによる装置の電力分布に応じて設備電力を簡便に求めることにある。例えば、給電損失関数 ps と冷却電力関数 pc は、装置ｉの電力をpdi 、位置をｘｉ（ｘｉ，ｙｉ，ｚｉ）、設備ι（ι＝１，２，…）の環境情報をει、位置をχι（ｘι，ｙι，ｚι）として数式６、数式７のように表わせる。
Figure 2013092951
Figure 2013092951
給電損失関数 ps は、装置の位置と給電設備の環境情報と位置に基づいて、変圧器、無停電電源、配電盤、分電器などから装置電源に至る給電系統を求め、給電系統に沿って装置電力すなわち電力負荷に対する電源効率や配電損失などを計算し、給電設備全体の給電損失を算出する。冷却電力関数 pc は、装置の位置及び電力（熱源分布）と冷却設備の環境情報と位置に基づいて、装置群が置かれた室内の熱流体シミュレーションと、室内冷却機から冷凍機、冷却塔などの室外機に至る冷却系統の熱交換シミュレーションを行ない、冷却設備全体の冷却電力を算出する。
装置の位置ｘｉには、三次元位置座標の他、装置が搭載されているラックの二次元位置とラック高さ方向の番号、装置が載っているフロアタイルの二次元位置とタイルからの高さ、など三次元位置を同定できる表現を代用できる。給電設備の環境情報 εi には、電源や配電器や配線の電力負荷特性、各機器やラックで監視している入出力電力、などがある。冷却設備の環境情報ειには、空気や冷媒の温湿度、流量、流速、流向、装置の動作温度、ラックや給排気口の入排気温、室内機や室外機の給排温や流量、外気の温湿度、各機器の熱負荷特性、などがある。設備の位置情報χιには、三次元位置に加えて、各機器の接続先と相互距離などのトポロジー的な接続情報も含まれて良い。
さらに別の特徴は、装置群の電力と位置及び設備の環境情報と位置に対する設備電力関数を、装置毎に必要な設備電力を表わす要素関数に近似的に分解することにより、組合せ最適化問題を簡便に解くことにある。装置電力関数と設備要素関数の和を装置関数として装置毎に定義するので、作業負荷割当てに対して目的関数の値を短時間に算出できる。例えば、装置ｉに対する給電損失と冷却電力の要素関数 pSi とp Ciは、数式８、数式９のように表わせる（pSiとpCiは設備の環境情報ει、位置χιの関数でもあるがここでは簡略に表わす）。
Figure 2013092951
Figure 2013092951
設備電力関数pSiとpCiは数式６、数式７のように装置群と設備の全体に対する関数であるが、装置群の電力分布や設備の環境情報と位置が大幅に変動しない場合または極端に偏らない場合などでは、相互作用や非線形作用を近似して装置毎の設備要素関数pSiとpCiに分けて考えることができる。または、比較的近傍に在る装置間の相互作用を繰り込むように設備要素関数を修正しても良い。装置関数piは設備要素関数pSiとpCiと装置電力関数pDiの和であり、数式１０のように表わせる。目的関数Ｐは装置群全体に亘る装置関数piの総和であり、数式１１のように表わせる。
Figure 2013092951
Figure 2013092951
さらに別の特徴は、指定された時間の装置電力量と設備電力量の総和である総電力量Pを目的関数として、装置へ作業負荷を割当てる組合せ最適化問題を定義することにより、目的関数を最小化する最適解または最適解近傍の実行可能な近似解を求めることにある。たとえば、時刻Ｔｎ−１から時刻Ｔｎまでの装置電力量は数式１２のように、設備電力量は数式１３のように表される。
Figure 2013092951
Figure 2013092951
また、時刻Ｔｎに、数式１の作業負荷配置から、数式３の作業負荷配置へ移行した場合、数式４で記述した作業負荷が発生し、その作業負荷の完了時刻は、数式５にもとづき、数式１４のように表される。
Figure 2013092951
したがって、時刻Ｔｎ−１から時刻Ｔｎ＋１までの総電力量Pは、数式１５、数式１６のように表わせる。
Figure 2013092951
Figure 2013092951
給電設備では給電系統によって電源、配電盤、配電器などの定格電力があり、これを上限とする許容電力条件を守る必要がある。この条件に外れる場合は、その給電系統に繋がる装置群の作業負荷を軽減する、または装置群の電力を制限する必要がある。冷却設備では空調機、局所冷却装置、液冷装置、冷凍機、冷却塔などの定格処理能力があり、この能力以下に装置電力を抑える必要がある。また、冷却設備では、装置を動作温度範囲内に保ち、過剰な発熱集中を避けて冷却効率を上げるため、装置群が配置される空間の領域、区画、ラック列などに対して許容電力条件を設けて良い。
さらに別の特徴は、装置群への作業負荷割当て問題を解いて求められた最適解または近似解と配置情報に基づいて、装置群の位置に対する消費電力すなわち電力分布を得て給電設備または冷却設備を制御することにある。これにより、設備の運転効率を向上させ、さらに給電損失や冷却電力を抑制することができる。例えば、給電設備では出力電力に応じて並列接続された機器の稼働台数を変えることにより給電効率が向上し、冷却設備では発熱分布に応じて空気や冷媒の供給温度、給排気口やファンの風量や風向、冷凍機や冷却塔の温度や流量などを調節することにより冷却効率が向上する。
さらに別の特徴は、装置群へ作業負荷を割り当てる手段として、仮想化環境、ジョブスケジューラ、ＳＡＮブート環境、稼動管理を活用することにある。これらの手段は、作業負荷割当ての契機や周期、作業負荷の移動に伴うオーバーヘッドやタイムロス、作業負荷の変動や生滅、装置の作業負荷のリンク、取得可能な装置の稼動情報、既設または新設のシステムへの導入容易さ、システムのセキュリティや信頼性、などを考慮して選択され、並列的または階層的に混在しても良い。仮想化環境では物理装置群への仮想装置の配置、ジョブスケジューラでは装置群へのジョブの配置、ＳＡＮブート環境では起動する装置群の配置、稼動管理では稼動、休止または停止する装置群の配置により、装置群へ作業負荷を割り当てる。
さらに別の特徴は、装置群への作業負荷割当ての変更を反映して、装置群と設備の総電力を低減するように装置群を稼動させることにある。サーバ装置では、アプリケーション、仮想マシン、ジョブなど、作業負荷を与えるソフトウェアを移動する。ストレージ装置ではアクセス頻度の高いデータを移動またはコピーすることにより、移動先に作業負荷が移動する。ネットワーク装置ではネットワーク接続構成を変更することにより、運用ノードが移り変わる。
本発明によれば、例えばデータセンタなどのような情報処理システムにおいて、情報処理装置群と設備を連携させた運用管理により装置群と設備を合わせた総消費電力を削減できる。
実施例１に係る、仮想化環境を構築した情報処理システムの省電力方式を示す全体システム構成図である。 実施例１に係る、マイグレーションコストを考慮した最適化配置を模式的に示す図である。 実施例１に係る、マイグレーションコストを考慮した最適化配置を模式的に示す図である。 実施例１に係る、マイグレーションコストを考慮した最適化配置を模式的に示す図である。 実施例１に係る、ＩＴ側から空調に情報を送付し、空調の先行制御を実施するシステムを模式的に説明するための図である。 実施例１に係る、仮想化環境を構築した情報処理システムの一拠点のシステム構成図である。 実施例２に係る、分散ＯＳをベースに構築した情報処理システムの一拠点のシステム構成図である。 各実施例に係る、情報処理システムのネットワーク構成の一例を示す図である。 各実施例に係る、情報処理システムのネットワーク構成の他の例を示す図である。 各実施例に係る、情報処理システムの機器データの一例を示した図である。 各実施例に係る、情報処理システムの資源データの一例を示した図である。 各実施例に係る、情報処理システムのリンクデータの一例を示す図である。 各実施例に係る、情報処理システムの仮想マシン資源予約データの一例を示す図である。
本発明は、装置群と設備の相反する要求を満たすように、作業負荷の変動等の状況を監視し、その状況に応じて作業負荷を装置群へ適度に集約かつ分散させて配置し、作業負荷の再配置処理における電力消費を含めて、装置群と設備の総電力が最小になるように最適化する情報処理システム、その省電力制御方法、及び装置を提供している。
先に概説したように、本発明は、情報処理装置群の位置及び稼動情報と、設備の位置及び環境情報から成る配置情報を有し、当該配置情報に基づいて装置群の作業負荷に対する消費電力を求め、且つ装置群の消費電力に対する設備の給電損失または冷却電力を求めることにより、装置群と設備の総電力が最小になるように作業負荷を割り当てる情報処理システム、その省電力制御方法、及び装置にある。以下、本発明の種々の実施形態を図面に従い説明する。
図１は、第一の実施例に係る情報処理システムの全体構成を示す図であり、広域エリアネットワーク(WAN)等の回線で二拠点間、即ち二つのデータセンタ間を接続した情報処理システムにおいて、作業負荷最適化配置のための省電力制御方法に関する。本実施例１は、仮想化環境により、複数の物理サーバ160〜167上でのアプリケーション130〜139の実行環境を構築した情報処理システムの省電力制御方法に関する実施例である。
本実施例の情報処理システムは、広域エリアネットワーク(WAN)400を介して、二つの拠点が接続された構成を例示するが、情報処理システムはこのような拠点が二つの構成に限定されるものでないことは言うまでもない。なお、図示の都合上、図１では物理サーバ160〜167、アプリケーション130〜139等の一部が図示を省略されているが、例えば物理サーバ162等は、後で詳述する図６において図示される。
一方の拠点であるデータセンタは、物理サーバ160〜162、ストレージ100〜102、物理サーバ160〜162を接続して相互に通信を可能にするLAN170、物理サーバ160〜162とストレージ100〜102を接続してアクセス可能にするSAN110、物理サーバ160〜161とストレージ100〜102とLAN170とSAN110を冷却する冷却設備190〜192、物理サーバ160〜162とストレージ100〜102とLAN170とSAN110と冷却設備190〜192を管理する情報技術(IT)設備連係最適化運用マネージャ180からなり、仮想化環境を構成する。
同様に他方の拠点のデータセンタは、物理サーバ166〜167、ストレージ106〜108、物理サーバ166〜167を接続して相互に通信を可能にするLAN176、物理サーバ166〜167とストレージ106〜108を接続してアクセス可能にするSAN116、物理サーバ166〜167とストレージ106〜108とLAN176とSAN116を冷却する冷却設備196〜198、物理サーバ166〜167とストレージ106〜108とLAN176とSAN116と冷却設備196〜198を管理するIT設備連係最適化運用マネージャ186からなり、仮想化環境を構成する。本実施例の情報処理システムにおいて、これら二つの拠点は、同一の構成を備えているので、以下の説明において、一方の拠点の詳細構成、及び動作を説明する。
図１、図６において、物理サーバ160〜162には、ハイパーバイザ150〜152を介して仮想マシン120〜125が配置され、その上でOS140〜145と作業負荷であるアプリケーション130〜135が動作する。
IT設備連係最適化運用マネージャ180では、ローカルエリアネットワーク(LAN)170での物理サーバ160〜161の接続を管理するLANマネージャ183、ストレージエリアネットワーク(SAN)110での物理サーバ160〜162とストレージ100〜102との接続を管理するSANマネージャ184、物理サーバ160〜162と仮想マシン120〜125を管理する仮想化マネージャ182、IT負荷配置マネージャ186、並びに冷却設備マネージャ181が連携して動作する。
ここで、IT負荷配置最適化マネージャ186は、仮想化マネージャ182、LANマネージャ183、SANマネージャ184と連携し、仮想マシン120〜125の稼動予約に基づく将来の稼動情報(例えば中央処理部(CPU)稼働率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)、もしくは仮想マシン120〜125の過去の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセス量、ネットワークアクセス量)にもとづく稼動予測による将来の稼動情報をベースに、アプリ130〜139の処理性能の劣化を引き起こすことなく、情報処理システムの消費電力を低減する仮想マシン120〜125の再配置を生成し、実施する。また、冷却設備マネージャ181は、現時点ならびに近い将来(例えば10分後)の情報処理システムの消費電力情報を消費電力マネージャ185から受取り、それに基づき冷却設備190〜192を最適に制御する。
以上の構成の本実施例の情報処理システムの消費電力は、一般に仮想マシン120〜125の物理サーバ160〜162上での配置と、仮想マシン120〜125の稼動状況により定まる。例えば、図６の矢印で示すように、仮想化マネージャ182が物理サーバ161上に配置されている仮想マシン122〜123を物理サーバ160もしくは物理サーバ162に再配置し、物理サーバ161の上に配置され、動作している仮想マシンが存在しない場合は、物理サーバ161の電源を落とすことが可能である。
その一方で、物理サーバ160に仮想マシン122〜123を配置することで、物理サーバ160の負荷が上がり、それにともない消費電力も上昇する。ただし、一般に、物理サーバ160の消費電力の上昇分と物理サーバ161の電源を落とすことによる消費電力の低減を比べると低減の方が大きく、結果として情報処理システムの消費電力低減が可能である。
加えて、物理サーバ160に配置された仮想マシン120上のオペレーティングシステム(OS)140上で動作するアプリ130と物理サーバ161に配置された仮想マシン122上のOS142上で動作するアプリ132とがLAN170を介して通信する状況では、LAN170を構成しているネットワーク機器が電力を消費するが、仮想マシン122を物理サーバ161から物理サーバ160に配置換えをするとアプリ130とアプリ132とはLAN170を介さずに通信することが可能になり、それに伴いLAN170を構成しているネットワーク機器の消費電力の低減が可能である。
その一方で、仮想マシン120〜121と仮想マシン122〜123の稼働状況のうち、CPU稼動率の総和が物理サーバ160の処理能力を超える場合、仮想マシン122〜123を物理サーバ161から物理サーバ160に再配置すると、仮想マシン120〜123上で動作するOS140〜OS143ならびにアプリ130〜アプリ133の性能劣化を引起こす。
また、仮想マシン120〜121と仮想マシン122〜123の稼働状況のうちメモリ使用量の総和が物理サーバ160のメモリ搭載量を超える場合、ハイパーバイザ150が仮想メモリにかかわるスワップ処理を実施するため、仮想マシン120〜123上で動作するOS140〜OS143ならびにアプリ130〜アプリ133の処理性能の劣化を引起こす。
また、仮想マシン120〜121と仮想マシン122〜123の稼働状況のうち、SAN110を介してストレージ100〜102をアクセスするバンド幅の総和が、物理サーバ160がSAN110を介してストレージをアクセスするバンド幅の許容量を超える場合、仮想マシン122〜123を物理サーバ161から物理サーバ160に再配置すると、仮想マシン120〜123上で動作するOS140〜OS143ならびにアプリ130〜アプリ133のストレージアクセス性能の低下を引起し、結果として処理性能の劣化を引起す。
また、物理サーバ160上に配置された仮想マシン120〜121上で動作しているアプリ130〜131と物理サーバ161上に配置された仮想マシン122〜123上で動作しているアプリ132〜133とが、物理サーバ162上に配置された仮想マシン124〜125上で動作しているアプリ134〜135とLAN170を介して通信をしており、その通信のバンド幅の総和が、LAN170を介した物理サーバ160と物理サーバ162との通信のバンド幅の許容量を超えている場合、仮想マシン122〜123を物理サーバ161から物理サーバ160に再配置すると、仮想マシン120〜123上で動作するアプリ130〜アプリ133と仮想マシン124〜125上で動作するアプリ134〜アプリ135との通信の性能低下を引起し、結果として情報処理システムの処理性能の劣化を引起す。
その一方で、仮想化マネージャ182がハイパーバイザ150〜152を制御して、仮想マシン120〜125を物理サーバ160〜162上で再配置する際は、LAN170を介して処理を実施する。
したがって、図６の矢印に示すような仮想マシン122を物理サーバ161から物理サーバ160に再配置する場合、少なくとも物理サーバ160、物理サーバ161、並びにLAN170を構成する機器がその処理にかかわり、その再配置にかかわる処理の実施において、物理サーバ160、物理サーバ161、並びにLAN170を構成する機器の消費電力の上昇を引起すとともに、LAN170を介した物理サーバ160と物理サーバ161との通信のバンド幅の消費を引起す。
通常、仮想化環境によるアプリケーション実行環境を構築した情報処理システムでは、物理サーバ160〜物理サーバ162に配置されたLAN170を介した仮想マシン120〜125上で動作するアプリ130〜135間の通信への影響を防ぐため、仮想マシン120〜125の物理サーバ160〜162上での再配置の際に発生するLAN170を介しての通信は、前記アプリ130〜135間の通信で使用するLAN170のセグメントとは別に、専用のLAN170のセグメントが用意されているが、用意されていない場合は、前記LAN170を介した物理サーバ160と物理サーバ161との通信のバンド幅の消費を、IT負荷配置最適化マネージャ186は考慮する必要がある。
本実施例の情報処理システムにおけるIT負荷配置最適化マネージャ186は、仮想マシン120〜125の稼動予約にもとづく将来の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)、もしくは仮想マシン120〜125の過去の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)にもとづく稼動予測による将来の稼動情報をベースに、物理サーバ160〜162上で仮想マシン120〜125の再配置の実施タイミングを定め、仮想マシン120〜125上で動作するOS140〜OS145、並びにアプリ130〜アプリ135の性能劣化を引起すことなく情報処理システムの消費電力低減を実現する仮想マシン120〜125の再配置案を生成する。
そして、現在の仮想マシン120〜125の配置情報と再配置後の仮想マシン120〜125の配置情報、ならびに将来の稼動情報をもとに、仮想マシン120〜125の再配置処理の実施において情報処理システムが消費する電力と前記再配置実施タイミングから次の再配置実施タイミングまでの期間、仮想マシン120〜125の再配置を実施した場合の情報処理システムの消費電力を算出する。
加えて、現在の仮想マシン120〜125の配置情報と将来の稼動情報をもとに、仮想マシン120〜125の再配置を実施しない場合の情報処理システムの消費電力を算出する。
ここで、仮想マシン120〜125の再配置を実施した場合の情報処理システムの消費電力が仮想マシン120〜125の再配置を実施しない場合の情報処理システムの消費電力を下回る場合、IT負荷配置最適化マネージャ186は、仮想化マネージャ182を介して、生成した仮想マシン120〜125の前記再配置案を前記再配置実施タイミングに実施することをスケジュールに予約する。
消費電力マネージャ185は冷却設備マネージャ181に対して現時点での情報処理システムの消費電力を定期的に送付すると同時に、IT負荷配置最適化マネージャ186が予約した再配置案とその実施スケジュール、並びに仮想マシン120〜125の稼動予約にもとづく将来の稼動情報(例えばCPU稼働率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)、もしくは仮想マシン120〜125の過去の稼動情報(例えばCPU稼働率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)にもとづく稼動予測による将来の稼動情報をベースに、近い将来(例えば10分後)の情報処理システムの消費電力を算出し、冷却設備マネージャ181に対して定期的に送付する。
冷却設備マネージャ181は、冷却設備190〜192の温度センサ等を用いたフィードバック制御では、時間的遅延を引起すため、従来は、情報処理システムを構成するすべての機器が定格消費電力で動作した場合を前提として冷却設備190〜192の運転制御において、送風温度、送風量等に関してマージンを持った設定等を行うことで制御していた。
それに対して、本実施例の情報処理システムにおいては、以下で詳述するように、現時点での情報処理システムの消費電力を定期的に受取ることにより、フィードバック制御の時間的遅延を解消することが可能になり、その結果冷却設備190〜192の運転制御において、送風温度、送風量等に関してマージンを小さく設定する等が可能になり、冷却設備190〜192の消費電力の低減が可能となる。
また、冷却設備マネージャ181が、冷却設備190〜192の運転制御において、送風温度、送風量等の設定を行っても、その効果がフロアー全体にいきわたるまでに時間的遅延は免れず、これまでは、冷却設備190〜192の運転制御において、送風温度、送風量等にマージンを持った設定等を行うことで対処していた。
それに対して、本実施例の冷却設備マネージャ181は、以下で詳述するように、近い将来(例えば10分後)の情報処理システムの消費電力情報を受け取ることにより、冷却設備190〜192を先行的に制御し、上記時間的遅延を解消することが可能となるため、冷却設備190〜192の運転制御において、送風温度、送風量等に関してマージンをさらに小さく設定する等が可能となり、冷却設備190〜192の消費電力の低減が可能となる。
以上に示したように、本実施例の情報処理システムにより、仮想化環境により、複数の物理サーバ160〜162上でのアプリケーション130〜135の実行環境を構築した情報処理システム、並びに冷却設備の消費電力の低減が可能になる。
図２〜図５を用いて、図１に示した本実施例の情報処理システムにおける、二拠点間のマイグレーションに関するコストを考慮した消電力制御方法の動作について説明する。なお、以下の説明において、物理サーバ1、2と仮想マシン230〜233を例示して説明するが、これらは、図１、図６中の物理サーバ160〜162、166〜167、仮想マシン120〜129のいずれかに対応している。
図２に示すように、時刻ｔ0に、物理サーバ2上の仮想マシン232と仮想マシン233が低負荷に、時刻ｔ1に、物理サーバ1上の仮想マシン230と仮想マシン231が低負荷に移行する。
図６に示したIT負荷配置マネージャ186は、仮想マシン232、仮想マシン233を物理サーバ2から物理サーバ1に片寄して物理サーバ161の電源断による省電力化を図ることを決定する。
この決定に伴い、図１に示す情報処理システムは、時刻t2にマイグレーションを開始する。仮想マシン232、仮想マシン233の実行は、物理サーバ1上で実施され、マイグレーションの処理が物理サーバ1と物理サーバ2の上で実施される。
時刻t3でマイグレーションの処理が完了し、物理サーバ2上で実施する処理がなくなり、ここで物理サーバ2の電源断が可能になる。
物理サーバ2の消費電力は、P ＝ A × 負荷率 (%)＋ B で定まる。
マイグレーション処理が、物理サーバ1、物理サーバ2で実施されることで、図２の点その間消費電力は増大する。
マイグレーション処理が実施されている間は、物理サーバ2上に実行すべき仮想マシンがなくても、物理サーバ2の電源を落とすことはできず、時刻t3においてマイグレーション処理が完了してから、電源断が可能になる。
図１に示す情報処理システムにおいて、物理サーバ1、2の様に、物理サーバ群が一つの拠点、即ち同一LAN170のセグメント上にあり、同一SAN110上のストレージ100〜102を共有している場合、マイグレーション処理の時間は短く、無視しても影響はなかった。
しかしながら、物理サーバ群が、図１に示すような、二つの拠点、すなわち、それぞれ異なるデータセンタ等、異なるLANセグメント170、176上にあったり、異なるSAN110、116上のストレージ100〜102、106〜108を使用している場合は、マイグレーション処理に時間がかかり、マイグレーション処理による消費電力増大と物理サーバの電源断の遅延を考慮する必要がでてくる。
このような場合、マイグレーション処理により消費電力量が増大するので、それに対応した空調の運転制御が必要となる。加えて、仮想マシンが異なるLANセグメントに移動したり、異なるSAN上のストレージを使用するようになるため、I/O性能を考慮して仮想マシンの配置を決めないと、アプリケーション性能に大きな影響を及ぼすことになる。
そこで、本実施例の情報処理システムのIT設備連携最適化運用マネージャ180、187中のIT負荷配置マネージャ186は、以下に説明する運用を行う。
図３に示すように、時刻ｔ0から一定期間（時間 a）ごとに、IT負荷配置マネージャ186が、各仮想マシンのこれまでの稼働履歴等をもとに算出した負荷予測をもとに、システム全体の消費電力を低減する仮想マシンの配置パターン（仮想マシンに割当る物理サーバ、ストレージ）を導出する。
それぞれの配置パターンに対し、現在の仮想マシンの割当てからのマイグレーション処理のコスト（時間、消費電力増大分）を、LAN、SANのトポロジ、ならびに各ノード間の通信のバンド幅を考慮して、算出する。
それぞれの配置パターンに対して算出したマイグレーション処理の時間を考慮した物理サーバ電源断に省電力量を算出する。
次に、それぞれの配置パターンに対して算出したマイグレーション処理による消費電力増大と、物理サーバ電源断による省電力量とから、ＩＴ全体の省電力効果を算出し、もっとも省電力効果の大きい配置パターンを選ぶ。
いずれの配置パターンへのマイグレーション処理のコスト（時間、消費電力増大分）が大きく、省電力効果が得られない場合は、マイグレーションによる仮想マシンの片寄による配置最適化は行わず、図３の下図に示すように、仮想マシンのその時点での配置を継続する。
図４は、本実施例における情報処理システムの他の動作例を示す図である。図４の上段に示すように、昼間（午前9時から午後６時まで）負荷が高く、午後１１時に向けて徐々に負荷が低減、午前０時から1時間ほど日次処理等で負荷上昇がみられ、そのあと午前９時まで低負荷状態、となるような、世の中の一般的な日次負荷変動を示す仮想マシンを対象とする。
このように、日次変動のように定常的な負荷変動を前提可能な情報処理システムでは、計画的なシステム運用を導入する。午前２時から午前９時までの低負荷状態に関しては、図４下段に示すように、仮想マシン232、仮想マシン233を物理サーバ2から物理サーバ1にマイグレーションして、マイグレーション処理のコストを考慮しても省電力化が達成できることが設計段階で明らかな場合は、片寄による物理サーバの電源断を活用した省電力化を計画的な運用として導入する。
午後11時から午前０時までの低負荷状態に関するように、時間が短くマイグレーション処理のコストを考慮すると、片寄による物理サーバの電源断による省電力化の効果が得られないことが設計段階で明らかな場合は、図４下段に示すように、片寄による物理サーバの電源断を活用した省電力化を計画的な運用として導入しない。
午前1時から午前９時までの低負荷状態に関するように、時間が長くマイグレーション処理のコストを考慮しても、片寄による物理サーバの電源断による省電力化の効果が得られることが設計段階で明らかな場合は、図４下段に示すように、片寄による物理サーバの電源断を活用した省電力化を計画的な運用として導入する。ただし、午前９時からの始業時からの急激な負荷上昇に対応すべく、それまで物理サーバ1に片寄されていた仮想マシン232、仮想マシン233を、物理サーバ2の負荷に余裕がある午前９時までにマイグレーションが完了するように、午前７時ころより片寄を実施する。
続いて、図５を用いて、本実施例の情報処理システムを。空調の運転制御のマージンを削減し、省電力化する場合に適用する場合の、好適な動作例を説明する。
図５に示す省電力制御方法においては、空調運転の最適化制御では、運転モードを切り替えてから、部屋全体にその効果が及ぶのに時間がかかるため、それを見越したマージンをもって空調の運転制御が行われている。
図５の上段に示すように、マイグレーションの処理のコスト（時間、消費電力増大）が顕著な場合は、その開始に先行して、空調運転制御の運転を高いモードに切替える制御を導入することで、上述の空調の運転制御におけるマージンを削減し、空調の省電力化を達成する。
先に説明した動作例のように、一定期間（時間 a）ごとに、IT負荷配置マネージャ186が、各仮想マシンのこれまでの稼働履歴等をもとに算出した負荷予測をもとに、システム全体の消費電力を低減する仮想マシンの配置パターンを導出する場合は、周期的な仮想マシンの再配置処理（マイグレーション）の開始に先行して、冷却設備マネージャに負荷上昇を通知し、それに基づき、空調運転の最適化制御を実施する。
一方、上述した計画的運用に関しては、あらかじめマイグレーション処理のコストを見積もっておき、それに基づき冷却設備マネージャが空調運転の最適化制御を実施する。
図７は、第２の実施例に係り、ネットワーク分散型OSにより、複数の物理サーバ260〜262上でのアプリケーション220〜225の実行環境を構築した情報処理システムの省電力制御方法を示す構成図である。
情報処理システムは、物理サーバ260〜262、ストレージ200〜202、物理サーバ260〜262を接続して相互に通信を可能にするLAN270、物理サーバ260〜262とストレージ200〜202を接続してアクセス可能にするSAN210、物理サーバ260〜262とストレージ200〜202とLAN270とSAN210を冷却する冷却設備290〜292、物理サーバ260〜262とストレージ200〜202とLAN270とSAN210と冷却設備290〜292を管理するIT設備連係最適化運用マネージャ280からなり、仮想化環境を構成する。
物理サーバ260〜262には、ネットワーク分散型OS250〜252によるアプリケーション実行環境が構築されておりその上で作業負荷であるアプリケーション220〜225が動作する。
IT設備連係最適化運用マネージャ280では、LAN270での物理サーバ260〜262の接続を管理するLANマネージャ283、SAN210での物理サーバ260〜262とストレージ200〜202との接続を管理するSANマネージャ284、物理サーバ260〜262とアプリケーション220〜225を管理するタスクマネージャ282、タスクマネージャ282、LANマネージャ283、SANマネージャと連携し、アプリケーション220〜225の稼動予約に基づく将来の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセス量、ネットワークアクセス量)、もしくはアプリケーション220〜225の過去の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセス量、ネットワークアクセス量)にもとづく稼動予測による将来の稼動情報をベースに、アプリケーション220〜225の性能劣化を引き起こすことなく、情報処理システムの消費電力を低減するアプリケーション220〜225の再配置を生成し、実施するIT負荷配置最適化マネージャ286、現時点ならびに近い将来(例えば10分後)の情報処理システムの消費電力情報をIT負荷配置最適化マネージャ286から受取り、それに基づき冷却設備290〜292を最適に制御する冷却設備マネージャ281、が連携して動作する。
本実施例で示した情報処理システムの消費電力は、一般にアプリケーション220〜225の物理サーバ260〜262上での配置と、アプリケーション220〜225の稼動状況により定まる。
例えば、タスクマネージャ282が物理サーバ261上に配置されているアプリケーション222〜223を物理サーバ260もしくは物理サーバ262に再配置し、物理サーバ261の上に配置され、動作しているアプリケーションが存在しない場合は、物理サーバ261の電源を落とすことが可能である。
その一方で、物理サーバ260にアプリケーション222〜223を配置することで、物理サーバ260の負荷が上がり、それにともない消費電力も上昇する。ただし、一般に、物理サーバ260の消費電力の上昇分と物理サーバ261の電源を落とすことによる消費電力の低減を比べると低減の方が大きく、結果として情報処理システムの消費電力低減が可能である。
加えて、物理サーバ260に配置されたアプリケーション220と物理サーバ261に配置されたアプリケーション222とがLAN270を介して通信する状況では、LAN270を構成しているネットワーク機器が電力を消費するが、アプリケーション222を物理サーバ261から物理サーバ260に配置換えをするとアプリケーション220とアプリケーション222とはLAN270を介さずに通信することが可能になり、それに伴いLAN270を構成しているネットワーク機器の消費電力の低減が可能である。
その一方で、アプリケーション220〜221とアプリケーション222〜223の稼働状況のうちCPU稼動率の総和が物理サーバ260の処理能力を超える場合、アプリケーション222〜223を物理サーバ261から物理サーバ260に再配置すると、アプリケーション220〜223の性能劣化を引起こす。
また、アプリケーション220〜221とアプリケーション222〜223の稼働状況のうちメモリ使用量の総和が物理サーバ260のメモリ搭載量を超える場合、ネットワーク分散型OS250が仮想メモリにかかわるスワップ処理を実施するため、アプリケーション220〜223の性能劣化を引起こす。
また、アプリケーション220〜221とアプリケーション222〜223の稼働状況のうち、SAN210を介してストレージをアクセスするバンド幅の総和が、物理サーバ260がSAN210を介してストレージをアクセスするバンド幅の許容量を超える場合、アプリケーション222〜223を物理サーバ261から物理サーバ260に再配置すると、アプリケーション220〜223のストレージアクセス性能の低下を引起し、結果として処理性能の劣化を引起す。
また、物理サーバ260上に配置されたアプリケーション220〜221と物理サーバ261上に配置されたアプリケーション222〜223とが、物理サーバ262上に配置されたアプリケーション224〜225とLAN270を介して通信をしており、その通信のバンド幅の総和がLAN270を介した物理サーバ260と物理サーバ262との通信のバンド幅の許容量を超える場合、アプリケーション222〜223を物理サーバ261から物理サーバ260に再配置すると、アプリケーション220〜223とアプリケーション224〜225との通信の性能低下を引起し、結果として処理性能の劣化を引起す。
その一方で、タスクマネージャ282がネットワーク分散型OS250〜252を制御して、アプリケーション220〜225を物理サーバ260〜262上で再配置する際は、LAN270を介して処理を実施する。
したがって、アプリケーション222を物理サーバ261から物理サーバ260に再配置する場合、少なくとも物理サーバ260、物理サーバ261、並びにLAN270を構成する機器がその処理にかかわり、その再配置にかかわる処理の実施において、物理サーバ260、物理サーバ261、並びにLAN270を構成する機器の消費電力の上昇を引起すとともに、LAN270を介した物理サーバ260と物理サーバ261との通信のバンド幅の消費を引起す。
LAN170を介した物理サーバ260と物理サーバ261との通信のバンド幅の消費が、LAN270を介したアプリケーション220〜225間の通信へ影響を及ぼさないようなLAN270の構成をとっていない場合は、IT負荷配置最適化マネージャ286は前記通信のバンド幅の消費を考慮する必要がある。
IT負荷配置最適化マネージャ286は、アプリケーション220〜225の稼動予約にもとづく将来の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)、もしくはアプリケーション220〜225の過去の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)にもとづく稼動予測による将来の稼動情報をベースに、物理サーバ260〜262上でアプリケーション220〜225の再配置の実施タイミングを定め、アプリケーション220〜225の性能劣化を引起すことなく情報処理システムの消費電力低減を実現するアプリケーション220〜225の再配置案を生成する。
そして、現在のアプリケーション220〜225の配置情報と再配置後のアプリケーション220〜225の配置情報、ならびに将来の稼動情報をもとに、アプリケーション220〜225の再配置処理の実施において情報処理システムが消費する電力と前記再配置実施タイミングから次の再配置実施タイミングまでの期間、アプリケーション220〜225の再配置を実施した場合の情報処理システムの消費電力を算出する。
加えて、現在のアプリケーション220〜225の配置情報と将来の稼動情報をもとに、アプリケーション220〜225の再配置を実施しない場合の情報処理システムの消費電力を算出する。
ここで、アプリケーション220〜225の再配置を実施した場合の情報処理システムの消費電力がアプリケーション220〜225の再配置を実施しない場合の情報処理システムの消費電力を下回る場合、IT負荷配置最適化マネージャ286は、タスクマネージャ282を介して、生成したアプリケーション220〜225の前記再配置案を前記再配置実施タイミングに実施することをスケジュールに予約する。
消費電力マネージャ285は冷却設備マネージャ281に対して現時点での情報処理システムの消費電力を定期的に送付すると同時に、IT負荷配置最適化マネージャ286が予約した再配置案とその実施スケジュール、並びにアプリケーション220〜225の稼動予約にもとづく将来の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)、もしくはアプリケーション220〜225の過去の稼動情報(例えばCPU使用率、メモリ使用量、ストレージアクセスバンド幅、ネットワークアクセスバンド幅)にもとづく稼動予測による将来の稼動情報をベースに、近い将来(例えば10分後)の情報処理システムの消費電力を算出し、冷却設備マネージャ281に対して定期的に送付する。
冷却設備マネージャ281は、冷却設備290〜292の温度センサ等を用いたフィードバック制御では、時間的遅延を引起すため、従来は、情報処理システムを構成するすべての機器が定格消費電力で動作した場合を前提として冷却設備290〜292の運転制御において、送風温度、送風量等に関してマージンを持った設定等を行うことで制御していた。
それに対して、上記現時点での情報処理システムの消費電力を定期的に受取ることにより、フィードバック制御の時間的遅延を解消することが可能になり、その結果冷却設備290〜292の運転制御において、送風温度、送風量等のマージンを小さく設定する等が可能になり、冷却設備290〜292の消費電力の低減が可能となる。
また、冷却設備マネージャ281が、冷却設備290〜292の送風温度の設定を行っても、その効果がフロアー全体にいきわたるまでに時間的遅延は免れず、冷却設備290〜292の運転制御において、送風温度、送風量等のマージンを持った設定等を行うことで対処していた。
それに対して、冷却設備マネージャ281は、近い将来(例えば10分後)の情報処理システムの消費電力情報を受け取ることにより、冷却設備290〜292を先行的に制御し、上記時間的遅延を解消することが可能となるため、冷却設備290〜292の運転制御において、送風温度、送風量等に関してマージンをさらに小さく設定する等が可能となり、冷却設備290〜292の消費電力の低減が可能となる。
以上に示したように、本実施例により、ネットワーク分散型OSにより、複数の物理サーバ260〜262上でのアプリケーション220〜225の実行環境を構築した情報処理システム、並びに冷却設備の消費電力の低減が可能になる。
図８、図９は、以上説明した各種の実施例における、複数の物理サーバ330〜337上でのアプリケーション実行環境を構築した情報処理システムの機器構成を模式的に示したものである。図８は、拠点が一つの場合、図９は拠点が二つの場合にそれぞれ対応する。
本情報処理システムは、物理サーバ330〜337、FC(Fibre Channel)スイッチ340〜341、ストレージ350〜351、スイッチ310〜311、スイッチ320〜323、ルータ300あるいはWAN400、並びに、前記IT設備連係最適化運用マネージャ180のうち前記LANマネージャ、前記SANマネージャ、前記仮想化マネージャが動作する統合管理サーバ361、365、前記IT負荷配置最適化マネージャ、消費電力マネージャが動作するIT負荷管理サーバ362、366、冷却設備マネージャが動作する冷却設備管理サーバ363、367によって構成される。
ここで、統合管理サーバ361、365、IT負荷管理サーバ362、366、冷却設備管理サーバ363、367は、図９に示すように、それぞれ処理部である中央処理部(Central Processing Unit、CPU)、記憶部であるメモリ、インターフェース(I/F)部、並びに入出力部などを有する通常のコンピュータである。このメモリ上には、LANマネージャ、SANマネージャ、仮想化マネージャ、あるいはIT負荷配置最適化マネージャ、消費電力マネージャ、冷却設備マネージャや、各種のテーブルが記憶され、ＣＰＵによりプログラム処理により、各テーブルを参照しながら、各マネージャとしての機能を実現する。
なお、前記IT設備連係最適化運用マネージャ180は、前記のように、これら３台のサーバにそれぞれのマネージャを配置する形で実装されている例を示したが、これ以外の、サーバの台数、並びにマネージャの配置形態をとることも可能であり、一台のサーバ、即ちコンピュータを用いて実現可能であることは言うまでもない。本明細書において、これらのサーバ装置を総称して、運用管理装置と呼ぶ場合がある。これらのサーバ機器は、直接、或いは管理ネット370を介して、物理的な通信回路371に接続される。
物理サーバ330〜337は、その上で仮想マシンやネットワーク分散型ＯＳを動作させることのできるサーバ機器である。物理サーバ330〜337の上で、例えば仮想マシンを動作させる方法としては、一般に「ハイパーバイザ」あるいは「仮想マシンモニタ」と呼ばれるソフトウェアを動作させる方法などがある。
統合管理サーバ361、365は、物理サーバ330〜337の管理インターフェースを通して、物理サーバ330〜337上で動作する仮想マシンを変更することができる。ルータ310〜311、スイッチ320〜323は、物理サーバ330〜337の上で動作する仮想マシンの間のトラフィック、並びに仮想マシンとWAN400やルータ300との間のトラフィックを仲介するネットワーク機器である。
以上説明した各種の実施例の情報処理システムでは、複数の顧客等、異なる属性のトラフィックが混在し、スイッチ320〜323等は、異なる属性毎のネットワークを仮想的に分割する仮想化機能(VLAN等)に対応することが求められる場合が多い。統合管理サーバ361上のLANマネージャは、スイッチ320〜323、物理サーバ330〜337の管理インターフェースを通して、仮想化機能(VLAN等)の設定を変更する。
ルータ300やWAN400は、各実施例が対象とする情報処理システムのネットワークとWAN等の広域のネットワークを介して別のネットワーク上の情報処理システムと接続するネットワーク機器である。統合管理サーバ361上のLANマネージャは、ルータ300の管理インターフェースを通して、仮想化機能(VLAN等)の設定を変更することができる。
FCスイッチ340〜341は、物理サーバ330〜337の上で動作する仮想マシンと、ストレージ350〜351の間のトラフィックを仲介するネットワーク機器である。
本実施例の情報処理システムでは、複数の顧客等、異なる属性のトラフィックが混在するため、FCスイッチ340〜341は、異なる属性のネットワークを仮想的に分割する仮想化機能(ゾーニングやVSAN等)に対応する必要がある。統合管理サーバ361上のSANマネージャは、FCスイッチ340〜341の管理インターフェースを通して、仮想化機能の設定を変更することができる。
ストレージ350〜351は、仮想マシンの利用するデータを格納する機器である。ストレージ350〜351は、仮想マシンに対してそのブート領域やデータ領域を提供する。統合管理サーバ361上のSANマネージャは、ストレージ350〜351の管理インターフェースを通して、仮想化機能(ゾーニングやVSAN等)の設定を変更することができる。
IT負荷配置最適化マネージャ186が、仮想マシンを物理サーバ上に再配置案を生成する際は、情報処理システムの機器構成データベースを活用するが、この機器構成データベースは、機器データ、資源データ、リンクデータ、仮想マシン資源予約データとで構成されており、図１０から図１３に示すようなテーブルとして保存されている。これらの各種のテーブルは、後で説明する最適化のための運用管理装置を構成する、各サーバ装置いずれかのメモリに記憶することができる。
図１０は、図８、９に示した情報処理システムの機器データの一例を示したものである。機器データは、情報処理システム上の機器を示すデータである。列「機器名」は、本情報処理システム上で機器を一意に識別するための機器名である。列「種別」は各機器の種別である。本実施例では、種別として「物理サーバ」、「スイッチ」、「ルータ」、「FCスイッチ」、「ストレージ」があるものとする。
図１１は、図８、９に示した情報処理システムの資源データの一例を示したものである。資源データは、機器データに設定された各機器が持つ資源を示すデータである。ここでいう資源は、物理サーバの「CPUコア数」、「CPU動作周波数」、「メモリ容量」、「NICバンド幅」、「HBAバンド幅」、スイッチの「NICバンド幅」、ルータの「NICバンド幅」、FCスイッチの「HBAバンド幅」、ストレージの「HBAバンド幅」を含む。また、ネットワーク機器が単位時間当たりに処理できるデータ量や、ネットワーク機器の各ポートの帯域もこの資源に含まれる。
列「機器名」は機器名、列「リソース種別」は資源の種別、列「リソース量」は、列「機器名」が示す機器の列「リソース種別」が示す種別の資源の量である。
図１２は、図８、９に示した情報処理システムのリンクデータの一例を示したものである。リンクデータは、機器データに設定された各機器の接続関係を示すデータである。列「機器名(接続元)」はリンクの一方にある機器の機器名で、列「機器名(接続先)」はリンクのもう一方にある機器の機器名である。
このリンクデータを参照することで、物理サーバ330と物理サーバ337とは、スイッチ320、スイッチ310、ルータ300、スイッチ311、スイッチ323を介して接続されていることが導き出せ、物理サーバ330上のアプリケーションと物理サーバ337上のアプリケーションとの通信には、これらの機器が介在することがわかる。
図１３は、図８、９に示した情報処理システム上に構築した仮想化環境上で動作する仮想マシン資源予約データの一例を示したものである。
仮想マシン資源予約データは、情報処理システム上で動作させる仮想マシンと各仮想マシンに対して保証する資源の量を時系列的に表したデータである。
列「仮想マシン」の列「リソース種別」に対して、列「T1〜T2」には時刻T1からT2に保証すべきリソース量を列「T2〜T3」には時刻T2からT3に保証すべきリソース量を列「T3〜T4」には時刻T3からT4に保証すべきリソース量を列「T4〜T5」には時刻T4からT5に保証すべきリソース量を列「T5〜T6」には時刻T5からT6に保証すべきリソース量を示している。
「リソース種別」の「CPU稼働率」は、当該仮想マシンが使用するCPU Core数と稼働率(百分率)を、「メモリ使用量」は、当該仮想マシンが使用するメモリ領域のサイズ(GB)を、「ネットワークアクセスバンド幅」と「ネットワークアクセス通信先」は、当該仮想マシンがネットワークを介して実施する通信の相手の仮想マシンとそのバンド幅(Gbps)を、「ストレージアクセスバンド幅」は、当該仮想マシンが実施するストレージへのアクセスのバンド幅(Gbps)を、それぞれ示している。
ここで、当該仮想マシンがネットワークを介して実施する通信の相手の仮想マシンが複数存在する場合は、それぞれに対して「ネットワークアクセスバンド幅」と「ネットワークアクセス通信先」とを指定するが、ここでは省略している。
また、当該仮想マシンがアクセスするストレージが複数存在する場合は、それぞれに対して「ストレージアクセスバンド幅」と「アクセス先ストレージ」とを指定するがここでは省略している。
IT負荷配置最適化マネージャは、前記機器データ、前記資源データ、前記リンクデータ、前記仮想マシン資源予約データをベースに時刻T1〜T2、時刻T2〜T3、時刻T3〜T4、時刻T4〜T5、時刻T5〜T6のそれぞれの時間帯での仮想マシンの再配置を生成する。
列「仮想マシン」の列「物理サーバ」に示したものは、IT負荷配置最適化マネージャが生成した結果である、各時間帯に各仮想マシンが配置される物理サーバである。
本実施例で示した仮想マシン予約資源データでは、仮想マシン「VM4」は、予約されたCPUコア数が8Coreであるため、8Core構成をとる物理サーバ333上でのみ実行が可能である。
仮想マシン「VM1」と「VM2」は、予約されたCPUコア数が4Coreであるため、4Core以上の構成をとる物理サーバ330、物理サーバ331、物理サーバ333上での実行が可能である。
仮想マシン「VM3」は、予約されたCPUコア数が2Coreであるため、2Core以上の構成をとる物理サーバ330、物理サーバ331、物理サーバ332、物理サーバ333上での実行が可能である。
時間帯T1〜T2では、仮想マシン「VM1」〜「VM4」全てのCPU稼働率が50%以上で、同一物理サーバ上に複数の当該仮想マシンを配置することは不可能となり、IT負荷配置最適化マネージャは、「VM1」を物理サーバ330に、「VM2」を物理サーバ331に、「VM3」を物理サーバ332に、「VM4」を物理サーバ333に、配置した。
時間帯T2〜T3では、仮想マシン「VM1」〜「VM4」のCPU稼働率の総和は80%、メモリ使用量の総和は12.4GB、ストレージアクセスバンド幅の総和は0.8Gbpsで、物理サーバ333の資源量以下であり、IT負荷配置最適化マネージャは、仮想マシン「VM1」〜「VM4」全てを物理サーバ333に配置し、物理サーバ330、物理サーバ331、物理サーバ332に配置される仮想マシンは存在しないため、省電力化を目的にこれらの物理サーバの電源を切る。
時間帯T3〜T4では、仮想マシン「VM1」〜「VM4」のCPU稼働率は全て20%であるが、メモリ使用量が「VM1」と「VM2」は7.0GB、「VM3」は3.0GB、「VM4」は10.0GBであることで、ひとつの物理サーバにいずれの仮想マシンを複数個配置することは不可能となり、IT負荷配置最適化マネージャは、「VM1」を物理サーバ330に、「VM2」を物理サーバ331に、「VM3」を物理サーバ332に、「VM4」を物理サーバ333に、配置した。
時間帯T4〜T5では、仮想マシン「VM1」と「VM2」のCPU稼働率は40%で、「VM2」のCPU稼働率は70%であり、IT負荷配置最適化マネージャは、「VM1」と「VM2」を物理サーバ330に、「VM3」を物理サーバ332に、「VM4」を物理サーバ333に、配置し、物理サーバ331に配置される仮想マシンは存在しないため、省電力化を目的にこれらの物理サーバの電源を切る。
時間帯T5〜T6では、CPU稼働率に関しては、仮想マシン「VM1」は40%、「VM2」は70%、「VM3」は20%であり、「VM2」を物理サーバ331へ配置、「VM1」と「VM3」を物理サーバ330へ配置、が可能と見えるが、仮想マシン「VM2」は「VM4」とネットワークを介して0.7Gbpsの通信を仮想マシン「VM3」は「VM4」とネットワークを介して0.7Gbpsの通信を予約しており、前記配置では、スイッチ320のNICバンド幅(1Gbps)を超えてしまうためIT負荷配置最適化マネージャは、「VM1」を物理サーバ330に、「VM2」を物理サーバ331に、「VM3」を物理サーバ332に、「VM4」を物理サーバ333に、配置した。
以上の様にして、IT負荷配置最適化マネージャは、情報処理システムの機器構成データベースを活用して、仮想マシンを物理サーバ上に配置案を生成し、その配置案を実行し、仮想マシンの配置されていない物理サーバの電源を切ることにより、情報処理システムの省電力化を実現している。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、それぞれの機能を実現するプログラムを実行することによりソフトウェアで実現する場合を例示して説明したが、各機能を実現するプログラム、テーブル、ファイル等の情報はメモリのみならず、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体におくことができるし、必要に応じてネットワーク等を介してダウンロード、インストールすることも可能である。
本実施の形態はサーバ、ストレージ、ネットワークなどの情報処理装置群と給電設備や冷却設備から成る情報処理システムにおける統合的な省電力運用管理に適用でき、特に情報処理基盤であるデータセンタに好適である。また、本実施の形態は情報処理システムの自律運用管理に用いられるほか、システム構築ツール、省エネルギー診断ツール、稼動監視ツール、運用管理者や設備管理者の補助ツールとして幅広い用途に適用できる。
さらに、本実施の形態は、一つの場所に配置された装置群と設備に対してだけではなく複数の場所に対しても適用でき、例えば複数階のデータセンタや大域的に離れたデータセンタでも有用であり、グリッドコンピューティングやクラウドコンピューティングなどのように情報処理装置と設備が散在する場合にも活用できる。また、本実施の形態は主に情報処理装置群と設備を対象とするが、電力またはエネルギーを消費する装置とそのための設備であれば本実施の形態を適用でき、例えば電気装置、機械装置、動力装置、熱装置などの運用や制御に対しても用途を発揮し、システム規模として電子部品群と電源または冷却器、情報処理モジュール群と電源ユニットや冷却ユニット、データセンタ群と発電所または立地を含めた冷却環境なども対象として省電力、省エネルギーに貢献し得る。
101〜108、350、351 ストレージ
110、116 SAN
120〜129、230〜233 仮想マシーン
130〜139 アプリケーション
140〜149 ＯＳ
150、151、152、156、157 ハイパーバイザ
160、161、162、166、167、330〜337 物理サーバ
170、176 LAN
180、187 IT設備連携最適化運用マネージャ
181 冷却設備マネージャ
182 仮想化マネージャ
183 LANマネージャ
184 SANマネージャ
185 消費電力マネージャ
186 IT負荷配置マネージャ
190、191、192、196、197、198 冷却設備
250、251、252 ネットワーク分散型ＯＳ
300、310〜311 ルータ
320〜323 スイッチ
340、341 ＦＣスイッチ
361、365 統合管理サーバ
362、366 IT負荷管理サーバ
363、367 冷却設備管理サーバ
370 管理ネット
371 通信回線

Claims (15)

  1. 複数種の情報処理装置が互いに接続された情報処理装置群と、当該情報処理装置群に対して冷却を行う冷却設備から成る情報処理システムの省電力制御方法であって、
    前記情報処理装置群上の作業負荷の稼動情報及び位置と前記冷却設備の環境情報及び位置とを配置情報とし、
    所定の契機で定められた一定期間における、前記情報処理装置群上で実行処理される各作業負荷の稼働情報を予測し、
    作業負荷毎に予測した前記稼働情報に基づいて、前記一定期間において、各作業負荷の稼働情報が割当てられる前記情報処理装置群における個々の性能を上回ることがないように前記情報処理装置群への仮作業負荷割当てを導出し、
    前記情報処理装置群へ前記仮作業負荷割当てにおける仮消費電力とその配置情報と、前記情報処理装置群へ前記仮作業負荷割当てに移行する処理における仮消費電力とその配置情報とを算出し、
    算出結果に基づき、前記冷却設備の制御を実行するための仮冷却電力を算出し、
    前記所定の契機にもとづく一定期間における、前記情報処理装置群の仮消費電力と前記冷却設備の仮冷却電力の総和が最も低減する前記情報処理装置群への最適仮作業負荷割当てを探索し、
    前記所定の契機で、探索した前記最適仮作業負荷割当てに基づいて、前記情報処理装置群へ作業負荷を割当て移行し、前記実作業負荷の割当て移行処理の実消費電力に対して前記冷却設備の制御を実行する
    ことを特徴とする情報処理システムの省電力制御方法。
  2. 請求項１記載の情報処理システムの省電力制御方法であって、
    前記一定期間に予定した作業負荷とその稼動情報に基づいて前記情報処理装置群へ仮作業負荷割当てを導出し、
    前記一定期間に予定した稼動情報に基づいて前記情報処理装置群へ仮作業負荷に対する仮消費電力を算出し、
    前記情報処理装置群へ実作業負荷を割当て移行する契機に先行して前記冷却設備の制御を実施する
    ことを特徴とする情報処理システムの省電力制御方法。
  3. 請求項２記載の情報処理システムの省電力制御方法であって、
    前記一定期間は、日次、週次、月次である
    ことを特徴とする情報処理システムの省電力制御方法。
  4. 請求項１記載の情報処理システムの省電力制御方法であって、
    前記稼動情報として、前記情報処理装置各々の演算処理部の使用率、メモリの使用率、ならびに接続のトポロジーに基づいたストレージのアクセスにおけるバンド幅の使用率、ネットワークのアクセスにおけるバンド幅の使用率を導入し、
    前記情報処理装置群の実許容量を超えることのないように、前記仮作業負荷を割当てる
    ことを特徴とする情報処理システムの省電力制御方法。
  5. 請求項１記載の情報処理システムの省電力制御方法であって、
    前記稼動情報として、前記情報処理装置が接続されたトポロジーに基づいたストレージへのアクセスにおけるレイテンシとネットワークへのアクセスにおけるレイテンシを導入し、
    あらかじめ定められたレイテンシの許容量を超えることのないように、前記仮作業負荷を割当てる
    ことを特徴とする情報処理システムの省電力制御方法。
  6. 請求項１記載の情報処理システムの省電力制御方法であって、
    前記情報処理装置群は、仮想化環境を構成して仮想化マネージャにより管理され、
    前記情報処理装置群への実作業負荷の割当ては、前記仮想化マネージャを介して前記情報処理装置群への複数の仮想装置の配置により行われる
    ことを特徴とする情報処理システムの省電力制御方法。
  7. 請求項１記載の情報処理システムの省電力制御方法であって、
    前記情報処理装置群は、ネットワーク分散型オペレーティングシステムにより管理され、
    前記情報処理装置群への実作業負荷の割当ては、前記ネットワーク分散型オペレーティングシステムにおける複数のプロセスの配置により行われる
    ことを特徴とする情報処理システムの省電力制御方法。
  8. 複数種の情報処理装置が互いに接続された情報処理装置群と、当該情報処理装置群に対して冷却を行う設備と、運用管理装置とから成る情報処理システムであって、
    前記運用管理装置は処理部と記憶部とを備え、
    前記記憶部は、前記情報処理装置群上の作業負荷の稼動情報及び位置と前記冷却設備の環境情報及び位置とを配置情報として記憶し、
    前記処理部は、
    一定期間における、前記情報処理装置群上で実行処理される各作業負荷の稼働情報を予測し、
    予測した前記稼働情報に基づいて、前記一定期間において、各作業負荷の稼働情報が割当てられる前記情報処理装置群における個々の性能を上回ることがないように前記情報処理装置群への仮作業負荷割当てを導出し、
    前記情報処理装置群へ前記仮作業負荷割当てにおける仮消費電力と配置情報と、前記情報処理装置群へ前記仮作業負荷割当てに移行する処理における仮消費電力と配置情報とを算出し、
    当該算出結果に基づいて前記設備の制御を実行するための仮冷却電力を算出し、
    前記一定期間における、前記情報処理装置群の仮消費電力と、前記設備の仮冷却電力の総和が低減する最適仮作業負荷割当てを探索し、
    所定の契機で、探索した前記最適仮作業負荷割当てに基づいて、前記情報処理装置群へ作業負荷を割当て移行し、前記作業負荷の割当て移行処理の実消費電力に対して前記設備の制御を実行する
    ことを特徴とする情報処理システム。
  9. 請求項８記載の情報処理システムであって、
    前記処理部は、
    前記一定期間に予定した作業負荷とその稼動情報に基づいて前記情報処理装置群へ仮作業負荷割当てを導出し、
    前記一定期間に予定した稼動情報に基づいて前記情報処理装置群へ仮作業負荷に対する仮消費電力を算出し、
    前記情報処理装置群へ実作業負荷を割当て移行する契機に先行して前記設備の制御を実施する
    ことを特徴とする情報処理システム。
  10. 請求項９記載の情報処理システムであって、
    前記一定期間が、日次、週次、或いは月次である
    ことを特徴とする情報処理システム。
  11. 請求項８記載の情報処理システムであって、
    前記処理部は、
    前記稼動情報として、前記情報処理装置各々の演算処理部の使用率、メモリの使用率、ならびに接続のトポロジーに基づいたストレージ及びネットワークのアクセスにおけるバンド幅の使用率を用い、前記情報処理装置群の実許容量を超えることのないように、前記仮作業負荷を割当てる
    ことを特徴とする情報処理システム。
  12. 請求項８記載の情報処理システムであって、
    前記処理部は、前記稼動情報として、前記情報処理装置が接続されたトポロジーに基づいたストレージへのアクセスにおけるレイテンシとネットワークへのアクセスにおけるレイテンシを導入し、あらかじめ定められたレイテンシの許容量を超えることのないように、前記仮作業負荷を割当てる
    ことを特徴とする情報処理システム。
  13. 請求項８記載の情報処理システムであって、
    前記運用管理装置は、前記情報処理装置群を仮想化マネージャにより管理し、
    前記情報処理装置群への実作業負荷の割当ては、前記仮想化マネージャを介して前記情報処理装置群への複数の仮想装置の配置により行う
    ことを特徴とする情報処理システム。
  14. 請求項８記載の情報処理システムであって、
    前記運用管理装置は、前記情報処理装置群をネットワーク分散型オペレーティングシステムにより管理し、
    前記情報処理装置群への実作業負荷の割当ては、前記ネットワーク分散型オペレーティングシステムにおける複数のプロセスの配置により行う
    ことを特徴とする情報処理システム。
  15. 複数種の情報処理装置が互いに接続された情報処理装置群と、当該情報処理装置群に対して温度制御を行う設備の運用管理を行う運用管理装置であって、
    処理部と記憶部とを備え、
    前記記憶部に、
    前記情報処理装置群上の作業負荷の稼動情報及び位置と前記設備の環境情報及び位置とを配置情報として記憶し、
    前記処理部は、
    一定期間における、前記情報処理装置群上で実行処理される各作業負荷の稼働情報を予測し、
    予測した前記稼働情報に基づいて、前記一定期間において、前記稼働情報が割当てられる前記情報処理装置群における個々の性能を上回ることがないように前記情報処理装置群への仮作業負荷割当てを導出し、
    前記仮作業負荷割当てにおける仮消費電力とその配置情報と、前記情報処理装置群へ前記仮作業負荷割当てに移行する処理における仮消費電力とその配置情報とを算出し、
    当該算出結果に基づき前記設備の制御を実行するための仮消費電力を算出し、
    前記一定期間における、前記情報処理装置群と前記設備の仮消費電力の総和が低減する前記情報処理装置群への最適仮作業負荷割当てを探索し、
    探索した前記最適仮作業負荷割当てに基づいて、前記情報処理装置群へ作業負荷を割当て移行し、前記実作業負荷の割当て移行処理の実消費電力に対して前記設備の制御を実行する
    ことを特徴とする運用管理装置。
JP2011235537A 2011-10-27 2011-10-27 情報処理システム、その省電力制御方法、及び装置 Active JP5785050B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011235537A JP5785050B2 (ja) 2011-10-27 2011-10-27 情報処理システム、その省電力制御方法、及び装置
US13/548,536 US9507392B2 (en) 2011-10-27 2012-07-13 Information processing system, and its power-saving control method and device
CN201210251189.2A CN103150003B (zh) 2011-10-27 2012-07-19 信息处理系统、该信息处理系统的节电控制方法和装置
EP12177310.5A EP2587339B1 (en) 2011-10-27 2012-07-20 Information processing system, and its power-saving control method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011235537A JP5785050B2 (ja) 2011-10-27 2011-10-27 情報処理システム、その省電力制御方法、及び装置

Publications (2)

Publication Number Publication Date
JP2013092951A true JP2013092951A (ja) 2013-05-16
JP5785050B2 JP5785050B2 (ja) 2015-09-24

Family

ID=46982363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011235537A Active JP5785050B2 (ja) 2011-10-27 2011-10-27 情報処理システム、その省電力制御方法、及び装置

Country Status (4)

Country Link
US (1) US9507392B2 (ja)
EP (1) EP2587339B1 (ja)
JP (1) JP5785050B2 (ja)
CN (1) CN103150003B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015021661A (ja) * 2013-07-18 2015-02-02 日本電信電話株式会社 空調制御方法および空調制御システム
JP2015215857A (ja) * 2014-05-13 2015-12-03 日本電信電話株式会社 仮想システムの稼働率管理方法、稼働率管理プログラム、および稼働率管理装置
CN105716145A (zh) * 2016-03-16 2016-06-29 上海上塔软件开发有限公司 一种电采暖群协同控制方法
JP2017135952A (ja) * 2016-01-29 2017-08-03 株式会社Ｎｔｔファシリティーズ 情報処理装置の制御装置、制御方法、および、プログラム
US10877789B2 (en) 2016-08-18 2020-12-29 Fujitsu Limited Migrating VMs based on electricity costs of a plurality of data centers and resource load index, and lifetime of a plurality of VMs
JP2021521520A (ja) * 2018-04-09 2021-08-26 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 仮想マシンをスケジュールするための方法およびシステム
WO2021229686A1 (ja) * 2020-05-12 2021-11-18 日本電信電話株式会社 制御装置、制御方法、及びプログラム
WO2022102085A1 (ja) * 2020-11-13 2022-05-19 日本電信電話株式会社 計算処理システム、計算処理方法および計算処理プログラム
WO2023105557A1 (ja) * 2021-12-06 2023-06-15 日本電信電話株式会社 電力量低減制御装置、電力量低減制御方法、電力量低減制御システム、および、プログラム
WO2023162067A1 (ja) * 2022-02-24 2023-08-31 日本電信電話株式会社 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013124957A1 (ja) * 2012-02-20 2013-08-29 富士通株式会社 電子計算機システム及び仮想マシン配置方法
KR102043276B1 (ko) * 2013-03-12 2019-11-12 삼성전자 주식회사 워크 로드에 따라 동적 자원 할당 가능한 상호 연결 패브릭 스위칭 장치 및 방법
US9454408B2 (en) * 2013-05-16 2016-09-27 International Business Machines Corporation Managing network utility of applications on cloud data centers
US9588555B2 (en) * 2013-08-22 2017-03-07 Globalfoundries Inc. Managing cooling operations in a parallel computer comprising a plurality of compute nodes
FR3010552B1 (fr) * 2013-09-10 2016-12-09 Commissariat Energie Atomique Gestion de la consommation energetique d'un parc de calculateurs
US20150081400A1 (en) * 2013-09-19 2015-03-19 Infosys Limited Watching ARM
US9632810B2 (en) * 2014-12-15 2017-04-25 International Business Machines Corporation Managing virtual machines according to network bandwidth
JP6405228B2 (ja) * 2014-12-24 2018-10-17 アズビル株式会社 空調制御システムおよび方法
JP6458619B2 (ja) * 2015-04-20 2019-01-30 富士通株式会社 電子装置及びその冷却方法
US9645842B2 (en) * 2015-04-28 2017-05-09 United States Of America As Represented By Secretary Of The Navy Cybernaut: a cloud-oriented energy-efficient intrusion-tolerant hypervisor
CN105045668A (zh) * 2015-07-28 2015-11-11 深圳市万普拉斯科技有限公司 运算资源的散热控制方法和运算控制系统
US10545777B2 (en) * 2016-11-08 2020-01-28 International Business Machines Corporation Generating a virtual machines relocation protocol
US10948954B2 (en) * 2018-08-28 2021-03-16 Intel Corporation Processor power optimization in terms of system cooling overhead
KR102062157B1 (ko) * 2019-04-29 2020-01-03 오케스트로 주식회사 가상 머신 배치 방법 및 이를 구현하는 가상 머신 배치 장치
US11073888B2 (en) * 2019-05-31 2021-07-27 Advanced Micro Devices, Inc. Platform power manager for rack level power and thermal constraints
CN112524746B (zh) * 2019-09-17 2021-11-26 青岛海尔空调电子有限公司 多联机空调系统中室外机均衡结霜的控制方法
CN116321999B (zh) * 2023-05-15 2023-08-01 广州豪特节能环保科技股份有限公司 一种云计算数据中心的空调智能调控方法、系统和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252056A (ja) * 2008-04-09 2009-10-29 Hitachi Ltd 情報処理システムの運用管理方法および運用管理装置
WO2011030469A1 (ja) * 2009-09-09 2011-03-17 株式会社日立製作所 情報処理システムの運用管理方法及び情報処理システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126968A (ja) 2002-10-03 2004-04-22 Fujitsu Ltd 並列計算機のジョブスケジューリング装置
US20070266388A1 (en) 2004-06-18 2007-11-15 Cluster Resources, Inc. System and method for providing advanced reservations in a compute environment
US7644148B2 (en) 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
US7461273B2 (en) 2005-05-16 2008-12-02 Hewlett-Packard Development Company, L.P. Power distribution among servers
JP4895266B2 (ja) 2005-12-28 2012-03-14 富士通株式会社 管理システム、管理プログラムおよび管理方法
KR20110007205A (ko) 2008-04-21 2011-01-21 어댑티브 컴퓨팅 엔터프라이즈 인코포레이티드 컴퓨트 환경에서 에너지 소비를 관리하기 위한 시스템 및 방법
US8032523B2 (en) * 2008-05-08 2011-10-04 International Business Machines Corporation Method and system for data migration
JP4922255B2 (ja) 2008-06-30 2012-04-25 株式会社日立製作所 情報処理システムおよびそのシステムにおける省電力制御方法
JP4751962B2 (ja) 2008-09-17 2011-08-17 株式会社日立製作所 情報処理システムの運用管理方法
JP5448403B2 (ja) 2008-09-29 2014-03-19 キヤノン株式会社 通信装置及びその制御方法、並びにコンピュータプログラム
JP4768082B2 (ja) 2008-10-30 2011-09-07 株式会社日立製作所 情報処理システムの運用管理装置
US8214829B2 (en) 2009-01-15 2012-07-03 International Business Machines Corporation Techniques for placing applications in heterogeneous virtualized systems while minimizing power and migration cost
US8873375B2 (en) 2009-07-22 2014-10-28 Broadcom Corporation Method and system for fault tolerance and resilience for virtualized machines in a network
JP5378946B2 (ja) 2009-10-26 2013-12-25 株式会社日立製作所 サーバ管理装置およびサーバ管理方法
US8539059B2 (en) * 2010-06-02 2013-09-17 Hewlett-Packard Development Company, L.P. Managing cooling devices and computing nodes in an infrastructure

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252056A (ja) * 2008-04-09 2009-10-29 Hitachi Ltd 情報処理システムの運用管理方法および運用管理装置
WO2011030469A1 (ja) * 2009-09-09 2011-03-17 株式会社日立製作所 情報処理システムの運用管理方法及び情報処理システム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015021661A (ja) * 2013-07-18 2015-02-02 日本電信電話株式会社 空調制御方法および空調制御システム
JP2015215857A (ja) * 2014-05-13 2015-12-03 日本電信電話株式会社 仮想システムの稼働率管理方法、稼働率管理プログラム、および稼働率管理装置
JP2017135952A (ja) * 2016-01-29 2017-08-03 株式会社Ｎｔｔファシリティーズ 情報処理装置の制御装置、制御方法、および、プログラム
CN105716145A (zh) * 2016-03-16 2016-06-29 上海上塔软件开发有限公司 一种电采暖群协同控制方法
US10877789B2 (en) 2016-08-18 2020-12-29 Fujitsu Limited Migrating VMs based on electricity costs of a plurality of data centers and resource load index, and lifetime of a plurality of VMs
US11782769B2 (en) 2018-04-09 2023-10-10 Alibaba Group Holding Limited Virtual machine scheduling method and system
JP2021521520A (ja) * 2018-04-09 2021-08-26 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 仮想マシンをスケジュールするための方法およびシステム
JP7366054B2 (ja) 2018-04-09 2023-10-20 アリババ・グループ・ホールディング・リミテッド 仮想マシンをスケジュールするための方法およびシステム
WO2021229686A1 (ja) * 2020-05-12 2021-11-18 日本電信電話株式会社 制御装置、制御方法、及びプログラム
JPWO2021229686A1 (ja) * 2020-05-12 2021-11-18
WO2022102085A1 (ja) * 2020-11-13 2022-05-19 日本電信電話株式会社 計算処理システム、計算処理方法および計算処理プログラム
JP7480860B2 (ja) 2020-11-13 2024-05-10 日本電信電話株式会社 計算処理システム、計算処理方法および計算処理プログラム
WO2023105557A1 (ja) * 2021-12-06 2023-06-15 日本電信電話株式会社 電力量低減制御装置、電力量低減制御方法、電力量低減制御システム、および、プログラム
WO2023162067A1 (ja) * 2022-02-24 2023-08-31 日本電信電話株式会社 電力量制御システム、電力量制御方法、電力量制御装置、および、プログラム

Also Published As

Publication number Publication date
CN103150003B (zh) 2016-03-30
CN103150003A (zh) 2013-06-12
EP2587339A3 (en) 2016-06-22
US20130111492A1 (en) 2013-05-02
EP2587339B1 (en) 2018-11-07
JP5785050B2 (ja) 2015-09-24
US9507392B2 (en) 2016-11-29
EP2587339A2 (en) 2013-05-01

Similar Documents

Publication Publication Date Title
JP5785050B2 (ja) 情報処理システム、その省電力制御方法、及び装置
JP5161277B2 (ja) 情報処理システムの運用管理方法
Hameed et al. A survey and taxonomy on energy efficient resource allocation techniques for cloud computing systems
Liu et al. Challenges towards elastic power management in internet data centers
Kaur et al. Energy efficiency techniques in cloud computing: A survey and taxonomy
JP5263800B2 (ja) 情報処理システムの運用管理方法及び情報処理システム
Akhter et al. Energy aware resource allocation of cloud data center: review and open issues
Pakbaznia et al. Temperature-aware dynamic resource provisioning in a power-optimized datacenter
JP4922255B2 (ja) 情報処理システムおよびそのシステムにおける省電力制御方法
Li et al. Holistic energy and failure aware workload scheduling in Cloud datacenters
JP4768082B2 (ja) 情報処理システムの運用管理装置
WO2019154739A1 (en) Method and system for controlling power consumption of a data center based on load allocation and temperature measurements
US20090132097A1 (en) Virtual cooling infrastructure
Xu et al. VMSAGE: a virtual machine scheduling algorithm based on the gravitational effect for green cloud computing
Xiao et al. A power and thermal-aware virtual machine management framework based on machine learning
Chaabouni et al. Energy management strategy in cloud computing: a perspective study
Sharma et al. On building next generation data centers: Energy flow in the information technology stack
Rani et al. A survey of thermal management in cloud data centre: techniques and open issues
Torrens et al. Integrated Energy Efficient Data Centre Management for Green Cloud Computing-The FP7 GENiC Project Experience
JP5422729B2 (ja) 情報処理システムの運用管理方法、運用管理プログラムおよび運用管理装置、ならびに情報処理システム
Mehrotra et al. A power-aware autonomic approach for performance management of scientific applications in a data center environment
Murugan et al. On the interconnect energy efficiency of high end computing systems
JP5165104B2 (ja) 情報処理システムおよびそのシステムにおける省電力制御方法
Hemanandhini et al. A Study on Various Techniques for Energy Conservation in Data Centers for Green Computing
Said et al. Towards a global energy management within a data center

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140709

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150723

R150 Certificate of patent or registration of utility model

Ref document number: 5785050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150