JP2011215812A - 仮想計算機管理方法、計算機システム及びリソース管理プログラム - Google Patents

仮想計算機管理方法、計算機システム及びリソース管理プログラム Download PDF

Info

Publication number
JP2011215812A
JP2011215812A JP2010082746A JP2010082746A JP2011215812A JP 2011215812 A JP2011215812 A JP 2011215812A JP 2010082746 A JP2010082746 A JP 2010082746A JP 2010082746 A JP2010082746 A JP 2010082746A JP 2011215812 A JP2011215812 A JP 2011215812A
Authority
JP
Japan
Prior art keywords
computer
business system
resource management
threads
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010082746A
Other languages
English (en)
Inventor
Tankyo Shu
丹嬌 朱
Taiki Najima
太樹 名島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2010082746A priority Critical patent/JP2011215812A/ja
Publication of JP2011215812A publication Critical patent/JP2011215812A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stored Programmes (AREA)

Abstract

【課題】物理サーバが備える各種リソースを考慮した仮想サーバへのリソース割り当てを実現する。
【解決手段】論理区画上に業務システムを稼働させ、業務システムを管理する仮想計算機制御部を備える計算機と、計算機の物理リソースを管理するリソース管理計算機とを備える計算機システムにおける仮想計算機管理方法であって、リソース管理計算機が、新規業務システムの生成要求を受信した場合に、リソース管理情報に基づいて業務システムに割り当てられていないリソースである空きリソースの量を算出するステップと、新規業務システムが処理できるスレッド数である処理可能スレッド数を算出するステップと、処理可能スレッド数が、業務システムが必要とするスレッド数以上であるか否かを判定するステップと、業務システムの配置を変更する再配置処理を実行するステップと、前記業務システムの設定情報を変更するステップと、を含む。
【選択図】図10

Description

本発明は、仮想化技術に関し、特に、物理サーバのリソースを仮想計算機に割り当てる方法、仮想計算機システム、及び物理サーバのリソース割り当てのプログラムに関する。
近年、仮想化技術の進展及びクラウドコンピューティングのようなコンピューティング・スタイルの浸透とともに、コスト削減を目的とした各部門の業務システムをデータセンタに集約する取組みが進んでいる。データセンタでは収益確保のために、ITリソース(以下、「リソース」と呼ぶ。)利用の効率化が強く求められている。
複数台の物理サーバが必要だった業務システムを1台の物理サーバ上で実行できるようにするために、1台の物理サーバ上で複数台分の仮想サーバを動作させ、各仮想サーバ上で業務システムを実行できるようにするサーバ仮想化技術が普及してきている。
前述したサーバ仮想化技術は、リソース要求の変化に柔軟に対応しながら、1台または複数台の物理サーバが備えるリソースを仮想サーバ上で効率よく割り当てることができる。
前述したような仮想化環境における業務システムの配置に関する技術は多く提案されている。例えば、物理CPUを複数備えた物理計算機を複数の論理区画に分割し、各論理区画上でそれぞれゲストOSを動作させて、各論理区画に対する物理計算機の資源の割り当てを制御する仮想化制御部を備えた仮想計算機システムがある(例えば、特許文献1参照)。
特許文献1に記載の仮想計算機システムでは、仮想化制御部が前記論理区画に対する操作指令を受け付ける。受け付けられた操作指令が、論理区画制御部から仮想CPUを削除する操作指令であるときには、当該仮想CPUを前記テーブルから削除した後に、当該テーブルを参照して当該仮想CPUを削除した第1の物理CPUに割り当てられた第2の仮想CPUが存在するか否かを判定する。仮想CPUを削除した第1の物理CPUに割り当てられた第2の仮想CPUが存在するときには、稼動状態検出部からCPUの稼働率を取得して、通常動作状態にある第2の物理CPUに割り当てられている仮想CPUの稼働率の和に、第2の仮想CPUの稼働率を加算した値が所定の閾値未満であれば、第2の仮想CPUを第2の物理CPUに再度割り当てる。
特開2009−140157号公報
しかし、特許文献1に記載の仮想計算機システムでは、リソースとしてCPUのみに着目して、仮想サーバの割当ての制御を行っているという問題がある。即ち、コンピュータの主要なリソースとしては、CPU以外にも種々のリソース(例えば、メモリ等)がある。したがって、適切なリソースを割り当てるためには、CPU以外のリソースも考慮する必要がある。
また、業務システムによって必要なCPU量とメモリ量との比率は異なるという問題がある。例えば、データセンタのように、複数の物理サーバを備える計算機システムにおいて特に問題となる。即ち、ある業務システムを立ち上げようとした場合に、当該複数のサーバを合わせた全体の空きリソース(CPUやメモリ等)としては、余裕があったとしても、業務システムを立ち上げることができないケースがある。
より具体的には、2台の物理サーバから構成される計算機システムにおいて、一方の物理サーバはメモリに余裕があるがCPUに余裕がなく、他方の物理サーバはCPUに余裕があってメモリに余裕がない場合、いずれの物理サーバ上にも業務システムを新たに構築することができない。
本発明は、仮想サーバへのリソース割当てにおいて、システム内の種々のリソースの組合せに着目し、業務システムの配置を最適化及びリソースの有効活用を行うことを目的とする。
本発明の代表的な一例を示せば以下の通りである。すなわち、物理リソースを論理的に分割することによって一以上の論理区画を生成し、前記生成された論理区画上に所定の業務を実行する業務システムを稼働させ、前記業務システムを管理する仮想計算機制御部を備える計算機と、前記計算機の物理リソースを管理するリソース管理計算機とを備える計算機システムにおける仮想計算機管理方法であって、前記計算機は、少なくとも、前記物理リソースとして第1のプロセッサと、前記第1のプロセッサに接続される第1のメモリとを備え、前記リソース管理計算機は、第2のプロセッサと、前記第2のプロセッサに接続される第2のメモリとを備え、前記第2のメモリには、前記計算機に対する物理リソースの割り当てを管理するリソース管理情報が格納され、前記方法は、前記リソース管理計算機が、新規業務システムの生成要求を受信した場合に、前記リソース管理情報に基づいて、前記各計算機の物理リソースのうち前記業務システムに割り当てられていないリソースである空きリソースの量を算出する第1のステップと、前記リソース管理計算機が、前記算出された空きリソースの量に基づいて、前記新規業務システムが処理できるスレッド数である処理可能スレッド数を算出する第2のステップと、前記リソース管理計算機が、前記算出された処理可能スレッド数が前記業務システムが必要とするスレッド数以上であるか否かを判定する第3のステップと、前記算出された処理可能スレッド数が、前記業務システムが必要とするスレッド数未満であると判定された場合に、前記リソース管理計算機が、前記計算機上で稼働する前記業務システムの配置を変更する再配置処理を実行する第4のステップと、前記リソース管理計算機が、前記各計算機において、前記業務システムの設定情報を変更する第5のステップと、を含むことを特徴とする。
本発明によれば、計算機の空きリソースに基づいて業務システムの配置を最適化し、計算機のリソースを有効に活用することができる。
本発明を適用した実施形態における計算機システムの構成を示すブロック図である。 本発明を適用した実施形態における業務計算機のハードウェア構成を説明するブロック図である。 本発明を適用した実施形態におけるリソース情報テーブルの一例を示す説明図である。 本発明を適用した実施形態における新規業務システムの要件テーブルの一例を示す説明図である。 本発明を適用した実施形態におけるリソース情報テーブルの更新例を示す説明図である。 本発明を適用した実施形態におけるリソース情報テーブルの更新例を示す説明図である。 本発明を適用した実施形態におけるリソース情報テーブルの更新例を示す説明図である。 本発明を適用した実施形態におけるパラメタ一覧の一例を示す説明図である。 本発明を適用した実施形態おけるパラメタ一覧の更新例を示す説明図である。 本発明を適用した実施形態おけるパラメタ一覧の更新例を示す説明図である。 本発明を適用した実施形態における全体の処理の流れを説明するフローチャートである。 本発明を適用した実施形態におけるスレッド数の算出処理を説明するフローチャートである。 本発明を適用した実施形態における既存の業務システムの再配置処理及び空きリソースの算出処理を説明するフローチャートである。 本発明を適用した実施形態における設定値の変更反映処理を説明するフローチャートである。
以下、本発明を適用した計算機システムの一実施形態を図面を用いて詳細に説明する。
図1は、本発明を適用した実施形態における計算機システムの構成を示すブロック図である。
計算機システムは、リソース管理計算機100及び業務計算機群300から構成され、リソース管理計算機100と業務計算機群300とは互いに、ネットワーク150を介して通信可能に接続される。
図1に示すように、リソース管理計算機100は、CPU120、DISK130、メモリ110を備える。
CPU120は、メモリ110上に格納されたプログラムを実行する。
メモリ110は、CPU120によって実行されるプログラム及び当該プログラムを実行するために必要となる情報を格納する。メモリ110は、リソース管理部1110、設定値設計・反映部1120及びリソース管理テーブル1130を格納する。
リソース管理部1110は、業務計算機群300におけるリソースを管理する。設定値設計・反映部1120は、業務計算機群300に含まれる業務計算機に設定する各種パラメタを管理する。リソース管理テーブル1130は、業務計算機群300におけるリソースの情報を格納する。なお、リソース管理テーブル1130の詳細は、図5、図6、図7、図8、図9A及び図9Bを用いて後述する。
業務計算機群300は、複数の業務計算機1(310−1)、業務計算機2(310−2)及び業務計算機3(310−3)を備える。業務計算機群300は、例えば、データセンタなどが考えられる。以下、業務計算機1(310−1)、業務計算機2(310−2)及び業務計算機3(310−3)を区別しない場合、業務計算機310と記載する。
業務計算機310は、図2に示すようなハードウェア構成の計算機である。
図2は、本発明を適用した実施形態における業務計算機310のハードウェア構成を説明するブロック図である。
業務計算機310は、ハードウェアリソース3110として、CPU3111及びメモリ3112を備える。なお、図示しないが、ハードウェアリソース3110には、ネットワークインタフェース、I/Oデバイス等が含まれてもよい。
CPU3111は、メモリ3112に格納されたプログラムを実行する。メモリ3112は、CPU3111によって実行されるとプログラム及び当該プログラムを実行するために必要となる情報を格納する。なお、メモリ311には業務システムを構築するためのプログラム(図示省略)が格納される。
図1の説明に戻る。
業務計算機1(310−1)、業務計算機2(310−2)及び業務計算機3(310−3)上にはそれぞれ、所定の業務を対応する業務システムが稼働する。図1に示す例では、業務計算機1(310−1)上には業務システムA3101と業務システムB3102が、業務計算機2(310−2)上には業務システムC3201が、業務計算機3(310−3)には業務システムD3301が稼働する。
以下、リソース管理テーブル1130について説明する。
リソース管理テーブル1130は、リソース情報テーブル200(図3参照)、新規業務システムの要件テーブル400(図4参照)及びパラメタ一覧800(図8参照)を含む。
図3は、本発明を適用した実施形態におけるリソース情報テーブル200の一例を示す説明図である。
リソース情報テーブル200は、業務計算機201、業務計算機情報、既存業務システム情報、空き情報及び比率の比215を含む。
業務計算機201は、業務計算機群300内の各業務計算機310を一意に識別するための識別子である。業務計算機310を識別するための識別子は、例えば、業務計算機310の名称などが考えられる。
業務計算機情報は、各業務計算機310のリソース情報を格納するカラム群であり、CPU202、メモリ203及び計算機CPU/メモリ比率204を含む。
CPU202は、業務計算機310が備えるCPU3111のコア数である。本実施形態では単位はコアである。
メモリ203は、業務計算機310が備えるメモリ3112の容量である。本実施形態では単位はGBである。
計算機CPU/メモリ比率204は、業務計算機310におけるCPU3111のコア数とメモリ3112の容量との比率である。具体的には、CPU202をメモリ203で除算することによって算出される値である。
既存業務システム情報は、業務計算機310上で実行される業務システムの情報を格納するカラム群であり、業務システム205、1スレッド使用CPU206、1スレッド使用メモリ207、業務システムCPU/メモリ比率208及びスレッド数209を含む。
システム205は、業務計算機310上で実行される業務システムを識別するための識別子である。業務システムを識別するための識別子は、例えば、業務システムの名称が考えられる。
1スレッド使用CPU206は、業務システムが1スレッドあたりに使用するCPUのコア数である。本実施形態では単位はコアである。
1スレッド使用メモリ207は、業務システムが1スレッドあたりに使用するメモリの容量である。本実施形態では単位はGBである。
業務システムCPU/メモリ比率208は、業務システムが1スレッドあたりに使用するCPUのコア数とメモリの容量との比率である。具体的には、1スレッド使用CPU206を1スレッド使用メモリ207で除算することによって算出される値である。
スレッド数209は、業務システムが必要な全スレッド数である。
空き情報は、業務計算機310の空きリソースの情報を格納するカラム群であり、空きCPU210、空きメモリ211及び空きリソースの処理できるスレッドを含む。
空きCPU210は、業務計算機310の使用されていないCPU3111のコア数である。本実施形態では単位はコアである。
空きメモリ211は、業務計算機310の使用されていないメモリ3112の容量である。本実施形態では単位はGBである。
空きリソースの処理できるスレッドは、各リソースに着目した場合のスレッド数であり、CPU観点212、メモリ観点213及び結果214を含む。
CPU観点212は、業務計算機310の使用されていないCPU3111のコア数に基づいて算出されるスレッド数である。即ち、空きCPU210のみに着目した場合のスレッド数である。
メモリ観点213は、業務計算機310の使用されていないメモリ3112の容量に基づいて算出されるスレッド数である。即ち、空きメモリ311のみに着目した場合のスレッド数である。
結果214は、業務計算機310が備える全リソースを考慮した場合における、当該業務計算機310が処理可能なスレッド数である。具体的には、CPU観点212とメモリ観点213とのうち小さい方の値が結果214に格納される。例えば、CPU観点212が「10」で、メモリ観点213が「1」の場合、結果214には「1」が格納される。
比率の比215は、業務システムCPU/メモリ比率208と計算機CPU/メモリ比率204との比である。具体的には、業務システムCPU/メモリ比率208を計算機CPU/メモリ比率204で除算することによって算出される値である。比率の比215は、業務計算機310において使用されているリソースの偏りを示す値である。
また、合計216は、業務計算機群300における全スレッド数である。
なお、図3に示す例では、既存の業務システムが実行されている状態のリソース情報テーブル200を表す。
図4は、本発明を適用した実施形態における新規業務システムの要件テーブル400の一例を示す説明図である。
新規業務システムの要件テーブル400は、業務計算機群300において新たに業務システム(以下、新規業務システムと呼ぶ。)を構築する場合に必要となる情報を格納するテーブルである。
新規業務システムの要件テーブル400は、1スレッド使用CPU401、1スレッド使用メモリ402及びスレッド数403を含む。
1スレッド使用CPU401は、新業務システムが1スレッドあたりに使用するCPUのコア数である。
1スレッド使用メモリ402は、新業務システムが1スレッドあたりに使用するメモリの容量である。
スレッド数303は、新業務システムが必要な全スレッド数である。
リソース管理計算機100は、1スレッド使用CPU401及び1スレッド使用メモリ402と、図3の空きCPU210及び空きメモリ211とを用いて、空きリソースが処理できるスレッドを算出し、算出された結果をリソース情報テーブル200に格納する。
図5は、本発明を適用した実施形態におけるリソース情報テーブル200の更新例を示す説明図である。
図5に示す例では、リソース管理計算機100によって算出された空きリソースが処理できるスレッドに関する情報が、リソース情報テーブル200に格納された一例を示す。
図5では、CPU観点212、メモリ観点213及び結果214に新たな情報が格納される。また、合計216に新たな情報が格納される。なお、合計216には、各業務計算機の結果214の合計値が格納される。
詳細は後述するが、CPU観点212には、空きCPU210と1スレッド使用CPU401とを用いて算出された値が格納され、メモリ観点213には、空きメモリ211と1スレッド使用メモリ402とを用いて算出された値が格納される。
図6は、本発明を適用した実施形態におけるリソース情報テーブル200の更新例を示す説明図である。
図6に示す例では、リソース管理計算機100によって算出された比率の比215が新たに格納された一例を示す。
リソース管理計算機100は、比率の比215の値が「1」以上である場合、業務計算機310上で稼働する業務システムに対して、業務計算機310のメモリ3112に余裕があるがCPU3111に余裕がないと判定する。また、リソース管理計算機100は、比率の比215の値が「1」以下である場合、業務計算機310上で稼働する業務システムに対して、業務計算機310のCPU3111に余裕があるがメモリ3112に余裕がないと判定する。
リソース管理計算機100は、比率の比215に基づいて、使用されるリソースに偏りが生じている業務計算機310を選択することによって再配置する業務計算機310を決定する。
図7は、本発明を適用した実施形態におけるリソース情報テーブル200の更新例を示す説明図である。
図7に示す例では、リソース管理計算機100によって業務システムが再配置された後のリソース情報テーブル200を示す。
図7に示すように、業務システムが再配置されたことによって、業務計算機201が「1」及び「2」である業務計算機310上では、それぞれ、業務システム205が「a」及び「b」である2つの業務システムが稼働する。
また、業務システムが再配置されたことによって、業務計算機201が「1」及び「2」である業務計算機310の1スレッド使用CPU206、1スレッド使用メモリ207、業務システムCPU/メモリ比率208、スレッド数209、空きCPU210、空きメモリ211、CPU観点212、メモリ観点213及び結果214が更新される。
図8は、本発明を適用した実施形態におけるパラメタ一覧800の一例を示す説明図である。
パラメタ一覧800は、業務システムについての各パラメタ情報を格納する。ここでは、業務システム205が「a」及び「b」である業務システムを例に説明する。以下、業務システム205が「a」の業務システムを業務システムaと呼び、業務システム205が「b」の業務システムを業務システムbと呼ぶ。
まず、パラメタ一覧800の各項目について説明する。
業務計算機851は、業務計算機201と同一のものである。業務システム852は、業務システム205と同一のものである。
要件項目853は、パラメタの種別を表す。項目名854は、各パラメタによって設定される情報の内容を表す。
キー855は、実際のパラメタを表す文字列である。設定値856は、キー855に対応するパラメタに設定される値である。
本実施形態では、チューニング用パラメタとその他のパラメタの2種類のパラメタがある。ここで、チューニング用パラメタとは、スレッド数及び業務計算機310の台数の変更に応じて、値を変更する必要があるパラメタである。その他のパラメタは、スレッド数及び業務計算機310の台数が変更されても、変更する必要のないパラメタである。
図8に示す例では、カラム801〜805及びカラム810〜814はチューニング用パラメタであり、また、カラム806〜808及びカラム815〜817はその他のパラメタである。
図9A及び図9Bは、本発明を適用した実施形態おけるパラメタ一覧800の更新例を示す説明図である。
なお、リソース管理テーブル1130は、図9A及び図9Bを一つのパラメタ一覧800として保持する。
図9A及び図9Bに示す例では、業務計算機201が「1」及び「2」の業務計算機310に業務システムa及び業務システムbが再配置された後のパラメタ一覧800を示す。
1つの業務計算機310に2つの業務システムが再配置されたことによって、チューニング用パラメタ(カラム801〜805及びカラム810〜814)の値が変更される。
具体的には、スレッド数を変更することによって、チューニング用パラメタであるカラム802、811(サーバ接続用コネクションキャッシュサイズ)、カラム803、812(Webサーバの最大同時接続数)、カラム804、813(DBサーバ接続用コネクションプールサイズ)が変更される。また、カラム805、814(サーバID)は業務計算機310の台数に依存し、変更される。
以下、本発明を適用した実施形態における処理についてフローチャートを用いて説明する。
図10は、本発明を適用した実施形態における全体の処理の流れを説明するフローチャートである。
リソース管理計算機100は、新規業務システムを構築するための要求を受信した場合、以下の処理を開始する。なお、当該要求には新規業務システムを構築するために必要な情報が含まれ、当該情報が新規業務システムの要件テーブル400に格納される。また、このときのリソース情報テーブル200は、図3に示すような状態である。また、当該要求には新規業務システムを構築するためのパラメタが含まれ、当該パラメタはパラメタ一覧800に格納される。
まず、リソース管理部1110は、リソース管理テーブル1130のリソース情報テーブル200を参照し、新規業務システムに対して、各業務計算機310の空きリソースが処理できるスレッド数の総和を算出する(ステップ1001)。スレッド数の算出処理については、図11を用いて詳述する。
なお、ステップ1001におけるリソース情報テーブル200は、図5に示すような状態である。
次に、リソース管理部1110は、算出された各業務計算機310の空きリソースによって処理できるスレッド数の総和が、新規業務システムが必要とする要求スレッド数以上であるか否かを判定する(ステップ1002)。即ち、業務計算機群300全体として、新規業務システムを構築するために必要な空きリソースがあるか否かが判定される。
具体的には、リソース管理部1110は、リソース情報テーブル200の合計216の値が新規業務システムの要件テーブル400のスレッド数403の値以上であるか否かを判定する。
各業務計算機310の空きリソースによって処理できるスレッド数の総和が、新規業務システムが必要とする要求スレッド数以上であると判定された場合、リソース管理部1110は、ステップ1006に進む。
各業務計算機310の空きリソースによって処理できるスレッド数の総和が、新規業務システムが必要とする要求スレッド数未満であると判定された場合、リソース管理部1110は、既存の業務システムの再配置を実行し、再度、各業務計算機310の空きリソースを算出する(ステップ1003)。既存の業務システムの再配置処理及び空きリソースの算出処理については、図12を用いて詳述する。
リソース管理部1110は、算出された空きリソースに基づいて、新規業務システムに対して、各業務計算機310の空きリソースが処理できるスレッド数を再度算出する(ステップ1004)。なお、当該スレッド数の算出処理は、ステップ1001と同一のものである。
なお、ステップ1004におけるリソース情報テーブル200は、図7に示すような状態である。
リソース管理部1110は、算出された、各業務計算機310の空きリソースによって処理できるスレッド数の総和が、新規業務システムが必要とする要求スレッド数以上であるか否かを判定する(ステップ1005)。当該判定は、ステップ1002と同一である。
各業務計算機310の空きリソースによって処理できるスレッド数の総和が、新規業務システムが必要とする要求スレッド数未満であると判定された場合(ステップ1005:No)、リソース管理部1110は、新規業務システムの構築ができない旨をオペレータに通知し(ステップ1007)、処理を終了する。
各業務計算機の空きリソースによって処理できるスレッド数の総和が、新規業務システムが必要とする要求スレッド数以上であると判定された場合(ステップ1005:Yes)、設定値設計・反映部1120は、各業務計算機310に割り当てられる新業務システムのスレッド数に基づいて、新規業務システムのパラメタ値の変更を反映し(ステップ1006)、処理を終了する。パラメタの変更反映処理については、図13を用いて詳述する。
図11は、本発明を適用した実施形態におけるスレッド数の算出処理を説明するフローチャートである。
当該処理は業務計算機310の数だけ、繰り返し実行される。
まず、リソース管理部1110は、業務計算機310の空きリソースが処理できるスレッド数を算出する(ステップ1102)。具体的には、CPU観点212、メモリ観点213及び結果214が以下のように算出される。
リソース管理部1110は、リソース情報テーブル200の空きCPU210及び新規業務システムの要件テーブル400の1スレッド使用CPU401を参照し、CPU観点212を式(1)を用いて算出する。
(数1)CPU_空 ÷ CPU_new = T_CPU …(1)
ここで、「CPU_空」は空きCPU210を表し、「CPU_new」は1スレッド使用CPU401を表し、「T_CPU」はCPU観点212を表す。
また、リソース管理部1110は、リソース情報テーブル200の空きメモリ211及び新規業務システムの要件テーブル400の1スレッド使用メモリ402を参照し、メモリ観点213を式(2)を用いて算出する。
(数2)MEM_空 ÷ MEM_new = T_MEMORY …(2)
ここで、「MEM_空」は空きメモリ211を表し、「MEM_new」は1スレッド使用メモリ402を表し、「T_MEMORY」はメモリ観点213を表す。
さらに、リソース管理部1110は、算出されたCPU観点212とメモリ観点213とに基づいて、結果214を式(3)を用いて算出する。
(数3)T = min(T_CPU、T_MEMORY) …(3)
ここで、「T」は結果214を表し、「T_CPU」はCPU観点212を表し、「T_MEMORY」はメモリ観点213を表す。
式(3)に示すように、結果214は、CPU観点212とメモリ観点213のうち、小さいほうの値となる。
リソース管理部1110は、式(1)〜(3)を用いて算出された値に基づいて、リソース情報テーブル200を更新する(ステップ1103)。具体的には、リソース管理部1110は、式(1)〜(3)を用いて算出されたCPU観点212、メモリ観点213及び結果214をリソース情報テーブル200に格納する。
全ての業務計算機について、ステップ1102及びステップ1103の処理が終了した場合、リソース管理部1110は、空きリソースの処理できるスレッド数の総和を算出し(ステップ1105)、処理を終了する。
具体的には、リソース管理部1110は、各業務計算機における結果214を足し合わせることによって空きリソースの処理できるスレッド数の総和を算出し、算出された値を合計216に格納する。
以上の処理によって、リソース情報テーブル200は、図3に示す状態から図5に示す状態に更新される。
図12は、本発明を適用した実施形態における既存の業務システムの再配置処理及び空きリソースの算出処理を説明するフローチャートである。
まず、リソース管理部1110は、リソース情報テーブル200を参照し、業務システムCPU/メモリ比率208が計算機CPU/メモリ比率204より小さい業務システムがあるか否かを判定する(ステップ1201)。つまり、CPUに余裕があるがメモリに余裕がない業務計算機があるか否かが判定される。
具体的には、リソース管理部1110は、計算機CPU/メモリ比率204及び業務システムCPU/メモリ比率208を用いて、比率の比215を算出し、比率の比215が「1」以下の業務システムが存在するか否かを判定する。
業務システムCPU/メモリ比率208が計算機CPU/メモリ比率204より小さい業務システムがないと判定された場合、リソース管理部1110は、すべての業務計算機310のメモリ3112に余裕がなく、再配置を行っても空きリソースの増加が期待できないため、再配置不可の旨を通知し(ステップ1206)、処理を終了する。
業務システムCPU/メモリ比率208が計算機CPU/メモリ比率204より小さい業務システムがあると判定された場合、リソース管理部1110は、比率の比215が「1」以下の業務システムのうち、当該比率の比215が一番小さい業務システム(以下、最小業務システムと呼ぶ。)を選択する(ステップ1202)。
次に、リソース管理部1110は、リソース情報テーブル200を参照し、業務システムCPU/メモリ比率208が計算機CPU/メモリ比率204より大きい業務システムがあるか否かを判定する(ステップ1203)。つまり、メモリ3112に余裕があるがCPU3111に余裕がない業務計算機310があるか否かが判定される。
具体的には、リソース管理部1110は、計算機CPU/メモリ比率204及び業務システムCPU/メモリ比率208を用いて、比率の比215を算出し、比率の比215が「1」より大きい業務システムが存在するか否かを判定する。
業務システムCPU/メモリ比率208が計算機CPU/メモリ比率204より大きい業務システムがないと判定された場合、リソース管理部1110は、すべての業務計算機310のCPU3111に余裕がなく、再配置を行っても空きリソースの増加が期待できないため、再配置不可の旨を通知し(ステップ1206)、処理を終了する。
業務システムCPU/メモリ比率208が計算機CPU/メモリ比率204より大きい業務システムがあると判定された場合、リソース管理部1110は、比率の比215が「1」より大きい業務システムのうち、当該比率の比215が一番大きい業務システム(以下、最大業務システムと呼ぶ。)を選択する(ステップ1204)。即ち、リソース毎に、使用するリソースの偏りが大きい業務システムの組を選択することによって、最適な業務システムの再配置が実現できることとなる。
次に、リソース管理部1110は、業務計算機310のリソースが最大限に利用可能となるように、即ち、CPU及びメモリが全て使用されるように、最大業務システムと最小業務システムとを組み合わせることによって再配置するように、再配置するための空きリソースを算出する(ステップ1205)。その後、リソース管理部1110は処理を終了する。
具体的には、以下のように空きリソースが算出される。
リソース管理部1110は、最大業務システムと最小業務システムとを選択した後、既存の業務システムの再配置を実行する。
再配置処理では、最大業務システムが稼働する業務計算機310と最小業務システムが稼働する業務計算機310のうち、いずれか一台の業務計算機310のリソース(CPU及びメモリ)を使い切るような配置に変更される。
再配置の算出には式(4)及び式(5)が用いられる。
(数4)CPU_a×x + CPU_b×y = CPU_1 …(4)
(数5)MEM_a×x + MEM_b×y = MEM_1 …(5)
ここで、「CPU_a」は最小業務システムの1スレッド使用CPU206を表し、「x」は業務計算機310において処理される最小業務システムのスレッド数209を表す。「CPU_1」は業務計算機のCPU202を表す。「CPU_b」は最大業務システムの1スレッド使用CPU206を表し、「y」は業務計算機310において処理される最大業務システムのスレッド数209である。
また、「MEM_a」は最小業務システムの1スレッド使用メモリ207を表し、「x」は業務計算機310において処理される最小業務システムのスレッド数209を表す。「MEM_1」は業務計算機のメモリ203を表す。「MEM_b」は最大業務システムの1スレッド使用メモリ207を表し、「y」は業務計算機310において処理される業務システムのスレッド数209を表す。
ここで、CPU_a、CPU_b、CPU_1、MEM_a、MEM_b及びMEM_1は定数であるため、リソース管理部1110は、式(4)及び式(5)を用いてx、yを算出できる。
例えば、図6に示す例では、最小業務システムは業務システム205が「a」の業務システムであり、最大業務システムは業務システム205が「b」の業務システムである。
この場合、業務計算機201が「1」の業務計算機において、「CPU_a」は「0.1」、「CPU_b」は「0.2」、「CPU_1」は「10」、「MEM_a」は「0.3」、「MEM_b」は「0.1」及び「MEM_1」は「10」であるため、「x」は「20」と算出され、「y」は「40」と算出される。
算出されたx及びyに基づいて再配置が実行されることによって、再配置を行った2台の業務計算機310のうち、1台の業務計算機310のリソース(CPU及びメモリ)を使い切るような配置に変更できる。これによって、もう一台の業務計算機310の空きリソースを確保することができる。
次に、リソース管理部1110は、確保された空きリソース量を式(6)及び式(7)を用いて算出する。
(数6)CPU_2 − CPU_a×(m-x) + CPU_b×(n-y) = CPU_2空 …(6)
(数7)MEM_2 − MEM_a×(m-x) + MEM_b×(n-y) = MEM_2空 …(7)
ここで、「CPU_a」は最小業務システムの1スレッド使用CPU206を表し、「x」は業務計算機310において処理される最小業務システムのスレッド数209を表す。「CPU_2」は再配置実行前の業務計算機のCPU202を表す。「CPU_b」は最大業務システムの1スレッド使用CPU206を表し、「y」は業務計算機310において処理される最大業務システムのスレッド数209を表す。「m」は最小業務システムが必要とする全スレッド数を表し、「n」は最大業務システムが必要とする全スレッド数を表す。「CPU_2空」は再配置実行後の業務計算機310の空きCPU210を表す。
また、「MEM_a」は最小業務システムの1スレッド使用メモリ207を表し、「x」は業務計算機310におけて処理される最小業務システムのスレッド数209を表す。「MEM_2」は再配置実行前の業務計算機310のメモリ203を表す。「MEM_b」は最大業務システムの1スレッド使用メモリ207を表し、「y」は業務計算機において処理される最大業務システムのスレッド数209を表す。「MEM_2空」は再配置実行後の業務計算機310の空きメモリ211である。
ここで、CPU_a、CPU_b、CPU_1、MEM_a、MEM_b及びMEM_1は定数であり、またx、yは式(4)及び式(5)より算出できるため、CPU_2空、MEM_2空を算出できる。
さらに、リソース管理部1110は、算出されたCPU_2空(空きCPU210)及びMEM_2空(空きメモリ211)を用いて、CPU観点212、メモリ観点213及び結果214を算出する。
なお、ステップ1202及びステップ1204において、比率の比215が同一の業務システムが2以上ある場合、業務計算機201の番号が若いものから選択する方法が考えられる。また、CPU202の値又はメモリ203の値が大きいものから選択する方法も考えられる。
図13は、本発明を適用した実施形態におけるパラメタ値の変更反映処理を説明するフローチャートである。
リソース管理部1110は、パラメタ一覧800から再配置される業務システムのパラメタ(設定値)を取得する(ステップ1301)。チューニング前では、図8に示すようなパラメタ一覧である。
次に、設定値設計・反映部1120は、各業務計算機に設定されるスレッド数に応じて、パラメタ(設定値)をチューニングする(ステップ1302)。チューニング後では、図9A及び図9Bに示すようなパラメタ一覧800である。
以下、パラメタの変更方法について説明する。
例えば、図8、図9A及び図9Bに示すように、業務システム852が「a」である業務システムaを業務計算機851が「1」である業務計算機310において「33スレッド」を処理する構成から、業務計算機851が「1」の業務計算機において「20スレッド」を処理し、業務計算機851が「2」の業務計算機において「13スレッド」を処理する構成になるように、業務システムを再配置する必要がある。
また、業務システム852が「b」である業務システムbを業務計算機851が「2」である業務計算機において「50スレッド」を処理する構成から、業務計算機851が「1」である業務計算機において「40スレッド」を処理し、業務計算機851が「2」である業務計算機において「10スレッド」を処理する構成になるように、システムを再配置する必要がある。
このとき、スレッド数が変更されることによって、チューニング用パラメタのサーバ接続用コネクションキャッシュサイズ(カラム802、カラム811)、Webサーバの最大同時接続数(カラム803、カラム812)、及びDBサーバ接続用コネクションプールサイズ(カラム804、カラム813)を変更する必要がある。ここで、チューニング用パラメタとスレッド数との依存関連を式(8)〜(10)に示す。
またサーバID(カラム805、カラム814)は業務計算機の台数に依存する。業務計算機の台数が1台のみの場合、サーバIDが「1」と設定され、業務計算機の台数が2台ある場合、1台目の業務計算機のサーバIDが「1」と設定され、2台目の業務計算機のサーバIDが「2」と設定される。
(数8)サーバ接続用コネクションキャッシュサイズ=スレッド数+実行待ちキューサイズ …(8)
(数9)Webサーバの最大同時接続数 =スレッド数+1秒当たりのリクエスト数×3+実行待ちキューサイズ+HTTPステータスコード503応答用スレッド …(9)
(数10)DBサーバ接続用コネクションプールサイズ =スレッド数 …(10)
ここで、実行待ちキューサイズ、1秒当たりのリクエスト数、及びHTTPステータスコード503応答用スレッドは既知の値である。
次に、リソース管理部1110は、パラメタ一覧800から新規業務システムのパラメタを取得する(ステップ1303)。
設定値設計・反映部1120は、各業務計算機に設定されるスレッド数に応じて、パラメタをチューニングする(ステップ1304)。
設定値設計・反映部1120は、変更されたパラメタを各業務システムに反映し(ステップ1305)、処理を終了する。
また、ステップ1304、1305の新規業務システムの配置において、前述した処理を実行することによって、パラメタを求めることが可能である。
設定値設計・反映部1120は、パラメタを求めた後、当該パラメタに基づいて定義ファイルを生成し、DISK130に保存する。その後、設定値設計・反映部1120は、業務システムを停止させ、生成された新しい定義ファイルを使用し、業務システムを起動させることによって、業務システムの定義変更を行う。これによって業務システムの再配置が実現されることとなる。
なお、本実施形態では、業務計算機のCPU及びメモリを考慮するリソースとしたが、他のリソースであってもよい。例えば、ネットワーク帯域、I/Oデバイス等をリソースに含めてもよい。
本実施形態の一形態によれば、業務計算機が備える複数のリソースに基づいて、業務システムの配置を実行するため、使用されるいずれかのリソースにのみ偏りがでるようなことが発生しない。したがって、業務システムの最適化及びリソースの有効活用を実現できる。
100 リソース管理計算機
110 メモリ
1110 リソース管理部
1120 定義値設計・反映部
1130 リソース管理用テーブル
120 CPU
130 ディスクドライブ
150 ネットワーク
300 業務計算機群
310 業務計算機
3110ハードウェアリソース
3111 CPU
3112 メモリ

Claims (8)

  1. 物理リソースを論理的に分割することによって一以上の論理区画を生成し、前記生成された論理区画上に所定の業務を実行する業務システムを稼働させ、前記業務システムを管理する仮想計算機制御部を備える計算機と、前記計算機の物理リソースを管理するリソース管理計算機とを備える計算機システムにおける仮想計算機管理方法であって、
    前記計算機は、少なくとも、前記物理リソースとして第1のプロセッサと、前記第1のプロセッサに接続される第1のメモリとを備え、
    前記リソース管理計算機は、第2のプロセッサと、前記第2のプロセッサに接続される第2のメモリとを備え、
    前記第2のメモリには、前記計算機に対する物理リソースの割り当てを管理するリソース管理情報が格納され、
    前記方法は、
    前記リソース管理計算機が、新規業務システムの生成要求を受信した場合に、前記リソース管理情報に基づいて、前記各計算機の物理リソースのうち前記業務システムに割り当てられていないリソースである空きリソースの量を算出する第1のステップと、
    前記リソース管理計算機が、前記算出された空きリソースの量に基づいて、前記新規業務システムが処理できるスレッド数である処理可能スレッド数を算出する第2のステップと、
    前記リソース管理計算機が、前記算出された処理可能スレッド数が前記業務システムが必要とするスレッド数以上であるか否かを判定する第3のステップと、
    前記算出された処理可能スレッド数が、前記業務システムが必要とするスレッド数未満であると判定された場合に、前記リソース管理計算機が、前記計算機上で稼働する前記業務システムの配置を変更する再配置処理を実行する第4のステップと、
    前記リソース管理計算機が、前記各計算機において、前記業務システムの設定情報を変更する第5のステップと、
    を含むことを特徴とする仮想計算機管理方法。
  2. 前記第4のステップは、
    前記リソース管理情報に基づいて、前記第1のプロセッサ及び前記第1のメモリの使用量が最大になるように、前記業務システムを再配置することを特徴とする請求項1に記載の仮想計算機管理方法。
  3. 前記第4のステップは、
    前記第1のプロセッサの割り当て量と前記第1のメモリの割り当て量とに偏りがある前記計算機で稼働する前記業務システムを、前記再配置をする前記業務システムとして決定するステップと、
    再配置が実行された後の前記計算機の空きリソースを算出するステップとを含むこと特徴とする請求項2に記載の仮想計算機管理方法。
  4. 前記計算機は、第1の計算機と第2の計算機とを含み、
    前記第1の計算機上では第1の業務システムが稼働し、
    前記第2の計算機上では第2の業務システムが稼働し、
    前記リソース管理情報は、前記業務システムが1スレッドあたりに使用する前記第1のプロセッサの使用量と、前記業務システムが1スレッドあたりに使用する前記第1のメモリの使用量と、を含み、
    前記第4のステップは、
    前記第1のプロセッサの全割り当て量と、前記第1のメモリの全割り当て量とを用いて第1のリソース比率を算出するステップと、
    前記業務システムが1スレッドあたりに使用する第1のプロセッサの使用量と、前記業務システムが1スレッドあたりに使用する第1のメモリの使用量とを用いて第2のリソース比率を算出するステップと、
    前記第1のリソース比率と前記第2のリソース比率とを用いて第3の比率を算出するステップと、
    前記第3の比率が最小である前記第1の計算機上で稼働する第1の業務システムと、前記第3の比率が最大である前記第2の計算機上で稼働する第2の業務システムとを再配置する業務システムとして決定するステップと、
    再配置が実行された後の前記第1の計算機及び前記第2の計算機の空きリソースを算出するステップとを含むこと特徴とする請求項3に記載の仮想計算機管理方法。
  5. 前記リソース管理情報は、
    前記新規業務システムが1スレッドあたりに使用する前記第1のプロセッサの使用量、及び、前記新規業務システムが1スレッドあたりに使用する前記第1のメモリの使用量と、
    前記業務システムに割り当てられていない前記第1のプロセッサの未割り当て量、及び、前記業務システムに割り当てられていない前記第1のメモリの未割り当て量と、を含み、
    前記第2のステップは、
    前記新規業務システムが1スレッドあたりに使用する前記第1のプロセッサの使用量と前記業務システムに割り当てられていない前記第1のプロセッサの未割り当て量とに基づいて、未割り当ての前記第1のプロセッサを用いて前記新規業務システムが処理できる第1のスレッド数を算出するステップと、
    前記新規業務システムが1スレッドあたりに使用する前記第1のメモリの使用量と前記業務システムに割り当てられていない前記第1のメモリの未割り当て量とに基づいて、未割り当ての前記第1のメモリを用いて前記新規業務システムが処理できる第2のスレッド数を算出するステップと、
    前記第1のスレッド数と前記第2のスレッド数とを比較し、値の小さい方を前記処理可能スレッド数として決定するステップと、を含むことを特徴とする請求項1に記載の仮想計算機管理方法。
  6. 前記第5のステップは、再配置後の前記業務システム及び前記新規業務システムにおけるスレッド数に基づいて、前記業務システム及び前記新規業務システムの設定情報を変更することを特徴とする請求項1に記載の仮想計算機管理方法。
  7. 物理リソースを論理的に分割することによって一以上の論理区画を生成し、前記生成された論理区画上に所定の業務を実行する業務システムを稼働させ、前記業務システムを管理する仮想計算機制御部を備える計算機と、前記計算機の物理リソースを管理するリソース管理計算機とを備える計算機システムであって、
    前記計算機は、少なくとも、前記物理リソースとして第1のプロセッサと、前記第1のプロセッサに接続される第1のメモリとを備え、
    前記リソース管理計算機は、第2のプロセッサと、前記第2のプロセッサに接続される第2のメモリとを備え、
    前記第2のメモリには、前記計算機に対する物理リソースの割り当てを管理するリソース管理情報が格納され、
    前記リソース管理計算機は、
    新規業務システムの生成要求を受信した場合に、前記リソース管理情報に基づいて、前記各計算機の物理リソースのうち前記業務システムに割り当てられていないリソースである空きリソースの量を算出し、
    前記算出された空きリソースの量に基づいて、前記新規業務システムが処理できるスレッド数である処理可能スレッド数を算出し、
    前記リソース管理計算機が、前記算出された処理可能スレッド数が、前記業務システムが必要とするスレッド数以上であるか否かを判定し、
    前記算出された処理可能スレッド数が、前記業務システムが必要とするスレッド数未満であると判定された場合に、前記計算機上で稼働する前記業務システムの配置を変更する再配置処理を実行し、
    前記各計算機において、前記業務システムの設定情報を変更することを特徴とする計算機システム。
  8. 物理リソースを論理的に分割することによって一以上の論理区画を生成し、前記生成された論理区画上に所定の業務を実行する業務システムを稼働させ、前記業務システムを管理する仮想計算機制御部を備える計算機の前記物理リソースを管理するリソース管理計算機におけるリソース管理プログラムであって、
    前記計算機は、少なくとも、前記物理リソースとして第1のプロセッサと、前記第1のプロセッサに接続される第1のメモリとを備え、
    前記リソース管理計算機は、第2のプロセッサと、前記第2のプロセッサに接続される第2のメモリとを備え、
    前記第2のメモリには、前記計算機に対する物理リソースの割り当てを管理するリソース管理情報が格納され、
    前記リソース管理プログラムは、
    前記リソース管理計算機が新規業務システムの生成要求を受信した場合に、前記リソース管理情報に基づいて、前記各計算機の物理リソースのうち前記業務システムに割り当てられていないリソースである空きリソースの量を算出する手順と、
    前記算出された空きリソースの量に基づいて、前記新規業務システムが処理できるスレッド数である処理可能スレッド数を算出する手順と、
    前記リソース管理計算機が、前記算出された処理可能スレッド数が、前記業務システムが必要とするスレッド数以上であるか否かを判定する手順と、
    前記算出された処理可能スレッド数が、前記業務システムが必要とするスレッド数未満であると判定された場合に、前記計算機上で稼働する前記業務システムの配置を変更する再配置処理を実行する手順と、
    前記各計算機において、前記業務システムの設定情報を変更する手順と、を前記リソース管理計算機に実行させることを特徴とするリソース管理プログラム。
JP2010082746A 2010-03-31 2010-03-31 仮想計算機管理方法、計算機システム及びリソース管理プログラム Pending JP2011215812A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010082746A JP2011215812A (ja) 2010-03-31 2010-03-31 仮想計算機管理方法、計算機システム及びリソース管理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010082746A JP2011215812A (ja) 2010-03-31 2010-03-31 仮想計算機管理方法、計算機システム及びリソース管理プログラム

Publications (1)

Publication Number Publication Date
JP2011215812A true JP2011215812A (ja) 2011-10-27

Family

ID=44945484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010082746A Pending JP2011215812A (ja) 2010-03-31 2010-03-31 仮想計算機管理方法、計算機システム及びリソース管理プログラム

Country Status (1)

Country Link
JP (1) JP2011215812A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013099019A1 (ja) * 2011-12-28 2013-07-04 株式会社日立製作所 複数の物理マシンで動作する複数の仮想マシンの再配置を制御する管理計算機
WO2013161080A1 (ja) * 2012-04-27 2013-10-31 株式会社日立製作所 データベース管理システム、計算機、データベース管理方法
WO2013171854A1 (ja) * 2012-05-16 2013-11-21 株式会社日立製作所 計算機、スレッド割当管理方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013099019A1 (ja) * 2011-12-28 2013-07-04 株式会社日立製作所 複数の物理マシンで動作する複数の仮想マシンの再配置を制御する管理計算機
WO2013161080A1 (ja) * 2012-04-27 2013-10-31 株式会社日立製作所 データベース管理システム、計算機、データベース管理方法
US9842136B2 (en) 2012-04-27 2017-12-12 Hitachi, Ltd. Database management system, computer, and database management method
WO2013171854A1 (ja) * 2012-05-16 2013-11-21 株式会社日立製作所 計算機、スレッド割当管理方法及びプログラム

Similar Documents

Publication Publication Date Title
US11094031B2 (en) GPU resource usage display and dynamic GPU resource allocation in a networked virtualization system
US9608933B2 (en) Method and system for managing cloud computing environment
JP5577412B2 (ja) 計算機システム、マイグレーション方法及び管理サーバ
US9183016B2 (en) Adaptive task scheduling of Hadoop in a virtualized environment
US9304803B2 (en) Cooperative application workload scheduling for a consolidated virtual environment
JP4519098B2 (ja) 計算機の管理方法、計算機システム、及び管理プログラム
US10248460B2 (en) Storage management computer
WO2019160060A1 (ja) 仮想リソース管理装置、仮想リソース割り当て方法、および仮想リソース割り当てプログラム
JP2010282420A (ja) 管理計算機、リソース管理方法、リソース管理プログラム、記録媒体および情報処理システム
US11188243B2 (en) Storage management apparatus, information system, and storage management method
US10761869B2 (en) Cloud platform construction method and cloud platform storing image files in storage backend cluster according to image file type
JP5178778B2 (ja) 仮想計算機およびcpu割り当て方法
US10250455B1 (en) Deployment and management of tenant services
JP6543219B2 (ja) 仮想マシン配置装置およびリソース管理方法
CN107528871B (zh) 存储系统中的数据分析
JP2017091330A (ja) 計算機システム及び計算機システムのタスク実行方法
JP2011215812A (ja) 仮想計算機管理方法、計算機システム及びリソース管理プログラム
US9467336B2 (en) Information processing system and management method thereof
US10594620B1 (en) Bit vector analysis for resource placement in a distributed system
US10097431B1 (en) Routing to tenant services utilizing a service directory
KR102014246B1 (ko) 리소스 통합관리를 위한 메소스 처리 장치 및 방법
JP6870390B2 (ja) 仮想基盤にもとづくシステムにおけるリソース割当方法、接続管理サーバおよび接続管理プログラム
JP6374059B2 (ja) コンピュータ資源配分決定方法、コンピュータ資源配分決定方法プログラムおよび制御用コンピュータ
JP2016057851A (ja) 仮想マシン配置変更装置
JP7367758B2 (ja) 仮想化基盤制御装置、仮想化基盤制御方法および仮想化基盤制御プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309