JP2010257209A - Bus switch, computer system, and management method for computer system - Google Patents
Bus switch, computer system, and management method for computer system Download PDFInfo
- Publication number
- JP2010257209A JP2010257209A JP2009106365A JP2009106365A JP2010257209A JP 2010257209 A JP2010257209 A JP 2010257209A JP 2009106365 A JP2009106365 A JP 2009106365A JP 2009106365 A JP2009106365 A JP 2009106365A JP 2010257209 A JP2010257209 A JP 2010257209A
- Authority
- JP
- Japan
- Prior art keywords
- memory access
- unit
- memory
- access request
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Bus Control (AREA)
Abstract
Description
本発明は、サーバ間で仮想マシンを移動させる技術に関する。 The present invention relates to a technique for moving a virtual machine between servers.
近年、ハイパーバイザと呼ばれる制御プログラムにより、1台の物理サーバ上に複数台の仮想マシンを構築し、各仮想マシンごとに任意のOS(Operating System)やアプリケーションを動作させる仮想化技術が実用化されている。仮想マシンは、ハイパーバイザにより仮想化されたメモリアドレスを利用するため、ハイパーバイザを介して入出力デバイス(I/Oデバイス)を制御しなければならず、I/Oデバイスをアクセスするときにオーバヘッドが生じて性能低下をもたらしている。このため、ハイパーバイザにより仮想化されたメモリアドレスとI/Oデバイスのメモリアドレスとを相互に変換する機構を備えることで、仮想マシンからI/Oデバイスを直接制御できるようにした技術が提案されている。 In recent years, virtualization technology has been put into practical use in which multiple virtual machines are constructed on a single physical server and an arbitrary OS (Operating System) or application is operated for each virtual machine using a control program called a hypervisor. ing. Since the virtual machine uses a memory address virtualized by the hypervisor, the input / output device (I / O device) must be controlled via the hypervisor, and overhead is required when accessing the I / O device. Has resulted in performance degradation. For this reason, a technique has been proposed in which a virtual machine can directly control the I / O device by providing a mechanism for mutually converting the memory address virtualized by the hypervisor and the memory address of the I / O device. ing.
ところで、仮想マシン環境では、例えば、夜間など稼働率が低下したときに、仮想マシンを1台の物理サーバに集約することで、省電力化を図ることが可能となる。しかし、I/Oデバイスを直接制御している仮想マシンでは、I/Oデバイスの状態をハイパーバイザが管理していないため、仮想マシンを稼動させたまま移動させることができなかった。 By the way, in the virtual machine environment, for example, when the operation rate decreases at night or the like, it is possible to conserve power by consolidating the virtual machines into one physical server. However, in a virtual machine that directly controls an I / O device, the state of the I / O device is not managed by the hypervisor, so that the virtual machine cannot be moved while it is running.
そこで、従来技術の問題点に鑑み、I/Oデバイスを直接制御している仮想マシンを稼動させたまま、サーバ間で仮想マシンを移動させることができるようにした技術を提供することを目的とする。 Accordingly, in view of the problems of the prior art, an object of the present invention is to provide a technology capable of moving a virtual machine between servers while operating a virtual machine that directly controls an I / O device. To do.
このため、本技術では、仮想マシンが稼動する複数のサーバと入出力デバイスとをスター型接続方式で接続するバススイッチに、入出力デバイスからのメモリアクセス要求を複製して同一内容のメモリアクセス要求を複数のサーバに送信する複製ユニットと、第1の指定アドレス領域に対するメモリアクセス要求を抑止する抑止ユニットと、割込みに係るメモリアクセス要求を複製対象から除外する複製除外ユニットと、を組み込む。また、本技術では、仮想マシンの移動指示があったときに、メモリアクセス要求が移動元サーバ及び移動先サーバに送信されるように複製ユニットを制御し、移動元サーバの仮想マシンが使用していたメモリの内容を移動先サーバに転送している間に、転送中のメモリアドレス領域に対するメモリアクセス要求が抑止されるように抑止ユニットを制御し、割込みに係るメモリアクセス要求が複製対象から除外されるように複製除外ユニットを制御する。 For this reason, this technology replicates memory access requests from input / output devices to a bus switch that connects multiple servers running virtual machines and input / output devices using a star connection method. Are incorporated into a plurality of servers, a suppression unit that suppresses memory access requests for the first designated address area, and a replication exclusion unit that excludes memory access requests related to interrupts from replication targets. In addition, in this technology, when a virtual machine movement instruction is issued, the replication unit is controlled so that a memory access request is transmitted to the movement source server and the movement destination server, and the virtual machine of the movement source server uses the virtual machine. While transferring the memory contents to the destination server, the suppression unit is controlled so that memory access requests to the memory address area being transferred are suppressed, and memory access requests related to interrupts are excluded from replication targets. The replication exclusion unit is controlled so that
本技術によれば、入出力デバイスを直接制御する仮想マシンを稼動させたまま、仮想マシンを移動元サーバから移動先サーバに移動させることができる。 According to the present technology, it is possible to move a virtual machine from a source server to a destination server while operating a virtual machine that directly controls an input / output device.
以下、添付された図面を参照して本技術を詳述する。
図1は、本技術を適用したコンピュータシステムの一実施形態を示す。
2台の物理サーバ(以下「サーバ」という)10及び20は、スター型接続方式を採用するバススイッチとしてのPCI Expressスイッチ30(登録商標)を介して、ネットワークアダプタやハードディクスコントローラなどのI/Oデバイス40に接続される。サーバ10は、中央処理装置CPU,メモリMEM及びIOハブHUBを含む。また、サーバ10では、仮想化技術を具現化するハイパーバイザ12により、仮想的なコンピュータとしての少なくとも1台の仮想マシン(VM;Virtual Machine)14が構築される。仮想マシン14は、IOハブHUBに組み込まれたIOMMU(Input/Output Memory Management Unit)16を介して、ハイパーバイザ12により仮想化されたメモリアドレスを有するVMメモリ18とI/Oデバイス40との間でデータを直接授受できるようになっている。ここで、IOMMU16は、VMメモリ18のメモリアドレスとI/Oデバイス40のメモリアドレスを相互に変換するためのハードウエアである。サーバ20は、サーバ10と同一構成であるため、その説明は省略するものとする。また、サーバ10及び20は、仮想マシン制御のためハイパーバイザが使用する管理ネットワーク50に、NIC(Network Interface Controller)60を経由して接続されているものとする。
Hereinafter, the present technology will be described in detail with reference to the accompanying drawings.
FIG. 1 shows an embodiment of a computer system to which the present technology is applied.
Two physical servers (hereinafter referred to as “servers”) 10 and 20 are connected to an I / O such as a network adapter or a hard disk controller via a PCI Express switch 30 (registered trademark) as a bus switch adopting a star connection method. Connected to the
なお、制御手段の一例としてのハイパーバイザ12及び22は、CD−ROMなどのコンピュータ読取可能な記録媒体に記録されたコンピュータシステムの管理プログラムを、サーバ10及び20にインストールすることで実装される。
The
PCI Expressスイッチ30は、PCI−SIG(Peripheral Component Interconnect Special Interest Group)のMR−IOV(Multi-Root I/O Virtualization)規格に準拠したLSI(Large Scale Integration)であって、複数の物理サーバに接続可能となっている。また、前述したI/Oデバイス40も、PCI−SIGのMR−IOV規格に準拠したデバイスであって、複数の物理サーバに接続可能となっている。
The
PCI Expressスイッチ30は、図2に示すように、各サーバ10及び20にパケットを送受信するための入力バッファ30A及び出力バッファ30Bと、I/Oデバイス40にパケットを送受信するための入力バッファ30C及び出力バッファ30Dと、ルーティングユニット30Eと、を含む。入力バッファ30A及び30C並びに出力バッファ30B及び30Dには、送受信するパケットを一時的に蓄積するキューが備えられている。ルーティングユニット30Eは、サーバ10又は20とI/Oデバイス40との間、又は、2つのサーバ10及び20の間でパケットを送受信するルーティング制御を行う。また、PCI Expressスイッチ30は、仮想マシンを稼動させたたま物理サーバ間で移動させることができるようにすべく、パケット複製ユニット30F,出力抑止ユニット30G及び複製除外ユニット30Hを更に含む。
As shown in FIG. 2, the
パケット複製ユニット30Fは、I/Oデバイス40からのメモリアクセス要求、即ち、メモリ書込要求パケット(以下「パケット」という)が入力バッファ30Cに到着したときに、サーバ10及び20に対して同一パケットを送信すべく、パケットを複製する機能を提供する。出力抑止ユニット30Gは、I/Oデバイス40からのパケットが入力バッファ30Cに到着したときに、指定アドレス領域に対するパケットが入力バッファ30Cから出力されることを抑止する機能を提供する。複製除外ユニット30Hは、パケット複製ユニット30Fにより複製されるパケットのうち、割込要求パケットを複製対象から除外する機能を提供する。割込要求パケットを複製対象から除外する機能は、例えば、パケットを複製するアドレス領域を指定して、パケットの複製を除外するアドレス領域を指定して、コンフィグレーションアクセスをトラックしてMSI/MSI−X(Message Signaled Interrupt)を認識して自動的に除外するなどで実装することができる。パケット複製ユニット30F,出力抑止ユニット30G及び複製除外ユニット30Hは、夫々、PCI Expressスイッチ30外部からの制御信号に応じて制御される。
When the memory access request from the I /
そして、ハイパーバイザ12及び22は、PCI Expressスイッチ30に備えられたパケット複製ユニット30F,出力抑止ユニット30G及び複製除外ユニット30Hから提供される各機能を制御して、仮想マシンを稼動させたままの移動を実現する。このとき、パケット複製ユニット30F,出力抑止ユニット30G及び複製除外ユニット30Hから提供される各機能は、次のような形態で用いられる。なお、以下の説明では、サーバ10の仮想マシン14を稼動させたままサーバ20に移動させるものとする。
(1)パケット複製ユニット30Fが提供する複製機能
仮想マシン14を稼動させたままの移動では、移動中にも仮想マシン14及びI/Oデバイス40は動作を継続する。このため、ハイパーバイザ12及び22が協働して移動のための処理、例えば、VMメモリ18の内容をサーバ20に転送しているときにも、I/Oデバイス40から仮想マシン14のメモリ空間への書き込みを含んだメモリアクセスが発生する。このアクセスは、仮想マシン14とI/Oデバイス40との間で直接行われるものであり、ハイパーバイザ12が関与することができない。
The
(1) Replication function provided by the
そこで、PCI Expressスイッチ30に複製機能を設けることで、I/Oデバイス40からのメモリ書き込みは、移動元サーバ10と移動先サーバ20との両方に行なわれるようにする。このようにすると、ハイパーバイザ12が関与しないI/Oデバイス40からのメモリ書き込みも、移動元サーバ10と移動先サーバ20とでメモリ内容の同期がとれる。
(2)出力抑止ユニット30Gが提供する抑止機能
複製機能により、I/Oデバイス40からのメモリ書き込みを移動元サーバ10及び移動先サーバ20に行なったとしても、メモリ内容が不一致となる場合が想定される。例えば、移動元サーバ10のVMメモリ18からデータを読み出して移動先サーバ20に転送しているときに、I/Oデバイス40からのメモリ書き込みがあると、移動元サーバ10のVMメモリ18及び移動先サーバ20のVMメモリ28が上書きされる。その後、移動元サーバ10から移動先サーバ20にVMメモリ18のデータが到着すると、そのVMメモリ18は古いデータにより上書きされてしまうこととなる。
Therefore, by providing a replication function in the
(2) Suppression Function Provided by
そこで、PCI Expressスイッチ30に抑止機能を設けることで、移動元サーバ10から移動先サーバ20へと転送中のメモリ領域を上書きするパケットの出力を抑止し、移動元サーバ10と移動先サーバ20のメモリ内容が不一致となることを回避する。
(3)複製除外ユニット30Hが提供する除外機能
CPUでは、特定アドレスに対するメモリ書き込みは、そのアドレス及びデータ内容に応じて割込みに変換するという機能が備えられている。仮想マシン14の移動中には、複製機能により、I/Oデバイス40からのメモリ書き込みは、移動元サーバ10及び移動先サーバ20に送信される。しかし、割込みは、移動元サーバ10及び移動先サーバ20の双方に送信することができない。なぜならば、仮想マシン14の移動中には、移動元サーバ10の仮想マシン14は割込みを処理できるが、移動先サーバ20の仮想マシン24は割込みを処理できず、移動元及び移動先で二重に割込み処理してしまうおそれがあるためである。
Therefore, by providing a suppression function in the
(3) Exclusion Function Provided by
そこで、PCI Expressスイッチ30に除外機能を設けることで、I/Oデバイス40からの割込みを複製対象から除外し、移動元サーバ10及び移動先サーバ20で二重に割込みが処理されないようにする。
Therefore, by providing an exclusion function in the
図3は、PCI Expressスイッチ30が、I/Oデバイス40から入力バッファ30Cにパケットが到着したことを契機として実行する動作を示す。なお、図3に示すフローチャートは、各ユニットの動作を説明するものではなく、PCI Expressスイッチ30全体としてどのような動作が行われるかを説明するものである。
FIG. 3 shows an operation that the
ステップ1(図では「S1」と略記する。以下同様。)において、PCI Expressスイッチ30が、パケットにより書き込まれるメモリ領域がロック中であるか否かを判定する。ここで、パケットにより書き込まれるメモリ領域がロック中であるか否かは、例えば、パケット内容と出力抑止ユニット30Gに入力される制御信号のロック情報(ロック中のメモリアドレスを示す情報)との比較から判定することができる。そして、PCI Expressスイッチ30が、メモリ領域がロック中であればステップ2へと進む一方(Yes)、メモリ領域がロック中でなければステップ5へと進む(No)。
In step 1 (abbreviated as “S1” in the figure, the same applies hereinafter), the
ステップ2において、PCI Expressスイッチ30が、出力抑止ユニット30Gにより、入力バッファ30Cのキューからパケットが出力されることを抑止する。ここで、パケット出力が抑止されている間、入力バッファ30Cに到着したパケットは、キューに到着順に順次蓄積される。
In Step 2, the
ステップ3において、PCI Expressスイッチ30が、パケットにより書き込まれるメモリ領域のロックが解除されたか否かを判定する。ここで、メモリ領域のロックが解除されたか否かは、例えば、出力抑止ユニット30Gに制御信号が入力されなくなったか否かを介して判定することができる。そして、PCI Expressスイッチ30が、メモリ領域のロックが解除されたならばステップ4へと進む一方(Yes)、メモリ領域のロックが解除されていなければ待機する(No)。
In step 3, the
ステップ4において、PCI Expressスイッチ30が、出力抑止ユニット30Gによるパケット出力の抑止を解除する。
ステップ5において、PCI Expressスイッチ30が、パケットの複製指示があるか否かを判定する。ここで、パケットの複製指示があるか否かは、例えば、パケット複製ユニット30Fに制御信号が入力されているか否かを介して判定することができる。そして、PCI Expressスイッチ30が、パケットの複製指示があればステップ6へと進む一方(Yes)、パケットの複製指示がなければステップ9へと進む(No)。
In step 4, the
In step 5, the
ステップ6において、PCI Expressスイッチ30が、パケットが複製対象であるか否かを判定する。ここで、パケットが複製対象であるか否かは、次のような3つの方法で判定することができる。第1の方法は、特定のアドレス領域に対するI/Oデバイス40からのパケットのみを複製対象とする、即ち、複製対象のパケットを指定する方法である。第2の方法は、特定のアドレス領域以外に対するI/Oデバイス40からのパケットのみを複製対象とする、即ち、複製対象から除外するパケットを指定する方法である。第3の方法は、サーバ10からのPCI Expressスイッチ30のコンフィグレーション設定動作を監視し、割込みに使用するメモリアドレスを検出し、検出されたアドレス領域に対するI/Oデバイス40からのパケットを複製対象から除外する方法である。そして、PCI Expressスイッチ30が、パケットが複製対象であればステップ7へと進む一方(Yes)、パケットが複製対象でなければステップ9へと進む(No)。
In step 6, the
ステップ7において、PCI Expressスイッチ30が、パケット複製ユニット30Fにより、入力バッファ30Cに到着したパケットを複製する。ここで、複製したパケットには、入力バッファ30Cに到着したパケットとは異なる宛先が設定される。
In step 7, the
ステップ8において、PCI Expressスイッチ30が、入力バッファ30Cに到着したパケット、及び、パケット複製ユニット30Fにより複製されたパケットを、各宛先のサーバ10及び20に送出する。
In step 8, the
ステップ9において、PCI Expressスイッチ30が、入力バッファ30Cに到着したパケットを、宛先のサーバ10又は20に送出する。
かかるPCI Expressスイッチ30によれば、I/Oデバイス40から入力バッファ30Cにパケットが到着すると、そのパケットにより書き込まれるメモリ領域がロック中であるか否か判定される。そして、メモリ領域がロック中であれば、そのロックが解除されるまで、入力バッファ30Cのキューからパケットが出力されることが抑止される。また、パケットの複製指示があり、かつ、そのパケットが複製対象(割込要求パケット以外)であれば、パケットが複製された後、各パケットの宛先にパケットが送出される。一方、パケットの複製指示がなく、又は、そのパケットが複製対象でない割込要求であれば、I/Oデバイス40から到着したパケットが宛先に送出される。
In step 9, the
According to the
次に、かかるコンピュータシステムにおいて、仮想マシンを移動させる移動処理内容を説明する。
図4及び図5は、移動元サーバ10のハイパーバイザ12が、管理者などから仮想マシンの移動指示があったことを契機として実行する移動処理を示す。なお、仮想マシンの移動指示には、少なくとも、サーバ20に仮想マシンを移動させることを示す移動先情報が含まれている。
Next, the contents of the movement process for moving the virtual machine in the computer system will be described.
4 and 5 show the movement processing that is executed when the
ステップ11では、ハイパーバイザ12が、移動指示に含まれる移動先情報により特定される移動先サーバ20のハイパーバイザ22に、仮想マシン移動を開始することを通知する。
In step 11, the
ステップ12では、ハイパーバイザ12が、移動先サーバ20から応答があったか否かを判定する。そして、ハイパーバイザ12が、移動先サーバ20から応答があれば処理をステップ13へと進める一方(Yes)、移動先サーバ20から応答がなければ処理を待機させる(No)。
In
ステップ13では、ハイパーバイザ12が、PCI Expressスイッチ30にパケット複製を指示、即ち、PCI Expressスイッチ30のパケット複製ユニット30Fに制御信号を出力する。
In step 13, the
ステップ14では、ハイパーバイザ12が、仮想マシン14のVMメモリ18を分割しつつ移動先サーバ20のVMメモリ28に転送するために、VMメモリ18へのデータ書き込みをロックするメモリロック領域を設定する。ここで、メモリロック領域の大きさは、例えば、1つのパケットに含むことができるデータサイズに応じて決定すればよい。また、ハイパーバイザ12は、PCI Expressスイッチ30の出力抑止ユニット30Gに対して、メモリロック領域を特定するロック情報を含んだ制御信号を出力する。
In step 14, the
ステップ15では、ハイパーバイザ12が、VMメモリ18のメモリロック領域からデータを読み出す。
ステップ16では、ハイパーバイザ12が、管理ネットワーク50を介して、VMメモリ18から読み出したデータをパケット形式で移動先サーバ20に送信する。
In step 15, the
In
ステップ17では、ハイパーバイザ12が、移動先サーバ20から応答があったか否かを判定する。そして、ハイパーバイザ12が、移動先サーバ20から応答があれば処理をステップ18へと進める一方(Yes)、移動先サーバ20から応答がなければ処理を待機させる(No)。
In step 17, the
ステップ18では、ハイパーバイザ12が、VMメモリ18の転送が完了したか否かを判定する。ここで、VMメモリ18の転送が完了したか否かは、例えば、VMメモリ18の最後のアドレスまでデータを転送したか否かを介して判定することができる。そして、ハイパーバイザ12が、VMメモリ18の転送が完了したならば処理をステップ19へと進める一方(Yes)、VMメモリ18の転送が完了していなければ処理をステップ14へと戻す(No)。
In
ステップ19では、ハイパーバイザ12が、移動元サーバ10で稼動していた仮想マシン14を停止させる。
ステップ20では、ハイパーバイザ12が、PCI Expressスイッチ30に対して、I/Oデバイス40から入力バッファ30Cに到着したパケットを移動先サーバ20に転送することを指示するための切替指示を出力する。
In step 19, the
In
ステップ21では、ハイパーバイザ12が、ステップ14〜ステップ18においてVMメモリ18を転送していた間に、移動元サーバ10のVMメモリ18に仮想マシン14が上書きした上書領域を検出する。ここで、上書領域は、例えば、移動元サーバ10のCPUが備えるページテーブルに付随しているメモリの上書きフラグを参照することで、特定することができる。
In step 21, the
ステップ22では、ハイパーバイザ12が、VMメモリ18の上書領域から、所定サイズのデータを読み出す。ここで、所定サイズは、例えば、1つのパケットに含むことができるデータサイズに応じて決定すればよい。
In
ステップ23では、ハイパーバイザ12が、管理ネットワーク50を介して、VMメモリ18から読み出したデータをパケット形式で移動先サーバ20に送信する。
ステップ24では、ハイパーバイザ12が、移動先サーバ20から応答があったか否かを判定する。そして、ハイパーバイザ12が、移動先サーバ20から応答があれば処理をステップ25へと進める一方(Yes)、移動先サーバ20から応答がなければ処理を待機させる(No)。
In step 23, the
In
ステップ25では、ハイパーバイザ12が、上書領域のメモリ転送が完了したか否かを判定する。ここで、上書領域のメモリ転送が完了したか否かは、例えば、上書領域の最後のアドレスまでデータを転送したか否かを介して判定することができる。そして、ハイパーバイザ12が、上書領域のメモリ転送が完了したならば処理をステップ26へと進める一方(Yes)、上書領域のメモリ転送が完了していなければ処理をステップ22へと戻す(No)。
In step 25, the
ステップ26では、ハイパーバイザ12が、移動元サーバ10から仮想マシン14のプロセッサ状態を取り出す。ここで、プロセッサ状態とは、例えば、仮想マシン14の各種レジスタの状態,プログラムカウンタの値などを意味する。
In
ステップ27では、ハイパーバイザ12が、管理ネットワーク50を介して、移動先サーバ20にパケット形式でプロセッサ状態を送信する。
ステップ28では、ハイパーバイザ12が、移動先サーバ20から応答があったか否かを判定する。そして、ハイパーバイザ12が、移動先サーバ20から応答があれば処理をステップ29へと進める一方(Yes)、移動先サーバ20から応答がなければ処理を待機させる(No)。
In step 27, the
In
ステップ29では、ハイパーバイザ12が、移動元サーバ10から仮想マシン14を削除する。
図6は、移動先サーバ20のハイパーバイザ22が、移動元サーバ10から仮想マシン移動を開始する通知を受けたことを契機として実行する移動処理を示す。
In step 29, the
FIG. 6 shows a migration process that is executed when the
ステップ31では、ハイパーバイザ22が、仮想マシン24が使用するVMメモリ28をメモリMEM上に確保する。
ステップ32では、ハイパーバイザ22が、VMメモリ28のメモリアドレスとI/Oデバイス40のメモリアドレスを相互に変換可能とすべく、IOハブHUBに組み込まれたIOMMU26を設定する。
In step 31, the
In step 32, the
ステップ33では、ハイパーバイザ22が、管理ネットワーク50を介して、移動元サーバ10に仮想サーバの移動準備が完了したことを示す応答を返信する。
ステップ34では、ハイパーバイザ22が、移動元サーバ10からパケットを受信したか否か、即ち、移動元サーバ10のVMメモリ18のデータを受信したか否かを判定する。そして、ハイパーバイザ22が、移動元サーバ10からパケットを受信したならば処理をステップ35へと進める一方(Yes)、移動元サーバ10からパケットを受信していなければ処理を待機させる(No)。なお、ハイパーバイザ22は、移動元サーバ10から長時間パケットが到着しないときに、処理が無限ループに陥ることを回避すべく、所定時間経過したときにループを抜け出るタイムアウト処理を平行して行うことが望ましい。
In step 33, the
In step 34, it is determined whether the
ステップ35では、ハイパーバイザ22が、VMメモリ28に受信データを書き込む。
ステップ36では、ハイパーバイザ22が、PCI Expressスイッチ30の出力抑止ユニット30Gに対して、パケット出力抑止を解除する制御信号を出力する。
In step 35, the
In step 36, the
ステップ37では、ハイパーバイザ22が、管理ネットワーク50を介して、移動元サーバ10にデータ書き込みが完了したことを示す応答を返信する。
ステップ38では、ハイパーバイザ22が、移動元サーバ10からプロセッサ状態を受信したか否かを判定する。そして、ハイパーバイザ22が、プロセッサ状態を受信したならば処理をステップ39へと進める一方(Yes)、プロセッサ状態を受信していなければ処理をステップ34へと戻す(No)。
In step 37, the
In step 38, the
ステップ39では、ハイパーバイザ22が、受信したプロセッサ状態に基づいて、仮想マシン24のプロセッサ状態を設定する。これにより、移動元サーバ10の仮想マシン14と移動先サーバ20の仮想マシン24との間で、プロセッサ状態の同期をとることができる。
In step 39, the
ステップ40では、ハイパーバイザ22が、移動先サーバ20の仮想マシン24を起動させる。
ステップ41では、ハイパーバイザ22が、管理ネットワーク50を介して、移動先サーバ10に仮想マシン24が起動されたことを示す応答を返信する。
In
In step 41, the
かかる移動処理によれば、移動元サーバ10から移動先サーバ20に仮想マシン14を移動するときに、移動先サーバ20において、仮想マシン24が使用するVMメモリ28の領域が確保されると共に、仮想マシン24からI/Oデバイス40を直接制御するためのIOMMU26が設定される。また、移動元サーバ10から移動先サーバ20に対して、移動元サーバ10の仮想マシン14が使用していたVMメモリ18が分割されつつ転送される。
According to the migration process, when the virtual machine 14 is moved from the
移動元サーバ10から移動先サーバ20へのVMメモリ18の転送が完了すると、移動元サーバ10の仮想マシン14が停止され、I/Oデバイス40からPCI Expressスイッチ30に到着したパケットは、移動先サーバ20へと転送され始める。また、移動元サーバ10から移動先サーバ20にVMメモリ18を転送している間、移動元サーバ10においてデータが上書きされたVMメモリ18の上書領域は、VMメモリ18の転送が完了した後、移動元サーバ10から移動先サーバ20に分割されつつ転送される。
When the transfer of the
そして、移動元サーバ10から移動先サーバ20への上書領域の転送が完了すると、移動元サーバ10の仮想マシン14のプロセッサ状態が移動先サーバ20へと送信される。プロセッサ状態を受信した移動先サーバ20では、移動元サーバ10の仮想マシン14のプロセッサ状態を再現すべく、仮想マシン24のプロセッサ状態が設定されると共に、仮想マシン24が起動される。一方、移動元サーバ10では、仮想マシン14が削除される。
When the transfer of the overwrite area from the
よって、ハイパーバイザ12及び22とPCI Expressスイッチ30とが協働することで、I/Oデバイス40を直接制御する仮想マシン14を稼動させたまま、仮想マシン14を移動元サーバ20から移動先サーバ20に移動させることができる。
Therefore, the
なお、前記実施形態で説明したコンピュータシステムは、2台のサーバを備えているが、3台以上のサーバを備えていてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
The computer system described in the above embodiment includes two servers, but may include three or more servers.
Regarding the above embodiment, the following additional notes are disclosed.
(付記1)仮想マシンが稼動する複数のサーバと入出力デバイスとをスター型接続方式で接続するバススイッチであって、前記入出力デバイスから一のサーバへのメモリアクセス要求を複製して、複数のサーバに同一内容のメモリアクセス要求を送信する複製ユニットと、第1の指定アドレス領域に対するメモリアクセス要求を抑止する抑止ユニットと、前記複製ユニットにより複製されるメモリアクセス要求のうち、割込みに係るメモリアクセス要求を複製対象から除外する複製除外ユニットと、を含むことを特徴とするバススイッチ。 (Appendix 1) A bus switch for connecting a plurality of servers on which a virtual machine operates and input / output devices in a star connection method, and copying a plurality of memory access requests from the input / output devices to one server. A replication unit that transmits a memory access request having the same content to the server of the server, a suppression unit that suppresses a memory access request for the first designated address area, and a memory related to an interrupt among the memory access requests replicated by the replication unit And a duplication exclusion unit for excluding access requests from duplication targets.
(付記2)前記抑止ユニットは、前記入出力デバイスから一のサーバへのメモリアクセス要求を到着順にキューに順次蓄積することで、前記メモリアクセス要求を抑止することを特徴とする付記1記載のバススイッチ。 (Supplementary note 2) The bus according to Supplementary note 1, wherein the inhibition unit inhibits the memory access request by sequentially accumulating memory access requests from the input / output device to one server in a queue in the order of arrival. switch.
(付記3)前記複製除外ユニットは、第2の指定アドレス領域に対するメモリアクセス要求を複製対象から除外することを特徴とする付記1又は付記2に記載のバススイッチ。 (Supplementary note 3) The bus switch according to Supplementary note 1 or 2, wherein the duplication exclusion unit excludes a memory access request for the second designated address area from a duplication target.
(付記4)前記複製除外ユニットは、第2の指定アドレス領域以外に対するメモリアクセス要求を複製対象から除外することを特徴とする付記1又は付記2に記載のバススイッチ。 (Supplementary note 4) The bus switch according to Supplementary note 1 or Supplementary note 2, wherein the replication exclusion unit excludes a memory access request for a region other than the second designated address area from a replication target.
(付記5)前記複製除外ユニットは、前記一のサーバからのコンフィグレーション設定動作を監視し、割込みに係るメモリアクセス要求を処理するアドレス領域を検出し、検出されたアドレス領域に対するメモリアクセス要求を複製対象から除外することを特徴とする付記1又は付記2に記載のバススイッチ。 (Supplementary Note 5) The duplication exclusion unit monitors a configuration setting operation from the one server, detects an address area for processing a memory access request related to an interrupt, and duplicates a memory access request for the detected address area. The bus switch according to appendix 1 or appendix 2, wherein the bus switch is excluded from the target.
(付記6)仮想マシンが稼動する複数のサーバと入出力デバイスとをスター型接続方式で接続するバススイッチと、前記バススイッチを制御する制御手段と、を含み、前記バススイッチは、前記入出力デバイスから一のサーバへのメモリアクセス要求を複製して、複数のサーバに同一内容のメモリアクセス要求を送信する複製ユニットと、第1の指定アドレス領域に対するメモリアクセス要求を抑止する抑止ユニットと、前記複製ユニットにより複製されるメモリアクセス要求のうち、割込みに係るメモリアクセス要求を複製対象から除外する複製除外ユニットと、を備える一方、前記制御手段は、前記仮想マシンの移動指示があったときに、前記メモリアクセス要求が移動元サーバ及び移動先サーバに送信されるように前記複製ユニットを制御した後、前記移動元サーバの仮想マシンが使用していたメモリの内容を移動先サーバに転送している間に、転送中のメモリアドレス領域に対するメモリアクセス要求が抑止されるように前記抑止ユニットを制御すると共に、割込みに係るメモリアクセス要求が複製対象から除外されるように前記複製除外ユニットを制御することを特徴とするコンピュータシステム。 (Supplementary Note 6) A bus switch that connects a plurality of servers on which a virtual machine operates and an input / output device in a star connection method, and a control unit that controls the bus switch, the bus switch including the input / output A replication unit that replicates a memory access request from a device to one server and transmits a memory access request having the same content to a plurality of servers; a suppression unit that suppresses a memory access request for a first designated address area; Among the memory access requests replicated by the replication unit, a replication exclusion unit that excludes the memory access request related to the interrupt from the replication target, while the control means, when there is an instruction to move the virtual machine, The duplication unit is set so that the memory access request is transmitted to the source server and the destination server The control unit controls the memory access request to the memory address area being transferred while transferring the memory contents used by the virtual machine of the source server to the destination server. And controlling the duplication exclusion unit so that the memory access request related to the interrupt is excluded from the duplication target.
(付記7)仮想マシンが稼動する複数のサーバと入出力デバイスとの間に介在し、前記入出力デバイスから一のサーバへのメモリアクセス要求を複製して、複数のサーバに同一内容のメモリアクセス要求を送信する複製ユニットと、第1の指定アドレスに対するメモリアクセス要求を抑止する抑止ユニットと、前記複製ユニットにより複製されるメモリアクセス要求のうち、割込みに係るメモリアクセス要求を複製対象から除外する複製除外ユニットと、を備えたバススイッチを制御するコンピュータが、前記仮想マシンの移動指示があったときに、前記メモリアクセス要求が移動元サーバ及び移動先サーバに送信されるように前記複製ユニットを制御するステップと、前記移動元サーバの仮想マシンが使用していたメモリの内容を移動先サーバに転送している間に、転送中のメモリアドレス領域に対するメモリアクセス要求が抑止されるように前記抑止ユニットを制御するステップと、割込みに係るメモリアクセス要求が複製対象から除外されるように前記複製除外ユニットを制御するステップと、を実行することを特徴とするコンピュータシステムの管理方法。 (Supplementary note 7) Intervening between a plurality of servers on which a virtual machine operates and input / output devices, copying memory access requests from the input / output devices to one server, and accessing the same contents to the plurality of servers A replication unit that transmits a request; a suppression unit that suppresses a memory access request for a first designated address; and a replication that excludes a memory access request related to an interrupt from replication targets among memory access requests that are replicated by the replication unit The computer that controls the bus switch including the exclusion unit controls the replication unit so that the memory access request is transmitted to the migration source server and the migration destination server when the virtual machine migration instruction is issued. And the contents of the memory used by the virtual machine of the source server Controlling the suppression unit so that a memory access request to the memory address area being transferred is suppressed during transfer to the memory, and the memory access request related to the interrupt is excluded from the replication target And a step of controlling the duplication exclusion unit.
(付記8)仮想マシンが稼動する複数のサーバと入出力デバイスとの間に介在し、前記入出力デバイスから一のサーバへのメモリアクセス要求を複製して、複数のサーバに同一内容のメモリアクセス要求を送信する複製ユニットと、第1の指定アドレスに対するメモリアクセス要求を抑止する抑止ユニットと、前記複製ユニットにより複製されるメモリアクセス要求のうち、割込みに係るメモリアクセス要求を複製対象から除外する複製除外ユニットと、を備えたバススイッチを制御するコンピュータに、前記仮想マシンの移動指示があったときに、前記メモリアクセス要求が移動元サーバ及び移動先サーバに送信されるように前記複製ユニットを制御するステップと、前記移動元サーバの仮想マシンが使用していたメモリの内容を移動先サーバに転送している間に、転送中のメモリアドレス領域に対するメモリアクセス要求が抑止されるように前記抑止ユニットを制御するステップと、割込みに係るメモリアクセス要求が複製対象から除外されるように前記複製除外ユニットを制御するステップと、を実現させるためのコンピュータシステムの管理プログラム。 (Appendix 8) Intervening between a plurality of servers on which a virtual machine operates and an input / output device, copying a memory access request from the input / output device to one server, and accessing the plurality of servers with the same contents A replication unit that transmits a request; a suppression unit that suppresses a memory access request for a first designated address; and a replication that excludes a memory access request related to an interrupt from replication targets among memory access requests that are replicated by the replication unit The replication unit is controlled so that the memory access request is transmitted to the migration source server and the migration destination server when the computer that controls the bus switch including the exclusion unit is instructed to migrate the virtual machine. And the contents of the memory used by the virtual machine of the source server Controlling the suppression unit so that a memory access request to the memory address area being transferred is suppressed during transfer to the memory, and the memory access request related to the interrupt is excluded from the replication target And a step of controlling the duplication exclusion unit.
10 サーバ(移動元サーバ)
12 ハイパーバイザ
14 仮想マシン
18 VMメモリ
20 サーバ(移動先サーバ)
22 ハイパーバイザ
24 仮想マシン
28 VMメモリ
30 PCI Expressスイッチ
30F パケット複製ユニット
30G 出力抑止ユニット
30H 複製除外ユニット
40 I/Oデバイス
10 server (source server)
12 Hypervisor 14
22
Claims (5)
前記入出力デバイスから一のサーバへのメモリアクセス要求を複製して、複数のサーバに同一内容のメモリアクセス要求を送信する複製ユニットと、
第1の指定アドレス領域に対するメモリアクセス要求を抑止する抑止ユニットと、
前記複製ユニットにより複製されるメモリアクセス要求のうち、割込みに係るメモリアクセス要求を複製対象から除外する複製除外ユニットと、
を含むことを特徴とするバススイッチ。 A bus switch that connects multiple servers running virtual machines and input / output devices using a star connection method.
A replication unit that replicates a memory access request from the input / output device to one server and transmits the same memory access request to a plurality of servers;
A deterrence unit for deterring memory access requests to the first designated address area;
Among the memory access requests replicated by the replication unit, a replication exclusion unit that excludes memory access requests related to interrupts from replication targets;
A bus switch comprising:
前記バススイッチを制御する制御手段と、
を含み、
前記バススイッチは、前記入出力デバイスから一のサーバへのメモリアクセス要求を複製して、複数のサーバに同一内容のメモリアクセス要求を送信する複製ユニットと、第1の指定アドレス領域に対するメモリアクセス要求を抑止する抑止ユニットと、前記複製ユニットにより複製されるメモリアクセス要求のうち、割込みに係るメモリアクセス要求を複製対象から除外する複製除外ユニットと、を備える一方、
前記制御手段は、前記仮想マシンの移動指示があったときに、前記メモリアクセス要求が移動元サーバ及び移動先サーバに送信されるように前記複製ユニットを制御した後、前記移動元サーバの仮想マシンが使用していたメモリの内容を移動先サーバに転送している間に、転送中のメモリアドレス領域に対するメモリアクセス要求が抑止されるように前記抑止ユニットを制御すると共に、割込みに係るメモリアクセス要求が複製対象から除外されるように前記複製除外ユニットを制御すること
を特徴とするコンピュータシステム。 A bus switch that connects multiple servers running virtual machines and input / output devices in a star connection method;
Control means for controlling the bus switch;
Including
The bus switch replicates a memory access request from the input / output device to one server and transmits a memory access request having the same contents to a plurality of servers, and a memory access request for a first designated address area A suppression unit that suppresses and a replication exclusion unit that excludes memory access requests related to interrupts from replication targets among memory access requests replicated by the replication unit,
The control unit controls the replication unit so that the memory access request is transmitted to the movement source server and the movement destination server when an instruction to move the virtual machine is given, and then the virtual machine of the movement source server. While the contents of the memory used by the server are being transferred to the destination server, the control unit is controlled so that the memory access request for the memory address area being transferred is suppressed, and the memory access request related to the interrupt The computer system is characterized in that the duplication exclusion unit is controlled so as to be excluded from duplication targets.
前記仮想マシンの移動指示があったときに、前記メモリアクセス要求が移動元サーバ及び移動先サーバに送信されるように前記複製ユニットを制御するステップと、前記移動元サーバの仮想マシンが使用していたメモリの内容を移動先サーバに転送している間に、転送中のメモリアドレス領域に対するメモリアクセス要求が抑止されるように前記抑止ユニットを制御するステップと、割込みに係るメモリアクセス要求が複製対象から除外されるように前記複製除外ユニットを制御するステップと、
を実行することを特徴とするコンピュータシステムの管理方法。 It is interposed between a plurality of servers on which a virtual machine operates and input / output devices, replicates memory access requests from the input / output devices to one server, and transmits memory access requests having the same contents to the plurality of servers. A duplication unit; a deterrence unit that inhibits a memory access request for the first designated address; and a duplication exclusion unit that excludes a memory access request related to an interrupt from duplication targets among memory access requests duplicated by the duplication unit; A computer that controls the bus switch with
A step of controlling the replication unit so that the memory access request is transmitted to a source server and a destination server when there is an instruction to move the virtual machine, and the virtual machine of the source server uses Controlling the suppression unit so that a memory access request for the memory address area being transferred is suppressed while transferring the contents of the memory to the destination server, and the memory access request related to the interrupt is a replication target. Controlling the replication exclusion unit to be excluded from;
The management method of the computer system characterized by performing this.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106365A JP5218252B2 (en) | 2009-04-24 | 2009-04-24 | Bus switch, computer system and computer system management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106365A JP5218252B2 (en) | 2009-04-24 | 2009-04-24 | Bus switch, computer system and computer system management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010257209A true JP2010257209A (en) | 2010-11-11 |
JP5218252B2 JP5218252B2 (en) | 2013-06-26 |
Family
ID=43318043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009106365A Active JP5218252B2 (en) | 2009-04-24 | 2009-04-24 | Bus switch, computer system and computer system management method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5218252B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100211717A1 (en) * | 2009-02-19 | 2010-08-19 | Hitachi, Ltd. | Computer system, method of managing pci switch, and management server |
JP2011221945A (en) * | 2010-04-14 | 2011-11-04 | Hitachi Ltd | Data transfer device, computer system and memory copy device |
WO2012104940A1 (en) * | 2011-02-04 | 2012-08-09 | パナソニック株式会社 | Virtual computer system, shared device control method, program, and integrated circuit |
JP2012215987A (en) * | 2011-03-31 | 2012-11-08 | Fujitsu Ltd | Computer system and i/o switch |
JP2013515303A (en) * | 2010-11-29 | 2013-05-02 | ▲ホア▼▲ウェイ▼技術有限公司 | Method and system for virtual storage migration and virtual machine monitor |
JP2015153279A (en) * | 2014-02-18 | 2015-08-24 | 三菱電機株式会社 | plant control device |
US9396022B2 (en) | 2014-02-19 | 2016-07-19 | Fujitsu Limited | Information processing system |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03184128A (en) * | 1989-12-13 | 1991-08-12 | Yokogawa Electric Corp | Duplex computer system |
JPH10508967A (en) * | 1995-09-01 | 1998-09-02 | イーエムシー コーポレイション | System and method for on-line, real-time, data transfer technical field |
JPH11184799A (en) * | 1997-12-19 | 1999-07-09 | Toshiba Corp | Method for transferring memory data and device therefor |
JP2002521765A (en) * | 1998-07-29 | 2002-07-16 | ユニシス コーポレイシヨン | Method and apparatus for processing a request for management of a distributed network application executing in a clustered computing environment |
JP2004227534A (en) * | 2003-01-17 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | Server system, and error shielding method for mediating apparatus and client type server system |
JP2005327279A (en) * | 2004-05-11 | 2005-11-24 | Internatl Business Mach Corp <Ibm> | System, method and program for migrating virtual computer |
JP2007086963A (en) * | 2005-09-21 | 2007-04-05 | Hitachi Ltd | Computer system and i/o bridge |
JP2008021252A (en) * | 2006-07-14 | 2008-01-31 | Hitachi Ltd | Computer system and address allocating method |
JP2008523520A (en) * | 2004-12-14 | 2008-07-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Operating system migration with minimal storage area network reconfiguration |
-
2009
- 2009-04-24 JP JP2009106365A patent/JP5218252B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03184128A (en) * | 1989-12-13 | 1991-08-12 | Yokogawa Electric Corp | Duplex computer system |
JPH10508967A (en) * | 1995-09-01 | 1998-09-02 | イーエムシー コーポレイション | System and method for on-line, real-time, data transfer technical field |
JPH11184799A (en) * | 1997-12-19 | 1999-07-09 | Toshiba Corp | Method for transferring memory data and device therefor |
JP2002521765A (en) * | 1998-07-29 | 2002-07-16 | ユニシス コーポレイシヨン | Method and apparatus for processing a request for management of a distributed network application executing in a clustered computing environment |
JP2004227534A (en) * | 2003-01-17 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | Server system, and error shielding method for mediating apparatus and client type server system |
JP2005327279A (en) * | 2004-05-11 | 2005-11-24 | Internatl Business Mach Corp <Ibm> | System, method and program for migrating virtual computer |
JP2008523520A (en) * | 2004-12-14 | 2008-07-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Operating system migration with minimal storage area network reconfiguration |
JP2007086963A (en) * | 2005-09-21 | 2007-04-05 | Hitachi Ltd | Computer system and i/o bridge |
JP2008021252A (en) * | 2006-07-14 | 2008-01-31 | Hitachi Ltd | Computer system and address allocating method |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100211717A1 (en) * | 2009-02-19 | 2010-08-19 | Hitachi, Ltd. | Computer system, method of managing pci switch, and management server |
US8533381B2 (en) * | 2009-02-19 | 2013-09-10 | Hitachi, Ltd. | Computer system, method of managing PCI switch, and management server |
JP2011221945A (en) * | 2010-04-14 | 2011-11-04 | Hitachi Ltd | Data transfer device, computer system and memory copy device |
JP2013515303A (en) * | 2010-11-29 | 2013-05-02 | ▲ホア▼▲ウェイ▼技術有限公司 | Method and system for virtual storage migration and virtual machine monitor |
US9411620B2 (en) | 2010-11-29 | 2016-08-09 | Huawei Technologies Co., Ltd. | Virtual storage migration method, virtual storage migration system and virtual machine monitor |
WO2012104940A1 (en) * | 2011-02-04 | 2012-08-09 | パナソニック株式会社 | Virtual computer system, shared device control method, program, and integrated circuit |
US9009509B2 (en) | 2011-02-04 | 2015-04-14 | Panasonic Intellectual Property Corporation Of America | Virtual computer system, device sharing control method, computer-readable recording medium, and integrated circuit |
JP5830038B2 (en) * | 2011-02-04 | 2015-12-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Virtual computer system, device sharing control method, program, and integrated circuit |
JP2012215987A (en) * | 2011-03-31 | 2012-11-08 | Fujitsu Ltd | Computer system and i/o switch |
US8966480B2 (en) | 2011-03-31 | 2015-02-24 | Fujitsu Limited | System for migrating a virtual machine between computers |
JP2015153279A (en) * | 2014-02-18 | 2015-08-24 | 三菱電機株式会社 | plant control device |
US9396022B2 (en) | 2014-02-19 | 2016-07-19 | Fujitsu Limited | Information processing system |
Also Published As
Publication number | Publication date |
---|---|
JP5218252B2 (en) | 2013-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5218252B2 (en) | Bus switch, computer system and computer system management method | |
JP5116497B2 (en) | Information processing system, I / O switch, and I / O path replacement processing method | |
US8949498B2 (en) | Interrupt handling in a virtual machine environment | |
EP3985504B1 (en) | Virtual machine migration | |
JP5262404B2 (en) | COMPOUND COMPUTER AND METHOD FOR CONTROLLING COMPOSITE COMPUTER | |
US20170147456A1 (en) | PCIe NETWORK SYSTEM WITH FAIL-OVER CAPABILITY AND OPERATION METHOD THEREOF | |
JP5583849B2 (en) | Out-of-band access to storage via port-sharing hardware | |
WO2015068239A1 (en) | Computer system and data control method | |
US20120084782A1 (en) | Method and Apparatus for Efficient Memory Replication for High Availability (HA) Protection of a Virtual Machine (VM) | |
JP2007286946A (en) | Computer system, access control method and management computer | |
US9811404B2 (en) | Information processing system and method | |
JP2008225753A (en) | Computer system, access control method and management computer | |
US11861390B1 (en) | Transparent disk caching for virtual machines | |
JP5561334B2 (en) | Data transfer device | |
JP2004234114A (en) | Computer system, computer device, and method and program for migrating operating system | |
US11336725B2 (en) | Communication apparatus, communication method, and computer program product | |
US10565135B2 (en) | Information processing device, information processing method, main processor core, program, information processing method, and sub processor core | |
EP2785018A2 (en) | Information processing device, transmission control method, and transmission control program | |
US11625199B2 (en) | Communication apparatus, communication method, and computer program product | |
US20170366638A1 (en) | Method of controlling a virtual machine, information processing apparatus and non-transitory computer-readable storage medium | |
US20140052947A1 (en) | Data storage device and method of controlling data storage device | |
JP5636695B2 (en) | Fault tolerant system and virtual machine construction method | |
JP6787475B2 (en) | Communication equipment, systems, rollback methods and programs | |
JP2011159165A (en) | Parallel computer system and method and program for controlling the same | |
JP2021082182A (en) | Information processing system, storage control program, and storage control apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5218252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |