JP2013519170A - ゲストローカル割込みコントローラを仮想化するように構成されたプロセッサ - Google Patents
ゲストローカル割込みコントローラを仮想化するように構成されたプロセッサ Download PDFInfo
- Publication number
- JP2013519170A JP2013519170A JP2012552140A JP2012552140A JP2013519170A JP 2013519170 A JP2013519170 A JP 2013519170A JP 2012552140 A JP2012552140 A JP 2012552140A JP 2012552140 A JP2012552140 A JP 2012552140A JP 2013519170 A JP2013519170 A JP 2013519170A
- Authority
- JP
- Japan
- Prior art keywords
- interrupt
- guest
- processor
- access
- apic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/24—Handling requests for interconnection or transfer for access to input/output bus using interrupt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
Abstract
一実施形態では、ハードウェア・プロセッサにおけるゲスト割込み制御ユニットは、仮想プロセッサに対応する記憶域に割込みが記録されていることを検出するように構成されてもよく、その割込みはその仮想プロセッサを対象とする。ハードウェア・プロセッサ上でアクティブである仮想プロセッサに応答して、ゲスト割込み制御ユニットは、その仮想プロセッサを含むゲストへの割込みを提供するように構成される。一実施形態では、プロセッサは、ゲストからの命令を実行するように構成され、そのプロセッサは、そのゲストにおける仮想プロセッサに関連付けられた割込みコントローラ状態データにアクセスする命令を検出するように構成され、かつ、そのプロセッサは、その命令に応答して仮想プロセッサに対応する割込みコントローラ状態データを格納する記憶域にアクセスするように構成される。
【選択図】図3
【選択図】図3
Description
この発明は、プロセッサ及び仮想化に関し、より詳細には、仮想マシンゲストへの割込みを送達することに関する。
仮想化は、種々の異なる目的のためにコンピュータ・システムで用いられている。例えば、仮想化は、仮想マシンを制御する仮想マシン・マネージャ(virtual machine manager)(VMM)によって最初に許可されることなしに、特権付きソフトウェアが、物理マシン状態のうちの少なくとも幾つかに直接アクセスするか、及び/又は、物理マシン状態のうちの少なくとも幾つかを変化させるのを防ぐために、「コンテナ」の中の特権付きソフトウェアを実行するのに用いることができる。こうしたコンテナは、「バグだらけの(buggy)」又は悪意のあるソフトウェアが物理マシン上で問題を引き起こすのを防ぐことができる。加えて、仮想化は、2つ以上の特権付きプログラムを同じ物理マシン上で同時に実行するために用いることができる。特権付きプログラムは、物理マシンへのアクセスが制御されるので、互いに干渉し合うのを防ぐことができる。特権付きプログラムは、オペレーティング・システムを含んでもよく、且つまた、ソフトウェアを実行するハードウェア上で、該ハードウェアのフル制御(full control)を有することを期待する他のソフトウェアを含んでもよい。別の例では、仮想化は、特権付きプログラムによって当てにされるハードウェアとは異なるハードウェア上で特権付きプログラムを実行するのに用いることができる。
一般に、プロセッサ又はコンピュータ・システムの仮想化は、仮想マシン(上述のコンテナ)へのアクセスを1つ又は複数の特権付きプログラムに提供することを含み得、特権付きプログラムは斯かる仮想マシンに対するフル制御を有するが、物理マシンの制御はVMMによって保たれる。仮想マシンは、プロセッサ(単数又は複数)、メモリ、及び特権付きプログラムが実行されるマシン内で見つけ出すことを期待する種々の周辺デバイスを含み得る。仮想マシン要素は、VMMが、仮想マシンに少なくとも一時的に割り当てるハードウェアによって実装される場合があり、及び/又は、ソフトウェアでエミュレートされる場合がある。各特権付きプログラム(及び幾つかの場合には、オペレーティング・システム上で実行するアプリケーションのような関連するソフトウェア)は、本明細書ではゲストと呼ばれる場合がある。仮想化は、VMM及びその仮想マシンが実行される物理マシンにおけるいかなる特定のハードウェア仮想化支援もなしに、ソフトウェア(例えば上述のVMM)で実装される場合がある。しかしながら、仮想化は、簡略化されてもよく、及び/又は、何らかのハードウェア支援が提供される場合に、より高い性能を達成するものであってもよい。
仮想化に付随して起こる可能性がある1つの問題は、割込み送達の待ち時間である。前述のように、周辺デバイスは、仮想マシンによる使用のために(仮想マシンの仮想周辺デバイスとして作用するように)割り当てることができる。こうした周辺デバイスは、仮想マシンのソフトウェアによって処理されるべき割込みを発生させることがある。仮想化されていない環境では、割込み処理の待ち時間は比較的短い可能性がある。仮想化された環境では、割込みは、一般に、ある種のソフトウェア機構を用いてVMMによって横取りされ、VMMによって処理され、VMMによって対象となる仮想マシンに送達される。しかしながら、割込み処理の待ち時間は、仮想化されない環境よりもかなり多い(例えば約100倍長い)可能性がある。周辺デバイスにより発生した割込み(本明細書では、より簡潔に「デバイス割込み」)に加えて、プロセッサが、プロセッサ間の割込み(interprocessor interrupt(IPI))を発生させることがある。仮想マシンでは、IPIは、仮想プロセッサ(すなわちvCPU)とその仮想マシンにおける別のvCPUとの間で発生する可能性がある。vCPUは、所与のゲストの仮想マシンに含まれるように定義されるプロセッサである。ゲストには少なくとも1つのvCPUが存在するが、多重処理ゲストのための複数のvCPUが存在する場合がある。
一実施形態では、ハードウェア・プロセッサにおけるゲスト割込み制御ユニットは、仮想プロセッサに対応する記憶域に割込みが記録されていることを検出するように構成されてもよく、前記割込みは、前記仮想プロセッサを対象とする。ハードウェア・プロセッサ上でアクティブである仮想プロセッサに応答して、ゲスト割込み制御ユニットは、前記仮想プロセッサを含むゲストへの割込みを提供するように構成される。
一実施形態では、プロセッサは、ゲストからの命令を実行するように構成され、前記プロセッサは、前記ゲストにおける仮想プロセッサに関連付けられた割込みコントローラ状態データにアクセスする命令を検出するように構成され、かつ、前記プロセッサは、前記命令に応答して仮想プロセッサに対応する割込みコントローラ状態データを格納する記憶域にアクセスするように構成される。
以下の詳細な説明は、ここで簡単に説明される付属の図面を参照するものである。
本発明は種々の修正及び代替的形態の余地があるが、その具体的な実施形態が例として図面に示され、本明細書で詳細に説明されるであろう。しかしながら、図面及びその詳細な説明は、開示された特定の形態に本発明を限定することを意図されないが、これに対して、本発明は、付属の請求項によって定義される場合の本発明の精神及び範囲内に入るすべての修正、均等物、及び変形を包含することを意図されることを理解されたい。本明細書で用いられる見出しは、系統立てる目的のみであって、説明の範囲を制限するために用いられるように意図されるものではない。本出願の全体を通して用いられる場合の「〜であってもよい、〜の可能性がある、〜の場合がある」という言葉は、義務付けの意味(すなわち、しなければならないという意味)ではなく、許容の意味で用いられる(すなわち、可能性を有することを意味する)。同様に、「〜を含む(include、includes)」、「〜を含んでいる」という言葉は、〜を含むがこれに限定されないことを意味する。
種々のユニット、回路、又は他のコンポーネントが、1つ又は複数のタスクを行う「ように構成される」として説明される場合がある。このような文脈では、「ように構成される」は、動作中に、1つ又は複数のタスクを行う「回路を有する」ことを概して意味する構造体の広い列挙である。したがって、ユニット/回路/コンポーネントは、ユニット/回路/コンポーネントが現在オンではないときであってもタスクを行うように構成することができる。一般に、「ように構成される」に対応する構造体を形成する回路は、動作を実装するためにハードウェア回路を含んでもよい。同様に、種々のユニット/回路/コンポーネントは、説明の便宜のために、1つ又は複数のタスクを行うとして説明される場合がある。こうした説明は、「するように構成される」というフレーズを含むとして解釈されるべきである。幾つかの場合には、1つ又は複数のタスクを行うように構成される回路は、動作を実装するために実行可能なプログラム命令を格納するメモリを含んでもよい。メモリは、静的又は動的ランダムアクセスメモリのような揮発性メモリ、及び/又は光又は磁気ディスク記憶装置、フラッシュメモリ、プログラム可能読出し専用メモリなどのような不揮発性メモリを含むことができる。1つ又は複数のタスクを行うように構成されるユニット/回路/コンポーネントの列挙は、該ユニット/回路/コンポーネントに対して35U.S.C.§112、パラグラフ6の解釈を行使しないことを明確に意図される。
一実施形態では、コンピュータ・システムは、VMMと仮想マシン内で実行する1つ又は複数のゲストとを含む。周辺デバイスは、(例えばゲストの仮想マシンにおける対応する仮想周辺デバイスとして動作するように)ゲストに割り当てられてもよい。代替的に、周辺デバイスは、仮想機能をサポートしてもよく、仮想機能は、ゲストに割り当てられてもよい。周辺デバイスは、ゲストに送達されるべきデバイス割込みを発生させてもよい。デバイス割込みマネージャは、(もしあるとしたらVMM又はVMMを実行するホストソフトウェアを対象とするホスト割込みとは対照的に)デバイス割込みがゲストを対象とすることを検出するように構成されてもよい。より詳細には、デバイス割込みマネージャは、ゲストの仮想マシン内のどのvCPUが割込みの対象にされるかを検出するように構成されてもよい。デバイス割込みマネージャは、ゲスト割込みコントローラのデータ構造に割込みを記録するように構成されてもよい。対象にされたvCPUがコンピュータ・システムにおけるハードウェア・プロセッサ上で現在実行中である場合、ハードウェア・プロセッサは、ゲスト割込みを検出してもよく、且つ割込みのサービスのためにゲスト/vCPUをリダイレクトしてもよい。
例えば、デバイス割込みマネージャは、データ構造に新しいゲスト割込みが記録されていることを示すために、ハードウェア・プロセッサにメッセージを送信してもよい。メッセージに応答して、ハードウェア・プロセッサは、ゲスト割込みデータ構造を読み出し、データ構造に記録された他の保留中の割込み(もしあるとしたら)と共に割込みに優先順位をつけてもよい。優先順位付けに基づいて、ハードウェア・プロセッサは、割込みを送達するか、又は、1つもしくは複数のより高い優先度の割込みの完了及び/又はより高い優先度のプロセスの完了を待ってもよい。別の例では、ハードウェア・プロセッサは、データ構造に割込みが記録されていることを検出するために、対応するゲストvCPUの実行中にゲスト割込みデータ構造(又はゲスト割込みデータ構造内の領域)を監視するように構成されてもよい。データ構造の更新の検出に応答して、ハードウェア・プロセッサは、データ構造を読み出し、上述のように割込みを送達してもよい。
一実施形態では、ハードウェア・プロセッサは、ゲスト割込みに対する上記の動作のプロセッサ部分を実装するように構成されるゲスト割込み制御ユニットを含んでもよい。加えて、ゲスト割込み制御ユニットは、vCPUの割込みコントローラへのゲストアクセスが、ハードウェア・プロセッサに結合されてもよいホスト割込みコントローラを通じてではなくゲスト割込みデータ構造を通じて処理されることを保証してもよい。すなわち、ゲストにおける割込みコントローラアクセスは、ゲスト割込みデータ構造内でメモリアクセスに変換されてもよい。したがって、ゲスト割込み制御ユニットは、ゲスト割込み制御ユニットの仮想化及びエミュレートに関与してもよい。一実装では、ゲスト割込み制御ユニットは、少なくとも部分的にマイクロコードに実装されてもよい。マイクロコードは、プロセッサ内の不揮発性メモリに格納され、或る命令又は他の動作の検出に応答してプロセッサ回路によって呼び出され、マイクロコード・ルーチンを介して実施される命令であってもよい。マイクロコードは、したがって、実施される動作を行うべくプロセッサでの実行のためにディスパッチされてもよい。幾つかの実施形態では、ゲスト割込み制御ユニットは、主としてマイクロコードに実装されてもよい。他の実施形態では、ゲスト割込み制御ユニットは、ハードウェアに実装されてもよい。
vCPU割込みコントローラへのゲストアクセスは、割込みコントローラにおけるレジスタの読出し/書込みを含んでもよい。一実施形態では、割込みコントローラにおける1つ又は複数のレジスタの書込みは、IPIをトリガしてもよい。プロセッサにおけるゲスト割込み制御ユニットは、IPIを引き起こすゲストにおける書込みに応答して、対象vCPUへのIPIを開始してもよい。ゲストIPIは、IPIを記録するために対象vCPUに関連付けられたデータ構造を更新することを含んでもよい。一般に、IPIは、プロセッサによって又はより詳細にはプロセッサ上で実行するソフトウェアによって生じる割込みであってもよい。IPIは、時にはソーシング・プロセッサを含むシステムにおける1つ又は複数のプロセッサを対象にしてもよい。したがって、IPIは、あるプロセッサ上で実行するソフトウェアが、別のプロセッサ上で実行するソフトウェアに割込むための機構であってもよい。IPIは、異なるプロセッサ上で実行するスレッドの間でメッセージを渡すため、元々は1つのプロセッサを対象とする割込みを別のプロセッサに伝えるためなどに用いられてもよい。
プロセッサ又はvCPUは、プロセッサ/vCPUに関連付けられた割込みコントローラによって割込みが受信されることになる場合に、割込みの対象にされてもよい。プロセッサ/vCPUは、必ずしも割込みを処理しなくてもよいが、割込みを処理するための候補であってもよく、どのプロセッサ(単数又は複数)/vCPU(単数又は複数)が割込みを処理することになるかを判定することに関与してもよい。割込みは、その対象(単数又は複数)(例えば物理又は論理IDを伴う)を明示的に指定してもよく、又はすべてのプロセッサ/vCPUを対象とするブロードキャスト割込みであってもよい。一般に、割込みは、対象プロセッサに関連付けられた割込みコントローラがそのプロセッサに送達するための割込みを記録した場合に、「受付けられた(accepted)」と呼ばれてもよい。すなわち、受付け後の或る時点で、割込みがプロセッサに送達されるであろう。割込みをサービスするためにプロセッサに割込むことは、「割込みの送達」と呼ばれてもよい。vCPU及び/又は対応する仮想割込みコントローラ及び/又はそのペアは、本明細書ではより簡潔にゲスト内の割込みの宛先と呼ばれてもよい。宛先は、最終的には割込みをサービスするvCPUであってもよいが、対応する仮想割込みコントローラはまた、それが対応するプロセッサに関連付けられ及び割込みを記録するので、宛先とみなされてもよい。
コンピュータ・システムは、少なくとも1つのホスト割込みコントローラを含んでもよい。ホスト割込みコントローラは、ホスト(例えば、仮想化された環境における仮想マシン・マネージャ、すなわちVMM、及び/又は、幾つかの実施形態ではVMMを上で走らせてもよいホストOSのような他のソフトウェア)によってサービスされるべき割込みを管理してもよい。こうした割込みは、例えば、システム上で実行されるゲストに割り当てられていない、コンピュータ・システムにおけるデバイスからの割込み、VMMがゲストに露出することを望まないシステムレベルの割込みなどを含んでもよい。上記のゲスト割込み動作は、ゲストによってサービスされるべき割込み(「ゲスト割込み」)を管理するのに用いられてもよい。ゲスト割込みは、例えば、ゲストの仮想マシンに対するデバイスの機能を提供するためにゲストに割り当てられるデバイスによって発行された割込み又はゲスト内の1つのvCPUから別のvCPUに発行されるIPIを含んでもよい。
一実施形態では、本明細書で説明されるゲスト割込み動作は、ゲスト割込みに関する減少した待ち時間につながる可能性がある。例えば、幾つかの実施形態では、ゲストデバイス割込みを送達するための待ち時間は、ホストデバイス割込みを送達するための待ち時間と類似している場合がある。ゲスト割込み待ち時間は、ホスト割込み待ち時間、同じオーダーの大きさの待ち時間などとほぼ同じであってもよい。
一実施形態では、ゲスト割込み管理の大部分は、ハードウェア・プロセッサに実装されてもよい。幾つかの実施形態では、動作のほとんどをシステムの一部分に位置付けることによって実装が簡略化されてもよい。したがって、実装は、正確である可能性が高く、幾つかの実施形態では、より迅速に完了する場合、などがある。
仮想化の概要
図1は、仮想化を実装するコンピュータ・システム5の一実施形態のブロック図を例証する。図1の実施形態では、複数のゲスト10A〜10Nが示される。ゲスト10Aは、ゲスト・オペレーティング・システム(OS)12と、ゲストOS12上で走る1つ又は複数のアプリケーション14A〜14Nとを含む。ゲスト10Nは特権付きコード16を含む。ゲスト10A〜10Nは、仮想マシン・マネージャ(VMM)18によって管理される。VMM18及びゲスト10A〜10Nは、コンピュータ・システム5に含まれる物理的ハードウェアを含んでもよいホストハードウェア20上で実行される。一実施形態では、VMM18は、一組の仮想マシン制御ブロック(VMCB)22を維持してもよい。各ゲスト10A〜10Nに対して1つのVMCB22が存在してもよい。一実施形態では、各ゲスト10A〜10Nの各vCPUに対して1つのVMCB22が存在してもよい。VMCB22は、図1の例証ではVMM18の一部として示されるが、VMCB22は、メモリに及び/又はホストハードウェア20におけるディスクドライブのような不揮発性媒体上に格納されてもよい。
図1は、仮想化を実装するコンピュータ・システム5の一実施形態のブロック図を例証する。図1の実施形態では、複数のゲスト10A〜10Nが示される。ゲスト10Aは、ゲスト・オペレーティング・システム(OS)12と、ゲストOS12上で走る1つ又は複数のアプリケーション14A〜14Nとを含む。ゲスト10Nは特権付きコード16を含む。ゲスト10A〜10Nは、仮想マシン・マネージャ(VMM)18によって管理される。VMM18及びゲスト10A〜10Nは、コンピュータ・システム5に含まれる物理的ハードウェアを含んでもよいホストハードウェア20上で実行される。一実施形態では、VMM18は、一組の仮想マシン制御ブロック(VMCB)22を維持してもよい。各ゲスト10A〜10Nに対して1つのVMCB22が存在してもよい。一実施形態では、各ゲスト10A〜10Nの各vCPUに対して1つのVMCB22が存在してもよい。VMCB22は、図1の例証ではVMM18の一部として示されるが、VMCB22は、メモリに及び/又はホストハードウェア20におけるディスクドライブのような不揮発性媒体上に格納されてもよい。
ホストハードウェア20は、一般に、コンピュータ・システム5に含まれるハードウェアのすべてを含む。種々の実施形態では、ホストハードウェア20は、1つ又は複数のプロセッサ、メモリ、周辺デバイス、及び上記のコンポーネントを結合するのに用いられる他の回路を含んでもよい。例えば、パーソナルコンピュータ(PC)型のシステムは、PCIエクスプレス・インターフェース(PCI Express Interface)のようなインターフェースを用いるノースブリッジであって、プロセッサ、メモリ、及びグラフィックスデバイスを結合するノースブリッジを含んでもよい。加えて、該ノースブリッジは、種々の周辺コンポーネントがそれに直接又は間接的に結合されてもよいペリフェラル・コンポーネント・インターフェース(peripheral component interface)(PCI)バスのようなペリフェラルバスに結合してもよい。レガシー機能を提供する及び/又はレガシーハードウェアに結合するために、サウスブリッジもまた含まれ、及びPCIバスに結合されてもよい。他の実施形態では、種々のハードウェアコンポーネントをリンクするために他の回路が用いられてもよい。例えば、ノードをリンクするためにHyperTransport(商標)(HT)リンクが用いられてもよく、該ノードの各々は、1つ又は複数のプロセッサ、ホストブリッジ、及びメモリコントローラを含んでもよい。各ノードはまた、ノースブリッジを含んでもよい。HTリンクを介して周辺デバイスにデイジーチェーンの様式で結合するために、ホストブリッジが用いられてもよい。代替的に、コンポーネントの多くは、例えば、1つ又は複数のプロセッサ、ノースブリッジ機能、及びグラフィックスデバイスを集積する単一のデバイスのような単一のデバイス上に含まれてもよい。任意の所望の回路/ホストハードウェア構造が用いられてもよい。
VMM18は、ゲスト10A〜10Nの各々のための仮想化を提供するように構成されてもよく、ホストハードウェア20へのゲスト10A〜10Nのアクセスを制御してもよい。VMM18はまた、ホストハードウェア20(及びより詳細には、1つ以上のvCPUが含まれる場合にゲスト内の複数のvCPU)上での実行のためのゲスト10A〜10Nのスケジューリングを担当してもよい。VMM18は、仮想化のためにホストハードウェア20において提供されるハードウェアサポートを用いるように構成されてもよい。例えば、プロセッサは、イベントを横取りし、及び、ゲストをハンドリングのためにVMM18に出すハードウェアを含む、仮想化のためのハードウェアサポートを提供してもよい。プロセッサにおけるデバイス割込みマネージャ、及び/又は、ゲスト割込み制御ユニットは、同様に仮想化をサポートするために提供されたハードウェアであってもよい。
幾つかの実施形態では、VMM18は、ホストハードウェア20上で実行され且つゲスト10A〜10Nのための仮想化を提供する「薄い」独立型ソフトウェアプログラムとして実装されてもよい。こうしたVMM実装は、時には「ハイパーバイザ」と呼ばれる場合がある。他の実施形態では、VMM18は、ホストOSに集積されるか、又はホストOS上で実行されてもよい。こうした実施形態では、VMM18は、ホストOSにおける任意のドライバ、システムBIOSによって提供されるプラットフォームシステム管理モード(system management mode)(SMM)コードなどを含むホストOSに頼ってもよい。したがって、ホストOSコンポーネント(及びプラットフォームSMMコードのような種々のより低レベルのコンポーネント)は、ホストハードウェア20上で直接実行され、VMM18によって仮想化されない。VMM18とホストOS(含まれる場合)は、一実施形態では合わせてホストと呼ばれる場合がある。一般に、ホストは、使用中にホストハードウェア20の直接制御下にある任意のコードを含んでもよい。例えば、ホストは、VMM18、ホストOSと組み合わされたVMM18、又はホストOS単独(例えば仮想化されない環境において)であってもよい。
種々の実施形態では、VMM18は、フル仮想化、準仮想化、又はこの両方をサポートしてもよい。さらに、幾つかの実施形態では、VMM18は、準仮想化されるゲストとフル仮想化されるゲストとを同時に実行してもよい。
フル仮想化の状態では、ゲスト10A〜10Nは、仮想化が起こっていることに気づかない。各ゲスト10A〜10Nは、その仮想マシンに一連のゼロベースのメモリを有してもよく、VMM18は、ホストの物理アドレススペースへのアクセスを制御するために、シャドウページテーブル又はネストしたページテーブルを用いてもよい。シャドウページテーブルは、ゲスト仮想アドレスからホスト物理アドレスに再マッピング(ゲスト10A〜10Nのメモリ管理ソフトウェアによって割り当てられたゲスト「物理アドレス」をホスト物理アドレスに効果的に再マッピング)してもよく、一方、ネストしたページテーブルは、ゲスト物理アドレスを入力として受信し、ホスト物理アドレスにマッピングしてもよい。各ゲスト10A〜10Nに対するシャドウページテーブル又はネストしたページテーブルを用いることで、VMM18は、ゲストがホストハードウェア20における他のゲストの物理メモリにアクセスしないことを保証してもよい。
準仮想化の状態では、ゲスト10A〜10Nは、少なくとも部分的にVM−アウェアであってもよい。こうしたゲスト10A〜10Nは、メモリページに関してVMM18と交渉してもよく、したがってゲスト物理アドレスをホスト物理アドレスに再マッピングすることは要求されない場合がある。一実施形態では、準仮想化において、ゲスト10A〜10Nは、ホストハードウェア20における周辺デバイスと直接対話することを可能にされてもよい。任意の所与の時点で、周辺デバイスは、1つ又は複数のゲスト10A〜10Nによって「所有」されてもよい。一実装では、例えば、周辺デバイスは、該周辺デバイスを現在所有する1つ又は複数のゲスト10A〜10Nと共に保護ドメインにマッピングされてもよい。周辺デバイスを所有するゲストだけが、これと直接対話してもよい。また、ある保護ドメインにおけるデバイスが別の保護ドメインにおけるゲストに割り当てられたページを読出す/書き込むのを防ぐために、保護機構が存在してもよい。代替的に、周辺デバイスは、ゲストによって所有されてもよい又はゲストがそれと対話してもよい仮想機能をサポートしてもよい。
既述のように、VMM18は、各ゲスト10A〜10N及び/又はゲストの各vCPUのためのVMCB22を維持してもよい。VMCB22は、一般に、対応するゲスト10A〜10Nに対するVMM18によって割り当てられる記憶領域に格納されるデータ構造を備えてもよい。一実施形態では、VMCB22は、メモリのページを備えてもよいが、他の実施形態は、より大きい又は小さいメモリ領域を使用してもよく、及び/又は不揮発性記憶装置のような他の媒体上の記憶装置を使用してもよい。一実施形態では、VMCB22は、ゲストのプロセッサ状態を含んでもよく、該ゲストのプロセッサ状態は、ゲストが実行されるようにスケジュールされるときにホストハードウェア20におけるプロセッサにロードされてもよく、該ゲストのプロセッサ状態は、ゲストが(そのスケジュールされた時間の完了に起因して又はゲストを終了するためにプロセッサが検出した1つ又は複数の横取りに起因して)終了するときにVMCB22に戻して格納されてもよい。幾つかの実施形態では、プロセッサ状態の一部のみが、VMCB22に対応するゲストに制御を伝送する命令(「仮想マシン実行(Virtual Machine Run)(VMRUN)」命令)を介してロードされ、他の所望の状態は、VMRUN命令を実行する前にVMM18によってロードされてもよい。同様に、こうした実施形態では、プロセッサ状態の一部のみが、ゲスト終了時にプロセッサによってVMCB22に格納されてもよく、VMM18は、必要な場合に任意の付加的な状態を格納することを担当してもよい。他の実施形態では、VMCB22は、プロセッサ状態が格納される別のメモリ領域へのポインタを含んでもよい。さらに、一実施形態では、2つ以上の終了機構が定義されてもよい。一実施形態では、格納される状態の量と、ロードされる状態の場所は、どの終了機構が選択されるかに応じて変化してもよい。
一実施形態では、VMM18はまた、VMM18に対応するプロセッサ状態を格納するために割り当てられたメモリの領域を有してもよい。VMRUNを実行するときに、VMM18に対応するプロセッサ状態が該領域に保存されてもよい。ゲストがVMM18に出るときに、VMM18が実行を継続できるように、該領域からのプロセッサ状態が該領域から再ロードされてもよい。一実装では、例えば、プロセッサは、VMM18の保存領域のアドレスを格納するために、レジスタ(例えば、モデル固有レジスタ(model specific register)、すなわちMSR)を実装してもよい。
加えて、VMCB22は、ゲストに対してイネーブル(enable)にされる横取りイベントを識別する横取り構成と、イネーブルにされた横取りイベントが検出される場合にゲストを終了するための機構を含んでもよい。一実施形態では、横取り構成は、プロセッサがサポートする各横取りイベントに対して1つの指示である、一組の横取り指示を含んでもよい。横取り指示は、プロセッサが、対応するイベントを横取りするか否か(すなわち、別の観点では、横取りがイネーブルにされるか否か)を示してもよい。本明細書で用いられるように、(もし、あるゲストにおいてあるイベントが起こったときに、プロセッサがイベントの処理のためにゲストを終了するならば)そのイベントは、そのゲストにおいて「横取り」されることになる。一実施形態では、横取り構成は、2つの終了機構のうちのどちらが用いられるかを示す指示の第2の組を含んでもよい。他の実施形態は、2つよりも多い終了機構を定義してもよい。別の実施形態では、横取り構成は、イベントに対して第1の終了機構が用いられるべきか否かを示す、1つの横取りイベントにつき1つである横取り指示の第1の組と、イベントに対して第2の終了機構が用いられるべきか否かを示す、1つの横取りイベントにつき1つである横取り指示の第2の組とを備えてもよい。
一般に、終了機構は、(概して再始動可能な方法で)ゲスト実行を終了するため及び他のコードの実行を始めるためにプロセッサによって行われる動作を定義してもよい。一実施形態では、1つの終了機構は、少量のプロセッサ状態の保存と、Minivisorのための状態のロードを含んでもよい。Minivisorは、ゲスト物理アドレススペースで実行してもよく、比較的簡単な横取り処理を行ってもよい。別の終了機構は、VMMに出て、より多量のプロセッサ状態を保存し、及びVMMのプロセッサ状態をロードしてもよい。したがって、横取りイベントは、イベントに応じて異なる命令コードによって処理されてもよい。加えて、幾つかの実施形態では、実行するのにあまり時間がかからない可能性があり性能を改善する可能性がある「より軽いウエイトの」終了機構を通じて比較的簡単な横取り処理が処理されてもよい。終了するのに「より重いウエイトの」機構が用いられた後で、より複雑な処理がVMMで行われてもよい。したがって、この実施形態では、VMM18は、ゲスト10A〜10Nが内部的に処理することをVMM18が望まないイベントを横取りするようにプロセッサを構成してもよく、且つまた、それに対して終了機構を用いるようにプロセッサを構成してもよい。イベントは、命令(すなわち、命令を実行する代わりに命令を横取りする)、割込み、例外、及び/又はゲスト実行中に起こる可能性があるあらゆる他の所望のイベントを含んでもよい。
一実施形態では、VMCB22は、VMCB22のロードによりプロセッサに或るアクションを行わせる可能性がある他の制御ビットをさらに含んでもよい。例えば、制御ビットは、プロセッサにおけるTLBをフラッシュする指示を含んでもよい。他の制御ビットは、ゲストに対する実行環境(例えば割込み処理モード、ゲストに対するアドレススペース識別子など)を指定してもよい。何故ゲストが終了したかなどを記述する終了コードを通信するために、さらに他の制御ビットが用いられてもよい。
一般に、「ゲスト」は、コンピュータ・システム5における実行のために仮想化されるべき任意の1つ又は複数のソフトウェアプログラムを備えてもよい。ゲストは、特権付きモードで実行する少なくとも幾つかのコードを含んでもよく、したがって、ゲストを実行しているコンピュータ・システムに対するフル制御を有することを期待する。既述のように、ゲスト10Aは、ゲストがゲストOS12を含む例である。ゲストOS12は、Microsoft Corp.(ワシントン州レッドモンド)から入手可能なWindows(登録商標) OS、Linux(登録商標)のような任意のUNIX(登録商標)型オペレーティング・システム、IBM Corporation(ニューヨーク州アーモンク)からのAIX、Sun Microsystems,Inc.(カリフォルニア州サンタクララ)からのSolaris、Hewlett−Packard Company(カリフォルニア州パロアルト)からのHP−UXなどのうちのいずれかのような任意のOSであってもよい。ゲスト10Nは、非OS特権付きコード16を備えるゲストの例である。
本明細書で10Nのような参照番号に用いられるときの文字「N」は、該参照番号をもつ任意の数の要素(例えば1つのゲストを含む任意の数のゲスト10A〜10N)を概して示すように意図されることに留意されたい。加えて、文字「N」を使用する異なる参照番号(例えば10N及び14N)は、他の方法で言及されない限り、同じ数の異なる要素が提供されることを示すように意図されない(例えば、ゲスト10A〜10Nの数は、アプリケーション14A〜14Nの数とは異なる場合がある)。
ホストハードウェア及び割込み仮想化
ここで図2に移ると、ホストハードウェア20の一実施形態を例証するブロック図が示される。例証された実施形態では、ホストハードウェア20は、複数のプロセッサ30A〜30B、それぞれの高度なプログラム可能割込みコントローラ(Advanced Programmable Interrupt Controller)(APIC)32A〜32B、ブリッジ36(メモリコントローラ42及び入力/出力(I/O)メモリ管理ユニット(IOMMU)40を含み、IOMMU40はデバイス割込みマネージャ38をさらに含む)、複数のインターフェース回路(IF)44A〜44C、メモリインターフェース回路(memory interface circuit)(MIF)46、I/O APIC(以下、IOAPIC)50を含んでもよい随意的なブリッジ48、周辺デバイス52A〜52B(そのうち幾つかはIOAPIC54のようなIOAPICを含んでもよい)、及びメモリ56を含む。プロセッサ30A〜30Bは、図2に例証されるように、ブリッジ36に及びそれぞれのAPIC32A〜32Bに結合される。APIC32A〜32Bは、ブリッジ36に結合され、これはインターフェース回路44A〜44C及びメモリインターフェース回路46に結合される。メモリインターフェース回路46はメモリ56に結合され、インターフェース回路44Aはブリッジ48に結合され、これは周辺デバイス52A〜52Bに結合される。
ここで図2に移ると、ホストハードウェア20の一実施形態を例証するブロック図が示される。例証された実施形態では、ホストハードウェア20は、複数のプロセッサ30A〜30B、それぞれの高度なプログラム可能割込みコントローラ(Advanced Programmable Interrupt Controller)(APIC)32A〜32B、ブリッジ36(メモリコントローラ42及び入力/出力(I/O)メモリ管理ユニット(IOMMU)40を含み、IOMMU40はデバイス割込みマネージャ38をさらに含む)、複数のインターフェース回路(IF)44A〜44C、メモリインターフェース回路(memory interface circuit)(MIF)46、I/O APIC(以下、IOAPIC)50を含んでもよい随意的なブリッジ48、周辺デバイス52A〜52B(そのうち幾つかはIOAPIC54のようなIOAPICを含んでもよい)、及びメモリ56を含む。プロセッサ30A〜30Bは、図2に例証されるように、ブリッジ36に及びそれぞれのAPIC32A〜32Bに結合される。APIC32A〜32Bは、ブリッジ36に結合され、これはインターフェース回路44A〜44C及びメモリインターフェース回路46に結合される。メモリインターフェース回路46はメモリ56に結合され、インターフェース回路44Aはブリッジ48に結合され、これは周辺デバイス52A〜52Bに結合される。
例証された実施形態では、各プロセッサ30A〜30Bは、関連付けられたAPIC32A〜32Bを有する。この実施形態では、割込みは、Intel Corporation(カリフォルニア州サンタクララ)によって記述されるAPIC仕様に従ってホストハードウェア20において通信されてもよい。例えば、参照によりその全体が本明細書に組み込まれる、Intel64及びIA−32アーキテクチャソフトウェア開発者用マニュアル(Architectures Software Developer’s Manual)、Volume3A:システムプログラミングガイド(System Programming Guide)、Part1、Chapter10(2009年12月)を参照されたい。この仕様では、各プロセッサは、(プロセッサ自体から、他のプロセッサから、内部APIC割込みソースから、及び周辺デバイスに関連付けられたIOAPICから)割込みを受ける関連付けられたローカルAPICを有する。ローカルAPICは、保留中の割込みに優先順位をつけ、プロセッサ上で進行中の別の割込みよりも高い優先度である場合に及び/又はプロセッサの現在のタスクよりも高い優先度である場合に割込みをプロセッサに送信する。本明細書では例としてAPIC仕様が用いられることになるが、他の実施形態では任意の割込み管理仕様が用いられてもよい。
図2の実施形態では、APIC32A〜32Bは、プロセッサのホスト割込み(すなわち、ホストによって処理されるべき割込み)のためのローカルAPICであってもよい。他方では、ゲスト割込みのためのローカル割込みコントローラは、ハードウェアAPICとしてインスタンス化されない場合がある。代わりに、ゲストAPIC(又はより簡潔に、gAPIC)がハードウェアサポート及びVMM18を介してエミュレートされてもよい。具体的には、各gAPICは、gAPIC状態データ構造58に格納されるその状態を有してもよい。gAPICデータ構造58は、コンピュータ・システム5においてアクティブな各ゲストの各vCPUに対するgAPIC状態エントリを含んでもよい。一実施形態では、gAPIC状態エントリは、対応するgAPIC状態のためのデータのページであってもよい。こうした実施形態では、gAPIC状態データ構造58は、簡単にページのコレクションであってもよい。ページは、メモリシステムにおいて互いに近くに位置している必要はなく、すなわち、種々のgAPICのgAPIC状態データを格納することに加えて、互いとの任意の他の関係性を有する。他の実施形態は、より大きい又は小さいgAPIC状態エントリ及び/又は他のデータ構造を用いてもよい。ゲストは、ゲストがプロセッサ上で現在実行中である(例えば、ゲストに対するプロセッサ上でVMRUN命令が実行されており、ゲスト終了が発生していない)場合、又はゲストが終了し、VMM18が実行中であるが、ゲストがプロセッサ上で再び実行されることを期待される場合に、そのプロセッサ上でアクティブであってもよい。
VMM18がプロセッサ30A〜30B上でゲスト/vCPUをスケジュール設定するときに、VMM18は、vCPUのVMCB22からプロセッサ30A〜30Bに(及びより詳細にはプロセッサのゲスト割込み制御ユニット34A〜34Bに)ポインタをロードしてもよい。ポインタは、対応するgAPIC状態エントリをgAPIC状態データ構造58の中で位置付けてもよい。したがって、ゲスト割込み制御ユニット34A〜34Bは、vCPUに対するgAPIC状態を位置付けてもよく、デバイス割込みマネージャ38によって記録されている割込みを検出してもよい。一実施形態では、プロセッサ30A〜30Bは、ゲスト割込み送達機構を実装してもよい。例えば、プロセッサ30A〜30Bは、ゲスト割込み(例えば、割込み要求、割込みベクトルなど)と共にプログラムされてもよい1つ又は複数のレジスタを含んでもよい。仮想割込みは、プロセッサ30A〜30B上で実行するソフトウェアに割り込むために、真の割込みソース(例えばプロセッサ30A〜30Bへの入力ピン)と論理的に組み合わされてもよい。プロセッサ30A〜30Bは、割込みをサービスするために割込みベクトルによって指定される割込みハンドラを実行してもよい。他の実施形態は、他のゲスト割込み送達機構を実装してもよい。
一実施形態では、デバイス割込みマネージャ38は、ゲストを対象とするデバイス割込みに対するゲスト割込み状態を更新し、対応するAPIC32A〜32Bにホスト割込みを送達するように構成されてもよい。特に、一実施形態では、デバイス割込みマネージャ38は、ブリッジ36で受信される各ゲスト割込みをgAPIC状態データ構造58に記録するように構成されてもよい。ゲスト割込みの受信に応答して、デバイス割込みマネージャ38は、割込みの対象にされたゲスト/vCPUに対するgAPIC状態データ構造58におけるgAPIC状態を更新するように構成されてもよい。デバイス割込みマネージャ38は、一実施形態ではゲストがアクティブであるか否かから独立してgAPIC状態を更新するように構成されてもよい。1つ以上の対象を有するマルチキャスト及びブロードキャスト割込みでは、デバイス割込みマネージャ38は、各割込み宛先に対するgAPIC状態データ構造58におけるgAPIC状態を更新するように構成されてもよい。代替的に、デバイス割込みマネージャ38は、これらの複数の宛先割込みに関してVMM18に頼るように構成されてもよい。デバイス割込みマネージャ38は、こうした実施形態ではVMM18にアクセス可能な記憶域に割込みをログ記録するように構成されてもよく、メッセージを処理するのにVMM18に信号送信するように構成されてもよい。
デバイス割込みマネージャ38は、図2にはメモリに格納された状態で示されるデバイステーブル62、割込み再マッピング・テーブル64、及びAPIC IDテーブル60を用いて、周辺デバイスからのデバイス割込みのための対象にされたプロセッサ又はvCPUを判定してもよい。具体的には、デバイス割込みマネージャ38は、IOAPIC50及び54からのデバイス割込み要求に含まれる情報に応答してデバイステーブル62及び割込み再マッピング・テーブル64にアクセスするように構成されてもよい。デバイステーブル62は、各周辺デバイス52A〜52Bのためのエントリを含んでもよい(及び、周辺デバイスが結合される周辺インターフェースに対する1つよりも多い識別子を含む、周辺デバイスのための複数のエントリを含んでもよい)。所与の周辺デバイスのためのデバイステーブルエントリは、割込み再マッピング・テーブル64へのポインタを含んでもよく、且つまた、APIC IDテーブル60のうちの1つへの少なくとも1つのAPIC IDテーブルポインタを含んでもよい。APIC IDテーブル60は、ゲストにおける各APIC IDのためのエントリを含んでもよく、該APIC IDを有するvCPU/gAPICに対応するgAPIC状態エントリへのポインタを格納してもよい。割込みを、そのオリジナルの宛先及び/又は割込みベクトルから新しい宛先及び/又は割込みベクトルにリダイレクトするために、割込み再マッピング・テーブル64が用いられてもよい。したがって、割込み再マッピング・テーブル64は、割込みに対する宛先IDを含んでもよい。宛先IDは、APIC IDであり、ゲスト割込みに対する更新されるべきgAPIC状態エントリを位置付けるために、デバイステーブル62からのAPIC IDテーブルポインタによって示されるAPIC IDテーブル60へのインデックスとして用いられてもよい。割込み再マッピング・テーブル64からの割込みベクトルに基づいて、デバイス割込みマネージャは、識別されたgAPIC状態エントリに割込みを記録してもよい。割込み再マッピング・テーブル64はまた、デバイスがゲスト又はホストのどちらに割り当てられるかの指示を含んでもよい。デバイスがホストに割り当てられる場合、割込みは、APIC32A〜32Bに送達されるべきホスト割込みであり、gAPIC状態データ構造58は更新されなくてもよい。テーブル60、62、及び64の一実施形態の付加的な詳細がさらに後述される。
gAPIC状態データ構造58は、例証された実施形態ではメモリ56に格納されるように示されるが、その一部は、幾つかの実施形態ではデバイス割込みマネージャ38及び/又はブリッジ36にアクセス可能なキャッシュによってキャッシュされてもよい。加えて又は代替的に、1つ又は複数のgAPIC状態エントリに対する専用メモリがブリッジ36に実装されてもよい。
APIC割込み機構では、各プロセッサ(そのローカルAPICを通じて)は、物理APIC ID及び論理APIC IDを有してもよい。物理APIC IDは、APIC IDレジスタに格納される。物理APIC IDは、物理送達モードの割込みによって示される物理APIC IDと1対1ベースでマッチングされる。論理APIC IDは、ローカルAPICの論理宛先レジスタに格納される。論理APIC IDは、クラスタID及びローカルAPIC IDを有し、この場合、ローカルAPIC IDは、典型的にワン・ホット・ビットベクトルである。論理送達モードの割込みは、割込みを1つ又は複数のローカルAPICにクラスタで送達するために、APIC IDのベクトル部分に任意のセットビットを含んでもよい。したがって、論理APIC IDのマッチングは、クラスタIDを比較すること、及びローカルAPICにおけるワン・ホット・ビットベクトルのセットビットと同じ位置でローカルAPIC IDベクトルにおけるセットビットを検出することを含んでもよい。別の観点では、論理送達モードの割込みにおけるローカルAPIC IDベクトルは、ローカルAPICのローカルAPIC IDベクトルと論理的にANDでつながれてもよく、結果がゼロではなく且つクラスタIDとマッチする場合は、ローカルAPICは論理割込みの対象である。論理APIC IDは、本明細書ではより簡潔に論理IDと呼ばれる場合があり、同様に、物理APIC IDは、本明細書ではより簡潔に物理IDと呼ばれる場合がある。割込みに関連付けられた所与のID(論理又は物理)は、割込みの宛先IDと呼ばれる場合がある。割込みのための対応する送達モードは、割込みの宛先IDを論理又は物理のいずれかとして識別してもよい。
APIC IDテーブル60は、所与のゲストにおける論理APIC IDに対する論理APIC IDテーブルと、所与のゲストにおける物理APIC IDに対する物理APIC IDテーブルとを含んでもよい。APIC IDテーブルは、既述のようにAPIC IDをgAPIC状態ポインタにマッピングしてもよい。一実施形態では、論理APIC IDテーブルは、論理IDを物理IDにマッピングしてもよく、これは、物理IDテーブルを通じてgAPIC状態ポインタにマッピングされてもよい。他の実施形態は、同様に論理IDからgAPIC状態ポインタに直接マッピングしてもよい。
一実施形態では、APIC IDテーブル60は、vCPUが走っているか否かの指示を含んでもよい。vCPUが現在走っている場合、割込みは、vCPUを実行しているプロセッサ30A〜30Bによって(例えば、新しい割込みの記録の更新に関するgAPIC状態エントリの監視を通じて、又はデバイス割込みマネージャ38からのメッセージを介して)検出されてもよい。したがって、割込みは、走っているゲストに送達されてもよい。しかしながら、ゲストが走っていない(又はアクティブではない)場合、割込みは、送達を遅延されてもよい。一実施形態では、IOMMUは、割込みをログ記録してもよい。VMM18は、ログの中の割込みを検出してもよく、スケジューリングのために対象にされたvCPUに優先順位をつけてもよい。vCPUは、現在ハードウェア・プロセッサ上で実行される状態にある場合に走ってもよい。
所与のプロセッサ30A〜30Bに対するAPIC32A〜32Bは、プロセッサへの任意のインターフェースを有してもよい。例えば、ローカルAPICとそれらのそれぞれのプロセッサとの間で用いられる任意のインターフェースが用いられてもよい。各APICは、サービスのために割込みが送達されているプロセッサに独立して信号送信するように構成されてもよい。プロセッサがゲストを実行しており且つAPICが割込みを信号送信する場合、プロセッサは、ホスト割込みを処理するためにゲストを終了してVMM18に出るように構成されてもよい。プロセッサがゲストを実行していない場合、プロセッサは、ホスト実行に割り込み、APICによって信号送信された割込みに応答してホスト割込みハンドラに分岐するように構成されてもよい。
APIC32A〜32Bは、割込みを受信するためにブリッジ36に結合される。APIC32A〜32Bに割込みを輸送するのに任意のインターフェースが用いられてもよい。例えば、APIC割込みの輸送のために実装される任意のインターフェースが用いられてもよい。一実施形態では、割込みメッセージを輸送するために、プロセッサ30A〜30Bとの間で他の動作を通信するのに用いられるのと同じ通信機構(例えば、プロセッサ30A〜30Bによって開始されるメモリ読出し/書込み動作、キャッシュコヒーレンシーメンテナンスのためのプローブなど)が用いられてもよい。別の観点では、APIC32A〜32Bの結合は、ブリッジ36へのプロセッサ30A〜30Bの結合と共有されてもよい。代替的に、プロセッサ30A〜30Bは、APIC32A〜32DがAPIC「3ワイヤインターフェース」を用いるような場合にブリッジ36への別個のパスを有してもよい。割込みメッセージは、送信されている割込みと割込みの宛先とを識別する任意のインターフェース上の任意の通信であってもよい。例えば、割込みは、関連付けられた割込みベクトルを有してもよく、割込みベクトルは、割込みメッセージの一部であってもよい。割込みメッセージはまた、宛先ID(例えば、論理又は物理APIC ID)を含んでもよい。
ゲスト割込み制御ユニット34A〜34Bは、対応するgAPIC状態エントリに記録されているゲスト割込みを検出するように構成されてもよく、且つ前述のように割込みを送達してもよい。加えて、ゲスト割込み制御ユニット34A〜34Bは、ゲスト/vCPU実行中にそれら自身のgAPICへのプロセッサ30A〜30Bのアクセスを検出してもよく、且つAPIC32A〜32Bにアクセスする代わりにアクセスをgAPIC状態エントリにおけるメモリ読出し/書込みに変換してもよい。ゲスト割込み制御ユニット34A〜34Bはまた、幾つかの実施形態では、同様にgAPICの幾らかのエミュレーションを実装してもよい。例えば、性能への多大な影響を有する動作が実装されてもよい。ゲスト割込み制御ユニット34A〜34Bによって実装されないエミュレーションでは、ゲスト割込み制御ユニット34A〜34Bは、VMM18におけるエミュレーションのためにゲストを終了してもよい。幾つかのアクセスはエミュレーションを要求しない場合がある(例えば、ほとんどの読出しは、データを読み出すこと以外の影響を有さず、そのためgAPIC状態エントリからのデータの読出しを超えるエミュレーションは必要とされない)。gAPIC状態エントリにおける対応するロケーションを更新することによって、APICにおける如何なる副作用も生じない書込みもまた完了される可能性がある。
一実施形態では、ゲスト割込み制御ユニット34A〜34Bにおいてエミュレートされる動作は、ゲスト内のIPIの開始、タスク優先度レジスタ(task priority register)(TPR)へのアクセス、及び割込みの終わり(end of interrupt)(EOI)レジスタへのアクセスを含んでもよい。他の実施形態は、ゲスト割込み制御ユニット34A〜34Bにおける動作の異なるサブセットを実装してもよい。先述のように、幾つかの実施形態では、ゲスト割込み制御ユニット34A〜34Bは、主としてマイクロコードに実装されてもよい。したがって、ゲスト実行中にgAPICへのアクセスがマイクロコード実行を引き起こしてもよい。加えて、デバイス割込みマネージャ38によるgAPIC状態エントリへの更新(プロセッサ上で実行されているvCPUに対する)は、マイクロコード実行を引き起こしてもよい。VMM18に出る命令では、終了は、命令をリタイアした(すなわち、書き込みのためにgAPIC状態エントリへの更新が完了した又はgAPIC状態エントリからのデータ読出しが読出しのために対象レジスタに書き込まれた)後で又は命令をリタイアする前に行われてもよい。命令をリタイアした後でVMExitを開始することは、トラッピングと呼ばれてもよい。幾つかの場合には、対応する命令は、リタイアが認められる場合に取り返しのつかない変化を引き起こす可能性がある。したがって、こうした命令は、命令のフォールトと呼ばれる、VMExitの前にリタイアすることを許されない場合がある。
IOMMU40は、前述のようにデバイス割込みマネージャ38を含む。加えて、IOMMU40は、I/Oにより開始されるメモリ動作(例えば、周辺デバイス52A〜52Bから生じる又は周辺デバイス52A〜52Bに代わってDMAコントローラによるメモリ読出し/書込み動作)のための物理アドレスマッピングを仮想的に行うように構成されてもよい。翻訳動作の一部として、IOMMU40は、デバイステーブル62及び随意的に割込みリダイレクト・テーブル64にアクセスするように構成されてもよい。各周辺デバイス52A〜52Bに対するデバイステーブルエントリは、メモリ読出し/書込み動作のメモリアドレスを翻訳するためのI/Oページテーブルへのページテーブル・ポインタを含んでもよい(図示せず)。
メモリコントローラ42は、プロセッサ30A〜30Bによって発行されるメモリ動作(例えば、命令フェッチ、ロード/格納データアクセス、翻訳のためのプロセッサページテーブルアクセスなど)、デバイス割込みマネージャ38からのメモリ動作(例えば、gAPIC状態データ構造58を読み出す/更新すること、及び/又はテーブル60、62、及び64にアクセスすること)、IOMMU40(例えば、I/Oページテーブル、デバイステーブル62、及び割込み再マッピング・テーブル64にアクセスすること)、及び(幾つかの実施形態において)インターフェース回路44A〜44Cから受信されたメモリ動作を受信するために結合されてもよい。メモリコントローラ42は、メモリ動作を順序付ける、及びメモリ動作を行うためにメモリ56と通信するように構成されてもよい。メモリインターフェース回路46は、メモリ56への物理レベルアクセスを行ってもよい。
メモリ56は、あらゆるタイプのメモリを備えてもよい。例えば、メモリ56は、動的ランダムアクセスメモリ(DRAM)、例えばシンクロナスDRAM(SDRAM)、DDR SDRAMのモバイルバージョン(mDDR3など)及び/又は低出力バージョン(LPDDR2など)を含む倍データレート(double data rate)(DDR、DDR2、DDR3など)SDRAM、RAMBUS DRAM、静的RAMなどを備えてもよい。メモリ56は、シングル・インライン・メモリ・モジュール(SIMM)、デュアル・インライン・メモリ・モジュール(DIMM)などのような複数のメモリチップを備える1つ又は複数のメモリモジュールを含んでもよい。
この実施形態ではデバイス割込みマネージャ38、IOMMU40、及びメモリコントローラ42を含むことに加えて、ブリッジ36はまた、プロセッサ30A〜30Bと、APIC32A〜32Bと、インターフェース回路44A〜44Dに結合されたデバイスとの間で通信するために他の通信機能を含んでもよい。例えば、例証された実施形態では、別のブリッジ48がインターフェース回路44Aに結合されてもよく、インターフェース回路44Aによって用いられるプロトコルと周辺デバイス52A〜52Bによって用いられるプロトコルとの間の通信を橋渡しするように構成されてもよい。一実施形態では、インターフェース回路44A〜44Cは、例えば前述のHTインターフェースを実装してもよく、ブリッジ48は、HTからPCI Express(PCIe)インターフェースのような別のインターフェースに橋渡しをしてもよい。周辺デバイス52A〜52Bは、こうした実施形態ではPCIeデバイスであってもよい。ブリッジ48はまた、他のインターフェースと橋渡しをするように構成されてもよく、又は他のインターフェースと橋渡しをするために別のブリッジがブリッジ48に結合されてもよい。任意の1つ又は複数の周辺インターフェースが用いられてもよい。加えて、周辺デバイス52A〜52Bは、HTインターフェースと直接結合するように構成されるHT周辺デバイスを備えてもよい。こうした周辺デバイスは、ブリッジ48を必要としない場合がある。
一実施形態では、ブリッジ48及び/又は周辺デバイス52A〜52Bのうちの1つ又は複数は、IOAPIC(図2の50及び54)を含んでもよい。IOAPICは、周辺デバイスから割込み要求を受信することを担当してもよく、(メモリのgAPIC状態データ構造58に記録するために)APIC32A〜32B及びデバイス割込みマネージャ38に割込み要求を送信するのに割込みメッセージを生成する。
前述のように、一実施形態では、インターフェース回路44A〜44Cは、HTインターフェース上で通信するように構成されてもよい。インターフェース回路44A〜44Cは、HTを用いて周辺デバイス/ブリッジと通信するように構成されてもよい。加えて、幾つかの実施形態では、インターフェース回路44A〜44Cは、プロセッサ、APICなどと共に他のノードに結合されるように構成されてもよい。こうした実施形態では、ブリッジ36は、前述の回路に加えてコヒーレンス管理回路を含んでもよい。
プロセッサ30A〜30Bは、任意の命令セットアーキテクチャを実装してもよく、且つ命令セットアーキテクチャで定義される命令を実行するように構成されてもよい。プロセッサ30A〜30Bは、スーパーパイプライン式、スーパースケーラ、及び/又はこれらの組合せ、イン・オーダー又はアウト・オブ・オーダー実行、投機的実行などのような任意のマイクロアーキテクチャを含んでもよい。プロセッサ30A〜30Bは、必要に応じてマイクロコーディング技術を実装してもよいし又は実装しなくてもよい。
周辺デバイス52A〜52Bは、任意のタイプの周辺デバイスを備えてもよい。周辺デバイス52A〜52Bは、磁気ドライブ、ソリッドステートドライブ、又は光ディスクドライブのような記憶装置、フラッシュメモリのような不揮発性メモリデバイスなどを含んでもよい。周辺デバイス52A〜52Bは、ユーザI/Oデバイス(キーボード、マウス、ディスプレイ、音声入力など)のようなI/Oデバイス、ネットワーキングデバイス、ユニバーサル・シリアル・バス(USB)又はFirewireのような外部インターフェースデバイスなどを含んでもよい。
例証された実施形態では、プロセッサ30A〜30B、ブリッジ36、APIC32A〜32B、インターフェース回路44A〜44C、及びメモリインターフェース回路46は、単一の半導体基板上に集積回路66として集積されてもよい。他の実施形態は、必要に応じて異なる量の集積回路及びディスクリート回路を実装してもよい。プロセッサ、APIC、インターフェース回路、周辺デバイス、ブリッジなどのような様々な数のコンポーネントが図2で例証されるが、他の実施形態は、必要に応じて任意の数の1つ又は複数の各コンポーネントを実装してもよいことに留意されたい。
他の実施形態では、IOMMU40及びデバイス割込みマネージャ38の場所は変化してもよい。例えば、この一方又は両方が、ブリッジ48に、周辺デバイス52A〜52Bに、ブリッジに結合される別のブリッジなどにあってもよい。
例証された実施形態では、各APIC32A〜32Bは、図2に例証されるように特定のプロセッサ30A〜30Bに関連付けられる。したがって、所与の割込みコントローラは、この実施形態では対応するプロセッサ30A〜30Bに専用にされる。より詳細には、図2では、APIC32Aはプロセッサ30Aに専用にされ、APIC32Bはプロセッサ30Bに専用にされる。割込みコントローラは、その対応するプロセッサに任意の方法で割込みを信号送信してもよい。一般に、信号送信は、割込みが必要とされることを示してもよい。信号送信は、割込みベクトルを含んでもよく、又は割込みベクトルは、割込みが送達された後で実行されるソフトウェアによって読み出されてもよい。割込みの送達は、一実施形態では、プロセッサ及び割込みを受け付けるプロセッサへの信号送信を指す場合がある。割込みのサービスは、デバイスの割込みに必要な動作を行うために割込みベクトルに関連付けられた割込みサービスルーチンを実行することを指す場合がある。
ここで図3に移ると、一実施形態での周辺デバイスからgAPICへの割込みの進行を例証し且つまたゲスト内のIPIを例証するブロック図が示される。例証された実施形態では、周辺デバイス52Aは、割込みが望まれることを判定する。周辺デバイス52A内のIOAPIC54(図2参照)は、周辺デバイス52Aに対する割込みメッセージを発生させてもよい。具体的には、IOAPIC54は、所望の割込み(例えば、周辺デバイス52Aに必要とされるサービスに基づいて、周辺デバイス52Aが複数の機能を実装する場合に割込みを信号送信する特定の機能など)に対応する割込みベクトルを発生させてもよい。同様に、IOAPIC50は、それら自身のIOAPICを実装しない周辺デバイス52Bのような周辺デバイスに対する割込みメッセージを発生させてもよい。割込みベクトルは、割込み通信の一部であり、割込みソースを識別すること、割込みに優先順位をつけることなどのために用いられてもよい。幾つかの場合には、割込みベクトルは、IOMMU40によって再マッピングされてもよく、そのため割込みベクトルは図3では「オリジナルベクトル」として例証される。周辺デバイス52Aは、IOMMU40に割込みメッセージを送信してもよい(矢印A)。この実施形態では、割込みは、例えばPCIe仕様で定義される場合の、メッセージにより信号送信される割込み(message−signalled interrupt)(MSI)の形態で送信されてもよい。他の実施形態は、任意の所望の方法で割込みを送信してもよい。一般に、送信は、割込み、その送達モード(例えば論理又は物理)、及び割込みの宛先ID(DestID)を識別してもよい。
IOMMU40はMSIを受信してもよい。MSIは、周辺デバイスの識別子を含む。例えば、PCIプログラミングモデルを実装するインターフェースは、バスナンバー及び該バス上のデバイスナンバーをもつ各デバイスを識別してもよい(複数のPCIインターフェースが階層的な形態及び/又は並列な形態でシステムに存在することを可能にする)。デバイスは、物理デバイス上の別個の仮想デバイス又はデバイス上の動作のパーティション分割であってもよい複数の「機能」を有してもよい。識別子は、機能ナンバーも含んでもよい。したがって、この実施形態では、識別子は、バス−デバイス−機能(Bus−Device−Function)、すなわちBDF(登録商標)と呼ばれる場合がある。IOMMU40(及びより詳細には、この実施形態ではデバイス割込みマネージャ38)は、BDF(登録商標)(矢印B)を用いてデバイステーブル62へのインデックスを作成してもよく、且つ周辺デバイス52Aに対応するデバイステーブルエントリを識別してもよい。エントリは、APIC IDテーブルポインタ(矢印C)を含んでもよい。この実施形態では、デバイステーブルエントリはまた、割込み再マッピング・テーブルポインタ(IRTP)を含んでもよく、これは、デバイスに対応する割込み再マッピング・テーブル64を識別してもよい(矢印C1)。割込み再マッピング・テーブル64は、オリジナルの割込みベクトルによってインデックスを作成されてもよく、且つ出力ベクトル及び割込みに対する宛先ID(DestID、例えば、論理又は物理APIC ID)を提供してもよい(矢印C2)。加えて、ゲスト/ホスト指示が出力されてもよい(G/H)。一実施形態では、G/H指示は、設定されたときに割込みがゲストによってサービスされるべきであることを示し、且つクリアされたときに割込みがホストによってサービスされるべきであることを示すビットであってもよい。他の実施形態は、状態の設定及びクリアと反対の意味を用いてもよく、又は指示のための他のエンコーディングを用いてもよい。
G/H指示がホストを示す場合、デバイス割込みマネージャ38は、APIC32A〜32Bに割込みメッセージを送信してもよく、割込みは、APIC仕様に従って処理されてもよい(矢印F)。他方では、G/H指示がゲストを示す場合、デバイス割込みマネージャ38は、物理APIC IDテーブル60A(デバイステーブル62によって提供されるAPIC IDテーブルポインタによって指し示されるテーブル)へのインデックス(矢印D)として宛先IDを用いてもよい。物理APIC IDテーブル60Aは、更新されるべきgAPIC状態エントリを識別するgAPIC状態ポインタを出力してもよい。デバイス割込みマネージャ38は、gAPIC状態に割込みを書き込んでもよい(gAPIC状態の更新、図3の矢印E)。物理APIC IDテーブル60Aはまた、vCPUに対する指示をIs_Running(IR)として供給してもよい。vCPUが走っている場合、割込みは、かなり迅速に送達されてもよい。vCPUが走っていない場合、デバイス割込みマネージャ38は、VMM18に対する割込みをログ記録してもよく、これは割込みを処理するためにvCPUをスケジュール設定してもよい。
例証された実施形態は、宛先IDをもつ物理APIC IDテーブル60Aにのみアクセスする。したがって、例証された実施形態では、ゲスト割込みに対する宛先IDは物理APIC IDであってもよい。論理APIC IDは、デバイステーブル62、割込みマッピング・テーブル64などをプログラミングするときに、VMM18によって物理APIC IDに翻訳されてもよい。他の実施形態では、論理APIC IDと物理APIC IDとの両方がサポートされてもよく、所与のゲストに対する論理APIC IDテーブルと物理APIC IDテーブルとの両方が、必要な場合にgAPIC状態ポインタを位置付けるために用いられてもよい。
一実施形態では、gAPIC状態は、各割込みベクトルのためのビットを含む割込み要求レジスタ(interrupt request register)(IRR)を含む。割込みを記録するために、割込みベクトルに対応するビットがIRRに設定されてもよい。gAPIC状態におけるIRRは、1つよりも多いソースから更新されることが可能である。したがって、更新は、状態を失うのを防ぐためにアトミックにされてもよい。特に、更新は、セットビットをメモリのIRRにORするアトミックORであってもよい。アトミック動作は、動作が複数のステップとして実装される場合であっても、ユニットとして効果的に行われる動作であってもよい。アトミックに更新される場所へのアクセスを試みるオブザーバは、アトミック更新の前又はアトミック更新の後のいずれかで値を受信するが、中間値は受信しない可能性がある。アトミックに更新される場所を更新することを試みるオブザーバは、アトミック動作中にではなく、アトミック動作が完了する前又はアトミック動作が完了した後のいずれかでその更新を行う。この実施形態はアトミックORを実装してもよいが、他の実施形態は、より一般的なアトミック更新動作を実装してもよい。例えば、アトミック更新は、修正されないであろう対象のビットを識別するANDマスクと、どのビットがORされるべきかを識別するORマスクとを含んでもよい。同様に他の実装が可能である。例えば、比較及びスワップ実装が用いられてもよく、この実装では、記憶域からオリジナル値が読み出され、オリジナル値に対して新しいORされた値との比較及びスワップ動作が行われる。比較に失敗した場合、プロセスは繰り返されてもよい(新しいオリジナル値を読み出し、比較及びスワップを行う)。必要であればループを抜け出すためにバックオフ機構及び/又はタイムアウト機構が用いられてもよい。
一実施形態では、プロセッサ30A〜30B(及びより詳細にはゲスト割込み制御ユニット34A〜34B)は、プロセッサ上で実行するvCPUに対応するgAPIC状態エントリへの更新を監視してもよい(もしあるとしたら)。具体的には、プロセッサは、それぞれ、IRRビットを含むgAPIC状態エントリの領域を監視してもよく、gAPIC状態エントリはプロセッサが実行しているvCPUに対応する。この領域は、本明細書では「ウォッチ領域」と呼ばれる。ウォッチ領域は、種々の方法で確立されてもよい。例えば、プロセッサ30A〜30Bは、キャッシュを含んでもよく、キャッシュとメモリとの間でコヒーレンシーを維持するように構成されてもよい。コヒーレンシー機構の一部として、プロセッサ30A〜30Bは、キャッシュに格納されるデータの更新を知らせてもよい。プロセッサ30A〜30Bは、したがって、領域をキャッシュに読み込むことによってウォッチ領域を確立してもよい。例えば、一実施形態では2つのキャッシュブロックが領域をカバーしてもよい。幾つかの実施形態では、これはキャッシュブロックがキャッシュに残ることを保証するのに必要な場合がある。例えば、幾つかの実施形態は、プロセッサのキャッシュにおいて見失われることが知られているコヒーレンシー・プローブをフィルタしてもよい。ウォッチ領域ブロックがキャッシュに残ることを保証することで、こうした実施形態ではウォッチ領域の更新に対応するプローブがフィルタされないことを保証してもよい。
ウォッチ領域ブロックがプロセッサのキャッシュに残ることを保証するために種々の機構が用いられてもよい。例えば、プロセッサは、ブロックをキャッシュにロックするためにキャッシュ・ロッキングを実装してもよい。代替的に、プロセッサは、キャッシュによって実装されるキャッシュ置換えアルゴリズムにおいてブロックを「最近使用した」状態のまま残してもよい。他方では、これは、例えばコヒーレンシー・プローブがフィルタされない場合に、ウォッチ領域ブロックがプロセッサのキャッシュに残ることを保証するのに必要ではない場合がある。こうした実施形態では、プロセッサは、領域のアドレスをレジスタに単純に格納し、アドレスをプローブと比較してもよい。
プロセッサ30A〜30B上で走っているvCPUに対するgAPIC状態エントリへのgAPIC状態の更新が起こる場合、対応するプロセッサがウォッチ領域への更新を検出してもよい(矢印G2)。対応するプロセッサにおけるゲスト割込み制御ユニット34A〜34Bは、更新されるIRRを読み出してもよく、且つ保留中の割込みに優先順位をつけ、これがより高い優先度である場合に新しい割込みを取り込んでもよい。
別の実施形態では、ウォッチ領域は用いられなくてもよく、代わりにデバイス割込みマネージャ38がゲスト割込み制御メッセージをAPIC32A〜32Bに(又は直接にプロセッサ30A〜30Bに)送信してもよい(矢印G1)。ゲスト割込み制御メッセージは、ホスト割込みメッセージ及びIPIから区別可能であってもよく、したがって、ゲスト割込みが要求されていることを知らせるためにゲスト割込み制御ユニット34A〜34Bに転送されてもよい。例えば、ゲスト割込み制御メッセージは、既存の割込みメッセージ・コーディングを用いるホスト割込みメッセージ及びIPIからこれを区別する、未定義の割込みメッセージ・コーディングを用いてもよい。他の実施形態は、ウォッチ領域とゲスト割込み制御メッセージとの両方を実装してもよい。
一実施形態では、ゲスト割込み制御メッセージは、モデル固有レジスタ(MSR)インターフェースを通じてゲスト割込み制御ユニット34A〜34Bに送達されてもよい。MSRは、ゲスト割込み制御ユニット34A〜34Bにアクセス可能(例えば、ゲスト割込み制御ユニット34A〜34Bがマイクロコードに部分的に又は完全に実装される場合に、マイクロコードにアクセス可能)であってもよい。MSRはまた、プロセッサ30A〜30B上で実行する特権付きコードにアクセス可能であってもよい。しかしながら、MSRは、ゲストアクセスを含む非特権アクセスから保護されてもよい。APIC32A〜32Bは、割込みソフトウェアにIPIを送達する代わりにMSRが書き込まれること以外は、MSRへの割込みを送達するためにIPIに対して用いられるインターフェースに類似したインターフェースを用いてもよい。MSRの更新は、ゲスト割込み制御ユニット34A〜34Bにゲスト割込み送達をアクティブ化させてもよい。例えば、ゲスト割込み制御ユニット34A〜34Bをマイクロコードに実装する実施形態では、MSRの更新は、ゲストへの送達のために割込みを処理するマイクロコード・ルーチンの実行を引き起こす可能性がある。一実施形態ではMSRインターフェースが用いられてもよいが、他の実施形態は、ゲスト割込み制御メッセージがゲスト割込み制御ユニット34A〜34Bに送達されることを可能にする任意の機構を用いてもよい。こうした機構は、「ドアベル」機構と呼ばれる場合がある。
デバイス割込みに加えて、プロセッサ上で実行するゲストvCPUは、同じ仮想マシンにおける他のvCPUにIPIを発行してもよい。本発明の実施形態では、IPIは、vCPU上で実行するソフトウェアが割込みコマンドレジスタ(interrupt command register)(ICR)を更新するときに発行される。割込みコマンドレジスタは、高い及び低い(ICRH及びICRL)部分を含んでもよく、IPIは、ICRLレジスタへの書込みに応答して開始されてもよい。この機構は、x1 APICエンコーディングとx2 APICエンコーディングとの両方と互換性があってもよい。IPIのソースvCPUを実行するプロセッサのゲスト割込み制御ユニット34A〜34Bは、ICRLレジスタへの書込みを検出してもよく、APIC IDテーブル60におけるgAPIC状態ポインタを識別するためにIPIの宛先IDを用いてもよい(矢印a)。IPIの宛先IDは、論理又は物理のいずれであってもよく、ゲスト割込み制御ユニット34A〜34Bは、宛先IDに適するように論理及び/又は物理APIC IDテーブル60を用いてもよい。gAPIC状態ポインタを用いることで、ゲスト割込み制御ユニット34A〜34Bは、gAPIC状態データ構造58における対象vCPUのgAPIC状態エントリを更新してもよい(矢印b)。ゲスト割込み制御ユニット34A〜34Bはまた、対象vCPUを実行しているプロセッサ30A〜30Bのゲスト割込み制御ユニット34A〜34Bにゲスト割込み制御メッセージを通信するように構成されてもよい(矢印c)。より詳細には、IPIを送達するためのゲスト割込み制御メッセージは、一実施形態ではAPIC32A〜32Bを通じてルーティングされてもよい。代替的に、ウォッチ領域を実装する実施形態は、更新を検出するためにウォッチ領域検出を用いてもよい。他の実施形態は、IPIを開始するために他の機構を実装してもよい。ゲスト割込み制御ユニット34A〜34Bは、機構を検出してもよく、対象vCPUに対するgAPIC状態を適宜更新してもよい。加えて、対象vCPUが走っていないことをAPIC IDテーブル60が示す場合、ソースプロセッサからのゲスト割込み制御ユニットは、VMExitを発生させて、VMM18が対象vCPUをスケジュール設定することを可能にしてもよい。
一実施形態では、正しいプロセッサ30A〜30Bへの割込みのためのゲスト割込み制御メッセージを送信するために、APIC IDテーブル60におけるIRビットは、どのプロセッサが対応するvCPUを実行しているかを識別するフィールドであってもよい(又はvCPUが走っているか否かを示すビット及びプロセッサを識別するフィールドが存在してもよい)。ゲスト割込み制御メッセージの対象を識別するためにフィールドが用いられてもよい。
ここで図4に移ると、VMCB22の一実施形態のブロック図が示される。例証された実施形態では、VMCB22は、gAPIC状態ポインタフィールド70、物理APIC IDテーブルポインタフィールド72、論理APIC IDテーブルポインタフィールド74、及び他の仮想マシンデータ76を含む。gAPIC状態ポインタ70は、ゲスト/vCPUに対応するgAPIC状態エントリをメモリ56の中に位置付けてもよい。gAPIC状態ポインタ70は、VMRUN命令の一部としてプロセッサ30A〜30Bにロードされてもよく、且つvCPUに対するgAPIC状態を位置付けるためにゲスト割込み制御ユニット34A〜34Bによって用いられてもよい。物理APIC IDポインタフィールド72及び論理APIC IDテーブルポインタフィールド74は、それぞれゲストに対する物理APIC IDテーブルポインタ及び論理APIC IDテーブルポインタを格納してもよい。他のVMデータ76は、VMRUN及びVMExit上にロードされる/格納される種々の他のプロセッサ状態を含んでもよい。
ここで図5に移ると、gAPIC状態エントリ90の一実施形態のブロック図が示される。図5の例証は状態の論理図であってもよい。メモリにおける状態の実際の配置は変化してもよい。一実施形態では、状態の配置は、状態がAPICにおいてアドレス指定される順序にであってもよい。すなわち、各レジスタは、APICのベースアドレスからのオフセットを有してもよく、各レジスタに対するgAPIC状態エントリ90における状態の対応するコピーは、gAPIC状態エントリ90のベースアドレスから同じオフセットであってもよい。
gAPIC状態エントリ90は、APIC状態の完全なコピーを含んでもよい。すべての状態が図5で例証されるわけではない。しかしながら、IRR、イン・サービス・レジスタ(ISR)、トリガ・モード・レジスタ(TMR)、並びにICRHレジスタ及びICRLレジスタ、タスク優先度レジスタ(TPR)、及び割込みの終わり(EOI)レジスタが、他のAPIC状態と共に示される。他のAPIC状態は、(例えば、APICアドレスマップにおける各レジスタに対するオフセットに従って)例証された状態内でインターリーブされてもよい。さらに、図5に示すような状態の順序は、メモリに格納される場合の状態の順序ではなくてもよい。
IRRレジスタは、gAPICに送信されている割込み要求を記録する。IRRにおける割込み要求の位置は割込みベクトルに対応する。IRRは、「固定の(fixed)」割込みを追跡してもよい。他の割込みタイプは、マスク可能ではない割込み(non−maskable interrupt)(NMI)、システム管理割込み(system management interrupt)(SMI)、レガシー外部割込み(legacy external interrupt)(extINT)などを含んでもよい。これらの割込みは、他のAPIC状態の一部として処理されてもよい。一実施形態では、割込みメッセージはまた、各割込みに対するトリガモード(レベル又はエッジ)を含んでもよい。TMRは、どのトリガモードを割込みに適用するかの指示を格納してもよい。例えば、エッジによりトリガされる割込みは、TMRにおけるバイナリ0によって表されてもよく、レベルによりトリガされる割込みは、バイナリ1によって表されてもよい。他の実施形態では、エッジによりトリガされる割込みだけがgAPICにおいてサポートされてもよく、TMRは排除されてもよい。
固定の割込みでは、ゲスト割込み制御ユニット34Aは、割込み要求がプロセッサに送達されるべきであるかどうかを判定するために割込み要求及びイン・サービス割込みに優先順位をつけるように構成されてもよい。一般に、最高優先度の割込み要求が最高優先度のイン・サービス割込みよりも高い優先度である(割込みに対応する割込みハンドラを実行するためにプロセッサがそのソフトウェア実行を割込みされた場合に割込みがイン・サービスである)場合、ゲスト割込み制御ユニット34Aは、要求された割込みを送達するように構成されてもよい。加えて、TPRは、vCPUによって受付けられる最低優先度レベルの割込みを確立するためにソフトウェアによってプログラムされてもよい。ゲスト割込み制御ユニット34Aは、それが最高優先度のイン・サービス割込みよりも高い優先度であり且つTPRにおいて示された優先度よりも高い優先度である場合に、最高優先度の割込み要求を送達するように構成されてもよい。
vCPUが割込みを取り入れるとき、プロセッサは、gAPICへの割込み通知コマンドで応答してもよい。ゲスト割込み制御ユニット34Aは、IRR70からの最高優先度の割込み要求を除去し、割込みをイン・サービスとしてISRにログ記録するように構成されてもよい。ISRにおける割込みに対応するイン・サービス指示の位置は、割込みの割込みベクトルに対応してもよい。プロセッサ30Aは、割込みをサービスするために割込みサービスルーチン(又は複数のルーチン)を実行してもよい。割込みサービスルーチンは、割込みサービスが完了することを信号送信するためにgAPICへの割込みの終わり(EOI)コマンドで終わってもよい。ゲスト割込み制御ユニット34Aは、EOIコマンドに応答してISRからの最高優先度のイン・サービス割込みを除去するように構成されてもよい。EOIコマンドを行うときに、マイクロコードは、ISRビット#N(この場合、Nは最高優先度のイン・サービス割込みである)をクリアしてもよい。TMRのビット#Nが設定される場合、マイクロコードは、VMM18がレベルに敏感な割込み挙動をエミュレートすることを可能にするためにVMExitであってもよい。他の実施形態では、ISRの更新はVMM18によって管理されてもよい。
前述のように、IRR、ISR、及びTMRのそれぞれは、gAPICによってサポートされる各割込みベクトルに対応する場所を含む。例証された実施形態では、ベクトル0〜255がサポートされる。割込みベクトルナンバーはまた、他の割込みとのその相対的な優先度を示してもよい(例えば、より高いベクトルナンバーはより低いベクトルナンバーよりも高い優先度であり、又は他の実施形態ではこの逆である)。各割込みベクトルに対して、IRRは、該割込みベクトルでの割込みが要求されるか否かを示す割込み要求ビットを格納する。例えば、指示は、設定されたときに要求を示し且つクリアされたときに要求なしを示すビットであってもよい。同様に、各割込みベクトルに対して、ISRは、該割込みベクトルに対する割込みがイン・サービスであるか否かを示すイン・サービスビット(例えば、設定されたときにイン・サービス割込みを示し、クリアされたときにイン・サービス割込みなしを示す)を格納する。各割込みベクトルに対して、TMRはトリガモードを格納する。IRR、ISR、及びTMRのそれぞれに対して、レジスタにおけるビット位置は、割込みに対応する割込みベクトルナンバーに等しい。例証された実施形態では256個の割込みベクトルがサポートされるが、他の実施形態ではより多い又は少ない割込みベクトル及び/又はより多い又は少ない優先度レベルグループがサポートされてもよいことに留意されたい。他のAPIC状態は、内部的に生成される割込み、タイマ、ローカルベクトルテーブルなどを含んでもよい。
一実施形態では、gAPIC状態エントリ90におけるIRR、ISR、及び/又はTMRのビットは、1バイトにつき8ビットとして配置されなくてもよい。特定のIRR、ISR、又はTMRビットへの容易なアドレス指定を促進するために、ビットは、より分散された状態で格納されてもよい(例えば、1バイトにつき2ビット、1バイトにつき1ビットなど)。
次に図6に移ると、デバイステーブル62、割込み再マッピング・テーブル64、及びAPIC IDテーブル60A〜60Bの一実施形態のブロック図と、テーブルを用いるgAPIC状態エントリ90の位置付けが示される。
デバイス割込みでは、割込みから生じる周辺デバイスのバス/デバイス/機能(BDF(登録商標))は、デバイステーブル62へのインデックスとして用いられてもよい。デバイステーブル62のベースアドレスは、IOMMU40に格納されてもよく、1つのコンピュータ・システム5につき1つのデバイステーブル62(又はシステムに複数のIOMMUが含まれる場合に1つのIOMMU40につき1つのデバイステーブル52)が存在してもよい。BDF(登録商標)に応答して選択されたデバイステーブルエントリは、割込み再マッピング・テーブル64のベースアドレスである割込み再マッピング・テーブルポインタ(IRTP)を含む。一実施形態では、システム5における1つのゲストにつき1つの割込み再マッピング・テーブル64が存在してもよい。加えて、デバイステーブルエントリは、APIC IDテーブルポインタ(AIDTP)を含んでもよく、これは物理APIC IDテーブル60Aのベースアドレスであってもよい。他の実施形態では、デバイス割込みに対して論理APIC IDがサポートされてもよく、デバイステーブル62に2つのAIDTPフィールドが存在してもよい(一方は論理APIC IDテーブル60Bに対するものであり、他方は物理APIC IDテーブル60Aに対するものである)。一実施形態では、コンピュータ・システム5における1つのゲストにつき1つの論理APIC IDテーブル60Bと1つの物理APIC IDテーブル60Aが存在してもよい。
割込みリダイレクト・テーブル64へのインデックスは、割込みのための割込み識別子である。割込み識別子は、割込みベクトルを含んでもよく、且つまた、物理又は論理のいずれかの送達モード(delivery mode)(Delmode)を含んでもよい。選択されたエントリは、新しいベクトル及び宛先ID(DestID)を含んでもよい。加えて、選択されたエントリは、前述のゲスト/ホスト(G/H)フィールドを含んでもよい。
宛先IDは、物理APIC IDテーブル60Aへのインデックスであってもよく、選択されたエントリは、gAPIC状態エントリ90へのgAPIC状態ポインタを含んでもよい。加えて、選択されたエントリは、vCPUに対するIR指示を含んでもよい。
IPIでは、対象vCPUは、論理APIC ID又は物理APIC IDによって識別されてもよい。物理APIC IDでは、IDは、(そのアドレスがVMCBからゲスト割込み制御ユニット34A〜34Bにロードされる)物理APIC IDテーブル60Aへのインデックスとして用いられてもよい。gAPIC状態ポインタ及びIRフィールドは、したがって、物理IPIのためにアクセスされてもよい。
IPIが論理APIC IDを有する場合、論理APIC IDは、論理APIC IDテーブル60Bへのインデックスとして用いられてもよい。論理APIC IDの最上位部分はクラスタを識別してもよい。したがって、テーブルはクラスタに再分割され、そのそれぞれは、クラスタの各論理メンバに対する1つ又は複数のエントリを含んでもよい。クラスタにおけるメンバの数は、モードに応じて変化してもよい(例えば、x1 APICフラットモードは、1クラスタにつき8個までのメンバを含んでもよく、x1 APICクラスタモードは、1クラスタにつき4個までのメンバを含んでもよく、x2 APICモードは、16個までのクラスタメンバを含んでもよい。論理APIC IDテーブル60Bは、任意のモードを取り扱うようにサイズ設定されてもよく、そのため、この実施形態での各再分割クラスタは16個のメンバを含んでもよい。
図6で例証されるように、論理APIC IDテーブル60Bにおける各エントリは、対応するクラスタメンバを該クラスタメンバの物理APIC IDにマッピングしてもよい。論理APIC IDテーブル60Bからの物理APIC ID出力は、物理APIC IDテーブル60Aへのインデックスとして用いられてもよく、これは、vCPUに対するgAPIC状態ポインタ及びIRフィールドを供給してもよい。
次に図7に移ると、周辺デバイスからの割込みメッセージの受信に応答したデバイス割込みマネージャ38の一実施形態の動作を例証するフローチャートが示される。ブロックは理解を容易にするために特定の順序で示されるが、他の順序が用いられてもよい。ブロックは、デバイス割込みマネージャ38において組合せ論理で並列に行われてもよい。ブロック、ブロックの組合せ、及び/又はフローチャートは、複数のクロックサイクルにわたってパイプラインされてもよい。一般に、デバイス割込みマネージャ38は、図7で例証される動作を実装するように構成されてもよい。
デバイス割込みマネージャ38は、BDF(登録商標)及び周辺デバイスから受信される割込み情報に応答してデバイステーブル62及び割込み再マッピング・テーブル64にアクセスしてもよい。デバイス割込みマネージャ38は、割込み再マッピング・テーブル64からG/H指示を受信してもよく、割込みがホストに対するものである場合(決定ブロック100、「はい」分岐)、デバイス割込みマネージャ38は、(再マッピングされる可能性がある)宛先ID及びベクトルを伴う割込みメッセージをAPIC32A〜32Bに送信してもよい(ブロック108)。
デバイス割込みがG/H指示に従ってゲストに対するものである場合(決定ブロック100、「いいえ」分岐)、デバイス割込みマネージャ38は、ゲスト/vCPUに対するgAPIC状態エントリに割込みを記録してもよい。デバイス割込みに対する論理APIC IDをサポートする幾つかの実施形態では、デバイス割込みマネージャ38は、論理APIC IDテーブル60Bを通じて論理APIC IDを物理APIC IDに変換してもよい(ブロック102)。
デバイス割込みマネージャ38は、デバイステーブル62からのAIDTP及びデバイス割込みに対する物理APIC IDを用いて物理APIC IDテーブル60AからgAPIC状態エントリポインタを判定するように構成されてもよい(ブロック110)。デバイス割込みマネージャ38は、gAPIC状態エントリ90において表されるIRRにおける割込みベクトルに対応するビットを設定するように構成されてもよい(ブロック112)。加えて、デバイス割込みマネージャ38は、物理APIC IDテーブル60AからのIR指示を用いて、割込みの対象にされたvCPUが走っているかどうかを判定してもよい(決定ブロック104)。vCPUが走っていない場合(決定ブロック104、「いいえ」分岐)、デバイス割込みマネージャ38は、VMM18に対するログメッセージを、例えばイベントキューに記録してもよい(ブロック106)。VMM18は、その後、ログメッセージを処理してvCPUをスケジュール設定してもよい。他の実施形態は、走っていないvCPUに対する割込みの受取りを他の方法で通信してもよい。vCPUが走っている場合(決定ブロック104、「はい」分岐)、vCPUを走らせているプロセッサ30A〜30Bにおけるゲスト割込み制御ユニット34A〜34Bは、ウォッチ領域機構を用いてIRRビットの更新を検出してもよい(ブロック112)。別の実施形態では、デバイス割込みマネージャ38は、ゲスト割込みの受取りを示すためにプロセッサ30A〜30Bにゲスト割込み制御メッセージを送信してもよい(ブロック116)。
物理的割込みは、ブロードキャストであってもよく、又は単一の宛先であってもよい。物理的割込みがブロードキャストである場合(決定ブロック114、「はい」分岐)、デバイス割込みマネージャ38は、ゲストの仮想マシンにおける各宛先(例えば各vCPU)に対してブロック110、112、104、106、及び116を繰り返すように構成されてもよい。代替的に、ブロードキャストである物理的割込みは、VMM18にアクセス可能なデータ構造(例えばイベントキュー)に割込みをログ記録することでデバイス割込みマネージャ38によって処理されてもよい。デバイス割込みマネージャ38はまた、VMM18にイベントを知らせるためにVMM18に信号送信するように構成されてもよい(例えば、プロセッサ30A〜30Bのうちの1つの上の仮想マシンからの終了を引き起こす)。代替的に、デバイス割込みマネージャ38は、VMM18に周期的にのみ(例えば、Nミリ秒おきに、及び/又はイベントキューにおける高いウォーターマークで)信号送信してもよく、VMM18は、信号送信がサポートする可能性があるよりも迅速に任意のイベントをサービスするために同様に周期的にイベントキューをチェックしてもよい。一実施形態では、イベントキューは、デバイス割込みマネージャ38の代わりにIOMMU40によって管理されてもよい。論理割込みをマルチキャストして、割込みの論理APIC IDのベクトル部分における各宛先に対してブロック102、110、112、104、106、及び116を繰り返すために、類似した機構が実装されてもよい。
図8〜図11は、コンピュータ・システム5における種々の命令及び/又は他のイベントに応答したプロセッサ30A〜30B(及びより詳細にはゲスト割込み制御ユニット34A〜34B)の一実施形態の動作を例証するフローチャートである。ゲスト割込み制御ユニット34A〜34Bは、各フローチャートで例証される動作を実装するように構成されてもよい。既述のように、ゲスト割込み制御ユニット34A〜34Bのうちの幾つか又はすべては、マイクロコードに実装されてもよい。こうした実施形態では、ゲスト割込み制御ユニット34A〜34Bは、プロセッサにおける実行のためにマイクロコードをディスパッチすることによって動作を実装するように構成されてもよい。ブロックは、理解を容易にするためにフローチャートに特定の順序で示されるが、他の順序が用いられてもよい。ブロックは、ゲスト割込み制御ユニット34A〜34Bにおいて組合せ論理で並列に行われてもよい。ブロック、ブロックの組合せ、及び/又はフローチャートは、概して複数のクロックサイクルにわたってパイプラインされてもよい。
図8は、一実施形態に関するVMRUN命令を実行するプロセッサに応答したプロセッサ30A〜30Bにおけるゲスト割込み制御ユニット34A〜34Bの動作を例証する。ゲスト割込み制御ユニットは、プロセッサにおけるAPICアクセスに対するトラップ/フォールト動作をイネーブルにしてもよい(ブロック120)。プロセッサハードウェアは、APICアクセスをこの実施形態ではvCPUに対するgAPIC状態エントリ90へのメモリアクセスに変換するように構成されてもよく、又はAPICアクセスは、マイクロコードに実装されてもよい。gAPICアクセスのうちの多くは、必要であればVMMが任意の副作用をエミュレートすることを可能にするためにリタイア時にトラップされてもよい。しかしながら、或る動作はgAPIC状態への回復不能な変化をもたらす可能性があり、こうしたアクセスは、フォールトされVMMで行われてもよい。一実施形態では、ゲスト割込み状態は、(例えば、vCPUが走っていなかった時間中の割込みの送達を検出するために)再評価されてもよい。図10の動作は、例えば、VMRUN命令の一部として実装されてもよい。
ウォッチ領域動作が実装される場合、ゲスト割込み制御ユニットは、gAPIC状態エントリ90におけるIRRビットにわたるウォッチ領域をイネーブルにしてもよい(ブロック122)。例えば、ゲスト割込み制御ユニットは、VMCB22からのgAPIC状態エントリポインタを用いて、IRRビットをキャッシュにカバーするgAPIC状態エントリ90における1つ又は複数のキャッシュブロックを読み出してもよく、且つキャッシュブロックへの更新の監視を始めてもよい。他の実施形態は、vCPUに対するゲスト割込みが受信されていることを信号送信するためにゲスト割込み制御メッセージを実装してもよく、ウォッチ領域は実装されなくてもよい。
プロセッサは、VMRUN命令に応答して行われる種々の他の処理を行ってもよい(ブロック124)。例えば、VMCB22からロードされる種々のプロセッサ状態がロードされてもよく、プロセッサ状態がVMM状態セーブ領域などに保存されてもよい。ブロック124の動作は、幾つかの実施形態ではブロック120及び122の前に、後に、及び/又はインターリーブして行われてもよい。
図9は、一実施形態に関するゲストからのVMExitに応答した動作を例証する。ゲスト割込み制御ユニットは、APICアクセスに対するトラップ/フォールト挙動をディスエーブル(disable)にしてもよい(ブロック126)。加えて、vCPUに対して受信されている割込みを検出するのにウォッチ領域動作が用いられる場合、ウォッチ領域はディスエーブルにされてもよく(ブロック128)、プロセッサは、他のVMExit処理(例えば、VMCB22に状態を保存すること、VMM18状態を復元することなど)を続けてもよい(ブロック130)。ブロック130の動作は、幾つかの実施形態ではブロック126及び128の前に、後に、及び/又はインターリーブして行われてもよい。
ここで図10に移ると、プロセッサ上で実行するvCPUに対するゲスト割込みを検出するプロセッサに応答したゲスト割込み制御ユニットの一実施形態の動作を例証するフローチャートが示される。ゲスト割込みは、ウォッチ領域における更新を検出すること、ゲスト割込み制御メッセージを受信することなどの種々の方法で検出されてもよい。
ゲスト割込み制御ユニットは、vCPUに対するgAPIC状態エントリ90からIRR及びISRデータコンテンツを読み出してもよい(ブロック132)。ゲストTPRがプロセッサに実装されない場合、TPRは同様に読み出されてもよい。ゲスト割込み制御ユニットは、イン・サービスではないIRRに記録される最高優先度の割込みを、vCPUにおける現在送達される割込み及び現在のTPRと比較してもよい(ブロック134)。最高優先度の割込みがTPR及び最高優先度のイン・サービス割込みよりも高い優先度である場合(決定ブロック136、「はい」分岐)、ゲスト割込み制御ユニットは、新しいより高い優先度の割込みをvCPUに送達してもよい(ブロック138)。割込みをゲストに投入するための機構は、種々の実施形態において変化してもよい。既述のように、プロセッサは、実行中にゲストに割り込むために、ゲスト割込みをキューに入れるためのハードウェアを含んでもよい。ゲスト割込み制御ユニットは、こうした実施形態では、より高い優先度の割込みに関する情報をハードウェアにロードしてもよい。
図10の動作をマイクロコードに実装するゲスト割込み制御ユニットの実施形態では、ゲスト割込みの検出は、マイクロコードへのトラップを引き起こす可能性がある。トラップは、この場合、トラップされる命令に直接関係していなくてもよい。しかしながら、トラップは、マイクロコードが実行し且つ割込みを取り込むことを可能にしてもよい。マイクロコードは、トラップに応答して図10で例証される動作を実装するために実行されてもよい。
図11は、ゲスト割込み制御ユニットを含むプロセッサ上のvCPUにおける命令実行のためのゲスト割込み制御ユニットの一実施形態の動作を例証するフローチャートである。命令がAPICアクセスではない場合(決定ブロック140、「いいえ」分岐)又はAPICアクセスであって(決定ブロック140、「はい」分岐)プロセッサがゲストを実行しない場合(すなわちプロセッサがホストを実行している−決定ブロック142、「いいえ」分岐)、ゲスト割込み制御ユニットは、アクションを起こさなくてもよく、命令は普通に実行されてもよい(ブロック144)。これに関連して、普通に実行することは、ゲスト割込み制御ユニットからの干渉なしに実行することを指してもよい。命令は、ゲストにおける横取り構成を介して依然として横取りされてもよく、例外などを経験してもよい。
命令がAPICアクセスであり(決定ブロック140、「はい」分岐)且つゲストで実行される状態にある場合(決定ブロック142、「はい」分岐)、ゲスト割込み制御ユニットは、アクセスが加速されたアクセスであるかどうかを判定してもよい(決定ブロック146)。加速されたアクセスは、アクセスによって引き起こされる場合がある任意の副作用を含む、ゲスト割込み制御ユニットによって実装されるアクセスであってもよい。一実施形態では、アクセスは、任意の副作用を含むマイクロコードに実装されてもよい。アクセスが加速されたアクセスではない場合、ゲスト割込み制御ユニットは、命令がトラップされる(フォールトされない)場合にgAPIC状態エントリへのアクセスを行ってもよい(ブロック148)。前述のように、ほとんどの命令はトラップされてもよい。フォールトされる命令は、リタイアが許される場合に回復不能な状態変化を引き起こす命令であってもよい。例えば、割込み状態がこれらの命令によって上書きされる可能性があるので、IRR、ISR、及び随意的にTMRへの書込みがフォールトされてもよい。加えて、一実施形態では、現在のカウントレジスタは集積回路66に供給されるクロックに従って動作する自由に走るカウンタであるため、現在のカウントレジスタへのアクセスは、エミュレーションのためにフォールトされてもよい。仮想化のオーバーヘッドは、エミュレートされない場合にカウンタにおいて検出可能であってもよい。他のアクセスがトラップされてもよい。他の実施形態は、トラップされる命令及びフォールトされる命令とは異なる描写をする可能性がある。
VMM18が動作の1つ又は複数の副作用をエミュレートする場合(決定ブロック150、「はい」分岐)、ゲスト割込み制御ユニットは、VMM18にVMExitしてもよい(ブロック152)。幾つかのアクセスは、副作用(例えば、ほとんどの読出し動作)を有さない可能性がある。書込み動作及び幾つかの読出し動作は、副作用を有する可能性があり(例えば、書込みに応答して期待されるAPICの動作)、これらの副作用はVMM18にエミュレートされてもよい。これに関連して、副作用は、状態(書込みに関して)又は対象レジスタ(読出しに関して)を更新する動作以外の任意の動作であってもよい。VMM18によってエミュレートされる副作用が存在しない場合(決定ブロック150、「いいえ」分岐)、命令に対する動作が完了してもよい。
アクセスが加速される場合(決定ブロック146、「はい」分岐)、ゲスト割込み制御ユニットは、命令によってアクセスされるレジスタに対応するgAPIC状態エントリにおける場所を読み出してもよい又は書き込んでもよい(ブロック154)。加速されるアクセスの組は、実施形態から実施形態へと変化してもよい。一般に、頻繁に起こる可能性がある及び/又は他の方法ではパフォーマンスが決定的に影響する(performance critical)可能性があるアクセスが、加速に対する候補であってもよい。一実施形態では、ICRL(IPIを引き起こす可能性がある)、TPR、及びEOIレジスタへのアクセスが加速されてもよい。アクセスがTPR又はEOIへのものである又はアクセスがICRLへのものであるがIPIを引き起こさない場合(決定ブロック156、「いいえ」分岐)、ゲスト割込み制御ユニットは、任意の他の副作用(もしあるとしたら)を実装してもよく、命令が完了してもよい(ブロック158)。命令がIPIを引き起こす場合(決定ブロック156、「はい」分岐)、ゲスト割込み制御ユニットは、IPIの宛先IDを対象vCPUに対するgAPIC状態ポインタに翻訳するためにAPIC IDテーブル60を用いてもよい(ブロック160)。論理APIC IDテーブル60B及び物理APIC IDテーブル60Aのベースアドレスは、VMCB22から利用可能であってもよく、プロセッサ上で実行するvCPUが呼び出されたときにプロセッサにロードされていてもよい。ゲスト割込み制御ユニットは、IPIを記録するためにgAPIC状態におけるIRRに書き込んでもよい(ブロック162)。割込みが記録されていること及び対象vCPUが走っていることを通信するためにゲスト割込み制御メッセージが用いられる場合、ゲスト割込み制御ユニットは、対象プロセッサにゲスト割込み制御メッセージを送信してもよい(ブロック164)。対象vCPUが走っていない場合(決定ブロック166、「いいえ」分岐)、プロセッサは、VMM18が対象vCPUをスケジュール設定することを可能にするためにVMExitしてもよい(ブロック168)。
図7に関する物理的割込みのブロードキャストの上記の説明と類似して、IPIがブロードキャストされる(物理)又は複数の対象を有する(論理)場合、ゲスト割込み制御ユニットは、複数のgAPIC状態エントリを更新することによって複数の対象をサポートしてもよく、又は複数の対象IPIに対するVMM18に出てもよい。
図16は、プロセッサ30Aにおけるゲスト割込み制御ユニット38Aにゲスト割込み制御メッセージ(及びゲストIPI)を送達するのに用いられてもよいMSRインターフェースの一実施形態を例証するブロック図である。図16で例証されるのは、ゲスト割込み制御ユニット38A及びMSRユニット212(その両方ともプロセッサ30Aの一部であってもよい)、特権付きコード210、及びAPIC32Aである。ゲスト割込み制御ユニット38Aは、MSRユニット212に結合され、これは、MSR214を含む。MSR214は、ゲスト割込み有効(guest interrupt valid)(GIV)ビットを格納してもよい。他の割込みに関係するデータがMSR214に同様に格納されてもよい。MSRユニット212はAPIC32Aに結合される。
したがって、APIC32Aは、ゲスト割込み制御メッセージを受信してもよく、且つ、MSR214に対する更新を送信するように構成されてもよい。更新は、GIVビットを設定してもよい。GIVビットの設定に応答して、ゲスト割込み制御ユニット38Aは、受信したゲスト割込みを処理してもよい(例えば図10に示すように)。GIVビットの設定は、ゲスト割込み制御ユニット38Aにおける回路にゲスト割込みの処理を開始させてもよい。代替的に、GIVビットの設定は、ゲスト割込みの処理を開始するためにゲスト割込み制御ユニット38Aからのマイクロコードの発行を引き起こしてもよい。
前述のように、特権付きコード210は、MSRユニット212(MSR214を含む)にアクセスしてもよい。特権付きコード210は、プロセッサ30A上で実行してもよいVMM18並びに他の特権付きコード(例えばホストOSコードなど)を含んでもよい。しかしながら、非特権付きコード及びゲストコードはMSR214にアクセスしなくてもよい。
図12〜図14は、前述のハードウェアを用いてゲスト割込み仮想化をサポートするためのVMM18の一実施形態の高レベル動作を例証するフローチャートである。VMM18によって実装される多くの他の動作は、これらのフローチャートでは例証されず、これらの種々の他の動作の一部は、例証された動作とインターリーブされてもよく、及び/又は例証された動作の前及び/又は後に行われてもよい。ブロックは、理解を容易にするためにフローチャートに特定の順序で示されるが、他の順序が用いられてもよい。VMM18は、実行されるときにフローチャートで例証される動作を実施する命令を含んでもよい。
図12は、コンピュータ・システム5上での実行のためのゲストの初期化中のVMM18の動作の一実施形態を例証するフローチャートである。すなわち、初期化は、コンピュータ・システム5上でゲストを実行する前に、ゲストに対する仮想マシンを記述するデータ構造をもたらすことを含んでもよい。VMM18は、ゲストにおける各vCPUに対するgAPIC状態を確立してもよい(ブロック170)。gAPIC状態を確立することは、例えば、状態に対するページを割り当てること及び状態に対する最初の値を挿入することを含んでもよい。最初の値は、例えば、APICのリセット状態に対応してもよい。
VMM18は、ゲストに対するAPIC IDテーブル60を確立し、各vCPUのAPIC IDに基づいてゲストに対する割り当てられたページへのgAPIC状態エントリポインタをマッピングしてもよい(ブロック172)。VMM18はまた、走っていないことを示すためにIR指示を初期化してもよい。ゲストに割り当てられてもよい任意の周辺デバイスに対して、VMM18は、割込み再マッピング・テーブル64及び物理APIC IDテーブル60Bへのポインタと共にデバイステーブル62をプログラムしてもよい。VMM18は、ゲストに対する割込み再マッピング・テーブル64をプログラムし、且つゲストを示すためにG/Hビットを設定してもよい(ブロック174)。
図13は、初期化が完了した後の割込みの仮想化のためにゲストをサポートするVMM18の動作の一実施形態を例証するフローチャートである。VMM18が実行のためにゲストをスケジュール設定する又はゲストのvCPUをスケジュール解除する(deschedules)場合(決定ブロック176、「はい」分岐)、VMM18は、走っている(ゲストスケジュール設定される)又は走っていない(ゲストスケジュール解除される)ことを示すために該vCPUに対応する物理APIC IDテーブル60AのエントリにおけるIRフィールドを更新してもよい(ブロック178)。APICアクセスに対するVMExitが検出される場合(決定ブロック180、「はい」分岐)、VMM18は、gAPIC状態に基づいてAPICアクセスをエミュレートしてもよい(ブロック182)。走っていないvCPUを対象にした割込みが受信されていることを示すIOMMU40からのログエントリをVMM18が検出する場合(決定ブロック184、「はい」分岐)、VMM18は、割込みを処理するべくスケジューリングするために、対象vCPUに優先順位をつけてもよい(ブロック186)。
図14は、システムからゲストを削除するVMM18の一実施形態の動作を例証するフローチャートである。VMM18は、任意の周辺デバイスのゲスト割り当てを除去するためにデバイステーブル62及び割込み再マッピング・テーブル64を更新してもよい(ブロック188)。VMM18はまた、ゲストのgAPIC状態エントリ90及びAPIC IDテーブル60を削除してもよい(ブロック190)。
次に図15に移ると、コンピュータ可読記憶媒体200のブロック図が示される。一般的に言えば、コンピュータ可読記憶媒体は、コンピュータに命令及び/又はデータを提供するために、使用中にコンピュータがアクセス可能な任意の記憶媒体を含んでもよい。例えば、コンピュータ可読記憶媒体は、磁気媒体又は光学媒体、例えば、ディスク(固定又はリムーバブル)、テープ、CD−ROM、又はDVD−ROM、CD−R、CD−RW、DVD−R、DVD−RW、HDDVD、及び/又はブルーレイディスクのような記憶媒体を含んでもよい。記憶媒体は、RAM(例えば、シンクロナス動的RAM(SDRAM)、Rambus DRAM(RDRAM)、静的RAM(SRAM)など)、ROM、ユニバーサル・シリアル・バス(USB)インターフェース又はあらゆる他のインターフェースのような周辺インターフェースを介してアクセス可能なフラッシュメモリ、不揮発性メモリ(例えばフラッシュメモリ)などのような揮発性又は不揮発性メモリ媒体をさらに含んでもよい。記憶媒体は、微小電気機械システム(MEMS)、並びにネットワーク及び/又は無線リンクのような通信媒体を介してアクセス可能な記憶媒体を含んでもよい。図15のコンピュータ可読記憶媒体200は、VMM18を格納してもよく、これは、図12〜図14のフローチャートで例証される動作及び/又はこの説明におけるVMM18に割り当てられる任意の他の機能のすべて又は一部を実装してもよい。コンピュータ可読記憶媒体200は、マイクロコード202又は他の命令及び/又はデータ(例えば、Verilog又は幾つかの他のハードウェア記述言語)を格納してもよく、これは、マイクロコードに実装されるゲスト割込み制御ユニット34Aの部分に関する図8〜図13のフローチャートで例証される動作及び/又はこの説明におけるマイクロコードに割り当てられる任意の他の機能のすべて又は一部を実装してもよい。一般に、コンピュータ可読記憶媒体200は、実行されるときに、図8〜図13に示されたフローチャートの一部又はすべてを実施する命令の任意のセットを格納してもよい。幾つかの実施形態では、プロセッサ30Aに関して本明細書で説明される動作の一部又はすべて(及びより詳細にはゲスト割込み制御ユニット34A)は、ハードウェアに実装されてもよく、同様にIOMMU40(及びより詳細にはデバイス割込みマネージャ38)はハードウェアに実装されてもよい。コンピュータ可読記憶媒体200は、こうしたハードウェアの任意の所望の表現を格納してもよい。例えば、表現は、Verilog又はVHDLのような高水準設計言語(HDL)におけるハードウェア機能の動作レベル記述又はレジスタ伝送レベル(register−transfer level)(RTL)記述であってもよい。記述は、合成ライブラリからのゲートのリストを含むネットリストをもたらすために、記述を合成してもよい合成ツールによって読み出されてもよい。ネットリストは、ゲートのセットを備え、これはまた、システム10を備えるハードウェアの機能を表す。ネットリストは、次いで、マスクに適用されるべき幾何学的形状を記述するデータセットをもたらすために配置されルーティングされてもよい。マスクは、次いで、システム10に対応する1つ又は複数の半導体回路をもたらすために、種々の半導体製作ステップで用いられてもよい。代替的に、コンピュータによりアクセス可能な記憶媒体300上の表現は、必要に応じてネットリスト(合成ライブラリ有り又は無し)であってもよいし又はデータセットであってもよい。命令は、例えば、そのように構成されるときに、製作設備が図8〜図13のフローチャートで説明される動作の一部又はすべて及び/又はプロセッサ30A、ゲスト割込み制御ユニット34A、IOMMU40、及び/又はデバイス割込みマネージャ38に関して本明細書で説明される動作の一部又はすべてを実装する集積回路をもたらすように適合されるマスクワークの発生を通じて回路製作設備を構成するのに用いられてもよい。搬送媒体は、コンピュータによりアクセス可能な記憶媒体並びに配線又は無線伝送のような伝送媒体を含んでもよい。
上記の開示が十分に認識されれば、当業者には多くの変形及び修正が明らかとなるであろう。以下の請求項は、すべてのこうした変形及び修正を包含するように解釈されることを意図される。
Claims (20)
- 仮想プロセッサに対応する記憶域に割込みが記録されていることを検出するように構成されたゲスト割込み制御ユニットを備えるハードウェア・プロセッサであって、前記割込みが前記仮想プロセッサを対象とし、前記仮想プロセッサが前記ハードウェア・プロセッサ上でアクティブであり、前記ハードウェア・プロセッサ上でアクティブである前記仮想プロセッサに応答して前記ゲスト割込み制御ユニットが前記仮想プロセッサへの前記割込みを提供するように構成される、ハードウェア・プロセッサ。
- 前記ゲスト割込み制御ユニットが、更新のために前記記憶域を監視するように構成される、請求項1に記載のハードウェア・プロセッサ。
- 前記ゲスト割込み制御ユニットが、前記仮想プロセッサに対する割込みが記録されていることを示すゲスト割込み制御メッセージの指示を受信するように構成される、請求項1に記載のハードウェア・プロセッサ。
- モデル固有レジスタをさらに備え、前記ゲスト割込み制御メッセージの前記指示が前記モデル固有レジスタに格納される、請求項3に記載のハードウェア・プロセッサ。
- 前記モデル固有レジスタが、前記ゲスト割込み制御メッセージに応答してローカル割込みコントローラによって更新される、請求項4に記載のハードウェア・プロセッサ。
- 前記ゲスト割込み制御ユニットが、前記ハードウェア・プロセッサによって実行されるときに前記ゲスト割込み制御ユニットの動作を実装する1つ又は複数のマイクロコード・ルーチンを含むマイクロコードユニットを備える、請求項1に記載のハードウェア・プロセッサ。
- ゲストからの命令を実行するように構成される回路を備えるプロセッサであって、前記回路が、ゲストにおける仮想プロセッサに関連付けられた割込みコントローラ状態データにアクセスする命令を検出するように構成され、前記回路が、前記命令の検出に応答して前記仮想プロセッサに対応する割込みコントローラ状態データを格納する記憶域にアクセスするように構成される、プロセッサ。
- 前記回路が、前記アクセスによって引き起こされる割込みコントローラ動作をエミュレートするために前記ゲストを終了して仮想マシンモニタに出るようにさらに構成される、請求項7に記載のプロセッサ。
- 前記回路が、前記割込みコントローラ状態のサブセットへのアクセスをエミュレートするようにさらに構成される、請求項7に記載のプロセッサ。
- 前記アクセスのエミュレートが、前記プロセッサにマイクロコードで実装される、請求項9に記載のプロセッサ。
- 前記回路が、割込みコマンドレジスタへの前記アクセスをエミュレートするように構成され、前記割込みコマンドレジスタへの前記アクセスがプロセッサ間割込み(IPI)を引き起こす、請求項9に記載のプロセッサ。
- 前記IPIが、前記IPIの対象となる仮想プロセッサを識別する割込みコントローラ識別子を含み、前記回路が、前記対象となる仮想プロセッサの割込みコントローラ状態データを格納する第2の記憶域を位置付け、且つ前記対象となる仮想プロセッサへの前記IPIを提供するために前記割込みコントローラ状態への更新を生成するように構成される、請求項11に記載のプロセッサ。
- 複数の命令を備えるコンピュータ可読記憶媒体であって、該複数の命令は、割込みの対象とする仮想プロセッサに対応する記憶域に割込みが記録されていることの検出に応答して実行されるときに、前記ハードウェア・プロセッサ上でアクティブである前記仮想プロセッサに応答して前記仮想プロセッサへの前記割込みを提供するコンピュータ可読記憶媒体。
- 前記命令が、ゲストにおける仮想プロセッサに関連付けられた割込みコントローラ状態データにアクセスするゲスト内の命令の検出に応答して実行されるときに、前記仮想プロセッサに対応する割込みコントローラ状態データを格納する記憶域にアクセスする、請求項13に記載のコンピュータ可読記憶媒体。
- 前記命令が、実行されるときに、前記アクセスによって引き起こされる割込みコントローラ動作をエミュレートするために前記ゲストを終了して仮想マシンモニタに出る、請求項14に記載のコンピュータ可読記憶媒体。
- 前記命令が、実行されるときに、前記割込みコントローラ状態のサブセットへのアクセスをエミュレートする、請求項15に記載のコンピュータ可読記憶媒体。
- コンピュータ・システム上で実行可能なプログラムによって作動されるデータ構造を備えるコンピュータ可読記憶媒体であって、
前記プログラムは、前記データ構造によって記述される回路を含む集積回路を製作するプロセスの一部を行うために前記データ構造上で動作し、
前記データ構造で記述される前記回路が、ハードウェア・プロセッサにおけるゲスト割込み制御ユニットを含み、
該ゲスト割込み制御ユニットが、仮想プロセッサに対応する記憶域に割込みが記録されていることを検出するように構成され、
前記割込みは、前記仮想プロセッサを対象とし、
前記ゲスト割込み制御ユニットは、前記仮想プロセッサが前記ハードウェア・プロセッサ上でアクティブであり、前記ハードウェア・プロセッサ上でアクティブである前記仮想プロセッサに応答して前記仮想プロセッサへの前記割込みを提供するように構成される、コンピュータ可読記憶媒体。 - 前記ゲスト割込み制御ユニットが、前記仮想プロセッサに対する割込みが記録されていることを示すゲスト割込み制御メッセージを受信するように構成される、請求項17に記載のコンピュータ可読記憶媒体。
- 前記データ構造で記述される前記回路が、ゲストからの命令を実行するように構成されるプロセッサをさらに含み、前記プロセッサが、前記ゲストにおける仮想プロセッサに関連付けられた割込みコントローラ状態データにアクセスする命令を検出するように構成され、前記プロセッサが、前記命令の検出に応答して前記仮想プロセッサに対応する割込みコントローラ状態データを格納する記憶域にアクセスするように構成される、請求項17に記載のコンピュータ可読記憶媒体。
- 前記プロセッサが、割込みコマンドレジスタへの前記アクセスをエミュレートするように構成され、前記割込みコマンドレジスタへの前記アクセスがプロセッサ間割込み(IPI)を引き起こし、
前記IPIが、前記IPIの対象となる仮想プロセッサを識別する割込みコントローラ識別子を含み、
前記プロセッサが、前記対象となる仮想プロセッサの割込みコントローラ状態データを格納する第2の記憶域を位置付け、且つ前記対象となる仮想プロセッサへの前記IPIを提供するために前記割込みコントローラ状態への更新を生成するように構成される、請求項19に記載のコンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US30193710P | 2010-02-05 | 2010-02-05 | |
US61/301,937 | 2010-02-05 | ||
US12/961,189 | 2010-12-06 | ||
US12/961,189 US20110197004A1 (en) | 2010-02-05 | 2010-12-06 | Processor Configured to Virtualize Guest Local Interrupt Controller |
PCT/US2011/023943 WO2011097589A2 (en) | 2010-02-05 | 2011-02-07 | Processor configured to virtualize guest local interrupt controller |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013519170A true JP2013519170A (ja) | 2013-05-23 |
Family
ID=44354565
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012552139A Withdrawn JP2013519169A (ja) | 2010-02-05 | 2011-02-07 | 割込みの仮想化 |
JP2012552140A Withdrawn JP2013519170A (ja) | 2010-02-05 | 2011-02-07 | ゲストローカル割込みコントローラを仮想化するように構成されたプロセッサ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012552139A Withdrawn JP2013519169A (ja) | 2010-02-05 | 2011-02-07 | 割込みの仮想化 |
Country Status (6)
Country | Link |
---|---|
US (3) | US20110197004A1 (ja) |
EP (2) | EP2531918A2 (ja) |
JP (2) | JP2013519169A (ja) |
KR (2) | KR20130035996A (ja) |
CN (2) | CN102804143A (ja) |
WO (2) | WO2011097588A2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015022553A (ja) * | 2013-07-19 | 2015-02-02 | 株式会社日立製作所 | 計算機の制御方法及び計算機 |
JP2015526829A (ja) * | 2012-08-29 | 2015-09-10 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | ゲスト仮想マシン内の仮想入出力メモリ管理ユニット |
WO2015132942A1 (ja) * | 2014-03-07 | 2015-09-11 | 株式会社日立製作所 | 計算機 |
WO2015159359A1 (ja) * | 2014-04-15 | 2015-10-22 | 株式会社日立製作所 | 物理計算機 |
JP2017091544A (ja) * | 2015-11-16 | 2017-05-25 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 仮想プロセッサ・スレッド・グループを使用する処理ユニット内の割込みを処理するための方法、処理ユニット、および設計構造 |
US20210318973A1 (en) | 2019-02-14 | 2021-10-14 | International Business Machines Corporation | Directed interrupt for multilevel virtualization |
JP2022520713A (ja) * | 2019-02-14 | 2022-04-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 有向割り込みの仮想化方法、システム、プログラム |
JP2022520928A (ja) * | 2019-02-14 | 2022-04-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 割り込みテーブルを使用した有向割り込みの仮想化方法、システム、プログラム |
US11734037B2 (en) | 2019-02-14 | 2023-08-22 | International Business Machines Corporation | Directed interrupt virtualization with running indicator |
US11829790B2 (en) | 2019-02-14 | 2023-11-28 | International Business Machines Corporation | Directed interrupt virtualization with fallback |
Families Citing this family (97)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110197004A1 (en) * | 2010-02-05 | 2011-08-11 | Serebrin Benjamin C | Processor Configured to Virtualize Guest Local Interrupt Controller |
JP5440419B2 (ja) * | 2010-06-29 | 2014-03-12 | 富士通セミコンダクター株式会社 | 情報処理システム |
US8495217B2 (en) * | 2010-09-30 | 2013-07-23 | International Business Machines Corporation | Mechanism for preventing client partition crashes by removing processing resources from the client logical partition when an NPIV server goes down |
US20120166172A1 (en) * | 2010-12-23 | 2012-06-28 | Fleming Bruce L | Providing legacy computing compatibility |
US8578080B2 (en) * | 2011-07-01 | 2013-11-05 | Intel Corporation | Secure handling of interrupted events utilizing a virtual interrupt definition table |
US8631181B2 (en) * | 2011-09-26 | 2014-01-14 | Oracle International Corporation | Validating message-signaled interrupts by tracking interrupt vectors assigned to devices |
US8910158B2 (en) * | 2011-12-14 | 2014-12-09 | Intel Corporation | Virtualizing interrupt priority and delivery |
US8656079B2 (en) * | 2011-12-19 | 2014-02-18 | Advanced Micro Devices, Inc. | Method and apparatus for remapping interrupt types |
WO2013100948A1 (en) * | 2011-12-28 | 2013-07-04 | Intel Corporation | Delivering real time interrupts with an advanced programmable interrupt controller |
US9038084B2 (en) | 2012-02-23 | 2015-05-19 | International Business Machines Corporation | Managing utilization of physical processors of a shared processor pool in a virtualized processor environment |
JP5820525B2 (ja) * | 2012-03-29 | 2015-11-24 | 株式会社日立製作所 | 仮想計算機のスケジュールシステム及びその方法 |
US9229884B2 (en) | 2012-04-30 | 2016-01-05 | Freescale Semiconductor, Inc. | Virtualized instruction extensions for system partitioning |
US9152587B2 (en) | 2012-05-31 | 2015-10-06 | Freescale Semiconductor, Inc. | Virtualized interrupt delay mechanism |
CN102750178B (zh) * | 2012-06-08 | 2015-04-29 | 华为技术有限公司 | 通信设备硬件资源的虚拟化管理方法及相关装置 |
JP5933356B2 (ja) * | 2012-06-12 | 2016-06-08 | ルネサスエレクトロニクス株式会社 | コンピュータシステム |
US9122780B2 (en) * | 2012-06-20 | 2015-09-01 | Intel Corporation | Monitoring resource usage by a virtual machine |
US9442870B2 (en) * | 2012-08-09 | 2016-09-13 | Freescale Semiconductor, Inc. | Interrupt priority management using partition-based priority blocking processor registers |
US9436626B2 (en) * | 2012-08-09 | 2016-09-06 | Freescale Semiconductor, Inc. | Processor interrupt interface with interrupt partitioning and virtualization enhancements |
US8806104B2 (en) | 2012-09-25 | 2014-08-12 | Intel Corporation | Enabling virtualization of a processor resource |
US9740624B2 (en) | 2012-10-08 | 2017-08-22 | International Business Machines Corporation | Selectable address translation mechanisms within a partition |
US9348757B2 (en) | 2012-10-08 | 2016-05-24 | International Business Machines Corporation | System supporting multiple partitions with differing translation formats |
US9600419B2 (en) | 2012-10-08 | 2017-03-21 | International Business Machines Corporation | Selectable address translation mechanisms |
US9355040B2 (en) | 2012-10-08 | 2016-05-31 | International Business Machines Corporation | Adjunct component to provide full virtualization using paravirtualized hypervisors |
US9280488B2 (en) | 2012-10-08 | 2016-03-08 | International Business Machines Corporation | Asymmetric co-existent address translation structure formats |
US9355032B2 (en) | 2012-10-08 | 2016-05-31 | International Business Machines Corporation | Supporting multiple types of guests by a hypervisor |
US9009368B2 (en) | 2012-10-23 | 2015-04-14 | Advanced Micro Devices, Inc. | Interrupt latency performance counters |
US10078603B2 (en) * | 2012-11-30 | 2018-09-18 | Red Hat Israel, Ltd. | MSI events using dynamic memory monitoring |
US9075789B2 (en) * | 2012-12-11 | 2015-07-07 | General Dynamics C4 Systems, Inc. | Methods and apparatus for interleaving priorities of a plurality of virtual processors |
US9250954B2 (en) * | 2013-01-17 | 2016-02-02 | Xockets, Inc. | Offload processor modules for connection to system memory, and corresponding methods and systems |
US9235538B2 (en) * | 2013-02-07 | 2016-01-12 | Red Hat Israel, Ltd. | Injecting interrupts in virtualized computer systems |
US9329880B2 (en) | 2013-02-13 | 2016-05-03 | Red Hat Israel, Ltd. | Counter for fast interrupt register access in hypervisors |
US10331589B2 (en) * | 2013-02-13 | 2019-06-25 | Red Hat Israel, Ltd. | Storing interrupt location for fast interrupt register access in hypervisors |
US9830286B2 (en) | 2013-02-14 | 2017-11-28 | Red Hat Israel, Ltd. | Event signaling in virtualized systems |
US9378162B2 (en) | 2013-05-21 | 2016-06-28 | Arm Limited | Handling and routing interrupts to virtual processors |
CN104239238B (zh) * | 2013-06-21 | 2018-01-19 | 格芯公司 | 用于管理转换旁视缓冲的方法和装置 |
US9015374B2 (en) | 2013-07-09 | 2015-04-21 | Advanced Micro Devices, Inc. | Virtual interrupt filter |
GB2517493A (en) * | 2013-08-23 | 2015-02-25 | Advanced Risc Mach Ltd | Handling access attributes for data accesses |
US9262198B2 (en) | 2013-08-26 | 2016-02-16 | Vmware, Inc. | CPU scheduler configured to support latency sensitive virtual machines |
CN103559087B (zh) * | 2013-10-31 | 2017-11-28 | 华为技术有限公司 | 一种虚拟处理器之间的中断的实现方法、相关装置和系统 |
US9697031B2 (en) * | 2013-10-31 | 2017-07-04 | Huawei Technologies Co., Ltd. | Method for implementing inter-virtual processor interrupt by writing register data in a single write operation to a virtual register |
US9355050B2 (en) | 2013-11-05 | 2016-05-31 | Qualcomm Incorporated | Secure, fast and normal virtual interrupt direct assignment in a virtualized interrupt controller in a mobile system-on-chip |
US9465760B2 (en) * | 2013-11-18 | 2016-10-11 | Futurewei Technologies, Inc. | Method and apparatus for delivering MSI-X interrupts through non-transparent bridges to computing resources in PCI-express clusters |
JP6190471B2 (ja) * | 2013-12-27 | 2017-08-30 | 株式会社日立製作所 | パーティション実行制御装置、パーティション実行制御方法及び計算機に読み込み可能な記憶媒体 |
US9396142B2 (en) * | 2014-06-10 | 2016-07-19 | Oracle International Corporation | Virtualizing input/output interrupts |
US9507740B2 (en) | 2014-06-10 | 2016-11-29 | Oracle International Corporation | Aggregation of interrupts using event queues |
JP2017518589A (ja) * | 2014-06-20 | 2017-07-06 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 仮想化プラットホームによって割込みを処理する方法および関連デバイス |
US9665509B2 (en) * | 2014-08-20 | 2017-05-30 | Xilinx, Inc. | Mechanism for inter-processor interrupts in a heterogeneous multiprocessor system |
US9697154B2 (en) * | 2014-08-20 | 2017-07-04 | Red Hat Israel, Ltd. | Managing message signaled interrupts in virtualized computer systems |
WO2016092667A1 (ja) * | 2014-12-11 | 2016-06-16 | 株式会社日立製作所 | 計算機及び割込み制御方法 |
US9772870B2 (en) * | 2015-01-29 | 2017-09-26 | Red Hat Israel, Ltd. | Delivering interrupts to virtual machines executing privileged virtual machine functions |
GB2541133B (en) * | 2015-06-16 | 2018-01-03 | Nordic Semiconductor Asa | Interrupt generating unit |
EP3118740B1 (en) * | 2015-07-15 | 2021-09-08 | Huawei Technologies Co., Ltd. | Device and method for hardware virtualization support |
US10846117B1 (en) * | 2015-12-10 | 2020-11-24 | Fireeye, Inc. | Technique for establishing secure communication between host and guest processes of a virtualization architecture |
US10108446B1 (en) | 2015-12-11 | 2018-10-23 | Fireeye, Inc. | Late load technique for deploying a virtualization layer underneath a running operating system |
US20170206091A1 (en) * | 2016-01-20 | 2017-07-20 | International Business Machines Corporation | Sharing ownership of an input/output device with an existing partition |
US10042720B2 (en) | 2016-02-22 | 2018-08-07 | International Business Machines Corporation | Live partition mobility with I/O migration |
US10002018B2 (en) | 2016-02-23 | 2018-06-19 | International Business Machines Corporation | Migrating single root I/O virtualization adapter configurations in a computing system |
US10042723B2 (en) | 2016-02-23 | 2018-08-07 | International Business Machines Corporation | Failover of a virtual function exposed by an SR-IOV adapter |
US10671419B2 (en) * | 2016-02-29 | 2020-06-02 | Red Hat Israel, Ltd. | Multiple input-output memory management units with fine grained device scopes for virtual machines |
US10025584B2 (en) | 2016-02-29 | 2018-07-17 | International Business Machines Corporation | Firmware management of SR-IOV adapters |
US20210026950A1 (en) * | 2016-03-07 | 2021-01-28 | Crowdstrike, Inc. | Hypervisor-based redirection of system calls and interrupt-based task offloading |
KR102509986B1 (ko) | 2016-03-28 | 2023-03-14 | 삼성전자주식회사 | 다중 코어 프로세서 및 다중 코어 프로세서를 제어하는 방법 |
US10956345B2 (en) * | 2016-04-01 | 2021-03-23 | Intel Corporation | Enhanced directed system management interrupt mechanism |
US10180854B2 (en) * | 2016-09-28 | 2019-01-15 | Intel Corporation | Processor extensions to identify and avoid tracking conflicts between virtual machine monitor and guest virtual machine |
US9785451B1 (en) | 2016-10-21 | 2017-10-10 | International Business Machines Corporation | Migrating MMIO from a source I/O adapter of a computing system to a destination I/O adapter of the computing system |
US9715469B1 (en) * | 2016-10-21 | 2017-07-25 | International Business Machines Corporation | Migrating interrupts from a source I/O adapter of a source computing system to a destination I/O adapter of a destination computing system |
US9720862B1 (en) | 2016-10-21 | 2017-08-01 | International Business Machines Corporation | Migrating interrupts from a source I/O adapter of a computing system to a destination I/O adapter of the computing system |
US9740647B1 (en) | 2016-10-21 | 2017-08-22 | International Business Machines Corporation | Migrating DMA mappings from a source I/O adapter of a computing system to a destination I/O adapter of the computing system |
US9760512B1 (en) | 2016-10-21 | 2017-09-12 | International Business Machines Corporation | Migrating DMA mappings from a source I/O adapter of a source computing system to a destination I/O adapter of a destination computing system |
US9720863B1 (en) | 2016-10-21 | 2017-08-01 | International Business Machines Corporation | Migrating MMIO from a source I/O adapter of a source computing system to a destination I/O adapter of a destination computing system |
US10635479B2 (en) * | 2016-12-19 | 2020-04-28 | Bitdefender IPR Management Ltd. | Event filtering for virtual machine security applications |
WO2018176360A1 (en) * | 2017-03-31 | 2018-10-04 | Intel Corporation | Scalable interrupt virtualization for input/output devices |
US10228981B2 (en) * | 2017-05-02 | 2019-03-12 | Intel Corporation | High-performance input-output devices supporting scalable virtualization |
CN109144679B (zh) * | 2017-06-27 | 2022-03-29 | 华为技术有限公司 | 中断请求的处理方法、装置及虚拟化设备 |
TWI621946B (zh) * | 2017-06-28 | 2018-04-21 | 緯創資通股份有限公司 | 排程方法、PCIe控制器及其相關電子系統 |
US11487574B2 (en) | 2017-09-19 | 2022-11-01 | Microsoft Technology Licensing, Llc | Targeted interrupts for virtual processors |
CN108123850B (zh) * | 2017-12-25 | 2020-04-24 | 上海交通大学 | 针对中断持有者抢占问题的综合调度方法及装置 |
JP2019114097A (ja) | 2017-12-25 | 2019-07-11 | ルネサスエレクトロニクス株式会社 | 半導体装置 |
CN108334282B (zh) * | 2017-12-28 | 2021-07-09 | 宁德时代新能源科技股份有限公司 | 汽车电子控制单元的程序文件下载方法和装置 |
CN108369604B (zh) * | 2017-12-28 | 2021-12-03 | 深圳前海达闼云端智能科技有限公司 | 一种多操作系统共享文件系统的方法、装置和电子设备 |
GB2571922B (en) * | 2018-03-05 | 2020-03-25 | Advanced Risc Mach Ltd | External exception handling |
CN111353595A (zh) * | 2018-12-20 | 2020-06-30 | 上海寒武纪信息科技有限公司 | 运算方法、装置及相关产品 |
TWI764082B (zh) | 2019-02-14 | 2022-05-11 | 美商萬國商業機器公司 | 用於經引導中斷虛擬化之中斷信號之方法、電腦系統及電腦程式產品 |
EP3924819A1 (en) | 2019-02-14 | 2021-12-22 | International Business Machines Corporation | Directed interrupt for multilevel virtualization with interrupt table |
EP3924822A4 (en) | 2019-02-14 | 2022-11-23 | International Business Machines Corporation | DIRECTED INTERRUPT VIRTUALIZATION WITH CLOCK FLAG |
US11204796B2 (en) * | 2019-04-11 | 2021-12-21 | International Business Machines Corporation | Dynamic assignment of interrupts based on input/output metrics |
US10949243B2 (en) | 2019-04-26 | 2021-03-16 | Red Hat, Inc. | Reducing IPI overhead with CPU overcommit support via IPI broadcast |
US11194611B2 (en) | 2019-07-29 | 2021-12-07 | International Business Machines Corporation | Dynamic assignment of interrupts based on input/output metrics |
US11042495B2 (en) | 2019-09-20 | 2021-06-22 | Advanced Micro Devices, Inc. | Providing interrupts from an input-output memory management unit to guest operating systems |
US11842227B2 (en) | 2019-10-10 | 2023-12-12 | Advanced Micro Devices, Inc. | Hypervisor secure event handling at a processor |
US10922253B1 (en) * | 2019-10-22 | 2021-02-16 | Vmware, Inc. | Implementing interrupt remapping via input/output memory management unit faults |
US11281607B2 (en) | 2020-01-30 | 2022-03-22 | Red Hat, Inc. | Paravirtualized cluster mode for legacy APICs |
CN114077379B (zh) * | 2020-08-19 | 2024-03-26 | 华为技术有限公司 | 一种计算机设备、异常处理的方法以及中断处理的方法 |
CN112084128B (zh) * | 2020-09-09 | 2023-01-17 | 中国航空工业集团公司雷华电子技术研究所 | 消息中断通信方法、计算机设备和存储介质 |
CN113157624B (zh) * | 2021-04-21 | 2021-12-07 | 科东(广州)软件科技有限公司 | 一种串口通信方法、装置、设备及存储介质 |
US11755512B2 (en) * | 2021-08-17 | 2023-09-12 | Red Hat, Inc. | Managing inter-processor interrupts in virtualized computer systems |
US11550745B1 (en) | 2021-09-21 | 2023-01-10 | Apple Inc. | Remapping techniques for message signaled interrupts |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5222215A (en) * | 1991-08-29 | 1993-06-22 | International Business Machines Corporation | Cpu expansive gradation of i/o interruption subclass recognition |
US5689713A (en) * | 1995-03-31 | 1997-11-18 | Sun Microsystems, Inc. | Method and apparatus for interrupt communication in a packet-switched computer system |
US5892970A (en) * | 1996-07-01 | 1999-04-06 | Sun Microsystems, Inc. | Multiprocessing system configured to perform efficient block copy operations |
US6977908B2 (en) * | 2000-08-25 | 2005-12-20 | Hewlett-Packard Development Company, L.P. | Method and apparatus for discovering computer systems in a distributed multi-system cluster |
US6622193B1 (en) * | 2000-11-16 | 2003-09-16 | Sun Microsystems, Inc. | Method and apparatus for synchronizing interrupts in a message passing queue oriented bus system |
US7054975B2 (en) * | 2001-08-10 | 2006-05-30 | Koninklijke Philips Electronics N.V. | Interrupt generation in a bus system |
US6961806B1 (en) * | 2001-12-10 | 2005-11-01 | Vmware, Inc. | System and method for detecting access to shared structures and for maintaining coherence of derived structures in virtualized multiprocessor systems |
US6799231B2 (en) * | 2002-10-22 | 2004-09-28 | Asix Electronics Corp. | Virtual I/O device coupled to memory controller |
US20040117532A1 (en) * | 2002-12-11 | 2004-06-17 | Bennett Steven M. | Mechanism for controlling external interrupts in a virtual machine system |
US7000051B2 (en) * | 2003-03-31 | 2006-02-14 | International Business Machines Corporation | Apparatus and method for virtualizing interrupts in a logically partitioned computer system |
US7281075B2 (en) * | 2003-04-24 | 2007-10-09 | International Business Machines Corporation | Virtualization of a global interrupt queue |
US7130949B2 (en) * | 2003-05-12 | 2006-10-31 | International Business Machines Corporation | Managing input/output interruptions in non-dedicated interruption hardware environments |
US7222203B2 (en) * | 2003-12-08 | 2007-05-22 | Intel Corporation | Interrupt redirection for virtual partitioning |
US7467381B2 (en) * | 2003-12-16 | 2008-12-16 | Intel Corporation | Resource partitioning and direct access utilizing hardware support for virtualization |
US20050228921A1 (en) * | 2004-03-31 | 2005-10-13 | Prashant Sethi | Sharing of interrupts between operating entities |
US7209994B1 (en) * | 2004-05-11 | 2007-04-24 | Advanced Micro Devices, Inc. | Processor that maintains virtual interrupt state and injects virtual interrupts into virtual machine guests |
US8127098B1 (en) * | 2004-05-11 | 2012-02-28 | Globalfoundries Inc. | Virtualization of real mode execution |
US7444493B2 (en) * | 2004-09-30 | 2008-10-28 | Intel Corporation | Address translation for input/output devices using hierarchical translation tables |
US7689747B2 (en) * | 2005-03-28 | 2010-03-30 | Microsoft Corporation | Systems and methods for an augmented interrupt controller and synthetic interrupt sources |
US7552236B2 (en) * | 2005-07-14 | 2009-06-23 | International Business Machines Corporation | Routing interrupts in a multi-node system |
US7522236B2 (en) * | 2005-09-23 | 2009-04-21 | Apple Inc. | Cosmetically uniform reflective border area in a transflective display |
US8286162B2 (en) * | 2005-12-30 | 2012-10-09 | Intel Corporation | Delivering interrupts directly to a virtual processor |
US7945908B1 (en) * | 2006-03-31 | 2011-05-17 | Vmware, Inc. | Method and system for improving the accuracy of timing and process accounting within virtual machines |
CN100472451C (zh) * | 2006-04-20 | 2009-03-25 | 联想(北京)有限公司 | 一种虚拟机系统及其硬件设备访问方法 |
US7945905B2 (en) * | 2006-06-02 | 2011-05-17 | Accenture Global Services Limited | Quality inspector tool |
CN100547571C (zh) * | 2006-08-29 | 2009-10-07 | 联想(北京)有限公司 | 一种虚拟机系统及其硬件设备中断处理方法 |
US7873770B2 (en) * | 2006-11-13 | 2011-01-18 | Globalfoundries Inc. | Filtering and remapping interrupts |
US20080162762A1 (en) * | 2006-12-29 | 2008-07-03 | Gilbert Neiger | Interrupt remapping based on requestor identification |
CN100568181C (zh) * | 2007-06-22 | 2009-12-09 | 浙江大学 | 基于处理器虚拟化技术的虚拟机系统及其实现方法 |
US8453143B2 (en) * | 2007-09-19 | 2013-05-28 | Vmware, Inc. | Reducing the latency of virtual interrupt delivery in virtual machines |
JP2009134565A (ja) * | 2007-11-30 | 2009-06-18 | Hitachi Ltd | 仮想計算機システム及び仮想計算機システムの制御方法 |
US8607020B2 (en) * | 2008-06-06 | 2013-12-10 | International Business Machines Corporation | Shared memory partition data processing system with hypervisor managed paging |
GB2462258B (en) * | 2008-07-28 | 2012-02-08 | Advanced Risc Mach Ltd | Interrupt control for virtual processing apparatus |
US8234432B2 (en) * | 2009-01-26 | 2012-07-31 | Advanced Micro Devices, Inc. | Memory structure to store interrupt state for inactive guests |
US20110107328A1 (en) * | 2009-11-02 | 2011-05-05 | Advanced Micro Devices, Inc. | Virtual machine device and methods thereof |
US8566492B2 (en) * | 2009-12-31 | 2013-10-22 | Intel Corporation | Posting interrupts to virtual processors |
US20110197004A1 (en) * | 2010-02-05 | 2011-08-11 | Serebrin Benjamin C | Processor Configured to Virtualize Guest Local Interrupt Controller |
-
2010
- 2010-12-06 US US12/961,189 patent/US20110197004A1/en not_active Abandoned
- 2010-12-06 US US12/961,186 patent/US8489789B2/en active Active
-
2011
- 2011-02-07 JP JP2012552139A patent/JP2013519169A/ja not_active Withdrawn
- 2011-02-07 JP JP2012552140A patent/JP2013519170A/ja not_active Withdrawn
- 2011-02-07 KR KR1020127023264A patent/KR20130035996A/ko not_active Application Discontinuation
- 2011-02-07 WO PCT/US2011/023942 patent/WO2011097588A2/en active Application Filing
- 2011-02-07 EP EP11710911A patent/EP2531918A2/en not_active Withdrawn
- 2011-02-07 CN CN2011800146794A patent/CN102804143A/zh active Pending
- 2011-02-07 CN CN201180013152XA patent/CN102792272A/zh active Pending
- 2011-02-07 KR KR1020127023265A patent/KR20120131175A/ko not_active Application Discontinuation
- 2011-02-07 WO PCT/US2011/023943 patent/WO2011097589A2/en active Application Filing
- 2011-02-07 EP EP11712698A patent/EP2531919A2/en not_active Ceased
-
2013
- 2013-06-13 US US13/916,647 patent/US8706941B2/en active Active
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015526829A (ja) * | 2012-08-29 | 2015-09-10 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | ゲスト仮想マシン内の仮想入出力メモリ管理ユニット |
JP2015022553A (ja) * | 2013-07-19 | 2015-02-02 | 株式会社日立製作所 | 計算機の制御方法及び計算機 |
WO2015132942A1 (ja) * | 2014-03-07 | 2015-09-11 | 株式会社日立製作所 | 計算機 |
JPWO2015132942A1 (ja) * | 2014-03-07 | 2017-03-30 | 株式会社日立製作所 | 計算機 |
WO2015159359A1 (ja) * | 2014-04-15 | 2015-10-22 | 株式会社日立製作所 | 物理計算機 |
JP2017091544A (ja) * | 2015-11-16 | 2017-05-25 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 仮想プロセッサ・スレッド・グループを使用する処理ユニット内の割込みを処理するための方法、処理ユニット、および設計構造 |
US20210318973A1 (en) | 2019-02-14 | 2021-10-14 | International Business Machines Corporation | Directed interrupt for multilevel virtualization |
JP2022520713A (ja) * | 2019-02-14 | 2022-04-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 有向割り込みの仮想化方法、システム、プログラム |
JP2022520928A (ja) * | 2019-02-14 | 2022-04-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 割り込みテーブルを使用した有向割り込みの仮想化方法、システム、プログラム |
JP7324287B2 (ja) | 2019-02-14 | 2023-08-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 割り込みテーブルを使用した有向割り込みの仮想化方法、システム、プログラム |
US11734037B2 (en) | 2019-02-14 | 2023-08-22 | International Business Machines Corporation | Directed interrupt virtualization with running indicator |
JP7335339B2 (ja) | 2019-02-14 | 2023-08-29 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 有向割り込みの仮想化方法、システム、プログラム |
US11822493B2 (en) | 2019-02-14 | 2023-11-21 | International Business Machines Corporation | Directed interrupt for multilevel virtualization |
US11829790B2 (en) | 2019-02-14 | 2023-11-28 | International Business Machines Corporation | Directed interrupt virtualization with fallback |
Also Published As
Publication number | Publication date |
---|---|
JP2013519169A (ja) | 2013-05-23 |
EP2531918A2 (en) | 2012-12-12 |
US8706941B2 (en) | 2014-04-22 |
CN102792272A (zh) | 2012-11-21 |
EP2531919A2 (en) | 2012-12-12 |
WO2011097589A2 (en) | 2011-08-11 |
CN102804143A (zh) | 2012-11-28 |
WO2011097588A2 (en) | 2011-08-11 |
WO2011097589A3 (en) | 2011-09-29 |
US8489789B2 (en) | 2013-07-16 |
US20130275638A1 (en) | 2013-10-17 |
KR20120131175A (ko) | 2012-12-04 |
US20110197004A1 (en) | 2011-08-11 |
US20110197003A1 (en) | 2011-08-11 |
KR20130035996A (ko) | 2013-04-09 |
WO2011097588A3 (en) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8706941B2 (en) | Interrupt virtualization | |
KR101610838B1 (ko) | 인터럽트 가상화를 돕기 위한 각 프로세서에 대한 게스트 인터럽트 제어기들 | |
US7707341B1 (en) | Virtualizing an interrupt controller | |
US7209994B1 (en) | Processor that maintains virtual interrupt state and injects virtual interrupts into virtual machine guests | |
US8312452B2 (en) | Method and apparatus for a guest to access a privileged register | |
US7506121B2 (en) | Method and apparatus for a guest to access a memory mapped device | |
EP2191369B1 (en) | Reducing the latency of virtual interrupt delivery in virtual machines | |
EP2316069B1 (en) | Lazy handling of end of interrupt messages in a virtualized environment | |
US7590982B1 (en) | System and method for virtualizing processor and interrupt priorities | |
WO2013090202A1 (en) | Virtualizing interrupt prioritization and delivery | |
WO2017123390A1 (en) | Interrupts between virtual machines | |
US20230195487A1 (en) | Scaling a host virtual counter and timer in a virtualized computer system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |