JP2013500524A - 周辺相互接続におけるi/o及び計算負荷軽減デバイスのための2レベルのアドレストランスレーションを用いるiommu - Google Patents

周辺相互接続におけるi/o及び計算負荷軽減デバイスのための2レベルのアドレストランスレーションを用いるiommu Download PDF

Info

Publication number
JP2013500524A
JP2013500524A JP2012521868A JP2012521868A JP2013500524A JP 2013500524 A JP2013500524 A JP 2013500524A JP 2012521868 A JP2012521868 A JP 2012521868A JP 2012521868 A JP2012521868 A JP 2012521868A JP 2013500524 A JP2013500524 A JP 2013500524A
Authority
JP
Japan
Prior art keywords
guest
translation
request
control logic
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012521868A
Other languages
English (en)
Other versions
JP5680642B2 (ja
Inventor
ジー. ケーゲル アンドルー
ディー. ハンメル マーク
ディー. グレイザー ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Publication of JP2013500524A publication Critical patent/JP2013500524A/ja
Application granted granted Critical
Publication of JP5680642B2 publication Critical patent/JP5680642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10Address translation
    • G06F12/1081Address translation for peripheral access to main memory, e.g. direct memory access [DMA]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10Address translation
    • G06F12/1009Address translation using page tables, e.g. page table structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0223User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/06Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0615Address space extension
    • G06F12/063Address space extension for I/O modules, e.g. memory mapped I/O
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877Cache access modes
    • G06F12/0882Page mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893Caches characterised by their organisation or structure
    • G06F12/0897Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

【解決手段】
コンピュータシステムのシステムメモリへのI/Oデバイスによる要求を制御するためのIOMMUは、制御論理及びキャッシュメモリを含む。制御論理は、I/Oデバイスからの要求において受信されるアドレスをトランスレートしてよい。要求が処理アドレス空間識別子(PASID)プレフィックスを伴うトランザクション層プロトコル(TLP)パケットを含む場合には、制御論理は2レベルのゲストトランスレーションを実行してよい。従って、制御論理は、ゲストページテーブルのセットにアクセスして、要求において受信されるアドレスをトランスレートしてよい。最後のゲストページテーブル内のポインタは、入れ子にされたページテーブルのセット内の第1のテーブルを指し示す。制御論理は、入れ子にされたページテーブルのセットにアクセスしてシステムメモリ内の物理ページに対応するシステム物理アドレス(SPA)を得るために、最後のゲストページテーブル内のポインタを用いてよい。キャッシュメモリは完了したトランスレーションを記憶する。
【選択図】図5

Description

本発明はコンピュータシステムの分野に関し、より特定的には入力/出力(I/O)デバイスのためのメモリ管理ユニットに関する。
現代社会では、パーソナルコンピュータ(PC)、ワークステーション、サーバ、種々のパーソナルデジタルアシスタント(PDA)デバイス等を含む様々な種類のコンピュータシステムが遍在している。全てではないにしろこれらコンピュータシステムの多くは、プロセッサがメモリにアクセスするために実装されるメモリ管理機能を有している。一般に、メモリ管理機能は、各処理によって用いられる仮想アドレス空間から実際のシステムメモリに広がる物理アドレス空間へアドレスをトランスレートすることや、種々のメモリ保護(例えばリードオンリ、リード/ライト、特権レベル要求、等)を含んできた。メモリ管理機能は、各処理によって用いられるメモリを他の処理による権限のないアクセスから保護すること、物理メモリシステムが大きくない場合であっても大きな仮想空間が処理によって用いられることを可能にすること、利用可能な物理メモリへ仮想アドレスを処理に関与することなしに再配置すること等のような種々の用途を有している。
プロセッサアドレスはしばしばトランスレートされるが、コンピュータシステムにおける入力/出力(I/O)デバイスによって用いられるアドレスは、一般にはトランスレートされない。即ち、I/Oデバイスはメモリにアクセスするために物理アドレスを用いる。多くのPCのような単一オペレーティングシステム(OS)コンピュータシステムにおいては、他の処理(アプリケーション及びOSサービス)によるI/OデバイスへのアクセスをOSが制御する。従ってOSは、任意の所与の時点で所与のデバイスへのアクセスをどの処理が有するかを制御することができ、またそのデバイスによってアクセスされるアドレスを少なくとも多少は制御することができる。しかし、そのようなメカニズムは、仮想マシンモニタ上で動作している多重ゲストOSを有するであろう仮想マシンシステムにおいては、より複雑で且つ扱いにくいものになる。加えて、不正デバイス(又は悪意のあるソフトウエアエージェントによってプログラムされたデバイス)が妨げられずにメモリにアクセス可能であることから、デバイスが物理アドレスを使用することは、システムの全体的なセキュリティを低下させる。
仮想化されたシステムにおいては、多くのアプリケーションが仮想メモリ内で動作するであろう一方で、I/Oデバイスは物理メモリにアクセスする。幾つかのシステムでは、仮想マシンマネージャが、I/Oデバイスによって用いられることになるアドレスをインターセプトすると共にトランスレートするかもしれない。しかし、この手法は、面倒であると共に命令集約的であろうから、システム性能を低下させ、あるいは少なくとも計算負荷軽減エンジン(computational offload engine)のようなI/Oデバイスを用いることによって得られる任意の利益を減らしてしまうかもしれない。
2レベルのトランスレーションを用いるIOMMUの種々の実施形態が開示される。1つの実施形態においては、コンピュータシステムのシステムメモリへのI/Oデバイスによる要求を制御するためのIOMMUは、制御論理及びキャッシュメモリを含む。制御論理は、I/Oデバイスからの要求において受信されるアドレスをトランスレートするように構成されてよい。要求が処理アドレス空間識別子(PASID)プレフィックスを伴うトランザクション層プロトコル(TLP)パケットを含む場合には、制御論理は2レベルのゲストトランスレーションを実行するように構成される。要求内のPASIDプレフィックスの存在は、受信されたアドレスがゲスト仮想アドレス(GVA)であることを表示する。従って、2レベルのゲストトランスレーションを実行するために、制御論理は、ゲストページテーブルのセットにアクセスして、要求において受信されるアドレスをトランスレートするように構成されされてよい。最後のゲストページテーブル内のポインタは、入れ子にされたページテーブルのセット内の第1のテーブルを指し示す。制御論理は、入れ子にされたページテーブルのセットにアクセスしてシステムメモリ内の物理ページに対応するシステム物理アドレス(SPA)を得るために、最後のゲストページテーブル内のポインタを用いるように構成される。キャッシュメモリは、後続のトランスレーションのために用いられ得る完了したトランスレーションを記憶するように構成されてよい。
図1はコンピュータシステムの1つの実施形態の高位レベルのブロック図である。
図2はコンピュータシステムの別の実施形態のブロック図である。
図3は図1のI/Oトランスレーションテーブルのセットの1つの実施形態を示す図である。
図4は図3に示されるデバイステーブルに対するデバイステーブルエントリの1つの実施形態の図である。
図5はゲスト仮想アドレストランスレーションメカニズムの更に詳細な態様を示す図である。
図6は図1〜図5に示されるコンピュータシステムの実施形態の動作を説明するフロー図である。
図7は処理アドレス空間識別子(PASID)プレフィックスの1つの実施形態の図である。
図8AはPCIe相互接続での使用のためのトランザクション層プロトコル(TLP)の1つの実施形態を示す図である。
図8BはPCIe相互接続での使用のためのTLP_PASIDプレフィックスの1つの実施形態を示す図である。
本発明は種々の修正及び代替的形態を許容する一方で、その具体的な実施形態は、例示として図面に示され、またここに詳細に説明されることになる。但し、図面及びそれに対する詳細な説明は、開示される特定の形態に本発明を限定することを意図しているのではなく、むしろ逆に、添付の特許請求の範囲によって画定される本発明の精神及び範囲内に含まれる全ての修正、均等なもの、及び代替を網羅することが意図されている。尚、「〜であってよい、〜であろう、〜ことがある、〜し得る、〜かもしれない(may)」の語は、この出願を通して、必須の意味(即ち、〜しなければならない)の意味ではなく、許容の意味(即ち、〜する可能性がある、〜することができる)で用いられている。
図1を参照すると、コンピュータシステム10の1つの実施形態の単純化された高位レベルのブロック図が示されている。図示される例では、システム10は、1つ以上のプロセッサ12と、1つ以上のトランスレーションルックアサイドバッファ(TLB)16を備えているメモリ管理ユニット(MMU)14と、メモリ制御器(MC)18と、メモリ20と、1つ以上のI/O_TLB(IOTLB)24を備えていてよい1つ以上のI/Oデバイス22と、テーブルウォーカ28、キャッシュ30、制御レジスタ32、及び制御論理34を備えていてよいI/O_MMU(IOMMU)26とを含む。プロセッサ12はMMU14に結合され、MMU14はメモリ制御器18に結合される。I/Oデバイス22はIOMMU26に結合され、IOMMU26はメモリ制御器18に結合される。IOMMU26内においては、テーブルウォーカ28、キャッシュ30、制御レジスタ32、及び制御論理34は互いに結合される。
後で更に説明されるように、IOMMU26はシステム10における仮想化を単純化するための種々の特徴を含んでいてよい。以下の説明は、仮想マシンを管理(基礎となるハードウエア上でのそれらの実行をスケジューリングすること)し、種々のシステム資源へのアクセスを制御する等の仮想マシンモニタ(VMM)を参照することになる。尚、VMMはしばしばハイパーバイザとも称される。図示される実施形態においては、単一又は複数のプロセッサ12が仮想環境でソフトウエアを実行している。従って、3つの仮想マシン100A、100B、及び100C(例えばVMゲスト1〜3)並びにVMM106が図示されている。所与の実施形態における仮想マシンの数は変化してよく、また仮想マシンがユーザによって起動され停止されるのに従って動的に変化してよい。図示される実施形態においては、仮想マシン100Aは、1つ以上のゲストアプリケーション102と、ゲストオペレーティングシステム(OS)104とを含む。OS104は、システム10の物理的なハードウエアよりはむしろ、VMM106によってOS104のために作り出される仮想マシンを制御するので、OS104は「ゲスト」OSと称される。同様にVM100B及び100Cもまた、1つ以上のゲストアプリケーション、及びゲストOSを各々が含む。
一般に仮想マシン内のアプリケーションは、ゲスト仮想アドレス空間、及びこれに伴いゲスト仮想アドレス(GVA)を用いる。各仮想マシン内のゲストOSは、その仮想マシン内でのゲスト「物理」アドレス(GPA)へのGVAのマッピングを管理してよい。ゲストOSがVMMなしに直接システム10ハードウエア上で動作している場合には、ゲストOSによって生成される物理アドレスが、実際にはシステム10内のメモリロケーションのシステム物理アドレス(SPA)になるであろう。しかし、仮想マシン環境においては、GPAからSPAへのマッピングをVMM106が管理してよい。このように、プロセッサ12がメモリ要求を実行する場合には、ゲストOS104がGPA(VMM106によってSPAへと更にマッピングされ得る)へのGVAのマッピングを管理してよい。
図1に示されるように、I/Oデバイス22からメモリ20へのパスは、少なくとも部分的にはプロセッサ12からメモリ20へのパスからは分離されている。具体的には、I/Oデバイス22からメモリ20へのパスは、MMU14を通過しないが、その代わりにIOMMU26を経由している。従って、MMU14は、I/Oデバイス22から供給されるメモリ要求に対してはメモリ管理を提供しないであろう。一般にメモリ管理は、1つの種類の仮想アドレス(即ちソフトウエアによって用いられるであろうアドレス)から物理アドレス(即ちメモリ制御器によって用いられるであろうアドレス)へのアドレストランスレーションとメモリ保護とからなる。メモリ保護は、なんらかのレベルの精度(例えばページ)に加えて、種々の他の属性、例えば特権レベル要求、キャッシュ能力及びキャッシュ制御(例えばライトスルー又はライトバック)、コヒーレンシ等でメモリに対する読み出し及び/又は書き込みを制御してよい。任意の一連のメモリ保護が種々の実施形態において実装され得る。幾つかの実施形態においては、IOMMU26によって実装されるメモリ保護は、少なくともなんらかの点においてMMU14によって実装されるメモリ保護とは異なることがある。1つの実施形態では、IOMMU26によって実装されるメモリ保護は、IOMMU26及びMMU14によって用いられるトランスレーションデータを記憶しているトランスレーションテーブルが共有され得るように定義されてよい(議論の容易化のために図1では別個に図示されているが)。後で更に説明されるように、トランスレーションテーブル情報を共有する幾つかの実施形態においては、特権が変化する場合のように特定のページが促進された場合には、いまや信頼できないものになっているであろうトランスレーションページテーブルを更新するためにテーブル再ウォークが必要になるであろう。他の実施形態は、要望に応じてIOMMU26とMMU14の間でトランスレーションテーブルを共有しなくてよい。
概してI/Oデバイス22は、メモリ20内のメモリロケーションにアクセスするメモリ読み出し及び書き込み要求のようなメモリ要求を、そして幾つかのケースではトランスレーション要求を発行するように構成されてよい。メモリ要求は、例えば、直接メモリアクセス(DMA)読み出し又は書き込み動作の一部であってよい。DMA動作はプロセッサ12によって実行されているソフトウエアによって開始されてよく、ソフトウエアは、DMA動作を直接的に又は間接的に実行するようにI/Oデバイス22をプログラミングしている。プロセッサ上で実行中のソフトウエアが動作しているアドレス空間に応じて、メモリ20にアクセスするための当該アドレス空間に対応するアドレスがI/Oデバイス22へ提供されてよい。例えば、プロセッサ12上で実行中のゲストアプリケーション(例えばApp102)は、I/Oデバイス22にGVAを提供してよい一方で、プロセッサ12上で実行中のゲストOS(例えばOS104)は、I/Oデバイス22にGPAを提供してよい。いずれの場合においても、I/Oデバイス22がメモリアクセスを要求するときには、ゲストアドレスは、IOMMU26によって、メモリにアクセスするための対応するシステム物理アドレス(SPA)へとトランスレートされるであろうし、そしてシステム物理アドレスがアクセスのためにメモリ制御器18に提供されるであろう。即ちIOMMU26は、I/Oデバイス22によって供給されるメモリ要求を修正して、要求における受信したアドレスをSPAへと変化させて(即ちトランスレートして)よく、そしてメモリ要求は、メモリ制御器18がメモリ20にアクセスするためにメモリ制御器18へと転送されてよい。
種々の実施形態において、IOMMU26は、それがI/Oデバイスから受け取るアドレスの種類に応じて、1レベル若しくは2レベルのトランスレーションを提供し又はトランスレーションを提供しなくてよい。より特定的には、IOMMU26は、1レベルの入れ子にされた(nested)トランスレーション又は2レベルのゲストトランスレーションを実行してよい。つまり、IOMMU26は、GPAからSPAへのトランスレーション(1レベル)及びGVAからSPAへのトランスレーション(2レベル)の両方を提供することができる。このように、ゲストアプリケーションは、メモリアクセスを要求する場合には、上述の通りGVAアドレスを直接I/Oデバイスに供給することができ、それにより従来のVMMインターセプション及びトランスレーションを不要にすることができる。この機能性は、進歩的な計算アーキテクチャ、例えば計算から解放された(compute offload)デバイス、ユーザレベルのI/Oデバイス、及び加速されたI/Oデバイスが、仮想化されたシステムにおいてより途切れなく用いられることを可能にするであろう。尚、1レベル若しくは2レベルのトランスレーション又はトランスレーションなしが説明されているが、他の実施形態においては、追加的なレベルのアドレス空間が用いられ得ることが検討される。そのような実施形態においては、追加のレベルのトランスレーション(即ち多重レベルトランスレーション)は、IOMMU26が追加的なアドレス空間に適合することによって行われてよい。
後で更に詳細に説明されるように、IOMMU26は、それが所与の要求において受信しているアドレスの種類が何であるかを認識するための手段を有していることが必要である。従って、例えばI/OデバイスがIOMMU26にPCIエクスプレス(PCI express)(PCIe)相互接続のような標準的な周辺バスを介して結合されている実施形態においては、トランスレーション層プロトコル(TLP)プレフィックス(prefix)を用いて処理アドレス空間識別子(process address space identifier)(PASID)がIOMMU26へ送られてよい。
IOMMU26は、メモリのアドレス及びI/Oデバイス22からのトランスレーション要求をトランスレートするために、幾つかのデータ構造、例えばメモリ20内に記憶されているI/Oトランスレーションテーブル36の1つ以上のセットを用いてよい。一般にトランスレーションテーブルは、アドレスを1つの種類から別の種類へとトランスレートするために用いられ得るトランスレーションデータのテーブルであってよい。トランスレーションテーブルは、トランスレーションデータを任意の方法で記憶していてよい。例えば1つの実施形態においては、I/Oトランスレーションテーブル36は、x86及びAMD64(商標)命令セットアーキテクチャにおいて定義されるのと同様のページテーブルを含んでいてよい。トランスレーションレベルに応じて、ゲスト仮想アドレスビットの種々のサブセット又はゲスト物理アドレスがテーブルのレベルを索引付けるために用いられてよく、そして各レベルは、トランスレーションの終点(即ちトランスレーションに対する実際のページ番号を記憶している)又は別のテーブルへの点(別のセットのアドレスビットによって索引付けられている)のいずれかであってよい。ページはトランスレーションの単位であってよい(即ち仮想ページ内の各アドレスは同じ物理ページへトランスレートする)。ページは4キロバイトからメガバイト又はギガバイトまで変化するサイズを有していてよい。
また、I/Oトランスレーションテーブル36は、I/Oデバイスをページテーブルのセットにマッピングする(例えばデバイス識別子によって)デバイステーブル(図3に図示)を含んでいてよい。デバイス識別子(ID)は種々の方法において定義されてよく、またデバイスが接続される周辺相互接続に依存するであろう。例えば、周辺コンポーネント相互接続(Peripheral Component Interconnect)(PCI)デバイスは、バス番号、デバイス番号、及び機能番号(BDF)からデバイスIDを形成してよい。ハイパートランスポート(HyperTransport)(HT)デバイスは、バス番号及びユニットIDを用いてデバイスIDを形成してよい。後で更に説明されるように、デバイステーブルはデバイスIDによって索引付けられる複数のエントリを含んでいてよく、そして各エントリは、対応するデバイスIDを有するデバイスによって用いられるページテーブルのセットへのポインタを含んでいてよい。また、I/Oデバイスが処理に直接割り当てられており又はユーザ処理と同じアドレス空間において計算を実行する可能性がある場合には、メモリ隔離保護を強化するために、処理アドレス空間が識別されると共にIOMMU26へ提供されてよい。幾つかの実施形態においては、デバイステーブルは、デバイスのインターラプトを再マッピングするために、インターラプト再マッピングテーブル(図3に図示)へのポインタを更に含んでいてよい。このように、概して、GVA又はGPAからSPAへのトランスレーションは、1つ以上のトランスレーションテーブルにおける1つ以上のエントリ内に記憶されてよく、そして幾つかのエントリは、他のトランスレーションと共有されてよい。エントリからエントリへとテーブルを横断すること又は「ウォーキングすること」が、仮想アドレスに対するトランスレーションを識別することの一部であってよい。1つの実施形態においては、トランスレーションテーブル36は、上述のインターラプト再マッピングテーブルを含んでいてよい。
具体的には、図1に示されるIOMMU26は、所与のメモリ要求に対するトランスレーションのためにI/Oトランスレーションテーブル36を検索するテーブルウォーカ28を含んでいてよい。テーブルウォーカ28は、トランスレーションテーブル36からトランスレーションデータを読み出すために、メモリ要求、例えば読み出しメモリ要求を生成してよい。トランスレーションテーブル読み出しは、図1において点線矢印38及び40によって示されている。
より迅速なトランスレーションを容易にするために、IOMMU26はいくらかのトランスレーションデータをキャッシュしてよい。例えばキャッシュ30は、TLBと類似したキャッシュの形態であってよく、先行するトランスレーションの結果をキャッシュし、ゲスト仮想ページ番号及びゲスト物理ページ番号をシステム物理ページ番号及び対応するトランスレーションデータへとマッピングする。トランスレーションが所与のメモリ要求に対してキャッシュ30内で見つからない場合、テーブルウォーカ28が起動されてよい。種々の実施形態において、テーブルウォーカ28は、ハードウエアにおいて、又はマイクロ制御器若しくは他のプロセッサ及び対応する実行可能なコードにおいて(例えばIOMMU26内のリードオンリメモリ(ROM)において)実装され得る。また、キャッシュページテーブル若しくはその部分、及び/又はデバイステーブル若しくはその部分に対して他のキャッシュがキャッシュ30の一部として含まれていてよい。従って、IOMMU26は、メモリ20内に記憶されているトランスレーションデータから読み出される又は派生するトランスレーションデータを記憶する1つ以上のメモリを含んでいてよい。
制御論理34は、キャッシュ30にアクセスして所与のメモリ要求に対するトランスレーションのヒット/ミスを検出するように構成されてよく、またテーブルウォーカ28を起動することができる。制御論理34はまた、トランスレートされたアドレスを伴うI/Oデバイスからのメモリ要求を修正すると共にその要求をメモリ制御器18に向けて上流へ転送するように構成されてよい。また、制御論理34は、制御レジスタ32内へプログラムされるようなIOMMU26における種々の機能性を制御してよい。例えば制御レジスタ32は、この実施形態においては、メモリ管理ソフトウエアが制御コマンドをIOMMU26へと伝達するためのコマンドキュー42となるべきメモリの領域を画定してよい。制御論理34は、コマンドキュー42からの制御コマンドを読み込むと共にそれらの制御コマンドを実行するように構成されてよい。同様に制御レジスタ32は、イベントログバッファ44となるべきメモリの別の領域を画定してよい。制御論理34は種々のイベントを検出することができ、そしてそれらをイベントログバッファ44へ書き込んでよい。イベントは、トランスレーション及び/又はIOMMU26の他の機能に関して制御論理34によって検出される種々のエラーを含んでいてよい。制御論理34はIOMMU26の他の特徴を実装していてもよい。
I/Oデバイス22は、コンピュータシステム10と他のデバイスの間で通信し、コンピュータシステム10に対してヒューマンインタフェースを提供し、記憶装置(例えばディスクドライブ、コンパクトディスク(CD)又はデジタルビデオディスク(DVD)のドライブ、ソリッドステート記憶装置、等)を提供し、且つ/又は強化された機能性をコンピュータシステム10に対して提供する任意のデバイスを備えていてよい。例えばI/Oデバイス22は、ネットワークインタフェースカード、集積化ネットワークインタフェース機能性、モデム、ビデオアクセラレータ、オーディオカード又は集積化オーディオハードウエア、ハード若しくはフロッピー(登録商標)ディスクドライブ又はドライブ制御器、ユーザ入力デバイス例えばキーボード、マウス、タブレット等とインタフェースするハードウエア、ビデオディスプレイのためのビデオ制御器、プリンタインタフェースハードウエア、1つ以上の周辺インタフェース例えばPCI、PCIe、PCI−X、USB、ファイヤワイヤ(firewire)、SCSI(小型コンピュータシステムインタフェース(Small Computer System Interface)等へのブリッジ、サウンドカード、及び種々のデータ収集カード例えばGPIB又はフィールドバスインタフェースカード、等の1つ以上を備えていてよい。「周辺デバイス」の用語は、何らかのI/Oデバイスを記述するものとしても用いられる。
場合によっては、1つ以上のI/Oデバイス22は、IOTLB、例えばIOTLB24及び/又はMMU(例えば図2のプライベートMMU23D)を備えていてよい。これらのIOTLBは、それらがIOMMU26に対して外部にあることから、「リモートIOTLB」と称されることがある。そのような場合には、既にトランスレートされたアドレスは、IOMMU26がメモリ要求を再びトランスレートすることを試みないように、何らかの方法で印を付されてよい。1つの実施形態においては、トランスレートされたアドレスは、「事前トランスレート済み(pretranslated)」と印を付されてよい。
メモリ制御器18は、メモリ20とシステム10の残りとの間でインタフェースするように設計された任意の回路を備えていてよい。メモリ20は、1つ以上のRAMBUS_DRAM(RDRAM)、同期DRAM(SDRAM)、DDR_SDRAM、スタティックRAM等の任意の半導体メモリを備えていてよい。メモリ20はシステム内で分散されていてよく、これに伴い多重メモリ制御器18があってよい。
MMU14はプロセッサ12からのメモリ要求のためのメモリ管理ユニットを備えていてよい。MMUはTLB16に加えてテーブルウォーク機能性を含んでいてよい。トランスレーションがMMU14によって行われる場合、MMU14はCPUトランスレーションテーブル50に対してトランスレーションメモリ要求(例えば図1において点線矢印46及び48によって示される)を生成してよい。CPUトランスレーションテーブル50は、プロセッサ12によって実装される命令セットアーキテクチャにおいて定義されるようなトランスレーションデータを記憶していてよい。
プロセッサ12は、任意の所望の命令セットアーキテクチャを実装している任意のプロセッサハードウエアを備えていてよい。1つの実施形態においては、プロセッサ12は、x86アーキテクチャ、より特定的にはAMD64(商標)アーキテクチャを実装している。種々の実施形態は、スーパーパイプライン化されており(superpipelined)且つ/又はスーパースカラ(superscalar)であってよい。2つ以上のプロセッサ12を含む実施形態は、個別的に、又はチップ多重プロセッサ(chip multiprocessors)(CMP)として且つ/若しくはチップ多重スレッド化された(chip multithreaded)(CMT)ものとして実装されてよい。
システム10はシステムの高位レベルの機能性を示しており、実際の物理的な実装は多くの形態をとり得る。例えばMMU14は、各プロセッサ12内に共通に一体化されている。1つのメモリ20が示されているが、幾つかの実施形態では、メモリシステムは分散されたメモリシステムであってよく、この場合、メモリアドレス空間は、物理的に別個のメモリ制御器に結合される物理的に別個の多重化されたメモリにマッピングされる。IOMMU26は、I/Oソースのメモリ要求とメモリ20の間のパスに沿ってどこにあってもよく、また2つ以上のIOMMUがあってもよい。更に、複数のIOMMUはシステムの異なる部分内の異なる点にあってよい。
図2は、複数のプロセッサノード間のHyperTransport(商標)(HT)コヒーレントリンク61と、プロセッサノード及びI/Oデバイスの間のHT_I/Oリンク(例えば70A及び70B)とを用いるシステムの実施形態の1つの例である。より特定的には、1つの実施形態においては、HT_I/Oリンク(例えば71A)が、I/Oハブと他の周辺相互接続にブリッジするI/Oデバイスとの間で用いられてよい。加えて、任意の他のコヒーレント相互接続が複数のプロセッサノードの間で用いられてよく、且つ/又は任意の他のI/O相互接続がプロセッサノードとI/Oデバイスの間で用いられてよい。例えば、I/Oリンク71B、71C、及び71Dは種々の実施形態においてPCIeリンクであってよい。また、別の例はノースブリッジに結合されるプロセッサを含んでいてよく、ノースブリッジは、伝統的なPC設計においてはメモリ及び1つ以上のI/O相互接続に更に結合される。
図2に示される実施形態を参照すると、システム10aは処理ノード60A〜60Bを備えており、処理ノード60A〜60Bはそれぞれプロセッサ12A〜12Bを備えており、更にプロセッサ12A〜12BはそれぞれMMU14A〜14Bを備えている。処理ノード60A〜60Bはまた、メモリ制御器18A〜18Bを備えている。プロセッサ12A〜12Bの各々は、上述したプロセッサ12の例であってよい。同様にMMU14A〜14B及びメモリ制御器18A〜18Bの各々は、図1におけるMMU14及びメモリ制御器18の例であってよい。図示される実施形態においては、MMU機能性はプロセッサ内に組み込まれている。
システム10aは、メモリ20A〜20Bを備えている分散メモリシステムを含む。システム物理アドレス空間は、メモリ20A〜20Bにわたって分散されていてよい。従って、所与のアドレスを指定している所与のメモリ要求は、その所与のアドレスが割り当てられているメモリ20A又は20Bに結合されるメモリ制御器18A又は18Bに経路付けられる。
I/Oデバイス(例えば図2に示されるI/Oハブ62A〜62Bに結合されるI/Oデバイス22A〜22D)からのメモリ要求は、当該メモリ要求をサービスすることになるメモリ制御器18A〜18Bに到達するのに全て同じパスをとらなくてよい。例えばI/Oデバイス22A〜22Bはメモリ要求をI/Oハブ62Aへ送信してよく、I/Oハブ62Aはそれらの要求を処理ノード60Aへ送信する。所与のメモリ要求のアドレスがメモリ20Bに割り当てられている場合、処理ノード60Aはその所与のメモリ要求を処理ノード60Bへ送信してよく、その結果、メモリ制御器18Bがその要求を受信して処理することができる。I/Oデバイス22C〜22Dはメモリ要求をI/Oハブ62Bへ送信してよく、I/Oハブ62Bはそれらの要求を処理ノード60Bへ送信してよい。所与のメモリ要求のアドレスがメモリ20Aに割り当てられている場合、処理ノード60Bはその所与のメモリ要求を処理ノード60Aへ送信してよい。
IOMMUは、I/Oソースのメモリ要求とメモリ20の間のパスに沿ってどこにあってもよい。図示される実施形態においては、IOMMU26A〜26Bは、I/Oハブ62A〜62B内に含まれている。従って、対応するハブに結合されるI/Oデバイスによって供給される任意のメモリ要求は、そのI/Oハブ内のIOMMUによってトランスレートされてよい。他の実施形態は、IOMMUを、I/Oデバイス内のIOTLBから処理ノード60A〜60B内のIOMMUまでの、更にはメモリ制御器18A〜18BにおけるIOMMUまでの異なる場所に置いてよい。更に、IOMMUは、システムの異なる部分における異なる点に位置していてよい。例えば幾つかの実施形態においては、I/Oデバイスは、図示されるようなローカルメモリ24Dを含み得るデバイスであってよい。従ってI/Oデバイス22Dはまた、ローカル/プライベートMMU23Dを含む。
図3を参照すると、I/Oトランスレーションテーブル36の1つの実施形態を説明する図が示されている。具体的には、I/Oトランスレーションテーブル36は、デバイステーブル36A、インターラプト再マッピングテーブル36B、及び2セットのI/Oページテーブル(例えば36C及び36D)を含んでいてよい。制御レジスタ32の1つ(制御レジスタ32A)もまた、図3に示されている。制御レジスタ32Aは、デバイステーブル36Aのベースアドレスを記憶していてよい。
デバイステーブル36Aは、デバイスに割り当てられたデバイスIDによって索引付けられる複数のエントリを含む。従って、所与のデバイスはデバイステーブル36A内のエントリの1つに対応する(但し、デバイスが多重デバイスIDを有する場合を除き、又はデバイスがブリッジデバイスで他と集約されたトラフィックを有し且つそのトラフィックがそのブリッジのデバイスIDの下で送信される場合を除く)。デバイステーブルエントリは種々のデータを含み得る。例示的なデバイステーブルエントリ325の部分が図4に示されており、以下に更に詳細に説明される。
所与のデバイステーブルエントリ325は、I/Oページテーブル36C及び36Dへのポインタ(矢印301及び302によって示される)を含んでいてよい。ポインタは、I/Oページテーブル36C又は36D内でトランスレーション検索するための開始点であるページテーブルを指し示すことができる。図示されるように、開始ページテーブルは、上述したように、他のページテーブルへのポインタを階層的な形態で含んでいてよい。以下に更に説明されるように、実装されたトランスレーション処理に従って、幾つかのテーブルはPASIDによって索引付けられていてよい一方で、他のテーブルは、トランスレートされるべきゲスト仮想アドレス又はゲスト物理アドレスのいずれかの種々のビットを用いて索引付けられてよい。
デバイステーブルエントリ325はまた、インターラプト再マッピングテーブル36Bへのポインタを含んでいてよい(矢印304によって示される)。インターラプト再マッピングデータは、あるデバイスによってインターラプト要求が送信される場合に用いられてよく、そしてインターラプトIDによって索引付けられてよい。インターラプトIDは、要求されたインターラプトを識別するデータを備えていてよく、そしてインターラプト要求を送信するのに用いられるメカニズムに基づいて異なっていてよい。
尚、1つのデバイステーブル36Aが示されているが、所望により多重デバイステーブルが維持されていてもよい。制御レジスタ32A内のデバイステーブルベースアドレスは、他のデバイステーブルを指し示すために変化し得る。更に、デバイステーブルは、必要に応じて上述のページテーブルと同様に階層的であってよい。同様に、1つのインターラプト再マッピングテーブル36Bが示されているが、多重インターラプトマッピングテーブルが、例えばデバイステーブル36A内のエントリ毎に1つまであってよい。また、ページテーブルの多重セットが、例えばデバイステーブル36A内のエントリ毎に1つまであってよい。尚、互いに独立しているが、他の実施形態は、インターラプト再マッピング機能性なしにI/Oトランスレーション機能性を実装し得る。
図示される実施形態においては、I/Oトランスレーションテーブル36C及び36Dは、1レベル及び2レベルのゲストトランスレーションの種々の組み合わせをサポートし得る。点線によって示されるように、トランスレーションがゲスト(即ち2レベル)トランスレーションである場合(破線によって示される)、矢印301で始まるパスをたどる。一方、ゲストトランスレーションが有効でない場合には、矢印302で始まる実線のパスをたどる。
より特定的には、GVAを含むメモリアクセス要求又はトランスレーション要求がI/Oデバイスから受信されると、当該要求のデバイスIDに対応するデバイステーブルエントリがアクセスされる。より特定的には、当然ながら、GVAを発行するI/Oデバイスは、PASIDプレフィックスを含むことによってそれを表示し、またGPAを発行するI/Oデバイスは、PASIDプレフィックスを省略することによってそれを表示する。図5の説明と共に後で更に詳細に説明されるように、GCR3テーブル307のベースアドレスへのSPAポインタ(例えば301)が用いられ、またGCR3テーブル307内へ索引付けて所与のデバイス上で動作中の1つ以上の処理を区別するためにPASIDが用いられてよい。GCR3テーブル307内のエントリは、GCR3ページテーブル311のベースへのGPAポインタを含んでいてよい。しかし、テーブル内のこのGPAポインタ及び後続の全てのGPAポインタは、例えばメモリ内の次のページテーブルにアクセスするために、トランスレーション論理及びページテーブルのセット、例えばテーブル333及び335を用いてSPAへとトランスレートされてよい。このトランスレーションメカニズムは、図3においてGPA/SPAトランスレーションユニット309A、309B、309C、及び309Dによって表されている。要求のGVAの幾つかの数のビットが、GCR3ページテーブル311内へ索引付けるために用いられてよい。1つの実施形態においては、311内の対応するエントリは、ページマップレベル4(PML4)ページテーブル313のベースへのGPAポインタを含んでいてよい。入れ子にされたページテーブルの各々におけるその後のアドレスもまた、次のページのベースアドレスを指し示すGPAであってよく、あるいは最後のテーブル(例えば315)である場合には、エントリは物理メモリページへのGPAポインタを含んでいてよい。これらのテーブルの各々(例えば313,315)はまた、I/O要求のGVAによって索引付けられていてよい。最終的なトランスレーション(SPA)は、GVAの一部分(例えば最後の数ビット)とメモリ317内の物理ページのSPAとを連結させることによって得られるであろう。
このように、ゲストトランスレーションテーブル及び入れ子にされたトランスレーションテーブルの両方が2レベルのゲストトランスレーションにおいて用いられてよい。しかし、GPAがI/Oデバイスによって提供される場合には、ホストトランスレーションページテーブル36Dのベースアドレスを提供するポインタ302を用いることによって、1レベルのトランスレーションが行われてもよい。より特定的には、デバイステーブルエントリにおけるゲスト情報は無視され、そして他のページテーブル経路付けエントリ情報(図4に示される)が、対応するホストトランスレーションページテーブルにアクセスするために用いられてよい。トランスレーションの種々のレベルにおいて、各連続するページテーブル内へ索引付けるために、GPAの異なるサブセットのビットが用いられ得る。特に、ポインタ302は、PML4ページテーブル333のベースへのSPAポインタであってよい。ゲストテーブル36Cとは対照的に、ホストページテーブル36D内の各ポインタは、次のテーブルのベースを指し示すSPAであってよい。PML4ページテーブル333内のGPAによって索引付けられるエントリは、PML3/2ページテーブル335のベースへのSPAポインタを含む。実際のページテーブルレベル(即ち3又は2)に応じて、テーブル335のエントリ内のポインタは、次のテーブルへのSPAポインタ又は物理メモリページ337のSPAであってよい。従って、最終的なトランスレーション(SPA)は、GPAの一部分(例えば最後の数ビット)とメモリ337内の物理ページのSPAとを連結させることによって得られるであろう。
メモリ隔離を保つために、1つの実施形態では、各後続のページテーブルにアクセスするときに、許可がチェックされてよく、そして許可矛盾があり又はページが存在しない場合には、IOMMU26は、トランスレーション及び/又はルックアップを停止し、そしてページフォールトを内部的に発行すると共にエラーを記録してよい。他の実施形態においては、各段階で、IOMMUは任意のエラーを単純に累積して、トランスレーションの最後にトランスレーションを破棄し、ページフォールトを発行し、そしてエラーを記録してよく、あるいはこれらの何らかの組み合わせを行ってよい。
図4を参照すると、例示的なデバイステーブルエントリの1つの実施形態の図が示されている。尚、図4の実施形態において示されるフィールドは、インターラプト再マッピング及び/又はアドレストランスレーションに関係していてよく、そして種々の実施形態において他の目的のために他のフィールドが提供されてよい。図示される実施形態においては、デバイステーブルエントリ325は256ビットエントリである。しかし、他の実施形態は、フィールド及び他のフィールドのスーパーセット、フィールドのサブセット、又は他のフィールドとの組み合わせにおけるサブセットを実装していてよい。従ってデバイステーブルエントリ325は、所望に応じて任意の数のビットであってよい。フィールドは1つ以上のビットを備えていてよく、そのエンコーディングは、IOMMU26によって解釈されるときに特定の意味を割り当てられている。この実施形態に対してフィールドが単一ビットである場合には、それは1ビット(a bit)と称されることがある。しかし、他の実施形態においては、同様の目的のために多重ビットフィールドが用いられてよい。この実施形態のために、図4に示されるビット範囲を有する多重ビットフィールドが示されている。
特定のインターラプトがブロックされ又は修正されずに通過させられるのかを制御するために、種々の特定のインターラプト制御ビットがResaeved_and_Otherフィールド内に設けられていてよい。ゲスト進歩的プログラム可能インターラプト制御器(guest advanced programmable interrupt controller)(GAPIC)に対するサポートが、GAPICTableRtPtrフィールドによって提供されており、GAPICTableRtPtrフィールドは、デバイスのためのGAPICテーブルのベースアドレスのSPAを含む。インターラプトテーブルポインタフィールド(IntTablePtr)は、上述のインターラプト再マッピングテーブルのベースアドレスを記憶していてよい。インターラプトテーブル長(IntTableLen)は、インターラプトテーブルの範囲を指定する。インターラプトテーブル長フィールドは、様々な可能な長さ(例えば1つの実施形態のためには、2のべき乗で1〜2048)に対してエンコードされ得る。インターラプトメッセージに対してI/Oページフォールトが検出された場合に、イベントログバッファ44内のイベントログエントリが作成されるか否かを表示するために、IGビットが用いられてよい。インターラプト有効(IV)ビットは、インターラプト関連フィールドが有効であるか否かを表示してよい。フィールドが有効でない場合には、IOMMU26は全てのインターラプトを修正せずに通過させてよい。
ゲストCR3(GCR3)テーブルルートポインタ(GCR3TableRtPtr)フィールドは、I/Oデバイスに対するCR3テーブルのSPAを含んでいてよい。周辺ページサービス要求(PPR)ビットは、IOMMUが周辺ページサービス要求ログエントリへ変換する周辺ページサービス要求を周辺機器が発行してよいかどうか、あるいは要求がエラーとして取り扱われるかどうかを表示する。尚、GCR3TableRtPtrは、図示される実施形態においては多重フィールドに分解されているが、他の実施形態においては、GCR3TableRtPtrは、1つの連続的なフィールドであってよく、あるいは所望に応じて異なるように分解されてよい。
SysMgtフィールドは、システム管理範囲における通信の更なる制御を提供するためにエンコードされてよい。具体的には、1つの実施形態においては、SysMgtフィールドは、当該範囲内の要求をブロックし、当該範囲内の要求を修正せずに転送し(ポストされた書き込みのみ)、INTxメッセージへマッピングしている要求を修正せずに転送し(ポストされた書き込みのみ)、又はI/Oページテーブルを用いて要求をトランスレートするようにエンコードされてよい。IoCtlフィールドは、I/O空間範囲における通信の更なる制御を提供するためにエンコードされてよい。具体的には、1つの実施形態においては、IoCtlフィールドは、当該範囲内の要求をブロックし、要求を修正せずに転送し、又はI/Oページテーブルを用いて要求をトランスレートするようにエンコードされてよい。しかし、1つの実施形態においては、これらのフィールドの幾つか(例えばSysMgt、IoCtl)は、GPA−SPAトランスレーションのみに関連している一方、GVA−SPAトランスレーションには適用されない。
DomainIDは、異なるデバイスがそれらのトランスレーションデータを区別するように、キャッシュ30エントリとIOMMU26内の任意の他のキャッシュエントリとをタグ付けるために用いられる。複数のデバイスがトランスレーションテーブルを共有する場合に、それらは同じDomainIDを用いてキャッシュエントリを共有することができる。DomainIDは完全にソフトウエアの制御の支配下にあり、従って制御ソフトウエア(例えば仮想マシンモニタ、又は非仮想マシン実装におけるオペレーティングシステム)に対する柔軟性を許容して、I/Oデバイスを、トランスレーションデータを共有する又はデバイスを隔てるドメインへとグループ化することができる。例えば、所与の仮想マシンに割り当てられたデバイスは同じDomainIDを有していてよく、そして異なるDomailIDは異なる仮想マシンに対して用いられてよい。従って、隔てられた複数のデバイス及びグループ化された複数のデバイスの任意の組み合わせが創出されてよい。
1つの実施形態においては、ゲストCR3レベル(GLX)ビットは、IOMMUによって実行されることになるGCR3ルックアップの種類(即ち1レベル又は2レベルのGCR3テーブル)を指定する。ゲストトランスレーション有効(GV)ビットは、2レベル(即ち入れ子にされ且つゲストのレベル)トランスレーション又は1レベル(例えばホスト)トランスレーションのどちらが実行されることになるかを決定する。1つの実施形態においては、GVビットがクリアである場合、GLXビットフィールド及びGCR3TableRtPtrフィールドは無視される。
ページテーブルポインタ(PageTablePtr)は、ホストトランスレーションページテーブル36Dへのポインタである。このポインタは、I/OデバイスがGPAを提供する場合に用いられてよい。モードフィールド(Mode)は、デバイスのI/Oページテーブルの深さ、及びトランスレーションが完全に無効にされているかどうかを表示するためにコード化されてよい。例えば、SPAを提供し且つ要求が事前にトランスレートされたものとしてマークしているデバイスに対して、対応するデバイスエントリは、トランスレーションを無効にするためにエンコードされたこのフィールドを有していてよい。他のエンコーディングは、このエントリにマッピングされている要求に対してトランスレーションが開始することになるページテーブル階層内のレベルを表示してよい。TVビットは、ページトランスレーションデータが有効であるか否かを表示し、そしてVビットはエントリ80が有効であるかどうかを表示する。
図5を参照すると、ゲスト仮想アドレストランスレーションメカニズムの更に詳細な態様を表す図が示されている。上述したように、デバイステーブル36Aは、各々がGCR3TableRtPtrフィールドを含む幾つかのエントリ(DTE)を含んでいてよい。当該エントリに対してゲストトランスレーションが有効である場合、フィールドはメモリ内のゲストCR3テーブル501へのSPAポインタを含むことになる。図示されるように、GCR3テーブル501は、デバイスの要求に関連するPASID値によって索引付けられていてよい。上述したように、デバイスPASIDは、用いられているI/O相互接続の種類に応じて種々の方法で得られてよい。図7においては、PASIDプレフィックスの1つの実施形態が示されている。このPASIDプレフィックスは、プレフィックスを用いる種々の標準的なバスアーキテクチャにおいて用いられ得る。図8においては、PCIe相互接続のためのTLP_PASIDプレフィックスが示されている。従って、図7のPASIDプレフィックスは、図8の実施形態において、所与のデバイス内の処理を識別するために用いられ得る。
図示されるようにCR3テーブル501は、各々がGCR3ベースポインタを含む2つのエントリを有しており、GCR3ポインタは、上述したようにゲストページテーブル503及び505へのGPAポインタであってよい。図示される実施形態においては、ゲストページテーブル503及び505は、I/O要求のGVAによって索引付けられていてよい。更に、ゲストページテーブル503及び505内の各有効なエントリは、それぞれのページマップレベル4テーブルのベースアドレスへのGPAポインタを含んでいてよい。
1つの実施形態においては、GCR3テーブル501はメモリ内で連続的である必要がある。従って、多数のPASIDを有するシステムにおいては、メモリ管理が煩わしいものになる場合がある。そこで、代替的な実施形態では、GCR3テーブルは階層的な方法で実装されてよい。例えば、1つ以上の第2レベルGCR3テーブル(図示せず)が用いられてよい。そのような実施形態においては、第1レベルGCR3テーブルがGCR3ベーステーブルであってよく、そしてPASIDビットの第1のサブセットを用いて索引付けられてよい。第1レベルGCR3テーブル内の所与のエントリは、それぞれの第2レベルGCR3テーブルへのGPAポインタを含んでいてよい。第2レベルGCR3テーブルは、PASIDの第2のサブセットを用いて索引付けられてよい。第2レベルGCR3テーブルの各エントリは、テーブル503又は505のようなゲストページテーブルへのGPAポインタを含んでいてよい。このように、1レベル又は2レベルのGCR3テーブルのいずれを実装するかの選択は、用いられるPASIDの数に依存する。尚、種々の実施形態において、PASIDビットのサブセットは、所望に応じて重複していなくてよく、あるいはそれらは重複していてよい。
図6を参照すると、図1〜図5に示されるシステムの実施形態の動作態様を説明するフロー図が示されている。図1〜図6を集合的に参照すると共に図6のブロック601において開始すると、I/O要求がIOMMU26によって受信される。例えば、要求は、例えばVMアプリケーションの1つ(例えば102)を代表して、DMAアクセスのようなI/Oメモリアクセス要求であってよい。代替的には、要求は、例えばリモートIOTLBを伴うI/Oデバイスによる例えばATSのようなトランスレーション要求であってよい。要求がメモリ要求でない場合には、動作はブロック604に示されるように進んでよい。一方、要求がメモリ要求である場合には、IOMMU26は、例えばオンボードMMUを有しているI/Oデバイスの場合のように要求が事前にトランスレートされているものとマークされているかどうかを決定してよい(ブロック602)。マークされている場合には、アドレスはSPAであろうから、なんらトランスレーションは必要ない。要求が事前にトランスレートされているものとマークされている場合には、IOMMU26は要求をメモリ制御器18へ提供してよい(ブロック603)。
ブロック602に戻り、要求が事前にトランスレートされているものとマークされていない場合、又は要求がトランスレーション要求である場合には、IOMMU26は、トランスレーションのためにキャッシュ30内でルックアップを行ってよい(ブロック604)。トランスレーションが存在する場合には、IOMMU26は、そのトランスレーションを要求側へ返送してよく、又はそのトランスレーションをその要求と共にメモリ制御器18へ供給してよい(ブロック603)。
一方、トランスレーションがキャッシュ30内に存在しない場合(ブロック604)、制御論理34と共にテーブルウォーカ28がI/Oトランスレーションテーブル36にアクセスしてよい。より特定的には、テーブルウォーカ34が、デバイステーブルベースレジスタ32Aにアクセスしてメモリ20内のデバイステーブルベースアドレスを獲得してよい。テーブルウォーカ28は、デバイステーブル36A内へ索引付けるためのデバイスIDを用いてよい(ブロック605)。要求がPASID値を含んでいる場合(ブロック606)、テーブルウォーカ28は、2レベルのゲストトランスレーションを実行してよい。より特定的には、1つの実施形態においては、I/O要求がTLP_PASIDプレフィックスを含む場合には、その要求に関連するアドレスはGVAである。従って、2レベルのトランスレーションが実行される。テーブルウォーカ28は、メモリ内のGCR3テーブルを見つけるために、デバイステーブルエントリ内のGCR3制御ビット及びGCR3TableRtPtrアドレスを用いてよい(ブロック607)。
上述したように、1つの実施形態においては、GCR3TableRtPtrアドレスはSPAであってよい。テーブルウォーカ28は、GPAポインタを用いて対応するGCR3テーブル及びゲストテーブルを見つけてよく、またPASIDを用いてGCR3テーブルを索引付けてよい。ブロック614に示されるように、また上述したように、各GPAポインタは、例えばホストトランスレーションページテーブル36Dを用いるIOMMU26によってトランスレートされてよい。要求のGVAビットの幾つかのサブセットが、単一又は複数のゲストページテーブルを索引付けるために用いられてよい。最後のゲストページテーブルは、ホストページマップレベル4テーブルのベースアドレスへのGPAポインタを含んでいてよい。1つの実施形態においては、各連続するゲストテーブルがアクセスされるのに従って許可がチェックされ、そして任意の失敗した許可は、ページフォールト又は他のエラーを生成してよい(ブロック608)。
テーブルウォーカ28は次いで、各先行するテーブルの各エントリ内のGPAポインタを用いて、ホストトランスレーションテーブル36Dを連続的に見つけることができる。ページテーブルの種々のレベルで、要求のGVAビットの異なるサブセットが、各ホストトランスレーションページテーブル内へ索引付けるために用いられてよい。上述したように、最後のページテーブルが一旦アクセスされると、対応するエントリは、メモリ内の物理ページのGPAを含むであろう。テーブルウォーカ28は、そのGPAをSPAへとトランスレートしてよい(ブロック609)。テーブルウォーカ28は次いで、物理メモリページのSPAをGVAの最後の幾つかのビットと連結させて、最終的なトランスレーションアドレスを獲得することができる(ブロック610)。テーブルウォーカ28は、要求がメモリ要求である場合には、トランスレーションアドレスを要求と共にメモリ制御器18へ提供してよい。代替的には、テーブルウォーカ28は、要求がトランスレーション要求であった場合には、要求しているI/Oデバイスへトランスレーションを提供してよい。テーブルウォーカ28はまた、将来のトランスレーションルックアップでの使用のために、キャッシュ30内のトランスレーションを記憶してよい(ブロック611)。
ブロック606に戻り、要求がPASIDを含んでいない場合には、要求におけるアドレスはGPAである。この場合、テーブルウォーカ28は、メモリ内のホストトランスレーションページテーブル36Dを見つけるために、デバイステーブルエントリ内のPageTableRtPtrアドレスを用いて1レベルのトランスレーションを実行してよい(ブロック612)。上述したのと同様の方法において、テーブルウォーカ28は、I/Oデバイスに対するホストページマップレベル4テーブルのベースアドレスへのSPAポインタを用いることができる。しかし、ゲストトランスレーションとは対照的に、ホストトランスレーションページテーブルを用いて1レベルのトランスレーションを行う場合には、次のページテーブル/メモリ物理ページへの各ポインタはSPAである。従って、テーブルウォーカ28は、各先行するテーブルの各エントリ内のSPAポインタを用いて、ホストトランスレーションテーブルを連続的に見つけることができる。ホストページテーブルの各レベルで、要求のGPAビットの異なるサブセットが、各ホストトランスレーションページテーブル内へ索引付けるために用いられてよい。上述したように、最後のページテーブルが一旦アクセスされると、対応するエントリは、メモリ内の物理ページのSPAを含むであろう(ブロック613)。テーブルウォーカ28は、物理メモリページのSPAを要求のGPAの最後の幾つかのビットと連結させて、最終的なトランスレーションアドレスを獲得することができる(ブロック610)。
図7を参照すると、PASIDプレフィックスペイロード(payload)の1つの実施形態の図が示されている。図示されるように、PASIDプレフィックスペイロード701は24ビットを含む。図示される実施形態においては、ビット[15:0]はゲスト処理アドレス空間ID、ビット[21:16]は予備、ビット22は実行/非実行許可、そしてビット23はユーザ/スーパバイザ表示である。尚、他の実施形態においては、ビットの位置及び定義は異なっていてよい。また、他の実施形態においては、他のビットが他の属性を表示するために用いられてよい。例えば、ビットはキャッシュコヒーレンシや特別なセキュリティ属性を表示することがある。
1つの実施形態においては、PASIDビットは、要求/デバイスIDと共に、トランザクションに関連するアドレス空間を一意的に識別する。実行/非実行ビットは、セットされているときに、表示されているメモリの範囲が、要求機能によって実行され得るコードを含んでいるであろうことを表示してよく、またビットをクリアしているときに、要求機能によって実行され得るコードがないことを表示してよい。ユーザ/スーパーバイザビットは、セットされているときに、表示されているメモリ範囲が、ユーザモード又はスーパーバイザモードで動作している構成要素によってアクセス可能な情報を含んでいるであろうことを表示してよい。一方、クリアにされているビットは、表示されているメモリ範囲が、スーパーバイザモードにおいてのみ動作している構成要素によってアクセス可能な情報を含んでいるであろうことを表示してよい。
上述したように、多くの標準的な周辺バスアーキテクチャがプレフィックスを可能にする。従って、PASIDプレフィックスペイロード701は、それによってI/Oデバイスが制御されている最中であるところの処理の処理識別子を伝達するために用いられてよい。図8A及び図8Bの説明と共に以下で更に詳細に説明されるように、周辺バス/相互接続はPCIe相互接続であってよい。従って、PASIDプレフィックス701は、PCIeトランザクション層プロトコルパケット構造内で用いられてよい。
図8Aを参照すると、PCIe規格に従う例示的なTLPパケットの1つの実施形態の図が示されている。PCIeは、パケットベースのプロトコルを用いて、互いに通信する2つのデバイスのトランザクション層の間でPCIeリンクを介して情報を交換する。PCIeは、メモリ、I/O、構成、及びメッセージといった基本的なトランザクションの種類をサポートする。メモリ要求に対する2つのアドレシングフォーマット、32ビット及び64ビットがサポートされる。従って、図8Aに示されるように、TLPパケット801は、1つ以上の随意的なTLPプレフィックス、TLPヘッダ、データペイロード(幾つかの種類のパケットに対して)、及び随意的なTLPダイジェストを含む。パケットフィールド及びビットの定義に関する詳細な情報は、PCI−SIGから入手可能なPCIエクスプレス規格の最新バージョンにおいて見つかるであろう。とは言え、TLPプレフィックスの1つの具体的な実施形態のより詳細な説明が図8Bに示され、そして以下に説明される。
図8Bを参照すると、PCIe規格に従うTLP_PASIDプレフィックスの1つの実施形態の図が示されている。図7に示されるプレフィックスと同様に、TLPプレフィックス851は、上述したような16ビットPASIDフィールド、6ビット予備フィールド、上述のような実行ビット(exe bit)、上述のようなユーザビット、4ビットタイプフィールド、プレフィックスが終端間(end-to-end)であることを表示する1ビットフィールド、及びフォーマットフィールドを含む。図示されるように、フォーマットフィールドは、そのTLPプレフィックスがTLPプレフィックスであることを表示する100bエンコーディングでエンコードされてよい。タイプフィールドは、プレフィックスがPASIDプレフィックスであることを表示するためにエンコードされてよい。尚、他の実施形態においては、TLPプレフィックスは、他のフィールドを含んでいてよく、またフィールド内に他の数のビットを含んでいてよい。
上述したように、1つの実施形態においては、キャッシュ30エントリから取り出される不十分なゲスト特権を結果としてもたらすATS(即ちトランスレーション)要求又はメモリ参照は、新鮮でない(stale)情報に基づいているであろう。キャッシュされたゲストトランスレーション情報を用いてIOMMU26がアクセス違反を検出すると、IOMMU26は、キャッシュされた情報を置換し又は廃棄する処理において、ゲストページテーブルを再ウォークして、メモリから読み出された新鮮な情報を用いてアクセス許可を再計算する必要がある。ゲストテーブル再ウォークの結果として、入れ子にされたページテーブルが読み出されてよい。フェッチされた情報が、アクセスを許可しない許可制御を含んでいる場合には、IOMMU26はアクセスに失敗し、そうでない場合にはIOMMU26は要求されたアクセスを許可してよい。ATSトランスレーション要求は、計算されたアクセス特権を常に返送する。再ウォークは、ゲストトランスレーション及び入れ子にされたトランスレーションの両方の完全なウォークを必要とすることがある。
尚、PCIeデバイスを実装している実施形態においてアドレスをトランスレートする場合には、IOMMU26は、内部プロセッサセマンティクス(semantics)とPCIeセマンティクスの間での変換を必要とすることがある。種々のエージテーブルは存在ビット(P)及び読み出し/書き込みビット(R/W)を含み、ATS要求は非書き込みヒントを含み、そしてATS応答は別個の読み出し(R)許可ビット及び書き込み(W)許可ビットを必要とする。1つの実施形態においては、IOMMU26は、特権プロモーションのためのプロセッサ内部長ページテーブルセマンティクスと無矛盾なATS応答を提供してよい。概してIOMMU26は、キャッシュ30内で見つかる値に基づく結果を返送すべきである。ATS要求に対する特別な場合として、無効化コマンドをIOMMU26に発行することなしにシステムソフトウエアがアクセス許可を上げてしまった(have elevated)であろうページに対するものがある。1つの実施形態では、システムソフトウエアは、アクセス許可を減少させる場合に無効化コマンドを発行する必要がある(ページをP=0で非存在にマーキングすることを含む)。具体的には、ソフトウエアは、書き込み若しくは実行の許可を解除した後、Pを存在から非存在に変化させた後、又はU/Sをユーザからスーパーバイザに変化させた後に無効化する必要がある。
尚、上述の実施形態は、ハードウエア、ソフトウエア、又は両方の組み合わせにおいて実装され得る。また、上述のハードウエア構成部品の種々のものは、ハードウエア記述(定義)言語で書かれたソフトウエアを用いて最初に設計され得る。従って、上述の実施形態を実装するために用いられる任意の命令は、種々のタイプの記憶装置に記憶されてよい。このように、種々の実施形態は、以上の説明に従って実装される命令及び/又はデータをコンピュータ可読記憶媒体に記憶することを更に含み得る。一般的に言えば、コンピュータ可読記憶媒体は、磁気媒体又は光学媒体のような記憶媒体又はメモリ媒体、例えばディスク、CD−ROM、DVD、揮発性又は不揮発性媒体、例えばRAM(例えばSDRAM、DDR_SDRAM、RDRAM、SRAM等)、ROM等を含んでいてよい。
上述の実施形態はかなり詳細に説明されてきたが、上述の開示が完全に理解されるならば、多くの変形及び修正が当業者に明らかになるであろう。以下の特許請求の範囲は全てのそのような変形及び修正を包含するものとして解釈されることが意図されている。

Claims (21)

  1. コンピュータシステムのシステムメモリへのI/Oデバイスによる要求を制御するための入力/出力(I/O)メモリ管理ユニット(IOMMU)であって、
    前記I/Oデバイスからの要求において受信されるアドレスをトランスレートするように構成される制御論理と、
    前記制御論理に結合され完了したトランスレーションを記憶するように構成されるキャッシュメモリとを備え、
    処理アドレス空間識別子(PASID)プレフィックスを含むトランザクション層プロトコル(TLP)パケットを前記要求において受信することに応答して、前記制御論理は2レベルのゲストトランスレーションを実行するように構成され、
    前記制御論理は前記要求において受信される前記アドレスをトランスレートするためにゲストページテーブルのセットにアクセスするように構成され、最後のゲストページテーブル内のポインタは入れ子にされたページテーブルのセット内の第1のテーブルを指し示し、
    前記制御論理は、入れ子にされたページテーブルの前記セットにアクセスして前記システムメモリ内の物理ページに対応するシステム物理アドレス(SPA)を得るために、最後のゲストページテーブル内の前記ポインタを用いるように構成されるIOMMU。
  2. ゲストページテーブルの前記セットは1つ以上のエントリを有するデバイステーブルを含み、各エントリはゲストテーブルの前記セットの第1のゲストトランスレーションテーブルへのポインタを記憶するように構成され、前記ポインタは前記コンピュータシステムのプロセッサで実行中の仮想メモリモニタ(VMM)によってマッピングされるアドレス空間に対応するSPAを備える請求項1に記載のIOMMU。
  3. 入れ子にされたページテーブルの前記セット内の第1のテーブルへの前記ポインタは、前記プロセッサ上の仮想マシン(VM)で実行中のゲストオペレーティングシステムによってマッピングされるアドレス空間に対応するゲスト物理アドレス(GPA)を備える請求項2に記載のIOMMU。
  4. 前記要求において受信される前記アドレスはゲスト仮想アドレス(GVA)を備え、GVAは前記プロセッサ上の仮想マシン(VM)で実行中のゲストアプリケーションによってマッピングされるアドレス空間に対応し、前記制御論理は前記2レベルのゲストトランスレーションを用いて前記GVAをSPAへトランスレートするように構成される請求項2に記載のIOMMU。
  5. 前記TLPパケットは、プレフィックスフィールド、ヘッダフィールド、データペイロードフィールド、及び随意的なダイジェストフィールドを有するパケットを備え、前記TLPパケットは、周辺コンポーネント相互接続エクスプレス(PCIe)リンク上で前記I/Oデバイスから前記IOMMUへ伝達される請求項1に記載のIOMMU。
  6. 前記制御論理は前記I/O要求において受信される前記アドレスのビットのサブセットを前記システムメモリ内の物理ページに対応する前記SPAと連結して最終的なトランスレーションアドレスを提供するように更に構成される請求項1に記載のIOMMU。
  7. 前記TLPパケット内にPASIDプレフィックスを有していないI/Oを受信することに応答して、前記制御論理は1レベルのトランスレーションを実行するように構成され、前記制御論理は所与の要求に対してデバイステーブルエントリ内の別のポインタにアクセスするように構成され、前記別のポインタはホストトランスレーションページテーブルのセットへのポインタを備える請求項2に記載のIOMMU。
  8. 前記ホストトランスレーションページテーブルの少なくとも幾つかは次の連続的なホストトランスレーションテーブルへのSPAポインタを有するエントリを含む請求項7に記載のIOMMU。
  9. プロセッサと、
    前記プロセッサに結合されトランスレーションデータを記憶するように構成されるシステムメモリと、
    前記システムメモリにアクセスするための要求を生成するように構成される少なくとも1つのI/Oデバイスと、
    前記I/Oデバイス及び前記システムメモリに結合されるI/Oメモリ管理ユニット(IOMMU)と、
    前記制御論理に結合され完了したトランスレーションを記憶するように構成されるキャッシュメモリとを備え、
    前記IOMMUは前記I/Oデバイスからの前記要求において受信されるアドレスをトランスレートするように構成される制御論理を含み、
    処理アドレス空間識別子(PASID)プレフィックスを含むトランザクション層プロトコル(TLP)パケットを前記要求において受信することに応答して、前記制御論理は2レベルのゲストトランスレーションを実行するように構成され、
    前記制御論理は前記要求において受信される前記アドレスをトランスレートするためにゲストページテーブルのセットにアクセスするように構成され、最後のゲストページテーブル内のポインタは入れ子にされたページテーブルのセット内の第1のテーブルを指し示し、
    前記制御論理は、入れ子にされたページテーブルの前記セットにアクセスして前記システムメモリ内の物理ページに対応するシステム物理アドレス(SPA)を得るために、最後のゲストページテーブル内の前記ポインタを用いるように構成されるシステム。
  10. 前記制御論理は任意のトランスレーションを実行する前にトランスレーションのために前記キャッシュメモリを検索するように構成され、ページレベル特権が変化したことを決定することに応答して、前記制御論理は前記トランスレーションを実行して最終的なトランスレーションアドレスを得るように更に構成される請求項9に記載のシステム。
  11. 前記システムメモリは、前記プロセッサで実行中の仮想メモリモニタ(VMM)によってマッピングされるアドレス空間に対応する前記SPAと、前記プロセッサ上の仮想マシン(VM)で実行中のゲストオペレーティングシステムによってマッピングされるアドレス空間に対応するゲスト物理アドレス(GPA)と、前記プロセッサ上の仮想マシン(VM)で実行中のゲストアプリケーションによってマッピングされるアドレス空間に対応するゲスト仮想アドレス(GVA)とを含む複数のアドレス空間内へマッピングされる請求項9に記載のシステム。
  12. 前記GVAを含むI/O要求は、TLP_PASIDプレフィックスを含むことによって前記GVAを表示し、前記GPAを含むI/O要求は、TLP_PASIDプレフィックスを省略することによって前記GPAを表示する請求項11に記載のシステム。
  13. 前記要求において受信される前記アドレスはGVAを備え、前記制御論理は前記2レベルのゲストトランスレーションを用いて前記GVAをSPAへトランスレートするように構成される請求項9に記載のシステム。
  14. 前記TLPパケットは、プレフィックスフィールド、ヘッダフィールド、データペイロードフィールド、及び随意的なダイジェストフィールドを有するパケットを備え、前記TLPパケットは、周辺コンポーネント相互接続エクスプレス(PCIe)リンク上で前記I/Oデバイスから前記IOMMUへ伝達される請求項9に記載のシステム。
  15. コンピュータシステムのシステムメモリへのI/Oデバイスによる要求を制御するための入力/出力(I/O)メモリ管理ユニット(IOMMU)であって、
    前記I/Oデバイスからの要求において受信されるアドレスをトランスレートするように構成される制御論理と、
    前記制御論理に結合され完了したトランスレーションを記憶するように構成されるキャッシュメモリとを備え、
    処理アドレス空間識別子(PASID)プレフィックスを含むトランザクション層プロトコル(TLP)パケットを前記要求において受信することに応答して、前記制御論理はシステムメモリ内に記憶されるトランスレーションデータを用いて2レベルのゲストトランスレーションを実行するように構成され、
    前記トランスレーションデータは、デバイスデータ構造内の1つ以上のデバイステーブルエントリと、ゲストページデータ構造のセット及び入れ子にされたページデータ構造のセットを含んでいるI/Oページデータ構造の第1のセットとを含み、
    前記制御論理は、
    所与の要求を生成するI/Oデバイスに対応するデバイス識別子を用いて前記要求に対するデバイスデータ構造エントリを選択し、
    選択されたデバイスデータ構造エントリからのポインタを用いてゲストトランスレーションデータ構造のセットにアクセスし、
    最後のゲストトランスレーションデータ構造からのポインタを用いて、入れ子にされたページデータ構造の前記セットにアクセスするように更に構成されるIOMMU。
  16. 入力/出力メモリ管理ユニット(IOMMU)を用いてコンピュータシステムのシステムメモリへの入力/出力I/O要求を制御するための方法であって、
    ゲストページテーブルのセット及び入れ子にされたページテーブルのセットを含むトランスレーションデータをコンピュータシステムのシステムメモリ内に記憶することと、
    処理アドレス空間識別子(PASID)プレフィックスを含むトランザクション層プロトコル(TLP)パケットをI/Oデバイスからの要求において受信することに応答して2レベルのゲストトランスレーションを実行するように構成される制御論理が、前記要求において受信されるアドレスをトランスレートすることと、
    前記制御論理が前記要求において受信される前記アドレスをトランスレートするためにゲストページテーブルの前記セットにアクセスすることと、
    完了したトランスレーションを前記制御論理がキャッシュメモリ内に記憶することとを備え、
    最後のゲストページテーブル内のポインタは入れ子にされたページテーブルの前記セット内の第1のテーブルを指し示し、
    前記制御論理は、入れ子にされたページテーブルの前記セットにアクセスして前記システムメモリ内の物理ページに対応するシステム物理アドレス(SPA)を得るために、最後のゲストページテーブル内の前記ポインタを用いる方法。
  17. 前記TLPパケットは、プレフィックスフィールド、ヘッダフィールド、データペイロードフィールド、及び随意的なダイジェストフィールドを有するパケットを備え、前記TLPパケットは、周辺コンポーネント相互接続エクスプレス(PCIe)リンク上で前記I/Oデバイスから前記IOMMUへ伝達される請求項16に記載の方法。
  18. 前記I/O要求において受信される前記アドレスは、前記コンピュータシステムのプロセッサ上の仮想マシン(VM)で実行中のゲストアプリケーションによってマッピングされるアドレス空間に対応するゲスト仮想アドレス(GVA)を備える請求項16に記載の方法。
  19. 前記制御論理はTLP_PASIDプレフィックスを伴うTLPパケットを含まないI/O要求を受信することに応答して1レベルのトランスレーションを実行する請求項16に記載の方法。
  20. TLP_PASIDプレフィックスを伴う前記TLPパケットを含まない前記I/O要求において受信されるアドレスは、前記コンピュータシステムのプロセッサ上の仮想マシン(VM)で実行中のゲストオペレーティングシステムによってマッピングされるアドレス空間に対応するゲスト物理アドレス(GPA)を備える請求項19に記載の方法。
  21. データ構造を備えたコンピュータ可読記憶媒体であって、コンピュータシステム上で実行可能なプログラムによって前記データ構造が動作させられる場合に、前記プログラムが前記データ構造に基づいて動作して前記データ構造によって記述される回路を含む集積回路を製造するための処理の一部を実行し、
    前記データ構造において記述される前記回路は、
    前記I/Oデバイスからの要求において受信されるアドレスをトランスレートするように構成される制御論理と、
    前記制御論理に結合され完了したトランスレーションを記憶するように構成されるキャッシュメモリとを備え、
    処理アドレス空間識別子(PASID)プレフィックスを含むトランザクション層プロトコル(TLP)パケットを前記要求において受信することに応答して、前記制御論理は2レベルのゲストトランスレーションを実行するように構成され、
    前記制御論理は前記要求において受信される前記アドレスをトランスレートするためにゲストページテーブルのセットにアクセスするように構成され、最後のゲストページテーブル内のポインタは入れ子にされたページテーブルのセット内の第1のテーブルを指し示し、
    前記制御論理は、入れ子にされたページテーブルの前記セットにアクセスして前記システムメモリ内の物理ページに対応するシステム物理アドレス(SPA)を得るために、最後のゲストページテーブル内の前記ポインタを用いるように構成されるコンピュータ可読記憶媒体。
JP2012521868A 2009-07-24 2010-07-24 周辺相互接続におけるi/o及び計算負荷軽減デバイスのための2レベルのアドレストランスレーションを用いるiommu Active JP5680642B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/508,890 US9535849B2 (en) 2009-07-24 2009-07-24 IOMMU using two-level address translation for I/O and computation offload devices on a peripheral interconnect
US12/508,890 2009-07-24
PCT/US2010/043168 WO2011011768A1 (en) 2009-07-24 2010-07-24 Iommu using two-level address translation for i/o and computation offload devices on a peripheral interconnect

Publications (2)

Publication Number Publication Date
JP2013500524A true JP2013500524A (ja) 2013-01-07
JP5680642B2 JP5680642B2 (ja) 2015-03-04

Family

ID=43013181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012521868A Active JP5680642B2 (ja) 2009-07-24 2010-07-24 周辺相互接続におけるi/o及び計算負荷軽減デバイスのための2レベルのアドレストランスレーションを用いるiommu

Country Status (7)

Country Link
US (1) US9535849B2 (ja)
EP (1) EP2457165B1 (ja)
JP (1) JP5680642B2 (ja)
KR (1) KR101575827B1 (ja)
CN (1) CN102498478B (ja)
IN (1) IN2012DN00935A (ja)
WO (1) WO2011011768A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754776B2 (en) 2018-11-01 2023-09-12 Kuraray Co., Ltd. Light-emitting fiber
JP7564830B2 (ja) 2019-05-27 2024-10-09 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 入出力メモリ管理ユニットレジスタのコピーのゲストオペレーティングシステムへの提供

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8386745B2 (en) * 2009-07-24 2013-02-26 Advanced Micro Devices, Inc. I/O memory management unit including multilevel address translation for I/O and computation offload
US8327055B2 (en) * 2010-04-12 2012-12-04 International Business Machines Corporation Translating a requester identifier to a chip identifier
US8341340B2 (en) * 2010-07-21 2012-12-25 Seagate Technology Llc Multi-tier address mapping in flash memory
US20120246381A1 (en) * 2010-12-14 2012-09-27 Andy Kegel Input Output Memory Management Unit (IOMMU) Two-Layer Addressing
US9606936B2 (en) * 2010-12-16 2017-03-28 Advanced Micro Devices, Inc. Generalized control registers
US9916257B2 (en) * 2011-07-26 2018-03-13 Intel Corporation Method and apparatus for TLB shoot-down in a heterogeneous computing system supporting shared virtual memory
US9164924B2 (en) * 2011-09-13 2015-10-20 Facebook, Inc. Software cryptoprocessor
US8719464B2 (en) * 2011-11-30 2014-05-06 Advanced Micro Device, Inc. Efficient memory and resource management
US20130262736A1 (en) * 2012-03-30 2013-10-03 Ati Technologies Ulc Memory types for caching policies
US9081706B2 (en) * 2012-05-10 2015-07-14 Oracle International Corporation Using a shared last-level TLB to reduce address-translation latency
US20130318269A1 (en) 2012-05-22 2013-11-28 Xockets IP, LLC Processing structured and unstructured data using offload processors
US9619406B2 (en) 2012-05-22 2017-04-11 Xockets, Inc. Offloading of computation for rack level servers and corresponding methods and systems
US20140052899A1 (en) * 2012-08-18 2014-02-20 Yen Chih Nan Memory address translation method for flash storage system
US9424199B2 (en) * 2012-08-29 2016-08-23 Advanced Micro Devices, Inc. Virtual input/output memory management unit within a guest virtual machine
US9069690B2 (en) * 2012-09-13 2015-06-30 Intel Corporation Concurrent page table walker control for TLB miss handling
KR101934519B1 (ko) 2012-11-26 2019-01-02 삼성전자주식회사 저장 장치 및 그것의 데이터 전송 방법
WO2014113055A1 (en) 2013-01-17 2014-07-24 Xockets IP, LLC Offload processor modules for connection to system memory
US9378161B1 (en) 2013-01-17 2016-06-28 Xockets, Inc. Full bandwidth packet handling with server systems including offload processors
US9396011B2 (en) 2013-03-12 2016-07-19 Qualcomm Incorporated Algorithm and apparatus to deploy virtual machine monitor on demand
US9477603B2 (en) 2013-09-05 2016-10-25 Facebook, Inc. System and method for partitioning of memory units into non-conflicting sets
US9983894B2 (en) 2013-09-25 2018-05-29 Facebook, Inc. Method and system for providing secure system execution on hardware supporting secure application execution
US10049048B1 (en) 2013-10-01 2018-08-14 Facebook, Inc. Method and system for using processor enclaves and cache partitioning to assist a software cryptoprocessor
US9239804B2 (en) * 2013-10-03 2016-01-19 Advanced Micro Devices, Inc. Back-off mechanism for a peripheral page request log
US9747450B2 (en) 2014-02-10 2017-08-29 Facebook, Inc. Attestation using a combined measurement and its constituent measurements
US9734092B2 (en) 2014-03-19 2017-08-15 Facebook, Inc. Secure support for I/O in software cryptoprocessor
EP3159802B1 (en) * 2014-07-15 2018-05-23 Huawei Technologies Co. Ltd. Sharing method and device for pcie i/o device and interconnection system
US20160077981A1 (en) * 2014-09-12 2016-03-17 Advanced Micro Devices, Inc. Method and Apparatus for Efficient User-Level IO in a Virtualized System
US9632948B2 (en) 2014-09-23 2017-04-25 Intel Corporation Multi-source address translation service (ATS) with a single ATS resource
KR102320044B1 (ko) * 2014-10-02 2021-11-01 삼성전자주식회사 Pci 장치, 이를 포함하는 인터페이스 시스템, 및 컴퓨팅 시스템
US10013385B2 (en) * 2014-11-13 2018-07-03 Cavium, Inc. Programmable validation of transaction requests
JP6070732B2 (ja) * 2015-01-27 2017-02-01 日本電気株式会社 入出力制御装置、入出力制御システム、入出力制御方法、および、プログラム
US9495303B2 (en) 2015-02-03 2016-11-15 Intel Corporation Fine grained address remapping for virtualization
CN104598298A (zh) * 2015-02-04 2015-05-06 上海交通大学 基于虚拟机当前工作性质以及任务负载的虚拟机调度算法
CN104698709A (zh) * 2015-04-01 2015-06-10 上海天马微电子有限公司 一种阵列基板和液晶显示面板
US10089275B2 (en) * 2015-06-22 2018-10-02 Qualcomm Incorporated Communicating transaction-specific attributes in a peripheral component interconnect express (PCIe) system
WO2016206012A1 (en) 2015-06-24 2016-12-29 Intel Corporation Systems and methods for isolating input/output computing resources
US10102116B2 (en) 2015-09-11 2018-10-16 Red Hat Israel, Ltd. Multi-level page data structure
EP3353659A4 (en) * 2015-09-25 2019-05-01 Intel Corporation SYSTEMS AND METHODS FOR CONTROLLING INPUT / OUTPUT COMPUTER RESOURCES
US9852107B2 (en) * 2015-12-24 2017-12-26 Intel Corporation Techniques for scalable endpoint addressing for parallel applications
US10509729B2 (en) 2016-01-13 2019-12-17 Intel Corporation Address translation for scalable virtualization of input/output devices
US10055807B2 (en) 2016-03-02 2018-08-21 Samsung Electronics Co., Ltd. Hardware architecture for acceleration of computer vision and imaging processing
US10762030B2 (en) 2016-05-25 2020-09-01 Samsung Electronics Co., Ltd. Storage system, method, and apparatus for fast IO on PCIE devices
CN108139982B (zh) 2016-05-31 2022-04-08 安华高科技股份有限公司 多信道输入/输出虚拟化
US10048881B2 (en) 2016-07-11 2018-08-14 Intel Corporation Restricted address translation to protect against device-TLB vulnerabilities
US10241931B2 (en) * 2016-07-29 2019-03-26 Advanced Micro Devices, Inc. Controlling access to pages in a memory in a computing device
US20180088978A1 (en) * 2016-09-29 2018-03-29 Intel Corporation Techniques for Input/Output Access to Memory or Storage by a Virtual Machine or Container
US10157277B2 (en) * 2016-10-01 2018-12-18 Intel Corporation Technologies for object-oriented memory management with extended segmentation
US10417140B2 (en) * 2017-02-24 2019-09-17 Advanced Micro Devices, Inc. Streaming translation lookaside buffer
US10120813B2 (en) * 2017-03-08 2018-11-06 Arm Limited Address translation
US10380039B2 (en) * 2017-04-07 2019-08-13 Intel Corporation Apparatus and method for memory management in a graphics processing environment
US10228981B2 (en) 2017-05-02 2019-03-12 Intel Corporation High-performance input-output devices supporting scalable virtualization
US10528474B2 (en) * 2017-09-06 2020-01-07 International Business Machines Corporation Pre-allocating cache resources for a range of tracks in anticipation of access requests to the range of tracks
CN109698845B (zh) * 2017-10-20 2020-10-09 华为技术有限公司 数据传输的方法、服务器、卸载卡及存储介质
WO2019132976A1 (en) * 2017-12-29 2019-07-04 Intel Corporation Unified address translation for virtualization of input/output devices
US10990436B2 (en) * 2018-01-24 2021-04-27 Dell Products L.P. System and method to handle I/O page faults in an I/O memory management unit
US20190227942A1 (en) * 2018-01-24 2019-07-25 Dell Products, Lp System and Method to Handle I/O Page Faults in an I/O Memory Management Unit
US11157635B2 (en) * 2018-04-08 2021-10-26 Qualcomm Incorporated Secure interface disablement
US20190114195A1 (en) 2018-08-22 2019-04-18 Intel Corporation Virtual device composition in a scalable input/output (i/o) virtualization (s-iov) architecture
US10929310B2 (en) * 2019-03-01 2021-02-23 Cisco Technology, Inc. Adaptive address translation caches
US11036649B2 (en) 2019-04-04 2021-06-15 Cisco Technology, Inc. Network interface card resource partitioning
US11494211B2 (en) * 2019-04-22 2022-11-08 Advanced Micro Devices, Inc. Domain identifier and device identifier translation by an input-output memory management unit
US10853263B1 (en) 2019-07-23 2020-12-01 Ati Technologies Ulc Unified kernel virtual address space for heterogeneous computing
CN111290829B (zh) * 2020-01-15 2023-05-02 海光信息技术股份有限公司 访问控制模组、虚拟机监视器及访问控制方法
US11422944B2 (en) * 2020-08-10 2022-08-23 Intel Corporation Address translation technologies
US11321238B2 (en) 2020-08-11 2022-05-03 Micron Technology, Inc. User process identifier based address translation
US12086082B2 (en) * 2020-09-21 2024-09-10 Intel Corporation PASID based routing extension for scalable IOV systems
US11775210B2 (en) * 2020-10-14 2023-10-03 Western Digital Technologies, Inc. Storage system and method for device-determined, application-specific dynamic command clustering
CN112395220B (zh) * 2020-11-18 2023-02-28 海光信息技术股份有限公司 共享存储控制器的处理方法、装置、系统及存储控制器
US11860792B2 (en) 2021-05-04 2024-01-02 Red Hat, Inc. Memory access handling for peripheral component interconnect devices
US11900142B2 (en) 2021-06-16 2024-02-13 Red Hat, Inc. Improving memory access handling for nested virtual machines
US11797178B2 (en) * 2021-07-16 2023-10-24 Hewlett Packard Enterprise Development Lp System and method for facilitating efficient management of data structures stored in remote memory
CN114201269B (zh) * 2022-02-18 2022-08-26 阿里云计算有限公司 内存换页方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04308953A (ja) * 1991-04-05 1992-10-30 Kyocera Corp 仮想アドレス計算機装置
JP2002067405A (ja) * 2000-07-31 2002-03-05 Hewlett Packard Co <Hp> プリンタ内でデータを転送するシステム
US20070168643A1 (en) * 2006-01-17 2007-07-19 Hummel Mark D DMA Address Translation in an IOMMU
JP2007272885A (ja) * 2006-03-28 2007-10-18 Internatl Business Mach Corp <Ibm> 代替ページのプールを使用してdma書込みページ障害をコンピュータにより管理するための方法、装置、及びコンピュータ・プログラム
JP2008009982A (ja) * 2006-06-27 2008-01-17 Internatl Business Mach Corp <Ibm> メモリ・アドレスの変換およびピン止めのための方法およびシステム
US20080120487A1 (en) * 2006-11-21 2008-05-22 Ramakrishna Saripalli Address translation performance in virtualized environments
US20090187697A1 (en) * 2008-01-22 2009-07-23 Serebrin Benjamin C Execute-Only Memory and Mechanism Enabling Execution From Execute-Only Memory for Minivisor

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041878B2 (en) * 2003-03-19 2011-10-18 Samsung Electronics Co., Ltd. Flash file system
US7334107B2 (en) * 2004-09-30 2008-02-19 Intel Corporation Caching support for direct memory access address translation
US7444493B2 (en) 2004-09-30 2008-10-28 Intel Corporation Address translation for input/output devices using hierarchical translation tables
US7225287B2 (en) 2005-06-01 2007-05-29 Microsoft Corporation Scalable DMA remapping on a computer bus
US20060288130A1 (en) * 2005-06-21 2006-12-21 Rajesh Madukkarumukumana Address window support for direct memory access translation
US7793067B2 (en) 2005-08-12 2010-09-07 Globalfoundries Inc. Translation data prefetch in an IOMMU
US7543131B2 (en) 2005-08-12 2009-06-02 Advanced Micro Devices, Inc. Controlling an I/O MMU
US7426626B2 (en) * 2005-08-23 2008-09-16 Qualcomm Incorporated TLB lock indicator
US7548999B2 (en) 2006-01-17 2009-06-16 Advanced Micro Devices, Inc. Chained hybrid input/output memory management unit
US7849287B2 (en) 2006-11-13 2010-12-07 Advanced Micro Devices, Inc. Efficiently controlling special memory mapped system accesses
US7873770B2 (en) 2006-11-13 2011-01-18 Globalfoundries Inc. Filtering and remapping interrupts
US8032897B2 (en) * 2007-07-31 2011-10-04 Globalfoundries Inc. Placing virtual machine monitor (VMM) code in guest context to speed memory mapped input/output virtualization
US8145876B2 (en) * 2007-08-06 2012-03-27 Advanced Micro Devices, Inc. Address translation with multiple translation look aside buffers
US8352705B2 (en) * 2008-01-15 2013-01-08 Vmware, Inc. Large-page optimization in virtual memory paging systems
US8234432B2 (en) * 2009-01-26 2012-07-31 Advanced Micro Devices, Inc. Memory structure to store interrupt state for inactive guests

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04308953A (ja) * 1991-04-05 1992-10-30 Kyocera Corp 仮想アドレス計算機装置
JP2002067405A (ja) * 2000-07-31 2002-03-05 Hewlett Packard Co <Hp> プリンタ内でデータを転送するシステム
US20070168643A1 (en) * 2006-01-17 2007-07-19 Hummel Mark D DMA Address Translation in an IOMMU
JP2007272885A (ja) * 2006-03-28 2007-10-18 Internatl Business Mach Corp <Ibm> 代替ページのプールを使用してdma書込みページ障害をコンピュータにより管理するための方法、装置、及びコンピュータ・プログラム
JP2008009982A (ja) * 2006-06-27 2008-01-17 Internatl Business Mach Corp <Ibm> メモリ・アドレスの変換およびピン止めのための方法およびシステム
US20080120487A1 (en) * 2006-11-21 2008-05-22 Ramakrishna Saripalli Address translation performance in virtualized environments
US20090187697A1 (en) * 2008-01-22 2009-07-23 Serebrin Benjamin C Execute-Only Memory and Mechanism Enabling Execution From Execute-Only Memory for Minivisor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754776B2 (en) 2018-11-01 2023-09-12 Kuraray Co., Ltd. Light-emitting fiber
JP7564830B2 (ja) 2019-05-27 2024-10-09 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 入出力メモリ管理ユニットレジスタのコピーのゲストオペレーティングシステムへの提供

Also Published As

Publication number Publication date
IN2012DN00935A (ja) 2015-04-03
EP2457165A1 (en) 2012-05-30
JP5680642B2 (ja) 2015-03-04
US20110022818A1 (en) 2011-01-27
US9535849B2 (en) 2017-01-03
EP2457165B1 (en) 2018-07-04
CN102498478A (zh) 2012-06-13
WO2011011768A1 (en) 2011-01-27
KR101575827B1 (ko) 2015-12-08
CN102498478B (zh) 2015-04-29
KR20120044370A (ko) 2012-05-07

Similar Documents

Publication Publication Date Title
JP5680642B2 (ja) 周辺相互接続におけるi/o及び計算負荷軽減デバイスのための2レベルのアドレストランスレーションを用いるiommu
EP2457166B1 (en) I/o memory management unit including multilevel address translation for i/o and computation offload
US7882330B2 (en) Virtualizing an IOMMU
US7809923B2 (en) Direct memory access (DMA) address translation in an input/output memory management unit (IOMMU)
US7917726B2 (en) Using an IOMMU to create memory archetypes
US7543131B2 (en) Controlling an I/O MMU
US7516247B2 (en) Avoiding silent data corruption and data leakage in a virtual environment with multiple guests
JP4772795B2 (ja) 大アドレス容量に及ぶ変換テーブルを用いた、アドレス変換の性能向上
US7873770B2 (en) Filtering and remapping interrupts
US7849287B2 (en) Efficiently controlling special memory mapped system accesses
US7793067B2 (en) Translation data prefetch in an IOMMU
US11921646B2 (en) Secure address translation services using a permission table
JP6067928B2 (ja) 属性フィールドのマルチコアページテーブルセット
US7480784B2 (en) Ensuring deadlock free operation for peer to peer traffic in an input/output memory management unit (IOMMU)
WO2006039643A1 (en) Caching support for direct memory access address translation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140526

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141117

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150107

R150 Certificate of patent or registration of utility model

Ref document number: 5680642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250