JP2006318477A - ロジカルパーティショニングされた処理環境におけるリソース管理のための方法および装置 - Google Patents

ロジカルパーティショニングされた処理環境におけるリソース管理のための方法および装置 Download PDF

Info

Publication number
JP2006318477A
JP2006318477A JP2006133249A JP2006133249A JP2006318477A JP 2006318477 A JP2006318477 A JP 2006318477A JP 2006133249 A JP2006133249 A JP 2006133249A JP 2006133249 A JP2006133249 A JP 2006133249A JP 2006318477 A JP2006318477 A JP 2006318477A
Authority
JP
Japan
Prior art keywords
resource
processor
memory
allocation
requested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006133249A
Other languages
English (en)
Other versions
JP4386373B2 (ja
Inventor
Takeshi Yamazaki
山崎 剛
Tsutomu Horikawa
勉 堀川
Kenichi Murata
村田 賢一
Michael Norman Day
ノーマン デイ マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
International Business Machines Corp
Original Assignee
Sony Computer Entertainment Inc
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc, International Business Machines Corp filed Critical Sony Computer Entertainment Inc
Publication of JP2006318477A publication Critical patent/JP2006318477A/ja
Application granted granted Critical
Publication of JP4386373B2 publication Critical patent/JP4386373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0842Multiuser, multiprocessor or multiprocessing cache systems for multiprocessing or multitasking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/504Resource capping
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Hardware Redundancy (AREA)
  • Multi Processors (AREA)

Abstract

【課題】プロセシングシステムのロジカルパーティショニングの態様を、リソースの使用に関してリソース管理に結びつける。
【解決手段】マルチプロセシングシステム100のそれぞれのプロセッサ102を、複数のリソースグループへ論理的に区分けし、所定のアルゴリズムによる関数として、リソースグループ間のリソースを時間割り当てする方法および装置を提供する。リソースは、(i)プロセッサ102と入出力デバイス110との間の通信バンド幅の割り当て分、(ii)プロセッサ102によって使用される共有メモリ106内のスペースの割り当て分、および(iii)プロセッサ102によって使用されるキャッシュメモリラインのセット、のうち少なくとも一つを含む。
【選択図】図1

Description

本発明は、マルチプロセシングシステム内でデータを転送する方法および装置に関する。
最先端のコンピュータアプリケーションは、リアルタイム機能およびマルチメディア機能を有している。このため、近年、コンピュータ処理において、より高速なデータスループットが求められている。グラフィックスアプリケーションは、所望の視覚的な効果を得るために比較的短時間に膨大なデータアクセス数、データ演算数、データ操作数を必要とするため、プロセシングシステムに最も高い要求を課している。これらのアプリケーションは、極めて速い処理速度(例えば1秒につき何千メガビットものデータ)を必要とする。速い処理速度を達成するためにシングルプロセッサを用いるプロセシングシステムがある。一方、マルチプロセッサアーキテクチャを利用して実行するものもある。マルチプロセッサシステムにおいて、複数のサブプロセッサは、所望の処理結果を達成するために、並行して(または、少なくとも協力して)動作することができる。
ロジカルパーティショニングは、単一のプロセシングシステムを、いくつかの独立仮想システム(すなわち、ロジカルパーティション)に分けることを可能にするシステムアーキテクチャによるアプローチである。換言すれば、プロセシングシステムのハードウェアリソースは、多数の独立オペレーティング環境によって共有され得るよう仮想化される。このように、独立のオペレーティングシステムが各々のパーティションにおいて動作するよう、それぞれのプロセッサ、システムメモリおよびシステムの入出力デバイスが論理的に切り離されていてもよい。
本発明の態様は、プロセシングシステムのロジカルパーティショニングの態様を、リソースの使用に関してリソース管理に結びつけることを意図する。例えば、パーティションによって利用されるメモリの量が動的に調整されてもよく、パーティションによって利用される入出力バンド幅が動的に調整されてもよく、また、キャッシュ置換ポリシーが、パーティションにしたがって管理され(及び可能であれば調整され)てもよい。
潜在的なリソース要求元(例えばプロセッサ、システムメモリおよび入出力デバイス)の各々は、特定のリソース管理グループ(RMG)に割り当てられる。ここで、各々のグループは、ロジカルパーティショニングの配置によって定義される。システム管理プログラムは、RMGから、リソース要求(例えばメモリアロケーション要求、メモリアクセスバンド幅要求、入出力バンド幅要求、その他)を受信する機能をもつ。また、システム管理プログラムは、要求に応答してこのようなリソースをRMGに割り当てる機能をもつ。割り当てられたリソースが時変リソース要求に基づいて調整され得るよう、割り当ては動的であることが好ましい。
また、システム管理プログラムは、好適にはRMG間のシステムメモリのロジカルパーティショニングに基づいて、キャッシュラインのセットを割り当てる。特に、本発明における実施態様は、システムメモリの実効アドレス範囲をL2キャッシュラインのセットのグループに相互に関連させるリソース管理テーブル(RMT)を提供する。L2キャッシュのこのような割り当ては、タイムクリティカルデータ(例えば割り込みベクタ)を回避し、キャッシュにおいてストリーミングデータを全て異なるデータに交換することを抑制する。
本発明の実施例において、方法および装置は、マルチプロセシングシステムのそれぞれのプロセッサを、複数のリソースグループへロジカルパーティショニングし、および、所定のアルゴリズムによる関数として、リソースグループ間でリソースを時間割り当てする。リソースは、(i)前記プロセッサと入出力デバイスとの間の通信バンド幅の割り当て分、(ii)プロセッサによって使用される共有メモリ内のスペースの割り当て分、および、(iii)プロセッサによって使用されるキャッシュメモリラインのセット、のいずれかを含んでいてもよい。
また、方法および装置は、リソースグループからリソースへの要求を受信してもよく、リソースが利用可能かに基づいて、要求されたリソースの一部または全部を割り当ててもよい。また、方法および装置は、所定の閾値を越えることなく要求された一部のまたは全てのリソースを割り当ててもよく、各々のリソースグループに潜在的に異なる閾値を設定してもよく、または、各々のリソースに潜在的に異なる閾値を設定してもよい。好適には、同じリソースにおける閾値の合計は、そのリソースの100%である。
また、方法および装置は、他のリソースグループがより少ないリソースを要求するときに、所定のリソースグループへへ以前に割り当てられたリソースの割り当て分を、要求された割り当て分へ増加させてもよい。
添付の図面とともに本明細書に記載される発明が理解されるとき、他の態様、特徴、効果などは当業者にとって明らかになる。
さまざまな本発明の態様を例示することのために、現在好ましい図面形式に示す。しかし、本発明が表された好適な設備や装置に限定されないことは当業者に理解されるところである。
同一構成要素には同一符号を付した図面において、本発明の態様を実施するに適するプロセシングシステム100を図1に示す。簡潔性および明確性のため、図1のブロック図は、装置100としてここに記載され、参照される。しかし、この記載は、同等の方法のさまざまな態様に適用されることができることは理解されるところである。
プロセシングシステム100は、本願明細書および本発明の更なる実施例において説明する特徴部分を実装可能なマルチプロセシングシステムである。システム100は、複数のプロセッサ102A-H、バス108経由して相互接続する共有メモリ106、およびバス112の上のプロセッサに連結する複数の入出力(I/O)デバイス110を含む。データ転送ファブリック114は、システムの全体にわたるデータフローを可能にする。この点において、バス108、バス112およびデータ転送ファブリック114は、全て同じデータ転送回路の一部と考えることができる。また、共有メモリ106は、本願明細書においてメインメモリまたはシステムメモリと解されてもよい。
8つのプロセッサ102が例として図示されるが、本発明の趣旨および範囲から逸脱することなく、いくつ使用されてもよい。プロセッサ102の各々は、類似した構造を有していてもよく、異なる構造を有していてもよい。プロセッサ102は、システムメモリ106からデータを要求し、所望の結果を達成するためにデータを操作することが可能ないずれかの周知技術を利用して実装されてもよい。たとえば、プロセッサ102は、標準のマイクロプロセッサ、分散型マイクロプロセッサなど、ソフトウェアおよび/またはファームウェアを実行することができる周知のマイクロプロセッサのいずれかを使用して実装されてもよい。たとえば、プロセッサ102は、グレイスケール情報、カラー情報、テクスチャデータ、ポリゴン情報、ビデオフレーム情報などを含むデータ(たとえば画素データ)を要求し、操作することができるグラフィックプロセッサであってもよい。
図2において、各々のプロセッサ102は、好適にはそれに関連するローカルメモリ104を含む。ローカルメモリ104は、それぞれのプロセッサ102と同様に、好ましくは同一のチップ(同一の半導体回路基板)に配置される。しかし、ローカルメモリ104は、従来のハードウェアキャッシュメモリではなく、ローカルメモリ内には、ハードウェアキャッシュメモリ機能を実現するための、オンチップまたはオフチップのハードウェアキャッシュ回路、キャッシュレジスタ、キャッシュメモリコントローラなどが存在しないことが好ましい。チップ上のスペースはしばしば制限されるため、ローカルメモリ104のサイズはシステムメモリ106より非常に小さくてもよい。
プロセッサ102は、プログラムの実行とデータの操作のためにデータアクセス要求を発行して、システムメモリ106からバス108を介して各ローカルメモリ104にデータ(プログラムデータを含んでもよい)をコピーすることが好ましい。データアクセスを容易にするメカニズムは、好適には、プロセッサ102の内部または外部に配置されるダイレクトメモリアクセスコントローラ(DMAC)(図示せず)を利用して実装される。
各々のプロセッサ102は、論理命令をパイプライン方式で処理するダイレクトメモリアクセスコントローラを使用して実装されることが好ましい。パイプラインは、命令が処理されるいかなる数のステージに分割されてもよいが、パイプラインは一般に、命令のフェッチ、命令のデコード、命令間の依存性チェック、命令の発行、および命令の実行を含む。この点において、プロセッサ102は、命令バッファ、命令デコード回路、依存性チェック回路、命令発行回路、および実行ステージを含んでもよい。
システムメモリ106は、高バンド幅メモリ接続(図示せず)を介してプロセッサ102に結合するダイナミックランダムアクセスメモリ(DRAM)であることが好ましい。システムメモリ106はDRAMであるが、メモリ106は他の手段、たとえばスタティックRAM(SRAM)、磁気ランダムアクセスメモリ(MRAM)、光メモリ、ホログラフィックメモリなどを使用して実装されてもよい。
実施例において、プロセッサ102およびローカルメモリ104は、共通の半導体基板上に配置されていてもよい。また、更なる実施例において、共有メモリ106は共通の半導体基板上に配置されていてもよく、または別々の半導体基板上に配置されていてもよい。
入出力デバイス110は、好適には、マルチプロセシングシステム100と他の外部システム(例えば他のプロセシングシステム、ネットワーク、周辺デバイス、メモリサブシステム、スイッチ、ブリッジチップ、その他)との間の高性能相互接続を提供する。入出力デバイス110は、好適には、異なるシステム要求に応じるために、コヒーレント通信または非コヒーレント通信のいずれか、および適当なプロトコルでのインタフェース、およびバンド幅機能を提供する。
本発明の実施例において、マルチプロセシングシステム100はまた、それぞれのプロセッサ102にシステムのリソースを時間の関数として割り当てるリソース管理ユニットを含むことが好ましい。具体的には、プロセッサ102は、好適には、複数のリソースグループに(論理的に)仕切られ、リソース管理ユニットは、これらのグループにリソースを割り当てる。リソースの細部はシステムの詳細によって異なるが、このようなリソースの実施例は、(i)プロセッサ102と入出力デバイス110との間の通信バンド幅の割り当て分、および(ii)共有メモリ106内のスペースの割り当て分、のうち少なくとも一つを含む。
別の実施例において、プロセッサ102は、リソース管理ユニットとして動作する機能をもつ。この点において、このようなプロセッサ102は、他のプロセッサ102に有効に連結して、バス108の上の共有メモリ106に連結するメインプロセッサとして機能する(なお、メインプロセッサはまた、リソース管理や、他のプロセッサ102によるデータ処理のスケジューリングおよび/または調整以外の他のタスクに関与してもよい。)
リソース管理機能には特に関係しないが、メインプロセッサ102は、共有メモリ106の少なくとも1つ、およびプロセッサ102のローカルメモリ104の一つ以上から取得したデータを格納するハードウェアキャッシュメモリに連結してもよい。メインプロセッサは、プログラム実行、および例えばDMA技術など周知の技術を利用したデータ処理のため、システムメモリ106からバス108を介してデータ(プログラムデータを含んでもよい)をキャッシュメモへコピーするためのデータアクセスを要求してもよい。
例えば、以下のような論理的な分割が可能である。プロセッサ102Aは第1のリソースグループに、プロセッサ 102D、102F、および102Hは第2のリソースグループに、プロセッサ102Bは第3のリソースグループに、プロセッサ102C、102E、および102Gは第4のリソースグループに分割される。リソースグループは、同様の斜線模様によって図示される。好適には、リソース管理ユニットは、複数のプロセッサ102からリソースの要求を受信する機能をもつ。ここで、各々の要求は、リソース(例えば、通信バンド幅、共有メモリ106内のスペース、その他)に対するものである。応答時に、リソース管理ユニットは、そのリソースが利用可能かに基づいて、要求されたリソースの一部または全部を割り当てる機能を持つことが好ましい。
例えば、図3は、上記グループ1および3のように2つのリソースグループに関連する、要求されたリソースの概略を時間軸に対して示したグラフである。説明のため、要求されたリソースは、プロセッサ102と入出力デバイス110との間の通信バンド幅の割り当て分であるものとする。時間t0では、グループ1および3のどちらのもバンド幅を要求していない。t0とt1との間において、グループ1については、例えば、グループ内のプロセッサが、リソース管理ユニットへリソースの要求を発行することによって、そのバンド幅への要求が増加する。時間t1において、グループ3(例えばプロセッサ102B)はまた、リソース管理ユニットへリソースの要求を発行することによって、バンド幅の要求を開始する。このように、時間t1とt2との間において、グループ1に割り当てられるバンド幅の割り当て分はいくぶん減少する。その一方で、グループ3に割り当てられるバンド幅の量は増加する。
リソース管理ユニットは、各々のプロセッサまたはグループに関連付けられた所定の閾値を越えることなく、要求されたリソースの一部または全部をリソースグループ(および、それぞれのプロセッサ)に割り当てる機能をもつことが好ましい。この例では、グループ1と関連付けられる閾値は、利用可能なバンド幅の合計の約58%である。その一方で、グループ3と関連付けられる閾値は、利用可能なバンド幅の合計の42%である。この点において、閾値の合計は、利用可能なすべてのリソース(この場合では入出力デバイス110へのバンド幅)の100%となる。このように、リソース管理ユニットは、要求されたリソースがプロセッサまたはグループのそれぞれの閾値を越えない範囲において、要求されたリソースをリソースグループに割り当てる。
時間t3において、グループ1によって要求されたバンド幅は、そのグループに割り当てられた閾値以下に減少する。この点において、リソース管理ユニットは、グループ1がより少ないバンド幅を要求するときに、グループ3(例えばプロセッサ102B)に以前に割り当てられた量を、要求された量(例えば、この例では100%)へ増加させる機能をもつことが好ましい。
図3に示されるようなリソースグループ間のリソース割り当てが、本願明細書において記載される本発明の実施例によって実行され得る多くの異なる形態のうちただ一つを表すことは当業者に理解されるところである。
図4において、共有メモリ106の各部分は、リソースグループのプロセッサ102中のリソース管理ユニットによって割り当てられてもよい。入出力デバイス110へのバンド幅の割り当てに関する前述の実施例のように、リソースグループ(例えば、そのプロセッサ)は、時間の関数として、リソース管理ユニットによる割り当てのため共有メモリ106の割り当て分を要求してもよい。したがって、図3についての前述の説明は、プロセッサ102間の共有メモリ106内でのスペースの割り当てに拡張することができる。
例示のため再び図3の概略図を用いると、時間t0において、グループ1および3のどちらも、共有メモリ106内でスペースを要求していない。t0とt1との間において、グループ1については、例えば、グループ1内のプロセッサが、リソース管理ユニットにリソースの要求を発行することによって、そのメモリへのその要求が増加する。時間t1において、グループ3は、リソース管理ユニットにリソースの要求を発行することによって、メモリスペースを要求する。このように、時間t1とt2との間において、グループ1に割り当てられる共有メモリ106の割り当て分が減少する。その一方で、グループ3に割り当てられるメモリの量は増加する。また、グループ1に関連付けられる閾値は、利用可能なメモリの合計の約58%である。その一方で、グループ3に関連付けられる閾値は、利用可能なメモリの合計の42%である。時間t3において、グループ1によって要求された共有メモリ106内のメモリスペースは、そのグループに割り当てられた閾値以下に減少する。この点において、リソース管理ユニットは、グループ1がより少ないメモリを要求するときに、グループ3(例えばプロセッサ102B)に以前に割り当てられた量を、要求された量(例えば、この例では100%)へ増加させる機能をもつことが好ましい。
図4に戻って、本発明の更なる実施例において、システムのリソースはまた、割り当て可能なそれぞれのキャッシュメモリのセット(キャッシュライン)を含んでもよい。この点において、リソース管理ユニットは、共有メモリ106のそれぞれの範囲を、キャッシュメモリ150のそれぞれのセットに関連付けることができ、時間の関数として、動的にこのような関連付けを変えることが好ましい。好適には、リソース管理ユニットは、リソース管理テーブル152を維持し、および/またはリソース管理テーブル152にアクセスする。リソース管理テーブル152は、共有メモリ106のそれぞれの範囲を、キャッシュメモリ150のそれぞれのセットに関連付ける。例えば、共有メモリ106の実効アドレス(EA)レンジ0は、キャッシュメモリ150のセット0に関連付けられていてもよい。共有メモリ106のEAレンジ1は、キャッシュメモリ150のセット1-4に関連付けられていてもよい。共有メモリ106のEAレンジ2は、キャッシュメモリ150のセット7に関連付けられていてもよい。共有メモリ106のEAレンジ3は、キャッシュメモリ150のセット5-6に関連付けられていてもよい。このようなセット割り当ては、リソースグループによる要求に応答して、リソース管理ユニットによって動的に変更されてもよい。これらに対するこのような割り当てや変更は、問題としているリソースがキャッシュメモリ150のキャッシュラインである場合を除いて、図3について上述した説明と同様の方法で特徴付けられていてもよい。
例示のため再び図3の概略図を用いると、時間t0において、グループ1および3のどちらも、キャッシュメモリ内でキャッシュライン(セット)を要求していない。t0とt1との間において、グループ1については、例えば、グループ1内のプロセッサが、リソース管理ユニットにリソースの要求を発行することによって、キャッシュリソースへのその要求が増加する。時間t1において、グループ3は、リソース管理ユニットにリソースの要求を発行することによって、キャッシュスペースを要求する。このように、時間t1とt2との間において、グループ1に割り当てられるキャッシュメモリの割り当て分が減少する。その一方で、グループ3に割り当てられるキャッシュメモリの量は増加する。また、グループ1に関連付けられる閾値は、利用可能なキャッシュセットの合計の約58%である。その一方で、グループ3に関連付けられる閾値は、利用可能なキャッシュの合計の42%である。時間t3において、グループ1によって要求されたキャッシュ割り当ては、そのグループに割り当てられた閾値以下に減少する。この点において、リソース管理ユニットは、グループ1がより少ないキャッシュ割り当てを要求するときに、グループ3に以前に割り当てられた量を、要求された量(例えば、この例では100%)へ増加させる機能をもつことが好ましい。
本明細書において説明される特徴を実行することに適したマルチプロセッサシステムの好適なコンピュータアーキテクチャを、以下に記載する。実施例において、マルチプロセッサシステムは、メディアリッチアプリケーション(例えばゲームシステム、ホームターミナル、PCシステム、サーバシステムおよびワークステーション)におけるスタンドアローンの、および/または分散した処理を実施可能なシングルチップソリューションとして実装されてもよい。ゲームシステムや家庭端末など、いくつかのアプリケーションは、リアルタイムコンピューティングが必要とされる可能性がある。例えば、リアルタイムの分散型ゲームアプリケーションでは、ネットワークによるイメージ復元法、3Dコンピュータグラフィック、音声生成、ネットワーク通信、物理的なシミュレーションおよび人工知能プロセスは、リアルタイムで体験しているかのような錯覚をユーザに提供できるよう、充分高速に実行される必要がある。このように、マルチプロセッサシステムの各々のプロセッサは、短く予測可能な時間内にタスクを完了させなければならない。
このコンピュータアーキテクチャにおいて、マルチのプロセッサコンピュータシステムの全てのプロセッサは、共通のコンピューティングモジュール(すなわちセル)によって構成される。この共通のコンピューティングモジュールは一貫した構造を備えており、好適には同じ命令セットアーキテクチャを使用する。マルチプロセシングコンピュータシステムは、クライアント、サーバ、PC、モバイルコンピュータ、ゲーム機、PDA、セットトップボックス、器具、デジタルテレビ、およびコンピュータプロセッサを使用している他の装置の中で形成されてもよい。
また、複数のコンピュータシステムは、必要であればネットワークのメンバであってもよい。一貫したモジュール式の構造によって、アプリケーションおよびデータに対するマルチプロセシングコンピュータシステムの効率的且つ高速な処理が可能となる。また、ネットワークが採用されている場合、ネットワーク上におけるプリケーションおよびデータの高速な伝送を可能にする。この構造によれば、様々なサイズおよび処理能力を持つネットワークのメンバを構築することが容易となり、そのようにして構築されたネットワークのメンバにより処理されるアプリケーションを準備することも容易となる。
図5は、基本的な処理モジュールであるプロセッサエレメント(PE)500を示す。PE500は、I/Oインタフェース502と、処理ユニット(PU)504と、複数のサブ処理ユニット508、すなわち、サブ処理ユニット508Aと、サブ処理ユニット508Bと、サブ処理ユニット508Cと、サブ処理ユニット508Dとを含む。すなわち内部であるローカルPEバス512は、PU504、サブ処理ユニット508群、およびメモリインタフェース511間のデータおよびアプリケーションの伝送を行う。ローカルPEバス512は、例えば従来構成でもよいし、またはパケットスイッチネットワークとして実装することもできる。パケットスイッチネットワークとして実装するとより多くのハードウェアが必要になるが、利用可能な帯域が広がる。PE500はプロセシングシステム100に対応する。すなわち、PU504および複数のサブ処理ユニット508は複数のプロセッサ102A−Hに対応する。そして、PE500はプロセシングシステム100の上述の機能を有する。
PE500はディジタルロジック回路を実装する各種方法を利用して構成できる。ただし好適には、PE500はシリコン基板上の相補的金属酸化膜半導体(CMOS)を用いる一つの集積回路として構成される。基板の他の材料には、ガリウム砒素、ガリウムアルミニウム砒素、および広範な種類の不純物を用いた他のいわゆるIII−B族化合物が含まれる。PE500はまた、超伝導材料を用いて高速単一磁束量子(RSFQ)ロジック回路等として実装することもできる。
PE500は、広帯域メモリ接続516を介してダイナミックランダムアクセスメモリ(DRAM)514に密接に関連付けられる。共有メモリ514は好適にはダイナミックランダムアクセスメモリ(DRAM)だが、スタティックランダムアクセスメモリ(SRAM)、磁気ランダムアクセスメモリ(MRAM)、光学メモリ、またはホログラフィックメモリ等の他の手段を用いて実装してもよい。
PU504およびサブ処理ユニット508は、それぞれ、ダイレクトメモリアクセス(DMA)機能を有するメモリフローコントローラ(MFC)と接続されることが望ましい。MFCは、メモリインタフェース511と協働して、共有メモリ514、PE500におけるサブ処理ユニット508、PU504間のデータの転送を円滑にするものである。ここで、DMACおよび/またはメモリインタフェース511は、サブ処理ユニット508とPU504とから独立して設置されるようにしてもよいし、一体化されるようにしてもよい。実際に、DAMCの機能および/またはメモリインタフェース511の機能は、サブ処理ユニット508およびPU504の一つ以上(好ましくはすべて)に一体化できる。ここで、共有メモリ514もまた、PE500から独立して設置されるようにしてもよいし、一体化されるようにしてもよい。例えば、共有メモリ514は図に示すようにチップ外部に設けられるようにしてもよく、集積方式でチップ内蔵されるようにしてもよい。
PU504は、例えばスタンドアロン式のデータおよびアプリケーション処理が可能な標準的なプロセッサでもよい。動作時には、PU504はサブ処理ユニット群によるデータおよびアプリケーションの処理のスケジューリングおよび調整を行う。サブ処理ユニット群は、好適には、一命令複数データ(SIMD)プロセッサである。PU504の制御下で、サブ処理ユニット群はデータおよびアプリケーションの処理を並列に、かつ独立して行う。PU504としては、RISC(reduced instruction−set computing)技術を用いるマイクロプロセッサアーキテクチャとなるPowerPC(登録商標)コアを用いることが好ましい。RISCは単純な命令の組み合わせによって比較的複雑な命令を実行するものである。したがって、プロセッサのタイミングは、比較的簡単かつ速いオペレーションに基づきうる。これは、決められたクロック速度においてより多くの命令を実行することを可能とする。
ここで、PU504は、サブ処理ユニット508のうちの一つとして実装されてもよい。この場合、このサブ処理ユニット508は、メイン処理ユニットPUによる処理、すなわち各々のサブ処理ユニット508によるデータとアプリケーションの処理のスケジューリングと統合処理を行うものとすればよい。さらに、PE500内において、複数のPUを実装してもよい。
このモジュール構造では、あるコンピュータシステムで使用されるPE500の数は、そのシステムが必要とする処理能力に基づく。例えば、サーバは4つのPE500群、ワークステーションは二つのPE500群、PDAは一つのPE500を使用しうる。あるソフトウェアセルの処理に割り当てられるPE500のサブ処理ユニットの数は、セル内のプログラムおよびデータの複雑さおよび規模によって異なる。
図6は、サブ処理ユニット(SPU)508の好適な構造と機能を示す図である。サブ処理ユニット508のアーキテクチャは、汎用プロセッサ(多数のアプリケーションにおいて高い平均性能を実現するように設計されているもの)と特殊用途のプロセッサ(一つのアプリケーションにおいて高い性能を実現するように設計されている)との間に位置するものであることが望ましい。サブ処理ユニット508は、ゲームアプリケーション、メディアアプリケーション、ブロードバンドシステムなどにおいて高い性能を実現すると共に、リアルタイムアプリケーションのプログラマに高度な制御自由度を提供するように設計されている。サブ処理ユニット508の一部の機能として、グラフィック構造パイプライン、サーフェス分割、高速フーリエ変換、画像処理キーワード、ストリーム処理、MPEGエンコード/デコード、暗号化、デコード、デバイスドライバー拡張、モデリング、ゲームフィジクス、コンテンツ制作、音声合成および音声処理などを挙げることができる。
サブ処理ユニット508は、すなわちSPUコア510Aとメモリフローコントローラ(MFC)510Bという二つの基本機能ユニットを有する。SPUコア510Aは、プログラムの実行、データの操作などを担うものであり、一方、MFC510Bは、SPUコア510Aと、システムの共有メモリ514との間のデータ転送に関連する機能を担うものである。
SPUコア510Aはローカルメモリ550と、命令(インストラクション)ユニット(IU)552と、レジスタ554と、一つ以上の浮動小数点実行ステージ556と、一つ以上の固定小数点実行ステージ558とを有する。ローカルメモリ550は、SRAMのようなシングルポートのRAMを用いて実装されることが望ましい。メモリへのアクセスのレイテンシを軽減するために、従来のほとんどのプロセッサはキャッシュを用いるが、SPUコア510Aは、キャッシュよりも、比較的小さいローカルメモリ550を用いる。実際には、リアルタイムのアプリケーション(およびここで言及したほかのアプリケーション)のプログラマに、予測可能で、かつ一致したメモリアクセスのレイテンシを提供するために、サブ処理ユニット508A内においてキャッシュメモリアーキテクチャを用いることは好ましくない。キャッシュメモリのキャッシュヒット/ミス値は、数サイクルから数百サイクルの範囲内で変化する、予測困難な、メモリアクセス回数を生じさせる。このようなメモリアクセスの回数の予測困難性は、例えばリアルタイムアプリケーションのプログラミングに望まれるアクセスタイミングの予測可能性を下げる。データ演算を伴うDMA転送をオーバーラップすることで、ローカルメモリSRAM550内のレイテンシを補うことができる。これはリアルタイムアプリケーションのプログラミングに高い制御自由度を提供する。DMA転送と関連するレイテンシおよび命令のオーバーヘッドが、キャッシュミスにより生じたレイテンシより長いため、SRAMローカルメモリアプローチは、DMA転送サイズが十分大きいかつ十分予測可能なとき(例えばデータが要求される前にDMAコマンドを発行することができるとき)において優位性を提供する。
サブ処理ユニット508のうちのいずれか一つの上で実行されるプログラムは、ローカルアドレスを用いて、関連するローカルメモリ550を参照する。なお、ローカルメモリ550の各場所にはシステムの全体のメモリマップ上におけるリアルアドレス(RA)が付与されている。これは、特権レベルのソフトウェアがローカルメモリ550を一つの処理における実効アドレス(EA)にマッピングすることを可能とし、それによって二つのローカルメモリ550間のDMA転送が容易になる。PU504は、実効アドレスを用いてローカルメモリ550に直接アクセスすることもできる。ローカルメモリ550は、356キロバイトの容量を有し、レジスタ554の容量は128×128ビットであることが望ましい。
SPUコア510Aは、演算パイプラインを用いて実装されることが望ましく、その中において論理命令がパイプライン方式で処理される。パイプラインは、命令を処理する任意の数のステージに分けることができるが、通常、パイプラインは、一つ以上の命令のフェッチ、命令のデコード、命令の間の依存性のチェック、命令の発行、および命令の実行から構成される。これに関連して、命令ユニット552は、命令バッファと、命令デコード回路と、依存性チェック回路と、命令発行回路とを含む。
命令バッファは、ローカルメモリ550と接続されており、命令がフェッチされたときにこれらの命令を一時的に格納することができる複数のレジスタを有することが好ましい。命令バッファは、すべての命令が一つのグループとして(すなわち実質上同時に)レジスタから出力されるように動作することが好ましい。命令バッファはいかなるサイズであってもよいが、レジスタの数がおよそ2または3以下となるようにするサイズであることが好ましい。
通常、デコード回路は命令を細分化すると共に、対応する命令の機能を果たす論理・マイクロオペレーションを発生させる。例えば、論理・マイクロペレーションは、計算オペレーションと論理オペレーションの指定、ローカルメモリ550へのロードオペレーションとストアオペレーションの指定、レジスタソースオペランドおよび/または即値データオペランドの指定などを行うことができる。デコード回路は、ターゲットのレジスタのアドレスや、構造リソースや、機能ユニットおよび/またはバスなどのような、命令が用いるリソースを指定してもよい。デコード回路は、リソースが必要とされる命令パイプラインのステージを示す情報を提供してもよい。命令デコード回路は、実質上同時に、命令バッファのレジスタの数と同じ数の命令をデコードするように動作可能であることが好ましい。
依存性チェック回路は、チェック対象となる命令のオペランドがパイプラン内の他の命令のオペランドに依存するか否かを判定するためのチェックを行うデジタルロジックを含む。依存するならば、チェック対象となる命令は、これらの他のオペランドが(例えば、これらの他の命令の実行の完了を許可することによって)更新されるまで、実行されるべきではない。依存性チェック回路は、命令デコード回路から同時に送信されてきた複数の命令の依存性を判定することが好ましい。
命令発行回路は、浮動小数点実行ステージ556および/または固定小数点実行ステージ558に命令を発行することができる。
レジスタ554は、128―エントリレジスタファイルのような、比較的大きな統合レジスタファイルとして実装されることが好ましい。これは、レジスタ不足を回避するためのレジスタのリネームを必要とせずに、深くパイプライン化された高周波数の実行を可能とする。ハードウェアのリネームは、一般的に処理システムにおける実装面積と電力の高い割合を消費する。したがって、ソフトウェアによるループアンローリングまたは他のインターリーブ技術によってレイテンシがカバーされるような場合において、優位性のあるオペレーションを実現できる。
SPUコア510Aは、クロックサイクル毎に複数の命令を発行するようなスーパースカラアーキテクチャで実装されることが好ましい。SPUコア510Aは、命令バッファから同時に送信される命令の数、例えば2と3の間(クロックサイクル毎に2つまたは3つの命令が発行されることを意味する)に対応する程度のスーパースカラとして動作可能であることが好ましい。必要とされる処理能力に応じた多少なりの数の浮動小数点実行ステージ556と固定小数点実行ステージ558を用いることができる。好適な実施の形態では、浮動小数点実行ステージ556と固定小数点実行ステージ558の望ましいスピードは、それぞれ、毎秒32ギガ浮動小数点オペレーション(32 GFLOPS)と毎秒32ギガオペレーション(32 GOPS)である。
MFC510Bは、バスインターフェースユニット(BIU)564と、メモリマネジメントユニット(MMU)562と、ダイレクトメモリアクセスコントローラ(DMAC)560とを有することが望ましい。低電力消費の設計目的を達成するために、MFC510Bは、DMAC560を除いて、SPUコア510AおよびローカルPEバス512の半分の周波数(半分のスピード)で動作することが好ましい。MFC510Bは、ローカルPEバス512からサブ処理ユニット508に入るデータと命令を操作することができ、DMACのためのアドレス変換と、データ一貫性のためのスヌープオペレーションとを提供する。BIU564は、ローカルPEバス512とMMU562とDMAC560との間のインターフェースを提供する。したがって、サブ処理ユニット508(SPUコア510AとMFC510Bを含む)とDMAC560は、物理的および/または論理的にローカルPEバス512と接続されている。
MMU562は、メモリアクセスのために実効アドレス(DMAコマンドから取得される)をリアルアドレスへ変換することができるようにすることが望ましい。例えば、MMU562は、実効アドレスの比較的高いオーダのビットをリアルアドレスのビットに変換できる。なお、比較的低いオーダアドレスビットについては、変換不可であると共に、物理的におよび論理的にリアルアドレスの形成およびメモリへのアクセスのリクエストに用いられるようにすることが好ましい。具体的には、MMU562は、64ビットのメモリマネジメントモジュールをベースにして実装でき、4Kバイト、64Kバイト、1メガバイト、16メガバイトのページサイズと256MBのセグメントサイズを有する264のバイトの実効アドレス空間を提供することができる。MMU562は、DMAコマンドのために、265までの仮想メモリと、242バイト(4テラバイト)の物理メモリをサポート可能であることが好ましい。MMU562のハードウェアは、8−エントリの完全連想SLB、256−エントリの4ウェイセット連想TLB、TLBのための4×4代替マネジメントテーブル(RMT)を含むものとすることができる。なお、RMTはハードウェアTLBミスのハンドリングに用いられるものである。
DMAC560は、SPUコア510AからのDMAコマンドと、一つ以上の、PU504および/または他のSPUのような他のデバイスからのDMAコマンドとを管理することができることが望ましい。DMAコマンドは下記の3つのカテゴリがある。すなわち、ローカルメモリ550から共有メモリ514へデータを移動させるPutコマンド、共有メモリ514からローカルメモリ550へデータを移動させるGetコマンド、SLIコマンドと同期コマンドとを含むストレージコントロールコマンドである。同期コマンドは、アトミックコマンド、送信コマンド、専用のバリアコマンドを含むものとすることができる。DMAコマンドに応じて、MMU562は実効アドレスをリアルアドレスに変換し、このリアルアドレスはBIU564に転送される。
SPUコア510Aはチャンネルインターフェースとデータインターフェースとを用いて、DMAC560内のインターフェースと通信(DMAコマンド、ステータスなどの送信)することが好ましい。SPUコア510Aは、チャンネルインターフェースを介してDMAコマンドをDMAC560内のDMAキューに送信する。いったん、DMAキューに格納されたDMAコマンドは、DMAC560内の発行ロジックと完了ロジックにより操作される。一つのDMAコマンドのためのすべてのバス・トランザクションが完了すると、チャンネルインターフェースを介して、一つの完了信号がSPUコア510Aに返送される。
図7は、PU504の好ましい構造と機能を示す図である。PU504は、PUコア504Aとメモリフローコントローラ、すなわちMFC504Bとの二つの基本機能ユニットを有する。PUコア504Aは、プログラムの実行、データの操作、マルチプロセッサ管理機能などを担うものであり、一方、MFC504Bは、PUコア504Aと、マルチプロセシングシステム100のメモリスペースとの間のデータ転送に関連する機能を担うものである。
PUコア504Aは、L1キャッシュ570と、命令ユニット572と、レジスタ574と、少なくとも一つの浮動小数点実行ステージ576と、少なくとも一つの固定小数点実行ステージ578とを有する。L1キャッシュ570は、共有メモリ106、プロセッサ102、あるいはMFC504Bにおけるほかの部分のメモリスペースから受信したデータのキャッシング機能を提供する。PUコア504Aはスーパーパイプラインとして実装されることが好ましいため、命令ユニット572は、フェッチ、デコード、依存性のチェック、発行などを含む多数のステージを有する命令パイプラインとして実装されることが好ましい。PUコア504Aは、スーパースカラ構造を有することが好ましく、それによって、クロックサイクル毎に命令ユニット572から2以上の命令が発行される。高い演算能力を実現するために、浮動小数点実行ステージ576と固定小数点実行ステージ578は、パイプライン方式の多数のステージを有する。必要とされる処理能力に応じた多少なりの浮動小数点実行ステージ576と固定小数点実行ステージ578とを用いることができる。
MFC504Bは、バスインターフェースユニット(BIU)580と、L2キャッシュ582と、キャッシュ不可ユニット(NCU)584と、コアインターフェースユニット(CIU)586と、メモリマネジメントユニット(MMU)588とを有する。低電力消費の設計目的を達成するために、MFC504Bのほとんどは、PUコア504Aとバス108の半分の周波数(半分のスピード)で動作することが好ましい。
BIU580は、バス108と、L2キャッシュ582と、NCU584のロジックブロックとの間のインターフェースを提供する。BIU580は、完全一致のメモリオペレーションを実行するために、マスターデバイスとして動作してもよく、バス108上のスレーブデバイスとして動作してもよい。マスターデバイスとして動作する場合、BIU580は、L2キャッシュ582とNCU584の代わりに、バス108へのロードリクエストとストアリクエストを発信する。BIU580は、バス108へ送ることができるコマンドの総数を限定するコマンドのフローコントロールメカニズムを実装してもよい。バス108上のデータオペレーションは、8ビートになるように設計されることができ、そして、BIU580は、キャッシュラインが128バイト前後であり、一貫性と同期の精度が128KBであるように設計されることが好ましい。
L2キャッシュ582(およびそれをサポートするハードウェアロジック)は、512KBデータをキャッシュするように設計されることが好ましい。例えば、L2キャッシュ582は、キャッシュ可能なロードとストア、データのプリフェッチ、命令フェッチ、命令のプリフェッチ、キャッシュオペレーション、バリアオペレーションを操作できる。L2キャッシュ582は、8ウエイセットアソシエイティブシステムであることが好ましい。L2キャッシュ582は、6つのキャストアウトキュー(例えば6つのRCマシン)に合わせた6つのリロードキューと、8つの(64バイトの幅の)ストアキューとを有することができる。L2キャッシュ582は、L1キャッシュ570の中の一部または全てのデータのバックアップコピーを提供するように動作してもよい。これは特に、処理ノードがホットスワップ(動作中に変更)されたときの、復元状況において有用である。この構成は、L1キャッシュ570が、ほぼポート無しにさらに速く動作することを可能にするとともに、キャッシュ間の転送を速くすることができる(リクエストがL2キャッシュ582で止まることができるから)。この構成は、L2キャッシュ582にキャッシュ一貫性のマネジメントを及ばしめるメカニズムも提供する。
NCU584はインターフェースによってCIU586と、L2キャッシュ582と、BIU580と接続されており、通常、PUコア504Aとメモリシステム間のキャッシュ不可なオペレーションのキューまたはバッファ回路として機能する。NCU584は、PUコア504Aとの通信のうちの、L2キャッシュ582によって扱わない全ての通信を操作することが好ましい。ここで、L2キャッシュ582によって扱わないものとしては、キャッシュ不可なロードとストアや、バリアオペレーションや、キャッシュ一貫性オペレーションなどを挙げることができる。低電力消費の設計目的を達成するために、NCU584は、半分のスピードで動作することが好ましい。
CIU586は、MFC504BとPUコア504Aとの境界線上に配置され、浮動小数点実行ステージ576、固定小数点実行ステージ578、命令ユニット572、MMU588から、L2キャッシュ582とNCU584へ送られるリクエストのためのルーティング、アービトレイション、フローコントロールポイントとして動作する。PUコア504AとMMU588はフルスピードで動作し、L2キャッシュ582とNCU584は2:1のスピード比で動作可能であることが好ましい。こうすることによって、CIU586に周波数境界線が存在することになり、この境界線は、その一つの機能により、二つの周波数領域間にリクエストの転送およびデータのリロードをする際に、周波数の交錯を適切に操作する。
CIU586は、ロードユニット、ストアユニット、リロードユニットの3つの機能ブロックから構成される。さらに、データをプリフェッチする機能がCIU586により実行される。この機能は、ロードユニットの一部の機能であることが好ましい。CIU586は、下記の動作を実行可能であることが好ましい:(i)PUコア504AとMMU588からのロードリクエストとストアリクエストを受信する、(ii)これらのリクエストをフルスピードクロック周波数から半分のスピードに変換する(2:1クロック周波数変換)、(iii)キャッシュ可能なリクエストとキャッシュ不可なリクエストとをそれぞれL2キャッシュ582とNCU584へルーティングする、(iv)L2キャッシュ582とNCU584へのリクエストが均等になるように調整する、(v)リクエストが目標時間内に受信されると共に、オーバーフローが発生しないための、L2キャッシュ582とNCU584へ送信するリクエストのフローコントロールを提供する、(vi)ロードリターンデータを受信すると共に、これらのデータを浮動小数点実行ステージ576、固定小数点実行ステージ578、命令ユニット572、またはMMU588へルーティングする、(vii)スヌープリクエストを浮動小数点実行ステージ576、固定小数点実行ステージ578、命令ユニット572、またはMMU588へ転送する、(viii)ロードリターンデータとスヌープトラフィックを半分のスピードからフルスピードへ変換する。
MMU588は、第2レベルアドレス変換手段のごとく、PUコア504Aのためにアドレス変換を提供することが好ましい。変換の第1レベルは、PUコア504A内において、セパレート命令と、MMU588より遥かに小さくてかつ速いデータERAT(実効アドレスからリアルアドレスへの変換)アレイとにより提供されることが好ましい。
PU504は64ビットで実装され、4〜6GHz、10F04(Fan−out−of−four)で動作することが好ましい。レジスタは64ビットの長さを有することが好ましく(特定用途のための一つまたはより多くのレジスタが64ビットより小さいかもしれないが)、実効アドレスは64ビットの長さを有することが好ましい。命令ユニット572、レジスタ574、浮動小数点実行ステージ576と固定小数点実行ステージ578はRISCコンピューティング技術を達成するためにPowerPC技術により実装されることが好ましい。
このコンピュータシステムのモジュラー構造のさらなる詳細については、米国特許第6526491号公報に記載されている。その公報の記載によれば、例えば、コンピュータネットワークのメンバのプロセッサに単一のPEを含め、さらに、このPEに、PU、DMACおよび8個のAPUを含めることができる。他の例として、そのプロセッサは、ビジュアルアライザ(VS)の構造を有してもよく、この場合、VSに、PU、DMACおよび4つのAPUを含めてもよい。
少なくとも一つの本発明の更なる態様において、上記した方法と装置は、たとえば図において例示される適切なハードウェアを利用して提供されることができる。このようなハードウェアは、たとえば標準のデジタル回路、ソフトウェアおよび/またはファームウェアプログラムを実行することができる周知のプロセッサ、プログラム可能な読出し専用メモリ(PROM)やプログラマブルアレイ論理装置(PAL)などのプログラム可能な一つ以上のデジタル装置またはシステムなど、いずれかの周知技術を利用して実装されてもよい。さらに、図示される装置は、特定の機能的なブロックに仕切られると表されているが、このようなブロックは、別々の回路を経由して実装されてもよく、および/または一つ以上の機能ユニットに結合されてもよい。また更に、さまざまな本発明の態様は、(たとえばフレキシブル・ディスク、メモリ・チップなど)携帯性および配布性を有する適切な記憶媒体またはメディアに保存されるソフトウェアおよび/またはファームウェアプログラムとして実現されてもよい。
以上、特定の実施例を参照して本発明について説明したが、これらの実施例は、単に本発明の原理およびアプリケーションを例示するだけであることは理解されることろである。したがって、多数の変形が例示の実施例になされ得ることは理解されるところであり、請求の範囲に記載の本発明の趣旨および範囲から逸脱することなく、他の変形例が設けられることが可能である。
本発明の態様におけるマルチプロセッサシステムのブロック図である。 本発明の態様における、図1および/または本願明細書の他の実施例の、マルチプロセシングシステム内でのプロセッサの好適な構造を示すブロック図である。 図1および/または本願明細書の他の実施例の要素によって実行され得る、複数のパーティション間のリソース割り当てを示す図である。 図1(および/または本願明細書の他の実施例)のシステムによって使用され得るキャッシュ管理リソース割り当てを示す部分的なブロック図および部分的なフローチャートである。 本発明の更なる態様を実行するために使用され得る、好適なプロセッサ要素(PE)を示すブロック図である。 本発明の更なる態様において適応可能な、図5のシステムの典型的なサブ処理ユニット(SPU)の構造を示す図である。 本発明の更なる態様において適応可能な、図5のシステムの典型的な処理ユニット(PU)の構造を示す図である。
符号の説明
100 マルチプロセシングシステム、 102 プロセッサ、 104 ローカルメモリ、 106 共有メモリ、 110 入出力デバイス、 150 キャッシュメモリ、 152 リソース管理テーブル。

Claims (29)

  1. マルチプロセシングシステムのそれぞれのプロセッサを、複数のリソースグループへ論理的に区分けするステップと、
    所定のアルゴリズムによる関数として、前記リソースグループ間でリソースを時間割り当てするステップと、を備えることを特徴とする方法。
  2. 前記リソースは、
    (i)前記プロセッサと入出力デバイスとの間の通信バンド幅の割り当て分、
    (ii)前記プロセッサによって使用される共有メモリ内のスペースの割り当て分、
    および(iii)プロセッサによって使用されるキャッシュメモリラインのセット、
    のうち少なくとも一つを含むことを特徴とする請求項1に記載の方法。
  3. 前記キャッシュメモリラインは、管理プロセッサのみによって使用されることを特徴とする請求項2に記載の方法。
  4. 所定のプロセッサからリソースの要求を受信するステップと、
    リソースが利用可能かに基づいて、前記要求されたリソースの一部または全部を割り当てるステップと、
    を備えることを特徴とする請求項1から3のいずれかに記載の方法。
  5. 所定の閾値を越えることなく、要求されたリソースの一部または全部を割り当てるステップを更に備えることを特徴とする請求項4に記載の方法。
  6. 前記プロセッサは、前記マルチプロセシングシステムにデータを送受信するために、入出力デバイスへの通信バンド幅を共有し、
    前記アルゴリズムは、各々のリソースグループに割り当てられる、バンド幅の閾値部分を設定し、
    前記割り当てステップは、要求されたバンド幅が前記閾値を越えない範囲において、前記要求されたバンド幅を所定のリソースグループに割り当てることを含むことを特徴とする請求項5に記載の方法。
  7. 各々のリソースグループに異なる閾値を設定するステップを更に備えることを特徴とする請求項6に記載の方法。
  8. 前記割り当てられた閾値の合計は、入出力デバイスへの利用可能なバンド幅の100%であることを特徴とする請求項6または7に記載の方法。
  9. 前記割り当てステップは、他のリソースグループがより少ないバンド幅を要求するときに、所定のリソースグループに以前に割り当てられたバンド幅の量を、要求された量へ増加させることを含むことを特徴とする請求項6から8のいずれかに記載の方法。
  10. 前記プロセッサは、マルチプロセシングシステムにおいてデータを格納する共有メモリに連結し、
    前記アルゴリズムは、各々のリソースグループに割り当てられる、前記共有メモリの閾値部分を設定し、
    前記割り当てステップは、要求された共有メモリの割り当て分が一つ以上閾値を越えない範囲において、前記要求された共有メモリの割り当て分を、所定のリソースグループに割り当てることを含むことを特徴とする請求項5から9のいずれかに記載の方法。
  11. 各々のリソースグループに異なる閾値を設定するステップを更に備えることを特徴とする請求項10に記載の方法。
  12. 前記割り当てられた閾値の合計は、前記プロセッサに対する利用可能な共有メモリスペースの100%であることを特徴とする請求項10または11に記載の方法。
  13. 前記割り当てステップは、他のリソースグループがより少ない共有メモリを要求するときに、所定のリソースグループに以前に割り当てられた共有メモリの割り当て分を、要求された量へ増加させることを含むことを特徴とする請求項10から12のいずれかに記載の方法。
  14. 前記マルチプロセシングシステムの共有メモリのそれぞれの範囲を、リソースであるセットであって、キャッシュメモリラインのそれぞれのセットに関連付けるステップと、
    前記範囲と前記セットとの関連付けを、所定のアルゴリズムによる関数として動的に変更するステップと、を備えることを特徴とする請求項1から13のいずれかに記載の方法。
  15. 共有メモリと通信可能であって、論理的に複数のリソースグループに区分けされる複数のプロセッサと、
    所定のアルゴリズムによる関数として、前記リソースグループ間でリソースを時間割り当てをするリソース管理ユニットと、
    を備えることを特徴とする装置。
  16. 前記リソース管理ユニットには、前記複数のプロセッサの一つが実装されることを特徴とする請求項15に記載の装置。
  17. 前記リソースは、
    (i)前記プロセッサと、マルチプロセッサシステムの入出力用装置との間の通信バンド幅の割り当て分、
    (ii)プロセッサによって使用される共有メモリ内のスペースの割り当て分、
    および、(iii)プロセッサによって使用される、キャッシュメモリラインのセット、
    のうち少なくとも一つを含むことを特徴とする請求項15または16に記載の装置。
  18. 前記キャッシュメモリラインは、管理プロセッサのみに使用されることを特徴とする請求項17に記載の装置。
  19. リソース管理ユニットは、前記リソースグループからリソースへの要求を受信し、そのリソースが利用可能かに基づいて、要求されたリソースの一部または全部を割り当てることを特徴とする請求項15から18のいずれかに記載の装置。
  20. 前記リソース管理ユニットは、所定の閾値を越えることなく要求されたリソースの一部または全部を割り当て、
    または、前記リソース管理ユニットは、各々のリソースグループに異なる閾値を設定し、
    または、前記リソース管理ユニットは、各々のリソースに異なる閾値を設定し、
    または、同じリソースにおける閾値の合計は、そのリソースの100%である
    ことを特徴とする請求項19に記載の装置。
  21. 前記リソース管理ユニットは、他のプロセッサがより少ないリソースを要求するときに、所定のプロセッサに以前に割り当てられたリソースの割り当て分を、前記要求された割り当て分へ増加させることを特徴とする請求項20に記載の装置。
  22. 各々のプロセッサに連結するローカルメモリを更に備え、
    前記ローカルメモリはハードウェアキャッシュメモリではなく、前記プロセッサの各々は、そのローカルメモリ内においてプログラムを実行することができ、共有メモリ内においてプログラムを実行することができないことを特徴とする請求項15に記載の装置。
  23. 前記プロセッサおよび関連するローカルメモリは、共通の半導体基板上に配置され、
    または、プロセッサ、関連するローカルメモリ、および共有メモリは、共通の半導体基板上に配置される
    ことを特徴とする請求項22に記載の装置。
  24. マルチプロセシングシステムのそれぞれのプロセッサを、複数のリソースグループへ論理的に区分けする機能と、所定のアルゴリズムによる関数として、前記リソースグループ間でリソースを時間割り当てする機能と、をマルチプロセシングシステムに実行させるプログラム。
  25. 前記リソースは、
    (i)プロセッサと入出力デバイスとの間の通信バンド幅の割り当て分、
    (ii)プロセッサによって使用される共有メモリ内のスペースの割り当て分、
    および(iii)プロセッサによって使用されるキャッシュメモリラインのセット、
    のうち少なくとも一つを含むことを特徴とする請求項24に記載のプログラム。
  26. 前記リソースグループからリソースへの要求を受信する機能と、
    リソースが利用可能かに基づいて、要求されたリソースの一部または全部を割り当てる機能と、
    を更に備えることを特徴とする請求項24または25に記載のプログラム。
  27. 所定の閾値を越えることなく、要求されたリソースの一部または全部を割り当てる機能、
    各々のリソースグループに異なる閾値を設定する機能、
    および、同じリソースにおける閾値の合計が、そのリソースの100%となるよう、各々のリソースに異なる閾値を設定する機能、
    のうち少なくとも一つを更に備えることを特徴とする請求項26に記載のプログラム。
  28. リソースグループの他のリソースグループがより少ないリソースを要求するときに、所定のリソースグループに以前に割り当てられたリソースの割り当て分を、前記要求された割り当て分へ増加させる機能を更に備えることを特徴とする請求項26または27に記載のプログラム。
  29. 請求項24から28のいずれかに記載のプログラムを格納した記録媒体。
JP2006133249A 2005-05-13 2006-05-12 ロジカルパーティショニングされた処理環境におけるリソース管理のための方法および装置 Active JP4386373B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US68108205P 2005-05-13 2005-05-13

Publications (2)

Publication Number Publication Date
JP2006318477A true JP2006318477A (ja) 2006-11-24
JP4386373B2 JP4386373B2 (ja) 2009-12-16

Family

ID=36659824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006133249A Active JP4386373B2 (ja) 2005-05-13 2006-05-12 ロジカルパーティショニングされた処理環境におけるリソース管理のための方法および装置

Country Status (4)

Country Link
US (1) US20060259733A1 (ja)
JP (1) JP4386373B2 (ja)
TW (1) TWI361981B (ja)
WO (1) WO2006121211A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251708A (ja) * 2008-04-02 2009-10-29 Nec Corp I/oノード制御方式及び方法
JP2010518472A (ja) * 2007-02-06 2010-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーション プロセッサ・システムにおいて命令レベルでのリソース割り当ての識別を可能にする方法および装置
US8824317B2 (en) 2008-12-04 2014-09-02 Nec Corporation Parallel calculation system, and method and program thereof
JP2016540290A (ja) * 2013-10-23 2016-12-22 華為技術有限公司Huawei Technologies Co.,Ltd. メモリリソース最適化方法および装置
JP2020514868A (ja) * 2017-01-13 2020-05-21 エイアールエム リミテッド メモリ分割

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719971B1 (en) 2004-09-15 2010-05-18 Qurio Holdings, Inc. Peer proxy binding
US7779004B1 (en) 2006-02-22 2010-08-17 Qurio Holdings, Inc. Methods, systems, and products for characterizing target systems
US7844709B2 (en) * 2006-09-20 2010-11-30 International Business Machines Corporation Method and apparatus for managing central processing unit resources of a logically partitioned computing environment without shared memory access
US8554827B2 (en) 2006-09-29 2013-10-08 Qurio Holdings, Inc. Virtual peer for a content sharing system
US7782866B1 (en) 2006-09-29 2010-08-24 Qurio Holdings, Inc. Virtual peer in a peer-to-peer network
US8087029B1 (en) * 2006-10-23 2011-12-27 Nvidia Corporation Thread-type-based load balancing in a multithreaded processor
US7886334B1 (en) 2006-12-11 2011-02-08 Qurio Holdings, Inc. System and method for social network trust assessment
JP4435300B2 (ja) * 2006-12-12 2010-03-17 本田技研工業株式会社 内燃機関の制御装置
US7730216B1 (en) 2006-12-14 2010-06-01 Qurio Holdings, Inc. System and method of sharing content among multiple social network nodes using an aggregation node
US20090037822A1 (en) * 2007-07-31 2009-02-05 Qurio Holdings, Inc. Context-aware shared content representations
US7783811B2 (en) 2007-12-17 2010-08-24 Microsoft Corporation Efficient interrupt message definition
US8069308B2 (en) * 2008-02-13 2011-11-29 Honeywell International Inc. Cache pooling for computing systems
US8301848B2 (en) * 2008-06-09 2012-10-30 International Business Machines Corporation Virtualizing storage for WPAR clients using node port ID virtualization
US8250332B2 (en) * 2009-06-11 2012-08-21 Qualcomm Incorporated Partitioned replacement for cache memory
US8621157B2 (en) 2011-06-13 2013-12-31 Advanced Micro Devices, Inc. Cache prefetching from non-uniform memories
US9742676B2 (en) 2012-06-06 2017-08-22 International Business Machines Corporation Highly available servers
EP2859456A4 (en) * 2012-06-08 2016-06-15 Hewlett Packard Development Co INCREASING MEMORY CAPACITY FOR A KEY VALUE CACHE
US9785545B2 (en) * 2013-07-15 2017-10-10 Cnex Labs, Inc. Method and apparatus for providing dual memory access to non-volatile memory
US10581687B2 (en) 2013-09-26 2020-03-03 Appformix Inc. Real-time cloud-infrastructure policy implementation and management
US10291472B2 (en) 2015-07-29 2019-05-14 AppFormix, Inc. Assessment of operational states of a computing environment
US10355997B2 (en) 2013-09-26 2019-07-16 Appformix Inc. System and method for improving TCP performance in virtualized environments
JP6683726B2 (ja) 2015-03-17 2020-04-22 華為技術有限公司Huawei Technologies Co.,Ltd. ビッグデータアプリケーションのためのマルチ・マルチ次元コンピュータアーキテクチャ
US10394713B2 (en) * 2016-05-26 2019-08-27 International Business Machines Corporation Selecting resources to make available in local queues for processors to use
US10868742B2 (en) 2017-03-29 2020-12-15 Juniper Networks, Inc. Multi-cluster dashboard for distributed virtualization infrastructure element monitoring and policy control
US11068314B2 (en) * 2017-03-29 2021-07-20 Juniper Networks, Inc. Micro-level monitoring, visibility and control of shared resources internal to a processor of a host machine for a virtual environment
US11323327B1 (en) 2017-04-19 2022-05-03 Juniper Networks, Inc. Virtualization infrastructure element monitoring and policy control in a cloud environment using profiles
US10613764B2 (en) 2017-11-20 2020-04-07 Advanced Micro Devices, Inc. Speculative hint-triggered activation of pages in memory
US10419977B2 (en) 2017-12-28 2019-09-17 Comcast Cable Communications, Llc Variable application of quality of service
US10754783B2 (en) * 2018-06-29 2020-08-25 Intel Corporation Techniques to manage cache resource allocations for a processor cache

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3916383A (en) * 1973-02-20 1975-10-28 Memorex Corp Multi-processor data processing system
US5875464A (en) * 1991-12-10 1999-02-23 International Business Machines Corporation Computer system with private and shared partitions in cache
EP0676699B1 (en) * 1994-04-04 2001-07-04 Hyundai Electronics America Method of managing resources shared by multiple processing units
US5819061A (en) * 1994-07-25 1998-10-06 International Business Machines Corporation Method and apparatus for dynamic storage reconfiguration in a partitioned environment
US5978583A (en) * 1995-08-07 1999-11-02 International Business Machines Corp. Method for resource control in parallel environments using program organization and run-time support
US6366945B1 (en) * 1997-05-23 2002-04-02 Ibm Corporation Flexible dynamic partitioning of resources in a cluster computing environment
US6247109B1 (en) * 1998-06-10 2001-06-12 Compaq Computer Corp. Dynamically assigning CPUs to different partitions each having an operation system instance in a shared memory space
US6681240B1 (en) * 1999-05-19 2004-01-20 International Business Machines Corporation Apparatus and method for specifying maximum interactive performance in a logical partition of a computer system independently from the maximum interactive performance in other partitions
GB9928503D0 (en) * 1999-12-03 2000-02-02 Ibm Resource allocation in data processing systems
US6823472B1 (en) * 2000-05-11 2004-11-23 Lsi Logic Corporation Shared resource manager for multiprocessor computer system
JP4214682B2 (ja) * 2001-01-24 2009-01-28 株式会社日立製作所 計算機およびその入出力手段
US6526491B2 (en) * 2001-03-22 2003-02-25 Sony Corporation Entertainment Inc. Memory protection system and method for computer architecture for broadband networks
US6725336B2 (en) * 2001-04-20 2004-04-20 Sun Microsystems, Inc. Dynamically allocated cache memory for a multi-processor unit
US7694303B2 (en) * 2001-09-25 2010-04-06 Sun Microsystems, Inc. Method for dynamic optimization of multiplexed resource partitions
US7594229B2 (en) * 2001-10-09 2009-09-22 Nvidia Corp. Predictive resource allocation in computing systems
US7266823B2 (en) * 2002-02-21 2007-09-04 International Business Machines Corporation Apparatus and method of dynamically repartitioning a computer system in response to partition workloads
US6694419B1 (en) * 2002-04-12 2004-02-17 Barsa Consulting Group, Llc Method and system for automatically measuring partition memory needs in a partitioned computer system
US7565398B2 (en) * 2002-06-27 2009-07-21 International Business Machines Corporation Procedure for dynamic reconfiguration of resources of logical partitions
KR100565896B1 (ko) * 2002-12-11 2006-03-31 한국전자통신연구원 양방향 위성 멀티미디어 시스템에서의 동적 자원 할당 장치 및 그 방법과 기록매체
JP4119239B2 (ja) * 2002-12-20 2008-07-16 株式会社日立製作所 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム
US7290260B2 (en) * 2003-02-20 2007-10-30 International Business Machines Corporation Dynamic processor redistribution between partitions in a computing system
JP4257783B2 (ja) * 2003-10-23 2009-04-22 株式会社日立製作所 論理分割可能な記憶装置及び記憶装置システム
US7430741B2 (en) * 2004-01-20 2008-09-30 International Business Machines Corporation Application-aware system that dynamically partitions and allocates resources on demand
US20050216716A1 (en) * 2004-03-29 2005-09-29 Hoffman Philip M System and method for licensing and distribution of I/O in partitioned computer systems
US20070083870A1 (en) * 2005-07-29 2007-04-12 Tomochika Kanakogi Methods and apparatus for task sharing among a plurality of processors

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010518472A (ja) * 2007-02-06 2010-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーション プロセッサ・システムにおいて命令レベルでのリソース割り当ての識別を可能にする方法および装置
JP2009251708A (ja) * 2008-04-02 2009-10-29 Nec Corp I/oノード制御方式及び方法
JP4569846B2 (ja) * 2008-04-02 2010-10-27 日本電気株式会社 I/oノード制御方式及び方法
US8239588B2 (en) 2008-04-02 2012-08-07 Nec Corporation System and method for improved I/O node control in computer system
US8824317B2 (en) 2008-12-04 2014-09-02 Nec Corporation Parallel calculation system, and method and program thereof
JP2016540290A (ja) * 2013-10-23 2016-12-22 華為技術有限公司Huawei Technologies Co.,Ltd. メモリリソース最適化方法および装置
US9857980B2 (en) 2013-10-23 2018-01-02 Huawei Technologies Co., Ltd. Memory resource optimization method and apparatus
US9983793B2 (en) 2013-10-23 2018-05-29 Huawei Technologies Co., Ltd. Memory resource optimization method and apparatus
JP2020514868A (ja) * 2017-01-13 2020-05-21 エイアールエム リミテッド メモリ分割
JP7265478B2 (ja) 2017-01-13 2023-04-26 アーム・リミテッド メモリ分割

Also Published As

Publication number Publication date
WO2006121211A1 (en) 2006-11-16
TWI361981B (en) 2012-04-11
JP4386373B2 (ja) 2009-12-16
US20060259733A1 (en) 2006-11-16
TW200710675A (en) 2007-03-16

Similar Documents

Publication Publication Date Title
JP4386373B2 (ja) ロジカルパーティショニングされた処理環境におけるリソース管理のための方法および装置
JP3802042B2 (ja) キャッシュメモリ実装方法および装置、キャッシュメモリシステム
JP4322259B2 (ja) マルチプロセッサシステムにおけるローカルメモリへのデータアクセスを同期化する方法および装置
JP4346612B2 (ja) 情報処理方法および装置
EP1839165B1 (en) Methods and apparatus for hybrid dma queue and dma table
JP4243318B2 (ja) ソフトウェアとハードウエアで同時にキャッシュフィルする方法と装置
JP4219369B2 (ja) プロセッサシステム内においてスタックを分離して管理する方法および装置
KR100881810B1 (ko) 외부 장치로부터 프로세서의 메모리로의 주소 번역을 위한방법 및 기구
US7818724B2 (en) Methods and apparatus for instruction set emulation
US7546405B2 (en) Methods and apparatus for dynamic grouping of requestors of resources in a multi-processor system
JP2006172468A (ja) システム内部のデータ転送を処理する装置および方法
JP2006260556A (ja) ラッチポイントを制御することにより、演算処理能力を改善する方法、装置ならびにシステム
JP4024271B2 (ja) マルチプロセッサシステムにおいて命令を処理するための方法と装置
JP4583327B2 (ja) 分散型のマルチプロセッサシステム内において一貫性管理を行う方法、システムおよび装置
JP2006260555A (ja) 命令の従属関係検査の深度を利用して処理能力の改善するための方法および装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090925

R150 Certificate of patent or registration of utility model

Ref document number: 4386373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131009

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250