JP2011505038A - チェーン化デバイスシステムにおいてパラメータを設定し待ち時間を決定する方法 - Google Patents

チェーン化デバイスシステムにおいてパラメータを設定し待ち時間を決定する方法 Download PDF

Info

Publication number
JP2011505038A
JP2011505038A JP2010534981A JP2010534981A JP2011505038A JP 2011505038 A JP2011505038 A JP 2011505038A JP 2010534981 A JP2010534981 A JP 2010534981A JP 2010534981 A JP2010534981 A JP 2010534981A JP 2011505038 A JP2011505038 A JP 2011505038A
Authority
JP
Japan
Prior art keywords
request
latency
storage
master controller
storage node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010534981A
Other languages
English (en)
Other versions
JP5429572B2 (ja
JP2011505038A5 (ja
Inventor
誓士 三浦
ロジャー, ドゥエイン アイザック,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2011505038A publication Critical patent/JP2011505038A/ja
Publication of JP2011505038A5 publication Critical patent/JP2011505038A5/ja
Application granted granted Critical
Publication of JP5429572B2 publication Critical patent/JP5429572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668Details of memory controller
    • G06F13/1673Details of memory controller using buffers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668Details of memory controller
    • G06F13/1684Details of memory controller using multiple buses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Systems (AREA)
  • Small-Scale Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System (AREA)
  • Multi Processors (AREA)

Abstract

【課題】チェーン化デバイスシステムにおいてパラメータを設定し待ち時間を決定する新規な記憶システム及び方法。
【解決手段】記憶ノードが情報(112、114)を記憶し、記憶ノード(120、130、140)がデイジーチェーン化ネットワークとして組織化される。記憶ノードの少なくとも1つがアップストリーム通信バッファ(132、134)を含む。記憶ノードへの情報の流れは、記憶ノード内部の通信バッファの制約条件に基づく。一実施形態では、マスタコントローラ(110)と複数の記憶ノード(120、130、140)との間の通信が、決められた最大待ち時間を有する。
【選択図】図1

Description

関連出願
本出願は、2007年11月26日出願の、発明者Miura他の「A METHOD FOR SETTING PARAMETERS AND DETERMINING LATENCY IN A CHAINED DEVICE SYSTEM」という名称の米国特許仮出願第61/004,412号、整理番号SPSN−AF02875.PROの利益及び優先権を主張する。同出願は、その全体を参照により本明細書に組み込む。
さらに、本出願は、2007年11月26日出願の、発明者Miura他の「A SYSTEM AND METHOD FOR ACCESSING MEMORY」という名称の米国特許仮出願第61/004,362号、整理番号SPSN−AF02874.Proの優先権及び利益を主張する。同出願は、その全体を参照により本明細書に組み込む。
さらに、本出願は、2007年11月26日出願の、発明者Miura他の「A STORAGE SYSTEM AND METHOD」という名称の同時係属の米国特許仮出願第61/004,434号、整理番号SPSN−AF02873.PROの利益及び優先権を主張する。同出願は、その全体を参照により本明細書に組み込む。
本出願はまた、2007年11月26日出願の、発明者Miura他の「SYSTEMS AND METHODS FOR READ DATA BUFFERING」という名称の同時係属の米国特許仮出願第61/004,361号、整理番号SPSN−AF02876.PROの利益及び優先権を主張する。同出願は、その全体を参照により本明細書に組み込む。
本出願は、2008年11月21日出願の、発明者Miura他の「A SYSTEM AND METHOD FOR ACCESSING MEMORY」という名称の米国特許出願第12/276,010号、整理番号SPSN−AF02874に関連し、その全体を参照により本明細書に組み込む。本出願は、2008年11月21日出願の、発明者Miura他の「A STORAGE SYSTEM AND METHOD」という名称の米国特許出願第12/276,143号、整理番号SPSN−AF02873にもさらに関連し、その全体を参照により本明細書に組み込む。さらに、本出願は、2008年11月21日出願の、発明者Miura他の「SYSTEMS AND METHODS FOR READ DATA BUFFERING」という名称の米国特許出願第12/276,116号、整理番号SPSN−AF02876にも関連し、その全体を参照により本明細書に組み込む。
本発明の諸実施形態は、メモリ構成要素の分野に関する。より具体的には、本発明の諸実施形態は、チェーン化デバイスシステムにおいてパラメータを設定し待ち時間を決定する方法に関する。
電子システム及び回路は、現代社会の進歩に大きな貢献を果たしてきており、多くの応用分野で利用されて有益な結果が得られてきた。デジタルコンピュータ、計算機、オーディオデバイス、映像機器及び電話システムなどの電子技術は、ビジネス、科学、教育及び娯楽のほとんどの領域において、データ、アイデア及び傾向を分析し伝達する際の生産性の向上及びコストの低減を促進してきた。これらの結果が得られるように設計された電子システムは、メモリを含むことが多い。しかし、高速で能率的にメモリ資源にアクセスするには、複雑なプロトコルが伴いうる。
多くの電子デバイスはプロセッサを含み、このプロセッサは、有用なタスクの実行の際にデータを操作するための一連の命令を含むソフトウェアを実行することによって動作する。これらの命令及び関連するデータは、一般にメモリに記憶される。メモリは通常、情報を記憶する場所、及び一意の標識すなわちアドレスからなる。あるデバイスが提供する有用性は、命令が実行される速度及び能率によって決まることが多い。メモリにアクセスし、情報を迅速に都合よく転送する能力は通常、情報処理待ち時間に大きな影響を及ぼす。メモリの構成は通常、メモリ位置にアクセスする速度に影響を及ぼす。
メモリ制御における従来の試みは、非常に複雑で込み入っていることが多い。従来のデイジーチェーンシステムでは、大きなバッファサイズ、及びデイジーチェーン内部のそれぞれ異なるノード間でのスケジューリングにより非常に大きくなりうる待ち時間を伴うことが多い。複雑なスケジューリングアルゴリズム及びシステムの人為的な制限なしで読出し要求の待ち時間を決定することは、コントローラ及び/又は中央プロセッサでは問題となることが多い。従来の手法では、長い平均待ち時間、非常に複雑な機構、大きなバッファサイズ、あるいはこのような問題の組合わせを招くことが多い。
したがって、システムの人為的な制限を回避しながら、複雑なスケジューリングアルゴリズムを用いずに要求の正確な待ち時間を決定する必要が生じた。さらに、長い平均待ち時間及び大きなバッファサイズを使用することなく正確な待ち時間を決定する必要も生じた。さらに、いくつか例を挙げると、使用可能な帯域幅、未処理の要求の数、優先権、及び最小往復待ち時間を用いることによって、動的な最小及び最大待ち時間を決定する必要も生じた。すなわち、デイジーチェーン化デバイス内の、ある要求についての正確な最小及び最大待ち時間を決定する必要が生じた。本発明の詳細な説明を読めば、本発明の諸実施形態が上述の必要を満たすことが当業者には明らかになろう。
本発明の一実施形態では、記憶システムが、情報を記憶するための複数の記憶ノードを含む。この記憶システムはまた、複数の記憶ノードへの情報の流れを制御するマスタコントローラ、例えばCPUを含むこともできる。
複数の記憶ノードは、チェーン化ネットワークとして、例えばデイジーチェーンネットワークとして組織化できる少なくとも2つ以上のノードを含むことを理解されたい。一実施形態では、少なくとも1つの記憶ノードが、アップストリーム通信バッファ、例えば内部バッファ及び外部バッファを含む。一実施形態によれば、第1の記憶ノードの内部バッファが、第1の記憶ノードに関係する情報を記憶するために使用されるのに対して、外部バッファは、第1の記憶ノード以外の記憶ノードに関係する情報を記憶するために使用される。他の記憶ノードも同様に、情報を記憶するためのそれ相応の外部バッファ及び内部バッファを有することができることを理解されたい。一例では、アップストリーム通信バッファは、デイジーチェーンのもっと下方の他の記憶ノードからのアップストリームに転送されるべき応答を待ちながら、内部メモリコアからの応答を一時的に記憶する。
本発明の一実施形態では、マスタコントローラは、記憶ノードのアップストリーム通信バッファ、例えば内部バッファ及び外部バッファ、の1つ又は複数の制約条件に基づいて、記憶ノードへの情報の流れを制御する。マスタコントローラは、マスタコントローラと記憶ノードの間の通信が、決められた最大待ち時間を有するように情報の流れを制御する。一実施形態によれば、アップストリーム通信バッファの制約条件は、デイジーチェーンストリームのもっと下方の記憶ノード、例えばメモリノードへの応答に優先権を与えることに基づく。
一実施形態によれば、マスタコントローラは各記憶ノードの個々の待ち時間を、いくつかの例では、システム内の未処理応答のベクトル、それぞれの記憶ノードの最小待ち時間、要求のバースト長、クロック周波数、マスタコントローラを記憶ノードに結合するバスの幅、及びシステム内の記憶ノードの数のメモリノードカウントに基づいて決定する。最小待ち時間は、他の待ち状態の要求がない場合には、送出されるべき要求と、特定の記憶ノードから受け取られるべき応答との往復時間として決定されうることを理解されたい。
結果として、あらゆる要求、例えば読出し要求、の最大待ち時間を同じ式、及びシステム内の所与の記憶ノードの最小待ち時間を用いて定義することができる。したがって、マスタコントローラ、例えばCPUは、デイジーチェーンシステム内の応答時間を低減するために、記憶ノードに送出されるべき要求を各ノードの待ち時間についての事前知識に基づいて構築することができる。
本発明の一実施形態による例示的なシステムを示す図である。 本発明の一実施形態による例示的な記憶フロー図である。 本発明の一実施形態による、要求を転送する前にその要求を再構成する例示的なフロー図である。
次に、添付の図面に例が示されている本発明の好ましい諸実施形態を詳細に参照する。本発明をこれらの実施形態と共に説明するが、これらの実施形態は、本発明をこれらの実施形態に限定するものではないことを理解されたい。これに反して、本発明は、添付の特許請求の範囲で定義される本発明の主旨及び範囲内に含まれうる代替形態、改変形態及び等価物を包含するものである。さらに、本発明についての以下の詳細な説明では、本発明の完全な理解が得られるように多数の具体的細部を示す。しかし、これらの具体的細部がなくても本発明を実施できることが当業者には明らかであろう。別の例では、本発明の諸態様を不必要に不明瞭にしないように、よく知られた方法、手順、構成要素及び回路は詳細に説明していない。
[表記及び用語]
以下の詳細な説明の一部は、手順、ステップ、論理ブロック、処理、及びコンピュータメモリ上で実行できるデータビットに対する動作の他の記号表現について提示されるものである。これらの記述及び表現は、当業者が、その研究内容を他の当業者に最も効果的に伝達するために使用する手段である。本明細書では、また一般に、手順、コンピュータ実行ステップ、論理ブロック、処理などは、所望の結果につながる首尾一貫した一連のステップ又は命令と考えられる。各ステップは、物理量の物理的操作を含む。
必ずではないが通常、これらの量は、コンピュータシステム内で記憶、転送、結合、比較でき、また別様に操作できる電気信号又は磁気信号の形をとる。これらの信号をビット、値、要素、記号、特性、期間、数などと呼ぶことが、主には通常の用法であるという理由から、ときには都合がよいことが分かっている。
しかし、これらのすべて及び同様な用語は、適切な諸物理量と関係づけられるべきものであり、これらの量に付けられた便利なラベルにすぎないことを念頭に置かれたい。以下の議論から明らかなように特に指定しない限り、本発明全体を通して、「処理する」又は「生成する」又は「転送する」又は「実行する」又は「決定する又は「命令する」又は「発行する」又は「クリアする」又は「アクセスする」又は「統合する」又は「得る」又は「選択する」又は「開始する」又は「受け取る」又は「送出する」又は「解析する」又は「発生する」又は「構築する」又は「出力する」又は「集める」又は「構成する」又は「出力する」又は「記憶する」又は「送出する」又は「受け取る」又は「特定する」又は「使用する」又は「描画する」又は「翻訳する」又は「転送する」又は「組織化する」又は「供給する」などの用語を利用する議論は、コンピュータシステムのレジスタ及びメモリ内部で物理(電子)量として表されたデータを操作し、そのデータをコンピュータシステムのメモリ又はレジスタ、あるいは他のそのような情報の記憶デバイス、伝達デバイス又は表示デバイス内部で物理量として同様に表される他のデータに変換するコンピュータシステム、又は同様の電子計算デバイスの動作及び処理を指すと理解されたい。
[チェーン化デバイスシステムにおけるパラメータ設定及び待ち時間決定の方法]
次に図1を参照すると、本発明の一実施形態による例示的なシステム100が示されている。一実施形態でシステム100は、マスタコントローラ110と、本出願では一般に記憶ノードと呼ばれる複数のメモリ構成要素とを備える。マスタコントローラ110は、情報の流れを制御できるCPUとしてもよい。この実施形態では、第1の記憶ノード120、例えばメモリAは、第2の記憶ノード130、例えばメモリBに結合され、第2の記憶ノード130は、第3の記憶ノード140、例えばメモリMを含む別の記憶ノードに結合される。この実施形態では、各記憶ノードはデイジーチェーン構造又は構成として結合されることを理解されたい。しかし、非デイジー構造又は構成がデイジー構造に結合されてもよいことを理解されたい。
マスタコントローラ110は、情報の流れを制御でき、且つ複数の要求を記憶ノードに送出することができる。要求は、読出し要求、書込み要求などを含むことができる。この例示的な実施形態では、記憶ノードがデイジーチェーン構造として結合されているので、マスタコントローラ110からの要求はデイジーチェーン下方に送出される。例えば、第3の記憶ノード140行きの要求M 112メッセージは、マスタコントローラ110から第1の記憶ノード120に送出することができ、その場合第1の記憶ノード120は、要求M 112を第2の記憶ノード130に渡し、次いで第2の記憶ノード130は、その要求を行先の記憶ノード140に渡す。結果として、マスタコントローラ110からの要求は、デイジーチェーン構造下方に伝わる。同様に、マスタコントローラ110は、第1の記憶ノード120行きの要求A 114メッセージをデイジーチェーン構造下方に送出することができる。この例示的な実施形態では、要求メッセージA 114は、第1の記憶ノード120で受け取られる。図示の例示的な実施形態では、各要求/応答は、行先の記憶ノードに基づいてラベル付けされる。例えば、第1の記憶ノード120、例えばメモリAへの要求/応答はAと表示される。同様に、第3の記憶ノード140、例えばメモリMへの要求/応答はMと表示される。
受け取られた要求に応答して、対応する記憶ノードは、デイジーチェーン構造を介してマスタコントローラ110に応答を返す。例えば、第3の記憶ノード140は、応答M 112を第2の記憶ノード130に送出することができ、次いで第2の記憶ノード130は、その応答を第1の記憶ノード120に渡し、最終的にマスタコントローラ110に返す。同様に、第1の記憶ノード120は、応答をマスタコントローラ110に送り返すことによって応答することができる(図示せず)。
それぞれ異なる記憶ノードからの応答間で衝突する場合には、マスタコントローラ110から最も遠い記憶ノードからの応答パケットが優先される。言い換えると、デイジーチェーン構造内のストリームのより下方の記憶ノードが、マスタマイクロコントローラ110により近い記憶ノードよりも優先される。例えば、第3の記憶ノード140、例えばメモリMからの応答パケットは、他のすべての記憶ノードよりも優先される。同様に、第2の記憶ノード130、例えばメモリBからの応答パケットは、第1の記憶ノード120、例えばメモリAからの応答パケットよりも優先される。
マスタコントローラ110からより遠い記憶ノードからの応答パケットは、マスタコントローラ110により近い記憶ノードからの応答パケットよりも優先されるので、各記憶ノードは少なくとも1つのアップストリームバッファを備える。このアップストリームバッファは、その記憶ノード自体からのデータ応答を記憶でき、あるいはマスタコントローラ110からより遠い別の記憶ノードからのデータ応答を記憶することができる。例えば、第1の記憶ノード120、例えばメモリA内のアップストリームバッファは、内部バッファ122及び外部バッファ124を備えることができる。内部バッファ122は、第1の記憶ノード120からの応答を記憶するように動作可能であり、外部バッファ124は、マスタコントローラ110からより遠い記憶ノード、例えば第2の記憶ノード130及び第3の記憶ノード140からの応答パケットを記憶するように動作可能である。
同様に、第2の記憶ノード130、例えばメモリB内のアップストリームバッファは、内部バッファ132及び外部バッファ134を備えることができる。内部バッファ132は、第2の記憶ノード130からの応答を記憶するように動作可能であり、外部バッファ134は、マスタコントローラ110からより遠い記憶ノード、例えば第3の記憶ノード140からの応答パケットを記憶するように動作可能である。他の記憶ノード、例えば第3の記憶ノード140も、上記と同様に動作する内部バッファ142及び外部バッファ144を備えるアップストリームバッファを同様に備えることができることを理解されたい。
以下の例では、別々の記憶ノードからの2つの応答間で衝突する場合の優先権の概念を示す。一例では、要求A 114が第1の記憶ノード120で受け取られる。第1の記憶ノード120は同様に、第3の記憶ノード140からも応答M 112を受け取る。そのため、第1の記憶ノード120は、どちらの応答が1番目にマスタコントローラ110に送出されるかを選択しなければならない。第3の記憶ノード140が第1の記憶ノード120と比べてマスタコントローラ110より遠くにあるので、第2の記憶ノード120は、第3の記憶ノード140からの応答M 112をマスタコントローラ110に送出する。第1の記憶ノード120は、応答M 112メッセージをマスタコントローラ110に送出する一方で、応答M 112メッセージに続けてメッセージA 114に対する応答を送出できるように、その応答を第1の記憶ノード120は、内部バッファ122内に一時的に記憶する。対照的に、第1の記憶ノード120が、応答A 114をマスタコントローラ110に転送している間に応答M 112メッセージを受け取った場合には、応答M 112メッセージは、後でマスタコントローラ110に転送するために外部バッファ124内に一時的に記憶される。他の記憶ノードも第1の記憶ノード120とほぼ同様に挙動することを理解されたい。
本発明の一実施形態によれば、1つの応答がアップストリームバッファ内で待つ時間は、次式で表すことができる。
N/(tCK×W×2) (1)
ここでNは、バイト単位のロバスト(robust)要求の長さである。クロック周期はtCKであり、バスのサイズはWバイトである。N/Wは、応答のバースト長(BL)とも呼ばれる。そのため、式(1)は次式で表すことができる。
BL/2×1/tCK (2)
最も遠いノード、例えば第3の記憶ノード140からの要求の最大待ち時間は、次式で表すことができる。
Max Lat(Max Node)=Min Lat(Max Node)+(Max Node−1)×BL/2×1/tCK (3)
ここでMin Latは、所与の記憶ノードに対する要求の最小待ち時間である。例えば、Min Lat(A)は、待ち状態の要求がないときのシステム内の最小往復待ち時間である。同様に、Min Lat(B)も、待ち状態の要求がないときのシステム内の最小往復待ち時間である。Max Nodeは、マスタコントローラ110から最も遠いノードである。この例示的な実施形態では、Max Nodeは第3の記憶ノード140である。
それぞれ異なる記憶ノードからの応答間で衝突がある場合には、マスタコントローラ110から最も遠い記憶ノードが優先されるので、ある内部記憶ノードへの要求は、より遠いノードへの要求が完了するまで待つことを理解されたい。結果として、マスタコントローラ110により近いノードの最大待ち時間はまた、最も遠いノード、例えば第3の記憶ノード140であるMax Nodeの最大待ち時間にも関連する。すなわち、マスタコントローラ110により近いノードの最大待ち時間はまた、Max Lat(Max Node)にも関連する。所与の記憶ノード、例えば第2の記憶ノード130の最大待ち時間は、所与のノードの最小待ち時間、例えば第2の記憶ノード130の待ち時間と、所与のノード、例えば第2の記憶ノード130と最大待ち時間記憶ノード、例えば第3の記憶ノード140の間の最大待ち時間との合計に、所与のノード、例えば第2の記憶ノード130とマスタコントローラ110の間のあらゆる付加的バッファ遅延を加えたものになる。言い換えると、所与の記憶ノード、例えばxの最大待ち時間は、次式で表すことができる。
Max Lat(x)=Min Lat(x)+Min Lat(Max Node)+(Max Node−x)×(BL/2×1/tCK)−Min Lat(x)+(N−1)(BL/2×1/tCK) (4)
上式は次式に還元することができる。
Max Lat(x)=Min Lat(Max Node)+(Max Node−1)×(BL/2×1/tCK) (5)
結果として、任意の要求の最大待ち時間は、同じ式(5)を用いて定義することができる。すなわち、所与の任意の記憶ノードの最大待ち時間は、システム内の所与のノードに対する任意の要求の最小待ち時間を用いて定義することができる。
したがって、マスタコントローラ110は、記憶ノードのアップストリーム通信バッファ、例えば内部バッファ及び外部バッファの1つ又は複数の制約条件、例えば待ち時間制約条件に基づいて、記憶ノードへの情報の流れを制御することができる。マスタコントローラは、この情報の流れを、マスタコントローラと記憶ノードの間の通信が決められた最大待ち時間を有するように制御する。一実施形態によれば、アップストリーム通信バッファの制約条件は、デイジーチェーンストリームのより下方の記憶ノード、例えばメモリノードへの応答に優先権を与えることに基づく。
本発明の一実施形態によれば、正確な待ち時間は、マスタコントローラ110によって決定することができる。例えば、マスタコントローラ110は、要求記憶ノード名の応答データのベクトルを構築し、そのベクトルを使用して所与の要求の個別待ち時間を計算することができる。個別待ち時間の決定は、デイジーチェーン構造についての事前知識に基づくことを理解されたい。一例では、構築されたベクトルは以下のように表すことができる。
0B0BBBBCCCACCCCCCCCCCCCCC
ここで、最新の要求は、ベクトルの左側の要求Bである。マスタコントローラ110は、ベクトルの右側のCである要求Cに対する最も古い応答が次にマスタコントローラ110に到着すると予想する。「0」は、所与のサイクルで返すべきデータがない場合を表すと理解されたい。中間の応答Aは、記憶ノードCとAの間で待ち時間が異なることにより、その左の要求より新規でありうることをさらに理解されたい。
一実施形態では、マスタコントローラ110が要求、例えばA要求を挿入する場合、ベクトルは以下のように表すことができる。
00AB0BBBBCCCACCCCCCCCCCCCCC又は000BABBBBCCCACCCCCCCCCCCCCC
A要求がB要求と比べて短い待ち時間を有するので、A要求をベクトル中の最小待ち時間スロットに挿入してシステム内の待ち時間を低減できることを理解されたい。この例示的な実施形態では、A要求の挿入は、リンクの速度、Aの最小待ち時間、及びB要求の最小待ち時間に依存することをさらに理解されたい。
別の例示的な実施形態では、マスタコントローラ110がB要求を挿入する場合、ベクトルは0B0B0BBBBCCCACCCCCCCCCCCCCCと表すことができる。マスタコントローラ110がC要求を挿入する場合、ベクトルはC00B0BBBBCCCACCCCCCCCCCCCCCと表すことができる。
C要求の待ち時間がより長いので、示された「0」で表される余分の時間にバスが使用されていない可能性があることを理解されたい。一例では、C要求の後にB要求が挿入されるべき場合、ベクトルは0CB00B0BBBBCCCACCCCCCCCCCCCCCになりうる。B要求の待ち時間がC要求の待ち時間と比べて短いので、BがCに先行して挿入されることを理解されたい。待ち時間が短い要求を待ち時間が長い要求に先行して挿入することにより、システムの待ち時間が低減される。
上の例では、A要求が次に挿入されるべき場合、ベクトルは00CBA0B0BBBBCCCACCCCCCCCCCCCCCと表すことができる。A要求の待ち時間がB要求又はC要求の待ち時間と比べて短いので、AがB要求及びC要求に先行して挿入されることを理解されたい。結果として、デイジーチェーン構造において正確な待ち時間を決定することができる。
結果として、マスタコントローラ110による最大待ち時間、最小待ち時間及び正確な待ち時間についての知識が、マスタコントローラ110で、記憶ノードとの間を行き来する情報の流れを再構成、組織化及び制御することを可能にする。情報の流れを制御することにより、システム内の待ち時間を低減するとともに、要求の処理をバッファの待ち時間及び他の制約条件に基づいて速めることができる。
次に図2を参照すると、本発明の一実施形態による例示的な記憶フロー図200が示されている。ステップ210で、メモリノードの配分、及びメモリノードとマスタコントローラの間のトラフィックフローに関する情報を得ることができる。例えば、この情報は、デイジーチェーン構造内のメモリ構成要素の数を含むことができる。同様に、この情報は、いくつか例を挙げると、ロバスト要求のバイト単位の長さ、クロックの周期、及びバスのバイト単位のサイズを含むことができる。一例では、配分についての情報は、記憶ノードがデイジーチェーン構造として構成されていること、及び/又は、それぞれ異なる記憶ノードの応答間で衝突がある場合には、マスタコントローラ110からより遠い記憶ノードが、マスタコントローラ110により近い記憶ノードよりも優先されることを示すことができる。
ステップ220で、応答するデータ要求の待ち時間を決定することができる。例えば、要求が第1の記憶ノード120に対してであろうと、第2の記憶ノードに対してであろうと、それとも第3の記憶ノードに対してであろうと、待ち時間を決定することができる。行先の記憶ノード又はメモリ構成要素が決定されると、データ要求に対する応答の待ち時間を決定することができる。一例では、待ち時間は、上記で説明し提示した(1)から(5)の式を用いて決定することができる。したがって、待ち時間は、最大待ち時間及び/又は最小待ち時間に基づくことができる。上記で説明し提示したように、最小待ち時間は、他の待ち状態の要求がない場合には、要求が記憶ノードに到達し、記憶ノードが応答しマスタコントローラ110にその応答を送出する往復時間によって決定することができる。
一実施形態では、要求のベクトルは、上記で説明し提示したように、正確な待ち時間を決定するように形成できることを理解されたい。一実施形態では、待ち時間は、制約条件下の要求の待ち時間に基づくことができることをさらに理解されたい。制約条件は、いくつか例を挙げると、記憶ノードの待ち時間、それぞれ異なる記憶ノードの優先順位、それぞれ異なる記憶ノードの優先順位に基づく最大待ち時間を含みうる。
次に図3を参照すると、本発明の一実施形態による、要求を転送する前にその要求を再構成する例示的なフロー図300が示されている。ステップ310で、要求を転送する前に新たな要求が、記憶ノードに転送されるべき要求を備えるベクトルに挿入される。要求のベクトルは、上記で論じ提示したように、マスタコントローラ110によって構築されることを理解されたい。構築されたベクトルを用いて、正確な待ち時間を決定することができる。
ステップ320で、新たに挿入された要求をここでは含むベクトル内部の要求が再構成される。一実施形態では、この再構成は、新たな要求の対応する待ち時間と、ベクトル内部の要求の対応する待ち時間とに基づくことを理解されたい。例えば、上記で提示し論じたように、A要求が挿入されるべき場合、A要求の待ち時間がB要求の待ち時間と比べて短いので、A要求はベクトル内部のB要求に先行して挿入することができる。同様に、他の新たな要求を挿入することができ、ベクトルの要求入力は、新たな要求及び入力の待ち時間に基づいてベクトル内部で再構成することができる。したがって、要求を再構成することによりシステム内部の待ち時間を低減し、それによってシステムの速度を向上することができる。
各記憶ノードの待ち時間は、マスタコントローラによって事前に知られている。さらに、各記憶ノードの待ち時間は同じ関係により支配されており、それによって、システムに対する人為的な制限が回避されながら、複雑なスケジューリングアルゴリズムの必要がなくなる。さらに、待ち時間は所与の資源、いくつか例を挙げれば、バッファサイズ、帯域幅、未処理の要求の数、優先順位、及び最小往復待ち時間を用いて決定することもできる。すなわち、要求を再構成して待ち時間を低減し、且つバッファ内に大きな情報を記憶する必要性を低減できるので、大きなバッファサイズの必要がなくなる。
上記の明細書では、実施ごとに変わりうる多数の具体的細部を参照して本発明の諸実施形態を説明してきた。すなわち、本発明の、且つ出願人によって意図されている唯一で排他的な指標は、本出願により発行される一連の、特定の形式の特許請求の範囲であり、この形式でこのような特許請求の範囲が、その後のいかなる修正も含めて発行される。それ故に、特許請求の範囲に特に挙げられていない制限、要素、特性、特徴、利点又は属性は、そのような特許請求の範囲を決して限定するものではない。したがって、本明細書及び図面は、制限的ではなく例示的な意味で考慮されたい。

Claims (10)

  1. 情報(114)を記憶するための複数の記憶ノード(120、130、140)であり、チェーン化ネットワークとして組織化され、前記複数の記憶ノード(120、130、140)の少なくとも1つがアップストリーム通信バッファ(132、134)を含む、複数の記憶ノード(120、130、140)と、
    前記複数の記憶ノード(120、130、140)内部の前記少なくとも1つのアップストリーム通信バッファ(132、134)の制約条件に基づいて複数の記憶ノードへの流れを制御するマスタコントローラ(110)であり、前記マスタコントローラ(110)と前記複数の記憶ノード(120、130、140)との間の通信が決められた最大待ち時間を有するマスタコントローラ(110)と
    を備える、記憶システム。
  2. 前記複数の記憶ノード(120、130、140)の配分についての情報が、前記複数の記憶ノード(120、130、140)がチェーン化ネットワークとして組織化されていること、及びダウンストリームにある前記メモリノードからの応答が優先されることを示す、請求項1に記載の記憶システム。
  3. 前記アップストリームバッファ(132、134)の少なくとも1つのサイズが、Nのバースト要求の長さによって確立される、請求項1に記載の記憶システム。
  4. 前記複数の記憶ノード(120、130、140)のうち最も遠いもの(140)からの要求の最大時間が、
    maxLat(MaxNode)=minLat(MaxNode)+(MaxNode−1)×(BL/2×1/tCK)
    という関係によって定義され、ここでmaxLat(MaxNode)はチェーン内の最後のノードの最大待ち時間、minLat(MaxNode)はチェーン内の最後のノード(140)の最小待ち時間、BLは応答のバースト長、tCKはクロック周期である、請求項1に記載の記憶システム。
  5. 最小待ち時間が、他の待ち状態の要求がないかのように、送出されるべき要求と、前記複数の記憶ノード(120、130、140)の特定のものから受け取られるべき応答との往復時間によって決定される、請求項4に記載の記憶システム。
  6. 前記アップストリームバッファが内部メモリコア(132)からの応答を、ダウンストリームの他のデバイスからの、アップストリームに転送されるべき応答を待ちながら一時的に記憶する、請求項1に記載の記憶システム。
  7. 前記マスタコントローラが要求の個別待ち時間を
    前記システム内の未処理応答のベクトルと、
    前記複数のメモリノード(120、130、140)のそれぞれの最小待ち時間と、
    前記要求のバースト長と、
    クロック周波数と、
    前記マスタコントローラ(110)と前記複数のメモリノード(120、130、140)を結合するバスの幅と、
    前記システム内の前記複数のメモリノード(120、130、140)の数のメモリノードカウントとに基づいて決定する、請求項1に記載の記憶システム。
  8. 前記マスタコントローラ(110)が新たな要求を挿入し、ベクトル要求内部の要求を前記新たな要求の対応する待ち時間と、前記ベクトル要求内部の前記要求の対応する待ち時間とに基づいて再構成する、請求項1に記載の記憶システム。
  9. 前記マスタコントローラ(110)が記憶ノードのバッファカウントの状態を追跡する、請求項1に記載の記憶システム。
  10. 前記最大待ち時間が制約条件下の要求のものである、請求項1に記載の記憶システム。
JP2010534981A 2007-11-26 2008-11-25 チェーン化デバイスシステムにおいてパラメータを設定し待ち時間を決定する方法 Active JP5429572B2 (ja)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US443407P 2007-11-26 2007-11-26
US436207P 2007-11-26 2007-11-26
US441207P 2007-11-26 2007-11-26
US436107P 2007-11-26 2007-11-26
US61/004,412 2007-11-26
US61/004,362 2007-11-26
US61/004,361 2007-11-26
US61/004,434 2007-11-26
US12/276,010 2008-11-21
US12/276,061 2008-11-21
US12/276,010 US8732360B2 (en) 2007-11-26 2008-11-21 System and method for accessing memory
US12/276,061 US8930593B2 (en) 2007-11-26 2008-11-21 Method for setting parameters and determining latency in a chained device system
US12/276,116 2008-11-21
US12/276,143 2008-11-21
US12/276,116 US8601181B2 (en) 2007-11-26 2008-11-21 System and method for read data buffering wherein an arbitration policy determines whether internal or external buffers are given preference
US12/276,143 US8874810B2 (en) 2007-11-26 2008-11-21 System and method for read data buffering wherein analyzing policy determines whether to decrement or increment the count of internal or external buffers
PCT/US2008/013188 WO2009070324A1 (en) 2007-11-26 2008-11-25 A method for setting parameters and determining latency in a chained device system

Publications (3)

Publication Number Publication Date
JP2011505038A true JP2011505038A (ja) 2011-02-17
JP2011505038A5 JP2011505038A5 (ja) 2013-07-11
JP5429572B2 JP5429572B2 (ja) 2014-02-26

Family

ID=40670682

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2010534981A Active JP5429572B2 (ja) 2007-11-26 2008-11-25 チェーン化デバイスシステムにおいてパラメータを設定し待ち時間を決定する方法
JP2010534979A Active JP5948628B2 (ja) 2007-11-26 2008-11-25 記憶システム及び方法
JP2010534982A Active JP5566899B2 (ja) 2007-11-26 2008-11-25 メモリにアクセスするシステム及び方法
JP2010534980A Pending JP2011505037A (ja) 2007-11-26 2008-11-25 読出しデータバッファリングのシステム及び方法
JP2016025072A Pending JP2016095881A (ja) 2007-11-26 2016-02-12 記憶システム及び方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2010534979A Active JP5948628B2 (ja) 2007-11-26 2008-11-25 記憶システム及び方法
JP2010534982A Active JP5566899B2 (ja) 2007-11-26 2008-11-25 メモリにアクセスするシステム及び方法
JP2010534980A Pending JP2011505037A (ja) 2007-11-26 2008-11-25 読出しデータバッファリングのシステム及び方法
JP2016025072A Pending JP2016095881A (ja) 2007-11-26 2016-02-12 記憶システム及び方法

Country Status (3)

Country Link
US (4) US8732360B2 (ja)
JP (5) JP5429572B2 (ja)
WO (4) WO2009070321A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8013073B2 (en) * 2005-12-30 2011-09-06 Chevron Oronite Company Llc Method for preparing polyolefins containing vinylidine end groups using nonaromatic heterocyclic compounds
US7816459B2 (en) 2005-12-30 2010-10-19 Chevron Oronite Company Llc Method for preparing polyolefins containing vinylidine end groups using polymeric nitrogen compounds
US8732360B2 (en) * 2007-11-26 2014-05-20 Spansion Llc System and method for accessing memory
US8394897B2 (en) * 2008-03-25 2013-03-12 Chevron Oronite Company Llc Production of vinylidene-terminated polyolefins via quenching with monosulfides
JP5407633B2 (ja) * 2008-07-28 2014-02-05 株式会社リコー 通信装置及びそれを有する通信システム並びに通信方法
US8279231B1 (en) * 2008-10-29 2012-10-02 Nvidia Corporation Bandwidth impedance matching and starvation avoidance by read completion buffer allocation
US9083762B2 (en) * 2010-05-28 2015-07-14 Greg Saunders System and method for providing hybrid on demand services to a work unit
KR101796116B1 (ko) 2010-10-20 2017-11-10 삼성전자 주식회사 반도체 장치, 이를 포함하는 메모리 모듈, 메모리 시스템 및 그 동작방법
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US8520534B2 (en) * 2011-03-03 2013-08-27 Alcatel Lucent In-service throughput testing in distributed router/switch architectures
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US9106663B2 (en) * 2012-02-01 2015-08-11 Comcast Cable Communications, Llc Latency-based routing and load balancing in a network
US9021219B2 (en) 2012-12-14 2015-04-28 International Business Machines Corporation Enhancing analytics performance using distributed multi-tiering
US9191457B2 (en) * 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9065810B2 (en) * 2013-01-30 2015-06-23 Ebay Inc. Daisy chain distribution in data centers
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US9641616B2 (en) * 2014-07-10 2017-05-02 Kabushiki Kaisha Toshiba Self-steering point-to-point storage protocol
US10659532B2 (en) * 2015-09-26 2020-05-19 Intel Corporation Technologies for reducing latency variation of stored data object requests
JP2018041153A (ja) * 2016-09-05 2018-03-15 東芝メモリ株式会社 ストレージシステムおよび入出力処理方法
US10635617B2 (en) * 2017-05-19 2020-04-28 Western Digital Technologies, Inc. Context-aware dynamic command scheduling for a data storage system
JP6978670B2 (ja) * 2017-12-07 2021-12-08 富士通株式会社 演算処理装置および演算処理装置の制御方法
JP7031349B2 (ja) * 2018-02-15 2022-03-08 日本電気株式会社 ノード
US11146626B2 (en) * 2018-11-01 2021-10-12 EMC IP Holding Company LLC Cloud computing environment with replication system configured to reduce latency of data read access
US11941155B2 (en) 2021-03-15 2024-03-26 EMC IP Holding Company LLC Secure data management in a network computing environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177677A1 (en) * 2004-02-05 2005-08-11 Jeddeloh Joseph M. Arbitration system having a packet memory and method for memory responses in a hub-based memory system
WO2007002546A2 (en) * 2005-06-22 2007-01-04 Intel Corporation Memory channel response scheduling
WO2007060250A1 (en) * 2005-11-28 2007-05-31 International Business Machines Corporation Method and system allowing for indeterminate read data latency in a memory system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658509B1 (en) * 2000-10-03 2003-12-02 Intel Corporation Multi-tier point-to-point ring memory interface
US6564291B1 (en) * 2000-11-17 2003-05-13 Texas Instruments Incorporated Multi-function peripheral storage device buffer system
US6678749B2 (en) * 2001-06-28 2004-01-13 Sony Corporation System and method for efficiently performing data transfer operations
US7200137B2 (en) * 2002-07-29 2007-04-03 Freescale Semiconductor, Inc. On chip network that maximizes interconnect utilization between processing elements
DE10234934A1 (de) 2002-07-31 2004-03-18 Advanced Micro Devices, Inc., Sunnyvale Antwortreihenwiederherstellungsmechanismus
US6820181B2 (en) * 2002-08-29 2004-11-16 Micron Technology, Inc. Method and system for controlling memory accesses to memory modules having a memory hub architecture
US6928528B1 (en) * 2002-10-07 2005-08-09 Advanced Micro Devices, Inc. Guaranteed data synchronization
US7308524B2 (en) * 2003-01-13 2007-12-11 Silicon Pipe, Inc Memory chain
US7069399B2 (en) 2003-01-15 2006-06-27 Via Technologies Inc. Method and related apparatus for reordering access requests used to access main memory of a data processing system
US20040243769A1 (en) * 2003-05-30 2004-12-02 Frame David W. Tree based memory structure
JP4291664B2 (ja) * 2003-10-14 2009-07-08 株式会社日立製作所 通信バッファ予約機能を備えるストレージ装置およびシステム
US7779212B2 (en) * 2003-10-17 2010-08-17 Micron Technology, Inc. Method and apparatus for sending data from multiple sources over a communications bus
US7120743B2 (en) 2003-10-20 2006-10-10 Micron Technology, Inc. Arbitration system and method for memory responses in a hub-based memory system
US7533218B2 (en) * 2003-11-17 2009-05-12 Sun Microsystems, Inc. Memory system topology
US7330992B2 (en) 2003-12-29 2008-02-12 Micron Technology, Inc. System and method for read synchronization of memory modules
US7188219B2 (en) * 2004-01-30 2007-03-06 Micron Technology, Inc. Buffer control system and method for a memory system having outstanding read and write request buffers
US7257683B2 (en) * 2004-03-24 2007-08-14 Micron Technology, Inc. Memory arbitration system and method having an arbitration packet protocol
US7512762B2 (en) 2004-10-29 2009-03-31 International Business Machines Corporation System, method and storage medium for a memory subsystem with positional read data latency
US7337293B2 (en) 2005-02-09 2008-02-26 International Business Machines Corporation Streaming reads for early processing in a cascaded memory subsystem with buffered memory devices
US7181659B2 (en) * 2005-02-10 2007-02-20 International Business Machines Corporation Memory built-in self test engine apparatus and method with trigger on failure and multiple patterns per load capability
US7827338B2 (en) * 2005-02-28 2010-11-02 Teklatech A/S Method of and a system for controlling access to a shared resource
US20070005922A1 (en) * 2005-06-30 2007-01-04 Swaminathan Muthukumar P Fully buffered DIMM variable read latency
US7496777B2 (en) * 2005-10-12 2009-02-24 Sun Microsystems, Inc. Power throttling in a memory system
US8732360B2 (en) * 2007-11-26 2014-05-20 Spansion Llc System and method for accessing memory

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177677A1 (en) * 2004-02-05 2005-08-11 Jeddeloh Joseph M. Arbitration system having a packet memory and method for memory responses in a hub-based memory system
JP2007526559A (ja) * 2004-02-05 2007-09-13 マイクロン テクノロジー,インコーポレイテッド パケットメモリを有するアービトレーションシステムとハブに基づくメモリシステムにおけるメモリ応答の方法
WO2007002546A2 (en) * 2005-06-22 2007-01-04 Intel Corporation Memory channel response scheduling
WO2007060250A1 (en) * 2005-11-28 2007-05-31 International Business Machines Corporation Method and system allowing for indeterminate read data latency in a memory system

Also Published As

Publication number Publication date
JP5429572B2 (ja) 2014-02-26
JP2011505036A (ja) 2011-02-17
JP5948628B2 (ja) 2016-07-06
US20090138597A1 (en) 2009-05-28
JP2016095881A (ja) 2016-05-26
WO2009070322A1 (en) 2009-06-04
WO2009070321A1 (en) 2009-06-04
US8874810B2 (en) 2014-10-28
JP2011505039A (ja) 2011-02-17
JP5566899B2 (ja) 2014-08-06
US20090138624A1 (en) 2009-05-28
JP2011505037A (ja) 2011-02-17
US8930593B2 (en) 2015-01-06
WO2009070324A1 (en) 2009-06-04
US20090138632A1 (en) 2009-05-28
US8732360B2 (en) 2014-05-20
WO2009070326A1 (en) 2009-06-04
US8601181B2 (en) 2013-12-03
US20090138570A1 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
JP5429572B2 (ja) チェーン化デバイスシステムにおいてパラメータを設定し待ち時間を決定する方法
CN114443529B (zh) 内存直接访问架构、系统、方法、电子设备和介质
US7433977B2 (en) DMAC to handle transfers of unknown lengths
KR100970300B1 (ko) 통신 모듈의 메시지 메모리의 데이터를 액세스하기 위한 방법 및 장치
US11403247B2 (en) Methods and apparatus for network interface fabric send/receive operations
US8677045B2 (en) Transaction reordering system and method with protocol indifference
US20120079148A1 (en) Reordering arrangement
KR100977897B1 (ko) 메시지 메모리 내에서 메시지를 저장하기 위한 방법 및상응하는 메시지 메모리
US11520725B2 (en) Performance monitor for interconnection network in an integrated circuit
US11301410B1 (en) Tags for request packets on a network communication link
JP2003015968A (ja) バスシミュレータ
US11023390B1 (en) Resizing circuitry
US11483209B2 (en) Forward progress mechanisms for a communications network having multiple nodes
JP4567373B2 (ja) データ転送装置及び通信データ処理システム
US20200059437A1 (en) Link layer data packing and packet flow control scheme
CN113609041A (zh) 一种数据传输方法及系统
JP2008250496A (ja) エンジン・プロセッサ連携システム及び連携方法
JP2007188357A (ja) データ転送装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20130520

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130918

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5429572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250