JP2007536611A - 拡張可能な情報流通システム用のキャッシュメモリ - Google Patents

拡張可能な情報流通システム用のキャッシュメモリ Download PDF

Info

Publication number
JP2007536611A
JP2007536611A JP2007510677A JP2007510677A JP2007536611A JP 2007536611 A JP2007536611 A JP 2007536611A JP 2007510677 A JP2007510677 A JP 2007510677A JP 2007510677 A JP2007510677 A JP 2007510677A JP 2007536611 A JP2007536611 A JP 2007536611A
Authority
JP
Japan
Prior art keywords
cache
logic
node
nodes
interconnect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007510677A
Other languages
English (en)
Other versions
JP5094388B2 (ja
Inventor
ドゥゼット,ロバート,シー
Original Assignee
エヌキューブ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌキューブ コーポレイション filed Critical エヌキューブ コーポレイション
Publication of JP2007536611A publication Critical patent/JP2007536611A/ja
Application granted granted Critical
Publication of JP5094388B2 publication Critical patent/JP5094388B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0813Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/27Using a specific cache architecture
    • G06F2212/272Cache only memory architecture [COMA]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

情報流通システムは、相互接続(102)、及び相互接続に結合された複数のデータ処理ノード(104乃至107)を有する。各データ処理ノードは大容量記憶装置(112乃至115)及びキャッシュ(118乃至121)を有する。各データ処理ノードはまた、相互接続から信号を受け取り、その信号を適用してキャッシュのコンテンツに作用するように構成され、且つ大容量記憶装置から信号を受け取り、その信号を適用してキャッシュのコンテンツに作用するように構成されたインターフェース・ロジックを有する。個々のノードの大容量記憶装置及びキャッシュのコンテンツはまた、相互接続を介してシステムのその他のノードに与えられてもよい。

Description

本発明は拡張可能な情報流通システム用のキャッシュメモリに関する。
デジタルの映像、音声及びその他の形態の複合情報の流通には多数の設計課題が存在している。これらの課題は、このような情報の大きいストレージ要求、並びにこのような情報を流通するための広帯域性及び処理要求に起因している。
高性能情報流通システムは、並列に(実質的に同時に)動作するように構成された、多重プロセッサ、大容量記憶装置(mass storage)、メモリ及び入/出力(I/O)装置を含む場合がある。このようなシステムは、適切に設計されると、ケーブルテレビ、インターネット、衛星テレビ等の複数の高解像度デジタル映像/音声ストリームの同時流通をもたらし得る。
このようなシステムにおける1つの性能限界は大容量記憶装置に起因している。大容量記憶装置は、一般に、例えば磁気ディスクや光ディスク等の、大容量の機械メモリ装置を含んでいる。大容量記憶装置は、通常、メモリに供給される電力が存在しないときであっても情報の保存(持続性)を提供する。大容量記憶装置によって実現される記憶容量当たりのコストは、一般に、持続性に欠ける小容量メモリで得られるよりも低い。例えば、磁気ディスクや光ディスクは、一般に、非持続性(non-persistent)のランダム・アクセス・メモリ(RAM)、フラッシュメモリ、ダイナミックRAM(DRAM)、スタティックRAM(SRAM)等で得られるより低い、メガバイト、ギガバイト及びテラバイト当たりのコストをもたらす。しかしながら、大容量記憶装置はまた、一般に、より小容量の非持続性メモリより読み出し/書き込み(アクセス)時間が遅いという特徴がある。
大容量記憶装置の遅い読み出し/書き込み時間を部分的に補償するために、キャッシュメモリが設けられる場合がある。頻繁にアクセスされる大容量記憶装置の情報が、その大容量記憶装置より記憶容量が小さく、且つ短いアクセス時間によって特徴付けられるキャッシュメモリに複製され得る。キャッシュメモリは一般的に非持続性である。
様々なキャッシングの仕組みが特許文献1乃至6に開示されている。これらの特許文献には、キャッシュメモリが結合されたその特定の処理ノードに有益となる仕組みが記載されている。
また、特許文献7乃至12にも様々なキャッシングの仕組みが開示されている。これらの特許文献には、キャッシュメモリがシステムの処理ノードに広く利用可能にされる仕組みが記載されている。
特許文献13乃至15には、“固体ディスク”メモリの仕組みが記載されている。
特許文献16には、キャッシュメモリが集積された大容量記憶装置コントローラが記載されている。
特許文献17には、バッファリングの仕組みにが記載されている。
特許文献18には、グローバルに分散されたメモリの仕組みが記載されている。
特許文献19及び20には、キャッシュメモリを含むメモリの区分化の仕組みについて記載されている。
グローバルなキャッシングの仕組みは、高コストで複雑になる傾向にあり、また、システムに処理ノードが付加されるときの拡張性に乏しい傾向がある。また、キャッシュを特定の処理ノードに関連付ける仕組み(キャッシュメモリを大容量記憶装置コントローラに集積する仕組みを含む)は、その他のノード上の活用されていないキャッシュから得られる利益を喪失する場合がある。
米国特許第5835942号明細書 米国特許第6463509号明細書 米国特許第6370614号明細書 米国特許第6370615号明細書 米国特許第5289581号明細書 米国特許出願公開第2003/0005457号明細書 米国特許出願公開第2003/0095783号明細書 米国特許第6061504号明細書 米国特許第4371929号明細書 米国特許第4977495号明細書 米国特許第4476526号明細書 米国特許第4394733号明細書 米国特許出願公開第2003/0200388号明細書 米国特許出願公開第2003/0177305号明細書 米国特許第6467022号明細書 米国特許第4920478号明細書 米国特許第5933603号明細書 米国特許第5535116号明細書 米国特許第5893163号明細書 米国特許第5860101号明細書
本発明は、拡張可能な情報流通システム用のキャッシュメモリを提供することを目的とする。
以下の要旨は開示される実施形態の幾つかの態様を紹介し、明らかにすることを意図するものであり、本発明の範囲を限定するものではない。
本発明に係る情報流通システムの一態様は、相互接続、及び前記相互接続に結合された複数のデータ処理ノードを有する。各データ処理ノードは大容量記憶装置及びキャッシュを有する。各データ処理ノードはまた、前記相互接続から信号を受け取り、該相互接続からの信号を適用して前記キャッシュのコンテンツに作用するように構成され、且つ前記大容量記憶装置から信号を受け取り、該大容量記憶装置からの信号を適用して前記キャッシュのコンテンツに作用するように構成されたインターフェース・ロジックを有する。システムはまた、前記相互接続に結合され、且つ該相互接続を介して各データ処理ノードのキャッシュのコンテンツに作用するように構成されたキャッシュ管理ロジックを有してもよい。各データ処理ノードは、前記インターフェース・ロジックと協働し、前記相互接続を介して何れかのノードのキャッシュ及び大容量記憶装置からコンテンツを取り出すように構成されたI/Oロジックを有してもよい。個々のデータ処理ノードのキャッシュは、そのノードの大容量記憶装置からのコンテンツ、及び/又は1つ又は複数の他のノードの大容量記憶装置からのコンテンツを有してもよい。
図面においては、理解を容易にするため便宜上、同一の参照符号及び頭字語は同一又は類似の機能を有する要素又は作用を特定するものとする。
様々な実施形態に関して本発明を説明する。以下の記載は、本発明の実施形態の完全な理解のため、且つその実施を可能にするため、具体的詳細事項を提供するものである。しかしながら、当業者に理解されるように、本発明はこれらの詳細事項なしでも実行され得るものである。また、周知の構造及び機能については、本発明の実施形態を不必要に不明りょうにしないよう、詳細に示したり記載したりすることはしないこととする。“一実施形態”についての言及は、同一実施形態について言及するものである場合もあるが、必ずしも同一実施形態について言及するものではない。
ここでは、“ロジック”は装置内の動作に作用するように適合され得る任意の回路及び/又はメモリ構成を呼ぶものとする。ロジックは、装置メモリに記憶された情報で、例えばマイクロプロセッサ、デジタル信号処理器、マイクロコントローラ等の処理装置に与えられる信号を有してもよい。ソフトウェアはこのようなロジックの一例である。ロジックを有しうる装置メモリの例には、RAM(ランダム・アクセス・メモリ)、フラッシュメモリ、ROM(読み出し専用メモリ)、EPROM(消去可能なプログラマブルROM)、大容量記憶装置(mass storage)、キャッシュメモリ及びEEPROMが含まれる。ロジックはまたデジタル及び/又はアナログの電気ハードウェア回路に含まれてもよいし、ソフトウェアとハードウェアの組み合わせで形成されてもよい。
図1は、複数のデータ処理ノードを有する情報流通システムの一実施形態を示すブロック図である。ノードは記憶や情報処理の機能を集めたものである。議論を簡単にするため、1つ以上のプロセッサ、スケジューラ、アービタ(arbiter)、メモリ、回路、バス、インターフェース等を含み得る種々の構成要素をノードの説明から除くこととする。
種々のデータ処理ノード104乃至107は相互接続(インターコネクト)102を介して互いに交信する。個々のノード内で、構成要素群は相互接続に頼ることなく“ローカルに”互いに交信してもよい。換言すれば、ノード間通信は相互接続102を介して行われ、ノード内通信は相互接続102を用いることなく行われる。
相互接続102は、1つ又は複数のルータ、スイッチ、データネットワーク、交差接続(クロスコネクト)、高性能バス、及び/又は電気情報や光情報を送るためのその他の機構を有してもよい。相互接続は、通信に関連するアドレス又はその他の宛先識別子に従って、相互接続に結合された装置間の通信経路を決定する。データ処理ノード104乃至107は相互接続102を介してデータ流通ネットワーク110と情報を通信する。
このようなシステムは音声/映像流通システムとしての機能を果たすことができ、ノード104乃至107は相異なる音声/映像ストリームをケーブルテレビ、インターネット及びその他のメディア流通網に同時配信することを可能にする。大容量記憶装置、キャッシュ及び入/出力の容量は更なるデータ処理ノードを含めることにより増大されるので、システムは容易に拡張可能である。
図2は、情報流通システムの一実施形態におけるノードをより詳細に示すブロック図である。データ処理ノード104乃至107の各々は大容量記憶装置、情報キャッシュ及び入/出力(I/O)機能を有する。用語I/Oは、ここでは、情報流通システムから外部システム(例えば、流通ネットワーク110等)へ情報を直接あるいは中間段階を介して提供するロジックに適用される。I/O機能はまた、ある状況では、流通システムへの情報を受け取る。
具体的には、ノード104は大容量記憶装置112、キャッシュ118及びI/O124を有している。ノード105は大容量記憶装置113、キャッシュ119及びI/O125を有している。ノード106は大容量記憶装置114、キャッシュ120及びI/O126を有している。ノード107は大容量記憶装置115、キャッシュ121及びI/O127を有している。
各ノード104乃至107は相互接続102に結合され、そのような結合を介して大容量記憶装置112乃至115及びキャッシュ118乃至121から情報を受け取ることが可能である。I/O124乃至127は、そのI/Oを有するノードの大容量記憶装置及び/又はキャッシュから、あるいは異なるノードの大容量記憶装置及び/又はキャッシュから情報を受け取ることが可能である。大容量記憶装置又はキャッシュに含まれる情報は大容量記憶装置又はキャッシュのコンテンツと呼ぶことができる。
情報配信性能を向上させるため、個々の大容量記憶装置から相互接続102に与えられた情報はまた、その大容量記憶装置に関連するキャッシュ(例えば、その大容量記憶装置に付随するノードのキャッシュ)に与えられてもよい。その情報へのI/O124乃至127によるその後のアクセスが、仮にそのようなアクセスが大容量記憶装置に振り向けられた場合よりも短時間で遂行されるように、キャッシュはその情報の複製を記憶し得る。キャッシュ118乃至121はまた、I/O124乃至127によって大容量記憶装置112乃至115の情報へのアクセスが試みられる前に予測的に、該情報にアクセスしそれを記憶してもよい。
個々のキャッシュのコンテンツは少なくとも部分的には、図5に関連して更に述べられるように、相互接続102を介して与えられる制御信号によって決定されてもよい。キャッシュの利用を促進するため、キャッシュ118乃至121のコンテンツは、別々のノードのキャッシュ間で情報が重複しないように管理されてもよい。さらに、個々のノードのキャッシュは、異なる1つ又は複数のノードの大容量記憶装置からの情報を記憶してもよく、その他のノードからの追加情報をキャッシュに格納することで性能が向上される状況で有益である。換言すれば、キャッシュ118乃至121は大容量記憶装置112乃至115のコンテンツに対して広く分配されたキャッシュとして機能する。
図3は、データ処理システムにおけるノードの一実施形態を示すブロック図である。ノード104は大容量記憶装置112、キャッシュ118及びI/O124を有している。大容量記憶装置112はキャッシュ118とI/O124とに結合されている。キャッシュ118はI/O124に結合されている。I/O124は、相互接続102を介して、システムの他の大容量記憶装置及び/又はキャッシュの情報にアクセスし得る。I/O124はまた、例えば相互接続102を介して情報を通信することなく、大容量記憶装置112及び/又はキャッシュ118の情報に“ローカルに”アクセスし得る。このように相互接続を迂回することにより、I/Oによってアクセスされる情報がそのI/Oを有する同一ノードのコンテンツであるとき、情報流通性能が向上され得る。
図4は、別個の大容量記憶装置及びI/Oノードを有するデータ処理システムの一実施形態を示すブロック図である。ノード104乃至107は大容量記憶装置及びキャッシュ機能を有している。I/O機能は大容量記憶装置及びキャッシュ機能から区別され、I/Oロジック124乃至127によって設けられている。ノード104乃至107は記憶ノードと呼ぶことができ、I/O124乃至127はI/Oノードと呼ぶことができる。故に、大容量記憶装置及びキャッシュの容量は更なる記憶ノードを含めることによって増大され得る。I/Oの容量は更なるI/Oノードを含めることによって記憶装置及びキャッシュの容量から独立して増大され得る。I/O124乃至127は相互接続102を介して大容量記憶装置112乃至115及びキャッシュ118乃至121の情報にアクセスする。個々の記憶ノードのキャッシュは、そのキャッシュを有するノードの大容量記憶装置からのコンテンツ、及び/又は1つ又は複数の他の記憶ノードの大容量記憶装置からのコンテンツを記憶し得る。換言すれば、キャッシュ118乃至121は広く分配されたキャッシュ資源として全ての記憶ノードに利用され得る。
図5は、キャッシュ管理を含むデータ処理システムの一実施形態を示すブロック図である。キャッシュ118乃至121は、キャッシュ118乃至121の情報がI/O124乃至127によって相互接続102を介してアクセスされ得るように、相互接続102に結合されている。制御及び/又は情報のアクセスはまた、相互接続102とキャッシュ118乃至121との間にも設けられている。キャッシュ管理ロジック502は相互接続102に結合され、相互接続102を介してキャッシュ118乃至121のコンテンツを操作することが可能である。
その他のシステムは、キャッシュ管理装置502とキャッシュ118乃至121との間に、相互接続102を含まない結合を有してもよい。そのようなシステムでは、キャッシュ管理装置502は相互接続102を介して信号及び/又は情報を通信することなく、キャッシュ118乃至121のコンテンツを操作することが可能である。
キャッシュ制御装置502は、過去の、現在の及び/又は予測された将来の情報配信要求に従って、キャッシュ118乃至121のコンテンツを操作してもよい(コンテンツに作用してもよい)。例えば、大容量記憶装置112乃至115の内の需要が多いと予測された特定の大容量記憶装置の情報は、キャッシュ118乃至121の複数個に(大きな重複なく)記憶されてもよい。故に、広く分配されたキャッシュ資源の利用により、モジュールの大容量記憶装置、キャッシュ及びI/Oの拡張性という利点を維持しながら情報流通性能が向上され得る。
図6は、キャッシュ管理を含むデータ処理システムの他の一実施形態を示すブロック図である。記憶ノード104乃至107は大容量記憶装置及びキャッシュを有している。具体的には、記憶ノード104は大容量記憶装置112及びキャッシュ118を有し、記憶ノード105は大容量記憶装置113及びキャッシュ119を有し、記憶ノード106は大容量記憶装置114及びキャッシュ120を有し、そして記憶ノード107は大容量記憶装置115及びキャッシュ121を有している。
I/Oノード602乃至605はI/O機能及びキャッシュを有している。具体的には、I/Oノード602はI/O124及びキャッシュ610を有し、I/Oノード603はI/O125及びキャッシュ611を有し、I/Oノード604はI/O126及びキャッシュ612を有し、そしてI/Oノード605はI/O127及びキャッシュ613を有している。キャッシュ118乃至121は記憶キャッシュと呼ぶことができ、キャッシュ610乃至613はI/Oキャッシュと呼ぶことができる。相互接続102は、記憶キャッシュ118乃至121の情報にアクセスするために結合されている。I/Oキャッシュ610乃至613は、相互接続102を介してI/Oノード602乃至605に与えられる情報を受け取り、且つ記憶するために結合されている。個々のI/O124乃至127は、キャッシュ118乃至121の情報と、そのI/Oが属するI/Oノードに含まれるキャッシュの情報とにアクセスすることが可能である。例えば、I/O124はキャッシュ118乃至121の情報にアクセスすることができ、さらにキャッシュ610の情報にアクセスすることができる。I/Oノードのキャッシュに記憶される情報は、そのノードのI/Oによって配信された過去の、現在の、及び予測された将来の情報に従って決定されてもよい。また、I/Oキャッシュに記憶される情報は、(例えば、複数のI/Oノードが協働して関連する一組の情報を配信する場合)そのキャッシュを有するI/Oノード以外のI/Oノードによって配信された情報によって決定されることも可能である。キャッシュ管理装置502は、I/Oキャッシュ610乃至613に記憶される情報に少なくとも部分的に作用するように相互接続102を介して動作してもよい。換言すれば、キャッシュ118乃至121及びI/Oキャッシュ610乃至613は、ローカルなI/Oキャッシングの利点を少なくとも部分的に維持しながら、グローバルに分配されたキャッシュの利点をI/O124乃至127にもたらすように動作させられてもよい。
その他のシステムは、キャッシュ管理装置502とI/Oキャッシュ610乃至613との間に、相互接続102を含まない結合を有してもよい。そのようなシステムでは、キャッシュ管理装置502は相互接続102を介して信号及び/又は情報を通信することなく、I/Oキャッシュ610乃至613のコンテンツを操作することが可能である。
図7は、インターフェース・ロジックを含むデータ処理システムのノードの一実施形態を示すブロック図である。インターフェース・ロジック702は、相互接続102から信号を受け取り、相互接続102からの信号を適用してキャッシュ118のコンテンツを操作するように構成されている。インターフェース・ロジック702はさらに、大容量記憶装置112から情報を受け取り、大容量記憶装置112からの情報を適用してキャッシュ118のコンテンツを操作するように構成されている。インターフェース・ロジック702はさらに、キャッシュ118及び大容量記憶装置112からのコンテンツを相互接続102に与えるように構成されてもよい。I/Oロジック124はインターフェース・ロジック702と協働してキャッシュ118、大容量記憶装置112及び/又は相互接続102からコンテンツを取り出すように構成されてもよい。I/Oロジック124がI/Oノード(例えば、図6のI/Oノード602)に含まれるシステムでは、I/Oロジック124は各記憶ノードのインターフェース・ロジックと協働し、相互接続を介して各記憶ノードのキャッシュ及び大容量記憶装置から情報コンテンツを取り出すように構成されてもよい。
図8は、インターフェース・ロジックを含むデータ処理システムのI/Oノードの一実施形態を示すブロック図である。インターフェース・ロジック802は、相互接続102から信号を受け取り、相互接続102からの信号を適用してキャッシュ610のコンテンツを操作するように構成されている。インターフェース・ロジック802はさらに、キャッシュ610からのコンテンツを相互接続102に与えるように構成されてもよい。I/Oロジック124はインターフェース・ロジック802と協働してI/Oキャッシュ610から、及び種々の記憶ノード及び/又は他のI/Oノードのキャッシュ及び大容量記憶装置から、コンテンツを取り出すように構成されてもよい。
図9は、データ処理システムの他の一実施形態を示すブロック図である。このシステムは大容量記憶ノード112乃至115、I/Oノード602乃至605、及びキャッシュノード902乃至905を有している。このシステムでは、I/O機能、キャッシュ及び大容量記憶装置の各々が互いに独立して付加され、また除去される。各キャッシュノード902乃至905は、相互接続102から信号を受け取り、相互接続102からの信号を適用して当該ノードのキャッシュのコンテンツを操作するように構成され得る。各キャッシュノード902乃至905はさらに、当該ノードのキャッシュからのコンテンツを相互接続102に与えるように構成されてもよい。
I/Oノード602乃至605はI/O機能、及び必要に応じてキャッシュを有している。I/Oノード602乃至605は、相互接続102を介して与えられる情報を受け取るように結合されている。個々のI/Oノード602乃至605は、キャッシュノード902乃至905及び大容量記憶ノード112乃至115の情報、並びに(当該I/Oノードがキャッシュを有する場合には)そのI/Oが属するI/Oノードに含まれるキャッシュの情報にアクセスすることが可能である。例えば、I/Oノード602はキャッシュノード902乃至905及び大容量記憶ノード112乃至115の情報にアクセスすることができ、さらにキャッシュ610の情報にアクセスすることができる。一部の実施形態では、I/Oノードは1つ又は複数の他のI/Oノードのキャッシュの情報にアクセスしてもよい。
何れかのキャッシュノードのキャッシュに記憶される情報は、任意の1つ又は複数のI/Oノード602乃至605によって配信された過去の、現在の、及び予測された将来の情報に従って決定されてもよい。キャッシュ管理装置502はキャッシュノード902乃至905に記憶された情報に作用するように相互接続102を介して動作してもよい。その他のシステムは、キャッシュ管理装置502とキャッシュノード902乃至905との間に、相互接続102を含まない結合を有してもよい。そのようなシステムでは、キャッシュ管理装置502は相互接続102を介して信号及び/又は情報を通信することなく、キャッシュノード902乃至905のコンテンツを操作することが可能である。
一部の実施形態では、キャッシュ管理装置502はまた、I/Oノード602乃至605に含まれる様々なI/Oノードによって配信された情報に従って、I/Oノード602乃至605のキャッシュのコンテンツに少なくとも部分的に作用するように動作してもよい。
より多い記憶装置、I/O、及び/又はキャッシュノードを有するシステム、その逆のシステム、又は、一部のI/Oロジック、I/O、及び/又はキャッシュノードに対する制限事由に基づいて一部の記憶ノードが利用不能、或いは利用可能であるシステム等、種々の代替構成が存在する。
複数のデータ処理ノードを有する情報流通システムの一実施形態を示すブロック図である。 情報流通システムの一実施形態のノードをより詳細に示すブロック図である。 データ処理システムのノードの一実施形態を示すブロック図である。 別個の大容量記憶装置及び入/出力ノードを有するデータ処理システムの一実施形態を示すブロック図である。 キャッシュ管理を含むデータ処理システムの一実施形態を示すブロック図である。 キャッシュ管理を含むデータ処理システムの他の一実施形態を示すブロック図である。 インターフェース・ロジックを含むデータ処理システムのノードの一実施形態を示すブロック図である。 インターフェース・ロジックを含むデータ処理システムの入/出力ノードの一実施形態を示すブロック図である。 キャッシュ管理を含むデータ処理システムの他の一実施形態を示すブロック図である。

Claims (19)

  1. 相互接続;並びに
    前記相互接続に結合された複数のデータ処理ノードであり、各データ処理ノードが
    大容量記憶装置;
    キャッシュ;及び
    前記相互接続から信号を受け取り、該相互接続からの信号を適用して前記キャッシュのコンテンツに作用するように構成され、且つ前記大容量記憶装置から信号を受け取り、該大容量記憶装置からの信号を適用して前記キャッシュのコンテンツに作用するように構成されたインターフェース・ロジック;
    を有する複数のデータ処理ノード;
    を有するシステム。
  2. 請求項1に記載のシステムであって:
    前記相互接続に結合され、且つ該相互接続を介して各データ処理ノードのキャッシュのコンテンツに作用するように構成されたキャッシュ管理ロジック
    をさらに有するシステム。
  3. 請求項1に記載のシステムであって:
    各データ処理ノードがI/Oロジックを有し、且つ
    当該システムが、各データ処理ノードのI/Oロジックがローカルのキャッシュ及びローカルの大容量記憶装置からコンテンツを取り出すこと、並びに前記相互接続を介して他のデータ処理ノードのキャッシュ及び大容量記憶装置からコンテンツを取り出すこと、を可能にするロジックを有する、
    ところのシステム。
  4. 請求項1に記載のシステムであって:
    各データ処理ノードのキャッシュからのコンテンツを前記相互接続を介してその他の各データ処理ノードに与えるロジック
    をさらに有するシステム。
  5. 請求項4に記載のシステムであって:
    各々が前記相互接続に結合された複数のI/Oノード;及び
    前記I/Oノードが前記相互接続を介して前記データ処理ノードのキャッシュ及び大容量記憶装置から情報コンテンツを取り出すことを可能にするロジック;
    をさらに有するシステム。
  6. 請求項5に記載のシステムであって:
    各I/Oノードがキャッシュを有する、ところのシステム。
  7. 請求項6に記載のシステムであって:
    前記相互接続に結合され、該相互接続を介して各I/Oノードのキャッシュのコンテンツに作用するように構成されたキャッシュ管理ロジック
    をさらに有するシステム。
  8. 相互接続を介して結合された少なくとも第1及び第2のノードであり、各々が大容量記憶装置及びキャッシュを有する少なくとも第1及び第2のノード;
    前記第1のノードの大容量記憶装置のコンテンツを前記第1及び第2のノードのキャッシュの一方又は両方に格納し、前記第2のノードの大容量記憶装置のコンテンツを前記第1及び第2のノードのキャッシュの一方又は両方に格納し、且つ前記第1及び第2のノードのキャッシュ間のコンテンツの重複を削減するロジック;
    第1及び第2のI/Oロジック;並びに
    各ノードの大容量記憶装置及びキャッシュからのコンテンツを各I/Oロジックに与えるロジック;
    を有するシステム。
  9. 請求項8に記載のシステムであって:
    前記第1及び第2のノードのキャッシュのコンテンツを前記相互接続を介して管理するロジック
    をさらに有するシステム。
  10. 請求項8に記載のシステムであって:
    前記第1のノードが前記第1のI/Oロジックを有し、前記第2のノードが前記第2のI/Oロジックを有し、且つ各ノードのI/Oロジックが当該I/Oロジックを有するノードの大容量記憶装置及びキャッシュのコンテンツにローカルにアクセスするように構成されている、ところのシステム。
  11. 請求項8に記載のシステムであって:
    前記第1のI/Oロジックを有する第1のI/Oノード、前記第2のI/Oロジックを有する第2のI/Oノード、及び各I/Oノードが前記相互接続を介して前記第1及び第2のI/Oノードのコンテンツにアクセスすることを可能にするロジック、
    をさらに有するシステム。
  12. 請求項11に記載のシステムであって:
    各I/Oノードがキャッシュを有する、ところのシステム。
  13. 相互接続を介して少なくとも第1及び第2のキャッシュノードに結合された少なくとも第1及び第2の大容量記憶ノード;
    前記第1の大容量記憶ノードのコンテンツを前記第1及び第2のキャッシュノードの一方又は両方に格納し、前記第2の大容量記憶ノードのコンテンツを前記第1及び第2のキャッシュノードの一方又は両方に格納し、且つ前記第1及び第2のキャッシュノード間のコンテンツの重複を削減するロジック;
    第1及び第2のI/Oノード;並びに
    前記第1及び第2の大容量記憶ノードの何れか、及び前記第1及び第2のキャッシュノードの何れかからのコンテンツを前記第1及び第2のI/Oノードに与えるロジック;
    を有するシステム。
  14. 請求項13に記載のシステムであって:
    前記第1及び第2のキャッシュノードのコンテンツを前記相互接続を介して管理するロジック
    をさらに有するシステム。
  15. 請求項13に記載のシステムであって:
    前記第1及び第2のI/Oノードの各々がI/Oロジック及びキャッシュを有し;且つ
    当該システムが、前記第1及び第2のキャッシュノードと前記第1及び第2のI/Oノードのキャッシュとのコンテンツを前記相互接続を介して管理するロジックを有する;
    ところのシステム。
  16. 相互接続;並びに
    前記相互接続に結合された複数のデータ処理ノードであり、各データ処理ノードが
    キャッシュ;
    I/Oロジック;及び
    前記相互接続から信号を受け取り、該相互接続からの信号を適用して前記キャッシュのコンテンツに作用するように構成され、且つ大容量記憶装置から信号を受け取り、該大容量記憶装置からの信号を適用して前記キャッシュのコンテンツに作用するように構成されたインターフェース・ロジック;
    を有する複数のデータ処理ノード;
    を有するシステム。
  17. 請求項16に記載のシステムであって:
    前記相互接続に結合され、且つ該相互接続を介して各データ処理ノードのキャッシュのコンテンツに作用するように構成されたキャッシュ管理ロジック
    をさらに有するシステム。
  18. 請求項16に記載のシステムであって:
    各データ処理ノードのI/Oロジックがローカルのキャッシュからコンテンツを取り出すこと、前記相互接続を介して前記大容量記憶装置からコンテンツを取り出すこと、及び前記相互接続を介して他のデータ処理ノードのキャッシュのコンテンツを取り出すこと、を可能にするロジック
    をさらに有するシステム。
  19. 請求項16に記載のシステムであって:
    各データ処理ノードのキャッシュからのコンテンツを前記相互接続を介してその他の各データ処理ノードに与えるロジック
    をさらに有するシステム。
JP2007510677A 2004-04-26 2004-06-02 拡張可能な情報流通システム用のキャッシュメモリ Expired - Lifetime JP5094388B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/832,489 2004-04-26
US10/832,489 US7200718B2 (en) 2004-04-26 2004-04-26 Cache memory for a scalable information distribution system
PCT/US2004/017548 WO2005109204A1 (en) 2004-04-26 2004-06-02 Cache memory for a scalable information distribution system

Publications (2)

Publication Number Publication Date
JP2007536611A true JP2007536611A (ja) 2007-12-13
JP5094388B2 JP5094388B2 (ja) 2012-12-12

Family

ID=35137803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007510677A Expired - Lifetime JP5094388B2 (ja) 2004-04-26 2004-06-02 拡張可能な情報流通システム用のキャッシュメモリ

Country Status (6)

Country Link
US (3) US7200718B2 (ja)
EP (1) EP1763758B1 (ja)
JP (1) JP5094388B2 (ja)
AU (1) AU2004319419A1 (ja)
CA (1) CA2564166A1 (ja)
WO (1) WO2005109204A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7975109B2 (en) 2007-05-30 2011-07-05 Schooner Information Technology, Inc. System including a fine-grained memory and a less-fine-grained memory
US8051246B1 (en) * 2007-12-21 2011-11-01 Symantec Corporation Method and apparatus for utilizing a semiconductor memory of a node as a disk cache
US8306951B2 (en) 2009-09-18 2012-11-06 Oracle International Corporation Automated integrated high availability of the in-memory database cache and the backend enterprise database
US8401994B2 (en) * 2009-09-18 2013-03-19 Oracle International Corporation Distributed consistent grid of in-memory database caches
US8229945B2 (en) 2008-03-20 2012-07-24 Schooner Information Technology, Inc. Scalable database management software on a cluster of nodes using a shared-distributed flash memory
US8732386B2 (en) * 2008-03-20 2014-05-20 Sandisk Enterprise IP LLC. Sharing data fabric for coherent-distributed caching of multi-node shared-distributed flash memory
US8537835B2 (en) * 2008-06-20 2013-09-17 Alcatel Lucent Methods and apparatus for self-organized caching in a content delivery network
US9164554B2 (en) 2010-04-12 2015-10-20 Sandisk Enterprise Ip Llc Non-volatile solid-state storage system supporting high bandwidth and random access
US9047351B2 (en) 2010-04-12 2015-06-02 Sandisk Enterprise Ip Llc Cluster of processing nodes with distributed global flash memory using commodity server technology
US8868487B2 (en) 2010-04-12 2014-10-21 Sandisk Enterprise Ip Llc Event processing in a flash memory-based object store
US8677055B2 (en) 2010-04-12 2014-03-18 Sandisk Enterprises IP LLC Flexible way of specifying storage attributes in a flash memory-based object store
US8856593B2 (en) 2010-04-12 2014-10-07 Sandisk Enterprise Ip Llc Failure recovery using consensus replication in a distributed flash memory system
US8954385B2 (en) 2010-06-28 2015-02-10 Sandisk Enterprise Ip Llc Efficient recovery of transactional data stores
US8694733B2 (en) 2011-01-03 2014-04-08 Sandisk Enterprise Ip Llc Slave consistency in a synchronous replication environment
US8874515B2 (en) 2011-04-11 2014-10-28 Sandisk Enterprise Ip Llc Low level object version tracking using non-volatile memory write generations
US9135064B2 (en) 2012-03-07 2015-09-15 Sandisk Enterprise Ip Llc Fine grained adaptive throttling of background processes
US9864816B2 (en) 2015-04-29 2018-01-09 Oracle International Corporation Dynamically updating data guide for hierarchical data objects
US10191944B2 (en) 2015-10-23 2019-01-29 Oracle International Corporation Columnar data arrangement for semi-structured data

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816470A (ja) * 1994-07-04 1996-01-19 Hitachi Ltd 並列計算機
JPH1141587A (ja) * 1997-07-22 1999-02-12 Hitachi Ltd 映像配送装置
JPH1198446A (ja) * 1997-09-18 1999-04-09 Fujitsu Ltd ビデオサーバシステム、コンテンツ動的配置方法及びデータ送出装置
US6173374B1 (en) * 1998-02-11 2001-01-09 Lsi Logic Corporation System and method for peer-to-peer accelerated I/O shipping between host bus adapters in clustered computer network
JP2001256003A (ja) * 2000-03-10 2001-09-21 Hitachi Ltd ディスクアレイ制御装置、そのディスクアレイ制御ユニットおよびその増設方法
US6330649B1 (en) * 1987-12-22 2001-12-11 Sun Microsystems, Inc. Multiprocessor digital data processing system
WO2002017086A2 (en) * 2000-08-21 2002-02-28 Intel Corporation Method and apparatus for pipelining ordered input/output transactions in a cache coherent, multi-processor system
US20020078309A1 (en) * 2000-12-19 2002-06-20 International Business Machines Corporation Apparatus for associating cache memories with processors within a multiprocessor data processing system
JP2003099354A (ja) * 2001-09-25 2003-04-04 Toshiba Corp 情報提供システム及び視聴者装置
JP2003122658A (ja) * 2001-10-11 2003-04-25 Hitachi Ltd データ配送方法
JP2003296039A (ja) * 2002-04-02 2003-10-17 Hitachi Ltd クラスタ構成記憶システム及び制御方法
JP2004511840A (ja) * 2000-08-31 2004-04-15 オラクル・インターナショナル・コーポレイション 他のノードのキャッシュに基づくあるノードのキャッシュ内のデータの置換管理

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US629579A (en) * 1898-12-07 1899-07-25 Margaret Maguire Muff-lining.
US4371929A (en) 1980-05-05 1983-02-01 Ibm Corporation Multiprocessor system with high density memory set architecture including partitionable cache store interface to shared disk drive memory
US4394733A (en) 1980-11-14 1983-07-19 Sperry Corporation Cache/disk subsystem
US4476526A (en) 1981-11-27 1984-10-09 Storage Technology Corporation Cache buffered memory subsystem
DE3686291T2 (de) 1985-05-29 1993-03-11 Toshiba Computer Eng Cache-anordnung mit einem lru-verfahren und magnetscheibensteuereinrichtung mit einer solchen anordnung.
US4977495A (en) 1988-02-29 1990-12-11 Unisys Corporation System and method for accessing a cache memory which is located in the main memory of a large data processing system
US5535116A (en) 1993-05-18 1996-07-09 Stanford University Flat cache-only multi-processor architectures
DE69621263T2 (de) 1995-01-23 2002-12-19 Compaq Computer Corp., Houston Verteilter Datencachespeicher für Multiprozessorsystem mit Cachespeicher
US6061504A (en) 1995-10-27 2000-05-09 Emc Corporation Video file server using an integrated cached disk array and stream server computers
US5933603A (en) 1995-10-27 1999-08-03 Emc Corporation Video file server maintaining sliding windows of a video data set in random access memories of stream server computers for immediate video-on-demand service beginning at any specified location
US5872588A (en) * 1995-12-06 1999-02-16 International Business Machines Corporation Method and apparatus for monitoring audio-visual materials presented to a subscriber
US6049847A (en) 1996-09-16 2000-04-11 Corollary, Inc. System and method for maintaining memory coherency in a computer system having multiple system buses
US5809536A (en) 1996-12-09 1998-09-15 Intel Corporation, Inc. Method for reducing the number of coherency cycles within a directory-based cache coherency memory system uitilizing a memory state cache
US6085263A (en) 1997-10-24 2000-07-04 Compaq Computer Corp. Method and apparatus for employing commit-signals and prefetching to maintain inter-reference ordering in a high-performance I/O processor
US5860101A (en) 1997-12-17 1999-01-12 International Business Machines Corporation Scalable symmetric multiprocessor data-processing system with data allocation among private caches and segments of system memory
US5893163A (en) 1997-12-17 1999-04-06 International Business Machines Corporation Method and system for allocating data among cache memories within a symmetric multiprocessor data-processing system
US6467022B1 (en) 1998-04-16 2002-10-15 International Business Machines Corporation Extending adapter memory with solid state disks in JBOD and RAID environments
TW456619U (en) 1999-07-16 2001-09-21 Molex Inc Impedance-tuned termination assembly and connectors incorporating same
EP1374080A2 (en) * 2001-03-02 2004-01-02 Kasenna, Inc. Metadata enabled push-pull model for efficient low-latency video-content distribution over a network
US20030095783A1 (en) 2001-11-21 2003-05-22 Broadbus Technologies, Inc. Methods and apparatus for generating multiple network streams from a large scale memory buffer
US7149846B2 (en) 2002-04-17 2006-12-12 Lsi Logic Corporation RAID protected external secondary memory
US7096323B1 (en) * 2002-09-27 2006-08-22 Advanced Micro Devices, Inc. Computer system with processor cache that stores remote cache presence information

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330649B1 (en) * 1987-12-22 2001-12-11 Sun Microsystems, Inc. Multiprocessor digital data processing system
US6295579B1 (en) * 1994-07-04 2001-09-25 Hitachi, Ltd. Parallel processor system including a cache memory subsystem that has independently addressable local and remote data areas
JPH0816470A (ja) * 1994-07-04 1996-01-19 Hitachi Ltd 並列計算機
JPH1141587A (ja) * 1997-07-22 1999-02-12 Hitachi Ltd 映像配送装置
JPH1198446A (ja) * 1997-09-18 1999-04-09 Fujitsu Ltd ビデオサーバシステム、コンテンツ動的配置方法及びデータ送出装置
US6173374B1 (en) * 1998-02-11 2001-01-09 Lsi Logic Corporation System and method for peer-to-peer accelerated I/O shipping between host bus adapters in clustered computer network
JP2001256003A (ja) * 2000-03-10 2001-09-21 Hitachi Ltd ディスクアレイ制御装置、そのディスクアレイ制御ユニットおよびその増設方法
WO2002017086A2 (en) * 2000-08-21 2002-02-28 Intel Corporation Method and apparatus for pipelining ordered input/output transactions in a cache coherent, multi-processor system
JP2004511840A (ja) * 2000-08-31 2004-04-15 オラクル・インターナショナル・コーポレイション 他のノードのキャッシュに基づくあるノードのキャッシュ内のデータの置換管理
US20020078309A1 (en) * 2000-12-19 2002-06-20 International Business Machines Corporation Apparatus for associating cache memories with processors within a multiprocessor data processing system
JP2003099354A (ja) * 2001-09-25 2003-04-04 Toshiba Corp 情報提供システム及び視聴者装置
JP2003122658A (ja) * 2001-10-11 2003-04-25 Hitachi Ltd データ配送方法
JP2003296039A (ja) * 2002-04-02 2003-10-17 Hitachi Ltd クラスタ構成記憶システム及び制御方法

Also Published As

Publication number Publication date
EP1763758A4 (en) 2008-06-25
JP5094388B2 (ja) 2012-12-12
CA2564166A1 (en) 2005-11-17
US20080140678A1 (en) 2008-06-12
EP1763758A1 (en) 2007-03-21
WO2005109204A1 (en) 2005-11-17
US20050240723A1 (en) 2005-10-27
US7970999B2 (en) 2011-06-28
US20070162694A1 (en) 2007-07-12
US7200718B2 (en) 2007-04-03
AU2004319419A1 (en) 2005-11-17
EP1763758B1 (en) 2018-12-05
US7346738B2 (en) 2008-03-18

Similar Documents

Publication Publication Date Title
US7970999B2 (en) Cache memory for a scalable information distribution system
US6961825B2 (en) Cache coherency mechanism using arbitration masks
US7395376B2 (en) Method, apparatus, and computer program product for a cache coherency protocol state that predicts locations of shared memory blocks
US6374331B1 (en) Distributed directory cache coherence multi-processor computer architecture
US6751703B2 (en) Data storage systems and methods which utilize an on-board cache
US8818942B2 (en) Database system with multiple layer distribution
US10552936B2 (en) Solid state storage local image processing system and method
US7386680B2 (en) Apparatus and method of controlling data sharing on a shared memory computer system
US20060242283A1 (en) System and method for managing local storage resources to reduce I/O demand in a storage area network
JP2006516341A (ja) 分散ファイルシステムを伴うストレージキャッシングの使用方法およびシステム
JPH076092A (ja) ライト・バック・キャッシュ・メモリおよびキャッシュ・メモリ内のキャッシュ・ラインを置換する方法
CN101127008A (zh) 用于预测性选择预取操作的范围的数据处理系统和方法
US12045187B2 (en) Routing network using global address map with adaptive main memory expansion for a plurality of home agents
US20100180066A1 (en) Electronically addressed non-volatile memory-based kernel data cache
KR20030004419A (ko) 비휘발성 메모리를 버퍼링하기 위한 휘발성 메모리의 사용
US20090248989A1 (en) Multiprocessor computer system with reduced directory requirement
CN102065073B (zh) 向协议层直接提供数据消息
US20040093390A1 (en) Connected memory management
US6952761B2 (en) Bus interface selection by page table attributes
WO2007001518A1 (en) Media stream distribution system
EP0489583A2 (en) Multiple processor cache control system
US8504657B2 (en) Media stream distribution system
US20130061002A1 (en) Performance optimization and dynamic resource reservation for guaranteed coherency updates in a multi-level cache hierarchy
JP2004054845A (ja) データ管理装置
CN100520748C (zh) 数据处理系统

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101208

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110114

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120206

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120306

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120918

R150 Certificate of patent or registration of utility model

Ref document number: 5094388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term