JP2006268556A - ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法 - Google Patents

ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法 Download PDF

Info

Publication number
JP2006268556A
JP2006268556A JP2005086814A JP2005086814A JP2006268556A JP 2006268556 A JP2006268556 A JP 2006268556A JP 2005086814 A JP2005086814 A JP 2005086814A JP 2005086814 A JP2005086814 A JP 2005086814A JP 2006268556 A JP2006268556 A JP 2006268556A
Authority
JP
Japan
Prior art keywords
memory
memory module
input
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005086814A
Other languages
English (en)
Other versions
JP4274140B2 (ja
Inventor
Takashi Abe
崇 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005086814A priority Critical patent/JP4274140B2/ja
Priority to US11/387,951 priority patent/US7636867B2/en
Priority to CNB2006100680833A priority patent/CN100410888C/zh
Publication of JP2006268556A publication Critical patent/JP2006268556A/ja
Application granted granted Critical
Publication of JP4274140B2 publication Critical patent/JP4274140B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C29/00Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70Masking faults in memories by using spares or by reconfiguring
    • G11C29/78Masking faults in memories by using spares or by reconfiguring using programmable devices
    • G11C29/84Masking faults in memories by using spares or by reconfiguring using programmable devices with improved access time or stability
    • G11C29/848Masking faults in memories by using spares or by reconfiguring using programmable devices with improved access time or stability by adjacent switching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1666Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1658Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Memory System (AREA)
  • For Increasing The Reliability Of Semiconductor Memories (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】 シリアル伝送方式のメモリシステムで、システムを停止させずに障害メモリモジュールの交換を可能にする。
【解決手段】 開示されるホットスワップ機能付きメモリシステムでは、順次直列に接続されたメモリモジュール28,29,30を備えたシリアル伝送方式のメモリシステムにおいて、メモリコントローラ25が、メモリモジュール列の一端を一方の入出力部に接続され、常時はリード信号線26Aとライト信号線26Bを介して各メモリモジュールにアクセスしてデータのリード/ライトを行い、メモリモジュールの障害時、障害メモリとその前段のメモリモジュールとを切り離し、障害メモリモジュールの次段以降のメモリモジュールと末端に接続された予備メモリモジュール31とを、リード信号線26Bとライト信号線27Bとを介して順次直列に他方の入出力部に接続してアクセスすることで、障害メモリモジュールを挿抜可能な状態にする制御を行う。
【選択図】 図1

Description

この発明は、記憶装置としてメモリモジュールを使用する情報処理機器等のシステムにおいて、メモリエラーが発生した等の場合に、システムを停止させることなく障害メモリモジュールを交換することが可能な、ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法に関する。
サーバ等の情報処理装置においては、主記憶装置としてメモリモジュールを使用することが多いが、メモリモジュールにエラーや故障が発生した場合における、メモリモジュールの交換方法としては、システムを停止させて行うのが一般的であって、通常は、システムを停止させないでメモリモジュールを交換することはできなかった。これは、システムを稼働させ続けるためには、メモリへのアクセスを中断することができないためである。
これに対して、装置自体を二重化する以外に、メモリシステムのみを二重化して、常時、メモリバスごとにメモリデータを冗長保存するミラーリング方式が知られている。
図9は、メモリミラーリング方式を説明するための簡略図であって、メモリコントローラ1と、メモリバス2,3と、メモリモジュール4,5,6および7,8,9とからなる概略構成が示されている。
図9において、メモリコントローラ1は、メモリバス2,3に同じ動作を行わせることによって、メモリモジュール4と7、メモリモジュール5と8、メモリモジュール6と9にそれぞれ同じデータが書き込まれるので、いずれか一方の側のメモリモジュールを交換しようとするときは、そのメモリモジュールが接続されている側のメモリバスを停止させることによって、メモリモジュールを交換することができる。
この場合、システムは停止されていない側のメモリバスを介して、一方の側のメモリモジュールのみを用いて動作を継続することができるので、メモリモジュールの交換終了後に、交換した側のメモリバスを介して、交換後のメモリモジュールに、動作していた側のメモリモジュールと同じデータを書き込めばよい。
以上の動作方法からも知られるように、メモリミラーリング方式の場合は、装置の性能に寄与するメモリ容量は、実装されているメモリ容量の1/2となる。
このように、ミラーリング方式によれば、メモリ容量を2倍にすることが必要となるので、現状ではメモリの価格がシステム全体の価格に大きな影響を及ぼす以上、ミラーリング方式は簡単には採用できないという事情がある。
また、特許文献1記載の発明においては、複数のメモリモジュールを備え、そのバッファ部をバスを介して直列に接続したメモリシステムにおいて、メモリモジュールに格納されたデータがコピーされるハードディスク装置を備えたシステムが提案されている。
このシステムによれば、メモリモジュールを交換する際には、交換しようとするメモリモジュールに対するアクセス要求時に、ハードディスク装置の対応するアドレスにアクセスすることによってメモリモジュールの交換を可能にするとともに、交換終了後は、ハードディスク装置のデータを、交換したメモリモジュールの対応するアドレスにコピーすることによって、ホットスワップ機能を実現することができると説明されている。
しかしながら特許文献1記載の発明は、メモリモジュールを二重化する代わりに、ハードディスク装置を備えてメモリミラーリングを行うものであって、ハードディスク装置の場合、メモリモジュールに比べてアクセスに時間がかかるという問題がある。
また、予備のメモリモジュールとして1枚分のメモリモジュールのみを備えて、メモリエラーの発生時には障害メモリと予備メモリとのアクセスを切り替えることによって、システムの動作を継続できるようにする方法も考えられるが、この方法では、エラーを発生したメモリモジュールの使用停止は可能であるが、障害メモリを抜去して良品メモリと置き換えることはできない。何故ならば、障害メモリの抜去によって、メモリバスのルートが切断されるため、システム全体の動作が停止してしまうためである。
この場合、1枚分の予備メモリモジュールを備えるとともに、障害メモリと予備メモリとをスイッチで切り替える方法も考えられるが、複数のメモリモジュールが従続に接続されているメモリバス回路では、メモリアクセスを停止せずにスイッチでメモリを切り替えられるようにすると、切り替えのための回路接続が複雑になったり長くなったりするので、メモリバスの伝送波形への影響が発生するため、システムの安定動作上、問題が生じる恐れがある。
図10は、1枚分の予備メモリモジュールを備えたメモリシステムを説明するための簡略図であって、メモリコントローラ10と、メモリバス11と、メモリモジュール12,13,14,15とからなる概略構成が示されている。
図10に示されたメモリシステムで、通常はメモリモジュール12,13,14のみを使用し、メモリモジュール15を予備として使用している場合に、例えばメモリモジュール13にエラーが発生してその使用を停止させたいときは、メモリモジュール13のデータをメモリモジュール15に移動するとともに、メモリコントローラ10に、メモリモジュール13がメモリモジュール15に変わったと認識させることによって、メモリモジュール13にアクセスしないようにすればよい。
しかしながらこの場合、メモリコントローラ10がメモリモジュール13にアクセスしないときでも、メモリバス11とメモリモジュール13との配線が接続されたままのため、メモリモジュール13を取り外すとメモリバス11上の伝送波形に影響が生じるため、安定動作を行うことができなくなる。
この際、メモリモジュール13への接続をスイッチ等によって切り離しても、同様に伝送波形に影響が生じることが避けられない。
また、近年において実用化が進められているシリアル伝送方式のメモリシステムでは、スイッチ等を用いて、あるメモリモジュールへの電源供給を停止すると、次に接続されているメモリモジュールへのデータ伝送ができなくなるという問題がある。
図11は、シリアル伝送方式のメモリシステムを例示する簡略図であって、メモリコントローラ16と、リード信号線17と、ライト信号線18と、メモリモジュール19,20,21と、バッファ22,23,24とからなる概略構成が示されている。バッファ22,23,24は、それぞれメモリモジュール19,20,21上に搭載されている、データのシリアル伝送用のバッファである。
いま、図11に示されたシステムにおいて、例えばメモリモジュール20を停止させ、または切り離した場合、メモリコントローラ16は、メモリモジュール21にアクセスすることができなくなる。
この例から知られるように、シリアル伝送のメモリシステムでも、従来の方法では、システムを停止させることなく、メモリモジュールの切り離しを行うことはできなかった。
特開2004−185199
このように、従来のメモリシステムでは、ミラーリング方式の場合は、障害メモリモジュールの交換が可能であるが、メモリモジュールまたは他の記憶装置等によるシステム二重化のためにコスト上昇を免れないという問題がある。
また、従来の1枚分の予備メモリモジュールを備える方式では、コスト上昇は少ないが、障害メモリモジュール抜去の際の回路切り替え等に基づくメモリバス上の伝送波形の乱れによって安定に動作することができなくなるという問題がある。
さらに、従来のシリアル伝送方式のメモリシステムでは、システムを停止させることなく、メモリモジュールの切り離しを行うことはできなかった。
この発明は上述の事情に鑑みてなされたものであって、シリアル伝送方式のメモリシステムであって、最小限1枚分の予備メモリモジュールを備えるだけで、システムを停止させることなく障害メモリモジュールの交換を行うことが可能な、ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法を提供することを目的としている。
上記課題を解決するため、請求項1記載の発明はホットスワップ機能付きメモリシステムに係り、順次直列に接続された複数のメモリモジュールからなるメモリモジュール列を備えたシリアル伝送方式のメモリシステムにおいて、
上記メモリモジュール列の一端を一方の入出力部に接続されて、常時は第1のリード信号線と第1のライト信号線を介して各メモリモジュールにアクセスしてデータのリード/ライトを行うとともに、いずれかのメモリモジュールの障害時、該障害メモリとその前段のメモリモジュールとを切り離すととにも、上記障害メモリモジュールの次段以降のメモリモジュール列のメモリモジュールと、該メモリモジュール列の末端に接続されている予備メモリモジュールとを、第2のリード信号線と第2のライト信号線とを介して順次直列に他方の入出力部に接続してアクセスすることによって、上記障害メモリモジュールを挿抜可能な状態にする制御を行うメモリコントローラ手段を備えたことを特徴としている。
また、請求項2記載の発明は、請求項1記載のホットスワップ機能付きメモリシステムに係り、上記メモリコントローラ手段が、上記メモリモジュール列のいずれかのメモリモジュールに障害が発生したとき、該障害メモリモジュールと後段のメモリモジュール間を切り離し、該後段のメモリモジュールを上記予備メモリモジュールを経て上記他方の入出力部に接続するとともに、上記障害メモリモジュールと前段のメモリモジュール間を切り離した状態で、上記障害メモリモジュールのデータを上記予備メモリモジュールにコピーし、該コピー終了時、上記予備メモリモジュールを上記障害メモリモジュールに置き換えて上記他方の入出力部からアクセスし、上記障害メモリモジュールの交換が行われたのち、上記予備メモリモジュールのデータを上記交換されたメモリモジュールにコピーし、該コピー終了時、上記交換されたメモリモジュールと前後段のメモリモジュール間を接続状態にして、以後上記一方の入出力部から上記各メモリモジュールに対してアクセスするように構成されていることを特徴としている。
また、請求項3記載の発明は、請求項1又は2記載のホットスワップ機能付きメモリシステムに係り、上記各メモリモジュールが、データをパラレルにライト/リードする複数のメモリデバイスと、該各メモリデバイスからのリードデータをパラレルデータからシリアルデータに変換し、各メモリデバイスへのライトデータをシリアルデータからパラレルデータに変換するシリアル/パラレル変換手段と、上記シリアル/パラレル変換手段からのリードデータを一方の入出力端又は他方の入出力端に伝送し、一方の入出力端からのライトデータを上記シリアル/パラレル変換手段又は他方の入出力端に伝送するバッファ手段とを備えてなることを特徴としている。
また、請求項4記載の発明は、請求項3記載のホットスワップ機能付きメモリシステムに係り、上記バッファ手段が、上記シリアル/パラレル変換手段から出力されたリードデータと一方の入出力端から入力されたリードデータとを切り替えて他方の入出力端に出力する第1のスイッチング手段と、一方の入出力端から入力されたライトデータを上記シリアル/パラレル変換手段と他方の入出力端とに切り替えてに出力する第2のスイッチング手段とからなることを特徴としている。
また、請求項5記載の発明は、請求項4記載のホットスワップ機能付きメモリシステムに係り、上記各スイッチング手段が、一方の入出力端と他方の入出力端との間に直列に接続された第1及び第2のスイッチ素子と、該第1及び第2のスイッチ素子の中点と上記シリアル/パラレル変換手段との間に接続された第3のスイッチ素子と、上記メモリコントローラからの制御信号に応じて各スイッチ素子のオン又はオフを制御するスイッチ制御手段とからなることを特徴としている。
また、請求項6記載の発明は、請求項1乃至5のいずれか一記載のホットスワップ機能付きメモリシステムに係り、上記予備メモリモジュールとメモリコントローラ手段間の第2のリード信号線とライト信号線上に、1又は複数個のバッファを備えることを特徴としている。
また、請求項7記載の発明はホットスワップ機能付きメモリシステムにおける障害メモリモジュールの交換方法に係り、順次直列に接続された複数のメモリモジュールからなるメモリモジュール列の一端をメモリコントローラ手段の一方の入出力部に接続するとともに、上記メモリモジュール列の他端を直列に接続された予備メモリモジュールを経て上記メモリコントローラ手段の他方の入出力部に接続し、常時、上記メモリコントローラ手段が、上記一方の入出力部から上記メモリモジュール列の各メモリモジュールにアクセスしてシリアルにデータのリード/ライトを行うメモリシステムにおいて、
上記メモリモジュール列のいずれかのメモリモジュールに障害が発生したとき、上記メモリコントローラ手段が、該障害メモリモジュールと後段のメモリモジュール間を切り離し、該後段のメモリモジュールを上記予備メモリモジュールを経て上記他方の入出力部に接続するとともに、上記障害メモリモジュールと前段のメモリモジュール間を切り離した状態で、上記障害メモリモジュールのデータを上記予備メモリモジュールにコピーし、該コピー終了時、上記予備メモリモジュールを上記障害メモリモジュールに置き換えて上記他方の入出力部からアクセスし、上記障害メモリモジュールの交換が行われたのち、上記予備メモリモジュールのデータを上記交換されたメモリモジュールにコピーし、該コピー終了時、上記交換されたメモリモジュールと前後段のメモリモジュール間を接続状態にして、以後上記一方の入出力部から上記各メモリモジュールに対してアクセスする制御を行うことを特徴としている。
本発明のホットスワップ機能付きメモリシステムによれば、シリアル伝送方式のメモリシステムにおいて、最小限1枚分の予備メモリモジュールを備えるだけで、システムを停止させることなく障害メモリモジュールの交換を行うことができる。
この発明のホットスワップ機能付きメモリシステムは、順次直列に接続された複数のメモリモジュールからなるメモリモジュール列を備えたシリアル伝送方式のメモリシステムにおいて、メモリモジュール列の一端を一方の入出力部に接続されて、常時は第1のリード信号線と第1のライト信号線を介して各メモリモジュールにアクセスしてデータのリード/ライトを行うとともに、いずれかのメモリモジュールの障害時、該障害メモリとその前段のメモリモジュールとを切り離すととにも、障害メモリモジュールの次段以降のメモリモジュール列のメモリモジュールと、該メモリモジュール列の末端に接続されている予備メモリモジュールとを、第2のリード信号線と第2のライト信号線とを介して順次直列に他方の入出力部に接続してアクセスすることによって、障害メモリモジュールを挿抜可能な状態にする制御を行う。
図1は、この発明の第1実施例であるホットスワップ機能付きメモリシステムの構成を示すブロック図、図2は、本実施例におけるメモリコントローラのメモリ配線入出力部の構成を示すイメージ図、図3は、本実施例における各メモリモジュールの内部構成を示す簡略図、図4は、本実施例における各スイッチング回路の内部構成を示す図、図5は、本実施例における通常の動作状態を示す図、図6、本実施例におけるメモリエラー発生時の信号伝送状態の変更を説明する図、図7は、メモリモジュール交換後の処理を説明する図である。
この例のホットスワップ機能付きメモリシステムは、図1に示すように、メモリコントローラ25と、第1のリード信号線26Aと、第1のライト信号線27Aと、第2のリード信号線26Bと、第2のライト信号線27Bと、メモリモジュール28,29,30,31と、それぞれメモリモジュール28,29,30,31上に搭載されているシリアル伝送用のバッファ32,33,34,35とから概略構成されている。これらのうち、メモリモジュール31およびその上に搭載されているバッファ35は予備である。
図1に示すように、この例のホットスワップ機能付メモリシステムは、図11に示された従来のシリアル伝送方式のメモリシステムと同様に、メモリコントローラ25の一方の入出力部に対して、第1のリード信号線26Aと第1のライト信号線27Aとによって、メモリモジュール28,29,30のバッファ32,33,34を順次接続するとともに、予備メモリモジュール31のバッファ35を、第2のリード信号線26Bと第2のライト信号線27Bとによって、直接、メモリコントローラ25の他方の入出力部に接続した構成を有している。
なお、図1においては図示省略されているが、メモリモジュール28,29,30,31に供給される電源はそれぞれ独立であって、メモリコントローラ25の指示に応じて別々に電源を遮断して、それぞれのメモリモジュールを動作停止させることができように構成されている。
図2は、メモリコントローラ25におけるメモリ配線の入出力部をイメージ的に示したものであって、一方の入出力部に第1のリード信号線36と第1のライト信号線37が接続されるとともに、他方の入出力部に第2のリード信号線39と第2のライト信号線38が接続されることが示されている。このように、この例のホットスワップ機能付メモリシステムでは、メモリコントローラにおけるメモリ入出力線数が、図11に示された従来のシリアル伝送方式のメモリシステムと比較して2倍になる。
各メモリモジュールの内部構成は、図3に簡略的に示されるように、複数のメモリデバイス40と、シリアル/パラレル変換回路41と、シリアル伝送用のバッファ42とからなる概略構成を有している。バッファ42はさらに、リード信号線用のスイッチング回路43と、ライト信号線用のスイッチング回路44とから構成されている。なお図3においては、データ信号系のみを示し、制御系の信号は省略されている。
各メモリデバイス40は、パラレルにデータのライト,リードを行う。シリアル/パラレル変換回路41は、各メモリデバイス40からのパラレルデータからなるリードデータをシリアルデータに変換してバッファ42に出力し、バッファ42からのシリアルデータからなるライトデータをパラレルデータに変換して各メモリデバイス40に出力する。
バッファ42においては、メモリコントローラ25の制御に基づいて、一方の入出力端のリード信号線45Aには、他方の入出力端のリード信号線45Bからのリードデータが出力されるか、またはシリアル/パラレル変換回路41からのリードデータが出力されるかの切り替えが行われる。同様に、他方の入出力端のリード信号線45Bには、一方の入出力端のリード信号線45Aからのリードデータが出力されるか、またはシリアル/パラレル変換回路41からのリードデータが出力されるかの切り替えが行われる。
またバッファ42においては、メモリコントローラ25の制御に基づいて、一方の入出力端のライト信号線46Aを経て入力されたライトデータが、他方の入出力端のライト信号線46Bを経て出力されるか、またはシリアル/パラレル変換回路41側に出力されるかの切り替えが行われる。同様に、他方の入出力端のライト信号線46Bを経て入力されたライトデータが、一方の入出力端のライト信号線46Aを経て出力されるか、またはシリアル/パラレル変換回路41側に出力されるかの切り替えが行われる。
図11に示されたような通常のシリアル伝送メモリシステムでは、リード信号とライト信号の配線は分離されていて、それぞれ一方向の伝送のみ行えばよいが、図1に示されたようなシステムでは、リード信号とライト信号の配線が分離しているのに、信号の伝送方向が一方向だけではないので、図3に示すように、メモリモジュール内部の回路でも双方向の信号伝送を行うことが必要となる。
図4は、バッファを構成するスイッチング回路43,44の内部構成例を示したものであって、メモリモジュールと外部とを接続するための外部接続線47A,47Bと、シリアル/パラレル変換回路と接続するための内部接続線48と、メモリコントローラからの制御信号が入力される制御信号線49と、トランジスタ50A,50B,50Cと、各トランジスタ50A,50B,50Cのオン/オフを制御するためのスイッチ制御回路50とから概略構成されている。
各スイッチング回路43,44において、図1に示されたメモリコントローラ25から出力した制御信号が制御信号線49からスイッチ制御回路50に入力され、これによってスイッチ制御回路50がスイッチ素子となる各トランジスタ50A,50B,50Cのオン/オフを制御することによって、図3において説明したような信号伝送方向の切り替えが行われる。
具体的には、外部接続線47Aからの入力データは、トランジスタ50A,50Bがオン、トランジスタ50Cがオフのとき、外部接続線47Bに伝送され、トランジスタ50A,50Cがオン、トランジスタ50Bがオフのとき、内部接続線48に伝送されるように切り替えが行われ、外部接続線47Bからの入力データは、トランジスタ50B,50Aがオン、トランジスタ50Cがオフのとき、外部接続線47Aに伝送され、トランジスタ50B,50Cがオン、トランジスタ50Aがオフのとき、内部接続線48に伝送されるように切り替えが行われる。
また内部接続線48からの入力データは、トランジスタ50C,50Aがオン、トランジスタ50Bがオフのとき、外部接続線47Aに伝送され、トランジスタ50C,50Bがオン、トランジスタ50Aがオフのとき、外部接続線47Bに伝送されるように切り替えが行われる。
以下、図5〜図7を参照して、この例のホットスワップ機能付メモリシステムの動作を説明する。図5〜図7においては、メモリコントローラ51と、第1のリード信号線52Aと、第1のライト信号線53Aと、第2のリード信号線52Bと、第2のライト信号線53Bと、メモリモジュール54,55,56,57とからなる概略構成が示されており、各メモリモジュールのうち、メモリモジュール57は予備である。また、各メモリモジュール54,55,56,57には、それぞれシリアル伝送用のバッファ58,59,60,61が搭載されている。
ここで、第1のリード信号線52Aと第1のライト信号線53Aとは、メモリコントローラ51の一方の入出力部と、メモリモジュール54,55,56のそれぞれのバッファ58,59,60とを順次結ぶ信号線であり、第2のリード信号線52Bと第2のライト信号線53Bとは、メモリコントローラ51の他方の入出力部と、メモリモジュール57のバッファ61を経てバッファ60とを結ぶ信号線である。なお以後においては、すべて、リード信号線を太線で示し、ライト信号線を細線で示すものとする。
図5は、ホットスワップ機能付メモリシステムにおける通常の動作状態を示し、この状態では、予備メモリモジュール57へのアクセスは必要がなく、従って、図5において62で示すような、メモリモジュール56と予備メモリモジュール57間、及び予備メモリモジュール57とメモリコントローラ51間における、リード信号とライト信号の伝送は行われていない。この状態では、予備メモリモジュール57への電源供給を停止することによって、システムを停止させることなく、予備メモリモジュール57の挿抜を行うことが可能である。
いま、例えばメモリモジュール55においてシングルビットエラーが数回発生したために、メモリコントローラ51においてメモリモジュール55の交換が必要であると判断された場合、メモリコントローラ51は、図6に示すように、メモリモジュール56とメモリモジュール57間及びメモリモジュール57とメモリコントローラ51間における、62で示すリード信号とライト信号の伝送を開始するとともに、メモリモジュール55とメモリモジュール56間における、63で示すリード信号とライト信号の伝送を停止させる。
このとき、メモリコントローラ51は、メモリモジュール56がメモリモジュール55の次に接続されているのではなくて、逆回りにメモリモジュール57の次に接続されているものと認識するように、メモリモジュールの認識を変更する。この状態では、メモリモジュール57に入出力するリード信号とライト信号の向きは、図5に示された通常の動作状態と逆になる。
図6に示された状態で、メモリモジュール55のデータを、メモリモジュール57にコピーする。
コピーが終了したとき、メモリコントローラ51は、メモリモジュール57がメモリモジュール55の代わりであると認識して、64で示すメモリモジュール55に対する信号伝送を停止させる。
図7は、メモリモジュール55のメモリモジュール57への置き換えが終了した状態を示し、メモリモジュール56とメモリモジュール57間及びメモリモジュール57とメモリコントローラ51間における、62で示すリード信号とライト信号の伝送が行われるとともに、メモリモジュール55とメモリモジュール56間における、63で示すリード信号とライト信号の伝送と、メモリモジュール54とメモリモジュール55間における、64で示すリード信号とライト信号の伝送とが停止されているので、メモリモジュール55への電源供給を停止することによって、システムを停止させることなく、メモリモジュール55の挿抜を行うことが可能となり、従ってメモリモジュール55を交換することができるようになる。
メモリモジュール55の交換終了後、図5に示された通常の状態に戻すためには、メモリコントローラ51に指示を与えることによって、メモリモジュール55を抜去したときとは逆の順序で制御を行えばよい。
すなわち、図7の状態でメモリモジュール55への電源供給を開始し、図6に示すように、メモリモジュール54とメモリモジュール55間における、64で示すリード信号とライト信号の伝送を開始し、メモリモジュール57のデータを交換後のメモリモジュール55にコピーする。
コピーが終了した後、図5に示すように、メモリモジュール55とメモリモジュール56間における、63で示すリード信号とライト信号の伝送を開始するともに、メモリモジュール56とメモリモジュール57間及びメモリモジュール57とメモリコントローラ51間における、62で示すリード信号とライト信号の伝送を停止することによって最初の状態に戻り、メモリモジュール57は再び予備として機能するようになる。
このように、この例のホットスワップ機能付メモリシステムでは、シリアル伝送方式のメモリシステムにおいて、システムを停止させることなく障害メモリモジュールの交換を行うことができる。
図8は、この発明の第2実施例であるホットスワップ機能付きメモリシステムの構成を示すブロック図である。
この例のホットスワップ機能付きメモリシステムは、図8に示すように、メモリコントローラ25と、第1のリード信号線26Aと、第1のライト信号線27Aと、第2のリード信号線26Bと、第2のライト信号線27Bと、メモリモジュール28,29,30,31と、それぞれメモリモジュール28,29,30,31上に搭載されているシリアル伝送用のバッファ32,33,34,35と、第2のリード信号線26B,第2のライト信号線27B上に設けられた信号増幅用バッファ65,66とから概略構成されている。これらのうち、メモリモジュール31およびその上に搭載されているバッファ35は予備である。
図8に示された第2実施例のホットスワップ機能付きメモリシステムは、図1に示された第1実施例の場合と比較して、第2のリード信号線26B,第2のライト信号線27B上にバッファ65,66を有する点だけが異なっている。バッファ65,66は、第2のリード信号線26B,第2のライト信号線27B上に伝送されるリード信号およびライト信号を増幅する。
ホットスワップ機能付きメモリシステムにおいて、メモリモジュール列の末端にあるメモリモジュール31とメモリコントローラ25間の距離が長いために、第2のリード信号線26B,第2のライト信号線27Bにおけるリード信号,ライト信号の減衰が大きくなって、メモリシステムの動作が正常に行われないような場合には、図8に示すようにバッファ65,66を挿入することによって、減衰を補償して正常動作を行わせることができる。
この例においては、このような場合に使用するバッファの数を2個としたが、これに限るものでなく、バッファの数は状況に応じて、1個でもよくまたは任意の複数個であってもよい。
このように、この例のホットスワップ機能付きメモリシステムでは、予備のメモリモジュールとメモリコントローラ間の距離が長い場合でも、このような箇所にバッファを挿入することによって、中間のリード信号線,ライト信号線における信号の減衰を補償して正常動作を行わせることができる。
以上、この発明の実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、各実施例を説明するための図面は簡略化しているため、リード信号線とライト信号線とはそれぞれ1本ずつ描かれているが、各信号線の数は任意の複数本であってもよい。また図示省略されている制御信号線も何本あってもよい。また、各実施例において、メモリシステムは1チャネルのシステムとして説明されているが、メモリチャネル数は任意の複数個であってもよい。さらにメモリモジュールの数は、常時使用されるものが3枚と予備1枚の場合を例示しているが、メモリモジュールの数は、常用,予備用ともに1枚以上であれば、何枚であってもよい。また図4に示されたスイッチング回路の具体的構成は、両側の外部接続線間を双方向に伝送可能に切り替えるとともに、内部接続線と接続できるものであれば、他のどのような回路構成であってもよい。スイッチ素子はトランジスタに限らず他の半導体素子であってもよい。
ング
開示したホットスワップ機能付きメモリシステムの発明は、メモリモジュールを使用しているすべてのシステムにおいてを利用可能なものであるが、特にサーバ装置等のように、システムダウンを極力回避することが必要なシステムにおいて利用することが好適なものである。
本発明の第1実施例であるホットスワップ機能付きメモリシステムの構成を示すブロック図である。 同実施例におけるメモリコントローラのメモリ配線入出力部の構成を示すイメージ図である。 同実施例における各メモリモジュールの内部構成を示す簡略図である。 同実施例における各スイッチング回路の内部構成を示す図である。 同実施例における通常の動作状態を示す図である。 同実施例におけるメモリエラー発生時の信号伝送状態の変更を説明する図である。 同実施例におけるメモリモジュール交換後の処理を説明するための図である。 本発明の第2実施例であるホットスワップ機能付きメモリシステムの構成を示すブロック図である。 メモリミラーリング方式を説明するための簡略図である。 1枚分の予備メモリモジュールを備えるメモリシステムを説明するための簡略図である。 シリアル伝送方式のメモリシステムを例示する簡略図である。
符号の説明
25 メモリコントローラ(メモリコントローラ手段)
26A,26B リード信号線
27A,27B ライト信号線
28,29,30,31 メモリモジュール
32,33,34,35 バッファ(バッファ手段)
40 メモリデバイス
41 シリアル/パラレル変換回路(シリアル/パラレル変換手段)
42 バッファ(バッファ手段)
43,44 スイッチング回路(スイッチング手段)
50 スイッチ制御回路(スイッチ制御手段)
51 メモリコントローラ
52A,52B リード信号線
53A,53B ライト信号線
54,55,56,57 メモリモジュール
58,59,60,61 バッファ
65,66 バッファ

Claims (7)

  1. 順次直列に接続された複数のメモリモジュールからなるメモリモジュール列を備えたシリアル伝送方式のメモリシステムにおいて、
    前記メモリモジュール列の一端を一方の入出力部に接続されて、常時は第1のリード信号線と第1のライト信号線を介して各メモリモジュールにアクセスしてデータのリード/ライトを行うとともに、いずれかのメモリモジュールの障害時、該障害メモリとその前段のメモリモジュールとを切り離すととにも、前記障害メモリモジュールの次段以降のメモリモジュール列のメモリモジュールと、該メモリモジュール列の末端に接続されている予備メモリモジュールとを、第2のリード信号線と第2のライト信号線とを介して順次直列に他方の入出力部に接続してアクセスすることによって、前記障害メモリモジュールを挿抜可能な状態にする制御を行うメモリコントローラ手段を備えたことを特徴とするホットスワップ機能付きメモリシステム。
  2. 前記メモリコントローラ手段が、前記メモリモジュール列のいずれかのメモリモジュールに障害が発生したとき、該障害メモリモジュールと後段のメモリモジュール間を切り離し、該後段のメモリモジュールを前記予備メモリモジュールを経て前記他方の入出力部に接続するとともに、前記障害メモリモジュールと前段のメモリモジュール間を切り離した状態で、前記障害メモリモジュールのデータを前記予備メモリモジュールにコピーし、該コピー終了時、前記予備メモリモジュールを前記障害メモリモジュールに置き換えて前記他方の入出力部からアクセスし、前記障害メモリモジュールの交換が行われたのち、前記予備メモリモジュールのデータを前記交換されたメモリモジュールにコピーし、該コピー終了時、前記交換されたメモリモジュールと前後段のメモリモジュール間を接続状態にして、以後前記一方の入出力部から前記各メモリモジュールに対してアクセスするように構成されていることを特徴とする請求項1記載のホットスワップ機能付きメモリシステム。
  3. 前記各メモリモジュールが、データをパラレルにライト/リードする複数のメモリデバイスと、該各メモリデバイスからのリードデータをパラレルデータからシリアルデータに変換し、各メモリデバイスへのライトデータをシリアルデータからパラレルデータに変換するシリアル/パラレル変換手段と、前記シリアル/パラレル変換手段からのリードデータを一方の入出力端又は他方の入出力端に伝送し、一方の入出力端からのライトデータを前記シリアル/パラレル変換手段又は他方の入出力端に伝送するバッファ手段とを備えてなることを特徴とする請求項1又は2記載のホットスワップ機能付きメモリシステム。
  4. 前記バッファ手段が、前記シリアル/パラレル変換手段から出力されたリードデータと一方の入出力端から入力されたリードデータとを切り替えて他方の入出力端に出力する第1のスイッチング手段と、一方の入出力端から入力されたライトデータを前記シリアル/パラレル変換手段と他方の入出力端とに切り替えてに出力する第2のスイッチング手段とからなることを特徴とする請求項3記載のホットスワップ機能付きメモリシステム。
  5. 前記各スイッチング手段が、一方の入出力端と他方の入出力端との間に直列に接続された第1及び第2のスイッチ素子と、該第1及び第2のスイッチ素子の中点と前記シリアル/パラレル変換手段との間に接続された第3のスイッチ素子と、前記メモリコントローラからの制御信号に応じて各スイッチ素子のオン又はオフを制御するスイッチ制御手段とからなることを特徴とする請求項4記載のホットスワップ機能付きメモリシステム。
  6. 前記予備メモリモジュールとメモリコントローラ手段間の第2のリード信号線とライト信号線上に、1又は複数個のバッファを備えることを特徴とする請求項1乃至5のいずれか一記載のホットスワップ機能付きメモリシステム。
  7. 順次直列に接続された複数のメモリモジュールからなるメモリモジュール列の一端をメモリコントローラ手段の一方の入出力部に接続するとともに、前記メモリモジュール列の他端を直列に接続された予備メモリモジュールを経て前記メモリコントローラ手段の他方の入出力部に接続し、常時、前記メモリコントローラ手段が、前記一方の入出力部から前記メモリモジュール列の各メモリモジュールにアクセスしてシリアルにデータのリード/ライトを行うメモリシステムにおいて、
    前記メモリモジュール列のいずれかのメモリモジュールに障害が発生したとき、前記メモリコントローラ手段が、該障害メモリモジュールと後段のメモリモジュール間を切り離し、該後段のメモリモジュールを前記予備メモリモジュールを経て前記他方の入出力部に接続するとともに、前記障害メモリモジュールと前段のメモリモジュール間を切り離した状態で、前記障害メモリモジュールのデータを前記予備メモリモジュールにコピーし、該コピー終了時、前記予備メモリモジュールを前記障害メモリモジュールに置き換えて前記他方の入出力部からアクセスし、前記障害メモリモジュールの交換が行われたのち、前記予備メモリモジュールのデータを前記交換されたメモリモジュールにコピーし、該コピー終了時、前記交換されたメモリモジュールと前後段のメモリモジュール間を接続状態にして、以後前記一方の入出力部から前記各メモリモジュールに対してアクセスする制御を行うことを特徴とするホットスワップ機能付きメモリシステムにおける障害メモリモジュールの交換方法。
JP2005086814A 2005-03-24 2005-03-24 ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法 Expired - Fee Related JP4274140B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005086814A JP4274140B2 (ja) 2005-03-24 2005-03-24 ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法
US11/387,951 US7636867B2 (en) 2005-03-24 2006-03-24 Memory system with hot swapping function and method for replacing defective memory module
CNB2006100680833A CN100410888C (zh) 2005-03-24 2006-03-24 带热交换功能的存储系统及其故障存储模块的交换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005086814A JP4274140B2 (ja) 2005-03-24 2005-03-24 ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法

Publications (2)

Publication Number Publication Date
JP2006268556A true JP2006268556A (ja) 2006-10-05
JP4274140B2 JP4274140B2 (ja) 2009-06-03

Family

ID=37015490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005086814A Expired - Fee Related JP4274140B2 (ja) 2005-03-24 2005-03-24 ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法

Country Status (3)

Country Link
US (1) US7636867B2 (ja)
JP (1) JP4274140B2 (ja)
CN (1) CN100410888C (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003729A (ja) * 2007-06-22 2009-01-08 Meidensha Corp データ処理システム
JP2012527661A (ja) * 2009-05-22 2012-11-08 モサイド・テクノロジーズ・インコーポレーテッド 設定可能モジュールおよびメモリサブシステム
JP2014515145A (ja) * 2011-08-31 2014-06-26 華為技術有限公司 コンピュータシステムのメモリを管理する方法、メモリ管理ユニット及びコンピュータシステム
JP2018022205A (ja) * 2016-08-01 2018-02-08 キヤノン株式会社 情報処理装置、及び情報処理装置の制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7475187B2 (en) * 2005-09-15 2009-01-06 Infineon Technologies Ag High-speed interface circuit for semiconductor memory chips and memory system including the same
US8886892B2 (en) 2007-01-26 2014-11-11 Hewlett-Packard Development Company, L.P. Memory module and method employing a multiplexer to replace a memory device
WO2009062280A1 (en) * 2007-11-15 2009-05-22 Mosaid Technologies Incorporated Methods and systems for failure isolation and data recovery in a configuration of series-connected semiconductor devices
US9465756B2 (en) * 2009-12-23 2016-10-11 Violin Memory Inc. Configurable interconnection system
JP5985403B2 (ja) * 2013-01-10 2016-09-06 株式会社東芝 ストレージ装置
US20170046212A1 (en) * 2015-08-13 2017-02-16 Qualcomm Incorporated Reducing system downtime during memory subsystem maintenance in a computer processing system
US10007432B2 (en) * 2015-10-13 2018-06-26 Dell Products, L.P. System and method for replacing storage devices
KR20180085192A (ko) * 2017-01-18 2018-07-26 에스케이하이닉스 주식회사 핫 플러그 모듈 및 메모리 모듈을 포함하는 시스템
CN107577546B (zh) * 2017-07-21 2021-02-05 北京奇艺世纪科技有限公司 一种信息处理方法、装置及电子设备
CN109144929B (zh) * 2018-08-30 2022-04-05 西北工业大学 一种支持热插拔的rs232通信接口电路

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0271626B1 (en) * 1986-12-16 1992-03-04 International Business Machines Corporation Bypass mechanism for daisy chain connected units
US6047343A (en) * 1996-06-05 2000-04-04 Compaq Computer Corporation Method and apparatus for detecting insertion and removal of a memory module using standard connectors
US6038680A (en) * 1996-12-11 2000-03-14 Compaq Computer Corporation Failover memory for a computer system
US6487623B1 (en) * 1999-04-30 2002-11-26 Compaq Information Technologies Group, L.P. Replacement, upgrade and/or addition of hot-pluggable components in a computer system
US6401157B1 (en) * 1999-04-30 2002-06-04 Compaq Information Technologies Group, L.P. Hot-pluggable component detection logic
US6370604B1 (en) * 1999-05-07 2002-04-09 Intel Corporation Hot replacement of storage device in serial array of storage devices
JP2001167001A (ja) 1999-10-28 2001-06-22 Hewlett Packard Co <Hp> 自己回復するメモリ構成
US6785835B2 (en) * 2000-01-25 2004-08-31 Hewlett-Packard Development Company, L.P. Raid memory
US6766469B2 (en) * 2000-01-25 2004-07-20 Hewlett-Packard Development Company, L.P. Hot-replace of memory
US6854070B2 (en) * 2000-01-25 2005-02-08 Hewlett-Packard Development Company, L.P. Hot-upgrade/hot-add memory
US6651138B2 (en) * 2000-01-27 2003-11-18 Hewlett-Packard Development Company, L.P. Hot-plug memory catridge power control logic
US6715104B2 (en) * 2000-07-25 2004-03-30 International Business Machines Corporation Memory access system
US7155568B2 (en) * 2001-09-29 2006-12-26 Hewlett-Packard Development Company, L.P. Transaction generator for initialization, rebuild, and verify of memory
US7076686B2 (en) * 2002-02-20 2006-07-11 Hewlett-Packard Development Company, L.P. Hot swapping memory method and system
US7035953B2 (en) * 2002-05-03 2006-04-25 Hewlett-Packard Development Company, L.P. Computer system architecture with hot pluggable main memory boards
JP4072424B2 (ja) 2002-12-02 2008-04-09 エルピーダメモリ株式会社 メモリシステム及びその制御方法
CN1532701B (zh) * 2003-03-20 2010-04-28 纬创资通股份有限公司 存储器不稳定仍维持系统稳定度的系统及存储器控制方法
CN100444141C (zh) 2003-05-13 2008-12-17 先进微装置公司 通过串行内存互连以将主机连接至内存模块的系统与方法
US7194581B2 (en) * 2003-06-03 2007-03-20 Intel Corporation Memory channel with hot add/remove
US7165153B2 (en) 2003-06-04 2007-01-16 Intel Corporation Memory channel with unidirectional links
US7254663B2 (en) * 2004-07-22 2007-08-07 International Business Machines Corporation Multi-node architecture with daisy chain communication link configurable to operate in unidirectional and bidirectional modes
US7334070B2 (en) * 2004-10-29 2008-02-19 International Business Machines Corporation Multi-channel memory architecture for daisy chained arrangements of nodes with bridging between memory channels
FR2882857B1 (fr) * 2005-03-04 2007-04-13 Bull Sa Sa Dispositif de connexion permettant de connecter une carte principale a une carte memoire du type a deux series de modules memoire
US7350089B2 (en) * 2005-06-28 2008-03-25 Intel Corporation System for memory hot swap

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003729A (ja) * 2007-06-22 2009-01-08 Meidensha Corp データ処理システム
JP2012527661A (ja) * 2009-05-22 2012-11-08 モサイド・テクノロジーズ・インコーポレーテッド 設定可能モジュールおよびメモリサブシステム
US8767430B2 (en) 2009-05-22 2014-07-01 Conversant Intellectual Property Management Inc. Configurable module and memory subsystem
JP2014515145A (ja) * 2011-08-31 2014-06-26 華為技術有限公司 コンピュータシステムのメモリを管理する方法、メモリ管理ユニット及びコンピュータシステム
JP2018022205A (ja) * 2016-08-01 2018-02-08 キヤノン株式会社 情報処理装置、及び情報処理装置の制御方法
US11418384B2 (en) 2016-08-01 2022-08-16 Canon Kabushiki Kaisha Information processing apparatus and method for controlling the same

Also Published As

Publication number Publication date
JP4274140B2 (ja) 2009-06-03
US7636867B2 (en) 2009-12-22
CN100410888C (zh) 2008-08-13
CN1838085A (zh) 2006-09-27
US20060218451A1 (en) 2006-09-28

Similar Documents

Publication Publication Date Title
JP4274140B2 (ja) ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法
JP4474648B2 (ja) メモリシステム及びそのホットスワップ方法
US7353316B2 (en) System and method for re-routing signals between memory system components
JP2012208896A (ja) ディスクアレイ装置、接続経路制御方法、及び接続経路制御プログラム
US20060259712A1 (en) Storage control system and method
JP4252551B2 (ja) データストレージシステム及びストレージ制御装置の異常時のログデータ出力方法
JP2001256203A (ja) 冗長構成クロスバスイッチシステム
JP2007280313A (ja) 冗長化システム
US20240111449A1 (en) Cascaded memory system
US7426658B2 (en) Data storage system and log data equalization control method for storage control apparatus
JP2007265271A (ja) ストレージ装置、データ配置方法およびプログラム
JP2007235537A (ja) パス切替制御システム、コンピュータシステム及びパス切替制御方法
JP4425853B2 (ja) Cpu二重化用ベースユニットおよびcpu二重化システム
JP2006260008A (ja) 冗長化ディスクシステム
JPH06259343A (ja) 多重バス制御方式及びそれを用いたシステム
JP6394727B1 (ja) 制御装置、制御方法、及び、フォールトトレラント装置
JP5556086B2 (ja) 二重化システム、及び、二重化方法
JP2000347812A (ja) 情報処理装置およびディスクアレイ装置
JPH11149351A (ja) 情報転送制御システム及びディスクアレイ装置
JP2011076528A (ja) Raidカードの冗長化方法及びraidカードの冗長化装置
JP4440127B2 (ja) データストレージシステム及びデータストレージ制御装置
JPH08234929A (ja) ディスクアレイ装置
JP2904266B2 (ja) バス縮退に対処できるメモリ接続制御装置
JP2005050088A (ja) 高速二重系制御装置
JP2002007220A (ja) 多重化メモリシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090223

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees