JP2008046685A - 二重化システム及び系切り換え方法 - Google Patents

二重化システム及び系切り換え方法 Download PDF

Info

Publication number
JP2008046685A
JP2008046685A JP2006218898A JP2006218898A JP2008046685A JP 2008046685 A JP2008046685 A JP 2008046685A JP 2006218898 A JP2006218898 A JP 2006218898A JP 2006218898 A JP2006218898 A JP 2006218898A JP 2008046685 A JP2008046685 A JP 2008046685A
Authority
JP
Japan
Prior art keywords
processor
cache memory
standby
update data
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006218898A
Other languages
English (en)
Inventor
Hidekazu Tsukiji
英一 築地
Naoki Kawasaki
直樹 河崎
Kunio Yamaguchi
邦男 山口
Kazunori Uemura
和紀 植村
Riyouko Tamura
亮子 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006218898A priority Critical patent/JP2008046685A/ja
Publication of JP2008046685A publication Critical patent/JP2008046685A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2043Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share a common memory address space
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2038Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0844Multiple simultaneous or quasi-simultaneous cache accessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0844Multiple simultaneous or quasi-simultaneous cache accessing
    • G06F12/0853Cache with multiport tag or data arrays

Abstract

【課題】キャッシュメモリを複数のポートを介して読み書き可能とすることにより、キャッシュメモリに対する更新処理が行われた時点で両プロセッサに搭載されているキャッシュメモリの内容を一致させることができる二重化システム及び系切り換え方法を提供する。
【解決手段】運用系プロセッサ及び予備系プロセッサのいずれかでの障害発生を監視し、運用系プロセッサで発生した場合には予備系プロセッサへ切り替える。キャッシュメモリは同時にデータの読み書きを行うことができる複数のポートを有し、運用系プロセッサのキャッシュメモリコントローラは、キャッシュメモリに対する更新データを、更新処理に用いるポートと相違するポートを用いて予備系プロセッサのキャッシュメモリに対して転送する。予備系プロセッサのキャッシュメモリコントローラは、受信した更新データを、更新処理に用いるポートとは相違するポートを用いて、キャッシュメモリに書き込む。
【選択図】図3

Description

本発明は、キャッシュメモリ及びキャッシュメモリコントローラを運用系プロセッサ及び予備系プロセッサに搭載し、キャッシュメモリを複数のポートを介して読み書き可能とし、運用系プロセッサのキャッシュメモリを更新した時点で予備系プロセッサのキャッシュメモリへ更新内容を反映させることができる二重化システム及び系切り換え方法に関する。
昨今の通信システムでは、例えば移動通信システムのマルチメディア交換機等のように24時間安定して稼動させる要求の強いコンピュータが多々存在する。これらのコンピュータの信頼性を向上するために、例えばプロセッサ、キャッシュメモリ、メインメモリ、メインメモリコントローラ、及び運用系及び予備系のいずれかの系での障害の発生を監視する障害監視部がそれぞれ二重化されており、通常は運用系システムで情報処理を実行し、障害発生時に予備系システムへ切り替える二重化システムが採用されている。
図1は、従来の二重化システムの構成例を示すブロック図である。従来の二重化システムでは、運用系プロセッサ10aと予備系プロセッサ10bとで構成されており、運用系プロセッサ10aでメインメモリ14aへ書き込んだデータを、メインメモリコントローラ15aにより予備系のメインメモリ14bに書き込む。運用系プロセッサ10aの障害監視部12aが障害発生を検出した場合、運用系プロセッサ10a及び予備系プロセッサ10bの両方のCPU11a、11bをリセットし、運用系プロセッサ10aと予備系プロセッサ10bとを切り替えることにより、新たな運用系プロセッサのCPUが自系のメインメモリを用いて処理を継続する。
また、メモリへのアクセス速度を早くするためにキャッシュメモリ13a、13bを備えることが一般的である。キャッシュメモリ13a、13bの動作を制御する方法としては、いわゆるコピーバック方式が良く用いられている。運用系プロセッサ10aのCPU11aが、メインメモリ14aへの書き込み命令を実行した場合、CPU11aは、メインメモリ14aに直接書き込まず、キャッシュメモリ13aのみへ書き込む。キャッシュメモリ13aはメインメモリ14aよりも容量が少ないことから、キャッシュメモリ13aがオーバフローした場合には、メインメモリ14aへ書き戻される(コピーバックされる)。つまり、最新のデータは、メインメモリ14aへ書き戻されるまでキャッシュメモリ13aのみに存在する。
メインメモリコントローラ15aは、メインメモリ14aへの書き戻しデータを、メインメモリコントローラ15bを介して予備系プロセッサ10bのメインメモリ14bへ書き込む。CPU11a、11bがリセットされた場合、運用系プロセッサ10aのCPU11aは、キャッシュメモリ13aのみに存在するデータをメインメモリ14aへ強制的に反映させ、メインメモリコントローラ15aへメモリ二重化制御の停止を指示する(特許文献1及び2参照)。
予備系プロセッサ10bのCPU11bは、予備系プロセッサ10bのメインメモリ14bを用いて中断された処理を再開する。このようにCPU11a、11bに対するリセットが生じた場合、メインメモリ14a、14bの二重化状態が継続し、キャッシュメモリ13aの内容をメインメモリ14aへ強制的に書き込む、いわゆるフラッシュ処理が正常に終了することが可能である場合に、予備系プロセッサ10bによる処理を再開することができる。
特開平6−67979号公報 特開2003−223338号公報
しかし、上述したコピーバック方式を採用した場合、予備系プロセッサ10bによる処理を再開することができない場合が生じるという問題点があった。例えば、運用系プロセッサ10aのCPUバスにてアドレスパリティエラーが発生した場合等は、ソフトウェアによる処理を続行することができない。したがって、CPU11a、11bがリセットされた場合であっても、運用系プロセッサ10aのキャッシュメモリ13aのフラッシュ処理を行うことができず、予備系プロセッサ10bを運用系プロセッサに切り替えて処理を再開するときに使用する情報が、切り替え前の運用系プロセッサ10aのメインメモリ13aの内容と一致していないことから、処理を継続することができない。
また、例えば、運用系プロセッサ10aのキャッシュメモリ13a及び部品へ電力を供給する電源系に障害が発生し、キャッシュメモリ13a内のデータが消失した場合、キャッシュメモリ13aのみに記憶されていたデータをメインメモリ14aにフラッシュ処理することができず、予備系プロセッサ10bを運用系プロセッサに切り替えて処理を再開するときに使用する情報が、切り替え前の運用系プロセッサ10aのメインメモリ13aの内容と一致していないことから、処理を継続することができない。
本発明は斯かる事情に鑑みてなされたものであり、キャッシュメモリ及びキャッシュメモリコントローラを運用系プロセッサ及び予備系プロセッサに搭載し、キャッシュメモリを複数のポートを介して読み書き可能とすることにより、キャッシュメモリに対する更新処理が行われた時点で両プロセッサに搭載されているキャッシュメモリの内容を一致させることができる二重化システム及び系切り換え方法を提供することを目的とする。
上記目的を達成するために第1発明に係る二重化システムは、主として演算処理する運用系プロセッサ及び該運用系プロセッサの障害時に演算処理する予備系プロセッサにそれぞれキャッシュメモリ、メインメモリ、メインメモリコントローラ、及び運用系プロセッサ又は予備系プロセッサのいずれかでの障害発生を監視する障害監視部が搭載されており、前記障害監視部が自系に障害が発生したと判断した場合、自系のプロセッサに対して他系のプロセッサへの障害通知を指示し、自系のプロセッサが運用系プロセッサであるときには予備系プロセッサへ切り替え、他系のプロセッサから障害通知を受信した場合、自系のプロセッサが予備系プロセッサであるときには運用系プロセッサへ切り替える二重化システムにおいて、前記キャッシュメモリは同時にデータの読み書きを行うことができる複数のポートを有し、前記キャッシュメモリの動作を制御するキャッシュメモリコントローラが運用系プロセッサ及び予備系プロセッサにそれぞれ搭載されており、運用系プロセッサの前記キャッシュメモリコントローラは、運用系プロセッサの前記キャッシュメモリに対する更新データを中継する手段と、該手段で更新データを中継した場合、該更新データを、キャッシュメモリに対する更新処理に用いるポートと相違するポートを用いて予備系プロセッサの前記キャッシュメモリに対して転送する手段とを備え、予備系プロセッサの前記キャッシュメモリコントローラは、運用系プロセッサから更新データを受信する手段と、該手段で受信した更新データを、前記キャッシュメモリに対する更新処理に用いているポートとは相違するポートを用いて、前記キャッシュメモリに書き込む手段とを備えることを特徴とする。
また、第2発明に係る二重化システムは、第1発明において、運用系プロセッサの前記キャッシュメモリコントローラは、運用系プロセッサの前記キャッシュメモリに対する更新データを中継した場合、前記キャッシュメモリに書き込まれた更新データが正常なデータであるか否かを判断する手段を備え、該手段で正常なデータであると判断した場合に、前記更新データを予備系プロセッサのキャッシュメモリに対して転送するようにしてあることを特徴とする。
また、第3発明に係る系切り替え方法は、主として演算処理する運用系プロセッサ及び該運用系プロセッサの障害時に演算処理する予備系プロセッサにそれぞれキャッシュメモリ、メインメモリ、メインメモリコントローラ、及び運用系プロセッサ又は予備系プロセッサのいずれかでの障害発生を監視する障害監視部が搭載されており、前記障害監視部が自系に障害が発生したと判断した場合、自系のプロセッサに対して他系のプロセッサへの障害通知を指示し、自系のプロセッサが運用系プロセッサであるときには予備系プロセッサへ切り替え、他系のプロセッサから障害通知を受信した場合、自系のプロセッサが予備系プロセッサであるときには運用系プロセッサへ切り替える系切り替え方法において、前記キャッシュメモリは同時にデータの読み書きを行うことができる複数のポートを有し、前記キャッシュメモリの動作を制御するキャッシュメモリコントローラが運用系プロセッサ及び予備系プロセッサにそれぞれ搭載されており、運用系プロセッサの前記キャッシュメモリコントローラにて、運用系プロセッサの前記キャッシュメモリに対する更新データを中継し、更新データを中継した場合、該更新データを、キャッシュメモリに対する更新処理に用いるポートと相違するポートを用いて予備系プロセッサの前記キャッシュメモリに対して転送し、予備系プロセッサの前記キャッシュメモリコントローラにて、運用系プロセッサから更新データを受信し、受信した更新データを、前記キャッシュメモリに対する更新処理に用いているポートとは相違するポートを用いて、前記キャッシュメモリに書き込むことを特徴とする。
また、第4発明に係る系切り替え方法は、第3発明において、運用系プロセッサの前記キャッシュメモリコントローラにて、運用系プロセッサの前記キャッシュメモリに対する更新データを中継した場合、前記キャッシュメモリに書き込まれた更新データが正常なデータであるか否かを判断し、正常なデータであると判断した場合に、前記更新データを予備系プロセッサのキャッシュメモリに対して転送することを特徴とする。
第1発明及び第3発明では、主として演算処理する運用系プロセッサ及び該運用系プロセッサの障害時に演算処理する予備系プロセッサにそれぞれキャッシュメモリ、メインメモリ、メインメモリコントローラ、及び運用系プロセッサ又は予備系プロセッサのいずれかでの障害発生を監視する障害監視部が搭載されており、障害監視部が自系に障害が発生したと判断した場合、自系のプロセッサに対して他系のプロセッサへの障害通知を指示し、自系のプロセッサが運用系プロセッサであるときには予備系プロセッサへ切り替え、他系のプロセッサから障害通知を受信した場合、自系のプロセッサが予備系プロセッサであるときには運用系プロセッサへ切り替える。キャッシュメモリは同時にデータの読み書きを行うことができる複数のポートを有し、キャッシュメモリの動作を制御するキャッシュメモリコントローラが運用系プロセッサ及び予備系プロセッサにそれぞれ搭載されている。運用系プロセッサのキャッシュメモリコントローラは、運用系プロセッサのキャッシュメモリに対する更新データを中継し、更新データを中継した場合、該更新データを、キャッシュメモリに対する更新処理に用いるポートと相違するポートを用いて予備系プロセッサのキャッシュメモリに対して転送する。予備系プロセッサのキャッシュメモリコントローラは、運用系プロセッサから受信した更新データを、キャッシュメモリに対する更新処理に用いているポートとは相違するポートを用いて、キャッシュメモリに書き込む。
このようにすることで、運用系プロセッサのキャッシュメモリの内容が更新された場合には、メインメモリへのフラッシュ処理と並行して更新データ自体が予備系のキャッシュメモリへ転送される。したがって、障害発生により運用系プロセッサのキャッシュメモリのフラッシュ処理を行うことができない場合であっても、予備系プロセッサのキャッシュメモリの内容と運用系プロセッサのキャッシュメモリの内容とが一致していることから、切り替えて処理を再開するプロセッサに搭載されているキャッシュメモリの内容を用いて処理を継続することが可能となる。
第2発明及び第4発明では、運用系プロセッサのキャッシュメモリコントローラは、運用系プロセッサのキャッシュメモリに対する更新データを中継した場合、キャッシュメモリに書き込まれた更新データが正常なデータであるか否かを判断する。正常なデータであると判断した場合にのみ、更新データを予備系プロセッサのキャッシュメモリに対して転送する。これにより、キャッシュメモリに書き込まれた内容が正常なデータである場合にのみ予備系プロセッサのキャッシュメモリへ転送することができ、誤ったデータが転送されることによりプロセッサ切り替え後に処理を再開することができない事態が発生するのを未然に防止することが可能となる。
第1発明及び第3発明によれば、運用系プロセッサのキャッシュメモリの内容が更新された場合には、メインメモリへのフラッシュ処理と並行して更新データ自体が予備系のキャッシュメモリへ転送される。したがって、障害発生により運用系プロセッサのキャッシュメモリのフラッシュ処理を行うことができない場合であっても、予備系プロセッサのキャッシュメモリの内容と運用系プロセッサのキャッシュメモリの内容とが一致していることから、切り替えて処理を再開するプロセッサに搭載されているキャッシュメモリの内容を用いて処理を継続することが可能となる。
第2発明及び第4発明によれば、キャッシュメモリに書き込まれた内容が正常なデータである場合にのみ予備系プロセッサのキャッシュメモリへ転送することができ、誤ったデータが転送されることによりプロセッサ切り替え後に処理を再開することができない事態が発生するのを未然に防止することが可能となる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図2は、本発明の実施の形態1に係る二重化システムの構成を示すブロック図である。図2に示すように、本発明の実施の形態1に係る二重化システムは、運用系プロセッサ20a及び予備系プロセッサ20bで構成された二重化システムである。
運用系プロセッサ20aは、少なくともCPU21a、障害監視部22a、キャッシュメモリコントローラ23a、キャッシュメモリ24a、メインメモリ25a、メインメモリコントローラ26a、ROM27aを搭載してあるプロセッサ基板である。予備系プロセッサ20bも、少なくともCPU21b、障害監視部22b、キャッシュメモリコントローラ23b、キャッシュメモリ24b、メインメモリ25b、メインメモリコントローラ26b、ROM27bを搭載してあるプロセッサ基板である。
CPU21a、21bは、ROM27a、27bに記憶されているプログラムに従って、特定の処理を実行する。障害監視部22a、22bは互いに通信線を介して接続されており、例えばハートビート信号等に対する応答信号の有無に応じて、いずれかのプロセッサに障害が発生しているか否かを判断する。
キャッシュメモリコントローラ23a、23bは、それぞれキャッシュメモリ24a、24bに対して読み書き可能に接続されており、一方で通信線を介して相互にデータ通信可能に接続されている。キャッシュメモリコントローラ23a、23bは、それぞれキャッシュメモリ24a、24bに対するデータ更新を行う場合、通信線を介して他方のプロセッサに対して更新データを送信する。すなわち、運用系プロセッサ20aでの処理により、メインメモリ25aへの書込みが生じた場合、キャッシュメモリ24aへまず書き込みを開始する。キャッシュメモリ24aへの書込みが開始された場合、キャッシュメモリコントローラ23aは、更新データを、通信線を介して予備系プロセッサ20bのキャッシュメモリ24bへ書き込む。
キャッシュメモリ24a、24bは、ROMに記憶されているプログラムに従ってメインメモリ25a、25bに書き込むべきデータを一次記憶する運用領域にのみデータを読み書きすることが可能な第1のポート241a、241b、及び各プロセッサ内でのみ必要なデータの読み書きのみに用いる保守領域にデータを読み書きする第2のポート242a、242bの2つのポートを備えているデュアルポートメモリである。キャッシュメモリコントローラ23a、23bは、運用領域へ書き込まれた更新データのみを他のプロセッサのキャッシュメモリ24a、24bへと転送する。
運用系プロセッサ20aのCPU21aが、メインメモリ25aへの書き込み命令を実行した場合、CPU21aは、メインメモリ25aに直接書き込まず、キャッシュメモリ23aのみへ書き込む。キャッシュメモリ24aはメインメモリ25aよりも容量が少ないことから、キャッシュメモリ24aがオーバフローした場合には、メインメモリ25aへ書き戻される(コピーバックされる)。
メインメモリコントローラ26aは、メインメモリ25aへの書き戻しデータを、メインメモリコントローラ26bを介して予備系プロセッサ20bのメインメモリ25bへ書き込む。ROM27a、27bは、運用系プロセッサ20a、予備系プロセッサ20bで実行される処理プログラムを記憶してある。記憶してあるプログラムは同一の処理内容を実行するプログラムであり、メインメモリ25a、25bを用いて実行される。
以上の構成の二重化システムの動作について説明する。運用系プロセッサ20aのCPU21aは、ROM27aに記憶してあるプログラムに従って所定の処理を実行する。CPU21aがメインメモリ25aへの書き込みを行う場合、メインメモリ25aへ書き込むべき更新データは、まずキャッシュメモリコントローラ23aを介してキャッシュメモリ24aへ書き込まれる。
キャッシュメモリ24aへの更新データの書き込みは、第1のポート241aを介して運用領域に対して行われる。キャッシュメモリコントローラ23aは、キャッシュメモリ24aの運用領域への書き込みを指示した時点で、更新データを予備系プロセッサ20bのキャッシュメモリ24bへと転送する。予備系プロセッサ20bのキャッシュメモリコントローラ23bは、キャッシュメモリ24bの第1のポート241bを介して、運用領域へ転送された更新データを書き込む。
なお、予備系プロセッサ20bでは、通常、所定の保守プログラムが作動している。保守プログラムの実行により、CPU21bがメインメモリ25bへの書き込みを行う場合、メインメモリ25bへ書き込むべき更新データは、運用系プロセッサ20aと同様にキャッシュメモリコントローラ23bを介してキャッシュメモリ24bへ書き込まれる。保守プログラムによる更新データは、キャッシュメモリ24bへ第2のポート242bを介して保守領域に対して行われる。保守領域に対しては、第1のポート241bを介して転送されてきた更新データは書き込まれない。したがって、保守プログラムによりキャッシュメモリ24bへ書込みが行われている場合であっても、運用系プロセッサ20aから転送されてきた更新データをキャッシュメモリ24bの運用領域へ書き込むことができ、運用系プロセッサ20aと予備系プロセッサ20bとで、キャッシュメモリ24a、24bの運用領域に記憶されている内容を一致させることが可能となる。
図3は、本発明の実施の形態1に係る二重化システムの運用系プロセッサ20aのキャッシュメモリコントローラ23a及び予備系プロセッサ20bのキャッシュメモリコントローラ23bの処理手順を示すフローチャートである。キャッシュメモリコントローラ23aは、CPU21aからキャッシュメモリ24aに対する更新データの書き込み指令を受信する(ステップS301)。キャッシュメモリコントローラ23aは、第1のポート241aを介してキャッシュメモリ24aの運用領域へ更新データを書き込む(ステップS302)。
一方、キャッシュメモリコントローラ23aは、予備系プロセッサ20bのキャッシュメモリコントローラ23bに対して、更新データを転送する(ステップS303)。予備系プロセッサ20bのキャッシュメモリコントローラ23bは、更新データを受信し(ステップS304)、第1のポート241bを介してキャッシュメモリ24bの運用領域へ更新データを書き込む(ステップS305)。
運用系プロセッサ20aに障害が発生した場合、運用系プロセッサ20aの障害監視部22aは、CPU21a、21bの双方に対してリセット指令を出し、予備系プロセッサ20bの障害監視部22bに対して障害が発生した旨を示すデータを送信する。リセット指令が出された場合、CPU21a、21bは運用系プロセッサ20aを予備系に、予備系プロセッサ20bを運用系へ切り替える。
切り替え後の運用系プロセッサ20b(旧予備系)の障害監視部22b及び予備系プロセッサ20a(旧運用系)の障害監視部22aは、キャッシュメモリコントローラ23a、23bへ自系が運用系であるか予備系であるかを示すデータを送信する。これにより、運用系プロセッサ20b(旧予備系)のキャッシュメモリコントローラ23bは、キャッシュメモリ24bへの書き込みに使用するポートを、第2のポートから第1のポートへ切り替える。これにより、CPU21bの指令によるキャッシュメモリ24bに対する更新データは、キャッシュメモリ24bの運用領域に書き込まれる。
一方、予備系プロセッサ20a(旧運用系)のキャッシュメモリコントローラ23aは、キャッシュメモリ24aへの書き込みに使用するポートを、第1のポートから第2のポートへ切り替える。これにより、CPU21aの指令によるキャッシュメモリ24aに対する更新データは、保守プログラムによる書き込み領域である保守領域のみに書き込まれる。
切り替え後の運用系プロセッサ20b(旧予備系)のCPU21bは、キャッシュメモリ24bに書き込まれている更新データをメインメモリ25bへフラッシュ処理し、処理を再開する。
図4は、本発明の実施の形態1に係る二重化システムの運用系プロセッサ20aに障害が発生した場合の予備系プロセッサ20bのキャッシュメモリコントローラ23bの処理手順を示すフローチャートである。予備系プロセッサ20bのキャッシュメモリコントローラ23bは、CPU21bからリセット指令を受信する(ステップS401)。キャッシュメモリコントローラ23bは、キャッシュメモリ24bへアクセス可能なポートを、第2のポート242bから第1のポート241bへ切り替える(ステップS402)。
キャッシュメモリコントローラ23bは、切り替えた第1のポート241bを介してキャッシュメモリ24bの運用領域に記憶されているデータをメインメモリ25bへ強制的に書き込むフラッシュ処理を行う(ステップS403)。これにより、障害が発生した運用系プロセッサ20aのキャッシュメモリ24aのデータと同一のデータを用いて、切り替えられた旧予備系プロセッサ20bのCPU21bが処理を継続することができる。
以上のように本実施の形態1によれば、運用系プロセッサ20aのキャッシュメモリ24aの内容が更新された場合には、メインメモリ25aへのフラッシュ処理と並行して更新データ自体が予備系プロセッサ20bのキャッシュメモリ24bへ転送される。したがって、障害発生により運用系プロセッサ20aのキャッシュメモリ24aのフラッシュ処理を行うことができない場合であっても、予備系プロセッサ20bのキャッシュメモリ24bの内容と運用系プロセッサ20aのキャッシュメモリ24aの内容とが一致していることから、切り替えて処理を再開する旧予備系プロセッサ20bに搭載されているキャッシュメモリ24bの内容を用いて処理を継続することが可能となる。
(実施の形態2)
本発明の実施の形態2に係る二重化システムの構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態2は、キャッシュメモリの動作を制御するキャッシュメモリコントローラがデータが正常であるか否かを判断する機能を有する点で実施の形態1とは相違する。
運用系プロセッサ20aのCPU21aは、ROM27aに記憶してあるプログラムに従って所定の処理を実行する。CPU21aがメインメモリ25aへの書き込みを行う場合、メインメモリ25aへ書き込むべき更新データは、まずキャッシュメモリコントローラ23aを介してキャッシュメモリ24aへ書き込まれる。
キャッシュメモリ24aへの更新データの書き込みは、第1のポート241aを介して運用領域に対して行われる。キャッシュメモリコントローラ23aは、キャッシュメモリ24aの運用領域への書き込みを指示した時点で、書き込むべき更新データが正常なデータであるか否かを判断する。更新データが正常なデータであるか否かを判断する方法は、特に限定されるものではなく、例えばパリティチェック、ECCチェック等、データの正当性を確認することができる方法であれば何でも良い。
キャッシュメモリコントローラ23aは、書き込むべき更新データが正常なデータであると判断した場合にのみ、更新データを予備系プロセッサ20bのキャッシュメモリ24bへと転送する。予備系プロセッサ20bのキャッシュメモリコントローラ23bは、キャッシュメモリ24bの第1のポート241bを介して、運用領域へ転送された更新データを書き込む。
なお、予備系プロセッサ20bでは、通常、所定の保守プログラムが作動している。保守プログラムの実行により、CPU21bがメインメモリ25bへの書き込みを行う場合、メインメモリ25bへ書き込むべき更新データは、運用系プロセッサ20aと同様にキャッシュメモリコントローラ23bを介してキャッシュメモリ24bへ書き込まれる。保守プログラムによる更新データは、キャッシュメモリ24bへ第2のポート242bを介して保守領域に対して行われる。保守領域に対しては、第1のポート241bを介して転送されてきた更新データは書き込まれない。したがって、保守プログラムによりキャッシュメモリ24bへ書込みが行われている場合であっても、運用系プロセッサ20aから転送されてきた更新データをキャッシュメモリ24bの運用領域へ書き込むことができ、運用系プロセッサ20aと予備系プロセッサ20bとで、キャッシュメモリ24a、24bの運用領域に記憶されている内容を一致させることが可能となる。
図5は、本発明の実施の形態2に係る二重化システムの運用系プロセッサ20aのキャッシュメモリコントローラ23a及び予備系プロセッサ20bのキャッシュメモリコントローラ23bの処理手順を示すフローチャートである。キャッシュメモリコントローラ23aは、CPU21aからキャッシュメモリ24aに対する更新データの書き込み指令を受信する(ステップS501)。キャッシュメモリコントローラ23aは、第1のポート241aを介してキャッシュメモリ24aの運用領域へ更新データを書き込む(ステップS502)。
一方、キャッシュメモリコントローラ23aは、更新データに対してパリティチェックを行い(ステップS503)、更新データが正常であるか否かを判断する(ステップS504)。キャッシュメモリコントローラ23aが、更新データが異常であると判断した場合(ステップS504:NO)、キャッシュメモリコントローラ23aは、更新データを予備系プロセッサ20bに対して転送せず、処理を終了する。
キャッシュメモリコントローラ23aが、更新データが正常であると判断した場合(ステップS504:YES)、キャッシュメモリコントローラ23aは、予備系プロセッサ20bのキャッシュメモリコントローラ23bに対して、更新データを転送する(ステップS505)。予備系プロセッサ20bのキャッシュメモリコントローラ23bは、更新データを受信し(ステップS506)、第1のポート241bを介してキャッシュメモリ24bの運用領域へ更新データを書き込む(ステップS507)。
運用系プロセッサ20aに障害が発生した場合の系切り替え方法は、実施の形態1と同様となる。すなわち、運用系プロセッサ20aの障害監視部22aは、CPU21a、21bの双方に対してリセット指令を出し、予備系プロセッサ20bの障害監視部22bに対して障害が発生した旨を示すデータを送信する。リセット指令が出された場合、CPU21a、21bは運用系プロセッサ20aを予備系に、予備系プロセッサ20bを運用系へ切り替える。
切り替え後の運用系プロセッサ20b(旧予備系)の障害監視部22b及び予備系プロセッサ20a(旧運用系)の障害監視部22aは、キャッシュメモリコントローラ23a、23bへ自系が運用系であるか予備系であるかを示すデータを送信する。これにより、運用系プロセッサ20b(旧予備系)のキャッシュメモリコントローラ23bは、キャッシュメモリ24bへの書き込みに使用するポートを、第2のポートから第1のポートへ切り替える。これにより、CPU21bの指令によるキャッシュメモリ24bに対する更新データは、キャッシュメモリ24bの運用領域に書き込まれる。
一方、予備系プロセッサ20a(旧運用系)のキャッシュメモリコントローラ23aは、キャッシュメモリ24aへの書き込みに使用するポートを、第1のポートから第2のポートへ切り替える。これにより、CPU21aの指令によるキャッシュメモリ24aに対する更新データは、保守プログラムによる書き込み領域である保守領域のみに書き込まれる。
切り替え後の運用系プロセッサ20b(旧予備系)のCPU21bは、キャッシュメモリ24bに書き込まれている更新データをメインメモリ25bへフラッシュ処理し、処理を再開する。
以上のように本実施の形態2によれば、運用系プロセッサ20aのキャッシュメモリ24aに書き込まれた内容が正常なデータである場合にのみ予備系プロセッサ20bのキャッシュメモリ24bへ転送することができ、誤ったデータが転送されることによりプロセッサ切り替え後に処理を再開することができない事態が発生するのを未然に防止することが可能となる。
従来の二重化システムの構成例を示すブロック図である。 本発明の実施の形態1に係る二重化システムの構成を示すブロック図である。 本発明の実施の形態1に係る二重化システムの運用系プロセッサのキャッシュメモリコントローラ及び予備系プロセッサのキャッシュメモリコントローラの処理手順を示すフローチャートである。 本発明の実施の形態1に係る二重化システムの運用系プロセッサに障害が発生した場合の予備系プロセッサのキャッシュメモリコントローラの処理手順を示すフローチャートである。 本発明の実施の形態2に係る二重化システムの運用系プロセッサのキャッシュメモリコントローラ及び予備系プロセッサのキャッシュメモリコントローラの処理手順を示すフローチャートである。
符号の説明
20a 運用系プロセッサ
20b 予備系プロセッサ
21a、21b CPU
22a、22b 障害監視部
23a、23b キャッシュメモリコントローラ
24a、24b キャッシュメモリ
25a、25b メインメモリ
26a、26b メインメモリコントローラ
27a、27b ROM
241a、241b 第1のポート
242a、242b 第2のポート

Claims (4)

  1. 主として演算処理する運用系プロセッサ及び該運用系プロセッサの障害時に演算処理する予備系プロセッサにそれぞれキャッシュメモリ、メインメモリ、メインメモリコントローラ、及び運用系プロセッサ又は予備系プロセッサのいずれかでの障害発生を監視する障害監視部が搭載されており、
    前記障害監視部が自系に障害が発生したと判断した場合、自系のプロセッサに対して他系のプロセッサへの障害通知を指示し、自系のプロセッサが運用系プロセッサであるときには予備系プロセッサへ切り替え、他系のプロセッサから障害通知を受信した場合、自系のプロセッサが予備系プロセッサであるときには運用系プロセッサへ切り替える二重化システムにおいて、
    前記キャッシュメモリは同時にデータの読み書きを行うことができる複数のポートを有し、
    前記キャッシュメモリの動作を制御するキャッシュメモリコントローラが運用系プロセッサ及び予備系プロセッサにそれぞれ搭載されており、
    運用系プロセッサの前記キャッシュメモリコントローラは、
    運用系プロセッサの前記キャッシュメモリに対する更新データを中継する手段と、
    該手段で更新データを中継した場合、該更新データを、キャッシュメモリに対する更新処理に用いるポートと相違するポートを用いて予備系プロセッサの前記キャッシュメモリに対して転送する手段と
    を備え、
    予備系プロセッサの前記キャッシュメモリコントローラは、
    運用系プロセッサから更新データを受信する手段と、
    該手段で受信した更新データを、前記キャッシュメモリに対する更新処理に用いているポートとは相違するポートを用いて、前記キャッシュメモリに書き込む手段と
    を備えることを特徴とする二重化システム。
  2. 運用系プロセッサの前記キャッシュメモリコントローラは、
    運用系プロセッサの前記キャッシュメモリに対する更新データを中継した場合、前記キャッシュメモリに書き込まれた更新データが正常なデータであるか否かを判断する手段を備え、
    該手段で正常なデータであると判断した場合に、前記更新データを予備系プロセッサのキャッシュメモリに対して転送するようにしてあることを特徴とする請求項1記載の二重化システム。
  3. 主として演算処理する運用系プロセッサ及び該運用系プロセッサの障害時に演算処理する予備系プロセッサにそれぞれキャッシュメモリ、メインメモリ、メインメモリコントローラ、及び運用系プロセッサ又は予備系プロセッサのいずれかでの障害発生を監視する障害監視部が搭載されており、前記障害監視部が自系に障害が発生したと判断した場合、自系のプロセッサに対して他系のプロセッサへの障害通知を指示し、自系のプロセッサが運用系プロセッサであるときには予備系プロセッサへ切り替え、他系のプロセッサから障害通知を受信した場合、自系のプロセッサが予備系プロセッサであるときには運用系プロセッサへ切り替える系切り替え方法において、
    前記キャッシュメモリは同時にデータの読み書きを行うことができる複数のポートを有し、
    前記キャッシュメモリの動作を制御するキャッシュメモリコントローラが運用系プロセッサ及び予備系プロセッサにそれぞれ搭載されており、
    運用系プロセッサの前記キャッシュメモリコントローラにて、
    運用系プロセッサの前記キャッシュメモリに対する更新データを中継し、
    更新データを中継した場合、該更新データを、キャッシュメモリに対する更新処理に用いるポートと相違するポートを用いて予備系プロセッサの前記キャッシュメモリに対して転送し、
    予備系プロセッサの前記キャッシュメモリコントローラにて、
    運用系プロセッサから更新データを受信し、
    受信した更新データを、前記キャッシュメモリに対する更新処理に用いているポートとは相違するポートを用いて、前記キャッシュメモリに書き込むことを特徴とする系切り替え方法。
  4. 運用系プロセッサの前記キャッシュメモリコントローラにて、
    運用系プロセッサの前記キャッシュメモリに対する更新データを中継した場合、前記キャッシュメモリに書き込まれた更新データが正常なデータであるか否かを判断し、
    正常なデータであると判断した場合に、前記更新データを予備系プロセッサのキャッシュメモリに対して転送することを特徴とする請求項3記載の系切り替え方法。
JP2006218898A 2006-08-10 2006-08-10 二重化システム及び系切り換え方法 Pending JP2008046685A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006218898A JP2008046685A (ja) 2006-08-10 2006-08-10 二重化システム及び系切り換え方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006218898A JP2008046685A (ja) 2006-08-10 2006-08-10 二重化システム及び系切り換え方法
US11/832,365 US20080040552A1 (en) 2006-08-10 2007-08-01 Duplex system and processor switching method
EP07015192A EP1887471A3 (en) 2006-08-10 2007-08-02 Duplex system and processor switsching method
CN200710140376.2A CN101122877A (zh) 2006-08-10 2007-08-10 双工系统和处理器切换方法

Publications (1)

Publication Number Publication Date
JP2008046685A true JP2008046685A (ja) 2008-02-28

Family

ID=38704946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006218898A Pending JP2008046685A (ja) 2006-08-10 2006-08-10 二重化システム及び系切り換え方法

Country Status (4)

Country Link
US (1) US20080040552A1 (ja)
EP (1) EP1887471A3 (ja)
JP (1) JP2008046685A (ja)
CN (1) CN101122877A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244994A (ja) * 2008-03-28 2009-10-22 Nec Computertechno Ltd 分散共有メモリ型マルチプロセッサシステム及びプレーンデグレード方法
CN102722916A (zh) * 2012-05-23 2012-10-10 南京智达康无线通信科技股份有限公司 一种接入控制器用故障信息记录方法及故障管理系统
JP2012198704A (ja) * 2011-03-18 2012-10-18 Fujitsu Ltd ストレージ装置、制御装置およびストレージ装置制御方法
JP2014203306A (ja) * 2013-04-05 2014-10-27 富士ゼロックス株式会社 情報処理装置およびプログラム
JP2019016218A (ja) * 2017-07-07 2019-01-31 富士通株式会社 情報処理装置、制御装置および情報処理装置の制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI413984B (zh) * 2008-10-16 2013-11-01 Silicon Motion Inc 快閃記憶體裝置以及資料更新方法
US8689044B2 (en) * 2011-11-16 2014-04-01 Hewlett-Packard Development Company, L.P. SAS host controller cache tracking
US8694826B2 (en) * 2012-02-29 2014-04-08 Hewlett-Packard Development Company, L.P. SAS host cache control
JP5561319B2 (ja) * 2012-06-29 2014-07-30 ダイキン工業株式会社 集中コントローラ
CN102984490B (zh) * 2012-12-28 2015-11-25 浙江宇视科技有限公司 一种网络视频录像机
CN104008579B (zh) * 2014-04-28 2017-05-10 北京交大思诺科技股份有限公司 高可靠不间断的数据记录方法及atp记录器
US9697124B2 (en) * 2015-01-13 2017-07-04 Qualcomm Incorporated Systems and methods for providing dynamic cache extension in a multi-cluster heterogeneous processor architecture
CN112731859A (zh) * 2020-11-24 2021-04-30 江苏方天电力技术有限公司 一种cems环保数据传输系统的监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0667977A (ja) * 1992-08-05 1994-03-11 Nec Corp 障害系メモリデータ転送制御方式
JPH06149677A (ja) * 1992-10-31 1994-05-31 Nec Corp キャッシュメモリシステム
JPH11328015A (ja) * 1998-02-17 1999-11-30 Internatl Business Mach Corp <Ibm> 割振り解除方法およびデ―タ処理システム
JPH11328013A (ja) * 1998-05-13 1999-11-30 Nec Corp メモリ制御装置
JP2006040175A (ja) * 2004-07-29 2006-02-09 Fujitsu Ltd キャッシュメモリ装置およびキャッシュメモリ制御方法
JP2006139401A (ja) * 2004-11-10 2006-06-01 Nec Corp マルチポートキャッシュメモリ及びマルチポートキャッシュメモリのアクセス制御方式
JP2006515940A (ja) * 2002-11-15 2006-06-08 インテル コーポレイション ブートコード実行用ramとしてのプロセッサキャッシュメモリ
JP2006146920A (ja) * 2004-11-17 2006-06-08 Sun Microsyst Inc メモリエラーを分類するための方法および装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514208B2 (ja) * 1987-07-15 1996-07-10 富士通株式会社 ホットスタンドバイメモリ−コピ−方式
US5761705A (en) * 1996-04-04 1998-06-02 Symbios, Inc. Methods and structure for maintaining cache consistency in a RAID controller having redundant caches
US5896492A (en) * 1996-10-28 1999-04-20 Sun Microsystems, Inc. Maintaining data coherency between a primary memory controller and a backup memory controller
JP3987241B2 (ja) * 1999-07-29 2007-10-03 株式会社東芝 系間情報通信システム
JP2001092682A (ja) * 1999-09-24 2001-04-06 Fujitsu Ltd キャッシュシステム及び二重化システム
US6681339B2 (en) * 2001-01-16 2004-01-20 International Business Machines Corporation System and method for efficient failover/failback techniques for fault-tolerant data storage system
US7080197B2 (en) * 2002-04-18 2006-07-18 Lsi Logic Corporation System and method of cache management for storage controllers
US7293196B2 (en) * 2002-05-08 2007-11-06 Xiotech Corporation Method, apparatus, and system for preserving cache data of redundant storage controllers
US7162587B2 (en) * 2002-05-08 2007-01-09 Hiken Michael S Method and apparatus for recovering redundant cache data of a failed controller and reestablishing redundancy
US6941396B1 (en) * 2003-02-19 2005-09-06 Istor Networks, Inc. Storage controller redundancy using bi-directional reflective memory channel
US7117310B2 (en) * 2004-02-18 2006-10-03 Lsi Logic Corporation Systems and methods for cache synchronization between redundant storage controllers
US7337280B2 (en) * 2005-02-10 2008-02-26 International Business Machines Corporation Data processing system and method for efficient L3 cache directory management

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0667977A (ja) * 1992-08-05 1994-03-11 Nec Corp 障害系メモリデータ転送制御方式
JPH06149677A (ja) * 1992-10-31 1994-05-31 Nec Corp キャッシュメモリシステム
JPH11328015A (ja) * 1998-02-17 1999-11-30 Internatl Business Mach Corp <Ibm> 割振り解除方法およびデ―タ処理システム
JPH11328013A (ja) * 1998-05-13 1999-11-30 Nec Corp メモリ制御装置
JP2006515940A (ja) * 2002-11-15 2006-06-08 インテル コーポレイション ブートコード実行用ramとしてのプロセッサキャッシュメモリ
JP2006040175A (ja) * 2004-07-29 2006-02-09 Fujitsu Ltd キャッシュメモリ装置およびキャッシュメモリ制御方法
JP2006139401A (ja) * 2004-11-10 2006-06-01 Nec Corp マルチポートキャッシュメモリ及びマルチポートキャッシュメモリのアクセス制御方式
JP2006146920A (ja) * 2004-11-17 2006-06-08 Sun Microsyst Inc メモリエラーを分類するための方法および装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244994A (ja) * 2008-03-28 2009-10-22 Nec Computertechno Ltd 分散共有メモリ型マルチプロセッサシステム及びプレーンデグレード方法
JP2012198704A (ja) * 2011-03-18 2012-10-18 Fujitsu Ltd ストレージ装置、制御装置およびストレージ装置制御方法
US9146803B2 (en) 2011-03-18 2015-09-29 Fujitsu Limited Storage apparatus, control apparatus, and storage apparatus control method
CN102722916A (zh) * 2012-05-23 2012-10-10 南京智达康无线通信科技股份有限公司 一种接入控制器用故障信息记录方法及故障管理系统
JP2014203306A (ja) * 2013-04-05 2014-10-27 富士ゼロックス株式会社 情報処理装置およびプログラム
JP2019016218A (ja) * 2017-07-07 2019-01-31 富士通株式会社 情報処理装置、制御装置および情報処理装置の制御方法

Also Published As

Publication number Publication date
CN101122877A (zh) 2008-02-13
EP1887471A3 (en) 2008-04-30
EP1887471A2 (en) 2008-02-13
US20080040552A1 (en) 2008-02-14

Similar Documents

Publication Publication Date Title
JP2008046685A (ja) 二重化システム及び系切り換え方法
JP4182948B2 (ja) フォールト・トレラント・コンピュータシステムと、そのための割り込み制御方法
JP4161276B2 (ja) フォルトトレラントコンピュータ装置およびその同期化方法
JP5347414B2 (ja) 同期制御装置,情報処理装置及び同期管理方法
JP6098778B2 (ja) 冗長化システム、冗長化方法、冗長化システムの可用性向上方法、及びプログラム
US5742851A (en) Information processing system having function to detect fault in external bus
JP2005122763A (ja) 記憶装置
JP2005339131A (ja) バックアップ方法、バックアップシステム、ディスク制御装置、及びバックアッププログラム
JP5299281B2 (ja) 情報処理装置及び制御方法
JP2009098988A (ja) フォルトトレラントコンピュータシステム
JP2009193469A (ja) 動的切り替え装置、動的切り替え方法、及び動的切り替えプログラム
WO2015104841A1 (ja) 多重系システムおよび多重系システム管理方法
JP5287974B2 (ja) 演算処理システム、再同期方法、およびファームプログラム
JP2007334668A (ja) メモリダンプ方法、クラスタシステム、それを構成するノードおよびプログラム
JP2007206949A (ja) ディスクアレイ装置、ディスクアレイ装置の制御方法、ディスクアレイ装置の制御プログラム
JP2006260141A (ja) 記憶システムの制御方法、記憶システム、記憶制御装置、記憶システムの制御プログラム、情報処理システム
JP2000181889A (ja) プロセッサおよびマルチプロセッサシステム
JP2008262426A (ja) 2重化コントローラシステム、そのコントローラ
US20120233420A1 (en) Fault-tolerant system, memory control method, and computer-readable recording medium storing programs
JP2011028481A (ja) フォールトトレラントサーバ、プロセッサ切り替え方法およびプロセッサ切り替えプログラム
JP4810488B2 (ja) 二重化制御装置、及びそのトラッキング方法
JP4788516B2 (ja) 動的置き換えシステム、動的置き換え方法およびプログラム
JPWO2004079573A1 (ja) マルチプロセッサシステム
JP2008171058A (ja) システムコントローラ、プロセッサ、情報処理システムおよび情報処理プログラム
JPH0695974A (ja) メモリ保護方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111018