JP4001946B2 - 再生装置 - Google Patents

再生装置 Download PDF

Info

Publication number
JP4001946B2
JP4001946B2 JP33771095A JP33771095A JP4001946B2 JP 4001946 B2 JP4001946 B2 JP 4001946B2 JP 33771095 A JP33771095 A JP 33771095A JP 33771095 A JP33771095 A JP 33771095A JP 4001946 B2 JP4001946 B2 JP 4001946B2
Authority
JP
Japan
Prior art keywords
image data
mode
encoded image
unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP33771095A
Other languages
English (en)
Other versions
JPH09163275A (ja
Inventor
充 佐藤
浩一 佐野
規男 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP33771095A priority Critical patent/JP4001946B2/ja
Publication of JPH09163275A publication Critical patent/JPH09163275A/ja
Application granted granted Critical
Publication of JP4001946B2 publication Critical patent/JP4001946B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、1枚の画像から形成された複数の異なる解像度の静止画像データが記録された記録媒体から、迅速に静止画像を表示する再生装置に関する。
【0002】
【従来の技術】
従来、外部から供給される静止画像データを光ディスク等の記録媒体に記録再生する記録再生装置が知られている。
この記録再生装置には、一般に静止画像データとして高解像度の画像データが供給されており、この高解像度の画像データをJPEG方式等により圧縮符号化して記録媒体に記録している。
この場合、高解像度の静止画像データを数分の1に間引き処理した中間解像度の静止画像データ、および数10分の1に間引き処理したインデックス用の静止画像データを作成して、これらの解像度の異なる静止画像データも記録媒体に記録するようにしている。
【0003】
そして、このような解像度の異なる静止画像データが記録されている記録媒体から静止画像データを読み出して表示させる場合は、まず、インデックス画像とされる最も低解像度の静止画像データを複数枚読み出して表示し、所望の静止画像を選択するようにする。そして、選択された静止画像の中間解像度の画像データを読み出して表示装置に表示するようにしている。
ここで、中間解像度の画像データを読み出して表示するのは、高解像度の静止画像データはデータ量が大きく、その読出しに時間がかかり表示装置に表示されるまでに時間がかかるためである。特に、記録媒体が光ディスクとされた場合は、アクセスに要する時間が長くなる。
【0004】
【発明が解決しようとする課題】
しかしながら、高解像度の静止画像データを表示したい場合には、高解像度の静止画像データを読み出して表示するまでに時間がかかり、画像全体の確認を迅速に行えないという問題点があった。
そこで、本発明は高解像度の静止画像データを表示する場合に、表示される画像の全体の確認を迅速に行えるようにした静止画像表示する再生装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
前記目的を達成するために、本発明は、符号化画像データを記録媒体から再生する再生装置において、画像データを第1の解像度に変換して圧縮された第1の符号化画像データと、前記画像データを前記第1の解像度よりも高い解像度である第2の解像度に変換して圧縮された第2の符号化画像データとが記録された記録媒体から、前記第1の符号化画像データ及び前記第2の符号化画像データを再生する再生手段と、前記再生手段により再生された第1の符号化画像データ及び第2の符号化画像データを復号し、第1の画像データ及び第2の画像データを生成して表示手段に表示出力する復号手段と、前記第1の画像データを表示出力させている間に前記第2の符号化データ再生及び復号することによって、前記表示手段に表示されている前記第1の画像データを前記第2の画像データに置き換えて表示させるように、前記再生手段及び前記復号手段を制御する制御手段とを有するものである。
【0006】
さらに、再生モードを指示する再生指示手段の再生指示に基づいて、前記第1の画像データを表示させるか、前記第1の画像データを前記第2の画像データに置き換えて表示させるか、前記第2の画像データを表示させるか、を判定する判定手段を更に有し、前記制御手段は、前記判定手段の判定結果に基づいて、前記再生手段及び前記復号手段を制御する。
さらに、前記再生手段により再生された前記第1の符号化画像データ及び前記第2の符号化画像データを格納するメモリ手段を更に有し、前記復号手段は、前記メモリ手段に格納された第1の符号化画像データ及び第2の符号化画像データを復号する。
そして、前記第2の符号化画像データは、該第2の符号化画像データに圧縮しない第1のモードと、第1の圧縮率で該第2の符号化画像データに圧縮する第2のモードと、前記第1の圧縮率よりも高い第2の圧縮率で前記第2の符号化画像データに圧縮する第3のモードのうち、モードを選択する選択操作部によって選択されたモードで前記記録媒体に記録されている。
【0007】
このような本発明の再生装置によれば、高解像度の静止画像データを表示する場合に、最初に素早く読み出して表示することのできる解像度の静止画像データを読み出して表示するようにし、この表示画像を次に読み出された高解像度の静止画像データで書き替えていくようにしたので、静止画像の全体を迅速に表示することができる。したがって、アクセスしてから画像全体を表示するまでの時間を短くすることができ、その確認を迅速に行えるようになる。
【0008】
【発明の実施の形態】
本発明の再生装置が適用された光ディスク記録再生装置のブロック図を図1に示す。
この図に示す光ディスク記録再生装置は、フィルムや写真等から画像の読み取りを行うスキャナ部1と、ビデオテープレコーダ、ビデオカメラ、スチルカメラ等からの画像データの取り込みを行うビデオ入力部2と、スキャナ部1あるいはビデオ入力部2から取り込まれた画像データの記録再生を行うストレージ部11とを備えている。
【0009】
上記スキャナ部1およびビデオ入力部2から取り込まれた画像データは、フレームメモリ3に格納され、フレームメモリ3から読み出された画像データを表示するモニタ装置8と、フレームメモリ3から読み出された画像データをプリントするプリンタ部9とが光ディスク記録再生装置に設けられている。なお、モニタ装置8には、画像データがディジタル/アナログ変換器7でアナログ信号に変換されてモニタ装置8に供給されている。
また、光ディスク記録再生装置には、フレームメモリ3への画像データの書き込みおよび読み出しを制御するメモリコントローラ4と、光ディスク記録再生装置の全体の動作をコントロールする中央処理装置(CPU)5と、スキャナ部1による画像データの取り込み指示や、プリンタ部9のプリント指示等を行うキーの備えられた操作部6とが備えられている。
【0010】
さらに、ストレージ部11はフレームメモリ3から読み出された画像データが供給されるインターフェース(I/F)12と、画像データを圧縮符号化処理に適した所定画素のブロックに分割するラスター/ブロック変換回路13と、記録時にブロック化された画像データに圧縮符号化処理およびエントロピー符号化処理を施す圧縮処理を行うと共に、再生時に圧縮された画像データに伸張復号化処理および逆エントロピー復号化処理を施す伸張処理を行う圧縮・伸張回路14と、ラスター/ブロック変換時に一時記憶バッファとして使用されるメモリ15と、記録時に圧縮・伸張回路14からの画像データが一時記憶されると共に、再生時にディスク記録再生部17から読み出された画像データが一時記憶されるバッファメモリ16と、光ディスク18へ画像データを記録すると共に、光ディスク18に記録された画像データを読み出すディスク記録再生部17とから構成されている。
【0011】
なお、ストレージ部11には、ストレージ部11の全体の動作をコントロールするシステムコントローラ19と、画像データの記録や再生等の指示を行うキーを備える操作部20と、画像データの情報等を示す表示部21とが備えられている。
【0012】
次に、このように構成された静止画像記録再生装置の動作を説明する。
まず、所望の画像を光ディスク18に記録する場合を説明すると、ユーザは操作部6を操作して画像データの取り込み先をスキャナ部1かビデオ入力部2かを指定する。そして、取り込んだ画像データの出力先をストレージ部11と指定する。これにより、CPU5がスキャナ部1あるいはビデオ入力部2の指定されたいずれかを動作状態に制御する。
【0013】
スキャナ部1は反射原稿、透過原稿の両方の画像が読み取り可能となっており、反射原稿としてはEサイズ、Lサイズ、A6サイズの写真の読み取りが可能とされ、透過原稿としては35mm、ブローニサイズのネガフィルムの読み取りが可能とされている。そして、これらの原稿のいずれかが原稿読み取り台に装着されると、この原稿をCCDセンサが読み取って画像データが形成されて出力される。
【0014】
また、ビデオ入力部2は、ビデオテープレコーダ等からのコンポジット信号、輝度(Y)/クロマ(C)セパレートのフォ−マットとされたビデオ信号、RGBの原色信号でフォ−マットされたビデオ信号の3つのフォ−マットのビデオ信号の入力が可能とされている。そして、入力されたビデオ信号は内蔵されたビデオ処理部によりRGBのフォ−マットのビデオ信号に統一され、さらにディジタルの画像データに変換されて出力される。
なお、スキャナ部1あるいはビデオ入力部2により形成された画像データは、例えば水平方向が1536ピクセル、垂直方向が1024ピクセルとされた高解像度の画像データであり、この画像データがフレームメモリ3に供給されて記憶される。
【0015】
このフレームメモリ3への画像データの書き込みはメモリコントローラ4の制御の基で行われる。そして、フレームメモリ3から読み出された画像データは、D/A変換器7によりアナログの画像信号に変換されてモニタ装置8に表示される。
ここで、ユーザはストレージ部11に設けられた操作部20のRECキーを操作していると、ストレージ部11はREC状態とされている。すなわち、システムコントローラ19はフレームメモリ3に記憶されている画像データを取り込むように、インターフェース12を制御する。これにより、インターフェース12を介してストレージ部11に取り込まれた画像データは、ラスター/ブロック変換回路13に入力されて、メモリ15を一時記憶バッファとして使用することにより符号化処理に適したブロック単位に分割される。
【0016】
ブロック化された画像データは圧縮・伸張回路14に入力されてJPEG方式の圧縮処理が行われる。この場合、圧縮処理はDCT(離散コサイン変換)手段と、量子化手段、および可変長符号化手段により行われる。DCT手段は画像データに一種のフーリエ変換を施して、DC(直流)成分と、低周波項から高周波項の各周波数成分に分解する。一般に、画像データはDCT後には低周波項に集中する性質を有する。そこで、DCTされた画像データを低周波項から高周波項に向かって量子化ステップを大きくした量子化テーブルを有する量子化手段により量子化するようにする。これにより画像データを圧縮処理することができる。さらに、画像データに出現確率の高い値に短い符号を割り当て、出現確率の低い値に長い符号を割り当てる可変長符号化を施して、さらに画像データを圧縮する。
【0017】
次いで、圧縮処理された画像データはDMA方式によりバッファメモリ16に書き込まれ、ディスク記録再生部17のタイミングによりバッファメモリ16から読み出されて、ディスク記録再生部17により光ディスク18に記録される。この光ディスク18は、ミニディスク(MD)としてもよい。なお、MDは光磁気方式の記録方式とされ、その記憶容量は140MBとされている。
【0018】
なお、光ディスク18には1枚の画像データから形成された本画像モードの画像データと、標準(SD)モードの画像データと、インデックス用の画像データとが記録される。本画像モードには、画像データを圧縮しないノンコンプレッションモード、画像データを1/5に圧縮(RGB基準)したファインモード、画像データを1/16に圧縮したノーマルモードがあり、画サイズは、例えばPAL方式で768×576ピクセルとされている。SDモードの画像データは本画像よりデータ量が少なく1/16に圧縮されており、VGA規格(640×480ピクセル)の画サイズとされている。また、インデックス用の画像データの画サイズは80×60ピクセルの画像データとされている。
なお、本画像モードのいずれのモードとされるかは、ユーザが操作部20を操作することにより設定される。
【0019】
この本画像モードの画像データおよびSDモードの画像データは、フレームメモリ3に記憶された画像データを間引き処理することにより作成することができるが、圧縮・伸張回路14の量子化テーブルを変更することによって圧縮率を変更することができることから、これにより本画像モードの画像データおよびSDモードの画像データを作成することができる。このようにして作成された本画像モードの画像データおよびSDモードの画像データは、前述したように光ディスク18に記録される。
【0020】
次に、このように3種類の解像度の画像データが記録されている光ディスク18から画像データを再生してモニタ装置8に表示する動作について説明する。
ユーザが操作部20を操作して、光ディスク18に記録されている画像データの表示を指示する。これにより、システムコントローラ19が、画像データを再生するようにディスク記録再生部17を制御する。ディスク記録再生部17により再生された画像データは、DMA方式によりバッファメモリ16に書き込まれ、圧縮・伸張回路14のタイミングで読み出されて伸張処理され、さらに、ラスター/ブロック変換回路13にてブロックからラスターの形態に変換されてインターフェース12に入力される。
そして、インターフェース12およびインターフェースブロック10を介して、再生された画像データがフレームメモリ3に書き込まれる。
【0021】
さらに、フレームメモリ3から読み出された画像データは、D/A変換器7においてアナログ信号に変換されてモニタ装置8に表示される。
この場合、ユーザはクイックモード、オートモード、およびメインモードの表示モードを選択することができる。クイックモードを選択した場合は、SDモードの画像がモニタ装置8に素早く表示されるようになる。このSDモードは前述したように1/16に圧縮されているため、光ディスク18から1枚のSDモードの画像データを読み出して表示するまでの時間は約1秒とされ、迅速にモニタ装置8に表示されている画像を切り替えることができる。
【0022】
また、オートモードは本発明の静止画像表示方法を具現化したモードであり、オートモードとされると、まず、光ディスク18からSDモードの画像データを読み出してモニタ装置8に素早く表示させ、このSDモードの画像が表示されている間に、光ディスク18から本画像モードの画像データを読み出して再生し、モニタ装置8に表示されている画像を1水平ラインづつ書き替えながら本画像モードの画像データに切り替えるようにしたものである。
このオートモードによれば、再生を指示するとすぐに画像がモニタ装置8に表示され、本画像モードの画像データが再生されしだい、モニタ装置8の画像が本画像モードの画像に置き換わっていくため、ユーザは画像全体の確認を迅速に行うことができるようになる。また、表示される画像の品質が時間の経過と共に次第に向上されていくようになり、いわゆるプログレッシング機能を有するモードとなる。
【0023】
さらに、メインモードでは光ディスク18から本画像データが読み出されて再生され、モニタ装置8に本画像が表示されるモードである。このモードでは、本画像データが大容量とされている場合が多いため、再生を指示してからモニタ表示8に表示されるまでに時間がかかる。
例えば、ファインモードでは表示されるまでに約2秒かかり、ノンコンプレッションモードでは約5秒程度かかるようになる。また、ノーマルモードでは約1秒かかる。
【0024】
次に、3種類の解像度の画像データが記録されている光ディスク18から画像データを再生してモニタ装置8に表示する動作処理のフローチャートを図2に示す。
このフローチャートにおいて、ユーザが再生指示を行うと、ステップS10にてクイックモードが指示されたか否かが判別される。クイックモードが指示されていてイエス(Y)と判別されると、ステップS11にてSDモードの画像データが光ディスク18から読み出されて再生される。再生されたSDモードの画像データはフレームメモリ3に書き込まれて処理は終了する。これにより、モニタ装置8にSDモードの画像が表示される。
【0025】
また、ステップS10にてクイックモードではなくノー(N)と判別されると、ステップS12に分岐されオートモードか否かが判別される。ここで、ユーザがオートモードを指示していると、イエス(Y)と判別されて、ステップS13に進む。そして、ステップS13にてSDモードの画像データが光ディスク18から読み出されて再生され、フレームメモリ3に書き込まれる。これにより、モニタ装置8にSDモードの画像が表示される。
次いで、ステップS14にて本画像の画像データが光ディスク18から読み出されて再生され、再生された本画像の画像データによりフレームメモリ3が上書きされて処理は終了する。これにより、モニタ装置8に本画像の画像が表示されるようになり、表示される画像の品質が時間の経過と共に次第に向上されていくようになる(プログレッシング機能)。
【0026】
さらに、ステップS12にてノー(N)と判別された場合は、メインモードであり、ステップS15に分岐して本画像の画像データが光ディスク18から読み出されて再生され、再生された本画像の画像データがフレームメモリ3に書き込まれて処理は終了する。これにより、モニタ装置8に本画像の画像が表示されるようになる。
【0027】
ところで、前記したファインモードは1/5圧縮、ノーマルモードは1/16圧縮としたが、これに限られることはなく異なる圧縮率としてもよいものである。
また、画像データの圧縮処理を1/5間引き回路や1/16間引き回路により行うようにしてもよい。
なお、以上の説明においては記録媒体を光ディスクとして説明したが、本発明はこれに限らず、ハードディスク等の記録媒体を備える記録再生装置にも適用することができるものである。
【0028】
【発明の効果】
本発明は以上のように構成されているので、高解像度の静止画像データを表示する場合には、最初に素早く読み出して表示することのできる解像度の静止画像データを読み出して全体の画像を表示するようにし、この表示画像を表示中に読み出された高解像度の静止画像データで書き替えていくようにしたので、静止画像の全体を迅速に表示することができる。したがって、画像の全体を確認するまでの時間を短くすることができるようになる。
また、表示される画像の品質が時間の経過と共に次第に向上されていくプログレッシング機能を持たせることができる。
【図面の簡単な説明】
【図1】本発明の静止画像表示方法が適用されている光ディスク記録再生装置のブロック図である。
【図2】本発明の静止画像表示方法の動作を示すフローチャートである。
【符号の説明】
1 スキャナ部
2 ビデオ入力部
3 フレームメモリ
4 メモリコントローラ
5 CPU
6 操作部
7 D/A変換器
8 モニタ装置
9 プリンタ部
10 インターフェースブロック
11 ストレージ部
12 インターフェース
13 ラスター/ブロック変換回路
14 圧縮・伸張回路
15 メモリ
16 バッファメモリ
17 ディスク記録再生部
18 光ディスク
19 システムコントローラ
20 操作部
21 表示部

Claims (4)

  1. 符号化画像データを記録媒体から再生する再生装置において、
    画像データを第1の解像度に変換して圧縮された第1の符号化画像データと、前記画像データを前記第1の解像度よりも高い解像度である第2の解像度に変換して圧縮された第2の符号化画像データとが記録された記録媒体から、前記第1の符号化画像データ及び前記第2の符号化画像データを再生する再生手段と、
    前記再生手段により再生された第1の符号化画像データ及び第2の符号化画像データを復号し、第1の画像データ及び第2の画像データを生成して表示手段に表示出力する復号手段と、
    前記第1の画像データを表示出力させている間に前記第2の符号化データ再生及び復号することによって、前記表示手段に表示されている前記第1の画像データを前記第2の画像データに置き換えて表示させるように、前記再生手段及び前記復号手段を制御する制御手段と
    を有する再生装置。
  2. 再生モードを指示する再生指示手段の再生指示に基づいて、
    前記第1の画像データを表示させるか、前記第1の画像データを前記第2の画像データに置き換えて表示させるか、前記第2の画像データを表示させるか、を判定する判定手段を更に有し、
    前記制御手段は、前記判定手段の判定結果に基づいて、前記再生手段及び前記復号手段を制御する
    請求項1に記載の再生装置。
  3. 前記再生手段により再生された前記第1の符号化画像データ及び前記第2の符号化画像データを格納するメモリ手段を更に有し、
    前記復号手段は、前記メモリ手段に格納された第1の符号化画像データ及び第2の符号化画像データを復号する請求項1に記載の再生装置。
  4. 前記第2の符号化画像データは、該第2の符号化画像データに圧縮しない 1 モードと、第1の圧縮率で該第2の符号化画像データに圧縮する第2のモードと、前記第1の圧縮率よりも高い第2の圧縮率で前記第2の符号化画像データに圧縮する第3のモードのうち、モードを選択する選択操作部によって選択されたモードで前記記録媒体に記録されている請求項1に記載の再生装置。
JP33771095A 1995-12-04 1995-12-04 再生装置 Expired - Lifetime JP4001946B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33771095A JP4001946B2 (ja) 1995-12-04 1995-12-04 再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33771095A JP4001946B2 (ja) 1995-12-04 1995-12-04 再生装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007174158A Division JP5034717B2 (ja) 2007-07-02 2007-07-02 復号装置、及び復号方法

Publications (2)

Publication Number Publication Date
JPH09163275A JPH09163275A (ja) 1997-06-20
JP4001946B2 true JP4001946B2 (ja) 2007-10-31

Family

ID=18311242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33771095A Expired - Lifetime JP4001946B2 (ja) 1995-12-04 1995-12-04 再生装置

Country Status (1)

Country Link
JP (1) JP4001946B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973734A (en) 1997-07-09 1999-10-26 Flashpoint Technology, Inc. Method and apparatus for correcting aspect ratio in a camera graphical user interface
US6317141B1 (en) 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
US9224145B1 (en) 2006-08-30 2015-12-29 Qurio Holdings, Inc. Venue based digital rights using capture device with digital watermarking capability

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822063B2 (ja) * 1989-07-11 1996-03-04 日本電気株式会社 画像信号の符号化装置
JPH05181443A (ja) * 1991-07-01 1993-07-23 Seiko Epson Corp コンピュータ
JP3045359B2 (ja) * 1992-09-18 2000-05-29 日立ソフトウエアエンジニアリング株式会社 画像処理装置
JP3252986B2 (ja) * 1993-05-18 2002-02-04 富士ゼロックス株式会社 画像処理装置
JP3347400B2 (ja) * 1993-06-22 2002-11-20 キヤノン株式会社 画像処理システム

Also Published As

Publication number Publication date
JPH09163275A (ja) 1997-06-20

Similar Documents

Publication Publication Date Title
US6690881B1 (en) Digital camera apparatus and recording method thereof
JP3551181B2 (ja) 記録装置及び記録方法
JP3787398B2 (ja) 画像処理装置及びその方法
JP4350809B2 (ja) ディジタルカメラ
US7463291B2 (en) Image data processing method, image data processing apparatus and digital still camera
JP3442111B2 (ja) 画像圧縮装置,画像再生装置及び描画装置
JP4001946B2 (ja) 再生装置
JP5034717B2 (ja) 復号装置、及び復号方法
JPH09506498A (ja) 画像データ記録装置及び画像データ再生装置
JP5093395B2 (ja) 復号装置、及び復号方法
JP3902824B2 (ja) 画像処理装置及び方法
JPH10276402A (ja) 画像記録装置
JPH08336113A (ja) 画像処理装置
US5982982A (en) Video signal processing apparatus
JP2938875B2 (ja) 画像信号の圧縮記録装置および伸長再生装置
JPH10145812A (ja) ディジタル画像信号記録装置
JPH07236110A (ja) ディジタルスチルカメラ
JPH10257422A (ja) 画像記録再生装置
JP2003018532A (ja) 撮像装置
JP2732941B2 (ja) 画像信号処理装置
JPH05167973A (ja) 静止画ファイルシステム
JP3527591B2 (ja) 情報記録再生装置
JPH0654207A (ja) 画像処理装置
JPH0638172A (ja) ディジタル電子スチルカメラの画像記憶再生方式
JPH07236118A (ja) 情報記録再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050530

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050603

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050624

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070816

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term