JP2006230014A - 撮像処理装置 - Google Patents

撮像処理装置 Download PDF

Info

Publication number
JP2006230014A
JP2006230014A JP2006107945A JP2006107945A JP2006230014A JP 2006230014 A JP2006230014 A JP 2006230014A JP 2006107945 A JP2006107945 A JP 2006107945A JP 2006107945 A JP2006107945 A JP 2006107945A JP 2006230014 A JP2006230014 A JP 2006230014A
Authority
JP
Japan
Prior art keywords
image signal
signal
node
imaging
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006107945A
Other languages
English (en)
Other versions
JP3991060B2 (ja
Inventor
Takashi Kobayashi
崇史 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006107945A priority Critical patent/JP3991060B2/ja
Publication of JP2006230014A publication Critical patent/JP2006230014A/ja
Application granted granted Critical
Publication of JP3991060B2 publication Critical patent/JP3991060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】 1台のカムコーダからNTSC信号を圧縮した画像信号とコンピュータのモニタ表示用のVGA信号との両方を出力できるようにする。
【解決手段】 CCD102で撮像した信号をカメラ信号処理部103で処理してNTSC信号を得る。この信号はSD規格で圧縮された後、磁気テープ108に記録されると共に、変換部114でVGA信号に変換される。また、磁気テープ108から再生され伸張されたNTSC信号も変換部114でVGA信号に変換される。上記圧縮された画像信号と上記VGA信号とはスイッチ115に送られ、その一方が外部からデジタルインターフェース118を介して入力される制御情報を判別部120で判別した結果に応じて選択され、デジタルインターフェース118を介して出力される。
【選択図】 図1

Description

本発明は撮像した画像を処理しデジタルインターフェースを通して画像を出力する撮像処理装置に関するものである。
まずデジタルインターフェースの一例として、IEEEP1394シリアルバスを用いた通信システムについて概要を説明する。
このシステムは、例えば図5に示すように、デジタル機器としてTV1、VTR1、VTR2及びデジタルカムコーダ(以下「DVCR1」という)を備えており、DVCR1とTV1との間、TV1とVTR1との間及びVTR1とVTR2との間は上記P1394シリアルバスで接続される。なお上述の各機器はP1394バス上のデジタルデータ及び制御データを中継する機能を有している。またP1394のためのケーブルは3組のシールド付き対線を備えており、各組の対線はプロトコル信号転送用、データ転送用に用いられるとともに電力供給用にも用いられるようになっており、システム中に電源オフされた機器があってもシステムを動作し得るようにしている。
ところでP1394においては、図6に示すように、所定の通信サイクル(125μsec)で通信が行われ、ビデオデータやオーディオデータのような時間軸を持ったデータは、一定のデータレートで転送帯域が保証されたアイソクロノス(同期)通信され、制御コマンドのような制御データは必要に応じて不定期にアシンクロナス(非同期)通信される。このような通信においては各通信サイクルのはじめにはサイクル・スタート・パケットがあり、それに続いてアイソクロノス通信のためのパケットを送信する期間が設定される。またアイソクロノス通信のためのパケットには各々チャンネル番号を付けることにより、複数チャンネルのアイソクロノス通信を同時に行うことができる。
すなわちDVCR1への通信にチャンネル1を割り付けると、DVCR1はサイクルスタートパケットの直後にチャンネル番号1のアイソクロノス通信パケットをバス上に送出し、VTR1はバス上のパケットを監視してチャンネル番号1が付されたパケットを取り込むことによってDVCR1とVTR1との間でアイソクロノス通信が実行される。同様にVTR2からTV1へのパケットにチャンネル番号2を割り付けることによってVTR2とTV1との間でアイソクロノス通信が実行され、チャンネル1とチャンネル2とのアイソクロノス通信が並行して行われる。そして各通信サイクル中ですべてのアイソクロノス通信パケットの送信が完了した後で、次のサイクルパケットまでの期間がアシンクロナス通信に使用される。
上述のような通信システムにおいては電源投入時新たなデジタル機器を接続した際及び機器を切り離した際に、その接続形態に応じて各機器(ノード)に対して自動的にノードID(物理アドレス)(図5における#0、#1、#2、#3)が上記マイコン内のメモリに記憶されたアドレスプログラム及びアドレステーブルに基づく以下のような手順によって割り付けてトポロジを自動設定する。以下このノードIDの割り付け手順を簡単に説明するが、この手順はシステムの階層構造の決定、各ノードに対する物理アドレスの付与から成る。
まず上記各機器に対してTV1をノードA、DVCR1をノードB、VTR1をノードC、VTR2をノードDとすると、各ノードは自己が接続された相手ノードに対して相手が自分の親であることを互いに伝達し合い、先に相手に伝達した方を優先して最終的にこのシステムにおける各ノード間の親子関係、即ちシステムの階層構造及び他のノードに対して子にならないノードであるルートノードが決定される。具体的にはノードDがノードCに対して親であることを伝達し、ノードBがノードAに対して親であることを伝達する。また、ノードAがノードCに対して親であることを伝達するとともにノードCがノードAに対して親であることを伝達した場合には、先に相手に伝達した方を優先し、ノードCによる伝達が早ければノードAをノードCの親とする。この結果、ノードAは他のいずれのノードに対しても子になることがなく、この場合にはルートノードとなる。このようにして親子の関係が決定された後に物理アドレスの付与が行われる。この物理アドレスの付与は、基本的には親ノードが子ノードに対してアドレス付与を許可し、更に各子ノードはポート番号の若い方に接続された子ノードから順に許可することによって行われる。
図5の場合には、ノードAがノードBに対してアドレス付与を許可し、この結果ノードBは自己に物理アドレス#0を付してこのことをバス上に送出することにより「ノード#0は割当済」であることを他のノードに通知する。次にノードAがノードCに対してアドレス付与を許可すると、同じくノードCの子ノードであるノードDにアドレス付与を許可し、この結果ノードDは自己に物理アドレスとして#0の次の物理アドレスである#1を付してこのことをバス上に送出する。その後ノードCは自己に物理アドレス#2を付してこのことをバス上に送出し、最後にノードAが自己に物理アドレス#3を付してこのことをバス上に送出する。尚、このノードIDの割り付け手順を含むP1394シリアルバスの詳細は「IEEE1394シリアルバス仕様書」として公開されている。
次にデータ転送の手順について説明する。上述のようなアドレスが付与されることによってデータ転送が可能となるが、P1394のシステムではデータ転送に先立って上記ルートノードによるバス使用権の調停が行われる。即ちP1394では図6に示したようにあるタイミングでは1チャンネルのデータのみの転送が行われるために先ず調停する必要があり、各ノードは転送を行いたい時には自己の親ノードに対してバス使用権を要求し、結果としてルートノードが各ノードからの使用権を調停する。この結果バス使用権を得たノードはデータ転送を始める前に伝送速度の指定を行い、100Mbpsか200Mbps又は400Mbpsか等を送信先ノードに通知する。
この後アイソクロナス転送の場合には、送信元ノードは上記ルートノードであるサイクル・マスタが上記通信サイクルに同期して送出するサイクル・スタート・パケットを受信した後、直ちに指定したチャンネルでデータ転送を開始する。尚、上記サイクル・マスタは上記サイクル・スタート・パケットをバス上に送出するとともに、各ノードの時刻合わせを行う。一方コマンドの制御データの転送を行うアシンクロナス転送の場合には、各通信サイクル内の同期転送が終了した後にアシンクロナス通信のための調停が行われ、送信元ノードから送信先ノードへデータ転送が開始される。
以上がP1394シリアルバスを用いた通信システムについての概要である。
図7に従来の画像撮影処理装置であるDVCR701が接続されたシステムの構成例を示す。DVCR701は撮影した画像を圧縮してテープ上に記録する。また撮影中もしくは再生中の圧縮された画像はP1394バスを通してVTR702に送られる。VTR702は送られてきた圧縮画像をテープ上にダビング記録する。またVTR702は送られてきた圧縮画像を伸張してD/A変換を施し、アナログインターフェースでつながれたTV703に送る。
一方デジタルカメラ704はいわゆるVGAと呼ばれる正方格子のデジタル画像データをP1394バスを通してコンピュータ705に送る。従って、コンピュータ705のモニタでこの画像を見ることができる。更にDVCR701からは例えばNTSCのアナログ画像信号がコンピュータ705のビデオ入力手段に送られている。送られてきたアナログNTSC信号はコンピュータ705でA/D変換が施され、VGA画像としてコンピュータ705のモニタで見ることができる。尚、DVCR701の画像をコンピュータ705で見る場合は、DVCR701とコンピュータ705とをアナログインターフェースで接続する。
しかしながら従来の構成では、TV703で画像を見るため及びコンピュータ705で画像を見るためにDVCR701とデジタルカメラ704との2つの撮像処理装置を用意しなければならないという問題があった。
あるいはコンピュータ705で画像を見るための撮像処理装置をDVCR701だけにした場合には、DVCR701とコンピュータ705を図7のようにアナログインターフェースでつないでいたので、画像の品質が劣化するという問題があった。
あるいはDVCR701とデジタルカメラ704とを1つのノード内に混在させた場合には、出力する画像データの形式が異なるので、それらを切り換えて使用しなければならないという問題があった。
本発明は上記の問題を解決するためのもので、ユーザが機能の切換動作を行うことなく、1台の撮像処理装置でTVに画像を表示する場合とコンピュータのモニタに画像を表示する場合との両方に対応できるようにすることを目的とする。
請求項1の発明においては、被写体を撮像する撮像手段と、上記撮像手段の出力を処理して所定方式の画像信号を得る機能を持つ第1の機能部と、上記撮像手段の出力を圧縮して圧縮画像信号を得る機能を持つ第2の機能部と、上記第1の機能部から得られる上記所定方式の画像信号と上記第2の機能部から得られる上記圧縮画像信号との一方を選択する選択手段と、上記選択手段で選択された画像信号を伝送路に送出すると共に上記伝送路を通じて制御情報を入力するデジタルインターフェース手段と、上記デジタルインターフェース手段を介して入力された上記制御情報を判別し、判別結果に応じて上記選択手段を制御する判別手段とを設けている。
請求項3の発明においては、被写体を撮像する撮像手段と、上記撮像手段の出力を処理して第1の方式の画像信号を出力する信号処理手段と、上記第1の方式の画像信号を圧縮する圧縮手段と、上記圧縮された画像信号を記録媒体に記録する処理を行う記録処理手段と、上記記録媒体を再生し再生信号を伸張する処理を行う再生処理手段と、上記第1の方式の画像信号又は上記伸張された画像信号を第2の方式の画像信号に変換する変換手段と、上記圧縮された画像信号と上記第2の方式の画像信号との一方を選択する選択手段と、上記選択手段で選択された画像信号を伝送路に送出すると共に上記伝送路から制御情報を入力するデジタルインターフェース手段と、上記入力された制御情報を判別し、判別結果に応じて上記選択手段を制御する判別手段とを設けている。
請求項1の発明によれば、撮像した信号を処理して第1の機能部からは例えばコンピュータのモニタ表示に適した方式等の所定方式の画像信号が得られ、第2の機能部からは圧縮画像信号が得られる。この2つの画像信号は、デジタルインターフェース手段から入力される制御情報に応じて判別手段により一方が選択されて上記デジタルインターフェース手段から出力される。
請求項3の発明によれば、信号処理手段は撮像した信号を処理して例えばNTSC方式等の第1の方式の画像信号が得られ、この画像信号は変換手段により例えばコンピュータのモニタ表示に適した第2の方式の画像信号に変換されると共に、圧縮されて記録される。この記録時の圧縮画像信号と、上記第2の方式の画像信号又は再生された信号を伸張した画像信号(これも第1の方式の画像信号)を変換手段で変換した第2の方式の画像信号との2つの画像信号はデジタルインターフェース手段から入力される制御情報に応じて判別手段により一方が選択されて上記デジタルインターフェース手段から出力される。
以上説明したように本発明によれば、1つの装置(ノード)で例えばDVCRの機能とデジタルカメラの機能との両方に対応でき、しかもそれらの機能をユーザがいちいち切り換えなくても、送られてきた制御情報がどの機能に向けられたものであるかを判別して、外部に出力するデータの形式を自動的に切り換えることができる効果がある。
図1は本発明によるDVCR等の撮影処理装置の実施の形態を示すブロック図である。レンズ101を通してCCD102で撮影された画像信号はカメラ信号処理部103に送られ、デジタルNTSC信号が生成される。このデジタルNTSC信号は圧縮処理部104、スイッチ105、スイッチ106に入力される。圧縮処理部104では所定のデータ圧縮(例えばSDフォーマットの圧縮)が施される。そして圧縮された画像信号は記録処理部107で変調処理等が施された後、スイッチ109がREC側になっているとき磁気テープ108にヘッド110によって記録される。同時に圧縮された画像信号はスイッチ115に入力される。
一方スイッチ105に入力されたデジタルNTSC信号はスイッチ105がREC側になっているときに、D/A変換器111でアナログ信号となった後、アナログインターフェース112を通して外部につながれたケーブル113に出力される。
またスイッチ106に入力されたデジタルNTSC信号はスイッチ106がREC側になっているときに、NTSC/VGA変換部114でデジタルVGA信号となった後、スイッチ115に入力される。
再生時は、磁気テープ108からヘッド110によって再生された信号は、スイッチ109を通して再生処理部116に入力される。再生処理部116で復調された圧縮画像信号は伸張処理部117でデジタルNTSC信号に戻され、スイッチ105及びスイッチ106に入力される。
スイッチ105に入力された再生デジタルNTSC信号はスイッチ105がPB側になっているときに、D/A変換器111でアナログ信号となった後、アナログインターフェース112を通して外部につながれたケーブル113に出力される。
またスイッチ106に入力された再生デジタルNTSC信号は、スイッチ106がPB側になっているときに、NTSC/VGA変換部114でデジタルVGA信号となった後、スイッチ115に入力される。
スイッチ115に入力された圧縮画像信号もしくはデジタルVGA信号はデジタルインターフェース118を通して、IEEEP1394シリアルバス規格のパケットとして外部につながれたケーブル119に出力される。一方外部につながれたケーブル119からデジタルインターフェース118に入力された制御情報のパケットは、判別部120に送られる。判別部120は入力された制御情報の内容によってスイッチ115を切り換える。
次に判別部120について説明する。図2に判別部120の構成を示す。
図2において、前記デジタルインターフェース118から送られてきた制御情報のパケットは、宛先アドレス抽出部201で宛先オフセットアドレスが取り出される。
制御情報のパケットの例を図3に示す。図3において、横1列は32ビット幅である。フィールド301は宛先IDで、従来例でIEEEP1394シリアルバス規格として述べたように、バスの各ノードに対する物理アドレスの付与で決まる宛先ノードのノードIDである。同様にフィールド302はパケットを送り出したソースノードのノードIDである。フィールド303は送り手ノードと受け手ノードとでやり取りされるトランザクションのラベルやコード等である。
そしてフィールド304は宛先ノードIDに対する48ビットの宛先オフセットアドレスである。宛先IDと宛先オフセットアドレスとで64ビットのアドレスを構成し、バス上の特定のノードの中の特定のレジスタやROMのアドレスを示すことができる。これらバス上のレジスタ規格の詳細はIEEE1212規格として公開されている。そしてフィールド305は上記64ビットのアドレスに対して向けられる制御情報やステータス情報等のデータフィールドである。
図4に本実施の形態の撮影処理装置のレジスタベースを示す。図4は48ビットのオフセットアドレスで示されるレジスタベースの"FFFFF0000000"から"FFFFFFFFFFFF"を表す。ROM領域401はこの装置(ノード)が実装しているバスのプロトコルやメーカーのID、そしてこの装置(ノード)が実装しているユニットに関する情報等が書かれている。ユニットはノード内に存在する機能を示し、本装置は、それぞれ異なる制御プロトコルを実装している2つのユニットを持っている。その1つは他のDVCRに圧縮された画像データをダビングしたり、伸張した後アナログに戻してTVで画像を見るための、圧縮されたデジタル画像信号を出力するDVCRの機能である。もう1つはコンピュータのモニタで画像を見るための、デジタルVGA画像を出力するデジタルカメラとしての機能である。
レジスタ領域402はそれぞれのユニットの制御情報やステータス、データ等を他の装置とやりとりするレジスタである。レジスタ領域402はDVCRの機能のユニットで使用されるレジスタの領域403とデジタルカメラの機能のユニットで使用されるレジスタの領域404とに分かれている。本装置とケーブルでつながれている他の装置は、上記ROM領域の内容を読み出すことによって、各ユニットが制御情報のやり取りに使用するレジスタのアドレスを知ることができる。
図2において、宛先アドレス抽出部201で得られたアドレスは、アドレス比較部202に入力され、アドレス範囲1・203と比較される。同時に比較部204にも入力され、アドレス範囲2・205と比較される。アドレス範囲1・203は図4で示したレジスタの領域403のアドレス範囲を示し、アドレス範囲2・205は図4で示したレジスタの領域404のアドレス範囲を示す。そしてこれら2つの比較結果に応じてスイッチ制御部206が図1に示したスイッチ115を切り換える。具体的には宛先アドレス抽出部201で得られたアドレスがアドレス範囲1・203の範囲に含まれていれば、DVCRの機能のユニットに向けられたパケットであると判断して、図1に示したスイッチ115を"DVCR"側に切り換える。また、宛先アドレス抽出部201で得られたアドレスがアドレス範囲2・205の範囲に含まれていれば、デジタルカメラの機能のユニットに向けられたパケットであると判断して、図1に示したスイッチ115を"DCAM"側に切り換える。
以上述べた構成及び動作によって、1つの装置(ノード)でDVCRの機能とデジタルカメラの機能との両方に対応でき、しかもそれらの機能をユーザからいちいち切り換えなくても、送られてきたパケットがどの機能のユニットに向けられたものであるかを判別して、外部に出力するデータの形式を切り換えることができる。
本発明の実施の形態による撮像処理装置を示すブロック図である。 判別部を示すブロック図である。 デジタルインターフェースのパケットを示す構成図である。 デジタルインターフェースのアドレスベースを示す構成図である。 デジタルインターフェースの概要を示す構成図である。 デジタルインターフェースの動作を示すタイミングチャートである。 従来のシステムを示すブロック図である。
符号の説明
102 CCD
103 カメラ信号処理部
104 圧縮処理部
107 記録処理部
108 磁気テープ
110 ヘッド
114 NTSC/VGA変換部
115 スイッチ
116 再生処理部
117 伸張処理部
118 デジタルインターフェース
119 ケーブル
120 判別部

Claims (3)

  1. 被写体を撮像する撮像手段と、
    上記撮像手段の出力を処理して所定方式の画像信号を得る機能を持つ第1の機能部と、
    上記撮像手段の出力を圧縮して圧縮画像信号を得る機能を持つ第2の機能部と、
    上記第1の機能部から得られる上記所定方式の画像信号と上記第2の機能部から得られる上記圧縮画像信号との一方を選択する選択手段と、
    上記選択手段で選択された画像信号を伝送路に送出すると共に上記伝送路を通じて制御情報を入力するデジタルインターフェース手段と、
    上記デジタルインターフェース手段を介して入力された上記制御情報を判別し、判別結果に応じて上記選択手段を制御する判別手段とを備えた撮像処理装置。
  2. 上記所定方式の画像信号がコンピュータのモニタ表示に適した画像信号であることを特徴とする請求項1記載の撮像処理装置。
  3. 被写体を撮像する撮像手段と、
    上記撮像手段の出力を処理して第1の方式の画像信号を出力する信号処理手段と、
    上記第1の方式の画像信号を圧縮する圧縮手段と、
    上記圧縮された画像信号を記録媒体に記録する処理を行う記録処理手段と、
    上記記録媒体を再生し再生信号を伸張する処理を行う再生処理手段と、
    上記第1の方式の画像信号又は上記伸張された画像信号を第2の方式の画像信号に変換する変換手段と、
    上記圧縮された画像信号と上記第2の方式の画像信号との一方を選択する選択手段と、
    上記選択手段で選択された画像信号を伝送路に送出すると共に上記伝送路から制御情報を入力するデジタルインターフェース手段と、
    上記入力された制御情報を判別し、判別結果に応じて上記選択手段を制御する判別手段とを備えた撮像処理装置。
JP2006107945A 2006-04-10 2006-04-10 撮像処理装置 Expired - Fee Related JP3991060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006107945A JP3991060B2 (ja) 2006-04-10 2006-04-10 撮像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006107945A JP3991060B2 (ja) 2006-04-10 2006-04-10 撮像処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP8086797A Division JPH09284619A (ja) 1996-04-09 1996-04-09 撮像処理装置

Publications (2)

Publication Number Publication Date
JP2006230014A true JP2006230014A (ja) 2006-08-31
JP3991060B2 JP3991060B2 (ja) 2007-10-17

Family

ID=36990865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006107945A Expired - Fee Related JP3991060B2 (ja) 2006-04-10 2006-04-10 撮像処理装置

Country Status (1)

Country Link
JP (1) JP3991060B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660247A (zh) * 2015-03-10 2015-05-27 北京大恒图像视觉有限公司 一种双向接口电路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660247A (zh) * 2015-03-10 2015-05-27 北京大恒图像视觉有限公司 一种双向接口电路
CN104660247B (zh) * 2015-03-10 2017-11-21 北京大恒图像视觉有限公司 一种双向接口电路

Also Published As

Publication number Publication date
JP3991060B2 (ja) 2007-10-17

Similar Documents

Publication Publication Date Title
JP3787498B2 (ja) 撮像装置及び撮像システム
US6138196A (en) Communication system for providing digital data transfer, electronic equipment for transferring data using the communication system, and an interface control device
US6144411A (en) Image processing apparatus with format conversion capabilities
JP3862371B2 (ja) 電子機器及び制御方法
JP3912841B2 (ja) データ通信装置
JP3991060B2 (ja) 撮像処理装置
JP4095427B2 (ja) データ通信装置
JP2000092086A (ja) 通信装置、通信情報記録方法、応答情報再生/通信情報記録方法及び記憶媒体
JP3996961B2 (ja) 撮像装置
JPH11215143A (ja) データ通信装置及び方法
JP3985000B2 (ja) 撮像記録再生装置
JPH09284619A (ja) 撮像処理装置
US7907834B2 (en) Image processing apparatus and image processing method
JP2001309459A (ja) 遠隔制御システム及び情報選択装置
JP2001169198A (ja) 信号伝送装置、信号伝送方法及び記憶媒体
JP3985010B2 (ja) データ通信装置
JP4420448B2 (ja) 通信装置及び制御方法
KR100690610B1 (ko) 영상 원격 전송 장치
JP2001313875A (ja) 映像モニタ装置及びその制御方法
JP3676618B2 (ja) パケット転送装置、及びデータ記録媒体
JP4336574B2 (ja) 制御装置及び制御プログラム
JP2000196985A (ja) Avシステム
JP2006005491A (ja) 通信装置及び制御方法
JP2007088592A (ja) 映像撮像記録装置
JP2001309248A (ja) 信号源選択装置及びtvモニタ装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees