JP2005345950A - 赤外線カメラ照準検査装置 - Google Patents

赤外線カメラ照準検査装置 Download PDF

Info

Publication number
JP2005345950A
JP2005345950A JP2004168344A JP2004168344A JP2005345950A JP 2005345950 A JP2005345950 A JP 2005345950A JP 2004168344 A JP2004168344 A JP 2004168344A JP 2004168344 A JP2004168344 A JP 2004168344A JP 2005345950 A JP2005345950 A JP 2005345950A
Authority
JP
Japan
Prior art keywords
target
camera
infrared
infrared camera
aiming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004168344A
Other languages
English (en)
Other versions
JP4160534B2 (ja
Inventor
Yoshitaka Hirai
義貴 平井
Takaharu Machida
貴晴 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2004168344A priority Critical patent/JP4160534B2/ja
Publication of JP2005345950A publication Critical patent/JP2005345950A/ja
Application granted granted Critical
Publication of JP4160534B2 publication Critical patent/JP4160534B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 赤外線カメラ照準検査装置において、照準検査のためのターゲットの輪郭をくっきりさせ、赤外線カメラの照準検査精度を高めることにある。
【解決手段】 車載用赤外線カメラの照準検査を行う赤外線カメラ照準検査装置であって、この赤外線カメラ照準検査装置に、車両に取付けた赤外線カメラから所定距離前方に配置したターゲットボード12を備え、このターゲットボード12に、赤外線カメラの照準のずれを確認するためのターゲット部41を構成する白熱電球63と、この白熱電球63の周囲に設けた赤外線低反射塗料67とを備える。
【選択図】 図6

Description

本発明は、赤外線カメラ照準検査装置に関するものである。
近年、予防安全等の目的で周囲を撮影するカメラを搭載し、車室内のディスプレイにその映像を表示するようにした車両が増えつつある。上記カメラは、車両への組付け時に所定の方向に照準を合わせ、車両の検査工程では、その照準の基準の方向に対するずれ量をカメラ照準検査装置を用いて検査し、そのずれ量を補正する。
このような従来のカメラ照準検査装置として、車両に取付けた撮像手段の車両前方側に補正用マークを配置したものが知られている(例えば、特許文献1参照。)。
特開平8−276787号公報
特許文献1の図4及び図6を以下の図13で説明する(図4は図13(a)で、図6は図13(b)で説明する。符号は振り直した。)。なお、図13(c)については課題説明のために作成した。
図13(a)〜(c)は従来のカメラ照準検査装置の説明図である。
(a)は、車両100にCCDカメラ101を取付け、車両100前方に衝立102を配置し、この衝立102に補正用マーク103を取付け、CCDカメラ101で補正用マーク103を撮影し、CCDカメラ101の照準を補正することを示す。
(b)はCCDカメラで撮影した画像データ105を示す。この画像データ105に写った補正用マーク103の基準位置からのずれ量を算出して、CCDカメラの照準を補正する補正量を求める。
(c)は補正用マークの作用を示す作用図であり、例えば、上記CCDカメラに代えて、赤外線カメラの照準を検査する場合に、そのままでは補正用マーク103を撮影できないため、熱を発する部材で補正用マーク103を形成する。補正用マーク103の温度が上昇すれば、補正用マーク103を撮影したときに、画像データ106の黒地の中に白く補正用マーク103が浮かび上がる。しかし、時間が経過するにつれて、補正用マーク103の周囲も温度が上昇し、十字の補正用マーク103の輪郭がぼやけて、赤外線カメラの照準を検査できなくなる。
本発明の課題は、赤外線カメラ照準検査装置において、照準検査のためのターゲットの輪郭をくっきりさせ、赤外線カメラの照準検査精度を高めることにある。
請求項1に係る発明は、車載用赤外線カメラの照準検査を行う赤外線カメラ照準検査装置であって、この赤外線カメラ照準検査装置に、車両に取付けた赤外線カメラから所定距離前方に配置したターゲットボードを備え、このターゲットボードに、赤外線カメラの照準のずれを確認するためのターゲットとなる熱源と、この熱源の周囲に設けた赤外線低反射材とを備えることを特徴とする。
ターゲットボードに、熱源と、この熱源の周囲に設けた赤外線低反射材とを備えることで、赤外線カメラで撮影したターゲットの輪郭をくっきりさせることができ、ターゲットの位置を精度良く認識することができる。
請求項2に係る発明は、熱源を白熱電球としたことを特徴とする。
熱源を白熱電球としたことで、ターゲットボード、ひいては赤外線カメラ照準検査装置のコストを低減することができ、また、白熱電球の交換等のメンテナンスに要するコストをも低減することができる。
請求項3に係る発明は、赤外線低反射材を赤外線低反射塗料としたことを特徴とする。
赤外線低反射材を赤外線低反射塗料としたことにより、赤外線低反射塗料を塗布することでターゲットボードを容易に製作することができる。
請求項1に係る発明では、ターゲットボードに、熱源と、この熱源の周囲に設けた赤外線低反射材とを備えるので、赤外線カメラで撮影したターゲットの輪郭をくっきりさせることができ、ターゲットの位置を精度良く認識することができる。従って、赤外線カメラの照準検査精度を高めることができる。
請求項2に係る発明では、熱源を白熱電球としたので、ターゲットボード、ひいては赤外線カメラ照準検査装置のコストを低減することができる。また、白熱電球の交換等のメンテナンスに要するコストをも低減することができる。
請求項3に係る発明では、赤外線低反射材を赤外線低反射塗料としたので、赤外線低反射塗料を塗布することでターゲットボードを容易に製作することができ、ターゲットボードのコストを低減することができる。
本発明を実施するための最良の形態を添付図に基づいて以下に説明する。なお、図面は符号の向きに見るものとする。
図1は本発明に係る赤外線カメラ照準検査装置を示す斜視図であり、赤外線カメラ照準検査装置10(以下、単に「照準検査装置10」と記す。)は、車両11に搭載した赤外線カメラ(不図示。詳細は後述する。)で撮影するために車両11の所定距離前方に配置したターゲットボード12と、赤外線カメラで撮影した画像を処理する車載用コントロールユニット(不図示)と、この車載用コントロールユニットと通信しながら検査結果を総合的に判断する外部コントロールユニット13とからなる。なお、15は車両11側の車載用コントロールユニットと外部コントロールユニット13とを接続する第1通信ケーブル、16はターゲットボード12と外部コントロールユニット13とを接続する第2通信ケーブルである。なお、17,18はターゲットボード12を支持する支柱である。
図2は本発明に係る照準検査装置の検査対象となる車両を示す斜視図であり、車両11の前部に赤外線カメラ、即ち、遠赤外線を検知して撮影する一対の左カメラ21及び右カメラ22を配置し、フロントウインド23に、左カメラ21及び右カメラ22で撮影した映像を表示するヘッドアップディスプレイ24を配置し、車両11の後部に前述の車載用コントロールユニット25を配置したことを示す。
上記の左カメラ21、右カメラ22、ヘッドアップディスプレイ24及び車載用コントロールユニット25は、歩行者検知装置27を構成するものであり、歩行者検知装置27は、夜間走行中に、視認しくい歩行者を検知して運転者に知らせるシステムである。
図3は図2の3矢視図であり、左カメラ21及び右カメラ22を、フロントバンパ31に設けたアンダグリル32の左右奥側に配置したことを示す。なお、32a,32bは左カメラ21及び右カメラ22の撮影用の開口であり、アンダグリル32の左右端部に開けたものである。
図4は本発明に係るターゲットボード及び車両を示す平面図であり、車両11側の左カメラ21及び右カメラ22におけるターゲットボード12の撮影範囲を想像線で示す。なお、35,36はそれぞれ左カメラ21及び右カメラ22の光軸を示す。
図5は本発明に係るターゲットボードを示す正面図であり、ターゲットボード12は、中心線38から左右に等距離に配置した左ターゲット部41及び右ターゲット部42を備える。左ターゲット部41及び右ターゲット部42は左右対称で基本構造が同一であり、以下では、左ターゲット部41のみ説明する。
左ターゲット部41は、水平に且つ等間隔に並べた正面視円形の4つのターゲット本体44〜47と、最も右側のターゲット本体47の上方に且つターゲット本体44〜47のそれぞれの間隔と同一間隔に並べたターゲット本体48とからなる。なお、51〜53は他の検査(例えば、可視光用カメラの照準検査等)に用いるターゲット部である。
このように、ターゲットボード12を赤外線用カメラと可視光用カメラとのそれぞれの照準検査に共用することで、これらを別々に用意するのに比べてコストを低減することができる。
図6は図5の6−6線断面図であり、ターゲット本体44は、表側板部材57に開けた開口57aと、この開口57aに嵌めたフィルタ58と、後側板部材61に取付けたソケット62と、このソケット62にねじ込んだ白熱電球63と、この白熱電球63の側方及び後方を覆うシェード64とからなる。なお、65はソケット62のコードである。ターゲット本体45〜48(符号48は図5参照)については、ターゲット本体44と同一構造であり、説明は省略する。
表側板部材57は、表面57bに赤外線低反射塗料67(太線で示した部分である。)を塗布した断熱材料であり、白熱電球63を点灯させたときに、白熱電球63から受ける熱を表面57bに伝えにくくするとともに、赤外線低反射塗料67によって表面57bから赤外線の放射を抑える部材である。
フィルタ58は、乳白色のものであり、白熱電球63から放射される赤外線を均一に且つ収束させて外部に放射するための部材である。
白熱電球63は、例えば、100V、7Wの市販品である。
シェード64は、白熱電球63から放射される赤外線をフィルタ58側へ反射させることで赤外線の出力を大きくするとともに、反射した赤外線が外部に洩れるのを防止するための部材である。
図7(a),(b)は赤外線カメラで撮影したターゲット部の映像を比較する作用図である。
(a)は実施例(本実施形態)の映像68であり、左ターゲット部41(図5参照)のターゲット本体44〜48(図5参照)を撮影したものである。
図6に戻って、ターゲット本体44〜48は、白熱電球63、フィルタ58及びシェード64で赤外線の出力を高めるととももに、赤外線低反射塗料67及び断熱材料である表側板部材57によって、開口57aの周囲から赤外線が放射しにくいようにしたため、図7(a)において、黒地に白く写ったターゲット部41Aのターゲット本体44A〜48Aは輪郭がくっきりしている。
このように、図6において、断熱材料からなる表側板部材57、フィルタ58、白熱電球63、シェード64及び赤外線低反射塗料67を用いることで、赤外線の外部への放射をほぼ開口57aに集中させることができ、赤外線カメラによる映像におけるターゲット本体44A〜48Aの輪郭をくっきりさせることができ、赤外線カメラの照準検査を精度良く行うことができる。
図7(b)は比較例の映像110であり、例えば、本実施例の赤外線低反射塗料67を用いないものでは、開口57a(図6参照)の縁に近い表面57b(図6参照)から赤外線が放射してターゲット本体44A〜48Aの輪郭がぼやける。これによって、赤外線カメラの照準検査を行う場合に照準位置が定まらず、照準検査の精度を高めることができない。
図8は本発明に係る赤外線カメラの照準検査のフローチャートである。図中のSTXXはステップ番号を示す。
ST01…照準検査する車両の車種情報を読込む。(このステップからST03までは外部コントロールユニットで処理する。)
ST02…ターゲットボードに車両を正対させる。
ST03…ターゲットボードの白熱電球を点灯させる。
ST04…左カメラ及び右カメラでターゲット部を撮影する。(このステップからST09までは車載用コントロールユニットで処理する。)
ST05…撮影したターゲット部の映像からターゲット部の座標を算出する。
ST06…映像の基準位置、例えば、映像の左右及び上下の中心位置を基準位置として、この基準位置の座標に対する撮影したターゲット部の座標のずれ量を算出する。そして、このずれ量にー1を掛けて補正値を求める。
ST07…映像を切出す。即ち、補正した後の映像(左カメラ及び右カメラの照準を合わせた映像である。)をディスプレイ表示用として小さく切出す。
ST08…左カメラと右カメラとのそれぞれの補正後の映像を重ね合わせる。
ST09…左カメラの映像と右カメラの映像とから視差を算出し、左カメラ及び右カメラからターゲットボードまでの距離を算出する。
ST10…各データ(上記のずれ量、補正値、映像切出し座標、視差、距離等)が規定範囲内にあるかどうか合否を判定する。(このステップは外部コントロールユニットで処理する。)
ST11…左カメラの映像及び右カメラの映像をディスプレイに表示し、目視にて歪み等をチェックする。
以上に述べた照準検査を以下に詳細に説明する。
図9(a),(b)は本発明に係る照準検査を説明する第1作用図である。
(a)は左カメラでターゲットボードを撮影した映像70を示す。図中の71,72はそれぞれ映像70の水平方向に延びる中心線及び鉛直方向に延びる中心線である。また、41A,42Aは照準が合った左カメラでターゲット部41,42を撮影した場合のターゲット部であり、仮想的なものである(以下同じ。)。
実際に映像70に写ったターゲット部41B,42Bは、ターゲット部41A,42Aの左方斜め下方にずれている。即ち、左カメラの照準がずれている。
(b)は右カメラでターゲットボードを撮影した映像75を示す。図中の76,77はそれぞれ映像75の水平方向に延びる中心線及び鉛直方向に延びる中心線である。
実際に映像75に写ったターゲット部41C,42Cは、ターゲット部41A,42Aの右方斜め上方にずれている。即ち、右カメラの照準がずれている。
図10(a),(b)は本発明に係る照準検査を説明する第2作用図である。
(a)は左カメラで撮影した映像70において、ターゲット部41A,42Aに対するターゲット部41B,42Bのずれ量を求めたものである。即ち、中心線71をx軸(右方を正とする。)、中心線72をy軸(上方を正とする。)としたとき(以下同じ。)に、ターゲット部41B,42Bは、ターゲット部41A,42Aに対してx軸方向に−dx1、y軸方向に−dy1だけずれている。
このように、ずれ量は−dx1,−dy1であるから、左カメラの照準の補正値は、ずれ量に−1を掛けたdx1,dy1となる。
(b)は右カメラで撮影した映像75において、ターゲット部41A,42Aに対するターゲット部41C,42Cのずれ量を求めたものである。即ち、ターゲット部41C,42Cは、ターゲット部41A,42Aに対してx軸方向にdx2、y軸方向にdy2だけずれている。
このように、ずれ量はdx2,dy2であるから、右カメラの照準の補正値は、ずれ量に−1を掛けた−dx2,−dy2となる。
図11(a),(b)は本発明に係る照準検査を説明する第3作用図である。
(a)は左カメラで撮影した映像70において、ターゲット部41B,42Bのずれを補正するとともにこれらのターゲット部41B,42Bを含むように小さい映像80を切出すことを示す。
即ち、図9(a)におけるターゲット部41A,42Aと中心線71,72との位置関係と同一に、図11(a)におけるターゲット部41B,42Bに対して中心線81,82を引き、映像80の縦及び横の長さを映像70の縦及び横の長さの、例えば、半分とした(映像80は中心線81,82に対して線対称な形状である。)。
(b)は右カメラで撮影した映像75において、ターゲット部41C,42Cのずれを補正するとともにこれらのターゲット部41C,42Cを含むように小さい映像85を切出すことを示す。
即ち、図9(b)におけるターゲット部41A,42Aと中心線76,77との関係と同一に、図11(b)におけるターゲット部41C,42Cに対して中心線86,87を引き、映像85の縦及び横の長さを映像75の縦及び横の長さの、例えば、半分とした(映像85は中心線86,87に対して線対称な形状である。)。
図12は本発明に係る照準検査を説明する第4作用図である。
図11(a),(b)で切出した映像80,85を縦に並べ、ターゲット部41B,42Bとターゲット部41C,42Cとの視差Pを求めることを示す。
視差とは、目標を一方向から見た場合と、他方向から見た場合との目標の位置の相違であり、ここで求めた視差に基づいて、左カメラ及び右カメラからターゲットボードまでの距離を算出する。
以上の図1、図2及び図6で説明したように、本発明は第1に、車載用赤外線カメラとしての左カメラ21及び右カメラ22の照準検査を行う赤外線カメラ照準検査装置10であって、この赤外線カメラ照準検査装置10に、車両11に取付けた左カメラ21及び右カメラ22から所定距離前方に配置したターゲットボード12を備え、このターゲットボード12に、左カメラ21及び右カメラ22の照準のずれを確認するための左ターゲット部41及び右ターゲット部42を構成する熱源としての白熱電球63と、この白熱電球63の周囲に設けた赤外線低反射材としての赤外線低反射塗料67とを備えることを特徴とする。
ターゲットボード12に、白熱電球63と、この白熱電球63の周囲に設けた赤外線低反射塗料67とを備えるので、左カメラ21及び右カメラ22で撮影したターゲット部41A,42Aの輪郭をくっきりさせることができ、ターゲット部41,42の位置を精度良く認識することができる。従って、左カメラ21及び右カメラ22の照準検査精度を高めることができる。
本発明は第2に、熱源を白熱電球63としたことを特徴とする。
熱源を白熱電球63としたので、ターゲットボード12、ひいては赤外線カメラ照準検査装置10のコストを低減することができる。また、白熱電球63の交換等のメンテナンスに要するコストをも低減することができる。
本発明は第3に、赤外線低反射材を赤外線低反射塗料67としたことを特徴とする。
赤外線低反射材を赤外線低反射塗料67としたので、赤外線低反射塗料67を塗布することでターゲットボード12を容易に製作することができ、ターゲットボード12のコストを低減することができる。
また、本発明では、歩行者検知装置27を構成する車載用コントロールユニット25をも赤外線カメラ照準検査装置10に含め、この車載用コントロールユニット25と外部コントロールユニット13とが通信しながら赤外線カメラの照準検査及び照準補正をほとんど自動で行うものであり、検査設備に要するコストを低減できるとともに、ヒューマンエラーを最小限にすることが可能になる。
尚、本発明では、熱源と白熱電球としたが、これに限らず、ハロゲンランプ、蛍光灯等のランプ類でもよい。
本発明の赤外線カメラ照準検査装置は、生産ラインの車両検査に好適である。
本発明に係る赤外線カメラ照準検査装置を示す斜視図である。 本発明に係る照準検査装置の検査対象となる車両を示す斜視図である。 図2の3矢視図である。 本発明に係るターゲットボード及び車両を示す平面図である。 本発明に係るターゲットボードを示す正面図である。 図5の6−6線断面図である。 赤外線カメラで撮影したターゲット部の映像を比較する作用図である。 本発明に係る赤外線カメラの照準検査のフローチャートである。 本発明に係る照準検査を説明する第1作用図である。 本発明に係る照準検査を説明する第2作用図である。 本発明に係る照準検査を説明する第3作用図である。 本発明に係る照準検査を説明する第4作用図である。 従来のカメラ照準検査装置の説明図である。
符号の説明
10…赤外線カメラ照準検査装置、11…車両、12…ターゲットボード、21…赤外線カメラ(左カメラ、右カメラ)、41,42…ターゲット部(左ターゲット部、右ターゲット部)、63…熱源(白熱電球)、67…赤外線低反射材(赤外線低反射塗料)。

Claims (3)

  1. 車載用赤外線カメラの照準検査を行う赤外線カメラ照準検査装置であって、
    この赤外線カメラ照準検査装置は、車両に取付けた前記赤外線カメラから所定距離前方に配置したターゲットボードを備え、このターゲットボードは、赤外線カメラの照準のずれを確認するためのターゲットとなる熱源と、この熱源の周囲に設けた赤外線低反射材とを備えることを特徴とする赤外線カメラ照準検査装置。
  2. 前記熱源は、白熱電球であることを特徴とする請求項1記載の赤外線カメラ照準検査装置。
  3. 前記赤外線低反射材は、赤外線低反射塗料であることを特徴とする請求項1記載の赤外線カメラ照準検査装置。
JP2004168344A 2004-06-07 2004-06-07 赤外線カメラ照準検査装置 Expired - Fee Related JP4160534B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004168344A JP4160534B2 (ja) 2004-06-07 2004-06-07 赤外線カメラ照準検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004168344A JP4160534B2 (ja) 2004-06-07 2004-06-07 赤外線カメラ照準検査装置

Publications (2)

Publication Number Publication Date
JP2005345950A true JP2005345950A (ja) 2005-12-15
JP4160534B2 JP4160534B2 (ja) 2008-10-01

Family

ID=35498370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004168344A Expired - Fee Related JP4160534B2 (ja) 2004-06-07 2004-06-07 赤外線カメラ照準検査装置

Country Status (1)

Country Link
JP (1) JP4160534B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010048724A (ja) * 2008-08-22 2010-03-04 Ihi Corp 赤外線カメラ調整方法及び赤外線カメラ調整器具
JP2016519914A (ja) * 2014-04-24 2016-07-07 コアセンス カンパニー リミテッドCoresense.Co,.Ltd 一般カラーカメラと熱画像カメラの映像整合用ジグ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010048724A (ja) * 2008-08-22 2010-03-04 Ihi Corp 赤外線カメラ調整方法及び赤外線カメラ調整器具
JP2016519914A (ja) * 2014-04-24 2016-07-07 コアセンス カンパニー リミテッドCoresense.Co,.Ltd 一般カラーカメラと熱画像カメラの映像整合用ジグ

Also Published As

Publication number Publication date
JP4160534B2 (ja) 2008-10-01

Similar Documents

Publication Publication Date Title
US10875526B2 (en) Vehicular vision system
JP7055743B2 (ja) 複数カメラを用いた車両用モニタリングシステム
CN100422710C (zh) 机动车前照灯检测方法
US7620237B2 (en) Position detecting apparatus and method of correcting data therein
US20060018513A1 (en) Stereo vehicle-exterior monitoring apparatus
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20140009589A1 (en) Vehicle having a device for detecting the surroundings of said vehicle
JP2007142624A (ja) 車両搭載撮像装置
US6785403B1 (en) Method and system for inspecting a vehicle-mounted camera
US7616806B2 (en) Position detecting apparatus and method of correcting data therein
JP2001233139A (ja) 車載用プレビューセンサの取り付け構造およびその位置ずれ調整装置
CN105163006A (zh) 汽车成像系统及安装成像系统的方法
JP2004258266A (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
CN102481879A (zh) 视频系统的失真校正
KR101657673B1 (ko) 파노라마뷰 생성 장치 및 방법
CN111664839A (zh) 车载抬头显示虚像距离测量方法
CN105981376A (zh) 驾驶辅助装置
JP4160534B2 (ja) 赤外線カメラ照準検査装置
JP2004257837A (ja) ステレオアダプタ撮像システム
TWM568376U (zh) 多攝像頭系統及多攝像頭模組
JP2015031564A (ja) 付着物検出装置及び移動装置用機器制御システム
JPH09126758A (ja) 車両用環境認識装置
JP6008238B2 (ja) 撮像装置、撮像装置の設置方法及び移動装置
JP7043375B2 (ja) ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム
CN103792666B (zh) 激光夜视辅助驾驶激光照明器

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080717

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140725

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees