JP2001078204A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP2001078204A
JP2001078204A JP25374699A JP25374699A JP2001078204A JP 2001078204 A JP2001078204 A JP 2001078204A JP 25374699 A JP25374699 A JP 25374699A JP 25374699 A JP25374699 A JP 25374699A JP 2001078204 A JP2001078204 A JP 2001078204A
Authority
JP
Japan
Prior art keywords
color
signal
image pickup
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP25374699A
Other languages
English (en)
Other versions
JP4288544B2 (ja
Inventor
Shinya Fukushima
眞也 福島
Masayoshi Ishimaru
正義 石丸
Fukashi Nakagawa
深 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP25374699A priority Critical patent/JP4288544B2/ja
Publication of JP2001078204A publication Critical patent/JP2001078204A/ja
Application granted granted Critical
Publication of JP4288544B2 publication Critical patent/JP4288544B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 本発明は、撮像装置に関し、例えば自動車の
後方確認用の撮像装置に適用して、十分な感度によりカ
ラー画像を提供することができるようにする。 【解決手段】 本発明は、人間の視感度特性に比して広
い帯域により所定の被写体を撮像してオートホワイトバ
ランス調整する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像装置に関し、
例えば自動車の後方確認用の撮像装置に適用することが
できる。本発明は、人間の視感度特性に比して広い帯域
により所定の被写体を撮像してオートホワイトバランス
調整することにより、十分な感度によりカラー画像を提
供することができるようにする。
【0002】
【従来の技術】従来、車両用撮像装置として、自動車の
後方確認用に使用して安全に寄与することができるよう
になされたものがある。
【0003】このような撮像装置を用いたシステムにお
いては、夜間においても充分な明るさにより後方等を確
認できるように、主に白黒のテレビジョンカメラを用い
て後方の画像を撮像し、さらに白黒のモニタ装置により
撮像結果を表示するようになされている。
【0004】
【発明が解決しようとする課題】ところで撮像装置より
得られる画像においては、白黒による画像に比してカラ
ーによる画像の方が格段的に情報量が多い特徴がある。
従って車両用撮像装置においても、カラー画像により後
方等を確認することができるようにすれば、白黒画像に
より確認する場合に比して運転手等に有益な情報を種々
に提供することができると考えられる。
【0005】ところがカラーの画像においては、白黒に
よる画像の場合に比して感度が劣る問題があり、実際
上、自動車の後方確認等に使用すると却って使い勝手が
悪い欠点があった。
【0006】本発明は以上の点を考慮してなされたもの
で、十分な感度によりカラー画像を提供することができ
る撮像装置を提案しようとするものである。
【0007】
【課題を解決するための手段】かかる課題を解決するた
め請求項1の発明においては、人間の視感度特性に比し
て広い帯域により所定の被写体の撮像結果を出力する撮
像手段と、所定の制御信号により利得を可変して、この
撮像結果より得られる赤色、青色、緑色の色信号を増幅
して出力する可変利得増幅手段と、撮像手段による撮像
結果に基づいて、先の制御信号を出力する制御手段とを
備えるようにする。
【0008】人間の視感度特性に比して広い帯域により
所定の被写体を撮像結果を出力する撮像手段によれば、
通常のカラー画像の場合に比して高感度の撮像結果を得
ることができる。また所定の制御信号により利得を可変
して、この撮像結果より得られる赤色、青色、緑色の色
信号を増幅して出力する可変利得増幅手段と、撮像手段
による撮像結果に基づいて、先の制御信号を出力する制
御手段とを備えるようにすれば、人間の視感度特性に比
して広い帯域による撮像結果について、ホワイトバラン
ス調整して違和感を防止することができる。
【0009】
【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。
【0010】(1)実施の形態の構成 図2は、本発明の第1の実施の形態に係る撮像装置を搭
載した自動車を示す側面図及び背面図である。この自動
車1は、撮像装置1がリア側バンパーの上に配置され、
この撮像装置1により後方を撮像して後方の障害物等を
確認できるようになされている。なおこの図2において
は、この撮像装置1による撮像可能な範囲を破線により
示す。
【0011】ここで撮像装置1は、図1に示すように、
CCD固体撮像素子等による撮像素子2により人間の視
感度特性に比して広い帯域により撮像結果を得、この撮
像結果を処理して車載のモニタ装置に表示する。
【0012】ここで撮像素子2は、いわゆる近赤外線撮
像素子であり、受光面にいわゆるカラーフィルタが配置
される。ここでこのカラーフィルタは、水平方向に連続
する画素について、何ら帯域制限しないで入射光を透過
する第1のフィルタ、色差信号に対応する補色系の第2
及び第3のフィルタとが順次循環的に繰り返されて構成
される。これにより撮像素子2は、連続する画素間で、
撮像結果を演算処理することによりカラー画像による撮
像結果を出力できるようになされている。
【0013】さらに撮像素子2は、図3において符号A
により示すように、符号Bにより示す通常の撮像素子に
よる分光特性に比して、赤色波長帯域のピークが抑圧さ
れ、その分近赤色域について相対的に感度が増大するよ
うになされている。これにより撮像素子2においては、
人間の視感度特性に比して広い帯域により被写体を撮像
できる分、従来の撮像素子に比して高い感度により所望
の被写体を撮像できるようになされている。
【0014】撮像素子2は、図4に示すように、ベース
材であるCCDホルダー3に保持された後、緩衝材であ
るシールゴム4が撮像面側に配置され、このシールゴム
4を介して光学的ローパスフィルタ(LPF)5が配置
される。撮像素子2は、この光学的ローパスフィルタ5
の前面に樹脂によるアダプタ6が配置され、このアダプ
タ6を介してレンズ7が配置される。
【0015】これにより撮像装置1は、撮像素子2が感
度を有する帯域であって、かつ通常の撮像装置において
は赤外線カットフィルタにより撮像素子2への入射を制
限する近赤外域の光線についても、レンズ7からの光を
撮像素子2に入射し、これにより人間の視感度特性に比
して広い帯域により撮像結果を得ることができるように
なされている。
【0016】かくするにつきこのように車両に搭載され
て昼間に外部を撮像する場合、撮像対象においては、太
陽光により照明されていることにより、撮像素子2は、
このように相対的に感度が増大してなる近赤色域につい
ても、十分な入射光量を確保することができる。これに
対して夜間においては、この種の車両に使用されるハロ
ゲンランプ又はキセノンランプにより被写体が照明さ
れ、これらのランプにおいては、人間の視感度特性に比
して広い帯域により被写体を照明することになる。これ
により撮像装置1においては、夜間においても、従来の
撮像素子による撮像装置に比して十分な入射光量により
所望の被写体を撮像できるようになされている。なお図
5は、ハロゲンランプの分光特性を示す特性曲線図であ
る。この特性曲線図によれば、ハロゲンランプにおいて
は、人間の視覚では知覚することが困難な近赤外域に十
分な光量により照明光を出射していることが判る。
【0017】プリアンプ10(図1)は、この撮像素子
2の出力信号を所定利得により増幅して出力し、アナロ
グディジタル変換回路(A/D)12は、図示しない相
関二重サンプリング回路を介してこのプリアンプの出力
信号を入力し、アナログディジタル変換処理して出力す
る。
【0018】ディジタル信号処理回路13は、このアナ
ログディジタル変換回路12の出力信号を信号処理して
ビデオ信号SV1を生成し、このビデオ信号SV1を車
載のモニタ装置に出力する。
【0019】すなわちディジタル信号処理回路13にお
いて、原色分離回路14は、アナログディジタル変換回
路12の出力信号について、連続する画素に対応する出
力信号間でマトリックス演算処理することにより、赤色
色信号R、青色色信号B、緑色色信号Gを生成する。こ
のとき原色分離回路14は、IRフィルタを配置してな
る同様の撮像素子による撮像結果を処理する場合に対し
て、異る重み付け係数(マトリックス演算係数である)
により演算処理し、これにより被写体の色温度が変化し
た場合でも、ビデオ信号SV1における色相が変化しな
いように色信号R、G、Bを生成する。
【0020】可変利得増幅回路15R、15G、15B
は、システムコントローラ16より出力される制御信号
S1により利得を切り換え、原色分離回路14より出力
される各色信号R、G、Bを増幅して出力する。
【0021】ガンマ補正回路17は、可変利得増幅回路
15R、15G、15Bより出力される各色信号R、
G、Bのガンマを補正して出力し、続く色差マトリック
ス回路18は、これら色信号R、G、Bをマトリックス
演算処理して輝度信号、色差信号を生成する。
【0022】エンコーダ19は、この輝度信号及び色差
信号を処理することにより輝度信号及びクロマ信号を生
成して出力し、ディジタルアナログ変換回路(D/A)
20は、エンコーダ19の出力信号をディジタルアナロ
グ変換処理した後、加算し、これによりコンポジットに
よるビデオ信号SV1を生成して出力する。
【0023】オプティカルディテクタ21は、可変利得
増幅回路15R、15G、15Bより出力される各色信
号R、G、Bを演算処理することにより、撮像結果より
オートホワイトバランス調整に必要な信号を生成してシ
ステムコントローラ16に通知し、システムコントロー
ラ16は、このオプティカルディテクタ21の出力信号
に基づいて制御信号S1を生成することにより、色信号
R、G、Bの利得を調整して出力する。これによりオプ
ティカルディテクタ21、システムコントローラ16、
可変利得増幅回路15R、15G、15Bは、オートホ
ワイトバランス調整回路を構成し、人間の視感度特性に
比して近赤外域側に帯域を拡大して被写体を撮像する場
合でも、十分な色再現性を確保できるようになされてい
る。
【0024】図6は、オプティカルディテクタ21、シ
ステムコントローラ16を示すブロック図である。オプ
ティカルディテクタ21は、可変利得増幅回路15R、
15G、15Bより出力される各色信号R、G、Bのう
ち、赤色及び緑色の色信号R及び、Gを減算回路22に
入力し、これら色信号R、Gの減算信号R−Gを生成す
る。また青色及び緑色の色信号B及び、Gを減算回路2
3に入力し、これら色信号B、Gの減算信号B−Gを生
成する。これによりオプティカルディテクタ21は、緑
色色信号Gに対する赤色色信号R及び青色色信号Bの差
分信号R−G、B−Gを生成する。
【0025】さらにオプティカルディテクタ21は、色
信号R、G、Bを加算し、ほぼ輝度信号と等しい等化輝
度信号NAMYを生成する。オプティカルディテクタ2
1において、積分回路24は、減算回路22及び23よ
り出力される差分信号R−G、B−Gをそれぞれフィー
ルド単位で積分して出力する。このとき積分回路24
は、等化輝度信号NAMYの信号レベルが飽和レベル近
辺に設定された第1の基準レベルより立ち上がっている
場合、又は0レベル近辺に設定された第2の基準レベル
より立ち下がっている場合、対応する差分信号R−G、
B−Gについては積分対象より除外する。また積分回路
24は、これら第1及び第2の基準レベルのほぼ中間の
基準レベルに設定された第3の基準レベルを境にして、
高輝度側と低輝度側とで対応する差分信号R−G、B−
Gを選択的に積分し、これら高輝度側と低輝度側とでそ
れぞれ積分結果を検出する。
【0026】システムコントローラ16においては、内
蔵の処理手順の実行によりこれらの積分結果を処理して
制御信号S1を生成する。なおこの図6においては、こ
の処理手順の実行により構成される機能ブロックを用い
てシステムコントローラ16の構成を説明する。
【0027】すなわちシステムコントローラ16におい
ては、比較回路25において、高輝度側の積分結果と低
輝度側の積分結果とを比較し、値の小さい側の積分結果
を選択的に出力する。加算回路26は、比較回路25で
選択された差分信号R−G、B−Gの積分結果を加算
し、これによりR+B−2Gにより表される積分結果を
出力する。減算回路27は、比較回路25で選択された
差分信号R−G、B−Gの積分結果を減算し、R−Bに
より表される積分結果を出力する。
【0028】ゲンイ設定回路28は、加算回路26及び
減算回路27の出力信号に基づいて、制御信号S1を生
成し、これによりオーディオホワイトバランス調整す
る。この実施の形態においてゲンイ設定回路28は、通
常の撮像装置における撮像結果に比して長波長側の帯域
が相対的に拡大している分、緑色色信号G及び青色色信
号Bを処理する可変利得装置回路15G及び15Bの利
得に比して、赤色色信号Rを処理する可変利得増幅回路
15Rの利得が相対的に低下するように、制御信号S1
を生成し、これにより長波長側に帯域を拡大して高感度
により所望の被写体を撮像した場合でも、十分な色再現
性を確保できるようになされている。
【0029】(2)実施の形態の動作 以上の構成において、撮像装置1は(図1及び図2)、
レンズ7を介して車両の後方の死角を撮像し、その撮像
結果が固体撮像素子2より得られる。撮像装置1は、こ
の撮像結果がディジタル信号処理回路13で処理されて
色信号R、G、Bが生成され、この色信号R、G、Bが
ガンマ補正等の処理を経てビデオ信号SV1に変換さ
れ、このビデオ信号SV1が車載のモニタ装置により表
示される。これにより撮像装置1では、後方の障害物等
を確認することが可能となる。さらにカラー画像により
後方を確認できることにより、その分運転手に多くの情
報を提供することが可能となる。
【0030】撮像装置1においては、このようにして後
方を撮像するにつき、赤外線カットフィルタを介するこ
となくレンズ7の入射光を撮像素子2で受光し(図
4)、またこの撮像素子2が近赤色域について相対的に
感度が増大する構成であることにより(図3)、人間の
視感度特性に比して広い帯域により撮像結果を得ること
ができ、これにより高感度によるカラー画像を得ること
ができる。
【0031】ところでこのようにして近赤色域に帯域を
拡大した場合、その分色再現性が劣化することになり、
運転手が実際に目で見て把握される色合いとは大きく異
なった色合いにより障害物等の画像が提供されることに
なる。すなわち運転手に対して不自然なカラー画像が提
供されることになる。
【0032】このため撮像装置1においては、原色分離
回路14において、通常の撮像装置とは異なるマトリッ
クス演算係数を用いたマトリックス演算処理により色信
号R、G、Bが生成され、これにより例えば昼間と夜間
とで大きく色再現性が変化しないように色信号R、G、
Bが生成される。
【0033】さらにこのようにして生成した色信号R、
G、Bをオプティカルディテクタ21で積分した後、積
分結果により制御信号S1を生成してそれぞれ色信号
R、G、Bの利得を制御し、これにより撮像結果におい
て長波長側の帯域が相対的に拡大した分、緑色色信号G
及び青色色信号Bの利得に比して、赤色色信号Rの相対
的な利得が低下するように、オートホワイトバランス調
整される。これにより撮像装置1では、長波長側に帯域
を拡大して高感度により所望の被写体を撮像した場合で
も、十分な色再現性を確保でき、これにより従来の白黒
による撮像装置に比して格段的に多くの情報を運転手に
提供することが可能となる。かくするにつき、このよう
にしてオートホワイトバランス調整して、オートホワイ
トバランス調整可能な引き込み範囲については、250
0度K〜9500度Kまで確保できることを確認するこ
とができた。
【0034】(3)実施の形態の効果 以上の構成によれば、人間の視感度特性に比して広い帯
域により所定の被写体を撮像してオートホワイトバラン
ス調整することにより、十分な感度によりカラー画像を
提供することができ、その分従来に比して格段的に多く
の情報を運転手に提供することができる。従ってその
分、夜間や暗い駐車場でバックする場合に、事故、運転
ミスを低減することができる。
【0035】(4)他の実施の形態 なお上述の実施の形態においては、後方の確認用に撮像
装置を配置する場合について述べたが、本発明はこれに
限らず、図7に示すように、例えばドアミラーに配置し
て側方の確認用に使用してもよい。
【0036】また上述の実施の形態においては、差分信
号R−G、B−Gを生成して積分する場合について述べ
たが、本発明はこれに限らず、これとは逆に色信号を積
分した後、差分信号を生成するようにしてもよい。
【0037】また上述の実施の形態においては、本発明
を車載用の撮像装置に適用する場合について述べたが、
本発明はこれに限らず、列車、船舶等に搭載する撮像装
置、さらにはドアホン等に配置する撮像装置等に広く適
用することができる。
【0038】
【発明の効果】上述のように本発明によれば、人間の視
感度特性に比して広い帯域により所定の被写体を撮像し
てオートホワイトバランス調整することにより、十分な
感度によりカラー画像を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る撮像装置を示すブロ
ック図である。
【図2】図1に示す撮像装置を搭載した自動車を示す側
面図及び背面図である。
【図3】図1の撮像装置の固体撮像素子の分光特性を示
す特性曲線図である。
【図4】図1の撮像装置の固体撮像素子の周辺構成を示
す分解斜視図である。
【図5】ハロゲンランプに光学特性を示す特性曲線図で
ある。
【図6】図1の撮像装置のオプティカルディテクタとシ
ステムコントローラとの構成を示すブロック図である。
【図7】他の実施の形態に係る撮像装置の搭載例を示す
平面図及び側面図である。
【符号の説明】
1……撮像装置、2……固体撮像素子、14……原色分
離回路、15R、15G、15B……可変利得増幅回
路、16……システムコントローラ、21……オプティ
カルディテクタ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 J 9/73 9/73 A // B60R 1/00 B60R 1/00 A (72)発明者 中川 深 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 2H053 AA01 DA00 5C054 CA04 CC05 EB05 ED03 EE04 EJ01 FB03 HA22 HA30 5C065 AA01 BB02 BB12 BB41 CC01 EE14 EE16 FF03 GG15 GG18 GG21 GG22 GG24 GG44 5C066 AA01 BA01 CA05 EA14 GA01 HA01 KA12 KD01 KE02 KE05 KE19 KE20 KM12 KM13

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】人間の視感度特性に比して広い帯域により
    所定の被写体の撮像結果を出力する撮像手段と、 前記撮像結果を処理して赤色、青色、緑色の色信号を生
    成する演算手段と、 所定の制御信号により利得を可変して、前記赤色、青
    色、緑色の色信号を増幅して出力する可変利得増幅手段
    と、 前記撮像手段による撮像結果に基づいて、前記制御信号
    を出力する制御手段とを備えることを特徴とする撮像装
    置。
  2. 【請求項2】人間の視感度特性に比して広い帯域による
    分光特性の照明光により前記被写体を照明する照明手段
    を有することを特徴とする請求項1に記載の撮像装置。
  3. 【請求項3】車両に搭載されて使用され、 前記被写体が、少なくとも前記車両の運転席からは前記
    車両の死角に位置する被写体であることを特徴とする請
    求項1に記載の撮像装置。
JP25374699A 1999-09-08 1999-09-08 撮像装置 Expired - Fee Related JP4288544B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25374699A JP4288544B2 (ja) 1999-09-08 1999-09-08 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25374699A JP4288544B2 (ja) 1999-09-08 1999-09-08 撮像装置

Publications (2)

Publication Number Publication Date
JP2001078204A true JP2001078204A (ja) 2001-03-23
JP4288544B2 JP4288544B2 (ja) 2009-07-01

Family

ID=17255574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25374699A Expired - Fee Related JP4288544B2 (ja) 1999-09-08 1999-09-08 撮像装置

Country Status (1)

Country Link
JP (1) JP4288544B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1591316A3 (de) * 2004-04-28 2006-05-03 Robert Bosch Gmbh Bildaufnahmesystem
US8054346B2 (en) 2007-05-17 2011-11-08 Sony Corporation Video input processor, imaging signal-processing circuit, and method of reducing noises in imaging signals
US20130141611A1 (en) * 2011-12-02 2013-06-06 Fujitsu Limited Imaging device and image processing device
US9148633B2 (en) 2010-07-06 2015-09-29 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and method of calculating color temperature
CN106164801A (zh) * 2014-03-28 2016-11-23 洋马株式会社 自主行驶作业车辆
CN112026496A (zh) * 2019-06-04 2020-12-04 上海擎感智能科技有限公司 车窗显示方法、前端、后端、介质及设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1591316A3 (de) * 2004-04-28 2006-05-03 Robert Bosch Gmbh Bildaufnahmesystem
US8054346B2 (en) 2007-05-17 2011-11-08 Sony Corporation Video input processor, imaging signal-processing circuit, and method of reducing noises in imaging signals
US9148633B2 (en) 2010-07-06 2015-09-29 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and method of calculating color temperature
US20130141611A1 (en) * 2011-12-02 2013-06-06 Fujitsu Limited Imaging device and image processing device
US8810694B2 (en) * 2011-12-02 2014-08-19 Fujitsu Limited Device and computer-readable recording medium for imaging and image processing with color correction
CN106164801A (zh) * 2014-03-28 2016-11-23 洋马株式会社 自主行驶作业车辆
CN106164801B (zh) * 2014-03-28 2019-06-11 洋马株式会社 自主行驶作业车辆
CN112026496A (zh) * 2019-06-04 2020-12-04 上海擎感智能科技有限公司 车窗显示方法、前端、后端、介质及设备

Also Published As

Publication number Publication date
JP4288544B2 (ja) 2009-07-01

Similar Documents

Publication Publication Date Title
US9906766B2 (en) Imaging device
US7582871B2 (en) Image pickup apparatus and a switching-over method for the same
WO2014122928A1 (ja) 画像処理装置
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
US10298856B2 (en) Imaging device
KR101169017B1 (ko) 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭방식의 감시용 카메라
JP2014107852A (ja) 撮像装置
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
WO2014181743A1 (ja) 画像処理装置及び画像処理方法
JP4363207B2 (ja) 画像処理方法、画像処理システムおよび画像処理装置
US11845335B2 (en) Image capture device and associated system for monitoring a driver
WO2013118337A1 (ja) 撮像装置
JP3666886B2 (ja) 撮像装置
JP2014135545A (ja) 撮像装置、撮像システム及び撮像方法
JP2008092510A (ja) 撮像装置
JP4288544B2 (ja) 撮像装置
JP2001045512A (ja) 白黒/カラー切換カメラ
US8089529B2 (en) Image pick up device
JP4619981B2 (ja) 画像認識装置
JP5521927B2 (ja) 撮像装置
JPH11122536A (ja) 撮像装置
JP2012010282A (ja) 撮像装置、露光制御方法及び露光制御プログラム
JP2012008845A (ja) 画像処理装置
WO2022030367A1 (ja) 撮像装置
JP2012010141A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090305

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees