JP2004297645A - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP2004297645A
JP2004297645A JP2003089720A JP2003089720A JP2004297645A JP 2004297645 A JP2004297645 A JP 2004297645A JP 2003089720 A JP2003089720 A JP 2003089720A JP 2003089720 A JP2003089720 A JP 2003089720A JP 2004297645 A JP2004297645 A JP 2004297645A
Authority
JP
Japan
Prior art keywords
amount
light
imaging system
threshold
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003089720A
Other languages
English (en)
Other versions
JP4219201B2 (ja
Inventor
Eiichiro Azuma
栄一郎 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2003089720A priority Critical patent/JP4219201B2/ja
Publication of JP2004297645A publication Critical patent/JP2004297645A/ja
Application granted granted Critical
Publication of JP4219201B2 publication Critical patent/JP4219201B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【目的】近赤外線照明等を用いた夜間撮影において、真に撮影することが必要な被写体が適切に撮影されなくなるといった事態を回避することができる撮像システムをを提供する。
【構成】信号処理部4は撮像映像を16×16の256領域に分割し、各領域における平均の輝度値Vを算出する処理を行う。更に、信号処理部4は、各領域の輝度値Vと輝度レベル閾値Vaとを比較する処理を行い、V≧Vaとなる領域の個数Sを算出する処理を行う。前記個数Sに対する閾値N1及び閾値N2(N1>N2)とするとき、信号処理部4は、S≧N1である場合は、照明装置7の出射光量を下げるよう照明制御部6に指令を与え、この出射光量が最小ならば絞り制御部5に指令を与えて絞りの方を1段階閉じる。
【選択図】 図1

Description

【0001】
【産業上の利用分野】
この発明は、監視カメラなどに用いられる撮像システムに関する。
【0002】
【従来の技術】
昼間などの被写体照度が十分である時には、撮像部前面側に赤外カットフィルタを装着することで色再現性に優れたカラーカメラとして機能させ、夜間など被写体照度が著しく不足する時には、例えば近赤外線照明にて照明を行うと共に前記赤外カットフィルタを離脱させて高感度な白黒カメラとして機能させる、いわゆる昼/夜切り替え式の監視カメラが知られている(特許文献1参照)。赤外カットフィルタは被写体の明るさや照明の状態に応じて自動的にモーター等のアクチュエータにて着脱される。近赤外線は、人間の目には全く感知できない波長領域であるが、監視カメラで使用されるCCDなどのイメージセンサは当該近赤外線に対して高い感度を有し、十分に撮像が可能である。このような近赤外線照明の光源としては、近赤外LEDや近赤外線電球が用いられる。
【0003】
【特許文献1】
特開2001−45512号公報
【0004】
【発明が解決しようとする課題】
しかしながら、前述した近赤外LEDや近赤外線電球は、一般にその照射方向に指向性があり、近赤外線照明を直接受けた人物などの被写体は非常に明るくなるのに対し、それ以外の背景などには照明光が均一には照射されないため、全体的には非常に暗い画像となる傾向がある。ここで、通常、監視カメラで広く用いられる測光方法である平均値測光を用いた場合、画面全体の映像信号の平均値としては背景の影響が大きいために画面全体として暗いと判断される。このため、レンズ絞りが開き、図3(b)に示すように、真に撮影することが必要な被写体の映像信号レベルが高くなりすぎて飽和し、白くつぶれて監視不能になる。なお、図3(a)では、画面全体が暗い場合において、同図(b)の絞り値と同じ絞り値が設定される様子を示している。
【0005】
そこで、例えば、夜間のみカメラの測光方法をピーク重視の測光に切り替える方法が考えられる。この方法であれば、映像信号のピーク成分に重点が置かれて測光されるため、平均値測光に比べればレンズ絞りが絞り込まれ、真に撮影することが必要な被写体の映像信号レベルは適切となる。しかしながら、図4(a)(b)に示すように、画面の一部に例えば非常灯などの高輝度の領域が常に撮影されることとなる場合には、この非常灯などの高輝度領域を適正に撮影するように制御がなされるため、常にレンズ絞りが絞り込まれた状態となり、監視が困難となる欠点がある。
【0006】
この発明は、上記の事情に鑑み、近赤外線照明等を用いた夜間撮影において、真に撮影することが必要な被写体が適切に撮影されなくなるといった事態を回避することができる撮像システムを提供することを目的とする。
【0007】
【課題を解決するための手段】
この発明の撮像システムは、上記の課題を解決するために、所定の波長帯域の光に対して感度を有する撮像手段と、撮像方向に向けて所定波長帯域の光を照射する照明装置と、前記撮像手段にて撮像された撮像映像における輝度値に応じて前記照明装置の出射光量を制御する照明制御手段と、を備え、前記撮像手段にて撮像された撮像映像内の各部分の輝度レベルをV、輝度レベル閾値をVa、撮像映像内でV≧Vaとなる部分の総量又は前記部分の撮像映像内に占める割合をS、閾値をNとするとき、前記照明制御手段は、S>Nのときには前記照明装置の出射光量を下げ、N>Sのときには前記照明装置の出射光量を上げる制御を行うことを特徴とする。
【0008】
上記構成において、例えば、輝度レベル閾値Vaがハレーションを生じさせる程度の輝度値とすれば、撮像映像内においてハレーションを生じている部分の総量又は割合がSとなるように光量制御が行われる。この場合、前記Sは撮像映像内において例えば僅かとなる総量又は割合とすればよい。すなわち、できるだけ照明装置の出射光量を上げることで暗い画面となるのを回避しつつ、S>Nのときには出射光量を下げることで、出射光量が多すぎてハレーションを生じさせる部分が多くなってしまうという事態を回避できることになる。
【0009】
また、この発明の撮像システムは、所定の波長帯域の光に対して感度を有する撮像手段と、撮像方向に向けて所定波長帯域の光を照射する照明装置と、前記撮像手段にて撮像された撮像映像における輝度値に応じて前記照明装置の出射光量を制御する照明制御手段と、を備え、前記撮像手段にて撮像された撮像映像内の各部分の輝度レベルをV、輝度レベル閾値をVa、撮像映像内でV≧Vaとなる部分の総量又は前記部分の撮像映像内に占める割合をS、第1の閾値及び第2の閾値を各々N1,N2(N1>N2)とするとき、前記照明制御手段は、S≧N1のときには前記照明装置の出射光量を下げ、N2≧Sのときには前記照明装置の出射光量を上げる制御を行うことを特徴とする。
【0010】
上記構成においては、N1>S>N2の範囲、すなわち所定幅の範囲で例えばハレーションが生じる程度となるように出射光量制御が行われることになり、かかる構成においても、できるだけ照明装置の出射光量を上げることで暗い画面となるのを回避しつつ、S≧N1のときには出射光量を下げることで、出射光量が多すぎてハレーションを生じさせる部分が多くなってしまうという事態を回避できることになる。
【0011】
前記照明装置の出射光量を最も下げた後もS>N又はS≧N1の状態が続くときには、前記撮像手段の絞りを所定量閉じるように制御するのがよい。また、前記撮像手段の絞りを最も開放した後もN>S又はN2≧Sの状態が続くときには、前記照明装置の出射光量を所定量上げるように制御するのがよい。
【0012】
前記撮像映像内の各部分は各画素であってもよいし、或いは、撮像映像を複数に領域分割した各領域としてもよい。
【0013】
【発明の実施の形態】
以下、この発明の実施形態における撮像システムを図1及び図2に基づいて説明する。
【0014】
図1は撮像システムの構成を示したブロック図である。レンズ1は被写体にて反射された光を受光し、集光して撮像部3に導く。絞り部2は前記撮像部3に導かれる光量を調節する。撮像部3は例えばCCDから成り、各画素ごとに受光量に応じた信号を出力する。信号処理部4はASIC(大規模集積回路)やマイクロコンピュータから成り、撮像部3から出力された信号を入力し、例えば、NTSC信号を生成し、図示しないモニタや録画装置に供給する。また、信号処理部4は、撮像部3から出力された信号に基づいて絞り制御部5や照明制御部6に指令信号を出力する。
【0015】
絞り部2には図示しないアクチュエータが設けられており、このアクチュエータは絞り制御部5から与えられる駆動制御信号によって動作し、絞り羽根を駆動して絞りの開き量を調節する。
【0016】
照明装置7は近赤外LEDや近赤外線電球などから成り、これら近赤外LEDや近赤外線電球に供給される電圧が変化すると近赤外の出射光量を変化させることになる。照明制御部6は、信号処理部4からの指令に基づいて照明装置7における駆動電圧を制御する。例えば、前記指令を8ビット信号で行うとすれば、256段階の出射光量制御が行えることになる。
【0017】
信号処理部4は、例えば撮像映像を16×16の256領域に分割(従来項の図3参照)し、各領域における平均の輝度値Vを算出する処理を行う。図示しないメモリ(例えば、不揮発性メモリ)は、輝度レベル閾値Vaを記憶している。輝度レベル閾値Vaとしては、ハレーションを生じるような程度(別言すれば、撮像部3におけるCCDの飽和値程度)の輝度値に設定される。この輝度レベル閾値Vaは固定的に設定されるものでもよいが、ユーザによる変更設定が行えるようにしてもよい。更に、信号処理部4は、各領域の輝度値Vと輝度レベル閾値Vaとを比較する処理を行い、V≧Vaとなる領域の個数S を算出する処理を行う。前記個数Sに対する閾値N1及び閾値N2(N1>N2)も前記メモリに記憶されている。例えば、ハレーションを生じる領域が20個程度在っても撮影された被写体の認識において十分であるのであれば、前記閾値N1として「20」を設定すればよいことになる。また、閾値N2については、例えば「5」を設定すればよい。勿論、かかる閾値についても、ユーザによる変更設定が行えるようにしてもよい。ここで、撮像範囲内に非常灯が存在する場合、照明装置7による照明が無い状態でも、非常灯に対応する映像領域は飽和状態となり得るものであり、幾つかの数の領域でV≧Vaとなる。この数が例えば「3」であるならば、前記閾値N2として、「8」(5+3)を設定すればよい。夜間撮影用の設定時には、例えば、照明装置7による照明を行わず、絞りを全開に設定し、V≧Vaとなった数を例えばモニターに表示させる。設定者は、モニターに表示された前記数に対応して前記の閾値N2や閾値N1を設定することもできる。
【0018】
次に、図2のフローチャートに基づいて、夜間撮影時の照明制御及び絞り制御について説明していく。
【0019】
夜間撮影モードを実行するときには、信号処理部4は、まず、照明装置7の出射光量を最大とし、カメラのレンズ絞りを全開とする指令を照明制御部6及び絞り制御部5に与える(ステップS1)。そして、信号処理部4は、各領域の輝度値Vと輝度レベル閾値Vaとを比較する処理を行い、V≧Vaとなる領域の個数Sを算出する(ステップS2)。次に、信号処理部4は、N1>S>N2であるかどうかを判断し(ステップS3)、YESであればステップS2に戻る。一方、ステップS3でNOとされたときには、S≧N1かどうかを判断する(ステップS4)。S≧N1であるときには、照明装置7の出射光量が最小かどうかを判断する(ステップS5)。最小でなければ光量を1段階低下させる(ステップS6)。光量が最小であるならば、絞りの方を1段階閉じる(ステップS7)。これにより、侵入者がカメラの撮像範囲内に入り、侵入者に反射してカメラに入る近赤外線量が多いために侵入者映像部分がハレーションを生じて前記Sが前記N1以上となったときには、まず出射光量が少なくされ、更には絞りが閉じられていくことにより、侵入者に反射してカメラに入る近赤外線量が低下し、侵入者映像部分でのハレーションが回避されることになる。
【0020】
ステップS4でYESとされたとき(N2≧Sのとき)、絞りが全開か否かを判断する(ステップS8)。絞りが全開でなければ絞りを1段階開く(ステップS9)。絞りが全開ならば照明装置7の出射光量の方を1段階向上させる(ステップS10)。すなわち、ハレーションを生じているような領域の個数SがN2以下となったときには、まず、絞りを開いていき、絞りが全開となった後に出射光量を上げていく。
【0021】
以上説明した制御と図3及び図4に示した従来制御との違いを整理する。上述した制御においては、撮像画面全体の平均値測光ではなく、画面全体のなかでのハレーションを生じているような領域の面積に着目している。従って、従来項で示した図3(a)の状態と図3(b)の状態との違いをシステム自身が認識できるものとなる。また、撮像画面全体の平均値測光では、その測光値に基づいて照明光量を制御しようとしても、上記両状態の区別はできないため、かかる照明光量の制御も適切に行えない。これに対し、かかる実施形態の制御であれば、上記両状態を区別することができ、図3(b)の状態がS≧N1であるならば、まず出射光量が少なくされ、更には絞りが閉じられていくことになる。また、かかる実施形態の制御においては、撮像範囲内に非常灯が存在する場合、非常灯などの高輝度領域も単に前記個数Sのなかの幾つかとなるにすぎず、非常灯の高輝度領域を適正に撮影する従来制御のごとく、必要以上にレンズ絞りが絞り込まれるといった不都合も生じない。
【0022】
なお、図2のフローチャートに示した処理では、撮像映像内の各領域の輝度レベルをV、輝度レベル閾値をVa、撮像映像内でV≧Vaとなる領域個数をS、第1の閾値及び第2の閾値を各々N1,N2(N1>N2)とし、S≧N1のときには出射光量を下げ、N2≧Sのときには出射光量を上げる制御を行ったが、これに限るものではない。例えば、撮像映像内の各領域の輝度レベルをV、輝度レベル閾値をVa、撮像映像内でV≧Vaとなる領域個数をS、閾値をNとし、S>Nのときには出射光量を下げ、N>Sのときには出射光量を上げる制御を行うこととしてもよい。かかる構成でも、できるだけ照明装置の出射光量を上げて暗い画面となるのを回避しつつ、S>Nのときには出射光量を下げることで、出射光量が多すぎてハレーションを生じさせる部分が多くなってしまうという事態を回避できることになる。
【0023】
輝度レベル閾値Vaはハレーションを生じさせる程度の値としたが、これよりも低い値を設定してもよい。ただし、低い値とすればするほど、できるだけ照明装置の出射光量を上げるという点が不十分となり、暗い映像が撮像されてしまう可能性が大きくなる。
【0024】
また、上記の例では、撮像映像内でV≧Vaとなる領域個数を検出することとしたが、個数ではなく、撮像映像全体に対する割合としてもよい。また、領域分割を例示したが、画素単位でV≧Vaとなる個数を検出したり、撮像映像全体に対する画素割合を生成するようにしてもよいものである。
【0025】
【発明の効果】
以上説明したように、この発明によれば、できるだけ照明装置の出射光量を上げて暗い画面となるのを回避しつつ、例えばハレーションを生じさせる領域数が閾値を超えるときには出射光量を下げることで、出射光量が多すぎてハレーションを生じさせる部分が多くなってしまうという事態を回避でき、鮮明な撮像画像によって監視等が良好に行えるという効果を奏する。
【図面の簡単な説明】
【図1】この発明の撮像システムを示したブロック図である。
【図2】制御内容を示したフローチャートである。
【図3】同図(a)(b)は平均値測光による不具合を説明する説明図である。
【図4】同図(a)(b)はピーク重視の測光による不具合を説明する説明図である。
【符号の説明】
1 レンズ
2 絞り
3 撮像部
4 信号処理部
5 絞り制御部
6 照明制御部
7 照明装置

Claims (6)

  1. 所定の波長帯域の光に対して感度を有する撮像手段と、撮像方向に向けて所定波長帯域の光を照射する照明装置と、前記撮像手段にて撮像された撮像映像における輝度値に応じて前記照明装置の出射光量を制御する照明制御手段と、を備え、前記撮像手段にて撮像された撮像映像内の各部分の輝度レベルをV、輝度レベル閾値をVa、撮像映像内でV≧Vaとなる部分の総量又は前記部分の撮像映像内に占める割合をS、閾値をNとするとき、前記照明制御手段は、S>Nのときには前記照明装置の出射光量を下げ、N>Sのときには前記照明装置の出射光量を上げる制御を行うことを特徴とする撮像システム。
  2. 所定の波長帯域の光に対して感度を有する撮像手段と、撮像方向に向けて所定波長帯域の光を照射する照明装置と、前記撮像手段にて撮像された撮像映像における輝度値に応じて前記照明装置の出射光量を制御する照明制御手段と、を備え、前記撮像手段にて撮像された撮像映像内の各部分の輝度レベルをV、輝度レベル閾値をVa、撮像映像内でV≧Vaとなる部分の総量又は前記部分の撮像映像内に占める割合をS、第1の閾値及び第2の閾値を各々N1,N2(N1>N2)とするとき、前記照明制御手段は、S≧N1のときには前記照明装置の出射光量を下げ、N2≧Sのときには前記照明装置の出射光量を上げる制御を行うことを特徴とする撮像システム。
  3. 請求項1又は請求項2に記載の撮像システムにおいて、前記照明装置の出射光量を最も下げた後もS>N又はS≧N1の状態が続くときには、前記撮像手段の絞りを所定量閉じるように制御することを特徴とする撮像システム。
  4. 請求項1乃至請求項3のいずれかに記載の撮像システムにおいて、前記撮像手段の絞りを最も開放した後もN>S又はN2≧Sの状態が続くときには、前記照明装置の出射光量を所定量上げるように制御することを特徴とする撮像システム。
  5. 請求項1乃至請求項4のいずれかに記載の撮像システムにおいて、前記撮像映像内の各部分は各画素であることを特徴とする撮像システム。
  6. 請求項1乃至請求項4のいずれかに記載の撮像システムにおいて、前記撮像映像内の各部分は当該撮像映像を複数に領域分割した各領域であることを特徴とする撮像システム。
JP2003089720A 2003-03-28 2003-03-28 撮像システム Expired - Fee Related JP4219201B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003089720A JP4219201B2 (ja) 2003-03-28 2003-03-28 撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003089720A JP4219201B2 (ja) 2003-03-28 2003-03-28 撮像システム

Publications (2)

Publication Number Publication Date
JP2004297645A true JP2004297645A (ja) 2004-10-21
JP4219201B2 JP4219201B2 (ja) 2009-02-04

Family

ID=33403505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003089720A Expired - Fee Related JP4219201B2 (ja) 2003-03-28 2003-03-28 撮像システム

Country Status (1)

Country Link
JP (1) JP4219201B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295591A (ja) * 2005-04-12 2006-10-26 Mitsubishi Electric Corp 撮像素子を使用する監視カメラを用いる監視システム
KR100747576B1 (ko) 2005-12-21 2007-08-08 엘지전자 주식회사 카메라의 노출 제어장치 및 그 방법
JP2008035255A (ja) * 2006-07-28 2008-02-14 Fujifilm Corp 撮像装置
JP2011205552A (ja) * 2010-03-26 2011-10-13 Hitachi Kokusai Electric Inc 監視カメラシステム
WO2014065948A1 (en) * 2012-10-26 2014-05-01 Sensormatic Electronics, LLC Security camera system and method for eliminating video aberrations from excessive ir illumination
KR20150128586A (ko) * 2014-05-08 2015-11-18 엑시스 에이비 광 조건들을 변경하는 것으로 인한 픽셀 밀도 요건에서의 변화에 대한 필요를 결정하는 방법 및 장치
JP2016224968A (ja) * 2016-07-26 2016-12-28 株式会社Jvcケンウッド 調整装置、およびプログラム
US11178339B2 (en) 2019-03-14 2021-11-16 Axis Ab Control of an illuminator

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295591A (ja) * 2005-04-12 2006-10-26 Mitsubishi Electric Corp 撮像素子を使用する監視カメラを用いる監視システム
JP4652105B2 (ja) * 2005-04-12 2011-03-16 三菱電機株式会社 撮像素子を使用する監視カメラを用いる監視システム
KR100747576B1 (ko) 2005-12-21 2007-08-08 엘지전자 주식회사 카메라의 노출 제어장치 및 그 방법
JP2008035255A (ja) * 2006-07-28 2008-02-14 Fujifilm Corp 撮像装置
JP4727526B2 (ja) * 2006-07-28 2011-07-20 富士フイルム株式会社 撮像装置
JP2011205552A (ja) * 2010-03-26 2011-10-13 Hitachi Kokusai Electric Inc 監視カメラシステム
WO2014065948A1 (en) * 2012-10-26 2014-05-01 Sensormatic Electronics, LLC Security camera system and method for eliminating video aberrations from excessive ir illumination
US9264596B2 (en) 2012-10-26 2016-02-16 Sensormatic Electronics, LLC Security camera system and method for eliminating video aberrations from excessive IR illumination
KR20150128586A (ko) * 2014-05-08 2015-11-18 엑시스 에이비 광 조건들을 변경하는 것으로 인한 픽셀 밀도 요건에서의 변화에 대한 필요를 결정하는 방법 및 장치
KR101672501B1 (ko) 2014-05-08 2016-11-04 엑시스 에이비 광 조건들을 변경하는 것으로 인한 픽셀 밀도 요건에서의 변화에 대한 필요를 결정하는 방법 및 장치
US9615029B2 (en) 2014-05-08 2017-04-04 Axis Ab Method and apparatus for determining a need for a change in a pixel density requirement due to changing light conditions
JP2016224968A (ja) * 2016-07-26 2016-12-28 株式会社Jvcケンウッド 調整装置、およびプログラム
US11178339B2 (en) 2019-03-14 2021-11-16 Axis Ab Control of an illuminator

Also Published As

Publication number Publication date
JP4219201B2 (ja) 2009-02-04

Similar Documents

Publication Publication Date Title
JP4115467B2 (ja) 撮影装置
US7430369B2 (en) Image capture apparatus and control method therefor
JP4870887B2 (ja) 撮像装置、ストロボ制御方法、およびその方法をコンピュータが実行するためのプログラム
JPH03179879A (ja) ビデオカメラの露出制御方法及び装置
US7817190B2 (en) Method and apparatus for processing an image exposed to backlight
KR100367594B1 (ko) 씨씨디 카메라의 제어 방법
JP2006311311A (ja) 撮像装置および撮像方法
JP2006270218A (ja) 電子カメラおよび電子カメラシステム
US20130194479A1 (en) Display control method and device for finder device
JP4219201B2 (ja) 撮像システム
JP3670952B2 (ja) カラー/白黒切換カメラ
JP4652105B2 (ja) 撮像素子を使用する監視カメラを用いる監視システム
JP2001358986A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP6525723B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2001245205A (ja) 撮像装置
JP2009253316A (ja) 車載カメラ及びドライブレコーダ
JP2009157004A (ja) 撮像装置
JP4396225B2 (ja) ホワイトバランス制御装置及び電子機器
JP2006166342A (ja) 撮像装置、および、撮像システム
JP4701122B2 (ja) カメラ
JP2014220762A (ja) 撮像装置
JP7218116B2 (ja) 撮像装置および撮像装置の制御方法
CN112135012B (zh) 图像采集装置及图像采集方法
JP2010283593A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees