JP2004023343A - 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム - Google Patents

撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム Download PDF

Info

Publication number
JP2004023343A
JP2004023343A JP2002173873A JP2002173873A JP2004023343A JP 2004023343 A JP2004023343 A JP 2004023343A JP 2002173873 A JP2002173873 A JP 2002173873A JP 2002173873 A JP2002173873 A JP 2002173873A JP 2004023343 A JP2004023343 A JP 2004023343A
Authority
JP
Japan
Prior art keywords
gain
imaging
color component
amplification
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002173873A
Other languages
English (en)
Other versions
JP3630149B2 (ja
Inventor
Masami Yuyama
湯山 将美
Noriyasu Murata
村田 憲保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002173873A priority Critical patent/JP3630149B2/ja
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to KR10-2003-0038119A priority patent/KR100518735B1/ko
Priority to US10/461,772 priority patent/US7436439B2/en
Priority to EP03013570A priority patent/EP1372344B1/en
Priority to DE60300231T priority patent/DE60300231T2/de
Priority to CNB031407862A priority patent/CN1230008C/zh
Priority to TW092116092A priority patent/TWI223566B/zh
Publication of JP2004023343A publication Critical patent/JP2004023343A/ja
Application granted granted Critical
Publication of JP3630149B2 publication Critical patent/JP3630149B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】煩雑な操作を必要とせずに、常に良好なホワイトバランスが確保された画像を得ることができる撮像装置等を提供する。
【解決手段】この電子スチルカメラは、第1及び第2ゲイン調整回路21,22を有するとともに、ゲイン記憶部38を有している。ゲイン記憶部38は、オートホワイトバランス制御時に第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cに設定されるゲインが記憶された第1ゲインテーブル、及び第2ゲイン調整回路22のR用アンプ22aとB用アンプ22cに設定されるゲインが記憶された第2ゲインテーブルを有している。そして、第2ゲインテーブルのゲインを順次第2ゲイン調整回路22に設定して白検出を行い、その結果に基づき第1ゲイン調整回路21に設定すべきゲインを第1ゲインテーブルから選択して、第1ゲイン調整回路21に設定する。
【選択図】    図1

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラムに関する。
【0002】
【従来の技術】
従来、撮像装置の一種である電子スチルカメラにおいては、所定のモード(RECモード等)が設定された撮影待機状態では、CCD等の固体撮像素子を用いて撮像した被写体像を、シャッター操作に関係なくスルー(ファインダ)画像として液晶モニタに表示させるものが多い。こうした電子スチルカメラにおいて被写体の色をより正確に再現するにはホワイトバランスをとることが必要である。ホワイトバランスは色温度の異なる光の下で撮像する場合でも白い被写体を白く写すためのものであり、固体撮像素子から出力される画像信号のゲインを、撮影環境(光源)に応じてR,G,Bの色成分毎に調整することにより確保できる。したがって、予想される複数種の撮影環境(光源)に対応するゲイン値や基準となるゲインの補正係数をメモリしておき、使用者に実際の撮影環境(光源)を設定させれば最適状態に近いホワイトバランスをとることが可能である。
【0003】
しかし、それでは使用者に煩雑な操作を強いることとなるため、ホワイトバランスを自動的にとるオートホワイトバランス機能を設けたものもある。オートホワイトバランスを行うには、撮像画像のどの部分が白であるのかを判断する必要がある。この白判断に際しては、まず固体撮像素子の出力信号(画像信号)をYUV変換して得られる色差信号(Cb信号、Cr信号)を用いて、画像を構成する全ての画素についての色情報、つまりCb値、Cr値を調べる。このとき、ある画素のCb値、Cr値が所定の白検出範囲(白である可能性が高いと考えられる範囲)に含まれる場合には、その画素の色は白であると判断し、白と判断した全ての画素のCb値、Cr値を個別に積算する。そして、Cbの積算値とCrの積算値とが「0」となる(Cb=Cr=0となる)ように、R成分のゲインとB成分のゲインとを調整する。すなわち白が青みがかっている状態(色温度が高い光の下での撮像時)では、R成分のゲインを上げてB成分のゲインを下げ、白が赤みがかっている状態(色温度が低い光の下での撮像時)では、R成分のゲインを下げてB成分のゲインを上げる。
【0004】
かかる方法では、太陽光(5500Kの標準光)の下で白く見える被写体を異なる撮影条件(撮影光)の下で撮影したときにその色(Cb値、Cr値)が変化する範囲を、前記白検出範囲WSとして設定しておくことにより、撮影条件(撮影光)が異なっても適切なホワイトバランスが自動的に得られることとなる。
【0005】
【発明が解決しようとする課題】
しかしながら、前述した方法においては、撮影待機状態にあるとき、画像信号のゲインを調整する制御がフィードバック制御となることから、以下のような問題があった。
【0006】
例えば、被写体中に薄い水色や肌色等の白に近い有色が存在すると、前述した白判断の段階で、当該白に近い有色を白であると誤判断してしまう場合がある。したがって、次の段階では、この白と誤判断した全ての画素のCb値、Cr値が個別に積算され、Cbの積算値とCrの積算値とが「0」となる(Cb=Cr=0となる)ように、R成分のゲインとB成分のゲインとが調整されることとなる。このため、最終的にCb=Cr=0となる状態では、白い被写体が青っぽく、また赤い被写体は薄い赤となる所謂引き込み現象発生し、液晶モニタにはこの引き込み現象が発生したスルー画像が表示されてしまうこととなる。無論、そのような状態でシャッターが押された場合には、ホワイトバランスのずれた画像が記録されることとなる。また、それを回避するには、撮影操作に先立って前述したように実際の撮影環境(光源)を設定する煩雑な操作が必要となるという問題があった。
【0007】
本発明は、かかる従来の課題に鑑みてなされたものであり、煩雑な操作を必要とせずに、常に良好なホワイトバランスが確保された画像を得ることができる撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
前記課題を解決するために請求項1に係る撮像装置にあっては、被写体を撮像して撮像信号を出力する撮像手段と、この撮像手段から出力される前記撮像信号を色成分毎に個別に増幅する第1及び第2の増幅手段と、被写体のホワイトバランスを確保するための色成分毎のゲインを複数種記憶した第1の記憶手段と、前記第2の増幅手段の成分毎のゲインを順次変化させる可変手段と、この可変手段により順次変化する色成分毎のゲインで前記第2の増幅手段により増幅された撮像信号から生成した画像情報に基づき、所定の白検出範囲に含まれる色情報を有するゲインを検出する検出手段と、この検出手段により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記第1の記憶手段から選択する選択手段と、この選択手段により選択されたゲインを前記第1の増幅手段に設定する設定手段と、この設定手段により設定されたゲインで前記第1の増幅手段により増幅された撮像信号から生成した画像情報を、画像の表示又は記録に供する制御手段とを備えている。
【0009】
すなわち、第2の増幅手段が色成分毎のゲインを順次変化させると、検出手段は色成分毎のゲインが変化する都度、第2の増幅手段により増幅された撮像信号から生成した画像情報に基づき、所定の白検出範囲に含まれる色情報を有するゲインを検出する。すると、選択手段がこの検出されたゲインに基づき、第1の記憶手段に記憶されているいずれか被写体のホワイトバランスを確保するための色成分毎のゲインを選択する。そして、この選択されたいずれかのゲインが設定手段により第1の増幅手段に設定される。
【0010】
したがって、この設定されたゲインで第1の増幅手段により増幅された撮像信号から生成した被写体の画像情報が、画像の表示又は記録に供されることにより、煩雑な操作を必要とせずに、常に良好なホワイトバランスが確保された画像を得ることができる。しかも、画像の表示に供されるのは、ゲインが順次変化する第2の増幅手段からの撮像信号ではなく、第1の増幅手段からの撮像信号であることから、表示中の画像のホワイトバランスが頻繁に変化することもない。
【0011】
また、請求項2に係る撮像装置にあっては、前記第2の増幅手段に設定すべき色成分毎のゲインのを複数種記憶した第2の記憶手段を更に備え、前記可変手段は、この第2の記憶手段に記憶されている複数種のゲインを前記第2の増幅手段に順次設定することにより、前記色成分毎のゲインを順次変化させる。
したがって、第2の増幅手段のゲインは、予め第2の記憶手段に記憶されている複数種のゲインで順次変化する。
【0012】
また、請求項3に係る撮像装置にあっては、前記第2の記憶手段は、前記第1の記憶手段よりも多数種のゲインを記憶している。よって、より多様にゲインを変化させた結果から、第1の増幅手段に増幅すべきゲインを選択することができ、より適切なゲイン選択、設定が可能となる。
【0013】
また、請求項4に係る撮像装置にあっては、前記選択手段は、前記検出手段により検出されたゲインに基づき、前記第1の記憶手段に記憶されているゲインを候補として選択し、この候補として選択したゲインが所定回数連続した場合に、この候補として選択されたゲインを前記第1の増幅手段に設定すべきゲインとして最終的に選択する。したがって、最終的により適切な色成分毎のゲインを第1の記憶手段から選択することができる。
【0014】
また、請求項5に係る撮像装置にあっては、前記第1の記憶手段に記憶されている複数種のゲインは、日陰、太陽光、蛍光灯、タングステンランプ下において各々被写体のホワイトバランスを確保し得る色成分毎のゲインである。よって、煩雑な操作を必要とせずに現実に存在する撮影状況に応じて、日陰、太陽光、蛍光灯、タングステンランプ下における良好なホワイトバランスが確保される。
【0015】
また、請求項6に係る撮像装置にあっては、前記撮像手段が被写体を撮像した際の露出を判定する露出判定手段をさらに備え、前記選択手段は、前記露出判定手段により判定された露出と前記検出手段により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記第1の記憶手段から選択する。つまり、露出を判定することにより、撮影状況が日陰、太陽光、蛍光灯、タングステンランプ下のいずであるかを推測することができる。よって、この推測をも用いて日陰、太陽光、蛍光灯、タングステンランプ下におけるホワイトバランスを確保するための色成分毎のゲインが設定されることにより、より適切なゲイン設定が可能となる。
【0016】
また、請求項7に係る撮像装置にあっては、前記制御手段により供される画像情報に基づき画像を表示する表示手段を更に備える。したがって、表示手段に画像のホワイトバランスが頻繁に変化することがなく、かつ、常に良好なホワイトバランスが確保された画像を表示することができる。
【0017】
また、請求項8に係る撮像装置にあっては、撮影操作に応じて、前記制御手段により供される画像情報を記録する記録手段を更に備える。したがって、煩雑な操作を必要とせずに、常に良好なホワイトバランスが確保された画像を記録することができる。
【0018】
また、請求項9に係る発明にあっては、被写体を撮像して撮像信号を出力する撮像手段と、この撮像手段から出力される前記撮像信号を色成分毎に個別に増幅する第1及び第2の増幅手段と、被写体のホワイトバランスを確保するための色成分毎のゲインを複数種記憶した記憶手段とを備えた撮像装置におけるホワイトバランス制御方法であって、前記第2の増幅手段の色成分毎のゲインを順次変化させる可変工程と、この可変工程により順次変化する色成分毎のゲインで前記第2の増幅手段により増幅された撮像信号から生成した画像情報に基づき、所定の白検出範囲に含まれる色情報を有するゲインを検出する検出工程と、この検出工程により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記記憶手段から選択する選択工程と、この選択工程により選択されたゲインを前記第1の増幅手段に設定する設定工程と、この設定工程により設定されたゲインで前記第1の増幅手段により増幅された撮像信号から生成した画像情報を、画像の表示又は記録に供する制御工程とを含む。したがって、記載した工程に従って処理を実行することにより、請求項1記載の発明と同様の作用効果を奏する。
【0019】
また、請求項10に係るホワイトバランス制御プログラムにあっては、発明にあっては、被写体を撮像して撮像信号を出力する撮像手段と、この撮像手段から出力される前記撮像信号を色成分毎に個別に増幅する第1及び第2の増幅手段と、被写体のホワイトバランスを確保するための色成分毎のゲインを複数種記憶した記憶手段とを備えた撮像装置が有するコンピュータを、前記第2の増幅手段の色成分毎のゲインを順次変化させる可変手段と、この可変手段により順次変化する色成分毎のゲインで前記第2の増幅手段により増幅された撮像信号から生成した画像情報に基づき、所定の白検出範囲に含まれる色情報を有するゲインを検出する検出手段と、この検出手段により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記記憶手段から選択する選択手段と、この選択手段により選択されたゲインを前記第1の増幅手段に設定する設定手段と、この設定手段により設定されたゲインで前記第1の増幅手段により増幅された撮像信号から生成した画像情報を、画像の表示又は記録に供する制御手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項1記載の発明と同様の作用効果を奏する。
【0020】
【発明の実施の形態】
以下、本発明の第1の実施の形態を図にしたがって説明する。図1は、本発明を電子スチルカメラに適用した場合のブロック構成図である。
【0021】
レンズ20の後方に配置されたCCD25は、タイミング信号発生器26、垂直ドライバ27によって駆動される。CCD25は原色RGBの色フィルタアレイが設けられたものであって、CCD25の受光面に結像された光学像はR,G,Bの各受光部で電荷蓄積され、光の強さに応じた量のR,G,Bの信号電荷に変換された後、アナログの画像信号としてユニット回路28に出力される。ユニット回路28は、入力した撮像信号からノイズを除去するCDSと、ノイズが除去された撮像信号をデジタルの画像データに変換するA/D変換器とからなり、ユニット回路28から出力された画像データは第1及び第2ゲイン調整回路21,22に送られる。
【0022】
第1及び第2ゲイン調整回路21、22は、R,G,Bの色成分毎にR用アンプ21a、22a、G用アンプ21b、22b、B用アンプ21c、22cを各々備えており、制御部35から送られる制御信号によって各アンプ21a、22a、21b、22b、21c、22cのゲインが制御される。第1ゲイン調整回路21によって増幅された画像信号は第1カラープロセス回路23に送られ、ここでカラープロセス処理を行われた後、デジタルの輝度信号(Y信号)と色差信号(Cb信号、Cr信号)を含んだYUVデータとしてDMAコントローラ29のバッファに書き込まれる。同時にバッファには、カラープロセス処理が行われる以前のR,G,Bの画像データも書き込まれる。DMAコントローラ29はバッファに書き込まれたYUVデータをDRAM30の指定領域に転送し、展開する。
【0023】
ビデオエンコーダ31は、前記バッファから読み出されたYUVデータを元にビデオ信号を発生してLCDからなる表示装置32に出力する。これにより、撮像待機状態にあるRECスルーモードの設定時には、撮像された被写体像が表示装置32にスルー画像として表示される。また、その状態でシャッターキーが押された撮影指示時には、前記バッファに書き込まれた1フレーム分のYUVデータが圧縮/伸張部33に送られ、圧縮処理を施されてフラッシュメモリ34に記録される。画像再生等を行うPLAYモードの設定時には、フラッシュメモリ34に記録されている画像データがDMAコントローラ29を介して圧縮/伸張部33に送られ、伸張処理を施されてYUVデータが再生される。これにより、記録画像が表示装置32に表示される。
【0024】
一方、第2ゲイン調整回路22によって増幅された画像信号は第2カラープロセス回路24に送られ、ここでカラープロセス処理を行われた後、デジタルの輝度信号(Y信号)と色差信号(Cb信号、Cr信号)を含んだYUVデータとして制御部35に送られる。
【0025】
制御部35はCPU、プログラムやデータが格納されたROM、作業用のRAMを有しており、所定のプログラムに従い前述した各部の動作を制御するとともに、操作部36から送られる状態信号に対応して電子スチルカメラの各機能、すなわち自動露出制御(AE)やオートホワイトバランス(AWB)を実現する。操作部36には、前記シャッターキー、及びRECスルーモードとPLAYモードの切り替えキー等の各種キーが設けられており、キー操作に応じた状態信号を制御部35に送る。ストロボ37は、シャッターキーの操作時(撮影時)に必要に応じて駆動され補助光を発する。
【0026】
ゲイン記憶部38は、制御部35によるオートホワイトバランス制御時に第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cに設定されるゲイン、及び第2ゲイン調整回路22のR用アンプ22aとB用アンプ22cに設定されるゲインが記憶されている。すなわち、ゲイン記憶部38には、図2に示す第1の記憶手段としての第1ゲインテーブル381と、図3に示す第2の記憶手段としての第2ゲインテーブル382とが記憶されている。
【0027】
第1ゲインテーブル381は、制御部35によるオートホワイトバランス制御時に第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cにゲインをする際に用いられるテーブルであって、ゲインNo.▲1▼〜▲4▼に対応するRゲインの値とBゲインの値とが記憶されている。ここで、ゲインNo.▲1▼は日陰での撮影時、ゲインNo.▲2▼は太陽光、ゲインNo.▲3▼は蛍光灯、ゲインNo.▲4▼はタングステンランプを光源とする撮影時に適切なホワイトバランスを設定することのできるRゲインの値とBゲインの値からなる。また、こられRゲインの値とBゲインの値は、経験値からなる。
【0028】
第2ゲインテーブル382は、制御部35によるオートホワイトバランス制御時に第2ゲイン調整回路22のR用アンプ22aとB用アンプ22cにゲインをする際に用いられるテーブルであって、ゲインNo.1〜12に対応するRゲインの値とBゲインの値とが記憶されている。ここで、ゲインNo.1及び2は日陰での撮影時、ゲインNo.3、4、5は太陽光、ゲインNo.6、7、8は蛍光灯、ゲインNo.9はタングステンランプ、ゲインNo.10は白熱灯を光源とする撮影時に適切なホワイトバランスを設定することのできるRゲインの値とBゲインの値からなる。また、ゲインNo.11は被写体が緑である場合、ゲインNo.12は被写体がベージュである場合の撮影時に適切なホワイトバランスを設定することのできるRゲインの値とBゲインの値からなる。こられRゲインの値とBゲインの値も、経験値からなる。
【0029】
なお、第1ゲインテーブル381と第2ゲインテーブル382とにおいて、ゲインNo.▲1▼とゲインNo.1、ゲインNo.▲2▼とゲインNo.4、ゲインNo.▲3▼とゲインNo.6、ゲインNo.▲4▼とゲインNo.9は、各々同一のRゲインの値とBゲインの値からなる。
【0030】
また、前記制御部35のROM又は前記ゲイン記憶部38には、図4に示す白検出枠データ351と、図5に示すEV(Exposure Value)判定データ352が記憶されている。
【0031】
次に、以上の構成からなる本実施の形態において、AWBモードが設定された状態でのRECスルーモードにおける動作を図6に示すフローチャートに従い説明する。
すなわち電子スチルカメラにあっては、RECスルーモードが設定されると、制御部35は前記プログラムに基づきこのフローチャートに従って処理を開始して、CCD25を1フレーム駆動する(ステップS1)。次に、この駆動した1フレーム分のデジタルデータを取り込み(ステップS2)、白検出及びEV(Exposure Value)値を取り込む(ステップS3)。次に、EV判定「暗」を実行する(ステップS4)。
【0032】
このステップS4の処理は、図5に示したEV判定データ352に基づいて実行され、取り込んだEV値がEV判定データ352の「暗」に属する値であるか否かを判定する。この取り込んだEV値がEV判定データ352の「暗」に属する値であった場合には(ステップS4;YES)、取り込んだ画像データは、日陰での撮影時、太陽光、蛍光灯、タングステンランプを光源とする撮影時のいずれの場合もあり得るものと推定される。
【0033】
そして、この場合には、条件1で決定されたゲインNo.が、第2ゲインテーブル382のゲインがNo.1〜No.12のうちの、No.1又はNo.2であるか否かを判断する(ステップS5)。ここで、条件1で決定されるNo.とは、第2ゲインテーブル382のゲインを、第2ゲイン調整回路22のR用アンプ22aとB用アンプ22cとに、フレーム毎にNo.1〜No.12まで順番に設定したとき、そのNo.における白の個数(図4に示した白検出枠データ351の白枠353内に入る画素数)が過去12フレームのうちで最も多いNo.である。
【0034】
すなわち、図7の具体例に示すように(図7においては、第1ゲイン調整回路21を「#1」、第2ゲイン調整回路22を「#2」と表記している。)、EV判定が「暗」の状態で、フレーム1、2、3、・・・毎に、第2ゲイン調整回路22(#2)のR用アンプ22aとB用アンプ22cとに、1、2、3、・・・とNo.1〜No.12までのゲインを設定して、各々「白の個数」を検出し、過去12フレームのうちで最も多いNo.を決定する。
【0035】
このステップS5での判断の結果、条件1で決定された第2ゲインテーブル382のゲインがNo.1又はNo.2であった場合には(ステップS5;YES)、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに設定すべき第1ゲインテーブル381のゲイン候補を日陰用であるNo.▲1▼とする(ステップS6)。
【0036】
また、前記ステップS5での判断の結果、条件1で決定された第2ゲインテーブル382のゲインがNo.1又はNo.2でなかった場合には(ステップS5;NO)、条件1で決定された第2ゲインテーブル382のゲインがNo.3、4、5、11又は12であったか否かを判断する(ステップS7)。このステップS7の判断がYESであった場合には、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに設定すべき第1ゲインテーブル381のゲイン候補を太陽光用であるNo.▲2▼とする(ステップS8)。
【0037】
また、前記ステップS7での判断の結果、条件1で決定された第2ゲインテーブル382のゲインがNo.3、4、5、11又は12でなかった場合には(ステップS7;NO)、条件1で決定された第2ゲインテーブル382のゲインがNo.6、7又は8であったか否かを判断する(ステップS9)。このステップS9の判断がYESであった場合には、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに設定すべき第1ゲインテーブル381のゲイン候補を蛍光灯用であるNo.▲3▼とする(ステップS10)。
【0038】
すなわち、図7に示す具体例においては、フレーム1、2、3、・・・12毎に設定されたゲインNo.1、2、3、・・・12において、最も白の個数が多かったのは、個数「100」のNo.7である。したがって、フレーム13の時点(A時点)でステップS9の判断がYESとなり、蛍光灯用であるNo.▲3▼が第1ゲインテーブル381の候補とされることとなる。
【0039】
さらに、前記ステップS9での判断の結果、条件1で決定された第2ゲインテーブル382のゲインがNo.6、7又は8でなかった場合には(ステップS9;NO)、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに設定すべき第1ゲインテーブル381のゲイン候補を蛍光灯用であるNo.▲4▼とする(ステップS11)。
【0040】
他方、前記ステップS4で判断の結果、取り込んだEV値がEV判定データ352の「暗」に属する値でなかった場合には(ステップS4;NO)、「明」に属する値であるか否かを判定する(ステップS14)。このEV値がEV判定データ352の「明」に属する値であった場合には(ステップS14;YES)、取り込んだ画像データは、太陽光を光源とする撮影時のものであると推定される。よって、この場合には、前述したステップS8と同様に、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに設定すべき第1ゲインテーブル381のゲイン候補を太陽光用であるNo.▲2▼とする(ステップS15)。
【0041】
しかし、前記ステップS14で判断の結果、取り込んだEV値がEV判定データ352の「明」に属する値でもなかった場合には(ステップS14;NO)、前述したステップS5と同様に、条件1で決定された第2ゲインテーブル382のゲインがNo.1又はNo.2であったか否かを判断する(ステップS16)。 そして、条件1で決定された第2ゲインテーブル382のゲインがNo.1又はNo.2であった場合には(ステップS16;YES)、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに設定すべき第1ゲインテーブル381のゲイン候補を日陰用であるNo.▲1▼とする(ステップS17)。しかし、条件1で決定された第2ゲインテーブル382のゲインがNo.1又はNo.2でなかった場合には(ステップS16;NO)、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに設定すべき第1ゲインテーブル381のゲイン候補を太陽光用であるNo.▲2▼とする(ステップS18)。
【0042】
次に、前述のステップS6、S8、S10、S11、S15、S17、S18で候補とされたNo.が連続して32回同じであるか否かを判断する(ステップS12)。連続して32回同じではない場合には(ステップS12;NO)、ステップS1からの処理を繰り返し、連続して32回同じとなったならば(ステップS12;YES)、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cとに、そのNo.のゲイン値を設定して更新する(ステップS13)。
【0043】
すなわち、図7に示す具体例においては、候補とされたNo.▲3▼がB時点で32回連続している。したがって、B時点でステップS12の判断がYESとなって、初期値であるNo.▲2▼からNo.▲3▼に更新される。また、C時点においても、場面が変化したと推定されるD時点から候補とされたNo.▲2▼が32回連続している。したがって、C時点でもステップS12の判断がYESとなって、No.▲3▼からNo.▲2▼に更新される。
【0044】
したがって、第1ゲイン調整回路21のR用アンプ21aとB用アンプ21cは、ユニット回路28から送られた光学像のデジタル画像データのR、B色成分を前記ステップS13で設定されたゲインで増幅する。そして前述のように、この第1ゲイン調整回路21によって増幅された画像信号は第1カラープロセス回路23に送られ、ここでカラープロセス処理を行われた後、デジタルの輝度信号(Y信号)と色差信号(Cb信号、Cr信号)を含んだYUVデータとしてDMAコントローラ29のバッファに書き込まれる。DMAコントローラ29はバッファに書き込まれたYUVデータをDRAM30の指定領域に転送し、展開する。ビデオエンコーダ31は、前記バッファから読み出されたYUVデータを元にビデオ信号を発生してLCDからなる表示装置32に出力する。
【0045】
これにより、撮像待機状態にあるRECスルーモードの設定時には、光源に応じてホワイトバランスを設定する煩雑な操作を必要とせずに、常に良好なホワイトバランスが確保された被写体像が表示装置32にスルー画像として表示されることとなる。しかも、表示装置32にスルー画像として表示されるのは、前記条件1により第2ゲインテーブル382のゲインがフレーム毎にNo.1〜No.12まで順番に設定される第2ゲイン調整回路22からの画像データに基づくものではなく、前述のステップS13でゲインが更新、設定される第2ゲイン調整回路22からの画像データに基づくものであることから、表示装置32に表示されているスルー画像のホワイトバランスが頻繁に変化することもない。
【0046】
そして、シャッターキーが押された撮影指示時には、前記バッファに書き込まれた1フレーム分のYUVデータが圧縮/伸張部33に送られ、圧縮処理を施されてフラッシュメモリ34に記録される。これにより、フラッシュメモリ34にホワイトバランスが確保された被写体画像の画像データを記録することができる。
【0047】
なお、本実施の形態においては、CCD25により1フレーム分の画像全体に対して白検出を行うようにしたが、図8に示すように、1フレーム分の画像Pを中央部Pc、上部Pu、下部Pdに三分割し、中央部Pcは一般的に被写体が配置されるので、中央部Pcを除く上部Pu及び下部Pdに対してのみ白検出を行う等、画像を部分的に特定して白検出を行うようにしてもよい。
【0048】
また、本実施の形態においては、EVの値そのものをEV判定で用いるようにしたが、EVの移動平均を取ってこれをEV判定に用いるようにしてもよい。これにより、短時間内におけるEVの変化に左右されることなく、安定した判定を行うことができる。
【0049】
さらに、本実施の形態においては主として、スルー画像を表示した状態でシャッターキーが押されると、その時点で撮像した画像を記録する電子スチルカメラについて説明したが、本発明は、前述したようなカメラに限定されることなく、撮像する画像のオートホワイトバランス制御を行う機器であれば他の装置にも適用することができる。
【0050】
【発明の効果】
以上説明したように本発明によれば、第2の増幅手段により色成分毎のゲインを順次変化させて、所定の白検出範囲に含まれる色情報を有するゲインを検出し、この検出したゲインに基づき、予め記憶されている被写体のホワイトバランスを確保するための色成分毎のゲインを選択して第1の増幅手段に設定し、この設定されたゲインで第1の増幅手段により増幅された撮像信号から生成した画像情報を、画像の表示又は記録に供するようにしたことから、煩雑な操作を必要とせずに、色の引き込みのない常に良好なホワイトバランスが確保された画像を得ることができる。しかも、画像の表示に供されるのは、ゲインが順次変化する第2の増幅手段からの撮像信号ではなく、第1の増幅手段からの撮像信号であることから、表示中の画像のホワイトバランスが頻繁に変化する不都合を未然に防止することもできる。
【図面の簡単な説明】
【図1】本発明の一実施の形態を示す電子スチルカメラのブロック構成図である。
【図2】第1ゲインテーブルに格納されているゲインの値を示す図である。
【図3】第1ゲインテーブルに格納されているゲインの値を示す図である。
【図4】白検出枠データを示す図である。
【図5】EV判定データを示す図である。
【図6】本実施の形態におけるRECスルーモードでの動作を示すフローチャートである。
【図7】本実施の形態におけるRECスルーモードでの動作の具体例を示す図である。
【図8】本発明の他の実施の形態における白検出方法を示す説明図である。
【符号の説明】
21  第1ゲイン調整回路
21a  R用アンプ
21c  B用アンプ
22  第2ゲイン調整回路
22a  R用アンプ
22c  B用アンプ
23  第1カラープロセス回路
24  第2カラープロセス回路
25  CCD
26  タイミング信号発生器
27  垂直ドライバ
28  ユニット回路
29  DMAコントローラ
30  DRAM
31  ビデオエンコーダ
32  表示装置
33  圧縮/伸張部
34  フラッシュメモリ
35  制御部
38  ゲイン記憶部
381  第1ゲインテーブル
382  第2ゲインテーブル

Claims (10)

  1. 被写体を撮像して撮像信号を出力する撮像手段と、
    この撮像手段から出力される前記撮像信号を色成分毎に個別に増幅する第1及び第2の増幅手段と、
    前記被写体のホワイトバランスを確保するための色成分毎のゲインを複数種記憶した第1の記憶手段と、
    前記第2の増幅手段の色成分毎のゲインを順次変化させる可変手段と、
    この可変手段により順次変化する色成分毎のゲインで前記第2の増幅手段により増幅された撮像信号から生成した画像情報に基づき、所定の白検出範囲に含まれる色情報を有するゲインを検出する検出手段と、
    この検出手段により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記第1の記憶手段から選択する選択手段と、
    この選択手段により選択されたゲインを前記第1の増幅手段に設定する設定手段と、
    この設定手段により設定されたゲインで前記第1の増幅手段により増幅された撮像信号から生成した画像情報を、画像の表示又は記録に供する制御手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記第2の増幅手段に設定すべき色成分毎のゲインのを複数種記憶した第2の記憶手段を更に備え、
    前記可変手段は、この第2の記憶手段に記憶されている複数種のゲインを前記第2の増幅手段に順次設定することにより、前記色成分毎のゲインを順次変化させることを特徴とする請求項1記載の撮像装置。
  3. 前記第2の記憶手段は、前記第1の記憶手段よりも多数種のゲインを記憶していることを特徴とする請求項2記載の撮像装置。
  4. 前記選択手段は、前記検出手段により検出されたゲインに基づき、前記第1の記憶手段に記憶されているゲインを候補として選択し、この候補として選択したゲインが所定回数連続した場合に、当該候補として選択されたゲインを前記第1の増幅手段に設定すべきゲインとして最終的に選択することを特徴とする請求項1、2又は3記載の撮像装置。
  5. 前記第1の記憶手段に記憶されている複数種のゲインは、日陰、太陽光、蛍光灯、タングステンランプ下において各々被写体のホワイトバランスを確保し得る色成分毎のゲインであることを特徴とする請求項1から4にいずれか記載の撮像装置。
  6. 前記撮像手段が被写体を撮像した際の露出を判定する露出判定手段をさらに備え、
    前記選択手段は、前記露出判定手段により判定された露出と前記検出手段により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記第1の記憶手段から選択することを特徴とする請求項5記載の撮像装置。
  7. 前記制御手段により供される画像情報に基づき画像を表示する表示手段を更に備えることを特徴とする請求項1記載の撮像装置。
  8. 撮影操作に応じて、前記制御手段により供される画像情報を記録する記録手段を更に備えることを特徴とする請求項1又は7記載の撮像装置。
  9. 被写体を撮像して撮像信号を出力する撮像手段と、この撮像手段から出力される前記撮像信号を色成分毎に個別に増幅する第1及び第2の増幅手段と、被写体のホワイトバランスを確保するための色成分毎のゲインを複数種記憶した記憶手段とを備えた撮像装置におけるホワイトバランス制御方法であって、
    前記第2の増幅手段の色成分毎のゲインを順次変化させる可変工程と、
    この可変工程により順次変化する色成分毎のゲインで前記第2の増幅手段により増幅された撮像信号から生成した画像情報に基づき、所定の白検出範囲に含まれる色情報を有するゲインを検出する検出工程と、
    この検出工程により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記記憶手段から選択する選択工程と、
    この選択工程により選択されたゲインを前記第1の増幅手段に設定する設定工程と、
    この設定工程により設定されたゲインで前記第1の増幅手段により増幅された撮像信号から生成した画像情報を、画像の表示又は記録に供する制御工程と、
    を含むことを特徴とするホワイトバランス制御方法。
  10. 被写体を撮像して撮像信号を出力する撮像手段と、この撮像手段から出力される前記撮像信号を色成分毎に個別に増幅する第1及び第2の増幅手段と、被写体のホワイトバランスを確保するための色成分毎のゲインを複数種記憶した記憶手段とを備えた撮像装置が有するコンピュータを、
    前記第2の増幅手段の色成分毎のゲインを順次変化させる可変手段と、
    この可変手段により順次変化する色成分毎のゲインで前記第2の増幅手段により増幅された撮像信号から生成した画像情報に基づき、所定の白検出範囲に含まれる色情報を有するゲインを検出する検出手段と、
    この検出手段により検出されたゲインに基づき、前記第1の増幅手段に設定すべきゲインを前記記憶手段から選択する選択手段と、
    この選択手段により選択されたゲインを前記第1の増幅手段に設定する設定手段と、
    この設定手段により設定されたゲインで前記第1の増幅手段により増幅された撮像信号から生成した画像情報を、画像の表示又は記録に供する制御手段と
    して機能させることを特徴とするホワイトバランス制御プログラム。
JP2002173873A 2002-06-14 2002-06-14 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム Expired - Fee Related JP3630149B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2002173873A JP3630149B2 (ja) 2002-06-14 2002-06-14 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
US10/461,772 US7436439B2 (en) 2002-06-14 2003-06-13 Image pickup apparatus, gain control method, and gain control program, which sequentially set gain values in a gain adjusting circuit to select a gain value to be set in another gain adjusting circuit to maintain white balance
EP03013570A EP1372344B1 (en) 2002-06-14 2003-06-13 Image pickup apparatus, white balance control method and white balance control program
DE60300231T DE60300231T2 (de) 2002-06-14 2003-06-13 Bildaufnahmevorrichtung, Weissabgleichseinstellungsverfahren und -programm
KR10-2003-0038119A KR100518735B1 (ko) 2002-06-14 2003-06-13 촬상장치, 화이트밸런스제어방법 및화이트밸런스제어프로그램
CNB031407862A CN1230008C (zh) 2002-06-14 2003-06-13 摄像装置、白色平衡控制方法及白色平衡控制程序
TW092116092A TWI223566B (en) 2002-06-14 2003-06-13 Photographic device, white balance control method and white balance control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002173873A JP3630149B2 (ja) 2002-06-14 2002-06-14 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004311714A Division JP3845771B2 (ja) 2004-10-27 2004-10-27 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム

Publications (2)

Publication Number Publication Date
JP2004023343A true JP2004023343A (ja) 2004-01-22
JP3630149B2 JP3630149B2 (ja) 2005-03-16

Family

ID=29561808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002173873A Expired - Fee Related JP3630149B2 (ja) 2002-06-14 2002-06-14 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム

Country Status (7)

Country Link
US (1) US7436439B2 (ja)
EP (1) EP1372344B1 (ja)
JP (1) JP3630149B2 (ja)
KR (1) KR100518735B1 (ja)
CN (1) CN1230008C (ja)
DE (1) DE60300231T2 (ja)
TW (1) TWI223566B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224383B2 (en) 2003-01-09 2007-05-29 Hewlett-Packard Development Company, L.P. Manipulating digital images based on a user profile
US7456869B2 (en) * 2003-05-27 2008-11-25 Olympus Corporation Imaging device and imaging device adjusting method
US7551207B2 (en) * 2003-08-26 2009-06-23 Casio Computer Co., Ltd. Image pickup apparatus, white balance control method, and white balance control program
JP4504031B2 (ja) * 2004-01-22 2010-07-14 オリンパス株式会社 カメラシステム
JP4033140B2 (ja) 2004-02-10 2008-01-16 カシオ計算機株式会社 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
JP4433937B2 (ja) * 2004-08-24 2010-03-17 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、記録装置、記録方法および記録プログラム
CN100428783C (zh) * 2005-06-01 2008-10-22 索尼株式会社 图像处理装置、液晶显示装置和色彩校正方法
JP4914651B2 (ja) * 2006-06-12 2012-04-11 オリンパスイメージング株式会社 電子撮像装置及び電子撮像方法
US7864467B2 (en) * 2008-02-06 2011-01-04 International Business Machines Corporation Gain control for data-dependent detection in magnetic storage read channels
US9247223B2 (en) 2013-01-25 2016-01-26 Blackberry Limited Reduce operating environment effect using multiple cameras

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3320690A1 (de) 1982-06-09 1983-12-15 Canon K.K., Tokyo Farbbildaufnahmesystem
JPS58215884A (ja) 1982-06-10 1983-12-15 Sony Corp 電子カメラ
US4899212A (en) 1987-08-28 1990-02-06 Fuji Photo Film Co., Ltd. White balance adjusting device for a camera
US5617139A (en) 1987-09-10 1997-04-01 Canon Kabushiki Kaisha Image pickup apparatus
US5223921A (en) 1990-04-27 1993-06-29 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance on the basis of a color information signal obtained from an image-sensing device
JPH0470179A (ja) 1990-07-10 1992-03-05 Matsushita Electric Ind Co Ltd 電子スチルカメラ装置
JPH07245764A (ja) 1994-03-04 1995-09-19 Fuji Photo Film Co Ltd オートホワイトバランス装置
JP3535678B2 (ja) 1996-11-18 2004-06-07 コニカミノルタホールディングス株式会社 スチルビデオカメラのホワイトバランス調整装置
JPH10243414A (ja) 1997-02-28 1998-09-11 Hewlett Packard Co <Hp> 色バランスの調整方法、プログラムメモリおよびデジタル・カメラ
JPH1141619A (ja) 1997-07-24 1999-02-12 Sony Corp 色信号処理回路およびその処理方法、並びにこれらを用いたカメラ
JP3631022B2 (ja) 1997-12-25 2005-03-23 キヤノン株式会社 撮像装置および信号処理装置
JP4212134B2 (ja) * 1997-12-25 2009-01-21 三洋電機株式会社 画像信号処理装置
JP4532613B2 (ja) 1998-11-25 2010-08-25 キヤノン株式会社 撮像方法及び装置並びに記憶媒体
JP4327928B2 (ja) * 1999-02-26 2009-09-09 メディア・テック・ユーエスエイ・インコーポレーテッド 電子カメラ装置
KR20010020678A (ko) * 1999-03-25 2001-03-15 윌리엄 비. 켐플러 프로그램가능한 실시간 화상 처리
JP3896438B2 (ja) 1999-04-12 2007-03-22 富士フイルム株式会社 デジタルカメラ及びオートホワイトバランス制御方法
JP4081581B2 (ja) 1999-04-26 2008-04-30 富士フイルム株式会社 オートホワイトバランス制御方法
JP4284754B2 (ja) 1999-05-31 2009-06-24 ソニー株式会社 カラー撮像装置及びその制御方法
JP3925065B2 (ja) 2000-04-13 2007-06-06 カシオ計算機株式会社 電子カメラ及びオートホワイトバランス制御方法
JP4004220B2 (ja) 2000-10-05 2007-11-07 株式会社リコー ホワイトバランス調整装置、ホワイトバランス調整方法、およびその方法をコンピュータで実行するためのプログラムを格納したコンピュータが読み取り可能な記録媒体
JP4826028B2 (ja) * 2001-05-24 2011-11-30 株式会社ニコン 電子カメラ
US7184080B2 (en) * 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
JP4439767B2 (ja) 2001-08-09 2010-03-24 キヤノン株式会社 撮像装置およびホワイトバランスの調整方法およびその動作処理プログラム
US7551207B2 (en) 2003-08-26 2009-06-23 Casio Computer Co., Ltd. Image pickup apparatus, white balance control method, and white balance control program

Also Published As

Publication number Publication date
EP1372344A1 (en) 2003-12-17
EP1372344B1 (en) 2004-12-22
US20030231248A1 (en) 2003-12-18
JP3630149B2 (ja) 2005-03-16
DE60300231D1 (de) 2005-01-27
CN1469636A (zh) 2004-01-21
DE60300231T2 (de) 2005-06-02
KR20030096069A (ko) 2003-12-24
US7436439B2 (en) 2008-10-14
KR100518735B1 (ko) 2005-10-06
TW200401570A (en) 2004-01-16
TWI223566B (en) 2004-11-01
CN1230008C (zh) 2005-11-30

Similar Documents

Publication Publication Date Title
JP5007523B2 (ja) 撮像装置及びそのプログラム
JP3540485B2 (ja) 電子スチルカメラ
US7683966B2 (en) Digital camera having an electronic flash device using LED as a flash light source
KR100689307B1 (ko) 촬상장치 및 오토화이트밸런스제어방법
JP4305327B2 (ja) 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
WO2005125185A1 (ja) 撮像装置
JP3896438B2 (ja) デジタルカメラ及びオートホワイトバランス制御方法
JP2008099192A (ja) 撮像装置及びそのプログラム
KR100651813B1 (ko) 스트로보 제어장치, 및 스트로보 제어방법
JP3630149B2 (ja) 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
US7570294B2 (en) Digital camera
US20100080549A1 (en) Imaging apparatus and method for controlling flash emission
JP3845771B2 (ja) 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
JP2004343177A (ja) 撮像装置
JP2003324755A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5885023B2 (ja) 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
JP2004228626A (ja) 撮像装置の色バランス調整装置および方法
JP2008022474A (ja) 撮像装置及び撮像処理方法
JP2009071674A (ja) デジタルカメラおよび画像処理プログラム
JP2005079665A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041207

R150 Certificate of patent or registration of utility model

Ref document number: 3630149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071224

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees