JP2009017213A

JP2009017213A - 撮像装置

Info

Publication number: JP2009017213A
Application number: JP2007176463A
Authority: JP
Inventors: Hiroshi Nakaoka; 宏中岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-04
Filing date: 2007-07-04
Publication date: 2009-01-22

Abstract

【課題】フリッカ検出の精度及び効果を向上すること。
【解決手段】撮像素子を有する撮像装置であって、前記画像信号を垂直方向および水平方向の複数の領域に分割し、各領域毎に画像信号レベルを表す評価値を生成する評価値生成部（６０１、８０１）と、予め設定された基準に基づき、前記評価値の選別及び信頼性の判断を行う評価値選択部（６０２、８０２）と、選別された前記評価値に基づき、単位フレームまたは、フィールド面内の垂直方向における、照明強度の変化情報を抽出するフリッカ検出部（６０３、８０３）と、検出した照明強度の変化情報に基づき、前記画像信号に対しフリッカ補正をするための補正値を生成するフリッカ補正値生成部（６０４、８０４）と、フリッカ補正値に基づいてフリッカ補正を行うフリッカ補正部（６０６、８０５）とを備える。
【選択図】図３

Description

本発明は、固体撮像素子を用いた撮像装置に関するものである。

近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどに代表される固体撮像素子を利用した固体撮像装置が広く普及している。これらの固体撮像素子は、デジタルスチルカメラやデジタルビデオカメラ、あるいは監視用カメラシステムなどに応用され、広く使われてきている。

これらデジタルスチルカメラやデジタルビデオカメラなどの撮像装置によって蛍光灯照明下において被写体を動画として撮影する場合、いわゆる蛍光灯フリッカと呼ばれる現象が発生することが知られている。これは、蛍光灯の光量が商用電源の周波数の２倍の周波数で変化するため、商用電源の２倍の周波数と、撮像装置の垂直同期周波数との違いによって、撮像装置で撮影した画像信号に周期的な明暗が現れる現象である。

この蛍光灯フリッカの発生原理を図６、図７、図８を用いて説明する。

図６は商用電源周波数が５０Ｈｚの地域における蛍光灯照明下で、ＮＴＳＣ方式のＣＣＤイメージセンサを利用した撮像装置で被写体を動画として撮影した場合の、撮像素子における電荷蓄積の様子を時間方向に模式的に表したものである。２０１は撮像装置の撮影方式（ここではＮＴＳＣ方式）で決定される垂直同期信号ＶＤ、２０２は世界各国および値域で各々決められている商用電源の周期（ここでは１／５０ｓ）である。また、２０３は商用電源の周期２０２に応じて蛍光発光している蛍光体の発光周期を示している。

ここで、ＣＣＤイメージセンサ上での電荷の蓄積時間が、垂直同期信号ＶＤの周期に従って垂直同期信号の周期と同じ時間（１／６０ｓ）間隔であるものとする。上述したように、商用電源の周期はここでは１／５０ｓなので、蛍光体は、商用電源の周期の半分の発光周期１／１００ｓで点滅を繰り返す。このため、ＣＣＤイメージセンサの電荷蓄積時間における蛍光体の総発光量が、フレーム毎に異なってしまう。

例えば、図６において垂直同期信号ＶＤに従って左から１フレーム目、２フレーム目、３フレーム目とする。この場合、１フレーム目の１ライン目の蓄積電荷量をa11、２ライン目の蓄積電荷量をa12、２フレーム目の１ライン目の蓄積電荷量をa21、２ライン目の蓄積電荷量をa22、以下同様にa31、a32とする。ＣＣＤイメージセンサは電荷を同時刻に一括で全てのラインをリセットしているため、各フレーム内での各ラインにおける電荷蓄積の総量は変わらない。従って、単色の平面を撮影すると、a11＝a12、a21＝a22、a31=a32となる。同一フレームにおける他のラインに関しても同様である。しかし、各フレームの電荷蓄積時間における蛍光体の発光周期の位相が異なっているために、各々のフレームにおける蓄積電荷の総量（各フレームにおいて発光体の光量を電荷蓄積時間の範囲で時間積分したもの）は異なってしまう。すなわちa11≠a21≠a31となる。

図８（ａ）にＮＴＳＣ方式のＣＣＤイメージセンサを利用した撮像装置で被写体を動画として撮影した場合に、生成される画像の一例を示す。４０１、４０２、４０３はそれぞれのフレームで撮影された画像を示している。図８（ａ）に示すように、電荷蓄積時間における蛍光体の発光周期の位相が異なるために、各電荷蓄積時間で受光する総光量が異なるため、フレーム間で輝度レベルが変化してしまい、画質劣化を引き起こす原因になっている。

一方、図７は商用電源周波数が５０Ｈｚの地域における蛍光灯照明下で、ＮＴＳＣ方式のＣＭＯＳイメージセンサを利用した撮像装置で被写体を動画として撮影した場合の、撮像素子における電荷蓄積の様子を時間方向に模式的に表したものである。なお、図６と同一符号を付しているものについては説明を省略する。

ここで、ＣＭＯＳイメージセンサ上での電荷の蓄積時間が、垂直同期信号ＶＤの周期に従って垂直同期信号の周期と同じ時間（１/６０ｓ）間隔であるものとする。この場合、上述したＣＣＤイメージセンサ場合と同様に、ＣＭＯＳイメージセンサの電荷蓄積時間における蛍光体の総発光量は、フレーム毎に異なる。更に、ＣＭＯＳイメージセンサの場合、各画素の露光タイミングはライン毎に順次制御されるため、ＣＣＤイメージセンサとは異なる現象が生じる。

例えば、図７において垂直同期信号ＶＤに従って左から１フレーム目、２フレーム目、３フレーム目とする。この場合、１フレーム目の１ライン目の蓄積電荷量をb11、２ライン目の蓄積電荷量をb12、２フレーム目の１ライン目の蓄積電荷量をb21、２ライン目の蓄積電荷量をb22、以下同様にb31、b32とする。この場合、同一フレーム内においても電荷蓄積時間内に受光する総光量がライン毎に異なるため、単色の平面を撮影すると、b11≠b12、b21≠b22、b31≠b32となる。このように、同一フレーム内でもライン毎に輝度レベルが異なるという現象が生じると共に、フレーム間でも同一位置のライン（例えば、各フレームの１ライン目など）間の輝度レベルに差異が生じてしまう（b11≠b21≠b31）。

図８（ｂ）にＮＴＳＣ方式のＣＭＯＳイメージセンサを利用した撮像装置で被写体を動画として撮影した場合に、生成される画像の一例を示す。４０４、４０５、４０６はそれぞれのフレームで撮影された画像を示している。図８（ｂ）に示すように、各行毎に電荷蓄積時間における蛍光体の発光周期の位相が異なるために、フレーム内で周期的に輝度レベルが変化してしまうと共に、フレーム間でも蛍光体の発光周期に依存した輝度レベルの変化が生じてしまう。

このようなＣＭＯＳイメージセンサを利用した撮像装置で動画撮影した場合に現れるフレーム内のライン毎に見られる輝度レベルの差（以下、「フレーム内フリッカ」と呼ぶ。）を解消する技術の一例が、特許文献１で提案されている。

特許文献１によれば、画像を垂直走査方向に分割して複数のフリッカ検波枠を設定し、フリッカ検波回路によって各フリッカ検波枠毎に輝度データの検波を行う。そして、マイクロコンピュータ及びフリッカ周波数判定プログラムによって各フリッカ検波枠毎に前後２フレームの輝度データの差分をとり、フリッカ成分を抽出してフリッカの周波数を算出する。その後、抽出したフリッカ成分の山または谷が、どの程度フリッカ検波枠の間隔で発生しているかを測定し、それを周波数に置き換える。なお、前後のフレーム間で輝度データの差分をとった場合には、フリッカ成分が消えないように、撮像信号のフレームレートとフリッカ周波数とを同期させないように調整する。そして、上述のようにして検出したフリッカ成分を基に、電子シャッタ機能とＡＧＣ回路を用いてフリッカの除去を行う。

特開２００３−１８９１２９号公報

上述した特許文献１では、フリッカ検波枠を撮像素子の水平方向に広くなるようにとっている。そのため、たとえば、被写体に対して片側（例えば左側）から蛍光灯などの周期的な蛍光体光源で照射され、かつ反対側（例えば右側）からは自然光などの非蛍光体光源によって照射されている場合に以下の問題が発生する。即ち、被写体の左側と右側で発生しているフリッカが異なるにもかかわらず、水平方向にとったフリッカ検波枠内で輝度データの平均を取ってしまうため、被写体に発生しているフリッカを正しく検波できない。また、蛍光照明下において白熱灯などの高輝度被写体が同時に入り込んだ場合、フリッカ検波枠では異常な輝度レベルを検波したままフリッカ成分の抽出を行うことになってしまい、フリッカ成分の抽出精度の劣化を引き起こす可能性がある。

本発明は上記問題点を鑑みてなされたものであり、被写体像を結像するレンズからの光を受光して画像信号を出力する撮像素子を有する本発明の撮像装置は、前記画像信号を垂直方向および水平方向の複数の領域に分割し、各領域毎に画像信号レベルを表す評価値を生成する評価値生成手段と、予め設定された基準に基づき、前記評価値生成手段で得られた評価値の選別及び信頼性の判断を行う評価値選択手段と、前記評価値選択手段において選別された前記評価値に基づき、単位フレームまたは、フィールド面内の垂直方向における、照明強度の変化情報を抽出するフリッカ検出手段と、検出した前記照明強度の変化情報に基づき、前記画像信号に対しフリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成手段と、前記フリッカ補正値に基づいてフリッカ補正を行うフリッカ補正手段とを備える。

本発明によれば、フリッカ検出の精度及び効果を向上することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本第１の実施形態における撮像装置の概略構成を示すブロック図を示す。

図１において、１０１はレンズおよび絞りからなる光学系、１０２はメカニカルシャッタ（以下、「メカシャッタ」と呼ぶ。）、１０３は撮像素子である。１０４はアナログ信号処理を行うＣＤＳ回路、１０５はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０６は、撮像素子１０３、ＣＤＳ回路１０４及びＡ／Ｄ変換器１０５を動作させる信号を発生するタイミング信号発生回路である。１０７は、光学系１０１、メカシャッタ１０２及び撮像素子１０３の駆動回路、１０８はＡ／Ｄ変換された画像データに必要な信号処理を行う信号処理回路である。また、１０９は信号処理された画像データを記憶する画像メモリ、１１０は撮像装置から取り外し可能な記録媒体、１１１は信号処理された画像データを記録媒体１１０に記録する記録回路である。

１１２は信号処理された画像データを表示する画像表示装置、１１３は画像表示装置１１２に画像を表示する表示回路、１１４は撮像装置全体を制御するシステム制御部である。１１５は、システム制御部１１４で実行される制御方法を記載したプログラム及びプログラムを実行する際に使用されるパラメータやテーブル等の制御データやキズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１１６は不揮発性メモリ１１５に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。

次に、上述のように構成された撮像装置における撮影動作について説明する。

撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１１４の動作開始時に、不揮発性メモリ１１５から必要なプログラム、制御データおよび補正データを揮発性メモリ１１６に転送して記憶しておく。また、これらのプログラムやデータは、システム制御部１１４が撮像装置を制御する際に使用すると共に、必要に応じて、追加のプログラムやデータを不揮発性メモリ１１５から揮発性メモリ１１６に転送して使用することができる。更に、システム制御部１１４が直接不揮発性メモリ１１５内のデータを読み出して使用するようにしてもよい。

まず、駆動回路１０７は、システム制御部１１４からの制御信号により、光学系１０１の絞りとレンズを駆動して、適切な光量の被写体像を撮像素子１０３上に結像させる。撮像素子１０３は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスを基にした駆動パルスで駆動されて、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。この時、撮像素子１０３が電子シャッタ機能を有する場合は、システム制御部１１４からの制御信号により、必要な露光時間を確保するようにしてもよい。

撮像素子１０３から出力されたアナログの画像信号に対して、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性ノイズを除去する。そして、Ａ／Ｄ変換器１０５でデジタル画像信号に変換する。次に、システム制御部１１４により制御される信号処理回路１０８において、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ１０９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。

信号処理回路１０８で信号処理された画像データや画像メモリ１０９に記憶された画像データは、記録回路１１１において記録媒体１１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて記録媒体１１０に記録される。また、信号処理回路１０８で解像度変換処理を実施された後、表示回路１１３において画像表示装置１１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１１２に表示されたりする。

ここで、信号処理回路１０８は、システム制御部１１４からの制御により、信号処理を行わずに、Ａ／Ｄ変換器１０５からのデジタル画像信号をそのまま画像データとして、画像メモリ１０９や記録回路１１１に出力するようにしてもよい。また、信号処理回路１０８は、システム制御部１１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１１４に出力する。出力する画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報などがある。さらに、記録回路１１１は、システム制御部１１４から要求があった場合に、記録媒体１１０の種類や空き容量等の情報をシステム制御部１１４に出力する。

次に、記録媒体１１０に画像データが記録されている場合の再生動作について説明する。

システム制御部１１４からの制御信号により、記録回路１１１は記録媒体１１０から画像データを読み出すと共に、信号処理回路１０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１０９に記憶する。画像メモリ１０９に記憶されている画像データは、信号処理回路１０８で解像度変換処理を実施された後、表示回路１１３において画像表示装置１１２に適した信号に変換されて画像表示装置１１２に表示される。

図２は、本第１の実施形態における撮像素子１０３の一部を示す回路構成図である。本第１の実施形態における撮像素子１０３は、上述したようにＸＹアドレス型の走査方法を採る、例えばＣＭＯＳイメージセンサである。図２においては、説明を分かり易くするために４行×４列分の画素を示しているが、実際には通常、数十万〜数千万の画素が並べられている。５０１は単位画素である。実際の撮像素子は単位画素５０１が所定のアスペクト比で２次元に配置される。また単位画素５０１毎にＲ、Ｇ、Ｂいずれかの色相のカラーフィルタにより覆われており、例えば、カラーフィルタがベイヤー配列に並べられる。

単位画素５０１において、５０２は入射光を電荷に変換するフォト・ダイオード（以下、ＰＤ）、５０３はＰＤ５０２で発生した電荷を一時的に蓄積しておく蓄積領域となるフローティングデフュージョン部（以下、ＦＤ）である。５０４はＰＤ５０２で発生した電荷を転送パルスφＴＸによってＦＤ５０３に転送する転送スイッチ、５０５はリセットパルスφＲＥＳによってＦＤ５０３に蓄積された電荷を除去するリセットスイッチである。５０６はソースフォロアとして機能する増幅ＭＯＳアンプ、５０７は選択パルスφＳＥＬによって画素を選択する選択スイッチである。

転送スイッチ５０４、リセットスイッチ５０５、選択スイッチ５０７のゲート電極は、行単位でそれぞれφＴＸ、φＲＥＳ、φＳＥＬを供給する信号線にそれぞれに接続され、垂直走査回路５１０によって選択走査される。５６０は増幅ＭＯＳアンプ５０６の負荷となる定電流源であり、単位画素５０１と定電流源５６０は信号出力線５０８を介して読み出し回路５２０に列単位で接続される。ＦＤ５０３、増幅ＭＯＳアンプ５０６、および定電流源５６０でフローティングディフュージョンアンプが構成され、選択スイッチ５０７で選択された画素の信号電荷が電圧に変換され、信号出力線５０８を経て、読み出し回路５２０に出力される。

５４０は読み出し回路５２０から出力する信号を選択する出力選択スイッチであり、水平走査回路５３０によって駆動される。５５０は読み出し回路５２０から出力された信号を撮像素子１０３の外部に出力する出力アンプである。

なお、図２に示す例では、１チャンネル読み出し構成を示しているが、複数チャンネルに分けて読み出しを高速化するように構成してもよい。例えば、２チャンネル分の読み出し回路と水平走査回路を持たせ、奇数列と偶数列を別々に読み出し、信号処理回路１０８で並び替えるようにすることができる。

ＸＹアドレス型のＣＭＯＳイメージセンサは、ＦＤ５０３のリセット動作および読み出し動作を順次行うことにより、ＦＤ５０３に転送された電荷、すなわち画像信号を出力する。従って、同一フレーム内でもライン毎に蓄積タイミング（ＦＤ５０３のリセットから画像信号の読み出しまでのタイミング）が異なる。そのため、図７を用いて前述したように、蛍光灯照明下において被写体を動画として撮影する場合に、フレーム内フリッカが現象として現れる。

次に、図３を参照して、本第１の実施形態におけるフリッカ補正回路について説明する。フリッカ補正回路は、信号処理回路１０８に含まれる。

６０１は評価値生成部である。評価値生成部６０１は、先ず、撮像素子１０３から得られた画像信号を水平方向および垂直方向の複数の領域に分割してフリッカ検出枠を設定する。そして、各フリッカ検出枠内において（各分割領域毎に）、画像信号から輝度レベル（画像信号レベル）の平均値を算出し、評価値を生成する評価値生成部である。例えば、撮像素子１０３がＲ、Ｇ、Ｂの各色フィルタで覆われている場合、各フィルタに対応する画素の出力レベルの平均値を輝度レベルとし、フリッカ検出枠内の輝度レベルを平均したものを評価値とする。６０２は、予め設定された基準に基づいて、評価値生成部６０１で生成された評価値がフリッカ検出に適切なものかどうかを選別し、信頼性を判断する評価値選択部である。６０３は、評価値生成部６０１で生成された評価値と、評価値選択部６０２で得られた評価値選別結果とを基にして照明強度の変化情報を検出するフリッカ検出部である。６０４は、フリッカ検出部６０３で抽出した照明強度の変化情報を基に画像信号に対するフリッカ補正値を算出するフリッカ補正値生成部である。６０６は、画像メモリに記憶された画像信号に対して、フリッカ補正値生成部６０４で生成されたフリッカ補正値を用いてフリッカ補正するフリッカ補正部である。

次に、本第１の実施形態におけるフリッカ検出処理について、図４のフローチャートを参照して説明する。

フリッカ検出が開始されると、先ず、ステップＳ１１において、評価値生成部６０１に画像信号が入力される。次に、ステップＳ１２でフリッカ検出枠を水平方向にＭブロック、垂直方向にＮブロック設定する。各フリッカ検出枠は、後述する輝度レベルの平均値を算出するために各ブロックが複数画素数を含むようにするのが望ましい。例えば、画像信号が５００万画素の場合、Ｍ＝２０、Ｎ＝２０と設定する。そして、ステップＳ１２で設定したフリッカ検出枠数（Ｍ×Ｎ）をカウントするための検出枠カウンタを０に初期化する（ステップＳ１３）。ステップＳ１４において、検出枠カウンタが検出枠数（Ｍ×Ｎ）より小さいか判断し、Ｍ×Ｎより小さければステップＳ１５へ、そうでなければステップＳ２０へ進む。

ステップＳ１５では、フリッカ検出枠において輝度レベルの平均値を算出し、評価値を生成する。そしてステップＳ１６において評価値生成部６０１で生成された評価値（輝度レベルの平均値）が所定の範囲内かどうかを判断する。この判断は、例えば、照明強度の変化情報が得られないような高輝度を示す輝度レベルであったり、黒レベルに近い輝度レベルになっていないかどうかを判断するために行う。所定の範囲内に入っていなければステップＳ１８へ、範囲内に入っていればステップＳ１７へ移る。

ステップＳ１７では、評価値生成部６０１で得られた評価値をフリッカ検出部６０３へ与える。一方、ステップＳ１８では、評価値選択部６０２は、フリッカ検出部６０３に対して、評価値の判別結果、及び、その評価値が得られたフリッカ検出枠の位置及びレベルをフリッカ検出部６０３へ伝える。ステップＳ１９において、フリッカ検出枠のカウンタを１増やしてから、ステップＳ１４に戻る。

ステップＳ１４において、検出枠カウンタが検出枠数（Ｍ×Ｎ）より小さくないと判断すると、ステップＳ２０に進んで、フリッカ検出部６０３で照明強度を抽出しフリッカ成分を算出する。以下フリッカ検出部６０３における各検出枠のフリッカ成分の算出方法の例を図９を参照して説明する。

引算器９０１、乗算器９０２、加算器９０３およびメモリ９０４は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタを形成している。
mem = ave × k + mout × (1 - k)

ここで、aveはフリッカ検出部６０３の入力を示し、moutはメモリ９０４からの出力を示す。memは加算器９０３からの出力を示し、メモリ９０４に新しく記憶される値を示す。また、kは巡回型ローパスフィルタのフィルタ係数である。除算器９０５は、フリッカ検出部６０３の入力と、メモリ９０４からの出力を除算することによって蛍光体の発光周期に起因する輝度変化成分をフリッカ成分として算出して出力する。次にフリッカ補正値生成部６０４において、フリッカ検出部６０３から与えられたフリッカ成分の逆数を求めることでフリッカ補正値を生成する。

このとき、評価値選択部６０２による評価値の判別の結果、あるブロックが照明強度の変化情報の抽出にふさわしくないと判断された場合、フリッカ検出部６０３では、そのブロックの照明強度の変化情報の抽出を行わない。そしてその情報（例えば、該当ブロックの位置）をフリッカ検出部６０３に伝える。フリッカ検出部６０３は、照明強度の変化情報を抽出していないブロックに対して、例えば、該ブロックの水平方向の両隣ブロックの照明強度の変化情報の平均値で補間することで該ブロックの照明強度の変化情報を生成する。フリッカ補正値生成部６０４は、蛍光体などの周期光源の照明強度の変化情報の抽出にふさわしくないブロックがあった場合でも、補間で生成されたフリッカ成分を基にしてフリッカ補正値を生成することが可能となる。

ステップＳ２１では、生成されたフリッカ補正値をフリッカ補正部６０６へ送る。ステップＳ２２では、フリッカ補正値生成部６０４で生成されたフリッカ補正値に基づき、画像信号内に現れている蛍光灯の発光周期に起因する、単位フレームまたはフィールド面内の垂直方向における周期的な輝度変化が見えなくなるようにフリッカ除去を行う。補正の方法としての一例を以下に述べる。

Ｍ×Ｎに分割した検出枠と同じ分割領域で補正枠を設定し、フリッカ補正値生成部６０４で生成された各検出枠のフリッカ補正値を、各補正枠で画像信号に対して乗算することで、画像信号中の輝度レベルの調整を行う。これにより、フリッカ補正が可能となる。

上記の通り本第１の実施形態によれば、撮像素子１０３で得られた画像信号に対し、水平および垂直方向に分割したフリッカ検出枠を設けて、各フリッカ検出枠内の輝度レベルを算出する。そして、算出した輝度レベルがフリッカ検出に影響を与えるレベルであった場合に、その評価値を利用しないように制御する。これにより、フリッカ検出の精度及び効果を向上することができる。

また、検出枠を水平方向に複数分割して設けることにより、被写体に対して、蛍光体光源に起因する輝度変化が一様でない場合も、精度良く補正することが可能となる。

なお、本実施例では、評価値選択部６０２において評価値である各検出枠の輝度レベルの絶対量をみてフリッカ検出に適しているか否かを選択した。この他にも、全検出枠の輝度レベルの平均値に対して各検出枠の輝度レベルが所定レベル以上離れていないかどうかを見ることによってコントラストを評価し、フリッカ検出に適した評価値かどうかを選択するようにしても良い。

また、図１０に示すような構成にすることも可能である。即ち、システム内に動き検出部１００１を設け、入力される画像信号のフレーム間の差分から被写体の動き量を検出し、該動き量を被写体情報として、評価値選択部６０２へ送る。そして、評価値選択部６０２は、各検出枠内で一定量以上の動き量があるか否かを評価することで、選択する。この際の動き量の検出方法は、例えば一般的に用いられるマッチング演算による相関値抽出などを用いることで実現されるため、詳細な説明は省略する。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態における撮像装置は、第１の実施形態で図１を参照して説明したものと同様であるので、ここでは説明を省略する。

上述した第１の実施形態では、フリッカ補正する前の画像信号から単位フレームまたはフィールド面内の垂直方向における周期的な輝度変化を検出する。これに対し、本第２の実施形態では、フリッカ補正後の画像信号から単位フレームまたはフィールド面内の垂直方向における周期的な輝度変化を検出するものである。

図５を参照して、信号処理回路１０８に含まれる本第２の実施形態におけるフリッカ補正回路について説明する。

８０１は評価値生成部である。評価値生成部８０１は、撮像素子１０３から得られた画像信号に対して後述するフリッカ補正部８０５にてフリッカ補正を施した後の画像信号に対し、水平方向および垂直方向に検出領域を設定する。そして、各フリッカ検出枠内において画像信号から輝度レベルの平均値を算出し、評価値を生成する。８０２は、評価値生成部８０１で生成された評価値がフリッカ検出に適切なものかどうかを選別し、信頼性を判断する評価値選択部である。８０３は、評価値生成部８０１で生成された評価値と、評価値選択部８０２で得られた評価値選別結果とを基にして照明強度の変化情報を検出するフリッカ検出部である。８０４は、フリッカ検出部８０３で抽出した照明強度の変化情報を元に画像信号に対するフリッカ補正値を算出するフリッカ補正値生成部である。８０５は、画像信号に対してフリッカ補正値生成部８０４で生成されたフリッカ補正値を用いてフリッカ補正するフリッカ補正部である。

上記の通り本第２の実施形態によれば、フリッカ補正部８０５にてフリッカ補正を施した後の画像信号に対しても、水平および垂直方向で分割したフリッカ検出枠を設けて輝度レベルを算出し、フリッカ補正にフィードバックする。これにより、フィードバック制御方式の構成であってもフリッカ検出に影響を与えるレベルであった場合に、その評価値を利用しないように制御することが可能となり、フリッカ検出の精度・効果向上が可能となる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。本発明の第１の実施形態における撮像素子の一部を示す回路構成図である。本発明の第１の実施形態におけるフリッカ補正回路の機能構成を示すブロック図である。本発明の第１の実施形態におけるフリッカ検出動作を示すフローチャートである。本発明の第２の実施形態におけるフリッカ補正回路の機能構成の別の例を示すブロック図である。ＣＣＤイメージセンサを用いた場合に発生するフリッカの原理を説明する図である。ＣＭＯＳイメージセンサを用いた場合に発生するフリッカの原理を説明する図である。ＣＣＤ及びＣＭＯＳイメージセンサで発生するフリッカ現象によって画像信号に現れる輝度ムラを表す模式図である。本発明の第１の実施形態におけるフリッカ検出部の例を示すブロック図である。本発明の第１の実施形態におけるフリッカ補正回路の別の例を示すブロック図である。

符号の説明

１０８信号処理回路
１０９画像メモリ
１１４システム制御部
６０１、８０１評価値生成部
６０２、８０２評価値選択部
６０３、８０３フリッカ検出部
６０４、８０４フリッカ補正値生成部
６０６、８０５フリッカ補正部

Claims

被写体像を結像するレンズからの光を受光して画像信号を出力する撮像素子を有する撮像装置において、
前記画像信号を垂直方向および水平方向の複数の領域に分割し、各領域毎に画像信号レベルを表す評価値を生成する評価値生成手段と、
予め設定された基準に基づき、前記評価値生成手段で得られた評価値の選別及び信頼性の判断を行う評価値選択手段と、
前記評価値選択手段において選別された前記評価値に基づき、単位フレームまたは、フィールド面内の垂直方向における、照明強度の変化情報を抽出するフリッカ検出手段と、
検出した前記照明強度の変化情報に基づき、前記画像信号に対しフリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成手段と、
前記フリッカ補正値に基づいてフリッカ補正を行うフリッカ補正手段と
を備えることを特徴とする撮像装置。
前記画像信号は、前記フリッカ補正値生成手段において前記照明強度の変化情報に基づき生成されたフリッカ補正値により前記フリッカ補正手段で補正された画像信号であることを特徴とする請求項１に記載の撮像装置。
前記評価値は各領域の輝度レベルであり、前記評価値選択手段は前記輝度レベルが所定の範囲内にあるかどうかを判定することを特徴とする請求項１に記載の撮像装置。
前記画像信号のコントラストが所定の範囲にあるかどうかを判定することを特徴とする請求項１に記載の撮像装置。
前記評価値選択手段は、前記画像信号の動き情報が所定の範囲にあるかどうかを判定することを特徴とする請求項１に記載の撮像装置。