JP2009021813A - フリッカ補正装置及びフリッカ補正方法 - Google Patents

Abstract

【課題】フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を補正する。
【解決手段】１フレームの画像信号に対し、少なくとも水平方向に複数のフリッカ検出枠を設定し、フリッカ検出部１０１でフリッカ検出枠ごとにフリッカ成分を検出する。そして、フリッカ検出枠ごとのフリッカ成分の信頼性に基づいて、第１の信頼性評価部１０５が、１フレーム分のフリッカ成分の信頼性を評価する。そして、信頼性の評価が高い場合には、そのフレームで検出されたフリッカ成分から生成した補正値を、信頼性の評価が低い場合には、記憶部１０６に記憶された、過去に生成した補正値を用いてフリッカ成分の補正を行う。
【選択図】図１

Description

本発明はフリッカ補正装置及びフリッカ補正方法に関し、特には、ＸＹアドレス方式の撮像素子を用いて撮像された画像中のフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法に関する。

ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を動画撮影する場合、撮像画像に例えば図１０に示すように垂直方向の周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。

そこで、従来、垂直方向の周期的な信号レベルの変動成分（以下フリッカ成分と呼ぶ）を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術がある（特許文献１参照）。

特開平１１−１２２５１３号公報

しかしながら、特許文献１記載の方法は、現在及び過去のフレーム（またはフィールド）の画像信号を水平方向に積分して生成した垂直方向の強度分布を用いてフリッカ成分を検出する方法である。そのため、フリッカ成分が画面の左右で異なっている場合に、正確にフリッカ成分を検出（及び補正）することができないという問題がある。この問題は、例えば図１１に示す、被写体の左側は蛍光灯により照らされ、右側は太陽光に照らされているような場合に発生しうる。
また、検出されるフリッカ成分が被写体の動きに依存するという問題もある。

図１２は、被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示している。
そして、（ａ）は被写体が静止している場合を、（ｂ）は、被写体が３フレーム目（現フレーム）で動いた場合をそれぞれ示している。

特許文献１記載の技術では、図１２の（ａ）に示すように被写体が静止している場合は、正確にフリッカ成分を検出することができる。しかし、図１２の（ｂ）のように被写体が動いて現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合には、正確にフリッカ成分を検出できない。

本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を補正可能なフリッカ補正装置及びフリッカ補正方法を提供することを目的する。

上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、フリッカ成分を検出するフリッカ検出手段と、フリッカ検出手段が検出したフリッカ成分の信頼性に基づき、フリッカ検出手段が１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価手段と、フリッカ検出手段が検出したフリッカ成分から、当フリッカ成分を補正するための補正値を生成する補正値生成手段と、補正値生成手段が過去に生成した補正値を記憶する記憶手段と、第１の信頼性評価手段による信頼性の評価が所定値よりも高い場合には、補正値生成手段が生成した補正値を、第１の信頼性評価手段による信頼性の評価が所定値よりも低い場合には、記憶手段に記憶された補正値を出力する制御手段と、制御手段が出力する補正値を用いて、画像信号のフリッカ成分を補正する補正手段とを有することを特徴とするフリッカ補正装置によって達成される。

また、上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、フリッカ成分を検出するフリッカ検出工程と、フリッカ検出手段が検出したフリッカ成分の信頼性に基づき、フリッカ検出手段が１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価工程と、フリッカ検出手段が検出したフリッカ成分から、当フリッカ成分を補正するための補正値を生成する補正値生成工程と、補正値生成工程によって過去に生成された補正値を記憶手段に記憶する記憶工程と、第１の信頼性評価工程による信頼性の評価が高い場合には、補正値生成工程で生成された補正値を、第１の信頼性評価工程による信頼性の評価が低い場合には、記憶手段に記憶された補正値を出力する制御工程と、制御工程によって出力される補正値を用いて、画像信号のフリッカ成分を補正する補正工程とを有することを特徴とするフリッカ補正方法によっても達成される。

このような構成により、本発明によれば、本発明は、フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を補正できる。

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係るフリッカ補正装置１０の構成例を示すブロック図である。

（構成）
フリッカ検出部１０１は、ＣＭＯＳイメージセンサのような、ＸＹアドレス方式の撮像素子によって撮像された画像信号の１画面分に、水平方向にｎ個、垂直方向にｍ個のフリッカ検出枠を設定し、フリッカ検出枠ごとにフリッカ成分を検出する。

フリッカ成分評価部１０２は、フリッカ検出部１０１で検出されたフリッカ検出枠ごとのフリッカ成分を評価し、評価結果を分類部１０３へ出力する。分類部１０３は、フリッカ成分評価部１０２からの評価結果に応じてフリッカ検出枠を分類し、その分類結果を第１の信頼性評価部１０５に出力する。

フリッカ補正値生成部１０４は、フリッカ検出部１０１で検出されたフリッカ成分の逆数をフリッカ補正値として生成する。
第１の信頼性評価部１０５は、分類部１０３で得られた分類結果の画面内での分布から、検出されたフリッカ成分の、画面単位（以下、フレーム単位ともいう）での確からしさ（信頼性）を評価する。

記憶部１０６は、フリッカ補正値生成部１０４で生成された補正値のうち、第１の信頼性評価部１０５により信頼性が高いと評価されたフリッカ成分から生成した補正値を記憶する。記憶部１０６は、さらに、記憶可能な複数フィールドないし複数フレームの各々のフレーム番号を記憶する。

第２の信頼性評価部１０７は、記憶部１０６に記録されているフリッカ補正値の垂直方向の変動における周波数、振幅、位相を評価する。後述するように、第２の信頼性評価部１０７は、周波数及び振幅のフレーム間での差分がそれぞれ所定の値よりも小さく、かつ、位相がフレーム間で周期的に変化していると判定される場合、記憶部１０６に記録されているフリッカ補正値の信頼性が高いと評価する。

制御部１０８は、第１の信頼性評価部１０５および第２の信頼性評価部１０７の評価結果に応じ、フリッカ補正値生成部１０４で得られたフリッカ補正値または記憶部１０６に記録されているフリッカ補正値を出力する。

フリッカ補正部１０９は、入力された画像信号に対し、制御部１０８が出力する補正を適用し、フリッカ補正を行う。フリッカ補正部１０９は、具体的には画像信号に補正値を乗じる乗算器であって良い。

（動作）
次に本実施形態におけるフリッカ補正装置の動作を、図３に示すフローチャートを参照して説明する。
ステップＳ２０１：まず、フリッカ検出部１０１において、フリッカ成分を検出する。

図２は、図１におけるフリッカ検出部１０１の構成例を示すブロック図である。
図２において、ブロック分割部１０００は、フリッカ成分の検出を行う領域（フリッカ検出枠）を、１画面分の画像信号に対して水平方向にｎ個、垂直方向にｍ個のｎ×ｍ個設定する。加算平均部１００１は、ブロック分割部１０００が設定した検出領域の各々について、画素の輝度レベルの平均値を算出する。また、引算器１００２、乗算器１００３、加算器１００４およびメモリ１００５は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタ１１００を形成している。

ここで、aveは加算平均部１００１の出力を示し、moutはメモリ１００５からの出力を示す。memは加算器１００４からの出力を示し、メモリ１００５に新しく記憶される値を示す。また、kは巡回型ローパスフィルタ１１００のフィルタ係数である。
除算器１００６は、加算平均部１００１の出力と、メモリ１００５からの出力を除算することによってフリッカ検出枠ごとのフリッカ成分を算出して出力する。

次に、フリッカ成分評価部１０２において、フリッカ検出部１０１で得られたフリッカ成分のフリッカとしての確からしさ（信頼性）をブロックごとに評価する。
フリッカ成分の信頼性は、例えばフリッカ成分のモデルデータ（フリッカモデル）を用意しておき、そのデータとの相関が高ければ信頼性も高いとして評価することができる。フリッカモデルは、ある特定のフリッカ状態の時のフリッカ成分のデータで、例えば、水平方向には緩やかな傾斜を持ち、垂直方向はsin波で近似されたある特定のフリッカ成分のモデルである。

フリッカ成分評価部１０２は、フリッカ検出部１０１で検出されたフリッカ成分と、フリッカモデルとの差分を求め、その差分が閾値以下であれば相関が高く、信頼性が高いと判定して、検出されたフリッカ成分の信頼性をフリッカ検出枠ごとに評価する。
そして、評価結果をフリッカ検出枠ごとに分類部１０３に出力する。

図４は、１フレーム分の画像信号を、ｎｘｍのフリッカ検出枠（図ではｎ＝ｍ＝１１）に分割し、フリッカ検出枠ごとにフリッカ検出部１０１で検出したフリッカ成分を、フリッカ成分評価部１０２で評価した結果を模式的に示した図である。

ここで、白いブロックは検出されたフリッカ成分の信頼性が高いと評価されたフリッカ検出枠を、黒いブロックは検出されたフリッカ成分の信頼性が低いと評価されたフリッカ検出枠をそれぞれ示している。

図４（ａ）のは、検出されたフリッカ成分の信頼性が画面全体に渡って高いことを示している。一方、図４（ｂ）においては、一部にフリッカ成分の信頼性が低いと評価されたフリッカ検出枠が存在している。

分類部１０３では、検出されたフリッカ成分の信頼性が低いと判定された検出枠の数や位置を表す分類情報を生成する。図４（ｂ）の例であれば、２行目５列目のフリッカ検出枠から評価結果が低いフリッカ検出枠が水平方向に３個連続していることや、４行目２列目から評価結果が低いフリッカ検出枠が水平方向に５個連続しているといった分類情報を生成する。

第１の信頼性評価部１０５は、分類部１０３からの分類情報に基づいて、評価結果の低いフリッカ検出枠の画面内の分布から、フリッカ検出部１０１が検出したフリッカ成分について、フレーム単位でみたときの信頼性を評価する。

第１の信頼性評価部１０５は、例えば、
・評価結果の低いフリッカ検出枠が画面中央部に所定数以上ある、
・評価結果の低いフリッカ検出枠の総数（もしくはフリッカ検出枠の総数に対する割合）が所定値以上である、
・評価結果の低いフリッカ検出枠の連続数が所定数以上である
といった条件を１つ以上満たした場合、フリッカ成分のフレーム単位での信頼性が低いと評価する。

例えば図４の例であれば、図４（ａ）はフレーム単位での信頼性が高いフレーム、図４（ｂ）はフレーム単位での信頼性の低いフレームと評価する。
以下、検出されたフリッカ成分のフレーム単位での信頼性を、第１の信頼性という。

第１の信頼性評価部１０５は、第１の信頼性の評価結果を、制御部１０８及び記憶部１０６へ出力する。
第１の信頼性評価部１０５は、処理中のフレームについて、第１の信頼性が高いと評価される場合、ステップＳ２０２に、第１の信頼性が低いと評価される場合にはステップＳ２０４へ処理を移す。

ステップＳ２０２：上述した、フリッカ成分評価部１０２、分類部１０３及び第１の信頼性評価部１０５における処理と並行して、フリッカ補正値生成部１０４では、フリッカ検出部１０１が検出したフリッカ成分に基づき、フリッカ補正値を生成しておく。

そして、第１の信頼性が高い場合には、フリッカ補正値生成部１０４が生成した補正値を、ステップＳ２０２で記憶部１０６に記録する。

図５はフリッカ補正値を記憶部１０６に記録する方法の例を示す図である。
ＣＭＯＳイメージセンサを代表とするＸＹアドレス方式の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置により、蛍光灯照明下において被写体を動画撮影する場合を考える。この場合、商用電源周波数が５０Ｈｚ（発光周期は１００Ｈｚ）、撮像装置の垂直同期周波数６０Ｈｚの条件下では、画像上に現れるフリッカが３フレーム周期で繰り返すことが知られている。従って、本実施形態においては、記憶部１０６にフリッカ補正値を３フレーム分記憶するものとする。
また、記憶部１０６が複数フレーム分のフリッカ補正値を保持可能とすることで、電源周波数と垂直同期周波数の他の組み合わせなどにも対応できる。

図５（ａ）は、連続する７フレーム（フレーム番号ｎ〜ｎ＋７）において検出された垂直方向のフリッカ成分の大きさと、各フレームについての第１の信頼性の評価結果を時系列で示したものである。

４０１〜４０７は各々のフレームから検出されたフリッカ成分の逆数として求められた補正値を示している。そしてフリッカ成分のフレーム単位での信頼性を第１の信頼性評価部１０５で評価した結果が「高」「低」を示している。

図５（ｂ）は図５（ａ）に示した評価結果が得られた場合に、記憶部１０６に記録される補正値について時間ごとに示している。
図５（ａ）に示すように、ｔ＝ｔ０をフリッカ検出のスタート時点とすると、ｔ＝ｔ３の時、第ｎ〜ｎ＋２フレームまでは第１の信頼性評価部１０５の評価結果がすべて「高」である。従って、これらフレームについては、フリッカ補正値生成部１０４が生成した補正値４０１〜４０３が記憶部１０６に記録される。

ｔ＝ｔ４の時、第ｎ＋３フレームで検出されたフリッカ成分は、第１の信頼性評価部１０５の評価結果が「高」である。また、上述の電源周波数及び撮像素子の垂直同期周波数の組み合わせであれば、第ｎ＋３フレームで検出されたフリッカ成分は、第ｎフレームのフリッカ成分と同位相の関係にある。そのため、補正値４０４で補正値４０１を置き換えることができる。

ｔ＝ｔ５の時、第ｎ＋４フレームで検出されたフリッカ成分は、第１の信頼性評価部１０５の評価結果が「低」であるので、そのフリッカ成分からフリッカ補正値生成部１０４が生成した補正値は記憶部１０６には記録されない。従って、記憶部１０６に記録されている３フレーム分のフリッカ補正値はｔ＝ｔ４の時点と変わらない。

ｔ＝ｔ６の時、第ｎ＋５フレームで検出されたフリッカ成分は、第１の信頼性評価部１０５の評価結果が「高」であり、また、第ｎ＋２フレームのフリッカ成分と同位相の関係にある。第ｎ＋５フレームについてフリッカ補正値生成部１０４が生成した補正値４０６で、第ｎ＋２フレームについてのフリッカ補正値４０３を置き換える。

このように、第１の信頼性の評価が「高」であるフレームについては、フリッカ補正値生成部１０４が生成した補正値で、記憶部１０６に記憶されている補正値のうち、フリッカ成分が同位相の関係にあるフレームの補正値を置き換える。また、第１の信頼性の評価が「低」であるフレームについては、フリッカ補正値生成部１０４が生成した補正値で、記憶部１０６に記憶された補正値を置き換えない。
以上のようにして、記憶部１０６に記憶されるフリッカ補正値を更新していく。

ステップＳ２０３：制御部１０８は、第１の信頼性評価部１０５の評価結果が高いと評価されたフレームについては、そのフレームで得られたフリッカ成分からフリッカ補正値生成部１０４が生成したフリッカ補正値を、フリッカ補正部１０９へ供給する。フリッカ補正部１０９は、画像信号に対して補正値を適用し、フリッカ成分の補正を行って出力する。

ステップＳ２０４：ステップＳ２０１において第１の信頼性評価部１０５の評価結果が低いと評価された場合、ステップＳ２０４に移行する。制御部１０８は、第２の信頼性評価部１０７に対し、記憶部１０６に記憶されている、過去の信頼性が高いと評価されたフレームに対するフリッカ補正値を読み出すように指示する。

ステップＳ２０５：ステップＳ２０５で、第２の信頼性評価部１０７は、記憶部１０６から読み出したフリッカ補正値に対し、垂直方向の変動における周波数、振幅、位相の時間方向の連続性（第２の信頼性）を評価する。

以下、図６を参照しながら、第２の信頼性の評価方法の例について述べる。
（フリッカ補正値の周波数の信頼性）
フリッカ補正値の周波数の信頼性は、例えば記憶部１０６に記録されている３フレーム分のフリッカ補正値の各々に対し、以下の式（１）〜（３）に示すフーリエ変換を適用する。

ここで、ｈは垂直方向のフリッカ検出枠番号を示し、ｙ（ｈ）はｈ番目のフリッカ検出枠におけるフリッカ補正値の値を示す。また、ｆは周波数を表し、Ｙ_Ｒｅ（ｆ）、Ｙ_Ｉｍ（ｆ）は、それぞれフーリエ変換した時の実部と虚部を表す。Ｙ（ｆ）は振幅成分を表す。

フーリエ変換の結果、得られた各周波数の振幅成分のうち、もっとも大きい周波数としてフリッカ成分に比例した周波数が得られる。そして、各フレームで得られたもっとも振幅成分の大きい周波数の分散値を取ることで、３フレーム間での周波数のばらつきの程度、すなわち連続性の程度を評価することが可能である。

（フリッカ補正値の振幅の信頼性）
３フレーム分の補正値の振幅成分として、Ａ０〜Ａ４の５点が得られるとする。この振幅Ａ０〜Ａ４に対し、式（４）に示すように分散値を算出する。

算出した分散値Ａｒｍｓ²が、ある閾値Ａｔｈよりも低いときにばらつきが少ない、すなわち連続性が高いと判断できるような閾値Ａｔｈを設けることにより、連続性の評価が可能となる。

（フリッカ補正値の位相の信頼性）
３フレーム間のフリッカ補正値の位相関係をΦ１、Φ２とする。Φ１は、第ｎフレームと第ｎ＋１フレームのフリッカ補正値４０１と４０２のフレーム境界における位相差に依存して変化する量である。例えば、フリッカ補正値４０１の補正値が境界付近で１となるような時刻５０１から、フリッカ補正値４０２の補正値が境界付近で１となるような時刻５０２の差と定義する。Φ２についても同様の考えで定義する。

この場合、位相関係Φ１、Φ２が式（５）に示す関係を満たせば、連続性が高いと評価できるような閾値Φｔｈ１，Φｔｈ２を定義することで、位相関係から連続性の評価が可能となる。

第２の信頼性評価部１０７は、これら周波数、振幅、位相の信頼性がいずれも高いと評価される場合、第２の信頼性が高いという評価を行う。第２の信頼性評価部１０７の評価結果は、制御部１０８へ通知される。

ステップＳ２０５において第２の信頼性評価部１０７の評価結果が低いと評価された場合、ステップＳ２０６に移行する。ステップＳ２０５において第２の信頼性評価部１０７の評価結果が高いと評価された場合、ステップＳ２０７に移行する。

ステップＳ２０６：記憶部１０６に記録されている３フレーム分のフリッカ補正値の第２の信頼性評価部１０７の評価結果が低いと評価されたため、記憶部１０６に記録されているフリッカ補正値は、現在のフレームにそのままでは適用しない。

制御部１０８は、記憶部１０６から補正値を読み出し、読み出したフリッカ補正値の振幅に対し、乗算係数を制御しながら乗算することによって調整を行い、調整後のフリッカ補正値を、フリッカ補正部１０９へ出力する。調整は例えば、制御部１０８が備える、乗算器（図示せず）を用いて行うことができる。

図７は、制御部１０８において、読み出したフリッカ補正値に乗じる乗算係数の制御例を示す図である。
ここでは、第２の信頼性のうち、振幅値の信頼性Ａｒｍｓ²がある閾値Ａｔｈ以上の場合、フリッカ補正値に対して、第２の信頼性の数値が高いほど乗算係数を１から下げていくような制御を行う例を示している。このように乗算係数の値を制御することにより、第２の信頼性の評価結果に応じてフリッカ補正を制御することが可能となる。
なお、第２の信頼性がある閾値よりも低い場合には、補正を行わないようにすることも可能である。

ステップＳ２０７：制御部１０８は、連続性（第２の信頼性）が高いと評価されている記憶部１０６に記録された３フレーム分のフリッカ補正値について、どのくらい前に記憶されたものなのかを評価する。なぜなら、上述したように、第１の信頼性の評価が低いフレームが連続した場合には、記憶部１０６に記憶されているフリッカ補正値はその間更新されないので、現在のフレームに対して適切でない可能性があるからである。

図８は、ステップＳ２０７における評価方法の例を示す図である。
現在のフレームを第ｎフレームとし、記憶部１０６に記録されているフリッカ補正値を７０１〜７０３、対応するフレームを第ｎａ〜ｎｃフレームとする。そして、第ｎａフレームが、第ｎフレームとフリッカ成分が同位相の関係にあるフレームであるとき、第ｎフレームと第ｎａフレームとの間の経過時間に比例するパラメータｎｐを式（６）によって算出する。ここでは、説明及び理解を容易にするため、経過時間＝ｎｐであるとする。

さらに、制御部１０８は、ステップＳ２０６と同様に、第ｎフレームと第ｎａフレームとの間の経過時間（ここではｎｐに等しい）に応じた乗算係数を、乗算器（図示せず）によって第ｎａフレームの補正値に対して乗じて補正値を調整する。

これにより、記憶されている補正値がしばらく更新されていない場合にも、その経過時間に応じてフリッカ補正値を調整し、現フレームにより適していると考えられる補正値をフリッカ補正部１０９へ出力することが可能となる。

乗算係数は、例えば図９に示すようにして制御することができる。また、乗算係数は、制御部１０８が有する図示しない乗算器を用いてフリッカ補正値に適用することができる。

なお、本実施形態ではフリッカ検出枠を水平方向にＭブロック、垂直方向にＮブロック設定したが、垂直方向には１つのみ設定しても良い。

以上、説明したように、本実施形態によれば、入力された画像信号を少なくとも水平方向において複数の領域でフリッカ成分を検出する。そのため、フリッカ成分が画像信号内で分布を持っている場合や、現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を検出、補正することができる。

また、本実施形態によれば、検出されたフリッカ成分の信頼性に応じて、現フレームに対する補正値を、現フレームから検出されたフリッカ成分から生成した補正値と、過去に生成した補正値のいずれかから選択して用いる。そのため、現フレームにおいて信頼性の高いフリッカ成分が検出されなくても、精度のよいフリッカ補正を行うことが可能となる。

さらに、過去の補正値を用いる場合、補正値の信頼性や補正値が生成されてからの経過時間に応じて修正を行うので、過去の補正値を用いる場合の補正精度をより高めることが可能になる。

（他の実施形態）
上述の実施形態で説明したフリッカ補正装置は、ＣＭＯＳイメージセンサのようなＸＹアドレス方式の撮像素子を用いる撮像装置に好適に使用することができる。すなわち、撮像素子から得られる画像信号に対し、本発明の実施形態に係るフリッカ補正装置を適用することにより、フリッカ成分を精度良く補正することが可能となる。そして、フリッカ補正後の画像信号を用いて、周知の画像処理や符号化処理を行ない、記録媒体に記録したり、外部機器へ出力したりすればよい。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。 図１におけるフリッカ検出部１０１の構成例を示すブロック図である。 本発明の実施形態に係るフリッカ補正装置の動作を説明するためのフローチャートである。 本発明の実施形態に係るフリッカ補正装置におけるフリッカ成分評価部１０２の評価結果を模式的に示した図である。 本発明の実施形態に係るフリッカ補正装置において、フリッカ補正値を記憶部１０６に記録する方法の例を示す図である。 本発明の実施形態に係るフリッカ補正装置における第２の信頼性評価方法の例を示す図である。 本発明の実施形態に係るフリッカ補正装置において、記憶された補正値の第２の信頼性が低いと評価された場合、記憶部１０６から読み出したフリッカ補正値に制御部１０８が乗じる乗算係数の制御例を示す図である。 図３のステップＳ２０７における、経過時間の評価方法の例を示す図である。 本発明の実施形態に係るフリッカ補正装置において、記憶部１０６から読み出したフリッカ補正値に、経過時間に応じて制御部１０８が乗じる乗算係数の制御例を示す図である。 ＸＹアドレス方式の固体撮像素子を用いた場合に発生するフリッカ現象を表す図である。 被写体が左側からは蛍光灯、右側からは太陽光によって照らされている被写体をＸＹアドレス方式の固体撮像素子を用いて撮像した場合に発生するフリッカ現象を表す図である。 被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示す図である。

Claims (10)

1. 撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
   前記フリッカ成分を検出するフリッカ検出手段と、
   前記フリッカ検出手段が検出したフリッカ成分の信頼性に基づき、前記フリッカ検出手段が前記１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価手段と、
   前記フリッカ検出手段が検出したフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する補正値生成手段と、
   前記補正値生成手段が過去に生成した補正値を記憶する記憶手段と、
   前記第１の信頼性評価手段による信頼性の評価が所定値よりも高い場合には、前記補正値生成手段が生成した補正値を、前記第１の信頼性評価手段による信頼性の評価が前記所定値よりも低い場合には、前記記憶手段に記憶された補正値を出力する制御手段と、
   前記制御手段が出力する補正値を用いて、前記画像信号のフリッカ成分を補正する補正手段とを有することを特徴とするフリッカ補正装置。
2. 前記第１の信頼性評価手段が、前記フリッカ検出手段が検出したフリッカ成分の信頼性が低いと評価されるフリッカ検出枠の分布に基づいて前記信頼性の評価を行うことを特徴とする請求項１記載のフリッカ補正装置。
3. 前記記憶手段が、前記第１の信頼性評価手段によって前記所定値よりも信頼性が高いと評価された複数のフレームについて前記補正値生成手段が生成した補正値を記憶することを特徴とする請求項１又は請求項２記載のフリッカ補正装置。
4. 前記制御手段が、前記記憶手段に記憶された補正値を出力する場合、前記複数のフレームに対応した補正値の中から、当該補正値を用いて補正しようとするフレームとフリッカ成分の位相が同じフレームに対応した補正値を出力することを特徴とする請求項３記載のフリッカ補正装置。
5. 前記記憶手段に記憶された補正値の信頼性を評価する第２の信頼性評価手段をさらに有し、
   前記制御手段が、前記記憶手段に記憶された補正値を、前記第２の信頼性評価手段による信頼性の評価に応じて調整して前記補正手段に出力することを特徴とする請求項１乃至請求項４のいずれか１項に記載のフリッカ補正装置。
6. 前記第２の信頼性評価手段が、前記補正値の垂直方向の変動における周波数、振幅及び位相の信頼性を評価し、その評価結果に基づいて前記補正値の信頼性を評価することを特徴とする請求項５記載のフリッカ補正装置。
7. 前記制御手段が、前記第２の信頼性評価手段による評価が前記所定値よりも高い補正値について、当該補正値に対応するフレームから、前記補正手段によって補正を行うフレームまでの経過時間に応じて前記補正値を調整することを特徴とする請求項５又は請求項６記載のフリッカ補正装置。
8. 前記制御手段が、前記第２の信頼性評価手段による評価が前記所定値よりも低い補正値について、信頼性の程度に応じて前記補正値を調整することを特徴とする請求項５乃至請求項７のいずれか１項に記載のフリッカ補正装置。
9. 撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
   前記フリッカ成分を検出するフリッカ検出工程と、
   前記フリッカ検出手段が検出したフリッカ成分の信頼性に基づき、前記フリッカ検出手段が前記１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価工程と、
   前記フリッカ検出手段が検出したフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する補正値生成工程と、
   前記補正値生成工程によって過去に生成された補正値を記憶手段に記憶する記憶工程と、
   前記第１の信頼性評価工程による信頼性の評価が高い場合には、前記補正値生成工程で生成された補正値を、前記第１の信頼性評価工程による信頼性の評価が低い場合には、前記記憶手段に記憶された補正値を出力する制御工程と、
   前記制御工程によって出力される補正値を用いて、前記画像信号のフリッカ成分を補正する補正工程とを有することを特徴とするフリッカ補正方法。
10. コンピュータを、請求項１乃至請求項９のいずれか１項に記載のフリッカ補正装置の各手段として機能させるためのプログラム。