JP2021111929A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】被写体の動きがある場合のフリッカーの誤補正を抑制する。【解決手段】撮像素子１０２から出力された画像からフリッカーを検出するフリッカー検出部１０４と、フリッカー検出部１０４がフリッカーを検出した場合に、フリッカーによる輝度変化を補正するための補正値を算出するフリッカー補正値算出部１０５と、画像から被写体の動きを検出する動き被写体検出部１０７と、動き被写体検出部１０７が検出した被写体の動きに応じて、補正値を調整するフリッカー補正値調整部１０６と、フリッカー補正値調整部１０６が調整した補正値に基づいて、輝度変化を補正するフリッカー補正部１０８と、を備え、フリッカー補正値調整部１０６は、動き被写体検出部１０７が撮像素子１０２の走査方向以外の動きを検出した場合に、補正値を弱める調整を行う。【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。

所定周期の光量変化であるフリッカーが発生する人工光源での撮影では、フリッカーの影響により画像に明暗（露出のムラ）が発生してしまうことがある。フリッカーの影響を低減するフリッカーレス撮影のために、複数フレームからフリッカーを検出して、フリッカーを補正する補正値を算出する技術がある。フリッカーの検出において被写体が動いたときに被写体が動いた部分をフリッカー成分として誤検出してしまい、誤検出に基づいて補正を行うことで画像にフリッカーと同様の状態を発生させてしまう場合がある。

特許文献１は、フリッカー成分の信頼性に応じて、補正に利用するフリッカー補正値を選択する技術を開示している。特許文献２は、撮像素子の水平ライン毎の輝度平均値から被写体の動きを検出し、被写体が静止しているときは第１のフリッカーゲインで補正し、被写体が動いているときは第２のフリッカーゲインで補正する技術を開示している。

特開２００９−２１８１３号公報 特開２００９−８１６８４号公報

しかしながら、特許文献１の技術では、被写体の動きや特定の被写体が存在すると当該部分の輝度変化の計測がうまくできなくなるため、信頼性判定が正しくできなくなる恐れがある。また、特許文献２の技術でも、被写体の動きを輝度によって判定しているので、フリッカー成分と動きの分離が正確にできずに、被写体の動きをフリッカー成分の動きと捕えてしまう恐れがある。

本発明は、被写体の動きがある場合のフリッカーの誤補正を抑制する撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、撮像素子から出力された画像からフリッカーを検出するフリッカー検出手段と、前記フリッカー検出手段がフリッカーを検出した場合に、フリッカーによる輝度変化を補正するための補正値を算出する補正値算出手段と、前記画像から被写体の動きを検出する被写体検出手段と、前記被写体検出手段が検出した被写体の動きに応じて、前記補正値を調整する調整手段と、前記調整手段が調整した補正値に基づいて、前記輝度変化を補正する補正手段と、を備え、前記調整手段は、前記被写体検出手段が前記撮像素子の走査方向以外の動きを検出した場合に、前記補正値を弱める調整を行う。

本発明によれば、被写体の動きがある場合のフリッカーの誤補正を抑制する撮像装置を提供することができる。

第１実施形態における撮像装置の構成を示す図である。 第１実施形態におけるフリッカー補正の処理を示すフローチャートである。 フリッカーと被写体の動きの関係を説明する図である。 複数の方向から撮像する場合の被写体の動き検出について説明する図である。 第２実施形態における撮像装置の構成を示す図である。 フリッカー検出領域設定部の構成を説明する図である。 第２実施形態におけるフリッカー補正の処理を示すフローチャートである。 フリッカー検出領域を説明する図である。

（第１実施形態）
図１は、第１実施形態における撮像装置の構成の一例である。本実施形態の撮像装置１００は、フリッカーレス撮影の機能を備えたデジタルカメラ等の撮像装置である。なお、本実施形態では撮像装置１００の一例としてレンズ装置と本体部が一体となった撮像装置について説明するが、これに限られるものではなく、レンズ装置が本体部に着脱可能なレンズ交換式の撮像装置であってもよい。

撮像装置１００は、レンズ１０１、撮像素子１０２、画像処理部１０３、フリッカー検出部１０４、フリッカー補正値算出部１０５、フリッカー補正値調整部１０６、フリッカー補正部１０８、動き被写体検出部１０７、表示部１０９を備える。レンズ１０１は、被写体の光学像を撮像素子１０２に結像させる。レンズ１０１は、例えば、撮影倍率を変更するズームレンズ、焦点調節に使用するフォーカスレンズ、手振れ等による画像ブレを補正するシフトレンズ等の複数のレンズと絞りを備える。

撮像素子１０２は、レンズ１０１を介して撮像面に結像された被写体像を光電変換し、被写体像に係る画像信号を出力する。撮像素子１０２は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳセンサ（相補型金属酸化膜半導体）である。撮像素子１０２から出力された画像信号は、画像処理部１０３に入力される。画像処理部１０３は、ホワイトバランス調整やガンマ補正などの画像を現像するための種々の画像処理を実施する。

フリッカー検出部１０４には、前記撮像素子１０２から出力された画像または画像処理部１０３で種々の処理が施された後の画像が入力される。フリッカー検出部１０４は、時間的に連続する複数の画像（フレーム）に基づいてフリッカーの検出を行う。本実施形態においてフリッカー検出部１０４は、複数の画像からフリッカーの振幅、周波数などのフリッカーの特性を検出することで、フリッカーを検出する。

フリッカーの振幅は、例えば、時間的に連続する複数枚の画像から水平方向の輝度の平均値を取得し、水平方向の輝度の平均値の明暗の大きさに基づいて算出する。ここで、水平方向の輝度の平均値を算出するために、垂直方向に１ピクセルの矩形領域の輝度平均値を算出してもよいし、複数ピクセルの矩形領域の輝度平均値を算出してもよい。また、撮像間隔の時間と、明暗の位置からフリッカーの周波数を算出する。なお、本実施形態ではフリッカーの振幅と周波数を検出する方法の一例を示したが、この方法に限られるものではなく、フリッカーが何らかの方法で検出できればよい。

フリッカー補正値算出部１０５は、フリッカー検出部１０４で検出したフリッカーの特性に基づいて、フリッカーを補正する補正値を算出する。フリッカー補正値算出部１０５は、画像中の輝度の明暗（露出のムラ、輝度変化ともいう）を打ち消すように補正値を算出する。本実施形態では、フリッカー補正値算出部１０５は、フリッカー検出部１０４で検出したフリッカーの特性である周波数と振幅に基づいて、画像中の輝度の明暗を打ち消すように画像ごとにフリッカー補正の補正値を算出する。

動き被写体検出部１０７には、撮像素子１０２から出力された画像または画像処理部１０３で種々の処理が施された後の画像が入力される。動き被写体検出部１０７は、被写体の動きを検出する。輝度変化に強い被写体の動きの検出方法としては、例えば、被写体の特徴点を抽出し、時間的に前後の画像における特徴点の位置すなわち被写体位置の比較と撮像間隔から、被写体の動いた量と速度を推定する方法がある。なお、被写体の動きを推定する方法は特徴点抽出法に限られるものではなく、輝度による推定やその他の方法であってもよい。動き被写体検出部１０７は、検出した被写体の動きをフリッカー補正値調整部１０６へ出力する。

フリッカー補正値調整部１０６では、動き被写体検出部１０７が検出した被写体の動きに応じてフリッカー補正の効果を調整するために、フリッカー補正値算出部１０５で生成したフリッカーの補正値を調整する。フリッカー補正値調整部１０６は、例えば、フリッカーの補正値に対して０〜１のゲインをかける（０〜１の実数を乗ずる）ことで、フリッカー補正の効果を弱める調整を行う。フリッカー補正値調整部１０６で付加されるゲインは、例えば、被写体の動き量、被写体の動いている速度、フリッカーの振幅や分布などによって、適宜調整される。フリッカー補正値調整部１０６は、調整後の補正値をフリッカー補正部１０８へ出力する。

フリッカー補正部１０８は、フリッカー補正値調整部１０６によって調整された補正値に基づいて、画像処理部１０３から出力された画像を補正してフリッカーの影響を抑制する。フリッカーの補正方法としては、例えば、撮像素子１０２の水平ラインごとに一定のゲインをかけて、画面上の明暗（露出のムラ）を低減する方法がある。なお、フリッカー補正部１０８における補正方法は、フリッカーによる画面内の輝度変動を消すことができればどのような方法であってもよい。

表示部１０９は、ディスプレイなどの表示機器に画像を表示する。表示機器は、撮像装置１００と一体型でもよいし、撮像装置１００とは別の外部機器でもよい。制御部１１０は、撮像装置１００全体の制御を行う。制御部１１０は、例えばＣＰＵ（中央演算処理装置）である。メモリ１１１は、プログラム、撮像された画像、設定値等を記憶する。また、メモリ１１１は、データを記録する手段を示すものであり、ＲＯＭや不揮発性メモリ等の記録媒体とＲＡＭやシステムメモリ等のワークメモリを含む。

次に、図２のフローチャートを参照して、本実施形態の動作について説明を行う。図２は、第１実施形態におけるフリッカー補正の処理を示すフローチャートである。
ステップＳ２０１において、撮像素子１０２は、レンズ１０１を介して結像した被写体像を光電変換し、画像を取得する。また、取得した画像に対して画像処理部１０３が画像処理を施してもよい。

ステップＳ２０２において、フリッカー検出部１０４は、ステップＳ２０１で取得した画像にフリッカーが発生しているかどうかを検出する。フリッカー検出部１０４は、フリッカーの検出対象となる画像を含む連続した複数フレームの水平方向の平均輝度などの輝度変化からフリッカーを検出する。また、フリッカーが発生している場合には、フリッカー検出部１０４は、フリッカーの特性を検出し、ステップＳ２０３に進む。本実施形態では、フリッカーの特性として、フリッカーの周波数と振幅を検出する。一方、フリッカーが検出されない場合は、フリッカー補正に関する処理は行われないため、本処理を終了する。

ステップＳ２０３において、フリッカー補正値算出部１０５は、フリッカー検出部１０４で算出されたフリッカーの特性を表す周波数と振幅に基づいて、フリッカーの影響による画像の輝度変化を低減する補正値を算出する。補正値は、例えば、１行の水平ラインまたは複数の水平ライン毎にゲインを設定するための値である。

次に、ステップＳ２０４において、動き被写体検出部１０７は、被写体の動きを検出する。フリッカーと被写体の動きの関係について、図３を参照して説明する。図３は、フリッカーと被写体の動きの関係を説明する図である。画像３０１の明暗はローリングシャッタ方式の際に発生するフリッカーを表しており、明部３０２は無地、暗部３０３はドットで表している。ローリングシャッタ方式では、走査方向に交互に明暗の行が現れ、連続する画像では縞の位置が垂直方向に動いているように見える。なお、本実施形態では、走査方向は水平方向と直交する向きであり、上向き・下向きはどちらでもよい。

画像３０１中には、被写体３０４があり、画像３０１の右上方向に動いている。フリッカーを検出する複数フレーム中に動いている被写体がある場合、被写体の動きに伴う輝度の変化によりフリッカーの振幅と周波数が正しく検出されない恐れがある。そして、被写体の動きによりフリッカーが正しく検出できなかった場合、誤検出したフリッカーに基づいてフリッカーの補正をすると誤補正が生じる恐れがある。そこで、本実施形態では、動いている被写体がある場合、補正値を弱めることでフリッカーの誤補正を抑制する。

一方で、フリッカーが発生している場合には、走査方向への被写体の動きとフリッカーによる縞模様の走査方向への動きが重なり、被写体の動きの検出精度が低下してしまう恐れがある。そこで本実施形態では、被写体の動きとフリッカーの分離が困難な走査方向を除いた方向、すなわち被写体が走査方向以外の向きに動いている場合に、画像内にフリッカーの検出に影響を与える動く被写体が存在するものとする。これは、ほとんどの動く被写体が垂直方向以外の動きベクトルを含んでいるためである。

被写体３０４の右上方向の動き成分３０５を水平成分および垂直成分に分解すると、図３に示されるように被写体３０４は垂直方向３０６（走査方向）にも水平方向３０７に分解される。つまり、動き被写体検出部１０７は、垂直方向（走査方向）以外の方向にも被写体３０４の動きを検出している。

ステップＳ２０５において、フリッカー補正値調整部１０６は、動き被写体検出部１０７が検出した被写体の動きについて、走査方向（本実施形態では、垂直方向）以外の動きを検出したか否かの判定を行う。走査方向以外の動きを検出した場合は、ステップＳ２０６に進む。一方、走査方向以外の動きを検出しなかった場合は、ステップＳ２０７に進む。

ステップＳ２０６において、フリッカー補正値調整部１０６は、フリッカーの補正値を調整する。具体的には、フリッカー補正値調整部１０６は、フリッカー補正値に対して０〜１のゲインをかけることで、フリッカー補正による輝度変動の割合を小さくする。フリッカー補正値に付加するゲインは、例えば、被写体の動き量やフリッカーの特性に応じて決定される。このように本実施形態では、走査方向以外の被写体の動きを検出した場合に、フリッカー補正による輝度変動の割合を小さくするまたはフリッカー補正をしないことによって、誤補正の場合の画像への影響を抑制する。そして、フリッカー補正値調整部１０６は、調整後のフリッカー補正値をフリッカー補正部１０８へ出力する。

ステップＳ２０７において、フリッカー補正値調整部１０６は、フリッカー補正値算出部１０５で算出されたフリッカー補正値をそのままフリッカー補正部１０８へ出力する。

ステップＳ２０８において、フリッカー補正部１０８は、フリッカー補正値調整部１０６から出力されたフリッカー補正値に基づいてフリッカー補正を行い、フリッカーの影響による画像の輝度変動を軽減する。このように、本処理によると、動く被写体がある場合にフリッカー補正値を調整することで、被写体の動きによるフリッカーの誤補正を抑制することができる。

なお、本実施形態では、ステップＳ２０５において被写体が走査方向（垂直方向）以外の向きに動いている場合に、画像内にフリッカーの検出に影響を与える動く被写体が存在すると判定する方法を説明した。これは、ほとんどの動く被写体が垂直方向以外の動きベクトルを含んでいる一方で、垂直方向のみの場合にはフリッカーと被写体の動きの分離が困難なためである。そのため、被写体の動きとフリッカーの分離の精度を向上させることができれば、垂直方向に動く被写体の場合にも、被写体の動きによるフリッカーの誤補正を抑制することができる。

被写体の動きとフリッカーの分離の精度を向上させるために、例えば、図４に示すように一部の画角が重なり合う複数の撮像部によって画像を取得するようにすればよい。図４は、複数の方向から撮像する場合の被写体の動き検出について説明する図である。カメラ４０１の画角４０３とカメラ４０２の画角４０４は、一部が重なりあっている。この画角が重なっている画角部分における被写体の動き検出を行うことで、複数の方向から同一の被写体を観察することができるため動き方向検出の精度が向上し、被写体の垂直方向への動きも高精度に検出することができる。なお、カメラ４０１とカメラ４０２はそれぞれ独立した撮像装置で互いに通信する構成でもよいし、複数の撮像部を有する１つの撮像装置であってもよい。フリッカー補正値調整部１０６は、カメラ４０１およびカメラ４０２で撮像された画像から検出された被写体の動きに応じて、フリッカー補正値を調整することで、被写体の動く方向にかかわらずに被写体の動きによるフリッカーの誤補正を抑制する。

また、１つの撮像装置１００であっても、わずかにパン・チルトをするなど、撮像装置１００の撮像部自体を駆動させることで、被写体とカメラとの位置関係を変化させ、動き検出の精度向上を図る方法もある。

本実施形態では、ステップ２０５において、フリッカー補正値調整部１０６による補正値の調整を行うか否かの判断を、垂直方向以外の動きがあるか否かにより行っているが、判定条件としてこれ以外を使ってもよい。例えば、被写体の動きがフリッカーの検出に大きな影響を与えているか否かにより、フリッカー補正値調整部１０６による補正値の調整を行うか否かを判定するようにしてもよい。被写体の動きがフリッカーの検出に大きな影響を与える場合として、被写体の動き量が大きい場合や、フリッカーの振幅が小さい場合がある。そこで、被写体の動き量が所定の量以上かつフリッカーの振幅が所定の振幅以下の場合に、ステップＳ２０６に進み、フリッカー補正値調整部１０６によって補正値を小さくする調整を行うようにすればよい。一方で、被写体の動き量が所定の量未満もしくはフリッカーの振幅が所定の振幅より大きい場合には、ステップＳ２０７に進み、フリッカー補正値を調整せずに、フリッカー補正値算出部１０５で算出されたフリッカー補正値に基づいたフリッカー補正を行う。

また、本実施形態では、ステップＳ２０６において、フリッカー補正値調整部１０６を使ってフリッカー補正値を弱めることでフリッカーの誤補正を低減しているが、これに限られるものではない。例えば、ステップＳ２０６において、フリッカーの誤補正を低減するために、フリッカーの検出自体を停止するようにしてもよい。また、フリッカーの検出を停止した場合に、シャッタスピードを遅くしても高品位な画像が取得できる場合、例えば被写体の動きが所定の動き量以下である場合には、シャッタスピードを遅くしてフリッカーを抑制するようにしてもよい。さらに、シャッタスピードが電源周波数の半波長の整数倍になるように制御し、フリッカーを抑制するようにしてもよい。なお、シャッタスピードの制御は、不図示のシャッタスピードを制御する制御手段により実行される。また、フリッカー補正値を弱めるのではなく、被写体の動きが検出される前のフリッカー補正値を利用してフリッカーの補正を行うようにしてもよい。

以上説明したように、本実施形態によると、被写体の動きがある場合にフリッカーの補正を弱めるまたは停止することで、被写体の動きによるフリッカーの誤補正を抑制することができる。

（第２実施形態）
第１実施形態では、フリッカー補正値を調整することで、被写体の動きによるフリッカーの誤補正を抑制した。本実施形態では、被写体の動きによるフリッカーの誤補正を抑制するために、フリッカーの検出領域を限定して被写体が動く領域をフリッカーの検出領域から除外する方法について説明する。

図５を参照して、第２実施形態における撮像装置の構成について説明する。図５は、第２実施形態における撮像装置の構成の一例である。なお、第１実施形態と同様の構成については同じ符号を付すことでその説明を省略する。本実施形態の撮像装置５００は、フリッカーレス撮影の機能を備えたデジタルカメラ等の撮像装置である。なお、本実施形態では撮像装置５００の一例としてレンズ装置と本体部が一体となった撮像装置について説明するが、これに限られるものではなく、レンズ装置が本体部に着脱可能なレンズ交換式の撮像装置であってもよい。

撮像装置５００は、レンズ１０１、撮像素子１０２、画像処理部１０３、フリッカー検出部１０４、フリッカー補正値算出部１０５、フリッカー補正部１０８、表示部１０９、フリッカー検出領域設定部５０１を備える。フリッカー検出領域設定部５０１は、フリッカー検出領域を設定する。フリッカー検出領域とは、フリッカー検出部１０４がフリッカー検出を実施する対象の領域である。フリッカー検出領域を設定する方法は、ユーザが設定してもよいし、撮像装置５００側で被写体の輝度などに基づいて自動的に設定してもよい。そして、フリッカー検出領域設定部５０１は、設定したフリッカー検出領域をフリッカー検出部１０４へ出力する。フリッカー検出部１０４では、設定されたフリッカー検出領域に基づいてフリッカーを検出する。

撮像装置５００でフリッカー検出領域を自動で設定する方法について、図６を参照して説明する。図６は、フリッカー検出領域設定部５０１の詳細な構成を説明する図である。撮像装置５００でフリッカー検出領域を自動で設定する場合、フリッカー検出領域設定部５０１がオブジェクト検出を行って自動的にフリッカー検出領域を設定する。

フリッカー検出領域設定部５０１は、オブジェクト検出部６０１、オブジェクト検出保存部６０２、オブジェクト軌跡算出部６０３、フリッカー検出領域算出部６０４を備える。オブジェクト検出部６０１には、画像処理部１０３から出力された画像が順次入力される。オブジェクト検出部６０１は、画像を解析してオブジェクトの検出を行い、検出したオブジェクトの情報（オブジェクト情報）を出力する。本実施形態においてオブジェクトとは、車や人などの動く可能性のある被写体を指している。なお、オブジェクトは予め定められた所定の被写体でもよいし、オブジェクトを実際に動いている被写体に限定してもよい。オブジェクト検出の方法は、オブジェクトを検出できればどのような方法でもよいが、例えばテンプレートマッチング、機械学習などの方法がある。本実施形態において、オブジェクト検出部６０１は、オブジェクト情報としてオブジェクトおよびオブジェクトの位置を検出する。

オブジェクト検出保存部６０２は、オブジェクト検出部６０１が検出したオブジェクト情報を保存する。オブジェクト検出部６０１が画像処理部１０３から入力される画像のオブジェクト検出を順次行うため、オブジェクト検出保存部６０２は、複数のフレーム（画像）のオブジェクトおよびオブジェクトの位置を揮発性または不揮発性のメモリに保存する。

オブジェクト軌跡算出部６０３は、オブジェクト検出保存部６０２が保存した複数フレームのオブジェクト情報に基づいて、オブジェクトの軌跡を算出する。オブジェクト軌跡算出部６０３は、複数フレームのオブジェクトの中から同一のオブジェクトだけに注目し、複数あるフレームごとに当該オブジェクトの位置を特定することで、当該オブジェクトの軌跡を算出する。

フリッカー検出領域算出部６０４は、オブジェクト軌跡算出部６０３で算出されたオブジェクト軌跡に基づいて、フリッカー検出領域を算出する。フリッカー検出領域算出部６０４は、オブジェクトの軌跡に基づいて動く被写体が存在する可能性の高い領域を算出し、当該領域を除いた領域、すなわち動く被写体が存在する可能性の低い領域をフリッカー検出領域として設定する。なお、フリッカー検出領域の詳細は図８を用いて後述する。なお、オブジェクトが検出されなかった場合は、フリッカー検出領域算出部６０４は予め決められた所定の位置をフリッカー検出領域として設定する。

フリッカー検出領域設定部５０１は、フリッカー検出領域算出部６０４で算出したフリッカー検出領域をフリッカー検出部１０４に出力する。フリッカー検出部１０４では、設定されたフリッカー検出領域に基づいてフリッカーを検出する。このように、撮像装置５００で自動的にフリッカー検出領域を設定する場合、動体となりうるオブジェクトを検出し、オブジェクトが多く存在する領域を除いた領域をフリッカー検出領域として設定する。

次に、図７のフローチャートを参照して、本実施形態の動作について説明を行う。図７は、第２実施形態におけるフリッカー補正の処理を示すフローチャートである。ステップＳ７０１において、撮像素子１０２は、レンズ１０１を介して結像した被写体像を光電変換し、画像を取得する。また、取得した画像に対して画像処理部１０３が画像処理を施してもよい。画像は、フリッカー検出領域設定部５０１に入力される。

ステップＳ７０２〜ステップＳ７０７はフリッカー検出領域設定部５０１によるフリッカー検出領域の設定処理である。本実施形態では、フリッカー検出領域設定部５０１が自動でフリッカー検出領域を設定する例について説明するが、ユーザが指定した領域をステップＳ７０７でフリッカー検出領域として設定してもよい。

ステップＳ７０２において、フリッカー検出領域設定部５０１のオブジェクト検出部６０１は、画像からオブジェクトの検出を行う。オブジェクト検出部６０１は、オブジェクトが検出された場合は当該オブジェクトの位置も検出する。なお、検出するオブジェクトは、１つでもよいし複数であってもよい。そして、オブジェクト検出部６０１は、オブジェクトが検出されたか否か判定する。オブジェクトが検出された場合は、ステップＳ７０３に進む。一方、オブジェクトが検出されなかった場合は、ステップＳ７０６に進む。

ステップＳ７０３において、オブジェクト検出保存部６０２は、ステップＳ７０２で検出されたオブジェクトとオブジェクトの位置を保存する。
ステップＳ７０４において、オブジェクト軌跡算出部６０３は、オブジェクト検出保存部６０２で保存した複数フレームのオブジェクトおよびオブジェクトの位置に基づいて、オブジェクトの軌跡を算出する。なお、軌跡を算出する対象となるオブジェクトは、１つでもよいし複数であってもよい。

ステップＳ７０５において、フリッカー検出領域算出部６０４は、オブジェクト軌跡算出部６０３が算出したオブジェクトの軌跡に基づいて、フリッカーの検出領域を算出する。フリッカー検出領域について、図８を参照して説明する。図８は、フリッカー検出領域を説明する図である。

画像８００について、まずオブジェクト検出部６０１でオブジェクト検出が行われる。オブジェクト検出部６０１は、車道部に存在する車８０１と歩道部に存在する人物８０２〜８０９をオブジェクトとして検出する。オブジェクト軌跡算出部６０３は、車８０１および人物８０２〜８０９の動きについて複数フレームにわたって解析を行い、各オブジェクトの軌跡を算出する。フリッカー検出領域算出部６０４は、オブジェクトの軌跡に基づいて、オブジェクトが存在する範囲を特定する。オブジェクトが存在する範囲を単純化した領域が、図８において斜線で示されるオブジェクト領域８１０である。オブジェクト領域８１０は、オブジェクトが存在する範囲を含んでいる。オブジェクト領域８１０は、動く被写体が存在する可能性が高いため、フリッカー検出領域から除外される。したがって、フリッカー検出領域算出部６０４は、画像８００からオブジェクト領域８１０を除いた領域をフリッカー検出領域８１１として算出する。

ステップＳ７０６において、フリッカー検出領域算出部６０４は、予め決められた所定の位置をフリッカーの検出領域として算出する。
ステップＳ７０７において、フリッカー検出領域設定部５０１は、ステップＳ７０５もしくはステップＳ７０６において算出されたフリッカー検出領域をフリッカー検出領域に設定する。

ステップＳ７０８において、フリッカー検出部１０４は、ステップＳ７０７で設定したフリッカー検出領域においてフリッカーの発生を検出する。フリッカーの検出方法については、第１実施形態と同様である。フリッカーが発生している場合には、フリッカー検出部１０４は、フリッカーの特性を検出し、ステップＳ７０９に進む。本実施形態では、フリッカーの特性として、フリッカーの周波数と振幅を検出する。一方、フリッカーが検出されない場合は、フリッカー補正に関する処理は行われないため、本処理を終了する。

ステップＳ７０９において、フリッカー補正値算出部１０５は、フリッカー検出部１０４で算出されたフリッカーの特性を表す周波数と振幅に基づいて、フリッカーの影響による画像の輝度変化を低減する補正値を算出する。
ステップＳ７１０では、フリッカー補正部１０８は、フリッカー補正値算出部１０５から出力されたフリッカー補正値に基づいてフリッカー補正を行い、フリッカーの影響による画像の輝度変動を軽減する。このように、本処理によると、動く被写体が存在しないもしくは少ない領域でフリッカーの検出を行って補正値を算出することができ、被写体の動きによるフリッカーの誤補正を抑制することができる。

以上のように、本実施形態によれば、フリッカーを検出する領域を限定することで、被写体の動きによるフリッカーの誤補正を抑制する撮像装置を提供することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１０４ フリッカー検出部
１０５ フリッカー補正値算出部
１０６ フリッカー補正値調整部
１０７ 動き被写体検知部
１０８ フリッカー補正部

Claims (15)

1. 撮像素子から出力された画像からフリッカーを検出するフリッカー検出手段と、
   前記フリッカー検出手段がフリッカーを検出した場合に、フリッカーによる輝度変化を補正するための補正値を算出する補正値算出手段と、
   前記画像から被写体の動きを検出する被写体検出手段と、
   前記被写体検出手段が検出した被写体の動きに応じて、前記補正値を調整する調整手段と、
   前記調整手段が調整した補正値に基づいて、前記輝度変化を補正する補正手段と、を備え、
   前記調整手段は、前記被写体検出手段が前記撮像素子の走査方向以外の動きを検出した場合に、前記補正値を弱める調整を行うことを特徴とする撮像装置。
2. 前記調整手段は、前記被写体検出手段が前記撮像素子の走査方向以外の動きを検出しなかった場合に、前記補正値を調整しないことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体検出手段が同一の被写体について複数の方向から撮像した画像に基づいて被写体の動きの検出を行い、該被写体の動きを検出した場合、前記調整手段は、該被写体が動く方向にかかわらず前記補正値を弱める調整を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記調整手段は、前記補正値に対して０から１の間の実数を乗ずることで前記補正値を調整することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置
5. 前記調整手段は、前記被写体検出手段により検出された被写体の動き量または前記フリッカー検出手段により検出された前記フリッカーの振幅に応じて、前記補正値を調整する量を決定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記フリッカー検出手段は、前記被写体検出手段により検出された被写体の動き量が第１の動き量以上、または、前記フリッカー検出手段により検出された前記フリッカーの振幅が所定の振幅以下の場合、フリッカーの検出を停止することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. シャッタスピードを制御する制御手段をさらに備え、
   前記フリッカーの検出を停止した場合であって、前記被写体の動き量が第２の動き量以下である場合、前記制御手段は、前記シャッタスピードが電源周波数の半波長の整数倍になるように制御することを特徴とする請求項６に記載の撮像装置。
8. 前記被写体検出手段は、画像から特徴点を抽出し、時間的に連続する複数の画像において前記特徴点を比較することで、被写体の動きの検出を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像素子は、ローリングシャッタ方式の撮像素子であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 撮像素子から出力された画像からフリッカーを検出するフリッカー検出手段と、
    前記フリッカー検出手段がフリッカーを検出した場合に、フリッカーによる輝度変化を補正するための補正値を算出する補正値算出手段と、
    前記フリッカー検出手段がフリッカーの検出を行うフリッカー検出領域を設定する設定手段と、
    前記補正値に基づいて前記輝度変化を補正する補正手段と、を備えることを特徴とする撮像装置。
11. 前記設定手段は、所定の被写体であるオブジェクトが動く領域を除いた領域を前記フリッカー検出領域に設定することを特徴とする請求項１０に記載の撮像装置。
12. 前記オブジェクトを検出する検出手段と、
    前記検出手段が検出した前記オブジェクトの軌跡を時間的に連続する複数の画像から算出する軌跡算出手段と、をさらに備え、
    前記設定手段は、前記軌跡算出手段が算出した前記オブジェクトの軌跡に基づいて、前記オブジェクトが動く領域を算出し、該オブジェクトが動く領域を除いた領域を前記フリッカー検出領域に設定することを特徴とする請求項１１に記載の撮像装置。
13. ローリングシャッタ方式の撮像素子を備える撮像装置の制御方法であって、
    前記撮像素子から出力された画像からフリッカーを検出する工程と、
    フリッカーが検出された場合に、フリッカーによる輝度変化を補正するための補正値を算出する工程と、
    前記画像から被写体の動きを検出する工程と、
    検出した被写体の動きに応じて、前記補正値を調整する工程と、
    調整した補正値に基づいて、前記輝度変化を補正する補正工程と、を有し、
    前記補正値を調整する工程では、前記撮像素子の走査方向以外の被写体の動きを検出した場合に、前記補正値を弱める調整を行うことを特徴とする制御方法。
14. ローリングシャッタ方式の撮像素子を備える撮像装置の制御方法であって、
    前記撮像素子から出力された画像のうち動きのある被写体が存在する領域を除いた領域を、フリッカーの検出を行うフリッカー検出領域に設定する工程と、
    前記フリッカー検出領域においてフリッカーを検出する工程と、
    フリッカーが検出された場合に、フリッカーによる輝度変化を補正するための補正値を算出する工程と、
    前記補正値に基づいて、前記輝度変化を補正する工程と、を有することを特徴とする制御方法。
15. 請求項１乃至１２のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。
    

Images