JP2010520673A - 撮像装置及びフリッカ検出方法 - Google Patents

Abstract

露光制御部１５は、ＣＭＯＳセンサ１０の電荷蓄積時間を制御する。ＣＭＯＳセンサ１０は、電荷蓄積時間Ｔ１で画像Ｐ１を撮影し、電荷蓄積時間Ｔ２で画像Ｐ２を撮影する。電荷蓄積時間Ｔ１は、第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない。電荷蓄積時間Ｔ２は、電荷蓄積時間Ｔ１と異なる。差分画像生成部１７は、画像Ｐ１と画像Ｐ２の輝度の違いが強調されて現れる差分画像ＤＰを生成する。フリッカ検出部１８は、差分画像ＤＰに表れる画像Ｐ１と画像Ｐ２の輝度の違いに基づいて、画像Ｐ２におけるフリッカ発生を検出する。

Description

本発明は、デジタルスチルカメラ等に適用される撮像装置に関し、特に、蛍光灯などの光源の照度変動に起因して撮影画像に生じるフリッカの検出機能を有する撮像装置及びフリッカ検出方法に関する。

固体撮像素子の１つであるＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサは、いわゆるライン露光を行う。このため、ＣＭＯＳセンサの撮像面を構成する各画素（フォトダイオード）の電荷蓄積が行われるタイミングには、それぞれの画素の走査タイミングに応じてライン（走査線）毎にずれが生じる。したがって、インバータ方式でない蛍光灯照明による室内など、被写体の明るさが周期的に変化する環境下でＣＭＯＳセンサを用いた撮影を行うと、撮影画像に明暗の横縞が発生する場合がある。このように撮影画像に横縞が発生する現象は、フリッカと呼ばれる。

撮影画像のフリッカの発生を抑制する方法の１つに、ＣＭＯＳセンサの電荷蓄積時間（シャッタスピード）を光源の明滅周期の整数倍に設定する方法がある（例えば、特許文献１を参照）。このように電荷蓄積時間を調整された撮像装置では、画素毎に電荷蓄積が行われるタイミングがずれている場合であっても、各画素の電荷蓄積時間内における光源の光量変動は均一化される。したがって、フリッカの発生を抑えることができる。

例えば、上述したインバータ方式でない蛍光灯の明滅周波数は、商用交流電源の電源周波数の２倍である。つまり、蛍光灯の明滅周期は、電源周波数が５０Ｈｚである地域では１／１００秒であり、電源周波数が６０Ｈｚである地域では１／１２０秒である。したがって、電源周波数が５０Ｈｚである地域では、電荷蓄積時間をＮ／１００秒とすればよく、電源周波数が６０Ｈｚである地域では、電荷蓄積時間をＭ／１２０秒とすればよい。ここで、Ｎ及びＭは正の整数である。しかしながら、特許文献１には、フリッカ自体を検出する手法や、フリッカの検出に応じてＣＭＯＳセンサの電荷蓄積時間を最適化する手法は開示されていない。

特許文献２には、ＣＭＯＳセンサにより得られた撮影画像をもとに演算されたフリッカ指標値を用いてフリッカの発生を検出し、その検出結果に応じて電荷蓄積時間を切り替える撮像装置が開示されている。

より具体的に述べると、特許文献２に開示された撮像装置は、ＣＭＯＳセンサの電荷蓄積時間を、第１の電源周波数（例えば５０Ｈｚ）に対応した第１の電荷蓄積時間（例えばＮ／１００秒）と、第２の電源周波数（例えば６０Ｈｚ）に対応した第２の電荷蓄積時間（例えばＭ／１２０秒）との間で切り替え可能である。さらに、特許文献２の撮像装置は、ＣＭＯＳセンサによる撮影画像中の所定ラインに含まれる複数の画素の画素値を積算した射影出力値Ｄを計算し、複数のフレーム間における射影出力値Ｄの変化量を表すフリッカ指標値Ｉを算出する。例えば、４フレーム分の撮影画像を用いたフリッカ指標値Ｉは、以下の（１）式により算出される。なお、（１）式においてＤ（ｎ）は、第ｎフレームにおける所定ラインの射影出力値である。

特許文献２に開示された撮像装置による電荷蓄積時間の切り替えはフリッカ指標値Ｉ１及びＩ２を比較することによっておこなわれる。フリッカ指標値Ｉ１は、第１の電荷蓄積時間に設定して撮影された撮影画像から得られる。フリッカ指標値Ｉ２は、第２の電荷蓄積時間に設定して撮影された撮影画像から得られる。特許文献２に開示された撮像装置は、フリッカ指標値が小さいほうの電荷蓄積時間を選択する。また、例えば、第１の電荷蓄積時間に設定されているときにフリッカ指標値Ｉ１が所定の閾値を超えて大きくなった場合に、第１の電荷蓄積時間から第２の電荷蓄積時間への切り替えが実行される。

特開２００３−１８９１７２号公報 特開２００２−８４４６６号公報

上述したように、特許文献２に開示された撮像装置は、連続して撮影される複数の撮影画像の所定ラインに関して画素値の積算値（射影出力値）を算出する。さらに、特許文献２に開示された撮像装置は、２つの撮影画像の間での射影出力値の差分を所定のフレーム数に亘って計測することでフリッカ指標値を得る。さらに、特許文献２に開示された撮像装置は、得られたフリッカ指標値を用いてフリッカを検出する。しかしながら、特許文献２に開示された撮像装置によるフリッカ検出方法には、以下に述べるように、フレームレートへの依存性が大きいという問題がある。

特許文献２に開示されたフリッカ判定手法は、撮影画像における所定ラインの各画素の光電変換のタイミングと光源の明滅周期とが同調していないことを利用して、撮影画像のフリッカを検出する。（例えば、特許文献２の第４３〜第４６段落を参照）。したがって、例えば、１フレーム期間と光源の明滅周期とが同調している場合、つまり、１フレーム期間が光源の明滅周期の整数倍となる場合には、撮影画像における所定ラインの各画素の蓄積電荷量は、連続して撮影される複数の撮影画像の間で変動がない。つまり、この場合は、特許文献２に開示された方法によるフリッカ検出は困難である。このように、特許文献２に開示された撮像装置によるフリッカ検出方法は、フレームレートへの依存性が大きいという問題を有する。

本発明の一態様にかかる撮像装置は、撮像素子、制御部、及びフリッカ検出部を含む。前記制御部は、第１の電荷蓄積時間に調整された前記撮像素子による第１の画像の撮影と、第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を制御する。前記第１の電荷蓄積時間は、第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない。前記第２の電荷蓄積時間は、前記第１の電荷蓄積時間とは異なる。前記フリッカ検出部は、前記第１の電荷蓄積時間に調整された前記撮像素子により撮影される第１の画像と前記第２の電荷蓄積時間に調整された前記撮像素子により撮影される第２の画像との間の輝度の違いに基づいて、前記第２の画像におけるフリッカ発生を検出する。

このように構成された撮像装置を用いて第１の明滅周期で明滅する光源下にて撮影が行われる場合、第１の電荷蓄積時間で得られる第１の画像にはフリッカが出現しない。一方、第２の電荷蓄積時間で得られる第２の画像には、第２の画像の１フレーム期間が光源の第１の明滅周期の整数倍であるか否かに関わらず、第２の電荷蓄積時間が光源の第１の明滅周期に同調していない場合にフリッカによる横縞が出現する。このため、第１及び第２の画像の間の輝度の違いを利用することにより、第１及び２の撮影画像の１フレーム期間が光源の明滅周期の整数倍であるか否かに関わらず、フリッカ検出が可能である。したがって、上述した本発明の一態様にかかる撮像装置によれば、フリッカ検出精度のフレームレートへの依存性を少なくし、フリッカ検出精度を向上させることができる。

本発明の他の態様は、フリッカ検出方法である。具体的には、第１の電荷蓄積時間に調整された撮像素子による第１の画像の撮影と、第２の電荷蓄積時間に調整された撮像素子による第２の画像の撮影とを行うために、撮像素子の電荷蓄積時間は、第１の電荷蓄積時間と第２の電荷蓄積時間との間で切り替え得られる。前記第１の電荷蓄積時間は、光源の第１の明滅周期と同調しており、前記第１の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせない。前記第２の電荷蓄積時間は、前記第１の電荷蓄積時間とは異なる。さらに、前記第１及び第２の画像の間の輝度の違いに基づいて、前記第２の撮影画像におけるフリッカの発生が検出される。

上述した本発明の他の態様にかかるフリッカ検出方法によれば、第１及び第２の画像の間の輝度の違いを利用することによって、第１及び２の画像の１フレーム期間が光源の明滅周期の整数倍であるか否かに関わらず、フリッカの検出が可能となる。このため、フリッカ検出精度のフレームレートへの依存性を少なくし、フリッカ検出精度を向上させることができる。

本発明により、フリッカ検出精度のフレームレートへの依存性を少なくし、フリッカ検出精度を向上させた撮像装置を提供できる。

発明の実施の形態１にかかる撮像装置１のブロック図である。 発明の実施の形態１にかかる撮像装置１における差分画像生成の具体例を説明するための図である。 発明の実施の形態１にかかる撮像装置１により生成される差分画像を説明するための概念図である。 発明の実施の形態１にかかる撮像装置１により生成される差分画像を説明するための概念図である。 発明の実施の形態１にかかる撮像装置１によるフリッカ検出処理手順の一例を示すフローチャートである。 発明の実施の形態２にかかる撮像装置１によるフリッカ検出処理手順を示すフローチャートである。 発明の実施の形態２にかかる撮像装置１によるフリッカ検出処理手順を示すフローチャートである。 発明の実施の形態３にかかる撮像装置２のブロック図である。 発明の実施の形態３にかかる撮像装置２による差分画像を用いたフリッカの検出及びフリッカ周波数の検出を説明するための図である。 発明の実施の形態３にかかる撮像装置２による差分画像を用いたフリッカの検出及びフリッカ周波数の検出を説明するための図である。 発明の実施の形態３にかかる撮像装置２による差分画像を用いたフリッカの検出及びフリッカ周波数の検出を説明するための図である。 発明の実施の形態３にかかる撮像装置２によるフリッカ検出処理手順を示すフローチャートである。

ここでは、具体的な実施の形態を参照しながら本発明について説明する。本願が属する技術分野の当業者であれば、本発明の教示に基づいて様々な変形例が実現可能であることを認識でき、ここで説明のために示される実施の形態に本発明が限定されるものでないことも認識できる。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

発明の実施の形態１．
図１は、本実施の形態にかかる撮像装置１のブロック図である。図１において、ＣＭＯＳセンサ１０は、ＣＭＯＳ集積回路の製造プロセスを流用して製造される固体撮像素子である。ＣＭＯＳセンサ１０は、マトリクス内の各画素に対応するフォトダイオードによって形成された撮像面を有する。また、ＣＭＯＳセンサ１０の各画素には、各画素に蓄積された信号電荷を選択的に読み出すためのトランジスタと、各画素に蓄積された信号電荷をリセットするためのトランジスタが配置されている。このように構成されたＣＭＯＳセンサ１０は、ＣＣＤイメージセンサとは対照的に、撮像面を構成する各画素の電荷蓄積タイミングが各画素の走査タイミングに応じて異なっており、画素毎に異なるタイミングで電荷蓄積を行って画像信号を生成する。

ＣＤＳ（Correlated double sampling）回路１１は、相関二重サンプリングを行うことにより、ＣＭＯＳセンサ１０により生成される画像信号のノイズを除去する。増幅器１２は、相関二重サンプリングによるノイズ除去が行われた後の画像信号を増幅する。増幅器１２の利得は、ＣＭＯＳセンサ１０による撮影画像が所望の輝度となるように、ＣＭＯＳセンサ１０の電荷蓄積時間と共に後述する露光制御部１５により制御される。

Ａ／Ｄ変換器１３は、増幅器１２により増幅された画像信号をサンプリングし、デジタル信号に変換する。Ａ／Ｄ変換器１３より出力されるデジタル画像信号は、図示しない画像処理部に入力され、画像処理部（不図示）によってカラー信号補間、カラー補正、ホワイトバランス調整等が行われる。

画素値積算部１４は、Ａ／Ｄ変換器１３の出力信号を入力し、撮影画像フレーム毎に画面全体領域又は画面の一部の領域に含まれる画素の画素値を積算し、得られた積算値を露光制御部１５に供給する。画素値積算部１４は、画素値の積算値を用いて撮影画像フレームの画素値の平均値を計算し、得られた平均値を露光制御部１５に供給してもよい。

露光制御部１５は、画素値積算部１４より供給される撮影画像の画素値の積算値又は平均値をもとに、ＣＭＯＳセンサ１０の電荷蓄積時間（シャッタスピード）及び増幅器１２の利得を決定する。露光制御部１５は、ＣＭＯＳセンサ１０の電荷蓄積時間が決定した値となるよう制御するために、タイミングジェネレータ１６に対して設定信号を出力する。また、露光制御部１５は、増幅器１２の利得を設定するための設定信号を増幅器１２に対して出力する。

さらに、露光制御部１５は、本実施の形態にかかるフリッカ検出を実行するために、後述する差分画像生成部１７により生成される差分画像ＤＰ（difference picture）の元になる画像Ｐ１及びＰ２を得るために、ＣＭＯＳセンサ１０の電荷蓄積時間の制御を行う。

より詳しく述べると、露光制御部１５は、ＣＭＯＳセンサ１０の電荷蓄積時間を２つの電荷蓄積時間Ｔ１及びＴ２の間で交互に切り替えて撮影を実行する。一方の電荷蓄積時間Ｔ１は、蛍光灯などの光源の第１の明滅周期に同調しており第１の明滅周期で明滅する光源下でのＣＭＯＳセンサ１０の撮影画像にフリッカを生じさせない第１の電荷蓄積時間である。他方の電荷蓄積時間Ｔ２は、第１の電荷蓄積時間とは異なる第２の電荷蓄積時間である。第２の電荷蓄積時間の具体例には、後述するように複数の例がある。

例えば、光源の第１の明滅周期が１／１００秒（明滅周波数１００Ｈｚ）である場合、第１の電荷蓄積時間Ｔ１は、光源の第１の明滅周期の整数倍、つまりＮ／１００秒とし、第２の電荷蓄積時間Ｔ２は、Ｎ／１００秒以外の値とすればよい。また、例えば、光源の第１の明滅周期が１／１２０秒（明滅周波数１２０Ｈｚ）である場合、第１の電荷蓄積時間Ｔ１は、光源の第１の明滅周期の整数倍、つまりＮ／１２０秒とし、第２の電荷蓄積時間Ｔ２は、Ｎ／１２０秒以外の値とすればよい。ここでＮは正の整数である。以下、本実施の形態では、光源の第１の明滅周期が１／１００秒であるものとして説明する。

タイミングジェネレータ１６は、ＣＭＯＳセンサ１０の各画素の電荷蓄積時間が露光制御部１５によって指示される値となるように、各画素に蓄積された電荷のリセットタイミングを規定するパルス信号と、各画素に蓄積された信号電荷を読み出すための垂直選択を規定するパルス信号とをＣＭＯＳセンサ１０に出力する。

差分画像生成部１７は、上述した露光制御部１５の制御に基づいて異なる２つの電荷蓄積時間Ｔ１及びＴ２で撮影された２フレームの画像Ｐ１及びＰ２に関する画像信号を入力し、これら２フレームの画像Ｐ１及びＰ２の間の差分画像ＤＰを生成する。ここで、差分画像ＤＰは、２フレームの撮影画像の間で、撮像面における水平・垂直位置が対応する画素の画素値の差分を演算することにより得られる画像である。

差分画像生成部１７の処理内容の具体例について図２を用いて説明する。図２の例は、１フレームの画像２１を垂直方向に２４分割、水平方向に８分割して合計１９２個のブロックに分割し、各ブロックについて画素値の積算を行う。さらに、各ブロックの積算値を水平方向に集計して得られる合計２４個のブロック（図２の符号２２）について画素値の平均値を算出する。差分画像生成部１７は、２フレームの画像Ｐ１及びＰ２それぞれについて図２に示す平均値の算出を行った後に、２フレームの間でブロック毎の平均値の差分を演算することによって、フリッカ検出用の差分画像ＤＰを生成する。つまり、図２の例による演算を行うことによって、水平方向が１ブロックに集約され、垂直方向が２４ブロックに集約された差分画像ＤＰが生成される。

なお、図２の例は差分画像ＤＰの生成処理の一例にすぎないことはもちろんである。つまり、差分画像ＤＰは、１フレームの撮影画像の画面全体について生成してもよいし、画面の一部について生成してもよい。画像の画面の一部分について差分画像を生成する場合は、１画像内でのフリッカによる明暗縞の周期に応じて、少なくとも明暗縞の１周期分を含むライン数を用いればよい。１画像内でのフリッカによる明暗縞の周期は、光源の明滅周期（又は明滅周波数）及び撮像装置１の１フレーム期間（又はフレームレート）を用いて算出可能である。

また、差分画像ＤＰは、画素値同士の直接の差分ではなく、図２を用いて説明したように、所定の部分領域を単位として画素値を積算して得られる積算値の間の差分や画素値の平均値の間の差分によって生成してもよい。また、差分画像ＤＰは、例えば、画像Ｐ１及びＰ２の輝度値の差分によって差分画像ＤＰを生成してもよい。各画素の輝度値は、Ｂａｙｅｒ配列の色情報を持つ画像信号から生成される。また、ＲＧＢ信号のうちで最も輝度信号に近いＧ信号をもとに、画像Ｐ１及びＰ２のＧ信号値の差分によって差分画像ＤＰを生成してもよい。

図１に戻り説明を続ける。図１において、フリッカ検出部１８は、差分画像生成部１７により生成された差分画像ＤＰを入力し、画像Ｐ１及びＰ２の走査方向に対して垂直な方向、つまり差分画像ＤＰの画面垂直方向における差分画像ＤＰの画素値の変動（輝度の変動）に基づいて、第２の画像Ｐ２におけるフリッカ発生を検出する。したがって、フリッカ検出部１８は、差分画像ＤＰの画面垂直方向における輝度変動検出部を有するとも言える。言い換えると、フリッカ検出部１８は、差分画像ＤＰの明暗縞検出部を有するとも言える。

ここで、差分画像ＤＰを用いたフリッカ検出の原理を図３Ａ及びＢを用いて説明する。図３Ａは、撮像装置１の撮影環境が日中屋外などの明滅する光源下でない場合に、電荷蓄積時間Ｔ１で撮影される画像Ｐ１と電荷蓄積時間Ｔ２で撮影される画像Ｐ２の差分画像ＤＰを示している。図３Ａの場合は、画像Ｐ１及びＰ２にフリッカが発生しないため、被写体の移動やノイズを除くと画像Ｐ１及びＰ２は同一の画像となる。したがって、これらの差分画像ＤＰの画素値または輝度値は、理想的には画面全体に亘ってゼロとなり、差分画像ＤＰの画面垂直方向の輝度変動は検出されない。

一方、図３Ｂは、第１の明滅周期で明滅する光源下にて撮影された画像Ｐ１及びＰ２の差分画像ＤＰを示している。図３Ｂの場合、画像Ｐ１の電荷蓄積時間Ｔ１は光源の明滅周期と同調しているために画像Ｐ１にフリッカは生じない。しかし、画像Ｐ２の電荷蓄積時間Ｔ２を光源の第１の明滅周期と同調していない電荷蓄積時間とした場合、画像Ｐ２にはフリッカが生じる。このため、差分画像ＤＰには、画像Ｐ２に含まれるフリッカによる明暗の横縞が強調されて出現する。つまり、差分画像ＤＰには、その垂直方向に沿って輝度変動が現れる。このため、フリッカ検出部１８において、差分画像ＤＰの垂直方向の輝度変動を検出することにより、第２の画像Ｐ２におけるフリッカ発生を検出することができる。

なお、差分画像ＤＰの垂直方向の輝度変動の検出は、様々な手法により可能である。例えば、差分画像ＤＰの輝度値の統計的な解析の結果を用いて検出するとよい。具体的には、差分画像のＤＰの垂直方向の輝度値の平均値及び標準偏差（又は分散）を算出し、算出された平均値及び標準偏差が、フリッカがない場合の差分画像ＤＰの輝度値の平均値及び標準偏差と、フリッカがある場合の差分画像ＤＰの輝度値の平均値及び標準偏差のいずれに近いかを判定すればよい。

また、差分画像ＤＰの垂直方向の輝度変動の検出は、デジタルマッチドフィルタを用いて行うこともできる。光源の明滅周期（又は明滅周波数）及び撮像装置１の１フレーム期間（又はフレームレート）をもとに１フレームの撮影画像に含まれるフリッカによる横縞の数を理論的に算出することができる。例えば、光源の明滅周波数が１００Ｈｚであり、撮像装置１の撮影フレームレートが２０フレーム／秒である場合は、１フレームの撮影画像に含まれるフリッカ縞の本数は理論的には５本である。このようにして、フリッカ縞に起因する差分画像ＤＰの輝度変動を示す基準波形を予め理論的に求めておき、当該基準波形と観測された差分画像ＤＰの輝度変動波形との相互相関をデジタルマッチドフィルタにより算出すればよい。同様に、フリッカによる輝度変動の無い基準波形（つまり、直流波形）と観測された差分画像ＤＰの輝度変動波形との相互相関もデジタルマッチドフィルタにより算出すればよい。これにより、観測された差分画像ＤＰの輝度変動がフリッカ有りの場合に近いか、フリッカ無しの場合に近いかを判定できる。

また、そのほかにも、差分画像ＤＰのフーリエ変換を実行し、差分画像ＤＰの空間周波数スペクトルをもとに差分画像ＤＰの輝度変動を検出してもよい。

続いて以下では、撮像装置１におけるフリッカ検出手順を図４に示すフローチャートを用いて説明する。ステップＳ１０１では、ＣＭＯＳセンサ１０は、露光制御部１５の制御により、電荷蓄積時間を第１の電荷蓄積時間Ｔ１として撮影を行い第１の画像Ｐ１を得る。次に、ステップＳ１０２では、露光制御部１５は、ＣＭＯＳセンサ１０の電荷蓄積時間を第２の電荷蓄積時間Ｔ２に切り替え、ＣＭＯＳセンサ１０は、第２の電荷蓄積時間Ｔ２による撮影を行って第２の画像Ｐ２を得る。ステップＳ１０３では、差分画像生成部１７は、画像Ｐ１及びＰ２の間の差分画像ＤＰを生成する。ステップＳ１０４では、フリッカ検出部１８は、差分画像ＤＰの垂直方向の輝度変動を検出する。

ステップＳ１０４にて垂直方向の輝度変動が検出されなければ、画像Ｐ１及びＰ２にフリッカが無いこと、言い換えると、光源の明滅に起因するフリッカが発生する撮影環境でないことが検出される（ステップＳ１０５）。一方、ステップＳ１０４にて差分画像ＤＰの輝度変動が検出されると、光源の明滅に起因するフリッカが画像Ｐ２に発生していること、言い換えると、光源の明滅に起因するフリッカが発生する撮影環境であることが検出される（ステップＳ１０６）。

なお、図４のフローチャートにおいて、画像Ｐ１及びＰ２の取得順序に制約はない。つまり、第２の電荷蓄積時間Ｔ２による撮影は、第１の電荷蓄積時間Ｔ１による撮影の前に行われてもよい。

以上に述べたように本実施の形態にかかる撮像装置１は、異なる電荷蓄積時間で撮影された２つの画像Ｐ１及びＰ２を取得し、これら２枚の画像Ｐ１及びＰ２の間の輝度の違いを抽出するために画像Ｐ１及びＰ２の差分画像ＤＰを生成し、撮影画像ＤＰの垂直方向（画像Ｐ１及びＰ２の走査方向に対して垂直な方向）における輝度変動によってフリッカを検出することとした。

第２の電荷蓄積時間Ｔ２で得られる画像Ｐ２には、画像Ｐ２の１フレーム期間が光源の明滅周期の整数倍である場合にもフリッカによる横縞が出現する。したがって、本実施の形態にかかる撮像装置１によれば、画像Ｐ１及び画像Ｐ２の間の輝度の違いを利用することにより、画像Ｐ１及びＰ２の１フレーム期間が光源の明滅周期の整数倍であるか否かに関わらずフリッカ検出が可能である。このため、撮像装置１は、フリッカ検出精度のフレームレートへの依存性を少なくし、フリッカ検出精度を向上させることができる。

なお、特許文献２に開示された撮像装置は、フリッカの検出に要する撮影画像フレーム数が多いため、フリッカ検出に要する時間が長いという別の問題点を有する。（１）式に示したように、特許文献２に開示された撮像装置は、画像フレーム間での画素値の変化量を積算し、この変化量の積算値をフリッカ指標値とし、当該フリッカ指標値に対する閾値判定を行うことから、少なくとも３フレーム以上の画像を要する。またさらに、フリッカの検出に多数の画像フレームを要する特許文献２の手法は、被写体の移動による画素値の変化によって誤検出を生じ易いと考えられる。また、フリッカ指標値の変動がフリッカによるものであるか、被写体移動によるものであるかを判別するためには、フリッカ指標値をさらに多くのフレーム数に亘って計測する必要があることが、特許文献２に記載されている（例えば、特許文献２の第６３〜第７９段落）。このように、判定精度を向上させると、上述したフリッカ検出時間の長さに関する問題点が増長される結果となる。

これに対して、本実施の形態にかかる撮像装置１は、異なる電荷蓄積時間によって撮影された少なくとも２枚の画像フレームをもとにフリッカを検出可能である。つまり、フリッカ検出に要する画像フレーム数が少ないため、フリッカ検出に要する時間を短縮することができ、被写体の移動による画素値の変化に起因する誤検出を生じ難いという利点ある。

なお、撮像装置１を搭載したデジタルスチルカメラ等においては、撮像装置１によるフリッカ検出を電源起動時、ＣＭＯＳセンサ１０による撮影画像の輝度が大きく変化したとき、操作者の操作によって露出調整やデジタルスチルカメラにプリセットされた撮影モードの変更がおこなわれたとき等に行うとよい。また、撮像装置１を搭載したデジタルスチルカメラ等が動作している間は、電荷蓄積時間を交互に切り替えて画像Ｐ１及びＰ２の取得を繰り返し行い、撮像装置１によるフリッカ検出を継続的に繰り返し行ってもよい。このような構成によれば、撮影環境の変化に速やかに対応することができる。

また、撮像装置１は、画像Ｐ１及びＰ２の取得を複数回実行して複数の差分画像ＤＰを生成し、複数の差分画像ＤＰをもとにフリッカ有無の検出を行うようにしてもよい。例えば、差分画像ＤＰを４回生成し、差分画像ＤＰの垂直方向の輝度変動が４回連続して検出される場合にフリッカ有りを検出してもよい。このような構成によれば、フリッカ有無の検出精度を改善できる。

発明の実施の形態２．
上述した発明の実施の形態１にかかる撮像装置１を搭載したデジタルスチルカメラ等が、光源の明滅周期が第１の明滅周期（本実施の形態では１／１００秒）である環境・地域でのみ使用されるのであれば、図４に示したフリッカ検出手順により１００Ｈｚフリッカが発生していることを検出できる。しかしながら、発明の実施の形態１にかかる撮像装置１を搭載したデジタルスチルカメラ等が、光源の明滅周期が異なる複数の環境・地域で使用される場合を考慮すると、図４に示した手順によりフリッカが発生していることを検出できるが、光源のいかなる明滅周波数に基づくフリッカであるのかは検出できない。このため、図４の手順のみでは、フリッカを発生させないために、ＣＭＯＳセンサ１０の電荷蓄積時間や増幅器１２の利得などの設定変更を行うことができない。そこで、図４に示したフリッカ検出手順の変形例を図５及び６を用いて説明する。

図５及び６のフローチャートは、ＣＭＯＳセンサ１０の撮影画像にフリッカを生じさせる原因となる光源の明滅周波数を特定することで、フリッカを回避するためのＣＭＯＳセンサ１０や増幅器１２の設定変更を行うことを可能とするフリッカ検出手順の一例を示している。図５及び６の例では、光源の明滅周期が第１の明滅周期（１／１００秒）か第２の明滅周期（１／１２０秒）のいずれかである環境を例に説明する。

ステップＳ２０１では、電荷蓄積時間を光源の第１の明滅周期（１／１００秒）と第２の明滅周期（１／１２０秒）の公倍数である第１の電荷蓄積時間Ｔ１としてＣＭＯＳセンサ１０による撮影を行い、第１の画像Ｐ１を得る。つまり、第１の電荷蓄積時間Ｔ１は、第１の明滅周期で明滅する光源下及び第２の明滅周期で明滅する光源下のいずれの環境でも、ＣＭＯＳセンサ１０の撮影画像にフリッカを生じさせない電荷蓄積時間である。具体的には、第１の電荷蓄積時間Ｔ１は、１０Ｎ／１００秒、例えば１０／１００秒にセットされる。

ステップＳ２０２では、電荷蓄積時間Ｔ２としてＣＭＯＳセンサ１０による撮影を行い、第２の画像Ｐ２を得る。電荷蓄積時間Ｔ２は、光源の第１の明滅周期（１／１００秒）の倍数であり、かつ、第２の明滅周期（１／１２０秒）の倍数ではない時間である。つまり、第２の電荷蓄積時間Ｔ２は、第１の明滅周期で明滅する光源下では撮影画像にフリッカを生じさせず、第２の明滅周期で明滅する光源下では撮影画像にフリッカを発生させる電荷蓄積時間である。例えば、第２の電荷蓄積時間Ｔ２は、１２／１００秒とすればよい。

ステップＳ２０３では、差分画像生成部１７は、画像Ｐ１及びＰ２の間の差分画像ＤＰ１を生成する。ステップＳ２０４では、フリッカ検出部１８は、差分画像ＤＰ１の垂直方向の輝度変動の有無を検出する。

ここで、第１のケースとして、画像Ｐ１及びＰ２の撮影が、第１の明滅周期（１／１００秒）で明滅する光源下で行われた場合を考える。当該第１のケースでは、画像Ｐ１及びＰ２の両方ともフリッカが発生しない。このため、被写体の移動やノイズを除くと撮影画像Ｐ１及びＰ２は同一の画像となるから、差分画像ＤＰ１の垂直方向の輝度変動も検出されない。このため、当該第１のケースでは、フリッカ無しが検出される（ステップＳ２０５）。これにより、現在の撮影環境は、少なくとも電荷蓄積時間をＮ／１００秒とすれば撮影画像にフリッカが生じない環境（第１の明滅周期で明滅する光源下、またはフリッカの無い屋外等の環境）であると判定できる。

次に、第２のケースとして、画像Ｐ１及びＰ２の撮影が、第２の明滅周期（１／１２０秒）で明滅する光源下で行われた場合を考える。当該第２のケースでは、撮影画像Ｐ１にはフリッカが発生せず、画像Ｐ２にフリッカが発生する。このため、ステップＳ１０４では差分画像ＤＰ１の垂直方向の輝度変動が検出される。したがって、当該第２のケースでは、フリッカ発生が検出される（ステップＳ２０６）。この場合のフリッカが、第１の明滅周期（１／１００秒）で明滅する光源に起因するものでないことは、フリッカの発生原理から明らかである。このため、仮に、光源の明滅周期の候補が第１の明滅周期（１／１００秒）及び第２の明滅周期（１／１２０秒）の２通りのみであるならば、撮影画像Ｐ１及びＰ２の撮影環境が、第２の明滅周期（１／１２０秒）の光源下であると判断することができる。

したがって、上述したステップＳ２０１乃至Ｓ２０６によってフリッカの発生が検出されない場合は、ユーザの指示などよる通常の撮影を行う際のＣＭＯＳセンサ１０の電荷蓄積時間を、Ｎ／１００秒に設定すればよい。また、既に通常撮影時のＣＭＯＳセンサ１０の電荷蓄積時間がＮ／１００秒とされているなら、この設定を継続すればよい。一方、上述したステップＳ２０１乃至Ｓ２０６によってフリッカの発生が検出された場合は、通常撮影時のＣＭＯＳセンサ１０の電荷蓄積時間をＭ／１２０秒とすればよい。ここで、Ｎ及びＭは正の整数である。

上述したように、光源の明滅周期の候補が第１の明滅周期（１／１００秒）及び第２の明滅周期（１／１２０秒）の２通りのみであるならば、フリッカの発生が検出されたことによって（ステップＳ２０６）、画像Ｐ１及びＰ２の撮影環境が、第２の明滅周期（１／１２０秒）の光源下であると判断することができる。そこで、ステップＳ２０７では、通常撮影時のＣＭＯＳセンサ１０の電荷蓄積時間をＭ／１２０秒に設定する。その後、ステップＳ２０８以降の確認処理が不要と判断される場合には、ここでフリッカ検出処理を終了してもよい。

一方、ステップＳ２０８において、追加の確認処理が必要と判断される場合には、図６に示す確認処理に進む。ステップＳ２０９及びＳ２１０では、ＣＭＯＳセンサ１０の電荷蓄積時間をＭ／１２０秒及びＷ／１２０秒として撮影を行って画像Ｐ３及びＰ４を得る。ここで、Ｍ及びＷは正の整数である。更に、図５で説明したように、Ｍ／１２０秒及びＷ／１２０秒のうちのいずれか一方は、１／１００秒と１／１２０秒の公倍数となり、他方は１／１００秒と１／１２０秒の公倍数ではないように選択することが好ましい。

ステップＳ２１１では、画像Ｐ３及びＰ４の間の差分画像ＤＰ２が生成される。ステップＳ２１２では、生成された差分画像ＤＰ２の垂直方向の輝度変動が検出される。この場合、撮像装置１の故障等がなければ、差分画像ＤＰ２の垂直方向の輝度変動は検出されず、フリッカ検出処理を終了する（ステップＳ２１３）。一方、差分画像ＤＰ２の垂直方向の輝度変動が検出される例外的な場合には、もう一度ステップＳ２０１に戻り、再度フリッカ検出処理を実行する（ステップＳ２１４）。フリッカ検出処理の再実行の結果、再びステップＳ２１３にて輝度変動が検出された場合、撮像装置１の故障など何らかの異常な事象が発生していると考えられる。このため、撮像装置１の外部に何らかの通知信号を出力する。ここでの通知信号は、外部のプロセッサに異常事象の発生を通知するための電気信号であってもよいし、ユーザに通知するための表示や音声出力を行うための信号でもよい。

図５及び６は、フリッカの発生要因として想定される光源の明滅周期が２通りである場合を想定して説明した。したがって、フリッカの発生要因となる光源の明滅周期が３通り以上である場合は、図６のステップＳ２１２において差分画像ＤＰ２の垂直方向の輝度変動が検出される場合がある。この場合は、ＣＭＯＳセンサ１０の電荷蓄積時間を光源の第３の明滅周期に対応した時間に設定し、更に第３の明滅周期に対応した電荷蓄積時間でフリッカが発生しないことの確認処理を、図６の処理手順と同様に行えばよい。

以上に示した手順によりフリッカ検出処理を行ってフリッカが発生しない電荷蓄積時間を求めた後に、露光制御部１５が、フリッカが発生しない電荷蓄積時間による通常の撮影を行うよう、タイミングジェネレータ１６のパルス送出タイミング、増幅器１２の利得などを設定することにより、フリッカのない撮影画像を得ることができる。これにより、この撮像装置１を搭載したデジタルスチルカメラなどの使用者の利便性を向上させることができる。なお、フリッカの検出処理を行う時期は、電源起動時など本発明の実施の形態１で述べた種々の時期とすればよい。

また、図５では、２回の撮影により得られる画像Ｐ１及びＰ２の差分画像ＤＰの輝度変動を検出することによってフリッカ有無を検出する例を示した。しかしながら、上述した発明の実施の形態１と同様に、画像Ｐ１の取得とＰ２の取得を交互に繰り返し行いフリッカ検出を継続的に繰り返し行ってもよい。このような構成によれば、撮影環境の変化に速やかに対応することができる。また、上述した発明の実施の形態１と同様に、撮像Ｐ１及びＰ２の取得を複数回実行して複数の差分画像ＤＰを生成し、複数の差分画像ＤＰをもとにフリッカ有無の検出を行うようにしてもよい。このような構成によれば、フリッカ有無の検出精度を向上させることができる。なお、図５に限らず図６も同様であるのは言うまでもない。

発明の実施の形態３．
上述した発明の実施の形態１又は２にかかる撮像装置１は、異なる電荷蓄積時間で撮影された２つの画像Ｐ１及びＰ２を用いて生成される差分画像ＤＰの輝度変動の有無によって、フリッカを検出する構成を説明した。本実施の形態にかかる撮像装置２は、さらに、差分画像ＤＰの画面垂直方向における輝度変動の周期（画素値の変動周期）に基づいて、光源の明滅周波数（つまりフリッカ周波数）の検出まで行うよう構成されている。このような構成は、撮像装置２が搭載されたデジタルスチルカメラ等が、日本国内のように商用交流電源の電源周波数が５０Ｈｚと６０Ｈｚの２通りであり、ＣＭＯＳセンサ１０の撮影画像にフリッカを発生させる光源の明滅周波数が２通り存在する地域で使用される場合に特に有効である。以下では、本実施の形態にかかる撮像装置２の構成及びフリッカ検出手順について詳しく説明する。

撮像装置２のブロック図を図７に示す。図７において、フリッカ検出部２８を除く構成要素は、上述した撮像装置１が有するものと同一であるため、これらの構成要素には図１と同一の符号を付して、これらの構成要素に関する詳細な説明を省略する。なお、撮像装置２が有する露光制御部１５は、ＣＭＯＳセンサ１０の電荷蓄積時間を２つの電荷蓄積時間Ｔ１及びＴ２の間で交互に切り替えて撮影を実行する点において発明の実施の形態１にかかる撮像装置１と同様である。ただし、このときの電荷蓄積時間Ｔ１及びＴ２は、それぞれ、光源の第１の明滅周期（例えば１／１００秒）及び第２の明滅周期（例えば１／１２０秒）に応じて設定される。以下、本実施の形態では、光源の第１の明滅周期が１／１００秒であって、これに応じた第１の電荷蓄積時間Ｔ１がＮ／１００秒であるとして説明する。また、光源の第２の明滅周期が１／１２０秒であって、これに応じた第２の電荷蓄積時間Ｔ２がＭ／１２０秒であるとして説明する。ここで、Ｎ及びＭは正の整数である。ただし、第２の電荷蓄積時間Ｔ２は、光源の第１の明滅周期"１／１００秒"の整数倍以外の値に決定される。

フリッカ検出部２８は、差分画像生成部１７により生成された差分画像ＤＰを入力し、差分画像ＤＰの画面垂直方向における画素値の変動（輝度の変動）に基づいて、画像Ｐ１又はＰ２のフリッカ発生を検出する。さらに、フリッカ検出部２８は、差分画像ＤＰの画面垂直方向における輝度変動の周期を解析することにより、画像Ｐ１及びＰ２のどちらにフリッカが発生しているか、言い換えると、撮影環境が第１の明滅周期（１／１００秒）及び第２の明滅周期（１／１２０秒）のいずれの光源下であるかを検出する。すなわち、フリッカ検出部２８は、差分画像ＤＰの輝度変動の周波数（つまりフリッカ周波数）を検出するフリッカ周波数検出部を有しているといえる。このため、図７では、図１との違いを明瞭にすべく、フリッカ検出部２８のブロック内にフリッカ周波数検出部内蔵と記載している。

第１の電荷蓄積時間Ｔ１をＮ／１００秒、第２の電荷蓄積時間Ｔ２をＭ／１２０秒として差分画像ＤＰを生成した場合、発明の実施の形態１において説明したように、差分画像ＤＰの画面垂直方向の輝度変動の有無を検出することによって、フリッカが発生しているか否かを検出可能である。しかしながら、単に、差分画像ＤＰの輝度変動の有無を検出するのみでは、撮像装置２の撮影環境が１００Ｈｚフリッカの光源下であるのか１２０Ｈｚフリッカの光源下であるのかについて判定不能である。このため、本実施の形態では、差分画像ＤＰの輝度変動の周期を以下のように解析して、撮影環境のフリッカ周波数を判定する。

図８Ａ乃至Ｃは、差分画像ＤＰの画面垂直方向における輝度変動の波形を示す概念図である。図８Ａは、画像Ｐ１及びＰ２のいずれにもフリッカが発生していない場合の差分画像ＤＰの輝度変動を示している。この場合、撮影画像Ｐ１及びＰ２は、被写体の移動やノイズを除くと同一画像となる。このため、差分画像ＤＰの画素値（輝度）は、理想的には図８Ａのように一定の直流波形となる。

図８Ｂは、光源の明滅周波数が１００Ｈｚであって、画像Ｐ２にフリッカが発生する場合における差分画像ＤＰの輝度変動を示している。この場合の差分画像ＤＰの画素値（輝度）の変動周波数は、光源の明滅周波数（１００Ｈｚ）並びに画像Ｐ１及びＰ２の撮影時のフレームレートに応じて定まる。

また、図８Ｃは、光源の明滅周波数が１２０Ｈｚであって撮影画像Ｐ１にフリッカが発生する場合における差分画像ＤＰの輝度変動を示している。この場合の差分画像ＤＰの画素値（輝度）の変動周波数は、光源の明滅周波数（１２０Ｈｚ）並びに撮影画像Ｐ１及びＰ２の撮影時のフレームレートに応じて定まる。

図８Ｂ及びＣに示すように、差分画像ＤＰの輝度変動の周波数は、光源の明滅周波数に比例する。このため、差分画像ＤＰの輝度変動の周期又は周波数を解析することで、１００Ｈｚフリッカ及び１２０Ｈｘフリッカのいずれが発生しているかを判定できる。

フリッカ検出部２８における差分画像ＤＰの垂直方向の輝度変動周波数の解析は、デジタルマッチドフィルタを用いて行うことができる。具体的には光源の明滅周波数が１００Ｈｚ（１００Ｈｚフリッカ）である場合の差分画像ＤＰの輝度変動を示す基準波形Ａと、光源の明滅周波数が１２０Ｈｚ（１２０Ｈｚフリッカ）である場合の差分画像ＤＰの輝度変動を示す基準波形Ｂを予め準備しておく。次に、観測された差分画像ＤＰの輝度変動波形と基準波形Ａ及びＢとの相互相関をデジタルマッチドフィルタにより算出する。そして、基準波形Ａ及びＢのどちら観測された差分画像ＤＰの輝度変動波形に近いかを、算出された相互相関値に従って判定すればよい。

また、そのほかにも、フリッカ検出部２８は、差分画像ＤＰのフーリエ変換を実行し、差分画像ＤＰの空間周波数スペクトルをもとに差分画像ＤＰの輝度変動の周波数を検出するよう構成されてもよい。また、ＣＭＯＳセンサ１０のフレームレートが大きい場合は、画像Ｐ１又はＰ２に含まれるフリッカによる横縞の数が相対的に小さくなる。このような場合は、差分画像ＤＰに含まれるフリッカによる横縞の垂直方向のピクセル数を計測し、得られたピクセル数が１００Ｈｚフリッカによる横縞と１２０Ｈｚフリッカによる横縞のどちらに近いかによってフリッカ周波数を判定してもよい。

続いて以下では、撮像装置２におけるフリッカ検出手順を図９に示すフローチャートを用いて説明する。ステップＳ３０１では、露光制御部１５の制御によって、電荷蓄積時間を第１の電荷蓄積時間Ｔ１（Ｎ／１００秒）としてＣＭＯＳセンサ１０が撮影を行い、第１の画像Ｐ１を得る。次に、ステップＳ３０２では、露光制御部１５は、ＣＭＯＳセンサ１０の電荷蓄積時間を第２の電荷蓄積時間Ｔ２（Ｍ／１２０秒）に切り替え、ＣＭＯＳセンサ１０は電荷蓄積時間Ｔ２で撮影を行い第２の画像Ｐ２を得る。ステップＳ３０３では、差分画像生成部１７は、画像Ｐ１及びＰ２の間の差分画像ＤＰを生成する。ステップＳ３０４では、フリッカ検出部２８は、差分画像ＤＰの垂直方向の輝度変動周波数ｆｓを計測する。

フリッカ検出部２８は、計測された輝度変動周波数ｆｓが略ゼロ、つまり、差分画像ＤＰの輝度変動波形が直流波形に近い場合は、"フリッカ無し"を検出する（ステップＳ３０５及びＳ３０６）。また、計測された輝度変動周波数ｆｓが光源の１００Ｈｚフリッカに相当する周波数である場合、フリッカ検出部２８は、光源の明滅に起因する１００Ｈｚフリッカが画像Ｐ２に発生していること、言い換えると、光源の明滅に起因する１００Ｈｚフリッカが発生する撮影環境であることを検出する（ステップＳ３０５及びＳ３０７）。また、計測された輝度変動周波数ｆｓが光源の１２０Ｈｚフリッカに相当する周波数である場合、フリッカ検出部２８は、光源の明滅に起因する１２０Ｈｚフリッカが画像Ｐ１に発生していること、言い換えると、光源の明滅に起因する１２０Ｈｚフリッカが発生する撮影環境であることを検出する（ステップＳ３０５及びＳ３０８）。

上述したように、本実施の形態にかかる撮像装置２は、光源の２通りの明滅周波数のそれぞれに同調した２つの電荷蓄積時間Ｔ１及びＴ２によって画像Ｐ１及びＰ２を取得し、画像Ｐ１及びＰ２の間の差分画像ＤＰを生成する。さらに、撮像装置２は、撮影画像Ｐ１及びＰ２の走査方向に対して垂直な方向である差分画像ＤＰの画面垂直方向の輝度変動の周期又は周波数を解析することで、２通りの明滅周波数（例えば、１００Ｈｚと１２０Ｈｚ）いずれに起因するフリッカであるかを検出するよう構成される。なお、フリッカ検出後の露光制御部１５などにおける設定変更、通常撮影への対応などは、上述した発明の実施の形態１及び２で記載した内容とほぼ同様であるので、ここでは新たな説明を割愛する。

このような構成により、フリッカの検出だけでなくフリッカ周波数の検出までを行うことができる。また、このような構成であれば、５０Ｈｚ及び６０Ｈｚの２通りの電源周波数が使用される日本国内のような地域に限らず、ヨーロッパ等の電源周波数が５０Ｈｚのみである地域及び北米等の電源周波数６０Ｈｚのみの地域においてもフリッカ検出が可能である。このため、撮像装置２は、使用地域によらず汎用的に使用可能である。

なお、撮像装置２を搭載したデジタルスチルカメラ等においてフリッカの検出処理を行う時期は、電源起動時など本発明の実施の形態１で述べた種々の時期とすればよい。

また、撮像装置２は、画像Ｐ１及びＰ２の取得を複数回実行して複数の差分画像ＤＰを生成し、複数の差分画像ＤＰをもとにフリッカ有無の検出及びフリッカ周波数の検出を行うようにしてもよい。例えば、差分画像ＤＰを４回生成し、差分画像ＤＰの垂直方向の輝度変動が４回連続して検出され、かつ、そのフリッカ周波数が一定と判断される場合にフリッカ有りを検出してもよい。このような構成によれば、フリッカ有無及びフリッカ周波数の誤判定を抑制し、フリッカ有無及びフリッカ周波数の検出精度を向上させることができる。

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明のスコープ及び要旨を逸脱しない範囲において変形・変更が可能である。

なお、上述した本発明の実施の形態によって支持される本発明のスコープには、以下に列挙する装置及び方法も包含される。

本発明の他の態様１．
撮像素子と、
第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間に調整された前記撮像素子による第１の画像の撮影を制御するとともに、前記第１の電荷蓄積時間とは異なる第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を制御するよう構成された制御部と、
前記第１及び第２の画像の間の差分画像を生成するよう構成された差分画像生成部と、
前記第１及び第２の画像の走査方向に対して垂直な方向における前記差分画像の画素値の変動に基づいて、前記第２の撮影画像におけるフリッカ発生を検出するよう構成されたフリッカ検出部と、
を備え、
前記差分画像は、前記第１の画像の水平方向の画素値の積算値と、前記第２の画像の水平方向の画素値の積算値との差分を演算することにより生成される、撮像装置。

本発明の他の態様２．
前記差分画像生成部による前記差分画像の生成は、前記第１及び第２の画像の一部分について行われる、前記本発明の他の態様１にかかる撮像装置。

本発明の他の態様３．
撮像素子と、
第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間に調整された前記撮像素子による第１の画像の撮影を制御するとともに、前記第１の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせる第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を制御するよう構成された制御部と、
前記第１及び第２の画像の間の輝度の違いに基づいて、前記第２の画像におけるフリッカ発生を検出するフリッカ検出部と、
を備え、
前記第１の電荷蓄積時間は１／１００秒の整数倍であり、前記第２の電荷蓄積時間は１／１２０秒の整数倍である、撮像装置。

本発明の他の態様４．
撮像素子の電荷蓄積時間を、光源の第１の明滅周期に同調しており、前記第１の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間と前記第１の電荷蓄積時間とは異なる第２の電荷蓄積時間との間で切り替えて、前記第１の電荷蓄積時間に調整された前記撮像素子による第１の画像の撮影と、前記第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を行うこと、および
前記第１及び第２の画像の間の輝度の違いに基づいて、前記第２の撮影画像におけるフリッカ発生を検出すること、
を備え、
前記第１の電荷蓄積時間による前記撮影と前記第１の電荷蓄積時間による前記撮影は交互に繰り返し行われ、
前記第２の画像における前記フリッカ発生の検出は、交互に繰り返し撮影される前記第１及び第２の画像を用いて繰り返し行われる、フリッカ検出方法。

本発明の他の態様５．
撮像素子の電荷蓄積時間を、光源の第１の明滅周期に同調しており前記第１の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間と、前記第１の電荷蓄積時間とは異なる第２の電荷蓄積時間との間で切り替えて、前記第１の電荷蓄積時間に調整された前記撮像素子による第１の画像の撮影と、前記第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を行うこと、
前記第１及び第２の画像の間の差分画像を生成すること、及び
前記第１及び第２の画像の走査方向に対して垂直な方向における前記差分画像の画素値の変動に基づいて、前記第２の撮影画像におけるフリッカ発生を検出すること、
を備える、フリッカ検出方法。

本発明の他の態様６．
前記差分画像は、前記第１及び第２の画像の間で、対応する各画素間の画素値の差分を演算することにより生成される前記本発明の他の態様５にかかるフリッカ検出方法。

本発明の他の態様７．
前記差分画像は、前記第１の画像の水平方向の画素値の積算値と、前記第２の画像の水平方向の画素値の積算値との差分を演算することにより生成される、前記本発明の他の態様５にかかるフリッカ検出方法。

本発明の他の態様８．
前記差分画像は、前記第１及び第２の画像の一部分に関して生成される、前記本発明の他の態様６又は７にかかるフリッカ検出方法。

本発明の他の態様９．
前記第２の電荷蓄積時間は、前記第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせる電荷蓄積時間であって、かつ、前記光源の第２の明滅周期に同調しており、前記第２の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせない電荷蓄積時間である、前記本発明の他の態様５にかかるフリッカ検出方法。

本発明の他の態様１０．
前記第１の電荷蓄積時間は１／１００秒の整数倍であり、前記第２の電荷蓄積時間は１／１２０秒の整数倍である、前記本発明の他の態様９にかかるフリッカ検出方法。

本発明の他の態様１１．
前記フリッカ発生の検出は、前記第１及び第２の画像の走査方向に対して垂直な方向での前記差分画像中の画素値の変動周期又は変動周波数に応じて、前記第１又は第２の画像のどちらにフリッカが発生しているかを検出することを含む、前記本発明の他の態様９にかかるフリッカ検出方法。

本発明の他の態様１２．
撮像素子と、
第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間に調整された前記撮像素子による第１の画像の撮影、及び、前記第１の明滅周期と同調しておらず、前記第１の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせる第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を制御する手段と、
前記第１及び第２の画像の間の差分画像を生成する手段と、
前記差分画像に基づいて、前記第２の撮影画像におけるフリッカ発生を検出する手段と、
を備える、撮像装置。

１、２ 撮像装置
１０ ＣＭＯＳセンサ
１１ ＣＤＳ（Correlated double sampling）回路
１２ 増幅器
１３ Ａ／Ｄ変換器
１４ 画素値積算部
１５ 露光制御部
１６ タイミングジェネレータ
１７ 差分画像生成部
１８、２８ フリッカ検出部

Claims (9)

1. 撮像素子と、
   第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間に調整された前記撮像素子による第１の画像の撮影と、前記第１の電荷蓄積時間とは異なる第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を制御するよう構成された制御部と、
   前記第１及び第２の画像の間の輝度の違いに基づいて、前記第２の画像におけるフリッカ発生を検出するよう構成されたフリッカ検出部と、
   を備える撮像装置。
2. 前記制御部は、前記撮像素子が前記第１の電荷蓄積時間による撮影と、前記第２の電荷蓄積時間による撮影とを交互に繰り返し実行するよう制御する、請求項１に記載の撮像装置。
3. 前記第１及び第２の画像の間の差分画像を生成するよう構成された差分画像生成部をさらに備え、
   前記フリッカ検出部は、前記第１及び第２の画像の走査方向と垂直な方向における前記差分画像の画素値の変動に基づいて、前記第２の画像におけるフリッカ発生を検出する、請求項１に記載の撮像装置。
4. 前記差分画像は、前記第１及び第２の画像の間で、対応する各画素間の画素値の差分を演算することにより生成される、請求項３に記載の撮像装置。
5. 前記第１及び第２の画像の間の差分画像を生成するよう構成された差分画像生成部をさらに備え、
   前記フリッカ検出部は、前記第１及び第２の画像の走査方向と垂直な方向における前記差分画像の画素値の変動に基づいて、前記第２の画像におけるフリッカ発生を検出する、請求項２に記載の撮像装置。
6. 前記差分画像は、前記第１及び第２の画像の間で、対応する各画素間の画素値の差分を演算することにより生成される、請求項５に記載の撮像装置。
7. 前記第２の電荷蓄積時間は、前記第１の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせる電荷蓄積時間であって、かつ、前記第２の電荷蓄積時間は、前記光源の第２の明滅周期に同調しており、前記第２の明滅周期で明滅する前記光源下での撮影画像にフリッカを生じさせない電荷蓄積時間である請求項１に記載の撮像装置。
8. 前記第１及び第２の画像の間の差分画像を生成するよう構成された差分画像生成部をさらに備え、
   前記フリッカ検出部は、前記第１及び第２の画像の走査方向と垂直な方向における前記差分画像の画素値の変動周期又は変動周波数に応じて、前記第１及び第２の画像のどちらにフリッカが発生しているかを検出する、請求項７に記載の撮像装置。
9. 第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間に調整された撮像素子による第１の画像の撮影を行うこと、
   前記第１の電荷蓄積時間とは異なる第２の電荷蓄積時間に調整された前記撮像素子による第２の画像の撮影を行うこと、及び
   前記第１及び第２の画像の間の輝度の違いに基づいて、前記第２の画像におけるフリッカの発生を検出すること、
   を備える、フリッカ検出方法。

Images