JP2021182674A - 検出装置、撮像装置、制御方法及びプログラム - Google Patents

Abstract

【課題】簡易にフリッカの検出精度を向上させる。【解決手段】検出装置は、異なるタイミングで測定された明るさ信号に基づいて、撮像環境に配置された光源に起因するフリッカの有無を検出する検出装置であって、複数の明るさ信号を取得する取得手段と、取得手段により取得された明るさ信号の信号レベルを補正する補正手段と、補正手段により補正された明るさ信号の信号レベルに基づいて、フリッカの有無を検出する検出手段と、を有し、補正手段は、所定の周期に対応する時間をおいて測定された１組の明るさ信号の信号レベルに基づいて、該１組の明るさ信号の間に測定された他の明るさ信号の信号レベル、または、他の明るさ信号の信号レベルを評価する際の閾値を補正する。【選択図】図７

Description

本発明は、検出装置、撮像装置、制御方法及びプログラムに関し、特に撮像環境下におけるフリッカの検出技術に関する。

近年、デジタルカメラ等の撮像装置は、撮像素子のセンシング性能の向上と画像処理技術の発達に伴い、高感度での撮像が可能になっている。これにより、屋内等の比較的暗い撮像環境であっても、高速なシャッタスピードでの撮像が可能となり、ブレを低減した好適な撮像画像を得ることができる。

ところで、屋内での撮像では、撮像環境内に蛍光灯等の商用電源を用いた光源が配置されることがある。このような光源は、商用電源に採用される周波数に応じて明滅する（フリッカが発生する）ため、高速なシャッタスピードで撮像した際に、１つの撮像画像内で、あるいは、連続して撮像された撮像画像間で、露出や色温度のばらつきやムラが発生し得る。特許文献１には、連続して撮像された検出用の画像群について商用電源の周波数に同期した輝度変化が生じているかを検出することで、フリッカの検出及びフリッカの影響を低減した条件での撮像を行う技術が開示されている。

一方、特許文献１の方式では、検出用の画像群の撮像期間にパンニング等の撮像画角の変更が生じた場合、これに起因した輝度変化も発生するため、フリッカの検出精度が低下し得る。特許文献２には、検出用の画像群について列方向の輝度比較を行って同一の被写体の像が表れる位置を特定し、画像間で該被写体の像の位置が一定となるように位置調整を行った上で輝度比較を行うことで、フリッカを検出する技術が開示されている。即ち、特許文献２によれば、撮像画角の変更に起因する輝度変化を除外した上で、フリッカの検出が行われるため、検出精度が向上する。

特許第６２２５０００号公報 特許第５８６６２００号公報

しかしながら、特許文献２の方式は、画像解析や被写体の像を位置合わせした画像の生成等、演算負荷が高く、時間を要する処理が必要になるため、製造コストや操作性の面で好適ではない。

本発明は、上述の問題点に鑑みてなされたものであり、簡易にフリッカの検出精度を向上させる検出装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の検出装置は、異なるタイミングで測定された明るさ信号に基づいて、撮像環境に配置された光源に起因するフリッカの有無を検出する検出装置であって、複数の明るさ信号を取得する取得手段と、取得手段により取得された明るさ信号の信号レベルを補正する補正手段と、補正手段により補正された明るさ信号の信号レベルに基づいて、フリッカの有無を検出する検出手段と、を有し、補正手段は、所定の周期に対応する時間をおいて測定された１組の明るさ信号の信号レベルに基づいて、該１組の明るさ信号の間に測定された他の明るさ信号の信号レベル、または、他の明るさ信号の信号レベルを評価する際の閾値を補正することを特徴とする。

このような構成により本発明によれば、簡易にフリッカの検出精度を向上させることが可能となる。

本発明の実施形態に係るデジタルミラーレスカメラの機能構成を例示した図 本発明の実施形態に係るデジタルミラーレスカメラの起動時処理を例示したタイミングチャート 本発明の実施形態に係るカメラ本体１００の防振部１０７のキャリブレーション動作を説明するための図 本発明の実施形態に係るカメラ本体１００の防振部１０７のキャリブレーション動作を説明するための別の図 本発明の実施形態に係るカメラ本体１００で実行されるフリッカ検出処理を説明するための図 本発明の実施形態に係るフリッカ検出処理中の画角変動を例示した図 本発明の実施形態に係るフリッカ検出処理における輝度変化の推定を説明するための図 本発明の実施形態に係るフリッカ検出処理における輝度変化の推定を説明するための別の図 本発明の実施形態に係るフリッカ検出処理における輝度変化の推定を説明するためのさらに別の図 本発明の変形例１に係るデジタルミラーレスカメラの機能構成を例示した図

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、検出装置の一例としての、撮像環境に配置された光源に起因してフリッカの発生有無を検出可能な機能を備えたデジタルミラーレスカメラに、本発明を適用した例を説明する。しかし、本発明は、デジタルミラーレスカメラのような撮像装置に限らず、撮像環境に配置された光源に起因してフリッカの発生有無を検出することが可能な任意の機器に適用可能である。

《デジタルミラーレスカメラの構成》
図１は、本発明の実施形態に係るデジタルミラーレスカメラの機能構成を示すブロック図である。本実施形態のデジタルミラーレスカメラは、カメラ本体１００に撮像レンズ２００が装着され、これらそれぞれの制御部が通信接続することで共働可能に構成されている。

〈カメラ本体１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、カメラ本体１００が備える各ブロックの動作を制御する。カメラ制御部１０１は、例えば記録媒体１０２に記録されている各ブロックの動作プログラムを読み出し、ワークメモリ１０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体１０２は、例えばフラッシュＲＯＭ等の書き換え可能な不揮発性メモリである。記録媒体１０２は、カメラ本体１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。一方、ワークメモリ１０３は、書き換え可能な揮発性メモリである。ワークメモリ１０３は、カメラ本体１００が備える各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データの一時的な記憶領域、あるいは各種処理を行うための演算領域としても用いられる。

撮像素子１０６は、例えばＣＣＤやＣＭＯＳセンサ等の素子であり、撮像レンズ２００を介して撮像面に結像された被写体の光学像を光電変換することで撮像を行い、アナログ画像信号を出力する。撮像素子１０６により出力されたアナログ画像信号は、画像処理部１０８においてＤ／Ａ変換処理や現像処理を含む種々の画像処理が適用されることで、デジタル画像信号（以下、単に撮像画像として言及する）に変換される。撮像素子１０６は、赤外カットフィルタやローパスフィルタ等を含むものであってよい。決定した露出条件に係るシャッタスピードの情報に基づいてカメラ制御部１０１がシャッタ１０５の開放制御を行うことで、撮像素子１０６は所定の時間露出され、被写体の光学像に係る光束を受光する。

ディスプレイ１０９は、例えばＴＦＴ液晶パネル等の表示装置である。ディスプレイ１０９は、カメラ本体１００が撮像モードに設定されて起動されている場合に、撮像により得られた撮像画像を順次表示することでライブビューを実現し、撮像前の画角調整を可能ならしめる電子ビューファインダとして機能する。またディスプレイ１０９は、各種の撮像設定の情報等をデジタルミラーレスカメラのユーザに提示することが可能であってよい。ディスプレイ１０９がタッチパネル機能を備える場合は、表示されたアイコン等に対するユーザの操作入力がなされた場合に、該操作入力が検出されてカメラ制御部１０１に伝送される。ディスプレイ１０９の他、デジタルミラーレスカメラは、ＥＶＦ１１０を備えており、ユーザはＥＶＦ１１０に接眼して覗き込むことでも同様に撮像前の画角調整を目視で行える。

本実施形態のデジタルミラーレスカメラは、手ブレ等のカメラ本体１００に生じた位置・姿勢の変化に起因する撮像画像への影響を低減すべく、カメラブレ検出部１０４及び防振部１０７によって防振機能を実現する。より詳しくは、手ブレが生じた場合には、撮像素子１０６上の被写体像の結像位置が変化する（像ブレ）ことによって、撮像画像における該被写体の像がぼける等の画質低下が発生する。このため、防振部１０７は、撮像素子１０６自体の位置を移動させることで像ブレを低減する。カメラブレ検出部１０４は、例えばジャイロセンサ等の角速度センサを有し、防振に必要なカメラ本体１００のブレ情報をカメラ制御部１０１に伝送する。カメラ制御部１０１は、得られたブレ情報に基づいて、像ブレを低減する撮像素子１０６の位置変更（像ブレを打ち消す方向への移動）について駆動量を導出し、防振部１０７に伝送する。

〈撮像レンズ２００の構成〉
レンズ制御部２０１は、例えば不図示のＲＯＭやＲＡＭを備えたマイクロチップ等の制御装置であり、撮像レンズ２００が有する各ブロックの動作を制御する。またレンズ制御部２０１は、カメラ制御部１０１と通信接続することで、焦点位置・絞り制御や防振制御に係る情報のやり取りを行う。

フォーカシングレンズ２０３は、焦点位置の情報に基づいて光軸方向に移動されることで、撮像画像の焦点状態を変化させる。また絞り２０５は、絞り値に応じて開放状態が変更されることで、カメラ本体１００の撮像素子１０６に入射する光束の光量を調整する。

本実施形態のデジタルミラーレスカメラでは、カメラ本体１００と同様に、撮像レンズ２００にも手ブレに起因する撮像画像への影響を低減するための構成が備えられているものとする。防振レンズ２０４は、被写体像の撮像素子１０６上の結像位置を変更するレンズであり、光軸と直交する面内において、垂直方向及び水平方向に駆動可能に構成される。防振レンズ２０４の駆動量は、例えばジャイロセンサ等の角速度センサを有するレンズブレ検出部２０２からのブレ情報に基づいて、レンズ制御部２０１によって導出されるものであってよい。

なお、本実施形態では説明を簡略化するため、防振部１０７による手ブレ補正と防振レンズ２０４による手ブレ補正とは、それぞれカメラブレ検出部１０４、レンズブレ検出部２０２が検出したブレ情報に基づいて行われるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、いずれか一方のブレ情報に基づいて両者の手ブレ補正が行われるものであってもよいし、双方のブレ情報に基づいて両者の手ブレ補正が行われるものであってもよい。

本実施形態ではハードウェアとしてカメラ本体１００または撮像レンズ２００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、少なくとも一部のブロックの処理は該ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《起動時処理》
以下、本発明に係るフリッカ検出の動作について、デジタルミラーレスカメラを撮像モードで起動する際の起動時処理を例に説明する。図２は、デジタルミラーレスカメラの起動時における、各種制御のタイムシーケンスを示している。図２において、横軸は経過時間を示し、縦方向への立ち上がりが各制御の開始、立ち下がりが各制御の終了のタイミングを示している。

図２に示されるように、起動後時刻Ｔ１にて、不図示の電源部から各ブロックへの通電が開始される。続く時刻Ｔ２にて、カメラ制御部１０１と撮像素子１０６との通信が開始され、撮像素子１０６の初期化動作が実行される。また時刻Ｔ３にて、撮像素子１０６の初期化動作に並行して、防振部１０７の初期化に係るキャリブレーションが開始される。

ここで、防振部１０７のキャリブレーションについて図３及び４を参照して説明する。図３に示されるように、撮像レンズ２００を介して入射する光束の有効像円３０１は、本実施形態の撮像素子１０６よりも大きいサイズとなるよう構成されている。より詳しくは、有効像円３０１は、光軸中心と撮像素子１０６の中心とが重なっている際に、撮像素子１０６よりも水平方向に±Ｘ[mm]、垂直方向に±Ｙ[mm]大きい範囲が含まれるように構成される。このとき、防振部１０７による撮像素子１０６の駆動可能領域は、水平方向に±Ｘ[mm]、垂直方向に±Ｙ[mm]の範囲となる。

従って、防振部１０７のキャリブレーション時には、防振部１０７は、撮像素子１０６の駆動制御に用いる不図示の位置検出センサの出力値を、撮像素子１０６を当該駆動可能領域の各方向について一端から他端までの移動を含む動作を行わせながら測定する。該動作は、例えば図４に示されるような動作１〜３であるものとして説明するが、これらに限られるものでないことは理解されよう。キャリブレーションでは、移動動作が行われる際の位置検出センサの出力値が想定する範囲の値を示さない場合は、位置検出センサの出力値にオフセットと増幅率を設定し、既定の範囲の値を示すように調整がなされる。これにより、防振部１０７に意図した防振動作を行わせることが可能になる。

撮像素子１０６の初期化動作が時刻Ｔ４で終了すると、撮像素子１０６による撮像が可能になるため、カメラ制御部１０１がフリッカ検出処理を開始する。フリッカ検出処理とは、撮像環境に配置された光源について、使用されている商用電源に起因した明滅（フリッカ）が発生しているか否かを検出する処理であり、本実施形態では該処理期間中に間欠的に取得された撮像画像に基づいて行われる。また、本実施形態ではカメラ制御部１０１がフリッカ検出処理を行うものとして説明するが、本発明の実施はこれに限られるものではなく、画像処理部１０８が該処理を行うものであってもよい。

フリッカ検出処理が時刻Ｔ５で終了すると、カメラ制御部１０１は検出結果に応じて、ライブビュー表示に係る露出条件の設定を行う。より詳しくは、フリッカが検出された場合には、カメラ制御部１０１は検出結果に基づいて該フリッカの影響を低減するシャッタスピードを決定し、撮像設定を変更して撮像素子１０６に間欠的な撮像画像の出力を行わせる。そして、防振部１０７のキャリブレーションが時刻Ｔ６で終了すると、ライブビューマスクが解除され、撮像画像のディスプレイ１０９またはＥＶＦ１１０へのライブビュー表示が開始される。

なお、本実施形態では撮像素子１０６の初期化動作が防振部１０７のキャリブレーションよりも先に開始されるものとして説明するが、これらの動作の処理順は如何様であってもよい。本実施形態では、撮像画像に基づいてフリッカ検出処理を行う構成において、起動からライブビュー表示開始までの時間を短縮すべく、撮像素子１０６の初期化動作及びフリッカ検出処理を、防振部１０７のキャリブレーションと並行して行っているにすぎない。

《フリッカ検出処理》
次に、本実施形態のカメラ制御部１０１が実行するフリッカ検出処理について、具体的な処理を説明する。本実施形態ではカメラ制御部１０１は、撮像素子１０６が所定のフレームレートで撮像を行って得られた複数の撮像画像群を参照し、その輝度に基づいてフリッカの発生の有無を検出する。以下の説明では、撮像画像の輝度を、該撮像画像の全画素が示す輝度成分の信号レベル（輝度レベル／輝度値）の平均値であるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、撮像画像の輝度は、該撮像画像の少なくとも一部の領域の輝度成分の信号レベルに基づいて導出された値であってもよい。

〈像ブレなし時のフリッカ検出〉
まず、フリッカ検出に係る複数の撮像画像群の撮像中に、像ブレが発生していない態様について、検出処理の概要を説明する。即ち、処理対象となる複数の撮像画像群において、静的な被写体の像が表れる画像中の位置に変化がなく、画角は固定されている。

上述したように、商用電源を光源の電源として用いている場合、所定の周波数で電流の正負が反転する波で駆動するため、該周波数に対応して光源が明滅することになる。一般的に、商用電源は５０Ｈｚまたは６０Ｈｚで運用されているため、フリッカ検出は、連続して撮像された複数の撮像画像群において、検出対象の周期の輝度変化（明滅）が発生しているか否かに基づいて判断する。例えば、撮像環境に配置された光源が５０Ｈｚの周波数の商用電源で駆動しているのであれば、複数の撮像画像群には１００Ｈｚ（１／１００[s]周期相当）の明滅が表れる。また例えば、撮像環境に配置された光源が６０Ｈｚの周波数の商用電源で駆動しているのであれば、複数の撮像画像群には１２０Ｈｚ（１／１２０周期相当）の明滅が表れる。

標本化定理によれば、１００Ｈｚの波を復元するためには２００Ｈｚ以上の周波数で観測を行う必要があり、１２０Ｈｚの波を復元するためには２４０Ｈｚ以上の周波数で観測を行う必要がある。従って、１回の観測でその双方の有無を判断するためには、１００Ｈｚと１２０Ｈｚの公倍数の周波数で観測を行う必要がある。ここで、１００Ｈｚと１２０Ｈｚの公倍数であり、２００Ｈｚ以上、２４０Ｈｚ以上の条件を満たす最小の周波数は６００Ｈｚであるため、本実施形態の撮像素子１０６はフリッカ検出処理に際して６００Ｈｚで撮像を行う。即ち、６００Ｈｚの撮像により得られた複数の撮像画像群には、周波数５０Ｈｚと６０Ｈｚの商用電源による光源の明滅に起因したフリッカ現象が、その輝度変化として表れるため、そのいずれが発生しているか、またはいずれも発生していないかを検出できる。

なお、本実施形態では６００Ｈｚで撮像を行ってフリッカ検出処理を行うものとして説明するが、本発明の実施がこれに限られるものでないことは理解されよう。例えば、６００の倍数である１２００Ｈｚで撮像を行うことで、より精度の高い検出が可能である。また、フリッカ検出処理に係る撮像回数を低減するとの観点で６００Ｈｚ等の公倍数で撮像を行うことは好適であるが、本発明の実施はこれに限られるものではない。即ち、同一の複数の撮像画像群を用いて５０Ｈｚと６０Ｈｚのフリッカを検出することも可能であるが、それぞれについて２００Ｈｚでの撮像、２４０Ｈｚでの撮像を順に行って検出を行うものであってもよい。ただし、フリッカの有無だけでなく明滅の位相まで正確に分析する場合は２００Ｈｚ／２４０Ｈｚ以上の周波数が必要となる。

周波数５０Ｈｚの商用電源で駆動する光源が配置された撮像環境について６００Ｈｚで連続して撮像を行う態様について説明する。図５は、６００Ｈｚで撮像する撮像画像に係る撮像素子１０６における蓄積と、光源の明滅によって生じる輝度変化とを対比可能に例示している。図示されるように、連続撮像される撮像画像の読み出し周期は１．６６[ms]であり、連続撮像された１２フレームの撮像画像群において２周期分の光源の明滅が観測されることになる。つまり、当該明滅による影響が、輝度変化として各フレームの撮像画像に表れる。

検出対象の周期の明滅が発生している場合、明滅の１周期分の時間をおいて撮像された２つの撮像画像は略同一の輝度を示すことになるため、輝度差が０に近くなる。また明滅における最も明るいタイミングと最も暗いタイミングとは明滅の半周期分ずれて表れる。このため、検出対象の周期の明滅が発生している場合、最も低い輝度Ｙminを示す撮像画像と、該撮像画像と明滅の半周期分の時間をおいて撮像された撮像画像との間には、明滅の振幅に相当する輝度差が表れる。換言すれば、最も低い輝度Ｙminを示す撮像画像から明滅の半周期分の時間をおいて撮像された撮像画像は、最も高い輝度Ｙmaxを示すことになる。従って、本実施形態では、検出対象の明滅の周期について、１周期分の時間をおいて撮像された２つの撮像画像間の輝度差と、半周期分の時間をおいて撮像された２つの撮像画像間での輝度差とに基づいて、該検出対象の周期の明滅の発生有無を判断する。

例えば、検出対象の明滅の周期が１／１００[s]である場合（周波数５０Ｈｚの商用電源で駆動する光源の配置有無を検出する場合）、カメラ制御部１０１はまず、１２フレームの撮像画像群の輝度のうちから、最も低い輝度Ｙminを特定する。図５の例では、１フレーム目の撮像画像（または７フレーム目の撮像画像）の輝度Ｙ１が、Ｙminとして特定される。そしてカメラ制御部１０１は、該Ｙminを示す撮像画像から１周期分の時間をおいて撮像された撮像画像として、７フレーム目の撮像画像（または１フレーム目の撮像画像）を特定する。カメラ制御部１０１は、これら特定した撮像画像の輝度Ｙ１（１フレーム目）及びＹ７（７フレーム目）を用いて、その輝度差Ｙmin_minを
Ｙmin_min＝Ｙ７−Ｙ１
で導出する。

さらにカメラ制御部１０１は、Ｙminを示す１フレーム目の撮像画像から半周期分の時間をおいて撮像された撮像画像として、４フレーム目（１フレーム＋（７−１）／２＝４）の撮像画像を特定する。カメラ制御部１０１は、このように特定した撮像画像の輝度Ｙ１（１フレーム目）とＹ４（４フレーム目）を用いて、その輝度差Ｙmax_minを
Ｙmax_min＝Ｙ４−Ｙ１
で導出する。

撮像環境に周波数５０Ｈｚの商用電源で駆動する光源が配置されているのであれば、これらの評価値（輝度差Ｙmin_min及びＹmax_min）には、上述したような特徴を示す。反対に、撮像環境に周波数６０Ｈｚの商用電源で駆動する光源が配置されているのでは、これらの評価値は、上述したような特徴を示さない。

従って、カメラ制御部１０１は導出した評価値のそれぞれについてＴＨmin_min及び閾値ＴＨmax_minを用いて、
Ｙmin_min＜ＴＨmin_min
Ｙmax_min＞ＴＨmax_min
の条件を満たすか否かを判定することで、検出対象の周期の明滅が生じているか否かを判断する。即ち、検出対象の明滅の周期を１／１００[s]とした場合、図５に示したような周波数５０Ｈｚの商用電源で駆動する光源に係るフリッカが生じていることを検出することができる。該検出結果を受け、カメラ制御部１０１は、ライブビュー表示として提示される撮像画像について、フリッカの影響を受けない露出条件に変更する制御を行う。

なお、本実施形態では、周波数５０Ｈｚの商用電源で駆動する光源が配置された撮像環境を例にフリッカの検出方法を説明したが、周波数６０Ｈｚの商用電源で駆動する光源が配置された場合についても同様に検出できる。この場合、６００Ｈｚで連続撮像された１０フレームの撮像画像群において２周期分の光源の明滅が観測されることになる。故に、例えば１周期分を５フレーム、半周期分を近似的に３フレーム（または２フレーム）として取り扱うことで、周期が１／１２０[s]で明滅するフリッカについても同様に検出することができる。

また本実施形態では、商用電源には周波数５０Ｈｚ及び６０Ｈｚの交流電源のみであるものとし、カメラ制御部１０１は、これらに対応する周期１／１００[s]及び１／１２０[s]のフリッカの有無を、複数の撮像画像群に基づいて検出するものとする。しかしながら、本発明の実施はこれに限られるものではなく、駆動に用いられる交流電源の周波数はその他の種類が存在するものであってもよい。この場合、これらの周波数によって生じるフリッカの周期の情報が予め格納されており、カメラ制御部１０１は、各周期についてフリッカの発生有無を検出すればよい。また予め定められた種類の周期のフリッカ全てについて検出を行った結果いずれの周期のフリッカも発生していないと判断した場合、カメラ制御部１０１は、フリッカの影響を受けない露出条件への変更制御等を行う必要はない。

また、本実施形態では検出に係る評価値に、複数の撮像画像間の輝度差を用いるものとして説明するが、評価値は
Ｙmin_min＝Ｙ７／Ｙ１
Ｙmax_min＝Ｙ４／Ｙ１
のように、輝度比（比率）として導出されるものであってもよいことは言うまでもない。

〈像ブレあり時のフリッカ検出〉、
次に、フリッカ検出に係る複数の撮像画像群の撮像中に、像ブレが発生している態様について、検出処理の概要を説明する。即ち、処理対象となる複数の撮像画像群において、静的な被写体の像が表れる画像中の位置が変化し、画角が変動する。

上述したように、デジタルミラーレスカメラの起動からライブビュー表示開始までの時間を短縮するためには、防振部１０７のキャリブレーションと並行してフリッカ検出処理を行うことが好適である。一方で、防振部１０７のキャリブレーション中には図４に例示したように撮像素子１０６が有効像円３０１中を移動するため、このような期間に連続撮像して得られる撮像画像群では画角の変動が生じ、撮像画像にはこれに応じた輝度変化が表れる。即ち、フリッカが発生している撮像環境下では、連続撮像された撮像画像群に、フリッカに起因する輝度変化と画角変動に起因する輝度変化とが表れる。

例えば、被写体の輝度分布が図６の６０１のように、垂直方向に一様な輝度勾配を示す場合について説明する。ここで、図６のような一様な輝度勾配を示す被写体は、現実的には稀であるが、例えばデジタルミラーレスカメラの起動直後で合焦状態にない場合では、高周波成分を示す撮像画像が出力されず、緩やかな輝度勾配を示すことがある。

防振部１０７のキャリブレーションにおいて、図４に示した動作２が行われている間、撮像される画角も同様に円弧に沿って移動することになる。即ち、当該期間において上述した１２フレームの撮像画像群が撮像される場合、検出対象の画像となる１フレーム目、４フレーム目、７フレーム目の撮像画像は、それぞれ図６の領域６０２、領域６０３、領域６０４を画角に捉える。図６の例では、撮像のタイミングが遅いほど輝度の低い領域に画角が移動している。このような態様において上述した評価値を導出したとしても、画角変動に起因する輝度変化の影響が含まれてしまい、検出対象の周期のフリッカの発生有無を好適に判定できない。

そこで本実施形態のフリッカ検出処理では、カメラ制御部１０１は、画角変動に伴う輝度変化の影響を除外して、フリッカに係る最大の明暗差（輝度差）を導出する。より詳しくは、カメラ制御部１０１はまず、輝度勾配の正負が前後のフレーム間で異なる、局所的に最も低い輝度（Ｙmin）を示す撮像画像（７フレーム目の撮像画像）を特定する。カメラ制御部１０１は、特定した撮像画像と、該撮像画像から検出対象の明滅の１周期分の時間をおいて撮像された他の撮像画像（１フレーム目の撮像画像）との間の輝度差（評価値Ｙmin_min）を導出する。さらにカメラ制御部１０１は、導出した評価値Ｙmin_minに基づいて、明滅に係る最大の明るさが観測されるであろう撮像画像（４フレーム目の撮像画像）の輝度値Ｙmaxを補正する。そしてカメラ制御部１０１は、該補正した輝度値Ｙ’maxに基づいて導出した評価値Ｙ’max_min（１フレーム目の撮像画像と補正後の４フレーム目の撮像画像の輝度差）に基づいて、閾値ＴＨmax_minとの比較に係る判定を行う。

図６に一部を示したような、フリッカ検出処理に係り連続撮像される１２フレームの撮像画像群における輝度変化は、例えば図７のようになる。図７において、破線７０２で示した波形は、フリッカ検出処理に係る撮像中に画角変動がない場合のフリッカに起因する輝度の時間変化を示しており、実線７０１で示した波形が、図６に示した画角変動があった場合の輝度の時間変化を示している。画角変動によって画角内の被写体の輝度の低下が生じつつ、フリッカに起因する輝度変化が生じるため、実線７０１の波形と破線７０２の波形とは、１フレーム目の輝度７０３は同一であるが、以降のフレームにおいて前者の輝度は相対的に低くなる。

図７の例では、７フレーム目の撮像画像の輝度７０４は１フレーム目の撮像画像の輝度７０３からΔＹ（＝Ｙmin_min）だけ低下している。ここで、フリッカ検出処理における撮像は６００Ｈｚと短い時間で行われるものであるため、画角変動に起因する、被写体そのものの輝度低下は、一点鎖線７０５のように線形変化として近似してもよい。即ち、フリッカに起因する最大の輝度が表れる４フレーム目の撮像画像について、画角変動による輝度低下は１／２ΔＹと近似できる。つまり、画角変動による輝度低下を除外した輝度Ｙ’４は、
Ｙ’４＝Ｙ４＋１／２ΔＹ
と補正できる（ここで、ΔＹ＝Ｙ１−Ｙ７）。従って、当該補正後の輝度をＹ’４を用いることで導出された評価値Ｙ’max_min
Ｙ’max_min＝Ｙ’４−Ｙ１＝（Ｙ４＋１／２ΔＹ）−Ｙ１
を閾値ＴＨmax_minと比較することで、画角変動による影響を除外して明滅の振幅に相当する輝度差の評価を行うことができる。

なお、本実施形態では、最大の明るさが表れるであろう撮像画像の輝度レベルを補正することで、画角変動による影響を除外した評価を行うものとして説明するが、本発明の実施はこれに限られるものではない。例えば、輝度レベルの補正を行わずに導出した評価値Ｙmax_minと比較する閾値を
ＴＨ’max_min＝ＴＨmax_min−１／２ΔＹ
とすることで評価を行うものとしてもよい。

カメラ制御部１０１は、このような補正及び評価を、光源を駆動する商用電源が周波数６０Ｈｚである場合についても行う。即ち、カメラ制御部１０１は、フリッカ検出処理と防振部１０７のキャリブレーションとを並行して行う場合に、予め定められたフリッカが発生し得る周期（１／１００[s]及び１／１２０[s]）のそれぞれについて、補正及び評価を行う。そしてカメラ制御部１０１は、これらの評価結果に基づいて、撮像環境に配置された光源に起因したフリッカが生じているか否か、及び、生じているのであればその周期を好適に特定することができる。

以上説明したように、本実施形態の検出装置によれば、防振部１０７のキャリブレーションによって撮像素子１０６が移動する態様であっても、複雑な回路や演算を要することなく、簡易にフリッカの検出精度を向上させることができる。

なお、本実施形態では、検出対象の明滅の１周期分の時間をおいて撮像された２つの撮像画像間の輝度差に基づいて、該撮像画像間に撮像された撮像画像の輝度レベルの補正、及びフリッカの有無に係る評価を行うものとして説明した。しかしながら、本発明の実施はこれに限られるものではなく、例えば、局所的に低い輝度を示す撮像画像と、検出対象の明滅の周期の整数倍分の時間だけずれたタイミングで撮像された撮像画像の２つに基づいて、補正及び評価を行うものとしてもよい。

また本実施形態では、局所的に低い輝度を示す撮像画像から検出対象の明滅の周期の半周期分の時間だけずれたタイミングで撮像された撮像画像を、明滅に係る最大の明るさが観測されるであろう撮像画像として特定し、その輝度を評価するものとして説明した。しかしながら、本発明の実施はこれに限られるものではなく、明滅に係る最大の明るさに対応する輝度は、上記半周期分の時間だけずれたタイミングで撮像された撮像画像とは異なる撮像画像の輝度から推定されるものであってもよい。

また、本実施形態では撮像画像の輝度レベルに基づいてフリッカの検出を行うものとして説明したが、本発明の実施はこれに限られるものではなく、例えば撮像画像の色信号レベルに応じてフリッカ検出が行われるものであってもよい。

また本実施形態では、防振部１０７のキャリブレーション中に行われるフリッカ検出処理において、画角変動に起因する輝度変化を線形近似可能であるものとして説明した。より詳しくは、明滅の最も低い明るさが観測されるであろう、１周期分の時間をおいて撮像された１組の撮像画像に基づいて、該画像間に撮像された他の撮像画像に含まれる、被写体の輝度を線形的に導出可能であるものとして説明した。しかしながら、本発明の実施はこれに限られるものではなく、１周期分の時間をおいて撮像された撮像画像を複数組参照し、それらの輝度差に基づいて画角変動に起因する輝度変化を多項式近似してもよい。

例えば、連続撮像された１２フレームの撮像画像については、図８に示されるように、１周期分の時間をおいて撮像された撮像画像が６組存在する。カメラ制御部１０１は、これら６組のそれぞれについて輝度差Ｙdiffを導出し、例えば図９に示されるように各組の撮像時刻の平均値で示される時間の関数の離散値として扱うことで、これらを満たす関数を多項式近似により導出する。このようにして得られた近似関数を用いることで、明滅の最も高い明るさが観測されるであろうフレームの撮像画像における純粋な被写体の輝度を導出することができる。

［変形例１］
上述した実施形態では、フリッカ検出処理における像ブレの要因が、防振部１０７の駆動に依るものであるとして説明したが、本発明の実施はこれに限られるものではない。上述したように、像ブレは、撮像素子１０６の位置変更だけでなく、デジタルミラーレスカメラの動きに起因した手ブレによっても生じる。故に、本発明は、図１０に示されるように撮像素子１０６を駆動させる防振機構を有していないデジタルミラーレスカメラであっても適用可能である。

この他、フリッカ検出処理用の撮像画像に係る輝度変化は、撮像倍率の変更やフォーカシングレンズの駆動による画角変動によっても生じるが、このような場合であっても本発明が適用可能であることは言うまでもない。また、図１及び図１０にはレンズ交換式のデジタルミラーレスカメラを例示したが、本発明は、レンズ一体型のコンパクトデジタルカメラや動画撮影を主用途とするカムコーダ等であっても適用可能である。

［変形例２］
上述した実施形態及び変形例では、撮像画像に基づいてフリッカの有無を検出するものとして説明したが、撮像環境に存在する光源に起因してフリッカが生じているか否かの検出は、撮像画像によるものに限られず、明るさを取得可能な信号であればよい。例えば、明るさを取得する信号は、露出計や照度計による測定結果の信号であってもよく、該信号の信号レベルに基づいて、検出対象の周期のフリッカが発生しているか否かを検出するものであってもよい。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：カメラ本体、１０１：カメラ制御部、１０２：記録媒体、１０３：ワークメモリ、１０４：カメラブレ検出部、１０６：撮像素子、１０７：防振部、１０８：画像処理部、１０９：ディスプレイ、１１０：ＥＶＦ、２００：撮像レンズ、２０１：レンズ制御部、２０２：レンズブレ検出部、２０３：フォーカシングレンズ、２０４：防振レンズ

Claims (14)

1. 異なるタイミングで測定された明るさ信号に基づいて、撮像環境に配置された光源に起因するフリッカの有無を検出する検出装置であって、
   複数の明るさ信号を取得する取得手段と、
   前記取得手段により取得された明るさ信号の信号レベルを補正する補正手段と、
   前記補正手段により補正された明るさ信号の信号レベルに基づいて、フリッカの有無を検出する検出手段と、
   を有し、
   前記補正手段は、所定の周期に対応する時間をおいて測定された１組の明るさ信号の信号レベルに基づいて、該１組の明るさ信号の間に測定された他の明るさ信号の信号レベル、または、前記他の明るさ信号の信号レベルを評価する際の閾値を補正することを特徴とする検出装置。
2. 前記検出手段は、補正された前記他の明るさ信号の信号レベルと、前記１組の明るさ信号の一方の信号レベルとに基づいて、前記所定の周期のフリッカが生じているか否かを検出することを特徴とする請求項１に記載の検出装置。
3. 前記検出手段は、前記撮像環境に配置された光源に起因して、予め定められた種類の周期のいずれかのフリッカが生じているか否かを検出するものであり、
   前記補正手段は、前記予め定められた種類の周期ごとに、前記他の明るさ信号の信号レベルを補正する
   ことを特徴とする請求項１または２に記載の検出装置。
4. 前記補正手段は、前記１組の明るさ信号の信号レベルの差または比率に基づいて、前記他の明るさ信号の信号レベルを補正することを特徴とする請求項１乃至３のいずれか１項に記載の検出装置。
5. 前記１組の明るさ信号は、前記取得手段により取得された複数の明るさ信号のうちの、１つの明るさ信号と、該明るさ信号から前記所定の周期の整数倍分の時間だけずれたタイミングで測定された明るさ信号とで構成されることを特徴とする請求項１乃至４のいずれか１項に記載の検出装置。
6. 前記１組の明るさ信号は、前記取得手段により取得された複数の明るさ信号のうちの、局所的に最も暗い信号レベルの明るさ信号と、該明るさ信号から前記所定の周期の１周期分の時間だけずれたタイミングで測定された明るさ信号とで構成され、
   前記他の明るさ信号は、前記１組の明るさ信号のうちの先に測定された明るさ信号から、前記所定の周期の半周期分に対応する時間だけずれたタイミングで測定された明るさ信号であることを特徴とする請求項１乃至５のいずれか１項に記載の検出装置。
7. 前記検出手段は、前記先に測定された明るさ信号の信号レベルと前記他の明るさ信号の補正後の信号レベルとの差または比率が閾値を超える場合に、前記所定の周期のフリッカが生じていると検出することを特徴とする請求項６に記載の検出装置。
8. 前記補正手段は、前記１組の明るさ信号とは異なる、前記所定の周期に対応する時間をおいて測定された複数組の明るさ信号の信号レベルをさらに参照して、前記他の明るさ信号の信号レベルを補正することを特徴とする請求項１乃至７のいずれか１項に記載の検出装置。
9. 前記明るさ信号は、被写体を撮像することで得られる画像信号であって、
   前記取得手段は、前記１組の明るさ信号として少なくとも２つの画像信号と、当該少なくとも２つの画像信号を取得する間に、前記他の明るさ信号として他の画像信号を取得し、
   前記補正手段は、前記少なくとも２つの画像信号を得るための被写体の撮像のタイミングに基づいて、前記他の画像信号の信号レベルまたは前記閾値を補正することを特徴とする請求項１乃至８のいずれか１項に記載の検出装置。
10. 前記画像信号の信号レベルは、撮像画像の輝度レベルまたは撮像画像の色信号レベルである
    ことを特徴とする請求項９に記載の検出装置。
11. 前記取得手段は、複数の明るさ信号として、露出計または照度計の異なるタイミングの測定結果を取得することを特徴とする請求項１乃至８のいずれか１項に記載の検出装置。
12. 撮像手段と、
    請求項１乃至１１のいずれか１項に記載の検出装置と、
    前記撮像手段のシャッタスピードを制御する制御手段と、
    を有し、
    前記制御手段は、前記検出手段による検出結果に応じて、前記撮像手段のシャッタスピードを制御する
    ことを特徴とする撮像装置。
13. 異なるタイミングで測定された明るさ信号に基づいて、撮像環境に配置された光源に起因するフリッカの有無を検出する検出装置の制御方法であって、
    複数の明るさ信号を取得する取得工程と、
    前記取得工程において取得された明るさ信号の信号レベルを補正する補正工程と、
    前記補正工程において補正された明るさ信号の信号レベルに基づいて、フリッカの有無を検出する検出工程と、
    を有し、
    前記補正工程において、所定の周期に対応する時間をおいて測定された１組の明るさ信号の信号レベルに基づいて、該１組の明るさ信号の間に測定された他の明るさ信号の信号レベル、または、前記他の明るさ信号の信号レベルを評価する際の閾値が補正されることを特徴とする制御方法。
14. コンピュータに、請求項１乃至１１のいずれか１項に記載の検出装置の各手段として機能させるプログラム。

Images