JP2023034920A - 撮像装置、フリッカー検出方法およびプログラム - Google Patents
撮像装置、フリッカー検出方法およびプログラム Download PDFInfo
- Publication number
- JP2023034920A JP2023034920A JP2021141408A JP2021141408A JP2023034920A JP 2023034920 A JP2023034920 A JP 2023034920A JP 2021141408 A JP2021141408 A JP 2021141408A JP 2021141408 A JP2021141408 A JP 2021141408A JP 2023034920 A JP2023034920 A JP 2023034920A
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- frequency
- shutter speed
- detection
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 150
- 238000003384 imaging method Methods 0.000 title claims description 207
- 230000008859 change Effects 0.000 claims description 143
- 238000005070 sampling Methods 0.000 claims description 74
- 230000000694 effects Effects 0.000 claims description 34
- 230000000737 periodic effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 126
- 230000009467 reduction Effects 0.000 description 102
- 238000012545 processing Methods 0.000 description 74
- 230000008569 process Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 38
- 230000004397 blinking Effects 0.000 description 17
- 230000007704 transition Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 10
- 238000005096 rolling process Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Abstract
【課題】 光源に依らずフリッカーを効果的に検出し、検出したフリッカーに関する情報をユーザーに対して効果的に報知すること。
【解決手段】 被写体の光量の周期的な変化であるフリッカーの光量変化周波数を検出する第1のフリッカー検出手段と、第1のフリッカー検出手段により検出されたフリッカーの光量変化周波数が検出対象範囲を超えているか否かを判定する判定手段と、第1のフリッカー検出手段の検出結果および判定手段の判定結果に基づいて、フリッカーに関する情報を報知するように制御する制御手段と、を有し、制御手段は、判定手段により検出対象範囲を超える周波数のフリッカーが検出されていると判定した場合に、現在発生しているフリッカーの光量変化周波数が検出対象範囲を超えている旨の第1の情報を報知するように制御することを特徴とする構成とした。
【選択図】 図3
【解決手段】 被写体の光量の周期的な変化であるフリッカーの光量変化周波数を検出する第1のフリッカー検出手段と、第1のフリッカー検出手段により検出されたフリッカーの光量変化周波数が検出対象範囲を超えているか否かを判定する判定手段と、第1のフリッカー検出手段の検出結果および判定手段の判定結果に基づいて、フリッカーに関する情報を報知するように制御する制御手段と、を有し、制御手段は、判定手段により検出対象範囲を超える周波数のフリッカーが検出されていると判定した場合に、現在発生しているフリッカーの光量変化周波数が検出対象範囲を超えている旨の第1の情報を報知するように制御することを特徴とする構成とした。
【選択図】 図3
Description
本発明は、撮像装置、フリッカー検出方法およびプログラムに関し、特に、被写体の周期的な光量変化(フリッカーと称す)に係る特性を算出する技術に関するものである。
近年、デジタルカメラや携帯電話などの撮像装置が備える撮像素子の高感度化が進んでいる。そのため、日中の屋外に対して、室内のような比較的暗い環境下においても、シャッター速度を高速(露光時間を短く)設定して被写体を撮像することで、被写体のブレを抑えた明るい画像を取得することが可能になってきている。
また、室内光源として普及している蛍光灯は、商用電源周波数の影響により、被写体像の光量が周期的に変化する現象であるフリッカーが生じることが知られている。このようなフリッカーが生じる光源下でシャッター速度を高速に設定して被写体を撮像すると、1つの画像(画面)内で露出ムラや色ムラが発生する、あるいは、連続撮影により得られた複数の画像間で露出や色温度のばらつきが発生する虞がある。
特許文献1では、50Hzと60Hzの二つの商用電源周波数に起因する周波数のフリッカー(100Hzと120Hz)の最小公倍数となるレートで連続的に取得した複数の画像に基づいてフリッカーを検出する技術について提案されている。
ここで、近年は光源として発光ダイオード(LIGHT EMITTING DIODE:LED)の採用が増えている。LEDは、蛍光灯とは電流の供給方法が異なり、整流回路で駆動電流を制御している。そのため、商用電源の周波数とは異なる周期・異なる波形で光量が変化する。したがって、LEDの光源下においても、蛍光灯光源下と同様にフリッカーは発生するが、フリッカーの光量変化周波数が蛍光灯などの光源下とは異なる。
特許文献1では、蛍光灯などの光源下など、50Hzと60Hzの二つの商用電源周波数に起因する周波数のフリッカー(100Hzと120Hz)を検出方法については開示されているが、LED光源下で発生するフリッカーへの対応については言及していない。
商用電源周波数に起因して発生するフリッカーのように、LED等の光源下で発生するフリッカーは、事前に光量変化周波数を推定することは困難である。そのため、フリッカーの影響を低減するためにユーザーが手動でシャッター速度(露光時間)を事前に調整することは難しく、さらに、現在発生しているフリッカーが撮像装置の検出可能範囲を超えている場合は、正しくフリッカーを検出できない場合もある。すなわち、特許文献1に記載の技術では、フリッカーに関する情報として、ユーザーが事前に知り得る情報には制限がある。
本発明の目的は、光源に依らずフリッカーを効果的に検出し、検出したフリッカーに関する情報をユーザーに対して効果的に報知することである。
上記目的を達成するために、撮像素子を備えた撮像装置であって、被写体の光量の周期的な変化であるフリッカーの光量変化周波数を検出する第1のフリッカー検出手段と、前記第1のフリッカー検出手段により検出されたフリッカーの光量変化周波数が検出対象範囲を超えているか否かを判定する判定手段と、前記第1のフリッカー検出手段の検出結果および前記判定手段の判定結果に基づいて、フリッカーに関する情報を報知手段を介して報知するように制御する制御手段と、を有し、前記制御手段は、前記判定手段により検出対象範囲を超える周波数のフリッカーが検出されていると判定した場合に、現在発生しているフリッカーの光量変化周波数が検出対象範囲を超えている旨の第1の情報を前記報知手段を介して報知するように制御することを特徴とする。
本発明によれば、光源に依らずフリッカーを効果的に検出し、検出したフリッカーに関する情報をユーザーに対して効果的に報知することができる。
(第1実施形態)
(撮像装置の基本構成)
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図1は、本発明を実施した撮像装置の実施形態であるカメラ本体100およびレンズユニット200、発光装置300の構成を説明するブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよい。また、CPUやMPU等のプログラマブルプロセッサ(マイクロプロセッサ、マイクロコンピュータ)がソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
(撮像装置の基本構成)
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図1は、本発明を実施した撮像装置の実施形態であるカメラ本体100およびレンズユニット200、発光装置300の構成を説明するブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよい。また、CPUやMPU等のプログラマブルプロセッサ(マイクロプロセッサ、マイクロコンピュータ)がソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。また、本実施の形態としては撮像装置を例として記載するが、フリッカー検出方法が体現できる好適な実施形態であれば撮像装置に限る必要はなく、フリッカー検出装置やプログラムであってもかまわない。
まず、カメラ本体100を形成する各部について説明する。なお、カメラ本体100は、フレームメモリ(不図示)を備えており、信号(映像信号)を一時的に溜めておき、必要な時に読み出すことが可能な記憶部として機能する。一般的に、フレームメモリも、RAMと呼ばれ、近年ではDDR3-SDRAM(DUAL DATA RATE 3-SYNCHRONOUS DYNAMIC RAM)などが用いられることが多い。このフレームメモリを用いることで様々な処理が可能となる。
撮像素子101は、レンズユニット200を介してカメラ本体100の内部に導かれた被写体の光束を受光して電気的な画像信号に変換することができる、CMOSやCCD等の電荷蓄積型の固体撮像素子を用いた撮像手段である。後述するCPU103による駆動制御により撮像素子101を用いて得られた画像(信号)は、ライブビュー表示、フリッカーの検出、記録用の撮影画像など、種々の画像信号として取り扱われる。なお、撮像素子101で得られる電気信号はアナログ値であるので、デジタル値に変換する機能も合わせ備えている。なお、撮像素子101から出力された画像信号に基づいて、被写体の明るさに関する評価値(測光値)を検出することができる。また、撮像素子101に係る露出制御値として設定可能なシャッター速度に従って、撮像素子101の露光時間を制御することができる。
メカシャッター104は、撮像素子101の信号走査方向と平行な方向に走行が可能な斜光手段である。前述したシャッター速度に従って、メカシャッターが備える複数のシャッター羽根により形成される露光用の開口を調整することで、撮像素子101の露光時間を制御可能である。本発明の係る露光時間の調整は、撮像素子101の信号リセット・読み出しタイミングの調整による所謂電子シャッターとメカシャッター104を利用または併用することで実現可能である。
ディスプレイユニット102は、ユーザーが視認することができる表示装置であり、カメラ本体100の動作状況を確認することができる。例えば、ディスプレイユニット102は、被写体の画像信号に基づいて画像処理が施された映像や、設定メニューなどを表示する。しかしながら、ディスプレイユニット102として、LCD(LIQUID CRYSTAL DISPLAY)や有機EL(ORGANIC ELECTROLUMINESCENCE)を用いてもよい。被写体を撮像中に撮像素子101で取得した画像や露出制御値等の設定条件をリアルタイムでディスプレイユニット102に表示することで、所謂ライブビュー表示を行うことが可能である。なお、本実施形態のディスプレイユニット102は、タッチパネルと呼ばれる抵抗膜式や静電容量式の薄膜素子などを備えており、ユーザーがタッチ操作可能な操作部を兼用している。
CPU103は、カメラ本体100およびカメラ本体100に装着されたアクセサリの各部を統括的に制御可能な制御手段である。CPU103には、ROM(READ ONLY MEMORY)やRAM(RANDOM ACCESS MEMORY)が接続されている。ROM(不図示)は、不揮発性の記録素子であり、CPU103を動作させるためのプログラムや各種調整パラメータなどが記録されている。ROMから読み出されたプログラムは揮発性のRAM(不図示)に展開されて実行される。一般的にRAMは、フレームメモリ(不図示)に比べて、低速、低容量な素子が使用される。
次に、レンズユニット200の詳細について説明する。レンズユニット200は、カメラ本体100に着脱可能なアクセサリであって、フォーカスレンズやズームレンズ、シフトレンズなどのレンズ群201を備えた所謂交換レンズである。例えば、レンズ群201が備えるフォーカシングレンズは、レンズの光軸方向に向けてレンズ位置を調整することで、被写体に対するピント調整を行うことができる。
絞り202は、レンズユニット200を介してカメラ本体100の内部に導かれた被写体の光束に係る光量を調整するための光量調節部材である。本実施形態では、絞り202の開口径を調整することで光量調節が可能であって、絞りの開口径に係る露出制御値として絞り値を変更することで実現される。
LPU203は、レンズユニット200の各部を制御する制御手段であって、例えば、レンズ群201や絞り202の駆動を制御できる。なお、LPU203は、不図示の端子群を介して、カメラ本体100のCPU103と接続され、CPU103からの制御指示に応じて、レンズユニット200の各部を駆動することができる。
次に、発光装置300の詳細について説明する。発光装置300は、カメラ本体100に設けられた不図示の接続部を介して着脱可能な外部発光装置である。SPU301は、発光装置300の各部を制御する制御手段であって、主に発光制御やカメラ本体100側との通信制御を行うことができる。なお、SPU301は、不図示の接点群を介して、カメラ本体100のCPU103と接続され、CPU103からの制御指示に応じて、発光装置300の各部を駆動することができる。
以上、本発明の第1実施形態に係る撮像装置の各部について説明したが、本発明は上述した構成に限定されるものではない。例えば、カメラ本体100がレンズユニット200や発光装置300に相当する各デバイスを内蔵する構成であってもよい。
(シャッター速度の設定方法)
次に図2を使って、本実施形態に係る撮像素子101の露光時間を制御するための露出制御値であるシャッター速度の設定方法について具体的に説明する。図2は、本発明に係るシャッター速度設定(インデックス)テーブルを例示的に説明する図である。
次に図2を使って、本実施形態に係る撮像素子101の露光時間を制御するための露出制御値であるシャッター速度の設定方法について具体的に説明する。図2は、本発明に係るシャッター速度設定(インデックス)テーブルを例示的に説明する図である。
一般的に、光量の1/2、1/3段ごとにシャッター速度を変更可能であることが知られているが、本実施形態では、種々の周波数で周期的に明滅するLED光源下で発生するフリッカーに対応するため、シャッター速度をより細かな段数で調整可能としている。具体的に、本実施形態では、シャッター速度が1/8192.0~1/4871.0では1/4段、1/4096.0~1/2233.4では1/8段ごとに調整可能である。また、シャッター速度が1/2048.0~1/1069.3では1/16段での設定、1/1024.0~1/523.2では1/32段ごとに調整可能である。さらに、シャッター速度が1/512.0~1/258.8では1/64段、1/256.0~1/128.7では1/128段、1/128.0~1/50.0では1/256段ごとに調整可能である。
なお、図2で図示するテーブルでは、視認性を考慮して、一部のシャッター速度の記載を省略している。また、図2で図示するテーブルにおけるインデックスの数値は、後述するフリッカーを低減するためのシャッター速度選択処理で使用する。
また、本実施形態に係るカメラ本体100、上述したような1/8000秒よりも短い高速なシャッター速度から、図示しないが1/50よりもさらに長い低速なシャッター速度を自由に設定可能とするため、電子シャッターを優先して用いる。なお、シャッター方式(電子シャッターとメカシャッター104の単独利用または併用)については、ユーザーにより、例えば、ディスプレイユニット102に表示されるメニュー画面を経由した手動操作により、いつでも設定を変更できる。
(フリッカー低減処理)
次に、図3に図示するフローチャートを参照して、本実施形態に係るフリッカー低減処理について説明をする。図3は、本発明の第1実施形態に係るフリッカー低減処理を示すフローチャートである。
次に、図3に図示するフローチャートを参照して、本実施形態に係るフリッカー低減処理について説明をする。図3は、本発明の第1実施形態に係るフリッカー低減処理を示すフローチャートである。
まず、ディスプレイユニット102などに表示されたメニュー表示に基づくユーザーの手動操作など、所定の操作に応じてフリッカー低減処理が開始される。なお、本実施形態に係るフリッカー低減処理としては、検出したフリッカーの影響が低減するようなシャッター速度(すなわち露光時間)を設定することで、ライブビュー表示などの動画像にフリッカーに起因するムラが発生しないように制御する処理である。本発明に係るフリッカー低減処理としては、これに限定されるものではなく、例えば、フリッカーの低減方法としては、シャッター速度を調整する以外に、ムラを低減するようなゲインを画像に適用するような構成であってもよい。
フリッカー低減処理が開始されると、まずステップS301でCPU103は、フリッカーの検出処理(検波処理)が開始されるまでS301の処理を繰り返す。ステップS301で検出開始と判断された場合、ステップS302でCPU103は、フリッカー検出処理を実行する。該フリッカー検出処理の詳細については後述する。
次に、ステップS303でCPU103は、ステップS302の処理結果に基づいてフリッカーの発生有無を判定する。ステップS303でフリッカーを検出したと判定された場合はステップS304に進み、フリッカーを検出していないと判定された場合はステップ307に進む。なお、フリッカーの検出結果としては、所定のレベル以上のフリッカーが発生している場合にフリッカーが検出されているものとする。フリッカーのレベルの算出方法に関しては後述する。
ステップS304でCPU103は、検出されたフリッカーの明滅周期が、検出対象範囲内のフリッカーの光量変化周波数であるか否か判定する。フリッカーの光量変化周波数が検出対象範囲内であると判定された場合はステップS305に進み、検出対象範囲内ではない(検出対象範囲を超える)場合は、ステップS308に進む。検出対象とする周波数範囲内かどうかの判定方法の詳細については後述する。
ステップS305でCPU103は、先に検出したフリッカーの影響を低減するような露光時間(シャッター速度)を決定する(フリッカー低減用露光時間決定処理)。フリッカー低減用露光時間決定処理の詳細については後述する。
次に、ステップS306でCPU103は、ステップS305で決定した、フリッカーを低減するのに適した露光時間に関する情報に基づいて、フリッカーの影響を低減可能な任意のシャッター速度を選択するためのシャッター速度選択処理を実行する。該シャッター速度選択処理の詳細については後述する。
ステップS307でCPU103は、ステップS305とS306の処理結果として、フリッカー検知結果(検知有無)やフリッカーの影響を低減可能なシャッター速度として選択可能な値などを表示する表示処理を実行する。該表示処理の詳細については後述する。
ステップS308でCPU103は、ステップS302の検出結果に基づいて、現在発生しているフリッカーの光量変化周波数が、カメラ本体100が検出対象として保証する周波数の範囲外である旨をユーザーに報知する。当該報知の詳細については後述する。以上説明したフリッカー低減処理により、フリッカーの周波数に依らず、フリッカーの影響を低減した画像を取得し、当該画像に基づく画像表示や記録が可能となる。
(フリッカー検出処理)
次に、図4を参照して、本実施形態に係るフリッカー検知処理(フリッカー検波処理)について説明する。前述したように、LED光源などでは、蛍光灯などの光源とは異なり、整流回路で駆動電流を制御しているため、光源を駆動する際の電源周波数とは異なる周期で光量の変化(明滅)、すなわちフリッカーが発生する。そのため、LEDなどの光源に起因するフリッカーを検出する際は、駆動電源周波数のように検出対象とする周波数を特定の数値に絞ることができないため、幅広い周波数に対してフリッカーの発生有無を分析する必要がある。
次に、図4を参照して、本実施形態に係るフリッカー検知処理(フリッカー検波処理)について説明する。前述したように、LED光源などでは、蛍光灯などの光源とは異なり、整流回路で駆動電流を制御しているため、光源を駆動する際の電源周波数とは異なる周期で光量の変化(明滅)、すなわちフリッカーが発生する。そのため、LEDなどの光源に起因するフリッカーを検出する際は、駆動電源周波数のように検出対象とする周波数を特定の数値に絞ることができないため、幅広い周波数に対してフリッカーの発生有無を分析する必要がある。
一方で、フリッカーの光量変化周波数(光源の明滅周期)と、被写体を連続的に撮像する際の撮像周期が一致もしくは整数倍となる場合(以下、この状態を同期と称す)、連続的に得られた画像間における光量の変化(明滅)は抑制される。この場合、例えば、画像を連続的に表示するライブビュー表示においては、フリッカーに起因するムラなどの画質低下は発生しないが、任意のシャッター速度で撮像が行われることで取得された静止画にはフリッカーに起因する露光ムラなどが発生する虞がある。なお、仮に、ライブビュー表示画像用の撮像フレームレートがフリッカーの光量変化周波数と一致していても、異なるフレームレートで記録用の動画を取得する場合、該動画にフリッカーに起因する露光ムラや輝度変動が生じる虞がある。
ここで、フリッカーの光量変化周波数を特定する方法としては、連続撮像により得られた画像における光量の差(明暗)を検出および比較する方法が知られている。したがって、この方法を用いてフリッカーの光量変化周波数を特定する場合、フリッカーの光量変化周波数と撮像周期(フレームレート)とが同期しないように調整する必要がある。
そこで、本実施形態では、複数の撮像周期でフリッカーの光量変化周波数を分析することでフリッカーの発生有無を検出する。この方法によれば、複数の周波数でフリッカーの光量変化周波数を分析することで、フリッカーの光量変化周波数と撮像周期がすべて同期することを回避でき、幅広い周波数のフリッカーに関しても効果的に検出処理が可能となる。
図4は、本発明の第1実施形態に係るフリッカー検出処理に関するフローチャートである。図4に図示するように、ステップS401でCPU103は、フリッカー検出処理に係る被写体撮像時の露出を決定するために、被写体の測光演算を行う(被写体測光)。なお、測光演算の方式としてはどのような方法を採用しても構わない。例えば、本実施形態では、撮像素子101を用いた測光演算用の電荷蓄積を行うことで得られた画像信号の平均値に基づく評価値を取得する。そして、CPU103は、取得された評価値に基づいて、測光結果として被写体の代表輝度(測光値)を求める。この際、測光値の算出方法としては、画像信号に対応する画角を複数のブロックに分割し、ブロックごとに対応する画素から出力される信号の平均値を求め、ブロックごとに求めた平均値を加算平均することで測光値(代表輝度)を算出する。測光値の単位は、所謂APEX(ADDITIVE SYSTEM OF PHOTOGRAPHIC EXPOSURE)システムにおける1BVを輝度値の1段分とするが、他の単位を用いてもよい。
次に、ステップS402でCPU103は、撮像周期をフリッカー検出用の撮像周期(不フレームレート)に調整する。フリッカー検出用の撮像周期の調整方法についての詳細は後述する。
次に、ステップS403でCPU103は、先に求めた測光値に基づいて露出制御値を決定する(露出を変更する)。本実施形態に係る露出制御値は、シャッター速度(すなわち蓄積時間)、絞り値、撮影感度(ISO感度)であって、被写体を撮像して得られる画像の明るさを調整することが可能なパラメータである。決定された露出制御値は前述したRAMに記憶されるとともに、カメラ本体100の露出が変更され、フリッカー検出用の画像の取得を開始する。
次に、ステップS404でCPU103は、取得画像に輝度変化があるかどうか(すなわち、フリッカーが発生しているか否か)を判定する。前述したように、光源の明滅周期と被写体の撮像周期が同期するとフリッカーを正しく検出できないため、取得画像に基づく輝度変化の有無を判定する。取得画像に輝度変化が発生していないと判定される場合、撮像周期と被写体に係るフリッカーの光量変化周波数が同期している、または、フリッカーが発生していないものとして、現在のフレームレート(撮像周期)での検出動作をスキップする。
取得画像において輝度変化が検出された(ステップs404でYES)と判定された場合、ステップS405でCPU103は、それぞれ異なる複数の周波数でのフリッカーの発生有無を分析(検出)する。ステップS405における複数周波数によるフリッカー検出方法についての詳細は後述する。
次に、ステップS406でCPU103は、所定数(n個)の撮像周期での検出が完了しているか否かを反映する。所定数の撮像周期での検出が完了していない(ステップs406でNO)と判定された場合、ステップS402に戻り、撮像周期(フレームレート)を変更してS403以降の処理を繰り返す。
所定数の撮像周期での検出が完了している(ステップS406でYES)と判定された場合、ステップS407でCPU103は、ステップS405までの検出結果に基づいて、被写体のフリッカーの周波数を特定する。ステップS407の処理では、複数の撮像周期(フレームレート)で異なる複数の周波数のフリッカーの発生有無を検出済みである。
したがって、周波数ごとに検出されたフリッカーのレベルを比較し、当該レベルが最も大きな周波数のフリッカーを、現在発生している被写体のフリッカーとして最終的な検出結果とする。なお、フリッカーのレベルとして、本実施形態では、光量変化の大きさ(光量変化を示す規則変化を示す曲線における振幅の大きさ)を比較するが、これに限定するものではない。例えば、フリッカーのレベル以外にも、光量変化の安定度合いなどを比較する構成を採用してもよい。
ここで、上述したフリッカー検出用の撮像周期(フレームレート)について具体的に説明する。前述したように、本実施形態に係るカメラ本体100は、複数の撮像周期でフリッカーの検出処理を行う。例えば、撮像周期を100fpsと120fpsに切り替えてフリッカーの光量変化周波数を検出する場合を考える。この場合、撮像周期100fpsの整数倍である100Hz、200Hz、300Hzなど、k(kは自然数)×100Hzの周期で光量変化するフリッカーは、撮像周期とフリッカーの光量変化周波数が同期して、正しくフリッカーを検出できない。一方、撮像周期120fpsでフリッカーの光量変化周波数を検出する場合を考える。この場合、撮像周期120fpsの整数倍である120Hz、240Hz,360Hzなどのm(mは自然数)×120Hzの周期で光量変化するフリッカーについては、撮像周期とフリッカーの光量変化周波数が同期して、正しくフリッカーを検出できない。なお、k×100Hz(kは自然数)とm×120Hz(mは自然数)の双方の条件を満たす周波数である600Hzや1200Hzは、100Hzと120Hzの最小公倍数である。このような周波数で光量変化するフリッカーが発生している場合、撮像周期100fps・120fpsの双方にフリッカーの光量変化周波数が同期し、いずれの撮像周期で得られた画像を用いても、正しくフリッカーを検出することができない。
例えば、LED光源などの整流回路を有する光源においては、調整後の電源周波数が50Hz~1000Hzの範囲に収まるものが一般的である。したがって、上述した600Hzの光量変化周波数のフリッカーが発生する場合も、LED光源などで発生し得るが、撮像周期によっては、正しくフリッカー検出できない場合がある。すなわち、2つの撮像周期でそれぞれ取得された画像を用いてフリッカーの検出を行ったとしても、LED光源などで発生が想定される幅広い周波数のフリッカーの中には、正しくフリッカーが検出できない周波数も存在する。
なお、上述した例では、撮像周期(フレームレート)の整数倍と完全に一致する周波数で変化するフリッカーについて説明したが、撮像周期の整数倍と一致していなくても、フリッカーの検出精度は低下する虞がある。例えば、フリッカー検出用の画像を取得する際の撮像周期の整数倍の数と近しい周波数で変化するフリッカーについては、画像に生じる露光ムラなどの影響が小さく、フリッカーの検出に時間がかかる、あるいは、正しく検出できない場合がある。
そこで、本実施形態では、LED光源下で発生し得る幅広い周波数のフリッカーを効果的に検出するために、フリッカー検出時に用いる複数の撮像周期(フレームレート)の数nを、「n≧3(n)は自然数」という条件を満たすように調整する。すなわち、3以上の自然数であるn個以上の撮像周期でフリッカーの検出を行う。
なお、検出対象とするフリッカーの光量変化周波数が高周波になるほど、検出に用いる撮像周期の数nを増やすことで、精度よくフリッカーの光量変化周波数を検出することができる。しかしながら、フリッカーの検出に用いる撮像周期の数を増やすことで、フリッカーの検出に係る期間が延びる場合もあり、レリーズタイムラグやライブビュー画像の表示フレームレートが低下する点も考慮する必要がある。そこで、本実施形態では、LED光源など一般的に使用ケースが多いと想定される光源において発生する可能性があるフリッカーを効果的に検出できるサンプリング数として、フリッカーの検出に用いる撮像周期の数をn=3とする。
次に、n個の撮像周期のそれぞれにおける具体的な数値の選択方法について説明する。
本実施形態では、まず基準となる撮像周期を設定する。例えば、基準となる撮像周期として100fpsを想定する。撮像周期100fpsに同期するフリッカーの光量変化周波数は100Hzの整数倍の場合であり、この光量変化周波数のフリッカーが発生している場合はフリッカーを正しく検出できない。
なお、基準撮像周期100fpsの2倍である撮像周期200fpsでサンプリングする場合も、基準撮像周期100fpsでのサンプリング時と同様の問題が発生する。すなわち、フリッカー検出用の画像を得るための撮像周期の整数倍とフリッカーの光量変化周波数の整数倍とが一致する場合は、撮像周期と光量変化周波数とが同期して、サンプリングのために取得した画像に基づいて正しくフリッカー検出することができない。
そこで、本実施形態では、n個(本実施形態ではn=3個)の撮像周期として、基準撮像周期から次に当該基準撮像周期の整数倍となる撮像周期までの間で残りn-1個(本実施形態では2個)の撮像周期を設定する。例えば、3個の撮像周期かつ基準撮像周期が100fpsでフリッカーを検出する場合、フリッカーを検出するための複数の撮像周期として、100fpsとは別に、100fpsから200fpsまでの間に残りの撮像周期を設定する。なお、本実施形態では、n個の撮像周期の最小公倍数が、所定の周波数以上となるように各撮像周期(周波数)を設定する。例えば、LED光源の明滅の周波数としては一般的に10000Hz以下である場合が多いため、所定の周波数として、n個の撮像周期(フレームレート)の最小公倍数が10000以上となるように各撮像周期の周波数を決定する。また、カメラ本体100においてフリッカーの影響を低減できるように、所定の周波数として、n個の撮像周期の最小公倍数が、カメラ本体100が設定可能なシャッター速度の高速側の上限値の逆数よりも大きくなるように各撮像周期(周波数)を設定する。この構成により、LED光源などの高周波で光量変化する光源で発生するフリッカーを効果的に検出しつつ、シャッター速度の調整により検出したフリッカーの影響を低減することが可能となる。
図5は、本発明の第1実施形態に係るフリッカーを検出する際の複数の撮像周期の選択方法について例示的に説明する図である。フリッカーの光量変化周波数を精度よく検出するためには、各撮像周期をなるべく離すことで、フリッカーを良好に検出できる程度に、複数の撮像周期のうちのいずれかと検出対象とするフリッカーの光量変化周波数(光源の明滅周期)との差を確保できる。そこで、本実施形態では、図5(a)に図示するように、検出対象とする撮像周期の範囲(100fps~200fps)を所定の間隔で分けるため、各撮像周期2の1/3乗ずつ離れた撮像周期を設定してフリッカーを検出する。
具体的に、本実施形態では、図5(a)に図示するように、3つの撮像周期を、基準撮像周期100fps、100fps×2^(1/3)=125.99fps≒126fps、100fps×2^(2/3)=158.74fps≒159fpsとする。これら3つの撮像周期は、それぞれ撮像周期が2^(1/3)=1.2599≒1.26倍ずつ異なっているため、それぞれの撮像周期が26%程度異なる。この構成により、50~1000Hz超の幅広い周波数範囲を複数の範囲に区切ってフリッカーの検出を行う場合であっても、各範囲が検出対象とする周波数とが大きくずれることはない。また、各撮像周期の何れかは、検出対象とするフリッカーの光量変化周波数との差異を十分に確保することができる。すなわち、n個の撮像周期を設定して、各撮像周期でフリッカーの検出を行う場合、各撮像周期を2の(1/n)乗倍ごとに設定することで、検出対象の周波数ごとの検出精度の低下を抑制できる。
図5(b)は、n個の撮像周期に対する検出対象となるフリッカーの光量変化周波数の対応関係について例示的に説明する図である。本実施形態では、検出対象とするフリッカーの光量変化周波数に対して、n個の撮像周期のうちで最も離れた周波数となる撮像周期によって得られた画像に基づいて、フリッカーを検出する。具体的に、本実施形態では、図5(b)に図示するように、図5(a)で図示する3つの撮像周期に対して、50Hzから1008Hzまでのフリッカーの光量変化周波数を(A)~(P)の範囲に分けたデータテーブルに基づいて、フリッカーの検出を行う。
ここで、本実施形態では、フリッカーの光量変化周波数の逆数となるシャッター速度で被写体を撮像することで、フリッカーの光量変化周波数に同期した撮像期間を設定し、フリッカーの影響を低減する。したがって、フリッカーの光量変化周波数に同期する理想的なシャッター速度と実際のシャッター速度にずれが生じる場合、低速のシャッター速度の方が高速のシャッター速度よりも、画像に生じるフリッカーの影響(露光ムラなど)が大きい。例えば、光量変化周波数が100Hz、および1000Hzのフリッカーのそれぞれに対して、フリッカーの影響を低減するための理想的なシャッター速度から1Hz分のずれが生じた1/101秒と1/1001秒のシャッター速度を設定した場合を想定する。いずれの場合も、フリッカーの影響を低減可能なシャッター速度と実際のシャッター速度とは1Hz分のずれがあるが、シャッター速度が1/100秒では1%のずれであるのに対して、シャッター速度が1/1000秒では0.1%のずれとなる。すなわち、シャッター速度が高速側の方が、1Hz分のシャッター速度の変化に対して画像に生じるフリッカーの影響は小さい。ただし、シャッター速度が長秒になると、フリッカーに起因する光量変化を撮像する期間が長くなるため、光量変化が平滑化された画像が得られる可能性が高くなる。したがって、所定値以上のシャッター速度(例えば、1/25秒以上の長秒)で低減されるような光量変化周波数のフリッカーを検出対象とする場合、フリッカーの低周波領域における検出範囲を適宜調整して広げる構成であってもよい。
そこで、本実施形態では、図5(b)に図示するように、検出対象のフリッカーの光量変化周波数の範囲を複数に区切り、これらの連続する各範囲の周波数が2^(1/3)=1.26倍ずつ異なるように、検出対象範囲を設定している。例えば、図5(b)に図示する範囲(N)が159~200Hzであるのに対して、次の範囲(C)は、範囲(N)の約1.26倍の200~252Hzのフリッカーを検出対象範囲としている。
なお、図5(b)に図示するように、同一の撮像周期が検出対象とするフリッカーの光量変化周波数の範囲は、連続する範囲で略2倍の差異となる。例えば、159fpsが対応する撮像周期である、図5(b)に図示する範囲(A)、範囲(B)と範囲(c)の検出対象周波数は、それぞれ50Hz、100Hz、200Hzから、63Hz、126Hz、252Hzまでである。これは、フリッカーによる光量変化が各周波数の整数倍で同一である、という点を考慮しているためであって、上述した構成によって、本実施形態に係る撮像装置では、幅広い周波数フリッカーを安定した精度で検出することができる。
なお、フリッカーを検出する際の撮像周期の際として、本実施形態では、各撮像周期がmの(1/n)乗倍異なる構成であって(m、nは自然数)、前述した説明ではm=2としたが、これに限定されるものではない。例えば、m=3として撮像周期を設定してもよい。この場合、撮像周期ごとの差異は大きくなるため、検出対象のフリッカーの光量変化周波数に対する検出精度はm=2の場合よりも低下する可能性がある。しかしながら、同一の周波数の範囲を検出対象とする場合、m=2よりもm=3の方が検出に要する時間を短くすることができるため、より広域なフリッカーの光量変化周波数を検出対象とする場合に適している。
ここで、n個の撮像周期の選択方法について、上述した方法とは異なる方法(変形例)について図6を参照して説明する。図6は、本発明の第1実施形態に係るフリッカーを検出する際の複数の撮像周期の選択方法の変形例について例示的に説明する図である。本変形例と図5を参照して説明した前述の例との違いは、検出対象とする撮像周期の範囲に対するn個の撮像周期の設定方法である。
本変形例では、図6(a)に図示するように、検出対象とする撮像周期の範囲を等分割することで複数の撮像周期を設定する。すなわち、フリッカー検出用の撮像周期の範囲(100fpsから200fps)を100%の範囲とした場合、n個の撮像周期を、基準撮像周期である100fpsに対してそれぞれ33%、66%ずつ異なる撮像周期に設定する。具体的に、3つの撮像周期を、基準撮像周期100fps、100fps×1.333=133.333…fps≒133fps、100fps×1.666=166.666fps≒167fpsとする。
なお、上述した3つの撮像周期の差異は、133.333/100 =1.33333、166.666/133.33=1.25、200/166.666=1.2となり、それぞれの撮像周期が20%以上離れている。
図6(b)は、図6(a)で示すn個の撮像周期に対する検出対象となるフリッカーの光量変化周波数の対応関係について例示的に説明する図である。図6(b)で図示するように、本変形例においても、前述した図5(b)と同様に、検出対象とするフリッカーの光量変化周波数に対して、n個の撮像周期のうちで最も離れた周波数となる撮像周期によって得られた画像に基づいて、フリッカーを検出する。
ここで、フリッカー検出用の複数の撮像周期の差異について説明する。前述したように、フリッカー検出用の複数の撮像周期の個数としては、数が増えると撮像周期ごとの差異が小さくなるが、サンプリングに要する時間が増加するという関係が成り立つ。したがって、短い期間で精度よくフリッカーを検出するためには、幅広いフリッカーの光量変化周波数を検出可能な範囲で、可能な限り各撮像周期間の差異が大きく、かつ、サンプリング用の撮像周期の個数が少ないのが好ましい。
図5を参照して説明したように、基準撮像周期から該基準撮像周期の2倍の周期までの間を100%として、その間を2の1/n乗ずつ分割する場合について説明する。この場合、以下の式(1)で示す間隔で、フリッカー検出用の複数の撮像周期が異なる。
{2^(1/n)-1}×100[%] (式1)
{2^(1/n)-1}×100[%] (式1)
また、図6を参照して説明したような、基準撮像周期から該基準撮像周期の2倍の周期までの間を100%として、その間を100/n[%]異ならせる場合について考える。
n=3で計算したように、基準撮像周期から100%×(n-1)/nだけ離れた撮像周期と、基準撮像周期の2倍の撮像周期とについて、一番差異が小さくなり、その差異は、
[200/{100+{(100×(n-1)/n}-1]×100[%]={200n/(200n-100)-1}[%]={2n/(2n-1)-1}×100[%]={1/(2n-1)}×100[%] (式2)
として求まる。すなわち、各撮像周期を100/n[%]異ならせる場合、フリッカーの検出に用いる複数の撮像周期(フレームレート)は、少なくとも、互いに、[{2n/(2n-1)-1}]×100%以上の比率で異なる。なお、本発明の第1実施形態に係るカメラ本体100は、フリッカーの検出に用いる複数の撮像周期(フレームレート)は、少なくとも、互いに、[{2n/(2n-1)}-1]×100%以上の差で異なる。これは、前述した、基準撮像周期から該基準撮像周期の2倍の周期までの間を100%として、その間を2の1/n乗ずつ分割する場合も含む。
[200/{100+{(100×(n-1)/n}-1]×100[%]={200n/(200n-100)-1}[%]={2n/(2n-1)-1}×100[%]={1/(2n-1)}×100[%] (式2)
として求まる。すなわち、各撮像周期を100/n[%]異ならせる場合、フリッカーの検出に用いる複数の撮像周期(フレームレート)は、少なくとも、互いに、[{2n/(2n-1)-1}]×100%以上の比率で異なる。なお、本発明の第1実施形態に係るカメラ本体100は、フリッカーの検出に用いる複数の撮像周期(フレームレート)は、少なくとも、互いに、[{2n/(2n-1)}-1]×100%以上の差で異なる。これは、前述した、基準撮像周期から該基準撮像周期の2倍の周期までの間を100%として、その間を2の1/n乗ずつ分割する場合も含む。
ここで、上述した式1と式2に基づいて、各撮像周期の決定方法と撮像周期の数の差異との関係をグラフで表すと図7の通りとなる。図7は、本実施形態に係るフリッカー検出用の各撮像周期の決定方法と撮像周期の数の際との関係を例示的に説明する図面(グラフ)である。図7に図示するように、図中において実線で示す式2の方が破線で示す式1よりも、撮像周期の個数nの違いに応じた撮像周期ごとの差異が小さい。なお、この条件は、図7で図示していないさらに大きな撮像周期の個数nについて考えても同様である。すなわち、前述した例では、異なる2つの撮像周期の決定方法について説明したが、そのどちらの方法についても、各撮像周期ごとの差異は、式2で求められる値以上の差異が確保されていることが分かる。
以上、フリッカー検出用の撮像周期として2つの例について説明したが、フリッカー検出用の撮像周期はこれに限定されるものではない。本発明に係る撮像装置としては、精度よくフリッカーを検出可能であれば、互いに異なる3つ以上の自然数n個の撮像周期(フレームレート)としては、n個の撮像周期の最小公倍数がn個の撮像周期の何れかも含まない構成であればよい。例えば、フリッカー検出用の撮像周期として、50Hz、150Hz、300Hzなどを設定しても、各撮像周期で得た画像における輝度変化は同一期間において変化がないため、フリッカーを正しく検出することはできない。本実施形態の撮像装置としては、フリッカー検出用の各撮像周期がそれぞれ100fps以上の高いレートであり、各撮像周期の最小公倍数がLED等の光源の明滅の周波数として採用可能性がある10000Hz以下にはならないように調整するのが好ましい。
次に、前述したステップS405における、それぞれ異なる複数の周波数でのフリッカーの発生有無を分析(検出)する処理の詳細について説明する。本実施形態に係る撮像装置では、連続的に取得される画像の輝度に基づいて時間経過に応じた輝度の変化を抽出し、輝度変化の周期性を分析してフリッカーの光量変化周波数を検出する。なお、検出に用いる画像の取得方式に応じて、画像において生じる輝度変化は異なる。例えば、CCDなどのいわゆるグローバルシャッター方式で被写体を撮像する場合と、CMOSなどのいわゆるローリングシャッター方式で被写体を撮像する場合とでは、画像における輝度の変化は異なる。以降は、上述した各方式で画像を取得する場合における輝度変化の仕方について説明する。
まず、図8を参照して、グローバルシャッター方式で得られた画像の輝度変化について説明する。図8は、グローバルシャッター方式で連続的に得た画像に基づく輝度変化について例示的に説明する図である。フリッカーに起因する光源の明滅を受けた被写体を撮像すると、光源の明滅の強弱に影響を受けた撮影画像が得られる。その撮影画像の全面の輝度を測光すると、光源の明滅の強弱に影響を受けた測光値が得られる。
なお、本説明における輝度とは、ベイヤー配列のRAW画像におけるR・G1・G2・Bの信号に対して一定の係数を乗じて算出した輝度信号でもよいし、また、R・G1・G2・Bの信号自体の色信号であってもよい。また、ベイヤー配列以外のセンサー配列から得られる色信号・輝度信号であってもよい。
そして、上述した方法により得られた撮影画像について、連続する複数の画像の輝度(測光値)の差、または、比率を算出する。もしくは、複数の平均画像を基準画像として基準画像に対するそれぞれの画像の輝度の差/または比率を算出する。このような方法で得られた画像ごとの輝度変化をプロットすることで、図8に図示するような画像の輝度変化の推移を検出することができる。
次に、図9を参照して、ローリングシャッター方式で得られた画像の輝度変化について説明する。図9は、ローリングシャッター方式で連続的に得た画像に基づく輝度変化について例示的に説明する図である。ローリングシャッター方式でセンサーを駆動する場合、センサー各行(ライン)ごとに露光・読み出しタイミングが異なるため、各行(ライン)ごとにフリッカーに起因する光源の明滅による影響が異なり、画像の垂直方向に生じる輝度変化が異なる。
したがって、ローリングシャッター方式でセンサー(本実施形態における撮像素子101)を駆動する場合は、撮影画像の各行(ライン)ごとに積分値を取得することで、光源の明滅による輝度の変化を抽出することができる。具体的には、図9に図示するように、連続的に被写体を撮像することで得られる画像の連続するN-1フレーム目とNフレーム目における同一ラインの輝度変化を抽出する。この場合、Nフレーム目とN-1フレーム目に相当する撮影画像について、それぞれ行ごとに積分値を算出する。この積分値については、グローバルシャッター方式に関して上述したように、色信号に一定の比率を乗じた輝度信号でも構わないし、色信号そのものを積分したものでも構わない。このNフレーム目とN-1フレーム目の積分値を行ごとに比較して、差/または比率を算出することで、図9に図示するような、撮影画像の垂直方向(すなわち、センサーの走査方向)における輝度変化を検出することができる。
なお、比較対象とするフレームとしては、連続する2フレームではなくてもよい。例えば、複数の撮影画像の信号値を平均して平均画像を取得し、当該平均画像を基準画像としてラインごとの積分値とNフレーム目のラインごとの積分値を比較して、画像の垂直方向の輝度変化を算出してもかまわない。
以上説明したような方法によりローリングシャッター方式で得られた撮影画像を分析することで、前述したような撮影画像における垂直方向の輝度変化の推移を検出することができ、当該輝度変化が光源の明滅(すなわち、フリッカーの光量変化)を表している。
次に、画像の輝度変化の推移から、輝度変化の周波数を分析する手法について説明する。時間方向に変化する信号を周波数成分に変換する一般的な手法として、フーリエ変換がある。この場合、時間方向に変化する信号f(t)を周波数による関数F(ω)に変換することになる。
この式3の中で、指数関数に着目すると、マクローリン展開と三角関数のn階微分の関係により、指数関数を実部と虚部の三角関数に展開できることが一般的に知られている(以下の式4に示す)。
また、画像信号の変化の推移をf(t)、変化の推移のサンプリング間隔をdt、とすることで積分が計算できるので、式4は以下の式5で示すことができる。
F(ω)=A(ω)+j×B(ω) (式5)
F(ω)=A(ω)+j×B(ω) (式5)
これは、周波数ωによる複素関数となるため、その大きさは|F(ω)|で計算されることになる。画像の輝度変化の推移の中に周波数ωによる輝度変化成分が含まれていれば|F(ω)|は大きな値となり、画像の輝度変化の推移の中に周波数ωによる輝度変化成分が含まれていなければ|F(ω)|は小さな値となる。つまり、|F(ω)|は、各周波数に対するフリッカーレベルとしてみなすことができる。よって、検出対象とする幅広い周波数に対して、上述した式5を用いて各周波数成分の算出を行うことで、幅広い周波数範囲に対して光源の明滅による輝度変化の有無(すなわち、フリッカーの光量変化周波数)を検出することができる。
また、光源の明滅1周期(フリッカーの光量変化の1周期)以上が輝度変化の推移に含まれていないと、対象とする周波数を良好に検出できず、他の周波数と誤検知してしまう場合がある。そこで、検出対象とする周波数の1周期期間以上において被写体の撮像を続け、当該撮影により得られた画像に基づいて上述した各周波数(すなわち、フリッカーの光量変化周波数)の検出を行うのが好ましい。
次に、前述したステップS403における、フリッカー検出中の露出動作について具体的に説明する。前述したように、フリッカーを検出する際の撮像周期と光源の明滅の周波数(フリッカーの光量変化周波数)が同期すると、サンプリングされた画像に基づいてフリッカーを効果的に検出するのは困難である。さらに、撮像周期以外にも、被写体を撮像する際の露光時間(すなわちシャッター速度)が、光源の明滅周波数と同期する場合も、この状態で得られた画像に効果的な輝度変化が生じず、フリッカーを検出するのは困難である。
そこで、本実施形態では、フリッカーの検出動作を行う際の各撮像周期においては、各撮像周期以外の周波数と同期しないように、各撮像周期と同期する露光時間(シャッター速度)を設定する。すなわち、フリッカーを検出する際は、検出の撮像周期(フレームレート)の1/N(Nは整数)となる露光時間(シャッター速度)で被写体を撮像するのが好ましい。
図10は、本発明の第1実施形態に係るフリッカー検出用の複数の撮像周期の第1のパターンにおける露光時間(シャッター速度)の設定値を例示的に説明する図である。例えば、前述したように、フリッカー検出用の複数の撮像周期が100fps、126fps、159fpsである場合は、図10に図示するような露光時間を設定して被写体を撮像する。
また、図11は、本発明の第1実施形態に係るフリッカー検出用の複数の撮像周期の第2のパターンにおける露光時間(シャッター速度)の設定値を例示的に説明する図である。例えば、前述したように、フリッカー検出用の複数の撮像周期が100fps、133fps、167fpsである場合は、図11に図示するような露光時間を設定して被写体を撮像する。
図10、図11で図示するように、フリッカー検出用の撮像周期(フレームレート)の1/N(Nは整数)となる露光時間でフリッカー検出用の画像を取得することで、露光時間とフリッカーの光量変化周波数の同期を防ぐことができる。
また、フリッカーの光量変化の各周波数で露光条件が異なると、検出されるフリッカーレベルに差が出てしまい、検出の精度が低下する。そこで、本実施形態では、ステップS401の測光結果に基づいて前述した複数の撮像周期における露出動作を行うことで、撮像周期ごとに露光量に差が生じることを抑制し、安定したフリッカーレベルの検出ができる。
次に、前述したS304の処理の詳細について説明する。本実施形態に係るカメラ本体100が検出可能なフリッカーの光量変化周波数の範囲は、検出用の画像のサンプリング周期に基づいて異なる。一般的に、標本化定理(サンプリング定理ともいう)により、原信号に含まれる最大周波数をf[Hz]とすると、2f[Hz]よりも高い周波数でサンプリングを行うと原信号を復元できることが知られている。フリッカーによる光量変化(被写体の明滅)を原信号とすると、周波数f[Hz]まで検出可能とするには2f[Hz]以上のサンプリングが必要となり、換言すると、1/2f[sec]以下の間隔でサンプリングが必要となる。
さらに、2f[Hz]でサンプリングする場合、周波数f[Hz]を超えた高い周波数の信号が含まれていると、標本化定理により原信号を正しく復元することができない。この場合、折り返り現象により限界周波数(所謂ナイキスト周波数)を超えた周波数に関しては、実際とは異なる周波数が検出されてしまう。例えば、f+K[Hz]の周波数で明滅する被写体で2f[Hz]のサンプリングを行う場合、f[Hz]を超えたK[Hz]に関しては、前述した折り返り現象により、検出される周波数がf-K[Hz]となる。この場合、検出されたフリッカーの光量変化周波数f-K[Hz]が、ナイキスト周波数を超えたことによる折り返り現象により検出された周波数であるのか、実際の周波数であるのかを区別するのは困難である。
そこで、本実施形態に係るカメラ本体100は、ステップS302で実行したフリッカー検出処理とは別に、ステップS304で、S302のサンプリング周波数よりもさらに高周波となるサンプリング周波数でサンプリングを実行する。そして、取得された検出用の信号に基づいてフリッカーを検出する。なお、サンプリングにより取得する信号(データ)数としては、前述したステップS302で取得したデータ数よりも少なくてよい。これは、ステップS304の処理の目的が、ステップS302で検出されたフリッカーの光量変化周波数が、被写体の実際の明滅周波数であるのか、折り返し現象によるものであるのかを判断することに用いるためであって、膨大なデータは不要なためである。この構成により、サンプリングに要する時間をできる限り短くしつつ、ナイキスト周波数を超えた高周波で光量変化するフリッカーの光量変化周波数の誤検出を防止することができる。
以下、具体的な例を参考に、ステップS304の処理におけるサンプリング周波数の設定方法について説明する。例えば、LED等の光源の明滅周波数としては、50Hz~2000Hz程度が一般的であり、この場合は、検出対象とするフリッカーの最大周波数2000Hzを正しく検出するために、サンプリング周波数を4000Hzとすればよい。しかしながら、2000Hz以上の周波数で明滅する光源や電光掲示板(デジタルサイネージ)も存在するため、サンプリング周波数4000Hzでは正しくフリッカーを検出できない場合がある。例えば、2500Hzで明滅する光源の場合、サンプリング周波数が4000Hzだとナイキスト周波数は2000Hzとなるため、2500Hzで変化するフリッカーに関しては、検出限界を500Hz超えてしまう。この場合、ナイキスト周波数を超えた分の周波数の折り返し現象により、フリッカーの周波数は1500Hz(2000-500)として観測されてしまう虞がある。
そこで、ナイキスト周波数を超えた分のフリッカーの光量変化周波数を正しく検出するために、第1のサンプリング周波数である4000Hzとは別に、さらに高周波であるサンプリング周波数8000Hzでのサンプリングも行う。すなわち、ステップS302において第1のサンプリング周波数として4000Hzでサンプリングを行うのとは別に、ステップS304においては、第2のサンプリング周波数として8000Hzでサンプリングを行う。例えば、第1のサンプリングで1500Hzのフリッカーが検出され、第2のサンプリングで2500Hzのフリッカーが検出された場合、現在発生しているフリッカーの光量変化周波数が第1のサンプリングの検出対象外であると判断することができる。このように、1度目のサンプリングにより検出されたフリッカーの光量変化周波数の正否を、第2のサンプリングの結果に基づいて判断することができるため、ナイキスト周波数を超えて明滅するフリッカーの光量変化周波数も精度よく検出することができる。
なお、前述したように、第2のサンプリング周波数でのサンプリングは、フリッカーの光量変化周波数が第1のサンプリング周波数に対して検出範囲外であるか否かを判定するものである。したがって、第2のサンプリング周波数でのサンプリングにより得られた信号の分析方法としては、第1のサンプリング周波数で得られた信号の分析方法よりも簡易な方法を採用する構成でよい。例えば、第2のサンプリング周波数で得られたサンプリングデータを用いた所謂ゼロクロス法などでフリッカーの光量変化周波数を検出する構成であればよい。ゼロクロス法を用いた本実施形態に係るフリッカーの光量変化周波数の検出方法に関しての詳細は、後述する。
次に、図12、図13を参照して、第1、第2のサンプリング時の撮像素子の駆動制御方法について説明する。図12は、撮像素子の読み出しライン数の違いに対する信号読み出し時間の差異を例示的に説明する図である。また、図13は、画像信号の垂直方向のサンプリング数に応じたサンプリング周波数の差異について例示定期に説明する図である。なお、図12、13はいずれも、撮像素子をローリングシャッター方式で駆動した場合を前提とする。図12(a)は、撮像素子の全ラインの読み出し際の読み出し時間を示し、図12(b)は、撮像素子の読み出しライン数を図12(a)に対して半分に減らした際の読み出し時間を示す。図12(a)に対して、図12(b)で示すように、読み出しライン数を減らす(間引く)ことで、画像全体の読み出しにかかる時間は短縮される。フリッカーが発生している場合は、ローリングシャッター方式で撮像素子を駆動することで、フリッカーの光量変化の影響がラインごとに異なるため、画像には輝度むらが縞模様のように生じる。図12(b)に図示するような読み出し時間が早い場合の方が、図12(a)に図示する場合と比較して高いサンプリング周波数でのフリッカーの分析が可能となる。
次に、図13(a)、(b)は、画像内の垂直方向におけるサンプリング数がそれぞれ異なる場合を示し、図13(c)は、図13(a)とサンプリングの数は同一だが、特定の領域でサンプリングする場合を示している。画像の垂直方向におけるサンプリング数が増えるほど、サンプリング周波数としては高くなるため、高精度のフリッカー検出が可能となる。また、図13(c)に図示するように、サンプリング数自体は変えずに、画像の中央付近のみをサンプリングすることでも、局所的にサンプリング周波数とすることもできる。以上、第2のサンプリングのサンプリング周波数を高める方法としては、図12、13を参照して説明したような方法を適宜用いればよい。なお、撮像素子をグローバルシャッター方式で駆動して画像信号を読みだす場合は、第1のサンプリングよりも早い周期で第2のサンプリング用の画像を取得すればよい。
以上、第1のサンプリング周波数および第2のサンプリング周波数としては、LED等の光源を考慮した一般的な明滅周波数の範囲を想定して説明したが、第1、第2のサンプリング周波数の設定方法は適宜調整可能である。例えば、フリッカーの検出可能な周波数範囲の上限付近で得られた信号だとフリッカーの光量変化周波数の検出精度が良好でない場合もある。そこで、検出対象としたいフリッカーの周波数に対して検出可能な周波数範囲を高く設定する構成であってもよい。
次に、第2のサンプリングにより取得した第2の検出信号を用いて、前述したゼロクロス法によるフリッカーの光量変化周波数の検出方法について具体的に説明する。図13(b)又は、図13(c)で示した各領域に関して、時間的に連続する2フレーム分の信号値を取得する。ここで、信号値とは、RGBに一定の比率で加重平均して生成した輝度(Y)信号でもよいし、RGB信号をそのまま用いてもよい。2フレームに渡って取得した各領域の信号値の差分を取ると、各領域における被写体成分が除去され、フリッカーの明滅に対応する信号値の変化を抽出することができる。なお、厳密には、2フレーム間での被写体の動きにより信号値と被写体部分とがずれる場合があるが、前述したような100fpsを超えるフレームレートで検出用の画像を取得する場合は、その影響は限定的であるため、ここでは無視する。
ここで、特定の周波数で明滅する被写体が含まれる2フレームの差分をとっても、三角関数の合成を考慮すると、振幅は変調されるが周波数が変調されることはない。したがって、2フレームの信号値の差分を垂直方向に並べて分析すると、理想的には明滅の1周期につき、信号値の差分が2回0地点を通ることになる。ただし、信号値は離散的に取得されるので、ちょうど0となる信号差が検出されるとは限らず、その場合は、0を通過した前後の信号値の差で、数値の符号が異なる。つまり、垂直方向に符号が変化する(プラスからマイナス、またはマイナスからプラスへ変化する)回数を数えることで0となる回数を数えることができる。結果として、フリッカーの影響により画像内に生じた明滅の周期を簡易的に判断することができ、第二の検出用信号中に含まれる波の数から、大まかな周波数を算出することができる。
以上説明した方法により検出されたフリッカーの光量変化周波数とステップS302で先に検出されたフリッカーの光量変化周波数とをステップS304において比較する。この結果、ステップS302で検出したフリッカーが検出対象の周波数範囲に含まれるか否かを判断でき、S302で検出したフリッカーが検出対象範囲外であった場合はステップS308において、検出対象外である旨をユーザーに報知する処理を実行する。
以上で説明した構成を採用することで、本実施形態に係る撮像装置は、フリッカーの光量変化周波数として考えられる幅広い周波数に対して、フリッカーを安定して効果的に検出することができる。
次に図14を参照して、前述したステップS304で実行するフリッカー低減用露光時間決定処理の詳細について説明する。図14は、本発明の第1実施形態に係るフリッカー低減用露光時間決定処理に係るフローチャートである。まず、ステップS1201でCPU103は、前述したステップS302で実行したフリッカー検出処理により検出されたフリッカーの光量変化周波数をメモリから読み出す。
次に、ステップS1202でCPU103は、ステップS1201で読み出したフリッカーの光量変化周波数の逆数に基づいて、検出されたフリッカーの影響を低減するための理想的な露光時間(IdealFlkExpTime)を演算する。例えば、検出されたフリッカーの光量変化周波数が540.0Hzであれば、IdealFlkExpTime=1/540.0とする。
次にステップS1203でCPU103は、現在設定されているシャッター速度(CurTv)を取得する。現在のシャッター速度CurTvとしては、例えば、ユーザーの手動操作により設定されているシャッター速度などが該当する。本実施形態では、カメラ本体100の撮影モードが事前にマニュアルモードに設定されており、複数の露出制御値(パラメータ)のいずれもユーザーにより手動で設定されている場合を想定する。
次に、ステップS1204でCPU103は、理想フリッカー低減露光時間IdealFlkExpTimeを整数倍するための初期化処理を実行する。具体的にステップS1204では、整数N=1とし、さらに、整数倍する前の理想フリッカー低減露光時間IdealFlkExpTimeの情報をPreIdealFlkExpTimeとして保持する。
次に、ステップS1205でCPU103は、ステップS1203で取得した現在設定されているシャッター速度CurTvと理想フリッカー低減露光時間IdealFlkExpTimeとの比較を行う。CurTvの値がIdealFlkExpTime以下(すなわち、露光時間が短い)場合はステップS1207に進む(ステップS1205でYESと判定)。一方、CurTvの方がIdealFlkExpTimeよりも大きい(露光時間が長い)場合はステップS1206に進む(ステップS1205でNOと判定)。
ステップS1206でCPU103は、現在の理想フリッカー低減露光時間を前回のPreIdealFlkExpTimeとして保持し、整数Nを1つインクリメントしたうえで、理想フリッカー低減露光時間を整数N倍化する。具体的に、ステップS1206では、PreIdealFlkExpTimeにIdealFlkExpTimeを代入し、N=N+1にインクリメントしてから、IdealFlkExpTimeを整数N倍化する。ステップS1206の処理は、ステップS1205で現在設定されているシャッター速度が理想フリッカー低減露光時間以下(CurTv≦IdealFlkExpTime)となるまで繰り返す。すなわち、ステップS1206の処理は、理想フリッカー低減露光時間IdealFlkExpTimeを、現在設定されているシャッター速度にできるだけ近づけるための処理である。この処理によれば、IdealFlkExpTimeとPreIdealFlkExpTimeの間にCurTvが位置するため、例えば、フリッカー低減露光時間を、ユーザーにより設定されたシャッター速度に近い露光時間に絞り込むことができる。
次にステップS1207でCPU103は、IdealFlkExpTimeとPreIdealFlkExpTimeのそれぞれの値について、CurTvとの差分の絶対値を比較する。ステップS1207でNOと判定された場合は、現在のフリッカー低減用露光時間決定処理を終了する。これは、現在設定されている理想フリッカー低減露光時間IdealFlkExpTimeの方が、PreIdealFlkExpTimeよりも、現在のシャッター速度に近い値であると判断できるためである。
対して、ステップS1207でYESと判定された場合は、現在設定されている理想フリッカー低減露光時間よりも、前回設定時の理想フリッカー低減露光時間PreIdealFlkExpTimeの方が、現在のシャッター速度に近い値であると判断できる。したがって、この場合はステップS1208の処理に進み、CPU103は前回設定時のPreIdealFlkExpTimeを理想フリッカー低減露光時間IdealFlkExpTimeに入れ替え、現在のフリッカー低減用露光時間決定処理を終了する。
以上説明した本実施形態に係るフリッカー低減用露光時間決定処理によれば、例えば、ユーザーにより設定されていたシャッター速度に近い値で、フリッカーを低減するための露光時間(シャッター速度)を決定することができる。この構成により、例えば、ユーザーがシャッター速度を調整することで意図した撮影効果に対する差異が生じることを抑制しつつ、フリッカーの影響を低減した画像を取得することができる。
図15は、本発明に係る所定の光量変化周波数で変化するフリッカーが発生している場合の、理想フリッカー低減露光時間の設定方法について例示的に説明する図である。図15(a)は、例えば、ユーザーによりシャッター速度が1/5792.6に設定されている場合(CurTv=1/5792.6)を示している。また、図15(b)は、例えば、ユーザーによりシャッター速度が1/250.5に設定されている場合(CurTv=1/250.5)を示している。
例えば、検出されたフリッカーの光量変化周波数が540.0Hzであった場合、図15(a)に図示する例では、理想フリッカー低減露光時間IdealFlkExpTimeは1/540.0となる。また、同じフリッカー光量変化周波数において、図15(b)に図示する例では、理想フリッカー低減露光時間IdealFlkExpTimeは1/270.0となる。フリッカーの光量変化は、周波数の整数倍で同一となる。したがって、フリッカーの光量変化周波数の逆数よりも低速側のシャッター速度において、フリッカーの周波数の整数倍の逆数となるシャッター速度で被写体を撮像した場合も、フリッカーの影響を低減することができる。したがって、ユーザーが設定したシャッター速度が、検出されたフリッカーの光量変化周波数の逆数以下であれば、フリッカーの周波数の整数倍の逆数のうち、ユーザーが設定したシャッター速度との差異が小さい値を理想フリッカー低減露光時間とすればよい。
次に図16を参照して、前述したステップS305で実行するシャッター速度選択処理の詳細について説明する。図16は、本発明の第1実施形態に係るシャッター速度選択処理に係るフローチャートである。まず、ステップS1401でCPU103は、図2を参照して前述したシャッター速度設定(インデックス)テーブルから任意のシャッター速度を選択するための初期化処理を実行する。具体的に、ステップS1401でCPU103は、シャッター速度設定テーブルのインデックスi=1として、シャッター速度設定テーブルから、設定可能フリッカー低減シャッター速度(SetPosFlkTv)を設定する。なお、本実施形態においては、図2に図示するようにインデックスi=1では、SetPosFlkTv=1/8192.0となる。
次に、ステップS1402でCPU103は、シャッター速度設定テーブルのインデックスiを1つインクリメントする。次に、ステップS1403でCPU103は、SetPosFlkTvとシャッター速度設定テーブルにおけるシャッター速度[i]のそれぞれについて、前述した理想フリッカー低減露光時間IdealFlkExpTimeとの差分を絶対値で比較する。SetPosFlkTvとIdealFlkExpTimeとの差分の方が、シャッター速度[i]とIdealFlkExpTimeとの差分以下の(ステップS1403でNOと判定された)場合はステップS1405に進む。
一方、SetPosFlkTvとIdealFlkExpTimeとの差分の方が、シャッター速度[i]とIdealFlkExpTimeとの差分よりも大きいと(ステップS1403でYESと判定された)判断された場合はステップS1404に進む。そして、ステップS1404でCPU103は、ステップS1403の判定結果に基づいて、設定可能フリッカー低減シャッター速度を選択する。具体的に、ステップS1404でCPU103は、設定可能フリッカー低減シャッター速度SetPosFlkTvを、現在のシャッター速度設定テーブルのインデックスiに該当するシャッター速度[i]に設定してステップS1405に進む。
次に、ステップS1405でCPU103は、シャッター速度設定テーブルのインデックスiが最大インデックス以上であるか否かを判定する。現在のインデックス[i]が最大インデックスよりも小さい(ステップS1405でNOと判定された)場合、ステップS1402の処理に戻り、ステップS1402~S1405の処理を繰り返す。なお、本実施形態に係る最大インデックスは、図2に図示するように600とする。ステップ1405で、現在のインデックス[i]が最大インデックスに到達した(ステップS1405がYES)と判定された場合は、現在のSetPosFlkTvを設定可能フリッカー低減シャッター速度として選択し、シャッター速度選択処理を終了する。
なお、前述した例では、シャッター速度設定テーブルで参照可能なすべてのインデックスを対象に、シャッター速度選択処理を実行したが、これに限定されるものではない。例えば、フリッカー低減用露光時間決定処理において、現在設定されているシャツター速度CurTvが取得されている場合は、当該CurTvの近傍に絞って、設定可能フリッカー低減シャッター速度を決定してもよい。具体的に、現在設定されているシャツター速度CurTvとして特定の値が記録されている場合は、CurTvに最も近いシャッター速度に対応するインデックスを特定する。そして、当該インデックス、および当該インデックスと隣り合う他のインデックスに対応するシャッター速度について、理想フリッカー低減露光時間との差異を求め、当該差異が最小となるシャッター速度を設定可能フリッカー低減シャッター速度とすればよい。この構成は、特に、ユーザーによって、特定のシャッター速度が設定されている場合に有効である。この構成を採用することで、ユーザーが意図するシャッター速度との乖離が少なく、かつ、比較対象とするインデックスを大幅に低減することで、シャッター速度選択処理に係る処理時間と処理負荷を低減することができる。
以上説明したシャッター速度選択処理を実行することにより、カメラ本体100が設定可能なシャッター速度の中から、事前に検出されたフリッカーの影響を効果的に低減することができるシャッター速度を選択することができる。すなわち、本実施形態のカメラ本体100は、検出されたフリッカーの影響を低減するために理想的なシャッター速度IdealFlkExpTimeに対して、設定可能なシャッター速度の中で最も近いシャッター速度を選択(設定)することができる。
図17は、本発明の第1実施形態に係るシャッター速度選択処理により選択されるシャッター速度とフリッカーの影響を低減するために理想的なシャッター速度との相対的な関係について例示的に説明する図である。なお、図17においては、フリッカーの光量変化周波数は540.0Hzであって、理想フリッカー低減露光時間IdealFlkExpTimeが1/540.0である場合を想定する。そして、図17(a)では、現在ユーザーにより設定されているシャッター速度(CurTv)が1/5792.6である場合を示し、図17(b)では、現在ユーザーにより設定されているシャッター速度(CurTv)が1/250.5である場合を示す。
ここで、図17(a)において、シャッター速度設定テーブルのインデックス58が示すTv=1/546.4とIdealFlkExpTimeであるTv=1/540.0との差分はΔ58として示す。また、図17(a)において、シャッター速度設定テーブルのインデックス59が示すTv=1/534.7とIdealFlkExpTimeであるTv=1/540.0との差分はΔ59として示す。図17(a)に図示するような場合は、Δ59<Δ58となるため、前述したシャッター速度選択処理によりSetPosFlkTvとしてTv=1/534.7が選択される。
また、図17(b)において、シャッター速度設定テーブルのインデックス119が示すTv=1/273.2とIdealFlkExpTimeであるTv=1/270.0との差分はΔ119として示す。また、図17(b)において、シャッター速度設定テーブルのインデックス120が示すTv=1/270.2とIdealFlkExpTimeであるTv=1/270.0との差分はΔ120として示す。図17(b)に図示するような場合は、Δ120<Δ119となるため、前述したシャッター速度選択処理によりSetPosFlkTvとしてTv=1/270.2が選択される。
以上説明したように、本実施形態のカメラ本体100は、現在の撮影環境において発生しているフリッカーの光量変化周波数、および、該検出されたフリッカーの影響を低減する理想的なシャッター速度(露光時間)をできる限り短い時間で効果的に検出できる。
また、本実施形態のカメラ本体100は、該フリッカーの影響を低減するための理想的なシャッター速度として、ユーザーなどにより現在設定されているシャッター速度を考慮したシャッター速度を設定することができる。したがって、本実施形態に係るカメラ本体100は、ユーザーの意図する露出条件や撮影効果に対して差が生じることをできる限り抑制しつつ、フリッカーの影響を低減可能なシャッター速度を検出することができる。
さらに、本実施形態のカメラ本体100は、フリッカーの影響を低減できる理想的なシャッター速度に対して、カメラ本体100が設定可能なシャッター速度の中で最も近しいシャッター速度を自動的に選択(設定)することができる。したがって、本実施形態に係るカメラ本体100は、ユーザーによるシャッター速度の手動調整等を必要とせずに、フリッカーの影響を低減することができるシャッター速度を自動的に選択(設定)することができる。
次に図18、17を参照して、本発明の第1実施形態に係る前述したステップS306の表示処理の詳細について説明する。図18は、本発明の第1実施形態に係る表示処理により、ディスプレイユニット102に表示される報知画像を例示的に説明する図である。
このうち、図18(a)は、540.0Hzのフリッカーが検出され、CurTvが1/5792.6、SetPosFlkTvが1/534.7である場合を示している。また、図18(b)は、540.0Hzのフリッカーが検出され、CurTvが1/250.5、SetPosFlkTvが1/270.2である場合を示している。また、図19は、本発明の第1実施形態に係る表示処理により、フリッカーが検出されない場合の報知画像を例示的に説明する図である。
検出フリッカー領域1601には、前述した方法に基づいて検出されたフリッカーの光量変化周波数を示す情報が表示される(図示する例では540.0Hz)。
選択可能シャッター速度領域1602には、前述した方法に基づいて求められた設定可能フリッカー低減シャッター速度SetPosFlkTvが表示される(図18(a)では1/534.7、図18(b)では1/250.5の場合をそれぞれ示す)。
現在シャッター速度領域1603には、ユーザーの手動設定などにより、現在、カメラ本体100で設定されているシャッター速度が表示される(図18(a)では1/5792.6、図18(b)では1/270.2の場合をそれぞれ示す)。
第1のユーザー選択アイコン1604には、報知画面に表示された設定可能フリッカー低減シャッター速度SetPosFlkTvへの変更に同意しない場合の選択肢が表示される。また、第2のユーザー選択アイコン1605には、報知画面に表示された設定可能フリッカー低減シャッター速度SetPosFlkTvへの変更に同意する場合の選択肢が表示される。
また、フリッカー検出処理により所定のレベル以上のフリッカーが検出されない場合は、図19に図示するように、フリッカーが検出されない旨の説明文1701や、ユーザーの確認有無を入力可能なアイコン1702がディスプレイユニット102に表示される。
以上説明したように、フリッカー検出処理により所定の光量変化周波数のフリッカーが検出された場合は、図18(a)、(b)に示すような各種アイコンや文章がディスプレイユニット102に表示され、シャッター速度の変更をユーザーに促すことができる。この構成により、例えば、ユーザーの手動操作によりフリッカーの影響を低減できるようなシャッター速度を調整する作業を減らしつつ、フリッカーの影響を低減することが可能なシャッター速度を簡単に設定することができる。したがって、本発明に係るカメラ本体100は、光源に依らず、幅広い光量変化周波数のフリッカーの影響を低減した撮像を複雑な操作を必要とせずに実行することができ、画像におけるフリッカーに起因するムラを低減することができる。
また、前述したように、ステップS304の処理の結果、現在発生しているフリッカーの光量変化数は数が検出対象範囲を超える場合、S308において、検出対象範囲外のフリッカーが発生している旨をユーザーへ報知する。図20は、本発明の第1実施形態に係る表示処理により、フリッカーが検出対象の周波数範囲を超えている場合の報知画像を例示的に説明する図である。図20に図示するように、現在発生しているフリッカーの光量変化周波数が精度よく検出できる周波数外である場合は、その旨をユーザーが簡単に知ることができるため、フリッカーの影響による失敗画像が取得されることを低減することができる。
また、本実施形態のカメラ本体100としては、自動検出でフリッカーの光量変化周波数を正確に検出することができずとも手動でシャッタースピードを変更することはできる。そこで、図21に図示するように、現在発生しているフリッカーが検出範囲を超えている場合に、ユーザーに対して、シャッタースピードを手動で変更するため操作画面への変更を促す構成であってもよい。図21は、本発明の第1実施形態に係る表示処理により、フリッカーが検出対象の周波数範囲を超えている場合にシャッタースピードを手動で設定する方法へユーザーを誘導するための報知画像を例示的に説明する図である。この構成であれば、フリッカーの自動検出状態から手動検出状態への遷移に関して、ユーザーの操作手番を減らすことができる。なお、ステップS308の処理として、図19に図示する画面を表示する構成であってもよい。
なお、フリッカーの光量変化周波数やフリッカーの影響を低減することができるシャッター速度などのユーザーへの報知方法やシャッター速度の変更の仕方については、上述したものに限定されない。例えば、上述した例では、ディスプレイユニット102に報知画像を表示する場合について説明したが、他の表示デバイスや、カメラ本体100に接続された外部機器において報知画像を表示する構成であってもよい。また、報知の仕方は画像表示のみに依らず。音声での案内やカメラ本体100に設けられたランプ(不図示)の点灯状態や点灯色の変更などによる種々の報知手段で代用することができる。
また、本実施形態に係るカメラ本体100では、ユーザー対して、設定可能フリッカー低減シャッター速度への変更有無を確認する方法を採用したが、これに限定されるものではない。例えば、ユーザーの同意なしに、設定可能フリッカー低減シャッター速度へ自動的に変更する構成であってもよいし、撮影モードに応じて、設定可能フリッカー低減シャッター速度への変更有無をユーザーに確認するか否かを異ならせる構成であってもよい。
この場合、撮影モードが、露出制御に係る各パラメータをカメラ本体100が自動的に決定するオートモードなどの場合は、カメラ本体100が自動的に設定可能フリッカー低減シャッター速度を設定するのが好ましい。対して、撮影モードが、露出制御に係る各パラメータ(露出制御値)をユーザーが手動で設定するマニュアルモードなどの場合は、前述した例のように、ユーザーに対してシャッター速度の変更有無を確認する方法を採用するのが好ましい。
また、本実施形態に係るカメラ本体100では、前述したように電子シャッターを優先して用いる点について説明したが、これに限定されるものではない。例えば、メカシャッター104を用いて任意のシャッター速度に則した、撮像素子101の露光時間を調整するような構成であってもよい。
なお、メカシャッター104を用いて高速なシャッター速度を設定して被写体を撮像する際に、メカシャッター104の物理的な特性の変化や環境の違いに応じて、理想的な露光時間に対するメカシャッター104の走行タイミングにずれが生じる場合がある。すなわち、設定可能フリッカー低減シャッター速度SetPosFlkTvとして設定されたシャッター速度が高速である場合、フリッカー影響を正しく低減できるような露光時間で被写体を撮像できない場合がある。
そこで、メカシャッター104を用いて露光時間を調整する場合、シャッター速度が所定の速さ以上となるように、設定可能フリッカー低減シャッター速度SetPosFlkTvを制限する構成であってもよい。当該所定の速さ(シャッター速度)としては、理想とする露光時間とメカシャッター104の駆動による撮像素子101の露光おおよび遮光のタイミングとのずれ量(すなわち誤差)が所定範囲に収まる値であればよい。本実施形態では、例示的に、所定の速さのシャッター速度を1/4000秒とする。この場合、前述のシャッター速度設定テーブルを、1/4000秒以下のシャッター速度に対応するインデックスを除いた範囲で利用する、あるいは、新たなテーブルデータを用いて設定可能フリッカー低減シャッター速度を決めればよい。
なお、本実施形態のカメラ本体100としては、設定可能フリッカー低減シャッター速度SetPosFlkTvの値に応じて、電子シャッターを利用するかメカシャッター104を用いるかを動的に調整可能な構成であってもよい。例えば、シャッター速度が1/4000秒よりも高速の場合は電子シャッターのみ利用可能とし、それ以外のシャッター速度では、電子シャッターおよびメカシャッター104のいずれも利用可能としてもよい。
(第2実施形態)
前述した第1実施形態では、任意の設定可能フリッカー低減シャッター速度を1つだけユーザーに対して報知する構成について説明した。これに対して、本実施形態では、設定可能フリッカー低減シャッター速度として、複数の選択肢をユーザーに対して報知する構成について、図22を参照して説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。本実施形態として、前述した第1実施形態と異なるのは、ステップS306の表示処理である。
前述した第1実施形態では、任意の設定可能フリッカー低減シャッター速度を1つだけユーザーに対して報知する構成について説明した。これに対して、本実施形態では、設定可能フリッカー低減シャッター速度として、複数の選択肢をユーザーに対して報知する構成について、図22を参照して説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。本実施形態として、前述した第1実施形態と異なるのは、ステップS306の表示処理である。
図22は、本発明の第2実施形態に係る表示処理により、ディスプレイユニット102に表示される報知画像を例示的に説明する図である。このうち、図22(a)は、540.0Hzのフリッカーが検出され、CurTvが1/5792.6、SetPosFlkTvが1/534.7である場合を示している。また、図22(b)は、540.0Hzのフリッカーが検出され、CurTvが1/250.5、SetPosFlkTvが1/270.2である場合を示している。
検出フリッカー領域1801には、検出済みのフリッカーの光量変化周波数を示す情報が表示される。現在シャッター速度領域1802には、ユーザーの手動設定などにより、現在、カメラ本体100で設定されているシャッター速度が表示される(図22(a)では1/5792.6、図22(b)では1/270.2の場合をそれぞれ示す)。
選択可能シャッター速度第1候補領域1803には、第1実施形態で説明した方法に基づいて求められた設定可能フリッカー低減シャッター速度SetPosFlkTvが、ユーザーが選択可能なシャッター速度の第1候補として表示される。なお、選択可能シャッター速度第1候補領域1803として、図22(a)では1/534.7、図22(b)では1/270.2の場合をそれぞれ示している。
選択可能シャッター速度第2候補領域1804には、IdealFlkExpTimeとの差がSetPosFlkTvの次に小さいインデックスに対応するシャッター速度が、ユーザーが選択可能なシャッター速度の第2候補として表示される。なお、選択可能シャッター速度第2候補領域1804として、図22(a)では1/546.4、図22(b)では1/273.2の場合をそれぞれ示している。
選択可能シャッター速度別候補領域1805には、CurTvとの差分によらず、フリッカーの影響を低減する効果がより大きくなるシャッター速度が存在する場合に、該当するシャッター速度をユーザーが選択可能なシャッター速度の別候補として表示される。例えば、図22(a)では、選択可能シャッター速度別候補領域1805には、IdealFlkExpTimeであるTv=1/540.0を2倍したTv=1/270.0に近い1/270.2を表示した例を示す。540Hzのフリッカーが検出されている状況であれば、Tv=1/270.2の方がCurTvとの差分との差分は大きいが、SetPosFlkTv(1/534.7)よりもフリッカーの影響を低減する効果は大きい。
シャッター速度選択アイコン1806には、選択可能なシャッター速度の候補をユーザーが選択するためのアイコンが表示される。該アイコンのうち、白矢印は、候補となるシャッター速度が存在しないことを示し、黒矢印は、候補となるシャッター速度が存在することを示す。図22(a)では、選択可能シャッター速度第1候補領域1803に対して、他のSetPosFlkTv候補が存在しないため、選択可能シャッター速度第1候補領域1803n横に白矢印のアイコンが表示される。なお、この点は図22(b)で示す例でも同様である。また、図22(a)では、選択可能シャッター速度別候補領域1805に対し、フリッカーの影響を低減する効果が高い他のシャッター速度(1/180.0)が存在するため、選択可能シャッター速度別候補領域1805の横に黒矢印のアイコンが表示される。図22(b)でも、選択可能シャッター速度別候補領域1805に対し、フリッカーの影響を低減する効果が高い他のシャッター速度(1/135.0)が存在するため、選択可能シャッター速度別候補領域1805の横に黒矢印のアイコンが表示される。
以上説明したように、本実施形態のカメラ本体100は、フリッカーの影響を低減することが可能なシャッター速度として、任意のSetPosFlkTv以外に複数の候補をユーザーに対して報知することができる。この構成により、例えば、ユーザーの手動操作によりフリッカーの影響を低減できるようなシャッター速度を調整する作業を減らしつつ、フリッカーの影響を低減できる複数の候補の中からユーザー希望するシャッター速度を簡単に設定することができる。したがって、本発明に係るカメラ本体100は、光源に依らず、幅広い光量変化周波数のフリッカーの影響を低減した撮像を複雑な操作を必要とせずに実行することができ、画像におけるフリッカーに起因するムラを低減することができる。
(第3実施形態)
前述した第1実施形態では、特定の報知画面をディスプレイユニット102に表示する例について説明した。これに対して、本実施形態では、撮影画像の逐次表示を行うライブビュー表示中に、フリッカー検知処理を行う構成について図23を参照して説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
前述した第1実施形態では、特定の報知画面をディスプレイユニット102に表示する例について説明した。これに対して、本実施形態では、撮影画像の逐次表示を行うライブビュー表示中に、フリッカー検知処理を行う構成について図23を参照して説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
図23は、本発明の第3実施形態に係るライブビュー表示中のフリッカー低減処理への移行画面を例示的に説明する図である。なお、本実施形態では、ディスプレイユニット102にライブビュー表示を行う構成について説明するが、不図示の電子ビューファインダーにライブビュー表示を行う構成であってもよい。なお、ライブビュー表示中は、撮像素子101において、ライブビュー表示に用いる撮影画像を得るための電荷の蓄積タイミングとは異なるタイミングでフリッカー検出用のサンプリング(電荷蓄積)を行う。
図23に図示するように、フリッカー検出アイコン1901は、前述した第1実施形態において前述したフリッカー検出処理によりフリッカーが検出した際に、フリッカーを検波したことを表示するためのアイコン表示である。なお、アイコン1901を、前述したフリッカー検出処理とは異なるフリッカー検出処理を実行可能な場合、アイコン1901において同様に表示する構成、あるいは、アイコン1901とは異なるアイコンを用いる構成であってもよい。ここで、他のフリッカー検出処理としては、商用電源の周期変化に起因して発生する特定フリッカー(100Hz、120Hz)を検出する処理などが想定される。
また、アイコン1901は、フリッカーが検出された場合だけ表示される構成であってもよいし、常時アイコン表示しつつ、フリッカーの検出有無に応じて表示内容を変更(更新)する構成であってもよい。更に、フリッカー検出アイコン1901をユーザーが押下げすることで、フリッカー検出処理が実行されるようにCPU103が制御する構成であってもよい。
フリッカー低減メニュー以降アイコン1902は、当該アイコンがユーザーにより押下げ操作(タッチ操作含む)された場合に、ディスプレイユニット102の表示内容を前述した第1、第2実施形態で説明した報知画面に遷移させるためのアイコンである。すなわち、本実施形態に係るカラ本体100は、ユーザーがメニュー画面などの他のユーザーインターフェースを経由せずに、ライブビュー表示中に直接報知画面へと遷移させることができる。
以上説明したように、本実施形態のカメラ本体100は、ライブビュー表示中など、被写体の撮影状態においても幅広い周波数で変化するフリッカーの検出およびフリッカーの影響を低減した撮像への遷移を、ユーザーによる簡単な操作で実現することができる。この構成により、フリッカーの検出に係るユーザーの手動操作の手番を減らしつつ、フリッカーの影響を低減できる複数の候補の中からユーザー希望するシャッター速度を簡単に設定することができる。したがって、本発明に係るカメラ本体100は、光源に依らず、幅広い光量変化周波数のフリッカーの影響を低減した撮像を複雑な操作を必要とせずに実行することができ、画像におけるフリッカーに起因するムラを低減することができる。
(第4実施形態)
前述した第1実施形態では、現在のシャッター速度CurTvが事前に設定されている場合のフリッカー低減用露光時間決定処理について説明した。これに対して、本実施形態では、例えば、ユーザーの手動操作などにより特定のシャッター速度(CurTv)が設定されていない場合のフリッカー低減用露光時間決定処理について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
前述した第1実施形態では、現在のシャッター速度CurTvが事前に設定されている場合のフリッカー低減用露光時間決定処理について説明した。これに対して、本実施形態では、例えば、ユーザーの手動操作などにより特定のシャッター速度(CurTv)が設定されていない場合のフリッカー低減用露光時間決定処理について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
ここで、カメラ本体100において設定可能な撮影モードとしては、前述したオートモードやマニュアルモードのほかに、任意の露出制御値をユーザーが手動で設定し、他の露出制御値が自動的に設定される優先モードなどがある。この優先モードとして、本実施形態に係るカメラ本体100は、例えば、シャッター速度をユーザーが手動設定可能な、シャッター速度優先モードなどを設定可能である。
例えば、カメラ本体100の撮影モードがオートモードなどに設定された自動露出制御状態においては、ユーザーにより任意のシャッター速度が設定されない。したがって、前述した第1実施形態におけるフリッカー低減用露光時間決定処理において、現在のシャッター速度CurTvを考慮して理想フリッカー低減露光時間IdealFlkExpTimeを決定する必要性が低い。
そこで、本実施形態では、現在のシャッター速度CurTvがユーザーにより手動で設定されたシャッター速度CurUserTvであるか否かに係る判定結果に基づいて、理想フリッカー低減露光時間IdealFlkExpTimeを決定する。具合的に説明すると、本実施形態のカメラ本体100において、CPU103は、CurTv≠CurUserTvであるか否かを判定する。そして、当該判定により、CurTv≠CurUserTvと判定された場合、CPU103は、シャッター速度設定テーブル内で理想フリッカー低減用露光時間との差分が一番小さいシャッター速度を、設定可能フリッカー低減シャッター速度とする。
以上説明した構成を前述したフリッカー低減用露光時間決定処理において説明すると、ステップS1203およびステップS1205以降の処理は不要となる。なお、この場合、理想フリッカー低減露光時間IdealFlkExpTimeは、検出されたフリッカーの光量変化周波数の逆数となる露光時間が設定されることになるが、これに限定されるものではない。例えば、第2実施形態で前述したように、フリッカーの影響を低減する効果が大きくなるように、理想フリッカー低減用露光時間を整数N倍した値に対して、差分が最も小さくなるように、設定可能フリッカー低減シャッター速度を設定する構成であってもよい。この場合、シャッター速度設定テーブルに従って設定可能なシャッター速度と、理想フリッカー低減用露光時間IdealFlkExpTimeの整数倍の値との比較を繰り返す。そして、その中でもっとも差分の少ないシャッター速度を設定可能フリッカー低減シャッター速度SetPosFlkTvとして選択する。
例えば、前述したい第1、第2実施形態では、CurTvが設定されている場合を前提とし、CurTvとの差分を考慮して設定可能フリッカー低減シャッター速度SetPosFlkTvの値を決定したが、これに限定されるものではない。例えば、カメラ本体100は、フリッカーの光量変化周波数とその整数倍の逆数ごとに、各インデックスに対応するシャッター速度との差異を比較し、最も差異が小さい値を設定可能フリッカー低減シャッター速度SetPosFlkTvとしてもよい。この際、カメラ本体100で設定可能なシャッター速度で低減できるフリッカーの光量変化周波数の範囲を定め、この範囲に収まる周波数の逆数のみを比較の対象にすればよい。
なお、本実施形態における、CurTv≠CurUserTvであるか否かに係る判定は、カメラ本体100において現在設定されている撮影モードに基づいて判定を行う構成であってもよい。
以上説明したように、本実施形態のカメラ本体100は、ユーザーにより任意のシャッター速度が設定されていない場合であっても、幅広い周波数で変化するフリッカーの影響を効果的に低減可能な最適なシャッター速度を算出することができる。この構成により、カメラ本体100の撮影条件に依らず、ユーザーによる複雑な操作を必要とせずに、フリッカーの影響を最も効果的に低減できるシャッター速度を簡単に設定することができる。
したがって、本発明に係るカメラ本体100は、光源に依らず、幅広い光量変化周波数のフリッカーの影響を低減した撮像を複雑な操作を必要とせずに実行することができ、画像におけるフリッカーに起因するムラを低減することができる。
(第5実施形態)
前述した第1実施形態では、静止画像を取得する際の被写体撮像時に係るフリッカー低減処理について説明した。これに対して、本実施形態では、動画像を取得する際の被写体撮像時に係るフリッカー低減処理について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
前述した第1実施形態では、静止画像を取得する際の被写体撮像時に係るフリッカー低減処理について説明した。これに対して、本実施形態では、動画像を取得する際の被写体撮像時に係るフリッカー低減処理について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
動画像を取得する場合、動画像を形成する各フレームの更新周期により設定可能なシャッター速度が制限を受ける。すなわち、動画像の記録フレームレートに応じて、設定できないシャッター速度が存在する。
また、設定可能なシャッター速度であっても、動画像を取得する際のシャッター速度として望ましくない値もある。例えば、シャッター速度が短いと、1フレームにおける露光時間が短く、動画像を形成する各フレーム間の時間的な差が大きくなるため、動画像における被写体の動きが滑らかに見えない。
そこで、本実施形態では、動画像を取得する際のフリッカー低減処理について、動画像の設定フレームレートで設定可能、かつ、最も長い露光時間を理想フリッカー低減露光時間とする。なお、フリッカー低減用露光時間と設定可能フリッカー低減シャッター速度とが一致しない場合もある。したがって、新たに決定された理想フリッカー低減露光時間に基づいて選択された設定可能フリッカー低減シャッター速度が、現在の動画像のフレームレートで設定できない値である場合は、設定可能フリッカー低減シャッター速度を調整する。具体的には、動画像のフレームレートによる制限を受けないシャッター速度の中で、新たに決定された理想フリッカー低減露光時間に最も近いシャッター速度を設定可能フリッカー低減シャッター速度とする。
なお、本実施形態では、前述したフリッカー低減用露光時間決定処理におけるCurTvとの比較に係る処理は省略可能とする。しかしながら、理想フリッカー低減露光時間(の整数倍)のうちで、現在のシャッター速度CurTvとの差分が所定の範囲に収まる露光時間の中で最も長い露光時間を最終的な理想フリッカー低減露光時間とする構成であってもよい。
以上説明したように、本実施形態のカメラ本体100は、動画像を取得するための被写体の撮像時においても、動画像の品位が低下することを抑制しつつ、幅広い周波数で変化するフリッカーの検出およびフリッカーの影響を低減した撮像が可能である。この構成により、本実施形態に係るカメラ本体100は、ユーザーによる追加の操作を必要とせずに、静止画像および動画像の取得時の双方で、フリッカーの影響を低減できるシャッター速度を簡単に設定することができる。したがって、本発明に係るカメラ本体100は、光源に依らず、幅広い光量変化周波数のフリッカーの影響を低減した撮像を複雑な操作を必要とせずに実行することができ、画像におけるフリッカーに起因するムラを低減することができる。
(第6実施形態)
前述した第1実施形態では、現在のシャッター速度CurTvに対して差異が小さくなるように、理想フリッカー低減露光時間を設定する構成について説明した。これに対して、本実施形態では、手ブレや被写体ブレの影響を低減することが可能な理想フリッカー低減露光時間を設定する方法について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
前述した第1実施形態では、現在のシャッター速度CurTvに対して差異が小さくなるように、理想フリッカー低減露光時間を設定する構成について説明した。これに対して、本実施形態では、手ブレや被写体ブレの影響を低減することが可能な理想フリッカー低減露光時間を設定する方法について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
一般的に、シャッター速度(露光時間)が長くなると、撮像時の手ブレや被写体の動き(所謂被写体ブレ)の影響を受けて、被写体部分がぶれた画像が取得される確率が高くなる。換言すると、画像に発生するブレを低減するためには、できる限りシャッター速度を短くするのが望ましい。
本実施形態に係るカメラ本体100は、前述した第1実施形態に係るフリッカー低減用露光時間決定処理において、所定の露光時間よりも短秒となるように理想フリッカー低減露光時間を決定する。当該所定の露光時間としては、画像における被写体のブレの影響を低減できるような値であればどのようなものであってもよいが、本実施形態では例示的に、所定の露光時間を1/125秒とする。
なお、本実施形態では、前述したフリッカー低減用露光時間決定処理におけるCurTvとの比較に係る処理は省略可能とする。しかしながら、理想フリッカー低減露光時間(の整数倍)のうちで、現在のシャッター速度CurTvとの差分が所定の範囲に収まる露光時間であって、所定の露光時間よりも短秒となるように理想フリッカー低減露光時間を決定する構成であってもよい。
また、カメラ本体100の撮影条件として、ブレを低減する条件(例えば、特定の撮影シーン(スポーツシーンなど))が設定されている場合に、被写体のブレの影響を低減するような理想フリッカー低減露光時間を設定する構成であってもよい。
以上説明したように、本実施形態のカメラ本体100は、画像における被写体のブレの影響を抑制しつつ、幅広い周波数で変化するフリッカーの検出およびフリッカーの影響を低減した撮像が可能である。この構成により、本実施形態に係るカメラ本体100は、ブレの低減を意図するような特定の撮影条件が設定されている場合でも、ユーザーによる追加の操作を必要とせずに、フリッカーの影響を低減できるシャッター速度を簡単に設定することができる。したがって、本発明に係るカメラ本体100は、光源に依らず、幅広い光量変化周波数のフリッカーの影響を低減した撮像を複雑な操作を必要とせずに実行することができ、画像におけるフリッカーに起因するムラを低減することができる。
(第7実施形態)
本実施形態では、発光装置300を用いた発光撮像時に係るフリッカー低減処理について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
本実施形態では、発光装置300を用いた発光撮像時に係るフリッカー低減処理について説明する。なお、本実施形態に係る撮像装置であるカメラ本体100、およびレンズユニット200や発光装置300の構成および基本的な駆動方法については、前述した第1実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。
発光装置300を用いた発光撮影では、撮像素子101が露光されているタイミングと発光装置300の発光タイミングとに基づいて決められる同調速度により、設定可能フリッカー低減シャッター速度が制限される。すなわち、本実施形態に係るカメラ本体100は、発光装置300の同調速度よりも低速となるシャッター速度の候補から、設定可能フリッカー低減シャッター速度を設定する。具体的に、CPU103は、発光装置300を用いた発光撮影を行うか否かを判定する。そして、該判定により発光撮影を行うと判定された場合は、シャッター速度設定テーブルにおいて選択可能なシャッター速度を、発光装置300の同調速度よりも低速となる範囲に制限する。
なお、本実施形態では、前述したフリッカー低減用露光時間決定処理におけるCurTvとの比較に係る処理は省略可能とする。しかしながら、理想フリッカー低減露光時間(の整数倍)のうちで、現在のシャッター速度CurTvとの差分が最も小さい発光装置300の同調速度を最終的な理想フリッカー低減露光時間とする構成であってもよい。
以上説明したように、本実施形態のカメラ本体100は、発光装置を用いた発光撮影時においても、被写体が適切に照明された状態を維持しつつ、幅広い周波数で変化するフリッカーの検出およびフリッカーの影響を低減した撮像が可能である。この構成により、本実施形態に係るカメラ本体100は、ユーザーによる追加の操作を必要とせずに、発光撮影時のフリッカーの影響を低減できるシャッター速度を簡単に設定することができる。したがって、本発明に係るカメラ本体100は、光源に依らず、幅広い光量変化周波数のフリッカーの影響を低減した撮像を複雑な操作を必要とせずに実行することができ、画像におけるフリッカーに起因するムラを低減することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、車載カメラやセキュリティーカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。
また、前述した実施形態では、光源を特定せず、幅広い周波数で変化するフリッカーを検出および低減可能な構成について説明したが、これに限定されるものではない。例えば、特定の光源を予め指定したうえで、発生する可能性が高い周波数域に合わせてフリッカーを検出する構成であってもよい。この場合、例えば、図2に図示するシャッター速度設定テーブルと同様に、光源(または類似の光源群)ごとにテーブルデータを用意し、光源の光量変化周期を参考に、テーブルデータごとに設定する可能性が高いシャッター速度を限定する構成であってもよい。この構成であれば、各光源で発生する可能性が高いフリッカーに合わせて、フリッカーの影響を低減できるシャッター速度を効率的に設定可能であるため、フリッカーの影響を効果的に低減しつつ、テーブルデータのデータ量を出来る限り低減できる。
また、前述した実施形態では、CPU103を中心として撮像システムを構成する各部が互いに連携して動作することで、装置全体としての動作を制御する構成であったが、これに限定されるものではない。例えば、前述した各図に図示したフローに従った(コンピュータ)プログラムを予めカメラ本体100のROMなどに記憶しておく。そして、当該プログラムを、CPU103などのマイクロプロセッサが実行することで、撮像システム全体に係る動作を制御するような構成であってもよい。また、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記録媒体でもあってもよい。
また、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、セキュリティーカメラなど、種々の撮像装置を採用する構成であってもよい。
(その他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
100 カメラ本体
101 撮像素子
102 ディスプレイユニット
103 CPU
200 撮影レンズ
300 発光装置
101 撮像素子
102 ディスプレイユニット
103 CPU
200 撮影レンズ
300 発光装置
Claims (10)
- 撮像素子を備えた撮像装置であって、
被写体の光量の周期的な変化であるフリッカーの光量変化周波数を検出する第1のフリッカー検出手段と、
前記第1のフリッカー検出手段により検出されたフリッカーの光量変化周波数が検出対象範囲を超えているか否かを判定する判定手段と、
前記第1のフリッカー検出手段の検出結果および前記判定手段の判定結果に基づいて、フリッカーに関する情報を報知手段を介して報知するように制御する制御手段と、
を有し、
前記制御手段は、前記判定手段により検出対象範囲を超える周波数のフリッカーが検出されていると判定した場合に、現在発生しているフリッカーの光量変化周波数が検出対象範囲を超えている旨の第1の情報を前記報知手段を介して報知するように制御することを特徴とする撮像装置。 - 前記第1のフリッカー検出手段は、第1のサンプリング周波数で得られた第1のフリッカー検出用の信号に基づいてフリッカーの光量変化周波数を検出することを特徴とする請求項1に記載の撮像装置。
- 前記第1のフリッカー検出手段による前記第1のサンプリング周波数とは異なる周波数で得られた第2のフリッカー検出用の信号に基づいてフリッカーの光量変化周波数を検出する第2のフリッカー検出手段を有し、
前記判定手段は、前記第1のフリッカー検出手段の検出結果と前記第2のフリッカー検出手段の検出結果に基づいて、前記第1のフリッカー検出手段により検出されたフリッカーの光量変化周波数が検出対象範囲を超えているか否かを判定することを特徴とする請求項2に記載の撮像装置。 - 前記第2のサンプリング周波数は、前記第1のサンプリング周波数よりも高周波であることを特徴とする請求項3に記載の撮像装置。
- 前記第2のサンプリング周波数は、前記第1のサンプリング周波数に対応するナイキスト周波数に基づく値であることを特徴とする請求項4に記載の撮像装置。
- 前記第1のフリッカー検出手段と前記第2のフリッカー検出手段は、前記撮像素子の垂直方向の読み出し数を調整することでサンプリング周波数を調整することを特徴とする請求項3乃至5の何れか1項に記載の撮像装置。
- 前記制御手段は、前記第1のフリッカー検出手段の検出結果と前記判定手段の判定結果に基づいて、検出対象範囲内の周波数のフリッカーが検出されていると判定した場合に、フリッカーが検出された旨の第2の情報を前記報知手段を介して報知し、
前記第1の情報は、前記第2の情報とは異なることを特徴する請求項1乃至6の何れか1項に記載の撮像装置。 - 前記第1の情報は、手動でシャッタースピードを設定するための操作をユーザーに促すための情報を含むことを特徴とする請求項1乃至7の何れか1項に記載の撮像装置。
- 被写体の光量の周期的な変化であるフリッカーの光量変化周波数を検出する第1のフリッカー検出工程と、
前記第1のフリッカー検出工程で検出されたフリッカーが検出対象範囲を超えているか否かを判定する判定工程と、
前記判定工程の判定結果に基づいて、フリッカーに関する情報を報知するように制御する制御工程と、
を有し、
前記制御工程では、前記判定工程で検出対象範囲を超えるフリッカーが検出されていると判定した場合に、現在発生しているフリッカーが検出対象範囲を超えている旨の情報を報知するように制御することを特徴とするフリッカー検出方法。 - 請求項9に記載のフリッカー検出方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021141408A JP2023034920A (ja) | 2021-08-31 | 2021-08-31 | 撮像装置、フリッカー検出方法およびプログラム |
EP22190498.0A EP4142299A1 (en) | 2021-08-31 | 2022-08-16 | Imaging apparatus, flicker detection method, and program |
US17/820,716 US11843872B2 (en) | 2021-08-31 | 2022-08-18 | Imaging apparatus, flicker detection method, and storage medium |
CN202211042923.4A CN115734081A (zh) | 2021-08-31 | 2022-08-29 | 摄像设备、闪烁检测方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021141408A JP2023034920A (ja) | 2021-08-31 | 2021-08-31 | 撮像装置、フリッカー検出方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023034920A true JP2023034920A (ja) | 2023-03-13 |
Family
ID=82939701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021141408A Pending JP2023034920A (ja) | 2021-08-31 | 2021-08-31 | 撮像装置、フリッカー検出方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11843872B2 (ja) |
EP (1) | EP4142299A1 (ja) |
JP (1) | JP2023034920A (ja) |
CN (1) | CN115734081A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006287362A (ja) * | 2005-03-31 | 2006-10-19 | Eastman Kodak Co | デジタルカメラおよびホワイトバランス調整方法 |
KR101678691B1 (ko) * | 2010-05-12 | 2016-11-23 | 삼성전자주식회사 | 광원의 특성을 이용한 이미지 처리 장치 및 방법 |
KR102092571B1 (ko) * | 2013-01-04 | 2020-04-14 | 삼성전자 주식회사 | 카메라를 구비하는 장치의 인물 촬영장치 및 방법 |
JP6108946B2 (ja) | 2013-05-10 | 2017-04-05 | キヤノン株式会社 | 撮像装置、制御方法、プログラム及び記憶媒体 |
JP2020072392A (ja) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
-
2021
- 2021-08-31 JP JP2021141408A patent/JP2023034920A/ja active Pending
-
2022
- 2022-08-16 EP EP22190498.0A patent/EP4142299A1/en active Pending
- 2022-08-18 US US17/820,716 patent/US11843872B2/en active Active
- 2022-08-29 CN CN202211042923.4A patent/CN115734081A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115734081A (zh) | 2023-03-03 |
EP4142299A1 (en) | 2023-03-01 |
US20230061655A1 (en) | 2023-03-02 |
US11843872B2 (en) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8471923B2 (en) | Flicker correction apparatus, flicker correction method and image sensing apparatus | |
US9875423B2 (en) | Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic | |
US9473692B2 (en) | Image processing apparatus, imaging apparatus, and determination method for controlling light emission | |
US10205886B2 (en) | Imaging apparatus, control method, and storage medium | |
US11627261B2 (en) | Image capturing apparatus capable of detecting flicker due to periodic change in light amount of object, flicker detecting method, and non-transitory computer-readable storage medium | |
JPWO2012093519A1 (ja) | 撮像装置及びその発光量制御方法 | |
JP4831175B2 (ja) | 撮像装置及び撮像方法 | |
US9800792B2 (en) | Image pickup apparatus capable of determining light amount change characteristic, method of determining light amount change characteristic, and storage medium | |
US20050253956A1 (en) | Image capturing apparatus and an image capturing method | |
JP2015031743A (ja) | 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置 | |
EP4093020A1 (en) | Image capturing apparatus capable of detecting flicker due to periodic change in light amount of object, method of controlling same, and program | |
JP2011078074A (ja) | 撮像装置およびその制御方法 | |
JP2023034920A (ja) | 撮像装置、フリッカー検出方法およびプログラム | |
JP6603892B2 (ja) | 撮像装置 | |
JP2022130277A (ja) | 撮像装置、フリッカー検出方法およびプログラム | |
JP2013051516A (ja) | 撮像装置および判定方法、並びにプログラム | |
JP6456038B2 (ja) | 電子機器、光量変化特性の算出方法、プログラム及び記憶媒体 | |
JP2013009204A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2012063664A (ja) | 測光装置及び電子カメラ | |
CN112771847A (zh) | 成像元件、摄像装置、图像数据处理方法及程序 | |
JP2015220673A (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 | |
JP2015167308A (ja) | 顔検出オートフォーカス制御に適する測光方法 | |
JP2015032894A (ja) | 照明装置の発光制御方法及び撮像装置 | |
JP2015045759A (ja) | 撮像装置およびその制御方法 | |
JP2013040996A (ja) | 露出演算装置およびカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |