JP2019220764A - 取得方法、プログラムおよび撮像装置。 - Google Patents

Abstract

【課題】撮像駆動モードを切り替えることなく、光源の光量が最大値となるピークタイミングを取得することができる取得方法、プログラムおよび撮像装置を提供する。【解決手段】取得方法は、フリッカー縞がない第１の画像およびフリッカー縞がある第２の画像に基づいて、フリッカー縞を抽出した第３の画像を生成し、撮像素子から画像信号を読み出す読み出し方向、撮像素子の撮像領域における測光領域および撮像素子を構成する画素の少なくとも１つに基づいて、第３の画像を分割する分割方法を判定し、分割方法に基づいて、第３の画像を水平方向に沿って複数の領域に分割し、複数の領域の各々の明るさを算出し、明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、第３の画像における最明値の領域および最暗値の領域の少なくともどちらか一方の位置に基づいて、フリッカーのピークタイミングを取得する。【選択図】図２

Description

本発明は、フリッカーのピークタイミングで撮像するための撮像タイミングを取得する取得方法、プログラムおよび撮像装置に関する。

近年、デジタルカメラ等の撮像装置において、フリッカー光源の光量が最大値となるタイミングと撮像タイミングとが一致するように撮影タイミングを調整する技術が知られている（特許文献１参照）。この技術では、光源のフリッカーによる露光ムラの有る第１の画像に基づいて、フリッカーの光量変化の少ないタイミングを検出し、この検出されたタイミングで第２の画像を撮像することによって、フリッカーが静止画の露光に与える影響を低減する。

特開２０１５−８８９１７号公報

しかしながら、上述した特許文献１では、１フレーム中の露光期間に、フリッカーの１周期以上が収まることを前提としてため、フリッカー周期より撮像装置の幕速が早い場合、光源の光量が最大値となるピークタイミングを取得することができないという問題点があった。この場合、上述した特許文献１では、幕速の遅いフリッカー検出用の撮像駆動モードに切り替えることによって露光ムラの有る第１の画像を取得しているので、撮像駆動モードの切り替え時間が発生することで、シャッタチャンスを逃してしまう可能性があった。

本開示は、上記に鑑みてなされたものであって、撮像駆動モードを切り替えることなく、光源の光量変化が最小値となるピークタイミングを特定することができる取得方法、プログラムおよび撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る取得方法は、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する取得方法であって、予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第１の画像を取得し、前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第２の画像を取得し、前記第１の画像および前記第２の画像に基づいて、前記フリッカー縞を抽出した第３の画像を生成し、前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも１つに基づいて、前記第３の画像を分割する分割方法を判定し、前記分割方法に基づいて、前記第３の画像を水平方向に沿って複数の領域に分割し、前記複数の領域の各々の明るさを算出し、前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、前記第３の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記フリッカーのピークタイミングを取得する。

また、本開示に係る取得方法は、上記発明において、前記最暗値の前記領域および前記最明値の前記領域が前記第３の画像における上下端部のいずれかであるか否かを判定し、前記最暗値の前記領域が前記上下端部のいずれかである場合、前記第３の画像における前記最暗値の前記領域の位置に基づいて、前記ピークタイミングを取得し、前記最明値の前記領域が前記上下端部のいずれかである場合、前記第３の画像における前記最明値の前記領域の位置に基づいて、前記ピークタイミングを取得する取得方法。

また、本開示に係る取得方法は、上記発明において、前記フリッカー周期および前記撮像素子が備える電子シャッタの幕速のシャッタスピードに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、前記フレーム数に基づいて、前記撮像素子を連続的に撮像させ、前記撮像素子が連続的に撮像した複数の画像データから前記第１の画像を取得し、前記撮像素子が連続的に撮像した複数の画像データから前記第２の画像を取得する。

また、本開示に係る取得方法は、上記発明において、前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記撮像素子の前記撮像フレームレートを前記撮像駆動モードにおいて最速な撮像フレームレートに変更する。

また、本開示に係る取得方法は、上記発明において、前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記フリッカー周期と前記撮像フレームレートとに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、前記フレーム数の数だけ前記撮像素子に撮像させ、前記撮像素子が生成した複数の画像データの中から前記第１の画像を取得し、前記撮像素子が生成した複数の画像データの中から前記第２の画像を取得する。

また、本開示に係る取得方法は、上記発明において、前記フリッカー周期、前記撮像素子が備える電子シャッタの幕速のシャッタスピードおよび前記撮像フレームレートに基づいて、前記撮像フレームレートを変更する。

また、本開示に係る取得方法は、上記発明において、前記撮像素子が備える電子シャッタの幕速の時間が前記フリッカー周期から前記撮像素子の撮像フレームレートの周期を減算した値の絶対値より大きいか否かを判定し、前幕速の時間が前記絶対値より大きい場合、前記撮像フレームレートを変更する。

また、本開示に係る取得方法は、上記発明において、前記撮像フレームレートを変更しながら、複数の前記第３の画像の各々の同一の前記領域の明るさを異ならせながら前記撮像素子を駆動する。

また、本開示に係るプログラムは、予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第１の画像を取得し、前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第２の画像を取得し、前記第１の画像および前記第２の画像に基づいて、前記フリッカー縞を抽出した第３の画像を生成し、前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも１つに基づいて、前記第３の画像を分割する分割方法を判定し、前記分割方法に基づいて、前記第３の画像を水平方向に沿って複数の領域に分割し、前記複数の領域の各々の明るさを算出し、前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、前記第３の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する。

また、本開示に係る撮像装置は、画像を生成する撮像素子と、前記撮像素子の制御する制御部と、前記画像から光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する測光制御部と、を備え、前記測光制御部は、予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第１の画像を取得し、前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第２の画像を取得し、前記第１の画像および前記第２の画像に基づいて、前記フリッカー縞を抽出した第３の画像を生成し、前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも１つに基づいて、前記第３の画像を分割する分割方法を判定し、前記分割方法に基づいて、前記第３の画像を水平方向に沿って複数の領域に分割し、前記複数の領域の各々の明るさを算出し、前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、前記第３の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記ピークタイミングを取得する。

本開示によれば、撮像駆動モードを切り替えることなく、光源の光量変化が最小値となるピークタイミングを取得することができるという効果を奏する。

図１は、本開示の一実施の形態に係る撮像装置の機能構成を示すブロック図である。 図２は、本開示の一実施の形態に係る撮像装置が実行する処理の概要を示すフローチャートである。 図３は、フリッカー縞が無い第１のライブビュー画像を模式的に示す図である。 図４は、フリッカー縞が有る第２のライブビュー画像を模式的に示す図である。 図５は、フリッカー縞を抽出した画像を示す図である。 図６は、各水平方向の領域の輝度の平均化を行った平均Ｂｖを模式的に示す図である。 図７は、図２のピークタイミング算出処理の概要を示すフローチャートである。 図８は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。 図９は、複数フレームを繋いだ画像の一例を模式的に示す図である。 図１０は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。

以下、図面を参照して、本開示を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、以下の説明では、撮像装置の一例としてデジタルスチルカメラを説明する。

〔撮像装置の構成〕
図１は、本開示の一実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、被写体像を結像するレンズ装置２と、レンズ装置２が着脱自在に装着される本体装置３と、を備える。なお、以下においては、レンズ装置２と本体装置３とが別体で構成されているが、これに限定されることなく、レンズ装置２と本体装置３とが一体的であってもよい。

〔レンズ装置の構成〕
まず、レンズ装置２の構成について説明する。
レンズ装置２は、前群レンズ２１と、後群レンズ２２と、絞り２３と、絞り駆動部２４と、ズーム位置検出部２５と、レンズ制御部２６と、を備える。

前群レンズ２１は、後述する本体装置３の撮像素子３２の受光面に光学像（被写体像）を結像するため所定の視野領域から光を集光する。前群レンズ２１は、１または複数のレンズを用いて構成される。また、前群レンズ２１は、光軸Ｌ１軸に沿って移動することによって画角を変更する。

後群レンズ２２は、光軸Ｌ１軸に沿って移動することによって被写体像のピント位置を調整する。後群レンズ２２は、１または複数のレンズを用いて構成される。

絞り２３は、絞り駆動部２４の制御のもと、前群レンズ２１が集光した光の入射量を制限することによって露出の調整を行う。

絞り駆動部２４は、レンズ制御部２６の制御のもと、絞り２３を駆動することによって絞り２３の絞り値を調整する。絞り駆動部２４は、ステッピングモータやＤＣモータ等を用いて構成される。

ズーム位置検出部２５は、光軸Ｌ１軸における前群レンズ２１の位置を検出することによって、レンズ装置２の現在の画角に関するズーム情報を検出し、このズーム情報をレンズ制御部２６へ出力する。ズーム位置検出部２５は、例えばフォトインタラプタやエンコーダ等を用いて構成される。

レンズ制御部２６は、本体装置３から入力された制御信号に基づいて、絞り駆動部２４を制御することによって、絞り２３を制御する。レンズ制御部２６は、例えばＣＰＵ（Central Processing Unit）等を用いて構成される。

〔本体装置の構成〕
次に、本体装置３の構成について説明する。
本体装置３は、シャッタ３１と、撮像素子３２と、通信部３３と、画像処理部３４と、表示部３５と、操作部３６と、記録部３７と、制御部３８と、を備える。

シャッタ３１は、制御部３８の制御のもと、開閉動作を行うことによって、撮像素子３２の状態を露光状態または遮光状態に切り替える。また、シャッタ３１は、制御部３８の制御のもと、撮像素子３２に入射する光の入射時間であるシャッタ速度を調整する。シャッタ３１は、フォーカルプレーンシャッタ等のメカシャッタを用いて構成される。

撮像素子３２は、レンズ装置２が集光した被写体像を受光して光電変換を行うことによって画像データを生成する複数の画素が２次元マトリクス状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像イメージセンサを用いて構成される。撮像素子３２は、制御部３８の制御のもと、所定のフレームレートで画像データを生成し、この画像データを画像処理部３４へ出力する。また、撮像素子３２は、制御部３８の制御のもと、電子シャッタ、例えばローリングシャッタによって水平方向の画素ライン毎に順次読み出して画像処理部３４へ出力する。また、撮像素子３２は、制御部３８の制御のもと、グローバルシャッタを行ってもよい。なお、撮像素子３２は、受光面にベイヤー配列のカラーフィルタが配置されてなる。もちろん、撮像素子３２は、ベイヤー配列以外にも、位相差を検出するためのフィルタがベイヤー配列のカラーフィルタに設けられていてもよい。さらに、撮像素子３２は、ベイヤー配列以外に、補色フィルタ、例えばマゼンダ、イエローおよびシアンが配置された補色フィルタされてもよい。

通信部３３は、通信部３３は、制御部３８から入力された制御信号をレンズ装置２のレンズ制御部２６へ送信するとともに、レンズ制御部２６から入力された各種信号、例えばレンズ装置２の画角等を含む信号を制御部３８へ出力する。なお、通信部３３は、所定の通信規格に従って有線または無線によって制御信号や各種信号を双方向に送受信する。

画像処理部３４は、撮像素子３２から入力された画像データに対して所定の画像処理を行って表示部３５へ出力する。画像処理部３４は、例えばゲインアップ処置、ホワイトバランス調整処理デモザイキング処理等の現像処理を行って表示部３５、記録部３７および制御部３８へ出力する。

表示部３５は、画像処理部３４から入力された画像データに対応する画像やライブビュー画像を表示する。表示部３５は、有機ＥＬ（Electro Luminescence）や液晶等の表示パネルを用いて構成される。

操作部３６は、撮像装置１に関する各種操作の入力を受け付ける。具体的には、操作部３６は、撮像装置１に撮影を指示する指示信号や撮像装置１の撮像駆動モードを変更する指示信号の入力を受け付け、受け付けた指示信号を制御部３８へ出力する。操作部３６は、タッチパネル、スイッチ、ボタン、ジョイスティックおよびダイヤル等を用いて構成される。

記録部３７は、撮像装置１に関する各種情報を記録する。記録部３７は、撮像装置１が実行する各種プログラムを記録するプログラム記録部３７１と、画像データを記録する画像データ記録部３７２と、を有する。記録部３７は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。

制御部３８は、撮像装置１を構成する各部を統括的に制御する。制御部３８は、ＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）およびＡＳＩＣ（Application Specific Integrated Circuit）等を用いて構成される。制御部３８は、算出部３８１と、動作制御部３８２と、撮像制御部３８３と、測光制御部３８４と、を有する。

算出部３８１は、撮像素子３２が生成した画像データおよび測光制御部３８４の測光結果に基づいて、撮像装置１が撮像する際の最適な露出を算出する。

動作制御部３８２は、算出部３８１が算出した算出結果に基づいて、シャッタ３１のシャッタ速度および絞り２３の動作を制御する。

撮像制御部３８３は、撮像素子３２の動作を制御する。具体的には、撮像制御部３８３は、撮像素子３２の撮像フレームレート（表示フレームレート）、ＩＳＯ感度を制御する。また、撮像制御部３８３は、操作部３６から撮影を指示する指示信号が入力された場合、測光制御部３８４の測光結果およびフリッカーのピークタイミングの検出結果に基づいて、撮像素子３２に撮影を実行させる。

測光制御部３８４は、予め検出されたフリッカー周期に基づいて、撮像素子３２からフリッカー縞が無い第１の画像を取得し、フリッカー周期に基づいて、撮像素子３２からフリッカー縞が有る第２の画像を取得し、第１の画像および第２の画像に基づいて、フリッカー縞を抽出した第３の画像を生成し、撮像素子３２から画像信号を読み出す読み出し方向、撮像素子３２の撮像領域における測光領域および撮像素子３２を構成する画素の少なくとも１つに基づいて、第３の画像を分割する分割方法を判定し、分割方法に基づいて、第３の画像を水平方向に沿って複数の領域に分割し、複数の領域の各々の明るさを算出し、明るさの最明値および明るさの最暗値の少なくとも一方を取得し、第３の画像における最明値の領域および最暗値の領域の少なくともどちらか一方の位置に基づいて、ピークタイミングを取得する。

〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。
図２は、撮像装置１が実行する処理の概要を示すフローチャートである。

図２に示すように、撮像装置１が既に光源のフリッカー周期を検出済みである場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０５へ移行する。これに対して、撮像装置１が既に光源のフリッカー周期を検出済みでない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、後述するステップＳ１０２へ移行する。

ステップＳ１０２において、撮像装置１は、光源のフリッカー周期を検出するフリッカー周期の検出を行う。具体的には、測光制御部３８４は、周知の技術を用いて光源によるフリッカー周期を検出する。例えば、測光制御部３８４は、撮像素子３２が生成した画像データに対応する複数のライブビュー画像に基づいて、時間的に前後する２つのライブビュー画像からフリッカーが発生した水平ラインの垂直方向の距離または位置に基づいて、光源のフリッカー周期（例えば５０Ｈｚまたは６０Ｈｚ）を検出する。

続いて、測光制御部３８４がフリッカー周期を検出できた場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０５へ移行する。これに対して、測光制御部３８４がフリッカー周期を検出できなかった場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、後述するステップS１０４へ移行する。

ステップＳ１０４において、撮像制御部３８３は、撮像素子３２に通常のライブビュー画像を生成させる通常ライブビュー画像露出動作を実行させる。具体的には、撮像制御部３８３は、測光制御部３８４が算出した撮像素子３２の画像データに基づく測光による輝度値に基づいて、適正露出となるように撮像素子３２の駆動を制御する。ステップＳ１０４の後、撮像装置１は、後述するステップＳ１０９へ移行する。

ステップＳ１０５において、撮像制御部３８３は、撮像素子３２の露光時間ＴｖとＩＳＯ感度Ｓｖとを制御することによって、撮像素子３２に光源のフリッカーを検出するためのピーク検出用ライブビュー画像露出動作を実行させる。具体的には、撮像制御部３８３は、フリッカー周期に基づいて、ライブビュー画像にフリッカー縞が無い第１のライブビュー画像と、フリッカー縞が有る第２のライブビュー画像を撮像素子３２に生成させる。

続いて、測光制御部３８４は、ステップＳ１０５において生成した第１のライブビュー画像と第２のライブビュー画像とに基づいて、フリッカー縞を抽出するフリッカー縞抽出処理を実行する（ステップＳ１０６）。ステップＳ１０６の後、撮像装置１は、後述するステップＳ１０７へ移行する。

図３は、フリッカー縞が無い第１のライブビュー画像を模式的に示す図である。図４は、フリッカー縞が有る第２のライブビュー画像を模式的に示す図である。図５は、フリッカー縞を抽出した画像を示す図である。図６は、各測光領域の被写体輝度を水平方向毎に平均化を行った被写体輝度Ｂｖを模式的に示す図である。

図３〜図６に示すように、測光制御部３８４は、第１のライブビュー画像Ｐ１と第２のライブビュー画像Ｐ２とに基づいて、フリッカー縞を抽出した第３の画像Ｐ３を生成する。そして、図６に示すように、測光制御部３８４は、第３の画像Ｐ３の各水平方向の測光領域の被写体輝度値Ｂｖを水平方向毎に平均化を行った第３の画像Ｐ４を生成する。

図２に戻り、ステップＳ１０７以降の説明を続ける。
ステップＳ１０７において、測光制御部３８４は、光源の光量変化が最小値となるピークタイミングを算出するピークタイミング算出処理を実行する。ステップＳ１０７の後、撮像装置１は、後述するステップＳ１０８へ移行する。

〔ピークタイミング算出処理〕
図７は、上述した図２のステップＳ１０７のピークタイミング算出処理の概要を示すフローチャートである。

図７に示すように、まず、撮像素子３２の電子シャッタによる幕速の時間がフリッカー１周期の時間より長い場合（ステップＳ２０１：Ｙｅｓ）、測光制御部３８４は、手法１を実行する（ステップＳ２０２）。ステップＳ２０２の後、撮像装置１は、図２のメインルーチンへ戻る。

［手法１］
ここで、測光制御部３８４が実行する手法１について説明する。
測光制御部３８４は、図６に示す第３の画像Ｐ４の各水平方向の被写体輝度値Ｂｖを平均化した平均値（以下、「平均値ΔＢｖＥｘ＿ＸＡｖｅ」という）に基づいて、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する。具体的には、測光制御部３８４は、第３の画像Ｐ４の各領域の平均値ΔＢｖＥｘ＿ＸＡｖｅのうち、平均値ΔＢｖＥｘ＿ＸＡｖｅの最大値または最小値の位置を基準にフリッカーのピークタイミングを特定する。例えば、図６に示す場合、測光制御部３８４は、平均値ΔＢｖＥｘ＿ＸＡｖｅの最小値である第３の画像Ｐ４の領域Ｌ４の位置を基準にフリッカーのピークタイミングを特定する。この場合測光制御部３８４は、平均値ΔＢｖＥｘ＿ＸＡｖｅの最小値である第３の画像Ｐ４の領域Ｌ４の位置からフリッカー周期の１／２周期ずらした位置がピークタイミングとして特定する。なお、図６では、測光制御部３８４は、平均値ΔＢｖＥｘ＿ＸＡｖｅの最小値の位置を基準にフリッカーのピークタイミングを特定していたが、もちろん、平均値ΔＢｖＥｘ＿ＸＡｖｅの最大値の位置を基準にフリッカーのピークタイミングを特定してもよい。この場合、測光制御部３８４は、平均値ΔＢｖＥｘ＿ＸＡｖｅの最大値の位置がピークタイミングとして特定する。

ステップＳ２０１において、撮像素子３２の電子シャッタによる幕速の時間がフリッカー１周期の時間より長くない場合（ステップＳ２０１：Ｎｏ）、撮像装置１は、ステップＳ２０３へ移行する。

続いて、撮像素子３２の電子シャッタによる幕速の時間がフリッカー１／２周期の時間より長い場合（ステップＳ２０３：Ｙｅｓ）、測光制御部３８４は、手法２または手法３を実行する（ステップＳ２０４）。ステップＳ２０４の後、撮像装置１は、図２のメインルーチンへ戻る。

［手法２］
ここで、測光制御部３８４が実行する手法２について説明する。
電子シャッタによる幕速の時間がフリッカー１／２周期以上であり、フリッカー１周期未満の場合、１フレームである１つの画像内でフリッカー縞が発生するパターンには、３パターンが存在する。具体的には、１つの画像内でフリッカー縞が発生する３パターンには、画像内に暗縞が１本のみ発生するパターン（以下、単に「パターン１」という）、画像内に暗縞および明縞の各々が１本発生するパターン（以下、単に「パターン２」という）、画像内に明縞のみが１本発生するパターン（以下、単に「パターン３」）がある。

即ち、測光制御部３８４は、パターン１、パターン２およびパターン３のいずれかであるか否かを判定し、この判定結果を用いて暗縞基準でフリッカーのピークタイミングを特定するか、明縞基準でフリッカーのピークタイミングを特定するかを使い分けながらフリッカーのピークタイミングを特定する。具体的には、測光制御部３８４は、各水平方向の領域の平均値ΔＢｖＥｘ＿ＸＡｖｅのうち、画像における平均値ΔＢｖＥｘ＿ＸＡｖｅの最大値である最明値（以下、単に「ＭＡＸ」という）および平均値ΔＢｖＥｘ＿ＸＡｖｅの最小値である最暗値（以下、単に「ＭＩＮ」という）の少なくともいずれか一方の位置に基づいて、フリッカーのピークタイミングを特定する。より具体的には、測光制御部３８４は、以下の処理（１）〜処理（３）を行うことによって、パターン１〜パターン３を判定し、この判定結果を用いてフリッカーのピークタイミングを特定する。

まず、処理（１）について説明する。
測光制御部３８４は、ＭＡＸが画像内の上端または下端に位置するか否かを判定し、ＭＡＸが画像の上端または下端を位置する場合、パターン１またはパターン２として判定する。そして、測光制御部３８４は、画像内のＭＩＮのある位置を暗縞として特定し、この暗縞の位置を基準にフリッカーのピークタイミングを特定する。

次に、処理（２）について説明する。
測光制御部３８４は、ＭＡＸが画像内の上端または下端に位置するか否かを判定し、ＭＡＸが画像の上端または下端に位置しない場合において、ＭＩＮが画像内の上端または下端に位置するか否かを判定し、ＭＩＮが画像内の上端または下端に位置するとき、パターン３と判定する。そして、測光制御部３８４は、画像内のＭＡＸのある位置を明縞として特定し、この明縞の位置を基準にフリッカーのピークタイミングを特定する。

最後に、処理（３）について説明する。
測光制御部３８４は、ＭＡＸが画像内の上端または下端に位置するか否かを判定し、ＭＡＸが画像の上端または下端に位置しない場合において、ＭＩＮが画像内の上端または下端に位置するか否かを判定し、ＭＩＮが画像内の上端または下端に位置しないとき、パターン２と判定する。そして、測光制御部３８４は、画像内のＭＩＮのある位置を暗縞として特定し、この暗縞の位置を基準にフリッカーのピークタイミングを特定する。

このように、測光制御部３８４は、電子シャッタによる幕速の時間がフリッカー１／２周期の時間以上であり、フリッカー１周期の時間未満の場合、画像内のＭＡＸまたはＭＩＮの上端または下端の位置に基づいてパターン１〜パターン３のいずれかであるか否かを判定し、この判定結果に応じた画像内の暗縞または明縞の位置を基準にフリッカーのピークタイミングを特定する。

図７に戻り、ステップＳ２０３以降の説明を続ける。
ステップＳ２０３において、撮像素子３２の電子シャッタによる幕速の時間がフリッカー１／２周期の時間より長くない場合（ステップＳ２０３：Ｎｏ）、撮像装置１は、ステップＳ２０５へ移行する。

続いて、撮像素子３２の現在の撮像ｆｐｓが撮像装置１に設定された撮像駆動モードにおける最速ｆｐｓである場合（ステップＳ２０５：Ｙｅｓ）、測光制御部３８４は、手法３または手法４を実行する（ステップＳ２０６）。ステップＳ２０６の後、撮像装置１は、図２のメインルーチンへ戻る。

［手法３および手法４］
ここで、測光制御部３８４が実行する手法３および手法４について説明する。
撮像素子３２の電子シャッタによる幕速の時間がフリッカー周期より短い場合、パターンには、２つのパターンが存在する。具体的には、２つのパターンには、フレーム間にフリッカーのＭＡＸまたはＭＩＮが入らないパターン（以下、単に「パターンＡ」という）、フレーム間にフリッカーのＭＡＸおよびＭＩＮが入らないパターン（以下、単に「パターンＢ」という）がある。

図８は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。図８の（ａ）は、フリッカーによる光量の時間変化を示し、図８の（ｂ）は、撮像素子３２の撮像タイミングを示す。図８の（ａ）において、横軸が時間を示し、縦軸が光源の明るさ（光量）を示し、曲線Ａ１がフリッカーの周期を示す。また、図８の（ｂ）において、点線ＦＦ１が撮像素子３２のフレーム期間を示し、実線ＦＬ１が撮像素子３２の露光期間を示す。

図８の曲線Ａ１に示すように、パターンＡは、１フレーム目の露光期間Ｆ１において、ＭＡＸまたはＭＩＮが入らない。また、図８の曲線Ａ１に示すように、パターンＢは、２フレーム目の露光期間Ｆ２において、ＭＡＸが入らない。

そこで、測光制御部３８４は、フリッカーのピークタイミングの特定に必要なフリッカー周期の時間を判定できるように、複数フレーム間の画像を用いる。具体的には、測光制御部３８４は、撮像素子３２の電子シャッタの幕速の時間およびフリッカー周期の時間に基づいて、判定に用いるフレーム数を算出する。

より具体的には、測光制御部３８４は、ピークタイミングを特定するためのフリッカー周期の時間に対して、現在の撮像装置１の撮像駆動モードにおける撮像素子３２の電子シャッタの幕速の時間で乗算することによって、判定に用いるフレーム数に算出する（フレーム数＝フリッカー周期の時間／撮像素子３２の電子シャッタの幕速の時間）。なお、測光制御部３８４は、小数点以下を切り上げる。

例えば、測光制御部３８４は、ピークタイミングを特定するためのフリッカー周期が１００Ｈｚの１／２周期分である場合、１００Ｈｚの１／２周期分に対して、現在の撮像装置１の撮像駆動モードにおける撮像素子３２の電子シャッタの幕速の時間で乗算することによって、判定に用いるフレーム数に算出する（｛（１／１００）［ｓｅｃ］／（１／２）｝）／（現在の撮像装置１の撮像駆動モードにおける撮像素子３２の電子シャッタの幕速の時間［ｓｅｃ］）。なお、測光制御部３８４は、ピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー１周期に設定されている場合、手法３を行い、ピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー１／２周期に設定されている場合、手法４を行う。

その後、測光制御部３８４は、上述の方法で算出したフレーム数を１フレームとして想定して、各水平方向における測光領域の平均値ΔＢｖＥｘ＿ＸＡｖｅを算出する。具体的には、図９に示すように、測光制御部３８４は、画像ＦＰ１および画像ＦＰ２を１つの画像とみなして、各水平方向における測光領域Ｌ１１〜Ｌ２４の平均値ΔＢｖＥｘ＿ＸＡｖｅを算出する。そして、測光制御部３８４は、手法が手法３、即ちピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー１周期に設定されている場合、上述した手法１と同様の方法で、ピークタイミングを特定する。これに対して、測光制御部３８４は、手法が手法４、即ちピークタイミングを特定するために必要なフリッカー周期の時間がフリッカー１／２周期に設定されている場合、上述した手法２と同様の方法でピークタイミングを特定する。

図７に戻り、ステップＳ２０５以降の説明を続ける。
ステップＳ２０５において、撮像素子３２の現在の撮像ｆｐｓが撮像装置１に設定された撮像駆動モードにおける最速ｆｐｓでない場合（ステップＳ２０５：Ｎｏ）、撮像装置１は、ステップＳ２０７へ移行する。

続いて、フリッカー周期による露光ムラが固定縞となる撮像ｆｐｓである場合（ステップＳ２０７：Ｙｅｓ）、測光制御部３８４は、手法６を実行する（ステップＳ２０８）。具体的には、測光制御部３８４は、手法８として、現在の撮像素子３２の撮像ｆｐｓで固定縞が発生しない撮像ｆｐｓに変更し、撮像素子３２の電子シャッタの幕速と撮像ｆｐｓに基づいて、上述した手法３、手法４および手法５のいずれかを実行する。なお、手法３，手法４の詳細な方法について説明を省略する。ステップＳ２０８の後、図２のメインルーチンへ戻る。

［手法５］
ここで、測光制御部３８４が実行する手法５について説明する。
図１０は、フリッカーによる光量変化と撮像タイミングとの関係を示す図である。図１０の（ａ）は、フリッカーによる光量の時間変化を示し、図１０の（ｂ）は、撮像素子３２の撮像タイミングを示す。図１０の（ａ）において、横軸が時間を示し、縦軸が光源の明るさ（光量）を示し、曲線Ａ１がフリッカーの周期を示す。また、図１０の（ｂ）において、点線ＦＦ１が撮像素子３２のフレーム期間を示し、実線ＦＬ１が撮像素子３２の露光期間を示す。

図１０に示すように、測光制御部３８４は、現在の撮像素子３２の撮像ｆｐｓが撮像装置１の撮像駆動モードの中で最速の撮像ｆｐｓよりも低い場合、上述した手法３および手法４を実行することができない。

そこで、手法５では、フリッカー周期から撮像ｆｐｓ周期を減算した値の絶対値がフレーム毎のフリッカーとの位相ズレとなる場合に着目する。即ち、測光制御部３８４は、撮像素子３２の電子シャッタの幕速の時間がフリッカー周期から撮像ｆｐｓ周期を減算した値の絶対値より大きい関係が成り立っている場合、時間的に撮像するように撮像することによって、フリッカーの光量変化を隙間なく把握する。具体的には、測光制御部３８４は、フレーム毎の位相ズレ量が撮像素子３２の露光区間に収まっているため、撮像素子３２に連続して撮像させることによって、フレームの露光結果からフリッカーの変化を特定する。より具体的には、測光制御部３８４は、フリッカー周期に対して、フリッカー周期から撮像ｆｐｓの周期を減算した値の絶対値で除算することによって、連続で撮像するフレーム数を算出する（フレーム数＝（フリッカー周期／|(フリッカー周期−撮像ｆｐｓ周期)|））。なお、測光制御部３８４は、フリッカー周期に対して、フリッカー周期から撮像ｆｐｓの周期を減算した値の絶対値で除算した値に余りが生じる場合、小数点以下を切り上げた値を連続で撮像するフレーム数として算出する。そして、測光制御部３８４は、フレーム数に応じた画像の平均値ΔＢｖＥｘ＿ＸＡｖｅのうち、画像内におけるＭＸＡまたはＭＩＮの位置を基準にフリッカーのピークタイミングを特定する。

ステップＳ２０７において、フリッカー周期による露光ムラが固定縞となる撮像ｆｐｓでない場合（ステップＳ２０７：Ｎｏ）、撮像装置１は、後述するステップＳ２０９へ移行する。

続いて、撮像素子３２の電子シャッタによる幕速の時間がフリッカー周期の時間から撮像ｆｐｓの周期の時間を減算した時間より長い場合（ステップＳ２０９：Ｙｅｓ）、測光制御部３８４は、手法５または手法６を実行する（ステップＳ２１０）。ステップＳ２１０の後、撮像装置１は、図２のメインルーチンへ戻る。

ステップＳ２０９において、撮像素子３２の電子シャッタによる幕速の時間がフリッカー周期の時間から撮像ｆｐｓの周期の時間を減算した時間より長くない場合（ステップＳ２０９：Ｎｏ）、測光制御部３８４は、手法６または手法７を実行する（ステップＳ２１１）。手法７は、撮像素子３２の電子シャッタによる幕速の時間が、フリッカー周期から撮像ｆｐｓの周期を減算した値の絶対値より大きく、かつ、フリッカーによる固定縞が画像内に発生しない撮像ｆｐｓに変更する。ステップＳ２１１の後、撮像装置１は、図２のメインルーチンへ戻る。

図２に戻り、ステップＳ１０８以降の説明を続ける。
ステップＳ１０８において、制御部３８は、上述したステップＳ１０７で算出したピークタイミングと撮像装置１が設定されている撮像駆動モードのフレームレートとに基づいて、撮像素子３２が露光する露光開始タイミングを算出する。

続いて、操作部３６から撮影を指示する指示信号が入力された場合（ステップＳ１０９：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１０へ移行する。これに対して、操作部３６から撮影を指示する指示信号が入力されていない場合（ステップＳ１０９：Ｎｏ）、撮像装置１は、後述するステップＳ１１３へ移行する。

ステップＳ１１０において、露光開始タイミングが算出済みである場合（ステップＳ１１０：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１１へ移行する。これに対して、露光開始タイミングが算出済みでない場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、後述するステップＳ１１２へ移行する。

ステップＳ１１１において、撮像制御部３８３は、測光制御部３８４によって特定されたフリッカーのピークタイミングまで撮像素子３２の露光開始タイミングを待機させて撮像素子３２に静止画を撮影させる。ステップＳ１１１の後、撮像装置１は、後述するステップＳ１１４へ移行する。

ステップＳ１１２において、制御部３８は、撮像素子３２に通常タイミングで静止画を撮影させる。ステップＳ１１２の後、撮像装置１は、後述するステップＳ１１４へ移行する。

ステップＳ１１３において、制御部３８は、撮像素子３２にライブビュー画像を表示部４１に表示させる。ステップＳ１１３の後、撮像装置１は、後述するステップＳ１１４へ移行する。

ステップＳ１１４において、操作部３６から撮影を終了する指示信号が入力された場合（ステップＳ１１４：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、操作部３６から撮影を終了する指示信号が入力されていない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は、上述したステップＳ１０１へ戻る。

以上説明した本開示の一実施の形態によれば、撮像駆動モードを切り替えることなく、光源の光量変化が最小値となるピークタイミングを特定することができる。

また、本開示の一実施の形態によれば、撮像駆動モードを幕速の遅い撮像駆動モードに切り替える必要がないので、処理時間の増加やシステムが複雑化することを防止することができる。

（その他の実施の形態）
上述した本開示の一実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の一実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の一実施の形態で説明した構成要素を適宜組み合わせてもよい。

また、本開示の一実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、本開示の一実施の形態に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本開示の一実施の形態に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示の一実施の形態に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

１・・・撮像装置；２・・・レンズ装置；３・・・本体装置；２１・・・前群レンズ
；２２・・・後群レンズ；２３・・・絞り；２４・・・絞り駆動部；２５・・・ズーム位置検出部；２６・・・レンズ制御部；３１・・・シャッタ；３２・・・撮像素子；３３・・・通信部；３４・・・画像処理部；３５・・・表示部；３６・・・操作部；３７・・・記録部；３８・・・制御部；４１・・・表示部；３７１・・・プログラム記録部；３７２・・・画像データ記録部；３８１・・・算出部；３８２・・・動作制御部；３８３・・・撮像制御部；３８４・・・測光制御部

Claims (10)

1. 光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する取得方法であって、
   予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第１の画像を取得し、
   前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第２の画像を取得し、
   前記第１の画像および前記第２の画像に基づいて、前記フリッカー縞を抽出した第３の画像を生成し、
   前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも１つに基づいて、前記第３の画像を分割する分割方法を判定し、
   前記分割方法に基づいて、前記第３の画像を水平方向に沿って複数の領域に分割し、
   前記複数の領域の各々の明るさを算出し、
   前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、
   前記第３の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記フリッカーのピークタイミングを取得する。
2. 請求項１に記載の取得方法であって、
   前記最暗値の前記領域および前記最明値の前記領域が前記第３の画像における上下端部のいずれかであるか否かを判定し、
   前記最暗値の前記領域が前記上下端部のいずれかである場合、前記第３の画像における前記最暗値の前記領域の位置に基づいて、前記ピークタイミングを取得し、
   前記最明値の前記領域が前記上下端部のいずれかである場合、前記第３の画像における前記最明値の前記領域の位置に基づいて、前記ピークタイミングを取得する。
3. 請求項１に記載の取得方法であって、
   前記フリッカー周期および前記撮像素子が備える電子シャッタの幕速のシャッタスピードに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、
   前記フレーム数に基づいて、前記撮像素子を連続的に撮像させ、
   前記撮像素子が連続的に撮像した複数の画像データから前記第１の画像を取得し、
   前記撮像素子が連続的に撮像した複数の画像データから前記第２の画像を取得する。
4. 請求項１に記載の取得方法であって、
   前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、
   前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記撮像素子の前記撮像フレームレートを前記撮像駆動モードにおいて最速な撮像フレームレートに変更する。
5. 請求項１に記載の取得方法であって、
   前記撮像素子を備える撮像装置の撮像駆動モードにおける前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速であるか否かを判定し、
   前記撮像素子の撮像フレームレートが前記撮像駆動モードにおいて最速でないと判定された場合、前記フリッカー周期と前記撮像フレームレートとに基づいて、前記ピークタイミングを検出するための前記撮像素子によるフレーム数を算出し、
   前記フレーム数の数だけ前記撮像素子に撮像させ、
   前記撮像素子が生成した複数の画像データの中から前記第１の画像を取得し、
   前記撮像素子が生成した複数の画像データの中から前記第２の画像を取得する。
6. 請求項５に記載の取得方法であって、
   前記フリッカー周期、前記撮像素子が備える電子シャッタの幕速のシャッタスピードおよび前記撮像フレームレートに基づいて、前記撮像フレームレートを変更する。
7. 請求項３〜６のいずれか一つに記載の取得方法であって、
   前記撮像素子が備える電子シャッタの幕速の時間が前記フリッカー周期から前記撮像素子の撮像フレームレートの周期を減算した値の絶対値より大きいか否かを判定し、
   前幕速の時間が前記絶対値より大きい場合、前記撮像フレームレートを変更する。
8. 請求項６または７に記載の取得方法であって、
   前記撮像フレームレートを変更しながら、複数の前記第３の画像の各々の同一の前記領域の明るさを異ならせながら前記撮像素子を駆動する。
9. 撮像装置に実行させるプログラムであって、
   予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第１の画像を取得し、
   前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第２の画像を取得し、
   前記第１の画像および前記第２の画像に基づいて、前記フリッカー縞を抽出した第３の画像を生成し、
   前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも１つに基づいて、前記第３の画像を分割する分割方法を判定し、
   前記分割方法に基づいて、前記第３の画像を水平方向に沿って複数の領域に分割し、
   前記複数の領域の各々の明るさを算出し、
   前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、
   前記第３の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する。
10. 画像を生成する撮像素子と、
    前記撮像素子の制御する制御部と、
    前記画像から光源のフリッカーによる光量変化が最小値となるピークタイミングを取得する測光制御部と、
    を備え、
    前記測光制御部は、
    予め検出されたフリッカー周期に基づいて、撮像素子からフリッカー縞が無い第１の画像を取得し、
    前記フリッカー周期に基づいて、前記撮像素子から前記フリッカー縞が有る第２の画像を取得し、
    前記第１の画像および前記第２の画像に基づいて、前記フリッカー縞を抽出した第３の画像を生成し、
    前記撮像素子から画像信号を読み出す読み出し方向、前記撮像素子の撮像領域における測光領域および前記撮像素子を構成する画素の少なくとも１つに基づいて、前記第３の画像を分割する分割方法を判定し、
    前記分割方法に基づいて、前記第３の画像を水平方向に沿って複数の領域に分割し、
    前記複数の領域の各々の明るさを算出し、
    前記明るさの最明値および前記明るさの最暗値の少なくとも一方を取得し、
    前記第３の画像における前記最明値の前記領域および前記最暗値の前記領域の少なくともどちらか一方の位置に基づいて、前記ピークタイミングを取得する
    撮像装置。

Images