JP2015198292A - 撮像装置、フリッカの補正方法及びプログラム - Google Patents

Abstract

【課題】フレーム間フリッカを効果的に補正することができる撮像装置などの技術を提供すること。【解決手段】本技術に係る撮像装置は、透過率調整部と、撮像素子と、制御部とを具備する。前記透過率調整部は、印加電圧に応じて光の透過率を調整可能とされている。前記撮像素子は、透過率調整部を透過した光を露光することにより撮像を行う。前記制御部は、前記撮像素子に撮像を行わせて複数の画像データを取得し、前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる。【選択図】図３

Description

本技術は、撮像素子により撮像を行う撮像装置等の技術に関する。

従来から、静止画及び動画を撮像可能な撮像装置が広く知られている（例えば、下記特許文献１参照）。

特許文献１に記載の撮像装置では、撮像素子において取得されたアナログ画像データがアナログ信号処理部へ出力される。アナログ信号処理部へ出力されたアナログ画像データは、アナログ信号処理（増幅等）が施された後、Ａ／Ｄ変換部へ出力されてデジタル画像データへ変換される。このデジタル画像データは、デジタル信号処理部へ出力されて、デジタル信号処理部において、ノイズ除去処理、ホワイトバランス処理、色補正処理、エッジ強調処理、ガンマ補正処理等が施される。そして、これらの処理が施されたデジタル画像データがデジタル信号処理部から出力され、この画像データが液晶パネル上に表示され、また、記録デバイスに記憶される。

ここで、電源周波数（５０Ｈｚ、６０Ｈｚ）に応じて明るさが変動する蛍光灯などの照明下で、撮像素子により動画撮像を行うと、撮像された画像データ間で輝度レベルの変動が生じるフレーム間フリッカと呼ばれる現象が発生することが知られている。

このようなフレーム間フリッカを補正する方法として、電子シャッターを調整する（撮像素子における露光時間を調整する）方法が用いられる場合がある（例えば、特許文献２参照）。

特開２０１２−１０４９９４号公報（段落［００３８］、［００５５］図３参照） 特開２０１１−２５９３９０号公報（段落［０００８］参照）

しなしながら、電子シャッターを調整する方法では、動解像度が乱れてしまい画像データの画質が劣化しまうといった問題がある。このように、従来においては、画質劣化などの観点から、フレーム間フリッカを効果的に補正することができないといった問題がある。

以上のような事情に鑑み、本技術の目的は、フレーム間フリッカを効果的に補正することができる撮像装置などの技術を提供することにある。

本技術に係る撮像装置は、透過率調整部と、撮像素子と、制御部とを具備する。
前記透過率調整部は、印加電圧に応じて光の透過率を調整可能とされている。
前記撮像素子は、透過率調整部を透過した光を露光することにより撮像を行う。
前記制御部は、前記撮像素子に撮像を行わせて複数の画像データを取得し、前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる。

この撮像装置では、透過率調整部による透過率を調整することによって、複数の画像データ間におけるフリッカ（フレーム間フリッカ）を効果的に補正することができる。

上記撮像装置において、前記制御部は、さらに、前記撮像素子に撮像を行わせて画像データを取得し、前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせてもよい。

この撮像装置では、透過率調整部による透過率を調整することによって、画像データ内におけるフリッカ（フレーム内フリッカ）を効果的に補正することができる。

上記撮像装置において、前記制御部は、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるとき、撮像素子による露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせてもよい。

これにより、画像データ内におけるフリッカ（フレーム内フリッカ）を効果的に補正することができる。

上記撮像装置において、前記液晶ＮＤフィルタ（ＮＤ：Neutral Density）であってもよい。

これにより、透過率を高速に切替えることができる。

本技術の他の観点に係る撮像装置は、透過率調整部と、撮像素子と、制御部とを具備する。
前記透過率調整部は、印加電圧に応じて光の透過率を調整可能とされている。
前記透過率調整部は、透過率調整部を透過した光を露光することにより撮像を行う。
前記制御部は、前記撮像素子に撮像を行わせて画像データを取得し、前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる。

この撮像装置では、透過率調整部による透過率を調整することによって、画像データ内におけるフリッカ（フレーム内フリッカ）を効果的に補正することができる。

本技術のさらに別の観点に係る撮像装置は、透過率調整部と、撮像素子と、制御部とを具備する。
前記透過率調整部は、印加電圧に応じて光の透過率を調整可能とされている。
前記撮像素子は、透過率調整部を透過した光を露光することにより撮像を行う。
前記制御部は、前記撮像素子による露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせる。

これにより、画像データ内におけるフリッカ（フレーム内フリッカ）を効果的に補正することができる。

本技術に係るフリッカの補正方法は、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて複数の画像データを取得することを含む。
前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期が判定される。
前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率が算出される。
算出された透過率に前記透過率調整部の透過率が設定されて前記撮像部により撮像が行われる。

本技術の他の観点に係るフリッカの補正方法は、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて画像データを取得することを含む。
前記画像データに基づいて、前記画像データ内におけるフリッカの周期が判定される。
前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率が算出される。
算出された透過率に前記透過率調整部の透過率が設定されて前記撮像部により撮像が行われる。

本技術のさらに別の観点に係るフリッカの補正方法は、光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子により露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせることを含む。

本技術に係るプログラムは、撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて複数の画像データを取得するステップと、
前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定するステップと、
前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出するステップと、
算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるステップと
を実行させる。

本技術の他の観点に係るプログラムは、撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて画像データを取得するステップと、
前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定するステップと、
前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出するステップと、
算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるステップと
を実行させる。

本技術のさらに別の観点に係るプログラムは、撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子により露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせるステップを実行させる。

以上のように、本技術によれば、フレーム間フリッカを効果的に補正することができる撮像装置などの技術を提供することができる。

本技術の第１実施形態に係る撮像装置を示すブロック図である。 フレーム間フリッカの発生原理を説明するための図である 本技術の第１実施形態に係る撮像装置の処理を示すフローチャートである。 目標露光量と、液晶ＮＤフィルタの透過率との関係を説明するための図である。 フレーム内フリッカの発生原理を説明するための図である。 フレーム内フリッカの発生原理を説明するための図である。 垂直方向に沿って正弦波状の露光ムラが発生した写真を示す図である。 本技術の第２実施形態に係る撮像装置の処理を示すフローチャートである。 水平ライン毎の補正露光量と、各水平ラインでの撮像時における液晶ＮＤフィルタ１２の透過率（濃度）との関係を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１実施形態＞
［撮像装置１の全体構成及び各部の構成］
図１は、本技術の第１実施形態に係る撮像装置１を示すブロック図である。図１に示す撮像装置１は、静止画及び動画を撮像可能なデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）である。また、この撮像装置１は、記録された画像データを再生可能とされている。

図１に示すように、撮像装置１は、レンズ系１０と、絞り１１と、液晶ＮＤフィルタ１２（ＮＤ：Neutral Density）（透過率調整部）と、撮像素子１３と、制御部１４と、画像表示部１５と、画像保存部１６と、操作部１７と、記憶部１８とを備えている。制御部１４は、システムコントローラ１９と、レンズドライバ２０と、液晶ＮＤドライバ２１と、タイミングジェネレータ２２（ＴＧ）と、アナログ信号処理部２３と、Ａ／Ｄ変換部２４と、デジタル信号処理部２５とを含む。

レンズ系１０は、ズームレンズ、フォーカスレンズ等の各種のレンズを含み、これらのレンズによって、被写体光を撮像素子１３の露光面に結像させる。絞り１１は、その開度を調整することにより機械的に被写体光の光量を調整することが可能に構成されている。図１に示す例では、絞り１１は、レンズ系１０の後方に配置されているが、絞り１１は、レンズ系１０の内部における光路内（例えば、ズームレンズとフォーカスレンズとの間）に配置されていてもよい。

レンズドライバ２０は、システムコントローラ１９からの指示に応じて、ズームレンズ、フォーカスレンズ及び絞り１１の位置を制御したり、絞り１１の開度を制御したりする。

液晶ＮＤフィルタ１２は、印加される電圧に応じて、光の透過率を調整（濃度を調整）することが可能に構成されており、印加される電圧に応じて透過率が調整されることによって、撮像素子１３に入射される被写体光の光量を調整する。

液晶ＮＤドライバ２１は、システムコントローラ１９からの指示に応じて、液晶ＮＤフィルタ１２に印加される電圧を制御することによって液晶ＮＤフィルタ１２の透過率（濃度）を制御する。

撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサや、ＣＣＤセンサ（Charge Coupled Device）などにより構成されている。撮像素子１３は、液晶ＮＤフィルタ１２を透過して入射された被写体光を露光することによって撮像を行う。具体的には、撮像素子１３は、複数の画素（Ｒ画素、Ｇ画素、Ｂ画素）を有しており、露光面に入射された被写体光を画素毎に光電変換により電子信号に変換し、得られた３原色信号（Ｒ、Ｇ、Ｂ）をアナログ画像データとしてアナログ信号処理部２３へ出力する。

タイミングジェネレータ２２（ＴＧ：Timing Generator）は、システムコントローラ１９からの指示に応じて撮像素子１３の駆動に必要な駆動パルスを生成して撮像素子１３に供給する。このタイミングジェネレータ２２によって撮像素子１３が駆動されることで被写体像が撮像され（電子シャッター）、被写体像の画像が取得される。また、タイミングジェネレータ２２によって撮像素子１３のシャッタースピードが調整されることによって画像取得時の露光時間が制御される。なお、タイミングジェネレータ２２は、例えば、３０ｆｐｓのフレームレートで撮像素子１３に撮像を行わせる。

アナログ信号処理部２３は、撮像素子１３から出力された画像信号に対して、ＣＤＳ処理（ＣＤＳ：Correlated Double Sampling）や、ゲイン処理などを実行する。

Ａ／Ｄ変換部２４は、アナログ信号処理部２３から出力されたアナログ画像データをデジタル画像データに変換して、デジタル信号処理部２５へ出力する。

デジタル信号処理部２５は、Ａ／Ｄ変換部２４から出力されたデジタル画像データに対して、ノイズ除去処理、ホワイトバランス調整処理、色補正処理、エッジ強調処理、ガンマ補正処理などの各種のデジタル信号処理を実行し、画像表示部１５、画像保存部１６に出力する。また、デジタル信号処理部２５は、後述のフレーム間フリッカ補正モードにおいては、Ａ／Ｄ変換部２４から出力されたデジタル画像データを検波してシステムコントローラ１９に出力する。

画像表示部１５は、液晶ディスプレイや、有機ＥＬ（ＥＬ：Electro luminescence）ディスプレイなどにより構成される。画像表示部１５は、その画面上に各種の画像を表示させる。例えば、画像表示部１５は、デジタル信号処理部２５から出力された画像データをリアルタイムで表示することによって、その画面上にスルー画像を表示する。また、画像表示部１５は、画像保存部１６に記録された画像を再生する処理を実行する。上記スルー画像は、静止画や、動画を撮像するときにユーザが画角を合わせることができるようにするために画面上に表示される。

画像保存部１６は、デジタル信号処理部２５から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記憶する。画像保存部１６は、例えば、半導体メモリ、光ディスク、ＨＤ（hard Disc）などにより構成される。画像保存部１６は、撮像装置１の内部に固定されていてもよいし、撮像装置１に対して着脱可能に構成されていてもよい。

システムコントローラ１９は、例えば、ＣＰＵ（Central Processing Unit）などにより構成されており、撮像装置１の各部を統括的に制御する。このシステムコントローラ１９の具体的な処理については、動作説明の欄において後に詳述する。

ここで、本実施形態においては、静止画を撮像する静止画撮像モードと、動画を撮像する動画撮像モード（録画モード）と、画像保存部１６に記録された画像を再生する再生モードとが用意されている。さらに、本実施形態においては、静止画撮像モード及び動画撮像モードにおいて、それぞれノーマルモード及びフレーム間フリッカ補正モードの２つのモードが用意されている。

フレーム間フリッカ補正モードは、フレーム間フリッカを補正するための各種の処理を実行するモードである。一方、ノーマルモードは、フレーム間フリッカを補正するための各種の処理を実行せずに、通常の動作によって撮像を行うモードである。

記憶部１８は、各種のプログラムや、各種のデータが固定的に記憶される不揮発性のメモリ（例えば、ＲＯＭ（Read Only memory））と、システムコントローラ１９の作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））とを含む。上記プログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよし、ネットワーク上のサーバ装置からダウンロードされてもよい。

不揮発性のメモリには、上記各種のデータとして、透過率対電圧テーブルが記憶されている。透過率対電圧テーブルは、液晶ＮＤフィルタ１２の透過率と、印加電圧との関係が示されたテーブルである。システムコントローラ１９は、液晶ＮＤフィルタ１２の透過率を制御するとき、この透過率対電圧テーブルを参照して、目的の透過率に対応する印加電圧を読み出し、読み出した印加電圧を印加するように、液晶ＮＤドライバ２１に指示を出す。

操作部１７は、例えば、電源スイッチ、シャッターボタン、録画ボタン、設定ボタン、モード切替えボタンなどを含む。電源スイッチは、撮像装置１の電源のＯＮ／ＯＦＦを切替えるための操作部１７である。また、シャッターボタンは、静止画撮像モードにおいて、画像データを静止画データとして記録するための操作部１７であり、録画ボタンは、動画撮像モードにおいて、画像データを動画データとして記録するための操作部１７である。

設定ボタンは、例えば、ズームレンズ、フォーカスレンズ、絞り１１の位置を調整したり、絞り１１の開度を調整したりするために用いられる。また、この設定ボタンは、電子シャッターを調整したり、アナログ信号処理部２３のゲイン処理におけるゲイン値を変更したり、デジタル信号処理部２５による各種の処理の設定値を変更したりするために用いられる。モード切替えボタンは、ノーマルモードと、フレーム間フリッカ補正モードとを切替えるための操作部１７である。

操作部１７は、機械的な押しボタン形式の操作部１７によって実現されていてもよいし、画像表示部１５上に設けられた静電容量方式、抵抗膜方式等のタッチセンサによって実現されてもよい。

［フレーム間フリッカの発生原理］
次に、フレーム間フリッカの発生原理について説明する。

図２は、フレーム間フリッカの発生原理を説明するための図である。図２の上側を参照して、蛍光灯は、電源周波数（５０Ｈｚ、６０Ｈｚ）の２倍の周波数（１００Ｈｚ、１２０Ｈｚ）で明滅を繰り返している。これに対して、撮像素子１３は、例えば、３０ｆｐｓのフレームレートで撮像を行っている（図２の中央を参照）。

このように、蛍光灯における明滅の周波数と、撮像素子１３のフレームレートとの間にズレが生じるため、各フレーム間において露光量が異なってしまう。従って、図２の下側に示すように、各フレーム間で、画像表示部１５上に表示される画像全体の明るさが異なってしまうことになり、画像表示部１５上に表示される画像が所定の周期で明滅を繰り返してしまう。これが、フレーム間フリッカの発生原理である。

フレーム間フリッカが発生すると、画像表示部１５上に表示される画像がちらついているように見えてしまい、ユーザに不快感を与えてしまう。

本実施形態に係る撮像装置１は、液晶ＮＤフィルタ１２の透過率を制御することによって、このようなフレーム間フリッカを抑制（補正）する。

［動作説明］
次に、第１実施形態に係る撮像装置１による処理について具体的に説明する。図３は、第１実施形態に係る撮像装置１の処理を示すフローチャートである。

まず、システムコントローラ１９は、現在のモードがフレーム間フリッカ補正モードであるかどうかを判定する（ステップ１０１）。なお、ノーマルモードと、フレーム間フリッカ補正モードとの切替えは、モード切替えボタンによって切替えることができる。

現在のモードがフレーム間フリッカ補正モードではない場合（ステップ１０１のＮＯ）、つまり、現在のモードがノーマルモードである場合、システムコントローラ１９は、ステップ１０１へ戻り、再び、現在のモードがフレーム間フリッカ補正モードであるかどうかを判定する。

一方、現在のモードがフレーム間フリッカ補正モードである場合（ステップ１０１のＹＥＳ）、デジタル信号処理部２５は、Ａ／Ｄ変換部２４から入力されたデジタル画像データを検波して、検波結果をシステムコントローラ１９に出力する。そして、システムコントローラ１９は、この検波結果に基づいて、フレーム間フリッカが発生しているかどうかを判定する（ステップ１０２）。

ステップ１０２においては、システムコントローラ１９は、所定フレーム分（例えば、５フレーム程度）の画像データの検波結果に基づいて、これらの画像データ全体の輝度が周期的に変動しているかどうかを判断することによって、フレーム間フリッカが発生しているかどうかを判定する。

フレーム間フリッカが発生していない場合（ステップ１０２のＮＯ）、システムコントローラ１９は、ステップ１０１へ戻り、再び、現在のモードがフレーム間フリッカ補正モードであるかどうかを判定する。

一方、フレーム間フリッカが発生している場合（ステップ１０２のＹＥＳ）、システムコントローラ１９は、フレーム間フリッカの明滅周期を判定する（ステップ１０３）。このとき、システムコントローラ１９は、所定フレーム分の画像データの輝度情報と、撮像素子１３の駆動フレームレート（例えば、３０ｆｐｓ）と、撮像素子１３の露光時間と、液晶ＮＤフィルタ１２の透過率（濃度）とに基づいて、フレーム間フリッカの明滅周期を判定する。

次に、システムコントローラ１９は、フレーム間フリッカの明滅周期に基づいて、次フレームにおいて目標露光量で撮像素子１３に撮像を行わせるための（フレーム間フリッカを補正するための）液晶ＮＤフィルタ１２の透過率を算出する（ステップ１０４）。

次に、システムコントローラ１９は、撮像素子１３により次フレームの画像データが撮像されるタイミングに合わせて、算出された透過率に液晶ＮＤフィルタ１２の透過率を設定する（ステップ１０５）。

このとき、システムコントローラ１９は、透過率対電圧テーブルを参照して、ステップ１０５において算出された透過率に対応する印加電圧を読み出し、読み出した印加電圧を印加するように、液晶ＮＤドライバ２１に指示を出す。なお、システムコントローラ１９は、テーブルを参照する代わりに、プログラムに従ってリアルタイムに電圧を算出してもよい。

図４は、目標露光量と、液晶ＮＤフィルタ１２の透過率との関係を説明するための図である。図４の左側の棒グラフに示すように、明滅周期との関係で、撮像素子１３の露光量が目標露光量よりも少ないと予想される場合には、撮像素子１３の露光量を目標露光量に近づけるために、液晶ＮＤフィルタ１２の透過率が相対的に大きな値に設定される。

図４の中央の棒グラフに示すように、明滅周期との関係で、撮像素子１３の露光量が目標露光量と同等であると予想される場合には、液晶ＮＤフィルタ１２の透過率は相対的に中間の値に設定される。また、図４の右側の棒グラフに示すように、明滅周期との関係で撮像素子１３の露光量が目標露光量よりも多いと予想される場合には、撮像素子１３の露光量を目標露光量に近づけるために、液晶ＮＤフィルタ１２の透過率が相対的に小さな値に設定される。

本実施形態においては、このようにして、撮像素子１３の露光量を一定に保つことによって、フレーム間フリッカの影響を排除している。

液晶ＮＤフィルタ１２の透過率が設定されると、液晶ＮＤフィルタ１２を透過した被写体像が撮像素子１３の露光面に結合され、撮像素子１３により画像データが撮像される。この画像データは、アナログ信号処理部２３により各種の処理が施された後、Ａ／Ｄ変換部２４によってデジタル信号に変換される。このデジタル信号に変換された画像データは、デジタル信号処理部２５において各種の処理が実行された後、デジタル信号処理部２５から出力される。

デジタル信号処理部２５は、画像データを出力するとき、現在のモードが静止画撮像モードであるか、動画撮像モードであるかに応じて異なる処理を実行する。

すなわち、現在のモードが静止画撮像モードである場合、デジタル信号処理部２５は、画像表示部１５に画像データを出力して画像表示部１５の画面上にスルー画像を表示させる。そして、デジタル信号処理部２５は、シャッターボタンが操作されたタイミングに合わせて画像保存部１６に画像データを出力して静止画として保存させる。

現在のモードが動画撮像モードである場合、デジタル信号処理部２５は、モードが静止画撮像モードである場合と同様に、画像表示部１５に画像データを出力して画像表示部１５の画面上にスルー画像を表示させる。一方、デジタル画像処理部は、モードが静止画撮像モードである場合とは異なり、画像保存部１６に対して画像データを必ず出力する。この画像データは、動画の一部を構成する画像として画像保存部１６に保存される。

本実施形態では、画像表示部１５に表示されるスルー画像や、画像保存部１６に保存される動画、静止画からフレーム間フリッカの影響を排除することができる。

再び図３を参照して、液晶ＮＤフィルタ１２の透過率が設定されると、次に、システムコントローラ１９は、過去数フレーム（例えば、５フレーム程度）の画像データおける明滅変動が許容範囲内であるかどうかを判定する（ステップ１０６）。

許容範囲内である場合（ステップ１０６のＹＥＳ）、フレーム間フリッカの明滅周期の判定が正確であると予想されるため、システムコントローラ１９は、ステップ１０４へ戻る。そして、再び、フレーム間フリッカの明滅周期に基づいて、次フレームにおいて目標露光量で撮像素子１３に撮像を行わせるための（フレーム間フリッカを補正するための）液晶ＮＤフィルタ１２の透過率を算出する。

そして、システムコントローラ１９は、撮像素子１３により次フレームの画像データが撮像されるタイミングに合わせて、算出された透過率に液晶ＮＤフィルタ１２の透過率を設定する（ステップ１０５）。

なお、本実施形態では、撮像が行われてから次の撮像を行うまでの期間内（例えば、３３．３ｍｓ）に、液晶ＮＤフィルタ１２の透過率を次の透過率へと変化させる必要がある。このような短期間での透過率の変化は、高速な応答性を有する液晶ＮＤフィルタ１２を用いることによって実現することができる。

過去数フレームの画像データおける明滅変動が許容範囲内ではない場合（ステップ１０６のＮＯ）、フレーム間フリッカの明滅周期の判定が正確ではないと予想されるため、システムコントローラ１９は、ステップ１０１からステップ１０３までの処理を実行して、フレーム間フリッカの明滅周期の判定をやり直す。
［作用等］
以上のように、本実施形態では、複数フレームの画像データに基づいて、フレーム間フリッカの明滅周期を判定している。そして、このフリッカの明滅周期に基づいて、目標露光量で撮像素子１３に撮像を行わせるための（フレーム間フリッカを補正するための）透過率を算出し、算出された透過率に液晶ＮＤフィルタ１２の透過率を設定している。これにより、撮像素子１３の露光量を一定に保つことができ、フレーム間フリッカを効果的に補正することができる。

また、本実施形態では、フレーム間フリッカの明滅周期を判定して、その誤差が許容範囲内になるように学習型フィードバック制御を行っている。これにより、無数の明滅周期で発生するフレーム間フリッカを適切に補正することができる。

さらに、本実施形態では、フレーム間フリッカを補正するために、電子シャッターによる制御（露光時間の制御）を行う必要がないため、動解像度が乱れてしまうことを防止することができる。

ここで、フレーム間フリッカを補正するために、アナログ信号処理部２３のゲイン処理によってフレーム間フリッカを補正するような方法も考えられる。しかしながら、このような場合、ノイズが発生してしまう場合があり、ダイナミックレンジに影響を及ぼしてしまう場合もある。一方、本実施形態では、このような方法を採用する必要がないので、これらの問題が発生するようなこともない。

また、液晶ＮＤフィルタ１２による制御に代えて、絞り１１の開度による制御を行う方法も考えられる。しかしながら、絞り１１は、応答速度が遅く、所定の期間内（例えば、３３．３ｍｓ）に、開度を他の開度へ変化させることが困難であるといった問題がある。一方、液晶ＮＤフィルタ１２であれば、所定の期間内（例えば、３３．３ｍｓ）に、透過率を他の透過率へと変化させることが可能である。

また、絞り１１を採用した場合、絞り１１ボケによって画質が低下してしまったり、被写界深度に影響を及ぼしてしまったりする場合もある。一方、液晶ＮＤフィルタ１２を採用すれば、このような問題が発生するようなこともなくなる。

なお、電子シャッター、アナログ信号処理、絞り１１によるフレーム間フリッカ補正を排除するといった趣旨ではなく、本技術に係るフレーム間フリッカ補正と、これらのフレーム間フリッカ補正とを組み合わせることもできる。

第１実施形態の説明では、モード切替えボタンによって、ノーマルモードとフレーム間フリッカ補正モードとが切替えられる場合について説明した。一方、システムコントローラ１９が自動的にノーマルモードとフレーム間フリッカ補正モードとを切替えてもよい。この場合、システムコントローラ１９は、常時、フレーム間フリッカが発生したかどうかを判定し、フレーム間フリッカが発生した場合に、ノーマルモードをフレーム間フリッカ補正モードへと切替えればよい。

＜第２実施形態＞
次に、本技術の第２実施形態について説明する。第２実施形態以降の説明では、上述の第１実施形態と同様の構成及び機能を有する各部については同一符号を付し、説明を省略又は簡略化する。

上述の第１実施形態では、フレーム間フリッカを補正する方法について説明した。一方、第２実施形態では、フレーム内フリッカ（１枚の画像データ内で発生するフリッカ）を補正する方法について説明する。なお、第２実施形態では、撮像素子１３は、ローリングシャッター方式（ライン露光順次読み出し方式）のＣＯＭＳセンサであるとして説明する。

［フレーム内フリッカの発生原理］
まず、フレーム内フリッカの発生原理について説明する。図５及び図６は、フレーム内フリッカの発生原理を説明するための図である。

図５の上側を参照して、蛍光灯は、電源周波数（５０Ｈｚ、６０Ｈｚ）の２倍の周波数（１００Ｈｚ、１２０Ｈｚ）で明滅を繰り返している。一方、図５の下側に示すように、ローリングシャッター方式のＣＭＯＳセンサは、水平方向のライン毎に露光期間が異なっている。

このため、図６に示すように、１枚の画像データを撮像するとき、水平方向でのライン毎に露光量が変動してしまい、１枚の画像データ内において垂直方向で正弦波状の露光ムラが発生してしまう。これが、フレーム内フリッカの発生原理である。図７には、垂直方向に沿って正弦波状の露光ムラが発生した写真が示されている。

［動作説明］
次に、第２実施形態に係る撮像装置１による処理について具体的に説明する。図８は、第２実施形態に係る撮像装置１の処理を示すフローチャートである。

まず、システムコントローラ１９は、現在のモードがフレーム内フリッカ補正モードであるかどうかを判定する（ステップ２０１）。なお、ノーマルモードと、フレーム内フリッカ補正モードとの切替えは、モード切替えボタンによって切替えることができる。

ノーマルモードと、フレーム間フリッカ補正モードと、フレーム内フリッカ補正モードとの３つのモードが切替え可能であってもよい。なお、フレーム間フリッカ補正モードと、フレーム内フリッカ補正モードとを同時並行で行うこともできる。

現在のモードがフレーム内フリッカ補正モードではない場合（ステップ２０１のＮＯ）、システムコントローラ１９は、ステップ２０１へ戻り、再び、現在のモードがフレーム内フリッカ補正モードであるかどうかを判定する。

一方、現在のモードがフレーム内フリッカ補正モードである場合（ステップ２０１のＹＥＳ）、デジタル信号処理部２５は、Ａ／Ｄ変換部２４から入力されたデジタル画像データを検波して、検波結果をシステムコントローラ１９に出力する。そして、システムコントローラ１９は、この検波結果に基づいて、フレーム内フリッカが発生しているかどうかを判定する（ステップ２０２）。

ステップ２０２においては、システムコントローラ１９は、前回のフレームにおける画像データと、今回のフレームにおける画像データとの差分をとることによって、フレーム内フリッカ成分の抽出を試みる。そして、フレーム内フリッカ成分が抽出された場合には、フレーム間フリッカが発生していると判定する。

ここでの説明では、２枚の画像データに基づいて、フリッカ成分を抽出しているが、３枚以上の画像データに基づいて、フリッカ成分を抽出してもよい。あるいは、１枚の画像データに基づいてフリッカ成分を抽出することもできる。

フレーム内フリッカが発生していない場合（ステップ２０２のＮＯ）、システムコントローラ１９は、ステップ２０１へ戻り、再び、現在のモードがフレーム内フリッカ補正モードであるかどうかを判定する。

一方、フレーム内フリッカが発生している場合（ステップ２０２のＹＥＳ）、システムコントローラ１９は、フレーム内フリッカの明滅周期を判定する（ステップ２０３）。このとき、システムコントローラ１９は、フリッカ成分と、撮像素子１３の駆動フレームレート（例えば、３０ｆｐｓ）と、撮像素子１３の露光時間と、液晶ＮＤフィルタ１２の透過率（濃度）とに基づいて、フレーム内フリッカの明滅周期を判定する。

次に、システムコントローラ１９は、フレーム間フリッカの明滅周期に基づいて、次フレームにおけるフレーム内フリッカ補正露光量を算出する（ステップ２０４）。このとき、システムコントローラ１９は、水平ライン毎に、この補正露光量を算出する。

次に、システムコントローラ１９は、水平ライン毎の補正露光量に基づいて、各水平ラインでの撮像時における液晶ＮＤフィルタ１２の透過率を算出する（ステップ２０５）。ステップ２０４及びステップ２０５においては、システムコントローラ１９は、フレーム内フリッカの周期に基づいて、フレーム内フリッカを補正するための透過率を算出している。

図９は、水平ライン毎の補正露光量と、各水平ラインでの撮像時における液晶ＮＤフィルタ１２の透過率（濃度）との関係を示す図である。図９に示すように、水平ライン毎の補正露光量と、各水平ラインでの撮像時における液晶ＮＤフィルタ１２の濃度とは、反比例の関係にある。このように、液晶ＮＤフィルタ１２の濃度（透過率）を設定することによって、水平ライン毎の露光量を一定にすることができる。したがって、フレーム内フリッカの影響を効果的に排除することができる。

次に、システムコントローラ１９は、撮像素子１３により次フレームの画像データが撮像されるタイミングに合わせて、算出された透過率に液晶ＮＤフィルタ１２の透過率を設定する（ステップ２０６）。

このとき、システムコントローラ１９は、撮像素子１３による露光が行われる露光期間において、液晶ＮＤフィルタ１２全体の透過率を変動させながら撮像素子１３により撮像を行わせる。なお、液晶ＮＤフィルタ１２全体の透過率を変動させる代わりに、水平ライン毎に透過率を変動させてもよい。

第２実施形態では、１回の露光期間において、液晶ＮＤフィルタ１２の透過率を素早く変化させる必要がある。このような短期間での透過率の変化は、高速な応答性を有する液晶ＮＤフィルタ１２を用いることによって実現することができる。

撮像素子１３により撮像された画像データは、アナログ信号処理部２３により各種の処理が施された後、Ａ／Ｄ変換部２４によってデジタル信号に変換され、デジタル信号処理部２５において各種の処理が実行された後、デジタル信号処理部２５から出力される。

そして、画像表示部１５にスルー画像として表示され、画像保存部１６に動画データ、静止画データとして保存される。第２実施形態では、スルー画像や、動画データ、静止画データにおいて、フレーム内フリッカの影響を排除することができる。

液晶ＮＤフィルタ１２の透過率が設定されると、次に、システムコントローラ１９は、過去数フレーム分（例えば、５フレーム程度）の画像データおける明滅変動が許容範囲内であるかどうかを判定する（ステップ２０７）。

許容範囲内である場合（ステップ２０７のＹＥＳ）、フレーム内フリッカの明滅周期の判定が正確であると予想されるため、システムコントローラ１９は、ステップ２０４へ戻ってステップ２０４以降の処理を実行する。

一方、過去数フレームの画像データおける明滅変動が許容範囲内ではない場合（ステップ２０７のＮＯ）、フレーム間フリッカの明滅周期の判定が正確ではないと予想されるため、システムコントローラ１９は、ステップ２０１からステップ２０３までの処理を実行して、フレーム内フリッカの明滅周期の判定をやり直す。
［作用等］
以上のように、第２実施形態では、画像データに基づいて、フレーム内フリッカの明滅周期を判定している。そして、このフリッカの明滅周期に基づいて、フレーム内フリッカを補正するための透過率を算出し、算出された透過率に液晶ＮＤフィルタ１２の透過率を設定している。これにより、１回の露光期間において撮像素子１３の露光量を一定に保つことができ、従って、フレーム内フリッカを効果的に補正することができる。

また、本実施形態では、フレーム内フリッカの明滅周期を判定して、その誤差が許容範囲内になるように学習型フィードバック制御を行っている。これにより、無数の明滅周期で発生するフレーム内フリッカを適切に補正することができる。

ここで、フレーム内フリッカを補正する方法として、カメラ信号ＤＳＰ（Digital Signal Processor）による補正方法が用いられる場合がある。これは、撮像素子１３のフレームレートと、電子シャッター設定から、発生が予想されるフレーム内フリッカ形状を推定し、ＤＳＰ内に組み込んだフレーム内フリッカ形状のデータベースを基に、ゲイン制御や信号加算を行って補正信号を生成する方法である。

このような方法が用いられる場合、ゲイン制御が行われるため、ダイナミックレンジや、Ｓ／Ｎ比に影響を及ぼしてしまうといった問題がある。また、フレーム内フリッカは、無数に変化するため、ＤＳＰ内のデータベースでは対応することが困難であるといった問題もある。

一方、第２実施形態では、このような方法を用いる必要がないため、上述のような問題は発生しない。

第２実施形態の説明では、モード切替えボタンによって、ノーマルモードとフレーム内フリッカ補正モードとが切替えられる場合について説明した。一方、システムコントローラ１９が自動的にノーマルモードとフレーム内フリッカ補正モードとを切替えてもよい。この場合、システムコントローラ１９は、常時、フレーム内フリッカが発生したかどうかを判定し、フレーム内フリッカが発生した場合に、ノーマルモードをフレーム内フリッカ補正モードへと切替えればよい。

また、上述の第１実施形態と、第２実施形態とを組み合わせることもできる。

本技術は、以下の構成をとることもできる。
（１）印加電圧に応じて光の透過率を調整可能な透過率調整部と、
透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
前記撮像素子に撮像を行わせて複数の画像データを取得し、前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる制御部と
を具備する撮像装置。
（２） 上記（１）に記載の撮像装置であって、
前記制御部は、さらに、
前記撮像素子に撮像を行わせて画像データを取得し、前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる
撮像装置。
（３） 上記（２）に記載の撮像装置であって、
前記制御部は、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるとき、撮像素子による露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせる
撮像装置。
（４） 上記（１）〜（３）のうちいずれか１つに記載の撮像装置であって、
前記液晶ＮＤフィルタ（ＮＤ：Neutral Density）である
撮像装置。
（５） 印加電圧に応じて光の透過率を調整可能な透過率調整部と、
透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
前記撮像素子に撮像を行わせて画像データを取得し、前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる制御部と
を具備する撮像装置。
（６） 印加電圧に応じて光の透過率を調整可能な透過率調整部と、
透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
前記撮像素子による露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせる制御部と
を具備する撮像装置。
（７） 印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて複数の画像データを取得し、
前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定し、
前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出し、
算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる
フリッカの補正方法。
（８） 印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて画像データを取得し、
前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、
前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、
算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる
フリッカの補正方法。
（９） 印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子により露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせる
フリッカの補正方法。
（１０） 撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて複数の画像データを取得するステップと、
前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定するステップと、
前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出するステップと、
算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるステップと
を実行させるプログラム。
（１１） 撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて画像データを取得するステップと、
前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定するステップと、
前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出するステップと、
算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるステップと
を実行させるプログラム。
（１２） 撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子により露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせるステップ
を実行させるプログラム。

１…撮像装置
１０…レンズ系
１２…液晶ＮＤフィルタ
１３…撮像素子
１４…制御部
１５…画像表示部
１６…画像保存部
１７…操作部
１８…記憶部
１９…システムコントローラ
２０…レンズドライバ
２１…ＮＤドライバ
２２…タイミングジェネレータ
２３…アナログ信号処理部
２４…Ａ／Ｄ変換部
２５…デジタル信号処理部

Claims (12)

1. 印加電圧に応じて光の透過率を調整可能な透過率調整部と、
   透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
   前記撮像素子に撮像を行わせて複数の画像データを取得し、前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる制御部と
   を具備する撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記制御部は、さらに、
   前記撮像素子に撮像を行わせて画像データを取得し、前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる
   撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記制御部は、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるとき、撮像素子による露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせる
   撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記液晶ＮＤフィルタ（ＮＤ：Neutral Density）である
   撮像装置。
5. 印加電圧に応じて光の透過率を調整可能な透過率調整部と、
   透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
   前記撮像素子に撮像を行わせて画像データを取得し、前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる制御部と
   を具備する撮像装置。
6. 印加電圧に応じて光の透過率を調整可能な透過率調整部と、
   透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
   前記撮像素子による露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせる制御部と
   を具備する撮像装置。
7. 印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて複数の画像データを取得し、
   前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定し、
   前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出し、
   算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる
   フリッカの補正方法。
8. 印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて画像データを取得し、
   前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定し、
   前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出し、
   算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせる
   フリッカの補正方法。
9. 印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子により露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせる
   フリッカの補正方法。
10. 撮像装置に、
    印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて複数の画像データを取得するステップと、
    前記複数の画像データに基づいて、前記複数の画像データ間におけるフリッカの周期を判定するステップと、
    前記フリッカの周期に基づいて、複数の画像データ間におけるフリッカを補正するための透過率を算出するステップと、
    算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるステップと
    を実行させるプログラム。
11. 撮像装置に、
    印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に撮像を行わせて画像データを取得するステップと、
    前記画像データに基づいて、前記画像データ内におけるフリッカの周期を判定するステップと、
    前記フリッカの周期に基づいて、画像データ内におけるフリッカを補正するための透過率を算出するステップと、
    算出された透過率に前記透過率調整部の透過率を設定して前記撮像部により撮像を行わせるステップと
    を実行させるプログラム。
12. 撮像装置に、
    印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子により露光が行われる露光期間において、前記透過率調整部の透過率を変動させながら前記撮像素子により撮像を行わせるステップ
    を実行させるプログラム。