JP2014045408A - 画像データ処理装置、撮像装置、及び画像データ処理方法 - Google Patents

Abstract

【課題】フリッカ補正を適切に行うことによって撮影画像の画質を向上させる。
【解決手段】輝度検出部２０１は、所定の撮像周波数での撮像が行われている撮像デバイス１０から得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する。移動平均算出部２０３は、輝度検出部２０１で検出された所定周期分の輝度を移動平均することにより、時間平均輝度値を算出する。変化量検出部２０５は、移動平均算出部２０３で算出された各時間平均輝度値によって形成される波形の、傾きの変化を検出する。誤補正判定部２０７は、変化量検出部２０３で検出された傾きの変化を示す情報に基づいて、画像データに対する補正として、適正でない補正である誤補正が行われる確率の高低を判定する。補正部２１３は、誤補正判定部の判定の結果に基づいて、撮像デバイスから得られた画像データを補正する。
【選択図】図１

Description

本開示は、画像データ処理装置、撮像装置、及び画像データ処理方法に関し、特に、フリッカを低減する技術に関する。

蛍光灯などの、電源周波数で明るさが変化する照明光のもとで動画像の撮影が行われる場合に、撮影画像が明滅して見えるフリッカが発生することがある。フリッカは、照明光の明るさの変動周期と、撮像の周期（以下、「撮像周期」ともいう）との相違に起因して起こる。撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のローリングシャッタ方式のものを使用した場合には、ラインが明滅して見える「面内フリッカ」（「ラインフリッカ」とも呼ばれる）が発生することが知られている。また、撮像素子として、ＣＣＤ（Charge Coupled Device）イメージセンサ等のグローバルシャッタ方式のものを用いた場合には、画面全体が明滅する面フリッカが現れることが知られている。特に、秒間フレーム数が多くなる早回し撮影を行った場合には、明滅も顕著となる。

面フリッカは、照明光の明滅周期が撮像周期の整数倍ではないことに起因して発生する。この照明光の明滅周期は、電源周波数で決定されるものであり、電源周波数は世界的に５０Ｈｚか６０Ｈｚのどちらかが使用されている。例えば西日本においては電源周波数が６０Ｈｚであり、この場合は照明光の明滅周期が１／１２０秒となる。一方、東日本では電源周波数が５０Ｈｚであり、この場合は、照明光の明滅周期は１／１００秒となる。面フリッカの発生周期（以下「フリッカ周波数」という）は、撮像装置の撮像周期の周波数である撮像周波数と、照明光の明滅周波数との最大公約数で求められることが知られている。従来の技術では、面フリッカを除去するために、撮像素子から得られる画像データにかける補正ゲインを、フリッカ周波数に同期させて変化させることを行っていた。

ここで、従来の補正ゲインの決定方法について図１１を参照して説明する。図１１には、電源周波数が５０Ｈｚであり、撮像周期が１２０フレームである場合の、電源周波数と撮影画像の輝度値の変化パターンとの対応例を示している。図１１Ａは、電源周波数と、照明光の明るさ変化との関係性を示す波形図であり、上段に電源周波数を示し、下段に照明光の明るさ変化を示す。グラフ上段の縦軸は電源の電圧を示し、下段の縦軸は明るさを示す。図１１Ｂは、撮像素子で光電変換されることにより生成された各フレーム（フレームｆ１〜フレームｆ６）の画像データの明るさを示す図である。各フレームの画像データの明るさは、画像データの積分値の面積として表される。図１１Ｂの横軸は、図１１Ａと共通する時間軸を示す。

図１１Ｃは、各フレームの画像データの画素値を積算し、それを画素数で割った値である画面内輝度平均値を時間軸にプロットしたグラフであり、図１１Ｄは、当該画面内輝度平均値を基に生成される各補正ゲインを時間軸にプロットしたグラフである。図１１Ｃの縦軸は画面内輝度平均値を示し、横軸は、図１１Ａ及び１１Ｂと共通する時間軸を示す。図１１Ｃにおいて、画面内輝度平均値を細かい破線で示し、フリッカが発生していない場合に得られると想定される画面内輝度平均値を、粗い破線で示している。図１１Ｄの縦軸は、補正ゲインのレベルを表し、横軸は、図１１Ａ〜１１Ｃと共通する時間軸を示す。図１１Ｄにおいても、フリッカが発生していない場合に得られると想定される画面内輝度平均値を粗い破線で示し、補正ゲインのレベルを細かい破線で示している。

図１１Ａに示すように、撮像周期、すなわち撮像素子の露光時間が例えば１／１２０秒の撮像装置を用いて撮像を行う場合、当該撮像装置の撮像周波数は１２０Ｈｚになる。このような撮像装置を用いて、明滅周波数が１００Ｈｚの照明光の下で撮像を行った際、当該撮像装置で撮像される動画像に現れる面フリッカのフリッカ周期は、図１１Ｃに示すように、撮像周波数と明滅周期の最大公約数である２０Ｈｚとなる。このような画面内輝度平均値の増減は、６フレーム毎、すなわち２０Ｈｚで繰り返されていることが分かる。

このため、例えばフレームｆ７で算出される画面内輝度平均値も、フレームｆ１で算出された画面内輝度平均値と同様であると想定される。このような推定に基づき、フレームｆ７にかける補正のゲインは、フレームｆ１で算出された画面内輝度平均値に基づいて算出していた。すなわち、補正すべきフレームの補正ゲインは、補正すべきフレームが含まれるフリッカ周期の直前のフリッカ周期における、同位相のデータを使って算出していた。

補正ゲインは、例えば、１フレーム分の輝度平均値と、フリッカ周波数の１周期分、すなわち６フレーム分の輝度平均値との差分をフリッカゲインとして求め、求めたフリッカゲインの逆数を求めることによって得られる。図１１Ｄに示すように、フレームｆ１で算出された補正ゲインｇ１を、１周期後のフレームｆ７の画像データに与えることを行っていた。例えば特許文献１には、この種のフリッカ補正用のゲインを決定する技術について記載されている。

特開２００１−１１１８８７号公報

ところが、特許文献１に記載の技術では、撮像対象物の輝度や色などが瞬間的に変化した場合も、この一瞬の変化が、次のフリッカ周期の補正のデータに反映されてしまうことになる。つまり、画像データのレベルが通常である（輝度等の瞬間的な変化を含まない）フレームに対しても、適切でない補正ゲインがかかってしまうことが発生する。このような好ましくない補正（以下、「誤補正」という）が行われた場合には、画面の全体・あるいは一部が意図せず明滅したり、実際とは異なった色がついてしまう等の現象が発生し、撮影画像の画質が大きく損なわれてしまう。

本開示はこのような点に鑑みてなされたものであり、フリッカ補正を適切に行うことによって撮影画像の画質を向上させることを目的とする。

本開示の一実施の形態による画像データ処理装置は、輝度検出部と、移動平均算出部と、変化量検出部と、誤補正判定部と、補正部とを備える構成とし、各部の構成及び機能を次のようにする。輝度検出部は、所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する。移動平均算出部は、輝度検出部で検出された所定周期分の輝度を移動平均することにより、所定周期分の輝度の平均値である、時間平均輝度値を算出する。変化量検出部は、移動平均算出部で算出された各時間平均輝度値によって形成される波形の、傾きの変化を検出する。誤補正判定部は、変化量検出部で検出された傾きの変化を示す情報に基づいて、画像データに対して誤補正が行われる確率の高低を判定する。補正部は、誤補正判定部の判定の結果に基づいて、撮像デバイスから得られた画像データを補正する。

また、本開示の一実施の形態による撮像装置は、撮像デバイスと、輝度検出部と、移動平均算出部と、変化量検出部と、誤補正判定部と、補正部とを備える構成とし、各部の構成及び機能を次のようにする。撮像デバイスは、所定の撮像周波数での撮像を行う。輝度検出部は、撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する。移動平均算出部は、輝度検出部で検出された所定周期分の輝度を移動平均することにより、所定周期分の輝度の平均値である、時間平均輝度値を算出する。変化量検出部は、移動平均算出部で算出された各時間平均輝度値によって形成される波形の、傾きの変化を検出する。誤補正判定部は、変化量検出部で検出された傾きの変化を示す情報に基づいて、画像データに対して誤補正が行われる確率の高低を判定する。補正部は、誤補正判定部の判定の結果に基づいて、撮像デバイスから得られた画像データを補正する。

また、本開示の一実施の形態による画像データ処理方法では、まず、所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する。続いて、検出された所定周期分の輝度を移動平均することにより、所定周期分の輝度の平均値である、時間平均輝度値を算出する。続いて、算出された各時間平均輝度値によって形成される波形の、傾きの変化を検出する。続いて、検出された傾きの変化を示す情報に基づいて、画像データに対して誤補正が行われる確率の高低を判定する。そして、判定の結果に基づいて、撮像デバイスから得られた画像データを補正する。

これら本開示によると、検出された輝度値を移動平均して得られる各時間平均輝度値によって形成される波形の、傾きの変化に基づいて誤補正が行われる確率の高低が判定され、その判定の結果に基づいて補正が行われる。これにより、輝度が時間的に急激に変化する箇所等の、誤補正が行われる確率が高い箇所においても、適切な補正が行われるようになる。

本開示によれば、フリッカ補正が適切に行われるため、撮影画像の画質が向上する。

本開示の一実施形態例による撮像装置の構成例を示すブロック図である。 本開示の一実施形態例による、画面内輝度平均値を時間軸にプロットしたグラフである。 本開示の一実施形態例による、画面内輝度平均値と時間平均輝度値とを時間軸にプロットしたグラフであり、Ａは画面内輝度平均値を示し、Ｂは時間平均輝度値を示す。 輝度が時間的に急激に変化する箇所における、画面内輝度平均値と時間平均輝度値との差分の大きさを説明するグラフである。 画面内輝度平均値と時間平均輝度値との差分が、実際のフリッカ補正処理に与える影響を説明する図であり、Ａは画面内輝度平均値と時間平均輝度値とフリッカ補正処理後の輝度値を時間軸にプロットしたグラフであり、Ｂはフリッカゲインを時間軸にプロットしたグラフである。 本開示の一実施形態例による、時間平均輝度平均値の算出例を示すグラフであり、Ａは画面内輝度平均値と時間平均輝度値を時間軸にプロットしたグラフであり、Ｂは時間平均輝度平均値を時間軸にプロットしたグラフである。 本開示の一実施形態例による、平均化誤差割合の算出例を示すグラフであり、Ａは画面内輝度平均値と時間平均輝度値と時間平均輝度平均値とを時間軸にプロットしたグラフであり、Ｂは平均化誤差割合を時間軸にプロットしたグラフである。 本開示の一実施形態例による、輝度が時間的に急激に変化する箇所と変化しない箇所とにおけるフリッカ補正処理の切り換えの例を示すグラフであり、Ａは画面内輝度平均値と時間平均輝度値と時間平均輝度平均値とを時間軸にプロットしたグラフであり、Ｂは平均化誤差割合を時間軸にプロットしたグラフである。 本開示の一実施形態例によるフリッカ補正処理の例を示すフローチャートである。 本開示の一実施形態例により算出されたフリッカゲインと、従来の技術を用いて算出されたフリッカゲインとを対比して示したグラフであり、Ａはフリッカゲインを算出するもととなる画面内輝度平均値を時間軸にプロットしたグラフであり、Ｂは本開示の一実施形態例により算出されたフリッカゲインと、従来の技術を用いて算出されたフリッカゲインとを時間軸にプロットしたグラフである。 従来の技術による、電源周波数及びフリッカ周波数と、画面内輝度平均値と補正ゲインレベルとの対応を説明するグラフであり、Ａは電源周波数、及び照明光の明るさとフリッカ周波数とを示し、Ｂは照明光の明るさを示し、Ｃは画面内輝度平均値の波形を示し、Ｄは補正ゲインレベルの波形を示す。

本開示の実施の形態例に係る撮像装置、及び撮像方法の一例を、図面を参照しながら下記の順で説明する。以下に述べる実施の形態は、本開示の好適な具体例である。そのため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の範囲は、下記の説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる各パラメータの数値的条件は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。

１．一実施形態例
（１）撮像装置の構成例
（２）撮像装置の動作の例
２．各種変形例

＜１．一実施形態＞
［（１）撮像装置の構成例］

図１は、本実施形態の撮像装置１００の内部構成例を示す機能ブロック図である。図１に示す撮像装置１００は図示しないレンズを有し、このレンズを介して撮像光が撮像デバイス１０の図示しない撮像面に結像される。撮像デバイス１０は、グローバルシャッタ式の撮像素子、例えばＣＣＤ素子である。この撮像デバイス１０は、レンズを介して結像された撮像光を撮像面単位で光電変換して所定のアナログ信号を生成し、当該アナログ信号をデジタル変換して所定のデジタル信号（画像データ）を生成する。なお、この画像データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）といった色信号のことである。

そして、撮像デバイス１０で生成された画像データは補正処理部２０に供給される。また、この撮像デバイス１０は、撮像周波数を切り替える機能を有しており、後述する制御部５０からの指示に基づいて、電子シャッタに撮像周波数を設定する。本実施形態では、撮像デバイス１０で撮像される映像のフレームレートが１２０ｆｐｓ（frames per second）、すなわち撮像周波数が１２０Ｈｚであるとする。

補正処理部２０は、撮像デバイス１０から供給される画像データのゲインをフレーム単位で調節する。これにより、当該画像データに含まれる面フリッカのフリッカ成分の除去（以下、「フリッカ補正処理」という）を行って所定のレベルの画像データを生成する。そして、補正処理部２０で生成された、フリッカ補正処理のなされた画像データは出力映像信号生成部３０に供給される。補正処理部２０での画像データのゲイン調整は、色信号（赤）、色信号（緑）および色信号（青）でそれぞれ独立して行われる。ただし、これらの色信号（赤）、色信号（緑）および色信号（青）それぞれに対する補正処理部２０の処理は基本的に同じであるので、以下ではこれらの３つの信号それぞれに対する処理の説明は省略する。また、補正処理部２０の詳細については後述する。

出力映像信号生成部３０では、補正処理部２０から供給される画像データの各フレームの周辺光量落ちの補正処理、所定の補間処理、それに伴うフィルタ処理、シェーディング処理などの信号処理等が行われる。さらに、画質の向上を図るような処理等も行われる。また、出力映像信号生成部３０は、補正処理部２０から供給される画像データに対して、色調調整処理、輝度圧縮処理、ガンマ補正等の周知の画像処理を行って、所定の表示装置に入力するための映像信号を生成する。

そして、このような画像処理のなされた映像信号が、液晶ディスプレイ等からなる表示部４０に映像として映し出される他、例えばパーソナルコンピュータ等の外部装置に供給される。なお、補正処理部２０でのフリッカ補正処理および出力映像信号生成部３０でのその他の補正処理は、後述する制御部５０からの制御に基づいて行われる。

制御部５０は、マイクロコンピュータ等よりなり、撮像装置１００を構成する各ブロックを制御する。より具体的には、制御部５０は、撮像デバイス１０の撮像周波数の設定や、補正処理部２０に関するゲインの設定等を制御する。また、制御部５０は、図示しないレンズ等の光学系、撮像デバイス１０等の各部の動作を制御する。これらの制御のために、制御部５０は、撮像装置１００内の各部とデータ伝送可能に接続させてある。

操作部６０は、撮像装置１００に配設されたボタンキーや当該撮像装置１００に搭載された表示部４０の画面に表示されるアイコンに割り当てられたソフトキー等からなる。もしくは、リモートコントローラとして構成される。そして、利用者の操作に応じた操作信号が操作部６０から所定のインターフェース（不図示）を介して制御部５０に入力される。操作部６０から制御部５０に対しては、例えば、電源周波数（５０Ｈｚ又は６０Ｈｚ）を設定する操作が入力される。

制御部５０は、当該操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算および各回路に対する制御を行う。

次に、同じく図１を参照して、補正処理部２０の詳細について説明を行う。補正処理部２０は、輝度検出部としての輝度平均値算出部２０１を有する。また、補正処理部２０は、輝度平均値履歴保持部２０２と、移動平均算出部としての第１の移動平均算出部２０３を有する。また、補正処理部２０は、時間平均輝度値履歴保持部２０４と、第２の移動平均算出部２０５とを有する。また、補正処理部２０は、変化量検出部としての平均化誤差算出部２０６と、誤補正判定部２０７と、誤補正判定履歴保持部２０８とを有する。また、補正処理部２０は、フリッカゲイン算出部２０９と、フリッカゲイン履歴保持部２１０と、フリッカゲイン選択部２１１と、補正ゲイン算出部２１２と、ゲイン補正部２１３とを有する。

輝度平均値算出部２０１は、撮像デバイス１０で得られた画像データを用いて、１画面領域分の積算輝度値Ｂｉを求める。そして、算出した積算輝度値Ｂｉを１画面領域分の画素数で除算することで、１画面領域における輝度の平均値（以下、「画面内輝度平均値Ｂｖ」という）を算出する。１画面領域とは、１つの画面をいくつかに分割したうちの１つの領域を指す。本実施の形態では、１つの画面を４つに分割した場合を例に挙げて説明する。

複数の照明が存在する場合、フリッカ（ちらつき）の大きさや発生度合いは、各光源からの距離や光源と面の角度などによって変化する。例えば野球中継などで、フェンスが映る箇所と、グラウンドが映る箇所とでは、フリッカの大きさや発生度合いが異なってくる。このため、画面領域毎に輝度平均値を求め、求めた輝度平均値に基づいて補正ゲインを算出することで、各画面領域で最適なフリッカ補正処理を行うことができる。本実施の形態では、１つの画面を４分割する例を挙げたがこれに限定されるものではなく、他の数で分割するようにしてもよい。もしくは、画面を分割せずに１画面全体での輝度平均値を算出するようにしてもよい。

図２は、１つの画面領域で算出された画面内輝度平均値Ｂｖを、時間軸にプロットしたグラフである。図２の縦軸は画素値のデジタル値を示し、横軸は時間軸（フレーム）を示す。図２には、１画面領域分の画面内輝度平均値Ｂｖとして、１画面領域を構成する１フレーム目から３１フレームまでの１画面領域で算出された各値を示してある。図２には、隣接するフレーム間での急激な輝度の変化が発生していない場合の例を示してあり、このような場合には、画面内輝度平均値Ｂｖの時間方向での変化パターンは、フリッカ周波数にほぼ同期したものとなる。

図１に戻って説明を続けると、輝度平均値算出部２０１は、算出した画面内輝度平均値Ｂｖを、次々に輝度平均値履歴保持部２０２に出力する。輝度平均値履歴保持部２０２は、例えばメモリ等よりなり、輝度平均値算出部２０１から入力される画面内輝度平均値Ｂｖのうち、最新の所定個数であるＮ個のデータを保持する。Ｎの値としては、例えば１秒分のフレーム数である１２０個等が設定されるものであり、このＮの値によって、時系列に格納されるデータである時系列データの最大長が規定される。

輝度平均値履歴保持部２０２では、新たな画面内輝度平均値Ｂｖが入力される度に、一番古いデータが削除され、画面内輝度平均値Ｂｖが格納された番地が１つずつ繰り下げられる。ｎ番目に古い画面内輝度平均値Ｂｖのデータが格納される領域をＢｖ（ｎ）で示すと、格納領域Ｂｖ（ｎ）の内容がＢｖ（ｎ＋１）に移動され、格納領域Ｂｖ（１）に最新の画面内輝度平均値Ｂｖが保存される。ここでの“ｎ”には、１からＮ−１までの値が入る。

第１の移動平均算出部２０３は、輝度平均値履歴保持部２０２から、先に格納されたデータから格納された順番どおりに、フリッカ周期の１周期分である６フレーム分の画面内輝度平均値Ｂｖを読み出し、その移動平均を算出する。移動平均した結果の値を「時間平均輝度値Ａｖ」とすると、時間平均輝度値Ａｖは、以下の式１で算出することができる。
時間平均輝度値Ａｖ＝（画面内輝度平均値Ｂｖ（１）＋Ｂｖ（２）＋・・・＋Ｂｖ（Ｍ））／フリッカ周期Ｍ…式１

図３は、第１の移動平均算出部２０３による時間平均輝度値Ａｖの算出処理の例を説明するグラフである。図３Ａは、図２に示した画面内輝度平均値Ｂｖの時間方向での遷移を示すグラフであり、図３Ｂは、第１の移動平均算出部２０３が算出した時間平均輝度値Ａｖを、時間軸にプロットしたグラフである。図３Ａと図３Ｂにおいても、縦軸は輝度値を示し、横軸は時間軸を示す。隣接するフレーム間での輝度の急激な変化が発生していない場合には、画面内輝度平均値Ｂｖは、６フレームを１周期として変化する。したがって、撮影画像の明るさにほぼ変化がない場合には、図３Ｂに示すように、画面内輝度平均値の６フレーム分の平均値である時間平均輝度値Ａｖとしてほぼ同じ値が出力され続ける。第１の移動平均算出部２０３から出力された時間平均輝度値Ａｖは、次々と時間平均輝度値履歴保持部２０４に格納される。

時間平均輝度値履歴保持部２０４は、例えばメモリ等よりなり、第１の移動平均算出部２０３から出力される時間平均輝度値Ａｖのうち、最新のＮ個分のデータを保持する。時間平均輝度値履歴保持部２０４では、新たな時間平均輝度値Ａｖが入力される度に、一番古いデータが削除され、時間平均輝度値Ａｖが格納された番地が１つずつ繰り下げられる。ｎ番目に古い時間平均輝度値Ａｖのデータが格納される領域をＡｖ（ｎ）で示すと、格納領域Ａｖ（ｎ）の内容がＡｖ（ｎ＋１）に移動され、格納領域Ａｖ（Ｍ／２）に最新の時間平均輝度値Ａｖが保存される。ここでの“ｎ”には、“Ｍ／２”から“Ｎ−１”までの値が入る。“Ｍ／２”は、平均値算出処理により生じる遅れ分として設定される。すなわち、図３Ａに示したように、１フレーム目から６フレーム目までのデータを用いて算出された時間平均輝度値Ａｖは、図３Ｂに示すように３フレーム目の時間平均輝度値（＝Ａｖ（３））として保存される。

図４は、輝度平均値算出部２０１が算出した画面内輝度平均値Ｂｖと、第１の移動平均算出部２０３が算出した時間平均輝度値Ａｖとを、時間軸にプロットしたグラフである。図４において、画面内輝度平均値Ｂｖを菱形のマーカー付きの折れ線で示してあり、時間平均輝度値Ａｖは四角いマーカー付きの折れ線で示してある。

図４には、２０フレーム目あたりで輝度２００，０００付近にあった画面内輝度平均値Ｂｖが、２５フレーム目付近では輝度５０，０００付近にまで落ちている様子が示されている。つまり、わずか５フレームの間で輝度が急激に変化している。このように輝度が時間的に急激に変化する部分においては、６フレーム分が平均されることによって値が平滑化された時間平均輝度値Ａｖの波形の傾きが、ある程度なまった（平滑化された）ものとなる。これにより、このような箇所においては、実際に検出された輝度である画面内輝度平均値Ｂｖと、平均化して得られた時間平均輝度値Ａｖとの差分が大きくなってしまう。

従来の技術では、画面内輝度平均値Ｂｖを時間平均輝度値Ａｖで除算したものをフリッカゲインとし、得られたフリッカゲインの逆数をフリッカ補正ゲインとしていた。フリッカゲインとは、理想的には、フリッカが発生していない場合に得られると想定される輝度値、すなわち「真の明るさ」に対する、実際の明るさの比を示す値であるべきである。このような理想的なフリッカゲインが得られれば、理想的なフリッカゲインから算出されたフリッカ補正ゲインを用いてフリッカ補正を行うことで、映像信号からフリッカ成分を適切に除去することができる。

しかし、実際にはこのような「真の明るさ」を求めることは出来ないため、これまでは、便宜的に、「真の明るさ」として時間平均輝度値Ａｖを代用していた。このため、図４に示したような、輝度が時間的に急激に変化するケースにおいては、「真の明るさ」の近似値として使用している時間平均輝度値Ａｖの値が、画面内輝度平均値Ｂｖとはかけ離れたものとなってしまう。これにより、画面内輝度平均値Ｂｖを時間平均輝度値Ａｖで除算して得られるフリッカゲインも１倍から大きく離れた値となり、大幅にフリッカ補正がかかってしまう。つまり、実際にはフリッカが発生していない場面であるにもかかわらずフリッカが発生しているものと誤判断され、その誤判断に基づいた誤補正が行われてしまう。

図５は、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの差分が、実際のフリッカ補正処理に与える影響を説明する図である。図５Ａは、画面内輝度平均値Ｂｖと、時間平均輝度値Ａｖと、フリッカ補正処理が行われた後の輝度値を時間軸にプロットしたグラフであり、図５Ｂは、図５Ａに示した画面内輝度平均値Ｂｖと時間平均輝度値Ａｖを用いて算出されたフリッカゲインを、時間軸にプロットしたグラフである。

図５Ａにおいて、画面内輝度平均値Ｂｖを菱形のマーカー付きの折れ線で示してあり、時間平均輝度値Ａｖは四角いマーカー付きの折れ線で示してある。フリッカ補正後の画素値は、三角のマーカー付きの折れ線で示してある。図５Ａの縦軸は画素レベルを示し、図５Ｂの縦軸はフリッカゲインの大きさを示す。図５Ａ及び図５Ｂの横軸は時間軸（フレーム）を示す。

図５Ａにおいて、期間Ｐ１として破線で囲って示した２０フレーム目から２７フレーム目付近では、画面内輝度平均値Ｂｖが時間的に急激に変化しており、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの差も大きくなっている。したがって、画面内輝度平均値Ｂｖを時間平均輝度値Ａｖで除算して得られるフリッカゲインも、図５Ｂで期間Ｐ２として破線で囲って示した１９フレーム目から２９フレーム目付近で、大きな値となっている。具体的には、それまでの期間では１倍前後で遷移してきたフリッカゲインが、２２フレーム目付近では＋１．２倍程度、２５フレーム目付近では−０．６倍程度の、１倍から大きく離れた値となっているとなっている。

このようなフリッカゲインに基づいて算出されたフリッカ補正ゲインが掛けられることで、図５Ａに期間Ｐ３として破線で囲って示した３０フレーム目付近から３２フレーム目付近でのフリッカ補正後の輝度値が、画面内輝度平均値Ｂｖよりも大きな値となる。すなわち、期間Ｐ３では実際にはフリッカはほとんど発生していないのに、大幅にフリッカ補正が行われてしまう。このような誤補正が行われた箇所は、その輝度値が、時間的に連続する前後の期間における輝度値と異なった値となるため、画面上で明滅して見えてしまう。特に、例えばＲ（赤色）等の特定の色成分を多く含む被写体が撮影中の場面に急に飛び込んできた場合等には、Ｒに対してのみ大幅にフリッカ補正がかかるため、撮影画像に意図せぬ色がついて見えてしまうことがある。

本実施の形態例では、このような誤補正の発生を防ぐために、誤補正が起こりそうな箇所においては、従来行われていた、例えば１フリッカ周期等の予め定められた所定フリッカ周期分前のデータを用いた補正は、行わないようにする。誤補正が起こりそうか否かの判断は、時間平均輝度Ａｖと、時間平均輝度Ａｖをさらに移動平均して得た時間平均輝度平均値Ａｖｖとの差分の大きさに基づいて判断する。以下の説明では、時間平均輝度Ａｖと時間平均輝度平均値Ａｖｖとの差を「平均化誤差Ｄ」と称する。

図１に戻って説明を続けると、第２の移動平均算出部２０５は、時間平均輝度値履歴保持部２０４から、先に格納されたデータから格納された順番どおりに、フリッカ周期の１周期分である６フレーム分の時間平均輝度値Ａｖを読み出し、その移動平均を算出する。すなわち、時間平均輝度平均値Ａｖｖを算出する。時間平均輝度平均値Ａｖｖは、以下の式２で算出することができる。
時間平均輝度平均値Ａｖｖ＝（時間平均輝度値Ａｖ（Ｍ／２）＋Ａｖ（Ｍ／２＋１）＋・・・＋Ａｖ（Ｍ／２＋Ｍ−１））／フリッカ周期Ｍ…式２
つまり、Ａｖ（Ｍ／２）＝３番地目に記憶された時間平均輝度値Ａｖから数えて、フリッカ周期Ｍ＝６個分の時間平均輝度値Ａｖを用いて、時間平均輝度平均値Ａｖｖを算出している。Ａｖ（Ｍ／２）から数え初めて６個目の番地とは、すなわちＡｖ（Ｍ／２＋Ｍ−１）番目の番地となる。

図６は、時間平均輝度平均値Ａｖｖの算出例を説明する図である。図６Ａは、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとを時間軸にプロットしたグラフであり、図６Ｂは、時間平均輝度平均値Ａｖｖを時間軸にプロットしたグラフである。時間平均輝度平均値Ａｖｖは、上述したように６フレーム分の時間平均輝度値Ａｖの平均値であるため、そのような平均値が有する波形の傾きは、図６Ｂに示すように、図６Ａに示した時間平均輝度値Ａｖの波形の傾きよりも平滑化されたものとなる。時間平均輝度値Ａｖをさらに移動平均するということは、時間平均輝度値Ａｖを平滑化し、波形の傾きの変化を減少させる。つまり、時間平均輝度平均値Ａｖｖと時間平均輝度値Ａｖの差分である平均化誤差Ｄを算出することによって、時間平均輝度値Ａｖが有する波形の傾きの変化が求まる。

このような時間平均輝度平均値Ａｖｖと、時間平均輝度値Ａｖとの差分である平均化誤差Ｄは、平均化することで波形が平滑化されたことにより生ずる、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの誤差を示したものといえる。そして、この平均化誤差Ｄの、時間平均輝度Ａｖに対する比を平均化誤差割合Ｄｒとすると、平均化誤差割合Ｄｒの値が大きいほど、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの誤差も大きいものと考えられる。本実施の形態例では、平均化誤差割合Ｄｒの値が所定の閾値を超えた場合には、従来行われていた、予め定められた所定フリッカ周期分前のデータを用いた補正は、行わないようにしている。さらに、「真の明るさ」の近似値として、時間平均輝度値Ａｖではなく、時間平均輝度平均値Ａｖｖから平均化誤差Ｄを減算した値を用いることで、特定の条件下においてフリッカゲインの推定精度を上げることも行う。

図１に戻って説明を続けると、平均化誤差算出部２０６は、上述した平均化誤差Ｄを算出する。また、求めた平均化誤差Ｄの、時間平均輝度Ａｖに対する比の大きさを示す「平均化誤差割合Ｄｒ」も求める。平均化誤差割合Ｄｒとは、平均化誤差Ｄを時間平均輝度平均値Ａｖｖで除算して求められる値である。平均化誤差算出部２０６は、求めた平均化誤差Ｄは誤補正判定部２０７に出力し、平均化誤差割合Ｄｒは、フリッカゲイン算出部２０９に出力する。

図７は、画面内輝度平均値Ｂｖ及び時間平均輝度値Ａｖ及び時間平均輝度平均値Ａｖｖと、平均化誤差割合Ｄｒとの対比を示すグラフである。図７Ａは、画面内輝度平均値Ｂｖと、時間平均輝度値Ａｖと、時間平均輝度平均値Ａｖｖとを時間軸にプロットしたグラフであり、縦軸は輝度値を示し、横軸は時間軸（フレーム）を示す。図７Ａにおいて、画面内輝度平均値Ｂｖは菱形のマーカーがついた折れ線で示してあり、時間平均輝度値Ａｖは、四角いマーカーがついた折れ線で示してある。時間平均輝度平均値Ａｖｖは、三角のマーカーがついた折れ線で示してある。図７Ｂは、平均化誤差割合Ｄｒを時間軸にプロットしたグラフであり、縦軸は割合（％）を示し、横軸は時間軸（フレーム）を示す。

図７Ａに示す２０フレーム目から２５フレーム目付近では、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの差が大きくなっていることが示されている。また、この期間においては、平均化誤差割合Ｄｒの値も、図７Ｂに示すように大きくなっている。一方で、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの差が大きくない箇所においては、平均化誤差割合Ｄｒの値も小さくなっている。つまり、平均化誤差割合Ｄｒの大きさが、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの差と対応した値となっていることが分かる。

図１に戻って説明を続けると、誤補正判定部２０７は、平均化誤差算出部２０６から出力された平均化誤差割合Ｄｒの大きさによって、フリッカ補正の誤補正が起こりそうか否かを判定し、判定結果をフラグＦの値に反映させる。より詳細には、平均化誤差割合Ｄｒの絶対値が、予め定めておいた閾値Ｔよりも大きい場合には、誤補正発生が発生する確率が高いとしてフラグＦの値を“１”とし、閾値Ｔ以下である場合には、誤補正発生の確率が低いとしてフラグＦの値を“０”とする。閾値Ｔとしては、例えば±２％を設定するものとするが、他の値を設定してもよい。誤補正判定部２０７は、更新したフラグＦの値を、誤補正判定履歴保持部２０８と、フリッカゲイン選択部２１１に出力する。

誤補正判定履歴保持部２０８は、例えばメモリよりなり、誤補正判定部２０７から出力されたフラグＦの値を、例えば１秒分のフレーム数である１２０個分保持する。そして、新たなフラグＦの値が書き込まれる度に誤補正判定履歴保持部２０８に記憶されている一番古いデータが削除され、フラグＦの値が格納された番地が１つずつ繰り下げられる。フリッカゲイン算出部２０９は、以下の式３を用いてフリッカゲインＦｇを算出する。
フリッカゲインＦｇ＝画面内輝度平均値Ｂｖ／（時間平均輝度値Ａｖ−平均化誤差Ｄ）…式３
すなわち、画面内輝度平均値Ｂｖを、時間平均輝度値Ａｖと平均化誤差Ｄとの差分値で除算したものを、フリッカゲインＦｇとしている。

フリッカゲイン算出部２０９は、算出したフリッカゲインＦｇを、順次、フリッカゲイン履歴保持部２１０に出力する。フリッカゲイン履歴保持部２１０は、例えばメモリよりなり、フリッカゲイン算出部２０９から出力されたフリッカゲインＦｇの値を、例えば１秒分のフレーム数である１２０個分保持する。そして、新たなフリッカゲインＦｇの値が書き込まれる度に、フリッカゲイン履歴保持部２１０に記憶されている一番古いデータが削除され、フリッカゲインＦｇの値が格納された番地が１つずつ繰り下げられる。

フリッカゲイン選択部２１１は、誤補正判定履歴保持部２０８に記憶されたフラグＦの値に基づいて、フリッカ補正ゲインの算出に用いるフリッカゲインＦｇを選択する。具体的には、フリッカゲイン選択部２１１は、まず誤補正判定履歴保持部２０８に記憶されたフラグＦの中から、一番新しく記憶されたものを読み出す。そして、その値が“０”だった場合、すなわち、誤補正が発生する確率が低いことを示すものであった場合には、読み出したフラグＦと対応するフリッカゲインＦｇをフリッカゲイン履歴保持部２１０から読み出して、補正ゲイン算出部２１２に出力する。

フラグＦの値が“１”であった場合、つまり、誤補正が発生する確率高いことを示すものであった場合は、フリッカゲイン選択部２１１は、値が“０”のフラグＦが見つかるまで、フリッカ周期Ｍずつ過去に遡ってフラグＦの値を検索する。値が“０”のフラグＦが見つかった場合には、そのフラグＦに対応するフリッカゲインＦｇをフリッカゲイン履歴保持部２１０から読み出して、補正ゲイン算出部２１２に出力する。

ただし、過去に遡り過ぎても、現在のフレームに現れているフリッカのフリッカ周期や振幅、位相と異なる可能性が高くなるため、遡る過去の周期の数は予め所定の数に限定しておくようにする。遡る事を許可する過去の周期の数は、例えば１秒分（１２０フレーム）に該当する２０周期等に設定することができる。遡る事を許可する過去の周期の数として適切な数は、撮影する場面によって異なるものであり、任意の値を設定できるものとする。

フラグＦの値が“１”であった場合で、かつ所定の過去の周期まで遡っても“０”の値のフラグＦが見つからなかった場合は、フリッカゲイン選択部２１１は、フリッカ補正ゲインＦｇとして１倍を選択する。つまり、フリッカ補正を行わない選択をする。

補正ゲイン算出部２１２は、フリッカゲイン選択部２１１で選択されたフリッカ補正ゲインＦｇを用いて、フリッカ補正ゲインＦｃを算出する。フリッカ補正ゲインＦｃは、以下の式４で算出することができる。
フリッカ補正ゲインＦｃ＝１／フリッカゲインＦｇ…式４
すなわち、フリッカゲインＦｇの逆数をフリッカ補正ゲインＦｃとしている。

ゲイン補正部２１３は、撮像デバイス１０から出力された画像データに対して、補正ゲイン算出部２１２で算出されたフリッカ補正ゲインＦｃを乗算する。

図８は、フリッカゲイン選択部２１１によって、従来のような所定のフリッカ周期前の同位相データを用いる通常のフリッカ補正を行わない選択がされる場合の例を示す図である。図８Ａは、画面内輝度平均値Ｂｖと、時間平均輝度値Ａｖと、時間平均輝度平均値Ａｖｖとを時間軸にプロットしたグラフである。縦軸は輝度値を示し、横軸は時間軸（フレーム）を示す。図８Ｂは、図８Ａに示した時間平均輝度値Ａｖと時間平均輝度平均値Ａｖｖから算出した平均化誤差割合Ｄｒを、時間軸にプロットしたグラフである。図８Ｂの縦軸は割合（％）を示し、横軸は時間軸（フレーム）を示す。

図８Ｂに示すように、平均化誤差割合Ｄｒは、画面内輝度平均値Ｂｖが急激に変化した２０フレーム目付近と２６フレーム目付近で大きな値となっている。これにより、１９フレーム目から２２フレーム目付近と、２４フレーム目から２９フレーム目付近で、平均化誤差割合Ｄｒが閾値Ｔとして設定された±２％を超えている。平均化誤差割合Ｄｒが閾値Ｔを超えた場合は、上述したように、誤補正の確率の高低を示すフラグＦは“１”に設定される。そして、フリッカゲイン選択部２１１によって、値が“０”のフラグＦが見つかるまで、フリッカ周期Ｍずつ過去に遡ってフラグＦの値を検索することが行われる。つまり、従来のような、予め定められた所定周期前における同位相のデータを使ってのフリッカ補正は、行われなくなる。

なお、平均化誤差割合Ｄｒが閾値Ｔを超えた期間を厳密に抽出した場合には、図８Ｂに示した２３フレーム目や３１フレーム目付近は抽出されなくなる。これらのフレームでは平均化誤差割合Ｄｒは０％であるため、フラグＦが“０”に設定されるためである。しかし、このように、平均化誤差割合Ｄｒが閾値Ｔを超えた期間の間に挟まれた期間においても、フリッカの誤補正が発生する確率は高いと考えられる。このため、本実施の形態例では、平均化誤差割合Ｄｒが閾値Ｔを超えたフレームだけでなく、その前後の所定数のフレームも、フリッカの誤補正が発生する確率の高いフレームに設定することを行う。前後のフレーム数としては、例えば、１フリッカ周期等を設定するものとする。

これにより、図８Ｂに示すように、“１”の値のフラグＦが最初に検出される１９フレーム目の１フリッカ周期前である１３フレーム目から、最後に検出される２９フレーム目の１フリッカ周期後である３４フレーム目までの間は通常のフリッカ補正はオフとなる。ここでいう通常のフリッカ補正とは、予め定められた所定周期前における同位相のデータを使ってのフリッカ補正を意味する。そして、通常のフリッカ補正をオフする代わりに、過去に算出されたフリッカゲインＦｇのうちの、誤補正の確率が低いフリッカゲインＦｇを用いてフリッカ補正ゲインＦｃが算出され、算出されたフリッカ補正ゲインＦｃを用いてフリッカ補正が行われる。誤補正を起こす確率が高いフリッカゲインＦｇが見つからなかった場合には、フリッカ補正自体がオフされる。

［（２）撮像装置の動作の例］
続いて、本実施の形態例による撮像装置１００でのフリッカ補正処理について、図９のフローチャートを参照して説明する。まず、撮像デバイス１０から補正処理部２０（図１参照）に前述の画像データが入力される。すると、この補正処理部２０の輝度平均値算出部２０１では、入力された画像データから、画面内輝度平均値Ｂｖがフレーム毎に逐次算出される（ステップＳ１）。そして、画面内輝度平均値Ｂｖが算出されるたびに、算出された画面内輝度平均値Ｂｖが輝度平均値履歴保持部２０２に出力される。すなわち、画面内輝度平均値Ｂｖが、輝度平均値履歴保持部２０２に時系列データとして保存される（ステップＳ２）。

次に、第１の移動平均算出部２０３によって、１フリッカ周期分の画面内輝度平均値Ｂｖの平均値である時間平均輝度値Ａｖが算出される（ステップＳ３）。時間平均輝度値Ａｖは、算出された順に次々と時間平均輝度値履歴保持部２０４に出力される。すなわち、時間平均輝度値Ａｖが、時間平均輝度値履歴保持部２０４に時系列データとして保存される（ステップＳ４）。続いて、第２の移動平均算出部２０５によって、１フリッカ周期分の時間平均輝度値Ａｖの平均値である時間平均輝度平均値Ａｖｖが算出される（ステップＳ５）。

続いて、平均化誤差算出部２０６によって、時間平均輝度値Ａｖと時間平均輝度平均値Ａｖｖとの差である平均化誤差Ｄと、平均化誤差Ｄの時間平均輝度値Ａｖに対する比を示す平均化誤差割合Ｄｒとが算出される（ステップＳ６）。算出された平均化誤差Ｄはフリッカゲイン算出部２０９に出力され、平均化誤差割合Ｄｒは誤補正判定部２０７に出力される。次に、誤補正判定部２０７によって、平均化誤差割合Ｄｒの絶対値が予め定められた閾値Ｔより大きいか否かが判断され（ステップＳ７）、大きかった場合には、誤補正が発生する確率の高低を示すフラグＦに、誤補正が発生する確率が高いことを示す“１”が代入される（ステップＳ８）。平均化誤差割合Ｄｒの絶対値が閾値Ｔ以下であった場合には、フラグＦに、誤補正が発生する確率が低いことを示す“０”が代入される（ステップＳ９）。誤補正判定部２０７によって所定の値が代入されたフラグＦは、誤補正判定履歴保持部２０８に時系列で保存される（ステップＳ１０）。

次に、フリッカゲイン算出部２０９によって、フリッカゲインＦｇが算出される（ステップＳ１１）。フリッカゲインＦｇは、上述したように、時間平均輝度値Ａｖから平均化誤差Ｄを減算した値で画面内平均輝度値Ｂｖを除算することにより算出される。フリッカゲインＦｇは、算出された順に次々とフリッカゲイン履歴保持部２１０に出力され、保存される。すなわち、フリッカゲイン履歴保持部２１０に時系列に記憶される（ステップＳ１２）。

続いて、フリッカゲイン選択部２１１によって、何フリッカ周期前のデータを用いるかを示す周期Ｘの値が初期化される（ステップＳ１３）。周期Ｘとしては、例えば２Ｍ等が設定される。この周期Ｘの値には、撮影するシーンの種類に応じて適切な値が設定されるものであり、この値をユーザが自由に設定できるようにしてもよい。周期Ｘとして２Ｍが設定された場合には、２×６＝１２フレーム前のフリッカゲインＦｇが、フリッカ補正ゲインＦｃ算出用のフリッカゲインの候補に設定される。フリッカゲイン選択部２１１では、１２フレーム前のフリッカゲインＦｇと対応づけられたフラグＦ、つまり、１２フレーム前のフラグＦであるフラグＦ（Ｘ）が、誤補正判定履歴保持部２０８から読み出される。そして、フラグＦ（Ｘ）が“０”であるか否かが判定される（ステップＳ１４）。

フラグＦ（Ｘ）が“０”であった場合には、Ｘフレーム前、すなわち１２番目のフリッカゲインＦｇ（Ｘ）が、フリッカゲイン選択部２１１によって選択される。そして、補正ゲイン算出部２１２によって、選択されたフリッカゲインＦｇ（Ｘ）を用いてフリッカ補正ゲインＦｃが算出される（ステップＳ１５）。一方、フラグＦ（Ｘ）が“１”であった場合には、周期Ｘに、“Ｘ＋Ｍ”が代入される（ステップＳ１６）。すなわち、もう１フリッカ周期分だけ過去に遡る設定が行われる。そして、Ｘの値が、時系列データとして保存されるデータの最大長であるＮよりも大きい値であるかが判定され（ステップＳ１７）、Ｘ＞Ｎの場合には、フリッカ補正は行われない（ステップＳ１８）。すなわち、フリッカ補正ゲインとして１倍が設定される。Ｘ≧Ｎの場合には、ステップＳ１４に戻って判断が続けられる。

続いて、ゲイン補正部２１３によって、撮像デバイス１０から出力された画像データに対して、フリッカゲイン選択部２１１で選択されたフリッカ補正ゲインＦｃを用いた補正が行われる（ステップＳ１９）。補正が終わった後は、撮像デバイス１０から次のフレームの画像データが入力されるまで待機し（ステップＳ２０）、撮像デバイス１０から次のフレームの画像データが入力された場合には、ステップＳ１に戻って処理が続けられる。

以上説明した本開示の一実施の形態例によれば、フリッカ補正の誤補正が行われそうな場合には、所定のフリッカ周期前の同位相のデータを用いた通常のフリッカ補正は行われなくなる。これにより、輝度が時間的に急激に変化した箇所等において、意図せぬ明滅や意図せぬ色がついて見える現象の発生を抑えることができる。

また、本実施の形態例では、フリッカ補正の誤補正が行われそうか否かの判断を、時間平均輝度値Ａｖと時間平均輝度平均値Ａｖｖとの差である平均化誤差Ｄの、時間平均輝度値Ａｖに対する比率である平均化誤差割合Ｄｒの値の大きさに基づいて行っている。時間平均輝度平均値Ａｖｖは、画面内輝度平均値Ｂｖを移動平均して得られる時間平均輝度値Ａｖを、さらに移動平均したものである。つまり、時間平均輝度平均値Ａｖｖは、平滑化により時間平均輝度値Ａｖから波形の傾きの変化を減少させたものと言える。このような時間平均輝度平均値Ａｖｖと、時間平均輝度値Ａｖとの差分である平均化誤差Ｄは、すなわち、画面内輝度平均値Ｂｖが時間的にどれだけ急激に変化したかの情報を示したものであると言える。言い換えると、輝度が時間的に急激に変化したことにより生じる、画面内輝度平均値Ｂｖと時間平均輝度値Ａｖとの誤差の大きさを示したものとなる。

したがって、輝度が急激に変化する箇所においては、平均化誤差割合Ｄｒが、閾値Ｔを超えるような大きな値となる。平均化誤差割合Ｄｒが閾値Ｔを超えた場合には、予め定められた所定のフリッカ周期前の同位相のデータを用いたフリッカ補正は行われなくなる。一方、照明の種類等に起因してフリッカの振幅が非常に大きくなった場合等には、時間平均輝度平均値Ａｖｖと、時間平均輝度値Ａｖとの間で大きな誤差は発生しないため、平均化誤差Ｄの値も小さくなる。したがって、フリッカ補正の誤補正が発生する確率の高さを示すフラグＦの値は“０”となり、予め定められた所定のフリッカ周期前の同位相のデータを用いたフリッカ補正が行われる。

つまり、平均化誤差割合Ｄｒの大きさを閾値Ｔと比較することで、輝度が時間的に急激に変化した箇所、すなわち、フリッカ補正の誤補正が起こる確率の高い箇所のみを正確に抽出することが可能となる。

また、本実施の形態例によれば、誤補正判定部２０７によって誤補正が発生する確率が高いと判断された場合には、予め定められた所定のフリッカ周期前の同位相のデータを用いたフリッカ補正は行われなくなる。その代わりに、フリッカゲイン選択部２１１によって、過去の所定の周期分遡って、フラグＦの値が“０”であるフリッカゲインＦｇ、すなわち、誤補正を起こす確率が低いフリッカゲインＦｇが検索される。そのようなフリッカゲインＦｇが発見された場合には、発見されたフリッカゲインＦｇを用いて、補正ゲイン算出部２１２でフリッカ補正ゲインＦｃが算出される。そして、ゲイン補正部２１３によって、補正ゲイン算出部２１２で算出されたフリッカ補正ゲインＦｃを用いた補正が行われる。

誤補正を招くような輝度の時間的に急激な変化が、短期間で終了するものであった場合には、各履歴保持部で保持されている時系列データの最大長であるＮ個目に到達するまでに、フラグＦの値が“０”であるフリッカゲインＦｇが発見される。すなわち、誤補正を招くような輝度の時間的に急激な変化が、短期間で終了するものであった場合には、過去の誤補正が起きる確率が低いフリッカゲインＦｇを用いたフリッカ補正が、これまでのフリッカ補正に継続して行われる。

誤補正を招くような輝度の時間的に急激な変化が継続的に続く場合には、Ｎ個目に到達しても、フラグＦの値が“０”であるフリッカゲインＦｇは発見されないことが想定される。このような場合には、フリッカ補正ゲインとして１倍が適応される。つまり、フリッカ補正自体がオフにされる。

ここで、各履歴保持部における時系列データの最大長を規定するＮとして適切な値を設定しておくことにより、現在得られている画像データと波形や振幅、位相が異なる可能性の高い、古いデータが参照されることを防ぐことができる。

また、本実施の形態例によれば、フリッカゲインＦｇとして、画面内平均輝度値Ｂｖを時間平均輝度値Ａｖで除算した値でなく、画面内平均輝度値Ｂｖを、時間平均輝度値Ａｖから平均化誤差Ｄを減算した値で除算した値が用いられる。画面内平均輝度値Ｂｖと時間平均輝度値Ａｖとの誤差成分の近似値として、時間平均輝度値Ａｖと時間平均輝度平均値Ａｖｖとの誤差成分を示す平均化誤差Ｄを引いた値はすなわち、画面内平均輝度値Ｂｖと時間平均輝度値Ａｖとの誤差成分を軽減させる値となる。このような値で時間平均輝度値Ａｖを除算したものをフリッカゲインＦｇとすることにより、フリッカ補正の誤補正が発生する頻度を抑えることができる。特に輝度の時間的変化が比較的穏やかである箇所において、フリッカゲインＦｇの推定精度が向上することが、実験的に確認されている。

図１０は、本実施の形態例によって算出されるフリッカゲインＦｇと、従来の技術を用いて算出されたフリッカゲインとの対比を示すグラフである。図１０Ａは、画面内平均輝度値Ｂｖを時間軸にプロットしたグラフであり、縦軸は輝度値を示し、横軸は時間軸を示す。図１０Ｂは、本実施の形態例により算出されたフリッカゲインＦｇと、従来の技術を用いて算出されたフリッカゲインとを、時間軸にプロットしたグラフである。図１０Ｂにおいて、本実施の形態例によって算出されるフリッカゲインＦｇは実線で示してあり、従来の技術を用いて算出されたフリッカゲインは破線で示してある。図１０Ｂの縦軸はフリッカゲインの大きさを示し、縦軸は時間軸を示す。

図１０Ａに示すように、フリッカゲインが算出されるもとのデータが、５２フレーム目付近と８２フレーム目付近に山を有し、６６フレーム付近に谷を有する波形を持つものとする。このデータにおいて、フリッカは含まれておらず、真のフリッカゲインは常に１倍である。このようなデータに基づいて、従来の技術を用いてフリッカゲインを算出した場合には、図１０Ｂに破線で示すように、３８フレーム目付近から９５フレーム目付近までの期間に渡って、大きな値のフリッカゲインが算出される。フリッカゲインの値が特に大きいのは３５フレーム目付近から４４フレーム目付近と、８９フレーム目付近から９６フレーム目付近であるが、その間の、期間Ｐ４として破線で囲って示した期間においても、比較的大きな値が算出されている。

これに対して、本実施の形態例により算出されたフリッカゲインＦｇは、期間Ｐ４においてはほぼ０に近い値が算出されている。すなわち、本実施の形態例によれば、実際に算出された画面内平均輝度値Ｂｖとの誤差が大きいフリッカゲインＦｇが算出される期間を、従来の技術と比較して短くすることができる。つまり、フリッカ補正の誤補正が発生する期間を短くすることができるため、撮影画像の画質が向上する。

＜２．各種変形例＞
なお、上述した実施の形態例では、例えばＣＣＤイメージセンサ等のグローバルシャッタ式の撮像素子を用いて撮像した動画像に現れる面フリッカを除去する場合を例とした。しかし、例えばＣＭＯＳイメージセンサ等のローリングシャッタ式の撮像素子を用いて撮像した動画像に現れる、ラインフリッカも除去することができる。この場合は、ＣＭＯＳ素子の各ラインから得られる画像データごとに、前述のフリッカ補正処理を行うことで、ＣＭＯＳ素子から得られる画像データに含まれるフリッカ成分を除去することができる。

また、上述した実施の形態例では、時間平均輝度値Ａｖが有する波形の傾きの変化を、時間平均輝度平均値Ａｖｖと時間平均輝度値Ａｖの差分を算出するによって求める例を挙げたが、これに限定されるものではない。時間平均輝度平均値Ａｖｖの代わりに、時間平均輝度値Ａｖを単純に微分した値を用いるようにしてもよい。

また、上述した実施の形態例では、フリッカ補正の誤補正が行われそうな場合には、従来のような所定のフリッカ周期前の同位相データを用いる通常のフリッカ補正の代わりに、誤補正が起きる可能性の低い過去のデータを用いた補正を行うようにした。しかし、これに限定されるものではなく、単に、フリッカ補正の誤補正が行われそうな場合には、従来のような所定のフリッカ周期前の同位相データを用いる通常のフリッカ補正をオフ（補正ゲインを１倍）にするようにしてもよい。

また、上述した実施の形態例では、フリッカゲインＦｇとして、画面内平均輝度値Ｂｖを時間平均輝度値Ａｖで除算した値でなく、画面内平均輝度値Ｂｖを、時間平均輝度値Ａｖから平均化誤差Ｄを減算した値で除算した値を用いるようにした。しかし、これに限定されるものではなく、フリッカゲインＦｇとして、単に、画面内平均輝度値Ｂｖを時間平均輝度値Ａｖで除算した値を用いてもよい。

また、上述した実施の形態例では、撮像デバイス１０を有する撮像装置１００に適用した例を挙げたが、これに限定されるものではない。撮像デバイスを有さず、外部の撮像装置から出力された画像データを取り込んで画像処理を行う画像データ処理装置等に適用してもよい。

また、上述した実施の形態例では、１画面領域又は１フレーム全体を構成する各画素の輝度の平均値（画面内平均輝度値Ｂｖ）を用いてフリッカゲインＦｇを算出する例を挙げたが、これに限定されるものではない。１画面領域又は１フレーム全体を構成する各画素の輝度の平均値の代わりに、各画素の輝度を積算して得られる積算画素レベルを用いるようにしてもよい。

なお、本開示は以下のような構成も取ることができる。
（１）所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する輝度検出部と、
前記輝度検出部で検出された所定周期分の輝度を移動平均することにより、前記所定周期分の輝度の平均値である、時間平均輝度値を算出する移動平均算出部と、
前記移動平均算出部で算出された各時間平均輝度値によって形成される波形の、傾きの変化量を検出する変化量検出部と、
前記変化量検出部で検出された傾きの変化を示す情報に基づいて、前記画像データに対して誤補正が行われる可能性を判定する誤補正判定部と、
前記誤補正判定部の判定の結果に基づいて、前記撮像デバイスから得られた画像データを補正する補正部とを備えた画像データ処理装置。
（２）前記変化量検出部で検出される前記傾きの変化は、前記移動平均算出部で算出された前記時間平均輝度値をさらに移動平均することにより得られる時間平均輝度平均値と、時間平均輝度値との差分である平均化誤差によって示される（１）に記載の画像データ処理装置。
（３）誤補正判定部は、前記平均化誤差が大きい場合に、前記誤補正が行われる確率が高いと判断する（１）又は（２）に記載の画像データ処理装置。
（４）前記輝度検出部で検出された輝度を、前記時間平均輝度値から前記平均化誤差を減算して得られる値で除算することにより、フリッカゲインを算出するフリッカゲイン算出部と、
前記フリッカゲイン算出部で算出されたフリッカゲインを用いて補正ゲインを算出する補正ゲイン算出部とをさらに備え、
前記補正部は、補正ゲイン算出部で算出された前記補正ゲインを用いて、前記撮像デバイスから得られた画像データを補正する（１）〜（３）のいずれかに記載の画像データ処理装置。
（５）前記フリッカゲイン算出部で算出されたフリッカゲインを時系列データとして保存するフリッカゲイン履歴保持部と、
前記フリッカゲイン履歴保持部に保存されたフリッカゲインの中から、前記補正ゲインの算出に用いるフリッカゲインを選択するフリッカゲイン選択部をさらに備え、
前記フリッカゲイン選択部は、前記フリッカゲイン履歴保持部から取り出したフリッカゲインが、前記誤補正判定部によって、誤補正が行われる確率が高いと判断されたフリッカゲインであった場合は、前記誤補正が行われる確率が低いと判断されたフリッカゲインを過去に遡って検索し、前記誤補正が行われる確率が低いと判断されたフリッカゲインが検出された場合には、前記検出されたフリッカゲインを、前記補正ゲインの算出に用いるフリッカゲインとして選択する（４）に記載の画像データ処理装置。
（６）前記フリッカゲイン選択部は、前記フリッカゲイン履歴保持部から取り出したフリッカゲインが、前記誤補正判定部によって、誤補正が行われる確率が高いと判断されたフリッカゲインであった場合で、過去に遡って検索を行った結果、前記誤補正が行われる確率が低いと判断されたフリッカゲインが検出されなかった場合には、前記フリッカゲインの値を１倍に設定する（５）に記載の画像データ処理装置。
（７）前記フリッカゲイン選択部によって、前記誤補正が行われる確率が低いと判断されたフリッカゲインが検索される場合の、検索が許される過去の長さは、予め所定の長さに設定される（５）又は（６）に記載の画像データ処理装置。
（８）前記フリッカゲイン選択部は、前記フリッカゲイン履歴保持部から取り出したフリッカゲインが、前記誤補正判定部によって、誤補正が発生する確率が低いと判断されたフリッカゲインであった場合は、予め定められた所定のフリッカ周期分だけ過去のフリッカゲインを、前記補正ゲインの算出に用いるフリッカゲインとして選択する（５）〜（７）のいずれかに記載の画像データ処理装置。
（９）所定の撮像周波数での撮像を行う撮像デバイスと、
前記撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する輝度検出部と、
前記輝度検出部で検出された所定周期分の輝度を移動平均することにより、前記所定周期分の輝度の平均値である、時間平均輝度値を算出する移動平均算出部と、
前記移動平均算出部で算出された各平均値によって形成される波形の、傾きの変化量を検出する変化量検出部と、
前記変化量検出部で検出された傾きの変化を示す情報に基づいて、前記画像データに対して誤補正が行われる可能性を判定する誤補正判定部と、
前記誤補正判定部の判定の結果に基づいて、前記撮像デバイスから得られた画像データを補正する補正部とを備えた撮像装置。
（１０）所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出することと、
前記検出された所定周期分の輝度を移動平均することにより、前記所定周期分の輝度の平均値である、時間平均輝度値を算出することと、
前記算出された各時間平均輝度値によって形成される波形の、傾きの変化を検出することと、
前記検出された傾きの変化を示す情報に基づいて、前記画像データに対して誤補正が行われる可能性を判定することと、
前記判定の結果に基づいて、前記撮像デバイスから得られた画像データを補正することとを有する画像データ処理方法。

１０…撮像デバイス、２０…補正処理部、３０…出力映像信号生成部、４０…表示部、５０…制御部、６０…操作部、１００…撮像装置、２０１…輝度平均値算出部、２０２…輝度平均値履歴保持部、２０３…第１の移動平均算出部、２０４…時間平均輝度値履歴保持部、２０５…第２の移動平均算出部、２０６…平均化誤差算出部、２０７…誤補正判定部、２０８…誤補正判定履歴保持部、２０９…フリッカゲイン算出部、２１０…フリッカゲイン履歴保持部、２１１…フリッカゲイン選択部、２１２…補正ゲイン算出部、２１２…補正ゲイン算出部、２１３…ゲイン補正部

Claims (10)

1. 所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する輝度検出部と、
   前記輝度検出部で検出された所定周期分の輝度を移動平均することにより、前記所定周期分の輝度の平均値である、時間平均輝度値を算出する移動平均算出部と、
   前記移動平均算出部で算出された各時間平均輝度値によって形成される波形の、傾きの変化量を検出する変化量検出部と、
   前記変化量検出部で検出された傾きの変化を示す情報に基づいて、前記画像データに対して誤補正が行われる可能性を判定する誤補正判定部と、
   前記誤補正判定部の判定の結果に基づいて、前記撮像デバイスから得られた画像データを補正する補正部とを備えた
   画像データ処理装置。
2. 前記変化量検出部で検出される前記傾きの変化は、前記移動平均算出部で算出された前記時間平均輝度値をさらに移動平均することにより得られる時間平均輝度平均値と、前記時間平均輝度値との差分である、平均化誤差によって示される
   請求項１に記載の画像データ処理装置。
3. 前記誤補正判定部は、前記平均化誤差が大きい場合に、前記誤補正が行われる確率が高いと判断する
   請求項２に記載の画像データ処理装置。
4. 前記輝度検出部で検出された輝度を、前記時間平均輝度値から前記平均化誤差を減算して得られる値で除算することにより、フリッカゲインを算出するフリッカゲイン算出部と、
   前記フリッカゲイン算出部で算出されたフリッカゲインを用いて補正ゲインを算出する補正ゲイン算出部とをさらに備え、
   前記補正部は、補正ゲイン算出部で算出された前記補正ゲインを用いて、前記撮像デバイスから得られた画像データを補正する
   請求項３に記載の画像データ処理装置。
5. 前記フリッカゲイン算出部で算出されたフリッカゲインを時系列データとして保存するフリッカゲイン履歴保持部と、
   前記フリッカゲイン履歴保持部に保存されたフリッカゲインの中から、前記補正ゲインの算出に用いるフリッカゲインを選択するフリッカゲイン選択部をさらに備え、
   前記フリッカゲイン選択部は、前記フリッカゲイン履歴保持部から取り出したフリッカゲインが、前記誤補正判定部によって、誤補正が行われる確率が高いと判断されたフリッカゲインであった場合は、前記誤補正が行われる確率が低いと判断されたフリッカゲインを過去に遡って検索し、前記誤補正が行われる確率が低いと判断されたフリッカゲインが検出された場合には、前記検出されたフリッカゲインを、前記補正ゲインの算出に用いるフリッカゲインとして選択する
   請求項４に記載の画像データ処理装置。
6. 前記フリッカゲイン選択部は、前記フリッカゲイン履歴保持部から取り出したフリッカゲインが、前記誤補正判定部によって、誤補正が行われる確率が高いと判断されたフリッカゲインであった場合で、過去に遡って検索を行った結果、前記誤補正が行われる確率が低いと判断されたフリッカゲインが検出されなかった場合には、前記フリッカゲインの値を１倍に設定する
   請求項５に記載の画像データ処理装置。
7. 前記フリッカゲイン選択部によって、前記誤補正が行われる確率が低いと判断されたフリッカゲインが検索される場合の、検索が許される過去の長さは、予め所定の長さに設定される
   請求項５に記載の画像データ処理装置。
8. 前記フリッカゲイン選択部は、前記フリッカゲイン履歴保持部から取り出したフリッカゲインが、前記誤補正判定部によって、誤補正が発生する確率が低いと判断されたフリッカゲインであった場合は、予め定められた所定のフリッカ周期分だけ過去のフリッカゲインを、前記補正ゲインの算出に用いるフリッカゲインとして選択する
   請求項５に記載の画像データ処理装置。
9. 所定の撮像周波数での撮像を行う撮像デバイスと、
   前記撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出する輝度検出部と、
   前記輝度検出部で検出された所定周期分の輝度を移動平均することにより、前記所定周期分の輝度の平均値である、時間平均輝度値を算出する移動平均算出部と、
   前記移動平均算出部で算出された各平均値によって形成される波形の、傾きの変化量を検出する変化量検出部と、
   前記変化量検出部で検出された傾きの変化を示す情報に基づいて、前記画像データに対して誤補正が行われる可能性を判定する誤補正判定部と、
   前記誤補正判定部の判定の結果に基づいて、前記撮像デバイスから得られた画像データを補正する補正部とを備えた
   撮像装置。
10. 所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の輝度を検出することと、
    前記検出された所定周期分の輝度を移動平均することにより、前記所定周期分の輝度の平均値である、時間平均輝度値を算出することと、
    前記算出された各時間平均輝度値によって形成される波形の、傾きの変化を検出することと、
    前記検出された傾きの変化を示す情報に基づいて、前記画像データに対して誤補正が行われる可能性を判定することと、
    前記判定の結果に基づいて、前記撮像デバイスから得られた画像データを補正することとを有する
    画像データ処理方法。

Images