JP2011049697A - フリッカ検出装置、撮像装置、フリッカ検出プログラム、及び、フリッカ検出方法 - Google Patents

Abstract

【課題】比較的簡単な操作で広い範囲に亘ってフリッカの強弱を調べることができ、検出精度を下げず測定エラーや算出ミスの発生を防ぐフリッカ検出装置を提供する。
【解決手段】略水平に撮影方向を変えながら連続的に画像が撮影されることにより生成される複数の輝度画像データを順次取得する取得部と、輝度画像データを順次格納する格納部と、輝度画像データに対応する個々の画像の撮影方向を検知する撮影方向検出部と、撮影方向に基づいて各々の輝度画像データによって表される画像を略垂直方向に領域分割して、各領域に撮影方向と各々の領域の配置とから算出した領域方向を付与する領域別処理部と、領域毎のデータを用いて、領域方向が同等な複数の領域のデータ同士を演算対象とし領域方向別にフリッカの強弱を算出するフリッカ算出部と、領域方向毎のフリッカの強弱を各々の領域方向に相応する撮影方向と関連付けて利用者に提示する提示部とを備える。
【選択図】図２

Description

本発明は、蛍光灯照明下で撮影を行う際に発生しうるフリッカを検出する機能を備える撮像装置に関し、より特定的には、撮像装置の移動や回転に伴って撮影範囲が変化し続ける状況において、フリッカレベルを精度よく算出して、フリッカの影響が少ない場所を探すための技術に関する。

商用交流電源の周波数に応じて点滅点灯する蛍光灯の照明下でビデオ撮影を行うと、フリッカ（画面のちらつき）が発生することがある。特に高速度撮影を行う場合には、一般に撮影間隔が３００枚／秒を上回るのに対し、蛍光灯が商用交流電源の周波数の２倍（日本国内においては１／１００秒または１／１２０秒間隔）で点滅するため、より強くフリッカの影響を受け、撮影画像にちらつきが生じることが多い。
このようなフリッカの影響を軽減するためには、撮影時に補正する方法、撮影後に画像データを補正する方法、及びフリッカの影響が少ない場所を選んで撮影するという方法等が考えられる。

例えば、フリッカの影響が少ない場所を選んで撮影しようとすると、フリッカによる明滅の間隔が１／１００秒または１／１２０秒と非常に短い間隔であることから、通常の人間はフリッカによる明滅を認識できないので、フリッカレベルを検出してユーザに提示する機能を提供する必要がある。
一方、フリッカを正しく検出するためには、同じ撮影目標位置に対して「光源の輝度変化の周波数とフレームレート（フレーム周波数）の最小公倍数を、光源の輝度変化の周波数で割った値」を超える枚数のフレームを取得するまで、フリッカ検出処理を継続する必要がある。

従来のフリッカの影響を軽減する技術としては、取得した画像を複数の領域に分割し、分割領域ごとに複数フレーム分の領域平均値の平均を算出することによりフリッカ成分を含まない領域基準値を算出し、領域基準値と現フレームの領域平均値との比から領域補正係数を算出して、原画像を補正する画像補正装置が特許文献１に開示されている。

特願２００６−２８９９４４

しかしながら、上記従来の技術は、固定された単一の撮影対象を複数回撮影してフリッカレベルを測定し補正するものであるため、広い範囲に亘ってフリッカの強弱を調べるのにはあまり適していない。例えば、上記従来の技術を用いて、広い範囲に亘ってフリッカの強弱を調べようとすれば、撮影対象を固定して一定時間フリッカレベルを測定した後、方向を変えるなどして撮影対象を変えて、再び撮影対象を固定して一定時間フリッカレベルを測定するという操作を何度も繰り返さなければならず、操作が煩雑で時間もかかり、大変面倒である。さらに、測定時間が不足したり、測定中に撮影対象がズレることも十分考えられ、このような場合には、著しく検出精度が下がってしまい、場合によっては測定エラーや算出ミスが多発する。
それ故に、本発明は、第１に、比較的簡単な操作で、広い範囲に亘ってフリッカの強弱を調べることができ、また、第２に、検出精度を下げず、測定エラーや算出ミスの発生を防ぐことができるフリッカ検出装置、撮像装置、フリッカ検出プログラム、及び、フリッカ検出方法を提供することを目的とする。

本発明は、フリッカ検出装置、撮像装置、フリッカ検出プログラム、及び、フリッカ検出方法に向けられている。そして上記課題を解決するために、本発明のフリッカ検出装置は、周辺のフリッカの強弱を検出して提示するフリッカ検出装置であって、略水平に撮影方向を変えながら連続的に画像が撮影されることにより生成される複数の輝度画像データを順次取得する取得部と、取得部により取得される輝度画像データを順次格納する格納部と、取得部により取得される輝度画像データに対応する個々の画像の撮影方向を検知する撮影方向検出部と、撮影方向検出部により検知された撮影方向に基づいて格納部により格納された各々の輝度画像データによって表される画像を略垂直方向に領域分割して、各領域に当該撮影方向と各々の領域の配置とから算出した領域方向を付与する領域別処理部と、領域別処理部により分割された領域毎のデータを用いて前記領域方向が同等な複数の領域のデータ同士を演算対象とし、当該領域方向別にフリッカの強弱を算出するフリッカ算出部と、フリッカ算出部により算出された領域方向毎のフリッカの強弱を各々の領域方向に相応する撮影方向と関連付けて利用者に提示する提示部とを備えることを特徴とする。

好ましくは、前記提示部は、フリッカが他の領域方向と較べて最も弱い領域方向に相応する撮影方向を示す情報を利用者に提示するとよい。

好ましくは、前記撮影方向検出部は、前記提示部によりフリッカの強弱が利用者に提示される際に当該提示部に付属するモニタ、又はファインダの枠に入っている撮影可能な方向を検知し、前記提示部は、前記撮影方向検出部により検知された撮影可能な方向のフリッカのレベルを基準にして、左右に隣接する方向のフリッカの強弱を前記モニタ、又はファインダの枠内に表示するとよい。

好ましくは、フリッカ検出装置は、さらに、一領域当りの移動時間内にフリッカを検出するために必要な数のフレームを取得できない場合に撮影方向の変化により後に撮影されなくなる先頭の領域から処理を開始し、取得できる場合に撮影方向の変化により先に撮影されなくなる後端の領域から処理を開始すると決定する処理順序制御部を備え、前記領域別処理部は、処理順序制御部により決定された順序に従って領域毎に輝度平均値を求める処理を開始し、前記フリッカ算出部は、輝度平均値算出部により生成された領域毎の輝度平均値を用いて、前記領域方向が同等なもの同士を演算対象とし、当該領域方向別にフリッカの強弱を算出するとよい。

また上記課題を解決するために、本発明の撮像装置は、上記いずれかのフリッカ検出装置と、フリッカ検出モード、及び通常撮影モードの選択を受け付けるモード選択部と、通常撮影モード時に前記撮像部により撮影される画像を録画する録画機能を有する録画部とを備え、モード選択部において、フリッカ検出モードが選択されているときには前記フリッカ検出装置によるフリッカ検出機能が有効になり、通常撮影モードが選択されているときには前記提示部による提示機能と前記録画部による録画機能とが有効になることを特徴とする。

また上記課題を解決するために、本発明のフリッカ検出プログラムは、周辺のフリッカの強弱を検出して提示するフリッカ検出装置におけるフリッカ検出プログラムであって、前記フリッカ検出装置に、略水平に撮影方向を変えながら連続的に画像が撮影されることにより生成される複数の輝度画像データを順次取得する取得ステップと、取得ステップにより取得される輝度画像データを順次格納する格納ステップと、取得ステップにより取得される輝度画像データに対応する個々の画像の撮影方向を検知する撮影方向検出ステップと、撮影方向検出ステップにより検知された撮影方向に基づいて格納ステップにより格納された各々の輝度画像データによって表される画像を略垂直方向に領域分割して、各領域に当該撮影方向と各々の領域の配置とから算出した領域方向を付与する領域別処理割ステップと、領域別処理ステップにより分割された領域毎のデータを用いて前記領域方向が同等な複数の領域のデータ同士を演算対象とし、当該領域方向別にフリッカの強弱を算出するフリッカ算出ステップと、フリッカ算出ステップにより算出された領域方向毎のフリッカの強弱を各々の領域方向に相応する撮影方向と関連付けて利用者に提示する提示ステップとを実行させることを特徴とする。

また上記課題を解決するために、本発明のフリッカ検出方法は、周辺のフリッカの強弱を検出して提示するフリッカ検出方法であって、略水平に撮影方向を変えながら連続的に画像が撮影されることにより生成される複数の輝度画像データを順次取得する取得ステップと、取得ステップにより取得される輝度画像データを順次格納する格納ステップと、取得ステップにより取得される輝度画像データに対応する個々の画像の撮影方向を検知する撮影方向検出ステップと、撮影方向検出ステップにより検知された撮影方向に基づいて格納ステップにより格納された各々の輝度画像データによって表される画像を略垂直方向に領域分割して、各領域に当該撮影方向と各々の領域の配置とから算出した領域方向を付与する領域別処理ステップと、領域別処理ステップにより分割された領域毎のデータを用いて前記領域方向が同等な複数の領域のデータ同士を演算対象とし、当該領域方向別にフリッカの強弱を算出するフリッカ算出ステップと、フリッカ算出ステップにより算出された領域方向毎のフリッカの強弱を各々の領域方向に相応する撮影方向と関連付けて利用者に提示する提示ステップとを含むことを特徴とする。

以上のように、本発明においては、撮影方向を変えながら画像を撮影するだけで、広い範囲に亘ってフリッカの強弱を調べることができるので、操作が簡単で時間がかからず、大変便利である。
また、フリッカの強弱を撮影方向と関連付けて提示するので、利用者は、フリッカの影響が少ない場所を選んで撮影することができる。

撮影方向を変えながら画像データを順次取り込む様子を示す図 本発明の第１の実施形態に係るフリッカ検出装置１０の構成の概要を示す図 状態格納部１９に格納される情報とその説明を記す図 輝度画像データによって表される画像をＭ分割する様子を示す図 輝度平均値格納部１４に格納される輝度平均値の構造の概略を示す図 順序制御テーブル「右旋回高速用」の格納内容の一例を示す図 順序制御テーブル「右旋回低速用」の格納内容の一例を示す図 順序制御テーブル「左旋回高速用」の格納内容の一例を示す図 順序制御テーブル「左旋回低速用」の格納内容の一例を示す図 順序制御テーブル「旋回無し用」の格納内容の一例を示す図 フリッカレベル表示部２１によるフリッカの強弱の提示例を示す図 メインタスクによる全体の処理の流れを示す図 ステップＳ１０１における初期化処理の流れを示す図 ステップＳ２０２における、輝度値表のクリア処理の流れを示す図 画像取得タスクによる定常状態における処理の流れを示す図 ステップＳ４０２における輝度変換処理の流れを示す図 メインタスクの定常状態における処理の流れを示す図 ステップＳ６０３における順序制御更新処理の流れを示す図 ステップＳ６０４における輝度値表更新処理の流れを示す図 ステップＳ６０６におけるフリッカレベルの算出処理の流れを示す図 本発明の第２の実施形態に係る撮像装置１００の構成の概要を示す図

［第１の実施形態］
＜概要＞
本実施形態は、周辺のフリッカの強弱を検出して提示するフリッカ検出装置であって、撮影方向を変えながら画像データを順次取り込んで、各々の画像データを垂直方向に領域分割し、画像データ毎に撮影方向をセンサで検知しておき、撮影方向と各領域の相対位置から、領域ごとの方向を特定し、同一方向の領域同士を演算対象としてフリッカの強弱を検出する。また、撮影方向と変化速度の遅速とに応じて、適切な領域からフリッカの強弱の算出を開始する。

＜構成＞
図１は、撮影方向を変えながら画像データを順次取り込む様子を示す図である。
図１では、利用者１を中心にして、真上から見た様子をイメージしており、利用者１は本発明に係るフリッカ検出装置１０を適当な方向（図では上方向）へ向けた状態から、その場で時計周りに一周することにより、周辺のフリッカの強弱を検出している。

図２は、本発明の第１の実施形態に係るフリッカ検出装置１０の構成の概要を示す図である。
フリッカ検出装置１０は、図１に示すように、輝度画像取得部１１、輝度画像蓄積部１２、領域別処理部１３、輝度平均値格納部１４、フリッカレベル算出部１５、フリッカレベル格納部１６、方向検出部１７、サンプリング順序制御部１８と、状態格納部１９、順序制御テーブル格納部２０、及びフリッカレベル表示部２１とを備えている。
なお、本実施形態では、蛍光灯が１００Ｈｚで明滅し且つフレームレートが３００ｆｐｓである場合を想定している。

状態格納部１９は、フリッカ検出装置の状態を管理するのに必要な情報を保持する。図３に、状態格納部１９に格納される情報とその説明を記す。
輝度画像取得部１１は、略水平に撮影方向を変えながら、連続的に画像が撮影されることにより生成される複数の非圧縮画像データを順次取得し、取得した非圧縮画像データを変換して輝度画像データを生成し、当該輝度画像データを輝度画像蓄積部１２へ渡して蓄積させる。
輝度画像蓄積部１２は輝度画像取得部１１から受け取った輝度画像データを蓄積し、領域別処理部１３に、蓄積した輝度画像データを参照させる。
方向検出部１７は加速度センサを備えており、フリッカ検出装置１０が現在どの方向を向いているかを示す方向情報と角速度情報とを検出し、個々の画像が撮影されたときにフリッカ検出装置１０が向いていた撮影方向を検知する。

本実施形態においては、方向情報を０〜１までの実数値で表し、フリッカ検出装置１０が起動した時点における方向情報を０とし、重力方向を下向きとして右に回るにつれて方向情報を０→１と増加させ、右に回って元の方向に戻った状態における方向情報を１とする。また、角速度情報を−１〜１までの実数値で表し、０の時は角速度無し、−１の時は左回り向きに角速度最大を表し、１の時は右回り向きに角速度最大を表すものとする。
領域別処理部１３は、輝度画像蓄積部１２から輝度画像データを取得すると、取得した輝度画像データによって表される画像を、方向検出部１７により検知された撮影方向を参照して、略垂直方向に境界線が入り、前に処理した輝度画像データと境界線がほぼ一致し、かつ、両端を除く各領域が元の画像の１／Ｍのサイズになるように、垂直方向にＭ分割し、当該撮影方向と各々の領域の配置とから領域方向を算出する。ここでＭは２以上の整数である。さらに、領域別処理部１３は、サンプリング順序制御部１８へ更新要求を送り。その後、サンプリング順序制御部１８によって示される分割領域に対して順次輝度平均値を求める。また、領域別処理部１３は、輝度画像データを取得するたびに状態格納部１９に格納されている現在時刻値を１ずつ増加させる。ここで求めた輝度平均値は、領域方向を識別する分割領域番号が付与されて、輝度平均値格納部１４の、当該分割領域番号で区分される領域へ格納される。

図４は、輝度画像データによって表される画像をＭ分割する様子を示す図である。
図４では、鉛直方向を中心軸とした円筒形で表した３６０度連結画像５１を仮想的に定義し、これを略垂直方向に境界線が入るように垂直方向にＮ分割する。ここでＮは２以上の整数である。例えばＮ＝３６とすれば、１領域当りの視野角は、３６０／Ｎより１０度となる。これらの領域に、図のように１からＮまでの分割領域番号を付与する。図４では１から３６までの分割領域番号を、各領域の中心部分に記載している。
また、図４には、３６０度連結画像５１の一部を切り出して平面化した部分画像５２を示す。

ここでフリッカ検出装置１０における水平方向の視野角をＫ度とすると、３６０度連結画像５１における分割領域と、領域別処理部１３における領域方向が示す領域とを略一致させるためには、Ｍの値は、Ｍ＝Ｎ＊Ｋ／３６０（小数点以下切捨て）である。ここで、Ｋは通常３６０よりも小さい値であるが、その整数倍が３６０になるように、画像の端部のデータを切り捨てて使用してもよい。例えばＫ＝６０、Ｎ＝３６、とすれば、Ｍ＝６となり、輝度画像データによって表される画像５３は、ほとんどの場合、両端の半端な領域を含めてＭ＋１個の領域に分割される。図４では、輝度画像データによって表される画像５３を分割した各領域に、左から順にＡ〜ＧまでのＭ＋１個の記号を付けており、ここでは、領域Ｂ〜Ｆが、それぞれ分割領域番号７〜１１に相当している。

ここで撮影方向が変わると、領域Ａ〜Ｇの位置が変わり、領域Ｂ〜Ｆに相当する分割領域番号も変化するが、撮影方向が異なっていても、分割領域番号が同じ領域は同じ方向を撮影したものに相当するので、分割領域番号が同じで領域方向が同等な複数の領域のデータ同士を演算対象とすれば、領域方向別にフリッカの強弱を算出することができる。
輝度平均値格納部１４は、領域別処理部１３から領域毎の輝度平均値を取得し、付与された分割領域番号で区分される領域へ格納する。

図５は、輝度平均値格納部１４に格納される輝度平均値の構造の概略を示す図である。
フリッカレベル算出部１５は、輝度平均値格納部１４から分割領域番号毎の輝度平均値を取得し、分割領域番号毎のフリッカレベルを算出し、算出したフリッカレベルをフリッカレベル格納部１６へ格納する。ここでフリッカレベルの算出は、本実施形態では、比較的演算の簡易な標本分散を用いることとするが、例えば、フーリエ変換などの周波数成分分析手法を用いてフリッカレベルを求めてもよいし、他のいかなる方法を用いて求めても構わない。

領域別処理部１３は、分割領域に対して輝度平均値を求めている最中に次の輝度画像が取得されて輝度画像蓄積部１２に蓄積されると、フリッカ検出装置１０の角速度にかかわらず、直ちに輝度平均値の演算処理を中止するようにしている。なぜこのようにしているかと言うと、次の輝度画像が取得されたにもかかわらず輝度平均値の演算処理を継続すると、次々と輝度画像が取得されて輝度画像蓄積部１２のオーバーフローを招く可能性があり、動作が破綻する恐れがあるので、このような最悪の事態を極力避けるためである。そこで、このような制御の下においても、確実にフリッカレベルを算出できるように、どの分割領域の輝度平均値を優先的に求めるかを判断しなければならない。そこで、本実施形態では、フリッカ検出装置１０の角速度と回転の向きとに応じて、各分割領域に対して、輝度平均値を求める際の優先度を決定している。

順序制御テーブル格納部２０は、輝度画像データによって表される画像を垂直方向にＭ分割した分割領域のうち、左からｉ番目の分割領域の輝度平均値を何番目に求めればよいかを、全てのｉに関して記録した順序制御テーブルを格納する。ここで順序制御テーブルは複数種類あり、方向検出部１７により検知された撮影方向と変化速度の遅速とに応じて使い分けられる。本実施形態では、順序制御テーブルは「右旋回高速用」、「右旋回低速用」、「左旋回高速用」、「左旋回低速用」、「旋回無し用」の５種類がある。
図６は、順序制御テーブル「右旋回高速用」の格納内容の一例を示す図である。
図７は、順序制御テーブル「右旋回低速用」の格納内容の一例を示す図である。
図８は、順序制御テーブル「左旋回高速用」の格納内容の一例を示す図である。
図９は、順序制御テーブル「左旋回低速用」の格納内容の一例を示す図である。
図１０は、順序制御テーブル「旋回無し用」の格納内容の一例を示す図である。
ここで図６〜１０中の制御テーブルでは、インデックス番号が小さい程左側の分割領域を指すものとする。

フリッカを検出するのに必要なフレーム数をＴと定義すると、Ｔは「光源の輝度変化の周波数とフレームレート（フレーム周波数）との最小公倍数を、光源の輝度変化の周波数で割った値」を整数倍したものとなる。この整数倍の大きさが大きくなる程、フリッカ検出の精度は向上するが、反面、測定時間が長くなるので、適度な値に設定する必要がある。本実施形態においては、Ｔ＝９とする。

また速度が速いか否かは、具体的には、（方向検出部１７により検出される画像が撮影されているときのフリッカ検出装置１０の角速度）＞（分割領域幅に対する視野角÷（Ｔ÷フレームレート）であるときに早いと判定し、（方向検出部１７により検出される画像が撮影されているときのフリッカ検出装置１０の角速度）≦（分割領域幅に対する視野角÷（Ｔ÷フレームレート）であるときに遅いと判定する。
言い換えると、一領域当りの移動時間内に、フリッカを検出するために必要な数のフレームを取得できない場合に早いと判断し、一領域当りの移動時間内に、フリッカを検出するために必要な数のフレームを取得できる場合に遅いと判断する。そして、速いと判断される場合には撮影方向の変化により後に撮影されなくなる先頭の領域から処理を開始すると決定し、速いと判断される場合には、撮影方向の変化により先に撮影されなくなる後端の領域から処理を開始すると決定する。以下に、より詳細に個別の場合毎に説明する。

旋回方向が右向きで角速度が速いと判断される場合には、図６に示す順序制御テーブルを用いる。
旋回方向が右向きで角速度が速いと判断される場合には、分割領域のうちの最も左の領域は、一部分が撮影画面から外れているため、精度よく領域の輝度平均値を求めることができないので対象から除外する。また、分割領域のうちより左側の分割領域になるほど、輝度平均値を求める前に対象となる分割領域が撮影画面から外れやすくなり、フリッカレベルを求めるために必要なＴフレーム分の分割領域を確保できなくなる可能性が高い。そこで、旋回方向が右向きで角速度が速いと判断される場合は、より右側の分割領域を優先させて輝度平均値を求めるように、図６に示す順序制御テーブルでは、インデックス番号（ｏｆｆｓｅｔ）と逆向きの番号を優先度として与えている。

旋回方向が右向きで角速度が速いと判断される場合には、図７に示す順序制御テーブルを用いる。
旋回方向が右向きで角速度が遅いと判断される場合には、上記と同様に分割領域のうちの最も左の領域は、一部分が撮影画面から外れているため、精度よく領域の輝度平均値を求めることができないので対象から除外する。一方、分割領域のうちより左側の分割領域であっても、輝度平均値を求める前に対象となる分割領域が撮影画面から外れることがないため、フリッカレベルを求めるために必要な連続したＴフレーム分の分割領域を確保できる。そこで、旋回方向が右向きで角速度が遅いと判断される場合は、より左側の分割領域を優先させて輝度平均値を求めるように、図７に示す順序制御テーブルでは、インデックス番号（ｏｆｆｓｅｔ）と順向きの番号を優先度として与えている。

旋回方向が左向きで角速度が速いと判断される場合には、図８に示す順序制御テーブルを用いる。
旋回方向が左向きで角速度が速いと判断される場合には、分割領域のうちの最も右の領域は、一部分が撮影画面から外れているため、精度よく領域の輝度平均値を求めることができないので対象から除外する。また、分割領域のうちより右側の分割領域になるほど、輝度平均値を求める前に対象となる分割領域が撮影画面から外れやすくなり、フリッカレベルを求めるために必要なＴフレーム分の分割領域を確保できなくなる可能性が高い。そこで、旋回方向が左向きで角速度が速いと判断される場合は、より左側の分割領域を優先させて輝度平均値を求めるように、図８に示す順序制御テーブルでは、インデックス番号（ｏｆｆｓｅｔ）と順向きの番号を優先度として与えている。

旋回方向が左向きで角速度が速いと判断される場合には、図９に示す順序制御テーブルを用いる。
旋回方向が左向きで角速度が遅いと判断される場合には、上記と同様に分割領域のうちの最も右の領域は、一部分が撮影画面から外れているため、精度よく領域の輝度平均値を求めることができないので対象から除外する。一方、分割領域のうちより右側の分割領域であっても、輝度平均値を求める前に対象となる分割領域が撮影画面から外れることがないため、フリッカレベルを求めるために必要な連続したＴフレーム分の分割領域を確保できる。そこで、旋回方向が左向きで角速度が遅いと判断される場合は、より右側の分割領域を優先させて輝度平均値を求めるように、図９に示す順序制御テーブルでは、インデックス番号（ｏｆｆｓｅｔ）と逆向きの番号を優先度として与えている。

旋回の角速度が極めて遅く旋回無しと判断される場合には、図１０に示す順序制御テーブルを用いる。
旋回無しと判断される場合には、この後、旋回を始めるとしても、どちらかの方向に旋回するかを予測できない。そこで、画面のより中央の分割領域を優先させて輝度平均値を求めるように、図１０に示す順序制御テーブルでは、インデックス番号（ｏｆｆｓｅｔ）が中間の値のものに対して高い優先度を設定し、値が増加、あるいは減少するにつれて優先度が段階的に低くなるように設定している。

サンプリング順序制御部１８は、領域別処理部１３から更新要求を受けると、方向検出部１７から方向情報を取得する。また、領域別処理部１３から順序番号を受け取ると、方向情報と順序制御テーブル格納部２０に格納された順序制御テーブルに基づいて、輝度画像を分割した領域のうちのどの領域に対して輝度平均値を優先的に求めればよいかを示すインデックス番号を領域別処理部１３へ送出する。

フリッカレベル表示部２１は、フリッカレベル格納部１６に格納された分割領域番号毎のフリッカレベルに基づいて、領域方向毎のフリッカの強弱を、各々の分割領域番号により特定される領域方向に相応する撮影方向と関連付けて、利用者に提示する。より詳しくは、例えば、方向検出部１７により検知される今現在の撮影方向を、モニタ、又はファインダ等の枠に入っている撮影可能な方向として受け取り、フリッカが他の領域方向と較べて最も弱い領域方向に相応する撮影方向を示す方向指示指標（例えば矢印）を枠内に表示したり、あるいは、当該いる撮影可能な方向のフリッカレベルを基準にして、左右に隣接するそれぞれの方向のフリッカレベルと比較し、フリッカが弱い方向を示す方向指示指標を枠内に表示する。

図１１は、フリッカレベル表示部２１によるフリッカの強弱の提示例を示す図である。
図１１においては、モニタ、又はファインダ等の枠６１に入っている撮影可能な方向の画像６２と、フリッカが弱い方向を示す矢印６３との合成画像が、枠６１内に表示されている。フリッカレベル表示部２１は、例えば、シャッターボタン６４が半押しされると、画像を表示すると同時に、フリッカレベル格納部１６、及び方向検出部１７から必要な情報を取得して、フリッカの影響が少ない方向を示す方向指示指標（矢印６３）を出力画像に重畳して表示する。

＜動作＞
フリッカ検出装置１０の動作にあたり、２種類の互いに独立したスレッドまたはタスク（以下タスクに統一して表記する）による動作形態を示す。
２種類のタスクのうち一つ目はメインタスクであり、メインタスクでは、領域別処理部１３とフリッカレベル算出部１５とによるフリッカレベルを算出するための一連の処理を実行する。
二つ目は画像取得タスクであり、輝度画像取得部１１による輝度画像データを生成するための一連の処理を実行する。
そこで、まずメインタスクの初期化処理について説明し、次に定常状態における輝度画像取得タスクとメインタスクの処理について説明する。

＜メインタスクによる初期化処理＞
図１２は、メインタスクによる全体の処理の流れを示す図である。
（１）図１２に示すメインタスクにおいて、利用者がボタン操作またはそれに準ずる操作を行うこと等により撮影モードを起動すると、撮像装置１００のメインタスクが起動し、初期化処理を行う（ステップＳ１０１）。
図１３は、ステップＳ１０１における初期化処理の流れを示す図である。
（２）図１３に示す初期化処理において、状態格納部１９に格納されている検出モードを「旋回なし」として初期化する（ステップＳ２０１）。
（３）図１３に示す初期化処理において、輝度値表をクリアする（ステップＳ２０２）。ここで輝度値表とは、図５に示すような輝度平均値が格納されたメモリ領域に相当する。ここで輝度値表には、時刻０〜Ｔにおける各分割領域の輝度平均値と、最後に輝度平均値を検出した対象の輝度画像のタイムスタンプと、各分割領域において、全ての時刻（０〜Ｔ）に対して有効な輝度値が格納されているか否かを示す輝度値有効フラグとが格納されている。
図１４は、ステップＳ２０２における、輝度値表のクリア処理の流れを示す図である。

（４）図１４に示す輝度値表のクリア処理において、各領域に対して、輝度値有効フラグを“０（ｆａｌｓｅ）”に設定し（ステップＳ３０１）、直前更新位置を“−１（無効値）”に設定する（ステップＳ３０２）。この輝度値表のクリア処理によって、図５に示す輝度値表の各分割領域の輝度値有効フラグを全て“０（ｆａｌｓｅ）”にし、各分割領域の直前更新時刻を全て“−１（無効値）”にしている。
（５）図１２に示すメインタスクにおいて、初期化処理が完了すると、画像取得タスクを起動する（ステップＳ１０２）。
（６）図１２に示すメインタスクにおいて、メインタスクは定常ルーチン（ステップＳ１０３）を繰り返し処理する。

＜画像取得タスクの定常状態における処理＞
図１５は、画像取得タスクによる定常状態における処理の流れを示す図である。
（１）図１２におけるステップＳ１０２により、画像取得タスクが起動されると、図１５に示す画像取得タスクにおいて、輝度画像取得部１１が非圧縮画像データを順次取得する（ステップＳ４０１）。
（２）取得した原画像（非圧縮画像データ）を輝度変換して輝度画像データを生成する（ステップＳ４０２）。
図１６は、ステップＳ４０２における輝度変換処理の流れを示す図である。

（３）図１６に示す輝度変換の処理において、原画像の各画素に対して、原画像から取得したＲ成分・Ｇ成分・Ｂ成分のそれぞれに、個別に設定された重み付けを施した後に合計して求めた結果を輝度値として、輝度画像データを生成する（ステップＳ５０１〜Ｓ５０７）。
（４）生成した輝度画像データを輝度画像蓄積部１２へ渡して蓄積させる（ステップＳ４０３）。

＜メインタスクの定常状態における処理＞
図１７は、メインタスクの定常状態における処理の流れを示す図である。
（１）図１２におけるステップＳ１０３により、メインタスクの定常処理が開始されると、図１７に示すメインタスクにおいて、輝度画像蓄積部１２に輝度画像データが蓄積されているか否かをチェックする（ステップＳ６０１）。輝度画像データが蓄積されていない場合には、新たに輝度画像データが蓄積されるまで待つ。
（２）輝度画像データが蓄積されている場合には、蓄積されている輝度画像データを取得する（ステップＳ６０２）。
（３）図１７に示すメインタスクにおいて、順序制御更新処理を行う（ステップＳ６０３）。
図１８は、ステップＳ６０３における順序制御更新処理の流れを示す図である。

（４）図１８に示す順序制御更新処理において、サンプリング順序制御部１８へ更新要求を送る（ステップＳ７０１）。
（５）図１８に示す順序制御更新処理において、サンプリング順序制御部１８は更新要求を受け取ると、まず方向検出部１７から撮影方向を取得する（ステップＳ７０２）。

（６）次に方向オフセットを算出する（ステップＳ７０３）。ここで方向オフセットとは、図４に示すように、画像を分割した領域のうち、分割幅（＝画面幅÷Ｍ（分割数））よりも幅が狭くなる画面左端領域の幅を指す。本実施形態においては、フリッカの輝度平均値を精度良く求めるために、領域幅が分割幅（＝画面幅÷Ｍ（分割数））を下回る領域をフリッカ検出対象から除いている。そこで、上記方位オフセットを算出し、これを用いて、領域幅が分割幅（＝画面幅÷Ｍ）と等しい領域に対してのみ輝度平均値を求めるように制御している。方向オフセットは、具体的には、「（画面幅÷Ｍ×Ｎ×方向情報） ｍｏｄ 分割幅」により求められる。ここで「画面幅÷Ｍ×Ｎ」は画面幅のピクセル数に対して３６０度の画像を結合した連結画像の幅に相当する。また方向情報はフリッカ検出装置１０が起動してからどれだけ方向が変化したかを示していることから、フリッカ検出装置１０が起動した時の方向において取得される画像が連結画像の左端の画像となり、「画面幅÷Ｍ×Ｎ×方向情報」は連結画像の左端に対して、現在取得中の画像の左端が何ピクセルずれているかを示すことになる。つまり、「（画面幅÷Ｍ×Ｎ×方向情報） ｍｏｄ 分割幅」は連結画像をＮ分割した領域のうち、撮影範囲の左端にある分割幅よりも分割領域幅が狭い分割領域の幅（オフセット）を示す。

（７）次に方向番号を求める（ステップＳ７０４）。ここで方向番号とは、図４に示すように、撮影画像中に移っていて分割幅と分割領域幅の等しい左端の分割領域が３６０度画像をＮ分割した各分割領域の何番目に当たるかを示す番号である。方向番号は、具体的には、「（画面幅÷Ｍ×Ｎ×方向情報）÷分解幅」により求められる。
（８）次に方向検出部１７から角速度情報を取得する（ステップＳ７０５）。
（９）取得した角速度情報に応じて検出モードを決定する。具体的には、角速度の絶対値が、状態格納部１９に予め保持された「角速度無しＳＨ」以下である場合には（ステップＳ７０６：ＹＥＳ）、検出モードを「旋回無し」と判断する（ステップＳ７０７）。
（１０）角速度の絶対値が、「角速度無しＳＨ」以下でなく（ステップＳ７０６：ＮＯ）、状態格納部１９に予め保持された「強弱角速度ＳＨ」以下であり（ステップＳ７０８：ＹＥＳ）、かつ角速度の値が正である場合には（ステップＳ７０９：ＹＥＳ）、検出モードを「左旋回低速」と判断する（ステップＳ７１０）。

（１１）角速度の絶対値が、「角速度無しＳＨ」以下でなく（ステップＳ７０６：ＮＯ）、状態格納部１９に予め保持された「強弱角速度ＳＨ」以下であり（ステップＳ７０８：ＹＥＳ）、かつ角速度の値が負である場合には（ステップＳ７０９：ＮＯ）、検出モードを「右旋回低速」と判断する（ステップＳ７１１）。
（１２）角速度の絶対値が、「角速度無しＳＨ」以下でなく（ステップＳ７０６：ＮＯ）、状態格納部１９に予め保持された「強弱角速度ＳＨ」以下でなく（ステップＳ７０８：ＮＯ）、かつ角速度の値が正である場合には（ステップＳ７１２：ＹＥＳ）、検出モードを「左旋回高速」と判断する（ステップＳ７１３）。
（１３）角速度の絶対値が、「角速度無しＳＨ」以下でなく（ステップＳ７０６：ＮＯ）、状態格納部１９に予め保持された「強弱角速度ＳＨ」以下でなく（ステップＳ７０８：ＮＯ）、かつ角速度の値が負である場合には（ステップＳ７１２：ＮＯ）、検出モードを「右旋回高速」と判断する（ステップＳ７１４）。

（１４）順序制御更新処理が完了すると、図１７に示すメインタスクにおいて、輝度値表更新処理を行う（ステップＳ６０４）。
図１９は、ステップＳ６０４における輝度値表更新処理の流れを示す図である。
（１５）図１９に示す輝度値表更新処理において、まずｎ＝０として（ステップＳ８０１）、順序制御テーブル格納部２０に格納された順序制御テーブルを参照し、優先度がｎ番目の領域が輝度画像内のどの領域であるかを求め、これを対象領域ｍとする（ステップＳ８０２）。
（１６）対象領域ｍに対して輝度値有効フラグをチェックする（ステップＳ８０３）。輝度値有効フラグが“ｔｒｕｅ”であれば、対象領域ｍに対しては既にフリッカ検出に必要な輝度情報が算出されているので、輝度値の算出をスキップし、次の領域の処理へ行く。

（１７）輝度値有効フラグが“ｔｒｕｅ”でなく、“ｆａｌｓｅ”であれば、対象領域ｍに対する直前タイムスタンプが“現在時刻−１”に等しいか否かを判断する（ステップＳ８０４）。
（１８）等しい場合には対象領域ｍに対する輝度値が直前の輝度画像に対しても算出されていたことが判るので、対象領域ｍに対する直前更新位置に１を加えたものをｔに設定する（ステップＳ８０５）。
（１９）更にこの直前更新位置の値を、本処理によって更新された輝度値表のインデックス（対象領域ｍに対する直前更新位置に１を加えたもの）に更新する（ステップＳ８０６）。
（２０）直前更新位置が（Ｔ−１）と等しいか否かを判断する（ステップＳ８０７）。
（２１）直前更新位置が（Ｔ−１）と等しい場合には、フリッカレベルを求めるのに十分な輝度値のサンプリングが完了したことになるので、対象領域ｍに対応する輝度値有効フラグをｔｒｕｅに設定する（ステップＳ８０８）。

（２２）一方、ステップＳ８０４において、対象領域ｍに対する直前タイムスタンプが“現在時刻−１”と異なる場合は、連続した輝度画像に対して輝度値を算出できていないことが判るので、ｔを０とし、対象領域ｍに対して再度最初から輝度値を算出する（ステップＳ８０９）。
（２３）更に、対象領域ｍに対する直前更新位置を初期位置（０）に設定する（ステップＳ８１０）。
（２４）対象領域ｍに対する直前タイムスタンプを現在時刻に設定する（ステップＳ８１１）。
（２５）対象領域ｍ、更新時刻ｔに対して対象領域ｍの輝度値の平均を求め、輝度値表［ｍ］［ｔ］に求められた平均値を格納する（ステップＳ８１２）。

（２６）蓄積バッファに輝度画像が新たに蓄積されているかどうかをチェックする（ステップＳ８１３）。
（２７）蓄積バッファに輝度画像が新たに追加されていない場合は、両端以外の未処理の分割領域があるか否かを判断し（ステップＳ８１４）、あれば他の領域の処理へ行く（ステップＳ８１５）。
（２８）蓄積バッファに輝度画像が新たに追加されている場合は、蓄積バッファに過剰に輝度画像が蓄積されてシステムが破綻するのを防ぐため、輝度算出処理を強制的に終了させる（ステップＳ８１６）。
（２９）輝度値表更新処理が完了すると、図１７に示すメインタスクにおいて、現在時刻を更新して（ステップＳ６０５）、フリッカレベルの算出処理を行う（ステップＳ６０６）。
図２０は、ステップＳ６０６におけるフリッカレベルの算出処理の流れを示す図である。
（３０）図２０に示すように、各対象領域ｎ（０≦ｎ＜Ｎ）に対して輝度値表［ｎ］の確率変数ｔ＝０、１、・・・、（Ｔ−１）に対する標本分散を求め、フリッカレベル［ｎ］としてフリッカレベル格納部１６へ格納することにより、フリッカレベルを算出する（Ｓ９０１〜Ｓ９０５）。

［第２の実施形態］
＜概要＞
本実施形態は、周辺のフリッカの強弱を検出して提示するフリッカ検出装置を備えるビデオカメラ等の撮像装置であって、フリッカ検出モードと通常撮影モードとの切り替えができ、フリッカ検出モードに設定すると、第１の実施形態のフリッカ検出装置１０と同様のフリッカ検出機能を有効にし、一方、通常撮影モードに設定すると、画像を撮影して録画する録画機能を有効にするとともに、フリッカ検出装置１０と同様のフリッカレベル表示部２１によるフリッカ提示機能とを有効にする。

＜構成＞
図２１は、本発明の第２の実施形態に係る撮像装置１００の構成の概要を示す図である。
撮像装置１００は、例えばデジタルビデオカメラ等の動画像を撮影し録画する録画機能を備える携帯機器であり、図２１に示すように、モード選択部１０１、フリッカ検出部１０２、録画部１０３、とを含む。
モード選択部１０１は、利用者から、フリッカ検出モード、及び通常撮影モードの選択を受け付ける。
フリッカ検出部１０２は、モード選択部１０１において通常撮影モードが選択されているときに、第１の実施形態において説明したフリッカ検出機能を実行する。
録画部１０３は、モード選択部１０１において通常撮影モードが選択されているときに、録画機能を実行するとともに、第１の実施形態において説明したフリッカレベル表示部２１によるフリッカ提示機能を実行する。なお、録画機能については、従来の技術なので説明を省略する。

＜変形等＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然にそれらを様々な数値に変更することができる。
［注釈２］
日本国における商用交流電源の周波数は、基本的に６０Ｈｚ又は５０Ｈｚであるが、これらの周波数には、通常、若干（例えば、数％）の誤差が含まれる。また、実際のフレームレートや露光時間も、設計値に対して若干の誤差を含んでいる。従って、本明細書において述べられる、周波数、周期、フレームレート、及び露光時間等は、或る程度の誤差を含んだ時間的概念であるものとする。
例えば、フリッカを検出するのに必要なフレーム数は、「光源の輝度変化の周波数とフレームレート（フレーム周波数）の最小公倍数を、光源の輝度変化の周波数で割った値とされる」と上述したが、ここにおける「光源の輝度変化の周波数」、「フレームレート」、及び「最小公倍数」は、厳密な値を意図するものではなく、或る程度の誤差を含んだ値である。

［注釈３］
第１の実施形態のフリッカ検出装置１０、及び第２の実施形態の撮像装置１００は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。
またフリッカ検出装置１０の機能の全部または一部を、プログラムとして記述し、このプログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。かかる構成によれば、フリッカレベルの算出に最適な領域を示すインデックス番号を、輝度平均値算出部１４がサンプリング順序制御部１８から参照することにより、フリッカレベルの算出に必要な輝度値算出に失敗することを防止することができ、フリッカレベルを算出するための輝度平均値をより確実にサンプリングすることが可能となる。

本発明にかかるフリッカ検出装置１０、及び撮像装置１００は、例えば露光計のように、フリッカ検出装置１０は単独で、撮像装置１００はフリッカ検出装置１０が内蔵されたビデオカメラとして、動画撮影の際に利用可能であり、また、加速度センサを利用して方向検出を行い、人間には感知できないフリッカ現象の影響が少ない場所を発見し、可視化して利用者に提示するので、通常認識できないフリッカ現象の影響を利用者が容易に認識することができるようになるため、動画撮影を行うあらゆる機器に必要不可欠なものに成り得る。
また、デジタルスチルカメラにおける連写機能による撮影や、デジタルビデオカメラにおける静止画撮影等においても、個々の画像の画質向上のための利用が可能である。

１０ フリッカ検出装置
１１ 輝度画像取得部
１２ 輝度画像蓄積部
１３ 領域別処理部
１４ 輝度平均値格納部
１５ フリッカレベル算出部
１６ フリッカレベル格納部
１７ 方向検出部
１８ サンプリング順序制御部
１９ 状態格納部
２０ 順序制御テーブル格納部
２１ フリッカレベル表示部
１００ 撮像装置
１０１ モード選択部
１０２ フリッカ検出部
１０３ 録画部

Claims (7)

1. 周辺のフリッカの強弱を検出して提示するフリッカ検出装置であって、
   略水平に撮影方向を変えながら、連続的に画像が撮影されることにより生成される複数の輝度画像データを、順次取得する取得部と、
   取得部により取得される輝度画像データを、順次格納する格納部と、
   取得部により取得される輝度画像データに対応する個々の画像の撮影方向を検知する撮影方向検出部と、
   撮影方向検出部により検知された撮影方向に基づいて、格納部により格納された各々の輝度画像データによって表される画像を、略垂直方向に領域分割して、各領域に、当該撮影方向と各々の領域の配置とから算出した領域方向を付与する領域別処理部と、
   領域別処理部により分割された領域毎のデータを用いて、前記領域方向が同等な複数の領域のデータ同士を演算対象とし、当該領域方向別に、フリッカの強弱を算出するフリッカ算出部と、
   フリッカ算出部により算出された領域方向毎のフリッカの強弱を、各々の領域方向に相応する撮影方向と関連付けて、利用者に提示する提示部とを備えることを特徴とする、フリッカ検出装置。
2. 前記提示部は、
   フリッカが、他の領域方向と較べて最も弱い領域方向に相応する撮影方向を示す情報を、利用者に提示することを特徴とする、請求項１に記載のフリッカ検出装置。
3. 前記撮影方向検出部は、
   前記提示部によりフリッカの強弱が利用者に提示される際に、当該提示部に付属するモニタ、又はファインダの枠に入っている撮影可能な方向を検知し、
   前記提示部は、
   前記撮影方向検出部により検知された撮影可能な方向のフリッカのレベルを基準にして、左右に隣接する方向のフリッカの強弱を、前記モニタ、又はファインダの枠内に表示することを特徴とする、請求項１に記載のフリッカ検出装置。
4. 前記フリッカ検出装置は、さらに、
   一領域当りの移動時間内に、フリッカを検出するために必要な数のフレームを取得できない場合に、撮影方向の変化により後に撮影されなくなる先頭の領域から処理を開始し、取得できる場合に、撮影方向の変化により先に撮影されなくなる後端の領域から処理を開始すると決定する処理順序制御部を備え、
   前記領域別処理部は、
   処理順序制御部により決定された順序に従って、領域毎に輝度平均値を求める処理を開始し、
   前記フリッカ算出部は、
   輝度平均値算出部により生成された領域毎の輝度平均値を用いて、前記領域方向が同等なもの同士を演算対象とし、当該領域方向別に、フリッカの強弱を算出することを特徴とする、請求項１に記載のフリッカ検出装置。
5. 請求項１〜４のいずれか１項に記載のフリッカ検出装置と、
   フリッカ検出モード、及び通常撮影モードの選択を受け付けるモード選択部と、
   通常撮影モード時に、前記撮像部により撮影される画像を録画する録画機能を有する録画部とを備え、
   モード選択部において、フリッカ検出モードが選択されているときには、前記フリッカ検出装置によるフリッカ検出機能が有効になり、通常撮影モードが選択されているときには、前記提示部による提示機能と、前記録画部による録画機能とが有効になることを特徴とする、撮像装置。
6. 周辺のフリッカの強弱を検出して提示するフリッカ検出装置におけるフリッカ検出プログラムであって、
   前記フリッカ検出装置に、
   略水平に撮影方向を変えながら、連続的に画像が撮影されることにより生成される複数の輝度画像データを、順次取得する取得ステップと、
   取得ステップにより取得される輝度画像データを、順次格納する格納ステップと、
   取得ステップにより取得される輝度画像データに対応する個々の画像の撮影方向を検知する撮影方向検出ステップと、
   撮影方向検出ステップにより検知された撮影方向に基づいて、格納ステップにより格納された各々の輝度画像データによって表される画像を、略垂直方向に領域分割して、各領域に、当該撮影方向と各々の領域の配置とから算出した領域方向を付与する領域別処理割ステップと、
   領域別処理ステップにより分割された領域毎のデータを用いて、前記領域方向が同等な複数の領域のデータ同士を演算対象とし、当該領域方向別に、フリッカの強弱を算出するフリッカ算出ステップと、
   フリッカ算出ステップにより算出された領域方向毎のフリッカの強弱を、各々の領域方向に相応する撮影方向と関連付けて、利用者に提示する提示ステップとを実行させることを特徴とする、フリッカ検出プログラム。
7. 周辺のフリッカの強弱を検出して提示するフリッカ検出方法であって、
   略水平に撮影方向を変えながら、連続的に画像が撮影されることにより生成される複数の輝度画像データを、順次取得する取得ステップと、
   取得ステップにより取得される輝度画像データを、順次格納する格納ステップと、
   取得ステップにより取得される輝度画像データに対応する個々の画像の撮影方向を検知する撮影方向検出ステップと、
   撮影方向検出ステップにより検知された撮影方向に基づいて、格納ステップにより格納された各々の輝度画像データによって表される画像を、略垂直方向に領域分割して、各領域に、当該撮影方向と各々の領域の配置とから算出した領域方向を付与する領域別処理ステップと、
   領域別処理ステップにより分割された領域毎のデータを用いて、前記領域方向が同等な複数の領域のデータ同士を演算対象とし、当該領域方向別に、フリッカの強弱を算出するフリッカ算出ステップと、
   フリッカ算出ステップにより算出された領域方向毎のフリッカの強弱を、各々の領域方向に相応する撮影方向と関連付けて、利用者に提示する提示ステップとを含むことを特徴とする、フリッカ検出方法。

Images