JP2016058838A

JP2016058838A - フリッカー低減装置

Info

Publication number: JP2016058838A
Application number: JP2014182609A
Authority: JP
Inventors: 幸博西田; Yukihiro Nishida; 裕一日下部; Yuichi Kusakabe
Original assignee: Nippon Hoso Kyokai NHK
Current assignee: Japan Broadcasting Corp
Priority date: 2014-09-08
Filing date: 2014-09-08
Publication date: 2016-04-21
Anticipated expiration: 2034-09-08
Also published as: JP6462281B2

Abstract

【課題】画面内で不均一に現れるフリッカーを低減する。【解決手段】フリッカー低減装置１は、動画像を、時間周波数を含む周波数領域の信号に変換する周波数変換部１２と、既知のフリッカー周波数に対応する時間周波数を抑圧周波数として決定し、該抑圧周波数の周波数成分の抑圧量を、該抑圧周波数の近傍の時間周波数の周波数成分から決定するフリッカー成分推定部１３と、抑圧周波数の周波数成分を前記抑圧量に従って抑圧した周波数領域を生成するフリッカー除去部１４と、フリッカー除去部１４により生成された周波数領域の信号を実空間領域の信号に変換する逆周波数変換部１５と、を備える。【選択図】図１

Description

本発明は、交流電源周波数に関係して光強度が変動する照明下で撮影した動画像に現れるフリッカーを低減するフリッカー低減装置に関する。

交流電源で駆動する照明器具から発する光の交流成分は、電源周波数ｆ_A（Ｈｚ）の２倍の周波数で強度が変動する。この照明下で、フレーム周波数ｆ_V（Ｈｚ）で撮影される動画像は、式（１）で示されるフリッカー周波数ｆ_F（Ｈｚ）のフリッカーを含む映像となる。

フリッカーが無い場合の理想的な映像信号をＶｏ（ｘ，ｙ，ｔ）とすると、フリッカーを含む映像信号Ｖ_F（ｘ，ｙ，ｔ）は、式（２）に示すようにフリッカー成分Ｆ_L（ｘ，ｙ，ｔ）との和で表される。ここで、x、ｙ、ｔはそれぞれ映像信号の水平方向、垂直方向、時間方向の座標である。

また、フリッカー成分Ｆ_L（ｘ，ｙ，ｔ）は、式（３）で表される。ここで、θは位相を表す。

映像のフレーム周波数ｆ_Vが照明の明滅周波数２ｆ_Aよりも低い場合は、１／２ｆ_A（＜１／ｆ_V）の時間開口のシャッターを用いることで、映像信号にフリッカーが発生することを避けることができる。しかし、映像のフレーム周波数ｆ_Vが照明の明滅周波数２ｆ_Aよりも高い場合には、１／２ｆ_A＞１／ｆ_Vであるため、シャッターにより解決することはできず、映像信号処理によってフリッカーを低減・除去する必要がある。

スローモーション撮影のために高速度撮影する場合や、動画質を向上させるために従来のフレーム周波数よりも高いフレーム周波数を用いる場合に、映像のフレーム周波数ｆ_Vが照明の明滅周波数２ｆ_Aよりも高くなり得る。例えば、交流電源周波数が６０Ｈｚ（照明の明滅周波数は１２０Ｈｚ）の下でフレーム周波数１８０Ｈｚで撮影する場合や、交流電源周波数が５０Ｈｚ（照明の明滅周波数は１００Ｈｚ）の下でフレーム周波数１２０Ｈｚで撮影する場合に該当する。

映像信号Ｖ_F（ｘ，ｙ，ｔ）からフリッカー成分Ｆ_L（ｘ，ｙ，ｔ）、すなわち、フリッカー周波数ｆ_F、位相θ、振幅Ｆ_Lを検出することができれば、これを動画像から除去することで、フリッカーのない映像信号Ｖ_O（ｘ，ｙ，ｔ）を得ることができる。フリッカーが画面内で一様であれば、映像信号Ｖ_F（ｘ，ｙ，ｔ）からＦ_L及びθを推定し、式（４）によってフリッカーを除去可能である。

特許第４３７１１０８号公報特許第４４２３８８９号公報

しかしながら、動画像を撮影する際、照明条件は必ずしも一定ではない。例えば、画面内で一様に照明されるとは限らず、被写体の反射率も様々であり、カメラの操作や被写体の動きによって、画面内の照明の影響は時々刻々と変化する。したがって、フリッカーは画面内に一様には現れず、時間とともに変化する。また、共通の交流電源が照明に使用されれば、複数の照明器具から発する光強度の変化の周波数は同じとなるが、位相が同じになるとは限らない。したがって、フリッカーの時間的変動の位相は画面内で異なる。すなわち、式（３）のフリッカーは、実際には式（５）のように空間内の位置と時間の関数となる。

そうすると、式（２）で示される映像信号Ｖ_F（ｘ，ｙ，ｔ）から、理想的な映像信号Ｖ_O（ｘ，ｙ，ｔ）と、フリッカー成分Ｆ_L（ｘ，ｙ，ｔ）とを分離することは困難である。

かかる事情に鑑みてなされた本発明の目的は、上記のような問題を解決し、画面内で不均一に現れるフリッカーを低減・除去することが可能なフリッカー低減装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るフリッカー低減装置は、動画像を、時間周波数を含む周波数領域の信号に変換する周波数変換部と、既知のフリッカー周波数に対応する時間周波数を抑圧周波数として決定し、該抑圧周波数の周波数成分の抑圧量を、該抑圧周波数の近傍の時間周波数の周波数成分から決定するフリッカー成分推定部と、前記抑圧周波数の周波数成分を前記抑圧量に従って抑圧した周波数領域の信号を生成するフリッカー除去部と、前記フリッカー除去部により生成された周波数領域の信号を実空間領域の信号に変換する逆周波数変換部と、を備えることを特徴とする。

さらに、本発明に係るフリッカー低減装置において、前記フリッカー成分推定部は、時間周波数が前記抑圧周波数の周波数成分のうち、所定の範囲の空間周波数の周波数成分を抑圧することを特徴とする。

さらに、本発明に係るフリッカー低減装置において、前記周波数変換部は、前記動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換し、前記フリッカー成分推定部は、時間周波数が前記抑圧周波数である周波数成分のうち、所定の範囲の水平周波数及び垂直周波数の周波数成分を抑圧することを特徴とする。

さらに、本発明に係るフリッカー低減装置において、前記周波数変換部は、前記動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換し、前記フリッカー成分推定部は、時間周波数が前記抑圧周波数である周波数成分のうち、所定の範囲の水平周波数の周波数成分を抑圧することを特徴とする。

さらに、本発明に係るフリッカー低減装置において、前記周波数変換部は、前記動画像を、垂直周波数及び前記時間周波数の２次元時空間周波数領域の信号に変換し、前記フリッカー成分推定部は、時間周波数が前記抑圧周波数である周波数成分のうち、所定の範囲の垂直周波数の周波数成分を抑圧することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フリッカー低減装置として機能させることを特徴とする。

本発明によれば、画面内で不均一に現れるフリッカーを効果的に低減・除去した映像信号を得ることができる。

本発明の一実施形態に係るフリッカー低減装置の構成例を示すブロック図である。本発明の一実施形態に係るフリッカー低減装置において、動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換する処理を説明する図である。本発明の一実施形態に係るフリッカー低減装置において、動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換する処理を説明する図である。本発明の一実施形態に係るフリッカー低減装置において、動画像を、垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換する処理を説明する図である。フリッカーを含む映像信号における、時間周波数に対する周波数成分の一例を示す図である。本発明の一実施形態に係るフリッカー低減装置において、周波数変換処理により変換された３次元時空間周波数領域を示す図である。本発明の一実施形態に係るフリッカー低減装置において、動画像を３次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。本発明の一実施形態に係るフリッカー低減装置において、動画像を水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。本発明の一実施形態に係るフリッカー低減装置において、動画像を垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。

式（２）の映像信号Ｖ_Fは、時空間周波数領域では式（６）のように表される。

フリッカー成分Ｆ_Lの時空間周波数領域における広がりは映像信号の分布に比べて小さいため、Ｆ_L（Ｘ，Ｙ，Ｔ）は時間周波数領域ではフリッカー周波数ｆ_Fを中心とした狭帯域に分布する。したがって、フリッカー周波数ｆ_Fに相当する特定の時間周波数を中心とする成分を抑圧することがフリッカーの低減に効果的である。

そこで、本発明では、映像信号を２次元又は３次元の時空間周波数領域の信号に変換し、時空間周波数領域において、特定の時間周波数における周波数成分を低減し、再び、実時空間領域の信号に変換する。また、この特定の時間周波数における周波数成分を低減するにあたり、フリッカー周波数近傍の時間周波数の周波数成分を参照することによって、本来の映像信号に含まれる周波数成分を推定し、フリッカー成分のみを低減して本来の映像信号は保持する。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係るフリッカー低減装置の構成を示すブロック図である。図１に示す例では、フリッカー低減装置１は、入力側のフレームメモリ（ＦＭ）１１と、周波数変換部１２と、フリッカー成分推定部１３と、フリッカー除去部１４と、逆周波数変換部１５と、出力側のフレームメモリ（ＦＭ）１６と、を備える。

交流電源周波数ｆ_A及び動画像のフレーム周波数ｆ_Vは既知であるので、式（１）に示したように、フリッカー周波数ｆ_Fも既知となる。本実施形態では、交流電源周波数ｆ_Aを５０Ｈｚ、フレーム周波数ｆ_Vを１２０Ｈｚ、フリッカー周波数ｆ_Fを２０Ｈｚとする。

各フレームメモリ１１は、フリッカーを含む映像信号をフレーム毎に順次に蓄積し、周波数変換部１２に出力する。例えば、周波数変換部１２における時間方向のフーリエ変換のサンプル数を３２として３２フレーム単位で処理を行う場合、フレームメモリ１１を３２個有して３２フレームを蓄積する。

周波数変換部１２は、フレームメモリ１１から入力される画像を周波数変換処理（例えば、ＦＦＴ：Fast Fourier Transform処理）して、時間周波数を含む２次元又は３次元の時空間周波数領域の信号に変換し、フリッカー成分推定部１３及びフリッカー除去部１４に出力する。例えば、時間方向に１６サンプル単位で離散フーリエ変換すると、時間周波数分解能は７．５Ｈｚ（＝１２０／１６）となり、時間方向に３２サンプル単位で離散フーリエ変換すると、時間周波数分解能は３．７５Ｈｚ（＝１２０／３２）となる。時間方向の離散フーリエ変換のサンプル数を増やすことによって時間周波数分解能を細かくできるが、遅延時間とのトレードオフとなる。なお、周波数変換としては、離散フーリエ変換の他、離散コサイン変換、離散サイン変換、離散ウォルシュ・アダマール変換、離散ウェーブレット変換などの周波数解析手法を用いることができる。

図２は、動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換する場合の処理を説明する図である。この場合、周波数変換部１２は、フレームメモリ１１から各フレームの列及び行の２次元配列の画素を入力する。そして、周波数変換処理に都合の良い小ブロック単位で３次元周波数変換処理し、これを、水平及び垂直方向の全画素数をカバーするように順次処理する。図２では、時間方向のフーリエ変換のサンプル数を３２とし、水平、垂直及び時間方向の３次元周波数変換処理ブロックを３２×３２×３２サンプルとする例を示している。

図３は、動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換する場合の処理を説明する図である。この場合、周波数変換部１２は、フレームメモリ１１から各フレームの行方向の１次元配列の画素を入力する。そして、水平（画素）と時間（フレーム）のｘｔ平面において、水平方向の周波数変換処理に都合の良い小ブロック単位で２次元周波数変換処理し、これを、水平の全画素数をカバーするように順次処理する。図３では、時間方向の離散フーリエ変換のサンプル数を３２とし、水平及び時間方向の２次元周波数変換処理ブロックを３２×３２サンプルとする例を示している。

図４は、動画像を、垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換する場合の処理を説明する図である。この場合、周波数変換部１２は、フレームメモリ１１から各フレームの列方向の１次元配列の画素を入力する。そして、垂直（画素）と時間（フレーム）のｙｔ平面において、垂直方向の周波数変換処理に都合の良い小ブロック単位で２次元周波数変換処理し、これを、垂直の全画素数をカバーするように順次処理する。図４では、時間方向の離散フーリエ変換のサンプル数を３２とし、垂直及び時間方向の２次元周波数変換処理ブロックを３２×３２サンプルとする例を示している。

フリッカー成分推定部１３は、周波数変換部１２における時間周波数分解能の整数倍で表される離散の時間周波数のうち、既知のフリッカー周波数ｆ_Fに対応する周波数を抑圧周波数ｆ_Nとして決定する。例えば、フリッカー周波数ｆ_Fが２０Ｈｚの場合、時間周波数分解能が７．５Ｈｚであると２２．５Ｈｚ及び１５Ｈｚがフリッカー周波数ｆ_Fに最も近い上下の周波数である。時間周波数分解能が３．７５Ｈｚであると２２．５Ｈｚと１８．７５Ｈｚがフリッカー周波数ｆ_Fに最も近い上下の周波数である。フリッカー周波数ｆ_Fに最も近い周波数、又は最も近い上下の周波数を抑圧周波数ｆ_Nと決定する。（以下で抑圧周波数ｆ_Nと言う場合、１つの周波数とは限らない。）

図５は、フリッカーを含む映像信号における、時間周波数に対する周波数成分の一例を示す図である。横軸は時間周波数を示し、縦軸は周波数成分のレベルを示している。図５では、時間周波数分解能を３．７５Ｈｚとし、フリッカー周波数ｆ_Fに最も近い上下の周波数を抑圧周波数ｆ_Nとしている。フリッカー周波数ｆ_Fの近傍の抑圧周波数ｆ_Nにはフリッカー成分が含まれるため、黒丸で示すフリッカーの無い本来の映像信号に比べて大きな周波数成分を有する。

フリッカー成分推定部１３は、抑圧周波数ｆ_Nの近傍の時間周波数の周波数成分に基づいて、抑圧周波数ｆ_Nにおける周波数成分の抑圧量を算出する。例えば、抑圧周波数ｆ_Nの下隣及び上隣の時間周波数の周波数成分Ｆ（ｆ_N-1），Ｆ（ｆ_N+1）の平均値又はフリッカー周波数との周波数差に応じた加重平均値を、照明の明滅が無い場合に被写体を撮影した場合の映像信号に含まれる抑圧周波数ｆ_Nの成分の推定値とし、抑圧周波数ｆ_Nの周波数成分Ｆ（ｆ_N）と推定値との差を抑圧量とする。これによって、映像信号に元々含まれるフリッカー周波数と同じ周波数成分への影響を小さくすることができる。

また、フリッカー成分推定部１３は、時間周波数が抑圧周波数ｆ_Nである周波数成分のうち、更に所定の範囲の空間周波数の周波数成分のみを抑圧するようにしてもよい。フリッカーは空間周波数が低い領域で現れると考えられるため、空間周波数が低い領域のみ周波数成分を抑圧することにより、より一層効果的にフリッカー成分のみを低減した映像信号を得ることができる。以下、図６から図９を参照して、空間周波数を考慮した周波数成分の抑圧処理について説明する。

図６は、周波数変換部１２の周波数変換処理により変換された３次元時空間周波数領域を示す図である。Ｘ軸は水平周波数を示し、Ｙ軸は垂直周波数を示し、Ｔ軸は時間周波数を示す。ここで、時間周波数の最大値は、サンプリング定理によりｆ_V／２となる。

図７は、周波数変換部１２が動画像を３次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域の例を示す図である。図７は、時間周波数Ｔが抑圧周波数ｆ_Nである、水平及び垂直方向の２次元周波数平面ＸＹを示している。この２次元周波数平面ＸＹにおいて、フリッカー成分推定部１３は、水平周波数が０≦Ｘ≦Ｘ_LOW、且つ垂直周波数が０≦Ｙ≦Ｙ_LOWの周波数成分のみを抑圧する。図中では周波数成分が抑圧される領域を斜線で示している。ただし、周波数成分が抑圧される領域は、この例のようにＸＹ平面で矩形に限られるものではない。

図８は、周波数変換部１２が動画像を水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。図８は、水平及び時間方向の２次元周波数平面ＸＴを示している。この２次元周波数平面ＸＴにおいて、フリッカー成分推定部１３は、時間周波数Ｔが抑圧周波数ｆ_Nであり、且つ水平周波数が０≦Ｘ≦Ｘ_LOWの周波数成分のみを抑圧する。図中では周波数成分が抑圧される領域を太線で示している。

図９は、周波数変換部１２が動画像を垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換した場合の、周波数成分の抑圧領域を示す図である。図９は、垂直及び時間方向の２次元周波数平面ＹＴを示している。この２次元周波数平面ＹＴにおいて、フリッカー成分推定部１３は、時間周波数Ｔが抑圧周波数ｆ_Nであり、且つ垂直周波数が０≦Ｙ≦Ｙ_LOWの周波数成分のみを抑圧する。図中では周波数成分が抑圧される領域を太線で示している。なお、上述したＸ_LOW及びＹ_LOWは、映像システムの解像度や撮影条件に
応じて定める。

フリッカー除去部１４は、フリッカー成分推定部１３から抑圧周波数ｆ_N及び抑圧量を取得する。そして、周波数変換部１２によって周波数領域の信号に変換された信号に対して、時間周波数Ｔが抑圧周波数ｆ_Nである周波数成分を抑圧量に従って抑圧し、逆周波数変換部１５に出力する。

逆周波数変換部１５は、周波数変換部１２による処理と逆の逆周波数変換処理を行い、時空間周波数領域の信号を実時空間領域の信号に変換し、フレームメモリ１６に出力する。周波数変換部１２によりＦＦＴ処理が行われていた場合には、逆周波数変換部１５は、ＩＦＦＴ（Inverse Fast Fourier Transform）処理を行う。逆周波数変換した結果は、フリッカーを抑圧した画像となっている。

フリッカー低減装置１は、フレームメモリ１６からフリッカーを抑圧した画像を順次出力することで動画像を出力する。フリッカー低減装置１は、以上の処理を時間方向のサンプル単位（本実施例では３２フレーム）毎に順次行う。

上述したように、本発明に係るフリッカー低減装置１は、入力される動画像を周波数変換部１２により時間周波数を含む周波数領域の信号に変換し、フリッカー成分推定部１３により既知のフリッカー周波数に対応する時間周波数を抑圧周波数ｆ_Nとして決定し、該抑圧周波数ｆ_Nの周波数成分の抑圧量を、該抑圧周波数ｆ_Nの近傍の時間周波数の周波数成分から決定し、フリッカー除去部１４により抑圧周波数の周波数成分を抑圧量に従って抑圧した周波数領域を生成し、逆周波数変換部１５によりフリッカー除去部１４にて生成された周波数領域を実空間領域の信号に変換する。このような周波数解析を行うことにより、フリッカー低減装置１は画面内で不均一に現れるフリッカーを効果的に低減することができる。

また、フリッカーは空間周波数が低い領域で現れると考えられるため、フリッカー成分推定部１３は、時間周波数が抑圧周波数ｆ_Nである周波数成分のうち、空間周波数が低い周波数成分のみを抑圧することにより、より一層効果的にフリッカーを低減した映像信号を得ることができる。

また、上述したフリッカー低減装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フリッカー低減装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１フリッカー低減装置
１１，１６フレームメモリ
１２周波数変換部
１３フリッカー成分推定部
１４フリッカー除去部
１５逆周波数変換部

Claims

動画像を、時間周波数を含む周波数領域の信号に変換する周波数変換部と、
既知のフリッカー周波数に対応する時間周波数を抑圧周波数として決定し、該抑圧周波数の周波数成分の抑圧量を、該抑圧周波数の近傍の時間周波数の周波数成分から決定するフリッカー成分推定部と、
前記抑圧周波数の周波数成分を前記抑圧量に従って抑圧した周波数領域の信号を生成するフリッカー除去部と、
前記フリッカー除去部により生成された周波数領域の信号を実空間領域の信号に変換する逆周波数変換部と、
を備えることを特徴とするフリッカー低減装置。
前記フリッカー成分推定部は、時間周波数が前記抑圧周波数の周波数成分のうち、所定の範囲の空間周波数の周波数成分を抑圧することを特徴とする、請求項１に記載のフリッカー低減装置。
前記周波数変換部は、前記動画像を、水平周波数、垂直周波数、及び時間周波数の３次元時空間周波数領域の信号に変換し、
前記フリッカー成分推定部は、時間周波数が前記抑圧周波数である周波数成分のうち、所定の範囲の水平周波数及び垂直周波数の周波数成分を抑圧することを特徴とする、請求項２に記載のフリッカー低減装置。
前記周波数変換部は、前記動画像を、水平周波数及び時間周波数の２次元時空間周波数領域の信号に変換し、
前記フリッカー成分推定部は、時間周波数が前記抑圧周波数である周波数成分のうち、所定の範囲の水平周波数の周波数成分を抑圧することを特徴とする、請求項２に記載のフリッカー低減装置。
前記周波数変換部は、前記動画像を、垂直周波数及び時間周波数の２次元時空間周波数領域の信号に変換し、
前記フリッカー成分推定部は、時間周波数が前記抑圧周波数である周波数成分のうち、所定の範囲の垂直周波数の周波数成分を抑圧することを特徴とする、請求項２に記載のフリッカー低減装置。
コンピュータを、請求項１から５のいずれか一項に記載のフリッカー低減装置として機能させるためのプログラム。