JP2020113919A - 映像処理装置及びプログラム - Google Patents

Abstract

【課題】映像信号のフリッカーの振幅及び位相を高精度に推定し、映像信号のフリッカーを確実に抑制する。【解決手段】映像処理装置１の非線形カルマンフィルタ１１は、画素値ｙ（ｋ）に対し非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。フリッカー推定部２１は、フリッカー成分の推定値ｘ^（ｋ）からフリッカー画素値ｙ’（ｋ）を算出し、減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算して補正値ｚ（ｋ）を求める。【選択図】図６

Description

本発明は、映像のフリッカー特性を測定する映像処理装置及びプログラムに関する。

一般に、電源周波数が５０Ｈｚの圏内では、蛍光灯等の照明機器は、１００Ｈｚの周波数の波形に応じて照明強度が変化することが知られている。しかし、１００Ｈｚの周波数で照明強度が変化する状況においては、１２０Ｈｚのフレーム周波数で撮影を行った場合、２０Ｈｚの周波数で映像信号にフリッカーが生じてしまう。

このフリッカーを抑制するための技術として、様々な手法が提案されている。例えば、撮像素子をライン毎にインターレース駆動し、かつ１０ｍｓｅｃの電子シャッターを設定することにより、フリッカーを抑制する手法が提案されている（例えば、特許文献１，２を参照）。

また、撮像素子を２４０Ｈｚの周波数で駆動させ、長時間露光及び短時間露光を行い、３フレームの映像信号を加算し、１０ｍｓｅｃの露光を実現することにより、フリッカーを抑制する手法が提案されている（例えば、特許文献３を参照）。

また、連続する複数のフレームの映像信号に対し、分割領域毎に明るさの平均値を算出し、補正対象フレームについて、分割領域毎に、明るさと明るさの平均値との差異に基づいて、各画素の明るさを補正する手法も提案されている（例えば、特許文献４を参照）。

特開２０１７−２２６１２号公報 特開２０１７−１１８３２９号公報 特開２０１６−３６１２２号公報 特開２０１６−１９１３９号公報

しかしながら、前述の特許文献１，２の手法は、撮像素子をインターレース駆動するため、垂直解像度が半減するという問題があった。

また、前述の特許文献３の手法は、１０ｍｓｅｃの露光を実現するために、撮像素子を２４０Ｈｚの周波数で駆動させる必要がある。このため、データレートが高くなり、その対応が困難になるという問題があった。また、長時間露光及び短時間露光に対応する必要があることから、露光処理が複雑となり、さらに、３つのフレームメモリが必要であることから、ハードウェアの規模が大きくなるという問題もあった。

また、複数の照明を用いる状況においては、フレームの領域毎にフリッカーの振幅及び位相が異なるため、従来の手法では、フレーム全体としてフリッカーを効果的に除去することができないという問題があった。また、フレーム全体としてフリッカーを効果的に除去することができない場合は、オンライン処理の対応が困難となり、スポーツ等のライブ中継には不向きであった。

一方で、前述の特許文献４の手法を用いることにより、フレームの領域毎にフリッカーを抑制することができる。しかし、この手法は、フレームの領域毎の明るさに基づく簡易な処理が基本となることから、フリッカーの抑制精度がフレーム全体として不十分であるという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像信号のフリッカーの振幅及び位相を高精度に推定し、映像信号のフリッカーを確実に抑制可能な映像処理装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の映像処理装置は、映像信号からフリッカーを除去する映像処理装置において、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなるフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される画素値としたモデルに対し、前記フリッカー成分を推定する非線形カルマンフィルタと、前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、前記映像信号の画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値を求める減算部と、を備えたことを特徴とする。

また、請求項２の映像処理装置は、複数の領域に分割された映像信号からフリッカーを除去する映像処理装置において、前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、前記領域毎に、前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、前記領域毎に、前記映像信号の当該領域内のそれぞれの画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値をそれぞれ求める減算部と、を備えたことを特徴とする。

また、請求項３の映像処理装置は、請求項１または２に記載の映像処理装置において、さらに、予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、前記非線形カルマンフィルタが、前記色毎に、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定し、前記フリッカー推定部が、前記色毎に、前記フリッカー画素値を推定し、前記減算部が、前記色毎に、前記フリッカーが除去された画素値をそれぞれ求める、ことを特徴とする。

また、請求項４の映像処理装置は、請求項１または２に記載の映像処理装置において、さらに、予め設定された色温度毎のデータ群を用いて、ＣＣ（Color Temperature Conversion：色温度変換）フィルタにより変換された照明光の前記色温度に応じて、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、前記非線形カルマンフィルタが、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする。

また、請求項５の映像処理装置は、請求項１または２に記載の映像処理装置において、さらに、予め設定された透過率毎のデータ群を用いて、ＮＤ（Neutral Density：ニュートラルデンシティ（中性濃度））フィルタの前記透過率に応じて、前記非線形カルマンフィルタにて用いる前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、前記非線形カルマンフィルタが、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする。

また、請求項６の映像処理装置は、映像信号のフリッカーに関する情報を表示する映像処理装置において、前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅及び前記位相を表示するフリッカー成分表示部と、を備えたことを特徴とする。

また、請求項７の映像処理装置は、請求項６に記載の映像処理装置において、前記フリッカー成分表示部に代わる新たなフリッカー成分表示部が、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記領域を識別可能な形態にて、前記映像信号を表示する、ことを特徴とする。

また、請求項８の映像処理装置は、映像信号のフリッカーに関する情報を表示する映像処理装置において、予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部と、前記色毎に、前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域の前記フリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記領域毎の前記フリッカー成分を推定する非線形カルマンフィルタと、前記色毎に、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記色及び前記領域を識別可能な形態にて、前記映像信号を表示するフリッカー成分表示部と、を備えたことを特徴とする。

また、請求項９の映像処理装置は、請求項２に記載の映像処理装置において、さらに、前記領域毎に、当該領域内の画素値の平均値を入力し、当該画素値の平均値をフーリエ変換し、周波数成分毎の振幅を求め、前記周波数成分毎の前記振幅に基づいて、周波数成分数を設定する周波数成分数設定部を備え、前記非線形カルマンフィルタが、前記周波数成分数設定部により設定された前記領域毎の前記周波数成分を用いて、前記領域毎に、前記フリッカー成分を推定する、ことを特徴とする。

また、請求項１０の映像処理装置は、請求項１から９までのいずれか一項に記載の映像処理装置において、前記非線形カルマンフィルタをＵＫＦ（Unscented Kalman Filter：アンセンテッドカルマンフィルタ）とするか、または前記非線形カルマンフィルタの代わりに粒子フィルタを用いる、ことを特徴とする。

さらに、請求項１１のプログラムは、コンピュータを、請求項１から１０までのいずれか一項に記載の映像処理装置として機能させることを特徴とする。

以上のように、本発明によれば、映像信号のフリッカーの振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。

ＵＫＦの基本ブロックの処理を説明する図である。 次の状態ベクトルの推定処理（ステップＳ１０１）を説明する図である。 観測値の推定処理（ステップＳ１０２）を説明する図である。 状態ベクトルの更新処理（ステップＳ１０３）を説明する図である。 ＵＫＦの基本ブロックの詳細構成を示すブロック図である。 実施例１の映像処理装置の構成例を示すブロック図である。 実施例１の映像処理装置の処理例を示すフローチャートである。 実施例２の映像処理装置の構成例を示すブロック図である。 実施例２の映像処理装置の処理例を示すフローチャートである。 実施例３の映像処理装置の構成例を示すブロック図である。 実施例３の映像処理装置の処理例を示すフローチャートである。 初期値テーブルのデータ構成例を示す図である。 システム雑音テーブルのデータ構成例を示す図である。 定数テーブルのデータ構成例を示す図である。 観測雑音テーブルのデータ構成例を示す図である。 実施例４の映像処理装置の構成例を示すブロック図である。 実施例４のテーブル設定部の処理例を示すフローチャートである。 実施例５の映像処理装置の構成例を示すブロック図である。 実施例６の映像処理装置の構成例を示すブロック図である。 実施例７の映像処理装置の構成例を示すブロック図である。 実施例７の第１表示例を説明する図である。 実施例７の第２表示例を説明する図である。 実施例７の第３表示例を説明する図である。 実施例８の映像処理装置の構成例を示すブロック図である。 周波数テーブルのデータ構成例を示す図である。 周波数成分数設定部の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、映像信号のフリッカーの振幅及び位相を状態ベクトルとし、画素値を観測値として、非線形カルマンフィルタ等を用いることで、フリッカーの振幅及び位相を推定することを特徴とする。

これにより、推定したフリッカーの振幅及び位相に基づいて、フリッカーが反映されたフリッカー画素値を推定し、元の映像信号の画素値からフリッカー画素値を減算することで、フリッカーを抑制した画素値を得ることができる。したがって、映像信号のフリッカーの振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。

〔本発明の概要〕
まず、本発明の概要について説明する。フリッカーが発生した映像において、映像信号に含まれるフリッカーの振幅及び位相からなるフリッカー成分（行列）ｘ（ｋ）及び画素値ｙ（ｋ）は、次の漸化式に従い、映像信号のフレーム毎に更新されるものとする。フリッカーは正弦波で表されるものとし、画素値ｙ（ｋ）は、以下の式（２）（４）のとおり、正弦波の和で記述される漸化式に従うものとする。

フリッカー成分ｘ（ｋ）は、以下の式のとおり、フリッカーの振幅ｘ₁（ｋ），・・・，ｘ_2m-1（ｋ）及び位相ｘ₂（ｋ），・・・，ｘ_2m（ｋ）を行方向に並べた列ベクトルとする。

ｖは、平均０及び分散σ_v ²の正規分布に従うシステム雑音であり、ｗは、平均０及び分散σ_w ²の正規分布に従う観測雑音である。システム雑音ｖ及び観測雑音ｗは、互いに独立な正規分布に従う白色雑音であるものとする。ｂは、フリッカー成分ｘ（ｋ）に対応する定数の行列である。

ω_iは、フリッカーの周波数成分に対応する角周波数とし、ｉは、フリッカーの周波数成分の番号（ｉ＝１，・・・，ｍ）とし、ｍは、フリッカーの周波数成分数とする。ｋは、映像信号のフレーム毎の時刻とし、映像信号のフレーム番号に相当する。

前記式（１）〜（４）に示したフリッカー成分ｘ（ｋ）及び画素値ｙ（ｋ）を更新するモデルにおいて、一般に、ｘ（ｋ）は状態ベクトル、ｙ（ｋ）は観測値、ｆ（ｘ（ｋ））は状態ベクトル関数、ｈ（ｘ（ｋ））は観測関数という。

前記式（１）は、時刻ｋ＋１のフリッカー成分ｘ（ｋ＋１）が、時刻ｋのフリッカー成分ｘ（ｋ）に雑音成分ｂｖ（ｋ）を加えたものであることを示している。前記式（２）は、時刻ｋの画素値ｙ（ｋ）が、振幅及び位相の正弦波であるフリッカーを全ての周波数成分で加算した結果（前記式（４）のｈ（ｘ（ｋ）））に対し、観測雑音ｗ（ｋ）を加えたものであることを示している。

尚、自然画像の画素値ｙの場合は、周辺画素の平均値またはオフセット成分を予め減算しておくことが好適である。

以下に説明する実施例１〜８では、前記式（１）〜（４）にて規定された時系列の画素値ｙ（ｋ）に対し、非線形カルマンフィルタを適用し、フリッカー成分ｘ（ｋ）を推定する。つまり、実施例１〜８では、状態ベクトルをフリッカー成分ｘ（ｋ）とし、観測値を画素値ｙ（ｋ）として、前記式（１）〜（４）で表すモデルを非線形カルマンフィルタにて処理し、フリッカー成分ｘ（ｋ）を推定する。

具体的には、非線形カルマンフィルタは、状態ベクトルを、前記式（１）（３）に示した漸化式に従いフレーム毎に更新されるフリッカー成分ｘ（ｋ）とし、観測値を、正弦波の和で記述される前記式（２）（４）に示した漸化式に従いフレーム毎に更新される画素値ｙ（ｋ）としたモデルに対し、フリッカー成分ｘ（ｋ）を推定する。

以下、非線形カルマンフィルタの一例として、ＵＫＦ（Unscented Kalman Filter：アンセンテッドカルマンフィルタ）を用いることとする。

ＵＫＦは、正規分布に従う確率変数が非線形関数（本例では正弦関数）によって写像された先の分布について、当該先の分布が正規分布でない場合を仮定したフィルタである。ＵＫＦは、元の正規分布のサンプリングポイントを非線形関数により写像（変換）し、これにより得られたサンプルを用いて、写像された先の分布の平均及び誤差分散共分散行列を近似することで、状態ベクトルを時刻毎に推定するものである。

（ＵＫＦの基本ブロック）
図１は、ＵＫＦの基本ブロックの処理を説明する図である。このＵＫＦは、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）及びその誤差分散共分散行列Ｐ^（ｋ−１）並びに時刻ｋの観測値ｙ（ｋ）から、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及びその誤差分散共分散行列Ｐ^（ｋ）を算出する。

ＵＫＦは、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）を用いた次の状態ベクトルの推定処理により、次の状態ベクトルの事前推定値ｘ^^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）を求める（ステップＳ１０１）。

ＵＫＦは、次の状態ベクトルの事前推定値ｘ^^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）を用いた観測値の推定処理により、観測値の事前推定値ｙ^^-（ｋ）を求める（ステップＳ１０２）。

ＵＫＦは、状態ベクトルの事前推定値ｘ^^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）、観測値の事前推定値ｙ^^-（ｋ）及び観測値ｙ（ｋ）を用いた状態ベクトルの更新処理により、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を求める（ステップＳ１０３）。

図２は、図１に示した次の状態ベクトルの推定処理（ステップＳ１０１）を説明する図である。図２の左図は、状態ベクトルの推定値ｘ^（ｋ−１）の確率分布を示し、右図は、状態ベクトルの事前推定値ｘ^^-（ｋ）の確率分布を示す。

状態ベクトル関数ｆ（ｘ）の確率分布は計算できないため、状態ベクトルの推定値ｘ^（ｋ−１）のいくつかの代表点（左図の黒丸印の箇所）χ₁，χ₂，・・・をサンプリングする。サンプリングした点をシグマポイントという。状態ベクトルの推定値ｘ^（ｋ−１）とシグマポイントχ₁との間の距離、及び状態ベクトルの推定値ｘ^（ｋ−１）とシグマポイントχ₂との間の距離は、誤差分散共分散行列Ｐ^（ｋ−１）の平方根の値√（Ｐ^（ｋ−１））である。

シグマポイントχ₁，χ₂，・・・を状態ベクトル関数ｆ（ｘ）で写像した値ｆ（χ₁），ｆ（χ₂），・・・（右側の図の塗り潰した菱形の箇所）の重み付き平均値を、次の状態ベクトルの事前推定値ｘ^^-（ｋ）とする（右図の白抜き丸印の箇所）。

次の状態ベクトルの事前推定値ｘ^^-（ｋ）に対する誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）は、後述する式（１４）により算出される。後述する式（１４）の第２項は、次の状態ベクトルの推定処理（ステップＳ１０１）により真値との誤差が増えると仮定した際の誤差に相当する。

このように、ステップＳ１０１の処理により、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）から、次の状態ベクトルの事前推定値ｘ^^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）が算出される。

図３は、図１に示した観測値の推定処理（ステップＳ１０２）を説明する図である。図３の左図は、状態ベクトルの事前推定値ｘ^^-（ｋ）の確率分布を示し、右図は、観測値の事前推定値ｙ^^-（ｋ）の確率分布を示す。

観測関数ｈ（ｘ）の確率分布は計算できないため、状態ベクトルの事前推定値ｘ^^-（ｋ）のいくつかの代表点（左図の黒丸印の箇所）χ₁ ^-，χ₂ ^-，・・・をサンプリングする。図２と同様に、サンプリングした点をシグマポイントという。状態ベクトルの事前推定値ｘ^^-（ｋ）とシグマポイントχ₁ ^-との間の距離、及び状態ベクトルの事前推定値ｘ^^-（ｋ）とシグマポイントχ₂ ^-との間の距離は、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）の平方根の値√（Ｐ^^-（ｋ））である。

シグマポイントχ₁ ^-，χ₂ ^-，・・・を観測関数ｈ（ｘ）で写像した値ｈ（χ₁ ^-），ｈ（χ₂ ^-），・・・（右図の塗り潰した菱形の箇所）の重み付き平均値を、観測値の事前推定値ｙ^^-（ｋ）とする（右図の白抜き四角の箇所）。観測値の事前推定値ｙ^^-（ｋ）は、後述する式（１９）により算出される。

このように、ステップＳ１０２の処理により、次の状態ベクトルの事前推定値ｘ^^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）から、観測値の事前推定値ｙ^^-（ｋ）が算出される。

図４は、図１に示した状態ベクトルの更新処理（ステップＳ１０３）を説明する図である。観測値ｙ（ｋ）から観測値の事前推定値ｙ^^-（ｋ）が減算され（ステップＳ４０１）、減算結果の観測誤差にカルマンゲインｇ（ｋ）が乗算される（ステップＳ４０２）。次の状態ベクトルの事前推定値ｘ^^-（ｋ）は、乗算結果ｇ（ｋ）｛ｙ（ｋ）−ｙ^^-（ｋ）｝に加算される（ステップＳ４０３）。これにより、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）が得られる。

カルマンゲインｇ（ｋ）は、ＵＫＦのゲイン値であり、観測値ｙ（ｋ）及び観測値の事前推定値ｙ^^-（ｋ）の信頼度合いを示す。後述する式（２０）〜（２２）のとおり、観測値の事前推定値ｙ^^-（ｋ）の分散が小さく、かつ状態ベクトルの事前推定値ｘ^^-（ｋ）と観測値の事前推定値ｙ^^-（ｋ）が相関していれば、カルマンゲインｇ（ｋ）は大きい値となる。

また、後述する式（２１）により算出された状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）にカルマンゲインｇ（ｋ）が乗算され（ステップＳ４０４）。誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）から乗算結果が減算される（ステップＳ４０５）。これにより時刻ｋの誤差分散共分散行列Ｐ^（ｋ）が得られる。

このように、ステップＳ１０３の処理により、状態ベクトルの事前推定値ｘ^^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）、観測値の事前推定値ｙ^^-（ｋ）及び観測値ｙ（ｋ）から、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）が算出される。

（ＵＫＦの基本ブロックの詳細）
次に、図１に示したＵＫＦの基本ブロックの処理について詳細に説明する。図５は、図１に示したＵＫＦの基本ブロックの詳細構成を示すブロック図である。このＵＫＦは、時系列推定部９０、カルマンゲイン計算部９３及び更新部９７を備えている。

まず、ＵＫＦの処理に先立って、状態ベクトルの推定値の初期値ｘ^（０）及びその誤差分散共分散行列の初期値Ｐ^（０）が、次のように予め設定される。

時系列推定部９０は、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）、その誤差分散共分散行列Ｐ^（ｋ−１）、システム雑音の標準偏差σ_v及び定数ｂを入力する。そして、時系列推定部９０は、時刻ｋの状態ベクトルの事前推定値ｘ^^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）、状態ベクトルの事前推定値ｘ^^-（ｋ）の代表点ある２ｎ＋１個のシグマポイントχ_i ^-（ｋ）、各シグマポイントχ_i ^-（ｋ）を観測関数ｈ（ｘ）で写像した２ｎ＋１個の写像値Ｕ_i ^-（ｋ）、及び観測値の事前推定値ｙ^^-（ｋ）を算出する。

時系列推定部９０は、状態ベクトル推定値等計算手段９１及び時系列推定値計算手段９２を備えている。状態ベクトル推定値等計算手段９１は、時刻ｋ−１の状態ベクトルの推定値ｘ^（ｋ−１）、誤差分散共分散行列Ｐ^（ｋ−１）、システム雑音の標準偏差σ_v及び定数ｂを入力する。

状態ベクトル推定値等計算手段９１は、状態ベクトルの推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）を用いて、以下の式にて、時刻ｔ−１における状態ベクトルの推定値ｘ^（ｋ−１）の代表点である２ｎ＋１個のシグマポイントχ₀（ｋ−１），・・・，χ_2n（ｋ−１）を算出する。

ここで、

は、行列

の第ｉ列とする。

状態ベクトル推定値等計算手段９１は、以下の式にて、２ｎ＋１個のシグマポイントχ₀（ｋ−１），・・・，χ_2n（ｋ−１）の重みｗ₀，・・・，ｗ_2nを算出する。

ただし、

とする。

状態ベクトル推定値等計算手段９１は、以下の式にて、時刻ｋ−１の２ｎ＋１個のシグマポイントχ₀（ｋ−１），・・・，χ_2n（ｋ−１）を状態ベクトル関数ｆ（ｘ）で写像した２ｎ＋１個の写像値χ_i^^-（ｋ）を算出する。

状態ベクトル推定値等計算手段９１は、時刻ｋの２ｎ＋１個の写像値χ_i^^-（ｋ）、２ｎ＋１個の重みｗ₀，・・・，ｗ_2nを用いて、以下の式にて、時刻ｋの状態ベクトルの事前推定値ｘ^^-（ｋ）を算出する。また、状態ベクトル推定値等計算手段９１は、時刻ｋの状態ベクトルの事前推定値ｘ^^-（ｋ）、写像値χ_i^^-（ｋ）、重みｗ₀，・・・，ｗ_2n、システム雑音の標準偏差σ_v（分散σ_v ²）及び定数ｂを用いて、以下の式にて、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）を算出する。

状態ベクトル推定値等計算手段９１は、状態ベクトルの事前推定値ｘ^^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）を時系列推定値計算手段９２に出力する。また、状態ベクトル推定値等計算手段９１は、状態ベクトルの事前推定値ｘ^^-（ｋ）をカルマンゲイン計算部９３及び更新部９７に出力し、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）を更新部９７に出力する。

時系列推定値計算手段９２は、システム雑音の標準偏差σ_v及び定数ｂを入力すると共に、状態ベクトル推定値等計算手段９１から状態ベクトルの事前推定値ｘ^^-（ｋ）及び誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）を入力する。

時系列推定値計算手段９２は、状態ベクトルの事前推定値ｘ^^-（ｋ）及び誤差分散共分散の事前推定値Ｐ^^-（ｋ）を用いて、以下の式にて、時刻ｔにおける状態ベクトルの事前推定値ｘ^^-（ｋ）の代表点である２ｎ＋１個のシグマポイントχ₀ ^-（ｋ），・・・，χ_2n+1 ^-（ｋ）を算出する。

ここで、

は、行列

の第ｉ列とする。

時系列推定値計算手段９２は、以下の式にて、時刻ｔの２ｎ＋１個のシグマポイントχ₀ ^-（ｋ），・・・，χ_2n+1 ^-（ｋ）を観測関数ｈ（ｘ）で写像した２ｎ＋１個の写像値Ｕ_i ^-（ｋ）を算出する。

時系列推定値計算手段９２は、前記式（１１）にて算出された重みｗ_i及び前記式（１８）にて算出された写像値Ｕ_i ^-（ｋ）を用いて、以下の式にて、時系列の観測値の事前推定値ｙ^^-（ｋ）を算出する。

時系列推定値計算手段９２は、シグマポイントχ_i ^-（ｋ）、写像値Ｕ_i ^-（ｋ）及び観測値の事前推定値ｙ^^-（ｋ）をカルマンゲイン計算部９３に出力し、観測値の事前推定値ｙ^^-（ｋ）を更新部９７に出力する。

カルマンゲイン計算部９３は、観測雑音の標準偏差σ_wを入力すると共に、時系列推定部９０から状態ベクトルの事前推定値ｘ^^-（ｋ）、シグマポイントχ_i ^-（ｋ）、写像値Ｕ_i ^-（ｋ）及び観測値の事前推定値ｙ^^-（ｋ）を入力する。そして、カルマンゲイン計算部９３は、観測値推定誤差の行列Ｐ_yy ^-（ｋ）、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）及びカルマンゲインｇ（ｋ）を算出する。

カルマンゲイン計算部９３は、事前誤差分散計算手段９４、事前状態誤差分散計算手段９５及びカルマンゲイン計算手段９６を備えている。

事前誤差分散計算手段９４は、時系列推定部９０から写像値Ｕ_i ^-（ｋ）及び観測値の事前推定値ｙ^^-（ｋ）を入力する。そして、事前誤差分散計算手段９４は、写像値Ｕ_i ^-（ｋ）、観測値の事前推定値ｙ^^-（ｋ）及び前記式（１１）にて算出された重みｗ_iを用いて、以下の式にて、観測値推定誤差の行列Ｐ_yy ^-（ｋ）を算出する。観測値推定誤差の行列Ｐ_yy ^-（ｋ）は、誤差分散共分散行列の推定誤差行列（予測誤差）である。

事前誤差分散計算手段９４は、観測値推定誤差の行列Ｐ_yy ^-（ｋ）をカルマンゲイン計算手段９６に出力する。

事前状態誤差分散計算手段９５は、時系列推定部９０から状態ベクトルの事前推定値ｘ^^-（ｋ）、シグマポイントχ_i ^-（ｋ）、写像値Ｕ_i ^-（ｋ）及び観測値の事前推定値ｙ^^-（ｋ）を入力する。そして、事前状態誤差分散計算手段９５は、状態ベクトルの事前推定値ｘ^^-（ｋ）、シグマポイントχ_i ^-（ｋ）、写像値Ｕ_i ^-（ｋ）、観測値の事前推定値ｙ^^-（ｋ）及び前記式（１１）にて算出された重みｗ_iを用いて、以下の式にて、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）を算出する。

事前状態誤差分散計算手段９５は、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）をカルマンゲイン計算手段９６及び更新部９７に出力する。

カルマンゲイン計算手段９６は、事前誤差分散計算手段９４から観測値推定誤差の行列Ｐ_yy ^-（ｋ）を入力すると共に、事前状態誤差分散計算手段９５から状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）を入力する。また、カルマンゲイン計算手段９６は、観測雑音の標準偏差σ_wを入力する。

カルマンゲイン計算手段９６は、観測値推定誤差の行列Ｐ_yy ^-（ｋ）、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）及び観測雑音の標準偏差σ_w（分散σ_w ²）を用いて、以下の式にて、カルマンゲインｇ（ｋ）を算出する。

カルマンゲイン計算手段９６は、カルマンゲインｇ（ｋ）を更新部９７に出力する。

更新部９７は、時刻ｋの観測値ｙ（ｋ）を入力すると共に、時系列推定部９０から状態ベクトルの事前推定値ｘ^^-（ｋ）、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）及び観測値の事前推定値ｙ^^-（ｋ）を入力し、カルマンゲイン計算部９３から状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）及びカルマンゲインｇ（ｋ）を入力する。そして、更新部９７は、時刻ｋの状態ベクトルの推定値ｘ^（ｋ）及びその誤差分散共分散行列Ｐ^（ｋ）を算出する。

更新部９７は、状態ベクトル更新手段９８及び誤差分散更新手段９９を備えている。状態ベクトル更新手段９８は、時刻ｋの観測値ｙ（ｋ）を入力すると共に、時系列推定部９０から状態ベクトルの事前推定値ｘ^^-（ｋ）及び観測値の事前推定値ｙ^^-（ｋ）を入力し、カルマンゲイン計算部９３からカルマンゲインｇ（ｋ）を入力する。

状態ベクトル更新手段９８は、観測値ｙ（ｋ）、状態ベクトルの事前推定値ｘ^^-（ｋ）、観測値の事前推定値ｙ^^-（ｋ）及びカルマンゲインｇ（ｋ）を用いて、以下の式により、状態ベクトルの推定値ｘ^（ｋ）を更新し、出力する。

誤差分散更新手段９９は、時系列推定部９０から誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）を入力すると共に、カルマンゲイン計算部９３から状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）及びカルマンゲインｇ（ｋ）を入力する。

誤差分散更新手段９９は、誤差分散共分散行列の事前推定値Ｐ^^-（ｋ）、状態ベクトル推定誤差と観測値推定誤差の相関行列Ｐ_xy ^-（ｋ）及びカルマンゲインｇ（ｋ）を用いて、以下の式にて、誤差分散共分散行列の推定値Ｐ^（ｋ）を更新し、出力する。

ＵＫＦは、映像信号のフレーム毎に、前記式（６）〜（２４）を繰り返し演算することで、各時刻ｋの状態ベクトルの推定値ｘ^（ｋ）を算出する。これにより、ＵＫＦの状態ベクトルをフリッカー成分ｘ（ｋ）とし、観測値を画素値ｙ（ｋ）とし、フリッカー成分（ｋ）を、前記式（５）のとおり、フリッカーの振幅及び位相とすることで、フリッカーの振幅及び位相を推定ことができる。

以下、図１〜図５にて説明した非線形カルマンフィルタの一種であるＵＫＦを用いた実施例１〜８について具体的に説明する。実施例１は、１つの周波数成分数ｍ＝１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。実施例２は、複数の周波数成分数ｍ＞１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

実施例３は、複数の周波数成分数ｍ＞１の場合において、映像信号が分割された領域毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

実施例４は、実施例３において、色毎のゲインに応じて、映像信号のフリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音等を設定し、色毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

実施例５は、実施例３において、ＣＣ（Color Temperature Conversion：色温度変換）フィルタにより変換された照明光の色温度に応じて、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

実施例６は、実施例３において、ＮＤ（Neutral Density：ニュートラルデンシティ（中性濃度））フィルタの透過率に応じて、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

実施例７は、非線形カルマンフィルタを用いてフリッカーの振幅及び位相を推定する際に、フリッカーに関する情報を表示する例である。

実施例８は、映像信号の分割された領域毎に、映像信号を時間方向にフーリエ変換することで周波数成分数ｍを求め、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

〔実施例１〕
まず、実施例１について説明する。実施例１は、１つの周波数成分数ｍ＝１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

図６は、実施例１の映像処理装置の構成例を示すブロック図であり、図７は、実施例１の映像処理装置の処理例を示すフローチャートである。この映像処理装置１は、１つの周波数成分数ｍ＝１及び画素数が１の場合に適用する装置であり、映像信号からフリッカーを除去する。映像処理装置１は、非線形カルマンフィルタ１１、フリッカー推定部２１及び減算部３０を備えている。

非線形カルマンフィルタ１１は、予め設定されたフリッカー成分（行列）の推定値の初期値ｘ^（０）、その誤差分散共分散行列の（推定値の）初期値Ｐ^（０）、システム雑音の標準偏差σ_v、定数ｂ、及び観測雑音の標準偏差σ_wを入力する（ステップＳ７０１）。フリッカー成分の推定値の初期値ｘ^（０）及び誤差分散共分散行列の初期値Ｐ^（０）は、ユーザにより任意の値に設定される。

非線形カルマンフィルタ１１は、画素値ｙ（ｋ）を入力する（ステップＳ７０２）。そして、非線形カルマンフィルタ１１は、画素値ｙ（ｋ）、フリッカー成分の推定値ｘ^（ｋ−１）及び誤差分散共分散行列Ｐ^（ｋ−１）を用いて、図５に示したとおり、非線形カルマンフィルタ処理を行い、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する（ステップＳ７０３）。非線形カルマンフィルタ１１は、フリッカー成分の推定値ｘ^（ｋ）をフリッカー推定部２１に出力する。

フリッカー成分の推定値ｘ^（ｋ）は、以下の式にて表される。

フリッカー推定部２１は、非線形カルマンフィルタ１１からフリッカー成分の推定値ｘ^（ｋ）を入力し、フリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ₁^（ｋ）及び位相ｘ₂^（ｋ）を特定する（ステップＳ７０４）。

フリッカー推定部２１は、以下の式にて、フリッカーの振幅ｘ₁^（ｋ）及び位相ｘ₂^（ｋ）から、振幅ｘ₁^（ｋ）及び位相ｘ₂^（ｋ）により定められる正弦関数のフリッカー画素値ｙ’（ｋ）を推定する（ステップＳ７０５）。そして、フリッカー推定部２１は、フリッカー画素値ｙ’（ｋ）を減算部３０に出力する。

減算部３０は、画素値ｙ（ｋ）を入力すると共に、フリッカー推定部２１からフリッカー画素値ｙ’（ｋ）を入力し、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算し、補正値ｚ（ｋ）を求める（ステップＳ７０６）。減算部３０は、補正値ｚ（ｋ）を出力する（ステップＳ７０７）。これにより、画素値ｙ（ｋ）に対し、フリッカーが除去された補正値ｚ（ｋ）が得られる。

以上のように、実施例１の映像処理装置１によれば、周波数成分数ｍ＝１及び画素数が１の場合において、非線形カルマンフィルタ１１は、画素値ｙ（ｋ）に対し非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。

フリッカー推定部２１は、フリッカー成分の推定値ｘ^（ｋ）からフリッカー画素値ｙ’（ｋ）を算出し、減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算して補正値ｚ（ｋ）を求める。

これにより、映像信号の画素値ｙ（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。

〔実施例２〕
次に、実施例２について説明する。実施例２は、複数の周波数成分数ｍ＞１及び画素数が１の場合において、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

図８は、実施例２の映像処理装置の構成例を示すブロック図であり、図９は、実施例２の映像処理装置の処理例を示すフローチャートである。この映像処理装置２は、複数の周波数成分数ｍ＞１及び画素数が１の場合に適用する装置であり、映像信号からフリッカーを除去する。映像処理装置２は、非線形カルマンフィルタ１２、フリッカー推定部２２及び減算部３０を備えている。

非線形カルマンフィルタ１２は、実施例１と同様に、予め設定されたフリッカー成分の推定値の初期値ｘ^（０）、その誤差分散共分散行列の初期値Ｐ^（０）、システム雑音の標準偏差σ_v、定数ｂ及び観測雑音の標準偏差σ_wを入力する。さらに、非線形カルマンフィルタ１２は、予め設定された２以上の周波数成分数ｍを入力する（ステップＳ９０１）。

非線形カルマンフィルタ１２は、画素値ｙ（ｋ）を入力する（ステップＳ９０２）。そして、非線形カルマンフィルタ１２は、実施例１と同様に、画素値ｙ（ｋ）等を用いて非線形カルマンフィルタ処理を行い、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する（ステップＳ９０３）。非線形カルマンフィルタ１２は、フリッカー成分の推定値ｘ^（ｋ）をフリッカー推定部２２に出力する。

フリッカー成分の推定値ｘ^（ｋ）は、以下の式にて表される。

フリッカー推定部２２は、非線形カルマンフィルタ１２からフリッカー成分の推定値ｘ^（ｋ）を入力する。そして、フリッカー推定部２２は、フリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）を特定する（ステップＳ９０４）。

フリッカー推定部２２は、以下の式にて、フリッカーの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）から、それぞれの周波数成分の正弦関数の和を求めることで、フリッカー画素値ｙ’（ｋ）を推定する（ステップＳ９０５）。そして、フリッカー推定部２２は、フリッカー画素値ｙ’（ｋ）を減算部３０に出力する。

減算部３０は、画素値ｙ（ｋ）を入力すると共に、フリッカー推定部２２からフリッカー画素値ｙ’（ｋ）を入力し、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算し、補正値ｚ（ｋ）を求める（ステップＳ９０６）。減算部３０は、補正値ｚ（ｋ）を出力する（ステップＳ９０７）。これにより、画素値ｙ（ｋ）に対し、フリッカーが除去された補正値ｚ（ｋ）が得られる。

以上のように、実施例２の映像処理装置２によれば、複数の周波数成分数ｍ＞１及び画素数が１の場合において、非線形カルマンフィルタ１２は、画素値ｙ（ｋ）に対し非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。

フリッカー推定部２２は、フリッカー成分の推定値ｘ^（ｋ）から、それぞれの周波数成分の正弦関数の和であるフリッカー画素値ｙ’（ｋ）を算出する。減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’（ｋ）を減算して補正値ｚ（ｋ）を求める。

これにより、実施例１と同様に、映像信号の画素値ｙ（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。

〔実施例３〕
次に、実施例３について説明する。実施例３は、複数の周波数成分数ｍ＞１の場合において、映像信号が分割された領域毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

イメージセンサーの中には、映像信号の数ラインを1つのブロックとして、ブロック毎に順番に映像信号を読み出すローリングシャッター方式を採用するものがある。このローリングシャッター方式では、ブロック毎に映像信号のフリッカーの位相が異なるため、映像信号を領域に分割して処理する必要がある。また、位相の異なる複数の照明光源下においては、映像信号の画像の領域に応じて、フリッカーの位相が異なるため、映像信号の画像を領域に分割して処理する必要がある。

図１０は、実施例３の映像処理装置の構成例を示すブロック図であり、図１１は、実施例３の映像処理装置の処理例を示すフローチャートである。この映像処理装置３は、複数の周波数成分数ｍ＞１、及び映像信号が分割された領域毎に適用する装置であり、映像信号の領域からフリッカーを除去する。

映像処理装置３は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている。

図１２は、初期値テーブル４１のデータ構成例を示す図である。初期値テーブル４１には、映像信号が分割された領域α,β毎に、フリッカー成分の推定値の初期値ｘ_α,β^（０）及びその誤差分散共分散行列の初期値Ｐ_α,β^（０）の各データが格納されている。αは、領域の行方向のインデックスを示し、βは、領域の列方向のインデックスを示す。後述する図１３等についても同様である。

図１３は、システム雑音テーブル４２のデータ構成例を示す図である。システム雑音テーブル４２には、領域α,β毎に、システム雑音の標準偏差σ_vα,βのデータが格納されている。

図１４は、定数テーブル４３のデータ構成例を示す図である。定数テーブル４３には、領域α,β毎に、定数ｂ_α,βのデータが格納されている。

図１５は、観測雑音テーブル４４のデータ構成例を示す図である。観測雑音テーブル４４には、領域α,β毎に、観測雑音の標準偏差σ_wα,βのデータが格納されている。

図１０及び図１１に戻って、図示しない領域処理部は、映像信号を入力し、映像信号を複数の領域α,βに分割する。そして、領域処理部は、領域α,β毎に、当該領域α,β内のそれぞれの画素値ｙ（ｋ）を用いて平均を算出し、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）を求める。そして、領域処理部は、画素値ｙ_α,β（ｋ）を非線形カルマンフィルタ１３に出力する。

非線形カルマンフィルタ１３は、図示しない領域処理部から画素値ｙ_α,β（ｋ）を入力する。そして、非線形カルマンフィルタ１３は、状態ベクトルを、前記式（１）の漸化式に従い更新される領域α,βのフリッカー成分ｘ（ｋ）とし、観測値を、正弦波の和で記述される前記式（２）の漸化式に従い更新される領域α,βの画素値ｙ_α,β（ｋ）としたモデルに対し、領域α,β毎に、フリッカー成分の推定値ｘ^（ｋ）を算出する。以下、詳細に説明する。

まず、非線形カルマンフィルタ１３は、初期値テーブル４１から、領域α,βに対応するフリッカー成分の推定値の初期値ｘ_α,β^（０）及びその誤差分散共分散行列の初期値Ｐ_α,β^（０）を読み出す。また、非線形カルマンフィルタ１３は、システム雑音テーブル４２から、領域α,βに対応するシステム雑音の標準偏差σ_vα,βを読み出し、定数テーブル４３から、領域α,βに対応する定数ｂ_α,βを読み出す。また、非線形カルマンフィルタ１３は、観測雑音テーブル４４から、領域α,βに対応する観測雑音の標準偏差σ_wα,βを読み出す（ステップＳ１１０１）。さらに、非線形カルマンフィルタ１３は、予め設定された２以上の周波数成分数ｍを入力する（ステップＳ１１０２）。

非線形カルマンフィルタ１３は、図示しない領域処理部から、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）を入力する（ステップＳ１１０３）。そして、非線形カルマンフィルタ１３は、実施例１と同様に、画素値ｙ_α,β（ｋ）等を用いて非線形カルマンフィルタ処理を行い、領域α,βについて、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する（ステップＳ１１０４）。

つまり、非線形カルマンフィルタ１３は、状態ベクトルを、所定の漸化式に従いフレーム毎に更新される領域α,βのフリッカー成分ｘ（ｋ）とし、観測値を、正弦波の和で記述される漸化式に従いフレーム毎に更新される領域α,βの画素値ｙ（ｋ）として、前記式（１）〜（４）で表すモデルの処理を行う。

非線形カルマンフィルタ１３は、領域α,βのフリッカー成分の推定値ｘ^（ｋ）をフリッカー推定部２３に出力する。領域α,βのフリッカー成分の推定値ｘ^（ｋ）は、前記式（２７）のとおりである。

フリッカー推定部２３は、非線形カルマンフィルタ１３からフリッカー成分の推定値ｘ^（ｋ）を入力する。そして、フリッカー推定部２３は、フリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）を特定する（ステップＳ１１０５）。

フリッカー推定部２３は、以下の式にて、フリッカーの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）から、それぞれの周波数成分の正弦関数の和を求めることで、フリッカー画素値ｙ’_α,β（ｋ）を推定する（ステップＳ１１０６）。そして、フリッカー推定部２３は、フリッカー画素値ｙ’_α,β（ｋ）を減算部３０に出力する。

減算部３０は、領域α,β内のそれぞれの画素値ｙ（ｋ）を入力すると共に、フリッカー推定部２３からフリッカー画素値ｙ’_α,β（ｋ）を入力する。そして、減算部３０は、画素値ｙ（ｋ）からフリッカー画素値ｙ’_α,β（ｋ）を減算し、領域α,β内のそれぞれの補正値ｚ（ｋ）を求める（ステップＳ１１０７）。減算部３０は、補正値ｚ（ｋ）を出力する（ステップＳ１１０８）。これにより、領域α,β内のそれぞれの画素値ｙ（ｋ）に対し、フリッカーが除去された補正値ｚ（ｋ）が得られる。

以上のように、実施例３の映像処理装置３によれば、複数の周波数成分数ｍ＞１の場合において、非線形カルマンフィルタ１３は、映像信号が分割された領域α,β毎に、初期値テーブル４１等から、領域α,βに対応するフリッカー成分の推定値の初期値ｘ_α,β^（０）及びその誤差分散共分散行列の初期値Ｐ_α,β^（０）、システム雑音の標準偏差σ_vα,β、定数ｂ_α,β及び観測雑音の標準偏差σ_wα,βを読み出し、予め設定された２以上の周波数成分数ｍを入力する。

非線形カルマンフィルタ１３は、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を用いて、画素値ｙ_α,β（ｋ）に対し、非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。

フリッカー推定部２３は、領域α,β毎に、フリッカー成分の推定値ｘ^（ｋ）から、それぞれの周波数成分の正弦関数の和であるフリッカー画素値ｙ’ _α,β（ｋ）を算出する。減算部３０は、領域α,β内のそれぞれの画素値ｙ（ｋ）からフリッカー画素値ｙ’ _α,β（ｋ）を減算して補正値ｚ（ｋ）を求める。

これにより、領域α,β毎に、映像信号の画素値ｙ_α,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができ、映像信号のフリッカーを確実に抑制することが可能となる。つまり、ブロック毎に順番に映像信号を読み出すローリングシャッター方式を採用するイメージセンサーを用いた場合、及び、位相の異なる複数の照明光源を用いた場合であっても、映像信号のフリッカーを確実に抑制することができる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。

〔実施例４〕
次に、実施例４について説明する。実施例４は、実施例３において、色毎のゲインに応じて、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を設定し、色毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

３板式カメラにおいては、色分解プリズムにて光をＲ（赤）、Ｇ（青）及びＢ（緑）各色に分解し、分解された光を３枚のイメージセンサーにて受光する。３板式カメラは、ホワイトバランスを整えるために、ＲＧＢのイメージセンサー毎に異なるゲインを用いることがあり、この場合は、ＲＧＢのイメージセンサー毎にノイズレベルが異なってくる。

同様に、単板式カメラにおいては、イメージセンサーの各画素に対応して設けられたカラーフィルタによってＲ，Ｇ，Ｂのうちのいずれか１色を選択し、透過された１色の光を受光する。このようなカメラの場合、Ｒ，Ｇ，Ｂの色毎に、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を切り替えてＵＫＦを使用する必要がある。

図１６は、実施例４の映像処理装置の構成例を示すブロック図である。この映像処理装置４は、Ｒ，Ｇ，Ｂの色毎に異なるゲインに応じて、領域α,βに対応するフリッカー成分の推定値の初期値ｘ_α,β^（０）、その誤差分散共分散行列の初期値Ｐ_α,β^（０）、システム雑音の標準偏差σ_vα,β、定数ｂ_α,β及び観測雑音の標準偏差σ_wα,βを切り替え、色毎に、実施例３と同様の処理を行う。

映像処理装置４は、Ｒ，Ｇ，Ｂの色毎に、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部５０を備えている。

実施例３の映像処理装置３と実施例４の映像処理装置４とを比較すると、両映像処理装置３，４は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置４は、テーブル設定部５０を備えている点で、テーブル設定部５０を備えていない映像処理装置３と相違する。

非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。

映像処理装置４は、Ｒ，Ｇ，ＢのうちのＲ色の処理を行う場合、映像信号のＲ色の画素値ｙ（ｋ）、及びＲ色のゲインを用いて処理を行う。図示しない領域処理部は、実施例３と同様の処理を行うことで、領域α,β内のＲ色の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）を求めて非線形カルマンフィルタ１３に出力する。

図１７は、実施例４のテーブル設定部５０の処理例を示すフローチャートである。テーブル設定部５０は、Ｒ色のゲインを入力する（ステップＳ１７０１）。そして、テーブル設定部５０は、予め設定されたゲイン毎の初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルのテーブル群から、入力したゲインに対応する初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルを選択し、各データを読み出す（ステップＳ１７０２）。

テーブル設定部５０は、読み出した初期値テーブル（ゲインに対応する初期値テーブル）の各データを初期値テーブル４１に格納することで、初期値テーブル４１を設定する。テーブル設定部５０は、同様にして、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する（ステップＳ１７０３）。

映像処理装置４は、Ｇ色の処理を行う場合、Ｒ色の処理と同様に、映像信号のＧ色の画素値ｙ（ｋ）、及びＧ色のゲインを用いて処理を行う。テーブル設定部５０は、図１７に示した処理により、Ｇ色のゲインに対応する初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。

映像処理装置４は、Ｂ色の処理を行う場合、Ｒ，Ｇ色の処理と同様に、映像信号のＢ色の画素値ｙ（ｋ）、及びＢ色のゲインを用いて処理を行う。テーブル設定部５０は、図１７に示した処理により、Ｂ色のゲインに対応する初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。

以上のように、実施例４の映像処理装置４によれば、テーブル設定部５０は、Ｒ，Ｇ，Ｂの色毎のゲインに対応した初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。

非線形カルマンフィルタ１３、フリッカー推定部２３及び減算部３０は、Ｒ，Ｇ，Ｂの色毎に、実施例３と同様の処理を行う。

これにより、Ｒ，Ｇ，Ｂの色のそれぞれについて、異なるフリッカー成分の推定値の初期値ｘ_α,β^（０）等を用いて、領域α,β毎に、映像信号の画素値ｙ_α,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。結果として、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。

尚、実施例４の映像処理装置４は、Ｒ，Ｇ，Ｂの色毎のゲインに応じて、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を設定し、これらの色毎に、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定するようにした。これに対し、映像処理装置４は、Ｒ，Ｇ，Ｂ，Ｙ（輝度）の色毎のゲインに応じて、またはＹ，Ｃｂ，Ｃｒの色毎のゲインに応じて、前述の処理を行うようにしてもよい。本発明は、色の種別を限定するものではない。

〔実施例５〕
次に、実施例５について説明する。実施例５は、実施例３において、ＣＣフィルタにより変換された照明光の色温度に応じて、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

放送用カメラにおいては、一般に照明光の色温度を変換するために、ＣＣフィルタを内蔵していることがある。ＣＣフィルタを用いることにより、照明光の色が補正され強調される。

ＣＣフィルタにより変換された照明光の色温度によって、イメージセンサーに入射する像面照度が変化し、ノイズレベルが異なってくる。このような放送用カメラの場合、ＣＣフィルタにより変換された照明光の色温度毎に、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を切り替えてＵＫＦを使用する必要がある。

図１８は、実施例５の映像処理装置の構成例を示すブロック図である。この映像処理装置５は、ＣＣフィルタにより変換された照明光の色温度に応じて、領域α,βに対応するフリッカー成分の推定値の初期値ｘ_α,β^（０）、その誤差分散共分散行列の初期値Ｐ_α,β^（０）、システム雑音の標準偏差σ_vα,β、定数ｂ_α,β及び観測雑音の標準偏差σ_wα,βを切り替え、実施例３と同様の処理を行う。

映像処理装置５は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部６０を備えている。

実施例３の映像処理装置３と実施例５の映像処理装置５とを比較すると、両映像処理装置３，５は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置５は、テーブル設定部６０を備えている点で、テーブル設定部６０を備えていない映像処理装置３と相違する。

非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。

映像処理装置５は、ＣＣフィルタを内蔵しており、映像信号の画素値ｙ（ｋ）及び色温度を用いた処理を行う。

テーブル設定部６０は、図１７に示した処理において、ゲインの代わりに、ＣＣフィルタにより変換された照明光の色温度を用いる。具体的には、テーブル設定部６０は、ＣＣフィルタにより変換された照明光の色温度を入力し、予め設定された色温度毎の初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルのテーブル群から、入力した色温度に対応する初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルを選択し、各データを読み出す。

テーブル設定部６０は、読み出した初期値テーブル（色温度に対応する初期値テーブル）の各データを初期値テーブル４１に格納することで、初期値テーブル４１を設定する。テーブル設定部６０は、同様にして、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。

以上のように、実施例５の映像処理装置５によれば、テーブル設定部６０は、ＣＣフィルタにより変換された照明光の色温度に対応した初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。

非線形カルマンフィルタ１３、フリッカー推定部２３及び減算部３０は、色温度毎に、実施例３と同様の処理を行う。

これにより、ＣＣフィルタにより変換された照明光の色温度について、他の色温度とは異なるフリッカー成分の推定値の初期値ｘ_α,β^（０）等を用いて、領域α,β毎に、映像信号の画素値ｙ_α,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。結果として、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。

〔実施例６〕
次に、実施例６について説明する。実施例６は、実施例３において、ＮＤフィルタの透過率に応じて、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を設定し、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

放送用カメラにおいては、一般にレンズの絞りの値を一定に保つために、ＮＤフィルタを内蔵していることがある。ＮＤフィルタを用いることにより、光強度を低下させることができる。この光強度を低下させる程度を定める係数が透過率であり、透過率によりＮＤフィルタの特性が定められる。

ＮＤフィルタの透過率によって、イメージセンサーに入射する像面照度が変化し、ノイズレベルが異なってくる。このような放送用カメラの場合、ＮＤフィルタの透過率毎に、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を切り替えてＵＫＦを使用する必要がある。

図１９は、実施例６の映像処理装置の構成例を示すブロック図である。この映像処理装置６は、ＮＤフィルタの透過率に応じて、領域α,βに対応するフリッカー成分の推定値の初期値ｘ_α,β^（０）、その誤差分散共分散行列の初期値Ｐ_α,β^（０）、システム雑音の標準偏差σ_vα,β、定数ｂ_α,β及び観測雑音の標準偏差σ_wα,βを切り替え、実施例３と同様の処理を行う。

映像処理装置６は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部７０を備えている。

実施例３の映像処理装置３と実施例６の映像処理装置６とを比較すると、両映像処理装置３，６は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置６は、テーブル設定部７０を備えている点で、テーブル設定部７０を備えていない映像処理装置３と相違する。

非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。

映像処理装置６は、ＮＤフィルタを内蔵しており、映像信号の画素値ｙ（ｋ）及び透過率を用いた処理を行う。

テーブル設定部７０は、図１７に示した処理において、ゲインの代わりに、ＮＤフィルタの透過率を用いる。具体的には、テーブル設定部７０は、ＮＤフィルタの透過率を入力し、予め設定された透過率毎の初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルのテーブル群から、入力した透過率に対応する初期値テーブル、システム雑音テーブル、定数テーブル及び観測雑音テーブルを選択し、各データを読み出す。

テーブル設定部７０は、読み出した初期値テーブル（透過率に対応する初期値テーブル）の各データを初期値テーブル４１に格納することで、初期値テーブル４１を設定する。テーブル設定部７０は、同様にして、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。

以上のように、実施例６の映像処理装置６によれば、テーブル設定部７０は、ＮＤフィルタの透過率に対応した初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を設定する。

非線形カルマンフィルタ１３、フリッカー推定部２３及び減算部３０は、透過率毎に、実施例３と同様の処理を行う。

これにより、ＮＤフィルタの透過率について、他の透過率とは異なるフリッカー成分の推定値の初期値ｘ_α,β^（０）等を用いて、領域α,β毎に、映像信号の画素値ｙ_α,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。結果として、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。

〔実施例７〕
次に、実施例７について説明する。実施例７は、非線形カルマンフィルタを用いてフリッカーの振幅及び位相を推定する際に、フリッカーに関する情報を表示する例である。

図２０は、実施例７の映像処理装置の構成例を示すブロック図であり、実施例３により推定された映像信号のフリッカーに関する情報を表示する場合の構成を示している。この映像処理装置７は、非線形カルマンフィルタ１３、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、フリッカー成分表示部８０及びモニタ部８１を備えている。

非線形カルマンフィルタ１３、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。

非線形カルマンフィルタ１３は、領域α,βのフリッカー成分の推定値ｘ^（ｋ）をフリッカー成分表示部８０に出力する。

フリッカー成分表示部８０は、領域α,β内のそれぞれの画素値ｙ（ｋ）を入力すると共に、非線形カルマンフィルタ１３から領域α,βのフリッカー成分の推定値ｘ^（ｋ）を入力する。

フリッカー成分表示部８０は、フリッカー成分の推定値ｘ^（ｋ）から、その振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）を特定する。そして、フリッカー成分表示部８０は、フリッカーのｍ個の角周波数ω_iと、フリッカー成分のｍ個の振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及びｍ個の位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）とをそれぞれ対応付ける。

フリッカー成分表示部８０は、対応付けた角周波数ω_i及び振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）、並びに対応付けた角周波数ω_i及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）をモニタ部８１に出力し、例えばグラフにて画面表示する。また、フリッカー成分表示部８０は、領域α,β内のそれぞれの画素値ｙ（ｋ）をモニタ部８１に出力し、映像を画面表示する。

図２１は、実施例７の第１表示例を説明する図であり、実施例３により推定された映像信号のフリッカーに関する情報を表示する例を示している。上図の横軸は周波数、縦軸は振幅を示す。下図の横軸は周波数、縦軸は位相を示す。

フリッカー成分表示部８０は、上図のとおり、領域α,βの示す領域ａ１、領域ａ２、領域ａ３及び領域ａ４について、角周波数ω_iに対応する周波数１０，２０，・・・毎に、それぞれの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の領域α,βにおける振幅の違いを認識することができる。

また、フリッカー成分表示部８０は、下図のとおり、領域α,βの示す領域ａ１、領域ａ２、領域ａ３及び領域ａ４について、角周波数ω_iに対応する周波数１０，２０，・・・毎に、それぞれの位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の領域α,βにおける位相の違いを認識することができる。

図２２は、実施例７の第２表示例を説明する図であり、実施例４により推定された映像信号の所定の領域α,βにおけるフリッカーに関する情報を表示する例を示している。前述のとおり、実施例４は、色毎のゲインに応じて、フリッカーの振幅及び位相を推定するものである。上図の横軸は周波数、縦軸は振幅を示し、下図の横軸は周波数、縦軸は位相を示す。また、図２２では、Ｒ，Ｇ，Ｂ，Ｙの色を対象とした場合のグラフを示している。

フリッカー成分表示部８０は、上図のとおり、Ｒ，Ｇ，Ｂ，Ｙの色について、角周波数ω_iに対応する周波数１０，２０，・・・毎に、所定の領域α,βにおけるそれぞれの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の色における振幅の違いを認識することができる。

また、フリッカー成分表示部８０は、下図のとおり、Ｒ，Ｇ，Ｂ，Ｙの色について、角周波数ω_iに対応する周波数１０，２０，・・・毎に、所定の領域α,βにおけるそれぞれの位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）をグラフ表示する。これにより、ユーザは、同じ周波数のフリッカーについて、複数の色における位相の違いを認識することができる。

図２３は、実施例７の第３表示例を説明する図である。図２３において、格子はそれぞれの領域α,βを示す。格子における太線の枠は、対応する領域α,βにおいて、フリッカーの振幅が一定値以上であることを示す。

フリッカー成分表示部８０は、領域α,β毎に、フリッカーの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）のそれぞれと、予め設定された閾値とを比較する。そして、フリッカー成分表示部８０は、フリッカーの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）のいずれかが閾値以上であると判定した場合、当該領域α,βのフリッカーの振幅が一定値以上であり、フリッカーが発生している領域α,βであると判断する。

フリッカー成分表示部８０は、領域α,β内のそれぞれの画素値ｙ_α,β（ｋ）を画面表示すると共に、フリッカーが発生していると判断した領域α,βについて、当該領域α,βを枠で囲んで表示する。これにより、フリッカーが発生している領域α,βを識別可能な形態にて映像信号が表示されるから、ユーザは、フリッカーが発生している領域α,βを認識することができる。

尚、フリッカー成分表示部８０は、実施例４を適用して、色毎に推定された映像信号のフリッカーに関する情報を表示する場合、特定の色について、フリッカーの振幅が一定値以上であると判断した場合、前述と同じ枠を当該領域α,βに表示する。この場合、フリッカー成分表示部８０は、当該領域α,βの枠を、フリッカーの振幅が一定値以上であると判断した色または当該色に対応する線種で表示するようにしてもよいし、色に対応する塗りつぶし形態で表示するようにしてもよい。これにより、フリッカーが発生している色及び領域α,βを識別可能な形態にて映像信号が表示されるから、ユーザは、フリッカーが発生している色及び領域α,βを認識することができる。

以上のように、実施例７の映像処理装置７によれば、フリッカー成分表示部８０は、領域α,βのフリッカー成分の推定値ｘ^（ｋ）から、フリッカーの振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）を特定する。そして、フリッカー成分表示部８０は、角周波数ω_iと振幅ｘ₁^（ｋ），・・・，ｘ_2m-1^（ｋ）及び位相ｘ₂^（ｋ），・・・，ｘ_2m^（ｋ）とを対応付けてグラフ表示する。また、フリッカー成分表示部８０は、フリッカーの振幅が一定値以上であると判断した領域α,βを表示する。

これにより、領域α,β毎に、映像信号の画素値ｙ_α,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。そして、このフリッカー成分ｘ（ｋ）である振幅及び位相を用いてフリッカーの画素値を推定し、これを元の映像信号の画素値ｙ（ｋ）から減算することで、映像信号のフリッカーを確実に抑制することができる。また、フリッカーに関する情報を表示するようにしたから、ユーザは、領域α,β毎に、フリッカーの発生、程度等を認識することができる。

尚、実施例７は、実施例１〜６及び後述する実施例８に適用するようにしてもよい。つまり、実施例１〜６の映像処理装置１〜６は、図６等の構成部に加え、さらに、フリッカー成分表示部８０及びモニタ部８１を備えるようにしてもよい。後述する実施例８についても同様である。

〔実施例８〕
次に、実施例８について説明する。実施例８は、映像信号が分割された領域毎に、映像信号を時間方向にフーリエ変換することで周波数成分数ｍを求め、非線形カルマンフィルタを用いて、フリッカーの振幅及び位相を推定する例である。

一般に、複数の光源が不特定の振幅及び位相で点灯すると、領域α,βによっては、フリッカーの周波数成分の数が異なることがある。この場合、領域α,β毎に、周波数成分数ｍ_α,βを変更してＵＫＦを使用する必要がある。

図２４は、実施例８の映像処理装置の構成例を示すブロック図である。この映像処理装置８は、実施例３を前提として構成され、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、周波数テーブル４５及び周波数成分数設定部８２を備えている。

実施例３の映像処理装置３と実施例８の映像処理装置８とを比較すると、両映像処理装置３，８は、非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４を備えている点で共通する。一方、映像処理装置８は、周波数テーブル４５及び周波数成分数設定部８２を備えている点で、これらを備えていない映像処理装置３と相違する。

非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４は、実施例３と同様であるから、ここでは説明を省略する。また、図示しない領域処理部も実施例３と同様であるから、ここでは説明を省略する。

この場合、非線形カルマンフィルタ１３は、初期値テーブル４１から、領域α,βに対応するフリッカー成分の推定値の初期値ｘ_α,β^（０）及びその誤差分散共分散行列の初期値Ｐ_α,β^（０）を読み出す。また、非線形カルマンフィルタ１３は、システム雑音テーブル４２から、領域α,βに対応するシステム雑音の標準偏差σ_vα,βを読み出し、定数テーブル４３から、領域α,βに対応する定数ｂ_α,βを読み出す。また、非線形カルマンフィルタ１３は、観測雑音テーブル４４から、領域α,βに対応する観測雑音の標準偏差σ_wα,βを読み出す。

さらに、非線形カルマンフィルタ１３は、周波数テーブル４５から、領域α,βに対応する周波数成分数ｍ_α,βを読み出す。

図２５は、周波数テーブル４５のデータ構成例を示す図である。周波数テーブル４５には、映像信号が分割された領域α,β毎に、周波数成分数ｍ_α,βが格納されている。周波数テーブル４５の周波数成分数ｍ_α,βは、周波数成分数設定部８２により格納される。

図２４に戻って、周波数成分数設定部８２は、非線形カルマンフィルタ１３の処理に先立って、図示しない領域処理部から、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）を入力する。

前述のとおり、図示しない領域処理部は、複数の映像信号のフレームを順番に入力し、映像信号のフレーム毎に、当該フレームを複数の領域α,βに分割して、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）を求める。

周波数成分数設定部８２は、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）をフーリエ変換し、周波数成分毎の振幅を求める。そして、周波数成分数設定部８２は、閾値処理により、予め設定された所定値以上の振幅を有する周波数成分の数を求め、これを周波数成分数ｍ_α,βとする。周波数成分数設定部８２は、領域α,βに対応する周波数成分数ｍ_α,βを周波数テーブル４５に格納する。

図２６は、周波数成分数設定部８２の構成例を示すブロック図である。この周波数成分数設定部８２は、バッファ８３、フーリエ変換手段８４及び閾値処理手段８５を備えている。周波数成分数設定部８２は、非線形カルマンフィルタ１３の処理が行われる前に、領域α,βに対応する周波数成分数ｍ_α,βを求め、これを周波数テーブル４５に格納（設定）する。

周波数成分数設定部８２は、図示しない領域処理部から、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）を入力し、これをバッファ８３に格納する。画素値ｙ_α,β（ｋ）は、領域α,β内における画素値ｙ（ｋ）の空間方向の平均値である。

フーリエ変換手段８４は、バッファ８３から、画素値ｙ_α,β（ｋ）を読み出し、画素値ｙ_α,β（ｋ）を時間方向に離散フーリエ変換し、周波数成分毎の振幅を求め、周波数成分毎の振幅を閾値処理手段８５に出力する。

閾値処理手段８５は、フーリエ変換手段８４から周波数成分毎の振幅を入力し、周波数成分毎の振幅と、予め設定された閾値とを比較する。そして、閾値処理手段８５は、振幅が閾値以上の周波数成分を特定し、特定した周波数成分の数を求め、これを周波数成分数ｍ_α,βとする。閾値処理手段８５は、領域α,βに対応する周波数成分数ｍ_α,βを周波数テーブル４５に格納する。これにより、領域α,β毎の周波数成分数ｍ_α,βが周波数テーブル４５に格納される。

以上のように、実施例８の映像処理装置８によれば、周波数成分数設定部８２は、領域α,β内の画素値ｙ（ｋ）の平均値である画素値ｙ_α,β（ｋ）を時間方向に離散フーリエ変換し、周波数成分毎の振幅を求める。そして、周波数成分数設定部８２は、閾値処理により、所定値以上の振幅を有する周波数成分の数を求め、これを周波数成分数ｍ_α,βとし、領域α,βに対応する周波数成分数ｍ_α,βを周波数テーブル４５に格納する。

非線形カルマンフィルタ１３は、領域α,β毎に、初期値テーブル４１等から、領域α,βに対応するフリッカー成分の推定値の初期値ｘ_α,β^（０）等を読み出し、さらに、周波数テーブル４５から領域α,βに対応する周波数成分数ｍ_α,βを読み出す。そして、非線形カルマンフィルタ１３は、フリッカー成分の推定値の初期値ｘ_α,β^（０）等を用いて、画素値ｙ_α,β（ｋ）に対し、非線形カルマンフィルタ処理を施し、フリッカー成分の推定値ｘ^（ｋ）及び誤差分散共分散行列Ｐ^（ｋ）を算出する。

フリッカー推定部２３は、領域α,β毎に、フリッカー成分の推定値ｘ^（ｋ）から、それぞれの周波数成分の正弦関数の和であるフリッカー画素値ｙ’ _α,β（ｋ）を算出する。減算部３０は、領域α,β内のそれぞれの画素値ｙ（ｋ）からフリッカー画素値ｙ’ _α,β（ｋ）を減算して補正値ｚ（ｋ）を求める。

これにより、領域α,β毎に、当該領域α,βに対応する周波数成分数ｍ_α,βを用いて、映像信号の画素値ｙ_α,β（ｋ）から映像信号のフリッカー成分ｘ（ｋ）である振幅及び位相を高精度に推定することができる。そして、映像信号のフリッカーを確実に抑制することが可能となる。また、オンライン処理にてフリッカーを抑制することができ、フレームメモリ等のハードウェアが不要となり、回路規模を小さくすることができる。

尚、実施例８は、実施例３だけでなく、実施例１，２，４〜７についても適用がある。

以上、実施例１〜８を挙げて本発明を説明したが、本発明は前記実施例１〜８に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施例１〜８では、非線形カルマンフィルタの一つとしてＵＫＦを適用したが、他の非線形カルマンフィルタを用いてもよい。

また、非線形カルマンフィルタの代わりに、粒子フィルタ（パーティクルフィルタ：Particle Filter）を用いてもよい。粒子フィルタは、非線形カルマンフィルタと同様に、前記式（１）〜（４）で表されるモデルに対し、フリッカー成分ｘ（ｋ）を推定する。

また、前記実施例７では、図２１〜図２３に示したように、フリッカーに関する情報を画面表示するようにしたが、これらは一例である。本発明は、フリッカーに関する情報の画面表示形態を、図２１〜図２３に限定するものではない。

尚、本発明の実施例１〜８の映像処理装置１〜８のハードウェア構成としては、通常のコンピュータを使用することができる。映像処理装置１〜８は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像処理装置１に備えた非線形カルマンフィルタ１１、フリッカー推定部２１及び減算部３０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、映像処理装置２に備えた非線形カルマンフィルタ１２、フリッカー推定部２２及び減算部３０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像処理装置３に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３及び観測雑音テーブル４４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像処理装置４に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部５０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像処理装置５に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部６０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像処理装置６に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４及びテーブル設定部７０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像処理装置７に備えた非線形カルマンフィルタ１３、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、フリッカー成分表示部８０及びモニタ部８１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像処理装置８に備えた非線形カルマンフィルタ１３、フリッカー推定部２３、減算部３０、初期値テーブル４１、システム雑音テーブル４２、定数テーブル４３、観測雑音テーブル４４、周波数テーブル４５及び周波数成分数設定部８２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

本発明は、動画用カメラのフリッカーの補正、及びフリッカーの検知に有用である。

１，２，３，４，５，６，７，８ 映像処理装置
１１，１２，１３ 非線形カルマンフィルタ
２１，２２，２３ フリッカー推定部
３０ 減算部
４１ 初期値テーブル
４２ システム雑音テーブル
４３ 定数テーブル
４４ 観測雑音テーブル
４５ 周波数テーブル
５０，６０，７０ テーブル設定部
８０ フリッカー成分表示部
８１ モニタ部
８２ 周波数成分数設定部
８３ バッファ
８４ フーリエ変換手段
８５ 閾値処理手段
９０ 時系列推定部
９１ 状態ベクトル推定値等計算手段
９２ 時系列推定値計算手段
９３ カルマンゲイン計算部
９４ 事前誤差分散計算手段
９５ 事前状態誤差分散計算手段
９６ カルマンゲイン計算手段
９７ 更新部
９８ 状態ベクトル更新手段
９９ 誤差分散更新手段
ｘ（ｋ） 状態ベクトル、フリッカー成分
ｙ（ｋ） 観測値、画素値
ｘ₁（ｋ），・・・，ｘ_2m-1（ｋ） フリッカーの振幅
ｘ₂（ｋ），・・・，ｘ_2m（ｋ） フリッカーの位相
ｖ システム雑音
ｗ 観測雑音
ｂ 定数
ω_i 角周波数
ｉ フリッカーの周波数成分の番号
ｍ フリッカーの周波数成分数
ｋ 時刻
ｆ（ｘ（ｋ）） 状態ベクトル関数
ｈ（ｘ（ｋ）） 観測関数
ｘ^（ｋ） 状態ベクトルの推定値
ｘ^^-（ｋ） 状態ベクトルの事前推定値
Ｐ^（ｋ） 誤差分散共分散行列（の推定値）
Ｐ^^-（ｋ） 誤差分散共分散行列の事前推定値
ｙ^^-（ｋ） 観測値の事前推定値
ｇ（ｋ） カルマンゲイン
Ｐ_yy ^-（ｋ） 観測値推定誤差の行列
Ｐ_xy ^-（ｋ） 状態ベクトル推定誤差と観測値推定誤差の相関行列
σ_v システム雑音の標準偏差
σ_w 観測雑音の標準偏差
ω_i 重み
ｙ’（ｋ） フリッカー画素値
ｚ（ｋ） 補正値
α,β 領域
ｙ_α,β（ｋ） 画素値（領域α,β内の画素値ｙ（ｋ）の平均値）
ａ１，ａ２，ａ３，ａ４ 領域

Claims (11)

1. 映像信号からフリッカーを除去する映像処理装置において、
   状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなるフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される画素値としたモデルに対し、前記フリッカー成分を推定する非線形カルマンフィルタと、
   前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、
   前記映像信号の画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値を求める減算部と、
   を備えたことを特徴とする映像処理装置。
2. 複数の領域に分割された映像信号からフリッカーを除去する映像処理装置において、
   前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、
   前記領域毎に、前記非線形カルマンフィルタにより推定された前記フリッカー成分から、当該フリッカー成分の前記振幅及び前記位相により定められる正弦波に基づいたフリッカー画素値を推定するフリッカー推定部と、
   前記領域毎に、前記映像信号の当該領域内のそれぞれの画素値から、前記フリッカー推定部により推定された前記フリッカー画素値を減算し、前記フリッカーが除去された画素値をそれぞれ求める減算部と、
   を備えたことを特徴とする映像処理装置。
3. 請求項１または２に記載の映像処理装置において、
   さらに、予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、
   前記非線形カルマンフィルタは、
   前記色毎に、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定し、
   前記フリッカー推定部は、前記色毎に、前記フリッカー画素値を推定し、
   前記減算部は、前記色毎に、前記フリッカーが除去された画素値をそれぞれ求める、ことを特徴とする映像処理装置。
4. 請求項１または２に記載の映像処理装置において、
   さらに、予め設定された色温度毎のデータ群を用いて、ＣＣ（Color Temperature Conversion：色温度変換）フィルタにより変換された照明光の前記色温度に応じて、前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、
   前記非線形カルマンフィルタは、
   前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする映像処理装置。
5. 請求項１または２に記載の映像処理装置において、
   さらに、予め設定された透過率毎のデータ群を用いて、ＮＤ（Neutral Density：ニュートラルデンシティ（中性濃度））フィルタの前記透過率に応じて、前記非線形カルマンフィルタにて用いる前記フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部を備え、
   前記非線形カルマンフィルタは、
   前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記フリッカー成分を推定する、ことを特徴とする映像処理装置。
6. 映像信号のフリッカーに関する情報を表示する映像処理装置において、
   前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域のフリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記領域毎に、前記フリッカー成分を推定する非線形カルマンフィルタと、
   前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅及び前記位相を表示するフリッカー成分表示部と、
   を備えたことを特徴とする映像処理装置。
7. 請求項６に記載の映像処理装置において、
   前記フリッカー成分表示部に代わる新たなフリッカー成分表示部は、
   前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記領域を識別可能な形態にて、前記映像信号を表示する、ことを特徴とする映像処理装置。
8. 映像信号のフリッカーに関する情報を表示する映像処理装置において、
   予め設定された色毎のデータ群を用いて、前記映像信号を構成する前記色毎に、フリッカー成分の推定値の初期値、誤差分散共分散行列の初期値、システム雑音の標準偏差及び観測雑音の標準偏差を設定する設定部と、
   前記色毎に、前記映像信号が複数の領域に分割された際の前記領域内の画素値の平均値を入力し、状態ベクトルを、所定の漸化式に従い前記映像信号のフレーム毎に更新される振幅及び位相からなる前記領域の前記フリッカー成分とし、観測値を、正弦波の和で記述される所定の漸化式に従い前記映像信号の前記フレーム毎に更新される前記領域内の画素値の平均値としたモデルに対し、前記設定部により設定された前記フリッカー成分の推定値の初期値、前記誤差分散共分散行列の初期値、前記システム雑音の標準偏差及び前記観測雑音の標準偏差を用いて、前記領域毎の前記フリッカー成分を推定する非線形カルマンフィルタと、
   前記色毎に、前記非線形カルマンフィルタにより推定された前記領域毎の前記フリッカー成分の前記振幅に基づいて、前記フリッカーが発生している前記領域を判定し、前記フリッカーが発生している前記色及び前記領域を識別可能な形態にて、前記映像信号を表示するフリッカー成分表示部と、
   を備えたことを特徴とする映像処理装置。
9. 請求項２に記載の映像処理装置において、
   さらに、前記領域毎に、当該領域内の画素値の平均値を入力し、当該画素値の平均値をフーリエ変換し、周波数成分毎の振幅を求め、前記周波数成分毎の前記振幅に基づいて、周波数成分数を設定する周波数成分数設定部を備え、
   前記非線形カルマンフィルタは、
   前記周波数成分数設定部により設定された前記領域毎の前記周波数成分を用いて、前記領域毎に、前記フリッカー成分を推定する、ことを特徴とする映像処理装置。
10. 請求項１から９までのいずれか一項に記載の映像処理装置において、
    前記非線形カルマンフィルタをＵＫＦ（Unscented Kalman Filter：アンセンテッドカルマンフィルタ）とするか、または前記非線形カルマンフィルタの代わりに粒子フィルタを用いる、ことを特徴とする映像処理装置。
11. コンピュータを、請求項１から１０までのいずれか一項に記載の映像処理装置として機能させるためのプログラム。

Images