JP2013161340A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】突発的又は局所的な輝度変化の影響を少なくしてダイナミックレンジを拡張し、画質を向上させる。
【解決手段】入力映像におけるフレーム間の輝度を用いて、輝度の時間変化に対して規則性を抽出するためのフィルタ処理を行う分析手段と、各フレームの輝度について、分析手段によりフィルタ処理された値を、各フレーム内の輝度値分布が目標とする分布になるように補正する補正手段と、補正手段により輝度が補正された複数のフレームを重畳する重畳手段と、を備える。
【選択図】図１

Description

本発明は、映像のダイナミックレンジを拡張する画像処理装置及びプログラムに関する。

映像のダイナミックレンジを拡張する手法として、露光量の異なる画像を複数枚撮像し、それらを合成する手法がある。このとき光路を分光光学系で分割し、各光路に光電変換手段を設け、複数の光電変換手段で得られた画像を合成することでハイダイナミックレンジ画像を得る手法がある（特許文献１）。

また、複数のビデオフレームを位置合わせして重ね合わせることでハイダイナミックレンジ化する手法がある（特許文献２）。

特開２００６−１６５８２６号公報 特表２００６−５２５７４７号公報

しかしながら、従来技術の分光光学系を用いるダイナミックレンジ拡張手法は、特殊な光学系を要し、すでにある光学系やすでに撮像された画像からダイナミックレンジ拡張を行うことができなかった。

また、特殊な光学系を必要としない従来技術である、複数フレームを用いるダイナミックレンジ拡張手法は、画像全体の輝度変化に規則性がある場合であっても、その規則性を考慮することなく、輝度の分布関数のみからダイナミックレンジ拡張を試みていた。よって、この技術では、突発的又は局所的な輝度変化の影響を受けてしまう。

そこで、本発明は上記問題点に鑑みてなされたものであり、突発的又は局所的な輝度変化の影響を少なくしてダイナミックレンジを拡張し、画質を向上させることができる画像処理装置及びプログラムを提供することを目的とする。

本発明の一態様における画像処理装置は、入力映像におけるフレーム間の輝度を用いて、前記輝度の時間変化に対して規則性を抽出するためのフィルタ処理を行う分析手段と、各フレームの輝度について、前記分析手段によりフィルタ処理された値を、各フレーム内の輝度値分布が目標とする分布になるように補正する補正手段と、前記補正手段により輝度が補正された複数のフレームを重畳する重畳手段と、を備える。

また、前記分析手段は、各フレームの輝度の平均及び／又は分散に対してカーブフィッティングを行い、前記補正手段は、前記各フレームの輝度値の平均及び／又は分散を補正してもよい。

また、前記重畳手段は、前記重畳されたフレームの有効性を判定し、有効であると判定した場合に前記重畳されたフレームを出力し、無効であると判定した場合には重畳されていないフレームを出力してもよい。

また、前記重畳手段は、前記重畳されたフレームの輝度レベル数が閾値を超えていれば有効であると判定し、前記重畳されたフレームの輝度レベル数が閾値以下であれば無効であると判定してもよい。

また、本発明の他の態様におけるプログラムは、入力映像におけるフレーム間の輝度を用いて、前記輝度の時間変化に対して規則性を抽出するためのフィルタ処理を行う分析ステップと、各フレームの輝度について、前記フィルタ処理された値を、各フレーム内の輝度値分布が目標とする分布になるように補正する補正ステップと、前記輝度が補正された複数のフレームを重畳する重畳ステップと、をコンピュータに実行させる。

本発明によれば、突発的又は局所的な輝度変化の影響を少なくしてダイナミックレンジを拡張し、画質を向上させることができる。

実施例１における画像処理装置の構成の一例を示すブロック図。 分析処理を説明するための図。 補正処理を説明するための図。 輝度のレンジ変換と画像合成について説明するための図。 有効性判定の判定方法１を説明するための図。 有効性判定の判定方法２を説明するための図。 実施例１におけるダイナミックレンジの拡張処理の一例を示すフローチャート。 実施例２における画像処理装置の構成の一例を示すブロック図。 実施例２におけるダイナミックレンジの拡張処理の一例を示すフローチャート。 実施例３における画像処理装置の構成の一例を示すブロック図。

以下、添付図面を参照しながら本発明について説明する。

［実施例１］
＜構成＞
図１は、実施例１における画像処理装置１の構成の一例を示すブロック図である。図１に示す画像処理装置１は、バッチ処理で入力映像のダイナミックレンジを拡張する装置である。逐次処理でダイナミックレンジを拡張することもできるが、この場合の画像処理装置については実施例２で説明する。

以下では、映像を動画像とも呼ぶ。また、動画像Ｘの時刻ｔにおけるフレーム（画像）をＸ（ｔ）のように表記し、さらに、動画像Ｘの時刻ｔにおけるフレームの画像座標（ｘ，ｙ）における画素値をＸ（ｔ；ｘ，ｙ）のように表記する。

画像処理装置１は、分析手段１０１と、フレームメモリ１０４と、輝度補正手段１０５と、画像重畳手段１０６と、量子化手段１０７とを有する。なお、画像処理装置１は、量子化手段１０７を含まない構成にしてもよい。

分析手段１０１は、入力映像におけるフレーム間の輝度値を用いて、輝度の時間変化に対して規則性を抽出するためのフィルタ処理を行う。例えば、分析手段１０１は、入力映像の各フレームがその全体として有する輝度の特徴量（例えば平均輝度値、分散）の時間的変化パターンを分析する。なお、入力映像は、例えば原映像や、量子化された映像や、アナログセンサから入力された映像などのいずれの映像を適用してもよい。

分析手段１０１は、具体的には、輝度の特徴量の規則性を抽出したり、輝度の特徴量の時間変化をダイナミクスのモデルに当てはめたりする動作を行う。そのため、分析手段１０１は、例えば、輝度特徴抽出手段１０２と、フィルタ手段１０３とを有する。

輝度特徴抽出手段１０２は、入力映像の各フレームの輝度の代表値または分布を求める。時刻ｔにおける輝度の代表値または分布を輝度特徴Ｆ（ｔ）と表記する。

例えば、輝度特徴抽出手段１０２は、入力映像の各フレーム内の総和（または、平均輝度値）を求める。入力映像Ａがモノクロ画像である場合には、輝度特徴抽出手段１０２は、例えば式（１）により輝度特徴を求める。

入力映像Ａがカラーであるなど、複数の色成分や波長（バンド）成分からなる場合には、輝度特徴抽出手段１０２は、例えば、ベクトル値たる画素値Ａ（ｔ；ｘ，ｙ）に対して、式（２）又は式（３）により輝度特徴を求める。

あるいは、色ベクトルから輝度値への変換行列（行ベクトル）Ｍ

Ｍ：色ベクトルから輝度値への変換行列（行ベクトル）
ここで、画素値Ａ（ｔ；ｘ，ｙ）が３次元の列ベクトルであり、その第１成分が赤成分を、第２成分が緑成分を、第３成分が青成分をそれぞれ表すとする。この場合、変換行列Ｍとして、例えば、以下のＩＴＵ−Ｒ ＢＴ．６０１規格に定める輝度信号算出用の行列（行ベクトル）を用いる。

また、以下のＩＴＵ−Ｒ ＢＴ．７０９規格に定める輝度信号算出用の行列（行ベクトル）を用いてもよい。

また、例えば、輝度特徴抽出手段１０２は、輝度特徴Ｆ（ｔ）として、フレームＡ（ｔ）内における輝度のヒストグラムを採用してもよい。輝度特徴抽出手段１０２は、抽出した輝度特徴Ｆ（ｔ）をフィルタ手段１０３に出力する。

フィルタ手段１０３は、輝度特徴抽出手段１０２から取得した輝度特徴Ｆ（ｔ）の時系列に対して、フィルタ処理を行い、例えば平滑化又はカーブフィッティングを行って、フィルタ処理の結果Ｇ（ｔ）を得る。

フィルタ手段１０３は、例えば輝度特徴Ｆ（ｔ）に対して、以下の式（４）によりディジタルフィルタを適用する。

ここに、ｖおよびｗ_τはフィルタ係数であり、例えば、あらかじめ定める定数を用いる。また、ａおよびｂはフィルタを適用する時刻の範囲であり、ａ≦ｂとする。ｂ−ａの範囲には、例えば１０フレーム含まれる。

また、フィルタ手段１０３は、例えば、カルマンフィルタを適用してもよい。さらにまた、フィルタ手段１０３は、カーブフィッティングを適用してもよい。

フィルタ手段１０３は、カーブフィッティングを行う場合、フィッティングする関数をｆ（ｐ，ｔ）とおく。この関数は、パラメータｐ（ｐはスカラーまたはベクトル）によってその形状を調整できるものとする。パラメータｐは、例えばスカラーとして各フレーム内の輝度の平均値や輝度の分散、ベクトルとして輝度の平均及び輝度の分散などを用いる。

フィルタ手段１０３は、例えば、式（５）により、時刻ｔ近傍（ｔ＋ａからｔ＋ｂの区間）における最適なパラメータｐ_ｏｐｔを求める。

この最適化には、例えばLevenberg-Marquardt法などの非線形最小二乗法を用いることができる。続いて、フィルタ手段１０３は、フィルタ結果Ｇ（ｔ）を、式（６）により決定する。

カーブフィッティングする関数ｆ（ｐ，ｔ）としては、例えば、Ｍ次関数（Ｍは０以上の整数； 例えばＭ＝３）が用いられる。

パラメータｐを、以下のようにＭ＋１次元のベクトルとして定義することができる。

フィルタ手段１０３は、輝度の変動が周期的な場合には、カーブフィッティングする関数ｆ（ｐ，ｔ）を式（８）のように正弦関数に基づき定めてもよい。

この場合、パラメータｐは、次のように４次元のベクトルとなる。

フィルタ手段１０３は、フィルタ結果Ｇ（ｔ）を輝度補正手段１０５に出力する。

フレームメモリ１０４は、入力映像の過去または現在のＮ時点のフレーム（Ｎは２以上の整数）を記憶する。フレームメモリ１０４に記憶されたＮ時点を、ｔ_１、ｔ_２、…、ｔ_Ｎとおく。

輝度補正手段１０５は、フレームメモリ１０４に記憶された過去または現在のＮ時点のフレームＡ（ｔ_１）、Ａ（ｔ_２）、…、Ａ（ｔ_Ｎ）に対して、対応する時点の分析手段１０１からの出力のフィルタ結果Ｇ（ｔ_１）、Ｇ（ｔ_２）、…、Ｇ（ｔ_Ｎ）に基づき、輝度値分布が目標とする分布になるように補正する。ここで、補正結果を補正フレームＨ（ｔ_１）、Ｈ（ｔ_２）、…、Ｈ（ｔ_Ｎ）とおく。

例えば、輝度補正手段１０５は、時点ｔ_ｎ（ｎは１以上Ｎ以下の整数）におけるフレームＡ（ｔ_ｎ）に対し、式（９）により補正演算を行う。

輝度補正手段１０５は、輝度値の平均がＧ（ｔ_１）、Ｇ（ｔ_２）、…、Ｇ（ｔ_Ｎ）の平均となるようなゲインをＡ（ｔ_ｎ）に掛け、補正フレームＨ（ｔ_ｎ）を得る。輝度補正手段１０５は、補正後のフレームを画像重畳手段１０６に出力する。

画像重畳手段１０６は、補正フレームＨ（ｔ_１）、Ｈ（ｔ_２）、…、Ｈ（ｔ_Ｎ）を重ね合わせ、時点ｔ_Ｏにおける合成映像ＣのフレームＣ（ｔ_Ｏ）を得る。なお、時点ｔ_Ｏは、Ｎ時点を、ｔ_１、ｔ_２、…、ｔ_Ｎのうち所定インデックスを有するいずれかの時点、またはｔ_１、ｔ_２、…、ｔ_Ｎの最小値以上かつ最大値以下のある時点（例えば、最小値と最大値との平均値）とする。

画像重畳手段１０６は、例えば、以下の式（１０）により、Ｎ時点の補正フレームＨ（ｔ_１）、Ｈ（ｔ_２）、…、Ｈ（ｔ_Ｎ）の平均値を合成映像フレームＣ（ｔ_Ｏ）とする。

また、画像重畳手段１０６は、平均値を以て合成映像フレームＣ（ｔ_Ｏ）を計算する際に、輝度補正前の輝度値が「最大輝度値（例えば８ビット映像であれば２５５）であり、かつ補正後の輝度値が合成対象の時刻ｔ_１、ｔ_２、…ｔ_Ｎにおける最大値ではない」場合と、輝度補正前の輝度値が「最小輝度値（例えば０）であり、かつ補正後の輝度値が合成対象の時刻ｔ_１、ｔ_２、…ｔ_Ｎにおける最小値ではない」場合とのいずれか一方もしくはその両方を除外してもよい。

画像重畳手段１０６は、例えば、次の式（１１）で合成映像フレームＣ（ｔ_０）を得る。

このようにすることで、入力映像において飽和状態にある輝度値や０レベルにある輝度値を、輝度補正の結果それらが最高輝度や最低輝度となる場合（輝度変換後のレンジの両端となる場合）でない限り、除外することができる。画像重畳手段１０６は、重畳した映像を量子化手段１０７に出力する。なお、量子化手段１０７は必ずしも必要ではない。

なお、画像重畳手段１０６は、重畳されたフレームの有効性を判定してもよい。例えば、画像重畳手段１０６は、重畳されたフレームの輝度レベル数が閾値を超えていれば有効と判定し、輝度レベル数が閾値以下であれば無効であると判定する。この有効性の判定については後述する。

量子化手段１０７は、合成映像フレームＣの各画素値を量子化し、その結果を出力映像のフレーム（ｔ_Ｏ）として出力する。好ましくは、出力映像の量子化は、入力映像の量子化のステップ数よりも多い量子化ステップ数とする。

以上の構成を有することで、突発的又は局所的な輝度変化の影響を少なくしてダイナミックレンジを拡張し、画質を向上させることができる。

＜分析処理と補正処理＞
次に、分析手段１０１による分析処理、及び輝度補正手段１０５による補正処理について詳しく説明する。

図２は、分析処理を説明するための図である。図２（Ａ）は、入力映像の各フレームの一例を示す。ｆｍ１１〜１８は、入力映像の各フレームを表す。この映像は、周期的な明暗を有する。このような明暗はフリッカと呼ばれ、交流で点灯する電灯下（とくに蛍光灯）にてビデオ撮影を行った場合などに生じることがある。本実施例は、フリッカが発生する環境下で撮影された映像に対して好適にダイナミックレンジを拡張することができる。

また、図２（Ａ）に示す例では、フレームｆｍ１２、ｆｍ１３、ｆｍ１６、ｆｍ１８にそれぞれのノイズｎｓ２１〜２４が含まれる。このノイズは、例えば突発的又は局所的なノイズ、あるいは瞬間的に撮像された被写体である。

図２（Ｂ）は、フレームｆｍ１１〜１８の輝度のヒストグラムの例を示す。ｈｇ３１〜３８は、ヒストグラムを表す。ｐｋ４１〜４４は、ノイズｎｓ２１〜２４に起因するピークを表す。

図２（Ｃ）は、入力映像の各画像フレームｆｍ１１〜１８の輝度特徴のフィルタ処理を示す。この例での輝度特徴は、例えば、輝度の平均値であるとする。ａｖ５１〜５８は、各フレームの輝度の平均値を表す。ｃｖ６１は、輝度特徴ａｖ５１〜５８に対して、カーブフィッティングした場合の曲線を表す。

図２（Ａ）に示す映像を、例えば、単純に画像フレーム全体の平均輝度値を正規化することで輝度補正を行うと、ｎｓ２１〜２４のようなノイズが平均輝度の計算において悪影響を及ぼし、ノイズ以外の領域の被写体の輝度が揺らいでしまう。

そこで、実施例１における画像処理装置１は、分析手段１０１（フィルタ手段１０３）によって、例えば、図２（Ｃ）の曲線ｃｖ６１に示すようなカーブフィッティングを行う。輝度補正手段１０５では、輝度特徴抽出手段１０２により抽出された輝度特徴（例えば輝度の平均値）ａｖ５１〜５８を輝度補正に用いる代わりに、フィルタ手段１０３により求められた曲線ｃｖ６１上の値を輝度補正に用いる。これにより、ノイズの悪影響を軽減することができる。

よって、輝度補正手段１０５は、図２（Ｃ）に示す曲線ｃｖ６１の各時点での値を参照しつつ、その値が目標値（目標となる分布）となるよう、フレームメモリ１０４に記憶された各時点の入力映像フレームのレンジを変換する。

ここで、輝度補正手段１０５は、例えば、曲線ｃｖ６１の各時点での値が曲線ｃｖ６１の平均値となるよう輝度補正を実行する。

図３は、補正処理を説明するための図である。図３（Ａ）は、図２（Ａ）と同様で、入力映像の各フレームｆｍ１１〜１８を表す。

図３（Ｂ）は、補正された輝度特徴を示す。図３（Ｂ）に示す例では、ヒストグラムｈｇ７１〜７８は、ノイズ成分以外のヒストグラム形状がほぼ一致する。なお、補正する輝度特徴は、輝度の平均値だけでなく、輝度の分散も補正するようにしてもよい。

図３（Ｃ）は、輝度補正結果を示す。ｆｍ８１〜８８は、輝度補正した結果の各フレームを表す。図３（Ｃ）に示すように、各フレームで安定した輝度値を有することができるようになる。

＜輝度のレンジ変換と画像合成＞
図４は、輝度のレンジ変換と画像合成について説明するための図である。画像合成は、画像重畳と同様の意味で用いる。図４に示す符号９１と９２の黒点は、別時点に撮像された同一被写体上のあるライン上の輝度を示す。

いずれの輝度も輝度方向（縦軸方向）に量子化されているとする。輝度９２を含む画像は、輝度９１を含む画像に比べて約４／３倍明るく撮像されている。ここで、輝度９１の補正時のゲインが１．００で、輝度９２の補正時のゲインが０．７５であったとする。

輝度９１と輝度９２の補正結果を輝度９３と輝度９４に示す。輝度補正手段１０５による輝度補正後は、元の量子化ステップより細かい量子化により輝度値を保持することとする。輝度９４の場合においては、輝度値のとり得る値の間隔が、入力映像の輝度値の間隔の０．７５倍となる。

画像重畳手段１０６において、輝度補正後の２つの輝度９３および輝度９４の平均値を計算し、その結果である輝度９５を含む合成映像Ｃの一フレームを生成する。合成映像Ｃは、例えば輝度９１を含む画像単独の場合に比べて、より豊富な輝度値を表現し得るようになる。

より豊富な輝度値を表現できることから、量子化手段１０７では、好ましくは入力映像よりも多いステップ数の量子化を行ってもよい。これにより、映像のダイナミックレンジを拡大することができる。なお、量子化手段１０７による量子化は必ずしも必要な処理ではない。

＜重畳された画像の有効性判定＞
次に、重畳された画像についての有効性判定について説明する。画像重畳手段１０６は、画像重畳が有効であれば重畳された画像を出力し、画像重畳が無効（有効ではない）であれば重畳されていない画像を出力するようにしてもよい。また、画像重畳手段１０６は、重畳された画像とともに、有効性の判定結果を出力するようにしてもよい。

（判定方法１）
まず、有効性判定の判定方法１について説明する。判定方法１では、合成映像Ｃの一フレーム内の輝度レベルの数を用いる方法である。

図５は、有効性判定の判定方法１を説明するための図である。図５（Ａ）は、合成映像Ｃの一フレーム内の輝度レベル数が８である場合を示す。図５（Ｂ）は、合成映像Ｃの一フレーム内の輝度レベル数が１１である場合を示す。

図５に示す例では、図５（Ｂ）に示すフレームの方が、図５（Ａ）に示すフレームよりも階調表現が豊かである。すなわち、図５（Ｂ）に示すフレームの方が、図５（Ａ）に示すフレームよりもダイナミックレンジが広いといえる。

ここで、画像重畳手段１０６は、合成映像Ｃの一フレームの有効性を判定する場合、出現した輝度レベル数が、閾値１を超えていれば「有効」と判定する。また、画像重畳手段１０６は、出現した輝度レベル数が、閾値１以下であれば「無効」と判定する。閾値１は、例えば、入力映像に出現した輝度レベル数や予め設定された数などを用いればよい。この判定方法１は、有効性判定において、実用的であり、かつ妥当な方法であるといえる。

（判定方法２）
次に、有効性判定の判定方法２について説明する。判定方法２では、合成映像Ｃの一フレームの輝度変換（輝度補正）後の量子化レベルを求め、合成すべきフレームについて、その平均値が取り得る輝度レベルを求める方法である。

図６は、有効性判定の判定方法２を説明するための図である。図６（Ａ）は、合成映像の一フレーム（合成フレーム）の輝度値の取りうる値の例１を示す。図６（Ｂ）は、合成フレームの輝度値の取りうる値の例２を示す。図６（Ｃ）は、合成フレームの輝度値の取りうる値の例３を示す。図６に示す黒丸が合成フレームの輝度値の取りうる値を表す。

画像重畳手段１０６は、合成フレームの輝度値の取りうる値が閾値２以下の場合は、有効性は「無効」であると判定する。画像重畳手段１０６は、合成フレームの輝度値の取りうる値が閾値２より多い場合は、有効性は「有効」であると判定する。閾値２は、例えば入力映像の輝度値の取りうる値や予め設定された値などである。

例えば、図６（Ｃ）に示す重畳された合成映像の一フレームは、「無効」であると判定され、図６（Ａ）や図６（Ｂ）の重畳された合成映像の一フレームは、「有効」であると判定される。

以上より、画像重畳手段１０６は、重畳された画像の有効性を判定することで、重畳された画像を出力するか否かのＯＮ／ＯＦＦを切り替え制御したり、有効性の判定結果を出力したりすることができる。

＜動作＞
次に、実施例１における画像処理装置１の動作について説明する。図７は、実施例１におけるダイナミックレンジの拡張処理の一例を示すフローチャートである。図７に示す処理は、バッチ処理である。

ステップＳ１０１で、画像処理装置１は、変数ｎを初期化し、ｎに０を設定する。ステップＳ１０２で、画像処理装置１は、以下の式（１２）を満たすか否かを判定する。
ｎ％Ｎ＝＝Ｎ−１ ・・・式（１２）
Ｎ：重畳するフレーム数
ｎ％Ｎ：ｎをＮで割った余り
式（１２）を満たせば（ステップＳ１０２−ＹＥＳ）ステップＳ１０８に進み、式（１２）を満たさなければ（ステップＳ１０２−ＮＯ）ステップＳ１０３に進む。式（１２）を満たす場合は、フレームメモリ１０４に、重畳するフレーム数Ｎが記憶されたことを意味する。

ステップＳ１０３で、フレームメモリ１０４は、第ｎ％Ｎフレームの記憶領域Ｍ（ｎ％Ｎ）に入力映像が記憶される。

ステップＳ１０４で、輝度特徴抽出手段１０２は、入力映像ｎの輝度特徴を抽出する。輝度特徴は、フレームの輝度の平均値及び／又は分散などである。

ステップＳ１０５で、フィルタ手段１０３は、抽出された輝度特徴にフィルタ処理を行う。フィルタ処理は、例えば前述したカーブフィッティングなどである。なお、ステップＳ１０４、Ｓ１０５の処理は、入力映像の輝度の規則性を分析するための処理である。

ステップＳ１０６で、画像処理装置１は、ｎに１を加算し、次のフレームに対して処理を行うようにする。

ステップＳ１０７で、画像処理装置１は、全映像の処理が完了したか否かを判定する。全映像の処理が完了していれば（ステップＳ１０７−ＹＥＳ）処理を終了し、全映像の処理が完了していなければ（ステップＳ１０７−ＮＯ）ステップＳ１０２に戻る。

ステップＳ１０８で、輝度補正手段１０５は、パラメータを初期化し、ｋを０に設定し、Ｃを０に設定する。Ｃは全画素の輝度値を表す。

ステップＳ１０９で、輝度補正手段１０５は、フレームメモリ１０４内の第ｋフレームの映像Ｍ（ｋ）の各画素の輝度を、フィルタ処理結果に基づき補正し（式（９））、その結果をＨとする。

ステップＳ１１０で、画像重畳手段１０６は、Ｃの対応する画素の輝度にＨの輝度を加算して累積し、ｋに１を加算する。ステップＳ１１１で、画像重畳手段１０６は、ｋ＜Ｎであるかを判定する。ｋ＜Ｎであれば（ステップＳ１１１−ＹＥＳ）ステップＳ１０９に戻り、ｋ＜Ｎでなければ（ステップＳ１１１−ＮＯ）ステップＳ１１２に進む。

ステップＳ１１２で、画像重畳手段１０６は、ＣをＮで割って平均化した画像を新たなＣとする。

ステップＳ１１３で、量子化手段１０７は、Ｃを量子化し、量子化した結果を出力映像として出力する。なお、ステップＳ１１３の量子化は必ずしも必要な処理ではなく、画像重畳手段１０６が、画像重畳した画像を出力映像として出力してもよい。

また、画像重畳手段１０６は、重畳された画像に対して有効性を判定し、判定結果に基づいて出力を制御したり、判定結果を出力したりするようにしてもよい。

以上、実施例１によれば、突発的又は局所的な輝度変化の影響を少なくしてダイナミックレンジを拡張し、画質を向上させることができる。

［実施例２］
次に、実施例２における画像処理装置２について説明する。実施例２では、ダイナミックレンジ拡張処理を逐次処理で行う。

＜構成＞
図８は、実施例２における画像処理装置２の構成の一例を示すブロック図である。図８に示す例では、画像処理装置２は、分析手段２０１と、輝度補正手段２０５と、フレームメモリ２０８と、画像重畳手段２０６と、量子化手段２０７とを有する。なお、量子化手段２０７は、必ずしも必要な構成ではないため、画像処理装置２は、量子化手段２０７を含めなくてもよい。

分析手段２０１及び量子化手段２０７は、実施例１と基本的には同じ処理を行うので、説明を省略する。

輝度補正手段２０５は、入力映像の各フレームに対して、フィルタ処理結果に基づいて輝度補正を行う。輝度補正処理などは実施例１と同様である。輝度補正手段２０５は、輝度補正した各フレームをフレームメモリ２０８に記憶する。

フレームメモリ２０８は、輝度補正手段２０５により補正されたフレームを記憶する。画像重畳手段２０６は、フレームメモリ２０８に記憶されたＮ枚のフレームを逐次重畳して、合成画像を生成し、量子化手段２０７に出力する。

これにより、逐次処理で、画像の輝度補正処理、重畳処理などを行うことができるようになる。

＜動作＞
次に、実施例２における画像処理装置２の動作について説明する。図９は、実施例２におけるダイナミックレンジの拡張処理の一例を示すフローチャートである。図９に示す処理は、逐次処理である。

ステップＳ２０１〜Ｓ２０３は、図７に示すステップＳ１０１、Ｓ１０４、Ｓ１０５と同様の処理であるため、その説明を省略する。

ステップＳ２０４で、輝度補正手段２０５は、入力映像の各フレームに対し、フィルタ処理結果に基づいて輝度補正し、その補正結果をフレームメモリ２０８の第ｎ％Ｎフレームの記憶領域Ｍ（ｎ％Ｎ）に記憶する。

ステップＳ２０５で、画像重畳手段２０６は、ｎ≧Ｎ−１であるか否かを判定する。ｎ≧Ｎ−１であれば（ステップＳ２０５−ＹＥＳ）ステップＳ２０６に進み、ｎ≧Ｎ−１でなければ（ステップＳ２０５−ＮＯ）ステップＳ２１１に進む。

これは、フレームメモリ２０８に重畳するだけのフレーム数が記憶されているかを判定する処理である。

ステップＳ２０６で、画像重畳手段２０６は、ｋ＝０に設定し、Ｃを０に設定する。Ｃは全画素の輝度値を表す。

ステップＳ２０７で、画像重畳手段２０６は、フレームメモリ２０８内の第ｋフレームの映像Ｍ（ｋ）の輝度を、Ｃの対応する画素の輝度に加算して累積し、ｋ＝ｋ＋１とする。

ステップＳ２０８で、画像重畳手段２０６は、ｋ＜Ｎであるかを判定する。ｋ＜Ｎであれば（ステップＳ２０８−ＹＥＳ）ステップＳ２０７に戻り、ｋ＜Ｎでなければ（ステップＳ２０８−ＮＯ）ステップＳ２０９に進む。

ステップＳ２０９−Ｓ２１０の処理は、図７に示すステップＳ１１２−Ｓ１１３の処理と同様であるため、その説明を省略する。

ステップＳ２１１−Ｓ２１２の処理は、図７に示すステップＳ１０６−Ｓ１０７の処理と同様であるため、その説明を省略する。

なお、ステップＳ２１０の量子化は必ずしも必要な処理ではなく、画像重畳手段１０６が、画像重畳した画像を出力映像として出力してもよい。

また、画像重畳手段２０６は、重畳された画像に対して有効性を判定し、判定結果に基づいて出力を制御したり、判定結果を出力したりするようにしてもよい。

図９に示す逐次処理では、最初のＮフレーム以降、フレームメモリ２０８に記憶される最新のＮフレームを順次重畳していく処理について説明した。また、画像重畳手段２０６は、最初のＮフレームまでは、フレームメモリ２０８に記憶されているフレーム数で画像を重畳するようにしてもよい。

以上、実施例２によれば、実施例１のバッチ処理を逐次処理で行うことができる。よって、突発的又は局所的な輝度変化の影響を少なくしてダイナミックレンジを拡張し、画質を向上させることができる。

［実施例３］
図１０は、実施例３における画像処理装置３の構成の一例を示すブロック図である。図１０に示す画像処理装置３は、上述した実施例１や２で説明した画像処理をソフトウェアで実装した装置の一例である。

図１０に示すように、画像処理装置３は、制御部３０１、主記憶部３０２、補助記憶部３０３、ドライブ装置３０４、ネットワークＩ／Ｆ部３０６、入力部３０７、表示部３０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部３０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部３０１は、主記憶部３０２又は補助記憶部３０３に記憶された画像符号化処理のプログラムを実行する演算装置である。制御部３０１は、入力部３０７や記憶装置からデータを受け取り、演算、加工した上で、表示部３０８や記憶装置などに出力する。

制御部３０１は、上述した画像処理のプログラムを実行することで、各実施例で説明した処理を実現することができる。

主記憶部３０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部３０２は、制御部３０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部３０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置３０４は、記録媒体３０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。

また、記録媒体３０５に、所定のプログラムを格納し、この記録媒体３０５に格納されたプログラムはドライブ装置３０４を介して画像処理装置３にインストールされる。インストールされた所定のプログラムは、画像処理装置３により実行可能となる。

ネットワークＩ／Ｆ部３０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置３とのインターフェースである。

入力部３０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部３０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部３０７は、ユーザが制御部３０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部３０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部３０１から入力される表示データに応じた表示が行われる。

なお、実施例１及び実施例２で説明したフレームメモリは、例えば主記憶部３０２又は補助記憶部３０３により実現されうる。また、実施例１及び実施例２で説明したフレームメモリ以外の構成は、例えば制御部３０１及びワークメモリとしての主記憶部３０２により実現されうる。

画像処理装置３で実行されるプログラムは、実施例１や実施例２で説明した各手段を含むモジュール構成となっている。実際のハードウェアとしては、制御部３０１が補助記憶部３０３からプログラムを読み出して実行することにより上記各手段のうち１又は複数の各手段が主記憶部３０２上にロードされ、１又は複数の各部が主記憶部３０２上に生成されるようになっている。

このように、上述した実施例１や実施例２で説明した画像処理（ダイナミックレンジ拡張処理）は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、各実施例で説明した処理を実現することができる。

また、このプログラムを記録媒体３０５に記録し、このプログラムが記録された記録媒体３０５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体３０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

なお、上述した実施例１や実施例２で説明した各手段は、各種の集積回路や電子回路を採用できる。また、実施例１で説明した各手段の一部を別の集積回路や電子回路とすることもできる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

１、２、３ 画像処理装置
１０１、２０１ 分析手段
１０２、２０２ 輝度特徴抽出手段
１０３、２０３ フィルタ手段
１０４、２０８ フレームメモリ
１０５、２０６ 輝度補正手段
１０６、２０６ 画像重畳手段
１０７、２０７ 量子化手段

Claims (5)

1. 入力映像におけるフレーム間の輝度を用いて、前記輝度の時間変化に対して規則性を抽出するためのフィルタ処理を行う分析手段と、
   各フレームの輝度について、前記分析手段によりフィルタ処理された値を、各フレーム内の輝度値分布が目標とする分布になるように補正する補正手段と、
   前記補正手段により輝度が補正された複数のフレームを重畳する重畳手段と、
   を備える画像処理装置。
2. 前記分析手段は、
   各フレームの輝度の平均及び／又は分散に対してカーブフィッティングを行い、
   前記補正手段は、
   前記各フレームの輝度値の平均及び／又は分散を補正する請求項１記載の画像処理装置。
3. 前記重畳手段は、
   前記重畳されたフレームの有効性を判定し、有効であると判定した場合に前記重畳されたフレームを出力し、無効であると判定した場合には重畳されていないフレームを出力する請求項１又は２記載の画像処理装置。
4. 前記重畳手段は、
   前記重畳されたフレームの輝度レベル数が閾値を超えていれば有効であると判定し、前記重畳されたフレームの輝度レベル数が閾値以下であれば無効であると判定する請求項３記載の画像処理装置。
5. 入力映像におけるフレーム間の輝度を用いて、前記輝度の時間変化に対して規則性を抽出するためのフィルタ処理を行う分析ステップと、
   各フレームの輝度について、前記フィルタ処理された値を、各フレーム内の輝度値分布が目標とする分布になるように補正する補正ステップと、
   前記輝度が補正された複数のフレームを重畳する重畳ステップと、
   をコンピュータに実行させるためのプログラム。