JP2006229749A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像の動きが大きく、かつ先鋭度の高い画像であっても視覚的な劣化を生じさせずに、画像のノイズ低減を実現させること。
【解決手段】画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、を備えた画像処理装置であって、フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段１０３と、画像解析手段により解析されたフレーム内の相関性と時間フィルタ処理手段１０１から得られたフレーム間の相関性とに基づいて、空間フィルタ処理手段１０２におけるフィルタ強度を決定するフィルタ制御手段１０４と、を有すること。画像解析手段１０３は、対象画素とその近傍画素との画素値の分布が平坦か否かを判定すること。
【選択図】図１

Description

本発明は、画像のぼけを防止しつつ画像のノイズを低減することのできる画像処理装置および画像処理方法に関するものである。

従来、画像に含まれるノイズ成分を低減することのできる様々な手法が提案されている。一般にノイズ成分同士は相関性が低く、画像の相関性は高いために、画像の持つ相関性を利用することで、相関性の低いノイズ成分を除去することが可能である。例えば動画像の場合には、動画像を時間的に連続する画像フレームの系列と捉えれば、それぞれのフレームで同じ位置に存在する画素について画素値の平均値を算出することで、時間的に相関性のないノイズを低減することができる。所謂時間フィルタ処理と呼ばれる手法である。

また、画像フレーム内で隣接する画素同士はある程度同じような画素値を持っているので、このことを利用して所定の大きさの局所領域で画素値の平均値を算出したり、同じく所定の局所領域内における画素値の中央値を選択したりして、空間的に相関性のないノイズを低減することができる。所謂空間フィルタ処理と呼ばれる手法である。

このような時間フィルタ処理と空間フィルタ処理とを使用して、画像のノイズ成分を低減するための技術が、特許文献１に開示されている。図１１は特許文献１に示されるような従来技術に基づく画像処理装置の構成を示す図である。

時間フィルタ処理手段１００１は、フレーム巡回型フィルタである。内部にフレームメモリを備え、フレームメモリに記録した巡回データと入力画像である非巡回データとの加重平均を算出して出力データを得る。この出力データは内部のフレームメモリに記録されて次フレームの処理に使用される。さらに時間フィルタ処理手段１００１は、フレーム間の動きを検出し、動きが小さいときは巡回データの重み付け（以下、巡回量と呼ぶ）を大きくし、動きが大きいときには巡回量を小さくして、残像が発生しないように制御する。また、動き検出の結果を動き検出信号として、入力画像の画素値を画像信号レベルとして出力する。

空間フィルタ処理手段１００２は、時間フィルタ処理手段１００１からの出力画像の画素を適応的に選択して平均化することによりノイズ低減を行う。

フィルタ制御手段１００３は、時間フィルタ処理手段１００１から入力された動き検出信号と画像信号レベルとにより、時間フィルタ処理手段１００１で十分にノイズ低減がなされなかった画素について、空間フィルタ処理手段１００２におけるノイズ低減の効果が大きくなるように制御する。
特開２００２−１０１０６号公報

しかしながら、上述した特許文献１に示すような従来の画像処理装置では、先鋭度の高い画像が入力された際に、動きの大きい部分ではノイズ低減の効果を大きくすることになるので、画像が有していた先鋭度も失われ、所謂画像のぼけという視覚的な劣化が生じるという課題がある。

本発明は、このような課題を解決するためになされたものであって、その目的は、画像の動きが大きく、かつ先鋭度の高い画像であっても視覚的な劣化を生じさせずに、画像のノイズ低減を実現することのできる画像処理装置および画像処理方法を提供することにある。

前記課題を解決するために、本発明は主として次のような構成を採用する。
画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、を備えた画像処理装置であって、
フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段と、
前記画像解析手段により解析されたフレーム内の相関性と前記時間フィルタ処理手段から得られたフレーム間の相関性とに基づいて、前記空間フィルタ処理手段におけるフィルタ強度を決定するフィルタ制御手段と、を有する構成とする。

また、前記画像処理装置において、前記画像解析手段は、前記対象画素とその近傍画素との画素値の分布が平坦か否かを判定する構成とする。

また、前記画像処理装置において、前記画像解析手段は、フィルタ処理を施す対象画素とその近傍画素との画素値の分布に基づいてフィルタ処理を施す対象画素が画像の輪郭部か否かを判定し、
前記フィルタ制御手段は、前記判定に応じてフィルタ処理を施す対象画素に対して輪郭部用フィルタ処理又は非輪郭部用フィルタ処理を適用するかを選択する
また、画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、を備えた画像処理装置であって、
フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段と、
画像のフレーム間の相関度を前記時間フィルタ処理手段の処理結果から算出するフレーム間相関度算出手段と、
画像のフレーム内の相関度を前記画像解析手段の解析結果から算出するフレーム内相関度算出手段と、
前記フレーム間相関度算出手段から得られたフレーム間相関度と前記フレーム内相関度算出手段から得られたフレーム内相関度とに基づいて、前記空間フィルタ処理手段におけるフィルタ強度を決定するフィルタ制御手段と、を有し、
前記画像解析手段は、フィルタ処理を施す対象画素を輪郭画素、平坦画素、非平坦画素、ノイズ画素のいずれかに分類し、
前記フィルタ制御手段は、前記フレーム間相関度と前記フレーム内相関度とからフレーム単位でフィルタ強度を決定し、前記対象画素の分類結果から画素単位でフィルタ強度を調整する構成とする。

また、画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段と、を備えて画像処理を行う画像処理方法において、
前記時間フィルタ処理手段による画像のフレーム間の相関性を検出するステップと、
前記検出されたフレーム間相関性に基づいて時間フィルタ処理を行うステップと、
前記画像解析手段による画像のフレーム内の相関性を検出するステップと、
前記検出されたフレーム内相関性と前記検出されたフレーム間相関性に基づいて前記空間フィルタ処理手段へのフィルタ強度を決定するステップと、
前記決定されたフィルタ強度に基づいて空間フィルタ処理を行うステップと、からなる構成とする。

本発明によれば、画像の時間的及び空間的な相関性を利用して、フィルタ処理を施す対象の画素ごとに、その画素に適切なフィルタ強度を選択して空間フィルタ処理を行うために、画像のぼけとして知覚される視覚的劣化を防止しつつ、画像に含まれるノイズ成分を低減することができる。

また、ノイズ成分を低減することによって、画像を符号化する際の符号化効率を向上させ、符号化映像の画質を向上させることができる。

本発明の第１〜第３の実施形態に係る画像処理装置・方法について、図１〜図１０を参照しながら以下詳細に説明する。本発明の第１の実施形態については図１〜図３を参照して、本発明の第２の実施形態については図４〜図７を参照して、本発明の第３の実施形態については図８〜図１０を参照して説明する。

「第１の実施形態」
図１は本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。図１に示すように、画像処理装置１００は、時間フィルタ処理手段１０１と、空間フィルタ処理手段１０２と、画像解析手段であるテクスチャ判定手段１０３と、フィルタ制御手段１０４とから構成される。

時間フィルタ処理手段１０１は、動画像の時間的な相関性を利用してノイズを低減するものであり、時間的な相関性つまり画像の動きを検出し、動きに応じてフィルタ処理を行うものである。

空間フィルタ処理手段１０２は、時間フィルタ処理手段１０１から出力された画像に対して、フレーム内の相関性を利用してノイズを低減する。例えば、局所領域の平均値を算出する局所平均フィルタや、画像の輪郭を保存しつつノイズ低減を行うことの可能なメジアンフィルタ、εフィルタなどの他、周波数領域でのフィルタ処理も空間フィルタ処理として実行される。

テクスチャ判定手段１０３は、フィルタ処理を施す対象となる画素（以下、フィルタ対象画素と呼ぶ）とその近傍画素とからなる局所領域（後述する図３を参照）における空間的な相関性、つまり画素値の分布（テクスチャ）が平坦か否かを判定する。判定の際には、例えば、所定領域内の画素値の分散を計算し、その大きさにより平坦か否かを判定してもよいし、フィルタ対象画素とその近傍画素との間の差分絶対値和を計算することにより判定してもよいし、それ以外の方法でもよい。

フィルタ制御手段１０４は、時間フィルタ処理手段１０１から入力された動き検出結果と、テクスチャ判定手段１０３から入力された平坦か否かの判定結果から空間フィルタ処理手段１０２におけるノイズ低減の効果の度合い（以下、フィルタ強度と呼ぶ）を指定する。

以上のように構成された画像処理装置１００について、その動作を説明する。図２は、画像処理装置１００における画像処理方法の処理の流れを示すフロー図である。図２は１画素単位の処理を表している。

時間フィルタ処理手段１０１に、入力画像の１画素分のデータが入力されると処理が開始する。ステップＳＴ１００では、入力画像の動きを検出する。時間フィルタ処理手段１０１は、例えば入力された画素データと同じ位置の画素を前回までのフレームから選択し、双方の画素値の差分の大きさによって、動きがあるか否かを判定する。動き検出結果は、フィルタ制御手段１０４に出力する。

ステップＳＴ１０１では、動き検出結果を調整して最終的な動き検出結果を得る。ここで調整とは、例えば画素ごとの動き検出結果に対して移動平均を計算するといった処理を指す。フィルタ制御手段１０４は、時間フィルタ処理手段１０１から入力された動き検出結果に対して前述のように調整処理を行う。

ステップＳＴ１０２では、調整後の動き検出結果に応じて巡回量（フレームメモリに記録する巡回データの重み付け）を決定する。例えば予め定めておいた閾値と調整後の動き検出結果を比較して、調整後の動き検出結果が閾値以下の場合には動きなしと判定して巡回量を大きくし、それ以外の場合には動きありと判定して巡回量を小さくする。時間フィルタ処理手段１０１に対して巡回量を出力する。

ステップＳＴ１０３では、巡回量に基づいて時間フィルタ処理を行う。時間フィルタ処理手段１０１は、入力された画素データに対して巡回量を用いて出力値を計算する。時間フィルタ処理の結果は、時間フィルタ処理手段１０１内部に設けられたフレームメモリ手段に蓄えられ、次フレームの時間フィルタ処理に使用される。なお、フレームメモリ手段は時間フィルタ処理手段１０１内に設けず、外部に設けてもよい。

ステップＳＴ１０４では、フィルタ対象画素（例えば、後述する図３に示す画素「ｅ」）とその近傍画素（例えば、後述する図３に示す画素ｅを除く画素「ａ〜ｉ」）とからなる局所領域のテクスチャが平坦か否かを判定する。テクスチャ判定手段１０３は時間フィルタ処理手段１０１のフレームメモリにアクセスし、フィルタ対象画素を含む所定サイズの局所領域内の画素データを読み出してテクスチャが平坦か否かを判定し、判定結果と平坦さの度合い（以下、平坦度と呼ぶ）とをフィルタ制御手段１０４に出力する。

ステップＳＴ１０５では、ステップＳＴ１０１における調整後の動き検出結果と、ステップＳＴ１０４におけるテクスチャ判定の結果とから、空間フィルタのフィルタ強度を決定する。基本的には時間フィルタで十分にノイズ低減ができなかった画素に対しては、空間フィルタでのノイズ低減の効果が大きくなるように制御する。したがって、動き検出結果から動きが大きいほどフィルタ強度を大きくする。しかし、平坦度が小さい（すなわち画像の先鋭度が高い）画像ほどフィルタ強度を大きくすることで視覚的劣化が目立つことから、テクスチャ判定の結果を考慮してフィルタ強度を決定する。すなわち、テクスチャ判定の結果からフィルタ対象画素の周囲のテクスチャが平坦でなければフィルタ強度を小さくする。あるいは平坦か否かを示す判定結果だけではなく平坦度を考慮して、平坦度が小さければフィルタ強度を小さくし、平坦度が大きければフィルタ強度を大きくしてもよい。

このときフィルタ制御手段１０４は、時間フィルタ処理手段１０１から入力された動き検出結果と、テクスチャ判定手段１０３から入力された判定結果とから、空間フィルタ処理手段１０２におけるフィルタ強度を決定し、空間フィルタ処理手段１０２に対して出力する。フィルタ強度の決定に際しては、例えば予め定められた関係式によりフィルタ強度を決定してもよいし、動き検出結果とテクスチャの判定結果とフィルタ強度とを対応付けたテーブルから選択するようにしてもよい。

ステップＳＴ１０６では、ステップＳＴ１０５にて決定したフィルタ強度を用いてフィルタ対象画素に対してフィルタ処理を施す。空間フィルタ処理手段１０２は時間フィルタ処理手段１０１内のフレームメモリからフィルタ対象画素とその近傍画素のデータとを読み出してフィルタ処理を施し、結果を出力する。

空間フィルタ処理とフィルタ強度について具体的に説明する。フィルタ処理方式として、εフィルタと呼ばれる方式を用いた場合を例に挙げる。εフィルタとは、フィルタ対象画素とその近傍画素との画素値の差分の絶対値が所定の閾値以下のものを選択することで、画素の値の急激な変化がフィルタ処理に影響しないようにした方式である。図３はフィルタ対象画素とその近傍画素とを含む３×３の局所領域を示す図である。この場合、εフィルタ処理は以下のようになる。

（１）フィルタ対象画素ｅとその近傍画素ａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、ｉとの差の絶対値をそれぞれ計算する。

（２）｜ｅ−ａ｜、｜ｅ−ｂ｜、｜ｅ−ｃ｜、｜ｅ−ｄ｜、｜ｅ−ｆ｜、｜ｅ−ｇ｜、｜ｅ−ｈ｜、｜ｅ−ｉ｜のそれぞれと閾値Ｔとを比較し、閾値Ｔよりも大きければ値を０とする。

（３）上記の（２）の結果得られた値の和を算出して、近傍画素数（ここでは８である）で除算する。

（４）上記の（３）の結果得られた値をフィルタ対象画素ｅから減算する。

閾値Ｔの値を大きくするとフィルタ対象画素から減じられる値が大きくなるためにノイズ低減の効果が大きくなり、閾値Ｔの値を小さくすると反対にノイズ低減の効果は小さくなる。したがって、閾値Ｔがフィルタ強度となる。

なお、テクスチャ判定手段１０３におけるテクスチャ判定（ステップＳＴ１０４の処理）の際には、次のようにしてもよい。すなわち、フィルタ対象画素とその近傍画素とから算出した平坦度の大きさが所定の閾値（第１の閾値）よりも小さい場合にフィルタ対象画素の周辺が平坦であると判定する（第１の判定）。さらにフィルタ対象画素の近傍画素における平坦度の平均値を算出し、その平均値が所定の閾値（第２の閾値）よりも小さい場合に平坦と判定する（第２の判定）。

第２の判定では、平坦度の平均をとることで、３×３の局所領域よりも広い範囲領域を考慮することができる。第１の判定では平坦ではないと判定された画素が、第２の判定では平坦と判定された場合には、狭い範囲では平坦でないものが広い範囲では平坦であることから、局所的にノイズ成分が含まれた画素であると判定する。つまり、この場合にはテクスチャ判定手段１０３は、フィルタ対象画素を平坦部と非平坦部とノイズ部とに分類する。フィルタ制御手段１０４は、調整後の動き検出結果とテクスチャ判定手段１０３における判定結果とに応じて、画素に適したフィルタ強度を決定する。例えばフィルタ対象画素がノイズ部ならばフィルタ強度を大きくする。

以上のように、本発明の第１の実施形態に係る画像処理装置および画像処理方法は時間的な変化である画像の動きと空間的な変化である画像の平坦度とに応じて、フィルタ処理を行う画素ごとにノイズ低減の効果を制御するため、動きのある部分で残像が発生したり、先鋭度の高い画像が平坦になりすぎてぼけたりすることがなくなり、画像の主観的な画質を向上させることができる。

「第２の実施形態」
図４は本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。図４に示すように、画像処理装置２００は、時間フィルタ処理手段２０１と、空間フィルタ処理手段２０２と、画像解析手段である輪郭判定手段２０３と、フィルタ制御手段２０４とから構成される。

時間フィルタ処理手段２０１は、動画像の時間的な相関性を利用してノイズを低減するものであり、画像の動きを検出し、動きに応じてフィルタ処理を行う。これは図１に示した時間フィルタ処理手段１０１と同じである。

空間フィルタ処理手段２０２は、時間フィルタ処理手段２０１から出力された画像に対して、フレーム内の相関性を利用してノイズを低減するものであり、画像の輪郭部に対してフィルタ処理を行う輪郭部フィルタ処理手段２０２ａと、これとは別の非輪郭部フィルタ処理手段２０２ｂと、双方のフィルタ処理結果のいずれかを出力として選択するスイッチ２０２ｃとから構成される。

輪郭判定手段２０３は、フィルタ対象画素と近傍画素とからなる所定の局所領域における空間的な相関度からフィルタ対象画素が画像の輪郭部に含まれるか否かを判定する。

フィルタ制御手段２０４は、時間フィルタ処理手段２０１から入力された動き検出結果と、輪郭判定手段２０３から入力された輪郭判定結果から空間フィルタ処理手段２０２におけるフィルタ強度を指定する。

以上のように構成された画像処理装置について、その動作を説明する。図５は、画像処理装置２００における画像処理方法の処理の流れを示すフロー図である。図５は１画素単位の処理を表している。なお、図５においてステップＳＴ２００〜２０３まではそれぞれ図２に示したステップＳＴ１００〜１０３と同様であるため、ここでの説明は省略する。

ステップＳＴ２０４では、輪郭判定手段２０３は時間フィルタ処理手段２０１のフレームメモリにアクセスし、フィルタ対象画素を含む所定サイズの局所領域内の画素データを読み出して輪郭部を検出し、輪郭か否か判定する。輪郭部の検出に当っては、例えば、フィルタ対象画素を中心とする所定領域内の画素値について微分処理を行う。所定領域内の空間的な相関性が高い場合には、微分処理の結果が小さくなるため輪郭とはならず、空間的な相関性が低い場合には、微分処理の結果が大きくなるため輪郭となる。

ステップＳＴ２０５では、ステップＳＴ２０１における調整後の動き検出結果と、ステップＳＴ２０４における輪郭判定結果とから、空間フィルタのフィルタ強度を決定する。基本的には時間フィルタで十分にノイズ低減ができなかった画素に対しては、空間フィルタでのノイズ低減の効果が大きくなるように制御する。したがって、動き検出結果から動きが大きいほどフィルタ強度を大きくし、動きが小さいほどフィルタ強度を小さくする。しかし、画像の輪郭部ほどフィルタ強度を大きくすることで解像度の劣化（画像のぼけ）が目立つことから、輪郭部と非輪郭部とで区別してフィルタ強度を決定する。輪郭部ほどフィルタ強度を小さくし、非輪郭部ほどフィルタ強度を大きくする。

このときフィルタ制御手段２０４は、時間フィルタ処理手段２０１から入力された動き検出結果から、空間フィルタ処理手段２０２におけるフィルタ強度を決定し、空間フィルタ処理手段２０２に対して出力する。フィルタ強度の決定に際しては、例えば予め定められた関係式によりフィルタ強度を決定してもよいし、動き検出結果と微分処理の結果の組み合わせとフィルタ強度を対応付けたテーブルから選択するようにしてもよい。

ステップＳＴ２０６では、ステップＳＴ２０４における輪郭判定結果に応じてフィルタ対象画素に適用すべきフィルタ処理を選択する。フィルタ対象画素が輪郭部の場合には、処理がＳＴ２０７に進み、それ以外の場合には処理がステップ２０８に進む。

ステップＳＴ２０７では、ステップＳＴ２０５にて決定したフィルタ強度を用いてフィルタ対象画素に対して輪郭部用のフィルタ処理を施す。またステップＳＴ２０８では、ステップＳＴ２０５にて決定したフィルタ強度を用いてフィルタ対象画素に対して非輪郭部用のフィルタ処理を施す。

図４に示した例では、空間フィルタ処理手段２０２は時間フィルタ処理手段２０１内のフレームメモリからフィルタ対象画素とその近傍画素とのデータを読み出して、輪郭部フィルタ処理手段２０２ａが輪郭部のフィルタ処理を行い、非輪郭部フィルタ処理手段２０２ｂが非輪郭部用のフィルタ処理を行い、フィルタ制御手段２０４がスイッチ２０２ｃを操作して輪郭判定結果に対応した結果を選択して出力とする。

ここで、図６を用いて輪郭部用のフィルタ処理および非輪郭部用のフィルタ処理について説明する。図６は非輪郭部用のフィルタ処理に使用する画素（３×３の場合の例）を示す図である。３×３の局所領域の中央にある画素ｅがフィルタ対象画素である。この例では輪郭の方向に応じて、フィルタ対象画素の他に近傍２画素を用いてフィルタ処理を行う。例えば図６（ａ）ではフィルタ対象画素ｅの他に画素ｄおよびｆを用いる。非輪郭部のフィルタ処理では図３に示したようにフィルタ対象画素ｅの近傍８画素を使用してフィルタ処理を行う。

輪郭の方向は、輪郭判定の際に決定される。輪郭判定では、画像中の所定サイズの局所領域に、画像上での輪郭付近の画素値のパターンを想定したテンプレート（以下、輪郭検出オペレータと呼ぶ）を適用して１次微分（グラジエント）の大きさを演算し、演算結果が所定の閾値よりも大きい場合に輪郭であると判定する。図７にサイズが３×３の局所領域に対する輪郭検出オペレータの例を示す。図７（ａ）は垂直方向の輪郭を、図７（ｃ）は水平方向の輪郭を、図７（ｂ）および図７（ｄ）は斜め４５°の輪郭を検出することができる。これらの輪郭検出オペレータを３×３の局所領域に適用した結果が最大となるものを選択して輪郭の方向とする。

以上のように、本発明の画像処理装置および画像処理方法は時間的な変化である画像の動きと輪郭か否かの判定結果とに応じて、フィルタ処理を行う画素ごとにノイズ低減の効果を制御するため、動きのある部分で残像が発生したり、画像の輪郭部が平坦になりすぎてぼけたりすることがなくなり、画像の主観的な画質を向上させることができる。

「第３の実施形態」
図８は本発明の第３の実施形態に係る画像処理装置の構成例を示すブロック図である。図８に示すように、画像処理装置３００は、時間フィルタ処理手段３０１と、空間フィルタ処理手段３０２と、画像解析手段３０３と、フィルタ制御手段３０４と、フレーム間相関度算出手段である動き量算出手段３０５と、フレーム内相関度算出手段である平坦度算出手段３０６とから構成される。

時間フィルタ処理手段３０１および空間フィルタ処理手段３０２は、それぞれ図４に示した時間フィルタ処理手段２０１および空間フィルタ処理手段２０２と同様であるため、ここでの説明は省略する。

画像解析手段３０３は、フィルタ対象画素とその近傍画素とからなる局所領域の空間的な相関性を解析し、局所領域のテクスチャが平坦か否かと、フィルタ対象画素が輪郭部に位置するか否かとを判定する。判定の仕方は、前述の第１および第２の実施形態と同様である。

動き量算出手段３０５は、時間フィルタ処理手段３０１が画素ごとに動き検出処理を行った結果、動きがあると判定された画素の数をカウントし、画像１フレームの全画素数に対する動き画素数の割合（以下、動き量と呼ぶ）をフレーム間の（時間的な）相関度として算出する。

平坦度算出手段３０６は、画像解析手段３０３が画素ごとに解析を行った結果、平坦部と判定された画素の数をカウントし、画像１フレームの全画素数に対する平坦画素数の割合（以下、平坦度と呼ぶ）をフレーム内の（空間的な）相関度として算出する。

フィルタ制御手段３０４は、動き量算出手段３０５から入力された動き量と平坦度算出手段３０６から入力された平坦度とから、空間フィルタ処理手段３０２のフィルタ方式およびフィルタ強度を指定すると共に、時間フィルタ処理手段３０１の動き検出に係るパラメータを調整する。

以上のように構成された画像処理装置３００について、その動作を説明する。図９および図１０は、画像処理装置３００における画像処理方法の処理の流れを示すフロー図である。図９は画像１フレームの処理を、図１０は１画素単位の処理を表している。

はじめに図９に示した画像１フレームの処理について説明する。まずステップＳＴ３００では、画像のフレーム間の相関度とフレーム内の相関度とを考慮して、フィルタ処理を行う前に時間フィルタ処理および空間フィルタ処理で使用されるパラメータを指定する。パラメータとは例えば時間フィルタ処理における動き検出の閾値、輪郭判定における閾値、空間フィルタ処理のフィルタ強度などである。ここで、フィルタ制御手段３０４は動き量算出手段３０５から入力された動き量と、平坦度算出手段３０５から入力された平坦度とから前記パラメータを設定する。

以下にパラメータ設定の例を挙げる。（１）動き量が大きくなるにつれて、フィルタ強度が大きくなるように設定する。時間フィルタ処理で十分にノイズ低減できなかった画像に対して空間フィルタ処理でのノイズ低減の効果を大きくすることができる。（２）平坦度が所定の閾値よりも小さい場合にはフィルタ強度を通常よりも小さくする。先鋭度の高い画像がぼけて画質が低下することを防止できる。（３）平坦度が所定の閾値よりも大きい場合には、動き検出において動き画素と判定される条件を厳しくする。残像が発生しない範囲で時間フィルタ処理におけるノイズ低減の効果を高くすることができる。

ただし、最初のフレームに関しては動き量・平坦度に使用すべき値がないため、予め定められたパラメータを使用するものとする。なお、以下ではステップＳＴ３００においてパラメータとして設定されたフィルタ強度を基準フィルタ強度と呼ぶ。

ステップＳＴ３０１では、１画素のフィルタ処理が行われる。以下、図１０を用いて１画素のフィルタ処理について説明する。時間フィルタ処理手段３０１に、入力画像の１画素分のデータが入力されると処理が開始する。ステップＳＴ４００では、入力画像の動きを検出する。これは前述のステップＳＴ１００と同様であるため、ここでの説明は省略する。

ステップＳＴ４０１では、動き検出結果に応じて巡回量を決定する。これは前述のステップＳＴ１０２と同様である。さらに、ステップＳＴ４０２では、巡回量に基づいて時間フィルタ処理を行う。時間フィルタ処理手段３０１は、動き検出の結果に基づいて巡回量を算出し、入力された画素データに対して巡回量を用いて出力値を計算する。時間フィルタ処理の結果は、時間フィルタ処理手段３０１内部に設けられたフレームメモリ手段に蓄えられ、次フレームの時間フィルタ処理に使用される。

次いで、ステップ４０３では、フィルタ対象画素が輪郭部に位置するか否かを判定する。画像解析手段３０３は前述したようにフィルタ対象画素を含む所定サイズの局所領域内の画素データに対して輪郭検出処理を行い、フィルタ対象画素が輪郭部か否かを判定する。

ステップＳＴ４０４では、フィルタ対象画素とその近傍画素からなる領域におけるテクスチャが平坦か否かを判定する。画像解析手段３０３は前述したようにフィルタ対象画素を含む所定サイズの局所領域内の画素データに対して判定処理を行い、フィルタ対象画素が平坦部、非平坦部、ノイズ部のいずれかを判定する。

ステップＳＴ４０５では、ステップＳＴ４０３およびＳＴ４０４の判定結果からフィルタ対象画素の分類を行う。例えばフィルタ対象画素を輪郭画素、平坦画素、非平坦画素、ノイズ画素のいずれかに分類する。画像解析手段３０３が画素の分類処理をし、結果をフィルタ制御手段３０４と平坦度算出手段３０６とに出力する。

ステップＳＴ４０６では、ステップＳＴ４０５における画素の分類結果から空間フィルタ処理として適用すべきフィルタ処理方式とフィルタ強度を決定する。その決定の仕方は、フィルタ処理方式に関しては、例えば分類結果が輪郭画素であった場合には輪郭部用フィルタ処理を、それ以外の場合には非輪郭部用フィルタ処理を選択する。フィルタ強度に関しては、例えば分類結果が非平坦画素の場合、基準フィルタ強度よりも小さくなるようにし、分類結果がノイズ画素の場合には、基準フィルタ強度よりも大きくなるようにし、それ以外の場合には基準フィルタ強度を選択する。フィルタ制御手段３０４が、この処理を行う。ステップＳＴ４０７〜ＳＴ４０９については、図５で示したステップＳＴ２０６〜ＳＴ２０８と同様であるため、ここでの説明は省略する。

ここで図９の処理に戻って、画像１フレームの処理について説明を続ける。ステップＳＴ３０２では動き量算出手段３０５が時間フィルタ処理手段３０１から入力された動き検出結果に基づき、動き画素の数をカウントする。またステップＳＴ３０３では平坦度算出手段３０６が画像解析手段３０３から入力された画素の分類結果に基づき、平坦部の画素の数をカウントする。

ステップＳＴ３０４では、フィルタ処理が全画素について終了したか否かの判定を行い、全画素について終了していれば処理がＳＴ３０５に進み、そうでなければ処理がＳＴ３０１に進む。ステップＳＴ３０５では、動き画素数と平坦画素数を画像１フレームの全画総数で割って、画像の統計的な複雑度としての動き量と平坦度を得る。動き量算出手段３０５がカウントした動き画素数を全画素数で割って動き量を算出し、平坦度算出手段３０６がカウントした平坦画素数を全画総数で割って平坦度を算出する。

ステップＳＴ３０５で算出された動き量および平坦度は、次フレームのフィルタ処理を行う際に、ステップＳＴ３００にてパラメータを設定するために使用されることになる。なお、本実施形態では時間的な遅延が少なくなるようにするために、フレームのフィルタ処理に当り、前フレームの動き量と平坦度を用いるようにしているが、フィルタ処理の対象のフレームについて動き量と平坦度を算出した後に、当該フレームのフィルタ処理を行うようにしてもよい。

以上のように、本発明の画像処理装置および画像処理方法は時間的な変化である画像の動きと画素の空間的な変化とに応じて、フィルタ処理を行う画素ごとにノイズ低減の効果を制御するため、動きのある部分で残像が発生したり、先鋭度の高い画像が平坦になりすぎてぼけたりすることがなくなり、画像の主観的な画質を向上させることができる。

以上、本発明の実施形態について説明したが、本発明の画像処理装置および画像処理方法は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。

本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 第１の実施形態に係る画像処理方法の処理の流れを示すフロー図である。 第１の実施形態に係る画像処理装置の空間フィルタで使用する画素の位置を示す模式図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 第２の実施形態に係る画像処理方法の処理の流れを示すフロー図である。 第２の実施形態に係る画像処理装置の空間フィルタで使用する画素の位置を示す模式図である。 第２の実施形態に係る画像処理装置の輪郭検出オペレータの例を示す図である。 本発明の第３の実施形態に係る画像処理装置の構成例を示すブロック図である。 第３の実施形態に係る画像処理方法の処理（画像１フレームの処理）の流れを示すフロー図である。 第３の実施形態に係る画像処理方法の処理（１画素単位の処理）の流れを示すフロー図である。 従来技術に関する画像処理装置の構成例を示すブロック図である。

符号の説明

１００，２００，３００：画像処理装置
１０１，２０１，３０１：時間フィルタ処理手段
１０２，２０２，３０２：空間フィルタ処理手段
１０３：テクスチャ判定手段（画像解析手段）
１０４，２０４，３０４：フィルタ制御手段
２０３：輪郭判定手段（画像解析手段）
３０３：画像解析手段
３０５：動き量算出手段（フレーム間相関度算出手段）
３０６：平坦度算出手段（フレーム内相関度算出手段）

Claims (10)

1. 画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、を備えた画像処理装置であって、
   フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段と、
   前記画像解析手段により解析されたフレーム内の相関性と前記時間フィルタ処理手段から得られたフレーム間の相関性とに基づいて、前記空間フィルタ処理手段におけるフィルタ強度を決定するフィルタ制御手段と、を有する
   ことを特徴とする画像処理装置。
2. 請求項１において、
   前記画像解析手段は、前記対象画素とその近傍画素との画素値の分布が平坦か否かを判定することを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記画像解析手段は、フィルタ処理を施す対象画素とその近傍画素との画素値の分布に基づいてフィルタ処理を施す対象画素がノイズ成分を含む画素か否かを判定することを特徴とする画像処理装置。
4. 請求項１において、
   前記画像解析手段は、フィルタ処理を施す対象画素とその近傍画素との画素値の分布に基づいてフィルタ処理を施す対象画素が画像の輪郭部か否かを判定し、
   前記フィルタ制御手段は、前記判定に応じてフィルタ処理を施す対象画素に対して輪郭部用フィルタ処理又は非輪郭部用フィルタ処理を適用するかを選択する
   ことを特徴とする画像処理装置。
5. 画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、を備えた画像処理装置であって、
   フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段と、
   画像のフレーム間の相関度を前記時間フィルタ処理手段の処理結果から算出するフレーム間相関度算出手段と、
   画像のフレーム内の相関度を前記画像解析手段の解析結果から算出するフレーム内相関度算出手段と、
   前記フレーム間相関度算出手段から得られたフレーム間相関度と前記フレーム内相関度算出手段から得られたフレーム内相関度とに基づいて、前記空間フィルタ処理手段におけるフィルタ強度を決定するフィルタ制御手段と、を有し、
   前記画像解析手段は、フィルタ処理を施す対象画素を輪郭画素、平坦画素、非平坦画素、ノイズ画素のいずれかに分類し、
   前記フィルタ制御手段は、前記フレーム間相関度と前記フレーム内相関度とからフレーム単位でフィルタ強度を決定し、前記対象画素の分類結果から画素単位でフィルタ強度を調整する
   ことを特徴とする画像処理装置。
6. 画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段と、を備えて画像処理を行う画像処理方法において、
   前記時間フィルタ処理手段による画像のフレーム間の相関性を検出するステップと、
   前記検出されたフレーム間相関性に基づいて時間フィルタ処理を行うステップと、
   前記画像解析手段による画像のフレーム内の相関性を検出するステップと、
   前記検出されたフレーム内相関性と前記検出されたフレーム間相関性に基づいて前記空間フィルタ処理手段へのフィルタ強度を決定するステップと、
   前記決定されたフィルタ強度に基づいて空間フィルタ処理を行うステップと、からなる
   ことを特徴とする画像処理方法。
7. 請求項６において、
   前記フレーム内相関性の検出ステップは、前記対象画素とその近傍画素との画素値の分布が平坦か否かを判定することを特徴とする画像処理方法。
8. 請求項６又は７において、
   前記フレーム内相関性の検出ステップは、フィルタ処理を施す対象画素とその近傍画素との画素値の分布に基づいてフィルタ処理を施す対象画素がノイズ成分を含む画素か否かを判定することを特徴とする画像処理方法。
9. 画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、フィルタ処理を施す対象の対象画素とその近傍画素とを用いてフレーム内の相関性を解析する画像解析手段と、を備えて画像処理を行う画像処理方法において、
   前記時間フィルタ処理手段による画像のフレーム間の相関性を検出するステップと、
   前記検出されたフレーム間相関性に基づいて時間フィルタ処理を行うステップと、
   前記画像解析手段による、フィルタ処理を施す対象画素とその近傍画素との画素値の分布に基づいてフィルタ処理を施す対象画素が画像の輪郭部か否かを判定するステップと、
   前記フレーム間相関性の検出結果と前記輪郭部の可否判定結果により前記空間フィルタ処理手段へのフィルタ強度を決定するステップ
   前記輪郭部の可否判定結果と前記決定されたフィルタ強度に基づいて、前記空間フィルタ処理手段で輪郭部用空間フィルタ処理又は非輪郭部用空間フィルタ処理を行うステップと、からなる
   ことを特徴とする画像処理方法。
10. 画像のフレーム間の相関性を利用してノイズを低減する時間フィルタ処理手段と、前記時間フィルタ処理手段から出力された画像に対して画像のフレーム内の相関性を利用してノイズを低減する空間フィルタ処理手段と、を備えた画像処理装置であって、
    前記時間フィルタ処理手段のフレームメモリにアクセスして、フィルタ処理を施す対象の対象画素とその近傍画素とからなる領域の画素データを読み出し、前記領域内の画素値の分布が平坦か否かの判定結果と平坦度を出力することでフレーム内の相関性を解析する画像解析手段と、
    前記画像解析手段により解析されたフレーム内の相関性と、前記時間フィルタ処理手段に入力された画素と同一位置の以前の画素の画素値の差分の大きさによって画像の動きがあるか否かの検出結果から得られたフレーム間の相関性と、に基づいて、前記空間フィルタ処理手段におけるフィルタ強度を決定するフィルタ制御手段と、を有する
    ことを特徴とする画像処理装置。

Images