JP2005354685A - パターン適応型フィルターリングによる映像信号の平滑化装置及びその平滑化方法 - Google Patents

Abstract

【課題】本発明の目的は、入力映像のパターンに応じて与えられたフィルターマスクを通じて非線形フィルターを加えることにより、ノイズを測定することなく入力映像のエッジ情報を保存することができるパターン適応型フィルターリングによる映像信号の平滑化装置及びその平滑化方法を提供することにある。
【解決手段】入力映像が有するパターン情報を利用して検出されたパターン情報に従ってフィルターカーネルマスクを決定し、これに従って入力映像に対して非線形フィルターリングを加える。その方法として、入力映像のパターン情報を検出するためにあらかじめ定義しておいたそれぞれのパターンに応じて与えられたマスクを設定し入力映像とフィルターカーネルマスクの類似性を測定し、その類似性より最も入力映像のパターンに適合したフィルターカーネルマスクを決め、決定されたマスクを通じて非線形フィルターリングを加える。
【選択図】図２

Description

本発明は、映像信号の平滑化装置及びその平滑化方法に関し、より詳しくは、入力映像のパターンに応じて非線形フィルターリングを行うことにより、入力映像のノイズを取り除き、解像度を向上させるパターン適応型フィルターリングによる映像信号の平滑化装置及びその平滑化方法に関する。

一般に、映像信号に付加されるノイズは、映像信号を劣化させ映像信号の符号化（Encoding）及び復号化（Decoding）の性能を低下させる主要原因となる。したがって、映像の画質を改善し、符号化及び復号化の性能を改善するために、ノイズ減殺技術が多く開発された。

画像のフィルターリングというのは、画像上の任意の画素の新たな階調値を、その画素の近傍の画素の階調値で決定する局所演算を画像上のすべての画素に対して行うことにより、エッジ（Edge）の強調や雑音除去などの画像処理を行うことを言う。この際、各画素に対する演算は、極めて独立的に行われ、各画素の近傍は、画像全体に比べて小さい。その中でも、非線形フィルターリング技術は、その解析と具現の困難性にも拘わらず、多く開発されている。それは、線形フィルターリングが有するエッジ部分の鮮明さを濁す結果をもたらすためである。

従来、映像信号のノイズを減殺させるために映像信号の空間領域において低域通過フィルターリングを行う空間的（spatial）ノイズ減殺機と、該空間的ノイズ減殺機の出力映像信号の時間経過に従って低域通過フィルターリングを行う時間的（temporal）ノイズ減殺機を利用した。

問題は、空間的ノイズ減殺機は、映像信号のノイズだけでなく、映像信号の高周波成分も減らすので、映像に損傷を与えることである。時間的ノイズ減殺機も、映像の動きの度合いが大きいほど、ノイズ減殺効果が低下する問題がある。さらに、映像信号のＳＡＤ（Sum of Absolute Difference）分布によってノイズ測定値が異なってしまうことにより映像信号に損傷を与える恐れがある。

本発明の目的は、入力映像のパターンに応じて与えられたフィルターマスクを通じて非線形フィルターを加えることにより、ノイズを測定することなく入力映像のエッジ情報を保存できるパターン適応型フィルターリングによる映像信号の平滑化装置及びその平滑化方法を提供することにある。

前記目的を達成するために、本発明によるパターン適応型フィルターリングによる映像信号の平滑化方法は、入力映像を受信して入力映像マトリックスで表示するステップと、少なくとも一つの既に設定されたマトリックスであって、前記マトリックスのフィールドの中でパターンを形成する一部フィールドを除いては同一な値で詰められたマトリックスであるマスクの中心と、前記入力映像のマトリックスの目的画素が一致するように、前記マスクと前記入力映像マトリックスとを対応させて相関関係係数を計算するステップと、前記計算結果によって前記相関関係係数が最大値であるマスクを前記入力映像の目的画素に対するフィルターリングのためのマスクに決定するステップと、および前記決定されたマスクに対応する入力映像の画素値から選ばれた任意の値に、前記入力映像の目的画素値を取り替えて出力する非線形フィルターリングを行うステップとを含む。

好ましくは、前記マスクは、正方マトリックス（Square matrix） 形態であって、前記マスクの一部フィールドに同一な値が、単方向（unidirectional）、両方向（bidirectional）及び全方向（omnidirectional）の中で少なくとも一つのパターンを有するように詰められることを特徴とする。
好ましくは、前記マスクは、正方マトリックス形態であって、前記マスクの一部フィールドに加重値（weight）を有する相異なる値が、単方向、両方向及び全方向の中で少なくとも一つのパターンを有するように詰められることを特徴とする。

好ましくは、前記マスクは、前記一部フィールドに詰められる値の和が１となるようにし、前記一部フィールド以外のフィールドは、０で詰めることにより、前記計算された相関関係係数が正規化されるようにする。
好ましくは、前記フィルターリングするステップは、前記決定されたマスクの前記一部フィールドに対応する入力映像の画素値から、中間値、最大値及び最小値の中で少なくとも一つを選ぶ、非線形メディアン（median）フィルターリングすることを特徴とする。

また、本発明による、パターン適応型フィルターリングによる映像信号の平滑化装置は、少なくとも一つの既に設定されたマトリックスであって、前記マトリックスのフィールドの中でパターンを形成する一部フィールドを除いては同一な値で詰められたマトリックスであるマスクの中心と、入力映像をマトリックスで表現した入力映像のマトリックスの目的画素が一致するように、前記マスクと前記入力映像マトリックスとを対応させて相関関係係数を計算する相関関係測定部と、前記計算結果により前記相関関係係数が最大値であるマスクを前記入力映像の目的画素に対するフィルターリングのためのマスクに決定するパターン決定部と、および前記決定されたマスクのパターンに対応する入力映像の画素値の中で選ばれた値で入力映像の目的画素値を取り替えて出力する非線形フィルターリングを行うパターン適応的非線形フィルター部とを含む。

好ましくは、前記マスクは正方マトリックス形態であって、前記マスクの一部フィールドに同一な値が、単方向、両方向及び全方向の中から少なくとも一つのパターンを有するように詰められることを特徴とする。
好ましくは、前記マスクは正方マトリックス形態であって、前記マスクの一部フィールドに加重値を有する相異なる値が、単方向、両方向及び全方向の中で少なくとも一つのパターンを有するように詰められることを特徴とする。

好ましくは、前記マスクは、前記一部フィールドに詰められる値の和が１となるようにし、前記一部フィールド以外のフィールドは、０で詰めることにより、前記計算された相関関係係数が正規化されるようにする。
好ましくは、前記パターン適応的非線形フィルター部は、前記決定されたマスクの前記一部フィールドに対応する入力映像の画素値から、中間値、最大値及び最小値の中で少なくとも一つを選ぶ、非線形フィルターリングすることを特徴とする。

以上説明したように、本発明によれば、入力映像のパターンに応じてノイズの測定が不要であるため、映像信号の特性によって異なるノイズ測定値の問題が発生せず、非線形フィルターを加えることにより入力映像が有するエッジ情報に対する保存が可能である。したがって、目に敏感なエッジ領域を保存しながらノイズを取り除く。したがって、エッジ領域は保存され、入力映像はソフトに処理することができる。特に、インパルスノイズに良い性能を見せる。

以下、添付された図面を参照して本発明をより詳しく説明する。ただし、本発明を説明するにあたって、関連した公知機能あるいは構成に対する具体的な説明が本発明の要旨を不要に濁すおそれがあると判断される場合、それに対する詳細な説明は省略する。

図１は、本発明によるパターン適応型フィルターリングによる映像信号の平滑化（smoothing）装置のブロック図である。図面を参照すると、平滑化装置１００は、相関関係測定部１０１、パターン決定部１０３及びパターン適応的非線形フィルター部１０５を含む。

本発明は、相関関係測定部１０１とパターン決定部１０３が、入力映像が有するパターン情報を利用して検出されたパターン情報に応じて、フィルターカーネルマスク（Filter kernel mask、以下、マスクという）を決め、これによってパターン適応的非線形フィルター部１０５が入力映像に対して非線形フィルターリングを加える。その方法として、相関関係測定部１０１は、入力映像のパターン情報を検出するためにあらかじめ定義しておいたそれぞれのパターンに応じて与えられたマスクを設定し、入力映像とフィルターカーネルマスクとの類似性を測定し、パターン決定部１０３がその類似性より最も入力映像のパターンに適合したフィルターカーネルマスクを決める。

相関関係測定部１０１は、既に設定されたマスクを含み、それぞれのマスクと入力映像との相関関係係数（correlation coefficient）を求める。このため、入力映像でフィルターリングしようとする画素（以下、目的画素という）を中心とする、マスクに対応する窓（ｗｉｎｄｏｗ）を開いて相関関係係数を求める。

入力映像は、デジタル化された映像信号であり、量子化（quantization）過程を経た各画素（pixel）の明るさ（intensity）の値である。本発明において、一つのフレームの入力映像は、各画素の明るさの値を含むマトリックス（matrix）で表現する。８ビットで量子化されると、入力映像マトリックスの各画素の明るさ値は０から２５５までの値を有する。入力映像には、ノイズが付加され得る。一般に、ホワイトガウシアンノイズ（white Gaussian noise）が付加され、本発明は、これをフィルターリングすることにより、元の入力映像を復元する。フィルターリングは、各画素毎に独立的に進行され、各画素毎にフィルターリングされて、新たに選ばれた画素の明るさの値（以下、階調値という）で構成された出力映像を生成する。

相関関係測定部１０１は、少なくとも一つのマスクを含むことができる。本発明の実施形態においては、１０個のマスクを含む。相関関係測定部１０１に含まれるマスクは図２に示す。

図２は、本発明による入力映像のパターンを決定するためのフィルターリングマスクの一実施形態を示した図面である。図２に示したマスクは、本発明のパターン判断のためのマスクの一例であって、多様に変形使用されることができる。本発明の実施形態において、各マスクは、５×５の正方マトリックス（square matrix）で具現されており、これもまた実施形態によって多様に変形することができる。ただし、奇数の列と行を有するマトリックスが好ましい。

図２を参照すると、マスクは単方向（unidirectional）、両方向（bidirectional）、全方向（omnidirectional）マスクを含む。マスク０、マスク１、マスク２及びマスク３は、単方向マスクであり、マスク４とマスク５は、両方向マスクを示し、マスク６乃至マスク９は、全方向マスクを示す。マスクにおいて黒い点で表現されたフィールド（field）は、１、１／２及び１／３等の数が対応され、一つのマスク内では同一な値を有することもでき、実施形態に応じては、加重値をおいて相異なる値を有することもできる。好ましくは、一つのマスク内の黒い点に該当するフィールドの和は、１となるようにする。これは、相関関係係数を求めるか、以後進行されるフィルターリングにおいて、マスク毎に黒い点の個数が異なるに従って、その結果値が影響を受けることを防止するために正規化（normalizing）するためである。例えば、マスク０の場合は、５個の点であるため、それぞれ１／５、１／５、１／５、１／５、１／５となることが好ましい。マスク６の場合には、点が９個であるため、点に該当するフィールドの値は、それぞれ１／９と同一にする。加重値を置く場合を例として挙げると、マスク０の場合にそれぞれ１／８、１／８、１／２、１／８、１／８として全体の和が１となるようにする。黒い点を除いたマトリックスの残りのフィールドは、同一な数が詰められることによりパターンを形成する。好ましくは、黒い点を除いたマトリックスの残りのフィールドは、０が対応されることが計算を容易とする。

図３Ａと３Ｂは、図１の相関関係測定部１０１の動作を説明するための図である。図３Ａと３Ｂは、入力映像をマスクと対応させるために別の窓を設定することを示す。図３Ａと３Ｂを参照すると、図２のマスクに対応する、入力映像３０１の目的画素３０３を中心とする５×５マトリックスの窓３０５を開く。図３の実施形態においては、目的画素３０３をＰ１とする窓３０５を開く方法を示す。入力映像３０１の初画素の場合（図３ＡのＰ１該当）には、目的画素の上方と左側部分（斜線部分）には、入力映像値がなくなるに従って発生するｓｔａｒｔ-ｅｆｆｅｃｔがある。これは、入力映像のＰ２、Ｐ３、Ｐ４、Ｐ６、Ｐ１１、Ｐ２１、Ｐ３１等にも発生する。入力映像の反対側であるＰ１０、Ｐ２０、Ｐ３０、Ｐ４０等にもこのような効果がある。これはｅｎｄ-ｅｆｆｅｃｔと言う。このように開かれた窓の詰められない値によって相関関係係数を求めるか、次のステップにあるメディアンフィルターリングで適切でない値を算出することになる。これを解決するために、本発明においては、開かれた窓３０５において、入力映像が詰められない部分には、周りの値で詰める。図３Ｂにおいて、その詰められる方法の中で一つを示す。すなわち、空いている所には、最も隣近の入力映像値を詰める。

また、フィルターリングが進行するに従って、階調値が求められると、次の目的画素の階調値を求めるためのフィルターリングのために、開かれた窓にはもう得られた階調値を含む。
相関関係測定部１０１は、開かれた窓３０５と既に設定された１０個のマスクを対応させて相関関係係数を求める。相関関係係数の計算は、一般的な相関関係係数を求める方法による。

図４は、図１の相関関係測定部１０１及びパターン適応的フィルター部１０５の動作を説明するための図面である。図４は、目的画素４０３を中心として開かれた窓４０１と図２のマスク０の一例４０７を示す。相関関係測定部１０１は、４０３とマスク０・４０７の中心を一致させ、相関関係係数を計算する。
相関関係係数は、１個の目的画素に対して１０個のマスクとの相関関係係数１０個をそれぞれ求め、一つのフレームの入力映像の初画素から順に計算しながら計算値を算出する。

パターン決定部１０３では、既に設定されたマスク２０２乃至２２０の中で相関関係測定部１０１で計算された相関関係係数が最大であるマスクを目的画素に最も類似しているフィルターカーネルマスクを決定する。パターン決定部１０３は、各画素毎に相関関係係数が最大であるフィルターカーネルマスクを選定する。

パターン適応的フィルター部は、パターン決定部１０３にて決定されたフィルターカーネルマスクを利用し、入力映像に対してフィルターリングを行い出力映像を生成する。フィルターリングは、rank-order static filterを用いる。ただし、本発明の好ましい実施形態は、rank-order static filterの中でもメディアン（median）フィルターを用いる。メディアンフィルターリングは、式（１）により行い、式（１）は、メディアンフィルターの一般式を示す。

ここで、Ｙ（Ｎ）は、フィルターリングされた値であり、ｍｅｄ［ ］は、中間値を与える関数である。Ｘ（ｎ）値は、入力映像の画素値であって、カーネルマスクの黒い点の位置に対応する値である。Ｘ（ｎ）は、全体（２×Ｋ）＋１個を有する。すなわち、マスク９がフィルターカーネルマスクに決定された場合、全体の黒い点の数は１３個であり、この際、Ｋは６となる。そのため、Ｋは、−６、−５、−４、−３、−２、−１、０、１、２、３、４、５、６となる。

図４の開かれた窓４０１において、目的画素４０３の入力値は２１０である。マスク０・４０７が最も類似しているフィルターカーネルマスクに決定されたら、マスク０・４０７の黒い点に対応する入力映像値である４０５の値を利用してメディアンフィルターリングを行うことになる。そのため、２０６、２０７、２１０、２０２、２０２の中で中間値である２０６が階調値として出力映像を構成する。

また、最大値や最小値を代表値として取ることができる。したがって、任意の手順を決めてその手順を有する値を代表値として取る非線形フィルターリングを行うことができる。
低域通過フィルターに比べて、メディアンフィルターの大きい長所は、強いエッジ（edge）を保存し既存のエッジをさらに詳しく保存することができるということである。

図５は、本発明によるパターン適応型フィルターリングによる映像信号の平滑化方法を示したフローチャートである。
先ず、入力映像マトリックスを受信し（Ｓ５０２）、既に設定されたパターンのマスクと入力映像の各画素との相関関係係数を計算する（Ｓ５０４）。

計算された相関関係係数の中で最大値を有するマスクをカーネルマスクに決定する（Ｓ５０６）。
最後に、決定されたマスクを利用して非線形フィルターリングを行う（Ｓ５０８）。
このような過程によりパターン適応型フィルターリングによる映像信号の平滑化方法が行われる。

以上、本発明の好適な実施形態に対して図説したが、本発明は、前述した特定の実施形態に限定されず、特許請求の範囲において請求する本発明の要旨を逸することなく、当該発明が属する技術分野における通常の知識を有する者によって多様な変形実施が可能であることは勿論、このような変形実施は、本発明の技術的思想や見通しから個別的に理解されてはいけないものである。

本発明による入力映像のパターン分類によって非線形フィルターリングを行う過程を示すブロック図である。 本発明による入力映像のパターンを決定するためのフィルターリングマスクの一実施形態を示した図である。 図１の相関関係測定部１０１の動作を説明するための図である。 図１の相関関係測定部１０１の動作を説明するための図である。 図１の相関関係測定部１０１及びパターン適応的フィルター部１０５の動作を説明するための図である 本発明によるパターン適応型フィルターリングによる映像信号の平滑化方法を示したフローチャートである。

符号の説明

１０１…相関関係測定部
１０３…パターン決定部
１０５…パターン適応的非線形フィルター部
３０１…入力映像
２０２…目的画像
３０５，４０１…窓
２０２〜２２０，４０７…マスク

Claims (10)

1. 入力映像を受信して入力映像マトリックスで表示するステップと、
   少なくとも一つの既に設定されたマトリックスであって、前記マトリックスのフィールドの中でパターンを形成する一部フィールドを除いては同一な値で詰められたマトリックスであるマスクの中心と、前記入力映像のマトリックスの目的画素が一致するように、前記マスクと前記入力映像のマトリックスとを対応させて相関関係係数を計算するステップと、
   前記計算結果によって前記相関関係係数が最大値であるマスクを前記入力映像の目的画素に対するフィルターリングのためのマスクに決定するステップと、
   前記決定されたマスクに対応する入力映像の画素値から選ばれた任意の値に、前記入力映像の目的画素値を取り替えて出力する非線形フィルターリングを行うステップと
   を含むことを特徴とするパターン適応型フィルターリングによる映像信号の平滑化方法。
2. 前記マスクは、正方マトリックス（square matrix）形態であって、前記マスクの一部フィールドに同一な値が、単方向（unidirectional）、両方向（bidirectional）及び全方向（omnidirectional）の中で少なくとも一つのパターンを有するように詰められることを特徴とする請求項１に記載のパターン適応型フィルターリングによる映像信号の平滑化方法。
3. 前記マスクは、正方マトリックス形態であって、前記マスクの一部フィールドに加重値（ｗｅｉｇｈｔ）を有する相異なる値が、単方向、両方向及び全方向の中で少なくとも一つのパターンを有するように詰められることを特徴とする請求項１に記載のパターン適応型フィルターリングによる映像信号の平滑化方法。
4. 前記マスクは、前記一部フィールドに詰められる値の和が１となるようにし、前記一部フィールド以外のフィールドは、０で詰めることにより、前記計算された相関関係係数が正規化されるようにすることを特徴とする請求項２または請求項３に記載のパターン適応型フィルターリングによる映像信号の平滑化方法。
5. 前記フィルターリングするステップは、前記決定されたマスクの前記一部フィールドに対応する入力映像の画素値から、中間値、最大値及び最小値の中で少なくとも一つを選ぶ、非線形メディアン（median）フィルターリングをすることを特徴とする請求項２または請求項３に記載のパターン適応型フィルターリングによる映像信号の平滑化方法。
6. 少なくとも一つの既に設定されたマトリックスであって、前記マトリックスのフィールドの中でパターンを形成する一部フィールドを除いては同一な値で詰められたマトリックスであるマスクの中心と、入力映像をマトリックスで表現した入力映像のマトリックスの目的画素が一致するように、前記マスクと前記入力映像マトリックスとを対応させて相関関係係数を計算する相関関係測定部と、
   前記計算結果によって前記相関関係係数が最大値であるマスクを前記入力映像の目的画素に対するフィルターリングのためのマスクに決定するパターン決定部と、
   前記決定されたマスクのパターンに対応する入力映像の画素値の中から選ばれた値で入力映像の目的画素値を取り替えて出力する非線形フィルターリングを行うパターン適応的非線形フィルター部と
   を含むことを特徴とするパターン適応型フィルターリングによる映像信号の平滑化装置。
7. 前記マスクは正方マトリックス形態であって、前記マスクの一部フィールドに同一な値が、単方向、両方向及び全方向の中で少なくとも一つのパターンを有するように詰められることを特徴とする請求項６に記載のパターン適応型フィルターリングによる映像信号の平滑化装置。
8. 前記マスクは正方マトリックス形態であって、前記マスクの一部フィールドに加重値を有する相異なる値が、単方向、両方向及び全方向の中で少なくとも一つのパターンを有するように詰められることを特徴とする請求項６に記載のパターン適応型フィルターリングによる映像信号の平滑化装置。
9. 前記マスクは、前記一部フィールドに詰められる値の和が１となるようにし、前記一部フィールド以外のフィールドは、０で詰めることにより、前記計算された相関関係係数が正規化されるようにすることを特徴とする請求項７または請求項８に記載のパターン適応型フィルターリングによる映像信号の平滑化装置。
10. 前記パターン適応的非線形フィルター部は、前記決定されたマスクの前記一部フィールドに対応する入力映像の画素値から、中間値、最大値及び最小値の中で少なくとも一つを選ぶ、非線形フィルターリングすることを特徴とする請求項７または請求項８に記載のパターン適応型フィルターリングによる映像信号の平滑化装置。
    

Images