JP2004503960A - 画像シーケンスのノイズフィルタリング - Google Patents

Abstract

画像シーケンス（Ｖ１）のノイズフィルタリングが提供される。画像シーケンス（Ｖ１）の少なくとも１つの画像における統計量（Ｓ）が決定され（１１）、少なくとも１つの画像から得られる元の画素値（Ｐ_ｔ，Ｍ_ｉ）の組から少なくとも１つのフィルタリングされた画素値（Ｐ_ｔ’）が計算される。元の画素値（Ｐ_ｔ，Ｍ_ｉ）は、統計量（１１）の制御下（１２，α）において重み付けされる（１３）。

Description

【０００１】
【発明の属する技術分野】
本発明は、画像シーケンスをノイズフィルタリングすることに関する。本発明は更に、画像シーケンスがノイズフィルタリングされる、画像シーケンスの符号化に関する。
【０００２】
【従来の技術】
画像シーケンスは、概して、画像取得の初期段階の間、プロセス及び伝送処理の間、又は記憶段階の間のいずれかにおいて生じうるノイズを含むことが良く知られている。このノイズは、シーケンスの品質のみならず、続いて行われうる圧縮処理（例えばＭＰＥＧ、ウェーブレット、フラクタル等）の性能も低下させる。これらの理由のため、画質に許容できない影響を与えることなく可能な限りノイズを低減させることに高い関心がもたれている。
【０００３】
【発明が解決しようとする課題】
ノイズを低減させるために、フィルタリング処理が必要である。このようなフィルタリング処理は、結果的に画像にぼけ（ｂｌｕｒｒｉｎｇ）及び「ゴースト」効果を生じさせ、これらは見る者にとって許容できない品質をもたらす。これは、ほとんどすべての画像がエッジ、輪郭等をもつ細部の領域を有するためである。
【０００４】
【課題を解決するための手段】
本発明の目的は、有利なフィルタリングを提供することである。このために、本発明は、独立項に規定されるように画像シーケンスをノイズフィルタリングする方法及び装置並びに画像シーケンスを符号化する方法及び装置を提供する。有利な実施例は従属項に規定されている。
【０００５】
本発明の第１の実施例において、画像シーケンスの少なくとも１つの画像の統計（量）が決定され、少なくとも１つの画像から得られる元の画素値の組から、少なくとも１つのフィルタされた画素値が計算され、かかる元の画素値は統計量の制御下において重み付けされる。本発明は、好ましくは圧縮システムの前処理段に適用される適応フィルタリングを実施するための単純な方法を提供する。統計量は、少なくとも１つの画像から、例えば少なくとも１つの画像（のサブセット）の分散又は相関関係（又はその近似）のようないかなる既知の（又はまだ知られていない）計算によっても簡単に得ることができる。
【０００６】
本発明の他の実施例において、計算ステップは、重み付けされた画素値の組を得るために、統計量の制御下において元の画素値の組を重み付けし、重み付けされた画素値の組を静的フィルタに供給し、この静的フィルタにおいて、重み付けされた画素値の組から少なくとも１つのフィルタされた画素値が計算されることを含む。この実施例は、特に、フィルタリングの適応性が別個の重み付けステップを使用することにより得られるとともに、静的フィルタが重み付けと組み合わされて使用されるという利点を有する。インプリメンテーションがより複雑である可変フィルタを使用する代わりに、本発明は、静的フィルタと組み合わされて適応フィルタリングをもたらす画素値の単純な適応化を提供する。
【０００７】
有利には、統計量は、元の画素値の組の空間的及び／又は時間的な広がり（ｓｐｒｅａｄ）を含む。この実施例で、適応化は、フィルタリングされた画素値を得るために処理される画素値の「広がり」の計算に基づく。広がりは、画素値の間の差に基づく尺度であり、好ましくは、広がりは、絶対差分の和として計算され、所与の絶対差分は、所与の元の画素値から平均画素値を減ずることによって得られる。局所的な「広がり」、すなわちフィルタリングされた画素値が元の画素の組から計算される当該元の画素の組の広がりは、画像の局所的なアクティビティの良い指標である。このようにして、処理される画素の統計量に基づいて、画像コンテントが例えばエッジ上にある場合のように重要なものである場合、迷惑なアーティファクトを防ぐためにフィルタの強度を局所的に制御することが可能である。プリフィルタリングにおいて、すなわちコード化ループに入る前に、動きオブジェクトの近傍の欠陥、具体的には動きエッジが、画像の局所的な統計特性に基づく適応性によって除去され、これにより画像シーケンスに許容できないアーティファクトを生じさせることなく、白色ガウスノイズに対して非常に効果的でありうる時空間フィルタリング及び空間フィルタリングを達成する。これは、特に平均値フィルタが適用されるときに言えることである。メジアンフィルタリングは、ガウスノイズ及びスパイクノイズの双方を低減する。
【０００８】
有利には、元の画素の組の各画素について、元の画素値の一部αと、中心画素値の一部１−αとの組み合わせをとることにより、重み付けされた画素値が得られる。実際には、αは、元の画素値が中心画素値の値をとることに関する量を示す。α＝０の場合、すべての元の画素値は、中心画素値と同じ値を有する。すなわち、中心画素値以外の元の画素値は考慮されない。これは、好ましくは局所的な広がりが高い場合である。α＝１の場合、すべての元の画素値はそれらの元の値を保持する。これは、好ましくは局所的な広がりが低い場合である。概して、広がりが高いほどαが低くなる。この実施例において、インプリメンテーションが可能な限り小さく保たれうるように、制御信号は、ただ１つの値、すなわちαからなる。
【０００９】
局所的な広がりが、好ましくはルックアップテーブルに供給され、その出力信号が重み付けを制御する。ルックアップテーブルは、重み付けの制御を単純且つ迅速に得ることを可能にする。
【００１０】
本発明における好適なフィルタリング処理は、メジアンフィルタリング及び平均値フィルタリングを含む。例えば時空間平均値フィルタリングにおいて、時間方向の広がりが使用されるとき、時間方向について第２のルックアップテーブルを使用することが好ましい。時間方向における画素は、多くの場合、空間方向における画素値とは異なって相互に関連するからである。更に、時間方向における画素は、空間方向における画素より相関関係が小さい。従って、空間方向における画素値に対して、時間方向における隣接画素の重みを全体の結果において減らすことが有利である。
【００１１】
時間方向が使用される場合、時間的にずれた元の画素値は、同じフレーム内の（等しくないパリティをもつ）異なるフィールドからの２つの元の画素値と、前のフレームの少なくとも１つの元の画素値とを有することが好ましい。この実施例は、異なるフレーム内の同じパリティをもつフィールドの画素値を記憶することと比較してメモリを節約する。後者の場合、利用可能な２つのフィールドを有するために少なくとも２つのフレームが記憶される必要があるからである。
【００１２】
更に、フィルタのインプリメンテーションの帯域幅要求を低減するために、時間的にずれた元の画素値よりむしろフィルタリングされた時間的にずれた画素値が使用されてもよい。
【００１３】
米国特許第５，６２１，４６８号は、画像符号化装置においてプリフィルタとして使用される動き適応時空間フィルタリング方法を開示している。この方法は、所望の時間的遮断（カットオフ）周波数及び動き成分の速度に従って、帯域制限特性を有するフィルタを使用することにより、時間的エイリアシングなく、動き成分の軌道に沿って時空間ドメイン上のビデオフレーム信号の時間的な帯域制限を処理する。
【００１４】
米国特許第４，６８２，２３０号は、入力信号のサンプルをフィルタする適応型メジアンフィルタシステムを開示している。更に、回路は、適応型メジアンフィルタに供給される制御信号を生成するために入力信号中のノイズの相対密度を評価する。適応型フィルタは、現サンプルの代わりにメジアン値を有するサンプルを選択的に使う。現サンプル／メジアン距離が処理されたＭタイル（分位数）間の距離を上回る場合、メジアン値をもつサンプルが出力部に結合され、そうでない場合、現サンプルが出力部に結合される。Ｍ分位数は、サンプルの値に従って分類されたサンプルのリストにおける相対位置に関する一般的用語である。メジアン並びに上位及び下位の四分位数は、大きさの順に並べたリストにおいてそれぞれ２分の１、３分の１及び４分の１の値を示す特定の場合である。Ｍ分位数間の距離は、上位のＭ分位数の値と下位のＭ分位数の値との間の差であり、現サンプルの近傍にある画像のコントラストの尺度である。
【００１５】
米国特許第５，７９３，４３５号は、可変係数の時空間フィルタを使用するビデオの非インタレース化を開示している。インタレースされたビデオ信号は、ビデオメモリに入力され、ビデオメモリは、基準信号と、補間されるべき画素並びに空間的及び時間的に近傍の画素を表現する複数のオフセットビデオ信号とを供給する。インタレースされたビデオと共に補助信号として伝送されるか、インタレースされたビデオと共に伝送される動きベクトルから導き出されるか、あるいは、インタレースされたビデオ信号から直接導き出される係数インデックスを係数メモリに供給し、フィルタ係数の組を選択する。基準信号及びオフセット信号は、ＦＩＲフィルタのような時空間補間フィルタにおいてフィルタ係数に応じて重み付けされ、補間されたビデオ信号を生成する。補間されたビデオ信号は、フィルタ処理時間を補償するために適切に遅延される基準ビデオ信号によりインタリーブされ、プログレッシブビデオ信号を生成する。
【００１６】
本発明の前記及び他の側面は、以下に説明される実施例から明らかになるであろう。
【００１７】
【発明の実施の形態】
図面は、本発明を理解するために必要とされる構成要素のみを示している。
【００１８】
図１は、入力ユニット１０、コンピューティングユニット１１、ルックアップテーブル１２、重み付け段１３、フィルタ１４、及び符号化ユニット１５を有する本発明によるエンコーダ１の実施例を示している。入力ビデオ信号Ｖ１はエンコーダ１に供給され、入力ユニット１０において受け取られる。コンピューティングユニット１１において、Ｐ_ｔ，Ｍ_ｉにより示される元の画素値の組から局所的な広がりＳが得られる。広がり計算の結果は、制御信号αを得るためにルックアップテーブル１２に供給される。重み付け段１３において、画素値Ｐ_ｔ，Ｍ_ｉが重み付けされて、重み付けされた画素値Ｐ_ｔ，Ｎ_ｉが得られる。重み付けされた画素値Ｐ_ｔ，Ｎ_ｉはフィルタ１４においてフィルタリングされ、フィルタリングされた画素値Ｐ_ｔ’が得られる。複数の画素値Ｐ_ｔ’は、フィルタリングされたビデオ信号を構成する。本発明の有利な実施例によれば、フィルタ１４は、空間メジアンフィルタ、空間平均値フィルタ、時空間平均値フィルタ又はこれらの組み合わせを有する。複数のフィルタリングされた画素値Ｐ_ｔ’からなるフィルタリングされたビデオ信号は符号化ユニット１５において符号化され、符号化されたビデオ信号Ｖ２が得られる。符号化ユニット１５は、好ましくはＭＰＥＧエンコーダである。
【００１９】
図２は、図３に示すような空間メジアンフィルタ又は図４に示すような空間平均値フィルタである本発明による適応フィルタの例示の入力サンプルを示している。これらの入力サンプルは、また、１つのフィールド内の入力サンプルの好ましい例を示すために使用されてもよい。点線は、第１フィールドの画像ラインを示しており、実線は、フレームの第２フィールドの画像ラインを示している。サンプルＰ_ｔは、計算された出力サンプルの位置にある。１つのフィルタリングされた輝度サンプルを計算するために、５つのサンプルＰ_ｔ、Ｍ_１、Ｍ_２、Ｍ_３及びＭ_４が入力信号として使用される。本発明の好ましい適用分野であるＭＰＥＧエンコーダでは、水平カラーサブサンプリングが、ＣＣＩＲ ４：２：２形式に従って入力部において既に行われている。従って、カラーサンプル（Ｕ＆ＶについてはＰ_ｔｃ、Ｍ_１ｃ、Ｍ_２ｃ、Ｍ_３ｃ及びＭ_４ｃ）の間の水平距離は輝度サンプルの場合の２倍である。実験により、カラーサンプルからの特別な利得は比較的小さい（重要でない）ことが示されたので、大幅に品質を低下させることなくカラーメジアン処理をスキップすることができる。
【００２０】
メジアンフィルタリング自体は、この分野では単調なステップエッジを保つその能力について知られており、従って２次元の画像ノイズの平滑化に広く使用されている。メジアンフィルタのインプリメンテーションは、非常に単純なデジタル非線形演算を必要とする。長さｎのサンプリングされ量子化された信号がとられる。信号を横切って、ｍ個の信号サンプル点にまたがるウィンドウがスライドされる。フィルタ出力は、これらのｍ個の信号サンプルのメジアン値に等しく設定され、ウィンドウの中心におけるサンプルに関連付けられる。ｉ＝１，…，ｍであるｍスカラーＸｉのメジアンは値Ｘ_ｍｅｄとして規定することができ、すべてのＹについて以下のようになる。
【数１】

【００２１】
結果として一意の値を得るために、ｍは奇数値でなければならない。下式によって記述される二重指数の密度関数をもつ母集団からのランダムサンプル｛Ｘ_１，…，Ｘ_ｍ｝を仮定する。
【数２】

ここで、γはスケールファクタであり、δは最大位置パラメータである。尤度関数、
【数３】

を最大にするδの値は、ランダムサンプル｛Ｘ_１，…，Ｘ_ｍ｝に基づくδに関する最尤推定値と呼ばれる。式（３）の対数をとることにより、最尤推定値が明らかにＭｅｄ［Ｘ_１，…，Ｘ_ｍ］と等しいことが分かる。このようにして、入力分布が式（２）の場合のように二重指数関数である場合、メジアンは最尤法における位置パラメータの最適の推定値である。同様にして、ガウス分布については平均値が最尤推定値である。
【００２２】
通常、メジアンフィルタが２次元画像について使用されるとき、画像内のあらゆる点における強度は、当該点を中心とするｍ＊ｍウィンドウに含まれる点の強度のメジアンによって置き換えられる。メジアンフィルタリングによりアウトライアーが排除されるので、メジアンフィルタは、スパイクノイズ分布をもつ画像を平滑化するための線形フィルタより効果的であることが知られている。上述した特性によれば、入力ノイズの分布がより大きいテール（例えばスパイクノイズ）をもつほど、メジアンフィルタは、フィルタリングされたノイズについてより低い分散を生成する傾向があるが、例えばガウス分布をもつ相関しない（白色）画像ノイズの場合の平均値フィルタより低い性能をもつ。後者は、また、ガウス又はインパルス性ノイズのいずれかが存在するときには、インパルス性ノイズのみが存在するときのように完全には抑制されない。
【００２３】
メジアンフィルタは、画像内の単調なステップエッジ（幅（ｍ＋１）／２）を保つそれらの能力について魅力的であり、平均値フィルタは、不可避的にエッジをぼかす傾向があるが、ガウスノイズに対してはより効果的であることについては既に述べた。本発明の実施例において、実際のハードウェア内の単純且つ簡単なインプリメンテーションは、分離可能なメジアンフィルタを使用することによって得られる。そのような分離可能なフィルタは、異なる方向に沿った一次元メジアンフィルタの連続する適用によってメジアンフィルタリング処理を実施する。この結果は、完全な２次元メジアンフィルタ（ｍ＊ｍウィンドウを使用する）と同一でないが、分離可能なフィルタは、２次元のメジアンフィルタに相当する性能を提供することが分かった。しかしながら、主な利点は、完全な２次元のメジアンフィルタにおいて中心要素がｍ^２個の点のメジアンであることである。行及び列に沿って別個にｍ個の点のメジアンを実施することによって、計算を節約する要素を達成することができる。このような分離可能なメジアンフィルタはこの分野において知られている。
【００２４】
メジアンはエッジを保つ良い能力をもつが、それが画像データに直接適用される場合、動き部分の近傍にぼけ及び「テール」又は「シャドウ」のような奇妙な効果が生じうる。特にこれらの不所望の効果を最小にするために、本発明は、画像の局所的な統計量に基づいて適応可能である適応メジアンフィルタを提供する。
【００２５】
図３は、本発明による適応メジアンフィルタの実施例を示す。図２に示す入力サンプルＰ_ｔ，Ｍ_ｉは、コンピューティングユニット２１及び重み付け段２３に供給される。コンピューティングユニット２１において、空間的な広がりＳ_ｓｐａｔが入力サンプルから計算され、この広がりＳ_ｓｐａｔは、ルックアップテーブル２２に供給される。広がりＳ_ｓｐａｔに基づいて、制御信号αがルックアップテーブル２２から得られる。制御信号αは重み付け段２３に供給される。この重み付け段２３において、入力画素値Ｐ_ｔ，Ｍ_ｉが重み付けされ、適応化された画素値Ｐ_ｔ，Ｎ_ｉが得られる。この実施例において、中心画素Ｐ_ｔは重み付けに影響されないことに注意されたい。メジアンフィルタ２４において、フィルタリングされた画素値Ｐ_ｔ’を得るために、メジアンは適応化された画素値Ｐ_ｔ，Ｎ_ｉからとられる。メジアンフィルタ２４は、３つの個々のメジアンフィルタ２４０、２４１及び２４２を有する。これらの別個のメジアンフィルタ２４０、２４１、２４２は協働してメジアンフィルタ全体を形成する。この実施例の処理について以下に述べる。
【００２６】
５個の入力サンプルＰ_ｔ、Ｍ_１、Ｍ_２、Ｍ_３及びＭ_４の空間的な広がりＳ_ｓｐａｔは、次のように計算される。
【数４】

輝度の広がりの出力信号は、ルックアップテーブル２２を介して、重み付け段２３のための制御パラメータαに変換される。好適な実施例において、ルックアップテーブル２２のコンテントは、外部ソースからダウンロード可能である。例示的なルックアップテーブル２２は以下のように与えられる。
Ｓ_ｓｐａｔ＞１０⇒α＝０．５
Ｓ_ｓｐａｔ＞１５⇒α＝０．３５　　　　　　　　　　　　　　　　（６）
Ｓ_ｓｐａｔ＞２０⇒α＝０．２
適応化された画素値は以下により得られる。
Ｎ_１＝αＭ_１＋（１−α）Ｐ_ｔ
Ｎ_３＝αＭ_３＋（１−α）Ｐｔ　　　　　　　　　　　　　　　　（７）
Ｎ_４＝αＭ_４＋（１−α）Ｐ_ｔ
これらの適応化された画素値から、メジアンは以下に従ってフィルタ２４において計算される。
Ｐ_ｔ’＝Ｍｅｄ［Ｍｅｄ（Ｎ_１，Ｎ_２，Ｐ_ｔ），Ｐ_ｔ，Ｍｅｄ（Ｎ_３，Ｎ_４，Ｐ_ｔ）］　　　　　 （８）
当業者によって容易に理解されるであろうが、代替例においてメジアンは次式により得られる。
Ｐ_ｔ’＝Ｍｅｄ［Ｎ_１，Ｎ_２，Ｐ_ｔ，Ｎ_３，Ｎ_４］ 　　　　　　　　　　　　（１０）
【００２７】
例えば上述したようなメジアンフィルタ２４のような本発明によるメジアンフィルタの利点は、段階的なフィルタリングがエッジ近傍で得られ、それによりシーケンス内の悪影響が回避され、又は少なくとも低減されることである。広がりＳ_ｓｐａｔが例えばエッジ近傍で大きいほど、すなわち高い空間的アクティビティをもつとき、αは小さくなり、それにより元の中心画素にはより高い重みが割り当てられ、メジアンフィルタ２４のフィルタリングが弱まる。
【００２８】
図４は、本発明による適応型空間平均値フィルタの実施例を示している。コンピューティングユニット３１及びルックアップテーブル３２は、図３に示すコンピューティングユニット２１及びルックアップテーブル２２と同様である。ルックアップテーブル３２は重み付け段３３に結合されている。重み付け段３３において、入力サンプルＰ_ｔ，Ｍ_ｉが重み付けされて、適応化された画素値Ｐ_ｔ，Ｎ_ｉが得られる。適応化された画素値Ｐ_ｔ，Ｎ_ｉは、空間平均値フィルタ３４に供給される。
【００２９】
上述したように、空間平均値フィルタは、ガウス分布に関する最尤推定値である。ビデオシーケンスに存在するノイズは、通常、異なるソース（取得、前増幅、増幅、伝送及びハンドリング処理）による効果の合計であるので、多くの場合ノイズ分布がガウシアン（中心極限定理）であると仮定することができる。これらの場合おいては平均値フィルタが好ましい。本発明による適応型平均値フィルタを符号化装置のプリフィルタ段において使用することにより、大幅なビットレート低減をもたらす効果的なノイズフィルタリングが得られる。しかしながら、空間的及び時間的エッジのぼけが不可避的に生じるので、結果として得られる画像の品質に注意する必要がある。平均値フィルタに関する本発明の目的は、このようなぼけを制御して、フィルタリングされたシーケンスについて許容できる品質を達成することである。適応型空間平均値フィルタの場合、画像の局所的な統計特性（広がり／アクティビティ）に基づく適応性を、メジアンフィルタについて記述されたように利用することができる。結果として適応空間平均値フィルタであり、これは、画像の品質をより良く保つ。
【００３０】
適応化された画素値の計算は、適応メジアンフィルタに関して上述した計算と同様である。また、この場合、クロミナンスのフィルタリングは、最終結果へのその寄与が小さいのでスキップされてもよい。
【００３１】
適応空間平均値フィルタの出力は次のように計算される。
【数５】

フィルタリングがフィールド内に適用されるため、画素Ｎ_３及びＮ_４はＰ_ｔへの距離がＮ_１及びＮ_２と比較して２倍であるので、最終的な平均における重みを低減するために画素Ｎ_３及びＮ_４は係数２で除算され、従って「相対的に相関関係が低い」ことに注意されたい。
【００３２】
非常に低いレベルのノイズが存在するとき、画像は明らかに元のものより非常に滑らかに見える。いずれにせよ、ルックアップテーブルの適切な調整によって、この効果を静的に制御することができ、ノイズ低減とビデオシーケンスの良好な品質との間の良いトレードオフが達成される。
【００３３】
図５は、空間及び時間方向における入力サンプルを示し、ｔは時間を示している。フレームＦ_０において、図２の輝度画素と同様に画素Ｐ_ｔ，Ｍ_ｉの組がとられる。加えて、この実施例において、画素値Ｐ_ｔ１及びＰ_ｔ２は、前のフレームＦ_−１及び先のフレームＦ_１の双方において同じパリティをもつフィールドからとられる。ここでは、現在のフィールドの５画素、同じパリティをもつ前のフィールドの１画素、及び同じパリティをもつ先のフィールドの１画素である７個の画素のウィンドウについて考える。多くの場合空間的及び時間的ノイズの双方が存在するので、時間方向におけるフィルタリング処理を含めることが有利である。動き推定自体が前処理部分に厳密に関連して考えられ実現され、それゆえフィルタリングされた画像の増大された滑らかさによる影響をそれほど受けない場合には、ノイズのレベルの低減は動き推定についても有用でありえる。そうでなければ動きベクトルの品質はより悪くなり、最終結果を悪化させる付加的ないくつかの符号化ノイズをもたらす。
【００３４】
図６は、本発明による時空間平均値フィルタの実施例を示している。動きオブジェクトにおける「テール」、「シャドウ」又は単なるぼけのような悪影響を低減するため、適応化ステップを使用して、効果的であり且つ画像にダメージを与えない平均値時空間フィルタリングを実施する。この場合にも、同じフィールドに属する画素と、同じパリティをもつ前の又は次のフィールドに属する画素との区別をすることがここで必要であるとしても、適応性は画像の局所的な統計特性に基づく。この実施例は、図３及び図４に示すコンピューティングユニット２１及び３１と同様の、空間の広がりを計算するためのコンピューティングユニット４１を有する。コンピューティングユニット４１は、ルックアップテーブル４３に結合されている。この実施例において、同じフィールドに属する画素（Ｐ_ｔ，Ｍ_ｉ）の広がりと、同じパリティをもつ異なるフィールドに属する画素（Ｐ_ｔ，Ｐ_ｔ１，Ｐ_ｔ２）の広がりとは別個に計算される。言い換えると、空間方向における広がりの計算は、時間方向における広がりの計算から切り離される。時間的な広がりＳ_ｔｅｍｐを計算するために、この実施例は第２のコンピューティングユニット４２を有する。
【００３５】
時間的広がりは次のように計算される。
【数６】

時間的広がりの結果は、時間的ルックアップテーブル４４を介して、時間的画素値Ｐ_ｔ，Ｐ_ｔ１及びＰ_ｔ２について重み付け演算を実施するのに必要な制御パラメータα’に変換される。
【００３６】
制御パラメータα（空間）及びα’（時間）の計算ののち、重み付け演算が空間及び時間方向において実施される。空間方向については式（５）に従い、時間方向については次式に従う。
ＷＰ_１＝α’Ｐ_ｔ１＋（１−α’）Ｐ_ｔ
ＷＰ_２＝α’Ｐ_ｔ２＋（１−α’）Ｐ_ｔ
最終的に、時空間平均値フィルタ４７の出力信号が次式に従って計算される。
【数７】

【００３７】
重み付けされた画素値ＷＰ_１及びＷＰ_２が制御パラメータａにより除算されることに注意されたい。制御パラメータａは、ルックアップテーブル４５から得られ、３つの画素Ｐ_ｔ，Ｐ_ｔ１及びＰ_ｔ２における局所的の時間広がりに依存する１以上の数である。広がりが高いほど、すなわちａが高いほど、平均値の前及び次の画素の重みが小さくなる。ルックアップテーブル４５を適切に調整することにより、時間方向におけるフィルタの強度を制御することが可能であり、これにより画像の良好な品質が達成される。再び画像の時間的コンテンツに対する適応化を利用して、エッジぼけに関係する悪影響が低減される。
【００３８】
上述したフィルタは、有限インパルス応答（ＦＩＲ）フィルタのクラスに属する。ＦＩＲ構造は、フィルタリング処理のために現在、未来及び前の元のフレームＦ_０、Ｆ_１及びＦ_−１をメモリに保持することを必要とする。メモリを節約するために、図７に示すように、過去のフィールドの画素及び等しくないパリティをもつ画素を使用することが好ましい。この場合、現フレームＦ_０及び前のフレームＦ_−１だけが記憶されればよい。これは、フィルタのインプリメンテーションに関する限り、結果として得られるフィルタリングされた画像の品質に大きな影響を及ぼすことなくメモリサイズの低減を可能にする。前の元のフレームの代わりに、前のフィルタリングされたフレームが使用されてもよい。図７の前のフレームについてフィルタリングされたフレームがとられる場合、無限インパルス応答（ＩＩＲ）フィルタ構造が得られる。この構造は、メモリ使用及び帯域幅に関して利点を有する。
【００３９】
本発明によるノイズフィルタリングが適用される画像シーケンス符号化装置の例は、ＭＰＥＧ−２エンコーダ、デジタルビデオレコーダ（例えばＤＶＤビデオ録画、デジタルＶＨＳ、ＨＤＤ　ＶＣＲ）等である。
【００４０】
本発明による適応フィルタは、動き補償コード化ループにおいて適用されてもよい。有利には、適応フィルタは、コード化ループ内で時間フィルタと組み合わされてプリフィルタ段において使用される。
【００４１】
本発明の一実施例において、少なくとも２つの適応ノイズフィルタ、例えば空間メジアンフィルタ及び適応空間平均値フィルタが組み合わせられ、そこでフィルタリングは画像シーケンスの特性によって制御される。存在するノイズのレベルを解析するノイズ評価器が追加されてもよい。このようなノイズ評価器は、適応フィルタを制御するための興味深いツールである。有利には、ノイズ評価器は、メジアンフィルタと、空間及び／又は時空間平均値フィルタとの間で動的に適宜に切り替わるために、存在するノイズの統計特性を識別するように構成される。
【００４２】
上記の実施例は本発明を制限するものではなく、当業者であれば、請求項の範囲から逸脱することなく多くの代替の実施例を設計することができるであろうことに留意されたい。請求項において、括弧の間に示されているいかなる参照符号も請求項を制限するものとして解釈されない。「有する、含む」という語は、請求項に挙げられていない他の構成要素又はステップの存在を排除しない。本発明は、個別のいくつかの要素を含むハードウェアによって、及び適切にプログラムされたコンピュータによって実現することができる。いくつかの手段を挙げている装置の請求項において、これらの手段のいくつかは、ハードウェアの１つの同じアイテムによって具体化されることができる。それぞれ異なる従属項において特定の手段が挙げられているが、これはかかる手段の組み合わせが有利に使用され得ないことを示すものではない。
【００４３】
要するに、画像シーケンスの少なくとも１つの画像における統計量が決定され、少なくとも１つの画像から得られる元の画素値の組から少なくとも１つのフィルタリングされた画素値が計算され、元の画素値が統計量の制御下において重み付けされる、画像シーケンスのノイズフィルタリングが提供される。
【図面の簡単な説明】
【図１】本発明によるエンコーダの実施例を示す図。
【図２】図３及び図４に示す適応フィルタの入力サンプルを示す図。
【図３】本発明による適応型空間メジアンフィルタの実施例を示す図。
【図４】本発明による適応型空間平均値フィルタの実施例を示す図。
【図５】図６に示すように適応型時空間平均値フィルタの入力サンプルの第１の組を示す図。
【図６】本発明による時空間平均値フィルタの実施例を示す図。
【図７】図６に示す適応型時空間平均値フィルタの入力サンプルの第２の組を示す図。

Claims (16)

1. 画像シーケンスをノイズフィルタリングする方法であって、
   前記画像シーケンスの少なくとも１つの画像における統計量を決定するステップと、
   前記少なくとも１つの画像から得られた元の画素値の組から、少なくとも１つのフィルタリングされた画素値を計算するステップであって、該元の画素値が前記統計量の制御下において重み付けされるステップと、を含むことを特徴とする方法。
2. 前記計算ステップが、
   重み付けされた画素値の組を得るために、前記統計量の制御下において前記元の画素値の組を重み付けし、
   前記重み付けされた画素値の組を静的フィルタに供給し、該静的フィルタにおいて、前記重み付けされた画素値の組から前記少なくとも１つのフィルタリングされた画素値が計算されることを含む、請求項１に記載の方法。
3. 前記統計量が前記元の画素値の組の空間的及び／又は時間的な広がりを含む、請求項１に記載の方法。
4. 前記空間的及び／又は時間的な広がりが絶対差分の和であり、所与の絶対差分が、所与の元の画素値から平均画素値を減ずることにより得られる、請求項３に記載の方法。
5. 前記元の画素値の組が、中心画素値と、空間的及び／又は時間的に近傍にある画素値とを含み、前記ノイズフィルタリングの結果として、前記中心画素値が、前記フィルタリングされた画素値によって置き換えられる、請求項１に記載の方法。
6. 前記重み付けされた画素値の組は、前記元の画素値の組における各画素について、前記元の画素値の一部αと、中心画素値の一部１−αとの組み合わせをとることにより得られる、請求項２に記載の方法。
7. 前記統計量がルックアップテーブルに供給され、該ルックアップテーブルから制御信号が得られ、該制御信号が重み付けを制御する、請求項１に記載の方法。
8. 前記少なくとも１つのフィルタリングされた画素値は、前記重み付けされた画素値の組のメジアンを計算することにより得られる、請求項２に記載の方法。
9. 前記少なくとも１つのフィルタリングされた画素値は、前記重み付けされた画素値の組の平均値を計算することにより得られる、請求項２に記載の方法。
10. 前記元の画素値の組における空間的にずれた元の画素値から計算される空間的な広がりを決定し、
    前記元の画素値の組における時間的にずれた元の画素値から計算される時間的な広がりを決定し、
    前記空間的な広がりの制御下において前記空間的にずれた元の画素値を重み付けし、前記時間的な広がりの制御下において前記時間的にずれた元の画素値を重み付けすることを含む、請求項９に記載の方法。
11. 前記重み付けされた時間的にずれた元の画素値が、前記フィルタリングにおいてそれらの重みを低くするために除算される、請求項１０に記載の方法。
12. 前記時間的にずれた元の画素値が、同じフレームにおける異なるフィールドからの２つの元の画素値と、前のフレームの少なくとも１つの元の画素値と、を有する、請求項１０に記載の方法。
13. 時間的にずれた元の画素値ではなく、フィルタリングされた時間的にずれた画素値が使用される、請求項１２に記載の方法。
14. 請求項１に記載の方法により画像シーケンスがノイズフィルタリングされる、画像シーケンスを符号化する方法。
15. 画像シーケンスをノイズフィルタリングする装置であって、
    前記画像シーケンスの少なくとも１つの画像における統計量を決定するコンピューティング手段と、
    前記少なくとも１つの画像から得られる元の画素値の組から、少なくとも１つのフィルタリングされた画素値を計算するフィルタ手段であって、該元の画素値が前記統計量の制御下において重み付けされる、フィルタ手段と、
    を有する装置。
16. 請求項１５に記載のノイズフィルタリング装置を有する、画像シーケンスを符号化する装置。