JP2009533753A - コンテンツ適応型のフィルタ技法 - Google Patents

Abstract

ピクチャ・ディテールおよびエッジ鮮鋭度を維持しながら高速の雑音低減を達成するように画像を濾波するためのフィルタを選択することは、まず画像全体にわたってディテールを決定することで開始する。次いで、画像エッジの検出を行う。画像ディテールおよびエッジ情報を使用して、フィルタ・タップの数とフィルタ強度とを含めたフィルタ・プロパティを選択する。

Description

本発明は、ピクチャ・ディテールおよび鮮鋭度を維持しながら比較的高速な操作を提供する、画像ファイルを濾波するためのフィルタを選択する技法に関する。

ビデオまたはフィルム画像を含む画像ファイルなど、画像ファイルは一般に、いくらかの雑音を含む。フィルムから取り出された画像に関しては、粒子の密度のランダムなばらつきによって引き起こされるフィルム・グレインが、雑音として現れる。ビデオおよび／またはフィルムを含む画像を記憶することは常に大量の空間を必要とするが、このようなファイルを妥当な時間内に送信することは、非常に高い帯域幅を必要とする。この理由で、ビデオおよび／またはフィルムを含む画像ファイルは通常、記憶および／または送信の前に圧縮が施される。雑音（フィルム・グレインを含む）の圧縮は、ビデオかフィルムかにかかわらず画像との相関がないため、非常に難しいことが分かっている。この理由で、高圧縮率を達成するためには、圧縮前に画像ファイルを濾波して雑音を除去することが有利になる。

現在、雑音濾波のための様々な技法が存在する。しかし、このような今日の技法にはしばしば、画像ディテールを保存しながら高速性能を提供することができないという欠点がある。高速を提供する濾波技法は通常、十分な画像ディテールを保存しないのに対して、画像ディテールを保存するフィルタ技法は、非常に低速で動作する傾向がある。

従って、良好な速度と画像ディテールの保存とを共に達成する、画像から雑音を濾波する技法が必要とされている。

簡潔に言うと、本原理によれば、ピクチャ・ディテールおよびエッジ鮮鋭度を維持しながら高速の雑音低減を達成するように画像を濾波するためのフィルタを選択する技法が提供される。この技法は、画像全体にわたってディテールを決定することで開始する。次いで、画像エッジの検出を行う。画像ディテールおよびエッジ情報を使用して、画像を濾波するためのフィルタのプロパティを選択する。例として、画像ディテールおよびエッジ情報を使用して、タップの数およびそれらの整数値を選択することができる。本原理の技法は、コンテンツに依存する空間濾波を使用することによって、速度と画像ディテールとの間の良好なトレードオフを提供するフィルタの選択を達成する。

図１に、画像を濾波して雑音を低減するための本原理によるフィルタ選択プロセスを、フロー・チャートに示す。本原理のフィルタ選択プロセスは、フィルタが画像ディテールおよびエッジ鮮鋭度を維持することになるように、画像コンテンツを利用してフィルタ特性を選択する。このフィルタ選択プロセスは、まず、濾波を施されることになっている画像内でディテールを決定することで開始する。例示的な実施例では、画像中のディテールを検出することは、位置ｘのピクセルと位置ｘ−１のピクセルとの間における画像強度の勾配を確立することによって、図１に示すステップ１２の間にピクセル単位で行われる。数学的には、ピクセル勾配は以下のように表すことができる。
Ｇｒａｄ（ｘ）＝ｆ（ｘ）−ｆ（ｘ−１） 式（１）
上式で、Ｇｒａｄ（ｘ）は、位置ｘにおける勾配であり、ｆ（ｋ）は、位置ｋにおけるピクセル値である。

局所勾配は、そのピクセルにおける選択されるフィルタの特性を決定する。１組の離散的な閾値のそれぞれと比較した勾配の大きさが、フィルタ・パラメータ、特にフィルタ・タップの数を決定する。例えば、
０≦勾配＜閾値１の条件では、７タップを選択する。
閾値１≦勾配＜閾値２の条件では、５タップを選択する。
閾値２≦勾配の条件では、３タップを選択する。
勾配と関連閾値との差が、フィルタ強度を決定する。

前述の勾配適応方法を使用すると、濾波に続いて得られる画像中にジッタおよび他のアーティファクトを招く可能性がある。特に、画像のエッジを濾波している間にフィルタ特性が変化した場合、濾波されたこのエッジの出現においてジッタが生じる可能性がある。本原理の一特徴によれば、図１に示すステップ１４の間に計算される最大近接勾配を使用して検出される最大近接エッジによって決定される一貫したフィルタで（通常は最も弱い強度で）エッジを濾波することにより、ジッタの低減がもたらされることになる。

最大近接勾配を決定するための計算を実施して最大近接エッジを突き止めることは、中央処理装置（図示せず）のサイクルを多く消費する可能性がある。以下の最適化方式により、このようなサイクルの数を削減することができる。サイズＮ×Ｍ（ＮおよびＭはそれぞれ整数）の所与の画像アレイ内で、各列内の最大近接勾配を計算し、次いでこれらの列からの中間結果を使用することで、１ピクセル当たりの操作数を削減する。この方法がどのように計算数を削減するかを理解するために、サイズ７×７のピクセル・ウィンドウを考えてみる。このサイズのウィンドウ内で最大勾配Ｇ（ｘ，ｙ）を計算する場合、１ピクセル当たり４９個の操作が必要になる。しかし、各列内で最大勾配を計算し、この結果を、ウィンドウの最大勾配を後で決定するために記憶する場合、１ピクセル当たり１４個の操作しか必要でない。７×７のアレイの場合に列単位で勾配を計算するこの方法は、速度面で３．５（４９／１４＝３．５）の優位をもたらす。これと同じ技法は、他のパラメータ、例えば平均ピクセル強度などの計算に適用することができる。図３Ａおよび３Ｂに、ピクセル単位で最大近接勾配を計算する従来の方法を使用したときの、例示的なピクセル（ｘ，ｙ）および次のピクセル（ｘ＋１，ｙ）をそれぞれ示す画像ブロックを示す。図４Ａおよび４Ｂに、列単位で最大近接勾配を計算して結果を記憶する本原理の技法を使用したときの、例示的なピクセル（ｘ，ｙ）および次のピクセル（ｘ＋１，ｙ）をそれぞれ示す画像ブロックを示す。

画像のエッジを検出する技法には様々なものが存在する。例えば、図２Ａおよび２Ｂにそれぞれ示す垂直カーネルおよび水平カーネルによって例示されるフィルタ特性を有する１対のソーベル（Ｓｏｂｅｌ）フィルタは、画像のエッジを推定するのに役立つことができる。

図１を参照すると、ステップ１４の間に最大近接勾配の計算を行って所望のフィルタ・パラメータが確立されるが、それに続いて、ステップ１６の間にフィルタ選択が行われる。例示する実施例では、３組のフィルタ、すなわち３タップ、５タップ、および７タップが使用される。

７タップ・フィルタは、最高の強度から最も弱い強度まで１１個の整数を有し、典型的には２５６によるスケーリングを必要とする。表１に、例示的な７タップ・フィルタを列挙する。

５タップ・フィルタは、１０個の整数を有し、やはり典型的には２５６によるスケーリングを必要とする。表２に、例示的な５タップ・フィルタを列挙する。

３タップ・フィルタは、７つの整数を有し、典型的には２５６によるスケーリングを必要とする。表３に、例示的な３タップ・フィルタを列挙する。

上に論じたように、本原理のフィルタ選択技法は、同レベルの濾波を維持しながら画像エッジを保存しようと努めるフィルタをもたらす。特定のフィルタ長を選択した後で任意選択のステップ１８を実施することができ、これによりエッジにわたる濾波が防止される。濾波される方向で画像エッジを検出すると、タップの数を削減することによって、あるいはこの特定方向でまったく濾波しないことによって、フィルタ強度が減少することになる。ステップ１８に続いて、ステップ２０の間に、選択されたフィルタに従って画像の濾波が行われる。

エッジの近傍におけるフィルタを選択するプロセスをよりよく理解するために図５Ａを参照するが、この図では、３タップ、５タップ、および７タップ・フィルタのうちの１つをそれぞれ使用した中心ピクセルＰ（ｘ，ｙ）から種々の方向への濾波の可能性を、異なる陰影付けを用いて示す。図５Ｂを参照すると、画像中でエッジ（図の上部に例示的に現れている）を検出したとき、フィルタ強度は減少することになる。

以上、良好な性能を提供しながら画像ディテールを保存する、画像濾波のためのフィルタを選択する技法について述べた。

ピクチャ・ディテールおよび画像エッジ鮮鋭度を維持しながら画像を濾波して雑音を低減するための本原理によるフィルタ選択方法の個々のステップを、フロー・チャート形式で示す図である。 画像内のエッジが検出される方式を例示的に示すための、画像の垂直カーネルを示す図である。 画像内のエッジが検出される方式を例示的に示すための、画像の水平カーネルを示す図である。 濾波が行われる方法を示すための７×７ピクセルの画像ウィンドウを示す図である。 濾波が行われる方法を示すための７×７ピクセルの画像ウィンドウを示す図である。 濾波が行われる方法を示すための７×７ピクセルの画像ウィンドウを示す図である。 濾波が行われる方法を示すための７×７ピクセルの画像ウィンドウを示す図である。 可能なフィルタ方向およびフィルタ長を示すための画像ウィンドウを示す図である。 画像エッジの近傍における選択されたフィルタを示す、図５Ａの画像ウィンドウを示す図である。 本技法により選択された７タップ・フィルタの周波数応答をそれぞれ示す図である。 本技法により選択された５タップ・フィルタの周波数応答をそれぞれ示す図である。 本技法により選択された３タップ・フィルタの周波数応答をそれぞれ示す図である。

Claims (12)

1. 画像を濾波するためのフィルタを選択する方法であって、
   前記画像の全体にわたってディテールを決定するステップと、
   前記画像のエッジを検出するステップと、
   前記画像のディテールおよびエッジに従って、前記画像を濾波するためのフィルタのプロパティを選択するステップと、
   を含む、前記方法。
2. 前記画像のディテールを決定するステップは、前記画像内の各ピクセルにつき勾配を計算するステップを含む、請求項１に記載の方法。
3. 前記勾配を計算するステップは、各ピクセルにつき最大近接勾配を計算するステップをさらに含む、請求項２に記載の方法。
4. 前記画像のエッジを検出するステップは、ソーベル・フィルタによって前記画像を濾波するステップをさらに含む、請求項１に記載の方法。
5. 前記フィルタの前記プロパティを選択するステップは、
   前記ピクセル勾配が種々の閾値を超過するかどうかに応じてフィルタ・タップの数量を決定するステップと、
   閾値間の距離に応じてフィルタ強度を決定するステップと、
   をさらに含む、請求項２に記載の方法。
6. 前記選択されたプロパティを有するフィルタを使用して前記画像を濾波するステップをさらに含む、請求項１に記載の方法。
7. 画像を濾波する方法であって、
   前記画像の全体にわたってディテールを決定するステップと、
   前記画像のエッジを検出するステップと、
   前記画像のディテールおよびエッジに従って、前記画像を濾波するためのフィルタのプロパティを選択するステップと、
   前記選択されたプロパティを有するフィルタによって前記画像を濾波するステップと、を含む前記方法。
8. 前記濾波するステップは、弱い濾波強度で画像のエッジを濾波するステップをさらに含む、請求項７に記載の方法。
9. 前記画像のディテールを決定するステップは、前記画像内の各ピクセルにつき勾配を計算するステップを含む、請求項７に記載の方法。
10. 前記勾配を計算するステップは、各ピクセルにつき最大近接勾配を計算するステップをさらに含む、請求項９に記載の方法。
11. 前記画像のエッジを検出するステップは、ソーベル・フィルタによって前記画像を濾波するステップをさらに含む、請求項７に記載の方法。
12. 前記フィルタのプロパティを選択するステップは、
    前記ピクセル勾配が種々の閾値を超過するかどうかに応じてフィルタ・タップの数量を決定するステップと、
    閾値間の距離に応じてフィルタ強度を決定するステップと、
    をさらに含む、請求項９に記載の方法。