JP2006148878A - 画像中の画素を分類する方法 - Google Patents

Abstract

【課題】低い計算複雑性で、より高い画像／ビデオ画質を達成する新規のフィルタリング構造を提供することが望ましい。
【解決手段】方法は、先ず画像をブロックに分割することによって、画像中の画素を分類する。各画素の強度の分散を求め、ブロック毎に最大分散を有する画素を特定する。次に、最大分散に応じてブロックをクラスに分類する。
【選択図】図１

Description

本発明は、包括的にはデジタル信号処理に関し、特に、画像中の画素を分類し、この分類に応じて画素をフィルタリングすることに関する。

圧縮は、デジタルカメラ、放送ＴＶおよびＤＶＤを含む多くの画像化の用途において、メモリに記憶することのできる画像数を増やすため、または送信帯域幅を減らすために用いられている。圧縮比が高い場合には、量子化および係数の打ち切りの副作用により、復元画像中に目に見えるアーチファクトが生じる可能性がある。現実的な解決策は、復元画像をフィルタリングして、目に見えるアーチファクトを抑え、復元画像の主観的な品質を保証することである。

ＩＴＵ−Ｔ Ｈ．２６ｘおよびＭＰＥＧ−１／２／４等のほとんどのビデオ符号化規格は、ブロックに基づくプロセスを用いる。高い圧縮比では、基礎を成すブロックに基づく処理により、いくつかのアーチファクトが目に見える。最も一般的なアーチファクトは、ブロッキングおよびリンギングである。

ブロッキングアーチファクトは、復元画像のモノトーン領域のブロック境界に沿って格子ノイズとして現れる。ブロッキングアーチファクトは、隣接するブロックが別個に処理され、ブロック境界における画素強度が復元後に完全にそろわないために生じる。リンギングアーチファクトは、復元画像のエッジに沿って、より顕著である。この効果は、ギブス現象として知られ、量子化ＡＣ係数による高周波係数の打ち切りによって生じる。

これらの符号化アーチファクトを除去するための多くの後処理技法が知られている。

空間領域法が、Lee他に対して２００３年３月２５日付で発行された米国特許第６，５３９，０６０号「Image data post-processing method for reducing quantization effect, apparatus therefor」、Osaに対して２００２年１２月１７日付で発行された米国特許第６，４９６，６０５号「Block deformation removing filter, image processing apparatus using the same, method of filtering image signal, and storage medium for storing software therefor」、Konstantinidesに対して２００１年１１月２０日付で発行された米国特許第６，３２０，９０５号「Postprocessing system for removing blocking artifacts in block-based codecs」、Cheung他に対して２００１年１月２３日付で発行された米国特許第６，１７８，２０５号「Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering」、Sugahara他に対して２０００年１２月２６日付で発行された米国特許第６，１６７，１５７号「Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data」、およびGupta他に対して１９９９年７月６日付で発行された米国特許第５，９２０，３５６号「Coding parameter adaptive transform artifact reduction process」に記載されている。

離散コサイン変換（ＤＣＴ）領域法が、Triantafyllidis等著「Blocking artifact detection and reduction in compressed data」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 12, October 2002）、およびChen等著「Adaptive post-filtering of transform coefficients for the reduction of blocking artifacts」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 11, May 2001）に記載されている。

ウェーブレットに基づくフィルタリング法が、Xiong等著「A deblocking algorithm for JPEG compressed images using overcomplete wavelet representations」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 7, No. 2, August 1997）、およびLang等著「Noise reduction using an undecimated discrete wavelet transform」（Signal Processing Newsletters, Vol. 13, January 1996）に記載されている。

反復法が、Paek等著「A DCT-based spatially adaptive post-processing technique to reduce the blocking artifacts in transform coded images」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 10, February 2000）、およびPaek等著「On the POCS-based post-processing technique to reduce the blocking artifacts in transform coded images」（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 8, June 1998）に記載されている。

ファジィルールに基づくフィルタリング法が、Arakawa著「Fuzzy rule-based signal processing and its application to image restoration」（IEEE Journal on selected areas in communications, Vol. 12, No. 9, December 1994）、およびGiura他に対して２００１年１２月１８日付で発行された米国特許第６，３３２，１３６号「Fuzzy filtering method and associated fuzzy filter」に記載されている。

従来技術の方法のほとんどは、ブロッキングノイズのみを扱う。そうした方法は、リンギングノイズには効果がない。ウェーブレットに基づく方法のようないくつかの方法は、リンギングを抑えることができるが、復元画像全体をぼかしてしまう。従来技術のファジィルールに基づくフィルタリング法は、白色ガウス雑音のみを扱う。

上記の従来技術の方法は、画素に別個に作用し、各画素に同一のフィルタを適用する。そうした方法は、概して、画像の基礎を成す内容を考慮しない。したがって、それらのフィルタは、アーチファクトを除去するために画像を過度に平滑化してぼかしてしまうか、または、最小限の平滑化を適用した場合には、アーチファクトを十分に低減することができない。

そうした方法のもう１つの問題は、計算の複雑性である。例えば、ウェーブレットに基づく方法は、ウェーブレット画像を得るために８回の畳み込みに基づくローパスおよびハイパスフィルタリング操作を必要とする。次に、それらのウェーブレット画像に対してデブロッキング操作を行って、ブロッキングアーチファクトを除去する。デブロッキングされた画像を再構成するために、１２回の畳み込みに基づくローパスおよびハイパスフィルタリング操作が必要となる。したがって、その方法では、合計２０回の畳み込みに基づくフィルタリング操作が必要である。この計算コストは、リアルタイム処理の要件を満たすことができない。このウェーブレットに基づく方法と同様に、ＤＣＴ領域法もまた、高い計算複雑性を有する。５×５のウィンドウを用いたローパスフィルタリングの場合には、単一の８×８ブロックを処理するために２５回のＤＣＴ操作が必要である。このような複雑性の高さもやはり、リアルタイム処理には非現実的である。反復法の計算コストは、上記の２つの方法よりもさらに高い。ファジィルールに基づくフィルタリング法について言えば、反復法は、多数のフィルタパラメータおよび付加的な訓練データを必要とする。

従来技術の方法の問題に鑑みて、低い計算複雑性で、より高い画像／ビデオ画質を達成する新規のフィルタリング構造を提供することが望ましい。

方法は、先ず画像をブロックに分割することによって、画像中の画素を分類する。各画素の強度の分散を求め、ブロック毎に最大分散を有する画素を特定する。次に、最大分散に応じてブロックをクラスに分類する。

図１は、本発明によるシステムおよび方法１００を示す。本システムは、いかなる画像またはビデオデコーダとも独立している。本システムは、圧縮された画像またはビデオに埋め込まれたいかなる符号化パラメータにも頼らない。本発明は、画像中の局所的な特徴部に重点を置いている。本発明による方法は、局所的な特徴部を抽出し、これらを分類する。次に、画像が復元画像である場合には、分類された特徴部を用いて、画素を選択的かつ適応的にフィルタリングすることができる。

入力は、画像２０１である。本方法は、いずれの画像形式（例えば、ＹＵＶまたはＲＧＢ）にも有効である。本システムは、ビデオにおけるような画像シーケンスを処理できることを理解すべきである。例えば、画像２０１は、プログレッシブビデオまたはインタレースビデオの一部であってもよい。また、入力画像は、一度も圧縮されていない原画像であっても、復元画像であってもよいことにも留意すべきである。

しかし、入力画像が圧縮画像から得られた復元画像であり、圧縮画像が、ブロックに基づく圧縮プロセスを用いて圧縮された原画像から得られたものである場合には、以前の圧縮により、復元画像２０１は、圧縮画像のＤＣＴ係数ブロックの別個の量子化によって生じたブロッキングアーチファクトを有する。したがって、復元画像２０１は、隣接するブロック間の空間値にブロック途切れがある。復元画像中のエッジに沿ってリンギングアーチファクトが生じる可能性もある。

元の原情報を保持する一方で、これらのアーチファクトを低減するために、本発明によるフィルタリングは、入力画像２０１中の局所的な特徴部の分類に基づく。さらに、フィルタリングはこの分類に対して適応的である。

分散画像
統計的な観点から、画素の強度値の分布は、復元画像の特徴部を示す。画像の平均強度値ｍは、画像のＤＣ成分を表す。平均強度値は、次式によって測定することができる。

ここで、ＭおよびＮは、復元画像の画素数に換算した幅および高さであり、ｐ_ｘｉ，ｊは、ｉ，ｊの位置に生じる画素の確率である。

復元画像の平均パワーは、次式で表される平均二乗値である。

平均の変動は、次式で表される分散である。

平均二乗は、画像中のＤＣ成分の平均パワーを表し、分散は、圧縮画像２０１中のＡＣ周波数成分の平均パワーを表す。したがって、強度値の分散は、画像中のエネルギーを表すＡＣパワーの変動の尺度として用いられる。

ある画素の分散が高い場合には、その画素は、エッジに関連する可能性が高い。分散が低い場合には、その画素は、画像の均質領域、例えば、平滑な背景の一部である。したがって、分散は、画像中の局所的な特徴部の特性を示す。

ブロッキングアーチファクトとリンギングアーチファクトは、ともに局所的な特徴部の特性によるものである、すなわち、アーチファクトは、ブロック境界またはエッジ付近に現れるため、局所的な特徴部は、これらのアーチファクトを示すのに十分である。したがって、本発明による分類およびフィルタリングは、上記の式（３）に記載したような画素強度値の局所分散によって測定されるエネルギー分布に基づく。特徴部の特性は、以下のように強度値２１１を抽出する（２１０）ことによって求める。

図３に示すように、平滑３×３フィルタ３０１で復元画像２０１中の各画素３０２を走査する。走査は、ラスタスキャン順に行うことができる。フィルタの各中心画素３０１について、式（１）〜（３）に従って強度値２１１の平均および分散を求める（２２０）。分散値は、分散画像４０１を形成する。幾何学的な観点から、局所分散は、各画素位置における復元画像の勾配を反映する。画像中のエッジにおける勾配は、非常に高いためである。

図４に示すように、特徴部の抽出および走査は、画素が強度値２１１を有する空間領域の復元画像２０１を、画素が分散４１１を有するエネルギー領域の分散画像４０１に変換する。

画素の分類
図５に示すように、第１のしきい値＿１未満の分散を有する画素２１１を、クラス＿０ ５０１として分類する（２３０）。これらの画素は、画像中の均質な、すなわち「平滑な」領域に対応する。第２のしきい値＿２よりも大きい分散を有する画素を、クラス＿１ ５０２として分類する。これらの画素は、エッジに対応する可能性が最も高い。これら２つのしきい値の間の分散を有する画素を、クラス＿２ ５０３として分類する。これらの画素は、近傍画素の特性に応じてリンギングノイズまたはテクスチャとして考えることができる。本発明による適応的フィルタリングは、上記の分類に応じて実行される。

ブロックの分類
画素ブロックも、分散画像４０１中の分散値に応じて「平滑」ブロック２４１、「テクスチャ」ブロック２４２および「エッジ」ブロック２４３に分類する（２４０）。ブロックの分類２４０は、各ブロック内の総分散に基づいて、またはブロック内の各クラスの画素数を計数することによって行うことができる。例えば、ブロック内の画素が全てクラス＿０である場合には、そのブロックを平滑ブロックとして分類する。ブロック内の少なくとも１つの画素がクラス＿１である場合には、そのブロックをエッジブロックとして分類する。その他の、ブロックがクラス＿０とクラス＿２の両方の画素を有する場合には、そのブロックをテクスチャブロックとして分類する。

ブロッキングアーチファクトの検出
最もよく知られている画像およびビデオの圧縮規格は、画素ブロックのＤＣＴ符号化に基づいている。ブロックに基づく符号化は、画像を完全に、通常は、１ブロックが８×８画素である画素ブロックに分割する。各ブロックの画素は、別個にＤＣＴ係数に変換される。次に、ＤＣＴ係数は、所定の量子化行列に応じて量子化される。別個の符号化のために、ブロッキングアーチファクトがブロック境界で目に見える。

図６は、８×８のブロック６００上でブロッキングアーチファクトを検出する（２５０）方法を示す。外側の画素を星印６０１で示し、「内側の」画素を黒丸６０２で示す。内側の画素は、ブロック内の一番上の行および左の列に隣接して、それと平行に位置する。検出２５０は、ブロック毎に左から右へ、また上から下へ行われる。

ブロッキングアーチファクトが存在する場合には、外側の画素６０１の分散の勾配は、内側の画素６０２とほぼ同じである。ブロッキングアーチファクトがあることを判定する基準は、次の通りである。

ｓｉｇｎ（符号）は、＋１または−１のいずれかである。上記のテストは、ブロッキングアーチファクトと、ブロック境界にあるエッジとを区別する。

デブロッキングフィルタ
図７に示すように、ブロッキングアーチファクトは、復元画像中の検出されたブロック境界をフィルタリングすることによって除去される（２６０）。ブロッキングアーチファクトが検出された場合には、画素に対してブロック境界６０１に沿って１次元ローパス（平滑化）フィルタを適応的に適用する。フィルタ７０２、７０４、７０６のサイズ（例えば２、４、６またはそれ以上の画素数）は、ブロック境界における勾配に対応する。大きな勾配値を有する画素（すなわちエッジ画素）は、フィルタリング操作から除外し、エッジやテクスチャをぼかすことを避ける。

ファジィフィルタ
ファジィフィルタ２７１を適用することによって、デリンギング２７０は、エッジブロック２４３のみに作用する。本発明によるファジィフィルタは、ファジィ変換理論に基づく。Nie等著「Fuzzy transformation and its applications」（IEEE International Conference on Image Processing, Barcelona, Spain, September, 2003）を参照願いたい。

ファジィ変換において、空間サンプルｘ_ｉ（例えば画素の強度値）と順序統計量ｘ_ｊの関係は、実数値のガウス関数μ_Ｆ（ａ，ｂ）によって確立され、ここで、ｉは空間インデックスｉ＝１，２，．．．，Ｎであり、ｊ＝１，２，．．．，Ｎは順序統計量であり、ｘ_（１）≦ｘ_（２）≦．．．≦ｘ_（Ｎ）であり、観測またはフィルタリングウィンドウのサイズはＮである。

メンバシップ関数は以下の制約を有する。

これにより、次式によって定義されるＮ×Ｎのファジィ空間ランク（ＳＲ）行列が得られる。

ファジィＳＲ行列Ｒ（チルダ）の要素は、各対の画素間の値の差に依存するため、ファジィＳＲ行列は、観測画素に埋め込まれた広がり情報を含む。

元のすなわち「はっきりした」空間画素は、はっきりした順序統計量ベクトルに行正規化ファジィＳＲ行列を掛けることによって、ファジィ空間画素に「変換」することができる。結果として得られるファジィ空間画素は、広がり情報も反映する。本発明によるファジィフィルタ２７１の出力２７２は、観測またはフィルタリングウィンドウの中心画素がぼやけた（fuzzy）ものに相当する。

フィルタの出力は、以下の単純化された式を用いて得ることができる。

ここで、ｘ_ｃおよびｘ_ｃ（チルダ）は、それぞれ、はっきりした中心画素およびぼやけた中心画素である。

フィルタの出力の最後の式から示唆されるように、順序付け操作は不要である。したがって、ファジィフィルタ２７１の計算複雑性は、線形フィルタよりもわずかに高いだけである。唯一の付加的な計算は、Ｎ−１対の画素間で関数の値を評価するためのものである。全画素についてμ_Ｆ（ｘ_ｃ，ｘ_ｃ）＝１であるため、求める必要がないことに留意されたい。

本発明の１実施形態において、実数値の関数μ_ｇ（ａ，ｂ）は、次式のガウス関数によって定義される。

ここで、広がりパラメータξは２０である。

図２は、サンプルｘ_ｉ（ｉ＝１，２，．．．，Ｎ）とウィンドウの中心サンプルｘ_ｃの値の類似性を表すガウス関数のいくつかの値の例を示す。この所与の例において、ｘ_ｃ＝１２８、ｘ_１＝１８０、ｘ_２＝２０、ｘ_３＝１００である。

上記の式から、ファジィフィルタの出力は、フィルタリングウィンドウ内のサンプルの加重平均であることが分かる。ガウス関数の値、すなわち中心サンプル自体を含む各サンプルと中心サンプルの類似性の尺度は、対応するサンプルの重みとして用いられる。

したがって、サンプルの値が中心サンプルに近いほど、より大きな重みがそのサンプルに割り当てられる。これは、類似した値のサンプルは、それらの局所平均の周囲でさらにクラスタリングされ、異なる値のサンプルは、ほぼそのままとなるという効果をもたらす。これは、ファジィ変換のクラスタリング特性として知られる。

結果として、本発明によるファジィフィルタ２７１は、データに適応的な平滑化機能を有するため、強いエッジを完全に保持し、その一方で、目障りなリンギングアーチファクトに関連する弱いエッジを除去することができる。

図８にこの機能を示す。この例において、「ステップ」信号の入力サンプル８０１は、均一に分散したノイズによって破壊されている。よって、破壊された信号は、はっきりしたサンプルの２つのグループからなり、一方のグループは０の周囲に局在し、他方のグループは１の周囲に局在している。

ファジィフィルタ２７１によるフィルタリングの後、類似した値のサンプルを含む各グループを、そのグループの局所平均の周囲でさらに密にクラスタリングし、結果として、フィルタリングされたステップ信号８０２を得る。こうして、均一な領域における望ましくない摂動を平滑化し、その一方でステップエッジを回復する。この例は、強いエッジの周囲のリンギングアーチファクトを正確に模擬していることに留意されたい。したがって、この例は、ファジィフィルタが如何にこれらのアーチファクトを除去するとともにエッジを保持するかを示している。

適応的フィルタリング
上記の式（６）から、ウィンドウ内のぼやけた中心画素は、加重平均であることが分かる。各重みは、特に広がりパラメータξにより定められるようなガウス関数によって与えられる。広がりパラメータは、ガウス関数の形状、すなわちフィルタリングの範囲を制御する。広がりパラメータξが大きい場合には、ガウス関数は、比較的広い。これは、より平滑なフィルタに対応する。広がりパラメータξが小さい場合には、ガウス関数は狭く、フィルタリングの平滑さは低下する。ウィンドウサイズＮは、同様の特性を有する。大きなウィンドウは、小さなウィンドウよりも強い平滑化効果を有する。

したがって、本発明は、適応的ファジィフィルタリング方法を提供する。ウィンドウサイズＮおよび広がりパラメータξは、分散画像４０１中の値に応じて適応的に決められる。

ウィンドウサイズＮと広がりパラメータξの可能な組み合わせとして以下の４つがある。
小さなウィンドウＮと小さなξ
小さなウィンドウＮと大きなξ
大きなウィンドウＮと小さなξ
大きなウィンドウＮと大きなξ

本発明の基本原則として、小さな分散は、小さなウィンドウおよび小さな広がりパラメータξに対応し、大きな分散は、大きなウィンドウおよび大きな広がりパラメータξに対応する。

図９は、本発明による適応方法のステップを示す。開始９１０において、本方法に対する入力は、次の分類ブロック９０１（終了９９０まで）、および対応する復元画像ブロック９０２である。

ステップ９２０において、分散画像４０１中の分散値が２２よりも大きいかどうかを判定する。真９２１である場合には、対応する画素は、おそらくエッジ上にある可能性が高い。したがって、エッジの鮮明さを保持するために、この画素は、オールパスフィルタリングする。基本的なファジィフィルタリングでは、上述のように、全てのエッジ画素を、同一の広がりパラメータを有する同一のフィルタによりフィルタリングする。

反対に、偽である場合には、ステップ９３０により、分散値が２２よりも小さく、かつ１０以上であるかを判定する。真９３１である場合には、その画素は、おそらくリンギングノイズにより破壊されているため、大きな広がりパラメータ９４０（ξは３０である）および大きなウィンドウサイズ９４１（Ｎは５×５である）を選択する。すなわち、強い平滑ファジィフィルタをフィルタリング９７０に用いて、リンギングアーチファクトを最大限に低減する。

反対に、偽である場合には、ステップ９５０により、分散が１０以下であり、かつ４以上であるかを判定する。真９５１である場合には、対応する画素は「弱い」エッジ領域にあるか、リンギングノイズにより少し破壊されている可能性がある。この場合には、小さな広がりパラメータ９６０（ξは１５である）および小さなウィンドウ９６１（Ｎは３×３である）、すなわち、弱い平滑ファジィフィルタをフィルタリング９７０に用いる。反対に、分散が４未満である場合には、その画素は、平滑領域にあるため、オールパスフィルタリングを適用し、次の画素を処理する。全ての画素を処理した後、フィルタリングされたブロックを出力し（９８０）、終了９９０まで次のブロック９０１を処理する。

分散、ウィンドウ、および広がりパラメータのさまざまな制限値、例えば（２２，１０，２）、（５，３）、および（３０，１５）は、異なる用途について変更できるが、依然として本発明の精神および範囲内にあることに留意すべきである。

デブロッキングの改善
従来のインタレースビデオでは、フレームに基づく符号化方式とフィールドに基づく符号化方式とを併用して単一のフレームを符号化することができる。これにより、アーチファクトの複雑性が高まる。より良好なアーチファクト除去および細部の保持を達成するために、本発明では、各ビデオフレームの２つのフィールドを別個に処理する。異なる方式を用いて縦方向および横方向のデブロッキングを行う。異なるウィンドウサイズを有する１Ｄの適応的ファジィフィルタを適用して、横方向および縦方向のブロッキングアーチファクトをそれぞれ除去する。

縦方向のブロッキングアーチファクトの検出
図１０に示すように、縦方向のブロッキングアーチファクトの検出を、８×８の画素の行１０１１と交差する縦方向の各ブロック境界１０１０に沿って行う。画素強度の差Ｇ０を、Ｇ０＝｜ｘ０−ｙ７｜により求める。次に、Ｌ１、Ｌ２、Ｌ３、Ｌ４およびＲ１、Ｒ２、Ｒ３、Ｒ４でそれぞれ示される、ブロック境界の左側および右側にある各隣接画素対の強度の差も求める。
ｍａｘ（Ｌ１，Ｌ２，Ｌ３，Ｌ４）＜Ｇ０またはｍａｘ（Ｒ１，Ｒ２，Ｒ３，Ｒ４）＜Ｇ０
である場合には、その行をマークし、その行に沿って境界ギャップを検出する。

行１０１１の８つの境界画素対すべてを、縦方向のブロック境界１０１０に沿って調べた後、マークされた行（すなわち境界ギャップ）の数が所定のしきい値ＴＨ１（例えばＴＨ１＝０）よりも大きい場合には、現在の縦方向のブロック境界においてブロッキングアーチファクトを検出し、この境界をまたいで１Ｄの適応的ファジィフィルタリングを行って縦方向のブロッキングアーチファクトを除去するか、またはフィルタリングを省略する。

縦方向のブロッキングアーチファクトの除去
図１１に示すように、ブロック境界にまたがるマークされた行においてのみ１Ｄフィルタリングを行う。
ＭＡＸ（Ｌ１，Ｌ２，Ｌ３，Ｌ４）＜Ｇ０
である場合（境界ギャップが左側にある隣接画素間の差と比べて明らかであることを意味する）には、画素１１１１、すなわちｙ６、ｙ７およびｘ０をフィルタリングする。同様に、
ＭＡＸ（Ｒ１，Ｒ２，Ｒ３，Ｒ４）＜Ｇ０
である場合には、画素１１１２、すなわちｙ７、ｘ０およびｘ１をフィルタリングする。

境界の片側にある隣接画素対の強度差が境界ギャップよりも大きい場合（入力画像中のエッジにより生じる可能性が高い）には、境界ギャップはおそらく存在しないため、この側のおける行のフィルタリングは不要であることに留意されたい。これは、画像中のエッジを保持する一方で、エッジのように見えるブロッキングアーチファクトを依然としてフィルタリングすることにも役立つ。

１Ｄファジィフィルタ
縦方向のブロッキングアーチファクトの平滑化に用いるフィルタは、フィルタリングすべき各画素（例えばｙ６）を中心とする５タップファジィフィルタ１１１３である。このファジィフィルタは、ブロック境界に沿って位置する強いエッジを保持する。

ファジィフィルタの出力は、次のように表される。

ここで、ｘ_ｃは、フィルタウィンドウの中心画素であり、μ_Ｌ（・）は、以下のように定義される区分的線形関数である。

横方向のブロッキングアーチファクトの検出
図１２は、横方向のブロック境界１２０１と交差する画素列において横方向のブロッキングアーチファクトを検出する方法を示す。Ｇ０は、境界画素対の画像強度の差（すなわち、Ｇ０＝｜ｘ０−ｙ７｜）であり、Ｕ１、Ｕ２、Ｕ３、Ｕ４およびＢ１、Ｂ２、Ｂ３、Ｂ４は、横方向の境界の上側および下側にある各隣接画素対の強度差である。Ｇ_ＵＬ、Ｇ_ＵＲ、Ｇ_ＢＬおよびＧ_ＢＲはそれぞれ、隣接する左上、右上、左下および右下の縦方向の境界における縦方向の境界ギャップの数である。

横方向のブロッキングアーチファクトの検出は、８×８ブロックの横方向の各境界に沿って行われる。本方法は、縦方向のブロッキングアーチファクトの検出に使用するものと同様であるが、横方向のブロッキングアーチファクトを特定する前に、追加条件を満たす必要がある。これらの条件を追加する理由は、ブロッキングアーチファクトをより正確に検出するとともに、ブロック境界に沿って存在する可能性がある画像中の横方向のエッジにまたがるフィルタリングを避けるためである。これらの本物のエッジをフィルタリングすると、目障りなアーチファクトが生じることになる。

先ず、縦方向の境界ギャップの検出および計数と同じ方法を用いて、横方向の境界ギャップを検出し計数する。しかし、今回は、全ての操作を、現在の横方向の境界にまたがる各列で行う。現在の横方向の境界に沿って検出される横方向の境界ギャップの数が所定のしきい値ＴＨ２（例えばＴＨ２＝５）未満である場合には、この境界にまたがるフィルタリングは行わない。そうでない場合には、現在の横方向の境界に隣接する４つの縦方向のブロック境界、すなわち、左上、右上、左下および右下の縦方向のブロック境界を調べて、現在の横方向の境界の周囲で大きな縦方向のブロッキングアーチファクトが生じているかどうかを確認する。

Ｇ_ＵＬ、Ｇ_ＵＲ、Ｇ_ＢＬ、Ｇ_ＢＲは、それぞれ、左上、右上、左下および右下の縦方向の境界において検出される境界ギャップの数を示すものとする。以下の条件のうち少なくとも１つが満たされる場合には、大きな縦方向のブロッキングアーチファクトも検出されているため、現在の横方向の境界において横方向のブロッキングアーチファクトが生じると仮定する。

条件
（Ｇ_ＵＬ＞ＴＨ２）かつ（Ｇ_ＵＲ＞ＴＨ２）
（Ｇ_ＢＬ＞ＴＨ２）かつ（Ｇ_ＢＲ＞ＴＨ２）
（Ｇ_ＵＬ＞７）または（Ｇ_ＵＲ＞７）または（Ｇ_ＢＬ＞７）または（Ｇ_ＢＲ＞７）

横方向の境界よりも先に縦方向の境界を処理するため、縦方向の各境界における縦方向の境界ギャップの数は既知である。

横方向のブロッキングアーチファクトの除去
図１３に示すように、横方向のブロック境界にまたがるマークされた列においてのみ１Ｄフィルタリングを行う。ＭＡＸ（Ｕ１，Ｕ２，Ｕ３，Ｕ４）＜Ｇ０である場合（境界ギャップが上側にある隣接画素間の差と比べて明らかであることを意味する）には、画素１３０１、すなわちｙ６、ｙ７をフィルタリングする。

同様に、ＭＡＸ（Ｂ１，Ｂ２，Ｂ３，Ｂ４）＜Ｇ０である場合には、画素１３０２、すなわちｘ０、ｘ１をフィルタリングする。いずれの側でもｘ０とｙ７の両方をフィルタリングする縦方向の境界にまたがるフィルタリングとは異なり、いずれの側でも境界画素を１つ（ｘ０またはｙ７）しかフィルタリングしないことに留意されたい。これにより、横方向のエッジにまたがるフィルタリングが低減される。横方向のブロッキングアーチファクトの平滑化に用いるフィルタは、フィルタリングすべき各画素を中心とする３タップファジィフィルタ１３０３である。フィルタの重みは、式（７）を用いて決定する。

ブロックの分類
上述のように、ブロックの分類により、全体的な画質を下げることなく局所アーチファクトを大幅に低減することができる。しかし、ブロックの分類が同様に役立つ画像化用途は、他にも多くある。例えば、ブロックが適切に分類されれば、異なるブロックに異なる圧縮率および圧縮技法を適用することによって、全体的により高い圧縮率を達成することができる。例えば、平滑ブロックにはより高い圧縮率およびより単純な圧縮技法を適用して、より複雑なテクスチャを有するブロックに追加の帯域幅およびより高度な圧縮を適用できるようにすることができる。同様に、先ず「関心の低い」ブロックを廃棄することによって、パターン認識およびオブジェクト追跡の効率を高めることができる。さらに、画像検索システムが、分類されたブロックを選択的に用いて、コンテンツの検索および閲覧を加速することができる。

したがって、本発明は、以下のブロック分類技法を提供する。

図１４は、本発明によるブロック内の画素を分類する別の方法を示す。画像２０１は、上述のように、重複しない８×８のブロックに分割される。上述のように、分散画像４０１において、各画素の分散を求める。次に、最大の分散または標準偏差を有する画素を用いてブロックの分類を決める（分散＝σ^２であり、ＳＴＤ＝√（分散）である）。

各ブロックを、５つのカテゴリ、すなわち、強いエッジ１４０１、弱いエッジ１４０２、強いテクスチャ１４０３、弱いテクスチャ１４０４、および平滑１４０５のうちの１つに分類する。

ブロックのフィルタリング
プログレッシブビデオの場合には、各フレーム中の各ブロックについてフィルタリングを行い、インタレースビデオの場合には、各フィールド中のブロックに対してフィルタリングを行う。各ブロックのフィルタは、図１４に示すように、ブロックの分類および隣接するブロックの分類に応じて選択される。さらに、フィルタリングは、フィルタの広がりパラメータが最大分散または最大標準偏差に比例する、すなわち、最大標準偏差が大きくなるほど広がりパラメータも大きくなるという点で適応的である。

強いエッジブロック１４０１：８つの近傍ブロック１４２１（上、下、左、右、左上、右上、左下、右下）がすべて強いエッジブロックである場合には、オールパスフィルタリング１４６１を行ってブロックを出力し（１４４２）、そうでない場合には、各画素を適応的ファジィフィルタにより、広がりパラメータξを２０としてフィルタリング１４２３を行い（強い平滑ファジィフィルタリングである）、ブロックを出力する。

弱いエッジブロック１４０２：各画素を適応的ファジィフィルタにより、広がりパラメータξを１０に設定してフィルタリング１４３１を行い（弱い平滑ファジィフィルタリングである）、ブロックを出力する。

強いテクスチャブロック１４０３：４つの隣接するブロック１４４１（上、下、左、右）がすべて強いエッジブロックである場合には、オールパスフィルタリングして出力する。そうでない場合には、各画素をファジィフィルタにより、広がりパラメータξを１０に設定してフィルタリング１４３１を行う。

弱いテクスチャブロック１４０４：４つの隣接するブロックのうち少なくとも２つ１４５１（上、下、左、右）が平滑ブロックである場合には、各画素を適応的ファジィフィルタにより、広がりパラメータξを１０に設定してフィルタリング１４３１を行う。

平滑ブロック１４０５：ブロックが平滑ブロックである場合には、オールパスフィルタ１４６１を適用し、ブロックを出力１４４２する。

図１５Ａに示すように、強いエッジブロック１５０１が他の強いエッジブロックに完全に囲まれている場合には、そのブロックのフィルタリングは、省略することができる。これは、大きな強いエッジ領域では、マスキング効果によりリンギングアーチファクトが顕著には現れないためである。第２に、小さなアーチファクトが顕著に現れるのは平滑領域のみであるため、弱いエッジブロック１５０２は、隣接する平滑ブロックがある場合にのみフィルタリングすればよい。テクスチャブロックにおけるフィルタリングは、オプションとしてもよく、圧縮率に応じて選択することができる。圧縮率が高い、例えば、量子化スケールパラメータが４０を上回る場合には、復元されたテクスチャブロックにリンギングアーチファクトが現れる可能性が高い。したがって、弱い平滑ファジィフィルタリングを適用すべきである。

本発明を、好適な実施形態の例として説明してきたが、本発明の精神および範囲内でさまざまな他の適応および変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形および変更をすべて網羅することである。

本発明による復元画像からアーチファクトを除去する方法およびシステムのブロック図である。 本発明による画素値の類似性を評価しファジィフィルタパラメータを生成するガウス関数のグラフである。 本発明による特徴部抽出のブロック図である。 本発明による強度画像と分散の間のマッピングのブロック図である。 本発明による画素を分類するブロック図である。 本発明によるブロッキングアーチファクトを検出するブロック図である。 本発明によるブロッキングアーチファクトをフィルタリングするブロック図である。 本発明によるファジィフィルタのデータに適応的な平滑化特性を示すグラフである。 本発明による適応的フィルタリングのフローチャートである。 縦方向のブロッキングアーチファクトの検出のブロック図である。 縦方向のブロッキングアーチファクトの除去のブロック図である。 横方向のブロッキングアーチファクトの検出のブロック図である。 横方向のブロッキングアーチファクトの除去のブロック図である。 本発明による画素の分類およびフィルタリングのフローチャートである。 ８つの隣接するエッジブロックに囲まれたエッジブロックのブロック図である。 少なくとも２つの平滑ブロックに囲まれたエッジブロックのブロック図である。

Claims (17)

1. 画像中の画素を分類する方法であって、
   入力画像中の複数の画素を複数のブロックに分割することと、
   各画素の強度の分散を求めることと、
   各ブロックにおいて、最大分散を有する特定の画素を特定することと、および
   前記最大分散に応じて各ブロックを複数のクラスのうちの１つに分類することと
   を含む画像中の画素を分類する方法。
2. 前記複数のクラスは、エッジブロック、テクスチャブロック、および平滑ブロックを含む請求項１に記載の方法。
3. 前記エッジブロックは、強いエッジブロックおよび弱いエッジブロックを含み、前記テクスチャブロックは、強いテクスチャブロックおよび弱いテクスチャブロックを含む請求項２に記載の方法。
4. 各最大分散から最大標準偏差を求めることと、
   特定のブロックを分類することであって、
   前記最大標準偏差が［４０，＋∞）である場合に強いエッジブロック、
   前記最大標準偏差が［２０，４０）である場合に弱いエッジブロック、
   前記最大標準偏差が［１０，２０）である場合に強いテクスチャブロック、
   前記最大標準偏差が［５，１０）である場合に弱いテクスチャブロック、および
   前記最大標準偏差が［０，５）である場合に平滑ブロック
   として分類することと
   をさらに含む請求項１に記載の方法。
5. 各強いエッジブロックについて、該強いエッジブロックの８つの隣接するブロックもまた強いエッジブロックであるかどうかを判定し、真である場合には、該強いエッジブロックの画素をオールパスフィルタによりフィルタリングし、反対に偽である場合には、該強いエッジブロックの画素を強い平滑ファジィフィルタによりフィルタリングすることと、
   各弱いエッジブロックの画素を弱い平滑ファジィフィルタによりフィルタリングすることと、
   各強いテクスチャブロックについて、４つの隣接するブロックが強いエッジブロックであるかどうかを判定し、真である場合には、該強いテクスチャブロックの画素を前記オールパスフィルタによりフィルタリングし、反対に偽である場合には、該強いテクスチャブロックの画素を前記弱い平滑ファジィフィルタによりフィルタリングすることと、
   各弱いテクスチャブロックについて、少なくとも２つの隣接するブロックが平滑ブロックであるかどうかを判定し、真である場合には、該弱いテクスチャブロックの画素を前記弱い平滑ファジィフィルタによりフィルタリングし、反対に偽である場合には、該弱いテクスチャブロックの画素を前記オールパスフィルタによりフィルタリングすることと、
   各平滑ブロックの画素を前記オールパスフィルタによりフィルタリングすることと
   をさらに含む請求項３に記載の方法。
6. 前記フィルタリングすることは、前記強い平滑ファジィフィルタの場合に前記ウィンドウのサイズＮおよび前記広がりパラメータξは比較的大きく、前記弱い平滑ファジィフィルタの場合に前記ウィンドウのサイズＮおよび前記広がりパラメータξは比較的小さくなるようにして、フィルタリングすべき各画素を中心とする画素ウィンドウに、ξを広がりパラメータとする
   

   

   のガウス関数を適用することをさらに含む請求項５に記載の方法。
7. 前記強い平滑ファジィフィルタの場合に、Ｎは５×５、ξは２０であり、前記弱い平滑ファジィフィルタの場合に、Ｎは３×３、ξは１０である請求項６に記載の方法。
8. 分類された各ブロックを該ブロックの該分類に応じてフィルタリングすることをさらに含む請求項１に記載の方法。
9. 前記フィルタリングすることは、前記分類されたブロックの前記最大分散に比例する広がりパラメータを有するガウス関数を用いる請求項８に記載の方法。
10. 前記入力画像は、圧縮画像から得られ、前記フィルタリングすることは、該圧縮画像の圧縮に用いられた圧縮比に選択的に依存する請求項７に記載の方法。
11. 前記入力画像は、圧縮画像から得られ、該圧縮画像は、ブロックに基づく圧縮を用いて生成される請求項１に記載の方法。
12. 前記入力画像は、複数の画像のビデオシーケンスから得られる請求項１に記載の方法。
13. 前記ビデオは、圧縮ビデオから得られ、該圧縮ビデオは、ブロックに基づく圧縮を用いて生成される請求項１１に記載の方法。
14. 前記分類されたブロックを該分類に応じて圧縮することをさらに含む請求項１に記載の方法。
15. 前記分類されたブロックに対して該分類に応じてパターン認識を行うことをさらに含む請求項１に記載の方法。
16. 前記分類されたブロックに対して該分類に応じてオブジェクト追跡を行うことをさらに含む請求項１に記載の方法。
17. 前記分類されたブロックに対して該分類に応じて画像検索を行うことをさらに含む請求項１に記載の方法。

Images