JP2009095004A - 画像シーケンス中の画素をフィルタリングする方法 - Google Patents

Abstract

【課題】低い計算複雑性で、より高い画像／ビデオ画質を達成する新規のフィルタリング構造を提供する。
【解決手段】方法は、画像シーケンス中の画素をフィルタリングする。シーケンス中の各画像は複数の画素ブロックに分割され、画像は逐次処理される。各画像の画素ブロック毎にエネルギーが求められる。各ブロックのエネルギーは、画像シーケンス中の画素の強度の分散に基づく。逐次処理中に各現ブロック内の各現画素に３Ｄファジィフィルタが適用される。３Ｄファジィフィルタは、ブロックのエネルギー、並びに現画素に空間的に隣接する画素及び時間的に隣接する画素の強度を考慮してブロッキングアーチファクト及びリンギングアーチファクトを除去する。
【選択図】図１

Description

本発明は、包括的には画像処理に関し、特に、ブロック分類に応じた画像シーケンス中の画素のフィルタリングに関する。

圧縮は、デジタルカメラ、放送ＴＶ及びＤＶＤを含む多くの画像化の用途において、メモリに記憶することのできる画像数を増やすために、又は送信帯域幅を減らすために用いられている。圧縮比が高い場合には、量子化及び係数の打ち切りの副作用により、復元画像中に目に見えるアーチファクトが生じる可能性がある。現実的な解決策は、圧縮画像をフィルタリングして、目に見えるアーチファクトを抑え、復元画像の主観的な品質を保証することである。

ＩＴＵ−Ｔ Ｈ．２６ｘ及びＭＰＥＧ−１／２／４等のほとんどのビデオ符号化規格は、ブロックに基づくプロセスを用いる。高い圧縮比では、基礎を成すブロックに基づく処理により、いくつかのアーチファクトが目に見える。最も一般的なアーチファクトは、ブロッキング及びリンギングである。

ブロッキングアーチファクトは、復元画像のモノトーン領域のブロック境界に沿って格子ノイズとして現れる。ブロッキングアーチファクトは、隣接するブロックが別個に処理され、ブロック境界における画素強度が復元後に完全に揃わないために生じる。リンギングアーチファクトは、復元画像のエッジに沿って、より顕著である。この効果は、ギブズ現象として知られ、量子化ＡＣ係数による高周波係数の打ち切りによって生じる。これらの符号化アーチファクトを低減するために、多くの後処理技法が知られている。

従来技術の方法のほとんどは、ブロッキングノイズのみを扱う。それらの方法は、リンギングノイズには効果がない。ウェーブレットに基づく方法のような、いくつかの方法は、リンギングを抑えることができるが、復元画像全体をぼかしてしまう。従来技術のファジールールに基づくフィルタリング方法は、白色ガウス雑音のみを扱う。

上記の従来技術の方法は、画素に別個に作用し、各画素に同一のフィルタを適用する。それらの方法は、概して、画像の基礎を成す内容を考慮しない。したがって、それらのフィルタは、アーチファクトを排除するために、画像を過度に平滑化してぼかしてしまうか、最小限の平滑化を適用した場合には、アーチファクトを十分に低減することができない。

それらの方法のもう一つの問題は、計算複雑性である。例えば、ウェーブレットに基づく方法は、ウェーブレット画像を得るために８回の畳み込みに基づくローパスフィルタリング操作及びハイパスフィルタリング操作を必要とする。次に、それらのウェーブレット画像に対してデブロッキング操作を行って、ブロッキングアーチファクトを低減する。デブロッキングされた画像を再構成するために、１２回の畳み込みに基づくローパスフィルタリング操作及びハイパスフィルタリング操作が必要となる。したがって、その方法では、合計２０回の畳み込みに基づくフィルタリング操作が必要である。この計算コストは、リアルタイム処理の要件を満たすことができない。このウェーブレットに基づく方法と同様に、ＤＣＴ領域法もまた、高い計算複雑性を有する。５×５のウィンドウを用いたローパスフィルタリングの場合には、単一の８×８ブロックを処理するために、２５回のＤＣＴ操作が必要である。このような複雑性の高さも、やはり、リアルタイム処理には非現実的である。反復法の計算コストは、上記の２つの方法よりもさらに高い。ファジィルールに基づくフィルタリング法に関して言えば、反復法は、多数のフィルタパラメータ及び付加的な訓練データを必要とする。

従来技術の方法の問題に鑑みて、低い計算複雑性で、より高い画像／ビデオ画質を達成する新規のフィルタリング構造を提供することが望ましい。

方法は、画像シーケンス中の画素をフィルタリングする。シーケンス中の各画像は、複数の画素ブロックに分割され、画像は、逐次処理される。

各画像の画素ブロック毎に、エネルギーが求められる。各ブロックのエネルギーは、画像シーケンス中の画素の強度の分散に基づく。

逐次処理中に、各現ブロック内の各現画素に３Ｄファジィフィルタが適用される。

３Ｄファジィフィルタは、ブロックのエネルギー、並びに現画素に空間的に隣接する画素及び時間的に隣接する画素の強度を考慮して、ブロッキングアーチファクト及びリンギングアーチファクトを除去する。

図１は、本発明によるシステム及び方法１００を示す。本システムは、いかなる画像デコーダ又はビデオデコーダからも独立している。本システムは、圧縮された画像又はビデオに埋め込まれたいかなる符号化パラメータにも頼らない。本発明の方法は、画像中の局所的な特徴部に重点を置いている。本発明による方法は、局所的な特徴部を抽出し、これらを分類する。次に、画像が復元画像である場合には、分類された特徴部を用いて、画素を選択的且つ適応的にフィルタリングすることができる。

入力は、画像２０１である。本方法は、いずれの画像形式（例えば、ＹＵＶ又はＲＧＢ）にも有効である。本システムは、ビデオにおけるような画像シーケンスに対して作用することができることを理解すべきである。例えば、画像２０１は、プログレッシブビデオ又はインタレースビデオの一部であってもよい。また、入力画像は、一度も圧縮されていない原画像であっても、復元画像であってもよいことにも留意すべきである。

しかし、入力画像が圧縮画像から得られた復元画像であり、圧縮画像がブロックに基づく圧縮プロセスを用いて圧縮された原画像から得られたものである場合には、以前の圧縮により、復元画像２０１は、圧縮画像のＤＣＴ係数ブロックの別個の量子化により生じたブロッキングアーチファクトを有する。したがって、復元画像２０１は、隣接するブロック間の空間値に、ブロック途切れがある。復元画像のエッジに沿ってリンギングアーチファクトが生じる可能性もある。

元の原情報を保持する一方で、これらのアーチファクトを低減するために、本発明によるフィルタリングは、入力画像２０１中の局所的な特徴部の分類に基づく。さらに、フィルタリングは、この分類に対して適応的である。

分散画像
統計的な観点から、画素の強度値の分布は、復元画像の特徴部を示す。画像の平均強度値ｍは、画像のＤＣ成分を表す。平均強度値は、次式によって測定することができる。

ここで、（２Ｍ＋１）及び（２Ｎ＋１）は、画素ｘ［ｉ、ｊ］に対応する分散の計算に用いられる画素数に換算した復元画像領域の幅及び高さであり、ｐ_{ｘ［ｉ＋Δｉ、ｊ＋Δｊ］}は、（ｉ＋Δｉ、ｊ＋Δｊ）の位置に生じる画素の確率である。

復元画像の平均パワーは、次式で表される平均二乗値である。

平均の変動は、次式で表される分散である。

平均二乗は、画像中のＤＣ成分の平均パワーを表し、分散は、圧縮画像２０１中のＡＣ周波数成分の平均パワーを表す。したがって、強度値の分散は、画像中のエネルギーを表すＡＣパワーの変動の尺度として用いられる。

ある画素の分散（すなわち、エネルギー）が高い場合には、その画素は、エッジに関連する可能性が高い。分散（すなわち、エネルギー）が低い場合には、その画素は、画像の均質領域、例えば、平滑な背景の一部である。したがって、エネルギーは、画像中の局所的な特徴部の特性を示す。

ブロッキングアーチファクト及びリンギングアーチファクトは、共に局所的な特徴部の特性によるものである、すなわち、アーチファクトは、ブロック境界又はエッジ付近に現れるため、局所的な特徴部は、これらのアーチファクトを示すのに十分である。したがって、本発明による分類及びフィルタリングは、上記の式（３）に記載したような画素強度値の局所分散によって測定されるエネルギー分布に基づく。特徴部の特性は、以下のように強度値２１１を抽出する（２１０）ことにより求める。

図３に示すように、平滑３×３フィルタ３０１で復元画像２０１中の各画素３０２を走査する。走査は、ラスタスキャン順に行うことができる。フィルタの各中心画素３０２に関して、式（１）〜式（３）に従って強度値２１１の平均及び分散を求める（２２０）。分散値は、図４に示すように、分散画像、すなわちエネルギー画像４０１を形成する。物理的な観点から、局所分散は、各画素位置における復元画像の勾配を反映する。画像中のエッジにおける勾配は、非常に高いことに留意すべきである。

図４に示すように、特徴部の抽出及び走査は、画素が強度値２１１を有する空間領域の復元画像２０１を、画素が分散４１１を有するエネルギー領域の分散画像４０１に変換する。

画素の分類
図５Ａに示すように、第１のしきい値＿１未満の分散を有する画素２１１を、クラス＿０ ５００として分類する（２３０）。これらの画素は、画像中の均質な、すなわち「平滑な」領域に対応する。第２のしきい値＿２よりも大きい分散を有する画素を、クラス＿１ ５０１として分類する。これらの画素は、エッジに対応する可能性が最も高い。これら２つのしきい値の間の分散を有する画素を、クラス＿２ ５０２として分類する。これらの画素は、近傍画素の特性に応じてリンギングノイズ又はテクスチャとして考えることができる。本発明による適応的フィルタリングは、上記の分類に応じて実行される。

図５Ｂは、分類をより一般的な表現で示し、マッピング５１０は、エネルギー５１１とブロッククラスとの間の関係を定める。

ブロックの分類
１つの実施の形態では、画素ブロックも、分散画像エネルギー４０１中の分散値に応じて「平滑」ブロック２４１、「テクスチャ」ブロック２４２及び「エッジ」ブロック２４３に別個に分類される（２４０）。ブロックの分類（２４０）は、各ブロック内の総分散に基づいて、又はブロック内の各クラスの画素数を計数することによって行うことができる。例えば、ブロック内の画素が全てクラス＿０である場合には、そのブロックを平滑ブロックとして分類する。ブロック内の少なくとも１つの画素がクラス＿１である場合には、そのブロックをエッジブロックとして分類する。その他の、ブロックがクラス＿０及びクラス＿２の両方の画素を有する場合には、そのブロックをテクスチャブロックとして分類する。別の実施の形態では、ブロックを連続的に分類する。

ブロッキングアーチファクトの検出
最もよく知られている画像及びビデオの圧縮規格は、画素ブロックのＤＣＴ符号化に基づいている。ブロックに基づく符号化は、画像を完全に、通常は、１ブロックが８×８画素である画素ブロックに分割する。各ブロックの画素は、別個にＤＣＴ係数に変換される。次に、ＤＣＴ係数は、所定の量子化行列に応じて量子化される。別個の符号化のために、ブロッキングアーチファクトがブロック境界で目に見える。

図６は、８×８ブロック６００上でブロッキングアーチファクトを検出する（２５０）方法を示す。外側の画素を星印６０１で示し、「内側の」画素を黒丸６０２で示す。内側の画素は、ブロックの一番上の行及び左の列に隣接して、それと平行に位置する。検出（２５０）は、ブロック毎に左から右へ、また上から下へ行われる。

ブロッキングアーチファクトが存在する場合には、外側の画素６０１の分散の勾配は、内側の画素６０２とほぼ同じである。ブロッキングアーチファクトがあることを判定する基準は、次の通りである。

ｓｉｇｎ（符号）は、＋１又は−１のいずれかである。上記のテストは、ブロッキングアーチファクトと、ブロック境界にあるエッジとを区別する。

デブロッキングフィルタ
図７に示すように、ブロッキングアーチファクトは、復元画像中の検出されたブロック境界をフィルタリングすることによって低減される（２６０）。ブロッキングアーチファクトが検出された場合には、画素に対してブロック境界６００に沿って１次元ローパス（平滑化）フィルタを適応的に適用する。フィルタ７０２、７０４、７０６のサイズ（例えば、２、４、６又はそれ以上の画素数）は、ブロック境界における勾配に対応する。大きな勾配値を有する画素（すなわち、エッジ画素）は、フィルタリング操作から除外し、エッジ又はテクスチャをぼかすことを避ける。

ファジィフィルタ
ファジィフィルタ２７１を適用することによって、デリンギング２７０は、エッジブロック２４３のみに作用する。ファジィ変換において、空間サンプルｘ_ｉ（例えば、画素の強度値）と順序統計量ｘ_ｊとの関係は、実数値のガウス関数μ_Ｆ（ａ、ｂ）によって確立され、ここで、ｉは空間インデックスｉ＝１、２、・・・、Ｎであり、ｊ＝１、２、・・・、Ｎは順序統計量であり、ｘ_（１）≦ｘ_（２）≦・・・≦ｘ_（Ｎ）であり、フィルタリングウィンドウのサイズはＮである。

メンバーシップ関数は、以下の制約を有する。

これにより、次式によって定義されるＮ×Ｎのファジィ空間ランク（ＳＲ）行列が得られる。

ここで、各要素は、以下のようになる。

ファジィＳＲ行列Ｒ（〜）の要素は、各対の画素間の値の差に依存するため、ファジィＳＲ行列は、観測画素に埋め込まれた広がり情報を含む。ここで、（〜）は、かっこの前の記号の上部に〜画布されたことを意味している。

元の、すなわち「はっきりした」空間画素は、はっきりした順序統計量ベクトルに行正規化ファジィＳＲ行列を掛けることによって、ファジィ空間画素に「変換」することができる。結果として得られるファジィ空間画素は、広がり情報も反映する。本発明によるファジィフィルタ２７１の出力２７２は、フィルタリングウィンドウの中心画素がぼやけたものに相当する。

フィルタの出力は、以下の単純化された式（６）を用いて得ることができる。

ここで、ｘ_ｃ及びｘ_ｃ（〜）は、それぞれ、はっきりした中心画素及びぼやけた中心画素である。

フィルタの出力の最後の式から示唆されるように、順序付け操作は、不要である。したがって、ファジィフィルタ２７１の計算複雑性は、線形フィルタよりもわずかに高いだけである。唯一の付加的な計算は、Ｎ−１対の画素間で関数の値を評価するためのものである。全画素に関してμ_Ｆ（ｘ_ｃ、ｘ_ｃ）＝１であるため、求める必要がないことに留意されたい。

本発明の１つの実施の形態において、実数値の関数μ_Ｇ（ａ、ｂ）は、次式のガウス関数によって定義される。

ここで、広がりパラメータξは、２０である。

図２は、サンプルｘ_ｉ（ｉ＝１、２、・・・、Ｎ）とウィンドウの中心サンプルｘ_ｃとの値の類似性を表すガウス関数のいくつかの値の例を示す。この所与の例において、ｘ_ｃ＝１２８、ｘ_１＝１８０、ｘ_２＝２０、ｘ_３＝１００である。

上記の式から、ファジィフィルタの出力は、フィルタリングウィンドウ内のサンプルの加重平均であることが分かる。ガウス関数の値、すなわち中心サンプル自体を含む各サンプルと中心サンプルとの類似性の尺度は、対応するサンプルの重みとして用いられる。

したがって、サンプルの値が中心サンプルに近いほど、より大きな重みがそのサンプルに割り当てられる。これは、類似した値のサンプルは、それらの局所平均の周囲でさらにクラスタリングされ、異なる値のサンプルは、ほぼそのままとなるという効果をもたらす。これは、ファジィ変換のクラスタリング特性として知られる。

結果として、本発明によるファジィフィルタ２７１は、データに適応的な平滑化機能を有するため、強いエッジを完全に保持し、その一方で、目障りなリンギングアーチファクトに関連する弱いエッジを除去することができる。

図８にこの機能を示す。この例において、「ステップ」信号の入力サンプル８０１は、均一に分散したノイズによって破壊されている。よって、破壊された信号は、はっきりしたサンプルの２つのグループから成り、一方のグループは、０の周囲に局在し、他方のグループは、１の周囲に局在している。

ファジィフィルタ２７１によるフィルタリングの後、類似した値のサンプルを含む各グループを、そのグループの局所平均の周囲でさらに密にクラスタリングし、結果として、フィルタリングされたステップ信号８０２を得る。こうして、均一な領域における望ましくない摂動を平滑化し、その一方で、ステップエッジを回復する。この例は、強いエッジの周囲のリンギングアーチファクトを正確に模擬していることに留意されたい。したがって、この例は、ファジィフィルタがいかにこれらのアーチファクトを低減すると共にエッジを保持するかを示している。

時空間ファジィフィルタ
通常、従来のデブロッキング方法及びデリンギング方法は、ある画像が画像シーケンス又は複数の画像の中の画像であっても、その１つの画像内からの情報のみを用いる。これは、明らかに単純な処理である。すなわち、特定の画像をフィルタリングする際、現画像内の情報のみが考慮され、他の画像からの情報は考慮されない。多くの場合、これは、特に移動オブジェクトを有するシーンの画像シーケンス（例えば、現実世界のシーンのビデオ）において視覚品質を落とす。品質が落ちるのは、空間フィルタリングが画像シーケンス全体にわたって時間的な一貫性を保たないためである。

本発明者の発想では、時間的に隣接する画像（フレーム）からの情報を考慮すれば、復元ビデオの主観的品質及び客観的品質を著しく高めることができる。言い換えれば、本発明のフィルタリングは、各画像内から得ることのできる空間情報と、隣接画像から得られる時間情報との両方を考慮する。したがって、本発明は、３Ｄファジィフィルタを提供する。３つの次元は、ｘ、ｙ、及びｔである。

この３Ｄファジィフィルタは、空間ランクの順序及び広がり情報の定義において、時空間の関係を明らかにすることによって構築することができる。現画像及び隣接画像を含む３Ｄの画素組からの付加的な情報は、本発明のファジィフィルタのクラスタリング特性を高め、その一方で、なお、画像中のエッジを保持する。

本発明では、フィルタリングに一組の（Ｔ⁻＋１＋Ｔ^＋）個の画像（すなわち、一組のＴ⁻個の前の画像、現画像、及び一組のＴ^＋個の次の画像）を用いる。なお、Ｔ⁻及びＴ^＋は異なっていてもよい。現画像の現画素Ｉ（ｔ、ｍ、ｎ）の場合、現画素Ｉ（ｔ、ｍ、ｎ）に空間的及び時間的に隣接する一組の（Ｔ⁻＋Ｔ^＋＋１）×（２Ｍ＋１）×（２Ｎ＋１）個の画素に対してファジィフィルタを適用して、フィルタリングされた画素Ｉ’（ｔ、ｍ、ｎ）を形成する。ここで、ｔは時間次元を示し、ｍ、ｎは空間次元を示す。これらの隣接画素は、以下の入力ベクトルを形成することに留意すべきである。

等価なランクベクトルは、次のように表される。

ここで、各要素は、下式の関係を有する。

現画素に割り当てられた時空間フィルタの出力は、次のようになる。

ここで、μ_Ｇ（ａ、ｂ）は、下式によって定義されるガウスメンバシップ関数であり、σは広がりパラメータである。

３Ｄ時空間ファジィフィルタ用のエネルギー画像
本発明による分類及びフィルタリングは、画素強度値の局所分散によって測定される画像中のエネルギー分布に基づくため、３Ｄ時空間フィルタリングが適用されると、式（１）〜式（３）は、以下のように変更される。

平均強度値は、次のように表される。

ここで、下付き文字のｔは時間インデックスを表し、Δｔ＝−１、Δｔ＝０、及びΔｔ＝＋１は、それぞれ、前の画像、現画像及び次の画像に対応する。同様に、式（２）によって与えられる平均二乗値は、次のようになる。

すると、対応する分散は、次のように表される。

図１６に示すように、時間的且つ空間的に隣接する画素を用いて、３×３×３のファジィフィルタ１６０１で復元された現画像２０１中の各画素１６０２が「走査」される。上記の式及び図１６の時間インデックスｔの範囲は、復元された隣接画像の入手可能性並びに記憶要件及び複雑性要件に応じて調整することができることに留意されたい。

図１８に示すように、前の画像及び次の画像において考慮されるブロック１８０１は、時間次元に沿って空間的に同じ場所にある（１８０２）必要はない。例えば、ブロックは、空間領域においてシフトされてもよい。この場合、現ブロック１８０４の動きベクトル１８０３が、分類及びフィルタリング中にどのブロックを考慮する必要があるかを示すことができる。動きベクトルは、通常、前及び次のブロック１８０５と、現ブロック１８０４との間の依存性を示す。

クロミナンスフィルタリング
これまで説明してきたデブロッキング及びデリンギングの方法は、ルミナンス（Ｙ）成分と同様にビデオのクロミナンス（Ｕ、Ｖ）成分に適用することができる。これにより、ブロッキングアーチファクト及びリンギングアーチファクトが除去される。リンギングアーチファクトは、通常、復元ビデオ中に色の不一致として現れる。

しかし、２Ｄのデリンギングの場合には、圧縮前にサブサンプリングされてしまうことが多いクロミナンスサンプルの数が不十分であるために、クロミナンスフィルタリングの利点を完全に活かすことができない。これは、本明細書中に記載されているデリンギングが、ファジィフィルタの「クラスタリング」特性に依存しているためであり、この特性は、デブロッキングを可能にするファジィフィルタのもう一つの「平滑化」特性よりも多くのサンプルを必要とする傾向がある。

しかし、本発明の１つの実施の形態による３Ｄフィルタリングは、近傍フレームから、より多くのサンプルを組み込む。したがって、ファジィフィルタの「クラスタリング」特性は、最大の効果を発揮することができ、より良好な色の一致を達成することができる。

適応的フィルタリング
上記の式（６）及び式（７）から、ウィンドウ内のぼやけた中心画素は、加重平均であることが分かる。各重みは、特に広がりパラメータξによって定められるようなガウス関数によって与えられる。広がりパラメータは、ガウス関数の形状、すなわち、フィルタリングの範囲を制御する。広がりパラメータξが大きい場合には、ガウス関数は、比較的広い。これは、より平滑なフィルタに対応する。広がりパラメータξが小さい場合には、ガウス関数は狭く、フィルタリングの平滑さは低下する。ウィンドウサイズＮは、同様の特性を有する。大きなウィンドウは、小さなウィンドウよりも強い平滑化効果を有する。なお、ウィンドウ及び時間範囲は、非対称であってもよい。

ウィンドウは、フィルタ「カーネル」又はフィルタ「フットプリント」とも呼ばれることに留意すべきである。これらは両方とも、フィルタの広がりパラメータにも関連する。

したがって、本発明は、適応的な３Ｄファジィフィルタリング方法を提供する。ウィンドウサイズＮ及び広がりパラメータξは、ブロック分類に反映される分散画像４０１中の値に応じて適応的に求められる。なお、ウィンドウサイズは、非対称であってもよい。

ウィンドウサイズＮと広がりパラメータξの可能な組み合わせとして、以下の４つがある。
ａ．小さなウィンドウＮ及び小さなξ
ｂ．小さなウィンドウＮ及び大きなξ
ｃ．大きなウィンドウＮ及び小さなξ
ｄ．大きなウィンドウＮ及び大きなξ

本発明の基本原則として、小さな分散（すなわち、エネルギー）は、小さなウィンドウ及び小さな広がりパラメータξに対応し、大きな分散（すなわち、エネルギー）は、大きなウィンドウ及び大きな広がりパラメータξに対応する。

図９Ａは、本発明による適応方法のステップを示す。開始９１０において、本方法に対する入力は、次の分類ブロック９０１（終了９９０まで）、及び対応する復元画像ブロック９０２である。

ステップ９２０において、分散値が２２よりも大きいかを判定する。真９２１である場合には、対応する画素は、エッジの一部である可能性が高い。したがって、エッジの鮮明さを保持するために、この画素は、オールパスフィルタリングする。基本的なファジィフィルタリングでは、上述のように、全てのエッジ画素を、同一の広がりパラメータを有する同一のフィルタによりフィルタリングする。

反対に、偽である場合には、ステップ９３０により、分散値が２２よりも小さく、且つ１０以上であるかを判定する。真９３１である場合には、その画素は、おそらくリンギングノイズにより破壊されているため、大きな広がりパラメータ９４０（ξは３０である）及び大きなウィンドウサイズ９４１（Ｎは５×５である）を選択する。すなわち、強い平滑ファジィフィルタをフィルタリング９７０に用いて、リンギングアーチファクトを最大限に低減する。

反対に、偽である場合には、ステップ９５０により、分散が１０以下であり、且つ４以上であるかを判定する。真９５１である場合には、対応する画素は、「弱い」エッジ領域にあるか、リンギングノイズにより少し破壊されている可能性がある。この場合には、小さな広がりパラメータ９６０（ξは、１５である）及び小さなウィンドウ９６１（Ｎは、３×３である）、すなわち、弱い平滑ファジィフィルタをフィルタリング９７０に用いる。反対に、分散が４未満である場合には、その画素は、平滑領域にあるため、オールパスフィルタリングを適用し、次の画素を処理する。全ての画素を処理した後、フィルタリングされたブロックを出力し（９８０）、終了９９０まで次のブロック９０１を処理する。

分散、ウィンドウ、及び広がりパラメータの様々な別個の制限値、例えば（２２、１０、４）、（５、３）、及び（３０、１５）は、異なる用途に関して変更できるが、依然として本発明の精神及び範囲内にあることに留意すべきである。

図９Ｂは、エネルギー９１１と連続的なフィルタサイズ９１２との間のマッピング９１０を示す。エネルギーが比較的高い場合には、大きなウィンドウサイズを有する比較的平滑なフィルタを用いて、エッジに関連する画素等の局所的エネルギーを保持する。エネルギーが比較的低い場合には、小さなウィンドウサイズを有する鮮鋭なフィルタを用いて、ノイズ及び他のスケールの小さなアーチファクトを除去する。したがって、本発明のフィルタのサイズは、フィルタリングしている画像の３Ｄ近傍の局所的エネルギーに比例する。

デブロッキングの改善
従来のインタレースビデオでは、画像に基づく符号化方式とフィールドに基づく符号化方式とを併用して単一の画像を符号化することができる。これにより、アーチファクトの複雑性が高まる。より良好なアーチファクト除去及び細部の保持を達成するために、本発明では、各ビデオ画像の２つのフィールドを別個に処理する。異なる方式を用いて縦方向及び横方向のデブロッキングを行う。異なるウィンドウサイズを有する１Ｄの適応的ファジィフィルタを適用して、横方向及び縦方向のブロッキングアーチファクトをそれぞれ除去する。

縦方向のブロッキングアーチファクトの検出
図１０に示すように、縦方向のブロッキングアーチファクトの検出を、８×８の画素の行１０１１と交差する縦方向の各ブロック境界１０１０に沿って行う。画素強度の差Ｇ０を、Ｇ０＝｜ｘ０−ｙ７｜により求める。次に、Ｌ１、Ｌ２、Ｌ３、Ｌ４及びＲ１、Ｒ２、Ｒ３、Ｒ４でそれぞれ示される、ブロック境界の左側及び右側にある各隣接画素対の強度の差も求める。

下式の関係にある場合には、その行をマークし、その行に沿って境界ギャップを検出する。

行１０１１の８つの境界画素対すべてを、縦方向のブロック境界１０１０に沿って調べた後、マークされた行（すなわち、境界ギャップ）の数が所定のしきい値ＴＨ１（例えば、ＴＨ１＝０）よりも大きい場合には、現在の縦方向のブロック境界においてブロッキングアーチファクトを検出し、この境界をまたいで１Ｄの適応的ファジィフィルタリングを行って縦方向のブロッキングアーチファクトを低減するか、又はフィルタリングを省略する。

縦方向のブロッキングアーチファクトの低減
図１１に示すように、ブロック境界にまたがるマークされた行においてのみ１Ｄフィルタリングを行う。

下式の関係にある場合（境界ギャップが左側にある隣接画素間の差と比べて明らかであることを意味する）には、画素１１１１、すなわちｙ６、ｙ７及びｘ０をフィルタリングする。

同様に、下式の関係にある場合には、画素１１１２、すなわちｙ７、ｘ０及びｘ１をフィルタリングする。

境界の片側にある隣接画素対の強度差が境界ギャップよりも大きい場合（入力画像中のエッジにより生じる可能性が高い）には、境界ギャップは、おそらく存在しないため、この側における行のフィルタリングは、不要であることに留意されたい。これは、画像中のエッジを保持する一方で、エッジのように見えるブロッキングアーチファクトを依然としてフィルタリングすることにも役立つ。

１Ｄファジィフィルタ
縦方向のブロッキングアーチファクトの平滑化に用いるフィルタは、フィルタリングすべき各画素（例えばｙ６）を中心とする５タップファジィフィルタ１１１３である。このファジィフィルタは、ブロック境界に沿って位置する強いエッジを保持する。

この１Ｄファジィフィルタの出力は、次のように表される。

ここで、Ｗ_ｊ（＾）は、下式で表される。

また、ｘ_ｃは、フィルタウィンドウの中心画素であり、μ_Ｌ（・）は、以下のように定義される区分的線形関数である。

横方向のブロッキングアーチファクトの検出
図１２は、横方向のブロック境界１２０１と交差する画素列において、横方向のブロッキングアーチファクトを検出する方法を示す。Ｇ０は、境界画素対の画像強度の差（すなわち、Ｇ０＝｜ｘ０−ｙ７｜）であり、Ｕ１、Ｕ２、Ｕ３、Ｕ４及びＢ１、Ｂ２、Ｂ３、Ｂ４は、横方向の境界の上側及び下側にある各隣接画素対の強度差である。Ｇ_ＵＬ、Ｇ_ＵＲ、Ｇ_ＢＬ及びＧ_ＢＲは、それぞれ、隣接する左上、右上、左下及び右下の縦方向の境界における縦方向の境界ギャップの数である。

横方向のブロッキングアーチファクトの検出は、８×８ブロックの横方向の各境界に沿って行われる。本方法は、縦方向のブロッキングアーチファクトの検出に使用するものと同様であるが、横方向のブロッキングアーチファクトを特定する前に、追加条件を満たす必要がある。これらの条件を追加する理由は、ブロッキングアーチファクトをより正確に検出すると共に、ブロック境界に沿って存在する可能性がある画像中の横方向のエッジにまたがるフィルタリングを避けるためである。これらの本物のエッジをフィルタリングすると、目障りなアーチファクトが生じることになる。

まず、縦方向の境界ギャップの検出及び計数と同じ方法を用いて、横方向の境界ギャップを検出し計数する。しかし、今回は、全ての操作を、現在の横方向の境界にまたがる各列で行う。現在の横方向の境界に沿って検出される横方向の境界ギャップの数が所定のしきい値ＴＨ２（例えば、ＴＨ２＝５）未満である場合には、この境界にまたがるフィルタリングは行わない。そうでない場合には、現在の横方向の境界に隣接する４つの縦方向のブロック境界、すなわち、左上、右上、左下及び右下の縦方向のブロック境界を調べて、現在の横方向の境界の周囲で大きな縦方向のブロッキングアーチファクトが生じているかどうかを確認する。

Ｇ_ＵＬ、Ｇ_ＵＲ、Ｇ_ＢＬ、Ｇ_ＢＲは、それぞれ、左上、右上、左下及び右下の縦方向の境界において検出される境界ギャップの数を示すものとする。以下の条件のうち、少なくとも１つが満たされる場合には、大きな縦方向のブロッキングアーチファクトも検出されているため、現在の横方向の境界において、横方向のブロッキングアーチファクトが生じるとみなす。

条件

横方向の境界よりも先に縦方向の境界を処理するため、縦方向の各境界における縦方向の境界ギャップの数は、既知である。

横方向のブロッキングアーチファクトの低減
図１３に示すように、横方向のブロック境界にまたがるマークされた列においてのみ、１Ｄフィルタリングを行う。ＭＡＸ（Ｕ１、Ｕ２、Ｕ３、Ｕ４）＜Ｇ０である場合（境界ギャップが上側にある隣接画素間の差と比べて明らかであることを意味する）には、画素１３０１、すなわちｙ６、ｙ７をフィルタリングする。

同様に、ＭＡＸ（Ｂ１、Ｂ２、Ｂ３、Ｂ４）＜Ｇ０である場合には、画素１３０２、すなわち、ｘ０、ｘ１をフィルタリングする。いずれの側でもｘ０及びｙ７の両方をフィルタリングする縦方向の境界にまたがるフィルタリングとは異なり、いずれの側でも境界画素を１つ（ｘ０又はｙ７）しかフィルタリングしないことに留意されたい。これにより、横方向のエッジにまたがるフィルタリングが低減される。横方向のブロッキングアーチファクトの平滑化に用いるフィルタは、フィルタリングすべき各画素を中心とする３タップファジィフィルタ１３０３である。フィルタの重みは、式（１１）を用いて決定する。

ブロックの分類
上述のように、ブロックの分類により、全体的な画質を下げることなく画像の局所アーチファクトを大幅に低減することができる。しかし、ブロックの分類が同様に役立つ画像化用途は、他にも多くある。例えば、ブロックが適切に分類されれば、異なるブロックに異なる圧縮率及び圧縮技法を適用することによって、全体的に、より高い圧縮率を達成することができる。例えば、平滑ブロックには、より高い圧縮率及びより単純な圧縮技法を適用して、より複雑なテクスチャを有するブロックに追加の帯域幅及びより高度な圧縮を適用できるようにすることができる。同様に、まず「関心の低い」ブロックを廃棄することによって、パターン認識及びオブジェクト追跡の効率を高めることができる。さらに、画像検索システムが、分類されたブロックを選択的に用いて、コンテンツの検索及び閲覧を加速することができる。

したがって、本発明は、以下のブロック分類技法を提供する。

図１４は、本発明によるブロック内の画素を分類する別の方法を示す。画像２０１は、上述のように、重複しない８×８のブロックに分割される。上述のように、分散画像４０１において、各画素の分散を求める。次に、最大の分散を有する画素を用いてブロックの分類を決める。各ブロックを、最大ＳＴＤ１４１０の範囲１４００により、５つのカテゴリ、すなわち、強いエッジ１４０１、弱いエッジ１４０２、強いテクスチャ１４０３、弱いテクスチャ１４０４、及び平滑１４０５のうちの１つに分類する。

ブロックのフィルタリング
プログレッシブビデオの場合には、各画像中の各ブロックに関してフィルタリングを行い、インタレースビデオの場合には、各フィールド中のブロックに対してフィルタリングを行う。各ブロックのフィルタは、図１４に示すように、ブロックの分類及び隣接するブロックの分類に応じて選択される。さらに、フィルタリングは、フィルタの広がりパラメータが最大分散又は最大標準偏差に比例する、すなわち、最大標準偏差が大きくなるほど広がりパラメータも大きくなるという点で適応的である。

強いエッジブロック１４０１：８つの近傍ブロック１４２１（上、下、左、右、左上、右上、左下、右下）が全て強いエッジブロックである場合には、オールパスフィルタリング１４６１を行ってブロックを出力し（１４４２）、そうでない場合には、各画素を適応的ファジィフィルタにより、広がりパラメータξを２０としてフィルタリングし（１４２３）（このフィルタリングは、強い平滑ファジィフィルタリングである）、ブロックを出力する。

弱いエッジブロック１４０２：各画素を適応的ファジィフィルタにより、広がりパラメータξを１０に設定してフィルタリングし（１４３１）（このフィルタリングは、弱い平滑ファジィフィルタリングである）、ブロックを出力する。

強いテクスチャブロック１４０３：４つの隣接するブロック１４４１（上、下、左、右）が全て強いエッジブロックである場合には、オールパスフィルタリングして出力する。そうでない場合には、各画素をファジィフィルタにより、広がりパラメータξを１０に設定してフィルタリングする（１４３１）。

弱いテクスチャブロック１４０４：４つの隣接するブロックのうち、少なくとも２つ１４５１（上、下、左、右）が平滑ブロックである場合には、各画素を適応的ファジィフィルタにより、広がりパラメータξを１０に設定してフィルタリングする（１４３１）。

平滑ブロック１４０５：ブロックが平滑ブロックである場合には、オールパスフィルタ１４６１を適用し、ブロックを出力する（１４４２）。

図１５Ａに示すように、強いエッジブロック１５０１が他の強いエッジブロックに完全に囲まれている場合には、そのブロックのフィルタリングは、省略することができる。これは、大きな強いエッジ領域では、マスキング効果によりリンギングアーチファクトが顕著には現れないためである。第２に、小さなアーチファクトが顕著に現れるのは、平滑領域のみであるため、弱いエッジブロック１５０２は、隣接する平滑ブロックがある場合にのみフィルタリングすればよい。テクスチャブロックにおけるフィルタリングは、オプションとしてもよく、圧縮率に応じて選択することができる。圧縮率が高い、例えば、量子化スケールパラメータが４０を上回る場合には、復元されたテクスチャブロックにリンギングアーチファクトが現れる可能性が高い。したがって、弱い平滑ファジィフィルタリングを適用すべきである。

時空間ファジィフィルタリング
図１７は、ブロックの分類に応じた画素並びに空間的及び時間的に隣接する画素に３Ｄ時空間ファジィフィルタを適用する方法を示す。以下の部分は、図１４に関して説明した処理に追加される処理を説明する。

弱いエッジブロック１４０２：弱いエッジブロックの場合には、ブロックの各画素を適応的３Ｄファジィフィルタにより、広がりパラメータξを１５に設定してフィルタリングし（このフィルタリングは、強い平滑ファジィフィルタリングである）（１７０１）、ブロックを出力する（１４４２）。

平滑ブロック１４０５：ブロックが平滑ブロックである場合には、広がりパラメータξを５に設定して３Ｄ適応的ファジィフィルタを適用し（このフィルタリングは、弱い平滑ファジィフィルタリングである）、ブロックを出力する（１４４２）。

本発明による復元画像からアーチファクトを低減する方法及びシステムのブロック図である。 本発明による画素値の類似性を評価しファジィフィルタパラメータを生成するガウス関数のグラフである。 本発明による特徴部抽出のブロック図である。 本発明による強度画像とエネルギー画像との間のマッピングのブロック図である。 本発明による画素強度の分散を用いて画素を分類するブロック図である。 本発明によるエネルギーに対して画素を分類するグラフである。 本発明によるブロッキングアーチファクトを検出するブロック図である。 本発明によるブロッキングアーチファクトをフィルタリングするブロック図である。 本発明によるファジィフィルタのデータに適応的な平滑化特性を示すグラフである。 本発明の一実施形態による分散及び別個のフィルタサイズによる適応的フィルタリングのフローチャートである。 本発明の一実施形態によるエネルギー及び連続的なフィルタサイズに対する適応的フィルタリングのグラフである。 縦方向のブロッキングアーチファクトの検出のブロック図である。 縦方向のブロッキングアーチファクトの低減のブロック図である。 横方向のブロッキングアーチファクトの検出のブロック図である。 横方向のブロッキングアーチファクトの低減のブロック図である。 本発明による画素の分類及びフィルタリングのフローチャートである。 ８つの隣接するエッジブロックに囲まれたエッジブロックのブロック図である。 少なくとも２つの平滑ブロックに囲まれたエッジブロックのブロック図である。 本発明の一実施形態による３Ｄフィルタリングの概略図である。 本発明の一実施形態による３Ｄフィルタリングのフローチャートである。 本発明の一実施形態による空間的及び時間的に隣接するブロックのブロック図である。

Claims (11)

1. 画像シーケンス中の画素をフィルタリングする方法であって、該シーケンス中の各画像は、複数の画素ブロックに分割され、該画像は、逐次処理され、該方法は、
   各画像の画素ブロック毎に、前記画像シーケンス中の前記画素の強度の分散に基づいて各ブロックのエネルギーを求めるステップと、
   前記逐次処理中に各現ブロック内の各現画素に、該ブロックの前記エネルギー、並びに前記現画素に空間的に隣接する画素及び時間的に隣接する画素の前記強度を考慮してブロッキングアーチファクト及びリンギングアーチファクトを除去する３Ｄファジィフィルタを適用するステップと
   を含む画像シーケンス中の画素をフィルタリングする方法。
2. 前記３Ｄファジィフィルタのサイズは、前記ブロックの前記エネルギーに比例する請求項１に記載の方法。
3. 時間的に隣接するブロックは、空間的に同じ場所にある請求項１に記載の方法。
4. 時間的に隣接するブロックは、前記現ブロックの動きベクトルに応じて空間的にシフトされる請求項１に記載の方法。
5. 前記エネルギーは、前記画像シーケンス中の空間的及び時間的に隣接する画素の強度の分散に基づく請求項１に記載の方法。
6. 前記３Ｄファジィフィルタの出力は、
   

   

   であり、ここで、ｔ、ｍ、及びｎは、前記現画素の座標であり、Δは、隣接座標を示し、μ_Ｇ（ａ、ｂ）は、
   

   

   によって定義されるガウスメンバシップ関数であり、σは、広がりパラメータである請求項１に記載の方法。
7. 前記３Ｄファジィフィルタは、前記画像シーケンス中の動きオブジェクトに適用される請求項１に記載の方法。
8. 前記フィルタリングは、一組のＴ⁻個の前の画像、現画像、及び一組のＴ^＋個の次の画像を用いる請求項１に記載の方法。
9. Ｔ⁻及びＴ^＋は、異なる請求項８に記載の方法。
10. 前記３Ｄファジィフィルタは、クロミナンス成分に適用される請求項１に記載の方法。
11. 前記３Ｄファジィフィルタは、ルミナンス成分に適用される請求項１に記載の方法。

Images