JP2005318614A - 入力画像中のアーチファクトを低減する方法 - Google Patents
入力画像中のアーチファクトを低減する方法 Download PDFInfo
- Publication number
- JP2005318614A JP2005318614A JP2005129711A JP2005129711A JP2005318614A JP 2005318614 A JP2005318614 A JP 2005318614A JP 2005129711 A JP2005129711 A JP 2005129711A JP 2005129711 A JP2005129711 A JP 2005129711A JP 2005318614 A JP2005318614 A JP 2005318614A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- fuzzy
- input image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000001914 filtration Methods 0.000 claims description 31
- 238000007906 compression Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】本方法は、入力画像中のアーチファクトを低減する。
【解決手段】入力画像から分散画像が作成される。入力画像は複数の画素ブロックに分割される。分類の組を定義する。分類の組は、平坦、テクスチャ、およびエッジを含む。分散画像に応じて入力画像の各画素ブロックに特定の分類が割り当てられ、平坦なブロック、テクスチャブロック、およびエッジブロックが生成される。各エッジブロックのみの各画素にファジィフィルタが適用される。
【選択図】図1
【解決手段】入力画像から分散画像が作成される。入力画像は複数の画素ブロックに分割される。分類の組を定義する。分類の組は、平坦、テクスチャ、およびエッジを含む。分散画像に応じて入力画像の各画素ブロックに特定の分類が割り当てられ、平坦なブロック、テクスチャブロック、およびエッジブロックが生成される。各エッジブロックのみの各画素にファジィフィルタが適用される。
【選択図】図1
Description
本発明は、包括的にはデジタル信号処理に関し、特に画像およびビデオの符号化アーチファクトの低減に関する。
デジタルカメラ、HDTV放送およびDVDといった多くの撮像およびビデオ用途が圧縮技法を使用する。JPEG、ITU−T H.26xおよびMPEG−1/2/4といったほとんどの画像/ビデオ符号化規格は、ブロックベースの処理を圧縮に用いる。復元画像には、基礎となるブロックベースの符号化、粗い量子化、および係数切り捨てのために、ブロッキングノイズやリンギングノイズのような視覚アーチファクトが現れる。
符号化アーチファクトを除去するための多くの後処理技法が既知である。
空間ドメイン方法が、Lee他に対して2003年3月25日付で発行された米国特許第6,539,060号「量子化効果を低減するための画像データの後処理方法、その装置(Image data post-processing method for reducing quantization effect, apparatus therefor)」、Osaに対して2002年12月17日付で発行された米国特許第6,496,605号「ブロック変形除去フィルタ、それを用いた画像処理装置、画像信号のフィルタリング方法、およびそのためのソフトウェアを記憶する記憶媒体(Block deformation removing filter, image processing apparatus using the same, method of filtering image signal, and storage medium for storing software therefor)」、Konstantinidesに対して2001年11月20日付で発行された米国特許第6,320,905号「ブロックベースのコーデックにおいてブロッキングアーチファクトを除去するための後処理システム(Postprocessing system for removing blocking artifacts in block-based codecs)」、Cheung他に対して2001年1月23日付で発行された米国特許第6,178,205号「動き補償時間フィルタリングおよび/または空間適応的フィルタリングを用いたビデオのポストフィルタリング(Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering)」、Sugahara他に対して2000年12月26日付で発行された米国特許第6,167,157号「画像データの復号化プロセス中に生じる量子化ノイズの低減方法および画像データの復号化装置(Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data)」、およびGupta他に対して1999年7月6日付で発行された米国特許第5,920,356号「符号化パラメータ適応的な変換アーチファクトの低減プロセス(Coding parameter adaptive transform artifact reduction process)」に記載されている。
離散コサイン変換(DCT)ドメイン方法が、Triantafyllidis等著「圧縮データ中のブロッキングアーチファクトの検出および低減(Blocking artifact detection and reduction in compressed data)」(IEEE Transactions on Circuits and Systems for Video Technology, Vol. 12, October 2002)、およびChen等著「ブロッキングアーチファクトを低減するための変換係数の適応的ポストフィルタリング(Adaptive post-filtering of transform coefficients for the reduction of blocking artifacts)」(IEEE Transactions on Circuits and Systems for Video Technology, Vol. 11, May 2001)によって記載されている。
ウェーブレットに基づくフィルタリング方法が、Xiong等著「過完備なウェーブレット表現を用いたJPEG圧縮画像のためのデブロッキングアルゴリズム(A deblocking algorithm for JPEG compressed images using overcomplete wavelet representations)」(IEEE Transactions on Circuits and Systems for Video Technology, Vol. 7, No. 2, August 1997)、およびLang等著「間引きなしの離散ウェーブレット変換を用いたノイズ低減(Noise reduction using an undecimated discrete wavelet transform)」(Signal Processing Newsletters, Vol. 13, January 1996)によって記載されている。
反復法が、Paek等著「変換符号化された画像中のブロッキングアーチファクトを低減するためのDCTに基づく空間適応的後処理技法(A DCT-based spatially adaptive post-processing technique to reduce the blocking artifacts in transform coded images)」(IEEE Transactions on Circuits and Systems for Video Technology, Vol. 10, February 2000)、およびPaek等著「変換符号化された画像中のブロッキングアーチファクトを低減するためのPOCSに基づく後処理技法について(On the POCS-based post-processing technique to reduce the blocking artifacts in transform coded images)」(IEEE Transactions on Circuits and Systems for Video Technology, Vol. 8, June 1998)によって記載されている。典型的な従来のポストフィルタリング構造を図1に示す。
ファジィルールに基づくフィルタリング方法が、Arakawa著「ファジィルールに基づく信号処理と、その画像復元への応用(Fuzzy rule-based signal processing and its application to image restoration)」(IEEE Journal on selected areas in communications, Vol. 12, No. 9, December 1994)、およびGiura他に対して2001年12月18日付で発行された米国特許第6,332,136号「ファジィフィルタリング方法と関連するファジィフィルタ(Fuzzy filtering method and associated fuzzy filter)」によって記載されている。
従来技術の方法のほとんどは、ブロッキングノイズの除去のみを扱う。そうした方法はリンギングノイズには効果的でない。ウェーブレットに基づく方法のようないくつかの方法はリンギングを抑えることができるが、復元画像全体がぼけてしまう。従来技術のファジィルールに基づくフィルタリング方法は白色ガウス雑音のみを扱う。
上記の従来技術の方法は、画素に個別に作用し、各画素に同一のフィルタを適用する。そうした方法は概して、画像の基礎をなす内容を考慮しない。したがって、それらのフィルタは、アーチファクトを除去するために画像を過度に平滑化してぼかしてしまうか、あるいは、最小限の平滑化を適用した場合にはアーチファクトを十分に低減することができない。
そうした方法のもう1つの主な問題は計算の複雑度である。例えば、ウェーブレットに基づく方法は、ウェーブレット画像を得るために8回の重畳に基づくローパスおよびハイパスフィルタリング操作を必要とする。その後、それらのウェーブレット画像に対してデブロッキング操作を行って、ブロッキングアーチファクトを除去する。デブロッキングした画像を再構成するには、12回の重畳に基づくローパスおよびハイパスフィルタリング操作が必要である。したがってその方法では、合計で20回の重畳に基づくフィルタリング操作が必要である。この計算コストは、リアルタイム処理の要件を満たすことができない。このウェーブレットに基づく方法と類似して、DCTドメイン方法も高い計算複雑度を有する。5×5のウィンドウを用いたローパスフィルタリングの場合、1つの8×8ブロックを処理するために25回のDCT操作が必要である。このような高い複雑度もまた、リアルタイム処理には非現実的である。反復法の計算コストは、上記の2つの方法の計算コストよりもさらに高い。ファジィルールに基づくフィルタリング方法に関しては、反復法は多数のフィルタパラメータおよび付加的な訓練データを必要とする。
上記の従来技術の方法の問題に鑑みて、低い計算複雑度でより高い画像およびビデオの画質を達成する新規のフィルタリング構造を提供することが望ましい。
本発明は、入力画像中のアーチファクトを低減する。入力画像から分散画像が作成される。入力画像は複数の画素ブロックに分割される。
分類の組を定義する。分類の組は、平坦、テクスチャ、およびエッジを含む。分散画像に応じて入力画像の各画素ブロックに特定の分類が割り当てられ、平坦なブロック、テクスチャブロック、およびエッジブロックが生成される。
各エッジブロックの各画素にファジィフィルタが適用される。
本発明は、ファジィフィルタを用いて画像中のリンギングアーチファクトを除去する。リンギングアーチファクトは大抵、画像中の強いエッジに沿って現れる。画像が復元画像である場合、これらのエッジは、圧縮中に用いられるブロック化によるものである可能性がある。
入力画像中の局所分散を用いて、画像エッジ画素を検出し、ファジィフィルタリングをガイドするためのエッジマップを形成する。不要なフィルタリングが防止されるため、計算の複雑度が低減し、原画像の細部が保たれる。ファジィルールに基づく方法と比べて、本発明は、画素値および局所分散情報をより効果的な方法で、かつ遥かに低い複雑度で利用する。
図1は、本発明によるシステムおよび方法100を示す。本システムは、いかなる画像またはビデオデコーダにも依存しない。本システムは、圧縮された画像またはビデオに埋め込まれるいかなる符号化パラメータにも頼らない。本発明の焦点は画像中の局所特徴に置かれる。本発明による方法は、局所特徴を抽出し、その後、これを分類する。その後、分類された特徴を用いて、画像が復元された画像またはビデオである場合に、画素を選択的かつ適応的にフィルタリングすることができる。
入力は復元画像201である。本方法は、いかなる画像フォーマット、例えばYUVまたはRGBにも正常に機能する。本システムは、ビデオにおけるような画像シーケンスを処理できることを理解すべきである。例えば、画像201はプログレッシブまたはインタレースビデオの一部であってもよい。入力画像は、一度も圧縮されていない原画像であってもよいことにも留意すべきである。
しかし、入力画像が、圧縮画像から導出された復元画像であり、この圧縮画像が、ブロックベースの圧縮プロセスで圧縮した原画像から導出されたものである場合、復元画像201は以前の圧縮により、圧縮画像のDCT係数ブロックの個別の量子化によって生じたブロッキングアーチファクトを有する。したがって、復元画像201は、隣接ブロック間の空間値にブロックの不連続性を有する。復元画像のエッジに沿ってリンギングアーチファクトも存在する可能性がある。
元のテクスチャおよびエッジ情報を保ったまま、これらのアーチファクトを低減するために、本発明によるフィルタリングは、復元画像中の局所特徴の分類に基づく。
分散画像
統計学的な観点から、画素の強度値の分散は復元画像の特徴を示す。画像の平均強度値mは画像のDC成分を表す。平均強度値は次式によって測定することができる。
統計学的な観点から、画素の強度値の分散は復元画像の特徴を示す。画像の平均強度値mは画像のDC成分を表す。平均強度値は次式によって測定することができる。
ここで、MおよびNは、復元画像の幅および高さを画素数で表したものであり、pxi,jは、画像中のi,jの位置に現れる画素の確率である。(なお、xi,jは、xi,jである。)
復元画像の平均パワーは次式で表される平均二乗値である。
平均の変動(a fluctuations about the mean)は次式で表される分散である。
平均二乗は、画像中のDC成分の平均パワーを表し、分散は、復元画像201中のAC周波数成分の平均パワーを表す。したがって、強度値の分散は、画像中のエネルギーを表す変動ACパワーの測度として用いられる。
或る画素の分散が大きい場合、その画素は、エッジに関連するものである可能性が高い。分散が小さい場合、その画素は、一様な画像領域、例えば平坦な背景の一部である。したがって、分散は、画像中の局所特徴の特性を示す。
ブロッキングアーチファクトとリンギングアーチファクトはともに、局所的な特徴の特性によるものである、すなわち、アーチファクトは、ブロック境界上またはエッジ付近に現れるため、局所特徴はこれらのアーチファクトを十分に示すことができる。したがって、本発明による分類およびフィルタリングは、上記の式(3)において述べたように、画素強度値の局所分散によって測定されるようなエネルギー分布に基づく。特徴の特性は、以下のように強度値211を抽出すること210によって判定される。
図3に示すように、復元画像201中の各画素302を3×3のフィルタ301で走査する。この走査は、ラスタスキャン順に行うことができる。式(1)〜(3)に従ってフィルタの中心画素301毎に強度値211の平均および分散を求める220。分散値は分散画像401を形成する。幾何学的な観点から、局所分散は、各画素位置における復元画像の勾配を反映する。画像中のエッジにおける勾配は非常に高いため、分散画像401は「エッジマップ」として考えることができる。
図4に示すように、特徴の抽出および走査は復元画像201を、画素が強度値211を有する空間ドメインから、画素が分散411を有するエネルギードメインの分散画像401に変換する。
画素の分類
図5に示すように、第1のthreshold_1よりも小さい分散を有する画素211はclass_0 500として分類される。これらの画素は、画像中の一様な、すなわち「平坦な」領域に相当する。第2のthreshold_2よりも大きい分散を有する画素はclass_1 501として分類される。これらの画素は、エッジに相当する可能性が最も高い。これら2つの閾値間の分散を有する画素はclass_2 502として分類される。これらの画素は、近傍画素の特性に応じてリンギングノイズまたはテクスチャのいずれかとして考えることができる。本発明による適応フィルタリングは上記の分類に応じて行われる。
図5に示すように、第1のthreshold_1よりも小さい分散を有する画素211はclass_0 500として分類される。これらの画素は、画像中の一様な、すなわち「平坦な」領域に相当する。第2のthreshold_2よりも大きい分散を有する画素はclass_1 501として分類される。これらの画素は、エッジに相当する可能性が最も高い。これら2つの閾値間の分散を有する画素はclass_2 502として分類される。これらの画素は、近傍画素の特性に応じてリンギングノイズまたはテクスチャのいずれかとして考えることができる。本発明による適応フィルタリングは上記の分類に応じて行われる。
ブロックの分類
画素ブロックもまた、分散画像すなわち「エッジマップ」401中の分散値に応じて「平坦」241、「テクスチャ(textured)」242および「エッジ」243のブロックに分類される240。ブロックの分類240は、各ブロック中の全分散に基づいて、あるいは、そのブロック中の各クラスの画素数を計数することによって行うことができる。例えば、ブロック中の全ての画素がclass_0である場合、そのブロックは平坦として分類される。ブロック中の少なくとも1つの画素がclass_1である場合、そのブロックはエッジブロックとして分類される。そうでなく、ブロックがclass_0とclass_2の両方の画素を有する場合、そのブロックはテクスチャブロックとして分類される。
画素ブロックもまた、分散画像すなわち「エッジマップ」401中の分散値に応じて「平坦」241、「テクスチャ(textured)」242および「エッジ」243のブロックに分類される240。ブロックの分類240は、各ブロック中の全分散に基づいて、あるいは、そのブロック中の各クラスの画素数を計数することによって行うことができる。例えば、ブロック中の全ての画素がclass_0である場合、そのブロックは平坦として分類される。ブロック中の少なくとも1つの画素がclass_1である場合、そのブロックはエッジブロックとして分類される。そうでなく、ブロックがclass_0とclass_2の両方の画素を有する場合、そのブロックはテクスチャブロックとして分類される。
ブロッキングアーチファクトの検出
画像およびビデオを圧縮するための最もよく知られた規格は、画素ブロックのDCT符号化に基づく。ブロックベースの符号化は、通常はブロック当たり8×8、または16×16画素の画素ブロックに完全に画像を分割する。各ブロックの画素は個別にDCT係数に変換される。その後、DCT係数は、所定の量子化行列に従って量子化される。個別の符号化により、ブロッキングアーチファクトがブロック境界に見える。
画像およびビデオを圧縮するための最もよく知られた規格は、画素ブロックのDCT符号化に基づく。ブロックベースの符号化は、通常はブロック当たり8×8、または16×16画素の画素ブロックに完全に画像を分割する。各ブロックの画素は個別にDCT係数に変換される。その後、DCT係数は、所定の量子化行列に従って量子化される。個別の符号化により、ブロッキングアーチファクトがブロック境界に見える。
図6は、8×8のブロック600上でブロッキングアーチファクトを検出する方法250を示す。外側の画素は星印601によって示され、「内側」の画素は黒丸602によって示される。内側の画素は、ブロック中の一番上の行および左の列に隣接しこれに平行して位置する。検出250は、ブロック毎に左から右へ、かつ上から下へ行われる。
ブロッキングアーチファクトが存在する場合、外側の画素601の分散の勾配は内側の画素602とほとんど同じである。ブロッキングアーチファクトが存在することを判定する基準は次式の通りである。
符号は+1または−1である。上記のテストは、ブロッキングアーチファクトと、ブロック境界上のエッジとを区別する。
デブロッキングフィルタ
図7に示すように、ブロッキングアーチファクトは、復元画像中の検出されたブロック境界をフィルタリングすることによって除去される260。ブロッキングアーチファクトが検出された場合、1次元のローパス(平滑化)フィルタをブロック境界601に沿って画素に適応的に適用する。フィルタ702、704、706のサイズ、例えば2画素、4画素、6画素またはそれより多くの画素数は、ブロック境界における勾配に対応する。大きな勾配値を有する画素、すなわちエッジ画素は、エッジまたはテクスチャをぼかしてしまうことを防ぐためにフィルタリング操作から除外される。
図7に示すように、ブロッキングアーチファクトは、復元画像中の検出されたブロック境界をフィルタリングすることによって除去される260。ブロッキングアーチファクトが検出された場合、1次元のローパス(平滑化)フィルタをブロック境界601に沿って画素に適応的に適用する。フィルタ702、704、706のサイズ、例えば2画素、4画素、6画素またはそれより多くの画素数は、ブロック境界における勾配に対応する。大きな勾配値を有する画素、すなわちエッジ画素は、エッジまたはテクスチャをぼかしてしまうことを防ぐためにフィルタリング操作から除外される。
ファジィフィルタ
デリンギング(リンギング除去)270は、ファジィフィルタ271を適用することによって、エッジブロック243のみに対して行われる。本発明によるファジィフィルタはファジィ変換理論に基づく。Nie等著「ファジィ変換とその応用(Fuzzy transformation and its applications)」(IEEE International Conference on Image Processing, Barcelona, Spain, September, 2003)を参照のこと。
デリンギング(リンギング除去)270は、ファジィフィルタ271を適用することによって、エッジブロック243のみに対して行われる。本発明によるファジィフィルタはファジィ変換理論に基づく。Nie等著「ファジィ変換とその応用(Fuzzy transformation and its applications)」(IEEE International Conference on Image Processing, Barcelona, Spain, September, 2003)を参照のこと。
ファジィ変換において、空間サンプルxi、あるいは画像の場合は画素と、順序(order)(画素)xj、すなわち、サンプルセットの中でj番目に小さいサンプルとの関係は、実数値のメンバシップ関数μF(a,b)によって確立され、ここで、空間インデックスiはi=1,2,...,Nであり、j=1,2,...,Nは順序統計量であり、x(1)≦x(2)≦...≦x(N)であり、Nは観測またはフィルタリングウィンドウN×Nのサイズである。記号aおよびbは、メンバシップ関数の一般変数を表し、任意の実数とすることができる。
メンバシップ関数μF(a,b)は以下の制約を有する。
lim|a−b|→0μF(a,b)=1、
lim|a−b|→∞μF(a,b)=0、かつ
|a1−b1|≦|a2−b2|⇒μF(a1,b1)≧μF(a2,b2)。
lim|a−b|→0μF(a,b)=1、
lim|a−b|→∞μF(a,b)=0、かつ
|a1−b1|≦|a2−b2|⇒μF(a1,b1)≧μF(a2,b2)。
これにより、次式によって定義されるN×Nのファジィ空間ランク(SR)行列が得られる。
ここで、(〜)Ri,(j)=μF(xi,x(j))∈[0,1]であり、i,j=1,2,...Nである。なお、(〜)Rは、Rの上に〜があることを表す。
ファジィSR行列(〜)Rの要素は各対のサンプル(画素)間の値の差に依存するため、ファジィSR行列はばらつき(spread)情報を含む。サンプルのばらつきすなわち多様性は、サンプルの相似(similar)を記述する。サンプルが同様の値を有する場合、サンプルのばらつきは小さい。異なるサンプルは大きなばらつきを有する。
入力画像中の元のすなわち「はっきりした」画素は、「はっきりした」順序統計量ベクトルに行正規化ファジィSR行列を掛けることによって、出力画像中のファジィ画素に変換することができる。結果として得られるファジィ画素はサンプルばらつき情報も反映する。したがって、本発明によるファジィフィルタ271の出力は、フィルタリングウィンドウの中心サンプルのファジィ対応物である。
フィルタ出力は、以下の単純化された式を用いて得ることができる。
ここで、xcおよび(〜)xcはそれぞれ、入力画素、および中心画素にファジィフィルタを適用した後の出力画素である。なお、(〜)xcは、xcの上に〜があることを表す。
フィルタ出力の最後の式から示唆されるように、サンプルの順序付け操作は不要である。したがって、ファジィフィルタ271の計算複雑度は、線形フィルタの複雑度よりもわずかに高いだけである。唯一の付加的な計算は、N−1対のサンプル間でメンバシップ関数の値を評価するためのものである。全てのサンプルまたは複数のサンプルについてμF(xc,xc)=1であり、よって求める必要がないことに留意されたい。
本発明の好ましい実施形態において、特定の実数値のメンバシップ関数μg(a,b)は、ガウス関数e−(a−b)2/2ζ2によって定義され、ここで尺度パラメータ(spread parameter)はζ=20である。なお、ガウス関数で上付きの上付きを表現できませんので上記のように表していますが、eの上付き文字は、−(a−b)2/2ζ2です。
図2は、i=1,2,...,Nについてサンプルxiと、フィルタリングウィンドウxcの中心サンプルとの間の値の類似性(affinity)を表すガウスメンバシップ関数μG(a,b)の値の例を示す。この与えられた例において、xc=128であり、x1=180であり、x2=20であり、x3=100である。
上記の式から、ファジィフィルタ出力はフィルタリングウィンドウ内のサンプルの加重平均であることが分かる。ガウスメンバシップ関数の値、すなわち中心サンプル自体を含む各サンプルの中心サンプルに対する類似度(similarity measure)は、対応するファジィサンプルの重みとして用いられる。
したがって、サンプルの値が中心サンプルに近づくほど、より大きな重みがサンプルに割り当てられる。これは、同様の値のサンプルはそれらの局所平均の周囲でさらにクラスタリングされ、異なる値のサンプルはほぼそのままであるという効果をもたらす。これは、ファジィ変換のクラスタリング特性として知られる。
結果として、本発明によるファジィフィルタ271は、データ適応的平滑化特徴を有し、よって強いエッジを完全に保ち、その一方で、目障りなリンギングアーチファクトに関連する弱いエッジを除去することができる。
図8はこの特徴を示す。この例において、「ステップ」信号801の入力サンプル(画素)は、均一に分散したノイズによって破壊される。よって、破壊された信号は、2つのグループのはっきりしたサンプルからなり、一方のグループは0の周囲に局所化され、他方のグループは1の周囲に局所化される。
ファジィフィルタ271によるフィルタリングの後、同様の値のサンプルを含む各グループを、グループの局所平均の周囲でさらに細かくクラスタリングし、結果として、フィルタリングされたステップ信号801を得る。したがって、均一な領域における望ましくない摂動が平滑化され、その一方で、ステップエッジを回復する。この例は、強いエッジの周囲のリンギングアーチファクトを正確にシミュレートすることに留意されたい。したがって、この例は、ファジィフィルタがこれらのアーチファクトを除去するとともにエッジを保つ方法を示す。
したがって、本発明によるファジィフィルタは、エッジブロック中の画素のみに適用されて、リンギングアーチファクトを除去するとともにエッジを保つ。さらに、非エッジブロックにおける不要な平滑化を防ぐため、計算の複雑度が低減され、画像の細部/テクスチャが保持される。
本発明の精神および範囲内で様々な他の適応および変更を行うことができることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るこのような変形および変更をすべて網羅することである。
Claims (12)
- 入力画像中のアーチファクトを低減する方法であって、
前記入力画像から分散画像を作成するステップと、
前記入力画像を複数の画素ブロックに分割するステップと、
平坦、テクスチャ、およびエッジを含む分類の組を定義するステップと、
前記分散画像に応じて前記入力画像の各画素ブロックに特定の分類を割り当てて、平坦なブロック、テクスチャブロック、およびエッジブロックを生成するステップと、
各エッジブロックの各画素にファジィフィルタを適用するステップと
を含む入力画像中のアーチファクトを低減する方法。 - ブロックベースの圧縮プロセスを用いて原画像を圧縮して、前記入力画像を作成することをさらに含む
請求項1記載の方法。 - ファジィ変換が、メンバシップ関数μF(a,b)に従って空間画素xiと、順序付けされた画素xjとの関係を定義し、
ここで、iは空間インデックスi=1,2,...,Nであり、j=1,2,...,Nは順序統計量であり、x(1)≦x(2)≦...≦x(N)であり、Nは、前記ファジィフィルタを適用するN×Nのフィルタリングウィンドウのサイズであり、実数aおよびbは前記メンバシップ関数の一般変数を表す
請求項1記載の方法。 - 前記メンバシップ関数μF(a,b)を、
lim|a−b|→0μF(a,b)=1、
lim|a−b|→∞μF(a,b)=0、かつ
|a1−b1|≦|a2−b2|⇒μF(a1,b1)≧μF(a2,b2)
に従って制約することをさらに含む
請求項1記載の方法。 - 特定のメンバシップ関数μG(a,b)はガウス関数e−(a−b)2/2ζ2であり、
ここで、ζは尺度パラメータである
請求項3記載の方法。 - 前記尺度パラメータζ=20である
請求項5記載の。 - 前記ファジィフィルタは、前記フィルタリングウィンドウの入力画素に適用されて、前記入力画素の重みが決められる
請求項3記載の方法。 - 前記重みの平均は、各エッジブロックの各画素について前記ファジィフィルタの出力を決める
請求項7記載の方法。 - 全画素についてμF(xc,xc)=1であり、
ここで、xcは前記フィルタリングウィンドウの中心画素である
請求項5記載の方法。 - 前記空間画素xiと前記順序付けされた画素xjとの関係は、前記空間画素xiと空間サンプルxjとのファジィ関係によって置き換えられて、前記ファジィフィルタの出力が得られる
請求項3記載の方法。 - 前記エッジブロックは、前記入力画像中のエッジに関連付けられる少なくとも1つの画素を含む
請求項1記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/832,614 US7551792B2 (en) | 2003-11-07 | 2004-04-27 | System and method for reducing ringing artifacts in images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005318614A true JP2005318614A (ja) | 2005-11-10 |
Family
ID=35445471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005129711A Pending JP2005318614A (ja) | 2004-04-27 | 2005-04-27 | 入力画像中のアーチファクトを低減する方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005318614A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009094625A (ja) * | 2007-10-04 | 2009-04-30 | Seiko Epson Corp | 画像処理装置及び方法並びにプログラム |
EP2099224A1 (en) | 2008-03-03 | 2009-09-09 | Sony Corporation | Signal processing apparatus and method, and program |
EP2107520A2 (en) | 2008-04-01 | 2009-10-07 | Sony Corporation | Device, method and program for signal noise reduction |
JP2014179918A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 動画像符号化装置、その制御方法、及び撮像装置 |
-
2005
- 2005-04-27 JP JP2005129711A patent/JP2005318614A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009094625A (ja) * | 2007-10-04 | 2009-04-30 | Seiko Epson Corp | 画像処理装置及び方法並びにプログラム |
EP2099224A1 (en) | 2008-03-03 | 2009-09-09 | Sony Corporation | Signal processing apparatus and method, and program |
US8238684B2 (en) | 2008-03-03 | 2012-08-07 | Sony Corporation | Signal processing apparatus and method, and program |
EP2107520A2 (en) | 2008-04-01 | 2009-10-07 | Sony Corporation | Device, method and program for signal noise reduction |
US8601042B2 (en) | 2008-04-01 | 2013-12-03 | Sony Corporation | Signal processing device and method, and signal processing program |
EP2107520A3 (en) * | 2008-04-01 | 2016-02-10 | Sony Corporation | Device, method and program for signal noise reduction |
JP2014179918A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 動画像符号化装置、その制御方法、及び撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7551792B2 (en) | System and method for reducing ringing artifacts in images | |
US7346224B2 (en) | System and method for classifying pixels in images | |
US7412109B2 (en) | System and method for filtering artifacts in images | |
US7822286B2 (en) | Filtering artifacts in images with 3D spatio-temporal fuzzy filters | |
Meier et al. | Reduction of blocking artifacts in image and video coding | |
US20050100235A1 (en) | System and method for classifying and filtering pixels | |
Maggioni et al. | Video denoising, deblocking, and enhancement through separable 4-D nonlocal spatiotemporal transforms | |
KR101112139B1 (ko) | 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법 | |
Apostolopoulos et al. | Postprocessing for very low bit-rate video compression | |
Kong et al. | Edge map guided adaptive post-filter for blocking and ringing artifacts removal | |
US6574374B1 (en) | Enhancing image compression performance by morphological processing | |
Hossain et al. | Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching | |
JP2006148878A (ja) | 画像中の画素を分類する方法 | |
JP2005318614A (ja) | 入力画像中のアーチファクトを低減する方法 | |
KR100669905B1 (ko) | 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법 | |
JP4850475B2 (ja) | 画像中の画素をフィルタリングする方法 | |
KR100683060B1 (ko) | 영상 프레임의 블록화 현상 제거 장치 및 그 방법 | |
Kim et al. | Signal adaptive postprocessing for blocking effects reduction in JPEG image | |
Do et al. | A new adaptive image post-treatment for deblocking and deringing based on total variation method | |
JP2009095004A (ja) | 画像シーケンス中の画素をフィルタリングする方法 | |
Abd-Elhafiez | Image compression algorithm using a fast curvelet transform | |
Mohammed et al. | New approaches for DCT-Based image compression using region of interest scheme | |
Tsai et al. | A DWT-based deblocking technique based on edge detection and zero masking for reducing blocking effect | |
Vinh et al. | Block Artifact reduction based on pixel classification using binary edge map | |
Võ et al. | Spatio-temporal fuzzy filtering for coding artifacts reduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091110 |