JP2006140999A - 画像中の画素をフィルタリングする方法 - Google Patents
画像中の画素をフィルタリングする方法 Download PDFInfo
- Publication number
- JP2006140999A JP2006140999A JP2005300353A JP2005300353A JP2006140999A JP 2006140999 A JP2006140999 A JP 2006140999A JP 2005300353 A JP2005300353 A JP 2005300353A JP 2005300353 A JP2005300353 A JP 2005300353A JP 2006140999 A JP2006140999 A JP 2006140999A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- filtering
- pixels
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 230000000903 blocking effect Effects 0.000 description 45
- 230000003044 adaptive effect Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000009499 grossing Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】方法は、先ず画像をブロックに分割することによって、画像中の画素をフィルタリングする。エッジブロックを特定する。各エッジブロック内の各画素の強度の分散を求める。次に、各エッジブロック内の各画素を、画素の分散に依存するフィルタによりフィルタリングする。
【選択図】図1
Description
統計的な観点から、画素の強度値の分布は、復元画像の特徴部を示す。画像の平均強度値mは、画像のDC成分を表す。平均強度値は、次式によって測定することができる。
図5に示すように、第1のしきい値_1未満の分散を有する画素211を、クラス_0 501として分類する(230)。これらの画素は、画像中の均質な、すなわち「平滑な」領域に対応する。第2のしきい値_2よりも大きい分散を有する画素を、クラス_1 502として分類する。これらの画素は、エッジに対応する可能性が最も高い。これら2つのしきい値の間の分散を有する画素を、クラス_2 503として分類する。これらの画素は、近傍画素の特性に応じてリンギングノイズまたはテクスチャとして考えることができる。本発明による適応的フィルタリングは、上記の分類に応じて実行される。
画素ブロックも、分散画像401中の分散値に応じて「平滑」ブロック241、「テクスチャ」ブロック242および「エッジ」ブロック243に分類する(240)。ブロックの分類240は、各ブロック内の総分散に基づいて、またはブロック内の各クラスの画素数を計数することによって行うことができる。例えば、ブロック内の画素が全てクラス_0である場合には、そのブロックを平滑ブロックとして分類する。ブロック内の少なくとも1つの画素がクラス_1である場合には、そのブロックをエッジブロックとして分類する。その他の、ブロックがクラス_0とクラス_2の両方の画素を有する場合には、そのブロックをテクスチャブロックとして分類する。
最もよく知られている画像およびビデオの圧縮規格は、画素ブロックのDCT符号化に基づいている。ブロックに基づく符号化は、画像を完全に、通常は、1ブロックが8×8画素である画素ブロックに分割する。各ブロックの画素は、別個にDCT係数に変換される。次に、DCT係数は、所定の量子化行列に応じて量子化される。別個の符号化のために、ブロッキングアーチファクトがブロック境界で目に見える。
図7に示すように、ブロッキングアーチファクトは、復元画像中の検出されたブロック境界をフィルタリングすることによって除去される(260)。ブロッキングアーチファクトが検出された場合には、画素に対してブロック境界601に沿って1次元ローパス(平滑化)フィルタを適応的に適用する。フィルタ702、704、706のサイズ(例えば2、4、6またはそれ以上の画素数)は、ブロック境界における勾配に対応する。大きな勾配値を有する画素(すなわちエッジ画素)は、フィルタリング操作から除外し、エッジやテクスチャをぼかすことを避ける。
ファジィフィルタ271を適用することによって、デリンギング270は、エッジブロック243のみに作用する。本発明によるファジィフィルタは、ファジィ変換理論に基づく。Nie等著「Fuzzy transformation and its applications」(IEEE International Conference on Image Processing, Barcelona, Spain, September, 2003)を参照願いたい。
上記の式(6)から、ウィンドウ内のぼやけた中心画素は、加重平均であることが分かる。各重みは、特に広がりパラメータξにより定められるようなガウス関数によって与えられる。広がりパラメータは、ガウス関数の形状、すなわちフィルタリングの範囲を制御する。広がりパラメータξが大きい場合には、ガウス関数は、比較的広い。これは、より平滑なフィルタに対応する。広がりパラメータξが小さい場合には、ガウス関数は狭く、フィルタリングの平滑さは低下する。ウィンドウサイズNは、同様の特性を有する。大きなウィンドウは、小さなウィンドウよりも強い平滑化効果を有する。
小さなウィンドウNと小さなξ
小さなウィンドウNと大きなξ
大きなウィンドウNと小さなξ
大きなウィンドウNと大きなξ
従来のインタレースビデオでは、フレームに基づく符号化方式とフィールドに基づく符号化方式とを併用して単一のフレームを符号化することができる。これにより、アーチファクトの複雑性が高まる。より良好なアーチファクト除去および細部の保持を達成するために、本発明では、各ビデオフレームの2つのフィールドを別個に処理する。異なる方式を用いて縦方向および横方向のデブロッキングを行う。異なるウィンドウサイズを有する1Dの適応的ファジィフィルタを適用して、横方向および縦方向のブロッキングアーチファクトをそれぞれ除去する。
図10に示すように、縦方向のブロッキングアーチファクトの検出を、8×8の画素の行1011と交差する縦方向の各ブロック境界1010に沿って行う。画素強度の差G0を、G0=|x0−y7|により求める。次に、L1、L2、L3、L4およびR1、R2、R3、R4でそれぞれ示される、ブロック境界の左側および右側にある各隣接画素対の強度の差も求める。
max(L1,L2,L3,L4)<G0またはmax(R1,R2,R3,R4)<G0
である場合には、その行をマークし、その行に沿って境界ギャップを検出する。
図11に示すように、ブロック境界にまたがるマークされた行においてのみ1Dフィルタリングを行う。
MAX(L1,L2,L3,L4)<G0
である場合(境界ギャップが左側にある隣接画素間の差と比べて明らかであることを意味する)には、画素1111、すなわちy6、y7およびx0をフィルタリングする。同様に、
MAX(R1,R2,R3,R4)<G0
である場合には、画素1112、すなわちy7、x0およびx1をフィルタリングする。
縦方向のブロッキングアーチファクトの平滑化に用いるフィルタは、フィルタリングすべき各画素(例えばy6)を中心とする5タップファジィフィルタ1113である。このファジィフィルタは、ブロック境界に沿って位置する強いエッジを保持する。
図12は、横方向のブロック境界1201と交差する画素列において横方向のブロッキングアーチファクトを検出する方法を示す。G0は、境界画素対の画像強度の差(すなわち、G0=|x0−y7|)であり、U1、U2、U3、U4およびB1、B2、B3、B4は、横方向の境界の上側および下側にある各隣接画素対の強度差である。GUL、GUR、GBLおよびGBRはそれぞれ、隣接する左上、右上、左下および右下の縦方向の境界における縦方向の境界ギャップの数である。
(GUL>TH2)かつ(GUR>TH2)
(GBL>TH2)かつ(GBR>TH2)
(GUL>7)または(GUR>7)または(GBL>7)または(GBR>7)
図13に示すように、横方向のブロック境界にまたがるマークされた列においてのみ1Dフィルタリングを行う。MAX(U1,U2,U3,U4)<G0である場合(境界ギャップが上側にある隣接画素間の差と比べて明らかであることを意味する)には、画素1301、すなわちy6、y7をフィルタリングする。
上述のように、ブロックの分類により、全体的な画質を下げることなく局所アーチファクトを大幅に低減することができる。しかし、ブロックの分類が同様に役立つ画像化用途は、他にも多くある。例えば、ブロックが適切に分類されれば、異なるブロックに異なる圧縮率および圧縮技法を適用することによって、全体的により高い圧縮率を達成することができる。例えば、平滑ブロックにはより高い圧縮率およびより単純な圧縮技法を適用して、より複雑なテクスチャを有するブロックに追加の帯域幅およびより高度な圧縮を適用できるようにすることができる。同様に、先ず「関心の低い」ブロックを廃棄することによって、パターン認識およびオブジェクト追跡の効率を高めることができる。さらに、画像検索システムが、分類されたブロックを選択的に用いて、コンテンツの検索および閲覧を加速することができる。
プログレッシブビデオの場合には、各フレーム中の各ブロックについてフィルタリングを行い、インタレースビデオの場合には、各フィールド中のブロックに対してフィルタリングを行う。各ブロックのフィルタは、図14に示すように、ブロックの分類および隣接するブロックの分類に応じて選択される。さらに、フィルタリングは、フィルタの広がりパラメータが最大分散または最大標準偏差に比例する、すなわち、最大標準偏差が大きくなるほど広がりパラメータも大きくなるという点で適応的である。
Claims (8)
- 画像中の画素をフィルタリングする方法であって、
入力画像中の複数の画素を複数のブロックに分割することと、
前記複数のブロックにおいてエッジブロックを特定することと、
各エッジブロック内の各画素の強度の標準偏差を求めることと、および
各エッジブロック内の各画素を、該画素の分散に依存するフィルタによりフィルタリングすることと
を含む画像中の画素をフィルタリングする方法。 - 前記フィルタは、広がりパラメータξおよびサイズNのウィンドウを有するガウス関数であり、小さい分散が小さいウィンドウおよび小さい広がりパラメータξに対応し、大きい分散が大きなウィンドウおよび大きな広がりパラメータξに対応する請求項1に記載の方法。
- 前記分散が4〜10の範囲にある場合には、前記広がりパラメータξを30に、前記ウィンドウNを3に設定することと、
前記分散が10〜22の範囲にある場合には、前記広がりパラメータξを15に、前記ウィンドウNを15に設定することと、および
それ以外の場合には、前記フィルタをオールパスフィルタに設定することと
をさらに含む請求項2に記載の方法。 - 2つの隣接するブロック間の縦方向の境界と交差する画素の行を特定することと、
境界ギャップを検出するために、前記縦方向の境界の左側および右側にある画素の強度差を求めることと、
前記境界ギャップが検出された場合にのみ、前記行の画素をフィルタリングすることと
をさらに含む請求項1に記載の方法。 - 前記フィルタリングすることは、前記フィルタリングすべき行の各画素を中心とする1次元ファジィフィルタを用いる請求項5に記載の方法。
- 2つの隣接するブロック間の横方向の境界と交差する画素の列を特定することと、
境界ギャップを検出するために、前記横方向の境界の上側および下側にある画素の強度差を求めることと、
前記境界ギャップが検出された場合にのみ、前記列の画素をフィルタリングすることと
をさらに含む請求項1に記載の方法。 - 前記フィルタリングすることは、前記フィルタリングすべき列の各画素を中心とする1次元ファジィフィルタを用いる請求項7に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/965,325 | 2004-10-14 | ||
US10/965,325 US7412109B2 (en) | 2003-11-07 | 2004-10-14 | System and method for filtering artifacts in images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006140999A true JP2006140999A (ja) | 2006-06-01 |
JP4850475B2 JP4850475B2 (ja) | 2012-01-11 |
Family
ID=36621441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005300353A Expired - Fee Related JP4850475B2 (ja) | 2004-10-14 | 2005-10-14 | 画像中の画素をフィルタリングする方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4850475B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081368A (ja) * | 2008-09-26 | 2010-04-08 | Toshiba Corp | 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法 |
JP5503548B2 (ja) * | 2008-10-22 | 2014-05-28 | 日本電信電話株式会社 | デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP5528445B2 (ja) * | 2009-06-19 | 2014-06-25 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06343169A (ja) * | 1993-06-01 | 1994-12-13 | Sharp Corp | 画像信号復号器 |
JPH07212759A (ja) * | 1994-01-27 | 1995-08-11 | Sharp Corp | 画像信号復号器 |
JPH10191335A (ja) * | 1996-12-27 | 1998-07-21 | Sony Corp | ブロック歪低減方法及び装置 |
JPH10313456A (ja) * | 1997-02-15 | 1998-11-24 | Samsung Electron Co Ltd | 信号適応フィルタリング方法及び信号適応フィルター |
JP2001224031A (ja) * | 2000-02-10 | 2001-08-17 | Sharp Corp | 動画像復号装置 |
JP2002185795A (ja) * | 2000-12-11 | 2002-06-28 | Seiko Epson Corp | 画像処理方法、画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体および画像処理装置 |
JP2002232890A (ja) * | 2001-02-01 | 2002-08-16 | Sony Corp | ブロック歪低減回路、再生装置、受信装置、ブロック歪低減方法 |
JP2002344968A (ja) * | 2001-05-14 | 2002-11-29 | Matsushita Electric Ind Co Ltd | ブロック歪み除去装置 |
JP2004159311A (ja) * | 2002-10-16 | 2004-06-03 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP2005166021A (ja) * | 2003-11-07 | 2005-06-23 | Mitsubishi Electric Research Laboratories Inc | 画像中の画素を分類する方法 |
-
2005
- 2005-10-14 JP JP2005300353A patent/JP4850475B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06343169A (ja) * | 1993-06-01 | 1994-12-13 | Sharp Corp | 画像信号復号器 |
JPH07212759A (ja) * | 1994-01-27 | 1995-08-11 | Sharp Corp | 画像信号復号器 |
JPH10191335A (ja) * | 1996-12-27 | 1998-07-21 | Sony Corp | ブロック歪低減方法及び装置 |
JPH10313456A (ja) * | 1997-02-15 | 1998-11-24 | Samsung Electron Co Ltd | 信号適応フィルタリング方法及び信号適応フィルター |
JP2001224031A (ja) * | 2000-02-10 | 2001-08-17 | Sharp Corp | 動画像復号装置 |
JP2002185795A (ja) * | 2000-12-11 | 2002-06-28 | Seiko Epson Corp | 画像処理方法、画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体および画像処理装置 |
JP2002232890A (ja) * | 2001-02-01 | 2002-08-16 | Sony Corp | ブロック歪低減回路、再生装置、受信装置、ブロック歪低減方法 |
JP2002344968A (ja) * | 2001-05-14 | 2002-11-29 | Matsushita Electric Ind Co Ltd | ブロック歪み除去装置 |
JP2004159311A (ja) * | 2002-10-16 | 2004-06-03 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP2005166021A (ja) * | 2003-11-07 | 2005-06-23 | Mitsubishi Electric Research Laboratories Inc | 画像中の画素を分類する方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081368A (ja) * | 2008-09-26 | 2010-04-08 | Toshiba Corp | 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法 |
JP5503548B2 (ja) * | 2008-10-22 | 2014-05-28 | 日本電信電話株式会社 | デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP5528445B2 (ja) * | 2009-06-19 | 2014-06-25 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4850475B2 (ja) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7551792B2 (en) | System and method for reducing ringing artifacts in images | |
US7346224B2 (en) | System and method for classifying pixels in images | |
US7412109B2 (en) | System and method for filtering artifacts in images | |
US7822286B2 (en) | Filtering artifacts in images with 3D spatio-temporal fuzzy filters | |
US20050100235A1 (en) | System and method for classifying and filtering pixels | |
Maggioni et al. | Video denoising, deblocking, and enhancement through separable 4-D nonlocal spatiotemporal transforms | |
EP1146748B1 (en) | A method of directional filtering for post-processing compressed video | |
Meier et al. | Reduction of blocking artifacts in image and video coding | |
Konstantinides et al. | Noise estimation and filtering using block-based singular value decomposition | |
KR101112139B1 (ko) | 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법 | |
WO2004038648A9 (en) | Method and decoder system for reducing quantization effects of a decoded image | |
JPH08186714A (ja) | 画像データのノイズ除去方法及びその装置 | |
Kong et al. | Edge map guided adaptive post-filter for blocking and ringing artifacts removal | |
JP2006148878A (ja) | 画像中の画素を分類する方法 | |
JP4850475B2 (ja) | 画像中の画素をフィルタリングする方法 | |
JP2005318614A (ja) | 入力画像中のアーチファクトを低減する方法 | |
KR100683060B1 (ko) | 영상 프레임의 블록화 현상 제거 장치 및 그 방법 | |
JP2009095004A (ja) | 画像シーケンス中の画素をフィルタリングする方法 | |
Young et al. | Psychovisually tuned attribute operators for pre-processing digital video | |
Kim et al. | Signal adaptive postprocessing for blocking effects reduction in JPEG image | |
JP4065287B2 (ja) | 画像データのノイズ除去方法及びその装置 | |
Kong et al. | Adaptive fuzzy post-filtering for highly compressed video | |
KR100772402B1 (ko) | 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기 | |
US20100002147A1 (en) | Method for improving the deringing filter | |
Wang et al. | Image deblocking scheme for JPEG compressed images using an adaptive-weighted bilateral filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110614 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111019 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |