JP2004166266A - 圧縮画像中のアーティファクトを除去する方法及びシステム - Google Patents

Abstract

【課題】 所望の画像内容にぼけを生じさせずにアーティファクトを低減させ、アーティファクト低減の度合いがアーティファクトの重大さと一致するよう圧縮レベルに自動的に適合するアーティファクト低減方法を提供することを目的とする。
【解決手段】 画像の圧縮された表現から復号化されたディジタル画像中のアーティファクトを除去する方法において、ディジタル画像の画素は低細部画素、高細部画素、及び境界画素へセグメンテーションされ、次に、シグマフィルタリング方法といった単一の非線形フィルタリング方法がディジタル画像中の各画素に適用される。低細部、高細部、及び境界画素に対して別々のフィルタパラメータを選択することにより、従来の方法よりも改善されたアーティファクト除去が行われる。
【選択図】 図１

Description

本発明は、概してディジタル画像処理の分野に係り、特に圧縮画像からアーティファクトを除去することに関する。

画像圧縮についてのＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及びＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準は、多くの多様なディジタルイメージング適用に採用されてきた。これらの標準の共通点は、離散コサイン変換（ＤＣＴ）を用いることである。ＪＰＥＧ及びＭＰＥＧのいずれにおいても、元の画像を表わす画素値は、重なり合わない連続する８×８ブロックへ分割される。各８×８ブロックは、６４個の空間周波数係数を生じさせるようＤＣＴで変換される。最も低い周波数係数はＤＣ係数と称され、画素値の元の８×８ブロックの平均に関連付けられる。他の６３個の係数はＡＣ係数と称され、平均の周辺の画素値の変動を表わす。ＪＰＥＧ及びＭＰＥＧで用いられる８×８ＤＣＴは、ブロック変換の一例である。

圧縮処理中、各８×８ブロックに対する周波数係数は、生じうる値の数を減少するよう量子化される。各係数に対する量子化の度合いは、６４個の値からなる量子化テーブル（又はｑテーブル）によって特定され、６４個の値のうちの１つの値はＤＣ係数に対するものであり、他の係数は６３個のＡＣ係数の夫々に対するものである。所与の係数に対してより大きいｑテーブルであることは、より多くの量子化を示す。量子化された係数は次に様々な符号化方法を用いて２値表現へ変換される。２値表現は、圧縮ファイル中で格納又は送信されるデータである。圧縮ファイルから画像を再構成するために、２値表現は各８×８ブロックに対する量子化された係数を回復するよう復号化される。量子化された係数は、逆量子化された係数を生じさせるよう逆量子化され、逆量子化された係数は元の周波数成分の近似である。最後に、逆量子化された係数は逆ＤＣＴを用いて再構成された画素値の８×８ブロックへ変換される。

圧縮ファイルから再構成される画像は、ＤＣＴ周波数領域で量子化された画素値の８×８ブロックを連結したものからなる。係数の量子化は、圧縮データの量と再構成された画像の質の間のトレードオフを許す仕組みである。ＤＣＴを用いて圧縮された画像は、高い圧縮レベルにおいて好ましくないアーティファクトを生じさせうることが周知であり、これは高いレベルの量子化に対応する。これらのアーティファクトは、主に低周波数係数（特にＤＣ係数）の粗い量子化の結果であるブロッキングアーティファクトと、主に中／高周波数ＡＣ係数の粗い量子化の結果であるリンギングアーティファクトを含む。ブロッキングアーティファクトは、主に、隣接する８×８ブロックの平均値の間の不一致によって生じ、これらの不一致は、低細部を有する画像領域、即ち空や水といったゆっくりと変化する内容を有する領域において特に顕著である。リンギングアーティファクトは、エッジ、即ち明るいところから暗いところ又はその逆への突然の変化の近くで生じ、エッジの片側又は両側に低細部の領域があるときに特に顕著である。本願では、低細部の領域に隣接する領域を境界領域と称するものとする。

圧縮画像中で高い圧縮レベルで生ずるブロッキングアーティファクト及びリンギングアーティファクトを低減させるために、特許及び技術的な文献中で多くの技術が説明されてきた。これらの技術のいくつかは、ブロッキングアーティファクトのみを除去することを目的としており（通常は「ｄｅｂｌｏｃｋｉｎｇ」技術と称される）、他の技術は、しばしばブロッキングアーティファクトとリンギングアーティファクトに対して異なる処理方法を用いて両方の種類のアーティファクトを取り扱おうとする。これらの技術の全てに対する共通の問題は、所望の画像内容を維持しつつアーティファクトの適切な低減を与えることである。

出願人の経験上、アーティファクト低減のための最善の方法のうちの１つは、ジェイ・アール・プライス（Ｊ．Ｒ．Ｐｒｉｃｅ）の「（Ｍｅｔｈｏｄ ｆｏｒ ｒｅｍｏｖｉｎｇ ａｒｔｉｆａｃｔｓ ｉｎ ａｎｅｌｅｃｔｒｏｎｉｃ ｉｍａｇｅ ｄｅｃｏｄｅｄ ｆｒｏｍ ａ ｂｌｏｃｋ−ｔｒａｎｓｆｏｒｍ ｃｏｄｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ａｎ ｉｍａｇｅ）」なる名称の共通に譲渡された特許文献１に記載されたものである。この特許文献１は、ここに参照として全体として組み入れられる。特許文献１では、画像を低細部の領域及び境界領域へセグメンテーションし、次に各領域に対して異なる処理段階を適用する、アーティファクト低減方法を教示している。この方法は、特に高い圧縮レベルでアーティファクトの外観にかなりの低減を与えるが、それでもなお幾つかの欠点がある。まず、境界領域に適用される処理の種類は、これらの領域における所望の画像内容にぼけを生じさせ、みかけの鮮鋭度に損失を生じさせうる。第２に、方法は圧縮レベルに適合しないため、アーティファクトの重大さに関わらず同じ処理が適用される。この適合性の欠徐は、殆どのアーティファクト低減方法に共通であり、所望の画像内容に更なるぼけを生じさせうる。第３に、低細部と境界の領域に対する処理パラメータは互いに対して独立に選ばれ、これは低細部と境界の領域の境界における顕著なスイッチングアーティファクトを生じさせうる。最後に、高細部の領域、即ち低細部又は境界ではない領域は、アーティファクトが存在しうるときでも処理されない。高細部の領域では、顕著なアクティビティを有する画像内容の存在は、アーティファクトをあまり明らかなものとさせないマスク信号を与える。しかしながら、高細部の領域においてもいくらかのアーティファクト低減を与えることが所望でありうる。
米国特許第６，４２７，０３１号明細書 米国特許第６，１８８，７９９号明細書 米国特許第６，３６０，０２４号明細書 ゼッド・ファン（Ｚ．Ｆａｎ）及びアール・デ・キエロス（Ｒ．ｄｅ Ｑｕｉｅｒｏｚ）、「ビットマップ圧縮履歴の識別におけるＪＰＥＧ量子化テーブルの最尤推定（Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｉｏｎ ｏｆ ＪＰＥＧ ｑｕａｎｔｉｚａｔｉｏｎ ｔａｂｌｅ ｉｎ ｔｈｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｂｉｔｍａｐ ｃｏｍｐｒｅｓｓｉｏｎ ｈｉｓｔｏｒｙ）」、ＩＥＥＥ画像処理国際会議（ＩＣＩＰ）２０００、カナダ国、バンクーバー、２０００年９月１０−１３日 ジェイ・エス・リー（Ｊ．Ｓ．Ｌｅｅ）、「ディジタル画像平滑化及びシグマフィルタ（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｓｍｏｏｔｈｉｎｇ ａｎｄ ｔｈｅ Ｓｉｇｍａ Ｆｉｌｔｅｒ）」、コンピュータビジョン・グラフィックス・及び画像処理、第２４巻、１９８３年、第２５５−２６９頁

従って、所望の画像内容にぼけを生じさせない一方でアーティファクトに顕著な低減を与えるアーティファクト低減方法が必要とされる。更に、方法は、アーティファクト低減の度合いがアーティファクトの重大さと一致するよう、圧縮レベルに自動的に適合するべきである。最後に、方法は、領域間の遷移が最終画像中で好ましくないものでないように、異なる領域（低細部、境界、及び高細部）が処理されるよう統一された枠組みを与えるべきである。

上述の課題は、本発明によれば、ディジタル画像の画素を、低細部画素、高細部画素、及び境界画素へセグメンテーションする段階と、ディジタル画像中の各画素に単一のフィルタリング方法を適用する段階とを含み、低細部画素、高細部画素、及び境界画素に対する前記フィルタリング方法のために別々のフィルタパラメータが選択される、画像の圧縮された表現から復号化され、複数の画素によって表わされるディジタル画像中のアーティファクトを除去する方法によって与えられる。

望ましい実施例では、単一フィルタリング方法は、シグマフィルタといった非線形フィルタによって行われ、フィルタパラメータは、画像の圧縮された表現を生成するのに用いられた圧縮パラメータへの依存性を含む。

本発明は、所望の画像内容を過剰に平滑化することなく、改善されたブロッキング及びリンギングアーティファクトを与える。アーティファクト除去の度合いは、アーティファクトの重大さに関係なく出来る限り高い画質を達成するために圧縮レベルとともに変化される。

本発明の上述の及び他の面、目的、特徴、及び利点は、以下の望ましい実施例の詳細な説明及び請求の範囲を見ること、及び添付の図面を参照して、より明らかに理解及び認識されるであろう。

以下の説明では、本発明の望ましい実施例について、通常はソフトウエアとして実施されるものとして説明する。当業者は、このようなソフトウエアと同等のものがハードウエア中に構築されうることを容易に認識するであろう。画像操作アルゴリズム及びシステムは周知であるため、本願では、本発明によるシステム及び方法の一部をなす、又は、より直接的に協働するアルゴリズム及びシステムについて特に説明する。かかるアルゴリズム及びシステムの他の面、並びに、それに関連する画像信号を生成する及び他の処理をするハードウエア及び／ソフトウエアは、従来技術で知られているかかるシステム、アルゴリズム、構成要素、及び要素から選択されうる。以下に説明するような、本発明によるシステムが与えられているとき、本発明の実施に有用な、本願では特に示さず、提案せず、又は記載されていないソフトウエアは従来通りであり、当業者の技術の範囲内である。

更に、本願では、コンピュータプログラムは、例えば、磁気ディスク（例えばハードドライブ又はフレキシブルディスク）或いは磁気テープといった磁気記憶媒体、光ディスク、光テープ、或いは機械読み取り可能なバーコードといった光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）或いは読み出し専用メモリ（ＲＯＭ）といった固体電子記憶装置、又は、コンピュータプログラムを記憶するのに用いられる他の物理的な装置又は媒体を含みうるコンピュータ読み出し可能な媒体に記憶されうるものとする。

以下の説明では、望ましい例としてＪＰＥＧ圧縮された画像を用いて本発明について説明する。当業者によれば、ＤＣＴ及び同様の変換を用いるＭＰＥＧ又はｍｏｔｉｏｎＪＰＥＧ等の他の技術、並びに、離散ウェーブレット変換を用いるＪＰＥＧ２０００といったより最近の技術を用いて圧縮された画像又は一連の画像に、同じ方法が適用されうることが理解されよう。同様に、本発明は、単色の画像、又はカラー画像の単一のチャネル、例えば輝度チャネルに適用するものとして説明されている。当業者によれば、方法は、他のカラーチャネル、即ちクロミナンスチャネルにおけるアーティファクトの低減を与えるよう拡張されうるものとして理解され、かかる拡張は、特許文献１に記載されている。

図１を参照するに、本発明の基本的な構成要素を示すブロック図が示されている。ＪＰＥＧ圧縮された画像１０は、まず、再構成されたディジタル画像１４を形成するようＪＰＥＧ伸長器１２を用いて伸長される。再構成された画像は、画素値のＭ×Ｎの配列から構成され、これは各画素を低細部、境界、又は高細部としてラベル付けする画素ラベルマップ１８を生成するセグメンテーションユニット１６へ送られる。セグメンテーションユニットの動作については、後述する。再構成された画像の画素値とそれらの関連付けられるラベルは、再構成された画像１４と比較して低減されたブロッキングアーティファクト及びリンギングアーティファクトを有する処理された画像２２を生成するよう画素値を処理するフィルタリングユニット２０へ送られる。フィルタリングユニットの動作についても後述する。フィルタリングユニット２０は、フィルタパラメータ発生器２６からフィルタパラメータ２４を受け取り、低細部、境界、及び高細部の画素に対して別々のパラメータが与えられる。フィルタパラメータ２４は、その関連付けられるラベルに従って各画素に対するフィルタリングユニット２０の動作を制御する。フィルタパラメータ発生器２６は、低細部、境界、及び高細部の画素に対するフィルタパラメータを決定し、異なる圧縮レベルに反応する。フィルタ発生器の更なる細部については後述する。この適応性を達成するために、フィルタパラメータ発生器２６は、ＪＰＥＧ圧縮ファイルのヘッダからｑテーブル２８の形のＪＰＥＧ圧縮ファイルの圧縮レベルに関する情報を必要とし、或いは、ＪＰＥＧ圧縮ファイルがないときは再構成された画像からｑテーブル推定器３０を用いてｑテーブル２８’が推定されうる。再構成された画像からｑテーブルを推定する技術は、技術的な文献に記載されており、当業者によって知られている。ｑテーブル推定技術の例は、非特許文献１に記載されている。

図２を参照するに、セグメンテーションユニット１６の詳細な動作を示すブロック図が示されている。再構成された画像１４は、セグメンテーションユニットへの入力として受け取られ、再構成された画像からローカル・アクティビティ・ユニット３４を用いてローカル・アクティビティ・マップ３２が計算される。ローカル・アクティビティ・マップは、再構成された画像中の各画素に対するローカル・アクティビティ値を特定し、これは多くの方法で計算されうる。特許文献１に記載のように、ローカル・アクティビティを計算する１つの方法は、よりロバストな画素ラベルマップを生じさせるよう雑音を低減し大きいグラジエントを拡散させるために９×９ガウシアンフィルタで平滑化されるグラジエントを使用するものである。ローカル・アクティビティ・マップを計算する他の方法は、当業者によって明らかであり、各画素の値の分散を各画素に中心を置くｍ×ｎのウィンドウを用いて計算することを含む。ｍの一般的な値は、３、５、７、又は９であり、ｍのより大きい値は、続く平滑化ステップの必要性をなくしうる。ローカル・アクティビティ・マップ３２は、次に、低細部ラベル付けユニット３８を用いて所定の閾値Ｔ_ld３６と比較され、ローカル・アクティビティ値が閾値以下であれば、対応する画素は低細部の画素としてラベル付けされる。この閾値比較処理の結果として、低細部マップ４０が得られる。

境界画素は、特許文献１に記載の境界ラベル付けユニット４２を用いて低細部画素マップから識別される。低細部としてラベル付けされていない各画素を中心としてｋ×ｋのウィンドウが置かれ、ｋ×ｋのウィンドウ内に１つ以上の低細部の画素が含まれていれば、ウィンドウがその中心を置いている画素は境界画素としてラベル付けされる。ｋについての一般的な値は１３、１５、１７又は１９である。

低細部とも境界ともラベル付けされていない全ての画素は、高細部としてラベル付けされる。画像の続く処理の便宜のため、画素ラベルマップ１８は、各画素種類に対して数値を割り当てることによって発生される。例えば、高細部の画素はラベル０を有し、低細部の画素はラベル１を有し、境界画素はラベル２を有する。

図３を参照するに、フィルタリングユニット２０の詳細な動作を示すブロック図が示されている。フィルタリングユニット２０は画素ラベルマップ１８及びフィルタパラメータ２４を受け取り、再構成された画像１４の各画素は、その対応する画素ラベルに関連するフィルタパラメータに従ってフィルタリングされ、処理された画像２２が生成される。画素の各種類（低細部、高細部、及び境界）は、フィルタパラメータ発生器２６によって与えられる関連付けられたパラメータを有する。フィルタパラメータ発生器の動作については後述する。特許文献１では、画素のフィルタリングは２つの異なるフィルタリング技術を用いて達成される。各低細部の画素は、ブロッキングアーティファクトの顕著な平滑化を与えるよう１１×１１のガウシアンフィルタでフィルタリングされ、各境界画素は４つの５×５の方向フィルタのうちの１つを用いてフィルタリングされる。方向フィルタは、エッジを保存しつつリンギングアーティファクトを除去しようとする。上述のように、出願人の経験によれば、方向フィルタは望み通りには機能せず、鮮鋭さが失われるという結果が得られる。更に、低細部の画素及び境界画素に対して非常に異なるフィルタリング方法を用いることにより、画像中の隣接する領域間に好ましくないスイッチングアーティファクトが生成されうる。これらの制限を克服するために、本発明は、低細部の画素と境界の画素に対して異なるフィルタパラメータを用いて単一のフィルタリング方法を用いる。同じフィルタリング方法は、所望であればアーティファクトを更に低減させるために高細部の画素に適用されうる。これに対して、特許文献１の方法は、高細部の画素の処理については何も記載していない。

本発明のフィルタリング方法は、非特許文献２に記載の「シグマ」フィルタと称される非線形空間フィルタに基づくものである。シグマフィルタは、圧縮アーティファクトの低下のために特に適するものとする幾つかの性質を有する。しかしながら、当業者によれば、同様の効果を得るために他の非線形空間フィルタが使用されうることが明らかとなろう。シグマフィルタは、処理中の現在の画素を中心として置かれるウィンドウ全体に亘って画素の平均をとる。一般的には、ウィンドウはｎ×ｎの正方形のウィンドウであるが、矩形であってもよく、更に任意の形状であっても良い。ここで、一般的に損失のないものとして正方形のウィンドウについてのみ考える。ｎ×ｎのウィンドウ中の画素は、各画素値と中心画素値の間の絶対的な差に基づく画素の平均の計算に包含されるか或いは排除される。数学的には、シグマフィルタは、

と表わすことができ、式中、ｘ_cは元の画素値であり、
（外１）

はフィルタリングされた中心画素値であり、ｘ_ijはｘ_cに中心を置くｎ×ｎのウィンドウ内の画素値であり、εはフィルタリングの度合いを制御する閾値である。εの値がより大きいとき、所与の中心画素に対する平均により多くの画素値が包含されることとなり、従ってより多くの平滑化が生ずる。尚、ε＝０のとき、中心画素値は変更されず、これは全くフィルタリングを行わない場合に等しい。

シグマフィルタが圧縮画像に適用されれば、異なる画素の種類（低細部、境界、及び高細部）に対して閾値εを適切に選択することによりブロッキングアーティファクト及びリンギングアーティファクトを除去することが可能である。シグマフィルタ閾値は、画素ラベル及び圧縮レベルに従って容易に調整されうる都合のよいパラメータを与える。図３を参照するに、フィルタパラメータ選択器４４は、３つの種類の画素ラベル（高細部＝０、低細部＝１、境界＝２）に対応する３つのシグマフィルタ閾値（ε₀，ε₁，ε₂）４８を受け取る。再構成された画像１４中の各画素は、画素のラベルに従って選択される閾値でシグマフィルタ４６を用いてフィルタリングされる。上述のように、所与の画素ラベルに対する対応する閾値がゼロであれば、有効な結果は、フィルタリングが実行されないことである。高細部の画素に対しては、ゼロの閾値を使用すると、画像中のフィルタリング演算の総数を大きく低減させることができ、高いアクティビティの画像内容がマスク信号を与えるため高細部の領域中でアーティファクトは本質的にあまり見えなくなるため、有利である。

ｎ×ｎのシグマフィルタウィンドウのサイズも、本発明の動作の重要なパラメータである。再び図３を参照するに、フィルタリングユニット２０は３つのシグマフィルタウィンドウサイズ（ｎ₀，ｎ₁，ｎ₂）５０を受け取り、これらはやはり３つの種類の画素レベル（高細部＝０、低細部＝１、境界＝２）に対応する。ｎの大きい値は、アーティファクトをより低減させうるが、これらはより多くの計算を必要とし、所望の画像内容のぼけを生じさせうる。ＪＰＥＧ圧縮画像中のブロッキングアーティファクト及びリンギングアーティファクトは画素の８×８ブロックに亘って生ずるため、シグマフィルタウィンドウのサイズはブロックの境界を横切ってかかるのに十分に大きくなくてはならない。結果として、ｎに対する典型的な値は７、９、又は１１である。上述のように、画像内容は、高細部の画素の領域中のアーティファクトの可視性を低くするマスク信号を与え、これは高細部の画素についてのシグマフィルタのウィンドウサイズを低下させるのに有利でありえ、例えば対応する高細部の閾値が非ゼロであれば、ｎ＝３又は５である。更に、８×８ブロックの間の境界に隣接して配置される高細部の画素のみをフィルタすることが所望であり得る。これらの変形は、アーティファクトの幾らかの低減を与えつつ、高細部の領域中の所望の画像内容を保存することに役立つ。

本発明の中心的な特徴は、シグマフィルタ４６によって使用される閾値（ε₀，ε₁，ε₂）４８を発生する方法である。最も高い画質は、閾値が画像に適用された圧縮の度合いに一致した時に得られる。圧縮の度合いは、再構成された画像１４中に生ずるブロッキングアーティファクト及びリンギングアーティファクトの重要さに直接関連する。上述のように、ブロッキングアーティファクトは、主に低周波数のＤＣＴ係数の過剰な量子化によって生じ、一方、リンギングアーティファクトは、主に中／高周波数のＤＣＴ係数の過剰な量子化によって生ずる。上述したように、量子化は、ＪＰＥＧｑテーブルによって特定される各ＤＣＴ係数に適用される。ブロッキングアーティファクトは、低細部の領域で最も顕著であるため、低細部の画素に対するシグマフィルタ閾値は、低周波数ＪＰＥＧｑテーブル値に関連する。同様に、リンギングアーティファクトは境界領域で最も顕著であり、境界画素に対するシグマフィルタ閾値は中／高周波数ＪＰＥＧｑテーブル値に関連する。

シグマフィルタ閾値を生成するタスクは、フィルタパラメータ発生器２６を用いて行われ、その詳細な動作については図４に示す。ＪＰＥＧｑテーブル２８（又は２８’）は、ＪＰＥＧファイルが利用可能であればＪＰＥＧヘッダから直接、又は、再構成された画像のみが利用可能であればｑテーブル推定器を通じて、フィルタパラメータ発生器への入力として与えられる。ＪＰＥＧｑテーブル値は、高細部閾値発生器５２、低細部閾値発生器５４、及び境界閾値発生器５６へ与えられる。これらの各閾値発生器は、ｑテーブル値からの適切な閾値を計算する。

ＪＰＥＧｑテーブル値からの閾値の計算は、数学的な関数及び／又はルックアップテーブルを用いて行われうる。図５を参照するに、ＪＰＥＧｑテーブルの様々な要素は、値を最も低い周波数（ＤＣ）から最も高いＡＣ周波数へおおよそ順序付けるジグザグスキャン表記を用いて一般的に示されている。ＤＣｑテーブルの値をｑ₀と示し、ＡＣｑテーブルの値をｑ₁，ｑ₂，ｑ₃，．．．ｑ₆₃と示す。低細部領域のブロッキングアーティファクトはＤＣ及び低周波数ＡＣのｑテーブル値に関連するため、低細部閾値発生器は、これらのｑテーブル値をその計算に用いる。例えば、低細部の閾値ε₁はＤＣｑテーブル値ｑ₀に線形に関連付けられえ、即ち、
ε₁＝ｋ₁・ｑ₀ （３）
但し、ｋ₁は予め決められた又はユーザによって指定されるスケーリング定数である。圧縮の量が増加すると、ＤＣｑテーブル値は一般的に増加し、式３はそれに従って低細部の閾値を増加させる。値ｋ₁もまた、低細部の領域において、より多くの又はより少ないアーティファクト低減を夫々与えるため、増加又は減少されうる。また、低細部閾値の計算では、含まれる低周波数ＡＣｑテーブル値はより少ないことが望ましく、なぜならばこれらの値はブロッキングアーティファクトに寄与しうるからであり、例えば、

但し、ｗはｉ番目のｑテーブル値に対する重み項である。式４中、ＤＣｑテーブル値及び最初の５つのＡＣｑテーブル値は、低細部の閾値を決定するのに用いられるが、他の数学的関係（非線形関数を含む）は当業者にとって明らかであろう。

同様に、境界閾値ε₂の計算は中／高周波数ＡＣｑテーブル値に基づくものであり、なぜならばこれらの値がリンギングアーティファクトの重要さに直接関連するためである。例えば、中／高周波数ＡＣｑテーブル値の重み付けされた組合せが使用されえ、即ち、

但し、ｋ₂は予め決められる又はユーザによって指定されるスケーリング定数である。他の数学的関係は、当業者によって明らかとなろう。ｑテーブル値と低細部及び境界閾値との間の正確な関係は多くの形を取りうるが、一般的な目標は所望のアーティファクト低減を与え、ｑテーブルの異なる形状及び振幅に対してロバストな閾値を発生することである。

圧縮レベル（即ちｑテーブル値）に応じた高細部閾値ε₀の発生は、低細部及び境界閾値を定義するよりも困難である。これは、高細部の領域はブロッキングアーティファクト及びリンギングアーティファクトの両方を含むが、これらの領域中の高いアクティビティの画像内容はまたこれらのアーティファクトのかなりのマスキングを与えるためである。これらの複雑な効果のため、できるかぎり多くの画像内容を保存するため、高細部閾値を非常に低い値、又はゼロ、に設定することが一般的である。例えば、高細部閾値は、ＤＣｑテーブルの関数でありえ、即ち、
ε₀＝ｋ₀・ｑ₀ （６）
但し、ｋ₀は予め決められた又はユーザによって指定されるスケーリング定数である。更に、最大の鮮鋭さを保存するため、ブロック間の境界に隣接して配置される高細部画素のみをフィルタすることが所望でありうる。

また、低細部及び境界の画素のために使用される閾値の間の佐を抑制することが有利であり得る。低細部画素と境界画素は常に隣接するため、これらの画素クラスの閾値の間の大きな差は、好ましくない「スイッチング」アーティファクト、即ち隣接する領域間の信号特徴の不連続性、を生じうる。これは、（電子センサ、フィルム粒子等からの）内在的なノイズを有する画像の場合に特にいえることであり、なぜならば隣接する領域は同様のノイズ特徴を有するはずであるが、低細部と境界の領域について非常に異なる閾値を使用することは、ノイズがあるものからノイズのないものへ切り替わる隣接する領域を生じさせうるためである。これらのスイッチングアーティファクトは、かかる処理された画像が見られるときに容易に検出される。一般的に、境界閾値ε₂は所与の圧縮レベルについての低細部閾値ε₁よりも大きく、従って抑制された閾値差の例は、
ε₂≦ε₁＋Δ （７）
但し、Δは低細部閾値と境界閾値の間の最大許容差である。Δの一般的な値は、０，１，２，３を含む。

再び図４を参照するに、シグマフィルタのウィンドウサイズの発生が圧縮レベル（即ちｑテーブル）とは独立であることを示す。実際上、一定のウィンドウサイズは、幅広い範囲の圧縮レベルに亘って許容可能な結果を与えることが分かっている。しかしながら、ウィンドウサイズをｑテーブルに従って変化させることも有利であり得る。これは、閾値について説明したように数学的関数又はルックアップテーブルを用いて達成されうる。

本発明の適応性について、圧縮レベルに関して説明した。また、シグマフィルタのパラメータを、再構成された画像の解像度といった他の画像メタデータ、並びに、処理された画像を見るために用いられる表示装置又は媒体の特徴といった種々のシステム構成要素に適合させることにも利点がありうる。

本発明について、ブロック変換符号化された画像に対する適用性について説明したが、同じ方法はブロックベースではない他の技術を用いて圧縮された画像に適用されうる。かかる圧縮技術の例として、ＪＰＥＧ及びＭＰＥＧで用いられる離散コサイン変換ではなく離散ウェーブレット変換（ＤＷＴ）を用いるＪＰＥＧ２０００圧縮標準がある。ＪＰＥＧ２０００で圧縮された画像は、ＤＷＴの内在的な性質はブロックに関連する構造へは導かないため、ブロッキングアーティファクトの影響を受けない。しかしながら、ＪＰＥＧ２０００圧縮中のウェーブレット係数の量子化は、エッジの近くではリンギングアーティファクトを、平滑な領域では低周波数アーティファクトを生じさせる。本発明は、かかるアーティファクトを低減させるためにＪＰＥＧ２０００圧縮された画像に対して直接適用されうるが、ＪＰＥＧ圧縮された画像に使用されたセグメンテーション閾値及びフィルタ閾値といった異なる処理パラメータを使用することが所望であり得る。上述のように、種々の処理パラメータは、ＪＰＥＧ２０００圧縮に使用された圧縮レベルに応じて調整されうる。

図６を参照するに、本発明を実施するコンピュータシステム１１０が示されている。コンピュータシステム１１０は望ましい実施例を例示するために示されているが、本発明は図示のコンピュータシステム１１０に限られるものではなく、ホームコンピュータ、キオスク、小売り又は卸売り写真仕上げの場合のような任意の電子処理システム、又はディジタル画像の処理用の任意の他のシステムに使用されうる。コンピュータシステム１１０は、ソフトウエアプログラムを受信し処理する、及び、他の処理機能を実行するマイクロプロセッサベースのユニット１１２を含む。ディスプレイ１１４は、例えばグラフィックユーザインタフェースによってソフトウエアに関連付けられるユーザ関連の情報を表示するマイクロプロセッサベースのユニット１１２に電気的に接続される。キーボード１１６はまた、ユーザがソフトウエアに情報を入力することを許すマイクロプロセッサベースのユニット１１２に接続される。入力のためにキーボード１１６を用いる代わりに、この技術分野で周知であるように、ディスプレイ１１４上でセレクタ１２０を動かすため、及びセレクタ１２０がその上に重なっているアイテムを選択するために、マウス１１８が使用されうる。

一般的にはソフトウエアプログラムを含むコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４は、ソフトウエアプログラム及び他の情報をマイクロプロセッサベースのユニット１１２へ入力する手段を与えるためにマイクロプロセッサベースのユニットに挿入される。更に、フレキシブルディスク１２６もまた、ソフトウエアプログラムを含んでもよく、ソフトウエアプログラムを入力するためにマイクロプロセッサベースのユニット１１２へ挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフレキシブルディスク１２６は、代わりに、マイクロプロセッサベースのユニット１１２へ接続される外部に配置されたディスクドライブユニット１２２へ接続される。更に、マイクロプロセッサベースのユニット１１２は、周知のように、ソフトウエアプログラムを内部的に記憶するよう、プログラムされうる。マイクロプロセッサをベースとするユニット１１２はまた、ローカルネットワーク及びインターネットといった外部ネットワークへの電話回線といったネットワーク接続１２７を有しうる。プリンタ１２８はまた、コンピュータシステム１１０からの出力のハードコピーを印刷するマイクロプロセッサベースのユニット１１２へ接続されうる。

画像はまた、これまで知られていたように、カード１３０内に電子的に具現化されるディジタル画像を含むＰＣＭＣＩＡカード（ＰＣメモリカード国際協会の仕様に基づく）といったパーソナルコンピュータカード（ＰＣカード）１３０を介してディスプレイ１１４上に表示されうる。ＰＣカード１３０は、最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能とするためにマイクロプロセッサベースのユニット１１２へ挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサベースのユニット１１２に接続される外付けのＰＣカードリーダ１３２へ挿入されうる。画像はまた、コンパクトディスク１２４、フレキシブルディスク１２６、又はネットワーク接続１２７を介して入力されうる。ＰＣカード１３０、フレキシブルディスク１２６、或いはコンパクトディスク１２４に記憶される、又はネットワーク接続１２７を通じて入力される全ての画像は、ディジタルカメラ１３４又はスキャナ（図示せず）といった種々の源から得られたものでありうる。画像は、マイクロプロセッサベースのユニット１１２に接続されたカメラドッキングポート１３６を介してディジタルカメラ１３４から直接、又は、マイクロプロセッサベースのユニット１１２からケーブル接続１３８を介して或いはマイクロプロセッサベースのユニット１１２への無線接続１４０を介して直接、入力されうる。

本発明の望ましい実施例で開示されたブロッキング及びリンギングアーティファクトを除去する特定のアルゴリズムは、様々なユーザコンテキスト及び環境で使用されうる。典型的なコンテキスト及び環境は、制限なしに、卸売りディジタル写真仕上げ（フィルムを入れる、ディジタル処理、印刷出力、といった典型的な処理段階又はステージを含む）、小売りディジタル写真仕上げ（フィルムを入れる、ディジタル処理、印刷出力）、家庭用印刷（過程でスキャンされたフィルム又はディジタル画像、ディジタル処理、印刷出力）、デスクトップソフトウエア（ディジタルプリントをより良くするため又はただ変更するためにディジタルプリントに対してアルゴリズムを適用するソフトウエア）、ディジタル注文調達（メディア又はウェブを通じたディジタル画像の入力、ディジタル処理、メディア上でディジタル形式、ウェブを介してディジタル形式、又はハードコピープリント上に印刷する画像出力）、キオスク（ディジタル又はスキャンされた入力、ディジタル処理、ディジタル又はハードコピー出力）、携帯装置（例えば処理ユニット、ディスプレイユニット、又は処理命令を与えるユニットとして使用されうるＰＤＡ又は携帯電話機）、並びに、ワールド・ワイド・ウェブを介して提供される画像処理サービスの部分を含みうる。

従って、本発明は、多くの異なるイメージングシステム内の処理方法として使用されうる。例えば、現在では、店外写真キオスクは一般的であり、これらの装置は一般的にはＣＤ、フレキシブルディスク、メモリフラッシュカード等といった種々のディジタル記憶媒体からの圧縮ファイルを受容することが可能である。ユーザは、写真キオスクに圧縮ファイルを入力することができ、次にファイルは伸長され、再構成された画像からプリントが作成される。本発明をかかるシステムに含めることにより、ユーザは、アーティファクト除去方法と共に画像を処理することができ、従って、全体の画質が改善される。フィルタパラメータを圧縮レベルに自動的に適応させるため、ユーザはアーティファクト除去が適用されるか否かを選択するだけでよい。しかしながら、ユーザの好みに応じてアーティファクト除去の度合いを変化させるために、１つ又は２つの制御部を含めることが有利でありうる。これらの制御は、式（３）乃至（５）のｑテーブルからのシグマフィルタ閾値を計算するために使用されるスケーリング定数を調整するために使用されうる。同様に、本発明は入力として圧縮ファイルを受け取る他の種類のディジタル写真仕上げシステムに使用されうる。

本発明の他の用途は、捕捉された画像が、カメラの記憶媒体上に保存される前に圧縮されるディジタルカメラである。アーティファクト除去方法は、圧縮画像の質を改善しうるため、画像を通常使用されるよりも小さいファイルサイズへ圧縮してもなお再構成された画像に対して同じ最終的な画質を得ることができる。このことは、より多くの画像がカメラの記憶媒体上に保存されることを可能とする。アーティファクト除去方法は、カメラ自体の中に配置されてもよく、又は、別々の画像処理及び／又は表示ソフトウエアの一部として利用可能であり得る。

本発明の概観を示すブロック図である。 画像の画素にラベル付けするセグメンテーションユニットの動作を示すブロック図である。 画像の画素をフィルタリングするフィルタリングユニットの動作を示すブロック図である。 フィルタパラメータ発生器の動作を示すブロック図である。 ＪＰＥＧｑテーブル値のジグザグ式インデックス付けを示す図である。 本発明を実施するコンピュータシステムを示す図である。

符号の説明

１０ ＪＰＥＧ圧縮された画像
１２ ＪＰＥＧ伸長器
１４ 再構成された画像
１６ セグメンテーションユニット
１８ 画素ラベルマップ
２０ フィルタリングユニット
２２ 処理された画像
２４ フィルタパラメータ
２６ フィルタパラメータ発生器
２８ ＪＰＥＧｑテーブル
３０ ｑテーブル推定器
３２ ローカル・アクティビティ・マップ
３４ ローカル・アクティビティ・ユニット
３６ 低細部閾値Ｔｌｄ
３８ 低細部ラベル付けユニット
４０ 低細部マップ
４２ 境界画素ラベル付けユニット
４４ フィルタパラメータ選択器
４６ シグマフィルタ
４８ シグマフィルタ閾値（ε₀，ε₁，ε₂）
５０ シグマフィルタウィンドウサイズ（ｎ₀，ｎ₁，ｎ₂）
５２ 高細部閾値発生器
５４ 低細部閾値発生器
５６ 境界閾値発生器
５７ ウィンドウサイズ発生器
１１０ コンピュータシステム
１１２ マイクロプロセッサベースのユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスクドライブユニット
１２４ コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６ フレキシブルディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナルコンピュータカード（ＰＣカード）
１３２ ＰＣカードリーダ
１３４ ディジタルカメラ
１３６ カメラドッキングポート
１３８ ケーブル接続
１４０ 無線接続

Claims (4)

1. 画像の圧縮された表現から復号化され、複数の画素によって表わされるディジタル画像中のアーティファクトを除去する方法であって、
   ディジタル画像の画素を、低細部画素、高細部画素、及び境界画素へセグメンテーションする段階と、
   前記ディジタル画像中の各画素に単一のフィルタリング方法を適用する段階とを含み、
   前記低細部画素、前記高細部画素、及び前記境界画素に対する前記フィルタリング方法に対して別々のフィルタパラメータが選択される、方法。
2. 前記単一のフィルタリング方法は、非線形フィルタリング方法である、請求項１記載の方法。
3. 前記非線形フィルタリング方法は、シグマフィルタとして実施される、請求項２記載の方法。
4. 前記フィルタパラメータは、前記画像の前記圧縮された表現を符号化するのに用いられた圧縮レベルへの依存性を含む、請求項１記載の方法。

Images