JP2007116728A - 圧縮された画像の画質の向上 - Google Patents

Abstract

【課題】 本発明は、圧縮された画像の画質の向上を行うための方法と装置を提供することを目的とする。
【解決手段】 一態様において、ウェーブレット順変換を使用して、画像に関する雑音除去とボケを除くことを実行するウェーブレット向上ユニットと、圧縮ウェーブレット変換を使用して、ウェーブレット向上ユニットからの向上された画像出力を圧縮する、ウェーブレット向上ユニットに接続された、圧縮器とを有する、符号化器である。
【選択図】図１Ａ

Description

この特許書類の開示部分は、（著作権又はマスクワーク）保護を受ける素材を含む。（著作権又はマスクワーク）所有者は、特許商標庁特許ファイル又は記録内の、特許書類又は特許開示のファクシミリ再生に異議を唱えないが、その他の全ての（著作権又はマスクワーク）権利は保存される。

本発明は、伸張と圧縮システムの分野に関連し、特に、本発明は、例えば、ＪＰＥＧ２０００規格に準拠する復号器により復号されるような、圧縮された画像の画質の向上に関連する。

低ビットレートでは、圧縮された画像は、しばしば、変換係数及び、量子化による幾つかの歪みを示す。これらの歪みの性質は、選択された変換と量子化機構に非常に依存する。歪みはしばしば、量子化雑音と呼ばれる。ウェーブレットに基づく雑音除去は、フーリエの基底と比較して基本的に異なる理論的特性のウェーブレットによりガウス雑音を除去する最新の技術である。量子化雑音の特徴は、ガウス白色雑音から非常に異なり、そして、良く知られているウェーブレット減少技術は適用できない。

新たな画像圧縮規格ＪＰＥＧ２０００（”Ｊ２Ｋ”）は、符号化器及び復号器として知られている、非常に高度な量子化機構を有する。ＩＴＵ−Ｔ Ｔ．８００／ＩＳＯ／ＩＥＣ１５４４４１：２０００ＪＰＥＧ２０００画像符号化システムを参照する。

ＤＣＴ圧縮により発生される圧縮歪みの除去は、従来技術より知られている。それらの歪みは主に、８ｘ８変換ブロックによるブロック歪みである。典型的には、２つの変換ブロックの境界の位置が知られており、且つ、処理はこのブロックのまわりに集中する。更なる情報は、Ｓｈｅｎ，Ｍ．−Ｙ．，Ｋｕｏ，Ｃ．−Ｃ．，による１９８８年の、視覚通信及び画像表現ジャーナル（Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｉｏｎ）、Ｖｏｌ．９、第２−１４頁の”圧縮歪み除去のための後処理技術の再検討（Ｒｅｖｉｅｗ ｏｆ Ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｃｏｍｐｒｅｓｓｉｏｎ Ａｒｔｉｆａｃｔ Ｒｅｍｏｖａｌ）”及び、Ｘｉｏｎｇ，Ｚ．，Ｏｒｃｈａｒｄ，Ｍ．，Ｚｈａｎｇ，Ｙ．，による、１９９７年のＩＥＥＥ論文誌、ビデオ技術のための回路及びシステム、ｖｏｌ．７、第４３３−４３７頁の”オーバーコンプリートウェーブレット表現を使用するＪＰＥＧ圧縮画像のためのデブロッキングアルゴリズム（Ａ Ｄｅｂｌｏｃｋｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ＪＰＥＧ Ｃｏｍｐｒｅｓｓｅｄ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｗａｖｅｌｅｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ）”を参照する。

ＤＣＴブロック境界での歪み除去に対する同様な問題である、ウェーブレット圧縮システムを使用するタイル境界で、歪み除去に関するある研究がある。元のＪＰＥＧ規格は、ウェーブレット変換を使用するＪ２Ｋに対して、ＤＣＴを使用する。ＪＰＥＧ規格に関する更なる情報は、ＩＴＵ−Ｔ勧告Ｔ．８１｜ＩＳＯ／ＩＥＣ１０９１８−１：１９９４、情報技術一連続トーンの静止画像のディジタル圧縮及び符号化：要求とガイドラインを参照する。

ウェーブレット圧縮システム内の量子化雑音を除去する幾つかの後処理法が存在する。１９９９年のＪ２Ｋ会合で提示された、Ｎｇｕｙｅｎ，Ｔ．，Ｙａｎｇ，Ｓ．，Ｈｕ，Ｙ．Ｈ．，Ｔｕｌｌ，Ｄ．Ｌ．，の”ＪＰＥＧ−２０００後処理”では、元の画像の推定を必要とする、ＭＡＰ−推定アルゴリズムが画像に適用される。一般的なアプリケーションでは、その推定は利用できない。更に、この技術を復号器に埋め込むことは可能ではない。他のアプローチが、１９９５年のＩＣＩＰ’９５のｖｏｌ．１、第６１０−６１３頁の論文集の、Ｗｅｉ，Ｄ．，Ｂｕｒｒｕｓ，Ｃ．Ｓ．，の”種々の符号化機構に対する最適ウェーブレットしきい値化（Ｏｐｔｉｍａｌ Ｗａｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｖａｒｉｏｕｓ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅｓ）”で使用されている。その雑音除去アルゴリズムは、特にガウス白色雑音に適している。量子化雑音は、決してガウス白色雑音ではない。対称的に、量子化後のウェーブレット係数は、量子化を通して与えられる制限された数の値のみを取ることができる。従って、前に述べたガウス雑音に対するしきい値機構は、量子化雑音の除去に対する最適な技術ではない。１９９９年のデータ圧縮会議（ＤＡＴＡ Ｃｏｍｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ）ＤＣＣの論文集、第６２−７１頁の、Ｎｏｓｒａｔｉｎｉａ、Ａ．，の”圧縮画像の改善のための埋め込まれた後処理（Ｅｍｂｅｄｄｅｄ Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｅｎｈａｎｃｅｍｅｎｔ ｏｆ Ｃｏｍｐｒｅｓｓｅｄ Ｉｍａｇｅｓ）”には、ＤＣＴ ＪＰＥＧ／ウェーブレット圧縮画像内のひずみ除去に関する、完全に復号された画像の異なるシフトを計算し且つ量子化に係数をクリップする、アルゴリズムが提示されている。しかしながら、これも、最初に全体の画像の復号を要求する、後処理ステップである。

不鮮明化を補正することは、画像処理がそれに対して実行される別の問題である。スキャナ又はＣＣＤカメラのような、画像をディジタル化する検出装置は、典型的には、元の画像の不鮮明版を発生する。従って、ボケを除くアルゴリズムは、元の画像と同じ程度の鮮明さを有するディジタル画像を発生するのに必要である。画像のボケを除くことは、画像処理の古典的な部分である。典型的には、不鮮明化は、平滑化カーネルとの畳み込みによりモデル化される。この不鮮明化を逆にすることは、フーリエ領域内で畳み込みカーネルにより除算することによりなされる。正確に逆にすることは、畳み込みカーネルが、その周波数応答でゼロ点を有しない場合にのみ、可能である。カーネルが、雑音が存在してこの基準を満足する場合にさえも、雑音のある画素は、フィルタ反転中に拡大されるので、ボケを取り除く問題は、良くない問題となる。畳み込みカーネルが、逆にできない場合には、正規化された反転が典型的には、使用され、正規化パラメータは、完全に逆にすることと雑音抑圧の間のトレードオフを管理する。

近年、ハイブリッドフーリエーウェーブレットに基づく技術が、逆畳み込み問題を解決するために、論文で提案されている。それらのアプローチでは、逆畳み込み問題の雑音除去部分は、ウェーブレット減少により実行され、フーリエ領域内での畳み込みの逆は、古典的なフィルタ反転による。更なる情報は、１９９８年のバイオメトリカ（Ｂｉｏｍｅｔｒｉｋａ）ｖｏｌ．８５、第１１５−１２９頁のＡｂｒａｍｏｖｉｃｈ，Ｆ．，Ｓｉｌｖｅｒｍａｎ，Ｂ．Ｗ．，の”統計的な逆問題ウェーブレット分解アプローチ（Ｗａｖｅｌｅｔ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ｓｔａｔｉｓｔｉｃａｌ Ｉｎｖｅｒｓｅ Ｐｒｏｂｌｅｍｓ）”、１９９５年の応用及び計算ハーモニック分析ジャーナル（Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｈａｒｍｏｎｉｃ Ａｎａｌｙｓｉｓ）の、ｖｏｌ．２，第１０１−１１５頁のＤｏｎｏｈｏ，Ｄ．，による、”Ｗａｖｅｌｅｔ−Ｖａｇｕｅｌｅｔｔｅ分解による線形逆問題の非線形解決方法（Ｎｏｎｌｉｎｅａｒ Ｓｏｌｕｔｉｏｎ ｏｆ Ｌｉｎｅａｒ Ｉｎｖｅｒｓｅ Ｐｒｏｂｌｅｍｓ ｂｙ Ｗａｖｅｌｅｔ−Ｖａｇｕｅｌｅｔｔｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）”、１９９８年のＩＣＡＳＳＰの論文集のｖｏｌ．６、第３２４１−３２４４頁の、Ｎｅｅｌａｍａｎｉ、Ｒ．，Ｃｈｏｉ，Ｈ．、Ｂａｒａｎｉｕｋ，Ｒ．，の”Ｉｌｌ−条件付きのシステムのためのウェーブレットに基づく逆畳み込み（Ｗａｖｅｌｅｔ−ｂａｓｅｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ Ｉｌｌ−ｃｏｎｄｉｔｉｏｎｅｄ Ｓｙｓｔｅｍ）”、１９８８年のアカデミックプレス（Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ）のＳ．Ｍａｌｌａｔによる”信号処理のウェーブレットツアー（Ａ Ｗａｖｅｌｅｔ Ｔｏｕｒ ｏｆ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）”を参照する。

特に、ラプラシアンピラミッドを使用する、サブバンド分解での画像の向上は、従来技術で既知である。例えば、日本、ＦｕｊｉのＩｔｏ，Ｗ．，による、”マルチ解像度周波数バンドの強調処理により、画像内のコントラストを向上する方法及び装置”、１９９９年５月２４日に発行された米国特許番号５，９０７，６４２及び、１９９５年９月２８日に発行された米国特許番号５，９６０，１２３を参照する。

１９９５年１２月３０日に、Ｃｈｉ−Ｙｕｎｆ，Ｆ．，Ｌｏｒｅｎ，Ｐ．に発行された、米国特許番号５，７０３，９６５の名称”数学的な変換に基づく画像圧縮／分解、縮小／拡大及び、画像鮮明化（Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ Ｂａｓｅｄ ｏｎ Ｍａｔｈｅｍａｔｉｃａｌ Ｔｒａｎｓｆｏｒｍ，Ｒｅｄｕｃｔｉｏｎ／Ｅｘｐａｎｓｉｏｎ，ａｎｄ Ｉｍａｇｅ Ｓｈａｒｐｅｎｉｎｇ）”は、２つの動作、圧縮と画像の鮮明化と平滑化を説明する。そのアプローチでは、元のＪＰＥＧ圧縮機構を仮定し、２つの動作は次々と実行され、そして、１つには結合されない。

発明が解決しようとする課題

本発明は、圧縮された画像の画質の向上を行うことを目的とする。

課題を解決するための手段

圧縮された画像の画質の向上を行うための方法と装置が開示される。一実施例では、ウェーブレット順変換を使用して、画像に関する雑音除去とボケを除くことを実行するウェーブレット向上ユニットと、圧縮ウェーブレット変換を使用して、ウェーブレット向上ユニットからの向上された画像出力を圧縮する、ウェーブレット向上ユニットに接続された、圧縮器とを有する、符号化器である。

発明の効果

本発明により、逆ウェーブレット変換の適用に応答して発生された再構成されたサンプル内の量子化雑音を特徴化し、且つ、復号中に構成された、再構成されたサンプルから量子化雑音を除去する、圧縮された画像の画質の向上を行うための方法と装置を提供できる。

本発明は、以下の詳細な説明と本発明の種々の実施例の添付する図面から更に完全に理解されよう。しかし、それらは、本発明を特定の実施例に制限するものとすべきではなく、説明と理解のみのためである。

圧縮された画像の画質の向上のための方法及び装置が開示される。新たなＪＰＥＧ２０００復号規格（ＩＴＵ−Ｔ Ｒｅｃ．Ｔ．８００／ＩＳＯ／ＩＥＣ１５４４４１：２０００ＪＰＥＧ２０００画像符号化システム）（以後Ｊ２Ｋ規格と呼ぶ）は、新たな符号化構造と、画像に対するコードストリーム定義を提供し、参照によりここに組み込まれる。

量子化雑音を特徴化し、且つ復号処理中に再構成されたサンプルから雑音を除去する、例えばＪ２Ｋ復号器のような、復号器に利用できる量子化機構に関する情報を使用する技術が開示される。例えば、ここに開示される技術は、Ｊ２Ｋ圧縮画像の画質を向上させるのに使用でき、画質の向上は量子化雑音の除去を指す。この技術は、復号器コードストリーム中に埋め込まれ、そして、画質の向上を実行するために、最初に、全体の画像を復号することを必要としない。

一実施例では、この雑音除去操作は、圧縮された画像（例えば、Ｊ２Ｋ圧縮された画像）の鮮明さを向上するためにボケを除く操作と結合される。ここに開示される技術は、ディジタルカメラにより撮られた又は、入力画像が検出装置により圧縮される前に不鮮明にされた場合の他の設定の画像に使用されうる。

量子化歪みと不鮮明化を含むＪ２Ｋ圧縮された画像の画質向上技術が、開示される。一実施例では、これらの技術は、量子化歪みを除去し且つボケを除く操作を必要ならば行うことにより、Ｊ２Ｋ圧縮された画像の視覚的な劣化を除去する。量子化歪みのこの除去と、ボケを除く操作の実行は、Ｊ２Ｋ量子化された係数へ”ウェーブレット鮮明化及び平滑化”（ＷＳＳ）を適用することにより実行され得る。ＷＳＳに関する更なる情報は、２０００年のヴァンクーヴァーのＩＣＩＰ／２０００の論文誌Ｖｏｌ．ＩＩＩの第７９７−８００頁のＫ．Ｂｅｒｋｎｅｒ，Ｅ．Ｌ．Ｓｃｈｗａｒｔｚ，Ｍ．Ｊ．Ｇｏｒｍｉｓｈ，Ｍ．Ｂｏｌｉｅｋによる、”ボケを取り除くアプリケーションを用いるＢｅｓｏｖ空間内の画像の鮮明化と平滑化への新しいウェーブレット変換に基づくアプローチ（Ａ Ｎｅｗ Ｗａｖｅｌｅｔ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｓｈａｒｐｅｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ ｏｆ Ｉｍａｇｅｓ ｉｎ Ｂｅｓｏｖ Ｓｐａｃｅｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｄｅｂｌｕｒｒｉｎｇ）”及び、２００１年７月の、応用及び計算ハーモニック分析、ウェーブレットアプリケーションに関する特別号（Ａｐｐｌｉｅｄ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｈａｒｍｏｎｉｃ Ａｎａｌｙｓｉｓ、Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｎ Ｗａｖｅｌｅｔ Ａｐｐｌｉｃａｔｉｏｎｓ）のＶｏｌ．１１、Ｎｏ．１の第２−３１頁の”画像の画質向上への応用を伴なうＢｅｓｏｖ空間内のマルチスケール鮮明化及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｅｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ ｉｎ Ｂｅｓｏｖ Ｓｐａｃｅｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ）”を参照し、参照によりここに組み込まれる。また、法人の譲り受け人へ譲渡された、１９９９年１２月１０日に出願された米国特許出願番号０９／４６７，５４４の名称”ウェーブレットを伴なうマルチスケール鮮明化及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｅｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ ｗｉｔｈ Ｗａｖｅｌｅｔ）”及び、２０００年９月８日に出願された、米国特許出願番号０９／６５８，３９３の名称”ウェーブレットに基づく画像処理パス（Ｗａｖｅｌｅｔ−Ｂａｓｅｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｐａｔｈ）”を参照する。

一実施例では、組合せて又は分離して使用されうる、量子化歪みの除去とボケを取り除く操作、及びそれらを実行するのに必要な機能は、復号器に埋め込まれ、そして、これらの動作は、Ｊ２Ｋ規格内で規定され且つＪ２Ｋ復号器に知られている量子化に関する情報を使用する。

一実施例では、ここで開示される技術は、復号器のオプションとして実行される。そのような場合には、符号化とロスレス復号中のコストはかからない。

代わりに、個々に開示される幾つかの技術は、他の符号化器内で実行されることも可能である。一実施例では、その技術は、種々の解像度における画像の画質を向上することを可能とする。特定の解像度での画質の向上は、特定のクライアントや例えばモニタのような装置を目的としうる。Ｊ２Ｋコードストリームは、装置又はクライアントに対するコードストリームを与えるために分析される。

以下の説明では、本発明の徹底的な理解を提供するために、変換のタイプ、パラメータ値等のような多くの詳細が示される。しかしながら、当業者には、本発明は、これらの特定の詳細なしでも実行され得るということは明らかである。その他の場合には、本発明を曖昧にするのを避けるために、詳細よりも、良く知られた構造と装置は、ブロック図の形式で示されている。

以下の詳細な説明の幾つかの部分は、アルゴリズムとコンピュータメモリ内のデータビットに関する動作の記号的な表現に関して提示される。これらのアルゴリズム的な記述と表現は、他の当業者に彼らの研究の実体を最も効果的に送るための、データ処理技術では当業者により使用されている手段である。ここで、アルゴリズムは、一般的には、所望の結果を導くステップの自己矛盾のないシーケンスであると考えられる。ステップは、物理量の物理的な操作を必要とするものである。通常は、必然的でないが、これらの量は、蓄積され、伝送され、結合され、比較されそして、その他の操作がされることが可能な、電気的な又は、磁気的な信号の形式をとる。主に共通の使用の理由から、これらの信号を、ビット、値、要素、シンボル、キャラクター、項、数又は、同様なものと呼ぶことは、しばしば便利であることが分かる。

しかしながら、全てのこれらのそして同様な用語は、適切な物理量と関連され且つこれらの量へ与えられる単なる便利なラベルであるということを、憶えていなくてはならない。以下の説明から明らかなように特別に述べられない限り、この記述を通して、”処理する”又は、”計算する”又は、”計算する”又は、”決定する”又は、”表示する”又は、同様なもののような用語を使用する説明は、コンピュータシステムのレジスタとメモリ内の物理的な（電子的な）量として表されるデータを、コンピュータシステムのメモリとレジスタ又は他のそのような情報蓄積、伝送又は表示装置内の物理的な量として同様に表される他のデータへ、操作し且つ変換する、コンピュータシステム又は同様な電子計算器の動作と処理を指す。

本発明は、ここの動作を実行する装置にも関連する。この装置は、要求される目的のために特別に構成されても良く、又は、コンピュータ内に蓄積されたコンピュータプログラムにより選択的に活性化され又は再構成される汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、制限はされないが、フレキシブルディスク、光ディスク、ＣＤ−ＲＯＭ及び、光磁気ディスク、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード又は、電子的な命令を蓄積するのに適するいずれかの形式の媒体で、各々がコンピュータシステムバスに接続されているような、コンピュータ読出し可能な媒体内に蓄積されてもよい。

個々に提示されるこのアルゴリズムと表示は、どのような特定のコンピュータ又は他の装置とも本質的に関連していない。種々の汎用システムは、この教示に従ってプログラムと共に使用され、又は、必要な方法ステップを実行する更に特別化された装置を構成することが便利であることがわかる。種々のこれらのシステムに対する必要な構造は、以下の説明から明らかである。更に加えて、本発明は、特定のプログラム言語を参照して説明はされない。種々のプログラム言語は、個々に説明される、本発明の教示を使用しうることは、明らかである。

機械読出し可能な媒体は、機械（例えば、コンピュータ）により読み出されることが可能な形式の情報を蓄積し又は転送する機構を含む。例えば、機械読出し可能な媒体は、読出し専用メモリ（”ＲＯＭ”）、ランダムアクセスメモリ（”ＲＡＭ”）、磁気ディスク蓄積媒体、光蓄積媒体、フラッシュメモリ装置、電気的、光学的、音響的又は他の形式の伝搬信号（例えば、搬送波、赤外信号、ディジタル信号等）を含む。

マルチスケール鮮明化、平滑化及び雑音除去
一実施例では、雑音除去、鮮明化及び、平滑化を達成するために、しきい値化及び／又はスケーリング（例えば、乗算）の形式の向上が、ウェーブレット係数に関して実行される。基準はしきい値化及び／又は乗算が適用されるか否かを指示する。

しきい値化による雑音除去
雑音除去は、所定のしきい値以下の全ての係数をゼロに設定することにより、実行される。この技術は、ハードしきい値化として知られ、且つ従来技術で良く知られている。代わりとして、例えば、しきい値以上の係数をゼロに向かってしきい値の量だけ縮小する、ソフトしきい値化も考えることが可能である。そのような技術は、きわどくサンプルされ且つ過度に完全なウェーブレット分解に対して優位に使用され、そして、１９９５年の情報理論に関するＩＥＥＥ論文誌、４１（３）の第６１３−６２７のＤｏｎｏｈｏによる、”ソフトしきい値化による雑音除去（Ｄｅｎｏｉｓｉｎｇ ｂｙ Ｓｏｆｔ−Ｔｈｒｅｓｈｏｌｄｉｎｇ）”に記載されている。

使用され得るしきい値選択の幾つかの選択がある。これらは、一連のテスト画像から計算される。

しきい値化に対する追加のストラテジーが利用できる。全体的なしきい値又は、異なる分解のレベル又は異なるバンド（ＬＨ，ＨＬ，ＨＨ）に対する異なるしきい値がありうる。このしきい値は、手動で設定されてもよい。

ウェーブレットは、雑音除去のための多くの他の変換よりも性能が優れている。例えば、ウェーブレット圧縮された画像へ適用されるラプラシアンに基づく技術は、ウェーブレット雑音除去システムで得られる品質レベルを達成しない。ラプラシアンピラミッド分解は、劣化又は雑音除去をしないことが受け入れられる場合のシステムに対してのみ使用されることが可能である。

係数の再スケーリング
いずれかの雑音除去が完了した後には、ゼロでないウェーブレット係数は、鮮明化又は平滑化のために修正される。

一実施例では、画像の鮮明化又は平滑化は、ウェーブレット係数とレベルに依存するパラメータμ_ｊ＞０とを乗算することにより得られる。鮮明化するには、高周波数バンドは、低周波数バンドよりも大きなファクタで乗算され、一方、平滑化するには、低周波数バンドは、高周波数バンドよりも大きなファクタで乗算されるべきである。この再スケーリングを得る一つの方法は、レベルｊでの係数を、μ_ｊ＝Ｒ・２^αｊと乗算することである。パラメータＲは、係数の全体的なエネルギーを保存するための再正規化係数として機能し、そして、αは鮮明化（α＜０）又は平滑化（α＞０）の程度を決定するパラメータである。そのような鮮明化と平滑化に関する更なる情報は、２０００年のヴァンクーヴァーのＩＣＩＰ／２０００の論文誌Ｖｏｌ．ＩＩＩの第７９７−８００頁のＫ．Ｂｅｒｋｎｅｒ，Ｅ．Ｌ．Ｓｃｈｗａｒｔｚ，Ｍ．Ｊ．Ｇｏｒｍｉｓｈ，Ｍ．Ｂｏｌｉｅｋによる、”ボケを取り除くアプリケーションを用いるＢｅｓｏｖ空間内の画像の鮮明化と平滑化への新しいウェーブレット変換に基づくアプローチ（Ａ Ｎｅｗ Ｗａｖｅｌｅｔ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｓｈａｒｐｅｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ ｏｆ Ｉｍａｇｅｓ ｉｎ Ｂｅｓｏｖ Ｓｐａｃｅｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｄｅｂｌｕｒｒｉｎｇ）”及び、２００１年７月の、応用及び計算ハーモニック分析、ウェーブレットアプリケーションに関する特別号（Ａｐｐｌｉｅｄ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｈａｒｍｏｎｉｃ Ａｎａｌｙｓｉｓ、Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｎ Ｗａｖｅｌｅｔ Ａｐｐｌｉｃａｔｉｏｎｓ）のＶｏｌ．１１、Ｎｏ．１の第２−３１頁の”画像の画質向上への応用を伴なうＢｅｓｏｖ空間内のマルチスケール鮮明化及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｅｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ ｉｎ Ｂｅｓｏｖ Ｓｐａｃｅｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ）”を参照し、参照によりここに組み込まれる。また、法人の譲り受け人へ譲渡された、１９９９年１２月１０日に出願された米国特許出願番号０９／４６７，５４４の名称”ウェーブレットを伴なうマルチスケール鮮明化及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｅｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ ｗｉｔｈ Ｗａｖｅｌｅｔ）”及び、２０００年９月８日に出願された、米国特許出願番号０９／６５８，３９３の名称”ウェーブレットに基づく画像処理パス（Ｗａｖｅｌｅｔ−Ｂａｓｅｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｐａｔｈ）”を参照し、参照によりここに組み込まれる。

パラメータＲに対しては、画像のエネルギーがどのように測定されるかによって、多くの選択がある。一つの方法は、
再スケーリングの前後で画像のＬ^２ノルム

を保存する、即ち、

でＲを計算する。走査された画像が、（典型的には、

の）Ｈｏｅｌｄｅｒの正規性γを有するとすると、Ｒ^２の近似は以下の推定により得られる。

この近似は演繹的に計算できそして、ウェーブレット係数の実際の値に依存しない。α＋γ＝０の場合には、

である。

Ｌ^２ノルムを使用する代わりに、ノルムに対する他の選択がある。Ｂｅｓｏｖ空間の理論を使用して、特定の画像の特定のＢｅｓｏｖノルムを保存することが可能である。このノルムは、ウェーブレット係数の重み付けされた和として定義される。パラメータＲは、

に対して、

として計算される。

に対しては、
前の式の項

は、

により置きかえられる。

一実施例では、パラメータαとＲの選択は、ユーザに大きな／小さな鮮明化又は、大きな／小さな平滑化を選択する機会を与える、装置のユーザインターフェースにより制御される。鮮明化と平滑化のこのパラメータ化は画質の改善の程度の精密な等級化を可能とする。

上述の技術は雑音のある画像の、特に走査された書類の、ボケを取り除くために使用される。従って、これらの技術は、ウェーブレット領域で、完全に、雑音除去と不鮮明化の逆を実行する。雑音除去の部分は、係数の縮小により行われ、一方、逆不鮮明化は、雑音除去された係数の再重み付けにより行われる。これらのボケを取り除く解決方法は、圧縮されたコードストリームについてではなく、不鮮明な元のデータに関する個々の処理動作として使用される。

圧縮歪みの除去と、Ｊ２Ｋ圧縮画像のボケを取り除くこと
雑音除去及び／又はボケを取り除くことは、圧縮画像内の量子化雑音による歪みを減少しかつ除去するために使用され得る。一実施例では、技術はＪ２Ｋ符号化されたデータストリーム内の量子化雑音の除去のために記述される。Ｊ２Ｋ符号化されたデータストリームに関する上述のウェーブレット鮮明化及び平滑化処理に関する処理を使用するボケを取り除く操作を実行するための技術も、説明される。それらの２つの技術は、画質の向上システムを構成するために、別々に又は組合せて使用できる。そのような画質の向上システムは、例えば、ディジタルカメラ、スキャナ、プリンタ、ディジタルコピー機、ディスプレイ、後処理ソフトウェア内に含まれても良く又は、復号器内に埋め込まれてもよい。

Ｊ２Ｋ−圧縮された係数内の量子化雑音の除去
ガウス白色雑音は、ウェーブレット分解のレベル内に均一に分散され、そして、その強度は分解の最も細かいレベルでの係数の標準偏差を計算することにより推定できる。量子化雑音は、異なる特性を有する。この雑音は、非常に似たサイズの変換係数が、量子化の適用後に異なる量子化ビン（ｂｉｎ）となった時に出現する。この量子化ビンのずれは、逆ウェーブレット変換を実行した後に、特に画像の滑らかな領域内で、歪みとして目に見える。ウェーブレット圧縮された画像内の量子化雑音歪みの特性は、逆変換と共に、量子化手順それ自身に依存する。

Ｊ２Ｋ規格パート１は、各サブバンド内の係数を通して複数のパスを作る。（重要であると予測された）幾つかの係数は、隣接係数の前に符号化されることが可能である。各パスは、幾つかの係数に対する量子化”ビンサイズ”を減少させる。更に加えて、（ＲＧＮマーカーにより使用が指示されている）Ｊ２Ｋ規格のパート１の対象の領域（ＲＯＩ）機能性と、パート２の増加されたＲＯＩ機能性は、係数処理の順序に更なる変化を可能とし、そして、従って、効果的に更なる”ビンサイズ”を可能とする。全ての場合において、復号器は、各係数に対して復号されるビットの数を知っており、且つ元の係数に関する境界を知っている。

多くの圧縮システム内の符号化器は、スカラー量子化を実行する。符号化器は、サブバンドの変換係数ｄを以下の式に従って値ｄ’に量子化する。

ここで、Ｑは量子化ステップサイズである。

量子化器Ｑは符号化で使用される。一実施例では、Ｑは、コードブロックからコードブロック又は、コードストリームの異なる部分で変わる。Ｊ２Ｋ規格では、復号器はＱ値とＱ値が変更されたときを知っている。Ｊ２ＫＱ値は、係数毎に変わる。そのような情報は、圧縮コードストリーム内のヘッダー情報として有効である（例えば、Ｊ２Ｋコードストリーム内のパケットヘッダ内の符号化パスの数）。これは、他の圧縮機構でもそのようである。

復号器は、典型的には、

を使用する。この説明では、ｒに対して１／２の値が使用されるが、しかし、例えば、３／８のような他の値も使用できる。

復号器は、量子化ビンｄが置かれたことを知っている。即ち

である。

又は、

の整数に対するｎＱに”近い”元の係数は、（ｎ−１／２）Ｑ又は、（ｎ＋１／２）Ｑとして再構成されうる。従って、２つのそのような近い係数に対しては、再構成された値はＱだけ異なる。

一実施例では、ここで開示する技術は、逆ウェーブレット変換中に計算される各々の再構成されたＬＬ成分についての量子化雑音を、最初に特徴化しそして、次に除去するために使用する、逆ウェーブレット変換と量子化機構に関するその情報を使用する。

Ｊ２Ｋファイルに対する量子化”ビンサイズ”の決定
Ｊ２Ｋ規格のＡｎｎｅｘ Ｅは、量子化を記述する。量子化ビンサイズＱは、

である。

値Δ_ｂは、所定のサブバンドに対する、明白なスカラー量子化ステップサイズである。例えば、５−３変換に対しては、常に１である。可逆９−７変換に対しては、（Ａｎｎｅｘ Ａに記載されているように）、Δ_ｂは、ヘッダー内のＱＣＤ又はＱＣＣタグ内に信号化されている。Ｍ_ｂは、Ｇ＋ε_ｂ−１であり、Ｇはガードビットの数及び、ε_ｂはＱＣＤ又は、ＱＣＣタグからの指数である。Ｎ_ｂ（ｕ，ｖ）は、位置ｕ，ｖと

での、特定の係数に対して復号されたビット面の数である。（Ｎ_ｂ（ｕ，ｖ）が可能であり、しかしこの場合には全ての係数はゼロである−これは、全ての雑音、信号なしの場合である。）Ｊ２Ｋコードストリームは、特定の係数に対して、Ｍ_ｂビット面以下を含む。

ビット面の数は、復号され、

Ｐは、（Ａｎｎｅｘ Ｂに記述されている）パケットヘッダー内に信号化されているゼロビット面の数である。Ｃは、

であり、ここで、パケットヘッダー内に信号化されているＣＰは符号化パスの全数である（又は、ＣＰは復号器によるヘッダー選択により信号化されたものよりも小さい値である）。

係数は、（Ａｎｎｅｘ Ｄに記載されているように）シグニフィカンス・プロパゲーション、リファインメント又は、クリーンアップの３つの符号化パスのうちの１つで符号化される。χは、テーブルＫに示されているように、０又は、１であり、％はモジュラス演算子（除算の後の余り）であり、そして、各係数に対するパスは、Ａｎｎｅｘ Ｄに記載されている、Ｊ２Ｋコンテクストモデルにより決定される。

以下は例である。
−可逆５−３変換、従って、Δ_ｂ＝１
−ＱＣＤ又はＱＣＣタグからのＧ＝２，ε_ｂ＝９、従って、Ｍ_ｂ＝１０
−コードブロックに対するパケットヘッダからのＰ＝４（ゼロビット面）
−コードブロックに対するパケットヘッダからのＣＰ＝３．第１ビット面は、一つの符号化パス、クリーンアップパス、のみを有するので、３符号化パスは、
−第一の非ゼロビット面に対するクリーンアップパス、
−第２の非ゼロビット面に対するシグニフィカンスプロパゲーション、
−第２の非ゼロビット面に対するリファインメントパス、
である。

リファインメントパスは、最後の符号化パスであり、第２の非ゼロビット面に対するクリーンアップパスは無い。Ｃは２であり、テーブル１から、シグニフィカンスプロパゲーションパスとリファインメントパスに対してはχは０であり、クリーンアップパス係数に対しては１である。
−χが０の時は、Ｎｂ（ｕ，ｖ）＝Ｐ＋Ｃ−χ＝６、従って、Ｑ＝２^１０−６・１＝２^４＝１６であり、
−χが１の時は、Ｎｂ（ｕ，ｖ）＝Ｐ＋Ｃ−χ＝５、従って、Ｑ＝２^１０−５・１＝２^５＝３２である。

従って、コードブロックは、以下のパスの１２×１係数よりなる（ＳＰ＝シグニフィカンスプロパゲーションパス（ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓ）、ＲＥ＝リファインメントパス（ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ）、ＣＬ＝クリーンアップパス（ｃｌｅａｎｕｐ ｐａｓｓ））。

従って、各係数に対して、χは、

であり、そして、各係数に対して、Ｑは、

である。

量子化雑音の特徴化
２つの似たウェーブレット係数を２つの異なる量子化ビンに与えることによりなされる誤差は、例えば、ゼロビンがより広い場合のような幾つかの場合を除いて、通常は全てのビンに対して同じ大きさである。（そのような場合には差は１．５Ｑであろう）。以下の例では、Ｑ＝３２のスカラー量子化を使用することが説明される。

上述のテーブル２では、Ｑは３２であり、量子化された係数ｄ’は、Ｑによる高域通過係数の分割とその丸めの結果を示す。再構成された係数

外１

内の、その隣接の再構成された係数（両方ともに１１２）と大きく異なる値８０は、歪みを発生する（量子化ビンサイズである３２の誤差）。

異なる数の符号化パスを伴う高域通過係数の量子化の例：

量子化器Ｑは、３２から１６に変わることに注意する。この場合、第２の係数の１方の側の３２と他の側の２４のずれがある。

再構成された画像の平滑化を見ることにより、更に細かい区別が、なされる。量子化ビン内の不適当な組み合わせは、再構成された低域通過成分に”アウトライアー”を導くことになる。このアウトライアーは、ずれた量子化された係数へ逆変換が適用されることの結果である。従って、アウトライアーとその隣接地の間の差のサイズΔは、理論的には、量子化と逆ウェーブレット変換に与えられる情報により決定される。言いかえれば、係数間の最大の差が確認される。一実施例では、最大差はＱの倍数であるとされる。これは、可逆５−３ウェーブレット変換を使用する以下の例で説明される。

前向き変換は次のように、特徴化される。

出力信号Ｙの奇数のインデックスが付された係数は、

となる全てのｎに対して、最初に計算され、そして、

であり、ここで、出力信号Ｙの偶数のインデックスが付された係数は、

となる全てのｎに対して、拡張された信号Ｘの偶数にインデックスが付された値と、信号Ｙの奇数にインデックスが付された値から計算される。

のＹ（ｋ）の値は、出力を構成する。

逆変換は以下のように特徴化される。

に対して、

であり、

に対して、

である。

のＸ（ｋ）の値は、出力を構成する。
Ｙ^Ｈは、符号化時はｄであり、復号時は

外２

であることに注意する。

量子化誤差Ｑを考えると、

外３

と

外４

の間の差は、少なくともＱである。この結果、１次元変換に対して、再構成された誤差は、
−偶数の再構成された低域通過係数に対しては１／４Ｑで、
−奇数の再構成された低域通過係数に対しては３／４Ｑ（以下のテーブル４参照）、のオーダーである。

このように、ここに記述された技術は、量子化係数間の差を検査してしきい値を発生するために、量子化誤差を特徴化する。

量子化雑音の特徴化と、２Ｄの場合のしきい値選択
Ｊ２Ｋでは、一般的に画像圧縮に対しては、２次元（２Ｄ）ウェーブレット変換が使用される。Ｊ２Ｋでは、２Ｄ前向きウェーブレット変換は、１Ｄ垂直前向き変換を画像列に適用し、且つそして、１Ｄ水平前向き変換を垂直変換係数の行に適用することにより実行される。２Ｄ逆ウェーブレット変換は、１Ｄ水平逆変換を係数の行に適用し続いて１Ｄ垂直逆変換を行うことにより実行される。

２Ｄ変換の係数は、
ＬＬ 水平低域通過、垂直低域通過、
ＨＬ 水平高域通過、垂直低域通過、
ＬＨ 水平低域通過、垂直高域通過、
ＨＨ 水平高域通過、垂直高域通過、
と呼ばれ、ＨＬ，ＬＨ，ＨＨは、全て、詳細係数又は高域通過係数と考えられる。

以下では、ＬＬ係数は量子化されないが、しかし詳細係数は量子化される。ある応用では、ＬＬ係数も量子化されるが、しかし、ＬＬ−量子化は詳細係数の量子化よりも非常に少なくそして、従って、以下の計算は無視できる。

一般的には、目に見える圧縮歪みは、２つの似たウェーブレット係数が、異なる量子化ビンに分割された場合に、発生する。例えば、Ｑが８に等しい場合には、７は、０に量子化されそして、４に再構成され（雑音３）、一方８は、１に量子化され、そして、１２に再構成される（雑音４）。これは、再構成されたウェーブレット係数は、
大きさが

外５

の量子化雑音を含むことを意味する。ＬＬとＨＬ成分の行に関する逆変換は、

である。

１Ｄアプローチのように、係数

外６

は、Ｙ^ＨＬ係数の量子化による１／４Ｑの雑音項を含む。係数

外７

は、３／４Ｑに等しい、雑音項又は（１／２＋１／４）Ｑを含む。

ＬＨとＨＨ成分の行に関する逆変換は、次のようである。

量子化された係数Ｙ^ＨＬは、前に使用された量子化されていない係数Ｙ^ＬＬの代わりに、逆変換のこの部分に使用されるので、係数Ｘ^Ｈ（２Ｎ）は、雑音項（１／２＋１／４）Ｑを含む。係数Ｘ^Ｈ（２Ｎ＋１）は、５／４Ｑに等しい、（１／２＋３／４）Ｑよりも小さいかこれと等しい雑音項を含む。列に関する逆変換後の、量子化雑音の大きさは、以下のテーブル５に要約されている。

（２Ｎ，・）又は、（２Ｎ＋１，・）の表記では、”・”は行の全ての要素を示す。

列Ｘ^ＬとＸ^Ｈ成分に関する逆変換は、次のようである。

行に関する逆変換後の成分に含まれる量子化雑音は、以下のテーブル６に表示されている。

量子化雑音の除去
量子化に関するこの知識を使用して、再構成されたＬ係数の雑音除去が実行される。これは、１次元例で説明する。アウトライアーを除去し且つ滑らかな領域を平滑化するために、冗長ハール（Ｈａａｒ）ウェーブレット変換

外８

はサンプルに関して計算される。この変換は、隣接するサンプルとの差を計算する。その変換のウェーブレット係数に関して、一実施例では、係数のしきい値化が以下のように実行される。ハールウェーブレット係数は、

から計算され、

となる。

テーブル６からの結果を使用して、ハール係数に含まれる最大雑音項は、３Ｑに等しい、約（２Ｑ＋４Ｑ）／２のオーダーである。

高域通過ハールウェーブレット係数ｄは、

の場合にはゼロに設定され、そして、

の場合には保持される。テーブル４と６内の上述の２つのずれた係数の間の誤差に関する評価から、ハールウェーブレット係数に対するしきい値Ｔを
１次元変換に関しては、

として
２次元変換に関しては、

として得ることができる。

これらのしきい値は、多くの応用には大きすぎるであろう情報境界である。２次元変換に対するしきい値は、しばしば低くされることが可能である。多くの目に見える量子化雑音は、１つの単一係数が、全ての周囲の隣接係数と異なる量子化ビンにプッシュされるときに、生成される。この結果、ウェーブレットバイアスベクトルは、滑らかな領域に歪みをあらわす。一実施例では、それらの分離されたバイアスベクトルを除去するために、２−次元しきい値画以下の動作で記述されるように、低下される。
（１）逆変換の低域通過と高域通過フィルタをとり、そして、それらをベクトルｆｉｌｔｅｒ＿ｌｏｗ［．．．］，ｆｉｌｔｅｒ＿ｈｉｇｈ［．．．］として書き込む。
（２）マトリクスを計算する。
Ｍ_ＨＬ＝（ｆｉｌｔｅｒ＿ｈｉｇｈ）^Ｔ・ｆｉｌｔｅｒ＿ｌｏｗ
Ｍ_ＬＨ＝Ｍ_ＨＬ ^Ｔ
Ｍ_ＨＨ＝（ｆｉｌｔｅｒ＿ｈｉｇｈ）^Ｔ・ｆｉｌｔｅｒ＿ｈｉｇｈ
（３）マトリクスＭについて冗長ハール変換の１つのレベルを実行する。
（４）２−ｄｉｍ信号に対しては、（全てのウェーブレット係数の絶対値の最大値）・Ｑとしてしきい値Ｔ_ｍｉｎを設定する。
（５）１−ｄｉｍ信号に対しては、（ｆｉｌｔｅｒ＿ｈｉｇｈのウェーブレット係数の絶対値の最大値）・Ｑとしてしきい値Ｔ_ｍｉｎを設定する。

低域通過フィルタ［０．５ １ ０．５］と高域通過フィルタ［−０．１２５ −０．２５ ０．７５ −０．２５ −０．１２５］Ｔ_ｍｉｎを有する不可逆５−３ウェーブレット変換に対しては、２次元変換に関してはＴ_ｍｉｎ＝３／４Ｑ、１次元変換に関しては

外９

となる。

Ｄａｕｂｅｃｈｉｅｓ９−７フィルタに対しては、低域通過及び高域通過フィルタは、
低域通過フィルタ

高域通過フィルタ

として与えられる。

しきい値Ｔ_ｍｉｎは、２次元変換に関してはＴ_ｍｉｎ＝０．７４７１・Ｑであり、１次元変換に関してはＴ_ｍｉｎ＝０．６１５０・Ｑである。

逆変換の所定の低域通過及び高域通過フィルタが与えられると、テーブル７には可逆５−３変換に対して得られたものと同様な最大しきい値が、最大量子化誤差を有する隣接内の１つのみ以上の係数を許す、逆変換を通して伝搬された最大誤差を計算することにより得ることができる。一実施例では、しきい値Ｔ_ｍａｘを計算するための動作は、
（１）逆変換の低域通過及び高域通過フィルタをとり、そして、それらをベクトルＦ＝ｆｉｌｔｅｒ＿ｌｏｗ＝［．．．］，Ｇ＝ｆｉｌｔｅｒ＿ｈｉｇｈ［．．．］として書き込む、
（２）Ｆ_０，Ｆ_１にＧ_０，Ｇ_１よるフィルタの２つのサブサンプルされたバージョンを示す。
（３）マトリクス

を計算する。ここで、

外１０

は、

外１１

を示す。
（４）Ｍ内のエントリーをｍ１，ｍ２，ｍ３，ｍ４として示し、そして、Ｔ_ｍａｘをＴ_ｍａｘ＝（ｍ１＋ｍ２＋ｍ３＋ｍ４）／２として計算する。

多くの応用では、しきい値をとＴ_ｍｉｎＴ_ｍａｘの間に選択することが忠告される。良好な選択は、Ｔ_{ｍｉｄｄｌｅ}＝ｍａｘ（Ｔ_ｍｉｎ，１／２Ｔ_ｍａｘ）である。

可逆５−３とＤａｕｂｅｃｈｉｅｓ９−７変換に対する異なるしきい値の概要は、テーブル７に与えられている。

同じサイズの係数が異なる値Ｑで量子化される状況（これは復号器に知られている）では、追加の基準が選択される。画像を通して２つのパスを使用する量子化の例では、係数は、ゼロではない係数により囲まれる場合よりもむしろ、ゼロにより囲まれる場合には、より小さなビンで量子化される。この場合には、走査順序内の先行する係数も、そのしきい値Ｔ以下の場合で、且つ２つの隣接係数が異なる符号を有する場合には、ハール（Ｈａａｒ）ウェーブレット係数は、例えば、ゼロに設定される。

しきい値化の実行の後に、逆ハール変換が実行される。これを行うことにより、１つの又はＭ−レベルのハールウェーブレット変換を使用するウェーブレット縮小を介する雑音除去が、全体の画像の再構成中に計算された、各サンプル又は係数に実行される。図１Ａは、概要を示す。図１Ａに示されている動作を実行する処理論理は、（例えば、専用の論理、回路等の）ハードウェア、（汎用コンピュータシステム又は専用の機械で実行されるような）ソフトウェア又は、その両者の組合せを含んでもよい。

図１Ａを参照すると、処理論理は、レベルＬ−１での雑音のあるサンプル（信号１０３）を発生するために、逆ＪＰＥＧ２０００離散ウェーブレット変換（ＤＷＴ）へ、レベルＬでのＬＬ係数（信号１０１）とレベルＬでの高域通過係数信号１０２を与える。このＤＷＴも、ここでは、圧縮ウェーブレット変換と呼ばれる。そして、処理論理は、これらのサンプルについて、ウェーブレット鮮明化と平滑化を行う（処理ブロック１１０）。一実施例では、ウェーブレット鮮明化と平滑化及び雑音除去（処理ブロック１１０）は、ｍ−レベル前向きハール変換を与える処理論理（ここでｍは例えば、１，２，３，４等）（処理ブロック１０４）と、続いて係数のしきい値化（処理ブロック１０５）を含む。このウェーブレット変換も、ここでは、ウェーブレット順変換（正変換）と呼ばれる。その後に、処理論理は、ｍ−レベル逆ハール変換（処理ブロック１０６）をサンプルに適用する。ウェーブレット鮮明化と平滑化（処理ブロック１１０）を与えた結果は、レベルＬ−１での雑音除去されたサンプル（信号１０７）の発生である。

処理論理は、レベルＬ−２での雑音のあるサンプル（処理ブロック１０９）を発生するために、逆ＪＰＥＧ２０００ＤＷＴを、レベルＬ−１での雑音除去されたサンプル（ＬＬ係数）（信号１０７）と量子化雑音を有するレベルＬ−１での高域通過された係数（処理ブロック１０８）に、適用する。処理論理は、低レベルでの更に雑音除去されたサンプルを発生するために、ウェーブレット鮮明化及び平滑化（処理ブロック１１０）を、各連続するレベルの雑音のあるサンプルに適用し、そして、処理は、レベル１での雑音除去された画像サンプル（処理ブロック１１１）が発生されるまで、処理を繰返す。

そして、処理論理は、レベル０での雑音のあるサンプル（処理ブロック１１３）を発生するために、逆ＪＰＥＧ２０００ＤＷＴを、レベル１での雑音除去されたサンプル（レベル１でのＬＬ係数）（処理ブロック１１１）とレベル１での高域通過係数（処理ブロック１１２）に適用する。その後に、雑音の除去された画像である、レベル０の雑音除去されたサンプル（処理ブロック１１４）を発生するために、雑音のあるサンプルに、ウェーブレット鮮明化と平滑化１１０が、再び適用される。

代わりの実施例では、ウェーブレット鮮明化と平滑化は、全てのサンプルのサブセットに又は、一定のレベルにのみ適用されることに注意する。例えば、一実施例では、ウェーブレット鮮明化と平滑化は、レベル０での雑音のあるサンプルにのみ実行される。例えば、画質の向上は、レベルＬから

の範囲（例えば、レベル５から３、４から２、５から１）にわたってのみ実行されてもよい。

圧縮の量と量子化ビンのサイズに依存して、雑音除去手順に関して幾つかのレベルの冗長ハール変換を使用することがしばしば有益であろう。

図１Ｂは、復号器の一実施例のブロック図である。図１Ｂを参照すると、逆離散ウェーブレット変換１２１が画像データを受信し、且つその画像データに逆離散ウェーブレット変換フィルタを適用するために接続される。逆ウェーブレット変換１２１の出力は、特徴化ブロック１２２と雑音除去ブロック１２３の入力に接続されている。雑音特徴化ブロック１２２は、逆ウェーブレット変換１２１の適用により発生された再構成されたデータ内の量子化雑音を特徴化する。雑音特徴化ブロック１２２は、雑音除去ブロック１２３の入力に接続されている。雑音除去ブロック１２３は、復号中に構成された再構成されたデータから量子化雑音を除去する。

圧縮されたデータストリームを使用する”埋め込まれたＷＳＳ処理”を伴なうボケの除去
上述のように、ＷＳＳ−技術は、雑音除去とボケを除く問題の解決を含む古典的な回復問題への解答を提供する。ＷＳＳ技術に似た第２の動作は、圧縮係数についてボケさせる逆を実行するのにも使用され得る。

レベル１でのサンプルに実行される１−レベル（Ｍ−レベル）の冗長ハール変換の係数のしきい値化の後に、レベルｍでのゼロでない係数が再スケーリングされる。一実施例では、再スケーリングは、レベルｍでのゼロでない係数を

と乗算を行うことを含む。ここで、ｍ＝１．．．Ｍであり、αは平滑化（α＞０）又は鮮明化（α＜０）の程度を決定するパラメータであり、Ｒは画像のノルムを保存する再正規化定数である。量子化雑音は、既に除去されているので、画像の”真の”部分のみが再重み付けにより向上される。ＷＳＳのこのバージョンが逆変換中に、（異なる変換の）ウェーブレット係数に直接的に動作するので、ここでは、”埋め込まれたＷＳＳ”と呼ばれる。パラメータＲとαは、１９９９年１２月１０日に出願された米国特許出願番号０９／４６７，５４４の名称”ウェーブレットを伴なうマルチスケール鮮明化及び平滑化”と、センサの理論的な平滑化特性とＢｅｓｏｖ空間内での画像のモデル化に基づいた、２０００年９月８日に出願された米国特許出願番号０９／６５８，３９３の名称”ウェーブレットに基づく画像処理パス”に記載されている以下の規則で決定される。しかしながら、ＣＣＤのような装置と一連のテスト画像の実験的な研究から直接的に、αとＲの推定値を得ることも可能である。

ウェーブレットシステムの滑らかさγに依存する鮮明化又は平滑化パラメータαの範囲
一実施例では、鮮明化と平滑化は、再スケーリングウェーブレット係数と、係数

を乗算することにより表現される。ここで、αは、鮮明化／平滑化パラメータであり、そして、Ｒは再正規化パラメータである。αの可能な値の範囲は、ウェーブレットシステムの平滑さγと信号の平滑さにより、結び付けられる。信号が、Ｈｏｅｌｄｅｒの正規性βを有する場合には、αは、条件０＜β＋α＜γ、即ち、

を満足しなければならない。

直交ウェーブレット変換を使用するオーバーコンプリートウェーブレット変換に対しては、正規性γは、概ね、ウェーブレット関数の自己相関関数の平滑さである。この結果、オーバーコンプリートハールシステムは、γ＝１を有する。オーバーコンプリートバイオーソゴナル（ｂｉｏｒｔｈｏｇｏｎａｌ）５−３システムに対しては、γに対する同様な値は、良い実験結果を有する。

走査された書類は典型的には、平滑さβ＞１を有する。従って、αは、走査された書類の向上の適用に対して、α＝−１として設定される。

埋め込まれたＷＳＳは、ボケを取り除くための係数の追加の再スケーリングを含む以下のブロックにより、破線のハール変換ブロックを置き換えることにより、図１の雑音除去と同様な概略図で示されることが可能である。これを図２に示す。ハール変換の使用は、ここに記述されているが、例えば、（他と）２，６又は、５，３変換が使用され得るように、他の変換も同じ目的で使用され得ることに注意する。

図２を参照すると、ウェーブレット鮮明化と平滑化は、１−又は（ｍ）−レベル前向きハール変換（処理ブロック２０４）、続いて係数のしきい値化（処理ブロック２０５）を適用する処理論理を含む。その後に、処理論理は、係数の再スケーリング（処理ブロック２１０）を適用する。係数の再スケーリング後に、処理論理は１−又はｍ−レベル逆ハール変換（処理ブロック２０６）を適用する。一実施例では、ｍは１に等しく、しかし、上述のように他の数でもよい。

再スケーリングと結び付いた非線形縮小を実行することにより、埋め込まれたＷＳＳは、空間領域線形フィルタ又はフーリエに基づく技術と等しくない。更に、ハードウェア又ソフトウェアで実行するのに簡単な、繰返さない方法で、動作する。

ここに示されたこの技術は、量子化雑音除去とその埋め込まれたＷＳＳを使用するボケの除去との組合せは、量子化された係数に関して動作しそして、復号器のオプションである。例えば、モニタ上への表示のような、例えば、特別の解像度へ画像の向上処理を適用するために、再構成処理中の連続するＬＬサンプルの向上は、ネットワークアプリケーション内で可能とする。

ＷＳＳ情報を使用するＪＰＥＧ２０００符号化器での量子化を決定する方法
上述の説明は、一般的なＪＰＥＧ２０００符号化器による圧縮後に、歪みを減少させかつ、画質を向上させる方法を提供した。以下の説明は、一般的なＪＰＥＧ２０００復号器（例えば、ＪＰＥＧ２０００復号器、雑音除去又は鮮明化なしのＪＰＥＧ２０００復号器、等）と共に動作する特別目的の符号化器を用いる、歪みの減少と画像の画質の向上のための技術を提供する。

ＷＳＳを伴なう前処理
ＷＳＳ技術とＪＰＥＧ２０００を結合する１つの方法は、図３に示すように、圧縮前に、画像に関するウェーブレット平滑化と鮮明化を実行することである。図３を参照すると、画像３００は、ウェーブレット鮮明化と平滑化（ＷＳＳ）処理ブロック３０１へ入力される。一実施例では、ブロック３０１は、図２と等価である。これは、鮮明化又は平滑化及びボケを取り除くことを実行する。ＷＳＳ処理ブロック３０１の出力は、画像３１０である。画像３１０は、圧縮されたファイル３２０を発生するために、ＪＰＥＧ２０００符号化を実行する、ＪＰＥＧ２０００符号化器３０２に入力される。レート制御処理ブロック３０３は、圧縮されたファイル３２０を監視し、そして、例えば、帰還路３０４と帰還路３０５のような１つ又はそれ以上の帰還路に、フィードバックする。帰還路３０４は、データが圧縮されたファイル３２０内に出力されているレートが、所定の目標
レートよりも大きいか又は小さいかによって、多い情報又は少ない情報を量子化するように、ＪＰＥＧ２０００符号化器３０２を制御するために、ＪＰＥＧ２０００符号化器３０２により使用される。同様に、帰還路３０５は、ＷＳＳ処理ブロック３０１に、更なる雑音除去、更なる線目か又は、更なる平滑化を実行させ得る。

しきい値は、符号化器内で、おそらくテクスチャの指示のような、前処理を行うのに使用され、そして、以下の方法の１つで決定され得る。

１．１つの領域内の係数の絶対値の、標準偏差又はメジアン（例えば、レベル１のＨＨ係数）（全体しきい値）。

２．各レベルでのＨＨ係数の絶対値の標準偏差又はメジアン（レベル依存しきい値）。

３．第１のレベルでのＬＨ／ＨＬ／ＨＨ係数の絶対値の標準偏差又はメジアン（バンド−依存しきい値）。分解の２つのレベルの例に対しては３つのしきい値が選択される。

４．各レベルでのＬＨ／ＨＬ／ＨＨ係数の絶対値の標準偏差又はメジアン（レベル−バンド−依存しきい値）。分解の２つのレベルの例に対しては６つのしきい値が選択される。

５．装置のユーザインターフェースの一部であるコントロールを使用する、しきい値（全体、レベル依存、レベル−バンド依存）の手動の設定。

６．サブバンド内の係数のローカルな分散又はメジアンを計算することによりるローカルしきい値化。

７．分類子を使用して、異なるしきい値が、分類子により決定される各クラスに対して設定できる。上述のように、レベル−依存方で又は、レベルとバンド依存法で、これらのしきい値は全体的に決定される。

ＷＳＳの平滑化動作は、”雑音”であると考えられる幾つかの係数を除去し、且つ、画像を符号化するより少ないビットを費やす圧縮システムを可能とする。ＷＳＳの鮮明化動作は、いくつかの係数を増加させる。係数を増加させることは、符号化器により要求されるビットレートを増加するが、しかし、幾つかの場合には、圧縮された画像が”平滑化”されすぎている（ウェーブレット圧縮システムの共通の苦情）という知覚を除去する。

別々のＷＳＳとＪＰＥＧ２０００圧縮は、向上と圧縮に対して、異なるウェーブレット変換が使用されることを許す。一実施例では、オーバーコンプリートハールウェーブレット変換がＷＳＳに対して使用され、一方ＪＰＥＧ２０００が、きわどくサンプルされた５−３又は９−７ウェーブレット変換を使用できる。更に加えて、ＷＳＳが圧縮システムから別であっても、レート制御ループ内で使用されることが可能である。例えば、第１の雑音除去と画像の圧縮後に、画像のビットレートが高すぎる場合には、圧縮システムによりなされる量子化を増加することがよりも、ＷＳＳシステムによりなされる平滑化が増加されうる。

統合されたＷＳＳとＪＰＥＧ２０００
典型的には、ウェーブレット雑音除去技術は、雑音を抑圧するために、ウェーブレット係数の大きさを減少させることにより動作する。一実施例では、ＷＳＳの雑音除去動作は、各係数に対するしきい値Ｔを決定し、そして、しきい値よりも小さい場合には係数をゼロに設定する。

圧縮システム内の量子化内のＱと、雑音除去システム内のしきい値化に使用されるＴの間には関係がある。ＱがＴに等しく設定される場合には、圧縮システムは、ソフトとハードのしきい値化の両方で、しきい値より小さい全ての係数について同じ効果を有する。更に加えて、加算される”圧縮”雑音は、除去される雑音と同じ次元の大きさである。”圧縮”又は、量子化雑音が実際の雑音の逆向きである場合には実際の雑音をキャンセルして、より良い画像を発生する。同じ方向の場合には、実際の雑音と量子化雑音を加算する。

このように、最も単純なシステムは、概念的には、各サブバンドに対して使用するためのしきい値の組み決定するために、そして、圧縮システムのために（ウェーブレット基底内の差に対して調整するために正規化されている）量子化パラメータに対してそれらの値を使用する、何れかの雑音除去システムを実行することである。正規化は、以下に更に詳細に説明する。そのようなシステムは、図４に示されている。

図４を参照すると、画像４１０は、ＷＳＳ処理ブロック４０１とＪＰＥＧ２０００符号化器４０２に入力される。前向きＷＳＳ処理ブロック４０１は、ＪＰＥＧ２０００符号化器４０２に入力するためにしきい値情報４０６を形成するために、量子化パラメータを発生する。ＪＰＥＧ２０００符号化器４０２は、しきい値情報４０６に基づく量子化を実行することを含む符号化を実行しそして、レート制御ブロック４０３への圧縮されたファイル４２０を発生する。レート制御ブロック４０３は、圧縮されたファイル４２０内にどのくらいの数のビットが発生されているかを監視しそして、それを所定の目標レートと比較することによりレート制御を実行する。レート制御４０３は、ＪＰＥＧ２０００符号化器４０２により実行される量子化を制御する方法として実行される平滑化の量を制御するための、前向きＷＳＳ処理ブロック４０１への、帰還路４０５を発生する。この方法で、レートは制御され得る。レート制御は、画像のシーケンスに関してのみ、フィードフォワードで実行できる。レートは、全体の画像よりも小さい領域に対しても制御されてもよい。また、多くの場合には、圧縮システムを小さなしきい値を使用するために戻す必要は無く、しばしば、圧縮データは捨てられうる。

この場合には、ＷＳＳは再び、ＪＰＥＧ２０００と異なるウェーブレットシステムを使用できるが、しかし、全体のＷＳＳシステムは必要とされない。前向き変換のみが必要とされ、そして、しきい値を決定するためのこの方法に依存して、雑音除去のためのバッファメモリが非常に大きく減少される。

ＪＰＥＧ２０００内で可逆フィルタが使用される場合には、量子化された値は、最も近い２べき乗に変更もされる。ウェーブレット雑音除去が圧縮システムと同じウェーブレット変換を使用している場合には、もちろん、計算性能がよりよい。

雑音除去システムがサブバンド内の異なる係数に対して、異なるしきい値を決定する場合（例えば、テキスト対非テキスト区別を伴なうＷＳＳ）には、異なる量子化が、ＪＰＥＧ２０００内の各コードブロックに適用されることが可能である。雑音除去システムが、コードブロックよりも小さな領域に対して、異なるしきい値を提供する場合には、そのときは、一実施例では、しきい値は、コードブロックに対する１つのしきい値を発生するために、結合される。一実施例では、この結合は単純な平均である。代わりの実施例では、この結合は、全体のブロック又はその間の幾つかの値にに対して決定された、最小のしきい値を使用してもよい。ウェーブレット鮮明化と平滑化ユニット又は、ＪＰＥＧ２０００圧縮器は、しきい値の結合をする。

代わりに、非常に大きなしきい値を伴なう幾つかの係数は、削除され、一方、他の係数は残される。更に他の実施例では、全体の量子化は、細かな粒であるが、係数は更に荒く量子化されてもよい。これらの場合には、現在の画像を越えた更に精製された画像を発生する能力は失われるが、雑音除去の応用では許容されうる。

多くの方法があろう。例えば、雑音除去のためのハールしきい値がＴとすると、Ｔの係数の変化は、画像のＭＳＥに関してαＴの効果を有し、同じサブバンド内のＱの圧縮システム誤差とすると、画像に関してβＱ ＭＳＥを発生し、そして、

を使用する。

ウェーブレット雑音除去システムからのしきい値は、（ＪＰＥＧ２０００ベリフィケーションモデル（ＶＭ）のように）レート歪み（Ｒ−Ｄ）最適化アルゴリズムに対する重みとして適用され、又は、２０００年７月のＩＥＥＥ論文誌ＩＰ、Ｖｏｌ．９、ｎｏ，７の、Ｄａｖｉｄ Ｔａｕｂｍａｎによる”ＥＢＣＯＴを伴なう高性能スケーラブル画像圧縮（Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｓｃａｌａｂｌｅ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＥＢＣＯＴ）”に記載されている。

雑音除去システムは圧縮システムと同じウェーブレット変換を使用している（そして、例えば、冗長ウェーブレット変換のようなきわどくサンプルされたウェーブレットを使用している）場合には、雑音除去動作と圧縮システムは、独立して動作する必要は無く、そして、実質的な計算は節約される。そのようなシステムの一実施例を、図５に示す。

図５を参照すると、画像５０１は、赤色、緑色及び青色成分をＹ，Ｃｂ，Ｃｒにする、コンポーネント変換５０２に入力される。コンポーネント変換５０２の出力は、ウェーブレット変換を行うウェーブレット変換５０３に入力される。ウェーブレット変換５０３からの出力である係数は、ＷＳＳしきい値決定処理ブロック５０６と量子化ブロック５０４に入力される。ＷＳＳのようなしきい値決定処理５０６は、ウェーブレット変換処理ブロック５０３からの入力に応答して、しきい値情報５１０を発生し、そして、しきい値情報５１０を量子化ブロック５０４に入力する。しきい値情報５１０に応答して、量子化ブロック５０４は量子化を実行する。量子化ブロック５０４の出力は、量子化された圧縮された画像である。量子化された圧縮された画像は、圧縮されたファイル５２０を生成する為に、エントロピー符号化５０５へ入力される。

ＷＳＳシステムからの情報は、量子化しきい値に近い係数は増加される又は減少されるかを決定するために使用され得る。

例
復号と共に雑音除去を使用する例
以下の単純な例は、どのようにウェーブレット雑音除去は、滑らかな領域とエッジを有する信号の損失のある逆圧縮を改善できるかを示す。ソースコードと数値結果が以下に提供される。例は、簡単のために、１次元（１Ｄ）信号を処理する。図６は、ステップエッジを有する入力信号を示す。

図７は、境界でミラー拡張を仮定する５−３変換に対する高域通過係数を示す。図８は、境界でミラー拡張の使用を仮定する５−３変換に対する低域通過係数を示す。

図９は、１６に等しいＱで量子化された高域通過係数を示す。そのような場合には、３０は１６＋８＝２４に量子化され、そして、−３０は−２４に量子化される。

一旦、高域通過係数が量子化されると、逆変換が適用される。図１０は、
逆変換を適用した結果を示す。この例では、結果は、入力信号との差が、２乗平均誤差（ＭＳＥ）３．４４を有する。

その後に、冗長ハール変換が適用される。図１１は、冗長ハール変換を適用したレベル１低域通過フィルタ結果を示す。図１２は、冗長ハール変換を適用したレベル１高域通過フィルタ結果を示す。図１３は、冗長ハール変換を適用したレベル２低域通過フィルタ結果を示す。図１４は、冗長ハール変換を適用したレベル２高域通過フィルタ結果を示す。

雑音除去は、小さな係数を０に設定することにより実行される。この例では、Ｑは１６である。テーブル７に従って、しきい値は

である。図１５は、レベル１に対する雑音除去された高域通過係数を示す。

この例では、鮮明化パラメータα＝−１／２が選択される。冗長ハールウェーブレットを伴なう鮮明化は、α＝０の鮮明化無しから、α＝−γ＝−１の最大の鮮明化まで変化する。従って、これは、最大鮮明化の半分である。変関連ベルの数Ｌは、この例では２に等しい。再正規化パラメータＲは、

より、１．８２５である。

レベル１に対しては、鮮明化乗数μ_１＝Ｒ・２^αは、１．８２５・２^−１／２＝１．２９である。レベル２に対しては、鮮明化乗数μ_２＝Ｒ・２^α・２は、１．８２５・２^{−１／２・２}＝０．９１３である。図１６は、レベル１に対する雑音除去され且つ鮮明化された高域通過係数を示す。図１７は、レベル２に対する雑音除去された高域通過係数を示す。図１８は、レベル２に対する雑音除去され且つ鮮明化された高域通過係数を示す。

図１９は、低域通過係数と雑音除去された高域通過係数へ、２レベルの逆冗長ハール変換を適用した結果を示す。結果は、元の信号とＭＳＥ１．１９差を有し、結果は雑音除去と鮮明化なしに再構成されたよりも元の信号に近い。鮮明化は、損失のあるウェーブレット圧縮により発生されたボケを補償する。雑音除去のみ（鮮明化無し）は、１．７５のＭＳＥとなり、鮮明化を伴なう結果ほど元の値にに近くない。（一般的には、ＭＳＥは、常には、良好な再構成に対する適切な測定値ではないが、しかし一般的に使用され且つ、この単純な例には適切である。）ステップエッジは、雑音除去前の結果よりも更に均一である。

符号化前のＷＳＳ前処理を使用する例
幾つかの応用には、エッジが保存され且つ、テクスチャが除去されるように画像を符号化するのが望ましい。幾つかの場合には、テクスチャは、例えば、フィルム量情勢雑音、ＣＣＤ又は、画像センサ内の熱雑音等のような、望ましくない雑音である場合がある。テクスチャは、半階調化又は、ディザリングにより発生もされ得る。他の場合には、テクスチャは、元の信号の一部であるが、しかし、損失のある圧縮では、テクスチャを正確に保存すると、観測者に小さな値を提供しながら、圧縮性能が悪くなる。エッジを正確に保存することは、しばしば、観測者に、高い値を有する。

テクスチャを除去するがしかし、エッジを保存するために、複数のレベルのウェーブレット変換が使用されることが可能な、ウェーブレット雑音除去が使用される。第１のレベル以外の変換レベルは、より低い変換レベルの雑音除去を制御するのに使用されることが可能である。例えば、対応する制御レベル係数がゼロである場合には、より低いレベルの全ての係数は、ゼロに設定される。代わりに、対応する制御レベル係数がゼロであるか又は、反対の符号を有する場合には、より低いレベルの全ての係数はゼロに設定されることが可能である。更に、テクスチャ除去と通常の雑音除去を結合するためにそれらがしきい値以下である場合には、より低いレベルの係数はゼロに設定される。

図２０は、２つのテクスチャー化された領域の間のエッジを含む例示の入力信号を示す。図２１は、入力信号に高域通過５−３フィルタを適用した結果を示す。図２２は、入力信号に低域通過５−３フィルタを適用した結果を示す。

図２３は、８に等しい量子化Ｑで、テクスチャとエッジに対する高域通過係数は、同じ大きさ１２を有することを示す。

図２４は、低圧縮率が許容される場合には、テクスチャとエッジを表すために、８に等しいＱを使用したことの結果を示す。

１６に等しい量子化Ｑで、エッジとテクスチャの両方の高域通過係数は０に量子化される。図２５は、量子化Ｑが１６に等しい場合の再構成を示す。

代わりに、ＷＳＳが元の信号に適用される。図２６は、元の信号にＷＳＳを適用したレベル１低域通過結果を示す。図２７は、元の信号にＷＳＳを適用したレベル１高域通過結果を示す。図２８は、元の信号にＷＳＳを適用したレベル２低域通過結果を示す。図２９は、元の信号にＷＳＳを適用したレベル２高域通過結果を示す。

雑音除去は、エッジを保存するがしかしテクスチャを除去するために広域通過係数に適用される。幾つかのアプリケーションに対して、レベル１＞１に対するしきい値は、１が増加すると単調に減少するように選択されるべきである。レベル２に対しては、８と等しいＱに対する値としきい値

が使用される。図３０は、雑音除去からの結果の、レベル２雑音除去された係数を示す。

この例に対しては、−１に等しい鮮明化パラメータαが選択され、これはγが１に等しい冗長ハール変換に対する最大の鮮明化である。変換レベルＬの数は、この例では、２に等しい。正規化パラメータＲは、

より、３．１６２３である。

レベル１に対しては、鮮明化乗数μ_１＝Ｒ・２^αは、３．１６２３・２^−１＝１．５８１である。レベル２に対しては、鮮明化乗数μ_２＝Ｒ・２^α・２は、３．１６２３・２^−１・２＝０．７９１である。

図３１は、鮮明化を実行した結果の、レベル２雑音除去され且つ鮮明化された係数を示す。

レベル１に対しては、エッジを保存するがしかしテクスチャを除去するために、レベル２係数は、レベル１係数に基づいて、しきい値化の代わりに、雑音除去を制御するのに使用される。この例では、対応するレベル２係数がゼロ又は異なる符号を有する場合には、全てのレベル１係数は、ゼロに設定される。図３２は、この雑音除去された結果からの、雑音除去されたレベル１高域通過係数を示す。図３３は、この雑音除去された結果からの、レベル１雑音除去され且つ鮮明化された高域通過係数を示す。

図３４は、ウェーブレット雑音除去後の前処理された結果を示す。

符号化に５−３フィルタが適用される。図３５は、５−３フィルタを適用した高域通過フィルタ結果を示す図である。図３６は、５−３フィルタを適用した低域通過フィルタ結果を示す図である。

図３７は、８に等しいＱでの量子化後の高域通過係数を示す。エッジでの係数は、ＷＳＳなしでの対応する係数よりも大きいことに注意する。

図３８は、再構成後の結果を示す。これは、Ｑが１６に等しいときに、ＷＳＳなしで再構成するよりもステップエッジより近い。Ｊ２Ｋは、高度な、適応符号化技術を使用する。”前処理無し、Ｑ＝８”、”前処理、Ｑ＝８”及び、”前処理無し、Ｑ＝１６”に対する圧縮されたデータの量の正確な差は、１Ｄの例からは決定できない。しかしながら、一般的には、”前処理、Ｑ＝８”に対する圧縮されたデータの量は、”前処理無し、Ｑ＝１６”に対するよりも僅かに多く、そして、”前処理無し、Ｑ＝８”よりも非常に少ない。図３８は、前処理が、レートの小さな増加で、品質の良好な改良を提供することを示す。

例示のソースコード

例示のソースコードのテキスト出力

例示のコンピュータシステム
上述の１つ又はそれ以上の動作は、図３９に示すようなコンピュータシステムで履行され又は実行される。図３９を参照すると、コンピュータシステム３９００は、ここで説明した特徴が実行される、例示のクライアント又はサーバコンピュータシステムを含んでもよい。コンピュータシステム３９００は、情報を通信するための通信機構又はバス３９１１、及び、情報を処理するために、バス３９１１に接続されたプロセッサ３９１２を含む。プロセッサ３９１２は、マイクロプロセッサには限定されないが、Ｐｅｎｔｉｕｍ（登録商標）、ＰｏｗｅｒＰＣ（商標）、Ａｌｐｈａ（商標）等のマイクロプロセッサを含む。

コンピュータシステム３９００は、さらに、ランダムアクセスメモリ（ＲＡＭ）又は、情報とプロセッサ３９１２により実行される命令を蓄積する、バス３９１１に接続された、他の動的な蓄積装置３９０４（主メモリと呼ばれる）を更に含む。主メモリ３９０４も、プロセッサ３９１２による命令の実行中に一時的な変数又は他の中間情報を蓄積するために使用されても良い。

コンピュータシステム３９００は、スタティック情報とプロセッサ３９１２のための命令を蓄積するための、バス３９１１に、接続された読出し専用メモリ（ＲＯＭ）及び／又は他のスタティック記憶装置３９０６及び、磁気ディスク又は光ディスク及びその対応するディスクドライブのような、データ蓄積装置３９０７も含む。データ蓄積装置３９０７は、情報と命令を蓄積するために、バス３９１１に接続されている。

コンピュータシステム３９００は、更に、コンピュータユーザに情報を表示するためにバス３９１１に接続された、陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）のような、ディスプレイ装置３９２１に接続されている。英数字入力装置３９２２は、英数字と他のキーを含み、プロセッサ３９１２に情報と命令選択を通信するために、バス３９１１にも接続されている。追加のユーザ入力装置は、プロセッサ３９１２へ方向情報とコマンド選択を通信するためのバス３９１１に接続された、且つディスプレイ装置３９２１上のカーソルの移動を制御するための、マウス、トラックボール、スタイラス又は、カーソル方向キーのようなカーソル制御装置３９２３である。

バス３９１１に接続された他の装置は、プリントエンジンとして動作するハードコピー装置３９２４であり、画像、命令、データ又は、他の情報を、紙、フィルム又は、同様な形式の媒体に印刷するのに使用されうる。スキャナ３９３０は、バス３９１１に接続された走査された画像を発生する。

更に、スピーカ及び／又はマイクロフォンのような、音声記録及び再生装置も、コンピュータシステム３９００とオーディオインターフェースをするために、オプションで、バス３９１１に接続されうる。

コンピュータシステム３９００のどのような又は全ての構成要素と関連するハードウェアは、本発明で使用され得る。しかし、コンピュータシステムの他の構成は、幾つかの又は全ての装置を含み得ることは理解されよう。

本発明の多くの変更及び改良は、前述の記載を読めば当業者には明らかとなり、例示のために示され且つ説明された特定の実施例は、制限するものではない。従って、種々の実施例の詳細への参照は、本発明に必須と考えられる構成要素を記載する請求の範囲を制限するものではない。

量子化雑音除去処理の一実施例のフローを示す図である。 復号器の一実施例のブロック図である。 ウェーブレット鮮明化及び平滑化処理の一実施例のフローを示す図である。 符号化器の一実施例のブロック図である。 符号化器の別の一実施例のブロック図である。 符号化器の別の一実施例のブロック図である。 ステップ状のエッジを有する入力信号を示す図である。 境界でミラー拡張を仮定する５−３変換に対する高域通過係数を示す図である。 境界でミラー拡張の使用を仮定する５−３変換に対する低域通過係数を示す図である。 １６に等しいＱで量子化された高域通過係数を示す図である。 逆変換を適用した結果を示す図である。 冗長ハール（Ｈａａｒ）変換を適用したレベル１低域通過フィルタ結果を示す図である。 冗長ハール（Ｈａａｒ）変換を適用したレベル１高域通過フィルタ結果を示す図である。 冗長ハール（Ｈａａｒ）変換を適用したレベル２低域通過フィルタ結果を示す図である。 冗長ハール（Ｈａａｒ）変換を適用したレベル２高域通過フィルタ結果を示す図である。 レベル１に対する雑音除去された高域通過係数を示す図である。 レベル１に対する雑音除去され且つ鮮明化された高域通過係数を示す図である。 レベル２に対する雑音除去された高域通過係数を示す図である。 レベル２に対する雑音除去され且つ鮮明化された高域通過係数を示す図である。 低域通過係数と雑音除去された高域通過係数へ、２レベルの逆冗長ハール（Ｈａａｒ）変換の適用の結果を示す図である。 ２つのテクスチャー化された領域の間のエッジを含む例示の入力信号を示す図である。 入力信号に高域通過５−３フィルタを適用した結果を示す図である。 入力信号に低域通過５−３フィルタを適用した結果を示す図である。 ８に等しい量子化Ｑで、テクスチャとエッジに対する高域通過係数は、同じ大きさ１２を有することを示す図である。 低圧縮率が許容される場合には、テクスチャとエッジを表すために、８に等しいＱを使用したことの結果を示す図である。 量子化Ｑが１６に等しい場合の再構成を示す図である。 元の信号に冗長ハール（Ｈａａｒ）変換を適用したレベル１低域通過結果を示す図である。 元の信号に冗長ハール（Ｈａａｒ）変換を適用したレベル１高域通過結果を示す図である。 元の信号に冗長ハール（Ｈａａｒ）変換を適用したレベル２低域通過結果を示す図である。 元の信号に冗長ハール（Ｈａａｒ）変換を適用したレベル２高域通過結果を示す図である。 雑音除去からの結果の、レベル２雑音除去された係数を示す図である。 鮮明化を実行した結果の、レベル２雑音除去され且つ鮮明化された係数を示す図である。 雑音除去されたレベル１高域通過係数を示す図である。 レベル１雑音除去され且つ鮮明化された高域通過係数を示す図である。 ウェーブレット雑音除去後の前処理された結果を示す図である。 ５−３フィルタを適用した高域通過フィルタ結果を示す図である。 ５−３フィルタを適用した低域通過フィルタ結果を示す図である。 ８に等しいＱでの量子化後の高域通過係数を示す図である。 前処理が、レートの小さな増加で、品質の良好な改良を提供することを示す図である。 コンピュータシステムのブロック図である。

符号の説明

１０４ ｍ−レベル前向きハール変換
１０５ 係数のしきい値化１０５
１０６ ｍ−レベル逆ハール変換
１０８ 処理システム
１１０ ウェーブレット鮮明化と平滑化
２０４ １−又は（ｍ）−レベル前向きハール変換を適用する処理論理
２０６ １−又はｍ−レベル逆ハール変換
２１０ 係数の再スケーリング
３０１ ＷＳＳ処理ブロック
３０２ ＪＰＥＧ２０００符号化器
３０３ レート制御処理ブロック
３２０ 圧縮されたファイル
４０１ ＷＳＳ処理ブロック
４０２ ＪＰＥＧ２０００符号化器
４０３ レート制御ブロック
４０６ しきい値情報
４２０ 圧縮されたファイル
５０２ コンポーネント変換
５０３ ウェーブレット変換処理ブロック
５０４ 量子化ブロック
５０５ エントロピー符号化
５０６ ＷＳＳのようなしきい値決定処理
５１０ しきい値情報
５２０ 圧縮されたファイル
３９００ コンピュータシステム
３９０４ 主メモリ
３９０６ スタティック記憶装置
３９０７ データ蓄積装置
３９１１ バス
３９１２ プロセッサ
３９２１ ディスプレイ装置
３９２３ カーソル制御装置
３９２４ ハードコピー装置

Claims (27)

1. ウェーブレット順変換を使用して、画像に関する雑音除去とボケを除くことを実行するウェーブレット向上ユニットと、
   圧縮ウェーブレット変換を使用して、ウェーブレット向上ユニットからの向上された画像出力を圧縮する、ウェーブレット向上ユニットに接続された、圧縮器とを有する、符号化器。
2. 平滑化の量と量子化の量は共に選択される、請求項１に記載の符号化器。
3. 圧縮器からの圧縮されたファイル出力を監視するために接続され且つ、圧縮されたファイルの検査により指示されたビットレートが所定の目標レートよりもそれぞれ高いか又は低い場合には、平滑化の量を増加するか又は減少するためにウェーブレット向上ユニットに信号を送るためにウェーブレット向上ユニットに接続された、レート制御ユニットを更に有する、請求項１に記載の符号化器。
4. 圧縮器はＪＰＥＧ２０００圧縮を行う、請求項１に記載の符号化器。
5. ウェーブレット向上ユニットは、ｍが１より大きいか又は１と等しい、レベルｍで雑音除去を実行する、請求項１に記載の符号化器。
6. ウェーブレット向上ユニットは、レベルｍを使用して、レベル１．．ｍ−１で、雑音除去を実行する、請求項１に記載の符号化器。
7. ウェーブレット向上ユニットは、対応する係数がレベルｍで０である場合には、レベル１．．ｍ−１で、係数を０に設定する、請求項６に記載の符号化器。
8. ウェーブレット向上ユニットは、対応する係数がレベルｍで０であるか又は異なる符号を有する場合には、レベル１．．ｍ−１で、各係数を０に設定する、請求項６に記載の符号化器。
9. ウェーブレット順変換を使用して画像に関して雑音除去とボケを除くことを実行し、且つ、
   圧縮ウェーブレット変換を使用して、向上された画像出力を圧縮する、方法。
10. 平滑化の量と量子化の量は共に選択される、請求項９に記載の方法。
11. 更に、圧縮器からの圧縮されたファイル出力を監視し且つ、圧縮されたファイルの検査により指示されたビットレートが所定の目標レートよりもそれぞれ高いか又は低い場合には、平滑化の量を増加するか又は減少するためにウェーブレット向上ユニットに信号を送る、請求項９に記載の方法。
12. 更に、ｍが１より大きいか又は１と等しく、レベルｍで雑音除去を実行する、請求項９に記載の方法。
13. 更に、レベルｍを使用して、レベル１．．ｍ−１で、雑音除去を実行する、請求項９に記載の方法。
14. 更に、対応する係数がレベルｍで０である場合には、レベル１．．ｍ−１で、係数を０に設定する、請求項１３に記載の方法。
15. 更に、対応する係数がレベルｍで０であるか又は異なる符号を有する場合には、レベル１．．ｍ−１で、各係数を０に設定する、請求項１３に記載の方法。
16. エッジを向上させるために且つ可能な量子化雑音効果を減少させるために、鮮明化と平滑化を実行し、且つ
    しきい値情報を使用して、画像を圧縮ファイルへ圧縮する、雑音除去を更に実行する、請求項９に記載の方法。
17. 実行可能な命令がその上に蓄積された１つ又はそれ以上の記録可能な媒体を有する製造物であって、システムにより実行されると、システムに、
    ウェーブレット順変換を使用して、画像に関する雑音除去とボケを除くことを実行させ、且つ、
    圧縮ウェーブレット変換を使用して、ウェーブレット向上ユニットからの向上された画像出力を圧縮させる、製造物。
18. 雑音除去ユニットと、
    画像に応答して、エッジを向上させ且つ可能な量子化雑音効果を減少させるための、前向きウェーブレット鮮明化及び平滑化ユニットと、
    しきい値情報を使用して、画像を圧縮ファイルへ圧縮する、画像に接続された圧縮器とを有する装置。
19. しきい値情報は、各サブバンドに対してしきい値を有する、請求項１８に記載の装置。
20. しきい値情報は、量子化パラメータとして使用されるしきい値を有する、請求項１８に記載の装置。
21. 圧縮器はＪＰＥＧ２０００圧縮器を有する、請求項１８に記載の装置。
22. ウェーブレット鮮明化及び平滑化ユニットは、サブバンド内の異なる係数に対して異なるしきい値を発生し、且つ、圧縮器は、一部には、異なるしきい値に基づいて、各コードブロックに量子化を適用することにより、データを圧縮する、請求項１８に記載の装置。
23. ウェーブレット鮮明化及び平滑化ユニットは、コードブロックよりも小さい領域に対して、異なるしきい値を供給し、且つ、コードブロックに対する１つのしきい値を発生するために複数のしきい値を結合する、請求項１８に記載の装置。
24. ウェーブレット鮮明化及び平滑化ユニットは、平均化を使用して、コードブロックに対する１つのしきい値を発生するために、コードブロックよりも小さい領域に対する複数のしきい値を結合する、請求項２３に記載の装置。
25. ウェーブレット鮮明化及び平滑化ユニットは、全体のブロックに対する最小しきい値決定を使用して、コードブロックに対する１つのしきい値を発生するために、コードブロックよりも小さい領域に対する複数のしきい値を結合する、請求項２３に記載の装置。
26. ウェーブレット鮮明化及び平滑化ユニットは、全体のブロックに対する最大しきい値決定を使用して、コードブロックに対する１つのしきい値を発生するために、コードブロックよりも小さい領域に対する複数のしきい値を結合する、請求項２３に記載の装置。
27. ウェーブレット鮮明化及び平滑化ユニットは、コードブロック／領域に対する最大と最小のしきい値の間の値を使用して、コードブロックに対する１つのしきい値を発生するために、コードブロックよりも小さい領域に対する複数のしきい値を結合する、請求項２３に記載の装置。

Images