JP2004362578A - 重み付きオーバーコンプリートな雑音除去 - Google Patents

Abstract

【課題】重み付きオーバーコンプリートな雑音除去
【解決手段】雑音を含むデジタル信号にＭ個の線形変換からなる集合を適用し、デジタル信号の各デジタル要素のＭ個の雑音除去された初期推定値を判定し、各デジタル要素のＭ個の雑音除去された初期推定値の重み因子の組合せを一つの線形推定問題として定式化し、個々の重み因子を得るためにその問題を解くことによって重み因子の組合せを導き出し、対応するＭ個の雑音除去された初期推定値と重み因子の組合せとに基づいて各デジタル要素の雑音除去された最終推定値を定式化することによって、雑音を含んだデジタル信号の雑音のない部分の推定値を得る雑音除去アルゴリズム。重み因子の組合せは、雑音除去された初期推定値に対して条件付き平均二乗誤差が最小になるように導き出された最適組合せである。最適判定はさらに、雑音分散への明示的従属性を除去するスケーリング因子と数個の行列のうちの一つとに基づいて判定される。
【選択図】 図９

Description

本発明は、オーバーコンプリート変換の集合及びしきい値処理を用いてデジタル表現（例えば、デジタル画像）から雑音を除去するための方法に関する発明である。この方法は、ソフトウェア、ハードウェア、又はそれらの組合せに実施できる方法／アルゴリズムに採用することができるし、コンピュータ又はその他のプロセッサで制御されるデバイスに実施することもできる。

加法的独立項等分布（i.i.d.）雑音問題における信号は、信号の正確な統計モデル及び表現のベンチマークを提供するので、相変わらずかなり注目されている。この問題は、当初、単一の変換を用いて取り組まれ、その後、オーバーコンプリート基底（overcomplete basis）に拡張された。それ以降、この分野の研究は、今までのところ、より優れた変換及びより優れたしきい値処理の方法を得ることが中心になっている。

線形変換及びしきい値処理を用いる雑音除去は、スパース分解と使用した変換とに依存する。i.i.d.雑音を前提にした場合、小さな絶対値（maginitudes）を有する変換係数は信号対雑音比（ＳＮＲ）が非常に低いことを実証できるし、また、雑音性能を改善するためにこれらの係数を有効に検出及び除去（ハードしきい値処理の場合）又は低減（ソフトしきい値処理の場合）するしきい値処理非線形性を実証できる。言うまでもなく、この改善は、線形変換を用いることによってスパース分解が生じる信号のクラスに限定される。しかしながら、ある特定の画像に対して一般的に利用されるウェーブレット又はブロック離散コサイン変換（ＤＣＴ）など局所化された変換を想像したら、その変換を含むＤＣＴ又はウェーブレット基底関数の多くがエッジやその他の特異点にオーバラップするのは明白である。スパースな性質（sparsity properties）はそうした特徴を持続しないので、雑音除去の性能が低下する。オーバーコンプリート変換を用いる雑音除去は、画素ごとに複数の雑音除去された推定値（同じ変換のシフトバージョンに対応する）を平均して、この問題を正そうとする。その推定値のうちのいくつかはその他よりも優れた性能を提供すると考えられるので、平均すると修正される。

米国特許出願公開第2003/0086623号明細書 米国再発行特許発明第6,496,604号明細書

本発明の目的は、上記の雑音除去手法を用いては得られない個別の自由度を利用することによってオーバーコンプリート変換及びしきい値処理を用いてデジタル信号を雑音除去する技術の改善を提供することである。

本発明の別の目的は、雑音除去された推定値の最適組合せ（optimal combination）を画素ごとに定式化し、最適な推定値を得るためにそれを解くことを伴うデジタル画像雑音除去方法を提供することである。

本発明は、雑音を含むデジタル信号の中の雑音のない部分の推定値を得るための方法を提供する。一つの方法は、雑音を含むデジタル信号にＭ個の線形変換からなる集合を適用するステップと、デジタル信号の各デジタル要素のＭ個の雑音除去された初期推定値を判定するステップと、各デジタル要素のＭ個の雑音除去された初期推定値の重み因子の組合せを、その組合せを線形推定問題として定式化し、個々の重み因子を得るためにその問題を解くことによって導き出すステップと、対応するＭ個の雑音除去された初期推定値と重み因子の組合せに基づいて、各デジタル要素の雑音除去された最終推定値を定式化するステップとを有する。

Ｍ個の線形変換の集合は、デジタル信号に一括して又は各デジタル要素に適用されるのが好ましい。

Ｍ個の線形変換の集合の中の線形変換ごとに、ある特定のデジタル要素のＭ個の雑音除去された初期推定値を、しきい値以下の絶対値を有する各変換係数をしきい値処理し、しきい値処理されていない変換係数を逆変換して、得るのが好ましい。

重み因子の組合せは、雑音除去された初期推定値に関する条件付き平均二乗誤差が最小になるように導き出された最適組合せであるのが好ましい。

Ｍ個の線形変換の集合は、（ｉ）離散コサイン変換及びそれの所定数のオーバーコンプリートシフト、（ｉｉ）ウェーブレット変換及びそれの所定数のオーバーコンプリートシフト、又は（ｉｉｉ）フーリエ変換及びそれの所定数のオーバーコンプリートシフトを含めて、任意数の形式であって構わない。

好適な実施例において、デジタル画像は、複数の画素からなる画像又はビデオフレームで、各デジタル要素は一つ以上のグループの画素を含む。

その他の態様において、本発明には、方法のステップに関連して上に説明した処理操作を実行するための一つ以上のコンポーネントを含む装置が必要になってくる。そうしたコンポーネントは、ハードウェア、ソフトウェア、又はそれらの組合せを用いて実現して構わない。ハードウェアは、例えば、汎用マイクロプロセッサ、又は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理回路機構など、又はそれらの組合せを用いて達成できる。

発明の更なる態様によれば、上記の方法又はそのステップのどれも、実行するためにコンピュータ又はその他のプロセッサ制御型デバイスに保持又は伝達されることができる命令プログラム（例えば、ソフトウェア）に、実施されてもよい。もしくは、命令プログラムを、一つ以上のステップを実行するように設計されたハードウェア（例えば、一つ以上のＡＳＩＣ、デジタル信号処理回路機構など）と統合することもできる。

添付の図面と共に以下に述べる説明及び特許請求の範囲を参照することにより、発明をより一層理解できるようになると共に発明のその他の目的及び成果は明らかになる。

以下、本発明の実施形態を図面に基づいて説明する。

Ａ．概要
本発明は、主として、オーバーコンプリート線形変換の集合としきい値処理とを用いて画像の中のi.i.d.雑音を除去するよく知られたシナリオを対象にしている。雑音除去された推定値のアドホック平均化によって雑音除去された信号を得るという標準的な手法ではなく、本発明では、画素毎に最適組合せを線形推定問題として定式化し、それを解いて最適推定値を得る。この手法は使用した変換及びしきい値処理スキームに影響されない。本願の最適推定値導出は、明示的画像統計（explicit image statistics）を必要としないが、変換を使用したことからスパース分解が生じるという前提のみに頼っている。また、本願の適応推定値は暗示的条件付き統計を使用し、標準的なスパースの仮定がうまくいかないエッジや特異点の周囲に最大の影響を与える。

使用した変換の役割が非常に重要なことは変わらない。確かに、本発明のアルゴリズムの基礎をなす演算の根拠は、スパースな画像表現と線形変換を用いたこととにある。従って、本発明は、デジタル画像／ビデオフレームから雑音を除去するのに用いることができるし、画像又はビデオフレームで失われたデータを回復するために空間予測を採用する回復アルゴリズムに実施することもできる。本発明のこの方法及びアルゴリズムの詳細を以下に説明する。

Ｂ．表記法

Ｃ．発明の主な原理

Ｄ．シミュレーション結果

Ｅ．アルゴリズム

Ｆ．実現例と応用例
図１０は、本発明の処理を実現するのに使用することができる模式的システム１００を説明している。図１０に示すように、システムは、計算資源を提供すると共にコンピュータを制御する中央処理ユニット（ＣＰＵ）１０１を含む。ＣＰＵは、マイクロプロセッサ又はその他同種のものを用いて実現して構わないし、グラフィックスプロセッサ及び／又は数学的計算に対応できる浮動小数点コプロセッサを含むこともできる。システム１００はさらにシステムメモリ１０２を含み、システムメモリ１０２はランダムアクセスメモリ（ＲＡＭ）及びリードオンリーメモリ（ＲＯＭ）の形式になっているかもしれない。システムメモリは、これから処理されるデータ及び中間結果だけでなく、雑音除去プログラムを実行中に保持するために使用することもできる。

図１０に示すように、多数の制御装置及び周辺装置も設けられている。入力制御装置１０３は、キーボード、マウス、スタイラスなど、様々な入力装置１０４に対するインタフェースを表わす。本発明に従って処理される画像を含んだドキュメントをデジタル化するためのスキャナー１０６又はその他の同種のデバイスと通信するコントローラー１０５もある。ストレージコントローラー１０７は一つ以上の記憶装置１０８とインタフェースをとり、記憶装置１０８は各々が、磁気テープやディスクといった記憶媒体か、又は、オペレーティングシステム、ユーティリティ、及び本発明の様々な態様を実現するプログラムの実施を含んでいるかもしれないアプリケーション用の命令プログラムを記録するのに使用できる光学式媒体を含んでいる。ディスプレイコントローラー１０９は、表示装置１１１に対するインタフェースを提供する。表示装置は任意の公知のタイプのディスプレイで構わない。本発明に従って処理された画像を含んだドキュメントを印刷するためのプリンター１１３と通信するために、プリンターコントローラー１１２も用意されている。通信制御装置１１４は一つ以上の通信装置１１５とインタフェースし、通信装置１１５によってシステム１００は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）など任意の様々なネットワークで、又は赤外線信号など任意の適した電磁搬送波信号によって、遠隔装置との接続が可能になる。

図に示したシステムにおいて、全ての主要なシステムコンポーネントは、一つ以上の物理的バスを表わすかもしれないバス１１６に接続する。但し、種々のシステムコンポーネントは物理的に相互近接しているかもしれないし、そうでないかもしれない。例えば、入力データ及び／又は出力データは、一つの物理的場所から別の場所に遠隔送信されるかもしれない。また、本発明の様々な態様を実現するプログラムは遠隔地（例えば、サーバー）からネットワークでアクセス可能かもしれない。そうしたデータ及び／又はプログラムは、磁気テープ又はディスク又は光ディスクなど任意の様々な機械可読媒体、ネットワーク信号、或いは赤外線信号など任意の適した他の電磁搬送波信号で伝えることができる。

本発明は、ソフトウェアで実現するのが便利だけれども、ハードウェアでの実現又はハードウェア／ソフトウェアの組合せによる実現も可能である。ハードウェアでの実現は、例えば、ＡＳＩＣ、デジタル信号プロセッサ回路機構、又はその他の同類のものを用いて実施できる。そこで、「デバイス可読媒体」というクレーム表現は、ソフトウェアが入ったメディアだけでなく、所要の処理を実行するための命令がハードワイヤされているハードウェア及びハードウェア／ソフトウェアの組合せも含んでいる。同様に、「命令プログラム」というクレーム表現は、ソフトウェアとハードウェアに実施された命令との両方を含んでいる。そうしたデバイスとしては、命令ベースのプロセッサ（例えば、ＣＰＵ）、ＡＳＩＣ，デジタル信号プロセッサ回路機構、又はそれらの組合せがある。これらの代替え案に照らして、図面及び説明は、必要な処理を行なうために当業者がプログラムコード（つまり、ソフトウェア）を書いたり、回路（つまり、ハードウェア）を作るのに必要な機能説明を提供していると理解されるべきである。

上記の説明が実証しているように、本発明は、スパース分解を生じる線形変換と共にしきい値処理を用いてデジタル信号から雑音を除去するためのソフトウェア又はハードウェアベースのアルゴリズム／方法を提供している。この発明のアルゴリズムは応用範囲が広く、概して言えば、ビデオ信号、静止画像信号、音声（スピーチ、音楽など）信号を含み、任意のデジタル信号から雑音を除去するために使用することができる。この発明のアルゴリズムは、多少の修正を加えて、ネットワーク送信に起因したエラー修正、損傷画像の回復、傷の除去などを含み、任意のタイプの信号のデータの損失部分を予測するのに用いることもできる。本願のアルゴリズムにおいて、しきい値処理はある特定の線形変換の各係数に適用される。以下に手短に説明するデータ回復アルゴリズムにおいて、しきい値処理は係数を選択するために適用される。

データの損失領域を予測することに関して言えば、上記の関連出願で説明した、より詳細な雑音除去アルゴリズムにこの発明のアルゴリズムを組み込むことができる。一つのそうした出願のアルゴリズムはこれらのレイヤーで抜けている画素を繰り返し回復する。レイヤーを初期値で満たすことにより、アルゴリズムはしきい値を選択し、レイヤーに対する幾つかのオーバーコンプリート変換を評価する。他のレイヤーの画素を変わらないように保ちつつ一つの画素レイヤーを回復するために、ハードしきい値処理及び逆変換された変換係数を選択する。Ｌ個のレイヤーがあるとすると、この操作はレイヤーの全ての回復するためのＬ回繰り返される。その後、アルゴリズムはしきい値を特定の量だけ減らし、最初のレイヤーから再び始まってレイヤー回復するために同じ計算を進める。アルゴリズムは、しきい値が所定の低めのレベルに達すると、終了する。

その他の関連出願のアルゴリズムは、発明者が、回復性能のほとんどが主として初期反復から得られると認識したことの結果である。従って、この関連出願のアルゴリズムは、上記の関連出願のアルゴリズムの利点をほとんど達成しながら、それと同時に、高速な代替えを提供する。この関連出願のアルゴリズムにおいては、しきい値処理されてゼロになる変換係数の集合を固定するのに初期しきい値処理の決定が用いられる。但し、この集合は反復のたびに計算しなおされない。むしろ、この集合はレイヤー毎に固定されたままだから、計算の有意な節約になる。というのは、今では反復解は直接解くことができる線形方程式系になっている、すなわち、反復を必要とせず一つのステップで各レイヤーが回復されるから。上記の関連出願のアルゴリズムと比べて、この関連出願のアルゴリズムは、対応する方程式により各レイヤーの画素を直接解くことによって、かなり近道をとる。その最も単純な形式において、この関連出願のアルゴリズムはしきい値を一つだけ用いてレイヤーの画素を完全に回復する、すなわち、非常に詳細な情報を回復する場合だけ、しきい値を低下し更に反復するのが望ましい。

発明をいくつかの具体的な実施例と共に説明してきたが、当業者ならば、上記の説明に照らして、更なる代替え、修正、変形、応用が明らかになる。従って、ここで説明した発明は、添付の特許請求の範囲から逸脱しない限りにおいて、そうした代替え、修正、変形、応用を全て網羅することを意図している。

（ａ）雑音汚染された区分的定数定信号を示す図、（ｂ）ｎ_sで雑音除去するための等価線形フィルタを示す図、（ｃ）その点で雑音除去するための最適フィルタを示す図。 画像ボロノイの３画素において完全、対角、及び標準の各解を得るための計算された等価フィルタを示す図。 テスト画像のボロノイ（２５６×２５６）及びティーポット（９６０×１２６０）を示す図。 ピーク信号対雑音比（ＰＳＮＲ）に対する異なる条件下で達成された完全解（図４のみ）、対角、有意のみ、及び標準の各解系を示す図。 ピーク信号対雑音比（ＰＳＮＲ）に対する異なる条件下で達成された完全解（図４のみ）、対角、有意のみ、及び標準の各解系を示す図。 ピーク信号対雑音比（ＰＳＮＲ）に対する異なる条件下で達成された完全解（図４のみ）、対角、有意のみ、及び標準の各解系を示す図。 テスト画像の雑音を有する部分と雑音除去された部分を示す図。 テスト画像の雑音を有する部分と雑音除去された部分を示す図。 本発明の主アルゴリズムの基本的なプロセスフローを示すフロー図。 本発明の方法を実現するために使用できる模式的システムを示すブロック図。

符号の説明

１０１ ＣＰＵ
１０２ システムメモリ
１０３ 入力制御装置
１０４ 入力装置
１０５ コントローラー
１０６ スキャナー制御装置
１０７ ストレージコントローラー
１０８ 記憶装置
１０９ ディスプレイコントローラー
１１１ 表示装置
１１２ プリンターコントローラー
１１３ プリンター
１１４ 通信制御装置
１１５ 通信装置
１１６ バス

Claims (31)

1. 雑音を含んだデジタル信号の雑音のない部分の推定値を得るための方法であって、
   （ａ）前記雑音を含んだデジタル信号にＭ個の線形変換からなる集合を適用するステップと、
   （ｂ）前記デジタル信号の各デジタル要素のＭ個の雑音除去された初期推定値を判定するステップと、
   （ｃ）各デジタル要素の前記Ｍ個の雑音除去された初期推定値の重み因子の組合せを、その組合せを線形推定問題として定式化し、個々の重み因子を得るためにその問題を解くことによって、導き出すステップと、
   （ｄ）ステップ（ｂ）及びステップ（ｃ）でそれぞれ判定された対応するＭ個の雑音除去された初期推定値及び重み因子の組合せに基づいて、各デジタル要素の雑音除去された最終推定値を定式化するステップと、
   を有することを特徴とする方法。
2. 前記Ｍ個の線形変換の集合は、一括してデジタル信号に又は個々のデジタル要素に適用されることを特徴とする請求項１に記載の方法。
3. 前記Ｍ個の線形変換の集合の中の線形変換ごとに、しきい値以下の絶対値を有する各変換係数をしきい値処理し、しきい値処理されていない変換係数を逆変換することによって、ある特定のデジタル要素のＭ個の雑音除去された初期推定値が取得されることを特徴とする請求項１に記載の方法。
4. 前記重み因子の組合せは最適組合せであることを特徴とする請求項１に記載の方法。
5. 前記重み因子の組合せは、前記雑音除去された推定値に対して条件付き平均二乗誤差が最小になるように引き出されることを特徴とする請求項１に記載の方法。
6. 前記Ｍ個の線形変換の集合は、（ｉ）離散コサイン変換及びそれの所定数のオーバーコンプリートシフトか、（ｉｉ）ウェーブレット変換及びそれの所定数のオーバーコンプリートシフト、又は（ｉｉｉ）フーリエ変換及びそれの所定数のオーバーコンプリートシフトを含むことを特徴とする請求項１に記載の方法。
7. 前記デジタル信号は、複数の画素からなる画像又はビデオフレームであって、各デジタル要素は一つ以上の画素グループを含むことを特徴とする請求項１に記載の方法。
13. 雑音を含んだデジタル信号の雑音のない部分の推定値を得るための装置であって、当該装置は、
    一つ以上のコンポーネントを備え、前記一つ以上のコンポーネントは、
    前記雑音を含んだデジタル信号にＭ個の線形変換からなる集合を適用し、
    前記デジタル信号の各デジタル要素のＭ個の雑音除去された初期推定値を判定し、
    各デジタル要素のＭ個の雑音除去された推定値の重み因子の組合せを、その組合せを線形変換問題として定式化し、個々の重み因子を得るためにその問題を解くことによって導き出し、
    各デジタル要素の雑音除去された最終推定値を、ステップ（ｂ）及び（ｃ）でそれぞれ判定された対応するＭ個の雑音除去された初期推定値及び重み因子の組合せに基づいて定式化するように構成されていることを特徴とする装置。
14. 前記Ｍ個の線形変換の集合は、一括してデジタル信号に又は個々のデジタル要素に適用されることを特徴とする請求項１３に記載の装置。
15. 前記Ｍ個の線形変換の集合の中の線形変換ごとに、しきい値以下の絶対値を有する各変換係数をしきい値処理し、しきい値処理されていない変換係数を逆変換することによって、ある特定のデジタル要素のＭ個の雑音除去された初期推定値が取得されることを特徴とする請求項１３に記載の装置。
16. 前記重み因子の組合せは最適組合せであることを特徴とする請求項１３に記載の装置。
17. 前記重み因子の組合せは、前記雑音除去された推定値に対して条件付き平均二乗誤差が最小になるように引き出されることを特徴とする請求項１３に記載の装置。
18. 前記Ｍ個の線形変換の集合は、（ｉ）離散コサイン変換及びそれの所定数のオーバーコンプリートシフトか、（ｉｉ）ウェーブレット変換及びそれの所定数のオーバーコンプリートシフト、又は（ｉｉｉ）フーリエ変換及びそれの所定数のオーバーコンプリートシフトを含むことを特徴とする請求項１３に記載の装置。
19. 前記デジタル信号は、複数の画素からなる画像又はビデオフレームであって、各デジタル要素は一つ以上の画素グループを含むことを特徴とする請求項１３に記載の装置。
20. 雑音を含んだデジタル信号の雑音のない部分の推定値を得る処理を実行するように機械に指示するために命令プログラムを有するデバイス可読媒体であって、該プログラムは、
    （ａ）前記雑音を含んだデジタル信号にＭ個の線形変換からなる集合を適用するための命令と、
    （ｂ）前記デジタル信号の各デジタル要素のＭ個の雑音除去された初期推定値を判定するための命令と、
    （ｃ）前記各デジタル要素のＭ個の雑音除去された初期推定値の重み因子の組合せを、その組合せを一つの線形推定問題として定式化し、個々の重み因子を得るためにその問題を解くことによって導き出すための命令と、
    （ｄ）各デジタル要素の雑音除去された最終推定値を、ステップ（ｂ）及び（ｃ）でそれぞれ判定された対応するＭ個の雑音除去された初期推定値及び重み因子の組合せに基づいて定式化するための命令と、
    を有することを特徴とするデバイス可読媒体。
21. 命令（ａ）は、前記Ｍ個の線形変換の集合を、一括してデジタル信号に又は個々のデジタル要素に適用するために命令を含むことを特徴とする請求項２０に記載のデバイス可読媒体。
22. 命令（ｂ）は、しきい値以下の絶対値を有する各変換係数をしきい値処理し、しきい値処理されていない変換係数を逆変換することによって、前記Ｍ個の線形変換の集合の中の線形変換ごとに、ある特定のデジタル要素のＭ個の雑音除去された初期推定値を得るための命令を含むことを特徴とする請求項２０に記載のデバイス可読媒体。
23. 命令（ｃ）において、重み因子の組合せは最適組合せであることを特徴とする請求項２０に記載のデバイス可読媒体。
24. 命令（ｃ）において、前記重み因子の組合せは、前記雑音除去された推定値に対して条件付き平均二乗誤差が最小になるように導き出されることを特徴とする請求項２０に記載のデバイス可読媒体。
25. 命令(ａ)において、前記Ｍ個の線形変換の集合は、（ｉ）離散コサイン変換及びそれの所定数のオーバーコンプリートシフトか、（ｉｉ）ウェーブレット変換及びそれの所定数のオーバーコンプリートシフト、又は（ｉｉｉ）フーリエ変換及びそれの所定数のオーバーコンプリートシフトを含むことを特徴とする請求項２０に記載のデバイス可読媒体。
26. 前記デジタル信号は、複数の画素からなる画像又はビデオフレームであって、各デジタル要素は一つ以上の画素グループを含むことを特徴とする請求項２０に記載のデバイス可読媒体。