JP2010523047A - 信号処理システムにおけるノイズを解析する方法及び装置 - Google Patents

Abstract

信号処理システムにおけるノイズを解析する技術を提供する。本明細書では、信号処理システムにおけるノイズを解析するための高速で正確な多重チャンネル周波数依存手法を説明する。ノイズは、各チャンネル内で複数の周波数バンドに分解され、サブバンドノイズが伝播される。畳み込みの計算複雑性を回避するために、従来の方法は、信号処理パイプラインにおけるあらゆる点でノイズを白色と仮定するか、又は単純に空間演算を無視するかのいずれかを行う。各周波数バンド内でノイズが白色であると仮定することにより、あらゆる種類のノイズ（白色、有色、ガウス分布、非ガウス分布、及びその他）は、空間変換を通じて非常に高速で正確な方式で伝播させることができる。この技術の有効性を明らかにするために、画像化パイプラインにおける様々な空間演算を通じてノイズ伝播を考える。更に、計算複雑性は、信号処理システムを通じて画像を伝播させる計算コストのごく僅かな部分でしかない。
【選択図】図１

Description

本発明は、信号処理の分野に関する。より具体的には、本発明は、信号処理システムにおけるノイズを解析することに関する。

一連の演算の後の多変量ノイズの解析、伝播、及び予測は、音声信号処理、画像ノイズ除去、デジタル画像システム設計、地震波データ解析、及び医療撮像のような多くの用途で発生する基本的な問題である。これらの演算を構成する信号処理段階は、線形、非線形、及び空間的という３つのカテゴリに分類することができる。既存の方法は、線形及び非線形変換を処理することができる。しかし、これらの方法は、空間信号処理段階を無視して不正確なノイズ伝播をもたらすか、又はこれらの方法は、計算上非常に高価な畳み込みを用いる。従って、これらは、この手法を多重パラメータ最適化、音声におけるノイズ相殺、実時間ノイズ除去におけるサブバンドノイズ予測のような用途に対して非実用的にする。

空間変換の入力におけるノイズが白色であると見なされた場合には、フィルタリングの後のノイズ分散は、入力ノイズエネルギとフィルタエネルギの積として単純に計算することができる。残念ながらこの仮定は、殆どのシステムでは妥当ではない。ノイズは、開始時点では白色である可能性があるが、その特性は、ノイズが信号処理パイプラインを通過する時に変化することになる。従って、白色及び有色ノイズ伝播の両方を処理することができる機構が必要である。

本明細書では、信号処理システムにおけるノイズを解析するための高速で正確な多重チャンネル周波数依存手法を説明する。ノイズは、各チャンネル内で複数の周波数バンドに分解され、サブバンドノイズが伝播される。畳み込みの計算複雑性を回避するために、従来の方法は、信号処理パイプラインにおけるあらゆる点でノイズを白色と仮定するか、又は単純に空間演算を無視するかのいずれかを行う。各周波数バンド内でノイズが白色であると仮定することにより、あらゆる種類のノイズ（白色、有色、ガウス分布、非ガウス分布、及びその他）は、空間変換を通じて非常に高速で正確な方式で伝播させることができる。この技術の有効性を明らかにするために、画像化パイプラインにおける様々な空間演算を通じてノイズ伝播を考える。更に、計算複雑性は、信号処理システムを通じて画像を伝播させる計算コストのごく僅かな部分でしかない。

一態様では、信号内のノイズを解析する方法は、ノイズを複数のサブバンドに分離する段階、複数のサブバンド内のサブバンドの各々に対してノイズ平均値を判断する段階、及びノイズを伝播させる段階を含む。本方法は、ノイズを含む信号を受信する段階を更に含む。複数のサブバンドは、多重チャンネルシステム内の各チャンネルに対するものである。ノイズを伝播させる段階は、実時間で行われる。代替的に、ノイズを伝播させる段階は、オフラインで行われる。本方法は、デジタル画像処理、音処理、地震波データ解析、及び医療撮像から成る群から選択される用途に適用される。好ましくは、サブバンドの各々は、等しい幅のものである。サブバンド数は、望ましい精度に依存する。画像ノイズ除去では、好ましくは、複数のサブバンドは、包含的に２及び４の間の個数である。しかし、あらゆるサブバンド数が可能である。ノイズは、白色ノイズ、有色ノイズ、ガウス及び非ガウス分布ノイズといったあらゆる種類のものとすることができるであろう。

別の態様では、ノイズを解析する方法は、ノイズを含む信号を受信する段階、各チャンネルにおけるノイズを複数のサブバンドに分解する段階、複数のサブバンドの各々に対するノイズ平均値を判断する段階、及びノイズを伝播させる段階を含む。複数のサブバンドは、多重チャンネルシステム内の各チャンネルに対するものである。ノイズを伝播させる段階は、実時間で行われる。代替的に、ノイズを伝播させる段階は、オフラインで行われる。本方法は、デジタル画像処理、音処理、地震波データ解析、及び医療撮像から成る群から選択される用途に適用される。好ましくは、サブバンドの各々は、等しい幅のものである。好ましくは、複数のサブバンドは、包含的に２及び４の間の個数である。ノイズは、白色ノイズ、有色ノイズ、ガウス及び非ガウス分布ノイズといったあらゆる種類のものとすることができるであろう。

別の態様では、空間演算の後のノイズを予測する方法は、ノイズを複数のサブバンドに分解する段階、及びサブバンドノイズを予測する段階を含み、サブバンドノイズは、空間演算の前のサブバンドノイズと、空間演算のサブバンドエネルギと、複数のサブバンドの個数との積である。本方法は、ノイズがバンド毎に白色であると仮定する段階を更に含む。ノイズは、実時間で予測される。好ましくは、サブバンドの各々は、等しい幅のものである。好ましくは、複数のサブバンドは、包含的に２及び４の間の個数である。ノイズは、白色ノイズ、有色ノイズ、ガウス及び非ガウス分布ノイズといったあらゆる種類のものとすることができるであろう。

別の態様では、多重チャンネルシステムから多重チャンネル／多重バンド共分散行列を得る方法は、ノイズをフィルタを用いてチャンネル毎に複数のサブバンドに分割する段階、及び各々がＭ×Ｍである部分行列から成るＮ×Ｎ行列を発生させる段階を含む。Ｎは、サブバンド数であり、Ｍは、チャンネル数である。フィルタは、理想的及びほぼ理想的な帯域通過フィルタから成る群から選択される。好ましくは、サブバンドの各々は、等しい幅のものである。好ましくは、複数のサブバンドは、包含的に２及び４の間の個数である。ノイズは、白色ノイズ、有色ノイズ、ガウス及び非ガウス分布ノイズといったあらゆる種類のものとすることができるであろう。

更に別の態様では、複数のサブバンドのノイズを伝播させるためのシステムは、ノイズを複数のサブバンドに分割するための分割構成要素、及び複数のサブバンドのノイズを受信して伝播させるための１つ又はそれよりも多くの処理構成要素を含む。分割構成要素は、フィルタである。フィルタは、理想的及びほぼ理想的な帯域通過フィルタから成る群から選択される。代替的に、分割構成要素は、ルックアップテーブルである。複数のサブバンドは、各々がチャンネル毎のものである。ノイズは、白色ノイズ、有色ノイズ、ガウス及び非ガウス分布ノイズといったあらゆる種類のものとすることができるであろう。システムには、「人間視覚システム（ＨＶＳ）」モデル及び「人間聴覚システム（ＨＡＳ）」モデルのうちの少なくとも一方を組み込むことができる。

別の態様では、信号処理システムは、ノイズを含む信号を受信するための受信機、ノイズを複数のサブバンドに分割するためのフィルタリング構成要素、及び複数のサブバンドにおけるサブバンドの各々に対して閾値を判断し、閾値よりも低いノイズをフィルタリングするための処理構成要素を含む。フィルタリング構成要素は、理想的及びほぼ理想的な帯域通過フィルタから成る群から選択される。複数のサブバンドは、各々がチャンネル毎のものである。ノイズは、白色ノイズ、有色ノイズ、ガウス及び非ガウス分布ノイズといったあらゆる種類のものとすることができるであろう。システムには、「人間視覚システム（ＨＶＳ）」モデル及び「人間聴覚システム（ＨＡＳ）」モデルのうちの少なくとも一方を組み込むことができる。

多重チャンネルシステムから多重チャンネル／多重バンド共分散行列を得る処理のブロック図である。 多重チャンネル／多重バンド手法に適用される線形変換のブロック図である。 ２つのバンドに分割されたノイズ及びフィルタのグラフである。 ノイズ伝播の方法のブロック図である。 ノイズ伝播の方法のブロック図である。 有色ノイズ伝播精度に関してサブバンド数及びＦＩＲ低域通過フィルタ遮断周波数を変化させたグラフである。 モザイク除去の周波数領域効果のブロック図である。 鮮明化又はエッジ強調の周波数領域効果のブロック図である。 例示的カメラ画像パイプラインの図である。 拡張Ｂ＆Ｂ法とＢ＆Ｂ法との比較のグラフである。 知覚的に均一な色空間（Ｌ^*ａ^*ｂ^*色空間）における解析のための例示的カメラ画像パイプラインの図である。 ノイズを判断する処理の流れ図である。

全ての種類の演算（線形、非線形、及び空間的）を通じて有色及び白色の両方のノイズを伝播させるためのノイズ解析フレームワークを本明細書で説明する。入力ノイズは、サブバンドに分解され、サブバンドノイズは、信号処理パイプラインを通じて伝播される。これを用いると、線形又は非線形（ヤコビアンによって線形化される）変換の後のサブバンドノイズを正確に予測することができる。空間演算の後のノイズを予測するために、空間演算のエネルギは、事前にサブバンドに分解される。ノイズをバンド毎に白色であると見なし、理想的（又はほぼ理想的）帯域通過フィルタリングを用いると、空間演算又は変換の後のサブバンドノイズは、単純に、この演算の前のサブバンドノイズエネルギと、空間変換のサブバンドエネルギと、サブバンド数との積である。

各チャンネル内のノイズをサブバンドに分解し、サブバンドノイズが各バンド内で白色であると仮定することにより、全ての信号処理演算（線形、非線形、及び空間的）を通じてノイズを正確に伝播させることができる。
サブバンドノイズを伝播させることにより、「人間視覚システム（ＨＶＳ）」モデル及び「人間聴覚システム（ＨＡＳ）」モデルを画像及び音声システムの設計に組み込むことができる。
本明細書に説明する手法は、計算上非常に効率的であり、多くの計算を必要としない。従って、この手法は、多重パラメータ最適化及び実時間用途において用いることができる。また本明細書に説明する手法は、オフライン用途において用いることができる。

下記には、ノイズ解析システムの異なる構成要素及び方法を説明する節が続く。「帯域通過フィルタリング」の節では、入力ノイズ及び信号処理段階の両方をサブバンドに分割する処理を説明する。線形演算にわたって多重チャンネル／多重バンドノイズの伝播させる処理は、「線形変換にわたるノイズ伝播」の節で説明する。「分割フィルタ概念」の節では、分割フィルタ概念を呈示し、理想的（又はほぼ理想的）帯域通過フィルタリングを用いることにより、空間演算の後のサブバンドノイズを非常に高速な方法で予測することができることを示す。「空間変換にわたるノイズ伝播」の節では、ノイズがバンド毎に白色であるという仮定を有する分割フィルタ概念により、モザイク除去、ＦＩＲフィルタリング、及びエッジ強調のような空間演算の後のノイズの効率的な予測が可能になる。更に、続く節は、本明細書に説明するノイズ解析のシステム及び方法の計算複雑性及び可能な用途を含む。

帯域通過フィルタリング
ノイズ伝播計算を実行する前に、入力ノイズ及び信号処理段階の両方をサブバンドに分割する必要がある。多重チャンネル入力ノイズ共分散行列Σは、多重バンド／多重チャンネル共分散行列に分割する必要がある。例えば、ＲＧＢ（３チャンネル）画像処理システムでは、全バンド多重チャンネルノイズ共分散行列は、次式のように書くことができる。

表記を簡易化するために、ノイズをサブバンドに分割した後に得られる多重バンド／多重チャンネル共分散行列を対称ブロック共分散行列に以下のように書き込む。

ここで、Σ_ij＝Σ_jiである。このサブバンド共分散行列（Σ_band）はＮ×Ｎ個の部分行列を含む。Ｎがサブバンド数であり、Ｍがチャンネル数である時に、各部分行列は、Ｍ×Ｍである。対角部分行列は、バンド内共分散（特定の周波数バンド内での）を含み、それに対して非対角部分行列は、バンド間（周波数バンドの間の）共分散を含む。共分散Σを有する多重チャンネルノイズを３チャンネルシステムにおける多重チャンネル／多重バンド共分散行列Σ_bandへと変換する処理を図１に例示している。

分割フィルタは、あらゆる種類のものとすることができる。しかし、理想的（又はほぼ理想的）帯域通過フィルタ（ＢＰＦ）が用いられる場合には、サブバンド間の共分散はゼロになる。従って、

は、ブロック対角になり、ノイズ伝播計算は有意に単純化される。更に、理想的（又はほぼ理想的）ＢＰＦでは、「有限インパルス応答（ＦＩＲ）」フィルタリング、モザイク除去、及びエッジ強調のような空間演算を通じてノイズを伝播させることができる。
次に、線形及び空間演算に対する多重チャンネル／多重バンドノイズ伝播を説明する。非線形演算は、ヤコビアン行列によって線形化することができ、従って、解析は、線形式のものと同様である。

線形変換にわたるノイズ伝播
この小節では、線形演算の多重バンド／多重チャンネルシステムに対する影響が解析される。図２に示しているように、線形行列が、共分散行列の各々に適用される。線形変換Ａの後のブロック共分散行列は、次式のように書くことができる。

コンパクトな形式では、この式は次式へと書き直される。

ここで次式が成り立つ。

変換Ａは、周波数依存性を持たないので、Ａ_band内の部分行列は、サブバンドからサブバンドへと変化しない。行列Σ^Aは、Σ^A _bandから再構成することができ、ここで、Σ^A＝ＡΣＡ^Tは、線形変換Ａによって全バンド入力共分散Σを変換することによって得られる全バンド共分散行列である。

分割フィルタ概念
ここまで、多重チャンネル／多重バンドノイズ伝播機構が、線形演算の後のノイズを正確に予測することができることを示した。上述のように、非線形演算（画像化パイプラインにおけるガンマ等）は、ヤコビアンによって線形化される。従って、その解析は、線形演算のものと同様である。入力サブバンドノイズエネルギ及びフィルタサブバンドエネルギによる空間変換の後の出力サブバンドノイズエネルギを計算するための理論表現をここで導出する。

ノイズ及びフィルタは、図３に示しているように２つのバンドに分割される。第１のサブバンドの入力ノイズ自己相関関数は、次式のように書くことができる。

ゼロ遅延における自己相関関数は、エネルギを表し、このエネルギは、周波数バンドの下にある面積でもある。このエネルギは、サブバンド分散である。従って、最初のサブバンド内のノイズ分散は、σ_x1x1＝２Ａｆ_cであり、フィルタサブバンドエネルギは、σ_h1h1＝２Ｂｆ_cであり、出力サブバンドエネルギはσ_y1y1＝２ＡＢｆ_cである。全バンドがＮ個のサブバンドに分割される場合には、各バンドの幅は、２ｆ_c＝１／Ｎである。従って、

である。帯域通過フィルタリングが理想的（又はほぼ理想的、例えば、非常に長いタップフィルタ）である限り、出力サブバンドノイズエネルギは、入力サブバンドノイズエネルギと、空間変換サブバンドエネルギと、サブバンド数との積として単純に推定することができる。一般性を損なうことなくこれを次式のように書くことができる。

ここでｉ＝１、…、Ｎである。推定される全バンドノイズ分散は、単純にサブバンドノイズ分散の総和である。

この結果を用いると、空間変換の後のノイズを非常に高速で正確な方式で予測することができる。

この手法の有効性を評価するために、厳密な白色ノイズ伝播機構及びバンド毎の白色ノイズ伝播機構が、ＦＩＲ低域通過フィルタ（単一チャンネル空間変換）を通じて有色ノイズを伝播させると考える。厳密な（畳み込み）白色伝播技術及びバンド毎の白色伝播技術を図４Ａ〜図４Ｂに例示しており、図４Ａは、厳密な手法であり、図４Ｂは、バンド毎の白色の方法である。図４Ａでは、σ_xxは、入力シーケンスｘの分散であり、ｈは、フィルタであり、σ_yyは、フィルタリング済みシーケンスｙの分散である。図４Ｂでは、σ_xixi及びσ_hihiは、それぞれ入力サブバンド分散及びフィルタサブバンド分散である。推定出力サブバンド分散及び推定出力全バンド分散は、それぞれ、σ＾_yiyi及びσ＾_yyであり、ここで、ｉ＝１、…、Ｎであり、Ｎは、サブバンド数である。有色ノイズは、白色ノイズを０．２５の正規化遮断周波数を有する低域通過フィルタによって発生させる。理想的（又はほぼ理想的）帯域通過フィルタリングを用いて、入力ノイズ分散σ_xx及びＦＩＲフィルタ分散σ_hhの両方をサブバンド分散σ_xixi及びσ_hihiに分解し、ここで、ｉ＝１、…、Ｎである。次に、式（６）及び（７）を用いることにより、サブバンドノイズ分散σ＾_yiyi及び全バンドノイズ分散σ＾_yyをフィルタリングの後に推定する。フィルタリングの後の厳密なノイズ分散σ_yyを得るために、分散σ_xxの入力ノイズシーケンスｘをフィルタｈで畳み込む。この畳み込みによって出力シーケンスｙが与えられ、このシーケンスからσ_yyが得られる。最後に、ノイズ伝播精度の基準値として正規化誤差を用いる。

本方法のノイズ伝播精度を示すために、サブバンド数を１個（全バンド）から１０個へと変化させ、ＦＩＲフィルタ遮断周波数を０．０５の正規化周波数から０．９５の正規化周波数へと変化させ、正規化誤差ε_σyyを評価する。図５から、サブバンド数を増加することによって有色ノイズ伝播精度が改善されることが分る。この改善は、バンド毎の白色仮定から期待されるものである。画像ノイズ除去では、望ましい精度に依存して、サブバンド数は、好ましくは、４個から７個の範囲、又は一般的に２個から４個の範囲にわたる。

空間変換にわたるノイズ伝播
ノイズがバンド毎に白色であると仮定し、上述の分割フィルタ概念を適用することにより、空間演算の後のノイズを予測することができる。式（５）と同様に、ブロック対角空間変換行列が定められる。

ここで、Ｓ_iは、各周波数バンドにおけるＭ×Ｍ変換行列であり、ｉ＝１、…、Ｎであり、Ｍは、チャンネル数であり、Ｎは、サブバンド数である。ブロック対角空間変換行列Ｓ_bandがある状態で、空間演算の後のサブバンドノイズ共分散Σ^S _bandは、次式のようにフィルタリングの前のサブバンドノイズ共分散の項で表すことができる。

空間変換がチャンネル間相関を持たない、例えば、ＦＩＲフィルタリングの場合には、行列Ｓ_iは、対角行列になる。これに反して、この演算がチャンネル間で空間相関を有する、例えば、モザイク除去の場合には、行列Ｓ_iは、非ゼロの非対角項を有することになる。従って、あらゆる空間演算の後のノイズを予測するための鍵は、変換の周波数領域挙動を正確に反映する行列Ｓ_iを案出することである。
以下では、フィルタリング、モザイク除去、及びエッジ強調（又は鮮明化）のためのサブバンド変換行列Ｓ_iを導出する。これらの例は、例示目的のみのものである。同様の方式で、あらゆる空間演算に対して行列Ｓ_iを形成することができる。

ＦＩＲフィルタリング
この演算は、チャンネル間にいかなる空間相関も持たないので、行列Ｓ_iは、Ｍ×Ｍの対角行列である。

ここで、σ^j _hihiは、ｊ番目のチャンネルのＦＩＲフィルタをサブバンドに分割することによって得られるｉ番目のサブバンドの分散である。同じＦＩＲフィルタが全てのチャンネルに用いられる場合には、σ¹ _hihi＝σ² _hihi＝…＝σ^M _hihi＝σ¹ _hihiであり、式（１１）は、更に次式へと単純化することができる。

モザイク除去
単一センサカメラにおける「カラーフィルタアレイ（ＣＦＡ）」は、一般的にＢａｙｅｒパターンの形態にある。ＲＧＢカメラでは、画像処理アレイは、２５％の赤色ピクセル、５０％の緑色ピクセル、及び２５％の青色ピクセルを含む。従って、ＣＦＡから得られる部分サンプリングされた多重チャンネルデータ内には、緑色チャンネルは、高低両方の周波数成分を有し、それに対して赤色及び青色のチャンネルは、低周波数情報しか持たない。残りのピクセルを推定するために、研究者は、いくつかのモザイク除去アルゴリズムを提案している。これらの方法は有意な差を有するが、これら全ての手法の固有の性質は、緑色チャンネルからの高周波数情報が、赤色及び青色チャンネルへと複写されることである。モザイク除去のこの周波数領域効果を図６に例示している。

これらの考察を用いると、式（１０）は次式のように書き直される。

上記から、ＲＧＢカメラにおけるモザイク除去の本質を捉える行列Ｓ_iに関する表現は次式になる。

モザイク除去アルゴリズムに依存して、高域通過フィルタの特性は、全く異なるものとすることができ、又は付加的なチャンネル間相関を考察する必要がある場合がある。

エッジ強調又は鮮明化
鮮明化演算は、画像内のエッジ又は他の高周波成分を強調するものである。例えば、高周波成分を強調するために、元の画像ｘから不鮮明又は平滑なバージョンの画像を減算する手順を図７に例示している。自由パラメータｋは、鮮明化の程度を制御する。ノイズをバンド毎に白色であると仮定すると、鮮明化済み画像ｙのｉ番目のサブバンドは、次式のように書かれる。

従って、鮮明化演算の後のノイズを予測するための行列Ｓ_iは、次式になる（全てのチャンネルに適用された場合）。

図７の鮮明化の例は、低域通過フィルタと高域通過フィルタリングを達成するための減算器との組合せを用いる。この例は、エッジ強調／鮮明化の一実施形態に過ぎない。同じく本発明の技術によって容易に処理することができるこの演算の他の具現化では、増強する必要がある周波数を抽出する帯域通過フィルタを利用することができる。

計算複雑性
ノイズ伝播は、以下の３つの方式のうちの１つで達成することができ、すなわち、ａ）「Ｂｕｒｎｓ及びＢｅｒｎｓ（Ｂ＆Ｂ）」方法としても公知の単純な多変量誤差伝播であり。この方法は、ノイズに対する線形及び非線形演算の影響を解析するための用いることができる。しかし、Ｂ＆Ｂ法は空間変換を無視するので、ノイズ解析は、空間演算を含むシステムでは誤差を発生させやすく、次に、ｂ）ノイズを含む１組のカラーパッチが信号処理パイプラインを通じて伝播される画像シミュレーションであり、この方法は厳密であり、次に、ｃ）拡張Ｂ＆Ｂ方法と呼ぶ本明細書で説明するノイズ解析構造によるものであり、拡張Ｂ＆Ｂの計算複雑性を一般的なＲＧＢ（Ｍ＝３）デジタルカメラ画像化パイプライン（図８に示している）における画像シミュレーションと比較するものである。

画像シミュレーションは、画像化パイプラインを通じて、所定の分散のノイズを含むチャンネル（この場合はＲＧＢ）を有するカラーパッチを伝播させる処理を意味する。それとは対照的に、上述のように、拡張Ｂ＆Ｂ法は、各チャンネルに対するノイズ分散を複数のサブバンドに分割し、画像化パイプラインを通じて多重チャンネル／多重バンド分散を伝播させる。式（７）を用いると、画像化パイプライン内のあらゆる点（ＹＣ_bＣ_r、Ｌ^*ａ^*ｂ^*等）においてサブバンド分散から全バンド分散を推定することができる。

画像シミュレーション及び拡張Ｂ＆Ｂの手法では、解析的表現は、浮動小数点演算の回数（フロップ）で計算される。拡張Ｂ＆Ｂ法の計算負荷は、画像シミュレーションの計算コストのごく僅かな部分でしかない。

画像シミュレーション
利得ブロック及び白色均衡ブロックは、３×３の対角行列を表している。これらのブロックは、画像を伝播させるのにピクセル当たり１回の乗算を必要とする。チャンネル間にいかなる相関も持たない単純な４近傍双線形モザイク除去演算を仮定する。この演算は、ピクセル当たり３回の加算及び１回の乗算を必要とする。この行列及びＲＧＢ２ＹＣｂＣｒ行列は密であり、ピクセル当たり３回の乗算及び２回の加算を必要とする。ガンマ演算は、ルックアップテーブルによって実行され、浮動小数点計算を必要としない。長さＰのＦＩＲフィルタによるフィルタリングは、ピクセル当たりＰ回の乗算及びＰ−１回の加算を必要とする。同様に、図７に示している鮮明化演算は、ピクセル当たりＰ＋１回の乗算及びＰ＋３回の加算を必要とする。

伝播される画像のノイズ共分散行列の各エントリを計算するには、平均値を得るのにピクセル当たり１回の加算が必要とされ、分散に対してピクセル当たり２回の加算及び１回の乗算が必要である。この行列は対称であるから、Ｍ（Ｍ＋１）／２個の固有エントリしか存在しない。従って、ノイズ共分散行列を計算するためのピクセル当たりのフロップ数は、２Ｍ（Ｍ＋１）である。平均値及び分散を画像内のピクセル数で評価するには、ノイズ分散−共分散行列内の各エントリにおいて２回（平均値及び分散の各々に対して１回）の乗算が必要である。これらの計算回数は、ピクセル当たりのフロップよりも非常に少ないので、無視することができる。

Ｍ個のチャンネルのカメラシステムにおける全演算の加算及び乗算を組み合わせると、ピクセル当たり２Ｍ（Ｍ＋１）＋１６Ｍ＋２（２Ｐ−１）＋２Ｐ＋４＝２Ｍ²＋１８Ｍ＋６Ｐ＋２フロップが生じる（Ｃｂ及びＣｒの各チャンネルに対して１つづつ、２つのＦＩＲフィルタが存在する）。長さＰ＝２５及びＭ＝３のＦＩＲフィルタの場合には、画像シミュレーションは、ピクセル当たり２２４フロップを必要とする。従って、Ｋ×Ｌの画像を図８に示している単純な画像化パイプラインを通じて伝播させるには、２２４ＫＬフロップを必要とすることになる。Ｋ、Ｌは、伝播される画像が、統計的に有意なピクセル数を含むように選択すべきである。Ｋ＝Ｌ＝１００である場合には、画像シミュレーションの計算オーバーヘッドは２２４万フロップである。この計算コストは、いかなる実用システムにおいても実行不可能である。

拡張Ｂ＆Ｂ法
全てのフィルタ（図６のモザイク除去高域通過フィルタ、図７の鮮明化低域通過フィルタ、及び図８のＦＩＲ低域通過フィルタ）の分散は、画像化パイプラインにおいて事前にＮ個のサブバンドに分解される。センサ出力におけるＮ個のサブバンドノイズ分散も同様に既知である。Ｍ×Ｍ対角行列を通じてノイズを伝播させるためには、サブバンド当たり２Ｍ回の乗算が必要である。同様に、密なＭ×Ｍ行列では、各行列要素においてサブバンド当たり３回の乗算及び２回の加算が必要である。これは、密な行列を通じてノイズを伝播させるのにサブバンド当たり５Ｍ²フロップが必要であることを意味する。モザイク除去の後のノイズを予測するために、上述の「モザイク除去」節に概説した手順が用いられる。式（１３）のＳ_iのまばらな性質に起因して、モザイク除去の後のノイズを計算するのに、サブバンド当たり８Ｍフロップ（４Ｍ回の乗算及び４Ｍ回の加算）が含まれる。Ｃｂ／Ｃｒフィルタリング及びＹチャンネルの鮮明化を通じてのノイズ伝播を単純化するために、結合サブバンド変換行列が形成される。

ここで、

は、鮮明化及びＣ_b、Ｃ_rフィルタリングにおける低域通過フィルタに対するそれぞれのサブバンドフィルタ分散であり、ｉ＝１、…、Ｎである。この結合変換にわたるノイズ伝播は、サブバンド当たり６Ｍフロップを必要とする。

従って、拡張Ｂ＆Ｂ手法によってノイズを伝播させるサブバンド当たりのオーバーヘッドは、２対角行列（利得及び白色均衡）に対して４Ｍフロップ、モザイク除去に対して８Ｍフロップ、２つの密な行列（行列及びＲＧＢｔｏＹＣｂＣｒ行列）に対して１０Ｍ²フロップ、ヤコビアンによって線形化されるガンマ演算に対して６Ｍフロップ、並びに結合鮮明化及びＣｂ／Ｃｒフィルタリング変換に対して６Ｍフロップである。Ｎ個のサブバンドでは、このオーバーヘッドは、合計（１０Ｍ²＋２４Ｍ）Ｎフロップである。ＲＧＢカメラ（Ｍ＝３）では、このオーバーヘッドは、１６２Ｎフロップになる。２個のサブバンドでは、３２４フロップが必要であり、これに対して４つのサブバンドは、６４８フロップを必要とする。従って、拡張Ｂ＆Ｂ法の計算コストは、画像シミュレーションの０．０３％よりも少なく、実時間用途に対して間違いなく妥当性がある。

サブバンド分散の事前知識が、信号処理パイプラインの開始時点で得られる用途が存在する。そのような状況では、ノイズ分散をサブバンドに分割する計算コストを含める必要がある。各チャンネルのノイズ分散をＮ個のサブバンドに分解するには、Ｎ＋１回の「高速フーリエ変換（ＦＦＴ）」、つまりノイズシーケンスを周波数領域へと持ち込むのに１回のＦＦＴ、更に、分割されたバンドを空間領域へと変換し戻すのにＮ回の逆ＦＦＴが必要である。順ＦＦＴの長さがＱである場合には、逆ＦＦＴの長さはＱ／Ｎ（Ｎ個のバンドに分割される）である。Ｍ個のチャンネルに対する計算コストは、

フロップである。６４点のＦＦＴでは、ノイズをバンドに分割するコストは、（１６８Ｎ＋１１６０）Ｍになる。ノイズ分散をサブバンドに分割するための累積的フロップ計数としての計算コストは、４８１２フロップであり、これに対して４個のサブバンドでは、計算オーバーヘッドは、６１４４フロップである。明らかに、主な複雑性は、ノイズをサブバンドに分割する手順にある。ルックアップテーブルを用いるなどのより効率的な分割処理は、この機構を一層高速にすることになる。いずれにせよ、バンド分割の計算コストがあったとしても、拡張Ｂ＆Ｂは、画像シミュレーションの計算複雑性の０．２％よりも少ない。

用途
デジタル画像システム設計
ノイズの解析、予測、及び抑制は、デジタル画像システム設計においては大きな問題である。取り込み画像は、画像センサ内のノイズ、並びにシステムの電子器械によって発生するノイズによって損なわれる。ノイズは、信号独立及び信号依存の両方の成分を有する。画像は、出力デバイスへと書き込まれる前に、色変換、白色均衡、ガンマ補正、及びフィルタリングのような一連の画像処理段階を受ける。これらの演算は、ノイズ特性を変化させる。Ｂｕｒｎｓ及びＢｅｒｎｓ（Ｂ＆Ｂ）手法としても公知である多変量誤差伝播は、ノイズがデジタル画像化パイプラインを通じて伝播する時のノイズに対する線形及び非線形変換の影響を解析するのに用いられている。上述のように、これらの手法は、空間変換を無視しており、従って、これらのノイズ解析は正確ではない。それとは対照的に、本発明の手法は、全ての変換を処理することができ、非常に正確である。

デジタル画像システム設計において、本発明の手法の長所をＢ＆Ｂ法と比較するために、有色ノイズを発生させ、一般的なデジタルカメラ画像化パイプラインを代表する線形、非線形、及び空間（ＦＩＲ低域通過フィルタ）演算を通過させる。有意な比較を得るために、出力を知覚的に均一なＬ^*ａ^*ｂ^*色空間へと変換する。この構成のブロック図を図１０に提供している。両方の方法（拡張Ｂ＆Ｂ及びＢ＆Ｂ）を評価するための基準は、図１０の演算の全てを通じて画像を伝播させることによって得られるノイズである（σ_LL、σ_aa、及びσ_bb）。計算複雑性の節で示したように、画像を伝播させることは計算上非常に高負担であり、評価目的のためにのみ行われる。Ｂ＆Ｂ法では、全バンドノイズ分散が伝播し、Ｃ_b／Ｃ_rＦＩＲ低域通過フィルタは無視される。一方、拡張Ｂ＆Ｂ技術では、ノイズは、サブバンドに分割され、サブバンドノイズ分散（σ＾_LiLi、σ＾_aiai、及びσ＾_bibi、ここでｉ＝１、…、Ｎである）が、Ｌ^*ａ^*ｂ^*色空間へと伝播される。サブバンド分散を加算すると（式（７）のように）、Ｌ^*ａ^*ｂ^*における推定全バンドノイズ（σ＾_LL、σ＾_aa、及びσ＾_bb）になる。

図８は、カメラパイプライン８００のブロック図を示している。画像センサ８０２は、ガウス分布、白色、かつ無相関のノイズを送信するが、信号レベル依存性を有する。またこのノイズは、欠損ピクセル（モザイク化された）を有する。利得構成要素８０４は、低強度光に対して高利得を生成し、高強度光に対して低い利得を生成する。信号ノイズ挙動は、それに従って変化する。白色均衡構成要素８０６は、照明に依存してＲ、Ｇ、及びＢに対する利得を変更する。更に、白色均衡構成要素８０６の後には、チャンネル依存性が存在する。モザイク除去構成要素８０８を用いて完全なＲＧＢ平面をモザイク除去した後には、周波数依存のチャンネル間相関が存在する。具体的に、Ｇチャンネルの高周波数ノイズは、Ｂ及びＲチャンネルへと複写され、低周波数におけるものよりも高いチャンネル間相関が維持される。行列構成要素８１０の後では、チャンネル間相関は、より複雑である。ガンマ構成要素８１２の後には、強いレベルの依存性が加算され、ノイズは、もはやガウス分布ではない。ＲＧＢからＹＣｂＣｒへの行列８１４は、色信号バンド制限に起因して付加的な周波数依存性を加算する。鮮明化／フィルタリング構成要素８１６は、Ｙ信号の高周波数を増強し、Ｃ信号は、バンド制限を受ける。通常、最終的なカメラ出力は、チャンネル毎（ＹＣｂＣｒ）、信号レベル毎、及びバンド毎のノイズを有する。このノイズ解析及び方法を用いることにより、得られるノイズを迅速かつ正確に予測することができる。

図８を利用して、Ｂ＆Ｂ及び拡張Ｂ＆Ｂの両方の手法に対してａ^*チャンネルに対する正規化ノイズ伝播誤差ε_σaaを計算する。サブバンド数のノイズ伝播精度に対する影響を解析するために、周波数バンド数も同様に拡張Ｂ＆Ｂ技術において１個から４個へと変化させる。
図９からは、本発明の手法のノイズ伝播精度が、Ｂ＆Ｂ法のものよりも大幅に優れていることが分る。本発明の手法は、理想的（又はほぼ理想的）帯域通過フィルタリングを通じてノイズ及びフィルタをサブバンドに分解し、ノイズをバンド毎に白色であると仮定することによってＣ_b／Ｃ_r低域通過フィルタを効率的に組み込んでいる。それとは対照的に、Ｂ＆Ｂ法は、低域通過ＦＩＲフィルタを無視する。単純な設定では、２個のサブバンドで十分である。

会話及び音声処理
ノイズの存在は、会話の明瞭性を阻害する。ノイズ低減アルゴリズムが機能するには、これらのアルゴリズムは、音声信号内に存在するノイズの正確な推定を必要とする。一般的に、干渉ノイズは白色ではない。多重バンド／多重チャンネル手法は、ノイズ除去アルゴリズムが最大潜在力を実時間で発揮することができることを保証する高速方式でサブバンドノイズを正確に予測することができる。

地震波データ解析
多重チャンネル地震データ解釈は、地球内部を画像化するのに用いられ、地震予測、石油及びガス探査、又は海洋学において用途を有する。そのようなデータの解析における重要な段階はノイズ除去である。ノイズは、コヒーレント、非コヒーレント、及びインパルス性とすることができる。このノイズは、爆風、地面のロール、うねりノイズ、船舶／掘削装置の多重回折ノイズ、表面／回折ノイズ等々のような異なる物理過程に起因する。ノイズの多い観測物から画像を分離するのに、多重チャンネルデータ取得及び処理の方法が用いられる。信号処理演算は、とりわけ、逆畳み込み、フィルタリング、及びスタッキングを含む。様々なサブバンドにおける多重チャンネルノイズを効率的かつ正確に予測して正確なノイズ除去を保証するために本発明の手法を用いることができる。

医療撮像
医療撮像用途では、画像品質は、極めて重要である。重大な考察事項は、ノイズの解析及び除去である。画像ノイズは、異なる特性を有する可能性がある。例えば、磁気共鳴画像処理におけるノイズは、信号依存及び信号独立性のものとすることができる。一般的に、ノイズは、定常的又は白色ではない。本発明のノイズ解析手法は、ノイズを除去することができるように高速方式でノイズを正確に予測することができる。
図１１は、ノイズを判断する処理の流れ図を示している。段階１１００では、ノイズを含む信号が受信又は取得される。信号は、デジタルカメラ、カムコーダー、又はいずれか他のコンピュータデバイスのようないずれかのデバイスにおいて受信又は取得される。段階１１０２では、ノイズは、複数のサブバンドに分離される。段階１１０４では、バンド毎のノイズ平均値が判断される。

ノイズ解析のシステム及び方法を利用するために、デバイスは、ノイズをより正確かつ効率的な方式で自動的に解析する。このデバイスは、内部又は外部的のいずれかで本明細書に説明する信号処理法へのアクセスを有する。このノイズ解析法は、ハードウエア、ソフトウエア、又はこれら両方の組合せで実施することができ、ノイズに直面すると、フィルタリングのようなあらゆる望ましい演算がこのノイズに対して実施される。本発明の方法がハードウエア内で実施される時に利用されるハードウエア構成要素は、ノイズを含む信号を受信するための受信機、ノイズをサブバンドに分割するための分割／フィルタリング構成要素、並びにノイズを受信して伝播させるための１つ又はそれよりも多くの処理構成要素を含む。一部の実施形態では、処理構成要素は、複数のサブバンドにおけるサブバンドの各々に対して閾値を判断し、この閾値よりも低いノイズをフィルタリングすることができる。
作動時には、ノイズ解析のシステム及び方法は、ノイズを含む信号を受信又は取得する。ノイズは、各チャンネルにおいて２個又はそれよりも多くのサブバンドに分解される。次に、サブバンドに対する解析を行うことができる。ノイズ解析のシステム及び方法は、白色、有色、ガウス及び非ガウス分布のようなあらゆる種類のノイズの高速で正確な伝播を可能にする。

本発明の構成及び作動の原理の理解を容易にするために、本発明を詳細内容を含む特定的な実施形態に関して説明した。特定的な実施形態及びその詳細内容への本明細書におけるそのような参照は、本明細書に添付する特許請求の範囲を限定するように意図していない。当業者には、特許請求の範囲によって定められる本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に他の様々な修正を行うことができることが容易に明らかであろう。

Σ 共分散
Σ_NN 多重チャンネル／多重バンド共分散行列

Claims (41)

1. 信号のノイズを解析する方法であって、
   ａ．ノイズを複数のサブバンドに分離する段階、
   ｂ．前記複数のサブバンド内のサブバンドの各々に対してノイズ平均値を判断する段階、及び
   ｃ．前記ノイズを伝播させる段階、
   を含むことを特徴とする方法。
2. 前記ノイズを含む前記信号を受信する段階を更に含むことを特徴とする請求項１に記載の方法。
3. 前記複数のサブバンドは、多重チャンネルシステム内の各チャンネルに対するものであることを特徴とする請求項１に記載の方法。
4. 前記ノイズを伝播させる段階は、実時間で行われることを特徴とする請求項１に記載の方法。
5. 前記ノイズを伝播させる段階は、オフラインで行われることを特徴とする請求項１に記載の方法。
6. デジタル画像処理、音処理、地震波データ解析、及び医療撮像から成る群から選択される用途に適用されることを特徴とする請求項１に記載の方法。
7. 前記サブバンドの各々が、等しい幅のものであることを特徴とする請求項１に記載の方法。
8. 前記複数のサブバンドは、包含的に２及び４の間の個数であることを特徴とする請求項１に記載の方法。
9. 前記ノイズは、白色ノイズ、有色ノイズ、ガウス分布ノイズ、及び非ガウス分布ノイズから成る群から選択されることを特徴とする請求項１に記載の方法。
10. ノイズを解析する方法であって、
    ａ．ノイズを含む信号を受信する段階、
    ｂ．各チャンネルの前記ノイズを複数のサブバンドに分解する段階、
    ｃ．前記複数のサブバンドの各々に対してノイズ平均値を判断する段階、及び
    ｄ．前記ノイズを伝播させる段階、
    を含むことを特徴とする方法。
11. 前記複数のサブバンドは、多重チャンネルシステム内の各チャンネルに対するものであることを特徴とする請求項１０に記載の方法。
12. 前記ノイズを伝播させる段階は、実時間で行われることを特徴とする請求項１０に記載の方法。
13. 前記ノイズを伝播させる段階は、オフラインで行われることを特徴とする請求項１０に記載の方法。
14. デジタル画像処理、音処理、地震波データ解析、及び医療撮像から成る群から選択される用途に適用されることを特徴とする請求項１０に記載の方法。
15. 前記サブバンドの各々が、等しい幅のものであることを特徴とする請求項１０に記載の方法。
16. 前記複数のサブバンドは、包含的に２及び４の間の個数であることを特徴とする請求項１０に記載の方法。
17. 前記ノイズは、白色ノイズ、有色ノイズ、ガウス分布ノイズ、及び非ガウス分布ノイズから成る群から選択されることを特徴とする請求項１０に記載の方法。
18. 空間演算の後のノイズを予測する方法であって、
    ａ．ノイズを複数のサブバンドに分解する段階、及び
    ｂ．サブバンドノイズを予測する段階、
    を含み、
    前記サブバンドノイズは、空間演算の前の該サブバンドノイズと、空間演算のサブバンドエネルギと、前記複数のサブバンドの個数との積である、
    ことを特徴とする方法。
19. 前記ノイズがバンド毎に白色であると仮定する段階を更に含むことを特徴とする請求項１８に記載の方法。
20. 前記ノイズは、実時間で予測されることを特徴とする請求項１８に記載の方法。
21. 前記サブバンドの各々が、等しい幅のものであることを特徴とする請求項１８に記載の方法。
22. 前記複数のサブバンドは、包含的に２及び４の間の個数であることを特徴とする請求項１８に記載の方法。
23. 前記ノイズは、白色ノイズ、有色ノイズ、ガウス分布ノイズ、及び非ガウス分布ノイズから成る群から選択されることを特徴とする請求項１８に記載の方法。
24. 多重チャンネルシステムから多重チャンネル／多重バンド共分散行列を取得する方法であって、
    ａ．フィルタを用いてノイズをチャンネル毎に複数のサブバンドに分割する段階、及び
    ｂ．各々がＭ×Ｍである部分行列から成るＮ×Ｎ行列を発生させる段階、
    を含むことを特徴とする方法。
25. Ｎは、サブバンドの数であり、Ｍは、チャンネルの数であることを特徴とする請求項２４に記載の方法。
26. 前記フィルタは、理想的及びほぼ理想的な帯域通過フィルタから成る群から選択されることを特徴とする請求項２４に記載の方法。
27. 前記サブバンドの各々が、等しい幅のものであることを特徴とする請求項２４に記載の方法。
28. 前記複数のサブバンドは、包含的に２及び４の間の個数であることを特徴とする請求項２４に記載の方法。
29. 前記ノイズは、白色ノイズ、有色ノイズ、ガウス分布ノイズ、及び非ガウス分布ノイズから成る群から選択されることを特徴とする請求項２４に記載の方法。
30. 複数のサブバンドのノイズを伝播させるためのシステムであって、
    ａ．ノイズを複数のサブバンドに分割するための分割構成要素、及び
    ｂ．前記複数のサブバンドの前記ノイズを受信して伝播させるための１つ又はそれよりも多くの処理構成要素、
    を含むことを特徴とするシステム。
31. 前記分割構成要素は、フィルタであることを特徴とする請求項３０に記載のシステム。
32. 前記フィルタは、理想的及びほぼ理想的な帯域通過フィルタから成る群から選択されることを特徴とする請求項３１に記載のシステム。
33. 前記分割構成要素は、ルックアップテーブルであることを特徴とする請求項３０に記載のシステム。
34. 前記複数のサブバンドは、各々がチャンネル毎のものであることを特徴とする請求項３０に記載のシステム。
35. 前記ノイズは、白色ノイズ、有色ノイズ、ガウス分布ノイズ、及び非ガウス分布ノイズから成る群から選択されることを特徴とする請求項３０に記載のシステム。
36. システムに「人間視覚システム（ＨＶＳ）」モデル及び「人間聴覚システム（ＨＡＳ）」モデルのうちの少なくとも一方が組み込まれることを特徴とする請求項３０に記載のシステム。
37. ａ．ノイズを含む信号を受信するための受信機、
    ｂ．前記ノイズを複数のサブバンドに分割するためのフィルタリング構成要素、及び
    ｃ．前記複数のサブバンドにおけるサブバンドの各々に対して閾値を判断し、該閾値よりも低い前記ノイズをフィルタリングするための処理構成要素、
    を含むことを特徴とする信号処理システム。
38. 前記フィルタリング構成要素は、理想的及びほぼ理想的な帯域通過フィルタから成る群から選択されることを特徴とする請求項３７に記載のシステム。
39. 前記複数のサブバンドは、各々がチャンネル毎のものであることを特徴とする請求項３７に記載のシステム。
40. 前記ノイズは、白色ノイズ、有色ノイズ、ガウス分布ノイズ、及び非ガウス分布ノイズから成る群から選択されることを特徴とする請求項３７に記載のシステム。
41. システムに「人間視覚システム（ＨＶＳ）」モデル及び「人間聴覚システム（ＨＡＳ）」モデルのうちの少なくとも一方が組み込まれることを特徴とする請求項３７に記載のシステム。

Images