JP2021526695A - マルチレベル・バイラテラル・ノイズフィルタリングのための方法、装置、およびシステム - Google Patents

Abstract

デジタル画像のマルチレベル・バイラテラル・ノイズフィルタリングのための方法、画像処理装置、およびコンピュータプログラムプロダクトを提供する。この方法は、カラーフィルタアレイ（ＣＦＡ）パターンを有する色モザイクを含む画像フレームをイメージセンサから受信することと、その画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に分解することと、その少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、その少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減することと、ノイズフィルタリングされた画像フレームを生成するために、その少なくとも１つの色平面画像を再構成することと、を含む。【選択図】図１

Description

本発明は、デジタル画像のマルチレベル・バイラテラル・ノイズ除去に関する。さらに、本発明は、デジタル画像のマルチレベル・バイラテラル・ノイズ除去を実行する装置およびシステムに関するものである。

デジタルカメラは、デジタル画像を取り込むためのイメージセンサを備える。イメージセンサは、画素ごとの光強度を検出する。色情報の記録を可能とするために、ある特定の色をある特定の画素に割り当てるカラーフィルタアレイ（ＣＦＡ）をイメージセンサの基板に貼付してよく、各画素は、その特定の色についての光強度を検出する。

デジタルカメラで使用されるＣＦＡの典型的なパターンは、ベイヤーフィルタまたはベイヤーＣＦＡである。ベイヤーフィルタは、赤色および緑色のフィルタの列と青色および緑色のフィルタの列を交互に含み、各列は、それぞれ、交互の赤色フィルタと緑色フィルタ、および交互の青色フィルタと緑色フィルタを含む。緑色フィルタは、緑色光子を優先的にイメージセンサの個々の画素の検出器（例えば、フォトダイオード）まで通過させる。同時に、緑色フィルタに到達する赤色光子および青色光子は、このフィルタを通過しないので、その個々の検出器によって検出されない。同様に、赤色フィルタは、赤色光子を優先的に個々の検出器まで通過させ、青色フィルタは、青色光子を優先的に個々の検出器まで通過させる。

ベイヤーＣＦＡでは、緑色フィルタが、赤色フィルタおよび青色フィルタの２倍の空間周波数で現れる。緑チャネルは、輝度を表し、赤チャネルおよび青チャネルは、デジタル画像の色度を表す。ベイヤーフィルタをイメージセンサの前面に適用する場合、元のフルカラー解像度デジタル画像を表示、印刷、または保存できるように、各画素について３色すべてを再現するためには、イメージセンサによって生成される結果としての画像フレームを補間またはデモザイク処理する必要がある。

デジタルカメラでは、補間またはデモザイク処理は、専用の画像信号プロセッサ（ＩＳＰ）によって、または画像処理ソフトウェアプログラムを実行する汎用プロセッサ（ＣＰＵ）によって、実行されてよい。

デジタル画像は、典型的には、低減される必要がある様々なソースからのノイズを含む。国際標準化機構（ＩＳＯ）感度が高まるにつれて、低減の必要性が高まる。

ノイズ成分の１つは、経時変化しない空間パターンを有する固定パターンノイズ（ＦＰＮ）である。他のノイズ成分は、空間的に経時変化するパターンを有する時間ノイズである。デジタル画像における全体的なノイズ特性は、例えば、センサタイプ、画素寸法、温度、露出時間、およびＩＳＯ感度に依存する。また、非特許文献１で解説されているように、画像ノイズは、チャネルにも依存する。

様々な画像ノイズ除去方法が開発されている。これらの方法の１つは、バイラテラルフィルタリングを利用する。バイラテラルフィルタリングは、近傍画像値の非線形結合によってエッジを保存しつつ、画像を平滑化する。この方法は、例えば、非特許文献２において概説されている。

バイラテラルフィルタリングは、バイラテラル・ノイズ除去を含む多くの用途で一般的に知られているが、最初は直感的なツールとして提案されたものであり、典型的には、空間領域および輝度領域での重みの減衰を制御するパラメータのようなパラメータを試行錯誤で選択する。非特許文献１を参照する。

特に、既存のノイズ除去手順は、デモザイク処理、または色補正処理の一部としてのチャネル混合のいずれかからのノイズが混合されている空間におけるノイズ除去を試みる。結果として、ノイズは、異なる画素について必ずしも無相関であるとは限らず、その結果、不十分なノイズ除去となる。従って、デジタル画像に適用されるバイラテラル・ノイズフィルタリングの有効性を向上させる新たなアプローチが必要とされている。

Ｚｈａｎｇ等著 「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｉｍａｇｅ Dｅｎｏｉｓｉｎｇ」 Ｔｏｍａｓｉ等著 「Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ」

本発明の目的は、関連技術の欠点を克服する、デジタル画像のノイズフィルタリングのための方法、画像処理装置、およびコンピュータ可読記憶媒体を提供することである。この目的は、すべての空間周波数帯域のノイズの効果的な除去を可能とするマルチレベル・バイラテラル・ノイズフィルタリング技術を提供することによって達成される。

バイラテラルフィルタは、カーネルのサイズおよび形状によって定義される近傍画素の加重平均を生成することにより、ノイズを除去する。本発明の一態様によれば、カーネルは、対象画素Ｉ（ｘ，ｙ）を中心とする。対象画素平均のための重みを計算するときに、２つの予測子、すなわち、対象画素からのカーネル画素の距離と、カーネル画素の値と対象画素の値との類似度または差異を規定する対象画素のｚスコアを用いる。

バイラテラルフィルタは、空間重みによって定義される画素グループに作用する。典型的には、このサイズは、わずか数画素の幅であり、画像ノイズは広帯域（スペクトル的にフラット）である。バイラテラルフィルタは、高周波ノイズには有効であるが、サポートされるのが数画素でしかないため、低周波ノイズを残して、高周波ノイズのみを減衰させることが判明している。

対象画素からのカーネル画素の距離に関しては、対象画素に最も近い画素が最大重みを有する。カーネル画素の値と対象画素の値との類似度または差異に関しては、対象画素に最も近い値の画素が最大重みを有する。

それぞれの対象画素Ｉ（ｘ，ｙ）において、次の式に従って、カーネル内の各画素ρについて重みを決定する。

対象画素の出力値を次の式に従って決定する。

カーネルの中心にある対象画素Ｉ（ｘ，ｙ）に対して、Δｒは、元のＣＦＡから測定された、Ｉ（ｘ，ｙ）からカーネル内の他の画素までの画素単位での距離である。パラメータｒは、ガウス半径パラメータである。Δｖは、対象画素Ｉ（ｘ，ｙ）とカーネル内の他の画素との間のコード値の差である。σは、輝度Ｉ（ｘ，ｙ）の対象画素の標準偏差である。カーネル内のすべてのＩ（ρ）値に対して評価を実施する。

画素値の差は、Ｉ（ｘ，ｙ）の標準偏差でスケーリングされる。Ｉ（ｘ，ｙ）の標準偏差で画素値の差をスケーリングすることは、関連技術におけるバイラテラルフィルタの実装に対する一層の強化となる。これにより、ノイズ除去の強度が、そのデジタル画像のすべての部分における予想されるノイズと適合することが確保される。画像コード値とノイズ（標準偏差）との関係は、ノイズフィルタに供給されるノイズテーブルに保存される。このノイズテーブルσ［Ｉ（ｘ，ｙ）］は、特定の取得システムパラメータについての知識から計算されるか、または校正された画像データから経験的に測定される。ノイズテーブルσ［Ｉ（ｘ，ｙ）］には、Ｉ（ｘ，ｙ）のすべての整数値における標準偏差が記録される。

これらの改良をバイラテラルフィルタ（群）に加えることによって、画像処理装置におけるノイズ除去プロセスの有効性、ひいては、それらが使用される画像処理装置の全体的な機能性が、大幅に向上する。

ノイズが無相関の場合に、ノイズ除去は最も効果的であると判明している。デジタルカメラ処理パスの文脈では、最も無相関のノイズは、ＣＦＡ補間の前、かつ色補正でマトリクス混合が実行される前に現れる。従って、本発明の一態様によるバイラテラルフィルタ（群）は、補間済みＣＦＡ空間において直接作用するように、すなわち、デジタル画像が補間またはデモザイク処理されて、使用される距離が、画像レコードにおいて任意の色について存在する空間ギャップと一致する前に、作用するように構成される。換言すれば、本発明の一態様によれば、イメージセンサから受信した、ＣＦＡパターンを有する色モザイクを含む画像フレームを分解することにより生成される色平面画像に対してバイラテラルフィルタリングを実行する、新たな構成が提供される。

ｚスコア予測子は、画像データの標準偏差の推定を必要とし、標準偏差は、データから推定されるのではなく、デバイスから経験的に決定されることがある。

本発明の第１の態様によれば、デジタル画像のマルチレベル・バイラテラル・ノイズフィルタリングのための方法を提供する。この方法は、ＣＦＡパターンを有する色モザイクを含む画像フレームをイメージセンサから受信することと、その画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に分解することと、その少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、その少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減することと、ノイズフィルタリングされた画像フレームを生成するために、その少なくとも１つの色平面画像を再構成することと、を含む。

本発明の第２の態様によれば、イメージセンサと通信する１つ以上のプロセッサと、１つ以上のプロセッサと通信する１つ以上のメモリデバイスと、を備える画像前処理装置を提供する。１つ以上のプロセッサは、ＣＦＡパターンを有する色モザイクを含む画像フレームをイメージセンサから受信し、その画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に分解し、その少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、その少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減し、ノイズフィルタリングされた画像フレームを生成するために、その少なくとも１つの色平面画像を再構成するように構成される。

本発明の第３の態様によれば、非一時的なコンピュータ可読記憶媒体を提供する。この非一時的なコンピュータ可読記憶媒体は、コンピュータ実行可能命令を含むソフトウェアでコード化されており、コンピュータ実行可能命令は、１つ以上のプロセッサで実行されることで、１つ以上のプロセッサに、ＣＦＡパターンを有する色モザイクを含む画像フレームをイメージセンサから受信させ、その画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に分解させ、その少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、その少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減させ、ノイズフィルタリングされた画像フレームを生成するために、その少なくとも１つの色平面画像を再構成させる。

以下で、本発明について、図面を参照して説明する。

図１は、本発明の例示的な一実施形態による画像処理装置の概略図を示している。 図２は、本発明の例示的な一実施形態による平面分離の図を示している。 図３は、本発明の例示的な一実施形態による画像処理装置の詳細な概略図を示している。 図４は、本発明の例示的な一実施形態による、デジタル画像のノイズフィルタリングのための方法の概略図を示している。 図５は、本発明の例示的な一実施形態による周波数分離のための方法の概略図を示している。 図６は、本発明の例示的な一実施形態による周波数分離のための方法の詳細図を示している。 図７は、本発明の例示的な一実施形態による、デジタル画像のノイズフィルタリングのために画像処理装置によって実行される動作を示すフローチャートである。

図１は、デジタル画像のマルチレベル・バイラテラル・ノイズフィルタリング用に構成された画像処理装置１００を示している。画像処理装置１００は、イメージセンサ１１０と、イメージセンサ１１０および画像プロセッサ１３０に接続された画像プリバッファ１２０と、画像信号プロセッサ（ＩＳＰ）１４０と、を備える。画像処理装置１００は、さらに、画像プロセッサ１３０と通信するメモリ１５０を備える。画像処理装置１００は、さらに、ＩＳＰ１４０と通信するデジタル画像記憶媒体１６０を備える。

イメージセンサ１１０は、ライブビューモードおよび静止キャプチャモードで作動させることができる。両方のモードにおいて、イメージセンサ１１０の全アクティブエリアを利用し、イメージセンサ１１０によって、画像フレームを生成して、画像プリバッファ１２０に出力する。

メモリ１５０およびデジタル画像記憶媒体１６０は、非一時的なコンピュータ可読記憶媒体であり、例えば、ソリッドステートドライブ（ＳＳＤ）であるが、ただし、これらに限定されない。また、他のいずれかの非一時的なコンピュータ可読記憶媒体または複数の非一時的なコンピュータ可読記憶媒体を、メモリ１５０またはデジタル画像記憶媒体１６０として利用することもできる。

次に、（図１をさらに参照するとともに）図２を参照する。図２は、平面分離の図を示している。特にベイヤーＣＦＡであるＣＦＡを、イメージセンサ１１０に貼付してよい。その結果として、イメージセンサ１１０で生成される画像フレームは、ベイヤーＣＦＡパターンを有する色モザイクを含む。図２は、イメージセンサ１１０から受信して画像プリバッファ１２０に格納された画像フレーム２１０の一部を示している。図２に示すように、画像フレーム２１０は、赤色および緑色の画素の列と青色および緑色の画素の列を交互に含む。同じ色の画素は、色平面またはカラーチャネルを表す。ベイヤーＣＦＡパターンは、各色平面の個別の浄化を可能とするノイズ除去の前に、画像プロセッサ１３０によって、３つの色平面画像、すなわち、赤色平面画像２２０、緑色平面画像２３０、および青色平面画像２４０に分解される。緑チャネルは、デジタル画像の輝度を表し、赤チャネルおよび青チャネルは、画像フレーム２１０の色度を表す。図２に示すように、緑色平面は、同じ色の隣接画素間の距離に関して、赤色平面および青色平面とは異なる構造を有する。ある特定の画素幅および画素高さを有する画像フレームの場合、赤色平面および青色平面の寸法は、以下のように記述することができる。画素幅×画素高さで定義される画像フレーム２１０の寸法に対して、赤色平面画像２２０および青色平面画像２４０の寸法は、画素幅／２×画素高さ／２であり、緑色平面画像２３０の寸法は、画素幅／２×画素高さである。ノイズ低減に使用されるカーネル画素からの画素単位での距離Δｒは、以下でより詳細に説明するように、赤色平面の列および青色平面の列のすべてについて、次の式に基づいて計算される。

緑色平面の偶数列については、カーネル画素からの画素単位での距離Δｒは、次の式に基づいて計算される。

緑色平面の奇数列については、カーネル画素からの画素単位での距離Δｒは、次の式に基づいて計算される。

結果として、抽出された赤色平面、青色平面、および緑色平面上で測定される距離Δｒは、画像フレーム２１０のＣＦＡ画素距離と一致する。

画像フレーム２１０を赤色平面画像、緑色平面画像、および青色平面画像に分解した後に、画像プロセッサ１３０は、赤色平面画像２２０、緑色平面画像２３０、および青色平面画像２４０のマルチレベル・バイラテラル・ノイズフィルタリングをそれぞれ実行することにより、色平面のそれぞれにおいて順次かつ個別にノイズを低減する。その後、画像プロセッサ１３０は、画像プロセッサ１３０によって画像プリバッファ１２０に格納されるノイズフィルタリングされた画像フレームを生成するために、赤色平面画像２２０、緑色平面画像２３０、および青色平面画像２４０をそれぞれ再構成する。続いて、ノイズフィルタリングされた画像フレームは、ＩＳＰ１４０に送信されて、そこで、可視画像に補間またはデモザイク処理されて、デジタル画像記憶媒体１６０に保存される。

次に、本発明の例示的な一実施形態によるデジタル画像の処理のための画像処理装置３００の、より詳細な概略図を示している図３を参照する。図３に示すように、画像処理装置３００は、イメージセンサ１１０が接続された画像前処理装置３１０と、画像主処理装置３３０と、を含む。画像主処理装置３３０は、画像前処理装置３１０、ディスプレイ１４０、および記憶媒体１６０と通信する。

図３に示す画像処理装置３００の例示的な実施形態における画像主処理装置３３０は、システムオンチップ（ＳｏＣ）アーキテクチャを有し、イメージセンサから受信した画像フレームを処理して、表示、印刷、または保存できるデジタル画像を生成するために必要なすべてのコンポーネントを統合している。従って、画像主処理装置３３０は、例えば、デジタル信号プロセッサ（ＤＳＰ）またはグラフィックス処理ユニット（ＧＰＵ）として実装され得る画像プロセッサ３４２を含む。画像主処理装置３３０は、さらに、第１のＩＳＰ３３８と、静止画像プリバッファ３３４に格納される画像フレームを受信および送信するように構成されたデータ送受信機３３２と、を含む。さらに、ＩＳＰ３３８によって処理されるべき画像サブフレームを受信するように構成された画像データ受信機３３６が設けられる。ＩＳＰ３３８によって処理された画像サブフレームは、静止画像ポストバッファ３４０に格納される。イメージセンサ１１０で取得された画像フレームをディスプレイ１４０全体で見ることができるようにするためのオペレーションを実行するディスプレイコントローラ３５２が設けられる。ディスプレイコントローラ３５２は、ディスプレイデータ送信機３５４を介してディスプレイ１４０に接続されている。グラフィックス画像形式の静止画像フレームまたはＲＡＷ画像形式の画像フレームを記憶媒体１６０に保存するために、ストレージコントローラ３５６およびストレージインタフェース３５８が設けられる。

画像前処理装置３１０は、データ送受信機３１２および第１のイメージャデータ送信機３１４を含む。データ送受信機３１２およびデータ送受信機３３２は、画像前処理装置３１０と画像主処理装置３３０との間のデータインタフェースを形成する。データ送受信機３１２、３３２は、ペリフェラル・コンポーネント・インタコネクト・エクスプレス（ＰＣＩｅ）標準インタフェースのような高速シリアルコンピュータ拡張バス標準インタフェースであってよいが、ただし、これに限定されない。

データ送受信機３１２、３３２と同様に、イメージャデータ送信機３１４は、イメージャデータ受信機３３６と共に、画像前処理装置３１０と画像主処理装置３３０との間の別のインタフェース（すなわち、イメージャデータインタフェース）を形成する。データ送受信機３１２およびイメージャデータ送信機３１４は、受信ＤＭＡ（ＲＤＭＡ）コントローラ３１６および送信ＤＭＡ（ＴＤＭＡ）コントローラ３１８によって制御される。ＲＤＭＡコントローラ３１６は、ファーストイン・ファーストアウト（ＦＩＦＯ）バッファ３２０を介してイメージャデータ送信機３１４と通信する。画像前処理装置３１０は、さらに、画像データ受信機３２２と、ＦＩＦＯバッファ３２６を介して送信ＤＭＡコントローラ３１８と通信する画素プロセッサ３２４と、を含む。

図３に示す例示的な実施形態による、第１のイメージャデータインタフェース３１４、３３６、および第２のイメージャデータインタフェース３４６、３４８は、モバイル・インダストリ・プロセッサ・インタフェース（ＭＩＰＩ）カメラシリアルインタフェース（ＣＳＩ）画像データインタフェースである。ただし、イメージャデータインタフェースは、ＭＩＰＩ ＣＳＩに限定されることなく、他の任意のシリアルインタフェースを代わりに用いることもできる。

図３に示す例示的な実施形態では、画像前処理装置３１０は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装される。しかしながら、画像前処理装置３１０は、特定用途向け集積回路（ＡＳＩＣ）として実装されてもよい。同様に、画像プロセッサ３４２は、別個のＦＰＧＡまたは別個のＡＳＩＣとして実装されてもよい。

画像前処理装置３１０は、さらに、ＦＩＦＯバッファ３４４を介して第２のイメージャデータ送信機３４６に接続された画像ダウンサイザ３２８を含み、第２のイメージャデータ送信機３４６は、第２のイメージャデータ受信機３４８と共に、第２のイメージャデータインタフェースを形成する。イメージャデータ受信機３４８は、第２のＩＳＰ３５０に接続されている。

ノイズフィルタリングは、画像プロセッサ３４２によって実行される。イメージセンサ１１０によって生成された画像フレーム２１０は、静止画像プリバッファ３３４に格納されてから、画像プロセッサ３４２によって、色平面画像に分解されて、それらの色平面画像におけるノイズは、画像プロセッサ３４２によって、順次かつ個別に低減され、その後、ノイズフィルタリングされた画像フレームを生成するために、色平面画像は再構成されて、ノイズフィルタリングされた画像フレームは、静止画像プリバッファに格納された後に、データ送受信機３３２、３１２ならびにイメージャデータ送信機３１４およびイメージャデータ受信機３３６を介して、ＩＳＰ３３８に送信されて、そこで、可視画像に補間またはデモザイク処理されて、デジタル画像記憶媒体１６０に保存される。

次に、（引き続き図１〜３を参照するとともに）図４を参照する。図４は、本発明の例示的な一実施形態による、デジタル画像のノイズフィルタリングのための方法の概略図である。より具体的には、図４は、画像プロセッサ１３０、３４２によって、マルチレベル・バイラテラル・ノイズフィルタリングを個別に実行することにより、色平面におけるノイズを順次低減するための方法を示している。図４に示す方法によって、各色平面について、ノイズフィルタリングされた色平面画像４０５を生成し、その後、それらを合成して、ノイズフィルタリングされた画像を生成し、それを、ＩＳＰ１４０、３３８によってデモザイク処理して、記憶媒体１６０に保存する。

マルチレベル・バイラテラル・ノイズフィルタリングを実行するために、複数のノイズ除去レベルが定義される。図４は、第１、第２、および最高のノイズ除去レベルを示している。ただし、この方法は、これに限定されない。代わりに、ノイズ除去レベルの数を、４つ以上のノイズ除去レベルに増やしてよい。

図４に示す第１レベルでは、色平面画像４１０を、バイラテラルフィルタ４１５によってバイラテラルフィルタリングする。色平面画像４１０をバイラテラルフィルタリングするために、対象画素のカーネルが定義される。カーネルは方形幅サイズを有し、対象画素とカーネル画素を含む。次に、少なくとも１つの色平面画像の各画素を、対象画素としての加重平均画素値を決定することにより、対象画素として処理する。対象画素としての加重平均画素値は、各カーネル画素の値に重みを適用し、続いて重み付けされたカーネル画素値を平均することにより、決定される。

カーネル画素の重みは、対象画素からのカーネル画素の距離と、カーネル画素の値と対象画素の値との類似度を規定するｚスコアに基づいて決定される。対象画素からのカーネル画素の距離は、ＣＦＡパターンを有する色モザイクにおける空間ギャップと一致するように決定される。

カーネル画素の重みは、次の式に従って決定される。

ここで、ＴｈｒｏｔｔｌｅＲ＿ＭＬはガウス半径コントロールを定義し、ＴｈｒｏｔｔｌｅＳ＿ＭＬは画素差コントロールを定義し、Δｒはカーネルからの画素単位での距離を定義し、Ｉ（ｘ，ｙ）はカーネルの中心にある対象画素を定義し、Δｖはコード値の差を定義し、σ［Ｉ（ｘ，ｙ）］はノイズテーブルを定義し、ｌｅｖｅｌはノイズ除去レベルを定義する。このようにして、図４におけるバイラテラルフィルタ４１５は、第１レベルのための重みを決定し、バイラテラルフィルタ４２５は、第２レベルのための重みを決定し、バイラテラルフィルタ４３５は、最高レベルすなわち図４に示す例示的な実施形態における第３レベルのための重みを決定する。

バイラテラルフィルタリングされた色平面画像は、周波数スプリッタ４２０に供給される。周波数スプリッタ４２０は、バイラテラルフィルタリングされた色平面画像を、第１レベルの低周波色平面画像と第１レベルの高周波色平面画像とに分離する。周波数分離については、以下の図５および６に関連して、さらに詳細に説明する。

第１レベルの低周波色平面画像は、第２レベルのバイラテラルフィルタ４２５によってバイラテラルフィルタリングされ、その後、第２レベルの周波数スプリッタ４３０に供給されて、そこで、第２レベルの低周波色平面画像と第２レベルの高周波色平面画像とに分離される。

図４における最高レベルでは、第２レベルの低周波色平面画像は、バイラテラルフィルタ４３５によってバイラテラルフィルタリングされて、アップサイザ４４０によってアップサイズされる。アップサイザ４４０によって出力されるアップサイズされた色平面画像の画素値は、第２レベルの高周波色平面画像の個々の画素値に加算され、さらに、その結果として得られる色平面画像は、アップサイザ４４５によって再びアップサイズされてから、ノイズフィルタリングされた色平面画像４０５を生成するために、アップサイザ４４５によって出力されるアップサイズされた色平面画像の画素値は、周波数スプリッタ４２０によって生成された第１レベルの高周波色平面画像の個々の画素値に加算される。

図５は、周波数分離のための方法の概略図を示している。この方法は、バイラテラルフィルタリングされた第１レベルの色平面画像４１０に対して、周波数スプリッタ４２０によって実行される。一方、周波数スプリッタ４３０は、バイラテラルフィルタリングされた第２レベルの低周波色平面画像に対して、同様に作用する。

一般に、周波数分離は、低周波画像と残差高周波画像とを生成する可逆プロセスである。ダウンサイズ演算およびアップサイズ演算は、バイリニアである。記載のバイラテラルフィルタは、カーネルサイズの空間周波数領域内のノイズ除去において効果的である。一方、より大きな空間周波数のサポートは最小限である。より低周波数のノイズのフィルタリングは、画像を何らかのファクタでダウンサイズして、再フィルタリングすることにより実現する。ダウンサイジングプロセスによって、画像データを、低周波帯域と高周波帯域の２つの空間周波数帯域に分離する。画像を高空間周波数帯域と低空間周波数帯域に分離するために使用できる多くの方法がある。そのような方法の１つについて、以下でさらに詳細に説明する。また、可能な範囲で、周波数分離をバイラテラルフィルタの空間周波数サポートと一致させることも効果的である。これにより、すべての空間周波数にわたる均一なノイズ除去を確保する。

図５に示すように、バイラテラルフィルタリングされた色平面画像５０５は、半径２のガウスフィルタ５１０に供給される。バイラテラルフィルタリングされた色平面画像５０５は、ガウスフィルタ５１０によってフィルタリングされて、第１レベルの低周波色平面画像を生成するために、ダウンサイザ５１５によって２回ダウンサイズされる。ダウンサイザ５１５によってダウンサイズされた色平面画像は、アップサイザ５２０によって２回アップサイズされて、その個々の画素値が、色平面画像５０５の対応する画素値から減算されることにより、第１レベルの高周波色平面画像を生成する。第１レベルの低周波色平面画像および高周波色平面画像は、次の（１つ以上の）レベルに供給されて、その後、最高ノイズ除去レベル５２５で処理され、最高ノイズ除去レベルでは、個々の低周波色平面画像がバイラテラルフィルタ５３０に供給されて、アップサイザ５３５によってアップサイズされる。アップサイザ５３５によってアップサイズされた色平面画像は、前の（１つ以上の）レベルからの高周波色平面画像（群）に加算される。３つ以上のレベルがある場合には、低周波色平面画像と高周波色平面画像のサイズを一致させるために、図４のアップサイザ４４５と同様の追加のアップサイザ（図示せず）を設けてよい。結果として、ノイズフィルタリングされた色平面画像５４０が生成される。

図６は、周波数スプリッタ４２０によって実行される周波数分離のための方法の詳細図を示している。図６に示すように、青色平面画像２４０は、バイラテラルフィルタ４１５によって、第１レベルでバイラテラルフィルタリングされて、バイラテラルフィルタリングされた画像６０５として周波数スプリッタ４２０に供給される。バイラテラルフィルタリングされた画像６０５のいくつかの画素は、第１レベルの青色平面画像の低周波青色平面画像および高周波青色平面画像を取得するために、これらの画素が周波数スプリッタ４２０によってどのように処理されるかを示すために、ＢＮ１〜ＢＮ１８として番号付けされる。より高いレベルの周波数スプリッタは、同様に作用する。

画素ＢＮ１〜ＢＮ１８は、ガウスフィルタリングされて、その結果、ガウスフィルタリングされた色平面画像６１０のガウスフィルタリングされた画素ＢＮ１’〜ＢＮ１８’が得られる。ガウスフィルタリングされた画素はグループ化されて、ガウスフィルタリングされた色平面画像６１０は、ガウスフィルタリングされた色平面画像６１０の４つの画素からなるグループの平均値を計算することにより、色平面画像６１５にダウンサイズされる。例えば、ダウンサイズされた画像６１５の画素ＢＤ１’は、ガウスフィルタリングされた色平面画像６１０の画素ＢＮ１’、ＢＮ２’、ＢＮ６’、およびＢＮ７’の平均値を表す。同様に、ダウンサイズされた画像６１５の画素ＢＤ２’は、画素ＢＮ３’、ＢＮ４’、ＢＮ８’、およびＢＮ９’の平均値を表す。画素ＢＤ１’、ＢＤ２’、ＢＤ６’、およびＢＤ７’は、次のノイズ低減レベルに供給される第１レベルの低周波青色平面画像（ＬＦ画像）の画素である。

第１レベルの高周波青色平面画像を生成するために、ダウンサイズされた画像６１５の画素ＢＤ１’、ＢＤ２’、ＢＤ６’、およびＢＤ７’のそれぞれは、２回アップサイズされる、すなわち、アップサイズされた色平面画像６２０を生成するために、それらの画素は２回複製される。アップサイズされた色平面画像６２０の画素値は、バイラテラルフィルタリングされた画像６０５の画素値から減算されて、その結果、次のノイズ低減レベルに供給される第１レベルの高周波色平面画像（ＨＦ画像）が得られる。

次に、（引き続き図１、２、および３を参照するとともに）デジタル画像のノイズフィルタリングのための方法７００のフローチャートを示す図７を参照する。方法７００は、画像プロセッサ１３０および３４２によって、各色平面画像に対して実行される。方法７００は、画像プロセッサ１３０および３４２が、イメージセンサ１１０から画像プリバッファ１２０（または静止画像プリバッファ３３４）を介して、ＣＦＡパターンを有する色モザイクを含む画像フレームを受信するステップ７１０で開始する。方法７００は、ステップ７２０に進んで、画像プロセッサ１３０および３４２によって、画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に、すなわち、赤色平面画像２２０、緑色平面画像２３０、および青色平面画像２４０に分解する。

ステップ７３０で、その少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、その少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減する。この方法は、ノイズフィルタリングされた画像フレームを生成するために、その少なくとも１つの色平面画像を再構成するステップ７４０で終了する。

図１を再び参照して、メモリ１５０について、さらに詳細に説明する。本発明の例示的な一実施形態によれば、メモリ１５０は、コンピュータ実行可能命令を含むソフトウェアでコード化された非一時的なコンピュータ可読記憶媒体であり、コンピュータ実行可能命令は、画像プロセッサ１３０で実行されることで、画像プロセッサ１３０に、ＣＦＡパターンを有する色モザイクを含む画像フレームをイメージセンサ１１０から受信させ、その画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像２２０、２３０、および２４０に分解させ、その少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、その少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減させ、例えばノイズフィルタリングされた色平面画像４０５であるノイズフィルタリングされた画像フレームを生成するために、その少なくとも１つの色平面画像を再構成させる。画像プロセッサ１３０は、単一のプロセッサまたは複数のプロセッサとして実装されてよい。

要するに、特に高周波帯域において、既存のノイズ除去方法よりも効果的な、デジタル画像のマルチレベル・バイラテラル・ノイズフィルタリングのための技術が提供される。マルチレベルアプローチは、残差周波数帯域からノイズを除去するのに効果的である。各画素においてノイズ除去をスケーリングすることによって、デジタル画像の暗部と明部における適切な量のノイズ除去が可能となる。ノイズフィルタリングされた画像フレームがデモザイク処理されるＩＳＰの前にマルチレベル・バイラテラル・ノイズフィルタを配置すると、デモザイク処理、または色補正処理の一部としてのチャネル混合のいずれかからの混合されたノイズよりも、ＣＦＡ空間におけるノイズは相関が少ないので、より効率的なノイズフィルタリングを実施することができる。その結果、画像処理装置の全体的な機能性および結果として得られるフルカラー画像の品質を大幅に向上させることができる。

上記の説明は、本発明の例示的な実施形態の説明であり、これに対して、添付の請求項で規定される本発明の趣旨および範囲から逸脱することなく様々な変更および変形を実施し得ると理解される。

Claims (20)

1. デジタル画像のマルチレベル・バイラテラル・ノイズフィルタリングのための方法であって、
   カラーフィルタアレイ（ＣＦＡ）パターンを有する色モザイクを含む画像フレームをイメージセンサから受信することと、
   前記画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に分解することと、
   前記少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、前記少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減することと、
   ノイズフィルタリングされた画像フレームを生成するために、前記少なくとも１つの色平面画像を再構成することと、を含む方法。
2. 前記複数の色平面は、緑色平面、赤色平面、および青色平面のうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記マルチレベル・バイラテラル・ノイズフィルタリングを実行することは、
   複数のノイズ除去レベルを定義することと、
   前記複数のノイズ除去レベルのそれぞれにおいて、前記少なくとも１つの色平面画像をバイラテラルフィルタリングすることと、
   最高のノイズ除去レベルを除く前記複数のノイズ除去レベルのそれぞれにおいて、前記少なくとも１つの色平面画像の周波数分離を実行することと、を含む、請求項１に記載の方法。
4. 前記周波数分離は、
   第１のノイズ除去レベルにおいて、前記少なくとも１つの色平面画像のガウスフィルタリングを実行することと、前記少なくとも１つの色平面画像を低周波色平面画像と高周波色平面画像に分離することであって、このとき、前記ガウスフィルタリングされた少なくとも１つの色平面画像をダウンサイズすることにより前記低周波色平面画像を生成し、前記低周波色平面画像をアップサイズして、前記アップサイズされた低周波色平面の個々の画素値を前記少なくとも１つの色平面画像の対応する画素値から減算することにより前記高周波色平面画像を生成することと、前記複数のノイズ除去レベルのうちの後続レベルに前記低周波色平面画像を送るとともに、前記最高のノイズ除去レベルに前記高周波色平面画像を送ることと、を含み、さらに、
   前記第１のノイズ除去レベルの後続かつ前記最高のノイズ除去レベルより前の少なくとも１つのノイズ除去レベルにおいて、前記複数のノイズ除去レベルのうちの前のレベルから受信した前記低周波色平面画像のガウスフィルタリングを実行することと、前記ガウスフィルタリングされた、前記複数のノイズ除去レベルのうちの前記前のレベルからの低周波色平面画像を低周波色平面画像と高周波色平面画像に分離することであって、このとき、前記ガウスフィルタリングされた、前記複数のノイズ除去レベルのうちの前記前のレベルからの低周波色平面画像をダウンサイズすることにより前記低周波色平面画像を生成し、前記低周波色平面画像をアップサイズすることにより前記高周波色平面画像を生成することと、前記複数のノイズ除去レベルのうちの後続レベルに前記低周波色平面画像を送るとともに、前記最高のノイズ除去レベルに前記高周波色平面画像を送ることと、を含む、請求項３に記載の方法。
5. 前記最高のノイズ除去レベルにおいて、直前のノイズ除去レベルから受信した前記低周波色平面画像をバイラテラルフィルタリングすることと、前記直前のノイズ除去レベルから受信した前記低周波色平面画像をアップサイズすることと、さらに、
   前記バイラテラルフィルタリングおよびアップサイズされた、前記直前のノイズ除去レベルから受信した低周波色平面画像に、前記前のノイズ除去レベルのそれぞれから受信した高周波色平面画像を加算することにより、前記少なくとも１つの色平面画像を再構成することと、をさらに含む、請求項４に記載の方法。
6. バイラテラルフィルタリングは、
   対象画素のカーネルを定義することであって、方形幅サイズを有するとともに前記対象画素とカーネル画素を含むカーネルを定義することと、
   次に、前記少なくとも１つの色平面画像の各画素を、前記対象画素としての加重平均画素値を決定することにより、前記対象画素として処理することであって、このとき、前記対象画素としての前記加重平均画素値は、各カーネル画素の値に重みを適用し、続いて前記重み付けされたカーネル画素値を平均することにより、決定されることと、を含む、請求項３に記載の方法。
7. カーネル画素の重みは、前記対象画素からの前記カーネル画素の距離と、前記カーネル画素の値と前記対象画素の値との類似度を規定するｚスコアに基づいて決定され、
   前記対象画素からの前記カーネル画素の前記距離は、前記ＣＦＡパターンを有する前記色モザイクにおける空間ギャップと一致するように決定される、請求項６に記載の方法。
8. 前記カーネル画素の前記重みは、
   

   

   に基づいて決定され、ここで、ＴｈｒｏｔｔｌｅＲ＿ＭＬはガウス半径を定義し、ＴｈｒｏｔｔｌｅＳ＿ＭＬは画素の類似度を定義し、Δｒは前記カーネルからの画素単位での距離を定義し、Ｉ（ｘ，ｙ）は前記カーネルの中心にある前記対象画素を定義し、Δｖはコード値の差を定義し、σ［Ｉ（ｘ，ｙ）］はノイズテーブルを定義し、ｌｅｖｅｌは前記ノイズ除去レベルを定義する、請求項７に記載の方法。
9. 画像処理装置であって、
   イメージセンサと通信する１つ以上のプロセッサと、
   前記１つ以上のプロセッサと通信する１つ以上のメモリデバイスと、を備え、
   前記１つ以上のプロセッサは、
   カラーフィルタアレイ（ＣＦＡ）パターンを有する色モザイクを含む画像フレームを前記イメージセンサから受信し、
   前記画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に分解し、
   前記少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、前記少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減し、
   ノイズフィルタリングされた画像フレームを生成するために、前記少なくとも１つの色平面画像を再構成する、ように構成されている、画像処理装置。
10. 前記複数の色平面は、緑色平面、赤色平面、および青色平面のうちの少なくとも１つを含む、請求項９に記載の画像処理装置。
11. 前記マルチレベル・バイラテラル・ノイズフィルタリングを実行するために、前記１つ以上のプロセッサは、
    複数のノイズ除去レベルを定義し、
    前記複数のノイズ除去レベルのそれぞれにおいて、前記少なくとも１つの色平面画像をバイラテラルフィルタリングし、
    最高のノイズ除去レベルを除く前記複数のノイズ除去レベルのそれぞれにおいて、前記少なくとも１つの色平面画像の周波数分離を実行する、ように構成されている、請求項９に記載の画像処理装置。
12. 前記周波数分離を実行するために、前記１つ以上のプロセッサは、
    第１のノイズ除去レベルにおいて、前記少なくとも１つの色平面画像のガウスフィルタリングを実行することと、前記少なくとも１つの色平面画像を低周波色平面画像と高周波色平面画像に分離することであって、このとき、前記ガウスフィルタリングされた少なくとも１つの色平面画像をダウンサイズすることにより前記低周波色平面画像を生成し、前記低周波色平面画像をアップサイズして、前記アップサイズされた低周波色平面の個々の画素値を前記少なくとも１つの色平面画像の対応する画素値から減算することにより前記高周波色平面画像を生成することと、前記複数のノイズ除去レベルのうちの後続レベルに前記低周波色平面画像を送るとともに、前記最高のノイズ除去レベルに前記高周波色平面画像を送ることと、を実行し、さらに、
    前記第１のノイズ除去レベルの後続かつ前記最高のノイズ除去レベルより前の少なくとも１つのノイズ除去レベルにおいて、前記複数のノイズ除去レベルのうちの前のレベルから受信した前記低周波色平面画像のガウスフィルタリングを実行することと、前記ガウスフィルタリングされた、前記複数のノイズ除去レベルのうちの前記前のレベルからの低周波色平面画像を低周波色平面画像と高周波色平面画像に分離することであって、このとき、前記ガウスフィルタリングされた、前記複数のノイズ除去レベルのうちの前記前のレベルからの低周波色平面画像をダウンサイズすることにより前記低周波色平面画像を生成し、前記低周波色平面画像をアップサイズすることにより前記高周波色平面画像を生成することと、前記複数のノイズ除去レベルのうちの後続レベルに前記低周波色平面画像を送るとともに、前記最高のノイズ除去レベルに前記高周波色平面画像を送ることと、を実行する、ように構成されている、請求項１１に記載の画像処理装置。
13. 前記１つ以上のプロセッサは、
    前記最高のノイズ除去レベルにおいて、直前のノイズ除去レベルから受信した前記低周波色平面画像をバイラテラルフィルタリングすることと、前記直前のノイズ除去レベルから受信した前記低周波色平面画像をアップサイズすることと、を実行し、さらに、
    前記バイラテラルフィルタリングおよびアップサイズされた、前記直前のノイズ除去レベルから受信した低周波色平面画像に、前記前のノイズ除去レベルのそれぞれから受信した高周波色平面画像を加算することにより、前記少なくとも１つの色平面画像を再構成することと、を実行する、ようにさらに構成されている、請求項１２に記載の画像処理装置。
14. 前記低周波色平面画像をバイラテラルフィルタリングするために、前記１つ以上のプロセッサは、
    対象画素のカーネルを定義することであって、方形幅サイズを有するとともに前記対象画素とカーネル画素を含むカーネルを定義することと、
    次に、前記少なくとも１つの色平面画像の各画素を、前記対象画素としての加重平均画素値を決定することにより、前記対象画素として処理することであって、このとき、前記対象画素としての前記加重平均画素値は、各カーネル画素の値に重みを適用し、続いて前記重み付けされたカーネル画素値を平均することにより、決定されることと、を実行する、ようにさらに構成されている、請求項１１に記載の画像処理装置。
15. コンピュータ実行可能命令を含むソフトウェアでコード化された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ実行可能命令は、１つ以上のプロセッサで実行されることで、前記１つ以上のプロセッサに、
    カラーフィルタアレイ（ＣＦＡ）パターンを有する色モザイクを含む画像フレームをイメージセンサから受信させ、
    前記画像フレームを、複数の色平面のそれぞれについて少なくとも１つの色平面画像に分解させ、
    前記少なくとも１つの色平面画像のマルチレベル・バイラテラル・ノイズフィルタリングを実行することにより、前記少なくとも１つの色平面画像におけるノイズを順次かつ個別に低減させ、
    ノイズフィルタリングされた画像フレームを生成するために、前記少なくとも１つの色平面画像を再構成させる、非一時的なコンピュータ可読記憶媒体。
16. 前記複数の色平面は、緑色平面、赤色平面、および青色平面のうちの少なくとも１つを含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
17. 前記マルチレベル・バイラテラル・ノイズフィルタリングを実行するために、前記実行可能命令は、前記１つ以上のプロセッサに、さらに、
    複数のノイズ除去レベルを定義させ、
    前記複数のノイズ除去レベルのそれぞれにおいて、前記少なくとも１つの色平面画像をバイラテラルフィルタリングさせ、
    最高のノイズ除去レベルを除く前記複数のノイズ除去レベルのそれぞれにおいて、前記少なくとも１つの色平面画像の周波数分離を実行させる、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
18. 前記周波数分離を実行するために、前記実行可能命令は、前記１つ以上のプロセッサに、さらに、
    第１のノイズ除去レベルにおいて、前記少なくとも１つの色平面画像のガウスフィルタリングを実行することと、前記少なくとも１つの色平面画像を低周波色平面画像と高周波色平面画像に分離することであって、このとき、前記ガウスフィルタリングされた少なくとも１つの色平面画像をダウンサイズすることにより前記低周波色平面画像を生成し、前記低周波色平面画像をアップサイズして、前記アップサイズされた低周波色平面の個々の画素値を前記少なくとも１つの色平面画像の対応する画素値から減算することにより前記高周波色平面画像を生成することと、前記複数のノイズ除去レベルのうちの後続レベルに前記低周波色平面画像を送るとともに、前記最高のノイズ除去レベルに前記高周波色平面画像を送ることと、を実行させ、さらに、
    前記第１のノイズ除去レベルの後続かつ前記最高のノイズ除去レベルより前の少なくとも１つのノイズ除去レベルにおいて、前記複数のノイズ除去レベルのうちの前のレベルから受信した前記低周波色平面画像のガウスフィルタリングを実行することと、前記ガウスフィルタリングされた、前記複数のノイズ除去レベルのうちの前記前のレベルからの低周波色平面画像を低周波色平面画像と高周波色平面画像に分離することであって、このとき、前記ガウスフィルタリングされた、前記複数のノイズ除去レベルのうちの前記前のレベルからの低周波色平面画像をダウンサイズすることにより前記低周波色平面画像を生成し、前記低周波色平面画像をアップサイズすることにより前記高周波色平面画像を生成することと、前記複数のノイズ除去レベルのうちの後続レベルに前記低周波色平面画像を送るとともに、前記最高のノイズ除去レベルに前記高周波色平面画像を送ることと、を実行させる、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
19. 前記実行可能命令は、前記１つ以上のプロセッサに、さらに、
    前記最高のノイズ除去レベルにおいて、直前のノイズ除去レベルから受信した前記低周波色平面画像をバイラテラルフィルタリングすることと、前記直前のノイズ除去レベルから受信した前記低周波色平面画像をアップサイズすることと、を実行させ、さらに、
    前記バイラテラルフィルタリングおよびアップサイズされた、前記直前のノイズ除去レベルから受信した低周波色平面画像に、前記前のノイズ除去レベルのそれぞれから受信した高周波色平面画像を加算することにより、前記少なくとも１つの色平面画像を再構成することと、を実行させる、請求項１８に記載の非一時的なコンピュータ可読記憶媒体。
20. 前記低周波色平面画像をバイラテラルフィルタリングするために、前記実行可能命令は、前記１つ以上のプロセッサに、さらに、
    対象画素のカーネルを定義することであって、方形幅サイズを有するとともに前記対象画素とカーネル画素を含むカーネルを定義することと、
    次に、前記少なくとも１つの色平面画像の各画素を、前記対象画素としての加重平均画素値を決定することにより、前記対象画素として処理することであって、このとき、前記対象画素としての前記加重平均画素値は、各カーネル画素の値に重みを適用し、続いて前記重み付けされたカーネル画素値を平均することにより、決定されることと、
    前記対象画素からの前記カーネル画素の距離と、前記カーネル画素の値と前記対象画素の値との類似度を規定するｚスコアに基づいて、カーネル画素の重みを決定することと、
    前記対象画素からの前記カーネル画素の前記距離を、前記カラーフィルタアレイ（ＣＦＡ）パターンを有する前記色モザイクにおける空間ギャップと一致するように決定することと、を実行させる、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。

Images