JP2010531075A - パンクロマチック画像を用いたノイズ低減されたカラーの画像 - Google Patents

Abstract

ノイズが低減されたディジタルカラー画像を生成する方法であって、パンクロマチック画素および少なくとも２つのカラー光応答に対応するカラー画素を有する画像を提供するステップ；前記画像からパンクロマチック画像および少なくとも１つのカラー画像を提供するステップ；および複数のカラー特性を、各カラー画素位置のところの対応するパンクロマチック特性と等しく設定することにより、前記パンクロマチック画像および前記カラー画像を使用して、ノイズが低減されたディジタルカラー画像を生成するステップを含んで成る方法。

Description

本発明は、概して、パンクロマチック画素およびカラー画素を有する画像からフルカラーのノイズが低減されたフル解像度画像を生成するディジタル画像処理操作の分野に関する。

最も一般的でしばしば必須とされる画像処理操作の１つはノイズの低減である。ノイズの低減は、特に、不十分な照明条件下で捕捉されたであろうディジタルスチルカメラ画像およびディジタルビデオカメラ画像に当てはまる。最適な照明条件に満たない条件下でのディジタル画像キャプチャに対処する１つの方法は、低いまたは不十分なシーン照明に対して特に感受性の高い１または２以上のカラーチャネルを得るか合成することである。高い感光性を有するチャネルから得られたデータは、付随する標準カラーチャネルに由来するデータのその後の画像処理を支援するために一般的に使用される。ノイズの低減は、この付加的な画像データから利点を得るための主要な候補である。多数の例が文献にある。米国特許第６，６４６，２４６号（Ｇｉｎｄｅｌｅら）には、低速および高速画素を有する拡張ダイナミックレンジカラーフィルターアレイ（ＣＦＡ）パターンを使用すること、低速画素データのみを使用して低速画素データをノイズ除去すること、および高速画素データのみを使用して高速画素データをノイズ除去することが教示されている。この方法では、各カラーチャネルが高速チャネルおよび低速チャネルに細分されるために画像解像度を犠牲にしてノイズの低減が達成され、その後の合併により、対処しようとしている原ノイズよりも問題のある画像処理アーチファクトを生じうる。米国特許第７，０６５，２４６号（Ｘｉａｏｍａｎｇら）は、直接検出したカラーチャネルデータ、この場合にはシアン、マゼンタ、イエローおよびグリーンから輝度信号を構築するという点で、多くの類似の開示された発明の代表的なものである。構築された輝度の高周波数成分は、原カラーチャネル信号の高周波数成分を置き換えて画像データの全体的なノイズ低減をもたらすために使用される。幾分効果的であるが、この方法の主な不都合な点は、合成される輝度チャネルがノイズの多いカラーチャネルから構築され、本質的に等しいノイズの多い合成チャネルをもたらすことである。

より好ましい方法が米国特許第５，２６４，０２４号（Ｃｏｋ）に提案されている。Ｃｏｋは、各画素位置でのレッド、グリーン、ブルーおよび輝度の値を直接測定することを提案している。対応するレッド、グリーンおよびブルーのデータよりも本質的にノイズが少ないようにされた高周波数輝度データを使用して上記の高周波数レッド、グリーンおよびブルーデータを置き換え、ノイズが除去されたレッド、グリーンおよびブルーの信号を生成させる。ディジタルスチルカメラおよびディジタルビデオカメラの大多数は１画素あたり１つのカラーチャネルを検出するだけのＣＦＡを備えた１つのセンサーを使用するために、かかる系ではＣｏｋの方法を直接実施することはできない。

ＸｉａｏｍａｎｇおよびＣｏｋは輝度信号について記載しているが、人間の視覚系の輝度チャネルに対応する測光感度を有するカラーチャネルは不必要に限定的である場合がある。

本発明の目的は、パンクロマチック画素およびカラー画素を有するディジタル画像からノイズが低減されたフル解像度のフルカラー画像を生成することである。

この目的は、ノイズが低減されたディジタルカラー画像を生成する方法であって、
ａ． パンクロマチック画素および少なくとも２つのカラー光応答に対応するカラー画素を有する画像を提供するステップ；
ｂ． 前記画像からパンクロマチック画像および少なくとも１つのカラー画像を提供するステップ；および
ｃ． 複数のカラー特性を、各カラー画素位置のところの対応するパンクロマチック特性と等しく設定することにより、前記パンクロマチック画像および前記カラー画像を使用して、ノイズが低減されたディジタルカラー画像を生成するステップ；
を含んで成る方法により達成される。

本発明の１つの特徴は、パンクロマチック画素およびカラー画素を有するセンサーにより低照明条件下で画像を捕捉でき、処理によってパンクロマチック画素およびカラー画素から生じたフルカラー画像におけるノイズを低減することである。人間の視覚系の輝度チャネルにわたる全ての波長のところでより高い感度を有する、より全般的なパンクロマチックチャネルを用いて、より有用な信号を捕獲できる。

図１は、本発明を実施するための、ディジタルカメラを含むコンピュータシステムの概略図である。 図２は、本発明の好ましい一実施態様のブロック図である。 図３は、本発明の別の一実施態様のブロック図である。 図４は、本発明の別の一実施態様のブロック図である。 図５は、本発明の別の一実施態様のブロック図である。 図６は、図２のブロック２０２において使用される画素の領域である。 図７は、図２のブロック２０６において使用される画素の領域である。 図８は、図３のブロック２１０において使用される画素の領域である。 図９は、図４のブロック２０４において使用される画素の領域である。

以下の説明では、通常はソフトウェアプログラムとして実現であろうものによって、本発明の好ましい一実施態様を説明する。当業者は、かかるソフトウェアの等価物もハードウェア中に構成できることを容易に理解するであろう。画像操作のアルゴリズムおよびシステムは公知であるため、ここでの説明は、特に、本発明に係るシステムおよび方法の部分を構成する、あるいは、本発明に係るシステムおよび方法とより直接的に協働するアルゴリズムおよびシステムに対して行うことにする。かかるアルゴリズムおよびシステムの別の側面、並びにそれに関連する画像信号を生成させるためやその他の処理のためのハードウェアおよびソフトウェアは、本明細書に具体的に提示または記載していないが、当該技術分野で知られているかかるシステム、アルゴリズム、成分および要素から選択することができる。以下の材料で本発明に係るシステムを仮定した場合に、本明細書に具体的に提示、提案または記載していないが、本発明の実施に有用なソフトウェアは、従来からある一般的なものであり、当業者の知識の範囲内である。

さらに、本明細書では、コンピュータプログラムは、コンピュータの読み取り可能な記憶媒体に記憶させることができる。コンピュータの読み取り可能な記憶媒体としては、例えば、磁気記憶媒体、例えば磁気ディスク（ハードドライブやフロッピー（登録商標）ディスクなど）や磁気テープなど；光学的記憶媒体、例えば光ディスク、光テープ、機械で読み取り可能なバーコード）など；固体電子記憶装置、例えばランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）など；またはコンピュータプログラムの記憶に用いられる他の任意の物理的な装置または媒体などがある。

本発明を説明する前に、よく知られた任意のコンピュータシステム（例えばパーソナルコンピュータ）で本発明が利用できることに留意すると、本発明の理解が容易になる。従って、本明細書では、コンピュータシステムについては詳細に説明しない。画像は、コンピュータシステムに直接入力（例えばディジタルカメラによって）されるか、あるいは、コンピュータシステムに入力される前にディジタル化（例えばハロゲン化銀フィルムなどのオリジナルを走査することによって）されることに留意することも有益である。

図1を参照すると、本発明を実施するためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい一実施態様を説明するために示しているが、本発明は、図示したコンピュータシステム１１０に限定されることはなく、家庭用コンピュータ、キオスク、リテールまたは大規模な写真仕上げなどで見られる電子処理システムや、ディジタル画像を処理するための他の任意のシステムで使用できる。コンピュータシステム１１０は、ソフトウェアプログラムを格納してそのソフトウェアプログラムによる処理を行なうため、および、他の処理機能を実行するためのマイクロプロセッサをベースとしたユニット１１２を備える。ディスプレイ１１４は、例えばグラフィカルユーザーインターフェイスによって、そのソフトウェアに関係するユーザー関連情報を表示するために、マイクロプロセッサをベースとしたユニット１１２に電気的に接続されている。ユーザーがソフトウェアに情報を入力することができるように、キーボード１１６もマイクロプロセッサをベースとしたユニット１１２に接続されている。当該技術分野でよく知られているように、入力にキーボード１１６を使用する代わりにマウス１１８を用いてディスプレイ１１４上のセレクタ１２０を移動させ、そのセレクタ１２０を重ね合わせたアイテムを選択することもできる。

ソフトウェアプログラムおよび他の情報を入力する手段を、マイクロプロセッサをベースとしたユニット１１２に備えるために、コンパクトディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４（典型的にはその中にソフトウェアプログラムが格納されている）を、マイクロプロセッサをベースとしたユニット１１２に挿入する。さらに、フロッピー（登録商標）ディスク１２６がソフトウェアプログラムを格納することもでき、その場合にはソフトウェアプログラムを入力するためのマイクロプロセッサをベースとしたユニット１１２にフロッピー（登録商標）ディスクを挿入する。代わりに、コンパクトディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４またはフロッピー（登録商標）ディスク１２６は、マイクロプロセッサをベースとしたユニット１１２に接続された外付けディスクドライブユニット１２２に挿入することもできる。さらに、当該技術分野でよく知られているようにマイクロプロセッサをベースとしたユニット１１２にプログラムしてソフトウェアプログラムを内部的に記憶させることもできる。マイクロプロセッサをベースとしたユニット１１２は、外部ネットワーク（例えばローカルエリアネットワークやインターネット）へのネットワーク接続１２７（例えば電話線）も備えることができる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとしたユニット１１２にプリンタ１２８を接続することもできる。

画像は、電子的な形態のディジタル化画像を収容しているパーソナルコンピュータカード（ＰＣカード）１３０（例えば以前から知られているＰＣＭＣＩＡカード（パーソナルコンピュータメモリカード国際協会の仕様に基づく））を通じてディスプレイ１１４に表示することもできる。ディスプレイ１１４上に画像を視覚的に表示することができるように、ＰＣカード１３０は最終的にマイクロプロセッサをベースとしたユニット１１２に挿入される。あるいは、ＰＣカード１３０は、マイクロプロセッサをベースとしたユニット１１２に接続された外付けＰＣカード読取機１３２に挿入することもできる。画像は、コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、またはネットワーク接続１２７を通じて入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６もしくはコンパクトディスク１２４のいずれかに記憶されたいかなる画像、またはネットワーク接続１２７を通じて入力されるいかなる画像も、さまざまな供給源（例えばディジタルカメラ（図示せず）またはスキャナー（図示せず））から得られたものであることができる。画像は、マイクロプロセッサをベースとしたユニット１１２に接続されたカメラドッキングポート１３６を通じてディジタルカメラ１３４から直接入力でき、またはケーブル接続１３８を通じてディジタルカメラ１３４からマイクロプロセッサをベースとしたユニット１１２に直接入力でき、あるいは無線接続１４０を通じてマイクロプロセッサをベースとしたユニット１１２に入力できる。

本発明によれば、希薄な画像（sparsely populated images）を補間するために、アルゴリズムをこれまでに述べた記憶装置のいずれかに記憶させ、画像に適用することができる。

図２は、好ましい一実施態様の高レベル図である。ディジタルカメラ１３４は、ディジタルのレッド−グリーン−ブルー−パンクロマチック（ＲＧＢＰ）カラーフィルタアレイ（ＣＦＡ）原画像２００（ディジタルＲＧＢＰ ＣＦＡ画像またはＲＧＢＰ ＣＦＡ画像ともいう）の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像（sparsely sampled image）と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックのデータのうちの１つの画素値のみを含むからである。パンクロマチック画像補間ブロック２０２は、フル解像度パンクロマチック画像２０４を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。フル解像度パンクロマチック画像の助けによって、レッド、グリーンおよびブルーの画素値と関連付けられたノイズをＲＧＢ ＣＦＡ画像ノイズ低減ブロック２１０において低減して、ノイズ低減ＲＧＢ ＣＦＡ画像２１２を生成させる。その後、ＲＧＢ ＣＦＡ画像補間ブロック２１４は、ノイズ低減フル解像度フルカラー画像２２６を生成する。

図３は、第２の好ましい実施態様の高レベル図である。ディジタルカメラ１３４は、ディジタルのレッド−グリーン−ブルー−パンクロマチック（ＲＧＢＰ）カラーフィルタアレイ（ＣＦＡ）原画像２００（ディジタルＲＧＢＰ ＣＦＡ画像またはＲＧＢＰ ＣＦＡ画像ともいう）の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックデータのうちの１つの画素値のみを含むからである。パンクロマチック画像補間ブロック２０２は、フル解像度パンクロマチック画像２０４を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。フル解像度パンクロマチック画像の助けによって、レッド、グリーンまたはブルーの画素値と関連付けられたノイズをＲＧＢ ＣＦＡ画像ノイズ低減ブロック２１０において低減して、ノイズ低減ＲＧＢ ＣＦＡ画像２１２を生成させる。その後、ＲＧＢ ＣＦＡ画像補間ブロック２１４は、ノイズ低減フル解像度フルカラー画像２１６を生成する。最後に、フル解像度フルカラーノイズ低減ブロック２１８は、最終的なノイズ低減フル解像度フルカラー画像ブロック２２４を生成する。

図４は、好ましい一実施態様の高レベル図である。ディジタルカメラ１３４は、ディジタルのレッド−グリーン−ブルー−パンクロマチック（ＲＧＢＰ）カラーフィルタアレイ（ＣＦＡ）原画像２００（ディジタルＲＧＢＰ ＣＦＡ画像またはＲＧＢＰ ＣＦＡ画像ともいう）の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックデータのうちの１つの画素値のみを含むからである。パンクロマチック画像補間ブロック２０２は、フル解像度パンクロマチック画像２０４を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。次に、フル解像度パンクロマチック画像ノイズ低減ブロック２０６は、ノイズ低減フル解像度パンクロマチック画像２０８を生成する。ノイズ低減フル解像度パンクロマチック画像の助けによって、レッド、グリーンまたはブルーの画素値と関連付けられたノイズをＲＧＢ ＣＦＡ画像ノイズ低減ブロック２１０において低減して、ノイズ低減ＲＧＢ ＣＦＡ画像２１２を生成させる。その後、ＲＧＢ ＣＦＡ画像補間ブロック２１４は、ノイズ低減フル解像度フルカラー画像２２２を生成する。

図５は、好ましい一実施態様の高レベル図である。ディジタルカメラ１３４は、ディジタルのレッド−グリーン−ブルー−パンクロマチック（ＲＧＢＰ）カラーフィルタアレイ（ＣＦＡ）原画像２００（ディジタルＲＧＢＰ ＣＦＡ画像またはＲＧＢＰ ＣＦＡ画像ともいう）の生成に関わる。以下の説明では、この時点で、レッド−グリーン−ブルー−パンクロマチックの代わりに他のカラーチャネルの組合せ、例えばシアン−マゼンタ−イエロー−パンクロマチックなどを使用できることを注記しておく。重要な事項はパンクロマチックチャネルを含むということである。この画像は、まばらにサンプリングされた画像と見なされる。なぜなら、当該画像中の各画素が、レッド、グリーン、ブルーまたはパンクロマチックのデータのうちの１つの画素値のみを含むからである。パンクロマチック画像補間ブロック２０２は、フル解像度パンクロマチック画像２０４を生成する。画像処理チェーンのこの時点で、各カラー画素位置は、パンクロマチック値と、レッド、グリーンまたはブルー値のいずれかと関連付けられている。次に、フル解像度パンクロマチック画像ノイズ低減ブロック２０６は、ノイズ低減フル解像度パンクロマチック画像２０８を生成する。ノイズ低減フル解像度パンクロマチック画像の助けによって、レッド、グリーンまたはブルーの画素値と関連付けられたノイズをＲＧＢ ＣＦＡ画像ノイズ低減ブロック２１０において低減して、ノイズ低減ＲＧＢ ＣＦＡ画像２１２を生成させる。その後、ＲＧＢ ＣＦＡ画像補間ブロック２１４は、ノイズ低減フル解像度フルカラー画像２１６を生成する。最後に、フル解像度フルカラーノイズ低減ブロック２１８は、最終的なノイズ低減フル解像度フルカラー画像ブロック２２０を生成する。

図２に戻ると、パンクロマチック画像補間ブロック２０２は、当業者に知られている任意の適切な方法で実施することができる。２つの例を以下に示す。図６を参照すると、画素Ｘ₅ のパンクロマチック値を推定する１つの方法は、単純に、周囲の６つのパンクロマチック値の平均値、すなわち、

を求めることである。あるいは、この方法において、画素値に重み付けをすることも当業者によく知られている。一例として、

がある。代わりに、まず、方向性勾配の絶対値（絶対方向性勾配（absolute directional gradients））を計算することによって、適応できる方法を使用できる。

３つの２点平均値のうちの１つによりＸ₅ の値が求められる。

Ｘ₅ を計算するために、絶対方向性勾配の組のうちの最小値と関連する２点平均値を使用する。例えば、Ｖ₅≦Ｂ₅およびＶ₅≦Ｓ₅である場合には、Ｘ₅＝ＶＸ₅である。

図２に戻ると、ＲＧＢ ＣＦＡ画像ノイズ低減ブロック２１０は、複数のカラー特性を、各カラー画素位置のところの対応するパンクロマチック特性と等しく設定することにより実施される。そのような特性のいずれも当該技術分野の技術者にとっては公知であろう。例として、図８を参照すると、画素Ｒ₅との第一の空間的レッド画素差（方向勾配ともいう）を、８つの異なる方向：

に示される近隣の範囲に画定することができる。
カラー特性の別の例は、第二の空間的画素差である。再度、図８を参照して、画素Ｒ₅との第二のレッド画素差は、４つの異なる方向に示される近隣の範囲：

に与えられる。
本発明の４つの例を示す。図７を参照すると、各画素位置は関連するパンクロマチック値を有することに留意されたい。また、介在する非レッド画素（即ち、図７中の空白画素）の数と配置は無関係であることも留意されたい。必要とされる全ては、少なくとも１つ又は２つの同じカラーの近隣画素値を伴う中央画素値である。また、図７が、５つの画素高および５つの画素幅の正方形の近隣画素を表すが、任意の大きさおよび形状の近隣を用いることができることも留意されたい。また、以下の検討において、グリーン又はブルーカラーチャネルをクリーニングする場合、グリーン又はブルーカラーチャネルをレッドと置き換わるであろう。パンクロマチックチャネルは、レッドチャネルよりも速いので、パンクロマチックチャネルは、レッドチャネルよりも少ないノイズを有しており、有効な近隣画素にわたって平均化された第一の空間的レッド画素差を、同じ近隣画素にわたって平均化された第一の空間的パンクロマチック画素差と同じに設定することにより、レッド画素Ｒ₅のノイズを低減する。これは、以下の重み付平均を計算することによって達成される。

重み係数ｃ₁ からｃ₉ は、有効近隣画素と規定され、パンクロマチック値の差およびレッド値の差から計算される。

これらの式中、ｔ_pおよびｔ_rは、図７に示す近隣画素の任意のエッジによって中央の画素（Ｒ₅）から分離された画素値を除くために選択される予め決定される正の閾値である。これらの定義では、ｃ₅は常に１であり、この値は、総和の中に少なくとも１つの画素を常に含むようにするためのものであることに留意されたい。重み係数をポピュレートするための、そして有効近隣を選択するための別のスキームを用いることができ、フル解像度パンクロマチックデータを使用して適応させることができる。例えば、重み係数を、０と１との間の任意の値をとるように計算してもよい。

上記の一つの別法は、有効近隣画素にわたって平均化された第二の空間的画素差を用いることである。再度、図７を参照されたい。有効な近隣画素にわたって平均化された第二の空間的レッド画素差を、同じ近隣画素にわたって平均化された第二の空間的パンクロマチック画素差と同じに設定することにより、レッド画素Ｒ₅のノイズを低減する。

重み係数ｄ₁からｄ₄は、有効近隣画素と規定され、パンクロマチック値の差およびレッド値の差から計算される。

これらの式中、ｔ_pおよびｔ_rは、図７に示す近隣画素の任意のエッジによって中央の画素（Ｒ₅）から分離された画素値を除くために選択される予め決定される正の閾値である。これらの定義では、全ての重み係数は同時に０となることができ、この値は、総和の中に少なくとも１つの画素を常に含むようにするためのものであり、上記重み付けされた合計に関し、Ｒ₅は分子に加えられ、１は分母に加えられることに留意されたい。別法は、有効近隣画素内の全ての第一の空間的画素差の中央値（メジアン）を用いることである。再度、図７を参照して、有効な近隣画素内の全ての第一の空間的レッド画素差の中央値を、同じ近隣画素内のすべての第一の空間的パンクロマチック画素差の中央値と同じに設定することにより、レッド画素Ｒ₅のノイズを低減する。最初に、１つのパンクロマチック値および１つのレッド９−ポイント中央値を計算する。

Ｒ_MをＰ_Mに等しく設定する。メジアン演算内の全ての項に定数を加えること又は引くことによって、これらの項の順序は変わらないことに留意する。この式をＲ₅に関して解く。

別法は、有効近隣画素にわたって平均化された第一及び第二の空間的画素差の両方を同時に用いることである。再度、図７を参照して、有効な近隣画素にわたって平均化された第一及び第二の空間的レッド画素差の平均を、同じ近隣画素にわたって平均化された第一及び第二の空間的パンクロマチック画素差の平均と同じに設定することにより、レッド画素Ｒ₅のノイズを低減する。

重み係数ｃ₁〜ｃ₉およびｄ₁〜ｄ₄は、上述したとおりである。また、第一及び第二の空間的画素差の平均を重み付き平均によって置き換えることができ、この重みは、固定されてもよく、又は例えば、Ｒ５がどの程度エッジに近いかに従って計算されてもよい。

上記で検討した４つの例に対する別法は、第一の空間画素差の最大値、第一の空間画素差の最小値、および第一の空間画素差の最大値、および適応メディアンフィルタを使用することである。さらなる別法としては、例えば無限インパルス応答（infinite impulse response）（ＩＩＲ）フィルタリング、および特異値分解（singular value decomposition）（ＳＶＤ）など（これらに限定されない）の他の周知のノイズ低減方法に関する、当業者に公知である他のパンクロマチック特性を用いることによって可能となる。

図７に示したような近隣画素は、画像データのラプラシアンまたはガウシアンのピラミッド分解または画像データのウェーブレット分解から得られることも当業者によく知られている。同時に、フル解像度パンクロマチックデータに対して同じ分解方法を適用することによって、各ＲＧＢ画像分解成分内に得られる各画素は、関連するパンクロマチック値を有する。従って、上記の検討および例は依然として関連性があり、変更はない。

図２に戻ると、ＲＧＢ ＣＦＡ画像補間ブロック２１４は、先行技術文献に記載されている周知のＣＦＡ補間またはモザイク除去技術のいずれかを使用して実施できる。米国特許第５，８５２，４６８号（Ｏｋａｄａ）には、典型的な非適応方法が記載されており、一方、米国特許第５，５０６，６１９号（Ａｄａｍｓら）には、代表的な適応方法が教示されている。

図３において、ＲＧＢ ＣＦＡ画像ノイズ低減ブロック２１０に類似の方法でフル解像度フルカラーノイズ低減ブロック２１６を実施でき、ブロック２１６においてのみ、各画素位置でのレッド、グリーン、ブルーおよびパンクロマチック値がある。従って、ノイズ低減は、例えば図８に示されているように隣接する近隣画素を使用して実施できる。図８を参照すると、平均第一空間的画素差、平均第二空間的画素差、およびメジアン空間的画素差の先に示した例は、直接適用できる。

図４において、フル解像度のパンクロマチック画像ノイズ低減ブロック２０６は、グレースケールまたはシングルチャネル画像ノイズ低減のための当該技術分野で周知の方法のいずれかを使用して実施できる。図９を参照して、パンクロマチック画素Ｐ₅ のノイズ低減を達成するためにシグマフィルタを使用することができる。これは、以下の加重平均を計算することにより達成される。

重み計数ｃ₁ からｃ₉ は、パンクロマチック値の差から計算される。

これらの表現において、ｔは、図９に示す近隣画素の任意のエッジによって中央の画素（Ｐ₅ ）から分離された画素値を除くために選択される予め決定される閾値である。これらの定義では、ｃ₅ は常に１であり。この値は、総和の中に少なくとも１つの画素を常に含むようにするためのものであることを注記しておく。シグマフィルタ重み係数をポピュレートするための別のスキームは当該技術分野でよく知られている。別の方法は、適応メディアンフィルタを使用することである。再び図９を参照して、４つのパンクロマチックが計算される。

Ｐ₅ についてのノイズ低減値は、Ｐ₅ に関連する原パンクロマチック値に最も近いパンクロマチックメディアン値に対応する。

適応メディアンフィルタを使用するための別のスキームは当該技術分野でよく知られており、使用できる。

上記の方法に加えて、例えば無限インパルス応答（ＩＩＲ）、フィルタリング、および特異値分解（ＳＶＤ）など（これらに限定されない）の他の周知のノイズ低減方法を使用できる。

図９に示したような近隣画素は、画像データのラプラシアンまたはガウシアンのピラミッド分解またはウェーブレット分解をもたらしうることも当業者によく知られている。従って、上記の議論および例は依然として関連性があり、変更はない。

本発明の好ましい実施態様に開示したノイズ低減アルゴリズムは、ユーザーのさまざまな状況および環境で利用することができる。状況および環境の例としては、大規模ディジタル写真仕上げ（フィルム導入、ディジタル処理、プリント出力といった処理ステップまたは処理段階を伴う）、リテールディジタル写真仕上げ（フィルム導入、ディジタル処理、プリント出力）、家庭でのプリント（家庭でフィルムまたはディジタル画像を走査、ディジタル処理、プリント出力）、デスクトップソフトウェア（アルゴリズムをディジタル印刷に適用してそのディジタル印刷をより改善したりまたは変更することもあるソフトウェア）、ディジタル処理（媒体からのまたはウェブ上でのディジタル画像の取り込み、ディジタル処理、媒体へのまたはウェブ上でのディジタル形態での画像出力、またはハードコピー印刷物上への印刷）、キオスク（ディジタル入力または走査入力、ディジタル処理、ディジタル出力または走査出力）、携帯装置（例えば、処理ユニット、ディスプレイユニット、処理の指示を与えるユニットとして使用できるＰＤＡや携帯電話）、ワールドワイドウェブを通じて提供されるサービスなどがある。

それぞれの場合に、ノイズ低減アルゴリズムは、独立して使用することも、あるいは、より大きなシステムソリューションの要素であることができる。さらに、アルゴリズムとのいろいろなインターフェイス、例えば、走査または入力、ディジタル処理、ユーザーに対する表示（必要な場合）、ユーザーの要求または処理命令の入力（必要な場合）、出力は、それぞれ、同じまたは異なる装置および物理的位置にあってもよく、装置間および位置間の通信は、公的または私的なネットワーク接続を通じて、またはメディアをベースとした通信を通じて行なうことができる。本発明についての上記開示内容と整合する場合に、アルゴリズム自体を完全に自動化すること、またはアルゴリズム自体にユーザーが（完全にまたは部分的に手作業で）入力すること、またはユーザーまたはオペレータが見て結果を受け入れる／拒絶すること、またはアルゴリズム自体がメタデータにより支援されうること（メタデータは、ユーザーが供給すること、または測定装置（例えばカメラ中の）が供給すること、または別のアルゴリズムによって決定することができる）ができる。さらに、アルゴリズムは、様々なワークフローユーザーインターフェーススキームと相互作用することができる。

本明細書に開示した本発明に係るノイズ低減アルゴリズムは、さまざまなデータ検出法とデータ低減技術（例えば顔検出、目検出、皮膚検出、フラッシュ検出）を利用した内部コンポーネントを備えることができる。

本発明を、その好ましい態様に関して詳細に説明してきたが、本発明の精神および範囲内での種々の変形および改変も効果的であることは理解されよう。

１１０ コンピュータシステム
１１２ マイクロプロセッサをベースとしたユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスクドライブユニット
１２４ コンパクトディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６ フロッピー（登録商標）ディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナルコンピュータカード（ＰＣカード）
１３２ ＰＣカード読取機
１３４ ディジタルカメラ
１３６ カメラドッキングポート
１３８ ケーブル接続
１４０ 無線接続
２００ ＲＧＢＰ ＣＦＡ画像
２０２ パンクロマチック画像補間
２０４ フル解像度パンクロマチック画像
２０６ フル解像度パンクロマチック画像ノイズ低減
２０８ ノイズ低減されたフル解像度パンクロマッチク画像
２１０ ＲＧＢ ＣＦＡ画像ノイズ低減
２１２ ノイズ低減されたＲＧＢ ＣＦＡ画像
２１４ ＲＧＢ ＣＦＡ画像補間
２１６ ノイズ低減されたフル解像度フルカラー画像
２１８ フル解像度フルカラーノイズ低減
２２０ 最終的なノイズ低減されたフル解像度フルカラー画像
２２２ ノイズ低減されたフル解像度フルカラー画像
２２４ 最終的なノイズ低減されたフル解像度フルカラー画像
２２６ ノイズ低減されたフル解像度フルカラー画像

Claims (18)

1. ノイズが低減されたディジタルカラー画像を生成する方法であって、
   ａ． パンクロマチック画素および少なくとも２つのカラー光応答に対応するカラー画素を有する画像を提供するステップ；
   ｂ． 前記画像からパンクロマチック画像および少なくとも１つのカラー画像を提供するステップ；および
   ｃ． 複数のカラー特性を、各カラー画素位置のところの対応するパンクロマチック特性と等しく設定することにより、前記パンクロマチック画像および前記カラー画像を使用して、ノイズが低減されたディジタルカラー画像を生成するステップ；
   を含んで成る方法。
2. ステップｃ）の前記特性が、有効な近隣画素にわたって平均化された第一の空間的画素差を含む請求項１に記載の方法。
3. ステップｃ）の前記特性が、有効な近隣画素にわたって平均化された第二の空間的画素差を含む請求項１に記載の方法。
4. ステップｃ）の前記特性が、有効な近隣画素中の全ての第一の空間的画素差の中央値を含む請求項１に記載の方法。
5. ステップｃ）の前記特性が、有効な近隣画素中の全ての第二の空間的画素差の中央値を含む請求項１に記載の方法。
6. ステップｃ）の前記特性が、有効な近隣画素中の全ての第一の空間的画素差の最大量を含む請求項１に記載の方法。
7. ステップｃ）の前記特性が、有効な近隣画素中の全ての第二の空間的画素差の最大量を含む請求項１に記載の方法。
8. ステップｃ）の前記特性が、有効な近隣画素中の全ての第一の空間的画素差の最小量を含む請求項１に記載の方法。
9. ステップｃ）の前記特性が、有効な近隣画素中の全ての第二の空間的画素差の最小量を含む請求項１に記載の方法。
10. ステップａ）が、次のレッド、グリーンおよびブルーの感光性を有するカラー画素を含む請求項１に記載の方法。
11. ステップａ）が、次のシアン、マゼンタおよびイエローの感光性を有するカラー画素を含む請求項１に記載の方法。
12. ノイズが低減されたディジタルカラー画像を生成する方法であって、
    ａ． パンクロマチック画素および少なくとも２つのカラー光応答に対応するカラー画素を有する画像を提供するステップ；
    ｂ． 前記画像からパンクロマチック画像および少なくとも１つのカラー画像を提供するステップ；および
    ｃ． 近隣のパンクロマチック画素の値を使用して、有効な近隣中の各カラー画素に対応するパンクロマチック値を生成させ、そして、複数のカラー特性を、それぞれのカラー画素位置のところの対応するパンクロマチック特性と等しく設定することにより、前記計算されたパンクロマチック画素値および近隣の同じカラー画素値を使用して、ノイズが低減されたカラー画素を生成させ、このステップを各カラー画素に対して繰り返して、ノイズが低減されたディジタルカラー画像を生成するステップ；
    を含む方法。
13. ステップｃ）が、ｉ）カラーノイズが低減された画素を補間して補間カラー画素を生成することによりノイズが低減されたディジタルカラー画像を提供することをさらに含む請求項１２に記載の方法。
14. フルカラー補間画像に対してさらにノイズ低減を提供して、ノイズが低減された最終的なディジタルカラー画像を生成することをさらに含む請求項１２に記載の方法。
15. ステップｉ）の前に、補間パンクロマチック値を含む全てのパンクロマチック値のノイズを低減させて、ノイズが低減されたパンクロマチック画像を生成することをさらに含む請求項１２に記載の方法。
16. フルカラー補間画像に対してさらなるノイズ低減を提供して、ノイズが低減された最終的なディジタルカラー画像を生成することをさらに含む請求項１５に記載の方法。
17. ステップａ）が、レッド、グリーンおよびブルーの感光性を有するカラー画素を含む、請求項１２に記載の方法。
18. ステップａ）が、シアン、マゼンタおよびイエローの感光性を有するカラー画素を含む、請求項１２に記載の方法。

Images