JP2016514936A - 近赤外ガイドイメージノイズ除去 - Google Patents

Abstract

マルチスペクトルイメージングのためのシステムおよび方法が開示されている。マルチスペクトルイメージングシステムは、近赤外（ＮＩＲ）イメージングセンサと、可視イメージングセンサとを含むことができる。可視光イメージとＮＩＲイメージとにおける階調ベクトルから発生された階調スケールマップを使用して、可視光イメージをノイズ除去するように、開示されているシステムおよび方法を実現できる。階調スケールマップを使用して、ピクセル毎ベースで、ＮＩＲイメージからの可視光イメージに適用されるノイズ除去ガイダンスの量を決定してもよい。【選択図】 図２

Description

発明の背景

［発明の分野］
［０００１］
本開示は、ノイズ除去プロセスを含むイメージングシステムおよび方法に関連する。特に、本開示は、近赤外イメージを使用して、ノイズ除去プロセスをガイドするシステムおよび方法に関連する。

［関連技術の説明］
［０００２］
低照度条件のもとで高品質の写真やビデオを撮ることは、難題となることがある。十分な周辺光なしでピクチャの品質を高めるために、撮影者には、一般的に、４つのオプションがある。第１のオプションは、イメージを捕捉するときに、高いＩＳＯを使用することである。センサ利得を増加させると、有効に信号強度を増加させることができ、短い露光時間内で明るいイメージを得ることができる。しかしながら、同様に、イメージノイズが必然的に増加されるので、信号対ノイズ比（ＳＮＲ）は改善されない。

［０００３］
第２のオプションは、広い口径を使用して、イメージを捕捉することである。より多くの光がカメラレンズを通過できるようにすることは、イメージ品質を改善するための非常に単純明快な方法である。しかしながら、口径サイズを変更することは、被写界深度にも影響する。さらに、小型形態の要因、例えば、セル電話機のカメラに対応するように、センサおよびレンズが構築されているとき、効果は非常に限定される。

［０００４］
第３のオプションは、長い露光時間を使用して、イメージを捕捉することである。延長された露光時間は、ＳＮＲを増加させることができるが、捕捉されたイメージにおいて、望ましくない動きのボケを増加させるかもしれない。

［０００５］
第４のオプションは、鮮明な、ノイズの無いイメージを取得するために、シーンに対して、フラッシュまたは他の強い人工光を用いることである。しかしながら、フラッシュ光の色温度および強度は、普通、周辺光のそれらとはかなり異なり、フラッシュの使用は、雰囲気を台無しにして、赤目や、望ましくない反射や、不快な影や、および、強い光のハイライトと反射のような、望まれないアーティファクトをもたらすかもしれない。

［０００６］
上記の４つのオプションから、撮影者は、普通、高いＩＳＯイメージを使用し、捕捉されたイメージに対してノイズ減少を適用することを好む。イメージノイズ除去は、集中的に研究されている問題であり、多数の方法が存在する。しかしながら、最新技術のイメージノイズ除去方法を用いてさえ、特にノイズレベルが高いときに、高品質のノイズがない写真を取得することは、依然として非常に困難である。

［０００７］
従来の単一のイメージノイズ除去解決法は、いくつかの異なる方法からなる。イメージフィルタリングベースの方法は、ノイズのあるイメージの一部分を選択的に平滑化する。ウェーブレットベースの方法は、ウェーブレット係数の慎重な縮減に基づいている。イメージ先行ベースの方法は、ノイズの無いイメージからディクショナリを習得し、ディクショナリ中のエレメントの疎線形の組み合わせを使用して、ノイズの無いイメージを近似することによって、イメージをノイズ除去する。より最近のアプローチは、本来のイメージの「局所的でない」特性を活用する。本来のイメージ中の小さなパッチは、イメージ内で繰り返す傾向がある。方法の最後のクラスでは、ＢＭ３Ｄが、単一のイメージノイズ除去における最新技術をよく表している。しかしながら、単一のイメージノイズ除去アプローチで共通である根本的な問題は、特に、より精細なイメージ詳細に関して、単一のイメージノイズ除去アプローチが、ノイズ信号と、オリジナルのイメージ信号とを識別できないことである。よって、これらのアプローチは、比較的低いノイズレベルで、イメージに対して適度に良品質の結果を発生させるが、一般的に、高ノイズレベルを含むイメージに対して、多くのアーティファクトを有する、過度に平滑化された結果を生成させる。

［０００８］
上記で説明した単一のイメージノイズ除去アプローチの制限を克服する試みにおいて、デュアルイメージ方法は、ノイズ除去プロセスをガイドするために、別のイメージをもたらす。同一のシーンの、２つのイメージが捕捉される。その後、イメージ構造をよりよく保存するために、第２のイメージのガイダンスを使用して第１のイメージのイメージフィルタリングが適用され、精細なイメージ詳細を向上させるために、イメージ詳細転送が適用されてもよい。例えば、第１のイメージとは異なるライティング条件のもとでガイダンスイメージを捕捉してもよく、したがって、ガイダンスイメージは、イメージシーンの異なるレベルの詳細を含んでいるかもしれない。ガイダンスイメージ中の追加の詳細を使用して、第１のイメージの品質を向上させてもよい。デュアルイメージノイズ除去方法の第１のタイプは、ガイダンスイメージとして可視フラッシュイメージを使用する。しかしながら、この方法は、弱いエッジを容易にボケさせて、ガイダンスイメージからのアーティファクトをもたらすことがある。さらに、可視フラッシュは、低照度条件のもとで使用するのにはじゃまであり、ある環境においては禁止さえされている。

［０００９］
最も最近では、可視光帯域外のイメージを捕捉して、対応する可視光イメージをノイズ除去するのを助けるのにその「ダークフラッシュ」イメージを使用するために、「不可視フラッシュ」を、例えば、近赤外光または紫外線光を使用するフラッシュを使用するデュアルイメージノイズ除去方法の第２のタイプが現われている。参照としてダークフラッシュイメージを使用して、可視光イメージをノイズ除去するために、単純なポアッソン方程式を介した階調転送を採用できる。このような方法は、ノイズ除去と詳細転送とを同時に実行でき、ときには、高品質のノイズ除去結果を達成する。しかしながら、ダークフラッシュイメージからの階調制約は、発見的過ぎて、可視光イメージとダークフラッシュイメージとの間の差を取り扱うように上手く適合されていないかもしれない。これは、結果として、特に、強いノイズを有するイメージを取り扱うときに、ノイズ除去の結果において、顕著な外観変化をもたらす。

［００１０］
例として提供されていて、限定ではない以下の図面を参照して、発明の特定のインプリメンテーションをここで説明する。
［００１１］ 図１は、１つのインプリメンテーションにしたがった、マルチスペクトルイメージングシステムの概略的なブロックダイヤグラムである。 ［００１２］ 図２は、１つのインプリメンテーションにしたがった、特定のシーンのマルチスペクトルイメージデータを捕捉するための方法の実施形態のフローチャートである。 ［００１３］ 図３Ａは、例示的なＲＧＢおよびＮＩＲのイメージを図示している。 ［００１４］ 図３Ｂは、図３ＡのＲＢＧイメージの、赤、緑および青のチャネルのさまざまな領域、ならびに、図３ＡのＮＩＲイメージの対応する領域を図示している。 ［００１５］ 図４は、階調スケールマップを発生させて、ノイズ除去のために階調スケールマップを使用するための方法の実施形態のフローチャートである。 ［００１６］ 図５は、ノイズ除去プロセスのさまざまなステップでのイメージの例を図示している。

詳細な説明

［００１７］
ここで開示するインプリメンテーションは、イメージノイズ除去アプリケーションのためのシステム、方法および装置を提供する。例えば、ここで説明するように、近赤外（ＮＩＲ）イメージのような、対応するダークフラッシュイメージを使用して、ノイズのある可視光イメージから、高品質イメージを処理することが望ましいことがある。実施形態は、ここで、ＮＩＲイメージを用いることとして説明されているが、赤外線および紫外線のフラッシュイメージを同様に使用してもよいことが正しく認識されるだろう。ここで開示するインプリメンテーションを使用して、可視光のペア、例えば、同一のイメージシーンのＲＧＢイメージとＮＩＲイメージとを捕捉することができる。ノイズ除去プロセスの間、可視光イメージとＮＩＲイメージとをピクセルベースで位置調整してもよく、階調スケールマップをもたらして、位置調整された可視光イメージとＮＩＲイメージとの階調フィールドを関連付けてもよい。

［００１８］
可視光イメージの階調ベクトルと、ＮＩＲイメージの階調ベクトルとの間の差および類似性に基づいて、階調スケールマップを発生させてもよい。階調ベクトルは、イメージ中のピクセルの領域間の強度値における連続性および不連続性を検出するのに使用できる。連続性および不連続性は、イメージ中の対象の境界と、シーン照光における変動と、深度における不連続性と、物質的特性における変化とを表していてもよい。

［００１９］
イメージの階調ベクトルは、水平微分フィルタおよび垂直微分フィルタでイメージを畳み込むことによって、各ピクセルにおいて決定できる。例えば、ＮＩＲイメージと可視光イメージとの間のオーバーラップしている領域のような、ピクセルのグループに対して、ｘ方向とｙ方向に沿った階調ベクトルを計算してもよい。いくつかの実施形態において、水平微分フィルタおよび垂直微分フィルタでイメージを畳み込むことによって、階調ベクトルを計算してもよい。考えられるピクセルの各グループに対して、ピクセル強度値における水平の変化および垂直の変化を表している、水平方向と垂直方向における１次導関数または２次導関数を計算するために、微分フィルタを適用できる。これは、ピクセルのグループ中の中央ピクセルに割り当てることができる階調ベクトル値を生成させる。したがって、各ピクセルの周囲の領域における強度値を使用して、ピクセルにおける対応する階調ベクトル値を近似できる。イメージ中のピクセルの階調ベクトル値は、階調絶対値ベクトルと階調方向ベクトルとを計算するために組み合わせることができる。階調方向ベクトルおよび階調絶対値ベクトルは、対象境界の位置についての情報と、境界の各々の側上のピクセルの領域の異なる強度値についての情報とを提供する。例えば、対象境界ピクセルを、階調絶対値の局所的な最大値に位置付けることができる。

［００２０］
ここで説明するノイズ除去方法を促進するために、可視光イメージとＮＩＲイメージとを、ピクセル毎のベースで位置調整してもよく、オーバーラップしている領域にクロッピングしてもよい。可視光イメージの階調ベクトルとＮＩＲイメージ中の階調ベクトルとの値における差を、または、可視光イメージの階調ベクトルとＮＩＲイメージ中の階調ベクトルとの値の間の比を計算することによって、階調スケールマップを発生させてもよい。階調スケールマップは、したがって、イメージ間の構造的な差異および類似性の本質を捕捉し、ここで説明したノイズ除去プロセスにおいて使用するために、明確な統計的および数値的な意味を有するかもしれない。

［００２１］
いくつかの実施形態において、階調スケールマップには、各ピクセル位置に対して、正の値または負の値が割り当てられてもよい。例えば、可視光イメージとＮＩＲイメージとの両方において、類似した階調方向ベクトルを有する、エッジまたは構造が存在していることを、正の値は示しているかもしれない。可視光イメージとＮＩＲイメージとの両方において、エッジまたは構造が存在しているが、ＮＩＲイメージ中の局所的な階調ベクトルの方向が、可視光イメージ中の局所的な階調ベクトルに対して逆であることを、負の値は示しているかもしれない。例えば、ＮＩＲフラッシュから結果的に生じるハイライトや影により、可視光イメージにおいては存在しないエッジまたは構造が、ＮＩＲイメージにおいて存在していることを、ゼロの値は示しているかもしれず、または、例えば、赤および赤外線の光に対する、シーン中の対象の異なる反射特性により、可視光イメージ中に存在するエッジまたは構造が、ＮＩＲイメージにおいて存在しないことを、ゼロの値は示しているかもしれない。階調スケールマップ中のこれらの値の解析に基づいて、適応平滑化と、エッジ保存と、ガイダンス強度操作とを考慮して、階調転送によるノイズ除去のための最適な比のマップを発生させてもよい。最適な比のマップは、各ピクセルで可視光イメージに適用される、ＮＩＲイメージからのガイダンスの量を表していてもよい。階調スケールマップおよび階調転送スキームを利用することによって、ここで説明するノイズ除去の方法は、高品質のイメージノイズ除去を達成するために、ガイダンスイメージとして、ＮＩＲイメージをより上手く活用することができ、ノイズ除去された可視光イメージ中に、ガイダンスイメージから、付加的なアーティファクトをもたらすことなく、これを行うかもしれない。

［００２２］
実施形態において、イメージング装置は、２つの異なるタイプのイメージングセンサ、例えば、ＮＩＲセンサと可視光センサとを使用して、イメージを捕捉してもよい。このタイプのマルチスペクトルイメージングは、可視光センサによって捕捉されたイメージをノイズ除去するのに有用であることがある。１つの実施形態において、可視光センサにおいて受け取られた光は、シーンの色情報を伝えることができる一方、ＮＩＲセンサによって捕捉された光を使用して、イメージノイズ除去を実行することによって、可視光イメージの品質を向上させることができる。例えば、ＮＩＲイメージおよび可視光イメージは、階調ベクトルに分解して、階調スケールマップを作成するために使用してもよい。上記で説明したように、階調スケールマップを使用して、ＮＩＲイメージによる可視光イメージのノイズ除去をガイドして、捕捉した可視光イメージの品質を改善させてもよい。

［００２３］
１つの実施形態においては、ＮＩＲセンサによって捕捉されたイメージを使用して、低照度条件において捕捉された可視光イメージの品質を向上させる。例えば、従来の低照度システムでは、可視光フラッシュシステムを使用して、イメージングされる対象を照光することが多い。しかしながら、このような人工光は、イメージの雰囲気を台無しにするかもしれず、赤目や、望まれない反射や、影のような、好ましくないアーティファクトをもたらすかもしれない。ここで説明する方法では、可視光フラッシュの代わりにＮＩＲフラッシュランプを使用して、ＮＩＲイメージを捕捉してもよく、（ＲＧＢカラーＣＣＤのような）従来の可視イメージングセンサは、対応する可視光イメージを捕捉する。ＮＩＲイメージは、可視光イメージにおけるようにはノイズで汚されないかもしれず、（加重最小二乗平滑化技術のような）ノイズ除去技術に関連して、ＮＩＲイメージを使用して、低照度条件によって生じた可視イメージ（例えば、ＲＧＢ）からノイズを取り除いてもよい。主に、ＮＩＲフラッシュを使用して捕捉したＮＩＲガイダンスイメージの文脈内で議論するが、いくつかの実施形態において、イメージシーン中に本来存在する赤外線または近赤外光を検出するように構成されているイメージセンサを使用して、フラッシュなしで、ＮＩＲガイダンスイメージを捕捉してもよい。

［００２４］
ＮＩＲ（近赤外）光は、人間の眼には不可視であるが、イメージセンサによって捕捉することができる。対応するＲＧＢイメージにおいてノイズ除去と詳細復元をガイドするために、じゃまでないＮＩＲフラッシュを用いて、高品質の、ノイズの無いＮＩＲ写真を捕捉する。いくつかの実施形態は、ＲＧＢイメージとＮＩＲイメージとのペアを同時に捕捉して、その後、ＲＧＢイメージとＮＩＲイメージとを、ピクセルに関して位置調整してもよい。その全体が参照によってここに組み込まれている、２０１２年１０月３０日に出願された米国特許出願番号第１３／６６３，８９７号において説明されているように、デュアルカメラシステムを使用して、単一のＲＧＢ−ＩＲカメラによって、または、ステレオＲＧＢ−ＮＩＲカメラシステムによって、静的なシーンにおいてシーケンシャルなＲＧＢ−ＮＩＲショットを捕捉する単一のカメラを使用して、このようなイメージペアを捕捉することができる。

［００２５］
以下の記述において、例の完全な理解を提供するために、特定の詳細を与える。しかしながら、これらの特定の詳細なしで例を実施してもよいことが、当業者によって理解されるだろう。例えば、不必要な詳細で例を曖昧にしないようにするために、電気的なコンポーネント／デバイスを、ブロックダイヤグラムで示しているかもしれない。例をさらに説明するために、他の例では、このようなコンポーネント、他の構造および技術を詳細に示しているかもしれない。

［００２６］
フローチャート、フローダイヤグラム、有限状態ダイヤグラム、構造ダイヤグラム、または、ブロックダイヤグラムとして図示されているプロセスとして、例を説明していることにも着目する。フローチャートは、動作をシーケンシャルなプロセスとして説明しているかもしれないが、動作のうちの多くを、パラレルに、または同時に実行でき、プロセスを繰り返すことができる。さらに、動作の順序は、再構成してもよい。プロセスは、その動作が完了したときに終了する。プロセスは、方法や、関数や、手順や、サブルーチンや、サブプログラム等に対応していてもよい。プロセスが、ソフトウェア関数に対応しているとき、その終了は、呼出し関数またはメイン関数への関数のリターンに、あるいは、サブルーチンまたは同様な機能の類似した完了に対応していてもよい。

［００２７］
さまざまな異なるテクノロジーおよび技術のうちのいずれかを使用して、情報および信号を表してもよいことを、当業者は理解するだろう。例えば、上記の説明を通して参照されているかもしれない、データと、命令と、コマンドと、情報と、信号と、ビットと、シンボルと、チップは、電圧や、電流や、電磁波や、磁場または磁性粒子や、光場または光学粒子や、あるいは、これらのいずれかの組み合わせによって表されていてもよい。

［システム概観］
［００２８］
ここで図１に目を向けると、マルチスペクトルイメージングシステム１００の概略的なブロックダイヤグラムが図示されている。マルチスペクトルイメージングシステム１００は、マルチスペクトルイメージング装置１１０を含むことができる。少なくとも、可視光波長と、近赤外（ＮＩＲ）光波長とを含んでいる波長の広帯域を感知できる１つ以上のマルチスペクトルイメージングセンサを含むように、マルチスペクトルイメージング装置１１０を構成することができる。例えば、マルチスペクトルイメージング装置１１０は、およそ３９０ｎｍからおよそ１４００ｎｍの間の波長における光を検出するように構成することができる。もちろん、イメージング装置１１０は、同様に、はるかに広い範囲の波長を検出するように構成することもできる。いくつかのインプリメンテーションにおいて、マルチスペクトルイメージングセンサとして、電荷結合素子（ＣＣＤ）を使用できる。他のインプリメンテーションにおいて、マルチスペクトルイメージングセンサとして、ＣＭＯＳイメージングセンサを使用できる。さらに、シーンを照光するのを助けるために、フラッシュモジュール１１８および／または他のアクセサリが、マルチスペクトルイメージング装置１１０中に含まれていてもよい。さまざまなインプリメンテーションにおいて、フラッシュモジュール１１８は、可視フラッシュデバイスおよび／またはＮＩＲフラッシュデバイスを含むことができる。

［００２９］
図１において示されているインプリメンテーションにおいて、マルチスペクトルイメージング装置１１０は、単一のマルチスペクトルイメージングセンサの代わりに、２つの別々のセンサを含んでいる。このインプリメンテーションにおいて、マルチスペクトルイメージング装置１１０は、可視光センサ１１５と、別のＮＩＲセンサ１１７とを含んでいる。例えば、マルチスペクトルイメージング装置１１０は、少なくとも、およそ３９０ｎｍからおよそ８００ｎｍの間の範囲における可視光を検出することが可能なＣＣＤ／ＣＭＯＳセンサのような、第１の可視センサ１１５を有している。マルチスペクトルイメージング装置１１０は、さらに、およそ８００ｎｍからおよそ１４００ｎｍの間の範囲におけるＮＩＲ光を検出することが可能なＣＣＤ／ＣＭＯＳセンサのような、第２のＮＩＲセンサ１１７を含んでいる。いくつかのインプリメンテーションにおいて、可視センサおよびＮＩＲセンサに対する波長範囲は、オーバーラップさせることができ、または、実質的に同じにさえすることができる。いくつかのインプリメンテーションにおいて、ＮＩＲデータのみを検出するために、ＮＩＲパスフィルタのようなイメージングフィルタを、適切なＣＣＤ／ＣＭＯＳセンサ上で使用できる。１つのインプリメンテーションにおいて、例えば、可視光センサ１１５とＮＩＲセンサ１１７との両方を、Ｓｕｍｓｕｎｇ（登録商標）Ｓ５Ｋ４Ｅ１ＧＸ ＱＳＸＧＡ ＣＭＯＳセンサ上で実現できる。センサがＮＩＲ光を受け取ることができるようにするために、ＩＲカットオフフィルタを取り除くことによって、ＮＩＲセンサ１１７を実現できる。より低い波長、例えば、およそ８００ｎｍよりも低い波長をフィルタアウトするために、ＩＲフィルタによって、改良されたＮＩＲセンサ１１７をさらにカバーすることができる。例えば、Ｋｏｄａｋ（登録商標）Ｗｒａｔｔｅｎ ＩＲ ｆｉｌｔｅｒ（＃８７Ｃ）を、ＮＩＲセンサ１１７上に適用できる。他のインプリメンテーションにおいて、他のさまざまなセンサを、または、その組み合わせを使用して、可視イメージデータとＮＩＲイメージデータとを捕捉できる。

［００３０］
いくつかのインプリメンテーションにおいて、マルチスペクトルイメージングシステム１００は、ＲＧＢイメージとＮＩＲイメージとのペアを、同時に捕捉してもよい。マルチスペクトルイメージングシステム１００は、他の実施形態において、ＲＧＢイメージを捕捉する予め決定された時間間隔内で、ＮＩＲイメージを捕捉でき、予め決定された時間間隔は、イメージのペアが実質的に同一のシーンのものであるとすることができるのに十分なくらい短くてもよい。ＮＩＲフラッシュを使用するか、または、ターゲットイメージシーン中に存在するＮＩＲ周辺光を使用してイメージを捕捉することによって、ＮＩＲイメージを捕捉してもよい。フラッシュまたは周辺光を使用して、可視イメージを捕捉してもよい。

［００３１］
互いにデータ通信する、そして、イメージング装置１００とデータ通信するプロセッサ１４０およびメモリ１３０を、マルチスペクトルイメージングシステム１００はさらに含んでいる。プロセッサ１４０およびメモリ１３０を使用して、イメージング装置１１０によって捕捉されたイメージを処理して記憶させることができる。さらに、マルチスペクトルイメージングシステム１００は、ユーザに対して入力／出力（Ｉ／Ｏ）動作を提供するように構成されているユーザインターフェース（ＵＩ）１５０を含むことができる。例えば、ＵＩ１５０は、さまざまなアイコンをユーザに提示するディスプレイを含むことができる。ＵＩ１５０は、キーボード、タッチスクリーン入力、マウス、ローラーボール、データ入力（例えば、ＵＳＢまたはワイヤレス）、および／または、他の適切なタイプの入力デバイスのような、さまざまな入力デバイスも含んでいてもよい。ユーザがイメージデータを操作できるように、および／または、ユーザが使用を望むイメージングモードをユーザが選択できるように、ＵＩ１５０をプログラムできる。ＵＩ１５０は、マルチスペクトルイメージデータを捕捉するための制御も含んでいてもよい。

［００３２］
さらに、プロセッサ１４０およびメモリ１３０を、イメージ処理モジュール１２０中のソフトウェアモジュールのような、記憶されたプロセスを実現するように構成することができ、マルチスペクトルイメージング装置１１０によって捕捉されたマルチスペクトルイメージデータを処理するように構成することができる。イメージ処理モジュール１２０は、一時的でない記憶媒体のような、任意の適切なコンピュータ読取可能な記憶媒体において実現できる。イメージ処理モジュール１２０は、任意の数のソフトウェアモジュールを有することができる。例えば、通信モジュール１２１は、イメージ処理モジュール１２０上で実現できる。通信モジュール１２１は、マルチスペクトルイメージングシステム１００のコンポーネント間のデータのフローを管理するコンピュータにより実現される命令を備えることができる。例えば、通信モジュール１２１は、マルチスペクトルイメージング装置１１０からのイメージデータの受け取りを管理する命令を含むことができる。イメージ処理モジュール１２０は、さまざまなタイプのデータを、ソースコードを、および／または、実行可能なファイルを記憶させるように構成されている記憶モジュール１２９も含んでいる。例えば、イメージング装置１１０によって受け取られたイメージデータを、および／または、イメージ処理モジュール１２０によって処理されたイメージデータを記憶するように、記憶モジュール１２９をプログラムできる。

［００３３］
イメージ処理モジュール１２０は、さまざまなマルチスペクトルイメージングアプリケーションを実現させるようにプログラムされているさまざまなモジュールも含むことができる。例えば、イメージ処理モジュール１２０は、ＮＩＲイメージと可視光イメージとの両方を捕捉するようにプログラムされているダークフラッシュイメージングモジュール１２３を含んでいる。いくつかのインプリメンテーションにおいて、ダークフラッシュイメージングモジュール１２３は、可視光センサ１１５とＮＩＲセンサ１１７とに、実質的に同時にターゲットシーンのイメージを捕捉させてもよい。別のインプリメンテーションにおいて、ダークフラッシュイメージングモジュール１２３は、可視光センサ１１５とＮＩＲセンサ１１７とに、連続してターゲットシーンのイメージを捕捉させてもよい。

［００３４］
さらに、イメージ処理モジュール１２０は、ハイブリッドイメージングモジュール１２５を含んでいてもよい。イメージング装置１１０によって捕捉された静止イメージとビデオイメージとの両方を処理するように、ハイブリッドイメージングモジュール１２５をプログラムできる。例えば、可視光センサ１１５からの静止イメージデータを、そして、ＮＩＲセンサ１１７からのビデオイメージデータを、または、逆もまた同じように処理するように、ハイブリッドイメージングモジュール２５をプログラムできる。いくつかのアレンジメントにおいて、それぞれのセンサによって、静止イメージデータとビデオイメージデータとを、同時に捕捉できる。他のアレンジメントにおいて、静止イメージデータとビデオイメージデータとを、別々の回に捕捉できる。さまざまなインプリメンテーションにおいて、シーンのイメージ中の動きのボケを低減させるために、静止イメージデータを、ビデオイメージよりも高い解像度で捕捉できる。

［００３５］
イメージ処理モジュール１２０は、マルチスペクトル情報処理モジュール１２７も含んでいる。ノイズ除去プロセスを通して、可視光センサ１１５から捕捉された可視光イメージデータの品質を向上させるために、ＮＩＲセンサ１１７から捕捉されたＮＩＲイメージデータを処理するように、マルチスペクトル情報処理モジュール１２７をプログラムできる。マルチスペクトル情報処理モジュール１２７は、下記で説明するようなノイズ低減プロセスを行うために、さまざまなサブモジュールを含むことができる。

［００３６］
マルチスペクトル情報処理モジュール１２７は、イメージ位置調整モジュール１２４を含んでいてもよい。ＮＩＲセンサ１１７と可視光センサ１１５は、ある距離だけ離れてスペースをあけていてもよく、したがって、異なるフレーミングおよび／またはアングルを使用して、ターゲットシーンを捕捉するかもしれない。ノイズ低減のためにイメージを処理する前に、ＮＩＲイメージと可視光イメージとを位置調整してもよい。例えば、可視光センサ１１５とＮＩＲセンサ１１７とが、垂直に並べられていることを確認することのような、任意の予備動作を、ＮＩＲイメージおよび可視光イメージ上で実行するように、イメージ位置調整モジュール１２４をプログラムできる。ＮＩＲイメージ中のピクセルを可視光イメージ中のピクセルとマッチングして、複数のマッチングされたピクセルのペアを形成させるように、イメージ位置調整モジュール１２４をさらにプログラムできる。イメージ位置調整モジュール１２４は、よって、各イメージに対するイメージディスクリプタに基づいて、ＮＩＲイメージおよび可視光イメージの、初期のピクセル毎の位置調整を提供できる。イメージディスクリプタは、それぞれのイメージ中で測定されたイメージ階調に、部分的に基づいていてもよい。

［００３７］
ＮＩＲイメージと可視光イメージとの疎な一部分をあまねく位置調整するように、イメージ位置調整モジュール１２４をプログラムすることもできる。例えば、各マッチングされたピクセルペアに対するピクセル差異を計算するように、イメージ位置調整モジュール１２４をプログラムできる。さまざまなインプリメンテーションにおいて、ピクセル差異は、各マッチングされたペアに対するピクセルの分離距離に基づくことができる。各マッチングされたピクセルペアに対して計算されたピクセル差異に少なくとも部分的に基づいて、各マッチングされたピクセルペアに対する重みを割り当てるように、イメージ位置調整モジュール１２４をプログラムできる。いったん重みが割り当てられると、さまざまなインプリメンテーションにおいて、より大きな重みを有するマッチングが保たれる一方、より小さな重みを有するマッチングは廃棄される。可視イメージとＮＩＲイメージとの間の、区分的なホモグラフィ制約を推定でき、後続の位置調整処理のために、ホモグラフィ制約を満たすマッチングを保つことができる。

［００３８］
さらに、割り当てられた重みに少なくとも部分的に基づいて、ＮＩＲイメージを可視光イメージと位置調整するように、イメージ位置調整モジュール１２４をプログラムできる。例えば、イメージ位置調整モジュール１２４は、例えば、割り当てられた重みのような、強度類似値および／または信頼マップに基づいて、疎なマッチング結果を、密集したマッチング結果に伝播できる。いくつかの態様において、イメージの位置調整が正確であることを確認するために、可視光イメージのパースペクティブに対してＮＩＲイメージを、または、その逆も同じに、ワープさせることができる。

［００３９］
ＮＩＲイメージとＲＧＢイメージとから階調スケールマップを発生させるように、階調スケールマップ発生モジュール１２６をプログラムできる。例えば、上記で説明したように、可視光イメージとＮＩＲイメージとにおける階調ベクトル間の差および類似性に基づいて、階調スケールマップを発生させてもよい。したがって、例えば、ピクセルブロックに対して微分フィルタを適用し、各ピクセルブロック中の中央ピクセルに対して階調ベクトルを割り当てることによって、可視イメージとＮＩＲイメージのそれぞれ中の各ピクセルにおける階調ベクトル値を計算するように、階調スケールマップ発生モジュール１２６をプログラムできる。

［００４０］
ＮＩＲイメージおよび可視光イメージの階調ベクトルの比較に基づいて、階調スケールマップを発生させるように、階調スケールマップ発生モジュール１２６は、さらにプログラムされていてもよい。階調スケールマップは、したがって、ＮＩＲイメージと可視光イメージとの間の構造的な差異および類似性の本質を捕捉するかもしれない。いくつかの実施形態において、階調スケールマップ発生モジュール１２６は、階調スケールマップ内の各ピクセル位置に対して、正の値または負の値を割り当ててもよい。例えば、可視光イメージとＮＩＲイメージとの両方において、類似した階調方向ベクトルを有する、エッジまたは対象境界が存在していることを、正の値は示しているかもしれない。可視光イメージとＮＩＲイメージとの両方において、エッジが存在しているが、ＮＩＲイメージ中の局所的な階調ベクトルの方向が、可視光イメージ中の局所的な階調ベクトルに対して逆であることを、負の値は示しているかもしれない。例えば、ＮＩＲフラッシュから結果的に生じるハイライトや影により、可視光イメージにおいては存在しないエッジが、ＮＩＲイメージにおいて存在していることを、ゼロの値は示しているかもしれず、または、例えば、赤および赤外線の光に対する、シーン中の対象の異なる反射特性により、可視光イメージ中に存在するエッジまたは構造が、ＮＩＲイメージにおいて存在しないことを、ゼロの値は示しているかもしれない。

［００４１］
階調スケールマップ発生モジュール１２６から階調スケールマップ値を受け取るように、そして、このような値を利用して可視光イメージをノイズ除去するように、ノイズ除去モジュール１２８をプログラムしてもよい。いくつかの実施形態において、階調スケールマップにおけるピクセル毎の値の解析に基づいて、階調転送によるノイズ除去のための、最適な比のマップを発生させてもよい。最適な比のマップを構築するときに、ノイズ除去モジュール１２８は、適応平滑化や、エッジ保存や、ガイダンス強度操作のような、イメージ品質向上要因を考慮に入れるかもしれない。最適な比のマップは、ノイズ除去モジュール１２８が各ピクセルにおける可視光イメージに対して適用する、ＮＩＲイメージからのガイダンスの量を表していてもよい。

［００４２］
いくつかの実施形態において、可視光イメージ上での反復的なノイズ除去プロセスを実行するように、ノイズ除去モジュール１２８を、さらにプログラムしてもよい。例えば、ノイズ除去された可視光イメージおよびＮＩＲイメージ中の階調ベクトルフィールド間の類似性および差を表している更新された階調スケールマップを発生させるために、ノイズ除去された可視光イメージを、ＮＩＲイメージとともに、階調スケールマップ発生モジュール１２６に送り戻してもよい。ノイズ除去モジュール１２８は、ノイズ除去された可視イメージをさらにノイズ除去するために、この更新された階調スケールマップを使用してもよい。いくつかの実施形態において、更新された階調スケールマップが、以前の階調スケールマップからのしきい値量よりも小さく変化するまで、このプロセスを繰り返してもよい。いくつかの実施形態において、結果的なノイズ除去された可視光イメージが、更新された階調スケールマップを構築するために使用される、可視光イメージからのしきい値量よりも小さく変化するまで、プロセスを繰り返してもよい。

［プロセス概観］
［００４３］
図２は、１つのインプリメンテーションにしたがった、特定のシーンのマルチスペクトルイメージデータを捕捉するための方法２００のフローチャートである。図示された方法２００は、ＮＩＲセンサと可視光センサとをアクティブ化するブロック２０５中で始まる。例えば、図１を参照すると、ユーザは、イメージングシステム１００に電源を入れ、および／または、立ち上げて、センサがシーンを捕捉できるようにしてもよい。さまざまなインプリメンテーションにおいて、ＮＩＲセンサ１１７と可視光センサ１１５とをアクティブ化するために、移動体デバイス上のアイコンをエンゲージしてもよい。方法は、その後、ブロック２１０に移り、可視光センサによって可視光イメージを捕捉し、ＮＩＲセンサによってＮＩＲイメージを捕捉する。さまざまなアレンジメントにおいて、フラッシュ（例えば、可視および／またはＮＩＲフラッシュ）を使用してシーンを照光してもよい。

［００４４］
シーンの可視光イメージおよびＮＩＲイメージを捕捉した後に、プロセス２００は、ブロック２１５に移り、図１のイメージ位置調整モジュール１２４に関して、ＮＩＲイメージおよび可視光イメージを位置調整できる。イメージを正確に位置調整することによって、調整不良によって生じるイメージアーティファクトを低減させるか、または、取り除くことができる。後続の処理のために、位置調整されたイメージを、オーバーラップしている領域にクロップしてもよい。

［００４５］
プロセス２００は、その後、ＮＩＲイメージと可視光イメージの階調ベクトルフィールド間の、差および類似性を表している階調スケールマップを発生させるブロック２３０に移る。上記で説明したように、ＮＩＲイメージと可視光イメージの各ピクセルに対して、階調ベクトル方向と階調ベクトル絶対値との間の差を計算することによって、階調スケールマップを発生させてもよい。

［００４６］
次に、ブロック２２５において、イメージ処理のために、階調スケールマップを使用する。例えば、可視光イメージをノイズ除去するために、階調スケールマップを使用して、ＮＩＲイメージから、可視光イメージに適用されるガイダンスのレベルを決定してもよい。いくつかの実施形態において、可視光イメージに曇りをなくすために、または、可視光イメージのボケをなくすために、可視光イメージ中の鮮明さを、または、コントラストを増加させるために、あるいは、肌を滑らかにするアプリケーションのために、階調スケールマップを使用してもよい。

［００４７］
プロセス２００は、その後、追加のイメージを処理すべきか否かを決定するために、決定ブロック２３０に移る。決定ブロック２３０において、追加のイメージを処理すべきであるという決定がなされた場合、その後、追加のＮＩＲイメージデータと可視光イメージデータとを捕捉するために、方法２００はブロック２１０に戻る。決定ブロック２３０において処理すべき、追加のイメージがないという決定がなされた場合、その後、方法２００は終了する。

［ＮＩＲおよびＲＧＢの階調概観］
［００４８］
図３Ａは、例示的な可視光イメージ３００と、例示的なＮＩＲイメージ３１０とを図示している。この例において、可視光イメージ３００を、ＲＧＢイメージとして議論しているが、しかしながら、可視光イメージ３００は、グレースケールであってもよい。図３Ｂは、図３Ａのイメージを通して、長方形の縁取り３２０、３３０および３４０によって着目される、図３ＡのＲＧＢイメージ３００の赤、緑、および、青のチャネルのさまざまな領域と、ＮＩＲイメージ３１０の対応する領域とを考慮して、拡大して図示している。ＮＩＲイメージ３１０を使用して、ＲＧＢイメージ３００のノイズ除去をガイドすることは、ＲＧＢイメージの各チャネル（赤、緑および青のチャネル）と比較して、詳細な分布および強度形成においてかなりの差を作るかもしれない。図３Ａと図３Ｂとにおいて図示され、以下でさらに詳細に議論するように、ＲＧＢ３００イメージとＮＩＲ３１０イメージとの間の、エッジ構造および階調の不一致は、ほとんどすべてのピクセルに対して存在する。

［００４９］
存在するかもしれない１つの構造の不一致は、階調絶対値変動である。例として、エリア３２０を考慮して拡大されて示されているように、ブックカバー上の文字「Ｄ」は、ＲＧＢイメージ３００におけるものよりも、ＮＩＲイメージ３１０において、はるかに低いコントラストで捕捉されている。この効果は、赤外線および可視光に対する、異なる反射特性によるものであるかもしれない。

［００５０］
階調方向相違は、別の構造不一致であり、ここにおいて、ＲＧＢイメージ３００中のいくつかの階調方向ベクトルは、ＮＩＲイメージ３１０中の対応するエッジに沿って位置付けられている階調方向ベクトルに関して逆である。図示するために、図３Ｂにおいて、ブックカバーのより下側エリア３３０の赤のチャネル、緑のチャネルおよび青のチャネルが、同一のエリア３３０のＮＩＲチャネルと比較して、図示されている。２つのイメージの階調ベクトル方向は逆である。すなわち、赤、緑および青のチャネル中の下側ピクセル領域は、上側のピクセル領域よりも明るい一方、ＮＩＲイメージでは、上側のピクセル領域は、より下側のピクセル領域よりも明るい。上側および下側のイメージ領域中のピクセルは、それらの相対強度レベルを大きく変化させるが、ＲＧＢイメージおよびＮＩＲイメージ中では反対方向である。

［００５１］
別の構造上の不一致は、ＲＧＢイメージ３００中に存在するいくつかの階調が、ＮＩＲイメージ３１０において完全に失われる階調損失である。図３Ｂの最後の列において示すように、Ｊｅｗｅｌ Ｓｃａｒａｂのブックカバーの領域３４０における赤、緑および青のチャネル中で可視であるテキストは、ＮＩＲイメージの同一の領域３４０からすっかり欠落している。この階調損失は、赤外線および可視光に対する、シーン中の対象の異なる反射によるものでもあるかもしれない。図示されていないが、例えば、異なる照光源により、それぞれのイメージにおいて存在するハイライトまたは影における差から結果的に生じる他の構造上の不一致が、ＲＧＢイメージとＮＩＲイメージとにおけるピクセル領域間に存在するかもしれない。

［００５２］
一般的に、ＮＩＲイメージ光のコンテンツは、対応する可視光イメージよりも良いコントラストを産み、より豊かなレベルの詳細を伝え、これは、ＮＩＲイメージをガイダンスイメージとして使用して、ＲＧＢイメージの品質を向上させるための大きな可能性を発生させる。しかしながら、上記で議論した構造上の不一致により、ＮＩＲイメージのすべての領域が、ＲＧＢイメージの対応する領域を向上させるのに使用するのには適切ではないということは明白である。ＲＧＢイメージとＮＩＲイメージとの間の構造上の不一致によるガイダンス問題を防ぐために、ここで説明するノイズ除去方法は、２つのイメージの階調フィールド間の関係を記述するのに階調スケールマップを用いる。

［階調スケールマップ概観］
［００５３］
図４は、階調スケールマップを発生させて、ノイズ除去のために階調スケールマップを使用する方法の実施形態を図示しているフローチャートである。上記で議論したように、可視光イメージとＮＩＲイメージとの間の構造の本来の差異をより上手く取り扱うために、階調スケールマップを発生させてもよい。いくつかの実施形態において、階調スケールマップを以下のように定義する。
∇が、ｘ方向とｙ方向の階調を有するベクトルを形成する演算子であり、Ｉ^＊は、最適にノイズ除去された可視光イメージを表しているグラウンドトゥルースイメージであり、Ｇは、ノイズ除去プロセスにおいてガイダンスイメージとして使用するＮＩＲイメージである。いくつかの実施形態において、階調スケールマップｓは、ＮＩＲイメージおよびグラウンドトゥルースイメージの階調フィールド間の、スケールマップまたは比のマップを表していてもよい。これは、∇Ｇと∇Ｉ^＊との間の構造的差異に対応する数個の一意的な特性を有していてもよい。

［００５４］
ノイズのあるイメージであるかもしれないＲＧＢイメージＩ_０に対するイメージデータを受け取るとともに、無視できるノイズを有するかもしれない対応するＮＩＲフラッシュイメージＧに対するイメージデータを受け取るときに、プロセス４００は、ブロック４０５で始まる。Ｉ_０の全体的な視覚外観を保持しながらも、Ｇにしたがって、ノイズが取り除かれ、保持されている構造を有する、階調スケールマップｓと、クリーンなイメージＩとを、Ｉ_０から復元させるために、プロセス４００は、その後、ブロック４１０に移り、ＮＩＲイメージとＲＧＢイメージの両方中の各ピクセルに対するｘ方向およびｙ方向の階調ベクトルを決定する。いくつかの実施形態において、上記で説明したように、各ブロック中の中央ピクセルに対する階調ベクトル値を取得するために、ＮＩＲおよびＲＧＢのピクセルブロックに対して、水平の線形畳み込みフィルタと垂直の線形畳み込みフィルタとを適用することによって、これを遂行してもよい。いくつかの実施形態において、中央ピクセルを囲っている少なくとも４つのピクセルを使用して、中央ピクセルの階調ベクトル値を計算してもよいが、しかしながら、より多くのものを使用してもよい。例えば、各ピクセルに対する階調ベクトル値を、座標ペア、例えば、（ｘ、ｙ）として定義してもよく、イメージの向きに対して、座標ペアの「ｘ」変数の値は、右方向または左方向において階調が増加するか否かを示していてもよく、座標ペアの「ｙ」変数の値は、上方向または下方向において階調が増加するか否かを示していてもよい。

［００５５］
ＮＩＲイメージとＲＧＢイメージとの階調ベクトルを計算した後に、プロセス４００はブロック４２０に移り、階調ベクトルから階調スケールマップ値を計算する。いくつかの実施形態において、階調スケールマップは、ＮＩＲ階調ベクトルとＲＧＢ階調ベクトルとにおける値の間の比であってもよい。いくつかの実施形態において、階調スケールマップは、各ピクセル位置に対して、正の値または負の値を含んでいてもよい。例えば、可視光イメージとＮＩＲイメージとの両方において、類似した階調方向を有するエッジが存在することを、正の値は示しているかもしれないが、一方、可視光イメージとＮＩＲイメージとの両方において、エッジが存在するが、ＮＩＲイメージ中の局所的な階調ベクトルの方向は、可視光イメージ中の局所的な階調ベクトルに対して逆であることを、負の値は示しているかもしれない。例えば、ＮＩＲフラッシュから結果的に生じるハイライトと影によって、可視光イメージ中に存在しないエッジが、ＮＩＲイメージ中に存在することを、ゼロの値は示していているかもしれず、または、例えば、可視光および近赤外光に対するイメージ中の特質の異なる反射特性により、可視光イメージ中に存在するエッジが、ＮＩＲイメージ中に存在しないことを、ゼロの値は示しているかもしれない。

［００５６］
次に、プロセス４００はブロック４２５に移り、階調スケールマップ値を使用して、可視光イメージＩ_０のイメージノイズ除去をガイドする。階調スケールマップｓを使用して、Ｉ_０からノイズ除去されたイメージＩを取得することの問題は、以下の条件付き確率を最大化することとして公式化することができる。

［００５７］
ここで、Ｐ（Ｉ）は均一分布であると仮定する。両側の負の対数をとることによって、方程式（２）は、以下のように書き換えることができる。
方程式（３）は、３つの項を含んでいる。Ｅ_１（ｓ，Ｉ）は、推定されたイメージＩとガイダンスイメージＧとを関連付けるために、ｓを使用することのコストを表している、ｓおよびＩに対するデータ項である。Ｅ_２（Ｉ）は、推定されたイメージが、入力されたノイズのあるイメージＩ_０からどのくらい逸脱しているかを表している、Ｉに対するデータ項である。Ｅ_３（ｓ）は、ｓの平滑化にペナルティを実施する、ｓに対する規則化項である。ここで、λは、１〜１０の範囲にあり、ノイズのあるイメージＩ_０への信頼性を制御する。βはｓの平滑化に対応している。その値は、典型的に、経験的に［０．２〜０．８］に設定してもよい。

［００５８］
以下の方程式（４）において、Ｉは、オリジナルのノイズのあるＲＧＢイメージＩ_０のノイズ除去された反復を表しており、これは、グラウンドトゥルースイメージＩ^＊の推定であり、方程式（１）は、
のようにピクセル合計形式に更新される。ここで、ｉは、∇Ｇ_ｉによって表される、ＮＩＲガイダンスイメージの階調フィールド中のピクセルをインデックス付けする。ここで、∇Ｇ_ｉは、ｓ_ｉに対するスケールとして考えることができ、異なるピクセルにおいてｓ_ｉを計算するとき、ペナルティを制御できる。この形式においてコスト関数を使用するとき、最終的なコストは、∇Ｇ_ｉの値に大きく依存している。例えば、∇Ｇ_ｉと∇Ｉ_ｉを同時に２倍にした場合、ｓ_ｉは同じままで保たれるが、│∇Ｉ_ｉ−ｓ_ｉ・∇Ｇ_ｉ│からのコストは、２倍になるだろう。よって、∇Ｇ_ｉの階調の絶対値は、コストをかなり不安定にし、ｓ_ｉの計算に悪い影響を与える。これを補償するために、プロセス４００のいくつかの実施形態は、コスト関数を、
のように、正規化してもよい。

［００５９］
（∇Ｇ_ｉの２つの成分を考慮して）∇Ｇ_ｉを割ることによって、Ｇによって生じる予期しないスケーリングの影響を取り除く。∇_ＸＧ_ｉまたは∇_ｙＧ_ｉがゼロに近いという、自明な状況を避けるため、そして、アウトライアーを拒絶する能力を確保するために、ｓおよびＩに対するデータ項は、
として定義してもよい。ここで、ρ（ｘ）は、推定アウトライアーを取り除くのに使用するロバスト関数である。これは、
として定義され、ｐ_ｋ，ｉは、
として設定される切り捨て関数であり、ここで、ｋは、｛ｘ、ｙ｝中にある。

［００６０］
ここで、ｓｉｇｎ（ｘ）は、符号演算子であり、ｘが正またはゼロである場合、１を出力し、そうでなければ、−１を出力する。しきい値ｍを使用して、ゼロによる除法を避けてもよく、いくつかの実施形態においては、しきい値ｍを、経験的に０．００４に設定する。

［００６１］
Ｉに対するデータ項は、単純に、
として設定されている。ここで、ρは、方程式（７）において定義されているのと同一のロバスト関数である。特に、重要で、顕著なエッジエリアに対して、入力されたノイズのあるイメージＩ_０からしきい値量を超えて、回復結果が逸脱しないことを、データ項は要求するかもしれない。Ｉ_０からのノイズを拒絶するために、ロバスト関数を有益に使用してもよい、
［００６２］
規則化項は、特に、異方性の階調テンソルにより定義してもよい。階調スケールマップｓ中の値が、局所的に、ある方向においてのみ類似しているという事実に、これは基づいている。例えば、ｓ値は、エッジに渡る値よりも、エッジに沿って、平滑に変化するか、または、一定であるべきである。すべての方向において、ｓを均等に平滑化することは、連続的なエッジに沿った不連続性を作成するか、または、鮮明な境界をボケさせるかのいずれかである。

［００６３］
したがって、異方性テンソルスキームは、Ｇの階調方向にしたがって、鮮明なエッジを保存することができる。異方性テンソルは、
として表してもよい。ここで、∇Ｇ_ｉ ^⊥は、∇Ｇ_ｉに対して垂直なベクトルである。１は、等方性の平滑化を制御する単位行列およびスカラーである。∇Ｇ_ｉがηよりもはるかに小さいとき、異方性テンソルは等方性になるように低減する。他のより一般的なケースにおいて、異方性テンソルは、
に分解することができ、ここで、Ｄ（∇Ｇ_ｉ）の２つの直交固有ベクトルは、
であり、対応する固有値は
である。

［００６４］
この形式は、ｓに対する規則化を、
として表すことを可能にする。

［００６５］
それぞれ、エッジに渡って、そして、エッジに沿って、方向γ_１および方向γ_２におけるμ_１およびμ_２によって、異なる平滑化ペナルティを制御してもよい。より強い平滑化は、本来、エッジに沿って課される。

［００６６］
方程式（３）に対する各項を定義した後、最終的な目的関数は、
として表される。

［００６７］
方程式（１５）における目的関数は、疎項のために、非凸状である。最適化におけるｓおよびIに対するジョイント表現は、問題をさらに複雑化する。単純な満足のできる階調によって、そのままこれを解くと、最適性を補償できず、局所的な最小に対してさえ、非常に遅い収束につながるかもしれない。図示されている実施形態は、加重最小二乗スキームを用い、これは、オリジナルの特性を失うことなく、数個の対応する線形系を使用して、オリジナルの問題を、方程式（１５）中の目的関数を、解くのを可能にする。しかしながら、この問題を解決するのに使用できる多くの標準的な数的解法がある。

［００６８］
初めに、任意のスカラーｘに対して、方程式（４）中のロバスト関数ρ（ｘ）を、
として近似でき、ここで、φ（ｘ）は、
として定義される。

［００６９］
ここで、εは、ゼロによる除法を避けるための、小さな数であってもよい。この形式は、ロバスト関数を２つの部分に分けるのを可能にし、φ（ｘ）は、ｘ^２に対する重みとして考えることができる。φ（ｘ）とｘ^２のそれぞれは、より単純な表現の利益のある最適化を形成するために、他の項とともに利用できるので、プロセス４００の間、再加重最小二乗の慣例にしたがって、φ（ｘ）とｘ^２は、最適化の間、代替的に更新される。加重最小二乗スキームを使用することによって、方程式（３）は以下のようなベクトル形式に書き換えられる。
ここで、ｓ、ＩおよびＩ_０は、ｓ、ＩおよびＩ_０のベクトル表現である。Ｃ_ｘおよびＣ_ｙは、ｘ方向とｙ方向におけるイメージ階調を計算するために使用する離散後退差分行列である。Ｐ_ｘ、Ｐ_ｙ、Ａ_ｘ、Ａ_ｙおよびＢは、すべて対角行列であり、これらのｉ番目の対角エレメントは、
として定義される。

［００７０］
これらの間で、Ａ_ｘ、Ａ_ｙおよびＢは、再加重プロセスに対処し、典型的に、以前の反復からの推定を使用して計算される。Ｐ_ＸおよびＰ_ｙは、ガイドされた入力Ｇからの正規化項である。

［００７１］
方程式（１８）の最後の項は、ｓの空間平滑化を制御することに着目されたい。ここで、行列Ｌは、平滑化ラプラシアンであり、
として非自明的に表され、ここで、Σ_１、Σ_２、Ｖ_１およびＶ_２は、すべて対角行列である。これらのｉ番目の対角エレメントは、
として定義される。

［００７２］
次に、プロセス４００はブロック４３０に移り、ここで、ノイズ除去されたイメージを使用して、追加の階調スケールマップを発生させるので、プロセス４００は、方程式（１８）を解くために、交互最小化プロセスを有利に用いる。各反復ｔにおけるｓおよびＩの結果は、ｓ^（ｔ）およびＩ^（ｔ）として示されている。初めに、ｓ^（０）＝１であり、ここにおいて、エレメントはすべて１であり、Ｉ^（ｔ）＝Ｉ_０である。すべての初期ｓ_ｉを１に設定することによって、高い平滑化を達成することができる。これは、Ｅ_３（ｓ）に対してゼロコストをもたらし、最適化に対して非常に良い開始ポイントをもたらす。この初期化は、多くの詳細で、開始∇Ｉを∇Ｇと同じにすることも行う。その後、反復ｔ＋１において、以下の２つの下位問題をシーケンシャルに解く。

［００７３］
ｓ^{（ｔ＋１）}に対する解は、ｓ^（ｔ）とＩ^（ｔ）が与えられた場合に、Ｅ（ｓ、Ｉ）を最小化して、ｓ^{（ｔ＋１）}を得ることである。ｓ上のＥ（ｓ、Ｉ）の微分をとって、これらを０に設定することにより、疎線形系を取得してもよい。
ここで、ｓ^（ｔ）およびＩ^（ｔ）を使用して、Ａ_ｘ ^{（ｔ，ｔ）}およびＡ_ｙ ^{（ｔ，ｔ）}を計算する。これは、前提条件付き共役階調（ＰＣＧ）を使用して解いてもよい。解は、ｓ^{（ｔ＋１）}によって示される。

［００７４］
Ｉ^{（ｔ＋１）}に対する解は、ｓ^{（ｔ＋１）}とＩ^（ｔ）が与えられた場合に、Ｅ（ｓ、Ｉ）を最小化して、Ｉ^{（ｔ＋１）}を得ることである。同様に、Ｉ上のＥ（ｓ，Ｉ）の微分をとって、これらを０に設定することにより、Ｉを解くための最終的な疎線形系は、
である。ここで、ｓ^{（ｔ＋１）}およびＩ^（ｔ）を使用して、Ａ_Ｘ ^{（ｔ＋１，ｔ）}およびＡ_ｙ ^{（ｔ＋１，ｔ）}を計算する。Ｂ^{（ｔ＋１，ｔ）}は、Ｉ^（ｔ）に依存する。Ｉ^{（ｔ+１）}を取得するために、ＰＣＧを使用しても線形系は解ける。

［００７５］
決定ブロック４３５において、ｓおよびIがしきい値量を超えて変化しないとプロセス４００が決定するまで、２つのステップは繰り返す。いくつかの実施形態において、視覚的に心地良い結果を発生させるのには、３から６の反復で十分であるかもしれない。

［００７６］
ＢＭ３Ｄ、ジョイントＢＦ、および、既存のダークフラッシュ方法のような、既存のイメージノイズ除去方法と比較すると、ここで開示されている反復プロセス４００は、最終的なノイズ除去イメージ中の色やコントラストやイメージ構造の保存、および、エッジに沿ったアーティファクトの回避のような、いくつかの利点を提供する。特に、既存のダークフラッシュノイズ除去方法の結果と比較すると、ここで説明されているノイズ除去プロセスの結果は、より良い全体的なコントラストを有しており、ノイズのあるエッジに沿った階段アーティファクトを防ぐことができる。両方の方法は、オリジナルＲＧＢイメージにより色の類似を、ガイドされたイメージにより階調類似を強化する。しかしながら、既存のダークフラッシュ方法は発見的な疎階調制約を使用しており、発見的な疎階調制約は、オリジナルＲＧＢイメージとＮＩＲフラッシュイメージとの間の差を取り扱うためには、本来上手く適合されていない。従来のダークフラッシュ方法を使用するとき、ＲＧＢイメージの階調における大きな変化は、イメージコントラストの低減を導くかもしれない。対照的に、ここで説明する方法４００は、階調スケールマップを使用して、イメージペア間の差異および類似性を上手くモデル化する。したがって、ノイズ除去方法４００は、ノイズの無いターゲットイメージシーンのグラウンドトゥルースイメージの階調と近くなるように、ノイズのあるＲＧＢイメージの階調を制約できる。さらに、プロセス４００中で使用する異方性テンソルスキームは、疎階調制約によって生じる階段アーティファクトを低減させるのを助ける。

［ノイズ除去プロセスイメージ概観］
［００７７］
図５は、上記で説明したノイズ除去プロセス４００のさまざまなイメージおよびステージを図示している。この実施形態において、オリジナルのＲＧＢイメージ５００は、高いノイズレベルを有しており、ＮＩＲフラッシュイメージ５０５のいくつかの階調は、ノイズのあるＲＧＢイメージ５００の階調と比較して、復帰され、より弱い。図５は、階調スケールマップ５１０と、推定されたノイズ除去イメージ５１５の反復と、最終的なノイズ除去イメージ５２０も図示している。

［用語］
［００７８］
さらに、ここで開示したインプリメンテーションに関して説明されているさまざまな実例となる論理ブロックと、モジュールと、回路と、プロセスステップを、電子ハードウェアや、コンピュータソフトウェアや、または、両方の組み合わせとして実現してもよいことを、当業者は正しく認識するだろう。ハードウェアとソフトウェアのこの互換性を明確に図示するために、さまざまな実例となるコンポーネントと、ブロックと、モジュールと、回路と、ステップを、これらの機能に関して、上記で一般的に説明している。ハードウェアまたはソフトウェアとして、このような機能を実現するか否かは、特定のアプリケーションと、システム全体に課された設計制約とに依存している。熟練した職人は、説明した機能を、各特定のアプリケーションに対して変化する方法で実現してもよいが、このようなインプリメンテーション決定は、本発明の範囲からの逸脱を生じさせるように解釈されるべきではない。当業者は、一部分または一部が、全体よりもいくらか小さく、または、等しく構成されていることを認識するだろう。例えば、ピクセルの収集の一部分は、これらのピクセルのサブ収集を指しているかもしれない。

［００７９］
ここで開示されているインプリメンテーションに関連して説明されているさまざまな実例となる論理ブロックと、モジュールと、回路は、汎用プロセッサや、デジタル信号プロセッサ（ＤＳＰ）や、特定用途向け集積回路（ＡＳＩＣ）や、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）や、または、他のプログラム可能な論理デバイスや、ディクリートゲートまたはトランジスタ論理や、ディクリートハードウェアコンポーネントや、または、ここで説明した機能を実行するように設計されているこれらの任意の組み合わせによって、実現するか、または、実行してもよい。汎用プロセッサは、マイクロプロセッサであってもよいが、代替において、プロセッサは、任意の従来のプロセッサや、制御装置や、マイクロ制御装置や、状態機械であってもよい。例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、または、他の何らかのこのようなコンフィギュレーションのような、計算デバイスの組み合わせとしても、プロセッサを実現してもよい。

［００８０］
ここで開示されたインプリメンテーションに関して説明されている方法またはプロセスのステップは、ハードウェア中か、プロセッサによって実行されるソフトウェアモジュール中か、または、２つの組み合わせ中で、直接具現化してもよい。ＲＡＭメモリや、フラッシュメモリや、ＲＯＭメモリや、ＥＰＲＯＭ（登録商標）メモリや、ＥＥＰＲＯＭ（登録商標）メモリや、レジスタや、ハードディスクや、取外し可能ディスクや、ＣＤ−ＲＯＭや、または、技術的に知られている一時的でない記憶媒体の他の何らかの形態中で、ソフトウェアモジュールは存在していてもよい。例示的なコンピュータ読取可能な記憶媒体は、プロセッサに結合されており、このようなプロセッサは、コンピュータ読取可能な記憶媒体からの情報を読み取り、そして、コンピュータ読取可能な記憶媒体への情報を書き込むことができる。代替において、記憶媒体は、プロセッサと一体化していてもよい。プロセッサおよび記憶媒体は、ＡＳＩＣ中に存在していてもよい。ＡＳＩＣは、ユーザ端末中、カメラ中、または、他のデバイス中に存在していてもよい。代替において、プロセッサおよび記憶媒体は、ユーザ端末中、カメラ中、または、他のデバイス中のディクリートコンポーネントとして存在していてもよい。

［００８１］
参照のために、そして、さまざまなセクションを位置付けるのを支援するために、見出しがここに含まれている。これらの見出しは、これに関して説明したコンセプトの範囲を限定することを意図していない。このようなコンセプトは、明細書全体を通して適用可能性を有していてもよい。

［００８２］
開示されたインプリメンテーションの以前の記述は、任意の当業者が本発明を作るか、または、使用するのを可能にするために提供されている。これらのインプリメンテーションに対するさまざまな修正は、当業者に対して、たやすく明白であり、そして、ここで定義されている包括的な原理は、本発明の精神および範囲から逸脱することなく、他のインプリメンテーションに適用してもよい。よって、本発明は、ここで示されているインプリメンテーションを限定することを意図していないが、ここで開示されている原理および新たな特徴と一貫するより広い範囲を与えることを意図している。

［００８２］
開示されたインプリメンテーションの以前の記述は、任意の当業者が本発明を作るか、または、使用するのを可能にするために提供されている。これらのインプリメンテーションに対するさまざまな修正は、当業者に対して、たやすく明白であり、そして、ここで定義されている包括的な原理は、本発明の精神および範囲から逸脱することなく、他のインプリメンテーションに適用してもよい。よって、本発明は、ここで示されているインプリメンテーションを限定することを意図していないが、ここで開示されている原理および新たな特徴と一貫するより広い範囲を与えることを意図している。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］イメージノイズ除去のための電子的な方法において、
前記方法は、
ＮＩＲイメージと可視光イメージとを含むイメージデータを受け取ることと、
前記ＮＩＲイメージ中のピクセルを、前記可視光イメージ中の対応するピクセルと位置調整することと、
前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定することと、
前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させることと、
前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することとを含む方法。
［２］前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ピクセル毎の階調スケールマップ値を使用して、前記ＮＩＲイメージからノイズ除去ガイダンスのレベルを決定することをさらに含む［１］記載の方法。
［３］前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、加重最小二乗平滑化技術を用いて、前記可視光イメージからノイズを取り除くことを含む［１］記載の方法。
［４］前記ピクセル毎の階調スケールマップ値は、前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとの間の差のレベルを表す［２］記載の方法。
［５］前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ノイズ除去されたイメージを発生させることをさらに含み、
前記方法は、
前記ノイズ除去されたイメージ中の階調ベクトルを決定することと、
前記ＮＩＲイメージ中の前記階調ベクトルと、前記ノイズ除去されたイメージ中の前記階調ベクトルとから、追加の階調スケールマップを発生させることとをさらに含む［１］記載の方法。
［６］前記階調スケールマップと、前記追加の階調スケールマップとの間の差を計算することをさらに含む［５］記載の方法。
［７］前記差を、しきい値と比較することと、
前記差が前記しきい値よりも大きい場合、前記追加の階調スケールマップを使用して、前記ノイズ除去されたイメージをノイズ除去することか、または、前記差が前記しきい値よりも小さい場合、前記ノイズ除去されたイメージを最終イメージとして出力することとをさらに含む［６］記載の方法。
［８］マルチスペクトルイメージングシステムにおいて、
近赤外（ＮＩＲ）イメージを捕捉するように構成されているＮＩＲイメージングセンサと、
可視光イメージを捕捉するように構成されている可視光イメージングセンサと、
前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定し、
前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させるようにプログラムされている階調スケールマップ発生モジュールと、
前記階調スケールマップを使用して、前記可視光イメージをノイズ除去するようにプログラムされているノイズ除去モジュールとを具備するシステム。
［９］前記ノイズ除去モジュールは、加重最小二乗平滑化技術を用いることにより、前記階調スケールマップを使用して、前記可視光イメージをノイズ除去するようにさらにプログラムされている［８］記載のシステム。
［１０］前記ＮＩＲイメージと前記可視光イメージとを位置調整するように構成されているイメージ位置調整モジュールをさらに具備する［８］記載のシステム。
［１１］赤外線波長のスペクトル中の光で、前記ＮＩＲイメージを照光するように構成されているＮＩＲフラッシュをさらに具備する［８］記載のシステム。
［１２］前記階調スケールマップ発生モジュールは、前記ＮＩＲイメージ中の前記階調ベクトルを、前記可視光イメージ中の前記階調ベクトルと比較して、ピクセル毎の階調スケールマップ値を発生させる［８］記載のシステム。
［１３］前記ノイズ除去モジュールは、前記ピクセル毎の階調スケールマップ値を使用して、前記可視光イメージ中の各ピクセルに対して、前記ＮＩＲイメージからノイズ除去ガイダンスの量を決定するようにプログラムされている［１２］記載のシステム。
［１４］前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ノイズ除去されたイメージを発生させ、前記ノイズ除去モジュールは、前記ノイズ除去されたイメージ中の階調ベクトルと、前記ＮＩＲイメージ中の前記階調ベクトルとに基づいて、追加の階調スケールマップを発生させるようにプログラムされている［８］記載のシステム。
［１５］ノイズ除去モジュールは、前記追加の階調スケールマップを使用して、前記ノイズ除去されたイメージをノイズ除去し、これにより第２の反復ノイズ除去されたイメージを発生させるようにプログラムされている［１４］記載のシステム。
［１６］前記ノイズ除去モジュールは、現在の階調スケールマップと以前の階調スケールマップとの間の差が、しきい値を下回るまで、さらなる追加の階調スケールマップを発生させ続けるようにプログラムされている［１５］記載のシステム。
［１７］前記ノイズ除去モジュールは、現在の反復ノイズ除去されたイメージと以前の反復ノイズ除去されたイメージとの間の差が、しきい値を下回るまで、さらなる追加の階調スケールマップと、さらなる反復ノイズ除去されたイメージとにより、ノイズ除去反復を継続するようにプログラムされている［１５］記載のシステム。
［１８］イメージングシステムにおいて、
ＮＩＲイメージを捕捉する手段と、
可視光イメージを捕捉する手段と、
前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定する手段と、
前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させる手段と、
前記階調スケールマップを使用して、前記可視光イメージをノイズ除去する手段とを具備するイメージングシステム。
［１９］前記階調ベクトルを決定する手段と、前記階調スケールマップを発生させる手段は、階調スケールマップモジュールを含む［１８］記載のイメージングシステム。
［２０］前記ＮＩＲイメージを捕捉する手段は、ＮＩＲイメージセンサとＮＩＲフラッシュを含む［１８］記載のイメージングシステム。
［２１］前記ＮＩＲイメージと前記可視光イメージとを位置調整する手段をさらに具備する［１８］記載のイメージングシステム。
［２２］前記ＮＩＲイメージと前記可視光イメージを位置調整する手段は、イメージ位置調整モジュールを含む［２１］記載のイメージングシステム。
［２３］前記可視光イメージをノイズ除去する手段は、ノイズ除去モジュールを含む［１８］記載のイメージングシステム。
［２４］その上に記憶されているコードを有する、一時的でないコンピュータ読取可能媒体において、
前記コードは、実行されたときに、
ＮＩＲイメージと可視光イメージとを含むイメージデータを受け取ることと、
前記ＮＩＲイメージ中のピクセルを、前記可視光イメージ中の対応するピクセルと位置調整することと、
前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定することと、
前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させることと、
前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することとを含む方法を実行する一時的でないコンピュータ読取可能媒体。
［２５］前記方法は、ピクセル毎の階調スケールマップ値を使用して、前記ＮＩＲイメージからノイズ除去ガイダンスのレベルを決定することをさらに含む［２４］記載の一時的でないコンピュータ読取可能媒体。
［２６］前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ノイズ除去されたイメージを発生させることをさらに含む［２４］記載の一時的でないコンピュータ読取可能媒体。
［２７］前記方法は、前記ノイズ除去されたイメージ中の階調ベクトルを決定することと、前記ＮＩＲイメージ中の前記階調ベクトルと前記ノイズ除去されたイメージ中の前記階調ベクトルとから、追加の階調スケールマップを発生させることとをさらに含む［２６］記載の一時的でないコンピュータ読取可能媒体。
［２８］前記方法は、前記階調スケールマップと、前記追加の階調スケールマップとの間の差を計算することをさらに含む［２７］記載の一時的でないコンピュータ読取可能媒体。
［２９］前記方法は、前記差をしきい値と比較することをさらに含み、前記差が前記しきい値よりも大きい場合、前記方法は、前記追加の階調スケールマップを使用して、前記ノイズ除去されたイメージをノイズ除去することをさらに含むか、または、前記差が前記しきい値よりも小さい場合、前記方法は、前記ノイズ除去されたイメージを最終イメージとして出力することをさらに含む［２８］記載の一時的でないコンピュータ読取可能媒体。
［３０］前記方法は、前記可視光イメージを捕捉する予め決定された時間間隔内で、ＮＩＲフラッシュを使用して、前記ＮＩＲイメージを捕捉することをさらに含む［２４］記載の一時的でないコンピュータ読取可能媒体。

Claims (30)

1. イメージノイズ除去のための電子的な方法において、
   前記方法は、
   ＮＩＲイメージと可視光イメージとを含むイメージデータを受け取ることと、
   前記ＮＩＲイメージ中のピクセルを、前記可視光イメージ中の対応するピクセルと位置調整することと、
   前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定することと、
   前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させることと、
   前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することとを含む方法。
2. 前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ピクセル毎の階調スケールマップ値を使用して、前記ＮＩＲイメージからノイズ除去ガイダンスのレベルを決定することをさらに含む請求項１記載の方法。
3. 前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、加重最小二乗平滑化技術を用いて、前記可視光イメージからノイズを取り除くことを含む請求項１記載の方法。
4. 前記ピクセル毎の階調スケールマップ値は、前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとの間の差のレベルを表す請求項２記載の方法。
5. 前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ノイズ除去されたイメージを発生させることをさらに含み、
   前記方法は、
   前記ノイズ除去されたイメージ中の階調ベクトルを決定することと、
   前記ＮＩＲイメージ中の前記階調ベクトルと、前記ノイズ除去されたイメージ中の前記階調ベクトルとから、追加の階調スケールマップを発生させることとをさらに含む請求項１記載の方法。
6. 前記階調スケールマップと、前記追加の階調スケールマップとの間の差を計算することをさらに含む請求項５記載の方法。
7. 前記差を、しきい値と比較することと、
   前記差が前記しきい値よりも大きい場合、前記追加の階調スケールマップを使用して、前記ノイズ除去されたイメージをノイズ除去することか、または、前記差が前記しきい値よりも小さい場合、前記ノイズ除去されたイメージを最終イメージとして出力することとをさらに含む請求項６記載の方法。
8. マルチスペクトルイメージングシステムにおいて、
   近赤外（ＮＩＲ）イメージを捕捉するように構成されているＮＩＲイメージングセンサと、
   可視光イメージを捕捉するように構成されている可視光イメージングセンサと、
   前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定し、
   前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させるようにプログラムされている階調スケールマップ発生モジュールと、
   前記階調スケールマップを使用して、前記可視光イメージをノイズ除去するようにプログラムされているノイズ除去モジュールとを具備するシステム。
9. 前記ノイズ除去モジュールは、加重最小二乗平滑化技術を用いることにより、前記階調スケールマップを使用して、前記可視光イメージをノイズ除去するようにさらにプログラムされている請求項８記載のシステム。
10. 前記ＮＩＲイメージと前記可視光イメージとを位置調整するように構成されているイメージ位置調整モジュールをさらに具備する請求項８記載のシステム。
11. 赤外線波長のスペクトル中の光で、前記ＮＩＲイメージを照光するように構成されているＮＩＲフラッシュをさらに具備する請求項８記載のシステム。
12. 前記階調スケールマップ発生モジュールは、前記ＮＩＲイメージ中の前記階調ベクトルを、前記可視光イメージ中の前記階調ベクトルと比較して、ピクセル毎の階調スケールマップ値を発生させる請求項８記載のシステム。
13. 前記ノイズ除去モジュールは、前記ピクセル毎の階調スケールマップ値を使用して、前記可視光イメージ中の各ピクセルに対して、前記ＮＩＲイメージからノイズ除去ガイダンスの量を決定するようにプログラムされている請求項１２記載のシステム。
14. 前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ノイズ除去されたイメージを発生させ、前記ノイズ除去モジュールは、前記ノイズ除去されたイメージ中の階調ベクトルと、前記ＮＩＲイメージ中の前記階調ベクトルとに基づいて、追加の階調スケールマップを発生させるようにプログラムされている請求項８記載のシステム。
15. ノイズ除去モジュールは、前記追加の階調スケールマップを使用して、前記ノイズ除去されたイメージをノイズ除去し、これにより第２の反復ノイズ除去されたイメージを発生させるようにプログラムされている請求項１４記載のシステム。
16. 前記ノイズ除去モジュールは、現在の階調スケールマップと以前の階調スケールマップとの間の差が、しきい値を下回るまで、さらなる追加の階調スケールマップを発生させ続けるようにプログラムされている請求項１５記載のシステム。
17. 前記ノイズ除去モジュールは、現在の反復ノイズ除去されたイメージと以前の反復ノイズ除去されたイメージとの間の差が、しきい値を下回るまで、さらなる追加の階調スケールマップと、さらなる反復ノイズ除去されたイメージとにより、ノイズ除去反復を継続するようにプログラムされている請求項１５記載のシステム。
18. イメージングシステムにおいて、
    ＮＩＲイメージを捕捉する手段と、
    可視光イメージを捕捉する手段と、
    前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定する手段と、
    前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させる手段と、
    前記階調スケールマップを使用して、前記可視光イメージをノイズ除去する手段とを具備するイメージングシステム。
19. 前記階調ベクトルを決定する手段と、前記階調スケールマップを発生させる手段は、階調スケールマップモジュールを含む請求項１８記載のイメージングシステム。
20. 前記ＮＩＲイメージを捕捉する手段は、ＮＩＲイメージセンサとＮＩＲフラッシュを含む請求項１８記載のイメージングシステム。
21. 前記ＮＩＲイメージと前記可視光イメージとを位置調整する手段をさらに具備する請求項１８記載のイメージングシステム。
22. 前記ＮＩＲイメージと前記可視光イメージを位置調整する手段は、イメージ位置調整モジュールを含む請求項２１記載のイメージングシステム。
23. 前記可視光イメージをノイズ除去する手段は、ノイズ除去モジュールを含む請求項１８記載のイメージングシステム。
24. その上に記憶されているコードを有する、一時的でないコンピュータ読取可能媒体において、
    前記コードは、実行されたときに、
    ＮＩＲイメージと可視光イメージとを含むイメージデータを受け取ることと、
    前記ＮＩＲイメージ中のピクセルを、前記可視光イメージ中の対応するピクセルと位置調整することと、
    前記ＮＩＲイメージ中の階調ベクトルと、前記可視光イメージ中の階調ベクトルとを決定することと、
    前記ＮＩＲイメージ中の前記階調ベクトルと、前記可視光イメージ中の前記階調ベクトルとから、階調スケールマップを発生させることと、
    前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することとを含む方法を実行する一時的でないコンピュータ読取可能媒体。
25. 前記方法は、ピクセル毎の階調スケールマップ値を使用して、前記ＮＩＲイメージからノイズ除去ガイダンスのレベルを決定することをさらに含む請求項２４記載の一時的でないコンピュータ読取可能媒体。
26. 前記階調スケールマップを使用して、前記可視光イメージをノイズ除去することは、ノイズ除去されたイメージを発生させることをさらに含む請求項２４記載の一時的でないコンピュータ読取可能媒体。
27. 前記方法は、前記ノイズ除去されたイメージ中の階調ベクトルを決定することと、前記ＮＩＲイメージ中の前記階調ベクトルと前記ノイズ除去されたイメージ中の前記階調ベクトルとから、追加の階調スケールマップを発生させることとをさらに含む請求項２６記載の一時的でないコンピュータ読取可能媒体。
28. 前記方法は、前記階調スケールマップと、前記追加の階調スケールマップとの間の差を計算することをさらに含む請求項２７記載の一時的でないコンピュータ読取可能媒体。
29. 前記方法は、前記差をしきい値と比較することをさらに含み、前記差が前記しきい値よりも大きい場合、前記方法は、前記追加の階調スケールマップを使用して、前記ノイズ除去されたイメージをノイズ除去することをさらに含むか、または、前記差が前記しきい値よりも小さい場合、前記方法は、前記ノイズ除去されたイメージを最終イメージとして出力することをさらに含む請求項２８記載の一時的でないコンピュータ読取可能媒体。
30. 前記方法は、前記可視光イメージを捕捉する予め決定された時間間隔内で、ＮＩＲフラッシュを使用して、前記ＮＩＲイメージを捕捉することをさらに含む請求項２４記載の一時的でないコンピュータ読取可能媒体。