JP2022525853A - 結合前ノイズ除去による高ダイナミックレンジ画像生成 - Google Patents

Abstract

ハイダイナミックレンジ（ＨＤＲ）画像を生成するための方法であって、（ａ）短時間露光画像をノイズ除去するステップであって、該ノイズ除去するステップは、短時間露光画像に第１のガイドフィルタを適用するステップであって、ガイドフィルタは長時間露光画像をそのガイドとして利用する、適用するステップを含む、ノイズ除去するステップと、(ｂ)ノイズ除去するステップの後、短時間露光画像及び長時間露光画像を共通の放射輝度スケール上に置くために、短時間露光画像及び長時間露光画像の少なくとも一方をスケーリングするステップと、（ｃ）スケーリングするステップの後、ＨＤＲ画像を生成するために、短時間露光画像を長時間露光画像とマージするステップと、を含む、ハイダイナミックレンジ（ＨＤＲ）画像を生成するための方法。

Description

関連出願の相互参照
本出願は２０１９年４月１１日に出願された米国仮出願第６２／８３２，６１７号、及び２０１９年４月１１日に出願された欧州特許出願第１９１６８６１２．０号からの優先権の利益を主張するものであり、それらの各々は参照によりその全体が本明細書に組み込まれる。

本発明は高ダイナミックレンジ撮像に関する。

スマートフォンなどのほとんどのハンドヘルドカメラ装置は、８ビット又はおそらく１０ビットのビット深度を有する画像センサを利用する。多くのシーンでは、このビット深度がシーンの最も明るい領域と最も暗い領域の両方をキャプチャするには不十分である。例えば、背面照明された人物の写真を撮るとき、人物の顔は露光不足に見えることがあり、あるいは、より明るい背景は露光過剰に見えることがある。

高ダイナミックレンジ（ＨＤＲ）撮像機能はこの問題を克服しようとする。最も一般的には、ＨＤＲデジタルカメラは同じシーンの２つの画像をキャプチャする。１つは露光時間が短い画像で、シーンの明るい部分の良い画像データを取得し、もう１つは露光時間が長い画像で、シーンの暗い部分の良い画像データを取得する。次に、これら２つの画像を組み合わせて、より明るいシーン部分とより暗いシーン部分の両方を適切に描写するシーンの単一のＨＤＲ画像を生成する。この組み合わせは、２つの画像を共通の放射輝度スケールにスケーリングし、次いで２つの画像をマージすることを含む。

最も広く使用されているタイプのＨＤＲデジタルカメラは時間多重化を用いており、短い露光時間の画像と長い露光時間の画像が順次取り込まれる。しかしながら、２つの露光間の時間的オフセットは、シーン内のオブジェクトが２つの露光間を移動するとき、又はカメラの動きがある場合に、モーションアーチファクトをもたらす。モーションアーチファクトを最小化するために、新しいタイプのＨＤＲ画像センサは代わりに空間多重化を利用し、センサ画素の第１のサブセットは短い露光時間で操作され、一方、第１のサブセットとインターレースされたセンサ画素の第２のサブセットは長い露光時間で操作される。時間差を最小化するために、長時間露光画素の露光中に短時間露光画素が露光される。

ＨＤＲや標準的な単一露光画像キャプチャのいずれの場合でも、今日使用されている画像センサの大部分はカラー画像センサである。２つの異なる露光時間で撮像された画像データからＨＤＲ画像を生成するために、非ＨＤＲデジタルカラーカメラの標準画像処理パイプラインは、２つの異なる露光時間で撮像された画像データの組み合わせ（スケーリング及びマージング）をさらに含むように適合される。標準画像処理パイプラインはカラー画像センサからの生（非ＨＤＲ）画像データをノイズ除去し、次いで、各出力画素が完全な色情報を有するフルカラー画像を生成するために、異なる色成分をデモザイクする。ＨＤＲ撮像では、この標準的な画像処理パイプラインは、異なる露光時間でキャプチャされた画像データをスケーリングし、マージする付加的なフロントエンドで都合良く拡張される。このフロントエンドは生の非ＨＤＲ画像データと同じフォーマットの画像データを生成し、その結果、既存の標準パイプライン（ノイズ除去及びデモザイク）は、ＨＤＲ適応を必要とせずに進行することができる。

一実施形態では、高ダイナミックレンジ（ＨＤＲ）画像を生成する方法は、（ａ）長時間露光画像から得られた構造情報に少なくとも一部は基づいて、短時間露光画像をノイズ除去するステップと、（ｂ）ノイズ除去するステップの後に、短時間露光画像及び長時間露光画像の少なくとも一方をスケーリングして、短時間露光画像及び長時間露光画像を共通の放射輝度スケールに置くステップと、（ｃ）スケーリングするステップの後に、短時間露光画像を長時間露光画像とマージしてＨＤＲ画像を生成するステップと、を含む。

一実施形態では、高ダイナミックレンジＨＤＲ画像センサを生成するための製品は、非一時的メモリに符号化された機械可読命令を含む。機械可読命令は、（ａ）プロセッサによって実行されたときに、長時間露光画像から得られた構造情報に少なくとも部分的に基づいて、短時間露光画像をノイズ除去する、ノイズ除去命令と、（ｂ）プロセッサによって実行されると、短時間露光画像及び長時間露光画像のうちの少なくとも１つをスケーリングして、短時間露光画像及び長時間露光画像を共通の放射輝度スケール上に置く、スケーリング命令と、（ｃ）プロセッサによって実行されると、短時間露光画像を長時間露光画像とマージしてＨＤＲ画像を生成する、マージング命令と、（ｄ）プロセッサによって実行されると、（ｉ）短時間露光画像及び長時間露光画像を取り出し、（ｉｉ）ノイズ除去命令、スケーリング命令、及びマージング命令をこの順序で実行するようにプロセッサを制御する、制御命令と、を含む。

一実施形態による、結合前ノイズ除去を備えたＨＤＲ画像を生成するためのノイズ除去ハイダイナミックレンジ（ＨＤＲ）カメラを示す図である。 一実施形態による、空間多重化露光（ＳＭＥ）ＨＤＲ画像センサを示す図である。 一実施形態による、カラーＳＭＥ ＨＤＲ画像センサを示す図である。 一実施形態による、ジグザグＨＤＲカラー画像センサを示す図である。 一実施形態による、拡張Ｂａｙｅｒ ＨＤＲカラー画像センサを示す図である。 一実施形態による、すべてのその画素に対して同じ露光時間で動作するように構成されたカラー画像センサを示す図である。 一実施形態による、結合前ノイズ除去を用いてＨＤＲ画像を生成するための方法を示す。 一実施形態による、短時間露光カラー画像及び長時間露光カラー画像からノイズ除去されたカラーＨＤＲ画像を生成する方法を示す図である。 一実施形態による、短時間露光カラー画像及び長時間露光カラー画像からノイズ除去されたカラーＨＤＲ画像を生成するための別の方法を示す。 一実施形態による、１つの露光時間からの画像情報を別の露光時間のノイズ除去画像データに使用するノイズ除去ＨＤＲ画像生成器を示す図である。 一実施形態による、ノイズ除去されたＨＤＲ画像を生成するためのシステムを示す。 一実施形態による、３つの異なる露光時間で画像データをキャプチャするように構成されたＳＭＥ ＨＤＲ画像センサを示す図である。 一実施形態による、３つの異なる露光時間で画像データをキャプチャするように構成されたカラーＳＭＥ ＨＤＲ画像センサを示す図である。 一実施形態による、各々が３つの異なる露光時間に感応する画素を含む色固有の四重項に配置されたその画素を有するカラーＳＭＥ ＨＤＲ画像センサを示す図である。 一実施形態による、３つ以上の異なる露光時間でキャプチャされた入力画像に基づいて、結合前ノイズ除去を用いてＨＤＲ画像を生成する方法を示す。

図１は、結合前ノイズ除去を用いてＨＤＲ画像１８０を生成するための１つのノイズ除去ハイダイナミックレンジ（ＨＤＲ）カメラ１０２を示す。ＨＤＲカメラ１０２は、ＨＤＲ画像センサ１５０とノイズ除去ＨＤＲ画像生成器１００とを備えている。ＨＤＲ画像センサ１５０は、同一シーン、例えば、図１に描写されたシーン１６０の短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌをキャプチャするように構成される。ＨＤＲ画像センサ１５０は、時間又は空間多重化を使用して、これら２つの画像を得ることができる。ＨＤＲ画像センサ１５０は、カラー画像センサ又はモノクロ画像センサであってもよい。ＨＤＲ画像センサ１５０の各画素のビット深度は、例えば、８又は１０ビットである。ノイズ除去ＨＤＲ画像生成器１００は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを処理して、ＨＤＲ画像１８０を生成する。

ノイズ除去ＨＤＲ画像生成器１００は、ノイズ除去器１１０及びコンバイナ１２０を含んでいる。ノイズ除去器１１０は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌのうちの少なくとも１つをノイズ除去する。コンバイナ１２０は、画像１７０Ｓ及び１７０Ｌを結合して、ＨＤＲ画像１８０を形成する。コンバイナ１２０は、スケーリングモジュール１２２と、マージングモジュール１２４とを含む。スケーリングモジュール１２２は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌの少なくとも１つをスケーリングして、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを共通の放射輝度スケール上に置く。マージングモジュール１２４は、短時間露光画像１７０Ｓと長時間露光画像１７０Ｌとをマージさせて、ＨＤＲ画像１８０を形成する。

一実施形態では、マージングモジュール１２４は、短時間露光画像１７０Ｓと長時間露光画像１７０Ｌとの線形結合を、位置依存結合重みを用いて形成する。例えば、マージングモジュール１２４は、シーンのより明るい領域では短時間露光画像１７０Ｓにより多くの重みを割り当て、シーンのより暗い領域では長時間露光画像１７０Ｌにより多くの重みを割り当てることができる。マージングモジュール１２４はまた、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌのキャプチャ中に、シーン内の動きを考慮し、動きの影響を受けるシーンの領域内の長時間露光画像１７０Ｌの重みを軽減することができる。

ノイズ除去ＨＤＲ画像生成器１００は、短時間露光画像１７０Ｓ及び／又は長時間露光画像１７０Ｌをノイズ除去してＨＤＲ画像１８０を形成するために、コンバイナ１２０の前にノイズ除去器１１０を適用するように構成される。その結果、短時間露光画像１７０Ｓ及び／又は長時間露光画像１７０Ｌは、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを共通の放射輝度スケールにスケーリングする前にノイズ除去される。スケーリング前の短時間露光画像１７０Ｓのノイズ除去は、長時間露光画像１７０Ｌにおけるノイズと比較して、短時間露光画像１７０Ｓにおけるノイズの望ましくないアップスケーリングを妨げることができる。さらに、ノイズ特性は、個々の画像１７０Ｓ及び１７０Ｌについて、それらの組み合わせよりも良好に理解され得る。ノイズ特性をより良く理解することは、ノイズ除去に役立つ。

ここで、「ノイズ除去」とは、結果として生じるＨＤＲ画像、例えばＨＤＲ画像１８０のノイズ特性の改善をもたらす画像データの操作をいう。したがって、短時間露光画像１７０Ｓ又は長時間露光画像１７０Ｌの「ノイズ除去」はそれぞれ、短時間露光画像１７０Ｓ又は長時間露光画像１７０Ｌにおけるノイズ低減と必ずしも同義ではない。ある場合には、画像１７０Ｓ又は１７０Ｌのノイズ除去はその中のノイズレベルを減少させる。しかし、他の例では、画像１７０Ｓ又は１７０Ｌのノイズ除去は、ＨＤＲ画像１８０をノイズが少なく見せるような方法で画像にノイズを加える。

結合の前にノイズ除去を実行することのさらなる利点は、画像１７０Ｓ及び１７０Ｌのうちの一方からの情報を使用して、画像１７０Ｓ及び１７０Ｌのうちの他方のノイズ除去を導くことができることである。これは、画像結合後には不可能である。

図１に描かれた例示的な使用シナリオでは、ＨＤＲ画像センサ１５０はシーン１６０から光１６８を受け取る。ＨＤＲカメラ１０２は、説明を明瞭にするために図１には示されていないレンズ又は結像対物レンズを含み、ＨＤＲ画像センサ１５０上にシーン１６０の画像を形成することができることが理解される。シーン１６０は、明るい領域（例えば、スタジアム光１６６）、暗い領域（例えば、スタジアム光１６６によって照らされていない観客領域１６５及び観客１６４）、及び適度に照らされた領域（例えば、壁１６７）を有する。シーン１６０は、移動物体、すなわちサッカー選手１６２及びボール１６３も含む。ノイズ除去ＨＤＲ画像生成器１００は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを処理して、例えば、明るいスタジアム光１６６及び明るくない観客領域１６５内の観客１６４の両方を正確に描写するＨＤＲ画像１８０を生成する。コンバイナ１２０が短時間露光画像１７０Ｓと長時間露光画像１７０Ｌとを結合する前に、ノイズ除去器１１０は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌ（又はその少なくとも１つ）をノイズ除去する。それにより、ノイズ除去器１１０は、ほとんど又は最小のノイズでＨＤＲ画像１８０を生成するように、スケーリングモジュール１２２による望ましくないノイズのスケールアップを防止又は低減する。

対照的に、コンバイナ１２０による短時間露光画像１７０Ｓと長時間露光画像１７０Ｌとの結合の後にノイズ除去が行われた場合、生の短時間露光画像１７０Ｓ及び生の長時間露光画像１７０Ｌにおけるノイズは、スケーリングモジュール１２２によってスケーリングされ、マージングモジュール１２４によってマージされるのであろう。このようなスケーリング及びマージングの後、ノイズ除去ＨＤＲ画像生成器１００によって行われるようにノイズをクリーンに除去することは、はるかに複雑であり、不可能である可能性が高い。短時間露光画像１７０Ｓ内のノイズは、スケーリングモジュール１２２によってスケールアップされ、例えば、他のＨＤＲ画像１９０に描写されるように、壁１６７、サッカー選手１６２、及びボール１６３上に見える。一般に、ノイズは、コンバイナ１２０の前と同様に、コンバイナ１２０の後に効果的に除去することはできない。短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌのような生の画像におけるノイズは、スケール化されマージされた、したがって高処理された画像におけるノイズよりも良く分かる。したがって、ノイズ除去ＨＤＲ画像生成器１００のノイズ除去能力は、生の画像のスケーリング及びマージングの後にのみノイズ除去を適用するＨＤＲ画像生成器のそれより優れている。例えば、他のＨＤＲ画像１９０における壁１６７、サッカー選手１６２、及びボール１６３上に見えるノイズは、ＨＤＲ画像１８０には存在しない。

特定の実施形態では、マージングモジュール１２４はシーン内の動きを補償して、ＨＤＲ画像１８０内のモーションアーチファクトを除去又は低減する。例えば、上述したように、マージングモジュール１２４は、動きによって影響を受けるシーンの領域における長時間露光画像１７０Ｌの重みを低減することができる。その結果、ＨＤＲ画像１８０は、（シーン１６０内を移動する）サッカー選手１６２及びボール１６３をモーションアーチファクトなしで示すことができる。このような動き補償がないと、別のＨＤＲ画像１９０に示されるように、モーションアーチファクト１９５は、サッカー選手１６２及びボール１６３の縁部で生じることがある（文献では一般に「ゴースト」として知られている）。ノイズ除去ＨＤＲ画像生成器１００のいくつかの実施形態は、動き補償を含まないことが理解される。しかしながら、このような実施形態は、静止シーンの静止画像をキャプチャするのに最も適している場合がある。

カラー撮像のために構成されたＨＤＲカメラ１０２の実施形態では、ＨＤＲ画像センサ１５０はカラー画像センサであり、ノイズ除去ＨＤＲ画像生成器１００はデモザイキングモジュール１３０をさらに含む。このような実施例では、ノイズ除去器１１０及びコンバイナ１２０はノイズ除去し、各カラーチャネルに対して短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを結合させて、各カラーチャネルに対して色固有ＨＤＲ画像（例えば、赤色ＨＤＲ画像、緑色ＨＤＲ画像、及び青色ＨＤＲ画像）を形成する。次に、デモザイキングモジュール１３０は、ＨＤＲ画像センサ１５０のカラーレイアウトにしたがって、異なるカラーチャネルをデモザイク処理して、フルカラー情報を有するＨＤＲ画像１８０の各画素によりＨＤＲ画像１８０を形成する。

ＨＤＲカメラ１０２は、画像キャプチャ装置１０４内に実装することができる。画像キャプチャ装置１０４は例えば、スマートフォン、デジタル一眼レフ（ＤＳＬＲ）カメラ、又は別のハンドヘルド装置である。本願明細書の範囲から逸脱することなく、ノイズ除去ＨＤＲ画像生成器１００は、第三者の画像センサから受け取った短時間露光画像１７０Ｓ及び長時間露光画像１７０ＬからＨＤＲ画像１８０を生成するように構成されたスタンドアロン製品として提供されてもよい。

ノイズ除去ＨＤＲ画像生成器１００は、プロセッサと、プロセッサによる実行時に、ＨＤＲ画像センサ１５０からの短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを処理してＨＤＲ画像１８０を生成する、非一時的メモリに符号化された機械可読命令との形態で実装されてもよい。ノイズ除去ＨＤＲ画像生成器１００のある実施形態は、非一時的メモリに符号化された機械可読命令として提供され、機械可読命令は、ＨＤＲ画像センサ１５０からの短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを処理してＨＤＲ画像１８０を生成するために、第三者によって提供されるプロセッサと協働するように構成される。

１つの使用シナリオでは、ノイズ除去ＨＤＲ画像生成器１００は、ＨＤＲ画像１８０をディスプレイ、例えば、画像キャプチャ装置１０４に組み込まれたディスプレイ、又は別の装置のディスプレイに出力する。別の使用シナリオでは、ノイズ除去ＨＤＲ画像生成器１００は、ＨＤＲ画像１８０を非一時的メモリに出力する。この非一時的メモリは、ＨＤＲカメラ１０２又は画像キャプチャ装置１０４に統合されてもよく、又は外部記憶装置に実装されてもよい。さらに別の使用シナリオでは、ノイズ除去ＨＤＲ画像生成器１００は、ＨＤＲ画像１８０を外部通信バス（例えば、ネットワーク）又は外部画像処理装置（例えば、記憶装置、コンピュータ、又は表示装置）に出力する。

図２は、１つの空間多重化露光（ＳＭＥ）ＨＤＲ画像センサ２００を示す。ＳＭＥ ＨＤＲ画像センサ２００は、ＨＤＲ画像センサ１５０の一実施形態である。ＳＭＥ ＨＤＲ画像センサ２００は、同一の画素群２２０のアレイを有する画素アレイ２１０を含む。各画素群２２０は、少なくとも１つの短時間露光画素２３２Ｓ及び少なくとも１つの長時間露光画素２３２Ｌを含む。短時間露光画素２３２Ｓは短い露光時間Ｔ_Ｓ中に光を集め、長時間露光画素２３２Ｌは長い露光時間Ｔ_Ｌ中に光を集め、ここで、例えば、短時間露光画素２３２Ｓによって生成された画像データと長時間露光画素２３２Ｌによって生成された画像データとの間の時間的オフセットを最小化するために、Ｔ_Ｌ＞Ｔ_Ｓであり、Ｔ_ＳおよびＴ_Ｌは、例えばＴ_Ｓは完全にＴ_Ｌ内であるように、時間的に重複してもよい。ＳＭＥ ＨＤＲ画像センサ２００で撮像される単一フレームは、短時間露光画像（画像１７０Ｓの一例）と長時間露光画像（画像１７０Ｌの一例）の両方を含む。

Ｔ_ＳおよびＴ_Ｌの間の関係は、Ｔ_Ｌ＝γ・Ｔ_Ｓとして表すことができる。一例では、γは２～１６の範囲である。計算の単純化のために、γの値は２のべき乗に限定され、その結果、スケーリングモジュール１２２によるスケーリングは、ノイズ除去された画像１７０Ｓ及び１７０Ｌの画素値を符号化するバイナリ数のビットシフトによって実行される。

再び図１を参照すると、ノイズ除去ＨＤＲ画像生成器１００によって実行される処理は、ＨＤＲ画像センサ１５０がＳＭＥ ＨＤＲ画像センサ２００のようなＳＭＥ ＨＤＲ画像センサであるか、又は時間的に多重化された画像センサであるかにかかわらず、実質的に同じである。ＨＤＲ画像センサ１５０の時間的に多重化された実施形態はまた、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌは順次キャプチャされるが、これらを出力する。ＨＤＲ画像センサ１５０の時間的に多重化された実施形態に対して、より大きな動きの不一致が存在する場合があり、これは、少なくとも特定の状況下では、モーションアーチファクトがないＨＤＲ画像１８０を生成するために、マージングモジュール１２４の動き補償の重要性を高めることがある。また、ＨＤＲ画像センサ１５０の時間的に多重化された実施形態に対するノイズ特性は、ＳＭＥ ＨＤＲ画像センサ２００のノイズ特性と若干異なる場合がある。しかしながら、典型的には、ノイズ除去器１１０の適応は、ＳＭＥ ＨＤＲ画像センサ２００からのものとは対照的に、画像センサ１５０の時間的に多重化された実施形態からの画像１７０Ｓ及び１７０Ｌを処理するためには必要ではない。

一般に、スケーリングモジュール１２２は、（ノイズ除去後の）短時間露光画像１７０Ｓの画素値Ｓ_Ｓ及び長時間露光画像１７０Ｌの画素値Ｓ_Ｌを、Ｓ_{Ｓ，ｓｃａｌｅｄ}＝α・γ・Ｓ_Ｓ、およびＳ_{Ｌ，ｓｃａｌｅｄ}＝α・Ｓ_Ｌとしてスケーリングし、ここで、αは、１、１以上、又は１未満であり得る正のスケーリングファクタである。最も単純なシナリオでは、α＝１であり、その結果、数式Ｓ_{Ｓ，ｓｃａｌｅｄ}＝γ・Ｓ_Ｓにしたがって、Ｓ_Ｌはそのままにして、短時間露光画像１７０Ｓを長時間露光画像１７０Ｌの放射輝度スケールにスケーリングする。αの値にかかわらず、短時間露光画像１７０Ｓ内の任意のノイズ成分は、長時間露光画像１７０Ｌの画素値Ｓ_Ｌに対して、係数γだけ増幅される。これは、スケーリング前のノイズ除去の重要な利点を強調する。ノイズ除去器１１０は、スケーリングモジュール１２２によって、スケーリング前の短時間露光画像１７０Ｓ内のノイズ、及び潜在的に生じるノイズ増幅を最小化することができる。

ＨＤＲ画像１８０内の各画素に対して、マージングモジュール１２４は、Ｓ_ＨＤＲ＝（１－ｆ）・Ｓ_{Ｌ，ｓｃａｌｅｄ}＋ｆ・Ｓ_{Ｓ，ｓｃａｌｅｄ}として画素値を計算し、ここで、ｆは画素位置に依存し、０≦ｆ≦１である。スケーリングモジュール１２２及びマージングモジュール１２４は、コンバイナ１２０がＨＤＲ画像１８０の各画素の画素値を、Ｓ_ＨＤＲ＝（１－ｆ）・α・Ｓ_Ｌ＋ｆ・α・γ・Ｓ_Ｓとして決定するように、互いに一体化されてもよいことが理解される。複数のカラーチャネルを含むＳＭＥ ＨＤＲ画像センサ２００の実施形態の場合、Ｓ_ＨＤＲに対する上記の数式は、各カラーチャネルに別々に関連する。後述する図３～図５は、ＳＭＥ ＨＤＲ画像センサ２００のそのような実施形態を示す。

図３は、１つのカラーＳＭＥ ＨＤＲ画像センサ３００を示す。カラーＳＭＥ ＨＤＲ画像センサ３００は、複数のカラーチャネルを有するＳＭＥ ＨＤＲ画像センサ２００の一実施形態である。カラーＳＭＥ ＨＤＲ画像センサ３００は３つのカラーチャネルを有するものとして図３に示されているが、本発明の範囲から逸脱することなく、２つ、４つ、又はそれ以上のカラーチャネルを有してもよい。カラーＳＭＥ ＨＤＲ画像センサ３００は、同一の画素群３２０のアレイを有する画素アレイ３１０を含む。各画素群３２０は、短時間露光画素３２２Ｓ及び長時間露光画素３２２Ｌを含み、これらは短時間露光画素２３２Ｓ及び長時間露光画素２３２Ｌの例である。短時間露光画素３２２Ｓは、それぞれ、第１、第２、及び第３の色の光に感応する画素３３２Ｓ、３３４Ｓ、及び３３６Ｓを含む。同様に、長時間露光画素３２２Ｌは、それぞれ、第１、第２、及び第３の色の光に感応する画素３３２Ｌ、３３４Ｌ、及び３３６Ｌを含む。第１、第２、第３の色は例えば、緑、赤、青である。

カラーＳＭＥ ＨＤＲ画像センサ３００によって生成される場合、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌの各々は、画素３３２Ｓ又は３３２Ｌの画素値から構成される第１の色成分、画素３３４Ｓ又は３３４Ｌの画素値から構成される第２の色成分、及び画素３３６Ｓ又は３３６Ｌの画素値から構成される第３の色成分の３つの色成分を含む。

各画素群３２０は、本発明の範囲から逸脱することなく、センサ画素３３２Ｓ、３３４Ｓ、３３６Ｓ、３３２Ｌ、３３４Ｌ、及び３３６Ｌのうちの１つ又は複数のインスタンスを２つ以上含むことができる。例えば、各画素群３２０は、第１の色に感応する、複数の画素３３２Ｓと、複数の画素３３２Ｌとを含んでもよい。一実施形態では、第１の色は緑色である。

図４は、１つのジグザグＨＤＲカラー画像センサ４００を示す。画像センサ４００は、カラーＳＭＥ ＨＤＲ画像センサ３００の一実施形態である。画像センサ４００の画素は、正方形の画素群４１０内に配置される。画像センサ４００は、図４に示されるよりも多くの画素群４１０、例えば数百又は数千の画素群４１０を含むことができることが理解される。各画素群４１０は、（図４に白色背景で示される）短時間露光画素４２２Ｓ及び（図４に影付背景で示される）長時間露光画素４２２Ｌを含む。各画素群４１０において、短時間露光画素４２２Ｓは緑色光に感応する４つの画素「ＧＳ」、赤色光に感応する２つの画素「ＲＳ」、及び青色光に感応する２つの画素「ＢＳ」を含み、長時間露光画素４２２Ｌは緑色光に感応する４つの画素「ＧＬ」、赤色光に感応する２つの画素「ＲＬ」、及び青色光に感応する２つの画素「ＢＬ」を含む。画素群４１０は、交互のジグザグ経路に沿って（図４の白色及び陰影のジグザグ経路を参照）、短時間露光画素４２２Ｓ及び長時間露光画素４２２Ｌを配置する。あるいは、画像センサ４００は複数の互い違いの画素群４１２を含むものと見なすことができる。各画素群４１２は、２つのＧＳ画素、２つのＧＬ画素、１つのＲＳ画素、１つのＲＬ画素、１つのＢＳ画素、及び１つのＢＬ画素から構成される。画素群４１０及び画素群４１２の各々は、画素群３２０の一実施形態である。

図５は、拡張Ｂａｙｅｒ ＨＤＲカラー画像センサ５００を示す。画像センサ５００は、カラーＳＭＥ ＨＤＲ画像センサ３００の一実施形態である。画像センサ５００の画素は、正方形の画素群５１０内に配置される。画像センサ５００は、図５に示されるよりも多くの画素群５１０、例えば、数百又は数千の画素群５１０のアレイを含むことができることが理解される。各画素群５１０は、短時間露光画素５２２Ｓ及び長時間露光画素５２２Ｌを含む。各画素群５１０において、短時間露光画素５２２Ｓは、緑色光に感応する４つの画素「ＧＳ」、赤色光に感応する２つの画素「ＲＳ」、及び青色光に感応する２つの画素「ＢＳ」を含み、長時間露光画素５２２Ｌは、緑色光に感応する４つの画素「ＧＬ」、赤色光に感応する２つの画素「ＲＬ」、及び青色光に感応する２つの画素「ＢＬ」を含む。各画素群５１０では、これらの画素は、それぞれが２つのＧＳ画素、１つのＲＳ画素、及び１つのＢＳ画素を有する２つのＢａｙｅｒ型ブロック５１４と、それぞれが２つのＧＬ画素、１つのＲＬ画素、及び１つのＢＬ画素を有する２つのＢａｙｅｒ型ブロック５１６との、４つのＢａｙｅｒ型ブロックに配列される。画像センサ５００は、１つのＢａｙｅｒ型ブロック５１４及び１つのＢａｙｅｒ型ブロック５１６から構成される複数の互い違いの画素群５１２を含むものと見なすことができる。

図６は、そのすべての画素６１２に対して同じ露光時間で動作するように構成された１つのカラー画像センサ６００を示す。カラー画像センサ６００の露光時間は調整可能である。したがって、カラー画像センサ６００は一対のフレームをキャプチャすることによってカラーＨＤＲ画像センサとして使用することができ、ここで、各対は、短い露光時間でキャプチャされた１つのフレームと、長い露光時間でキャプチャされた別のフレームとからなる。したがって、カラー画像センサ６００は、ＨＤＲ画像センサ１５０の時間的に多重化された一実施形態を表す。

カラー画像センサは、Ｂａｙｅｒタイプであり、同一の画素群６１０のアレイを含む。各画素群６１０は、複数の画素６１２、具体的には緑色光に感受性の２つの画素「Ｇ」、赤色光に感受性の１つの画素「Ｒ」、及び青色光に感受性の１つの画素「Ｂ」を含む。

図７は、結合前ノイズ除去を有するＨＤＲ画像を生成するための１つの方法７００を示す。方法７００は、ノイズ除去ＨＤＲ画像生成器１００によって実行されてもよい。方法７００はステップ７１０、７３０、及び７５０を含み、これらは、それぞれ、ノイズ除去器１１０、スケーリングモジュール１２２、及びマージングモジュール１２４によって実行され得る。以下では、方法７００を、モノクロＨＤＲ撮像、すなわち単一のカラーチャネルのみの処理の文脈で論じる。しかしながら、方法７００は、例えば、図８及び図９を参照して以下に説明するように、カラーＨＤＲ画像に容易に拡張される。

ステップ７１０は、少なくとも部分的に、長時間露光画像から得られた情報に基づいて、短時間露光画像のノイズを除去する。ステップ７１０の一例では、ノイズ除去器１１０は、少なくとも部分的に、長時間露光画像１７０Ｌから得られた情報に基づいて、短時間露光画像１７０Ｓのノイズを除去する。ステップ７１０は、短時間露光画像を空間的にフィルタリングして、そこからノイズを除去する。長時間露光画像は、通常、局所縁部及び画像構造に関するより信頼性の高い情報を含むので、長時間露光画像からの構造情報は、短時間露光画像におけるノイズベースの構造とは対照的に、シーンベースの構造を明らかにするのに役立つことがある。例えば、長時間露光画像を使用して、短時間露光画像に適用される空間フィルタリングの強度を調整して、長時間露光画像内のエッジ情報を保持しながら、暗い領域でより強いフィルタリングを可能にし、より明るい領域でより少ないフィルタリングを可能にしてもよい。

ステップ７１０は、ステップ７１２を含むことができる。ステップ７１２は、短時間露光画像、例えば、短時間露光画像１７０Ｓにガイドフィルタを適用する。ガイドフィルタは、長時間露光画像、例えば長時間露光画像１７０Ｌをそのガイドとして用いる。少なくとも、ガイドフィルタは位置感応情報（長時間露光画像）をそのガイドとして用いるため、ガイドフィルタは位置感応である。

ステップ７１２のガイドフィルタは、例えば、ジョイントガイドフィルタ、ジョイントバイラテラルフィルタ、又は当技術分野で知られている異なるタイプのガイドフィルタである。ジョイントガイドフィルタ及びジョイントバイラテラルフィルタは、例えば、（ｉ）He et al.,“Guided Image Filtering”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 35, Issue 6, pp. 1397-1409, 2012、（ｉｉ）He et al.,“Guided Image Filtering”, In: Daniilidis K., Maragos P., Paragios N. (eds) Computer Vision‐ECCV 2010. ECCV 2010. Lecture Notes in Computer Science, vol 6311. Springer, Berlin, Heidelberg、及び（ｉｉｉ）Kopf et al., “Joint bilateral upsampling”, ACM Trans. Graph. 26, 3, Article 96 (July 2007)に開示されている。これらの参考文献の各々は、その全体が参照により本明細書に組み込まれる。

一実施形態では、ステップ７１２のガイドフィルタはフィルタカーネルＷ（Ｉ_Ｌ）を利用し、ここで、Ｉ_Ｌは長時間露光画像であり、その結果、ノイズ除去された短時間露光画像内のｉ番目の画素の画素値が、Ｓ’_Ｓ，ｉ＝Σ_ｊＷ_ｉｊ（Ｉ_Ｌ）・Ｓ_Ｓ，ｊとして表され、ここで、合計は、カーネルＷ（Ｉ_Ｌ）により定義される長時間露光画像の対応する局所領域内のすべての画素に亘る。Ｗ（Ｉ_Ｌ）の完全な形態は、使用されるフィルタに依存する。ジョイントガイドフィルタ及びジョイントバイラテラルフィルタの両方に対して、Ｗ（Ｉ_Ｌ）の形態は、ノイズ除去された短時間露光画像におけるｉ番目の画素の画素値が、Ｓ’_Ｓ，ｉ＝ａ・Ｓ_Ｌ，ｉ＋ｂとして表され、ここで、係数ａ及びｂは、ｉ番目の画素における短時間露光画像の局所領域における画素値Ｓ_Ｓ，ｋに依存する。このように、オリジナルの短時間露光画像の画像データは係数ａ及びｂに埋め込まれる。各係数ａ及びｂは位置感応である。すなわち、ガイドフィルタの本実施形態では、ノイズ除去された短時間露光画像におけるｉ番目の画素の画素値を、ｉ番目の画素における短時間露光画像の局所領域における長時間露光画像（すなわち、フィルタに対するガイダンス画像）における対応する画素値の線形関数として決定する。

短時間露光画像は、各々が所与の数の画素を含むいくつかの局所領域に分割することができる。係数ａ及びｂは、これらの局所領域のそれぞれにおいてコスト関数を最小化することによって決定されてもよい。例えば、コスト関数は、ノイズ除去された短時間露光画像Ｓ’_Ｓ，ｉにおけるｉ番目の画素の画素値と、長時間露光画像Ｓ_Ｌ，ｉにおける対応する画素値との間の差に基づいてもよい。係数ａ及びｂは、そのような差を最小化することによって決定されてもよい。しかしながら、特定の実施に適した他のコスト関数を企図し、最小限に抑えることができる。

言い換えれば、ガイドフィルタのこの実施形態では、局所線形モデルを使用して、フィルタ出力を画像の各局所領域内のガイダンス画像に関連付けることができると仮定する。係数ａ及びｂは、フィルタ出力をガイダンス画像に直線的に関連付ける。係数ａ及びｂは、短時間露光画像の各局所領域間で空間的に変化する。係数ａ及びｂは、それらが決定される局所領域の画素値に依存する。例えば、係数ａ及びｂの各々は、その領域についての所与の画素数にわたる各局所領域についての平均値として決定され得る。

ステップ７３０は、短時間露光画像及び長時間露光画像の少なくとも一方をスケーリングして、短時間露光画像及び長時間露光画像を共通の放射輝度スケール上に置く。ステップ７３０の一例では、スケーリングモジュール１２２は、図１を参照して上述したように、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌの少なくとも１つをスケーリングして、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを共通の放射輝度スケール上に置く。ステップ７３０は、ステップ７１０の後に実行される。

ステップ７５０は、ステップ７３０の後に実行され、短時間露光画像及び長時間露光画像をマージさせて、ＨＤＲ画像を生成する。ステップ７５０の一例では、マージングモジュール１２４は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌをマージさせて、ＨＤＲ画像１８０を形成する。ステップ７５０は、ＨＤＲ画像の各画素値を、Ｓ_ＨＤＲ＝（１－ｆ（Ｓ_{Ｓ，ＳＣＡＬＥＤ}，Ｓ_{Ｌ，ＳＣＡＬＥＤ}））・Ｓ_{Ｌ，ＳＣＡＬＥＤ}＋ｆ（Ｓ_{Ｓ，ＳＣＡＬＥＤ}，Ｓ_{Ｌ，ＳＣＡＬＥＤ}）・Ｓ_{Ｓ，ＳＣＡＬＥＤ}として算出し、ここで、ｆ（Ｓ_{Ｓ，ＳＣＡＬＥＤ}，Ｓ_{Ｌ，ＳＣＡＬＥＤ}）は短時間露光画像及び長時間露光画像のスケーリングされた画素値Ｓ_{Ｓ，ＳＣＡＬＥＤ}及びＳ_{Ｌ，ＳＣＡＬＥＤ}の関数である。ｆ（Ｓ_{Ｓ，ＳＣＡＬＥＤ}，Ｓ_{Ｌ，ＳＣＡＬＥＤ}）は、シーンの暗い領域に対して長時間露光画像を好み、シーンの明るい領域に対して短時間露光画像を好むように構成される。あるいは、この関数ｆは、ノイズ除去後であるがスケーリング前の、短時間露光画像及び長時間露光画像の画素値Ｓ’_Ｓ及びＳ’_Lそれぞれの関数であってもよい。いずれの場合も、この関数ｆは、ノイズ除去された短時間露光画像及び長時間露光画像から利益を得る。結合重みが位置の空間的ノイズ関数になるため、より大きなレベルのノイズが関数ｆに伝播し、（ノイズとしてＨＤＲ画像に現れる）不連続性につながる場合がある。

方法７００の一実施形態は、マージングプロセスにおける動きを補償するように適合される。方法７００のこの実施形態はステップ７４０をさらに含み、この実施形態のステップ７５０はステップ７５２を含む。ステップ７４０は、短時間露光画像と長時間露光画像との間の不一致の程度を評価する。ステップ７４０の一例では、コンバイナ１２０が（ノイズ除去器１１０によるノイズ除去の前、ノイズ除去器１１０によるノイズ除去とスケーリングモジュール１２２によるスケーリングの間、又はスケーリングモジュール１２２によるスケーリングの後）短時間露光画像１７０Ｓと長時間露光画像１７０Ｌを比較して、それらの間の不一致を評価する。ステップ７４０は、短時間露光画像と長時間露光画像との間の不一致の程度を示す視差パラメータＤを生成してもよい。不一致は、例えば、動き及び／又はノイズによって引き起こされる。視差パラメータＤは位置感応である。

ステップ７５２は、ステップ７４０で見出された不一致の程度に少なくとも部分的に依存する結合重みを使用して、短時間露光画像と長時間露光画像との線形結合としてＨＤＲ画像を生成する。例えば、ステップ７５２は、ＨＤＲ画像の各画素値を、Ｓ_ＨＤＲ＝（１－ｆ_ｍ（Ｄ，Ｓ_{Ｓ，ｓｃａｌｅｄ}，Ｓ_{Ｌ，ｓｃａｌｅｄ}））・Ｓ_{Ｌ，ｓｃａｌｅｄ}＋ｆ_ｍ（Ｄ，Ｓ_{Ｓ，ｓｃａｌｅｄ}，Ｓ_{Ｌ，ｓｃａｌｅｄ}）・Ｓ_{Ｓ，ｓｃａｌｅｄ}として算出し、ここで、ｆ_ｍ（Ｄ，Ｓ_{Ｓ，ｓｃａｌｅｄ}，Ｓ_{Ｌ，ｓｃａｌｅｄ}）は、短時間露光画像及び長時間露光画像のスケーリングされたバージョンの画素値Ｓ_{Ｓ，ｓｃａｌｅｄ}及びＳ_{Ｌ，ｓｃａｌｅｄ}と同様に、視差パラメータＤの関数である。ｆ_ｍ（Ｄ，Ｓ_{Ｓ，ｓｃａｌｅｄ}，Ｓ_{Ｌ，ｓｃａｌｅｄ}）は、視差パラメータが高い場合に、長時間露光画像の重みをさらに低減する、ｆ_ｍ（Ｄ，Ｓ_{Ｓ，ｓｃａｌｅｄ}，Ｓ_{Ｌ，ｓｃａｌｅｄ}）の一実施形態である。あるいは、関数ｆ_ｍは、ノイズ除去後であるがスケーリング前の、短時間露光画像及び長時間露光画像の画素値Ｓ’_Ｓ及びＳ’_Lそれぞれの関数であってもよい。いずれの場合も、関数ｆ_ｍは、ノイズ除去された短時間露光画像及び長時間露光画像から利益を得る。

方法７００はまた、長時間露光画像をノイズ除去するステップ７２０を含むことができる。ステップ７２０は、ステップ７３０の前に実行される。ステップ７２０の一例では、ノイズ除去器１１０は長時間露光画像１７０Ｌをノイズ除去する。ステップ７１０で生成されたノイズ除去された短時間露光画像における残留ノイズと比較して、ステップ７２０で生成されたノイズ除去された長時間露光画像の残留は、その後のスケーリングステップ７３０でスケールアップされない。したがって、長時間露光画像からのノイズの除去は、短時間露光画像からのノイズの除去よりも重要ではない場合がある。ステップ７１０における短時間露光画像のノイズ除去は完全でないことがあるので、短時間露光画像は残留ノイズを有することがある。このような残留ノイズは、長時間露光画像内の任意のノイズと比較して、ステップ７３０でスケールアップされる。その結果、画素値Ｓ_{Ｓ，ｓｃａｌｅｄ}におけるノイズレベルは一般に、画素値Ｓ_{Ｌ，ｓｃａｌｅｄ}におけるノイズレベルよりも高くなり得る。ステップ７５０で生成される、短時間露光画像及び長時間露光画像の相対的な重みが変化する、例えば、機能ｆが位置によって急激に変化するＨＤＲ画像の領域では、短時間露光画像及び長時間露光画像のノイズレベルのいかなる有意差も、局所的なＨＤＲ画像構造における空間的不連続性をもたらす。これらの空間的不連続性は、ＨＤＲ画像におけるノイズステップとして視聴者に現れる。

このような空間的不連続性を低減するために、ステップ７２０は、スケーリングされた長時間露光画像（例えば、ステップ７３０後の画像１７０Ｌ）のノイズ特性を適応させて、スケーリングされた短時間露光画像（例えば、ステップ７３０後の画像１７０Ｓ）と同様のノイズ特性を生成するステップ７２２を含んでもよい。ステップ７２２は、短時間露光画像のノイズ特性を長時間露光画像に混合するステップ７２４を含むことができる。例えば、ステップ７２４は、画素値Ｓ_{Ｌ，ｓｃａｌｅｄ}におけるノイズレベルが同じ位置における画素値Ｓ_{Ｓ，ｓｃａｌｅｄ}におけるノイズレベルに類似するように、長時間露光画像１７０Ｌにノイズを追加してもよい。一実施形態では、ステップ７２４は、ガイドとして短時間露光画像を使用して、長時間露光画像にガイドフィルタを適用するステップ７２６を含む。

ステップ７２６は、短時間露光画像と長時間露光画像との役割を切り替えることを除いて、ステップ７１２と同様である。一実施形態では、ステップ７２６は、ステップ７１２を参照して上述したものいずれか１つと同様のガイドフィルタを利用することができる。ステップ７２６のガイドフィルタはフィルタカーネルＫ（Ｉ_Ｓ）を利用し、ここで、Ｉ_Ｓは短時間露光画像であり、その結果、ノイズ除去された長時間露光画像におけるｉ番目の画素の画素値がＳ’_Ｌ，ｉ＝Σ_ｊＫ_ｉｊ（Ｉ_Ｓ）・Ｓ_Ｌ，ｊとして表され、合計は、カーネルＫ（Ｉ_Ｓ）により定義される短時間露光画像の対応する局所領域内のすべての画素に亘る。Ｋ（Ｉ_Ｓ）の完全な形態は、使用されるフィルタに依存する。ジョイントガイドフィルタ及びジョイントバイラテラルフィルタの両方に対して、Ｗ（Ｉ_Ｌ）の形態は、ノイズ除去された長時間露光画像におけるｉ番目の画素の画素値が、Ｓ’_Ｌ，ｉ＝ｃ・Ｓ_Ｓ，ｉ＋ｄとして表され、ここで、係数ｃ及びｄは、ｉ番目の画素における長時間露光画像の局所領域における画素値Ｓ_Ｌ，ｋに依存する。このように、オリジナルの長時間露光画像の画像データは係数ｃ及びｄに埋め込まれる。各係数ｃ及びｄは位置感応である。係数ｃ及びｄは、ガイドフィルタのこの実施形態では短時間露光画像が長時間露光画像をノイズ除去するためのガイドとして使用されることを除いて、ステップ７１２を参照して説明したのと同じ方法で決定することができる。したがって、ステップ７１２を参照して説明したガイドフィルタと同様に、そのガイドとして短時間露光画像を利用するガイドフィルタは、ノイズ除去された長時間露光画像内の画素値における長時間露光画像の局所領域内の短時間露光画像内の対応する画素値の線形関数として、ノイズ除去された長時間露光画像内の画素値を決定するステップを含み得る。

また、ガイドフィルタのこの実施形態では、局所線形モデルを使用して、フィルタ出力を画像の各局所領域内のガイダンス画像に関連付けることができると仮定する。係数ｃ及びｄは、フィルタ出力をガイダンス画像（この場合は短時間露光画像）に直線的に関連付ける。係数ｃ及びｄは、長時間露光画像の各局所領域間で空間的に変化する。係数ｃ及びｄは、それらが決定される局所領域の画素値に依存する。例えば、係数ｃ及びｄの各々は、その領域についての所与の画素数にわたる各局所領域についての平均値として決定され得る。

短時間露光画像のノイズが長時間露光画像に混合される程度をさらに制御するために、フィルタカーネルＫ（Ｉ_Ｓ）の空間サイズを調整することができる。大きなカーネルはより多くのノイズを長時間露光画像に混合し、小さなカーネルは、より少ないノイズを長時間露光画像に混合する。１つの画素のカーネルサイズでは、長時間露光画像にノイズは混合されない。カーネルＫ（Ｉ_Ｓ）のサイズは位置感応であり、その結果、ノイズが長時間露光画像に混合される程度が位置感応である。

ステップ７２２と同様に、ステップ７１０は、短時間露光画像（例えば、ステップ７３０後の画像１７０Ｓ）のノイズ特性を適応させて、長時間露光画像（例えば、ステップ７３０後の画像１７０Ｓ）と同様のノイズ特性を生成するステップ７１４を含んでもよい。

本発明の範囲から逸脱することなく、方法７００は、図１を参照して上述したスケーリングモジュール１２２及びマージングモジュール１２４の統合と同様に、ステップ７３０及び７５０を統合することができる。

図８は、短時間露光カラー画像及び長時間露光カラー画像からノイズ除去カラーＨＤＲ画像を生成するための１つの方法８００を示す。短時間露光カラー画像及び長時間露光カラー画像は、同一の複数の色成分を含む。方法８００は、例えば、カラーＳＭＥ ＨＤＲ画像センサ３００又はカラー画像センサ６００から受け取った画像１７０Ｓ及び１７０Ｌに基づいて、ノイズ除去ＨＤＲ画像生成器１００によって実行することができる。方法８００は、方法７００の拡張である。方法８００は、ステップ８１０、８３０、８５０、及び８６０を含む。ステップ８１０、８３０、及び８５０は、短時間露光及び長時間露光カラー画像の各色成分について繰り返される。ステップ８３０はステップ８１０の後に実行され、ステップ８５０はステップ８３０の後に実行される。

ステップ８１０は、考慮中の色成分についての画像データのみを使用して、方法７００のステップ７１０を実行し、短時間露光画像のその色成分をノイズ除去する。ステップ８１０の一例では、ノイズ除去器１１０は、カラーＳＭＥ ＨＤＲ画像センサ３００又はカラー画像センサ６００から受け取った短時間露光カラー画像の１つの色成分（例えば、赤色、緑色、又は青色）をノイズ除去する。ステップ７１２及び／又はステップ７１４を実施するステップ８１０の実施形態では、ステップ７１２及び７１４で使用される長時間露光画像データは、短時間露光画像のために処理される色成分と同じ色成分からのものである。例えば、ステップ８１０が短時間露光カラー画像の赤色成分を処理する場合、ステップ８１０で実施されるステップ７１２のガイドフィルタは、長時間露光カラー画像の赤色成分をそのガイドとして使用する。

ステップ８３０は、方法７００のステップ７３０にしたがって、短時間露光及び長時間露光のカラー画像の考慮中の色成分を処理して、短時間露光及び長時間露光カラー画像を共通の放射輝度スケール上に置く。ステップ８３０の一例では、スケーリングモジュール１２２は、画像１７０Ｓ及び１７０Ｌの少なくとも１つのカラー成分をスケーリングして、画像１７０Ｓ及び１７０Ｌのそのカラー成分を共通の放射輝度スケール上に置く。

ステップ８５０は、（ａ）短時間露光カラー画像の考慮中の色成分と、（ｂ）長時間露光カラー画像の同一色成分と、をマージし、その色成分についての色固有ＨＤＲ画像を生成する。ステップ８５０の一例では、マージングモジュール１２４は、短時間露光画像１７０Ｓの１つの色成分（例えば、赤色、緑色、又は青色）を長時間露光画像１７０Ｌの同じ色成分とマージして、その色成分に対する色固有ＨＤＲ画像を生成する。

方法８００は、長時間露光カラー画像の考慮中の色成分をノイズ除去するステップ８２０をさらに含むことができる。ステップ８２０は、方法７００のステップ７２０を実行して、長時間露光カラー画像の考慮中の色成分を、その色成分の画像データのみを使用してノイズ除去する。したがって、ステップ７２２、７２４、及び７２６のうちの１つ又は複数を実施するステップ８２０の実施形態は、その単一の色成分のみを考慮する。ステップ８２０は、ステップ８３０の前に実行される。ステップ８２０の一例では、ノイズ除去器１１０は、カラーＳＭＥ ＨＤＲ画像センサ３００又はカラー画像センサ６００から受け取った長時間露光カラー画像の１つの色成分（例えば、赤色、緑色、又は青色）をノイズ除去する。

一実施形態では、動きを補償するように構成され、方法８００はステップ８５０の前に実行されるステップ８４０をさらに含み、ステップ８５０はステップ７５２を実施する。この実施形態では、ステップ８４０は、考慮中の色成分について、短時間露光カラー画像と長時間露光カラー画像との間の不一致を評価する。ステップ７５２は、ステップ８５０で実施されるように、この色固有の不一致を考慮に入れる。

ステップ８６０は、ステップ８５０のそれぞれの実行において複数の色成分について生成された色固有ＨＤＲ画像をデモザイクして、フルカラーＨＤＲ画像を生成する。フルカラーＨＤＲ画像の各画素は、フルカラー情報を含む。ステップ８６０の一例では、デモザイキングモジュール１３０は、コンバイナ１２０から受け取った複数の色固有ＨＤＲ画像（例えば、赤色、緑色、及び青色）をデモザイクして、ＨＤＲ画像１８０のフルカラー実施形態を生成する。

図９は、短時間露光カラー画像及び長時間露光カラー画像からノイズ除去されたカラーＨＤＲ画像を生成するための別の方法９００を示す。短時間露光カラー画像及び長時間露光カラー画像は、同一の複数の色成分を含む。方法８００は、例えば、カラーＳＭＥ ＨＤＲ画像センサ３００又はカラー画像センサ６００から受け取った画像１７０Ｓ及び１７０Ｌに基づいて、ノイズ除去ＨＤＲ画像生成器１００によって実行することができる。方法９００は、短時間露光画像の複数の色成分の各々のノイズ除去が少なくとも部分的に、長時間露光カラー画像の単一の予め選択された色成分から得られた構造情報に基づくことを除いて、方法８００と同様である。例えば、方法９００は、短露光時刻画像の赤色、緑色、及び青色成分の各々のノイズ除去を、長露光時刻画像の緑色成分に少なくとも部分的に基づかせることができる。方法９００は、１つの色、例えば緑色が一般に優勢であるシナリオによく適している。

方法８００と比較して、方法９００は、ステップ８１０をステップ９１０に置き換える。ステップ９１０は方法７００のステップ７１０を実行し、少なくとも部分的に、長時間露光画像の事前に選択された色成分から取得された構造情報に基づいて、短時間露光画像の考慮中の色成分をノイズ除去する。ステップ９１０の一例では、ノイズ除去器１１０が短時間露光カラー画像の１つの色成分をノイズ除去する。短時間露光カラー画像のどの色成分が考慮されているかにかかわらず、ノイズ除去器１１０は、少なくとも部分的に、長時間露光カラー画像の予め選択された色成分に基づいてノイズ除去を行う。ステップ７１２及び／又はステップ７１４を実施するステップ９１０の実施形態では、ステップ７１２及び７１４で使用される長時間露光画像データは、どの色成分が短時間露光画像のために処理されているかにかかわらず、事前に選択された色成分からのものである。一例では、短時間露光カラー画像の赤色、緑色、及び青色成分のそれぞれの処理において、ステップ９１０で実施されるステップ７１２のガイドフィルタは、長時間露光カラー画像の緑色成分をそのガイドとして使用する。

図９には示されていないが、（方法９００で実施されるような）任意選択のステップ８４０は、予め選択された色成分に関連するカラーチャネルにおける不一致の程度を評価することができ、（方法９００で実施されるような）ステップ８５２は、（方法９００で実施されるような）ステップ８５０でどの色成分がマージされているかにかかわらず、予め選択された色成分に関連するロにおける不一致に基づいてその動き補償を行うことができる。

図１０は、１つの露光時間からの画像情報を別の露光時間の画像データをノイズ除去するのに使用する１つのノイズ除去ＨＤＲ画像生成器１０００を示す。ノイズ除去ＨＤＲ画像生成器１０００は、ノイズ除去ＨＤＲ画像生成器１００の実施形態であり、方法７００、８００、又は９００を実行してもよい。ノイズ除去ＨＤＲ画像生成器１０００は、ＨＤＲカメラ１００２内のＨＤＲ画像センサ１５０と結合することができる。ノイズ除去ＨＤＲ画像生成器１０００は、それぞれノイズ除去器１１０及びコンバイナ１２０の実施形態である、ノイズ除去器１０１０及びコンバイナ１０２０を含む。

動作中、ノイズ除去器１０１０は、ＨＤＲ画像センサ１５０から画像データ１０７０を受信する。画像データ１０７０は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを含む。ノイズ除去器１０１０は、コンバイナ１０２０によるそれらの組み合わせの前に、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌの一方又は両方をノイズ除去する。次に、コンバイナ１０２０は、（そのうちの少なくとも１つがノイズ除去器１０１０によってノイズ除去された）短時間露光画像１７０Ｓと長時間露光画像１７０Ｌとを組み合わせて、ＨＤＲ画像１０８０を形成する。ＨＤＲ画像１０８０は、ＨＤＲ画像１８０の一例である。

ノイズ除去器１０１０は、（ａ）短時間露光画像１７０Ｓのノイズ除去における長時間露光画像１７０Ｌからの情報を利用する、及び／又は（ｂ）長時間露光画像１７０Ｌのノイズ除去における短時間露光画像１７０Ｓからの情報を利用するように構成される。一実施態様では、ノイズ除去器１０１０は、ステップ７１２及び／又はステップ７１４を実施する方法７００のステップ７１０の実施形態を（任意選択で方法８００又は９００の一部として）実行する。この実施形態では、ノイズ除去器１０１０は、ステップ７１２及び／又はステップ７１４にしたがって、長時間露光画像１７０Ｌから得られた情報を利用して、短時間露光画像１７０Ｓをノイズ除去する。別の実施態様では、ノイズ除去器は、ステップ７２２を実施するステップ７２０の実施形態を（任意選択で方法８００の一部として）実行する。この実施形態では、ステップ７２２にしたがって、ノイズ除去器１０１０は、短時間露光画像１７０Ｓから得られた情報を利用して、長時間露光画像１７０Ｌをノイズ除去する。

ステップ７１２を実行するように構成されたノイズ除去ＨＤＲ画像生成器１０００の実施形態は、ノイズ除去器１０１０によって使用されるガイドフィルタ１０１２をさらに含むことができる。同様に、ステップ７２６を実行するように構成されたノイズ除去ＨＤＲ画像生成器１０００の実施形態は、ノイズ除去器１０１０によって使用されるガイドフィルタ１０２６をさらに含むことができる。

コンバイナ１０２０は、スケーリングモジュール１２２及びマージングモジュール１２４を含む。コンバイナ１０２０は、ステップ７４０又は８４０を実行するように構成された不一致評価器１０２８をさらに含むことができる。動作において、不一致評価器１０２８は、スケーリングモジュール１２２によってスケーリングされたように、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを処理して、図７を参照して上述した視差パラメータＤを決定する。不一致評価器１０２８は、視差パラメータＤをマージングモジュール１２４に供給する。あるいは、不一致評価器１０２８は、スケーリングモジュール１２２をスケーリングすることによってスケーリングする前に、しかしノイズ除去器１０１０によってこれらの２つの画像のうちの少なくとも１つのノイズ除去の後に、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを処理する。

マージングモジュール１２４は、画素値１０７２を出力する。短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌが単一の色成分（例えば、モノクロ画像）のみを含むシナリオでは、ＨＤＲ画素値１０７２は、ノイズ除去ＨＤＲ画像生成器１０００によって生成される最終的なＨＤＲ画像１０８０を構成する。短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌがカラー画像であり、したがって複数の色成分を含むシナリオでは、ＨＤＲ画素値１０７２は、それぞれ複数の色固有ＨＤＲ画像を構成する。そのような複数の色固有ＨＤＲ画像から最終的なフルカラーＨＤＲ画像１０８０を生成するために、ノイズ除去ＨＤＲ画像生成器１０００は、方法８００又は９００のステップ８６０を実行するためにデモザイキングモジュール１３０をさらに含むことができる。

特定の実施形態では、ノイズ除去ＨＤＲ画像生成器１０００は、ノイズ除去ＨＤＲ画像生成器１０００を通して画像データ１０７０の流れを制御するコントローラ１０５０を含む。例えば、コントローラ１０５０は、ノイズ除去ＨＤＲ画像生成器１０００によって画像データ１０７０を受信すると、ノイズ除去器１０１０によって処理された画像データ１０７０をコンバイナ１０２０に送信する前に、ノイズ除去器１０１０に画像データ１０７０を送信することができる。画像データ１０７０がいくつかの色成分を含む場合、コントローラ１０５０は、方法８００又は９００にしたがって、ノイズ除去器１０１０、コンバイナ１０２０、及びデモザイキングモジュール１３０を通るそのような各色成分の流れを制御することができる。

図１１は、ノイズ除去されたＨＤＲ画像を生成するための１つのシステム１１００を示す。システム１１００は、プロセッサ１１１０、非一時的メモリ１１２０、及びインターフェース１１９０を含む。プロセッサ１１１０及びメモリ１１２０（及び、いくつかの実施形態では、インターフェース１１９０）が協働して、ノイズ除去ＨＤＲ画像生成器１０００のコンピュータ実装を形成する。システム１１００はさらに、ＨＤＲ画像センサ１５０を含んでもよく、その場合、システム１１００は、ＨＤＲカメラ１００２の実施形態である。

メモリ１１２０は、機械可読命令１１３０を含む。機械可読命令１１３０は、メモリ１１２０の不揮発性部分に符号化されてもよい。機械可読命令１１３０は、ノイズ除去命令１１３２、スケーリング命令１１３４、及びマージング命令１１３６を含む。一実施形態では、メモリ１１２０は、インターフェース１１９０を介して受信されたデータ、及び／又はプロセッサ１１１０によって実行されたときに機械可読命令１１３０によって生成されたデータを記憶するように構成された動的データ記憶装置１１８０をさらに含んでもよい。別の実施形態では、システム１１００はメモリ１１２０を含まず、代わりに、例えば第三者によって提供される外部メモリと協働するように構成される。

プロセッサ１１１０によって実行されると、ノイズ除去命令１１３２は、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを含む画像データ１０７０を取得し、方法７００のステップ７１０を（任意選択で、方法８００又は９００の一部として）実行する。プロセッサ１１１０は、生及びノイズ除去された短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌを動的データ記憶装置１１８０に記憶することができる。プロセッサ１１１０によって実行されると、スケーリング命令１１３４は、（そのうちの少なくとも１つがノイズ除去されている）短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌに対して、方法７００のステップ７３０、又は方法８００又は９００のステップ８３０を実行する。プロセッサ１１１０は、スケーリングされたバージョンの短時間露光画像１７０Ｓ及び／又は長時間露光画像１７０Ｌを動的データ記憶装置１１８０に記憶することができる。プロセッサ１１１０によって実行されると、マージング命令１１３６は、方法７００のステップ７５０、又は方法８００又は９００のステップ８５０を実行して、ＨＤＲ画素値１０７２を生成する。プロセッサ１１１０は、ＨＤＲ画素値１０７２を動的データ記憶装置１１８０に記憶することができる。短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌがモノクロであるシナリオでは、プロセッサ１１１０がＨＤＲ画素値１０７２を直接ＨＤＲ画像１０８０として動的データ記憶装置１１８０に記憶することができる。

いくつかの実施形態では、機械可読命令は、プロセッサによって実行されると、（ａ）（複数の色固有ＨＤＲ画像を形成する）ＨＤＲ画素値１０７２を取り出し、（ｂ）フルカラーＨＤＲ画像を生成するために方法８００又は９００のステップ８６０を実行する、デモザイク命令１１４４をさらに含む。プロセッサ１１１０は、このフルカラーＨＤＲ画像をＨＤＲ画像１０８０として動的データ記憶装置１１８０に記憶するか、又はインターフェース１１９０を介してフルカラーＨＤＲ画像を出力することができる。

機械可読命令１１３０は、プロセッサ１１１０によって実行されると、視差パラメータＤを決定するために、方法７００のステップ７４０、又は方法８００又は９００のステップ８４０を実行する不一致評価命令をさらに含むことができる。プロセッサ１１１０は、視差パラメータＤを視差パラメータ１１７２として動的データ記憶装置１１８０に記憶することができる。

一実施形態では、機械可読命令１１３０はガイドフィルタ１０１２及びガイドフィルタ１０２６の一方又は両方をさらに含む。この実施形態では、ノイズ除去命令１１３２は、プロセッサ１１１０によって実行されると、ガイドフィルタ１０１２及び／又はガイドフィルタ１０２６を呼び出すように構成される。

任意選択で、機械可読命令１１３０は、制御命令１１４２をさらに含む。制御命令１１４２は、プロセッサ１１１０と協働して、コントローラ１０５０の一実施形態を形成する。１つのシナリオでは、制御命令１１４２は、プロセッサ１１１０によって実行されると、デモザイク命令１１４４の実行前に、短時間露光画像１７０Ｓ及び長時間露光画像１７０Ｌの複数のカラーチャネルのそれぞれについて、ノイズ除去命令１１３２、スケーリング命令１１３４、及びマージング命令１１３６の実行を管理する。

本明細書の範囲から逸脱することなく、機械可読命令１１３０は、（ａ）機械可読命令１１３０を記憶するための非一時的メモリと、（ｂ）機械可読命令１１３０を実行するためのプロセッサとを有する第三者のコンピュータ上で実施するように構成されたスタンドアロンソフトウェア製品として提供され得る。

図１～１１の上記の議論は、２つの異なる露光時間、短い露光時間及び長い露光時間でキャプチャされた生の画像からのＨＤＲ画像の生成に関する。しかしながら、以下に説明するように、図１～図１１に開示されたシステム及び方法は、３つ以上の異なる露光時間でキャプチャされた生の画像からのＨＤＲ画像の生成に容易に拡張される。

図１２は、３つの異なる露光時間で画像データをキャプチャするように構成された１つのＳＭＥ ＨＤＲ画像センサ１２００を示す。ＳＭＥ ＨＤＲ画像センサ１２００は、３つの異なる露光時間、短い露光時間Ｔ_Ｓ、中程度の露光時間Ｔ_Ｍ、及び長い露光時間Ｔ_Ｌに延長されたＳＭＥ ＨＤＲ画像センサ２００の実施形態であり、ここで、Ｔ_Ｓ＜Ｔ_Ｍ＜Ｔ_Ｌである。

ＳＭＥ ＨＤＲ画像センサ１２００は、同一の画素群１２２０のアレイを有する画素アレイ１２１０を含む。各画素群１２２０は、少なくとも１つの短時間露光画素２３２Ｓ、少なくとも１つの中時間露光画素２３２Ｍ、及び少なくとも１つの長時間露光画素２３２Ｌを含む。短時間露光画素２３２Ｓは短露光時間Ｔ_Ｓ中に光を集め、中時間露光画素２３２Ｍは中露光時間Ｔ_Ｍ中に光を集め、長時間露光画素２３２Ｌは長露光時間Ｔ_Ｌ中に光を集める。Ｔ_Ｓ、Ｔ_Ｍ、及びＴ_Ｌは、例えば、短時間露光画素２３２Ｓによって生成された画像データ、中時間露光画素２３２Ｍによって生成された画像データ、及び長時間露光画素２３２Ｌによって生成された画像データの間の時間的なオフセットを最小にするために、時間的に、例えば、完全にＴ_Ｍ内のＴ_Ｓ、及び完全にＴ_Ｌ内のＴ_Ｍで重複することができる。ＳＭＥ ＨＤＲ画像センサ１２００で撮像される１フレームは、短時間露光画像（画像１７０Ｓの一例）、中時間露光画像（画像１７０Ｍと記載）、及び長時間露光画像（画像１７０Ｌの一例）を含む。

ＳＭＥ ＨＤＲ画像センサ１２００は、４つ以上の露光時間で動作するように容易に延長することができる。例えば、ＳＭＥ ＨＤＲ画像センサ１２００は、各画素群１２２０に、Ｔ_Ｓ、Ｔ_Ｍ、及びＴ_Ｌのいずれか１つとは異なる露光で光を収集するように構成された少なくとも１つの画素を含めることによって、４つの異なる露光時間に拡張することができる。

図１３は、３つの異なる露光時間で画像データをキャプチャするように構成された１つのカラーＳＭＥ ＨＤＲ画像センサ１３００を示す。カラーＳＭＥ ＨＤＲ画像センサ１３００は、複数のカラーチャネルを有するＳＭＥ ＨＤＲ画像センサ１２００の一実施形態である。カラーＳＭＥ ＨＤＲ画像センサ１３００は３つのカラーチャネルを有するものとして図４に示されているが、本発明の範囲から逸脱することなく、２つ、４つ、又はそれ以上のカラーチャネルを有してもよい。

カラーＳＭＥ ＨＤＲ画像センサ１３００は、同一の画素群１３２０のアレイを有する画素アレイ１３１０を含む。各画素群１３２０は、短時間露光画素３２２Ｓ、中時間露光画素３２２Ｍ、及び長時間露光画素３２２Ｌを含む。短時間露光画素３２２Ｓは、短時間露光画素２３２Ｓの例であり、第１、第２、及び第３の色の光にそれぞれ感応する画素３３２Ｓ、３３４Ｓ、及び３３６Ｓを含む。中時間露光画素３３２Ｍは中時間露光画素２３２Ｍの例であり、第１、第２、及び第３の色の光にそれぞれ感応する画素３３２Ｍ、３３４Ｍ、及び３３６Ｍを含む。長時間露光画素３２２Ｌは長時間露光画素２３２Ｌの例であり、第１、第２、及び第３の色の光にそれぞれ感応する画素３３２Ｌ、３３４Ｌ、及び３３６Ｌを含む。第１、第２、第３の色は例えば、緑色、赤色、青色である。

カラーＳＭＥ ＨＤＲ画像センサ１３００によって生成される場合、短時間露光画像１７０Ｓ、中時間露光画像１７０Ｍ、及び長時間露光画像１７０Ｌの各々は、画素３３２Ｓ、３３２Ｍ、又は３３２Ｌの画素値から構成される第１の色成分、画素３３４Ｓ、３３４Ｍ、又は３３４Ｌの画素値から構成される第２の色成分、及び画素３３６Ｓ、３３６Ｍ、又は３３６Ｌの画素値から構成される第３の色成分の３つの色成分を含む。

各画素群１３２０は、本発明の範囲から逸脱することなく、センサ画素３３２Ｓ、３３４Ｓ、３３６Ｓ、３３２Ｍ、３３４Ｍ、３３６Ｍ、３３２Ｌ、３３４Ｌ、及び３３６Ｌのうちの１つ又は複数のインスタンスを含むことができる。例えば、各画素群１３２０は、第１の色に感応する、複数の画素３３２Ｓ、複数の画素３３２Ｍ、及び複数の画素３３２Ｌを含んでもよい。一実施形態では、第１の色は緑色である。

図１４は１つのカラーＳＭＥ ＨＤＲ画像センサ１４００を示しており、その画素は、各々が３つの異なる露光時間に感応する画素を含む色固有の四重項に配置されている。カラーＳＭＥ ＨＤＲ画像センサ１４００は、カラーＳＭＥ ＨＤＲ画像センサ３００の一実施形態である。カラーＳＭＥ ＨＤＲ画像センサ１４００は、同一の正方形の画素群１４１０のアレイを含む。カラーＳＭＥ ＨＤＲ画像センサ１４００は、図１４に示されるよりも多くの画素群１４１０、例えば、数百又は数千の画素群１４１０を含み得ることが理解される。各画素群１４１０は、（図１４に白色背景で示される）短時間露光画素１４２２Ｓ、（図１４に明るい影付き背景で示される）中時間露光画素１４２２Ｍ、及び（図１４に暗い影付き背景で示される）長時間露光画素１４２２Ｌを含む。各画素群１４１０は、画素１４２２Ｓ、１４２２Ｍ、及び１４２２Ｌを、色特有の四重項に配置する。より具体的には、各画素群１４１０は、赤色光に感応する１つの四重項１４１２、緑色光に感応する２つの四重項１４１４、及び青色光に感応する１つの四重項１４１６を含む。各四重項１４１２は、１つの短時間露光画素「ＲＳ」、２つの中時間露光画素「ＲＭ」、及び１つの長時間露光画素「ＲＬ」で構成される。各四重項１４１４は、１つの短時間露光画素「ＧＳ」、２つの中時間露光画素「ＧＭ」、及び１つの長時間露光画素「ＧＬ」で構成される。各四重項１４１６は、１つの短時間露光画素「ＢＳ」、２つの中時間露光画素「ＢＭ」、及び１つの長時間露光画素「ＢＬ」で構成される。各画素群１４１０は、画素群１３２０の一実施形態である。

ＳＭＥ ＨＤＲ画像センサ１２００、１３００、及び１４００の各々は、生成するためにＨＤＲ画像センサ１５０としてＨＤＲカメラ１０２に実装することができる。同様に、３つ以上の異なる露光時間で画像を逐次的にキャプチャするように構成された時間的に多重化された画像センサが、ＨＤＲ画像センサ１５０としてＨＤＲカメラ１０２に実装されてもよい。より一般的には、ＨＤＲ画像センサ１５０は、３つ以上の異なる露光時間でそれぞれ撮像された、同じシーンの３つ以上の異なる画像を生成するように構成されてもよい。方法７００、８００、及び９００のそれぞれは、３つ以上の異なる露光時間でキャプチャされた画像データを処理するように容易に拡張される。

図１５は、３つ以上の異なる露光時間でキャプチャされた入力画像に基づいて、結合前ノイズ除去を伴うＨＤＲ画像を生成するための１つの方法１５００を示す。方法１５００は、ＨＤＲ画像生成器１００をノイズ除去することによって実行されてもよい。方法１５００は、３つ以上の異なる露光時間への方法７００の拡張である。ノイズ除去ＨＤＲ画像生成器１００、ノイズ除去ＨＤＲ画像生成器１０００、及びシステム１１００のそれぞれは、方法１５００を実行するように適合されてもよい。

方法１５００はステップ１５１０、１５３０、及び１５５０を含み、これらは、それぞれ、ノイズ除去器１１０、スケーリングモジュール１２２、及びマージングモジュール１２４によって実行され得る。以下では、方法１５００は、モノクロＨＤＲ撮像、すなわち、単一のカラーチャネルのみの処理の文脈で説明される。しかしながら、方法１５００は、例えば、図８及び図９を参照して上述した方法と同様の方法で、カラーＨＤＲ画像に容易に拡張される。

方法１５００は、３つ以上の異なる露光時間でそれぞれキャプチャされた３つ以上の露光時間固有画像を入力として受け取る。最短時間露光でキャプチャされた露光時間固有画像は、最短時間露光画像と呼ばれる。最も長い露光時間でキャプチャされた露光時間固有画像は、最長時間露光画像と呼ばれる。最長時間露光画像ではない任意の露光時間固有画像は、より短い露光時間の画像と呼ばれる。最短時間露光画像ではない任意の露光時間固有画像は、より長い露光時間の画像と呼ばれる。例えば、画像１７０Ｓ、１７０Ｍ、１７０Ｌを受信する方法１５００の場合、（ａ）画像１７０Ｓは最短時間露光画像、（ｂ）画像１７０Ｌは最長時間露光画像、（ｃ）画像１７０Ｓ、１７０Ｍはいずれもより短い露光時間の画像、（ｄ）画像１７０Ｍ、１７０Ｌはいずれもより長い露光時間の画像である。

ステップ１５１０は、より短い露光時間の画像の各々について別々に実行される。ステップ１５１０のこのような各インスタンスは、ステップ７１０と同様である。より短い露光時間の画像の各々について、ステップ１５１０は、少なくとも部分的に、最長時間露光画像から得られた構造情報に基づいて、より短い露光時間の画像をノイズ除去する。ステップ１５１０の一例では、ノイズ除去器１１０は、画像１７０Ｌから得られた構造情報に少なくとも部分的に基づいて、画像１７０Ｓ及び１７０Ｍをそれぞれノイズ除去する。ステップ１５１０は、それぞれ、ステップ７１２及び７１４と同様に、ステップ１５１２及び１５１４の一方又は両方を含むことができる。

ステップ１５１２は、より短い露光時間の画像、例えば画像１７０Ｓ又は１７０Ｍにガイドフィルタを適用する。ガイドフィルタは、最長時間露光画像、例えば画像１７０Ｌをそのガイドとして使用する。ステップ１５１２のガイドフィルタは、例えば、ジョイントガイドフィルタ、ジョイントバイラテラルフィルタ、又は当技術分野で知られている異なるタイプのガイドフィルタである（図７を参照して上述した説明を参照されたい）。

ステップ１５１４は、より短い露光時間の画像（例えば、ステップ１５３０における後続のスケーリング後の画像１７０Ｓ又は１７０Ｍ）のノイズ特性を適応させて、最長時間露光画像（例えば、ステップ１５３０における後続のスケーリング後の画像１７０Ｌ）と同様のノイズ特性を生成する。

ステップ１５３０は、露光時間固有画像のうちの１つ以外のすべてをスケーリングして、短時間露光画像及び長時間露光画像を共通の放射輝度スケール上に置く。ステップ１５３０は、３つ以上の異なる露光時間へのステップ７３０の拡張である。ステップ１５３０の一例では、スケーリングモジュール１２２が画像１７０Ｓ、１７０Ｍ、及び１７０Ｌの少なくとも２つをスケーリングして、画像１７０Ｓ、１７０Ｍ、及び１７０Ｌのすべてを共通の放射輝度スケール上に置く。ステップ１５３０は、ステップ１５１０の後に実行される。

ステップ１５５０は、ステップ１５３０の後に実行され、露光時間固有画像をマージして、ＨＤＲ画像を生成する。ステップ１５５０は、３つ以上の異なる露光時間へのステップ７５０の拡張である。ステップ１５５０の一例では、マージングモジュール１２４が画像１７０Ｓ、１７０Ｍ、及び１７０Ｌをマージして、ＨＤＲ画像１８０を形成する。

方法１５００の一実施形態は、マージングプロセスにおける動きを補償するように適合される。方法１５００のこの実施形態はステップ１５４０をさらに含み、この実施形態のステップ１５５０はステップ１５５２を含む。ステップ１５４０及び１５５２は、それぞれステップ７４０及び７５２と同様である。ステップ１５４０は、露光時間固有画像の少なくともいくつかの間の不一致の程度を評価する。ステップ１５４０の一例では、コンバイナ１２０は、（ノイズ除去器１１０によるノイズ除去の前、ノイズ除去器１１０によるノイズ除去とスケーリングモジュール１２２によるスケーリングの間、又はスケーリングモジュール１２２によるスケーリングの後）２つ又は３つの画像１７０Ｓ、１７０Ｍ、及び１７０Ｌを比較して、不一致を評価する。ステップ１５４０は、視差パラメータＤを生成することができる。

ステップ１５５２は、ステップ１５４０で見出される不一致の程度に少なくとも部分的に依存する結合重みを使用して、露光時間固有画像の線形結合として、ＨＤＲ画像を生成する。

方法１５００はまた、より長い露光時間の画像のうちの１つ又は複数をノイズ除去するステップ１５２０を含むことができる。ステップ１５２０は、３つ以上の異なる露光時間を有するシナリオへのステップ７２０の拡張である。ステップ１５２０は、ステップ１５３０の前に実行される。ステップ１５２０の一例では、ノイズ除去器１１０は、画像１７０Ｍ及び１７０Ｌの一方又は両方をノイズ除去する。ステップ１５２０は、スケーリングされたより長い露光時間の画像（例えば、ステップ１５３０の後の画像１７０Ｍ又は１７０Ｌ）のノイズ特性を適応させて、スケーリングされたより短い露光時間の画像（例えば、ステップ１５３０の後の画像１７０Ｓ又は１７０Ｍ）のうちの１つまたは複数におけるような類似のノイズ特性を生成するステップ１５２２を含んでもよい。ステップ１５２２は、３つ以上の異なる露光時間を有するシナリオへのステップ７２２の拡張である。ステップ１５２２は、１つ又は複数のより短い露光時間の画像のノイズ特性をより長い露光時間の画像に混合するステップ１５２４を含むことができる。ステップ１５２４は、３つ以上の異なる露光時間を有するシナリオへのステップ７２４の拡張である。一実施形態では、ステップ１５２４は、より短い露光時間の画像のうちの１つをガイドとして使用して、より長い露光時間の画像にガイドフィルタを適用するステップ１５２６を含む。ステップ１５２６は、３つ以上の異なる露光時間を有するシナリオへのステップ７２６の拡張である。

本発明の範囲から逸脱することなく、方法１５００は、図１を参照して上述したスケーリングモジュール１２２及びマージングモジュール１２４の統合と同様に、ステップ１５３０及び１５５０を統合することができる。

図７、図８、図９、及び図１５を介して説明した方法のいずれも、プロセッサ、例えば、図１１のシステム１１００のプロセッサ１１１０によって実行することができる。コンピュータプログラムをプロセッサ内で実行して、上述の方法のいずれかを実行することができる。コンピュータプログラムは、プログラムがプロセッサによって実行されるときに、上述の方法のいずれかを実行するために、非一時的メモリ、例えば、図１１のメモリ１１２０に符号化された、機械可読命令、例えば、図１１の命令１１３０を含むことができる。

特徴の組み合わせ
上述の特徴、ならびに以下に請求される特徴は、本明細書の範囲から逸脱することなく、様々な方法で組み合わせることができる。例えば、本明細書で説明される、ＨＤＲ画像を生成するための１つの方法又は成形品の態様は、本明細書で説明される、ＨＤＲ画像を生成するための別の方法又は成形品の特徴を組み込むか、又はスワップすることができることが理解されるのであろう。以下の実施例は、上記の実施形態のいくつかの可能な非限定的な組み合わせを例示する。本発明の精神及び範囲から逸脱することなく、本明細書の方法、成形品、及びシステムに対して多くの他の変更及び修正を行うことができることは明らかであろう。

（Ａ１）ＨＤＲ画像を生成する方法は（ａ）長時間露光画像から得られた構造情報に少なくとも部分的に基づいて、短時間露光画像をノイズ除去するステップと、（ｂ）ノイズ除去のステップの後に、短時間露光画像と長時間露光画像の少なくとも一方をスケーリングして、短時間露光画像と長時間露光画像を共通の放射輝度スケール上に配置するステップと、（ｃ）スケーリングするステップの後に、短時間露光画像と長時間露光画像をマージしてＨＤＲ画像を生成するステップとを含んでもよい。

（Ａ２）（Ａ１）として示される方法では、ノイズ除去するステップは、短時間露光画像の各局所領域に対して、位置感応フィルタが長時間露光画像の対応する局所領域の画素値に依存するように、短時間露光画像に位置感応フィルタを適用するステップを含んでもよい。

（Ａ３）（Ａ１）及び（Ａ２）として示される方法のいずれにおいても、ノイズ除去するステップは短時間露光画像に第１のフィルタを適用することを含んでもよく、ガイドフィルタは長時間露光画像をそのガイドとして利用する。

（Ａ４）（Ａ３）として示される方法では、第１のガイドフィルタを適用するステップは、前記短時間露光画像Ｓのノイズ除去されたバージョンを、Ｓ’＝ａＬ＋ｂとして決定するステップを含んでもよく、Ｌは前記長時間露光画像であり、係数ａ及びｂの各々は、前記長時間露光画像の位置感応関数である。

（Ａ５）（Ａ３）及び（Ａ４）として示される方法のいずれにおいても、第１のガイドフィルタは、ジョイントバイラテラルフィルタ及びジョイントガイドフィルタからなる群から選択されてもよい。

（Ａ６）（Ａ１）～（Ａ５）として示される方法のいずれも、スケーリングするステップの前に、短時間露光画像及び長時間露光画像のうちの少なくとも一方のノイズ特性を、短時間露光画像及び長時間露光画像のうちの他方のノイズ特性を模倣するように適合させるステップをさらに含んでもよい。

（Ａ７）（Ａ１）～（Ａ６）として示される方法のいずれも、スケーリングするステップの前に、短時間露光画像のノイズ特性を長時間露光画像に混合するステップをさらに含んでもよい。

（Ａ８）（Ａ７）として示される方法では、混合するステップは第２のガイドフィルタを長時間露光画像に適用するステップを含むことができ、第２のガイドフィルタは短時間露光画像をそのガイドとして利用する。

（Ａ９）（Ａ８）として示される方法では、第２のガイドフィルタを適用するステップは、前記長時間露光画像Ｌの修正バージョンＬ’を、Ｌ’＝ｃＳ＋ｄとして決定するステップを含んでもよく、Ｓは前記短時間露光画像であり、係数ｃ及びｄの各々は、前記短時間露光画像Ｓの位置感応関数である。

（Ａ１０）（Ａ９）で示される方法では、第２のガイドフィルタは、ジョイントバイラテラルフィルタ及びジョイントガイドフィルタからなる群から選択されてもよい。

（Ａ１１）（Ａ８）～（Ａ１０）で示される方法のいずれにおいても、混合するステップは、短時間露光画像のノイズ特性が長時間露光画像に混合される程度を調整するために、第２のガイドフィルタの空間スケールを調整するステップをさらに含んでもよい。

（Ａ１２）（Ａ１）～（Ａ１１）のいずれかの方法はさらに、短時間露光画像と長時間露光画像の不一致の程度を評価するステップと、マージするステップにおいて、少なくとも部分的に不一致の程度に依存する結合重みを用いて、短時間露光画像と長時間露光画像の線形結合としてＨＤＲ画像を生成するステップと、を含むことができる。

（Ａ１３）（Ａ１）～（Ａ１２）で示される方法のいずれかは、空間多重化露光画像センサによってキャプチャされた単一フレームから短時間露光画像及び長時間露光画像を取得することをさらに含むことができる。

（Ａ１４）（Ａ１）～（Ａ１３）で示される方法のいずれにおいても、短時間露光画像及び長時間露光画像のそれぞれは複数の色成分から構成されるカラー画像であってもよく、この方法は、（ｉ）複数の色成分のそれぞれについて、ノイズ除去するステップ、スケーリングするステップ、及びマージするステップを別々に実行して、複数の色成分について複数の色固有ＨＤＲ画像をそれぞれ生成するステップと、（ｉｉ）複数の色固有ＨＤＲ画像をデモザイキングして、フルカラーＨＤＲ画像を生成するステップとを含んでもよい。

（Ａ１５）（Ａ１）から（Ａ１３）として示される方法のいずれにおいても、短時間露光画像及び長時間露光画像の各々は、複数の色成分から構成されるカラー画像であってもよく、色成分は第１の色を含み、方法は、（ｉ）各色成分について、ノイズ除去するステップを実行し、構造情報は長時間露光画像の第１の色から取得され、（ｉｉ）各色成分についてノイズ除去するステップを実行した後、各色成分について別々にスケーリング及びマージングするステップを実行して、複数の色成分それぞれについて複数の色固有ＨＤＲ画像を生成し、（ｉｉｉ）複数の色固有ＨＤＲ画像をデモザイキングして、フルカラーＨＤＲ画像を生成することを含んでもよい。

（Ａ１６）（Ａ１）～（Ａ１５）のいずれかの方法は、画像センサから、時間露光画像及び長時間露光画像を受け取るステップと、ディスプレイ、非一時的メモリ、及び通信バスからなる群から選択される構成要素にＨＤＲ画像を出力するステップと、をさらに含んでもよい。

（Ｂ１）高ダイナミックレンジＨＤＲ画像を生成するための製品は非一時的メモリに符号化された機械可読命令を含むことができ、機械可読命令は、（ａ）プロセッサによって実行されたときに、長時間露光画像から取得された構造情報に少なくとも部分的に基づいて、短時間露光画像をノイズ除去する、ノイズ除去命令と、（ｂ）プロセッサによって実行されると、短時間露光画像及び長時間露光画像のうちの少なくとも１つをスケーリングして、前記短時間露光画像及び前記長時間露光画像を共通の放射輝度スケール上に置く、スケーリング命令と、（ｃ）プロセッサによって実行されると、短時間露光画像を長時間露光画像とマージしてＨＤＲ画像を生成する、マージング命令と、（ｄ）プロセッサによって実行されると、（ｉ）短時間露光画像及び長時間露光画像を取り出し、（ｉｉ）ノイズ除去命令、スケーリング命令、及びマージング命令をこの順序で実行するようにプロセッサを制御する、制御命令と、を含む。

（Ｂ２）（Ｂ１）として示される製品では、機械可読命令は、プロセッサによって実行されると、前記ノイズ除去命令によって呼び出され、前記長時間露光画像をそのガイドとして使用して前記短時間露光画像をノイズ除去する、第１のガイドフィルタをさらに含むことができる。

（Ｂ３）（Ｂ１）及び（Ｂ２）として示される製品のいずれにおいても、プロセッサによって実行されると、短時間露光画像のノイズ特性を長時間露光画像に混合する混合命令をさらに含むことができ、制御命令は、プロセッサによって実行されると、スケーリング命令の前に混合命令を実行するようにプロセッサを制御するように構成される。

（Ｂ４）（Ｂ３）として示される製品では、機械可読命令は、プロセッサによって実行されると、ブレンド命令によって呼び出され、短時間露光画像のノイズ特性を、短時間露光画像をそのガイドとして使用して長時間露光画像にブレンドする、第２のガイドフィルタをさらに含むことができる。

（Ｂ５）ＨＤＲカメラは（Ｉ）単一フレームで、短時間露光画像及び長時間露光画像の画像をキャプチャするように構成された空間多重化露光画像センサと、（ＩＩ）プロセッサと、（ＩＩＩ）機械可読命令がプロセッサによって実行されると、単一フレームからＨＤＲ画像を生成するための、（Ｂ１）～（Ｂ４）として示される製品のいずれかと、を含むことができる。

（Ｂ６）（Ｂ５）と表記されているＨＤＲカメラでは、空間多重化露光画像センサは、１０ビット以下のビット深度を有してもよい。

（Ｂ７）（Ｂ６）として示されるＨＤＲカメラでは、４平方ミクロン以下の面積を有してもよい。

本明細書の範囲から逸脱することなく、上記の装置、システム、及び方法に変更を加えることができる。したがって、上記の説明に含まれ、添付の図面に示される事項は例示的なものとして解釈されるべきであり、限定的な意味で解釈されるべきではないことに留意されたい。以下の特許請求の範囲は、本明細書に記載される一般的及び特定の特徴、ならびに、言語の事柄として、それらの間に入ると言われ得る、本装置、システム、及び方法の範囲のすべてのステートメントをカバーすることが意図される。

本発明の様々な態様は、以下の列挙された例示的な実施形態（ＥＥＥ）から理解され得る。

ＥＥＥ１．ハイダイナミックレンジ（ＨＤＲ）画像を生成するための方法であって、
長時間露光画像から得られた構造情報に少なくとも部分的に基づいて、短時間露光画像をノイズ除去するステップと、
前記ノイズ除去するステップの後、前記短時間露光画像及び前記長時間露光画像を共通の放射輝度スケール上に置くために、前記短時間露光画像及び前記長時間露光画像の少なくとも一方をスケーリングするステップと、
前記スケーリングするステップの後、ＨＤＲ画像を生成するために、前記短時間露光画像と前記長時間露光画像をマージするステップと、を含む、ハイダイナミックレンジ（ＨＤＲ）画像を生成するための方法。

ＥＥＥ２．前記ノイズ除去するステップは、前記短時間露光画像の各局所領域に対して、位置感応フィルタが前記長時間露光画像の対応する局所領域の画素値に依存するように、前記短時間露光画像に前記位置感応フィルタを適用するステップを含む、ＥＥＥ１に記載の方法。

ＥＥＥ３．前記ノイズ除去するステップは、第１のガイドフィルタを前記短時間露光画像に適用するステップを含み、前記ガイドフィルタは前記長時間露光画像をそのガイドとして利用する、ＥＥＥ１又は２に記載の方法。

ＥＥＥ４．第１のガイドフィルタを適用するステップは、前記短時間露光画像Ｓのノイズ除去されたバージョンを、Ｓ’＝ａＬ＋ｂとして決定するステップを含み、ここで、Ｌは前記長時間露光画像であり、係数ａ及びｂの各々は、前記長時間露光画像の位置感応関数である、ＥＥＥ３に記載の方法。

ＥＥＥ５．前記第１のガイドフィルタは、ジョイントバイラテラルフィルタ及びジョイントガイドフィルタからなる群から選択される、ＥＥＥ３または４に記載の方法。

ＥＥＥ６．前記スケーリングするステップの前に、前記短時間露光画像及び前記長時間露光画像のうちの少なくとも一方のノイズ特性を、前記短時間露光画像及び前記長時間露光画像のうちの他方のノイズ特性を模倣するように適合させるステップをさらに含む、ＥＥ１～５のいずれか一つに記載の方法。

ＥＥＥ７．前記スケーリングするステップの前に、前記短時間露光画像のノイズ特性を前記長時間露光画像に混合するステップをさらに含む、ＥＥＥ１～６のいずれか一つに記載の方法。

ＥＥＥ８．前記混合するステップは、前記長時間露光画像に第２のガイドフィルタを適用するステップを含み、前記第２のガイドフィルタは、前記短時間露光画像をガイドとして利用する、ＥＥＥ７に記載の方法。

ＥＥＥ９．前記第２のガイドフィルタを適用するステップは、前記長時間露光画像Ｌの修正バージョンＬ’を、Ｌ’＝ｃＳ＋ｄとして決定するステップを含み、ここで、Ｓは前記短時間露光画像であり、係数ｃ及びｄの各々は、前記短時間露光画像Ｓの位置感応関数である、ＥＥＥ８に記載の方法。

ＥＥＥ１０．前記第２のガイドフィルタは、ジョイントバイラテラルフィルタ及びジョイントガイドフィルタからなる群から選択される、ＥＥＥ９に記載の方法。

ＥＥＥ１１．前記混合するステップは、前記短時間露光画像のノイズ特性が前記長時間露光画像に混合される程度を調整するために、前記第２のガイドフィルタの空間スケールを調整するステップをさらに含む、ＥＥＥ８～１０のいずれか一つに記載の方法。

ＥＥＥ１２．短時間露光画像と長時間露光画像の不一致の程度を評価するステップと、
前記マージするステップにおいて、少なくとも部分的に前記不一致の程度に依存する結合重みを用いて、前記短時間露光画像と前記長時間露光画像の線形結合として前記ＨＤＲ画像を生成するステップと、を含む、ＥＥＥ１－１１のいずれか一つに記載の方法。

ＥＥＥ１３．空間多重化露光画像センサによりキャプチャされた単一フレームから、前記短時間露光画像及び前記長時間露光画像を取得するステップをさらに含む、ＥＥＥ１～１２のいずれか一つに記載の方法。

ＥＥＥ１４．前記短時間露光画像及び前記長時間露光画像の各々は、複数の色成分から構成されるカラー画像であり、
前記複数の色成分ごとにノイズ除去するステップ、スケーリングするステップ、及びマージするステップを別々に実行して、複数の色成分それぞれについて複数の色固有ＨＤＲ画像を生成するステップと、
前記複数の色固有のＨＤＲ画像をデモザイクして、フルカラーＨＤＲ画像を作成するステップと、を含む、ＥＥＥ１～１３のいずれか一つに記載の方法。

ＥＥＥ１５．前記短時間露光画像及び前記長時間露光画像の各々は、複数の色成分から構成されるカラー画像であり、前記色成分は第１の色を含み、
各色成分について、ノイズ除去するステップを実行するステップであって、前記構造情報は前記長時間露光画像の第１の色から取得する、実行するステップと、
各色成分に対してノイズ除去を行うステップを実行した後、各色成分に対して個別にスケーリングするステップ及びマージするステップを実行して、前記複数の色成分についてそれぞれ複数の色固有ＨＤＲ画像を生成するステップと、
前記複数の色固有ＨＤＲ画像をデモザイキングして、フルカラーＨＤＲ画像を作成するステップと、を含む、ＥＥＥ１～１４のいずれか一つに記載の方法。

ＥＥＥ１６．画像センサから、前記時間露光画像及び前記長時間露光画像を受け取るステップと、
ディスプレイ、非一時的メモリ、及び通信バスからなる群から選択される構成要素にＨＤＲ画像を出力するステップと、をさらに含む、ＥＥＥ１～１５のいずれか一つに記載の方法。

ＥＥＥ１７．非一時的メモリに符号化された機械可読命令を含む、高ダイナミックレンジＨＤＲ画像を生成するための製品であって、前記機械可読命令は、
プロセッサによって実行されたときに、長時間露光画像から得られた構造情報に少なくとも部分的に基づいて、短時間露光画像をノイズ除去する、ノイズ除去命令と、
プロセッサによって実行されると、前記短時間露光画像及び前記長時間露光画像のうちの少なくとも１つをスケーリングして、前記短時間露光画像及び前記長時間露光画像を共通の放射輝度スケール上に置く、スケーリング命令と、
プロセッサによって実行されると、前記短時間露光画像を前記長時間露光画像とマージしてＨＤＲ画像を生成する、マージング命令と、
プロセッサによって実行されると、（ａ）前記短時間露光画像及び前記長時間露光画像を取り出し、（ｂ）ノイズ除去命令、スケーリング命令、及びマージング命令をこの順序で実行するようにプロセッサを制御する、制御命令と、を含む、高ダイナミックレンジＨＤＲ画像を生成するための製品。

ＥＥＥ１８．前記機械可読命令は、前記プロセッサによって実行されると、前記ノイズ除去命令によって呼び出され、前記長時間露光画像をそのガイドとして使用して前記短時間露光画像をノイズ除去する、第１のガイドフィルタをさらに含む、ＥＥＥ１７に記載の製品。

ＥＥＥ１９．プロセッサによって実行されると、前記短時間露光画像のノイズ特性を前記長時間露光画像に混合する混合命令をさらに含み、前記制御命令は、プロセッサによって実行されると、スケーリング命令の前に混合命令を実行するようにプロセッサを制御するように構成される、ＥＥＥ１７または１８に記載の製品。

ＥＥＥ２０．機械可読命令は、プロセッサによって実行されると、前記ブレンド命令によって呼び出され、前記短時間露光画像のノイズ特性を、前記短時間露光画像をそのガイドとして使用して前記長時間露光画像にブレンドする、第２のガイドフィルタをさらに含む、ＥＥＥ１９に記載の製品。

ＥＥＥ２１．単一フレームで、短時間露光画像及び長時間露光画像の画像をキャプチャするように構成された空間多重化露光画像センサと、
プロセッサと、
機械可読命令がプロセッサによって実行されると、前記単一フレームからＨＤＲ画像を生成するためのＥＥＥ１７～２０のいずれか一つに記載された製品と、を備える、ＨＤＲカメラ。

ＥＥＥ２２．前記空間多重化露光画像センサは、１０ビット以下のビット深度を有する、ＥＥＥ２１に記載のＨＤＲカメラ。

ＥＥＥ２３．前記空間多重化露光画像センサの各画素は、４平方ミクロン以下の面積を有する、ＥＥＥ２２に記載のＨＤＲカメラ。

Claims (19)

1. ハイダイナミックレンジ（ＨＤＲ）画像を生成するための方法であって、
   短時間露光画像をノイズ除去するステップであって、該ノイズ除去するステップは、前記短時間露光画像に第１のガイドフィルタを適用するステップであって、前記ガイドフィルタは長時間露光画像をそのガイドとして利用する、適用するステップを含む、ノイズ除去するステップと、
   前記ノイズ除去するステップの後、前記短時間露光画像及び前記長時間露光画像を共通の放射輝度スケール上に置くために、前記短時間露光画像及び前記長時間露光画像の少なくとも一方をスケーリングするステップと、
   前記スケーリングするステップの後、ＨＤＲ画像を生成するために、前記短時間露光画像を前記長時間露光画像とマージするステップと、を含む、ハイダイナミックレンジ（ＨＤＲ）画像を生成するための方法。
2. 前記ノイズ除去するステップは、前記短時間露光画像の各局所領域に対して、位置感応フィルタが前記長時間露光画像の対応する局所領域の画素値に依存するように、前記短時間露光画像に前記位置感応フィルタを適用するステップを含む、請求項１に記載の方法。
3. 前記第１のガイドフィルタを適用するステップは、ノイズ除去された前記短時間露光画像内の画素値において、前記短時間露光画像の局所領域内の前記長時間露光画像内の対応する画素値の線形関数として、ノイズ除去された前記短時間露光画像内の画素値を決定するステップを含む、請求項１又は２に記載の方法。
4. 前記第１のガイドフィルタを適用するステップは、ノイズ除去された前記短時間露光画像Ｓにおけるｉ番目の画素値を、Ｓ’_Ｓ，ｉ＝ａＳ_Ｌ，ｉ＋ｂとして決定するステップを含み、Ｓ_Ｌ，ｉは前記長時間露光画像の前記画素値であり、係数ａ及びｂの各々は、前記ｉ番目の画素での前記短時間露光画像の局所領域における画素値に依存する、請求項１～３のいずれか一項に記載の方法。
5. 前記係数ａ及びｂの各々は、位置感応である、請求項４に記載の方法。
6. 前記第１のガイドフィルタは、ジョイントバイラテラルフィルタとジョイントガイドフィルタとを含むフィルタ群から選択される、請求項１～５のいずれか一項に記載の方法。
7. 前記スケーリングするステップの前に、前記長時間露光画像に第２のガイドフィルタを適用するステップをさらに含み、前記第２のガイドフィルタは前記短時間露光画像をそのガイドとして利用する、請求項１～６のいずれか一項に記載の方法。
8. 前記第２のガイドフィルタを適用するステップは、ノイズ除去された前記長時間露光画像における画素値での、前記長時間露光画像の局所領域における、前記短時間露光画像における対応する画素値の線形関数として、ノイズ除去された前記長時間露光画像における画素値を決定するステップを含む、請求項７に記載の方法。
9. 前記第２のガイドフィルタを適用するステップは、ノイズ除去された前記長時間露光画像Ｌにおけるｉ’番目の画素値を、Ｓ’_Ｌ，ｉ＝ｃ・Ｓ_Ｓ，ｉ＋ｄとして決定するステップを含み、Ｓ_Ｓ，ｉは前記短時間露光画像の前記画素値であり、係数ｃ及びｄの各々は、前記ｉ’番目の画素での前記長時間露光画像の局所領域における画素値に依存する、請求項７または８に記載の方法。
10. 前記係数ｃ及びｄは、位置感応である、請求項９に記載の方法。
11. 前記第２のガイドフィルタは、ジョイントバイラテラルフィルタとジョイントガイドフィルタとを含むフィルタ群から選択される、請求項７～１０のいずれか一項に記載の方法。
12. 前記短時間露光画像のノイズ特性が前記長時間露光画像に混合される程度を調整するために、前記第２のガイドフィルタの空間スケールを調整するステップをさらに含む、請求項７～１１のいずれか一項に記載の方法。
13. 短時間露光画像と長時間露光画像の不一致の程度を評価するステップと、
    前記マージするステップにおいて、少なくとも部分的に前記不一致の程度に依存する結合重みを用いて、前記短時間露光画像と前記長時間露光画像の線形結合として前記ＨＤＲ画像を生成するステップと、を含む、請求項１～１２のいずれか一項に記載の方法。
14. 空間多重化露光画像センサによりキャプチャされた単一フレームから、前記短時間露光画像及び前記長時間露光画像を取得するステップをさらに含む、請求項１～１３のいずれか一項に記載の方法。
15. 前記短時間露光画像及び前記長時間露光画像の各々は、複数の色成分から構成されるカラー画像であり、
    前記複数の色成分ごとにノイズ除去するステップ、スケーリングするステップ、及びマージするステップを別々に実行して、複数の色成分それぞれについて複数の色固有ＨＤＲ画像を生成するステップと、
    前記複数の色固有のＨＤＲ画像をデモザイクして、フルカラーＨＤＲ画像を作成するステップと、を含む、請求項１～１４のいずれか一項に記載の方法。
16. 前記短時間露光画像及び前記長時間露光画像の各々は、複数の色成分から構成されるカラー画像であり、前記色成分は第１の色を含み、
    各色成分について、前記長時間露光画像の第１の色に少なくとも部分的に基づいて、ノイズ除去するステップを実行するステップと、
    各色成分に対してノイズ除去を行うステップを実行した後、各色成分に対して個別にスケーリングするステップ及びマージするステップを実行して、前記複数の色成分についてそれぞれ複数の色固有ＨＤＲ画像を生成するステップと、
    前記複数の色固有ＨＤＲ画像をデモザイキングして、フルカラーＨＤＲ画像を作成するステップと、を含む、請求項１～１５のいずれか一項に記載の方法。
17. 画像センサから、前記短時間露光画像及び前記長時間露光画像を受け取るステップと、
    ディスプレイ、非一時的メモリ、及び通信バスからなる群から選択される構成要素にＨＤＲ画像を出力するステップと、をさらに含む、請求項１～１６のいずれか一項に記載の方法。
18. プログラムがプロセッサによって実行されるときに、請求項１～１７のいずれか一項に記載の方法を実行するために、非一時的メモリに符号化された機械可読命令を含むコンピュータプログラム製品。
19. 単一フレームで、短時間露光画像及び長時間露光画像の画像をキャプチャするように構成された空間多重化露光画像センサと、
    請求項１８に記載のコンピュータプログラムを実行するためのプロセッサと、を備える、ＨＤＲカメラ。

Images