JP2018519589A - 高ダイナミックレンジ画像を生成するための効率的な記憶装置 - Google Patents

Abstract

処理画像を生成するための多重露光高ダイナミックレンジ処理用の、１組のセンサ出力画像を記憶するための方法、装置、及びコンピュータプログラムが提供される。多重露光高ダイナミックレンジ処理は、１つ又は複数のセンサ出力画像からの画素値を合成して、処理画像を生成する。一実施例において、方法は、イメージセンサから、第１の露光を有する第１のセンサ出力画像を受信することを含む。この方法はまた、イメージセンサから、第１の露光と異なる第２の露光を有する第２のセンサ出力画像を受信することを含む。処理画像に実質的な貢献をしそうにない画素値を有する第１のセンサ出力画像の第１の画像画素が認定され、上記第１の画像画素に関して記憶された情報量が、上記認定するステップに基づいて削減される。【選択図】 図３

Description

本発明は、高ダイナミックレンジ画像を生成するための方法、装置及びコンピュータ可読記憶媒体に関する。

背景

高ダイナミック画像とは、標準的な画像処理技術で通常可能なよりも、より広いダイナミックレンジの光度を表す画像である。高ダイナミックレンジ（ＨＤＲ）画像を取り込むことができるイメージセンサは、様々なメーカーから市販されている。こうした画像を取り込むために広く採用されている技術は、多数の露出を短い間隔で行い、各露出は異なる光感度（たとえば、露出時間を変えることによって）で計算され、次いで、これらを１つのＨＤＲ露出に合成する（又は「ステッチする」）。

一部のイメージセンサは、画素の列として構成された多数の光検出素子を備えている。たとえば、高解像度センサは、各列が１９２０画素の行を含む、１０８０列の画素から組み立てることができる。

シーケンスから多数の露出を合成するために、各露出から読み取られた画素は、最初に一時的に記憶されなければならない。それにより、露出を合成するときに（結果として得られるＨＤＲ画像を形成するために）、各露出の対応する画素が同時に利用可能となる。

たとえば、ＨＤＲ画像の左上の画素は、構成する露出のうちのそれぞれの左上の画素を合成することによって生成することができる。こうした画素を合成する方法はよく知られている。

画素データのこの合成を達成するための１つ又は複数の露出から画像データを記憶する要求条件は、カメラシステムにかなりの要求をもたらす。第１に、データ記憶容量は高価であり、オンチップソリューションでは、法外に大きなシリコン領域が必要である。第２に、大量のデータを記憶デバイスに送信するのに必要な高データ帯域幅は、他のシステムリソースと競合する。第３に、記憶装置との間のデータトラフィックは、記憶が、典型的なポータブルデバイスの構成であるＤＤＲメモリなど外部メモリによってなされるときは特に、多くの電力が消費される。

このように、こうした記憶要件を削減する、特に、多重露光ＨＤＲカメラシステムの帯域幅要件を削減させるための方法が求められている。

概要

本発明の第１の態様によれば、処理画像を生成する多重露光高ダイナミックレンジ処理用の、１組のセンサ出力画像を記憶するための方法が提供される。この多重露光高ダイナミックレンジ処理は、１つ又は複数のセンサ出力画像からの画素値を合成して処理画像を生成し、この方法は、
イメージセンサから、第１の露出を有する第１のセンサ出力画像を受信するステップと、
イメージセンサから、第１の露出と異なる第２の露出を有する第２のセンサ出力画像を受信するステップと、
処理画像に実質的な貢献をしそうにない画素値を有する第１のセンサ出力画像の第１の画像画素を認定するステップと、
上記認定するステップに基づいて、上記第１の画像画素に関して記憶された情報量を削減するステップと、を含む。

処理画像に実質的な貢献をしそうにない画素を認定することにより、第１のセンサ出力画像を記憶するために送信するのに必要な帯域幅の削減、第１のセンサ出力画像を記憶するのに必要な記憶スペースの削減が可能となり、且つ、高ダイナミックレンジ画像を生成するのに必要な後続の処理の効率性の向上も可能となる。

この方法は、
処理画像に実質的な貢献をしそうにない画素値を有する第２のセンサ出力画像の第２の画像画素を認定するステップと、
上記認定するステップに基づいて、上記第２の画像画素に関して記憶された情報量を削減するステップと、
を含むことができる。

処理画像に実質的な貢献をしそうにない画素を認定することにより、第２のセンサ出力画像を記憶するために送信するのに必要な帯域幅の削減、第２のセンサ出力画像を記憶するのに必要な記憶スペースの削減が可能となり、且つ、高ダイナミックレンジ画像を生成するのに必要な後続の処理の効率性の向上も可能となる。

この方法は、第１及び第２の画像を処理して、多重露光高ダイナミックレンジ画像を生成するステップを含み、ここでこの処理は、処理画像に実質的な貢献をしそうにない画素を有すると認定された画素を除外することができる。実質的な貢献をしそうにないと認定された画素を除外することにより、帯域幅及び記憶装置の削減、並びに処理の効率性の向上が可能となる。

いくつかの実施形態において、第２の露出は第１の露出よりは小さく、第１の画像画素は、所定のしきい値以上である画素値を有することに基づいて認定される。これにより、高ダイナミックレンジ画像に貢献しそうにない過度に飽和状態の画素を、飽和状態にあると認定することが可能となる。その理由は、第２のセンサ出力画像に対応する画素は、高ダイナミックレンジ画像に使用するためにおそらく選択されるからである。

第２の露出が第１の露出より大きい他の実施形態において、第１の画像画素は、所定のしきい値以下である画素値を有することに基づいて認定される。これにより、高ダイナミックレンジ画像に貢献しそうにない比較的低い信号対雑音比を有する比較的暗い画素を、比較的暗いと認定することが可能となる。その理由は、第２のセンサ出力画像に対応する画素は、高ダイナミックレンジ画像に使用するためにおそらく選択されるからである。

この方法は、
イメージセンサから、第１の露出よりは小さく第２の露出よりは大きな露出を有する、第３の画像を受信するステップと、
２つの所定のしきい値の間の画素値を有する、第３の画像の画素を、第３の画像から除外されるものとして認定するステップと、を含む。

これにより、少なくとも３つの画像を処理して高ダイナミックレンジ画像を生成する実施形態において、上述のように、帯域幅及び記憶装置の削減、並びに処理の効率性の向上が可能となる。

いくつかの実施形態において、しきい値のうちの少なくとも１つが、イメージセンサのノイズプロファイルに基づいて選択される。これにより、望ましくないノイズレベルと関連付けられた画像強度レベルに対応する画素の除外が可能となる。

いくつかの実施形態において、しきい値のうちの少なくとも１つが、第１の露出の第３の露出に対する比に基づき、及び／又は、
しきい値のうちの少なくとも１つが、第３の露出の第２の露出に対する比に基づき、及び／又は、
しきい値のうちの少なくとも１つが、第１の露出の第２の露出に対する比に基づいている。

これにより、以下でより詳細に説明するように、飽和状態の画素、及び／又は比較的暗い画素を、必要に応じて特定の画像から除外することが可能となる。

上記第１の画像画素に関して記憶された情報量を削減するステップは、ランレングス符号化アルゴリズムを使用して、第１の画像画素を表すステップを含むことができる。これにより、第１及び／又は第２の画像を効率的に圧縮することが可能となり、画像を送信し、記憶するための帯域幅及び記憶装置要件を削減することが可能となる。

いくつかの実施形態において、所定のしきい値は、第１の画像の最大画素値を含むことができる。これにより、第１の画像から飽和状態の画素を除外することが可能となる。同様に、所定のしきい値は、第２の画像の最小画素値を含むことができる。これにより、第１の画像から比較的暗い画素を除外することが可能となる。

本開示の諸態様によれば、処理画像を生成する多重露光高ダイナミックレンジ処理用の１組のセンサ出力画像を記憶するための装置が提供される。ここでは、多重露光高ダイナミックレンジ処理が、１つ又は複数のセンサ出力画像からの画素値を合成して処理画像を生成し、装置が、
イメージセンサと、
第１のエンコーダであり、該第１のエンコーダは、
イメージセンサから、第１の露出を有する第１のセンサ出力画像を受信し、
第１のセンサ出力画像の改変されたバージョンを生成するように構成されており、第１の画像の改変されたバージョンを生成することが、
処理画像に実質的な貢献をしそうにない画素値を有する第１のセンサ出力画像の第１の画像画素を認定するステップ、及び、
上記認定するステップに基づいて、上記第１の画像画素に関して記憶された情報量を削減するステップを含む、第１のエンコーダと、
第１の画像の改変されたバージョンを受信し、記憶するように構成された第１のバッファ記憶装置と、
第２のエンコーダであり、該第２のエンコーダは、
イメージセンサから、第１の露出とは異なる第２の露出を有する第２のセンサ出力画像を受信し、
第２のセンサ出力画像の改変されたバージョンを生成するように構成されており、第２の画像の改変されたバージョンを生成することが、
処理画像に実質的な貢献をしそうにない画素値を有する第２のセンサ出力画像の第２の画像画素を認定するステップ、及び、
上記認定するステップに基づいて、上記第２の画像画素に関して記憶された情報量を削減するステップを含む、第２のエンコーダと、
第２の画像の改変されたバージョンを受信し、記憶するように構成された第２のバッファ記憶装置と、を備える。上述のように、第１及び第２のセンサ出力画像の改変されたバージョンを記憶するために必要なバッファ記憶サイズにおける削減がまた可能となり、第１及び第２のセンサ出力画像の改変されたバージョンを処理する効率性の向上が可能となる。

いくつかの実施形態において、装置は、
第１のセンサ出力画像の改変されたバージョンを第１のバッファから受信し、
第２のセンサ出力画像の改変されたバージョンを第２のバッファから受信し、
多重露光高ダイナミックレンジ画像を生成するために、第１のセンサ出力画像の改変されたバージョン、及び、第２のセンサ出力画像の改変されたバージョンを処理して、該処理が、処理画像に実質的な貢献をしそうにない画素値を有するとして認定された画素を除外する、ように構成された高ダイナミックレンジ画像コンストラクタを備える。実質的な貢献をしそうにないとして認定された画素を除外することにより、高ダイナミックレンジ画像を生成するのに必要な効率的な処理が可能となる。

いくつかの実施形態において、第１のバッファは、第１のセンサ出力画像の改変されたバージョンを第１の圧縮された画像として記憶し、及び／又は、第２のバッファは、第２のセンサ出力画像の改変されたバージョンを第２の圧縮された画像として記憶する。第１及び／又は第２の圧縮された画像を記憶することは、ランレングス符号化アルゴリズムを使用して、第１及び／又は第２の画像の改変されたバージョンから除外された画素を示すことを含むことができる。これにより、第１及び／又は第２のバッファにおける第１及び／又は第２の画像の改変されたバージョンを、効率的に記憶することが可能となる。

第１及び第２のバッファは、第１及び第２のセンサ出力画像の改変されたバージョンを、１つ又は所定の高ダイナミックレンジ画像コンストラクタに同時に送信するように構成することができる。これにより、コンストラクタは、第１及び第２の画像の画素を比較することを含む論理を適用することができる。

本開示のさらなる態様によれば、記憶された１組のコンピュータ可読命令を含む非一時的なコンピュータ可読記憶媒体が提供され、コンピュータ可読命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサに、
イメージセンサから、第１の露出を有する第１のセンサ出力画像を受信するステップと、
第１の画像強度に対応する第１のしきい値以上である画素値を有する第１のセンサ出力画像の画素を、第１のセンサ出力画像から除外されるものとして認定するステップと、
イメージセンサから、第１の露出より小さい第２の露出を有する第２のセンサ出力画像を受信するステップと、
第１の画像強度よりも小さい第２の画像強度に対応する、第２のしきい値以下である画素値を有する第２のセンサ出力画像の画素を、第２のセンサ出力画像から除外されるものとして認定するステップと、
イメージセンサから、第１の露出より小さく、第２の露出より大きな第３の露出を有する第３のセンサ出力画像を受信するステップと、
第３のしきい値以上であり且つ第４のしきい値以下である画素値を有する、第３のセンサ出力画像の画素を、第３のセンサ出力画像から除外されるものとして認定するステップであり、第３のしきい値が、第１の画像強度よりも低い第３の画像強度に対応し、第４のしきい値が、第２の画像強度よりも高い第４の画像強度に対応する、ステップと、
多重露光高ダイナミックレンジ画像を生成するために第１、第２及び第３のセンサ出力画像を処理するステップであり、処理が、第１のセンサ出力画像から除外されるものとして認定された画素を除外し、第２のセンサ出力画像から除外されるものとして認定された画素を除外し、第３のセンサ出力画像から除外されるものとして認定された画素を除外する、ステップと、を実行させる。

これにより、第１、第２及び第３のセンサ出力画像を送信するのに必要な帯域幅の削減が可能となる。またこれにより、上述のように、第１、第２及び第３のセンサ出力画像を記憶するのに必要なバッファ記憶サイズの削減が可能となり、第１、第２及び第３のセンサ出力画像を処理して、高ダイナミックレンジ画像を生成する効率性の向上が可能となる。

さらなる本発明の機能及び利点は、添付の図面を参照して、単なる例として記述された本発明の好ましい実施形態の以下の説明から明白になるであろう。

図１ａは、同一の場所の３つの露出を処理して多重露光高ダイナミックレンジ画像を生成する概略図である。 図１ｂは、同一の場所の３つの露出を処理して多重露光高ダイナミックレンジ画像を生成するタイミングの概略図である。 図２は、３つの露出から画像データを記憶するための例示のアーキテクチャを示す図である。 図３は、多重露光高ダイナミックレンジ画像を生成するための例示の装置を示す図である。 図４は、多重露光高ダイナミックレンジ画像を生成するための方法の概略図である。 図５は、３つの露出に対する画像強度の関数としての画素値をプロットしたグラフである。 図６は、一実施形態による画像データを記憶するための拡張アーキテクチャを示す図である。 図７は、一実施形態による画像データを記憶するための拡張アーキテクチャを示す図である。 図８は、一実施例による非一時的なコンピュータ可読記憶媒体を示す図である。

詳細な説明

図１は、同一の場所の３つの画像１０５、１１０、１１５を処理して、多重露光ＨＤＲ画像１２０を生成する概略図を示す。入射光に対する画像の感光度を「露出」と言うことができる。露出は、カメラなど撮像装置のパラメータを変更することによって変えることができる。たとえば、露出は、光がイメージセンサに入射する時間の長さを短縮することによって、たとえば、シャッタが開いている時間の長さを短縮することによって、減少させることができる。これを集積化時間と呼ぶことができる。こうしたパラメータの別の例は、イメージセンサのアナログ及び／又はデジタル利得であり、これは、光に対するセンサの感光度を示す。こうしたパラメータの第３の例は焦点比、すなわち「Ｆストップ」である。画像の露出は、これらのパラメータのうちの少なくとも１つの関数として、たとえば、全体的な光への感光度を示す単一の値として表すことができる。たとえば、イメージセンサの利得を２倍にして集積化時間を半分にしても、露出への正味の影響は無いであろう。光へのより高い感光度となる設定の組合せをより大きな露出、光へのより低い感光度となる設定の組合せをより小さな露出と呼ぶことができる。当技術分野ではよく見られることであるが、「露出」という用語はまた、特定の露出値を有する画像を指すのに使用することができる。以下において、露出は露出時間の観点で変化するが、露出に関係するイメージセンサの他のパラメータを変更することは、同様な結果をもたらすことを理解されたい。

第１の露出１０５は、第２の露出１１０よりも長い露出を有し、第２の露出１１０は、第３の露出１１５よりも長い露出を有する。より長い露出により、低い光の領域においては、露出が細部に対してより高感度となり、また、より明るい領域を飽和状態にさせる。逆に、より短い露出により、明るい光の領域においては、露出が細部に対してより高感度となり、また、より暗い領域を細部が見えなくする。

任意の単一の露出１０５、１１０、１１５よりも、より広い範囲の光強度にわたって細部を有する、単一の合成されたＨＤＲ画像１２０は、３つの露出の異なる領域を合成することによって生成することができる。図１において、ＨＤＲ画像１２０の最も暗い領域１２５は、最も長い露出１０５から取り込まれ、中位の暗さの領域１３０は、中位の長さの露出１１０から取り込まれ、最も明るい領域１３５は、最も短い露出１１５から取り込まれる。従って、露出１０５、１１０、１１５のうちの、飽和状態にある、又は暗い諸領域は、合成されたＨＤＲ画像１２０に貢献することはない。

図１ｂは、図１ａに示すように、同一の場所の３つの露出を処理して多重露光高ダイナミックレンジ画像を生成するタイミングの概略図を示す。第１の取り込みシーケンス１４０中で、イメージセンサは、順番に、長い露光１０５、中位の露出１１０、及び短い露出１１５を生成する。第１の取り込みシーケンス１４０の後に、同一の、又は異なる場所の第２の取り込みシーケンス１４５が続く。

長い露出１０５の取り込みに続いて、長い露出１０５からの長い露出データ１５０が、たとえば、バッファ記憶装置など記憶装置に読み取られる。同様に、中位の露出データ１５５が、中位の露出１１０の取り込みに続いて読み取られ、短い露出データ１６０が、短い露出１１５の取り込みに続いて読み取られる。こうした操作をまとめて、画像読み取りシーケンス１６５と呼ぶことができる。

ＨＤＲ画像を作成するために、各露出からの対応する画素を、ＨＤＲコンストラクタにおいて同時に受信することが望ましいであろう。たとえば、長い露出から所定の画素１７０ａを、中位の露出からの画素１７０ｂ及び短い露出からの画素１７０ｃと同時に受信することは望ましいことであろう。ここで、画素１７０ａ〜ｃは同一のｘ−ｙ位置を有する。これを容易にするために、短い露出データ１６０は、ＨＤＲコンストラクタに直接送信することができる。同時に、長い露出データの遅延バージョン１７５、及び短い露出データの遅延バージョン１８０は、画素１７０ａ、１７０ｂ、及び１７０ｃがＨＤＲコンストラクタに同時に到着するように、遅延が設定された状態で、ＨＤＲに送達することができる。次いで、こうした画素は、知られているＨＤＲ作成技術を使用して合成され、合成されたＨＤＲ画像１８５の画素１７０ｄを形成することができる。こうした操作をまとめて、ＨＤＲ作成１９０又はＨＤＲ画像構成と呼ぶことができる。

図２は、３つの露出、たとえば、図１で示された露出からＨＤＲ画像を生成するための例示のアーキテクチャを示す。一実施例において、イメージセンサ２０５は第１の長い露出１０５を取り込む。第１の露出１０５からの長い露出データ２１０は、第１のバッファ２１５に記憶される。次いで、イメージセンサ２０５は、第２の中位の露出１１０を取り込み、イメージセンサに起源を持つ中位の露出データは、第２のバッファ２２５に記憶される。次いで、イメージセンサ２０５は、第３の短い露出１１５を取り込む。露出１１５からの短い露出データ２３０は、第１のバッファ２１５からの長い露出データ、及び第２のバッファ２２５からの中位の露出データとともにＨＤＲコンストラクタ２３５に送信される。次いで、ＨＤＲコンストラクタは、３つの露出１０５、１１０、１１５から、たとえば図１に示すように、ＨＤＲ画像を生成する。他の実施例において、３つの露出１０５、１１０、１１５は、図２に示す順番とは異なる順番で生成される。

図３は、処理画像を生成するための、多重露光高ダイナミックレンジ処理用の１組のセンサ出力画像を記憶するための装置を示す。ここで、多重露光高ダイナミックレンジ処理は、本開示の一態様に従って、１つ又は複数のセンサ出力画像からの画素値を合成して処理画像を生成する。装置３００は、イメージセンサ３０５、第１のエンコーダ３１０、第２のエンコーダ３１５、第１のバッファ３２０及び第２のバッファ３２５を備える。装置は、高ダイナミックレンジ画像コンストラクタ３３０を備えることができる。第１及び第２のバッファ３２０、３２５は、たとえば、スタティックランダムアクセスメモリ（ＳＲＡＭ）を備えることができる。第１のエンコーダ３１０は、イメージセンサ３０５から第１の露出を有する第１のセンサ出力画像３３５を受信し、第１の画像の改変されたバージョン３４５を生成するように構成されている。

第１の画像３３５の改変されたバージョン３４５を生成することは、処理画像に実質的な貢献をしそうにない画素値を有する第１のセンサ出力画像３３５の第１の画像画素を認定し、この認定に基づいて上記第１の画像画素に関して記憶された情報量を削減することを含む。このことは、たとえば、所定のしきい値以上である画素値を有する、第１の画像３３５の画素を、第１の画像３３５の改変されたバージョン３４５から除外されると認定することを含むことができる。たとえば、第１の露出は十分に長く、第１の画像の明るい領域は飽和状態にあり、最大の画素値を有するとすることができる。しきい値は、こうした飽和状態の領域が、以下でより詳細に説明するように、第１の画像３３５の改変されたバージョン３４５から除外されるように設定することができる。

第１のバッファ３２０は、第１の画像３３５の改変されたバージョン３４５を受信し、記憶するように構成される。

第２のエンコーダ３１５は、イメージセンサ３０５から、第１の露出と異なる第２の露出を有する第２のセンサ出力画像３４０を受信し、次に、第２のセンサ出力画像３４０の改変されたバージョン３５０を生成するように構成される。

第２のセンサ出力画像３４０の改変されたバージョン３５０を生成することは、処理画像に実質的な貢献をしそうにない画素値を有する第２のセンサ出力画像３４０の第２の画像画素を認定し、認定するステップに基づいて上記第２の画像画素に関して記憶された情報量を削減することを含む。第２の露出が第１の露出よりも短い場合、このことは、たとえば、第１のしきい値よりは低い第２のしきい値以下である画素値を有する、第２の画像３４０の画素を、第２の画像３４０の改変されたバージョン３５０から除外されると認定することを含むことができる。たとえば、第２の露出は十分に短く、第２の画像３４０の暗い領域は比較的暗い。第２のしきい値は、こうした暗い領域が、以下でより詳細に説明するように、第２の画像３４０の改変されたバージョン３５０から除外されるように設定することができる。

第２のバッファ３２５は、第２のセンサ出力画像３４０の改変されたバージョン３５０を受信し、記憶するように構成される。いくつかの実施形態において、装置３００は、第１及び第２のセンサ出力画像の改変されたバージョン３４５、３５０を記憶するように構成された単一のバッファを備える。こうした実施形態において、単一のバッファは通常、各画像が、その画像を、第１及び第２のセンサ出力画像の改変されたバージョンである、と認定するためのフラグを記憶することができる。

第１のバッファ３２０は、第１のセンサ出力画像３３５の改変されたバージョン３４５を、第１の圧縮された画像として記憶することができる。第２のバッファ３２５は、第２のセンサ出力画像３４０の改変されたバージョン３５０を、第２の圧縮された画像として記憶することができる。画像は通常、暗い画素の連続した領域、及び明るい画素の連続した領域を含むので、この圧縮は、たとえば、知られているランレングス符号化アルゴリズムを使用して、第１及び／又は第２のセンサ出力画像の改変されたバージョンから除外された画素を示すように実施することができる。これにより、第１及び第２の画像３３５、３４０、並びに、これらの改変されたバージョン３４５、３５０を送信するのに必要な送信帯域幅が削減される。またこれにより、改変されたバージョン３４５、３５０を記憶するために必要なバッファ記憶スペースが削減される。

装置が高ダイナミックレンジ画像コンストラクタ３３０を備える場合、高ダイナミックレンジ画像コンストラクタ３３０は、第１のセンサ出力画像３３５の改変されたバージョン３４５を、第１のバッファ３２０から受信し、第２のセンサ出力画像３４０の改変されたバージョン３５０を、第２のバッファ３２５から受信するように構成することができる。高ダイナミックレンジ画像コンストラクタ３３０は、第１のセンサ出力画像３３５の改変されたバージョン３４５、及び、第２のセンサ出力画像３４０の改変されたバージョン３５０を処理して、多重露光高ダイナミックレンジ画像３５５を生成し、出力するように構成される。処理は、処理画像に実質的な貢献をしそうにない画素値を有するとして認定された画素を除外する。たとえば、飽和状態にあり比較的暗い領域が除外されるように画素が認定される実施形態において、このことは通常、最終的なＨＤＲ画像３５５にほとんど影響しない。それは図１に関して上で述べたように、こうした領域はＨＤＲ画像３５５に貢献しないからである。

高ダイナミックレンジ画像コンストラクタ３３０は、第１のセンサ出力画像３３５の改変されたバージョン３４５を、第１のバッファ３２０から受信し、第２のセンサ出力画像３４０の改変されたバージョン３５０を、第２のバッファ３２５から同時に受信するように構成することができる。これにより、コンストラクタ３３０が、知られているＨＤＲコンストラクションアルゴリズムを適用してＨＤＲ画像３５５に含めるために、第１及び第２の改変された画像３４５、３５０の領域を選択できるように、画像を、ＨＤＲ画像３５５の生成中にともに処理することが可能となる。

ＨＤＲ画像を生成するとき、さらなる画像もまた、処理のためにＨＲＤコンストラクタに送信することができる。こうした画像のうちの少なくとも１つを、たとえば図２で短い露出データ２３０について示したように、バッファに記憶することなしに、ＨＲＤコンストラクタ３３０に直接送信することができる。

図４は、処理画像を生成する多重露光高ダイナミックレンジ処理用の、１組のセンサ出力画像を記憶するための方法４００の概略図を示し、ここでは、多重露光高ダイナミックレンジ処理が、一実施形態に従って、１つ又は複数のセンサ出力画像からの画素値を合成して処理画像を生成する。

ブロック４１０において、第１の露出を有する第１のセンサ出力画像が、イメージセンサから受信される。

ブロック４１５において、第１の露出とは異なる第２の露出を有する第２のセンサ出力画像が、イメージセンサから受信される。

ブロック４２０において、処理画像に実質的な貢献をしそうにない画素値を有する第１のセンサ出力画像の画素が認定される。たとえば、第２の露出が第１の露出よりも短い場合、画素は、第１の所定のしきい値以上である画素値を有することに基づいて認定することができる。こうした画素は、第１の画像から除外されるものとして認定することができる。他の実施形態において、第２の露出は第１の露出よりも大きく、第１の画像画素は、所定のしきい値以下である画素値を有することに基づいて認定される。

第２の露出が第１の露出よりも短いいくつかの実施形態において、第２のしきい値以下である画素値を有する第２のセンサ出力画像の画素は、第２のセンサ出力画像から除外されるものとして認定される。ここで、第２のしきい値は第１のしきい値よりも小さい。

上で述べたように、飽和状態の画素が第１の画像から除外されるように、しきい値は最大画素値を含むことができる。同様に、暗い画素が第２の画像から除外されるように、しきい値は最小画素値を含むことができる。

ブロック４２５において、上記第１の画像画素に関して記憶された情報量が、上記認定するステップに基づいて削減される。一実施形態において、このステップは、上記第１の画素に関して記憶された情報量を削減するが、上記第１の画素以外の画素に関して記憶された情報量は削減しない。これにより、全体的な記憶された情報量が削減される一方、完全な情報、すなわち、イメージセンサが生成する画素分解能において、イメージセンサによって出力されるデータ値を、処理画像に貢献することになるであろう画素に関して記憶することができる。たとえば、上記第１の画素に関する情報は、イメージセンサが生成する画素分解能より低い分解能で、圧縮データとして記憶することができ、他の画素に関する情報は、非圧縮データとして記憶することができる。別の実施形態において、上記第１の画素に関する情報は、非可逆圧縮アルゴリズムを使用して記憶され、他の画素に関する情報は、可逆圧縮アルゴリズムを使用して記憶される。非可逆圧縮アルゴリズムは通常、可逆アルゴリズムよりもより大規模な圧縮を可能とし、従って、この実施形態により、可逆圧縮アルゴリズムを使用して、すべての画素が記憶される場合に可能であるよりもより大規模な全体的な圧縮が可能となる。たとえば、可逆圧縮アルゴリズムは、上記第１の画素の位置を記憶することを含むことができるが、上記第１の画素の値を記憶することは含まない。この方法で上記第１の画素に関する情報を記憶する結果としての情報の損失は通常、こうした画素は、今まで処理画像に重大な貢献をしそうになかったので、重大な影響を最終の処理画像に与えることは無いであろう。別の実施例において、上記第１の画素に関する情報は廃棄され、記憶されることはないことが考えられる。

いくつかの実施形態において、第１及び第２のセンサ出力画像を処理して、多重露光高ダイナミックレンジ画像を生成するが、この処理では、処理画像に実質的な貢献をしそうにないとして認定された画素を除外する。

方法４００は、様々な露出の任意の数の画像を処理してＨＤＲ画像を形成するように拡張することができる。たとえば、方法４００は、イメージセンサから第３の画像を受信することを含むができる。ここで、第３の画像は、第１の露出よりは短く、第２の露出よりは長い第３の露出を有する。方法４００は、次いで、２つの所定のしきい値の間の画素値を有する、第３の画像の画素を、第３の画像から除外されるものとして認定することを含むことができる。たとえば、方法４００は、第３のしきい値以上であり、且つ、第４のしきい値以下である画素値を有する第３の画像の画素を除外することを含むことができる。こうした実施形態において、多重露光高ダイナミックレンジ画像を生成することは、第３の画像を処理することを含む。ここで、処理は、第３の画像から除外されるものとして認定された画素を除外する。

しきい値のうちの少なくとも１つは、画像強度（イメージセンサに入る光の輝度に対応する）と対応する画素値の間の関係を考慮することに基づいて選択することができる。こうした関係の概略の例を図５に示す。

図５は、３つの露出、長い露出５０５、中位の露出５１０、及び短い露出５１５に対する画像強度の関数としての画素値をプロットしたグラフ５００を示す。最大画素値５２０は、イメージセンサから出力できる最大の画素値を表す。たとえば、１２ビットのイメージセンサの場合、最大画素値は４０９６となろう。最も長い露出５２０の場合、画素値の全範囲が、最も暗い画像強度の比較的短い範囲５２５を表すために使用され、最大画素値５２０は、範囲５２５より高い任意の画像強度のために使用されることが分かる。従って、最も長い露出により、暗い領域において細部を示し、適度に明るい領域においてさえ飽和状態にある画像が生成される。

中位の露出５１０の場合、画像強度のより広い範囲５２５＋５３０を表すために、画素値の全範囲が使用される。従って、中位の露出は、長い露出５０５よりも飽和状態になることなく、より明るい強度を表す。しかし、ノイズは通常、低い画素値においては比較的大きな影響を有するので、より暗い領域（範囲５２５など）は、ノイズが原因で低い画像品質を有する、比較的狭い範囲の低い画素値によって表される。

短い露出５１５の場合、画像強度のより広い範囲５２５＋５３０＋５３５を表すために、画素値の全範囲が使用される。この実施例において、最大画素値５２０は、最大の画像強度を表すためにのみ使用される。従って、短い露出５１５は、飽和状態になることなく画像強度の全範囲を表す。しかし、低い画像強度及び中位の画像強度の領域（範囲５２５及び５３０など）は、上で述べたように、ノイズが原因で低い画像品質を有する、比較的狭い範囲の低い画素値によって表される。

従って、ＨＤＲ画像を生成するとき、長い露出５０５から低い画像強度５２５の領域を取り込み、中位の露出５１０から中位の画像強度５３０の領域を取り込み、短い露出５１５から高い画像強度５３５の領域を取り込むのが望ましいであろう。これは、範囲５２５と５３０の境界に対応する画素値に等しい第１及び第３のしきい値を、それぞれ長い露出及び中位の露出に設定し、範囲５３０と５３５の境界に対応する画素値に等しい第２及び第４のしきい値を、それぞれ短い露出及び中位の露出に設定することによって達成することができる。こうした実施形態において、所与の画素は２つの画像から除外され、１つの画像に含まれる。従って、これにより、３つの画像すべてにわたって記憶すべき画素値の数が最小化される。この結果、ＨＤＲ画像を生成するための画像処理が、各画像からどの画素を含むかに関してなんらの決定プロセスを含む必要がないため、ＨＤＲ画像の生成が効率的になる。

いくつかの実施形態において、第３のしきい値は、第１のしきい値に対応する画像強度よりも低い画像強度に対応する。こうした実施形態において、これら２つの画像強度の間の画像強度の画素は、第１の画像又は第２の画像から除外されないであろう。第１及び第２の画像に含まれる画像強度は、その結果、重なり合うと言うことができる。同様に、第４のしきい値は、第２のしきい値に対応する画像強度よりも高い画像強度に対応することができる。その結果、第２及び第３の画像に含まれる画像強度は重なり合う。こうした実施形態において、知られているＨＤＲコンストラクションアルゴリズムを使用して、画素が第１、第２及び第３の画像のうちの２つの画像に含まれる領域内のＨＤＲ画像の画素に、値を割り当てることができる。このように、大規模な重なり合いは、より高度で、効率性の低いＨＤＲ画像を生成する処理を必要とするが、通常、異なる画像強度の領域間で、境界がはっきりと目立たない高品質の画像も生成する。

しきい値のうちの少なくとも１つは、イメージセンサのノイズプロファイルに基づいて選択することができる。たとえば、所与のイメージセンサは、所与の画素値において確率論的なノイズレベルＮを有することは知られているであろう。従って、第１のしきい値は、最大画素値からのＮより高い値を有する第１の画像の任意の画素が、飽和状態と扱われ、従って除外されるように設定することができる。同様に、第２のしきい値は、Ｎより小さな値を有する第２の画像の任意の画素が、０と扱われ、その結果除外されるように設定することができる。

露出が、画像の光感受性に影響を与えるパラメータの関数として、たとえば１つの値として表現される場合、しきい値のうちの少なくとも１つは、第１の画像の露出の第３の画像の露出に対する比に基づいて、選択することができる。たとえば、第１の画像が第３の画像の露出よりも１６倍大きな露出を有する場合、第１の画像の不飽和画素は、第３の画像の対応する画素の約１６倍の画素を有すると予想することができる。第１及び第３のしきい値は、従って、第１の画像が飽和状態の画素を含まないように、及び、第３の画像が暗い画素を含まないように選択することができる。

同様に、しきい値のうちの少なくとも１つは、第３の画像の露出の第２の画像の露出に対する比に基づいて、選択することができる。たとえば、第２及び第４のしきい値は、第３の画像が暗い画素及び飽和状態の画素を含まないように、並びに、第２の画像が暗い画素を含まないように、この方法で選択することができる。

いくつかの実施形態において、いかに他のしきい値が選択され、又は第３の画像が生成されたかどうかにかかわらず、少なくとも１つのしきい値は、第１の露出の第２の露出に対する比に基づく。たとえば、第１及び第２のしきい値は、第１の画像が飽和状態の画素を含まないように、及び、第２の画像が暗い画素を含まないように選択することができる。

いくつかの実施形態において、上記第１及び／又は第２の画像画素に関して記憶された情報量を削減することは、ランレングス符号化アルゴリズムを使用して、第１及び／又は第２の画像画素を表すことを含む。画像は通常、明るい、又は暗い領域に対応する除外された画素の連続的なブロックを含むので、これにより画像サイズのかなりの減少を表すことができる。従って、画像は、ＨＤＲ画像の作成前に、たとえば、図３に示したようにバッファ内で効率的に送信及び記憶することができる。

図６は、一実施形態による図３に示したアーキテクチャの拡張を示す図である。イメージセンサ３０５は、図３に関して上で述べたように、第１のセンサ出力画像３３５を第１のエンコーダ３１０に提供する。次いで、第１のセンサ出力画像の改変されたバージョン３４５は、第１のバッファ記憶装置３２０又は外部記憶装置６０５のどちらかに記憶することができる。外部記憶装置６０５は、たとえばダブルデータレートシンクロナスダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ）を備えることができる。たとえば、バッファ記憶装置３２０の有限な量が、第１のセンサ出力画像の改変されたバージョン３４５を記憶するのに通常は十分であるが、画素データが時々外部記憶装置６０５に溢れ出る場合、たとえば、通常よりもより多くの記憶スペースが必要な場合にこの方法を使用することができる。図６は、第１のセンサ出力画像の改変されたバージョン３４５を記憶するように構成された外部記憶装置６０５を示しているが、外部記憶装置は、第２の画像の改変されたバージョン３５０を記憶するように、代替的に又は追加的に構成することができる。

バッファ記憶装置３２０を使用するか、外部記憶装置６０５を使用するかの選択は、ブロックアドレスコントローラ６１０によって制御することができる。ブロックアドレスコントローラ６１０は、たとえば、メモリを適切なサイズのブロックに割り当て、データを回復できるように、どのデータがどこに記憶されたかの記録を保守する方法を含むことができる。

図７は、図３に示したアーキテクチャの拡張を示し、これはまた、図６に示したアーキテクチャと連携して実装することができる。このアーキテクチャは、通常、後続の露出間に存在する強い相関関係を利用する。たとえば、第１のセンサ出力画像３３５は、第２のセンサ出力画像３４０の１６倍の露出を有することができる。第２のセンサ出力画像３４０の画素は、次いで、第１のセンサ出力画像３３５内の同一の画素の値の１６分の１の値を有すると予測することができる。これは、第１のセンサ出力画像３３５の画素値を、第１のバッファ３２０から受信する第１の予測装置７０５によって利用することができる。次いで、第１の予測装置７０５は、第２のセンサ出力画像３４０の同一の画素の値を予測し、この予測を第２のエンコーダ３１５に送信する。次いで、エンコーダはこの予測を使用して、より効果的な符号化を提供することができる。たとえば、上で説明したように、いくつかの画素、たとえば、上で記載したしきい値のうちの１つに近似した値を有する画素は２つ以上の画像に含むことができる。こうした画素に関する情報は、画素値としきい値間の値の相違のみを記憶することによって、圧縮することができる。代替的に又は追加的に、画素値が予測される画素に関する情報は、予測値と実際の値間の値の相違のみを記憶することによって、圧縮することができる。

第２のセンサ出力画像３４０が、第１の画像３３５の後に取り込まれる場合、第１の画像３３５の所与の画素は、常に第２のセンサ出力画像３４０の同一の画素の前に取り込まれてきた。これは、第２の予測装置７１０によって利用することが可能であり、この装置は、第１のセンサ出力画像３３５の画素値を第１のバッファ３２０から受信し、第２のセンサ出力画像３４０の同一の画素の値を予測する。次いで、第２の予測装置７１０は、この予測をＨＤＲ画像生成に使用するために、ＨＲＤコンストラクタ３３０に送信する。代替的に、アーキテクチャが、第２のセンサ出力画像の改変されたバージョン３５０を復号するための復号器（図７に図示せず）を備える場合、第２の予測装置７１０は予測を復号器に送信することができる。

実施形態は、第１の予測装置７１０のみ、第２の予測装置７２０のみ、又は第１及び第２の予測装置７１０、７２０の両方を備えることができる。

図８は、少なくとも１つのプロセッサ８１０によって実行されると、少なくとも１つのプロセッサ８１０に、本明細書に記載の実施例による方法を実施させる１組のコンピュータ可読命令８０５を含む、非一時的なコンピュータ可読記憶媒体８００の一例を示す。コンピュータ可読命令８０５は、マシン可読媒体から、たとえば、命令実行システムにより、又はそれと連携して使用するためのプログラム及びデータを含み、記憶し、又は保守することができる任意の媒体から、取り出すことができる。このケースでは、マシン可読媒体は、たとえば、電子的媒体、磁気媒体、光学的媒体、電磁的媒体、又は半導体媒体といった多くの物理的媒体の任意の１つを含むことができる。適切なマシン可読媒体のより具体的な例としては、これだけには限らないが、ハードドライブ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ、又はポータブルディスクがある。

ブロック８１５において、命令８０５はプロセッサ８１０に、イメージセンサから第１のセンサ出力画像を受信させる。ここで、第１のセンサ出力画像は、第１の露出を有する。

ブロック８２０において、命令８０５は、プロセッサ８１０に、第１のしきい値以上である画素値を有する、第１のセンサ出力画像の第１の画像画素から除外されると認定させる。第１のしきい値は、第１の画像強度に対応する。

ブロック８２５において、命令８０５はプロセッサ８１０に、イメージセンサから第２のセンサ出力画像を受信させる。第２のセンサ出力画像は、第１の露出よりは短い第２の露出を有する。

次いで、命令８０５はプロセッサ８１０に、ブロック８３０において、第２のしきい値以下である画素値を有する、第２のセンサ出力画像の第２のセンサ出力画像画素から除外されると認定させる。第２のしきい値は、第１の画像強度よりも低い第２の画像強度に対応する。

ブロック８３５において、命令８０５はプロセッサ８１０に、イメージセンサから第３のセンサ出力画像を受信させる。第３のセンサ出力画像は、第１の露出よりは短く第２の露出よりは長い第３の露出を有する。

次いで、ブロック８４０において、命令８０５はプロセッサ８１０に、第３のしきい値以上であり且つ第４のしきい値以下である画素値を有する、第３の画像の第３のセンサ出力画像画素から除外されると認定させる。第３のしきい値は、第１の画像強度よりも低い第３の画像強度に対応し、第４のしきい値は、第２の画像強度よりも高い第４の画像強度に対応する。

最後に、ブロック８４５において、命令８０５はプロセッサ８１０に、第１、第２、及び第３のセンサ出力画像を処理して、たとえば上で述べたように、多重露光高ダイナミックレンジ画像を生成させる。この処理では、第１のセンサ出力画像から除外されるものとして認定された画素を除外し、第２のセンサ出力画像から除外されるものとして認定された画素を除外し、第３のセンサ出力画像から除外されるものとして認定された画素を除外する。

上記の実施形態は、本発明の説明のための一例として理解すべきである。本発明のさらなる実施形態を考えることができる。たとえば、第１、第２、及び適切な場合には、第３、第４の画像を取り込み、示され、記載された順番とは異なる順番で処理することができる。いずれの実施形態に関して記載した任意の機能は、単独で、又は、記載された他の機能と組み合わせて使用することができ、また、任意の他の実施形態の１つ又は複数の機能と組み合わせて、又は、任意の他の実施形態を任意に組み合わせて使用することができると理解されるべきである。さらに、上で記載していない同等なもの及び変更形態も、添付の特許請求の範囲で定義される、本発明の範囲から逸脱することなく使用することができる。

Claims (17)

1. 処理画像を生成するために、多重露光高ダイナミックレンジ処理用の１組のセンサ出力画像を記憶するための方法であって、前記多重露光高ダイナミックレンジ処理が、前記センサ出力画像のうちの１つ又は複数からの画素値を合成して、前記処理画像を生成し、前記方法が、
   イメージセンサから、第１の露出を有する第１のセンサ出力画像を受信するステップと、
   前記イメージセンサから、前記第１の露出と異なる第２の露出を有する第２のセンサ出力画像を受信するステップと、
   前記処理画像に実質的な貢献をしそうにない画素値を有する、前記第１のセンサ出力画像の第１の画像画素を認定するステップと、
   前記認定するステップに基づいて、前記第１の画像画素に関して記憶された情報量を削減するステップと、
   を含む、方法。
2. 前記処理画像に実質的な貢献をしそうにない画素値を有する、前記第２のセンサ出力画像の第２の画像画素を認定するステップと、
   前記認定するステップに基づいて、前記第２の画像画素に関して記憶された前記情報量を削減するステップと、を含む、請求項１に記載の方法。
3. 多重露光高ダイナミックレンジ画像を生成するために前記第１及び第２の画像を処理するステップであって、前記処理が、前記処理画像に実質的な貢献をしそうにない画素値を有するとして認定された画素を除外する、ステップを含む、請求項１又は２に記載の方法。
4. 前記第２の露出が前記第１の露出よりも小さく、前記第１の画像画素が、所定のしきい値以上である画素値を有することに基づいて認定される、請求項１〜３のいずれか一項に記載の方法。
5. 前記第２の露出が前記第１の露出よりも大きく、前記第１の画像画素が、所定のしきい値以下である画素値を有することに基づいて認定される、請求項１〜３のいずれか一項に記載の方法。
6. 前記第１の露出よりも小さく前記第２の露出よりも大きな第３の露出を有する第３の画像を、前記イメージセンサから受信するステップと、
   ２つの所定のしきい値の間の画素値を有する、前記第３の画像の画素を、前記第３の画像から除外されるものとして認定するステップと、
   を含む、請求項４又は５に記載の方法。
7. 前記しきい値のうちの少なくとも１つが、前記イメージセンサのノイズプロファイルに基づいて選択される、請求項４〜６のいずれか一項に記載の方法。
8. 前記しきい値のうちの少なくとも１つが、前記第１の露出の第３の露出に対する比に基づき、及び／又は、
   前記しきい値のうちの少なくとも１つが、前記第３の露出の前記第２の露出に対する比に基づき、及び／又は、
   前記しきい値のうちの少なくとも１つが、前記第１の露出の前記第２の露出に対する比に基づく、請求項６又は７に記載の方法。
9. 前記第１の画像画素に関して記憶された前記情報量を削減するステップが、ランレングス符号化アルゴリズムを使用して前記第１の画像画素を表すステップを含む、請求項１〜８のいずれか一項に記載の方法。
10. 前記所定のしきい値が、前記第１の画像の最大画素値を含む、請求項４に記載の方法。
11. 第２のしきい値が、前記第２の画像の最小画素値を含む、請求項５に記載の方法。
12. 処理画像を生成する多重露光高ダイナミックレンジ処理用の１組のセンサ出力画像を記憶するための装置であって、前記多重露光高ダイナミックレンジ処理が、１つ又は複数の前記センサ出力画像からの画素値を合成して前記処理画像を生成し、
    イメージセンサと、
    第１のエンコーダであり、該第１のエンコーダは、
    前記イメージセンサから、第１の露出を有する第１のセンサ出力画像を受信し、 前記第１のセンサ出力画像の改変されたバージョンを生成するように構成されており、前記第１の画像の前記改変されたバージョンを生成することが、
    前記処理画像に実質的な貢献をしそうにない画素値を有する前記第１のセンサ出力画像の第１の画像画素を認定するステップ、及び、
    前記認定するステップに基づいて、前記第１の画像画素に関して記憶された情報量を削減するステップを含む、第１のエンコーダと、
    前記第１の画像の前記改変されたバージョンを受信し、記憶するように構成された第１のバッファ記憶装置と、
    第２のエンコーダであり、該第２のエンコーダは、
    前記イメージセンサから、前記第１の露出とは異なる第２の露出を有する第２のセンサ出力画像を受信し、
    前記第２のセンサ出力画像の改変されたバージョンを生成するように構成されており、前記第２の画像の前記改変されたバージョンを生成することが、
    前記処理画像に実質的な貢献をしそうにない画素値を有する前記第２のセンサ出力画像の第２の画像画素を認定するステップ、及び、
    前記認定するステップに基づいて、前記第２の画像画素に関して記憶された情報量を削減するステップを含む、第２のエンコーダと、
    前記第２の画像の前記改変されたバージョンを受信し、記憶するように構成された第２のバッファ記憶装置と、
    を備える、装置。
13. 前記第１のバッファから、前記第１のセンサ出力画像の前記改変されたバージョンを受信し、
    前記第２のバッファから、前記第２のセンサ出力画像の前記改変されたバージョンを受信し、
    多重露光高ダイナミックレンジ画像を生成するために、前記第１のセンサ出力画像の前記改変されたバージョン、及び前記第２のセンサ出力画像の前記改変されたバージョンを処理して、前記処理が、前記処理画像に実質的な貢献をしそうにない画素値を有するとして認定された画素を除外する、ように構成された高ダイナミックレンジ画像コンストラクタを備える、請求項１２に記載の装置。
14. 前記第１のバッファが、第１の圧縮された画像として前記第１のセンサ出力画像の前記改変されたバージョンを記憶し、及び／又は、前記第２のバッファが、第２の圧縮された画像として前記第２のセンサ出力画像の前記改変されたバージョンを記憶する、請求項１２又は１３に記載の装置。
15. 前記第１及び／又は第２の圧縮された画像を記憶することが、ランレングス符号化アルゴリズムを使用して、前記第１及び／又は第２の画像の前記改変されたバージョンから除外された画素を示す、請求項１４に記載の装置。
16. 前記第１及び第２のバッファが、前記第１及び第２のセンサ出力画像の前記改変されたバージョンを、前記高ダイナミックレンジ画像コンストラクタへ同時に送信するように構成されている、請求項１２〜１５のいずれか一項に記載の装置。
17. 記憶された１組のコンピュータ可読命令を含む非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つの前記プロセッサに、
    イメージセンサから、第１の露出を有する第１のセンサ出力画像を受信するステップと、
    第１の画像強度に対応する第１のしきい値以上である画素値を有する前記第１のセンサ出力画像の画素を、前記第１のセンサ出力画像から除外されるものとして認定するステップと、
    前記イメージセンサから、前記第１の露出より小さい第２の露出を有する第２のセンサ出力画像を受信するステップと、
    前記第１の画像強度よりも低い第２の画像強度に対応する第２のしきい値以下である画素値を有する前記第２のセンサ出力画像の画素を、前記第２のセンサ出力画像から除外されるものとして認定するステップと、
    前記イメージセンサから、前記第１の露出より小さく、前記第２の露出より大きな第３の露出を有する第３のセンサ出力画像を受信するステップと、
    第３のしきい値以上であり且つ第４のしきい値以下である画素値を有する、前記第３のセンサ出力画像の画素を、前記第３のセンサ出力画像から除外されるものとして認定するステップであり、前記第３のしきい値が、前記第１の画像強度よりも低い第３の画像強度に対応し、前記第４のしきい値が、前記第２の画像強度よりも高い第４の画像強度に対応する、ステップと、
    多重露光高ダイナミックレンジ画像を生成するために前記第１、第２及び第３のセンサ出力画像を処理するステップであり、前記処理が、前記第１のセンサ出力画像から除外されるものとして認定された画素を除外し、前記第２のセンサ出力画像から除外されるものとして認定された画素を除外し、前記第３のセンサ出力画像から除外されるものとして認定された画素を除外する、ステップと、
    を実行させる、コンピュータ可読記憶媒体。

Images