JP2019501567A - ハイダイナミックレンジビデオ／イメージングのための、露光時間セットを低減するためのデバイスおよび方法 - Google Patents

Abstract

本発明は、ハイダイナミックレンジ、ＨＤＲ、画像を取得するために複数の画像の捕捉を制御するための方法を提供する。当該方法は、選択可能な露光時間の主要セットと、主要セットのそれぞれのサブセットである複数の候補の低減済みセットとを記憶する段階と、主要セットの各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御する段階と、候補の低減済みセットごとに、候補の低減済みセットの露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じてスコア値を計算する段階と、全ての候補の低減済みセットの計算されたスコア値に基づいて複数の候補の低減済みセットの中から候補の低減済みセットを選択する段階と、ＨＤＲ画像を取得するために、選択された候補の低減済みセットの各露光時間においてそれぞれ、複数の画像の捕捉を制御する段階とを備える。

Description

本発明は概して、コンピュータビジョンおよびコンピュテーショナルフォトグラフィの分野に関し、特に、ハイダイナミックレンジイメージングおよびビデオの課題に関する。

本発明は、ハイダイナミックレンジイメージング（ＨＤＲＩ）およびビデオを向上させるテーマに取り組む。ハイダイナミックレンジ、ＨＤＲ、とは、スマートフォンおよびカメラなどの、現在および将来の画像およびビデオ捕捉デバイスの品質を向上させる重要な方法である。ＨＤＲＩは、一般には、異なって露光された画像を捕捉して、それらをＨＤＲ画像にマージすることによって実現される。異なる露光セットおよび捕捉された対応画像が多ければ多いほど、最終ＨＤＲ画像の品質がより良好となる。

本発明のコンテキストにおいて、露光時間とは、捕捉デバイスが画像またはビデオフレームの捕捉中に露光される光の量を制御する時間間隔である。画像／フレームが大きければ大きいほど、明るい。２Ｄ画像またはピクチャとは、１つのカメラで取得される通常の２次元画像であり、その画像は、例えば、ＲＧＢまたは色度−輝度値を用いて画定され得る。質感とは、色彩強度において著しい変動を有するコンテンツを表す画像内のエリアである。オーバー露光された画像エリアとは、過度に露光された画像エリアであり、これにより、エリアの大部分が白飛びする。アンダー露光された画像エリアとは、露光不足の画像エリアであり、これにより、エリアの大部分が黒つぶれする。

最新技術では、ＨＤＲ処理は、異なる露光時間の予め画定されたセットに基づくことが既知であり、すなわち、ＨＤＲ画像は、露光時間の予め画定されたセットにおいて捕捉された複数の画像をマージすることによって取得される。しかしながら、予め画定された露光時間のセットは予め画定されたものなので、質感情報は、生成されたＨＤＲ画像において失われる場合がある。

特定の用途に対して、用いられる予定の異なる露光時間のセットが限定されている。例えば、異なる露光時間において捕捉された画像のセットは、時間的制約によって限定される。このことは、画像用ＨＤＲについて同様であるが、特にビデオ用ＨＤＲアプリケーションについて同様である。

上述の欠点および問題を考慮しており、本発明は、最新技術を向上させることを目的としている。特に、本発明の目的は、例えば、ＨＤＲビデオアプリケーションにおけるような、特に時間的制約下において、向上したＨＤＲの撮像性能を提供することである。さらなる目的は、画像用ＨＤＲおよびビデオ用ＨＤＲアプリケーションのためにＨＤＲイメージングのための効率の良い解決手段を提供することである。

例えば、ビデオ用ＨＤＲにおいて、交替する露光時間において画像が捕捉され、各時間段階でマージされる。従って、ゴースト効果を防止すべく、異なる露光時間のセットは、可能な限り小さくしなければならない。理想的には、２つの異なる露光時間のみが用いられる。しかしながら、露光時間セットが２つの予め画定された露光時間を含むので、質感情報は、生成されたＨＤＲ画像またはビデオにおいて失われる場合がある。

本発明は特に、最終ＨＤＲ画像のために、質感または画像情報を過度に失うことなく、異なる露光時間のより大きいセットから小さいセットを選択することによって、ＨＤＲ撮像性能を向上させることを意図している。

本発明の上述の目的は、添付の独立請求項において提供される解決手段によって達成される。本発明の有利な実装方式は、それぞれの従属請求項においてさらに画定される。

本発明の第１の態様は、ハイダイナミックレンジ、ＨＤＲ、画像を取得するために複数の画像の捕捉を制御するよう適合されるデバイスを提供する。デバイスは、選択可能な露光時間の主要セットと、主要セットのそれぞれのサブセットである複数の候補の低減済みセットとを記憶するよう適合される記憶ユニットを備える。デバイスは、主要セットの各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御するよう適合されるキャリブレーション制御ユニットを備える。デバイスは、候補の低減済みセットごとに、候補の低減済みセットの露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算するよう適合される計算ユニットを備える。デバイスは、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセットの中から、候補の低減済みセットを選択するよう適合される選択ユニットを備える。デバイスは、ＨＤＲ画像を取得するために、選択された候補の低減済みセットの各露光時間においてそれぞれ、複数の画像の捕捉を制御するよう適合されるＨＤＲ制御ユニットを備える。

それに関して、選択されたキャリブレーション画像の強度に応じて、スコア値を計算するよう適合される計算ユニットと、計算されたスコア値に基づいて候補の低減済みセットを選択するよう適合される選択ユニットとを提供することによって、ＨＤＲ制御ユニットは、画像および質感の細部が維持され得るように、複数の画像の捕捉を制御するよう有利に適合される。選択された候補の低減済みセットの露光時間は、選択ユニットによって有利に選択され、これにより、捕捉された画像の画像および質感の細部は、ＨＤＲイメージングのために有利に維持され得る。

特に、記憶ユニットにより記憶されている主要セットは、異なる選択可能な露光時間の固定されたセットであり得る。あるいは、主要セットは、異なる選択可能な露光時間の固定されたセットのサブパートであってよい。主要セットは、固定されたセットから選択されるサブパートであってよく、または、言い換えれば、いくつかの露光時間は、主要セットを取得するために、固定されたセットから除外されてよい。例えば、主要セットは、画像捕捉条件に応じて、例えば、輝度に応じて、または、ユーザによりされたユーザ選択に応じて、選択されるサブパートであってよい。画像捕捉条件に応じてされる選択の例は、輝度に応じてデバイスにより自動的に選択される主要セットであり、これにより、例えば、主要セットは、最適の低減済みセットが検索される夜間または暗い状況のためのサブセットであってよい。さらなる例は、ユーザにより行われたシーンモード選択に応じて選択される主要セットであり、そのような選択モードは、例えば、ポートレート、風景、夕焼け、屋内、夜間ポートレート、または運動である。

特に、キャリブレーション画像は、キャリブレーションのために用いられる画像である。これらの画像は、任意の種類の画像であってよく、特定パターンは必要とされない。特に、キャリブレーション画像において、予め画定されたパターンまたは予め画定された色は必要とされない。

特に、ＨＤＲ制御ユニットは、選択された候補の低減済みセットの露光時間のみにおいて、複数の画像の捕捉を制御するよう適合される。そして、捕捉は、選択された候補の低減済みセットの露光時間のみにおいて実行され、選択された候補の低減済みセットに属していない追加の露光時間においては実行されない。言い換えれば、ＨＤＲ画像は、選択された候補の低減済みセットの露光時間のみにおいて捕捉された画像をマージすることによって、取得される。

特に、選択ユニットは、複数の候補の低減済みセットの中から、最適のスコア値、例えば、最も高い、または最も低いスコア値を有する候補の低減済みセットを選択するよう適合され得る。最適のスコア値は、対応するキャリブレーション画像における高程度の乱れを反映し得る。従って、最適のスコア値は、スコア値の具体的な計算に応じて、すなわち、当該高程度の乱れが、最も高いまたは最も低いスコア値によって反映されるかに応じて、最も高いまたは最も低いスコア値に対応し得る。

特に、デバイスは、ＨＤＲキャリブレーションモードとＨＤＲ動作モードとを切り替えるよう適合される。当該ＨＤＲキャリブレーションモードにおいて、記憶ユニットは、選択可能な露光時間の主要セットと、主要セットのそれぞれのサブセットである複数の候補の低減済みセットとを記憶するよう適合され、キャリブレーション制御ユニットは、主要セットの各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御するよう適合され、計算ユニットは、候補の低減済みセットごとに、候補の低減済みセットの露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算するよう適合され、選択ユニットは、全ての候補の低減済みセットの計算されたスコア値に基づいて複数の候補の低減済みセットの中から候補の低減済みセットを選択するよう適合される。当該ＨＤＲ動作モードにおいて、ＨＤＲ制御ユニットは、ＨＤＲ画像を取得するために、選択された候補の低減済みセットの各露光時間においてそれぞれ、複数の画像の捕捉を制御するよう適合される。

第１の態様に係るデバイスの第１の実装形態において、キャリブレーション画像は、チャネルを有する。さらに、計算ユニットは、ブロック位置を画定するグリッドに従って各選択されたキャリブレーション画像のチャネルを画素ブロックに分割することと、各選択されたキャリブレーション画像のチャネルの画素ブロックごとに、画素ブロックにおける画素強度に依存する強度依存の値を計算し、強度依存の値を画素ブロックに関連付けることと、ブロック位置ごとに、当該ブロック位置における各選択されたキャリブレーション画像のチャネルの画素ブロックを含むブロックスタックを画定することと、ブロックスタックごとに、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最適値を識別することと、チャネルのブロックスタックごとに識別された最適値に基づいて候補の低減済みセットのチャネルスコア値を計算することとによって、候補の低減済みセットごとに、選択されたキャリブレーション画像のチャネルの強度に応じて、スコア値を計算するよう適合され、ここで、チャネルスコア値は、スコア値である。

それに関して、計算されたスコア値は、それ自体が、選択されたキャリブレーション画像の質感の細部の量を反映するパラメータであることに有利である。

また、画像全体を用いることの代わりに、画素ブロック形成は、画像のより小さい領域を分離することに役に立ち、これにより、小さい領域の画像細部は、潜在的に維持され得て、計算されたスコア値は、選択されたキャリブレーション画像の質感を反映する。

画素強度は、画素ブロック内の画素の強度に関するものであってよい。あるいは、画素強度は、画素ブロック内の画素群の強度に関するものであってよい。画素群は、画像符号化において用いられるマクロブロックに相当し得て、例えば、８×８の画素の、例えば、長方形または正方形の群からなり得る。画素群の画素強度は、画素群の各画素の強度を平均することによって取得され得る。

チャネルは、ＲＧＢ色空間における赤色、緑色、および青色チャネルのうちの１つであってよい。キャリブレーション画像は、グレースケールのデジタル画像であってよい。その場合、グレースケール画像は１つのチャネルのみを有する。代替的な色空間も、１つまたは複数のチャネルを画定する。例えば、ＹＵＶまたはＹ'ＵＶ色空間において、チャネルは、輝度（Ｙ）またはルマ（Ｙ'）に対応し得る。好ましくは、チャネルは、画像における画素強度を反映するチャネルであり得る。

特に、強度依存の値の最適値を識別することは、強度依存の値の最大または最小値がそれぞれ、ブロックスタックにおける最も高い程度の乱れを反映するかに応じて、強度依存の値の最大または最小値を識別することを含み得る。好ましくは、強度依存の値の最適値を識別することは、強度依存の値の最大値を識別することを含み得る。

第１の態様に係るデバイスの第２の実装形態において、キャリブレーション画像は、単一チャネルを有する単一チャネル画像、または、デバイスは、キャリブレーション画像を、単一チャネルを有する単一チャネル画像に変換するよう適合される変換ユニットを備える。

それに関して、画像および質感の細部がＨＤＲイメージングのために維持されるはずなので、単一チャネルキャリブレーション画像がキャリブレーション画像における強度変化を反映することから、単一チャネルキャリブレーション画像は、候補の低減済みセットを選択するのに十分である。単一チャネルを用いることは、画像の強度特性および変動を依然として維持しつつ、効率の良い処理を可能にする。

例えば、単一チャネルは、ＲＧＢ色空間における赤色、緑色、および青色チャネルのうちの１つであり得る。キャリブレーション画像は、グレースケールのデジタル画像であり得る。代替的なＹＵＶまたはＹ'ＵＶ色空間において、単一チャネルは、輝度（Ｙ）またはルマ（Ｙ'）に対応し得る。もしキャリブレーション画像が単一チャネル画像として利用可能ではない場合、本発明は、マルチチャネルキャリブレーション画像を単一チャネルキャリブレーション画像に変換することを有利に提供する。カラー画像は、いくつかの積層カラーチャネルで作られてよく、それらのそれぞれは、所与のチャネルの値レベルを表す。例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色成分の３つの独立チャネルからなるＲＧＢ画像は、例えば、異なるチャネルの色成分を加重平均することによってグレースケール画像に変換され得る。変換された単一チャネルは、ＹＵＶまたはＹ'ＵＶ色空間の輝度（Ｙ）またはルマ（Ｙ'）であってもよい。輝度は、例えば、Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂという数式を用いて３つのＲＧＢ色成分の線形結合により取得され得る。

第１の態様に係るデバイスの第３の実装形態において、キャリブレーション画像は、複数のチャネルを有し、計算ユニットは、候補の低減済みセットごとに、ブロック位置を画定するグリッドに従って、各選択されたキャリブレーション画像の各チャネルを画素ブロックに分割することと、各選択されたキャリブレーション画像の各チャネルの画素ブロックごとに、画素ブロックにおける画素強度に依存する強度依存の値を計算し、強度依存の値を画素ブロックに関連付けることと、チャネルごとおよびブロック位置ごとに、当該ブロック位置における各選択されたキャリブレーション画像の当該チャネルの画素ブロックを含むブロックスタックを画定することと、ブロックスタックごとに、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最適値を識別することと、チャネルごとに、チャネルのブロックスタックごとに識別された最適値に基づいて候補の低減済みセットのチャネルスコア値を計算することと、各チャネルのそれぞれのチャネルスコア値に応じて、スコア値を計算することとによって、選択されたキャリブレーション画像のチャネルの強度に応じて、スコア値を計算するよう適合される。

それに関して、スコア値を計算するために複数のチャネルを有するキャリブレーション画像を用いることは、スコア値のゆえに候補の低減済みセットの選択を向上させ得て、そして、キャリブレーション画像におけるより多くの強度特性および変動を考慮し得る。

第１の態様に係るデバイスの第１の実装形態のさらなる特徴および効果は、第１の態様に係るデバイスの第３の実装形態にも適用する。言い換えれば、チャネルを有するキャリブレーション画像の場合に関する特徴および効果は、複数のチャネルを有するキャリブレーション画像の場合にも適用する。

第１の態様に係るデバイスの第４の実装形態において、キャリブレーション画像は、マルチチャネル画像であり、スコア値は、各チャネルのそれぞれのチャネルスコア値を組み合わせることによって、または、各チャネルのチャネルスコア値のうち最適のチャネルスコアを選択することによって、計算される。

マルチチャネル画像は、例えば、ＲＧＢ色空間において、または画像における画素強度を好ましく反映するいくつかのチャネルを含む代替的な色空間において、画定された画像であってよい。

それに関して、各チャネルのそれぞれのチャネルスコア値を組み合わせることは、それぞれのチャネルスコア値を加算または乗算することを含んでよく、これにより、計算されたスコア値は、各チャネルの強度特性を有利に考慮する。あるいは、各チャネルのそれぞれのチャネルスコア値を組み合わせることは、各チャネルのチャネルスコア値のうち、最適のチャネルスコア、例えば、最大スコア値を選択することを含んでよく、これにより、スコア値計算が簡略化され得る。

第１の態様に係るデバイスの第５の実装形態において、計算ユニットは、画素ブロックの画素強度のヒストグラムを計算することと、画素ブロックの画素強度のヒストグラムに基づいて、画素ブロックの、強度依存の値に対応するエントロピ値を計算することとによって、画素ブロックにおける画素強度に依存する強度依存の値を計算するよう適合される。

それに関して、エントロピ値は、それ自体が、例えば、画像のコンテンツを迅速に変更するなど、乱れの程度に対する一般処置であることで有利である。

画像の高質感は、画素強度を迅速に変更することも含み、このことは、本発明がＨＤＲコンテンツにおいて有利に維持するものである。

第１の態様に係るデバイスの第６の実装形態において、画素ブロックのエントロピ値は、以下の数式に従って計算される。

ｐ_ｉはキャリブレーション画像ｍの画素ブロックｂにおける画素強度ｉの発生確率であり、ｂは、ブロックインデックスであり、ｍは、画像インデックスである。

第１の態様に係るデバイスの第７の実装形態において、計算ユニットは、画素ブロックの画素強度の分散値を計算することによって、画素ブロックにおける画素強度に依存する強度依存の値を計算するよう適合される。

それに関して、分散値は、エントロピベースの方法の代替的なものとして、例えば、画像のコンテンツを迅速に変更するなど、それ自体が乱れの程度も反映することで有利である。

画素強度は、画素ブロックの画素の強度に関するものであってよく、または、画素ブロックの画素群の強度に関するものであってよい。

第１の態様に係るデバイスの第８の実装形態において、画素ブロックの画素強度の分散値は、以下の数式に従って計算される。

ＸおよびＹは、画素ブロックのサイズであり、ｉ（ｘ，ｙ）は、画素ブロック内の画素位置（ｘ，ｙ）における画素強度であり、ａは、画素ブロック内の平均画素強度値である。

それに関して、数式に従うこの計算は、画素強度の分散値に基づいて強度依存の値を計算するための有利な実装方式である。

第１の態様に係るデバイスの第９の実装形態において、計算ユニットは、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最大値を識別することによって、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最適値を識別するよう適合され、計算ユニットは、チャネルのブロックスタックごとにそれぞれ識別された最大値、またはそれらから導出された値を加算または乗算することによって、チャネルのブロックスタックごとに識別された最適値に基づいて候補の低減済みセットのチャネルスコア値を計算するよう適合される。

それに関して、最大値を用いること、ならびに加算または乗算は、候補の低減済みセットの最適の選択を提供し得る。

特に、最大値から導出された値は、それらの対数値であってよい。

そして、チャネルのブロックスタックごとに、識別された最大値の対数値を計算すること、および計算された対数値を加算することは、そのような計算が数値不安定性を回避し得ることで有利であり得る。

特に、チャネルのブロックスタックごとにそれぞれ識別された最大値を乗算することは、対数値を加算することを含む解決手段の代替的な解決手段であり得る。

第１の態様に係るデバイスの第１０の実装形態において、グリッドにより画定されたブロック位置は、隣接するまたは重なる。

それに関して、画素ブロックは、キャリブレーション画像全体をカバーするように重ならずに隣接し得る。

あるいは、画素ブロックは、より多くの正確な結果を取得するように重なってよい。

第１の態様に係るデバイスの第１１の実装形態において、複数の候補の低減済みセットは、予め画定された、またはユーザにより画定される共通のサイズを有する。

本発明の第２の態様は、本発明の第１の態様に係るデバイスと、ＨＤＲ画像処理ユニットと、少なくとも１つのカメラとを備えるシステムを提供する。キャリブレーション制御ユニットは、当該少なくとも１つのカメラによるキャリブレーション画像の捕捉を制御するよう適合される。ＨＤＲ制御ユニットは、当該少なくとも１つのカメラによる複数の画像の捕捉を制御するよう適合される。ＨＤＲ画像処理ユニットは、ＨＤＲ画像を取得すべく、複数の画像をマージするよう適合される。

それに関して、ＨＤＲ制御ユニットは、画像および質感の細部が維持され得るように、複数の画像の捕捉を制御するよう有利に適合される。選択された候補の低減済みセットの露光時間は選択ユニットにより有利に選択され、これにより、捕捉された画像の画像および質感の細部は有利に維持され得て、これにより、取得されたＨＤＲ画像の品質も向上し得る。

特に、ＨＤＲ制御ユニットは、選択された候補の低減済みセットの露光時間のみにおいて複数の画像の捕捉を制御するよう適合され、ＨＤＲ画像処理ユニットは、選択された候補の低減済みセットの露光時間において捕捉された画像のみをマージするよう適合される。

特に、システムは、ＨＤＲキャリブレーションモードとＨＤＲ動作モードとを切り替えるよう適合される。当該ＨＤＲキャリブレーションモードにおいて、キャリブレーション制御ユニットは、当該少なくとも１つのカメラ（１０１）によるキャリブレーション画像の捕捉を制御するよう適合される。当該ＨＤＲ動作モードにおいて、ＨＤＲ制御ユニットは、当該少なくとも１つのカメラによる複数の画像の捕捉を制御するよう適合される。当該ＨＤＲ動作モードにおいて、ＨＤＲ画像処理ユニットは、ＨＤＲ画像を取得すべく、複数の画像をマージするよう適合される。

本発明の第３の態様は、ハイダイナミックレンジ、ＨＤＲ、画像を取得するために、複数の画像の捕捉を制御するための方法を提供する。方法は、選択可能な露光時間の主要セットと、主要セットのそれぞれのサブセットである複数の候補の低減済みセットとを記憶する段階を備える。方法は、主要セットの各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御する段階を備える。方法は、候補の低減済みセットごとに、候補の低減済みセットの露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算する段階を備える。方法は、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセットの中から、候補の低減済みセットを選択する段階を備える。方法は、ＨＤＲ画像を取得するために、選択された候補の低減済みセットの各露光時間においてそれぞれ、複数の画像の捕捉を制御する段階を備える。

それに関して、選択されたキャリブレーション画像の強度に応じてスコア値を計算し、計算されたスコア値に基づいて候補の低減済みセットを選択することによって、画像および質感の細部が維持され得るように、複数の画像の捕捉を制御することが有利に可能である。選択された候補の低減済みセットの露光時間は、有利に選択され、これにより、捕捉された画像の画像および質感の細部は、ＨＤＲイメージングのために有利に維持され得る。

特に、主要セットは、異なる選択可能な露光時間の固定されたセットであってよい。あるいは、主要セットは、異なる選択可能な露光時間の固定されたセットのサブパートであってよい。主要セットは、固定されたセットから選択されるサブパートであってよく、または、言い換えれば、いくつかの露光時間は、主要セットを取得するために、固定されたセットから除外されてよい。例えば、主要セットは、画像捕捉条件に応じて、例えば、輝度に応じて、またはユーザによりされたユーザ選択に応じて、選択されるサブパートであってよい。画像捕捉条件に応じる選択の例は、輝度に応じて自動的に選択される主要セットであり、これにより、例えば、主要セットは、最適の低減済みセットが検索される夜間または暗い状況のためのサブセットであり得る。さらなる例は、ユーザによりされたシーンモード選択に応じて選択される主要セットであり、そのような選択モードは、例えば、ポートレート、風景、夕焼け、屋内、夜間ポートレート、または運動などである。

特に、キャリブレーション画像は、キャリブレーションのために用いられる画像である。これらの画像は、任意の種類の画像であってよく、特定パターンは必要とされない。特に、キャリブレーション画像において、予め画定されたパターン、または予め画定された色は必要とされない。

特に、選択された候補の低減済みセットの露光時間のみにおいて複数の画像の捕捉を制御することが有利である。そして、捕捉は、選択された候補の低減済みセットの露光時間のみにおいて実行され、選択された候補の低減済みセットに属していない追加の露光時間においては実行されない。言い換えれば、ＨＤＲ画像は、選択された候補の低減済みセットの露光時間のみにおいて捕捉された画像をマージすることによって取得される。

特に、複数の候補の低減済みセットの中から、例えば、最も高いまたは最も低いスコア値など、最適のスコア値を有する候補の低減済みセットを選択することが有利である。最適のスコア値は、対応するキャリブレーション画像における高程度の乱れを反映し得る。従って、最適のスコア値は、スコア値の具体的な計算に応じて、すなわち、高程度の乱れが最も高いまたは最も低いスコア値により反映されるかに応じて、最も高いまたは最も低いスコア値に対応し得る。

特に、方法は、ＨＤＲキャリブレーションモードとＨＤＲ動作モードとを切り替えるよう適合される。当該ＨＤＲキャリブレーションモードは、選択可能な露光時間の主要セットと、主要セットのそれぞれのサブセットである複数の候補の低減済みセットとを記憶することと、主要セットの各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御することと、候補の低減済みセットごとに、候補の低減済みセットの露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算することと、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセットの中から、候補の低減済みセットを選択することとを含む。当該ＨＤＲ動作モードは、ＨＤＲ画像を取得するために、選択された候補の低減済みセットの各露光時間においてそれぞれ複数の画像の捕捉を制御することを含む。

第３の態様に係る方法の第１の実装形態において、キャリブレーション画像は、チャネルを有する。さらに、候補の低減済みセットごとに、選択されたキャリブレーション画像のチャネルの強度に応じて、スコア値を計算する段階は、ブロック位置を画定するグリッドに従って各選択されたキャリブレーション画像のチャネルを画素ブロックに分割する段階と、各選択されたキャリブレーション画像のチャネルの画素ブロックごとに、画素ブロックにおける画素強度に依存する強度依存の値を計算し、強度依存の値を画素ブロックに関連付ける段階と、ブロック位置ごとに、当該ブロック位置における各選択されたキャリブレーション画像のチャネルの画素ブロックを含むブロックスタックを画定する段階と、ブロックスタックごとに、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最適値を識別する段階と、チャネルのブロックスタックごとに識別された最適値に基づいて、候補の低減済みセットのチャネルスコア値を計算する段階とを含み、ここで、チャネルスコア値は、スコア値である。

それに関して、計算されたスコア値は、それ自体が選択されたキャリブレーション画像の質感の細部の程度を反映するパラメータであることで有利である。

また、画像全体を用いることの代わりに画素ブロック形成は、画像のより小さい領域を分離することに役に立ち、これにより、小さい領域の画像細部は、潜在的に維持され得て、計算されたスコア値は、選択されたキャリブレーション画像の質感を反映する。

画素強度は、画素ブロック内の画素の強度に関するものであってよい。あるいは、画素強度は、画素ブロック内の画素群の強度に関するものであってよい。画素群は、画像符号化において用いられるマクロブロックに相当し得て、例えば、８×８の画素の、例えば、長方形または正方形の群からなり得る。画素群の画素強度は、画素群の各画素の強度を平均することによって取得され得る。

チャネルは、ＲＧＢ色空間における赤色、緑色、および青色チャネルのうちの１つであり得る。キャリブレーション画像は、グレースケールのデジタル画像であり得る。その場合、グレースケール画像は、１つのチャネルのみを有する。代替的な色空間も、１つまたは複数のチャネルを画定する。例えば、ＹＵＶまたはＹ'ＵＶ色空間において、チャネルは、輝度（Ｙ）またはルマ（Ｙ'）に対応し得る。好ましくは、チャネルは、画像における画素強度を反映するチャネルであり得る。

特に、強度依存の値の最適値を識別することは、強度依存の値の最大または最小値がそれぞれ、ブロックスタックにおける最も高い程度の乱れを反映するかに応じて、強度依存の値の最大または最小値を識別することを含んでよい。好ましくは、強度依存の値の最適値を識別することは、強度依存の値の最大値を識別することを含んでよい。

第３の態様に係る方法の第２の実装形態において、キャリブレーション画像は、単一チャネルを有する単一チャネル画像であり、または、方法は、キャリブレーション画像を、単一チャネルを有する単一チャネル画像に変換する段階を備える。

それに関して、画像および質感の細部がＨＤＲイメージングのために維持されるはずなので、単一チャネルキャリブレーション画像がキャリブレーション画像における強度変化を反映することから、単一チャネルキャリブレーション画像は、候補の低減済みセットを選択するのに十分である。単一チャネルを用いることは、画像の強度特性および変動を依然として維持しつつ、効率の良い処理を可能にする。

例えば、単一チャネルは、ＲＧＢ色空間における赤色、緑色、および青色チャネルのうちの１つであってよい。キャリブレーション画像は、グレースケールのデジタル画像であってよい。代替的なＹＵＶまたはＹ'ＵＶ色空間において、単一チャネルは、輝度（Ｙ）またはルマ（Ｙ'）に対応し得る。もしキャリブレーション画像が単一チャネル画像として利用可能ではない場合、本発明は、マルチチャネルキャリブレーション画像を単一チャネルキャリブレーション画像に変換することを有利に提供する。カラー画像は、いくつかの積層カラーチャネルで作られてよく、それらのそれぞれは、所与のチャネルの値レベルを表す。例えば、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の色成分の３つの独立チャネルからなるＲＧＢ画像は、例えば、異なるチャネルの色成分を加重平均することによって、グレースケール画像に変換され得る。変換された単一チャネルは、ＹＵＶまたはＹ'ＵＶ色空間の輝度（Ｙ）またはルマ（Ｙ'）であってもよい。輝度は、例えば、Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂという数式を用いて３つのＲＧＢ色成分の線形結合により取得され得る。

第３の態様に係る方法の第３の実装形態において、キャリブレーション画像は、複数のチャネルを有する。候補の低減済みセットごとに、選択されたキャリブレーション画像のチャネルの強度に応じて、スコア値を計算する段階は、ブロック位置を画定するグリッドに従って各選択されたキャリブレーション画像の各チャネルを画素ブロックに分割する段階を含み、各選択されたキャリブレーション画像の各チャネルの画素ブロックごとに、画素ブロックにおける画素強度に依存する強度依存の値を計算し、強度依存の値を画素ブロックに関連付ける段階と、チャネルごとおよびブロック位置ごとに、当該ブロック位置における各選択されたキャリブレーション画像の当該チャネルの画素ブロックを含むブロックスタックを画定する段階と、ブロックスタックごとに、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最適値を識別する段階と、チャネルごとに、チャネルのブロックスタックごとに識別された最適値に基づいて候補の低減済みセットのチャネルスコア値を計算す段階と、各チャネルのそれぞれのチャネルスコア値に応じて、スコア値を計算する段階とを含む。

それに関して、スコア値を計算するために、複数のチャネルを有するキャリブレーション画像を用いることは、スコア値のゆえに候補の低減済みセットの選択を向上させ得て、そして、キャリブレーション画像におけるより多くの強度特性および変動を考慮し得る。

第３の態様に係る方法の第１の実装形態のさらなる特徴および効果は、第３の態様に係る方法の第３の実装形態にも適用する。

言い換えれば、チャネルを有するキャリブレーション画像の場合に関する特徴および効果は、複数のチャネルを有するキャリブレーション画像の場合にも適用する。

第３の態様に係る方法の第４の実装形態において、キャリブレーション画像は、マルチチャネル画像であり、スコア値は、各チャネルのそれぞれのチャネルスコア値を組み合わせることによって、または各チャネルのチャネルスコア値のうち最適のチャネルスコアを選択することによって、計算される。

マルチチャネル画像は、例えば、ＲＧＢ色空間において、または、画像における画素強度を好ましく反映するいくつかのチャネルを含む代替的な色空間において、画定された画像であってよい。

それに関して、各チャネルのそれぞれのチャネルスコア値を組み合わせることは、それぞれのチャネルスコア値を加算または乗算することを含んでよく、これにより、計算されたスコア値は、各チャネルの強度特性を有利に考慮する。あるいは、各チャネルのそれぞれのチャネルスコア値を組み合わせることは、各チャネルのチャネルスコア値のうち最適のチャネルスコア、例えば、最大のスコア値を選択することを含んでよく、これにより、スコア値の計算は簡略化され得る。

第３の態様に係る方法の第５の実装形態において、画素ブロックにおける画素強度に依存する強度依存の値を計算する段階は、画素ブロックの画素強度のヒストグラムを計算する段階と、画素ブロックの画素強度のヒストグラムに基づいて、画素ブロックの、強度依存の値に対応するエントロピ値を計算する段階とを含む。

それに関して、エントロピ値は、それ自体が、例えば、画像のコンテンツを迅速に変更するなど、乱れの程度に対する一般処置であることで有利である。

画像の高質感は、画素強度を迅速に変更することも含み、このことは、本発明がＨＤＲコンテンツにおいて有利に維持するものである。

第３の態様に係る方法の第６の実装形態において、画素ブロックのエントロピ値は、以下の数式に従って、計算される。

ｐ_ｉは、キャリブレーション画像ｍの画素ブロックｂの画素強度ｉの発生確率であり、ｂはブロックインデックスであり、ｍは画像インデックスである。

第３の態様に係る方法の第７の実装形態において、画素ブロックにおける画素強度に依存する強度依存の値を計算する段階は、画素ブロックの画素強度の分散値を計算する段階を含む。

それに関して、分散値は、それ自体が、代替的なエントロピベースの方法として、例えば、画像のコンテンツを迅速に変更するなど、乱れの程度も反映することで有利である。

画素強度は、画素ブロックの画素の強度に関するものであってよく、または画素ブロックの画素群の強度に関するものであってよい。

第３の態様に係る方法の第８の実装形態において、画素ブロックの画素強度の分散値は、以下の数式に従って計算される。

ＸおよびＹは、画素ブロックのサイズであり、ｉ（ｘ，ｙ）は、画素ブロック内の画素位置（ｘ，ｙ）における画素強度であり、ａは、画素ブロック内の平均画素強度値である。

それに関して、数式に従うこの計算は、画素強度の分散値に基づいて強度依存の値を計算するために有利な実装方式である。

第３の態様に係る方法の第９の実装形態において、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最適値を識別する段階は、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最大値を識別する段階を含み、チャネルのブロックスタックごとに識別された最適値に基づいて候補の低減済みセットのチャネルスコア値を計算する段階は、チャネルのブロックスタックごとにまたはそれらから導出された値について、それぞれ識別された最大値を加算または乗算する段階を含む。

それに関して、最大値を用いること、ならびに加算または乗算することは、候補の低減済みセットの最適の選択を提供し得る。

特に、最大値から導出された値は、それらの対数値であってよい。

そして、チャネルのブロックスタックごとに、識別された最大値の対数値を計算し、計算された対数値を加算する段階は、そのような計算が数値不安定性を回避し得ることで有利であり得る。

特に、チャネルのブロックスタックごとにそれぞれ識別された最大値を乗算することは、対数値を加算することを含む解決手段の代替的な解決手段であり得る。

第３の態様に係る方法の第１０の実装形態において、グリッドにより画定されたブロック位置は、隣接する、または重なる。

それに関して、画素ブロックは、キャリブレーション画像全体をカバーするように重ならずに隣接し得る。

あるいは、画素ブロックは、より多くの正確な結果を取得するように、重なってよい。

第３の態様に係る方法の第１１の実装形態において、複数の候補の低減済みセットは、予め画定された、またはユーザにより画定される共通サイズを有する。

本発明の第４の態様は、コンピュータプログラムがコンピューティングデバイス上で動作するとき、本発明の第３の態様に係る方法を実行するためのプログラムコードを有するコンピュータプログラムを提供する。

本発明によれば、ＨＤＲキャリブレーションモードにおいて、数がＮ個の露光時間からなる候補の低減済みセットまたはサブセットが、利用可能な露光時間の主要セットまたは基本セットから、選択される。主要セットは、数がＭ個の利用可能な露光時間または候補露光時間からなり、ここで、Ｍ＞Ｎである。そして、露光時間の選択された候補の低減済みセットが、例えば、ＨＤＲ動作モードにおいて、実際のＨＤＲ処理のために用いられる。

Ｍ個の利用可能な露光時間のセットを低減するために、実際のＨＤＲ処理のために用いられる、サイズがＮ個の露光時間の低減済みセットが、ユーザにより画定され、またはデバイスにより予め画定されている。サイズがＮ個のこの画定は、好ましくは、ＨＤＲキャリブレーションモードにおいて実行される。

そして、ＨＤＲキャリブレーションモードにおいて、この数がＮ個の異なる露光時間を含む可能な候補の低減済みセットごとに、スコア値が計算される。各可能な候補の低減済みセットのスコア値を計算した後に、最良のスコア値を有する候補の低減済みセットが、解決手段として選択され、すなわち、ＨＤＲ動作モードにおいてＨＤＲ処理を実行するために選択される。

本発明はこうして、最終ＨＤＲ解決策における細部のほとんどを同時に維持しつつ、露光時間の候補の低減済みセットを選択するためのＨＤＲキャリブレーションモードを提供する。

本願において説明されている全てのデバイス、エレメント、ユニット、および手段は、ソフトウェアまたはハードウェアエレメント、またはそれらの任意の種類の組み合わせにおいて実装され得ることが留意されるべきである。本願において説明されている様々なエンティティにより実行される全ての段階、ならびに様々なエンティティにより実行されると説明されている機能は、それぞれのエンティティは、それぞれの段階および機能を実行すように適合されまたは構成されることを意味することを意図される。たとえ具体的な実施形態の以下の説明において、ある具体的な機能または段階が、その具体的な段階または機能を実行するそのエンティティの具体的な詳述したエレメントの説明において反映されていない外部のエンティティにより完全に形成される場合、これらの方法および機能はそれぞれのソフトウェアまたはハードウェアエレメントまたはそれらの任意の種類の組み合わせにおいて実装されることができることは、当業者には明確であるべきである。

本発明の上述の態様および実装形態は、添付図面に関連して、具体的な実施形態の以下の説明において説明される。
本発明の実施形態に係るシステムを示す。 本発明の実施形態に係るキャリブレーション画像およびブロックスタックを示す。 本発明の実施形態に係る方法を示す。 本発明の実施形態に係る方法を示す。 本発明の実施形態に係るスコア値の計算を示す。

図１は、本発明の実施形態に係るシステム１００を示す。システム１００は、本発明の実施形態に係るデバイス１０２を備える。本発明の実施形態に係るデバイス１０２は、ハイダイナミックレンジ、ＨＤＲ、画像を取得するために複数の画像の捕捉を制御するよう適合される。デバイス１０２は、選択可能な露光時間の主要セット１０４と、主要セット１０４のそれぞれのサブセットである複数の候補の低減済みセット１０５とを記憶するよう適合される記憶ユニット１０３を備える。 デバイス１０２は、主要セット１０４の各露光時間においてそれぞれキャリブレーション画像の捕捉を制御するよう適合されるキャリブレーション制御ユニット１０６を備える。デバイス１０２は、候補の低減済みセット１０５ごとに、候補の低減済みセット１０５の露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算するよう適合される計算ユニット１０７を備える。デバイス１０２は、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセット１０５の中から、候補の低減済みセット１１０を選択するよう適合される選択ユニット１０８を備える。デバイス１０２は、ＨＤＲ画像を取得するために、選択された候補の低減済みセット１１０の各露光時間においてそれぞれ、複数の画像の捕捉を制御するよう適合されるＨＤＲ制御ユニット１０９を備える。本発明の実施形態に係るシステム１００は、デバイス１０２、ならびに、ＨＤＲ画像処理ユニット１１１および少なくとも１つのカメラ１０１を備える。システム１００において、キャリブレーション制御ユニット１０６は、当該少なくとも１つのカメラ１０１によるキャリブレーション画像の捕捉を制御するよう適合される。ＨＤＲ制御ユニット１０９は、当該少なくとも１つのカメラ１０１による複数の画像の捕捉を制御するよう適合される。ＨＤＲ画像処理ユニット１１１は、ＨＤＲ画像を取得すべく、複数の画像をマージするよう適合される。図１に示されているシステム１００は、単一カメラ１０１を備え、カメラに対して２つまたはそれよりも多くの露光時間を決定するために用いられてよく、これにより、ＨＤＲ画像は、選択された候補の低減済みセット１１０により画定された露光時間のみにおいてこの単一カメラ１０１のみにより捕捉された画像から取得され得る。あるいは、システムは、１つより多くのカメラを備えるマルチカメラシステムであってよく、これにより、ＨＤＲ画像は、複数のカメラにより捕捉された画像から取得され得る。ここで、選択された候補の低減済みセット１１０により画定された各露光時間は、１つのカメラのみに割り当てられ得る。本発明の単一カメラまたはマルチカメラシステムは、２Ｄまたは３ＤイメージングによってＨＤＲ画像を取得するために用いられ得る。

図２は、本発明の実施形態に係るキャリブレーション画像２０１、２０２、２０３を示す。キャリブレーション画像の捕捉は、キャリブレーション画像が主要セット１０４の各露光時間においてそれぞれ捕捉されるよう、キャリブレーション制御ユニット１０６により制御される。候補の低減済みセット１０５ごとに、候補の低減済みセット１０５の露光時間において捕捉されたキャリブレーション画像２０１、２０２、２０３は、計算ユニット１０７により選択される。そして、計算ユニット１０７は、選択されたキャリブレーション画像２０１、２０２、２０３の強度に応じて、スコア値を計算する。図１の特定の実施形態において、選択可能な露光時間の主要セットは、数がＭ＝３の利用可能な露光時間を含む。当該３つの利用可能な露光時間が、ｔ１、ｔ２、ｔ３であり、主要セット１０４は、｛ｔ１，ｔ２，ｔ３｝に対応する。示されている実施形態において、ＨＤＲ動作モードのための数がＮ個の露光時間が、Ｎ＝２であるよう選択される。記憶ユニット１０３において記憶されている複数の候補の低減済みセット１０５はこうして、｛ｔ１，ｔ２｝、｛ｔ１，ｔ３｝、｛ｔ２，ｔ３｝というセットに対応する。候補の低減済みセットは、例えば、図１の実施形態に示されているように、サイズＭ個の主要セットから取得可能なサイズがＮ個の全ての可能な候補の低減済みセットであってよい。あるいは、候補の低減済みセットは、主要セットから取得可能な、予め低減された数の全ての可能な候補の低減済みセットであってよい。

図３は、本発明の実施形態に係る方法を示し、特に、ハイダイナミックレンジ、ＨＤＲ、画像を取得するために複数の画像の捕捉を制御するための方法３００を示す。方法は、選択可能な露光時間の主要セット１０４と、主要セット１０４のそれぞれのサブセットである複数の候補の低減済みセット１０５とを記憶する段階３０１を備える。方法は、主要セット１０４の各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御する段階３０２を備える。方法は、候補の低減済みセット１０５ごとに、候補の低減済みセット１０５の露光時間において捕捉されたキャリブレーション画像２０１、２０２、２０３を選択する段階３０３と、選択されたキャリブレーション画像２０１、２０２、２０３の強度に応じて、スコア値を計算する段階３０４とを備える。方法は、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセット１０５の中から、候補の低減済みセット１１０を選択する段階３０５を備える。方法は、ＨＤＲ画像を取得するために、選択された候補の低減済みセット１１０の各露光時間においてそれぞれ、複数の画像の捕捉を制御する段階３０６を備える。本発明の特定の実施形態において、キャリブレーション画像２０１、２０２、２０３は、チャネルを有する。この実施形態において、計算ユニット１０７は、候補の低減済みセット１０５ごとに、ブロック位置を画定するグリッドに従って、各選択されたキャリブレーション画像２０１、２０２、２０３のチャネルを画素ブロック１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６に分割することによって、選択されたキャリブレーション画像２０１、２０２、２０３のチャネルの強度に応じて、スコア値を計算するよう適合される。図２の実施形態において、各キャリブレーション画像２０１、２０２、２０３は、６つのブロック位置を画定するグリッドに分割される。例えば、露光時間ｔ１において捕捉されているキャリブレーション画像２０１は、グリッドにより画定された６個の画素ブロック１，１、１，２、１，３、１，４、１，５、１，６を含む。グリッドは、好ましくは、全ての候補画像のための共通サイズを有する。図２の実施形態いおいて、グリッドサイズは、２×３の画素ブロックである。図２に示されているグリッドが長方形の形状を有する一方、非長方形のグリッドが用いられてもよい。計算ユニット１０７は、各選択されたキャリブレーション画像２０１、２０２、２０３のチャネルの画素ブロックごとに、画素ブロック１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６における画素強度に依存する強度依存の値を計算し、強度依存の値を画素ブロック１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６に関連付けるよう適合される。計算ユニット１０７は、ブロック位置ごとに、当該ブロック位置における各選択されたキャリブレーション画像２０１、２０２、２０３のチャネルの画素ブロックを含むブロックスタック２０４、２０５、２０６を画定するよう適合される。

例えば、図２は、グリッドの左上のブロック位置が、キャリブレーション画像２０１の画素ブロック１，１に対応することを示す。このブロック位置は、キャリブレーション画像２０２の画素ブロック２，１にも対応し、キャリブレーション画像２０３における画素ブロックＮ，１にも対応する。これらの画素ブロック１，１ ２，１...Ｎ，１は共にブロックスタック２０４を形成し、図２において「３Ｄブロックスタック１」とも称される。同様に、ブロックスタック２０５は、全てのキャリブレーション画像２０１、２０２、２０３の上中央の位置に位置する画素ブロック１，２ ２，２...Ｎ，２を含む。示されているブロックスタック２０６は、グリッドにより画定された右下のブロック位置に位置する画素ブロック１，６ ２，６ Ｎ，６を含む。言い換えれば、ブロック位置ごとに、全ての対応する画素ブロックが収集されてそれぞれの３Ｄブロックスタック２０４、２０５、２０６としてバンドルされる。

図２において、各画素ブロックは、ペア（ｍ，ｂ）により表れ、ここで、ｂは、具体的なキャリブレーション画像ｍのブロック位置を画定する。値ｍは、キャリブレーション画像インデックスであり、すなわち、各キャリブレーション画像が捕捉されている１つの露光時間に対応するので、ｍは、露光時間インデックスでもある。値ｂは、ブロック位置インデックスであり、ここで、図２において用いられているグリッドは、ｂ＝６のブロック位置であることを画定し、ｂ＝１〜６である。図２は、Ｎ個の画像の１つの候補の低減済みセット、および、ブロック位置ｂごとのサイズＮ個の対応するｂ＝６のブロックスタックを示す。計算ユニット１０７は、ブロックスタック２０４、２０５、２０６ごとに、ブロックスタックを形成する画素ブロックに関連付けられた強度依存の値の最適値、特に最大値を識別するよう適合される。計算ユニット１０７は、チャネルのブロックスタック２０４、２０５、２０６ごとに識別された最適値、特に最大値に基づいて、候補の低減済みセット１０５のチャネルスコア値を計算するよう適合される。ここで、チャネルスコア値は、スコア値に対応する。代替的な本発明の実施形態において、キャリブレーション画像２０１、２０２、２０３は、複数のチャネルを有する。この実施形態において、各選択されたキャリブレーション画像２０１、２０２、２０３の各チャネルは、画素ブロック１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６に分割され、強度依存の値は、各チャネルの画素ブロックごとに計算され、画素ブロックに関連付けられる。

そして、ブロックスタック２０４、２０５、２０６は、各チャネルのブロック位置ごとに画定され、強度依存の値の最適値、特に最大値は、ブロックスタック２０４、２０５、２０６ごとに識別される。そして、チャネルごとに、候補の低減済みセットのチャネルスコア値は、チャネルのブロックスタックごとに、識別された最適値、特に最大値に基づいて、計算される。最後に、スコア値は、各チャネルのそれぞれのチャネルスコア値に応じて、例えば、各チャネルのそれぞれのチャネルスコア値を組み合わせることによって、または各チャネルのチャネルスコア値のうち最適のチャネルスコアを選択することによって、計算される。

図４は、本発明のさらなる実施形態、特に、ＨＤＲ動作モード中に用いられるべき候補の低減済みセット１１０を選択するためのＨＤＲキャリブレーションモードの実施形態に係る方法を示す。まず、Ｍ個のキャリブレーション画像が、異なる露光時間において、すなわち、主要セット１０４に含まれるＭ個の異なる露光時間において、捕捉される４０１。そして、全てのキャリブレーション画像は、グレースケール画像に変換され４０２、すなわち、キャリブレーション画像は、グレースケールチャネルの形式で単一チャネルを有するキャリブレーション画像に変換される。露光時間の次の候補の低減済みセットが選択され４０３、選択された候補の低減済みセットのスコア値が計算され４０４、バッファされる４０５。全ての低減済み候補セットが選択されている／テストされているかのテストが行われる４０６。答えが否である場合とすれば、次の候補の低減済みセットが選択される場合である。答えが、全ての候補の低減済みセットが選択されている／テストされているという場合、処理は、ＨＤＲ動作モードに対する最良のスコアを有する候補の低減済みセットを選択する／出す４０７という最終段階へと進む。

図４は、最良の低減済みセットを選択するためにこれらのスコア値を取得すべく、候補の低減済みセットの連続またはループ処理を示す。代替的な実施形態において、スコア値を計算する段階４０４は、全てまたは一部の候補の低減済みセットについて並行して実行されてよく、ここで、最良の候補の低減済みセットは、図５の実施形態においてより詳細に説明されるように、例えば、もしスコアがエントロピに基づいて決定される場合に最大スコアを有する低減済み候補セットの選択などの選択基準に基づいて、選択される。

図５は、本発明の実施形態に係るスコア値を計算する段階３０４、４０４を示す。計算は候補の低減済みセット１０５について実行され、このことは、図５において示され、計算の入力は、候補の低減済みセット１０５の、数がＮ個（Ｎ＜Ｍ）の選択されたキャリブレーション画像である。これらのキャリブレーション画像は、事実上、候補の低減セット１０５の露光時間において捕捉されたキャリブレーション画像に対応する。図５の実施形態において、キャリブレーション画像は、グレースケール画像の形式であり、すなわち、それらは、単一チャネル画像に変換される。第１の段階において、ヒストグラムが、入力されたキャリブレーション画像のそれぞれの画素ブロックまたはグリッドブロックごとに計算される５０１。ヒストグラムは、当該画素ブロックの画素強度のヒストグラムであり、画素ブロック内の強度ｉを有する画素ｈ_ｉの数を記述する。第２の段階において、各画素ブロックのエントロピ値Ｅ_ｍ，ｂが、当該画素ブロックの画素強度のヒストグラムに基づいて計算される５０２。エントロピ値は、画素ブロックごとに計算される強度依存の値に対応する。ヒストグラムは、以下の数式に従って、各キャリブレーション画像ｍおよび画素ブロックｂのエントロピ値を計算するために用いられてよい。

ここで、ｂは、ブロックインデックスであり、ｍは画像インデックスであり、ｐ_ｉは、画素強度ｉの発生確率であり、例えば、ｉ＝０，・・・，２５５である。

確率ｐ_ｉは、画像強度のヒストグラムから直接計算される。

第３の段階において、最大エントロピが、ブロックスタック２０４、２０５、２０６ごとに計算される５０３。このことは、例えば、ブロックスタック内の各画素ブロックのエントロピを計算し、各画素ブロックのこれらの計算されたエントロピ値のうち最大エントロピを選択することによって達成される。最大エントロピは、特定のキャリブレーション画像ｍに対して与えられる。

その結果、各画素ブロックスタックｂには、最大エントロピが割り当てられる。

第４の段階において、全てのブロックスタックの対数の和が計算され５０４、このことは、低減済みセット候補のチャネルスコア値を出し、低減済みセット候補の当該チャネルスコア値は、計算ユニット１０７により計算３０４されたスコア値に対応する。

この段階の利点は、チャネルスコア値を計算するとき、数値不安定性が回避され得ることである。第４の段階の代替的なアプローチが、全てのブロックスタック２０４、２０５、２０６の全ての最大エントロピ値の積を計算することを含んでよい。 そして、最良の、すなわち、最大のチャネルスコア値を有する候補の低減済みセットが、解決手段として、すなわち、ＨＤＲ動作モードのために用いられるべき候補の低減済みセットとして、選択される３０７。説明されているこのＨＤＲキャリブレーションモードを完了していた後に、露光時間の選択された候補の低減済みセットが、ＨＤＲ動作モードのために、例えば、実際のＨＤＲ処理のために、Ｎ個の露光時間の固定されたセットとして選択される。任意選択的に、ＨＤＲキャリブレーションモードで捕捉されたキャリブレーション画像は、ＨＤＲ処理のためのＨＤＲ動作モードにおいて用いられてもよい。例えば、全てのＭ個のキャリブレーション画像、または、露光時間の選択された候補の低減済みセットに対応するＮ個のキャリブレーション画像のみが、ＨＤＲ動作モードにおいて用いられてよい。そのようなモードは、組み合わせられたキャリブレーション／動作モードであってよい。

第２の段階において、エントロピ値が計算されている５０２。代替的なアプローチにおいて、およびエントロピを計算する代わりに、以下の数式に従って、分散値ｖ^２を計算することが提供される。

ここで、ＸおよびＹは、画素ブロックのサイズ、例えば、それらの幅および高さであり、ｉ（ｘ，ｙ）は、画素ブロック内の画素位置（ｘ，ｙ）においける画素強度であり、ａは、画素ブロック内の平均画素強度値である。

図５の実施形態は、グレースケール画像の形式の単一チャネルキャリブレーション画像に対するチャネルスコア値の計算を含む。あるいは、キャリブレーション画像は、カラー画像のように、例えば、ＲＧＢ画像などのマルチチャネル画像であってもよい。そのような場合、チャネルスコア値をチャネルごとに独立に計算し、全てのチャネルのチャネルスコア値を合計して、計算ユニット１０７により計算３０４されたスコア値を作成する。本発明は、例ならびに実装方式として様々な実施形態とともに説明されている。

しかしながら、当業者および特許請求の範囲に記載の発明を実施する者により、図面、本開示、および独立請求項の検討から、他の変形が理解および実現され得る。特許請求の範囲において、ならびに説明において、「備え」という用語は、他のエレメントまたは段階を除外するものではなく、一（「ａ」または「ａｎ」）という不定冠詞は、複数を除外するものではない。

単一エレメントまたは他のユニットは、特許請求の範囲において列挙されているいくつかのエンティティまたはアイテムの機能を実現し得る。特定の測定が相互に異なる従属請求項において列挙されているという単なる事実は、これらの測定の組み合わせは有利な実装において用いられることができないことを示すものではない。

本発明は、ハイダイナミックレンジイメージング（ＨＤＲＩ）およびビデオを向上させるテーマに取り組む。ハイダイナミックレンジ（ＨＤＲ）とは、スマートフォンおよびカメラなどの、現在および将来の画像およびビデオ捕捉デバイスの品質を向上させる重要な方法である。ＨＤＲＩは、一般には、異なって露光された画像を捕捉して、それらをＨＤＲ画像にマージすることによって実現される。異なる露光セットおよび捕捉された対応画像が多ければ多いほど、最終ＨＤＲ画像の品質がより良好となる。

本発明の第１の態様は、ハイダイナミックレンジ（ＨＤＲ）画像を取得するために複数の画像の捕捉を制御するよう適合されるデバイスを提供する。デバイスは、選択可能な露光時間の主要セットと、主要セットのそれぞれのサブセットである複数の候補の低減済みセットとを記憶するよう適合される記憶ユニットを備える。デバイスは、主要セットの各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御するよう適合されるキャリブレーション制御ユニットを備える。デバイスは、候補の低減済みセットごとに、候補の低減済みセットの露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算するよう適合される計算ユニットを備える。デバイスは、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセットの中から、候補の低減済みセットを選択するよう適合される選択ユニットを備える。デバイスは、ＨＤＲ画像を取得するために、選択された候補の低減済みセットの各露光時間においてそれぞれ、複数の画像の捕捉を制御するよう適合されるＨＤＲ制御ユニットを備える。

本発明の第３の態様は、ハイダイナミックレンジ（ＨＤＲ）画像を取得するために、複数の画像の捕捉を制御するための方法を提供する。方法は、選択可能な露光時間の主要セットと、主要セットのそれぞれのサブセットである複数の候補の低減済みセットとを記憶する段階を備える。方法は、主要セットの各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御する段階を備える。方法は、候補の低減済みセットごとに、候補の低減済みセットの露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算する段階を備える。方法は、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセットの中から、候補の低減済みセットを選択する段階を備える。方法は、ＨＤＲ画像を取得するために、選択された候補の低減済みセットの各露光時間においてそれぞれ、複数の画像の捕捉を制御する段階を備える。

図１は、本発明の実施形態に係るシステム１００を示す。システム１００は、本発明の実施形態に係るデバイス１０２を備える。本発明の実施形態に係るデバイス１０２は、ハイダイナミックレンジ（ＨＤＲ）画像を取得するために複数の画像の捕捉を制御するよう適合される。デバイス１０２は、選択可能な露光時間の主要セット１０４と、主要セット１０４のそれぞれのサブセットである複数の候補の低減済みセット１０５とを記憶するよう適合される記憶ユニット１０３を備える。 デバイス１０２は、主要セット１０４の各露光時間においてそれぞれキャリブレーション画像の捕捉を制御するよう適合されるキャリブレーション制御ユニット１０６を備える。デバイス１０２は、候補の低減済みセット１０５ごとに、候補の低減済みセット１０５の露光時間において捕捉されたキャリブレーション画像を選択し、選択されたキャリブレーション画像の強度に応じて、スコア値を計算するよう適合される計算ユニット１０７を備える。デバイス１０２は、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセット１０５の中から、候補の低減済みセット１１０を選択するよう適合される選択ユニット１０８を備える。デバイス１０２は、ＨＤＲ画像を取得するために、選択された候補の低減済みセット１１０の各露光時間においてそれぞれ、複数の画像の捕捉を制御するよう適合されるＨＤＲ制御ユニット１０９を備える。本発明の実施形態に係るシステム１００は、デバイス１０２、ならびに、ＨＤＲ画像処理ユニット１１１および少なくとも１つのカメラ１０１を備える。システム１００において、キャリブレーション制御ユニット１０６は、当該少なくとも１つのカメラ１０１によるキャリブレーション画像の捕捉を制御するよう適合される。ＨＤＲ制御ユニット１０９は、当該少なくとも１つのカメラ１０１による複数の画像の捕捉を制御するよう適合される。ＨＤＲ画像処理ユニット１１１は、ＨＤＲ画像を取得すべく、複数の画像をマージするよう適合される。図１に示されているシステム１００は、単一カメラ１０１を備え、カメラに対して２つまたはそれよりも多くの露光時間を決定するために用いられてよく、これにより、ＨＤＲ画像は、選択された候補の低減済みセット１１０により画定された露光時間のみにおいてこの単一カメラ１０１のみにより捕捉された画像から取得され得る。あるいは、システムは、１つより多くのカメラを備えるマルチカメラシステムであってよく、これにより、ＨＤＲ画像は、複数のカメラにより捕捉された画像から取得され得る。ここで、選択された候補の低減済みセット１１０により画定された各露光時間は、１つのカメラのみに割り当てられ得る。本発明の単一カメラまたはマルチカメラシステムは、２Ｄまたは３ＤイメージングによってＨＤＲ画像を取得するために用いられ得る。

図３は、本発明の実施形態に係る方法を示し、特に、ハイダイナミックレンジ（ＨＤＲ）画像を取得するために複数の画像の捕捉を制御するための方法３００を示す。方法は、選択可能な露光時間の主要セット１０４と、主要セット１０４のそれぞれのサブセットである複数の候補の低減済みセット１０５とを記憶する段階３０１を備える。方法は、主要セット１０４の各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御する段階３０２を備える。方法は、候補の低減済みセット１０５ごとに、候補の低減済みセット１０５の露光時間において捕捉されたキャリブレーション画像２０１、２０２、２０３を選択する段階３０３と、選択されたキャリブレーション画像２０１、２０２、２０３の強度に応じて、スコア値を計算する段階３０４とを備える。方法は、全ての候補の低減済みセットの計算されたスコア値に基づいて、複数の候補の低減済みセット１０５の中から、候補の低減済みセット１１０を選択する段階３０５を備える。方法は、ＨＤＲ画像を取得するために、選択された候補の低減済みセット１１０の各露光時間においてそれぞれ、複数の画像の捕捉を制御する段階３０６を備える。本発明の特定の実施形態において、キャリブレーション画像２０１、２０２、２０３は、チャネルを有する。この実施形態において、計算ユニット１０７は、候補の低減済みセット１０５ごとに、ブロック位置を画定するグリッドに従って、各選択されたキャリブレーション画像２０１、２０２、２０３のチャネルを画素ブロック１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６に分割することによって、選択されたキャリブレーション画像２０１、２０２、２０３のチャネルの強度に応じて、スコア値を計算するよう適合される。図２の実施形態において、各キャリブレーション画像２０１、２０２、２０３は、６つのブロック位置を画定するグリッドに分割される。例えば、露光時間ｔ１において捕捉されているキャリブレーション画像２０１は、グリッドにより画定された６個の画素ブロック１，１、１，２、１，３、１，４、１，５、１，６を含む。グリッドは、好ましくは、全ての候補画像のための共通サイズを有する。図２の実施形態いおいて、グリッドサイズは、２×３の画素ブロックである。図２に示されているグリッドが長方形の形状を有する一方、非長方形のグリッドが用いられてもよい。計算ユニット１０７は、各選択されたキャリブレーション画像２０１、２０２、２０３のチャネルの画素ブロックごとに、画素ブロック１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６における画素強度に依存する強度依存の値を計算し、強度依存の値を画素ブロック１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６に関連付けるよう適合される。計算ユニット１０７は、ブロック位置ごとに、当該ブロック位置における各選択されたキャリブレーション画像２０１、２０２、２０３のチャネルの画素ブロックを含むブロックスタック２０４、２０５、２０６を画定するよう適合される。

図４は、本発明のさらなる実施形態、特に、ＨＤＲ動作モード中に用いられるべき候補の低減済みセット１１０を選択するためのＨＤＲキャリブレーションモードの実施形態に係る方法を示す。まず、Ｍ個のキャリブレーション画像が、異なる露光時間において、すなわち、主要セット１０４に含まれるＭ個の異なる露光時間において、捕捉される４０１。そして、全てのキャリブレーション画像は、グレースケール画像に変換され４０２、すなわち、キャリブレーション画像は、グレースケールチャネルの形式で単一チャネルを有するキャリブレーション画像に変換される。露光時間の次の候補の低減済みセットが選択され４０３、選択された候補の低減済みセットのスコア値が計算され４０４、バッファされる４０５。全ての低減済み候補セットが選択されている／テストされているかのテストが行われる４０６。答えが否である場合とすれば、次の候補の低減済みセットが選択される。答えが、全ての候補の低減済みセットが選択されている／テストされているという場合、処理は、ＨＤＲ動作モードに対する最良のスコアを有する候補の低減済みセットを選択する／出す４０７という最終段階へと進む。

図５は、本発明の実施形態に係るスコア値を計算する段階３０４、４０４を示す。計算は候補の低減済みセット１０５について実行され、このことは、図５において示され、計算の入力は、候補の低減済みセット１０５の、数がＮ個（Ｎ＜Ｍ）の選択されたキャリブレーション画像である。これらのキャリブレーション画像は、事実上、候補の低減済みセット１０５の露光時間において捕捉されたキャリブレーション画像に対応する。図５の実施形態において、キャリブレーション画像は、グレースケール画像の形式であり、すなわち、それらは、単一チャネル画像に変換される。第１の段階において、ヒストグラムが、入力されたキャリブレーション画像のそれぞれの画素ブロックまたはグリッドブロックごとに計算される５０１。ヒストグラムは、当該画素ブロックの画素強度のヒストグラムであり、画素ブロック内の強度ｉを有する画素ｈ_ｉの数を記述する。第２の段階において、各画素ブロックのエントロピ値Ｅ_ｍ，ｂが、当該画素ブロックの画素強度のヒストグラムに基づいて計算される５０２。エントロピ値は、画素ブロックごとに計算される強度依存の値に対応する。ヒストグラムは、以下の数式に従って、各キャリブレーション画像ｍおよび画素ブロックｂのエントロピ値を計算するために用いられてよい。

ここで、ｂは、ブロックインデックスであり、ｍは画像インデックスであり、ｐ_ｉは、画素強度ｉの発生確率であり、例えば、ｉ＝０，・・・，２５５である。

Claims (15)

1. ハイダイナミックレンジ、ＨＤＲ、画像を取得するために複数の画像の捕捉を制御するよう適合されるデバイス（１０２）であって、前記デバイスは、
   選択可能な露光時間の主要セット（１０４）と、前記主要セット（１０４）のそれぞれのサブセットである複数の候補の低減済みセット（１０５）とを記憶するよう適合される記憶ユニット（１０３）と、
   前記主要セット（１０４）の各露光時間においてそれぞれ、キャリブレーション画像の捕捉（４０１）を制御するよう適合されるキャリブレーション制御ユニット（１０６）と、
   候補の低減済みセット（１０５）ごとに、前記候補の低減済みセット（１０５）の前記露光時間において捕捉された前記キャリブレーション画像（２０１、２０２、２０３）を選択（４０３）し、前記選択されたキャリブレーション画像（２０１、２０２、２０３）の強度に応じてスコア値を計算（４０４）するよう適合される計算ユニット（１０７）と、
   全ての候補の低減済みセットの前記計算されたスコア値に基づいて前記複数の候補の低減済みセット（１０５）の中から、候補の低減済みセット（１１０）を選択（４０７）するよう適合される選択ユニット（１０８）と、
   前記ＨＤＲ画像を取得するために、前記選択された候補の低減済みセット（１１０）の各露光時間においてそれぞれ、前記複数の画像の前記捕捉を制御するよう適合されるＨＤＲ制御ユニット（１０９）と
   を備える
   デバイス。
2. 前記キャリブレーション画像は、チャネルを有し、
   前記計算ユニット（１０７）は、
   ブロック位置を画定するグリッドに従って、各選択されたキャリブレーション画像（２０１、２０２、２０３）の前記チャネルを、画素ブロック（１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６）に分割することと、
   各選択されたキャリブレーション画像（２０１、２０２、２０３）の前記チャネルの画素ブロックごとに、前記画素ブロックにおける画素強度に依存する強度依存の値（Ｅｍ，ｂ，ｖ２）を計算（５０２）し、前記強度依存の値を前記画素ブロックに関連付けることと、
   ブロック位置ごとに、前記ブロック位置における各選択されたキャリブレーション画像（２０１、２０２、２０３）の前記チャネルの前記画素ブロック（１，１；２，１...Ｎ，１）を含むブロックスタック（２０４、２０５、２０６）を画定することと、
   ブロックスタック（２０４、２０５、２０６）ごとに、前記ブロックスタックを形成する前記画素ブロックに関連付けられた前記強度依存の値（Ｅｍ，ｂ，ｖ２）の最適値（Ｅｂｍａｘ）を識別（５０３）することと、
   前記チャネルのブロックスタック（２０４、２０５、２０６）ごとに識別された前記最適値に基づいて前記候補の低減済みセット（１０５）のチャネルスコア値を計算（５０４）することとによって、
   候補の低減済みセット（１０５）ごとに、前記選択されたキャリブレーション画像（２０１、２０２、２０３）の前記チャネルの強度に応じて前記スコア値を計算（４０４）するよう適合され、
   前記チャネルスコア値は、前記スコア値である、請求項１に記載のデバイス。
3. 前記キャリブレーション画像は、単一チャネルを有する単一チャネル画像であり、または、前記デバイスは、前記キャリブレーション画像を、単一チャネルを有する単一チャネル画像に変換するよう適合される変換ユニットを備える、請求項２に記載のデバイス。
4. 前記キャリブレーション画像は、複数のチャネルを有し、
   前記計算ユニット（１０７）は、
   ブロック位置を画定するグリッドに従って、各選択されたキャリブレーション画像（２０１、２０２、２０３）の各チャネルを画素ブロック（１，１...１，６；２，１...２，６；Ｎ，１...Ｎ，６）に分割することと、
   各選択されたキャリブレーション画像（２０１、２０２、２０３）の各チャネルの画素ブロックごとに、前記画素ブロックの画素強度に依存する強度依存の値（Ｅｍ，ｂ，ｖ２）を計算（５０２）し、前記強度依存の値を前記画素ブロックに関連付けることと、
   チャネルごとおよびブロック位置ごとに、前記ブロック位置における各選択されたキャリブレーション画像（２０１、２０２、２０３）の前記チャネルの前記画素ブロック（１，１；２，１...Ｎ，１）を含むブロックスタック（２０４、２０５、２０６）を画定することと、
   ブロックスタック（２０４、２０５、２０６）ごとに、前記ブロックスタックを形成する前記画素ブロックに関連付けられた前記強度依存の値（Ｅ_ｍ，ｂ，ｖ^２）の最適値（Ｅｂｍａｘ）を識別（５０３）することと、
   チャネルごとに、前記チャネルのブロックスタック（２０４、２０５、２０６）ごとに識別された前記最適値に基づいて前記候補の低減済みセット（１０５）のチャネルスコア値を計算（５０４）することと、
   各チャネルのそれぞれの前記チャネルスコア値に応じて、前記スコア値を計算することとによって、
   候補の低減済みセット（１０５）ごとに、前記選択されたキャリブレーション画像（２０１、２０２、２０３）の前記チャネルの強度に応じて前記スコア値を計算（４０４）するよう適合される、請求項１に記載のデバイス。
5. 前記キャリブレーション画像はマルチチャネル画像であり、
   前記スコア値は、各チャネルのそれぞれの前記チャネルスコア値を組み合わせることによって、または各チャネルの前記チャネルスコア値のうち最適のチャネルスコアを選択することによって、計算される、請求項４に記載のデバイス。
6. 前記計算ユニット（１０７）は、
   前記画素ブロックの前記画素強度のヒストグラムを計算（５０１）することと、
   前記画素ブロックの前記画素強度の前記ヒストグラムに基づいて前記画素ブロックの、前記強度依存の値に対応するエントロピ値（Ｅｍ，ｂ）を計算（５０２）することとによって、
   前記画素ブロックにおける前記画素強度に依存する前記強度依存の値（Ｅ_ｍ，ｂ，ｖ^２）を計算（５０２）するよう適合される、請求項２から５のいずれか一項に記載のデバイス。
7. 前記画素ブロックの前記エントロピ値は、以下の数式
   

   

   に従って、計算され、
   ｐ_ｉはキャリブレーション画像ｍの画素ブロックｂにおける画素強度ｉの発生確率であり、ｂはブロックインデックスであり、ｍは画像インデックスである、請求項６に記載のデバイス。
8. 前記計算ユニット（１０７）は、
   前記画素ブロックの画素強度の分散値（ｖ^２）を計算することによって、
   前記画素ブロックの前記画素強度に依存する前記強度依存の値を計算（５０２）するよう適合される、請求項２から５のいずれか一項に記載のデバイス。
9. 前記画素ブロックの前記画素強度の前記分散値は、以下の数式
   

   

   に従って、計算され、
   ＸおよびＹは前記画素ブロックのサイズであり、ｉ（ｘ，ｙ）は前記画素ブロック内の画素位置（ｘ，ｙ）における画素強度であり、ａは前記画素ブロック内の平均画素強度値である、請求項８に記載のデバイス。
10. 前記計算ユニット（１０７）は、
    前記ブロックスタックを形成する前記画素ブロックに関連付けられた前記強度依存の値（Ｅｍ，ｂ，ｖ２）の最大値（Ｅｂｍａｘ）を識別することによって、
    前記ブロックスタックを形成する前記画素ブロックに関連付けられた前記強度依存の値（Ｅ_ｍ，ｂ，ｖ^２）の前記最適値（Ｅ_ｂ ^ｍａｘ）を識別（５０３）するよう適合され、
    前記計算ユニット（１０７）は、
    前記チャネルのブロックスタック（２０４、２０５、２０６）ごとにそれぞれ識別された前記最大値（Ｅ_ｂ ^ｍａｘ）、またはそれらから導出された値を加算する、または乗算することによって、
    前記チャネルのブロックスタック（２０４、２０５、２０６）ごとに識別された前記最適値に基づいて前記候補の低減済みセット（１０５）の前記チャネルスコア値を計算（５０４）するよう適合される、請求項２から９のいずれか一項に記載のデバイス。
11. 前記グリッドにより画定された前記ブロック位置は、隣接するか、または重なる、
    請求項２から１０のいずれか一項に記載のデバイス。
12. 前記複数の候補の低減済みセット（１０５）は、予め画定された、またはユーザにより画定される共通サイズを有する、
    請求項１から１１のいずれか一項に記載のデバイス。
13. 請求項１から１２のいずれか一項に記載のデバイス（１０２）と、ＨＤＲ画像処理ユニット（１１１）と、少なくとも１つのカメラ（１０１）とを備えるシステム（１００）であって、
    前記キャリブレーション制御ユニット（１０６）は、前記少なくとも１つのカメラ（１０１）による前記キャリブレーション画像の前記捕捉（４０１）を制御するよう適合され、
    前記ＨＤＲ制御ユニット（１０９）は、前記少なくとも１つのカメラ（１０１）による前記複数の画像の前記捕捉を制御するよう適合され、
    前記ＨＤＲ画像処理ユニット（１１１）は、前記複数の画像をマージして、前記ＨＤＲ画像を取得するよう適合される、
    システム。
14. ハイダイナミックレンジ、ＨＤＲ、画像を取得するために複数の画像の捕捉を制御するための方法（３００）であって、前記方法は、
    選択可能な露光時間の主要セット（１０４）と、前記主要セット（１０４）のそれぞれのサブセットである複数の候補の低減済みセット（１０５）とを記憶する段階（３０１）と、
    前記主要セット（１０４）の各露光時間においてそれぞれ、キャリブレーション画像の捕捉を制御する段階（３０２）と、
    候補の低減済みセット（１０５）ごとに、前記候補の低減済みセット（１０５）の前記露光時間において捕捉された前記キャリブレーション画像（２０１、２０２、２０３）を選択（３０３）し、前記選択されたキャリブレーション画像（２０１、２０２、２０３）の強度に応じてスコア値を計算（３０４）する段階と、
    全ての候補の低減済みセットの前記計算されたスコア値に基づいて前記複数の候補の低減済みセット（１０５）の中から候補の低減済みセット（１１０）を選択（３０５）する段階と、
    前記ＨＤＲ画像を取得するために、前記選択された候補の低減済みセット（１１０）の各露光時間においてそれぞれ、前記複数の画像の前記捕捉を制御（３０６）する段階と
    を備える
    方法。
15. コンピュータプログラムであって、
    前記コンピュータプログラムがコンピューティングデバイス上で動作したとき、請求項１４に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images