JP2017520186A - 背景ピクセルに基づく露出測定 - Google Patents

Abstract

開示する技術は、画像キャプチャ方法に関する。一態様では、方法は、複数のピクセルを含む画像フレームを受信するステップと、背景ピクセルを取得するために画像フレームから前景ピクセルを控除するステップとを含む。本方法はまた、背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定するステップを含む。本方法はさらに、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前景ピクセルを調整するステップを含む。態様は、本方法のために構成された装置も対象とする。

Description

開示する技術は、一般に画像キャプチャ方法に関し、より詳細には、安定的で均衡した輝度値を有する画像フレームの前景および背景を提供するための露出測定方法に関する。態様は、本方法のために構成された装置も対象とする。

いくつかのデジタル画像化装置、たとえば、デジタルカムコーダは、取られた画像の視覚的効果を高めるための自動露出測定プロセスを備えている。露出測定プロセスは、デジタル画像化装置の画像センサによって使用されるべき露出条件を継続的に決定および調整するように設計されている。露出条件は、パラメータの中でも、時間、ゲイン、および絞り(F値)を含む、パラメータによって決定される。従来の露出測定プロセスを使用する多くのデジタル画像は、画像前景(たとえば、画像対象)と画像背景(たとえば、画像から画像対象を控除したもの)との間の不均衡な相対輝度値を有し得る。すなわち、前景または背景のうちの一方が、実際の人間の視覚的経験と比較して非現実的に明るいか、または「色あせている」ように見えることがあるのに対し、前景または背景のうちの他方は、実際の人間の視覚的経験と比較して非現実的に暗く見えることがある。たとえば、人の顔のデジタル画像が、ビーチで昇る太陽または沈む太陽を背景にして取られたとき、前景(すなわち、人の顔の特徴)が過度に暗く見えるのに対し、背景は色あせていることがある。他方では、人の顔のデジタル画像が、夜会を背景にしてフラッシュを使用して取られたときなど、反対の状況では、背景が過度に暗く見えるのに対し、前景(すなわち、顔の特徴)は色あせていることがある。

画像フレームの前景と背景との間のそのような不均衡は、時には、デジタル画像化装置の露出条件を制御する露出測定プロセスに帰せられ得る。一般に、露出条件は、パラメータの中でも、絞り、シャッタスピードおよびISOスピードを含む、パラメータによって決定される。絞りは、光がデジタル画像化装置の画像センサに入る際に通るエリアを制御する。シャッタスピードは、画像センサの露出の持続時間を制御する。ISOスピードは、所与の光量に対する画像センサの感度を制御する。絞り、シャッタスピードおよびISOスピードの異なる組合せが、同様の露出を達成するために使用され得るが、異なる組合せに伴って、異なるトレードオフが存在し得る。これは、絞りが被写界深度に影響を与えることがあり、シャッタスピードがモーションブラーに影響を与えることがあり、ISOスピードが画像ノイズに影響を与えることがあるためである。いくつかのデジタル画像化装置は、絞り、シャッタスピードおよびISOスピードの一部または全部を自動選択する標準化された測定プロセスを備えている。

いくつかのデジタル画像化装置は、1つまたは複数の露出測定オプションを備えており、それらの多くは、異なる光領域に相対重みを割り当てることによって機能する。たとえば、部分的測定またはスポット測定では、比較的高い重みが画像の一部分、たとえば顔に割り当てられて、その部分(たとえば、顔)を、格段に明るいまたは暗い背景に対して、その部分を過度に暗くまたは過度に明るくすることなく画像化する。しかしながら、そのような測定プロセスは、所望の輝度レベルを有する安定的な前景(たとえば、顔)を、前景の少なくとも一部分から離れて測定する(meter off)ことによって可能にし得るが、測定プロセスは依然として、所望の輝度レベルを有する安定的な前景を可能にするまさにその露出条件によって、背景が過度に明るくまたは過度に暗くなるのを回避しないことがある。

一態様では、方法は、複数のピクセルを含む画像フレームを受信するステップと、背景ピクセルを取得するために画像フレームから前景ピクセルを控除するステップとを含む。本方法はまた、背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定するステップを含む。本方法はさらに、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前景ピクセルを調整するステップを含む。

別の態様では、デジタル画像化装置は、複数のピクセルを含む画像フレームを受信するように構成された画像センシングモジュールを含む。本装置はまた、背景ピクセルを取得するために画像フレームから前景ピクセルを控除するように構成された背景決定モジュールを含む。本装置はまた、背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定するように構成された露出条件決定モジュールを含む。本装置はさらに、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前景ピクセルを選択的に調整するように構成された前景ピクセル調整モジュールを含む。

別の態様では、コンピュータ可読媒体は、実行されたときにプロセッサに、複数のピクセルを含む画像フレームを受信することと、背景ピクセルを取得するために画像フレームから前景ピクセルを控除することと、背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定することと、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前景ピクセルを調整することとを含むステップを実行させる命令を含む。

また別の態様では、デジタル画像化装置は、複数のピクセルを含む画像フレームを受信するための手段を含む。本装置はまた、背景ピクセルを取得するために画像フレームから前景ピクセルを控除するための手段を含む。本装置はまた、背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定するための手段を含む。本装置はさらに、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前景ピクセルを調整するための手段を含む。

光を比較的均一に反射する対象を有する、画像化装置によってキャプチャされた概略的な画像フレームである。 光を比較的不均一に反射する対象を有する、画像化装置によってキャプチャされた概略的な画像フレームである。 図1Aおよび図2Bの画像フレームのルーマ分布を示す概略的なルーマヒストグラムである。 いくつかの実施形態による、画像フレームをキャプチャする方法を示すフローチャートである。 いくつかの実施形態による、露出条件を決定する方法を示すフローチャートである。 いくつかの実施形態による、前景ピクセルを選択的に調整する方法を示すフローチャートである。 いくつかの実施形態による、露出条件を決定する方法を示す概略的なルーマヒストグラムである。 いくつかの実施形態による、露出条件を決定する方法を示す概略的なルーマヒストグラムである。 いくつかの他の実施形態による、露出条件を決定する方法を示す概略的なルーマヒストグラムである。 いくつかの他の実施形態による、露出条件を決定する方法を示す概略的なルーマヒストグラムである。 いくつかの実施形態による、前景ピクセルを選択的に調整する方法を示す概略的なルーマヒストグラムである。 図5Aに示す実施形態による、前景ピクセルを選択的に調整する方法に対応するガンマ調整カーブを示すグラフである。 いくつかの他の実施形態による、前景ピクセルを選択的に調整する方法を示す概略的なルーマヒストグラムである。 図5Cに示す実施形態による、前景ピクセルを選択的に調整する方法に対応するガンマ調整カーブを示す線グラフである。 いくつかの実施形態による、露出測定プロセスを使用してキャプチャされた概略的な画像フレームである。 いくつかの実施形態による、露出測定プロセスを備えたデジタル画像化装置を示すブロック図である。

本発明の実施形態は、画像フレームにおける対象の均衡した安定的な前景および背景の照度をもたらすためのシステムおよび方法に関する。いくつかの実施形態では、より安定的な画像フレームの部分に基づいて露出条件を決定するために、露出測定プロセスが使用される。たとえば、1つの部分は、画像フレームの1つまたは複数の背景部分であり得る。そのような自動露出プロセスは、ルミナンスの急変を受けにくいより安定的な自動露出条件をもたらすことが判明している。これは、画像フレームの背景など、画像フレームのいくつかの選択された部分が、前景の部分と比較して比較的低い頻度で変化することに起因する。さらに、開示する露出測定システムおよびプロセスは、画像の前景部分を選択的に調整することによって、前景と背景との間の均衡した相対輝度をもたらすことができる。

図1Aは、従来の露出測定プロセスによって決定された第1の露出条件の下で画像化装置によってキャプチャされた第1の画像フレーム10を示している。第1の画像フレーム10は、机12および椅子14が、たとえば天井の蛍光灯から入射光を受け取って反射するオフィスにおけるような、通常の照明環境の下で置かれた机12および椅子14を含む複数の対象を示している。図示のように、机12および椅子14の照度は、画像フレーム内で、ほぼ同等で均衡している。

図1Bは、従来の露出測定プロセスによって決定された第2の露出条件の下で画像装置によってキャプチャされた第2の画像フレーム20を示している。机22および椅子24に加えて、第2の画像フレーム20は、フレームの中に新たにキャプチャされた前景の中の手26を示している。手26は画像キャプチャデバイスに近いので、手26は、机22および椅子24と比較してかなり高い光量を反射することができ、したがって、画像フレーム20の中で格段に明るく見える。比較的明るい手26ならびに比較的暗い机22および椅子24に対応するために、従来の露出測定プロセスは、図1Bの第2の露出条件を、図1Aに示す第1の露出条件とは異なるものになるように調整することができる。調整の結果として、机22および椅子24が過度に暗くされる一方、手26は過度に明るくされ得る。この影響は、図1Cのヒストグラムに関してさらに理解され得る。

図1Cは、それぞれ第1の露出条件および第2の露出条件を使用して画像化装置によってキャプチャされた図1Aおよび図1Bの第1の画像フレーム10および第2の画像フレーム20における対象に対応するピクセルの概略的なルーマヒストグラム40を示している。x軸は、画像化装置によってキャプチャされたピクセルのルーマ値を表し、y軸は、対応するルーマ値を有するピクセルの数を表す。図1Cでは、また本明細書を通じて、特定の画像化装置に依存し得る利用可能なルーマ値の範囲は、ピクセル内の最低ルーマ値に対応するMIN LUMA値からピクセル内の最高ルーマ値に対応するMAX LUMA値の間の範囲として、x軸上に表され得る。たとえば、8ビットのビット深度を有する画像化装置によってキャプチャされた画像フレームの場合、MIN LUMA値は0に対応し得、MAX LUMA値は255に対応し得る。当然ながら、MAX LUMAは、特定の画像化装置のグレーレベルの利用可能性に応じて、より高い、またはより低いことがあり、たとえば、4ビット、16ビット、24ビットなどのビット深度に対応する16、65536、16777216などであり得る。

MAX LUMAを上回るルーマ値を有する露出過度のピクセルが、MAX LUMAのルーマ値を有するピクセルからさらに区別されないことがあり、したがって、対応するピクセルのルーマ値が画像フレームから失われ、回復されないことがあることが諒解されよう。そのようなピクセルは、たとえば、白一色であるものとして表示され得る。同様に、MIN LUMAを下回るルーマ値を有する露出不足のピクセルが、MIN LUMAのルーマ値を有するピクセルからさらに区別されないことがあり、対応するピクセルのルーマ値が失われることがあり、したがって、ピクセルは、たとえば、黒一色であるものとして表示され得る。

図1Cは、第1の露出条件の下で取得された、図1Aにおける第1の画像フレーム10の机12および椅子14に対応するピクセルの第1の分布42aを示している。図1Cはさらに、第1の画像フレーム10を取得するために使用された第1の露出条件の下で取得されていたことになる(図1Aに表示されていない)手に対応するピクセルの第2の分布44aを示している。図1Cはさらに、第2の画像フレーム20を取得するために使用された第2の露出条件の下で取得された机22および椅子24に対応するピクセルの第3の分布42b、ならびに第2の画像フレーム20を取得するために使用された第2の露出条件の下で取得された手26に対応するピクセルの第4の分布44b(図1B)を示している。従来の露出測定プロセスの下では、第1の分布42aおよび第3の分布42bは背景として分類され得、第2の分布44aおよび第4の分布44bは前景として分類され得る。図1Cの図示の例では、また本明細書を通じて、説明のためだけに、ヒストグラムは、特定の形状を有するものとして示され得る。しかしながら、ヒストグラムは、ピクセルのルーマ値に基づいて任意の形状を有し得ることが理解されよう。

図示のように、手に関して取得されることになるピクセルに対応する第2の分布44a内のピクセルのルーマ値は、図1Aにおける机12および椅子14に関して取得されたピクセルに対応する第1の分布42a内のピクセルのルーマ値よりもかなり高い。すなわち、第1の画像フレーム10を取得するために使用された第1の露出条件が、手を含む画像フレームを取得するために使用された場合、ピクセルの第2の分布44a内のピクセルのかなりの部分が、MAX LUMAを上回るルーマ値を有することになる。上記で説明したように、これが発生したとき、ルーマ値がMAX LUMAを上回るピクセルは「クリップ」され得、MAX LUMAしきい値を上回るルーマ値がMAX LUMA値に設定される。したがって、そのような損失を最小化するために、従来の測定プロセスは、第1の露出条件から第2の露出条件に露出条件を調整することができる。たとえば、プロセスは、キャプチャデバイスのシャッタスピードを上げることができる。結果として、第2の分布44aのピクセルは、矢印48によって示されるように、第4の分布44b内のより低いルーマ値を有するようにシフトされ、それにより、手に対応するより多くのピクセルの適正なルーマ値が、利用可能なルーマ範囲内に含まれ得る。しかしながら、露出条件のそのような調整の結果、第1の分布42aのピクセルに関するルーマ値も、矢印46によって示されるように、第3の分布42b内のより低いルーマ値にシフトされ、図1Bに示すように、机22および椅子24が望ましくない形で暗くなり得る。いくつかの状況下では、MIN LUMAを下回るルーマ値を有する第3の分布42b内のピクセルの部分は、それらのピクセルのより低いルーマ値がMIN LUMA値に設定されるようにクリップされ得る。

図2Aは、いくつかの実施形態による露出測定プロセスを使用して、画像フレームをキャプチャする方法50を示すフローチャートである。方法50は、状態60において、複数のピクセルを含む画像フレームを受信するステップによって始まる。複数のピクセルは、背景ピクセル領域および前景ピクセル領域を含むことができる。状態60において複数のピクセルを受信すると、方法50は進み、ピクセルのサブセットを前景ピクセルとして分類する。方法50は、ピクセルのサブセットを前景ピクセルに分類した後、状態70において、背景ピクセルを取得するために画像フレームから前景ピクセルを控除するステップを含む。方法50は、状態70において背景ピクセルを取得するために控除した後、状態80において、背景ピクセルの少なくともサブセットを使用して、次の画像フレームのための露出条件を決定するステップを含む。背景ピクセルの少なくともサブセットは、画像フレーム内の他のピクセルと比較して比較的低い頻度で変化し、それにより露出条件はより安定的となり、画像フレームの前景または背景を過度に暗くまたは過度に明るくする過度の調整を受けにくくなる。方法50はさらに、状態100において、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように前景ピクセルを調整するステップを含み、それにより次の画像フレームは、状態80において使用する露出条件を決定した結果として、より安定的な露出条件を有することに加えて、背景に対してより均衡した輝度を有するように調整された前景を有する。

図2Bは、いくつかの実施形態による露出条件を決定する方法80を示すフローチャートである。特に、方法80は、図2Aの状態80に対応することができ、背景ピクセルの少なくともサブセットを使用して次の画像フレームのための露出条件を決定するプロセスをより詳細に示している。露出条件を決定する方法80は、状態70(図2A)において、背景ピクセルを取得するために、受信された画像フレームから前景ピクセルを控除した後、状態82において、背景ルーマ値および前景ルーマ値を計算するステップを含む。背景ルーマ値および前景ルーマ値を計算するステップは、たとえば、適切なルーマ値の中でも、前景ピクセルまたは背景ピクセルのルーマ値の平均、中央値、モード、最小値または最大値を計算するステップを含むことができる。前景ピクセルの実質的にすべておよび背景ピクセルの実質的にすべてが使用されるとき、そのような計算の精度はより高くなり得るが、場合によっては、計算のスピードを上げるためにいくつかの実装形態では、前景ピクセルおよび背景ピクセルのサブサンプルを使用することが望ましいことがあることが諒解されよう。状態82において背景ルーマ値および前景ルーマ値を計算した後、方法80は進み、状態84において、背景ルーマ値と前景ルーマ値との間の差を判断する。いくつかの実施形態では、決定状態88において、差が所定の範囲内にあると判断すると、本方法は状態92に進み、背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定する。そのようなことは、たとえば、次の画像のための露出条件が、前景を露出過度または露出不足にすることなく実質的に背景ピクセルにのみ基づいて決定され得るほど、背景ルーマ値と前景ルーマ値との間の差が比較的小さい場合にあり得る。いくつかの他の実施形態では、決定状態88において、背景ルーマ値と前景ルーマ値との間の差が所定の範囲外にあると判断すると、本方法は状態96に進み、背景ピクセルの少なくともサブセットに基づき、さらに前景ピクセルのサブセットに基づいて、次の画像フレームのための露出条件を決定する。そのようなことは、たとえば、次の画像のための露出条件が、前景の露出過度または露出不足が最小化され得るように背景ピクセルと前景ピクセルとの組合せに基づいて決定されるほど、背景ルーマ値と前景ルーマ値との間の差が比較的大きい場合にあり得る。

図2Cは、いくつかの実施形態による前景ピクセルを選択的に調整する方法100を示すフローチャートである。方法100は、図2Aの状態100に対応することができ、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように前景ピクセルを調整するプロセスをより詳細に示している。前景ピクセルを調整する方法100は、決定状態104において、状態84(図2B)において判断された背景ルーマ値と前景ルーマ値との間の差が所定の値よりも大きいかどうかを判断するステップを含む。決定状態104において、計算された差が所定の範囲内にあると判断された場合、状態108において、画像フレームのガンマカーブの前景領域は調整されない。他方では、決定状態104において、計算された差が所定の範囲よりも大きいと判断された場合、本方法は進み、状態112において、前景ルーマ値および背景ルーマ値の大きさを比較する。決定状態116において、前景ルーマ値が背景ルーマ値よりも大きい(すなわち、前景の方が明るい)と判断された場合、本方法は状態120に進み、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるよう縮小されるように、ガンマカーブの前景領域の少なくとも一部分を下方に調整する。他方では、決定状態116において、前景ルーマ値が背景ルーマ値よりも小さいと判断された場合、本方法は状態124に進み、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるよう拡大されるように、前景ルーマ値が上方に調整されるように、ガンマカーブの前景領域の少なくとも一部分を選択的に調整する。

図2A〜図2Cに示すようないくつかの実施形態による露出測定プロセスを使用して、画像フレームをキャプチャする方法50の実施形態については、図3A、図3B、図4A、図4Bおよび図5A〜図5Dに関して以下でより詳細に説明する。以下では、説明のためにのみ、ヒストグラムまたはガンマカーブなどのデータを含むグラフが、概略的な形状を有するものとして示され得る。しかしながら、グラフは、画像の性質に応じて任意の形状を有し得ることが理解されよう。

図3Aおよび図3Bは、いくつかの実施形態による、画像フレームの背景を使用して露出条件を決定することに関連する概略的なルーマヒストグラムを示している。特に、実施形態は、前景および背景のルーマ値間の最初の差が比較的小さい場合の、図2Aおよび図2Bに関して上記で説明した方法と同様の方法に従って画像フレームを受信し、背景ピクセルを取得し、露出条件を決定することを示している。図3Aおよび図3Bでは、x軸は、MIN LUMAからMAX LUMAの間の範囲を有する、画像化装置によってキャプチャされたピクセルのルーマ値を表し、y軸は、対応するルーマ値を有するピクセルの数を表す。

図3Aは、背景ピクセル領域204および前景ピクセル領域208を含む画像フレームのルーマヒストグラム200を示している。ルーマヒストグラム200のピクセルは、背景控除モデルを使用して背景ピクセルおよび前景ピクセルに分類され得る。いくつかの実施形態による背景控除モデルは、数学的プロセスを使用して前景ピクセルを検出することと、背景ピクセルを取得するために画像フレームから前景ピクセルを控除することとによって、ピクセルを背景ピクセルまたは前景ピクセルとして分類することを含む。いくつかの実施形態では、前景検出は、対象の動きの検出に基づき得る。これらの実施形態では、2つの連続する画像フレームを比較して、いくつかの対象のロケーションの変化を数学的モデルに基づいて判断し、前景ピクセルである、画像フレーム内で所定の距離よりも大きく移動した対象を分類することができる。数学的モデルは、たとえば、ヒストグラムの中央値または平均値を使用することができる。いくつかの他のモデルは、たとえば、ガウスまたはガウス混合またはカーネル密度推定を使用することができる。またいくつかの他のモデルは、たとえば、フィルタ処理技法を使用することができる。数学的モデルは、たとえば、スペクトル特徴(たとえば、色特徴)、空間特徴(たとえば、エッジ特徴、テクスチャ特徴またはステレオ特徴)、および時間特徴(たとえば、動き特徴)を含む、背景をモデリングするための、また前景を検出するためのいくつかの特徴を使用することができる。

前景検出が動きの検出に基づく実施形態では、画像フレームから前景ピクセルを控除することは、画像フレームの前景対象を識別することと、前景対象の移動経路を予測することと、移動経路にわたる(sweep through)前景対象に対応するピクセルを控除することとを含む。移動経路を予測することは、たとえば、1つまたは複数の先行画像フレームの外挿に基づいて、方向およびスピードを含む速度を判断することを含み得る。

図3Bは、いくつかの態様による、ピクセルを前景ピクセル228に分類し、背景ピクセル224を取得するために画像フレーム20から前景ピクセル228を控除した後の画像フレームのルーマヒストグラム220を示している。

図3Bに示すように背景ピクセル224および前景ピクセル228が取得されると、背景ルーマ値および前景ルーマ値が判断される。背景ルーマ値および前景ルーマ値は、適切なルーマ値の中でも、それぞれの前景ピクセル228または背景ピクセル224のルーマ値の平均、中央値、モード、最小値、最大値またはピークを含むことができる。図3Aおよび図3Bでは、説明のために、それぞれの前景ルーマ値および背景ルーマ値は、それぞれ、それぞれの前景ピクセル228および背景ピクセル224のピークルーマ値230およびピークルーマ値226に対応する。

背景ルーマ値226および前景ルーマ値230を判断した後、背景ルーマ値226と前景ルーマ値230との間の差232が判断され得る。次いで差232は、所定の範囲に対して比較され得る。単に例として、所定の範囲は、たとえば、利用可能なルーマ値の範囲(すなわち、MAX LUMA-MIN LUMA)のパーセンテージに対応し得る。利用可能なルーマ値の範囲のパーセンテージは、前景または背景の飽和を防ぐように選ばれ得、選ばれるパーセンテージは、使用されているセンサの感度などの因子に依存し得ることが諒解されよう。たとえば、比較的高い感度のセンサ(12ビット以上)の場合、所定の範囲は、利用可能なルーマ範囲の約60%、利用可能なルーマ範囲の約70%、または利用可能なルーマ範囲の約80%に対応し得る。たとえば、比較的低い感度のセンサ(8ビットまたは10ビット)の場合、所定の範囲は、利用可能なルーマ範囲の約40%、利用可能なルーマ範囲の約50%、または利用可能なルーマ範囲の約60%に対応し得るが、他のパーセンテージも考えられる。

図3Bの図示の実施形態では、差232は、所定の範囲よりも小さくなり得る。これらの実施形態では、次の画像フレームのための露出条件は、背景ピクセル224の少なくともサブセットに基づいて決定される。いくつかの実施形態では、次の画像フレームのための露出条件は、前景ピクセルをまったく含まない背景ピクセル224の少なくともサブセットに基づいて決定される。

背景ピクセルの少なくともサブセットは、種々の技法に基づいて選択され得る。いくつかの実施形態では、背景ピクセルのサブセットは、画像フレーム内のロケーションに基づいて選択され得る。たとえば、背景ピクセルは、中心の近くに位置するピクセルの部分、または周辺の近くに位置するピクセルの部分に基づいて選択され得る。いくつかの他の実施形態では、サブセットは、背景内の特定の対象(たとえば、図1Aおよび図1Bの机または椅子)に基づいて選択され得る。いくつかの他の実施形態では、サブセットは、相対ルーマ値に基づいて選択され得る。このコンテキストでは、相対ルーマ値は、背景ピクセルのルーマ値に基づく背景ピクセルの上位パーセンテージまたは下位パーセンテージを含むことができる。いくつかの他の実施形態では、選択されたサブセットは、ランダムに選択された背景ピクセルのパーセンテージであり得る。またいくつかの他の実施形態では、次の画像フレームのための露出条件は、背景ピクセル224によって占有された背景画像エリアのパーセンテージに基づいて決定される。たとえば、背景ピクセルの選択されたサブセットは、たとえば、背景ピクセル224によって占有された背景画像エリアの90%、95%、98%、99%またはそれ以上から選択されたピクセルのサブセットを含むことができる。背景画像エリアおよび/または背景画像エリア内のピクセルのパーセンテージは、計算の望ましいスピードおよび精度に基づいて選択され得ることが諒解されよう。

図4Aおよび図4Bは、いくつかの実施形態による、画像フレームの背景を使用して露出条件を決定することに関連する概略的なルーマヒストグラムを示している。特に、実施形態は、前景および背景のルーマ値間の差が比較的大きい場合の、図2Aおよび図2Bに関して上記で説明した方法と同様の方法に従って画像フレームを受信し、背景ピクセルを取得し、露出条件を決定することを示している。

図4Aは、別の実施形態による、ピクセルを前景ピクセル248および背景ピクセル244に分類した後の画像フレームのルーマヒストグラム240を示している。背景ピクセル244および前景ピクセル248は、図3Aおよび図3Bに関して上記で説明した方法と同様の方法を使用して分類される。加えて、背景ルーマ値246、前景ルーマ値250、および背景ルーマ値246と前景ルーマ値250との間の最初の差252が、図3Bに関して上記で説明した方法と同様の方法を使用して判断される。図3Bと同様に、説明のために、それぞれの前景ルーマ値および背景ルーマ値は、それぞれ、それぞれの前景ピクセル248および背景ピクセル244のピークルーマ値250およびピークルーマ値256に対応する。

図3Bの実施形態とは対照的に、図4Aの図示の実施形態では、最初の差252は、図3Bに関して上記で説明した所定の範囲よりも大きくなり得、所定の範囲は、たとえば、利用可能なルーマ値の範囲(すなわち、MAX LUMA-MIN LUMA)のパーセンテージに対応し得る。これらの実施形態では、次の画像フレームのための露出条件は、図3Bに関して説明したように、背景ピクセル244のサブセットに基づいて決定される。背景ピクセルのサブセットは、図3Bに関して説明した方法と同様の方法を使用して選択されたピクセルを含むことができる。加えて、次の画像フレームのための露出条件は、前景ピクセル248のサブセットに基づいて決定される。

背景ピクセルのサブセットと同様に、前景ピクセルのサブセットも、同様の技法に基づいて、たとえば、いくつかの実施形態では、画像フレーム内のロケーションに基づいて選択され得る。したがって、画像の中心の近くに位置するピクセルの部分、または周辺の近くに位置するピクセルの部分が選択され得る。いくつかの他の実施形態では、前景ピクセルのサブセットは、前景内の特定の対象に基づいて選択され得る。一例として、サブセットは、図1Bに示すような手であり得る。いくつかの他の実施形態では、前景ピクセルのサブセットは、前景ピクセルの相対ルーマ値に基づいて選択され得る。したがって、前景ピクセルの上位パーセンテージまたは下位パーセンテージを有するピクセルが、前景ピクセルのルーマ値に基づいて選択され得る。いくつかの他の実施形態では、前景ピクセルのサブセットは、ランダムに選択された前景ピクセルのパーセンテージであり得る。

次の画像フレームのための露出条件を決定する際にいくつかの前景ピクセルを含めた結果が、図4Bのルーマヒストグラム260に示されている。ルーマヒストグラム260では、背景ルーマ値266と前景ルーマ値270との間の結果としての差274が、図4Aの最初の差252よりも小さい。たとえば、前景ピクセル248からのより高いルーマ値を有するピクセルのサブセットが、図4Aの背景ピクセル244に追加され、それにより、調整された背景ピクセル264が、図4Aの背景ピクセル244のルーマ値246と比較して高いルーマ値266を有するときに、より小さい結果としての差274が取得され得る。

図3Aおよび図3Bならびに図4Aおよび図4Bでは、画像フレームの前景が画像フレームの背景よりも明るい実施形態について記述した。しかしながら、類似する原理が、画像フレームの前景が画像フレームの背景よりも暗い実施形態に適用され得ることが理解されよう。そのような実施形態では、次の画像フレームのための露出条件は、前景ピクセルと比較して高いルーマ値を有する背景ピクセルの少なくともサブセットに基づいて決定される。

図5A〜図5Dは、図2Aおよび図2Cに関して上記で説明した方法と同様の、いくつかの実施形態による前景ピクセルを選択的に調整する方法を示す概略的なルーマヒストグラムおよびガンマカーブである。

図5Aは、いくつかの実施形態による、前景が背景よりも明るい場合の画像フレームに適用された露出測定プロセスを使用して、画像化装置によってキャプチャされた画像フレームの概略的なルーマヒストグラム300を示している。図5Aでは、x軸は、MIN LUMAからMAX LUMAの間の範囲を有する、画像化装置によってキャプチャされたピクセルのルーマ値を表し、y軸は、対応するルーマ値を有するピクセルの数を表す。

図5Aを参照すると、ルーマヒストグラム300は、いくつかの実施形態による、第1の背景ピクセル304aおよび第1の前景ピクセル308aを含む第1の画像フレームと、第2の背景ピクセル304bおよび第2の前景ピクセル308bを含む第2の画像フレームとを示している。前景ピクセルおよび背景ピクセルは、図3Aおよび図3Bに関して上記で説明した背景控除プロセスを適用することによって、区別されていない画像フレームから取得され得る。第1の画像フレームは、第1の露出条件の下で画像センサから受信された初期画像フレームを表すことができ、第2の画像フレームは、前景対象の変化に応答して第1の露出条件が第2の露出条件に変更された後、画像センサから受信された後続画像フレームを表すことができる。図3Aおよび図3Bに関して上記で説明したように、第1の前景ピクセル308aおよび第1の背景ピクセル304aが取得されると、第1の前景ピクセル308aの第1の前景ルーマ値310aと第1の背景ピクセル304aの第1の背景ルーマ値306aとの間の第1の差312aが、上記で説明した方法と同様の方法で判断される。

その後、図2Cに関して上記で説明したように、第1の前景ルーマ値310aが第1の背景ルーマ値306aよりも大きいと判断すると、上位ルーマ領域316内の第1の前景ピクセル308aのルーマ値が下方に調整される。結果的な第2の前景ピクセル308bは、低減した第2の前景ルーマ値310bを有し、それにより、第2の前景ルーマ値310bと第2の背景ピクセル304bの第2の背景ルーマ値306bとの間の結果的な第2の差312bが取得され、その値は、第1の差312aよりも小さい。結果として、前景を露出過度にすることのリスクが低減する。

前景ピクセルが調整される上位ルーマ領域316は、種々の技法に基づいて、たとえば、いくつかの実施形態では、画像フレーム内のロケーション(たとえば、中心の近くに位置するピクセルの部分または周辺の近くに位置するピクセルの部分)に基づいて選択され得る。いくつかの他の実施形態では、上位ルーマ領域316は、前景内の特定の対象(たとえば、図1Bの手)に基づいて選択され得る。いくつかの他の実施形態では、上位ルーマ領域316は、相対ルーマ値、たとえば前景ピクセルのルーマ値に基づく前景ピクセルの上位パーセンテージに基づいて選択され得る。いくつかの他の実施形態では、上位ルーマ領域316は、ランダムに選択された前景ピクセルのパーセンテージとなるように選択され得る。

図3Aおよび図3Bに関して上記で説明したように、背景ルーマ値306a/306bおよび前景ルーマ値310a/310bは、適切なルーマ値の中でも、それぞれの背景ピクセル304a/304bおよび前景ピクセル308a/308bのルーマ値の平均、中央値、モード、最小値、最大値またはピークを含むことができる。図5Aでは、説明のために、それぞれの前景ルーマ値および背景ルーマ値は、ピークルーマ値に対応する。

図5Bは、いくつかの実施形態による前景ピクセルを選択的に調整する方法に対応するデフォルトガンマ調整カーブ324および調整済みガンマカーブ328を示すグラフ320である。グラフ320では、x軸は、第1の画像フレームに対応する入力ルーマ値を表し、y軸は、第2の画像フレームに対応する出力ルーマ値を表す。デフォルトガンマカーブ324は直線ではないことがある。代わりに、デフォルトガンマカーブ324は、コントラスト向上のために画像フレームの中間階調領域が調整されるように画像フレーム全体を調整するために最適化され得る全体的な湾曲を有し得る。デフォルトガンマカーブ324は、特定の前景領域を選択的に調整しないことがある。

調整済みガンマカーブ328は、図5Aの前景ピクセルを調整するために使用される露出測定プロセスと同様の露出測定プロセスを使用して行われ得る前景ピクセルの調整を示している。調整済みガンマカーブ328は、ピクセルの上位ルーマ領域332aに対応する上位ガンマカーブ領域328a(小さい方の点線入り長方形と大きい方の点線入り長方形との間の領域)を含む。調整済みガンマカーブ328はさらに、ピクセルの下位ルーマ領域332bに対応する下位ガンマカーブ領域328b(小さい方の点線入り長方形の中の領域)を含む。図示のように、上位ルーマ領域332a内のピクセルは、上位ガンマカーブ領域328aによって実質的に下方に調整される一方、下位ルーマ領域332b内のピクセルは、下位ガンマカーブ領域328bによって実質的に影響を受けない。調整済みガンマカーブ328に従って行われた調整の結果として、第1の前景ピクセル308a(図5A)は、低減したルーマ値を有する第2の前景ピクセル308b(図5A)となるように選択的にシフトされる。

図5Cは、いくつかの実施形態による、前景が背景よりも暗い場合の画像フレームに適用された測定プロセスを使用して、画像化装置によってキャプチャされた画像フレームの概略的なルーマヒストグラム340を示している。図5Cでは、軸および軸標示は、図5Aに関して上記で説明したものと同様である。

図5Cを参照すると、ルーマヒストグラム340は、いくつかの実施形態による、第1の背景ピクセル344aおよび第1の前景ピクセル348aを含む第1の画像フレームと、第2の背景ピクセル344bおよび第2の前景ピクセル348bを含む第2の画像フレームとを示している。図5Aに関して上記で説明したルーマヒストグラム300と同様に、第1の画像フレームは、第1の露出条件の下で画像化装置から受信された初期画像フレームを表すことができ、第2の画像フレームは、前景対象の変化に応答して露出条件が第2の露出条件に変更された後、画像化装置から受信された後続画像フレームを表すことができる。図5Aと同様に、前景ピクセルおよび背景ピクセルは、図3Aおよび図3Bに関して上記で説明した背景控除プロセスを適用することによって、区別されていない画像フレームから取得され得る。

同じく図5Aと同様に、第1の前景ピクセル348aおよび第1の背景ピクセル344aが取得されると、第1の前景ピクセル348aの第1の前景ルーマ値350aと第1の背景ピクセル344aの第1の背景ルーマ値346aとの間の第1の差352aが判断される。しかしながら、図5Aとは異なり、第1の前景ピクセル348aは第1の背景ピクセル344aと比較して低いルーマ値を有する(すなわち、前景の方が暗い)ので、第1の差352aは負値である。その後、図2Cに関して上記で説明したように、第1の前景ピクセル348aの第1のルーマ値350aが第1の背景ピクセル344aの第1のルーマ値346aよりも低いと判断すると、下位ルーマ領域356内の第1の前景ピクセル348aのルーマ値が選択的に上方に調整される。結果的な第2の前景ピクセル348bは、増大した第2の前景ルーマ値350bを有し、それにより、第2の前景ルーマ値350bと第2の背景ピクセル344bの第2の背景ルーマ値346bとの間の結果的な第2の差352bが取得され、その値は、第1の差352aよりも小さい。結果として、前景を露出不足にすることのリスクが低減する。

図5Dは、いくつかの実施形態による前景ピクセルを選択的に調整する方法に対応するデフォルトガンマ調整カーブ364および調整済みガンマカーブ368を示すグラフ360である。グラフ360では、x軸は、第1の画像フレームに対応する入力ルーマ値を表し、y軸は、第2の画像フレームに対応する出力ルーマ値を表す。図5Bと同様に、デフォルトガンマカーブ364は直線ではないことがあることが諒解されよう。

調整済みガンマカーブ368は、図5Cの前景ピクセルを調整するために使用される露出測定プロセスと同様の露出測定プロセスを使用して行われ得る前景ピクセルの調整を示している。調整済みガンマカーブ368は、ピクセルの下位ルーマ領域372aに対応する下位ガンマカーブ領域368a(小さい方の点線入り長方形の中の領域)を含む。調整済みガンマカーブ368はさらに、ピクセルの上位ルーマ領域372bに対応する上位ガンマカーブ領域368b(小さい方の点線入り長方形と大きい方の点線入り長方形との間の領域)を含む。図示のように、下位ルーマ領域372a内のピクセルは、下位ガンマカーブ領域368aによって実質的に上方に調整される一方、上位ルーマ領域372b内のピクセルは、上位ガンマカーブ領域368bによって実質的に影響を受けない。調整済みガンマカーブ368に従って行われた調整の結果として、第1の前景ピクセル348a(図5C)は、増大したルーマ値を有する第2の前景ピクセル348b(図5C)となるように選択的にシフトされる。

図6は、いくつかの実施形態による露出測定プロセスを使用してキャプチャされた概略的な画像フレームである。露出測定プロセスは、上記で説明したように様々な実施形態に従って、画像フレームの背景ピクセルの少なくとも一部分に基づいて露出条件を計算する。上記で説明した図1Bと同様に、図6は、複数の対象を示す画像フレーム390を示している。フレームの中に示される例示的な対象は、通常のオフィス照明環境の下での机392、椅子394および手396を含む。図1Bと同様に、図6は、図1Bと同様の第1の画像フレームに第2の露出条件を適用した後に取得される第2の画像フレームを表しており、第2の露出条件は、本明細書で開示する実施形態による露出測定プロセスの適用によって決定される。しかしながら、図1Bとは異なり、第2の露出条件は、手396を過度に明るくしておらず、椅子392および机394を過度に暗くしていない。代わりに、画像フレーム内の他のピクセルと比較して比較的低い頻度で変化する背景ピクセルの少なくともサブセットを使用して露出条件を決定することによって、露出条件は安定化しており、(椅子392および机394に対応する)背景ピクセルのルーマ分布は、図2A、図2Bおよび図5C〜図5Dに関して上記で説明したように、図1Bと比較して比較的小さく変化している。加えて、(手396に対応する)前景ピクセルは、図2A、図2Cおよび図5A〜図5Bに関して上記で説明したように、ルーマ値が調整されているので過度に明るくされていない。したがって、画像フレーム390は、互いに均衡した輝度値を有する前景(手396)ならびに背景(机394および椅子392)を有する。

図7は、いくつかの実施形態による、露出測定プロセスがプログラムされたデジタル画像化装置400を示す機能ブロック図を示している。画像化装置400は、画像センシングモジュール430、露出測定モジュール410、および画像表示モジュール470を含む。そして、露出測定モジュール410は、ピクセル分類モジュール414、背景決定モジュール418、露出条件決定モジュール422、および前景ピクセル調整モジュール426を含む。露出測定モジュール410内のモジュールの各々は、メモリモジュール440、マイクロプロセッサモジュール450、および記憶モジュール460に通信可能に接続される。メモリモジュール440、マイクロプロセッサモジュール450、および記憶モジュール460は、たとえばバスを介して、互いに露出測定モジュール410に通信可能に接続される。

画像センシングモジュール430は、対象から反射された光子を吸収し、表示または記憶される前に、処理するために電気信号に光子を変換するように構成される。画像センシングモジュール430は、複数のピクセルを含む画像センサを含む。画像センサの各ピクセルは、光の入射光子を吸収するように構成された複数の感光性エリア、たとえば、フォトダイオードを含む。いくつかの実施形態では、入射光子が、光子収集の量子効率を高めるために、各ピクセル上でマイクロレンズによって方向付けられ得る。吸収された光子は電子に変換され、その数は入射光子のエネルギーに左右され得る。そして、電子は電圧信号に変換される。

いくつかの実施形態では、画像センシングモジュール430は、電荷結合素子(CCD)画像センサを含む。CCD画像センサは、カラーフィルタアレイおよびピクセルアレイを含む。CCD画像センサの各ピクセルは、赤、緑および青のフィルタのパターンを含むカラーフィルタを含む。異なるカラーフィルタを通過したフィルタ処理済み光子は、ピクセルアレイ内のフォトダイオードによって吸収される。フォトダイオードは、吸収された光子を電荷に変換し、電荷は、電荷結合と呼ばれるプロセスにおいて、ピクセルに異なる電圧を印加することによって単一のロケーションに移動される。ピクセルの中の電荷は、異なる電圧を印加することによって移動されるので、CCD画像センサは、外部電圧生成器によってサポートされる。

いくつかの実施形態では、画像センシングモジュール430は、相補型金属酸化物半導体(CMOS)画像センサを含む。CCD画像センサと同様に、CMOS画像センサは、感光ダイオードのアレイを含み、各ピクセル内に1つのダイオードがある。しかしながら、CCDとは異なり、CMOSイメージャにおける各ピクセルは、それ自体の個々の集積増幅器を有する。加えて、CMOSイメージャにおける各ピクセルは、電荷の移動を通じてではなく、x-y座標系において直接読み取られ得る。したがって、CMOS画像センサピクセルは、光子を直接検出し、光子を電圧に変換し、電圧が出力される。

いくつかの実装形態では、画像センシングモジュール430は、入射光子から生じた出力された電圧をデジタル情報に変換するための追加の回路を含む。加えて、画像センシングモジュール430は、背景誘導測定ユニット410から受信された様々なコマンドおよび露出パラメータに応答して、画像センサを制御するように構成された画像センサコントローラをさらに含むことができる。

露出測定ユニット410は、いくつかの実施形態に従って、画像センシングモジュール430によって吸収され、電気信号に変換された光子から生じたデジタル情報を受信するように構成される。電気信号は、背景ピクセル領域および前景ピクセル領域を含む複数のピクセルに対応する。背景誘導測定ユニット410のピクセル分類モジュール414は、複数のピクセルに対応する電気信号を受信すると、ピクセルのサブセットを前景ピクセルに分類するように構成される。背景決定モジュール418は、背景ピクセルを取得するために画像フレームから前景ピクセルを控除するように構成される。露出条件決定モジュール422は、背景ピクセルの少なくともサブセットを使用して、次の画像フレームのための露出条件を決定するように構成される。前景ピクセル調整モジュール426は、次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前景ピクセルを調整するように構成される。したがって、露出測定ユニット410は、画像の背景に基づいて、連続フレームのためのより安定的な露出条件を提供するように構成され、対応する背景に対して輝度がより均衡した前景を有する画像フレームを提供するようにさらに構成される。

画像表示モジュール470は、デジタル画像化装置400の画像化モードの下で「リアルタイムで」画像フレームを表示するように構成され得る。画像フレームは、たとえば、各フレームが画像センシングモジュール430によって生成される前および生成された後に表示され得、それらのいくつかは背景誘導測定モジュールによって、たとえば、上述したように、前景ピクセル調整モジュール426を通じて変更され得る。表示モジュール470は、デジタル画像化装置400の画像化モードにない間に「オフラインで」画像フレームを表示するようにさらに構成され得、その場合には、記憶された画像がメモリモジュール440または記憶モジュール460から取り出され得る。

画像表示モジュール470は、ディスプレイデバイスおよびディスプレイコントローラを含む。一実施形態では、ディスプレイデバイスは、電気的活性化に伴って光を生成する有機発光ダイオード(OLED)ピクセルのアクティブマトリックスを含むアクティブマトリックス有機発光ダイオード(AMOLED)ディスプレイを含むことができる。OLEDピクセルは、各個々のピクセルに流れる電流を制御するための一連のスイッチとして機能する薄膜トランジスタ(TFT)アレイに組み込まれ得る。LED、LCD、OLED、AMOLED、またはデジタル画像装置400のためのディスプレイデバイスとして構成され得る任意の他の同様のタイプのディスプレイを含む、ディスプレイデバイスの他の実施形態も考えられる。

デジタル画像化装置400は、デジタル画像化装置400の電源がオンにされている間に情報を記憶するように構成されたメモリモジュール440をさらに含む。メモリモジュール440は、背景誘導測定ユニット410の動作の様々な段階における画像フレームに関連する全面的または部分的に処理されたピクセル情報などの情報を保持するように構成され得る。メモリモジュール440は、スタティックランダムアクセスメモリ(SRAM)およびダイナミックランダムアクセスメモリ(DRAM)などのメモリデバイスを含み得る。メモリデバイスは、メモリデバイスとマイクロプロセッサモジュール450との間のデータのフローのためのデータ経路を提供するメモリバスを介してマイクロプロセッサモジュール450に通信可能に結合された異なるレベルのキャッシュメモリとして構成され得る。

デジタル画像化装置400は、写真およびビデオファイル、ならびにソフトウェアコードなどのメディアを記憶するように構成された記憶モジュール460をさらに含む。いくつかの実施形態では、記憶モジュール460は、デジタル画像化装置400の電源がオフにされているときでも、メディアを永続的に記憶するように構成される。いくつかの実装形態では、記憶モジュール460は、記憶媒体、特にハードディスク、フラッシュメモリ、読取り専用メモリ(ROM)などの不揮発性メモリを含む。

本明細書で開示する実装形態は、デバイス自体のディスプレイを使用して前向き画像センサのために照明源を提供するためのシステム、方法および装置を提供する。これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてよいことを当業者は認識されよう。

説明では、例の完全な理解をもたらすために、具体的な詳細が与えられる。しかしながら、例がこれらの具体的な詳細なしに実施され得ることが当業者には理解されよう。たとえば、不必要な詳細で例を不明瞭にしないために、電気の構成要素/デバイスがブロック図で示される場合がある。他の事例では、例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示される場合がある。

例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明され得る点にも留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは並列、または同時に実行され得、プロセスは繰り返され得る。加えて、動作の順序は並べ替えられてよい。プロセスは、その動作が完了したとき、終了する。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応する場合がある。プロセスがソフトウェアの関数に対応する場合、その終了は、呼出し関数またはメイン関数への関数のリターンに対応する。

開示された実装形態の前の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになることになり、本明細書に定義する一般原理は、本発明の趣旨または範囲を逸脱することなしに他の実装形態に適用され得る。したがって、本発明は、本明細書に示される実装形態に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。

10 第1の画像フレーム
12 机
14 椅子
20 第2の画像フレーム、画像フレーム
22 机
24 椅子
26 手
40 ルーマヒストグラム
42a ピクセルの第1の分布、第1の分布
42b ピクセルの第3の分布、第3の分布
44a ピクセルの第2の分布、第2の分布
44b ピクセルの第4の分布、第4の分布
46 矢印
48 矢印
50 方法
80 方法
100 方法
200 ルーマヒストグラム
204 背景ピクセル領域
208 前景ピクセル領域
220 ルーマヒストグラム
224 背景ピクセル
226 ピークルーマ値、背景ルーマ値
228 前景ピクセル
230 ピークルーマ値、前景ルーマ値
232 差
240 ルーマヒストグラム
244 背景ピクセル
246 背景ルーマ値、ルーマ値
248 前景ピクセル
250 前景ルーマ値、ピークルーマ値
252 最初の差
256 ピークルーマ値
260 ルーマヒストグラム
264 調整された背景ピクセル
266 背景ルーマ値、ルーマ値
270 前景ルーマ値
274 結果的な差
300 ルーマヒストグラム
304a 第1の背景ピクセル、背景ピクセル
304b 第2の背景ピクセル、背景ピクセル
306a 第1の背景ルーマ値、背景ルーマ値
306b 第2の背景ルーマ値、背景ルーマ値
308a 第1の前景ピクセル、前景ピクセル
308b 第2の前景ピクセル、前景ピクセル
310a 第1の前景ルーマ値、前景ルーマ値
310b 第2の前景ルーマ値、前景ルーマ値
312a 第1の差
312b 第2の差
316 上位ルーマ領域
320 グラフ
324 デフォルトガンマ調整カーブ、デフォルトガンマカーブ
328 調整済みガンマカーブ
328a 上位ガンマカーブ領域
328b 下位ガンマカーブ領域
332a 上位ルーマ領域
332b 下位ルーマ領域
340 ルーマヒストグラム
344a 第1の背景ピクセル
344b 第2の背景ピクセル
346a 第1の背景ルーマ値、第1のルーマ値
346b 第2の背景ルーマ値
348a 第1の前景ピクセル
348b 第2の前景ピクセル
350a 第1の前景ルーマ値、第1のルーマ値
350b 第2の前景ルーマ値
352a 第1の差
352b 第2の差
356 下位ルーマ領域
360 グラフ
364 デフォルトガンマ調整カーブ、デフォルトガンマカーブ
368 調整済みガンマカーブ
368a 下位ガンマカーブ領域
368b 上位ガンマカーブ領域
372a 下位ルーマ領域
372b 上位ルーマ領域
390 画像フレーム
392 机
394 椅子
396 手
400 デジタル画像化装置、画像化装置
410 露出測定モジュール、背景誘導測定ユニット、露出測定ユニット
414 ピクセル分類モジュール
418 背景決定モジュール
422 露出条件決定モジュール
426 前景ピクセル調整モジュール
430 画像センシングモジュール
440 メモリモジュール
450 マイクロプロセッサモジュール
460 記憶モジュール
470 画像表示モジュール、表示モジュール

Claims (28)

1. デジタル画像をキャプチャするための電子デバイス上で実施される方法であって、
   複数のピクセルを含む画像フレームを受信するステップと、
   背景ピクセルを取得するために前記画像フレームから前景ピクセルを控除するステップと、
   前記背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定するステップと、
   前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前記前景ピクセルを調整するステップと
   を含む方法。
2. 前記露出条件を決定するステップは、
   背景ルーマ値と前景ルーマ値との間の差が所定の範囲内にあると判断するステップと、
   前記背景ピクセルの前記少なくとも前記サブセットに基づいて、前記次の画像フレームのための前記露出条件を決定するステップと
   を含む、請求項1に記載の方法。
3. 前記露出条件を決定するステップは、
   背景ルーマ値と前景ルーマ値との間の差が所定の範囲外にあると判断するステップと、
   前記背景ピクセルの前記少なくとも前記サブセットおよび前景ピクセルのサブセットに基づいて、前記次の画像フレームのための前記露出条件を決定するステップと
   を含む、請求項1に記載の方法。
4. 前記前景ピクセルを調整するステップは、
   前景ルーマ値が前記背景ルーマ値よりも大きいと判断するステップと、
   前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、ガンマカーブの前景領域を選択的に下方に調整するステップと
   を含む、請求項1に記載の方法。
5. 前記前景ピクセルを調整するステップは、
   前景ルーマ値が前記背景ルーマ値よりも小さいと判断するステップと、
   前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、前記前景ルーマ値が上方に調整されるように、ガンマカーブの前景領域を選択的に上方に調整するステップと
   を含む、請求項1に記載の方法。
6. 前記露出条件を決定するステップは、前記電子デバイスに関連する絞り、シャッタスピードおよびISOスピードを決定するステップを含む、請求項1に記載の方法。
7. 前記画像フレームから前景ピクセルを控除するステップは、前記画像フレームの前景対象を識別するステップと、前記前景対象の移動経路を予測するステップと、前記移動経路にわたる前記前景対象に対応するピクセルを控除するステップとを含む、請求項1に記載の方法。
8. 複数のピクセルを含む画像フレームを受信するように構成された画像センシングモジュールと、
   背景ピクセルを取得するために前記画像フレームから前景ピクセルを控除するように構成された背景決定モジュールと、
   前記背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定するように構成された露出条件決定モジュールと、
   前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前記前景ピクセルを選択的に調整するように構成された前景ピクセル調整モジュールと
   を含むデジタル画像キャプチャ装置。
9. 前記露出条件決定モジュールは、
   背景ルーマ値と前景ルーマ値との間の差が所定の範囲内にあると判断し、
   前記背景ピクセルの前記少なくとも前記サブセットに基づいて、前記次の画像フレームのための前記露出条件を決定する
   ように構成される、請求項8に記載の装置。
10. 前記露出条件決定モジュールは、
    背景ルーマ値と前景ルーマ値との間の差が所定の範囲外にあると判断し、
    前記背景ピクセルの前記少なくとも前記サブセットおよび前景ピクセルのサブセットに基づいて、前記次の画像フレームのための前記露出条件を決定する
    ように構成される、請求項8に記載の装置。
11. 前記前景ピクセル調整モジュールは、
    前景ルーマ値が前記背景ルーマ値よりも大きいと判断し、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、ガンマカーブの前景領域を選択的に下方に調整する
    ように構成される、請求項8に記載の装置。
12. 前記前景ピクセル調整モジュールは、
    前景ルーマ値が前記背景ルーマ値よりも小さいと判断し、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、前記前景ルーマ値が上方に調整されるように、ガンマカーブの前景領域を選択的に上方に調整する
    ように構成される、請求項8に記載の装置。
13. 前記露出条件決定モジュールは、デジタル画像キャプチャ装置に関連する絞り、シャッタスピードおよびISOスピードを決定するように構成される、請求項8に記載の装置。
14. 前記背景決定モジュールは、前記画像フレームの前景対象を識別することと、前記前景対象の移動経路を予測することと、前記移動経路にわたる前記前景対象に対応するピクセルを控除することとによって、前記画像フレームから前景ピクセルを控除するように構成される、請求項8に記載の装置。
15. 実行されたときにプロセッサに、以下のステップ、すなわち、
    複数のピクセルを含む画像フレームを受信することと、
    背景ピクセルを取得するために前記画像フレームから前景ピクセルを控除することと、
    前記背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定することと、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前記前景ピクセルを調整することと
    を実行させる命令を含むコンピュータ可読記憶媒体。
16. 前記露出条件を決定することは、
    背景ルーマ値と前景ルーマ値との間の差が所定の範囲内にあると判断することと、
    前記背景ピクセルの前記少なくとも前記サブセットに基づいて、前記次の画像フレームのための前記露出条件を決定することと
    を含む、請求項15に記載のコンピュータ可読記憶媒体。
17. 前記露出条件を決定することは、
    背景ルーマ値と前景ルーマ値との間の差が所定の範囲外にあると判断することと、
    前記背景ピクセルの前記少なくとも前記サブセットおよび前景ピクセルのサブセットに基づいて、前記次の画像フレームのための前記露出条件を決定することと
    を含む、請求項15に記載のコンピュータ可読記憶媒体。
18. 前記前景ピクセルを調整することは、
    前景ルーマ値が前記背景ルーマ値よりも大きいと判断することと、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、ガンマカーブの前景領域を選択的に下方に調整することと
    を含む、請求項15に記載のコンピュータ可読記憶媒体。
19. 前記前景ピクセルを調整することは、
    前景ルーマ値が前記背景ルーマ値よりも小さいと判断することと、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、前記前景ルーマ値が上方に調整されるように、ガンマカーブの前景領域を選択的に上方に調整することと
    を含む、請求項15に記載のコンピュータ可読記憶媒体。
20. 前記露出条件を決定することは、デジタル画像化装置に関連する絞り、シャッタスピードおよびISOスピードを決定することを含む、請求項15に記載のコンピュータ可読記憶媒体。
21. 前記画像フレームから前景ピクセルを控除することは、前記画像フレームの前景対象を識別することと、前記前景対象の移動経路を予測することと、前記移動経路にわたる前記前景対象に対応するピクセルを控除することとを含む、請求項15に記載のコンピュータ可読記憶媒体。
22. 複数のピクセルを含む画像フレームを受信するための手段と、
    背景ピクセルを取得するために前記画像フレームから前景ピクセルを控除するための手段と、
    前記背景ピクセルの少なくともサブセットに基づいて、次の画像フレームのための露出条件を決定するための手段と、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の差が所定の範囲内になるように、前記前景ピクセルを調整するための手段と
    を含むデジタル画像キャプチャシステム。
23. 露出条件を決定するための前記手段は、
    背景ルーマ値と前景ルーマ値との間の差が所定の範囲内にあると判断し、
    前記背景ピクセルの前記少なくとも前記サブセットに基づいて、前記次の画像フレームのための前記露出条件を決定する
    ように構成される、請求項22に記載のシステム。
24. 露出条件を決定するための前記手段は、
    背景ルーマ値と前景ルーマ値との間の差が所定の範囲外にあると判断し、
    前記背景ピクセルの前記少なくとも前記サブセットおよび前景ピクセルのサブセットに基づいて、前記次の画像フレームのための前記露出条件を決定する
    ように構成される、請求項22に記載のシステム。
25. 前記前景ピクセルを調整するための前記手段は、
    前景ルーマ値が前記背景ルーマ値よりも大きいと判断し、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、ガンマカーブの前景領域を選択的に下方に調整する
    ように構成される、請求項22に記載のシステム。
26. 前記前景ピクセルを調整するための前記手段は、
    前景ルーマ値が前記背景ルーマ値よりも小さいと判断し、
    前記次の画像フレームの背景ルーマ値と前景ルーマ値との間の前記差が前記所定の範囲内になるように、前記前景ルーマ値が上方に調整されるように、ガンマカーブの前景領域を選択的に上方に調整する
    ように構成される、請求項22に記載のシステム。
27. 露出条件決定モジュールは、デジタル画像キャプチャ装置に関連する絞り、シャッタスピードおよびISOスピードを決定するように構成される、請求項22に記載のシステム。
28. 背景決定モジュールは、前記画像フレームの前景対象を識別することと、前記前景対象の移動経路を予測することと、前記移動経路にわたる前記前景対象に対応するピクセルを控除することとによって、前記画像フレームから前景ピクセルを控除するように構成される、請求項22に記載のシステム。

Images