JP2018528633A - ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔセンサを使用して露出推定を実行するための方法および装置 - Google Patents

Abstract

本出願は、time-of-flightセンサからの情報を使用して目標物体の画像を捕捉することに関する。一態様では、方法は、光を放出して放出された光の反射を感知するように構成されるtime-of-flight(TOF)システムを含むことがあり、放出された光の反射に基づいて返ってくるエネルギーを決定することができる。方法は、光が放出されるときと反射が感知されるときとの間の時間を測定することができ、その時間に基づいて目標物体とTOFシステムとの間の距離を決定することができる。方法はまた、返ってくるエネルギーに基づいて目標物体の反射率を特定することができ、目標物体との間の距離および目標物体の反射率に基づいて露出レベルを決定することができる。

Description

本開示は全般に、写真デバイスおよび/または他の画像捕捉デバイスにおいて自動的な露出制御を行うことに関する。より詳細には、本開示は、time-of-flightセンサからの情報を使用して目標物体の露出を決定することに関する。

ユーザは、シーンを写真または動画として捕捉して後日および/または後の時間に見たいようなイベント、たとえば子供の最初の歩行もしくは言葉、卒業式、または結婚式を経験することがある。しばしば、これらのイベントは、ほぼ動きがなく、発生が一般に予測可能であることがあり(たとえば、結婚式、卒業式、穏やかな風景、または肖像写真)、撮像システム、たとえばカメラ、ビデオレコーダ、またはスマートフォンを使用して容易に捕捉され得る。そのような瞬間については、その瞬間のイベントを捕捉するのに適切な露出の設定を撮像システムが決定して調整するための、十分な時間があり得る。しかしながら、時々、速く動くシーンを適切な露出で捕捉することは、特にシーンが一時的である場合(たとえば、シーンが動いている物体を含んでいる場合、または明るさのレベルが様々であるシーンでの高速なパンニングに撮像システムがさらされる場合)、困難であることがある。

機器のユーザが適切な瞬間にシーンの画像を捕捉するとき、またはマルチショットシステムを利用するときであっても、ユーザは、イベントがいつ起き得るかを認識して、撮像システムが焦点および露出を決定するための遅れを考慮しなければならない。したがって、ユーザは、そのような瞬間がいつ起きるかを予想し、それに従って計画するために、注意していなければならない。これは難しいことがある。しばしば、瞬間またはイベントの少なくともいくつかの部分が、適切に捕捉されないまま過ぎ去ることがある。したがって、撮像システムの露出の計算および調整を早く処理するためのシステムおよび方法が有益であろう。

本発明のシステム、方法、およびデバイスは各々、いくつかの態様を有し、どの態様も単独で本発明の望ましい属性を担うものではない。以下の特許請求の範囲によって表現されるような本発明の範囲を限定することなく、いくつかの特徴がここで簡単に論じられる。この議論を考慮した後、また特に「発明を実施するための形態」と題するセクションを読んだ後で、本発明の様々な実施形態の特徴が、撮像システムの露出パラメータのより高速な決定を含む利点をどのようにもたらすかが理解されるだろう。

本開示において説明される主題の一態様は、シーンを捕捉するための装置を提供する。装置は、光信号を放出するように構成される放出器と、放出された光信号の目標物体からの反射を感知し、放出された光信号の反射に基づいて返ってくるエネルギーを決定するように構成される、感知システムとを備える、time-of-flight(TOF)システムを含み得る。装置はさらに、TOFシステムに結合された時計であって、光信号が放出されるときと放出された光信号が感知システムによって感知されるときとの間の時間を測定するように構成される、時計と、TOFシステム、時計、およびカメラと通信しているプロセッサとを含む。プロセッサは、測定された時間に基づいて目標物体とTOFシステムとの間の距離を決定し、放出された光信号の返ってくるエネルギーに基づいて目標物体の反射率を特定し、目標物体までの距離および目標物体の反射率に基づいて露出レベルを決定するように構成される。

本開示において説明される主題の別の態様は、画像を捕捉するための方法を提供する。方法は、time-of-flight(TOF)システムを介して光信号を放出するステップと、放出された光信号の目標物体からの反射をTOFシステムを介して感知するステップとを含む。方法はさらに、放出された光信号の反射に基づいて返ってくるエネルギーを決定するステップと、光信号が放出されるときと放出された光信号が感知されるときとの間の時間を測定するステップとを含む。方法はまた、測定された時間に基づいて目標物体とTOFシステムとの間の距離を決定するステップと、放出された光信号の返ってくるエネルギーに基づいて目標物体の反射率を特定するステップと、目標物体までの距離および目標物体の反射率に基づいて露出レベルを決定するステップとを含む。

本開示において説明される主題の追加の態様は、シーンを捕捉するための追加の装置を提供する。撮像装置は、光信号を放出するための手段と、放出された光信号の目標物体からの反射を感知するための手段と、放出された光信号の反射に基づいて返ってくるエネルギーを決定するための手段とを備える、光信号のtime-of-flight(TOF)を特定するための手段を備える。装置はさらに、光信号が放出されるときと放出された光信号が感知されるときとの間の時間を測定するための手段と、測定された時間に基づいて目標物体とTOFシステムとの間の距離を決定するための手段とを含む。装置はまた、放出された光信号の返ってくるエネルギーに基づいて目標物体の反射率を特定するための手段と、目標物体までの距離および目標物体の反射率に基づいて露出レベルを決定するための手段とを含む。

本開示において説明される主題の別の態様は、実行されると、画像を捕捉する方法を装置に実行させる命令が符号化されているコンピュータ可読記憶媒体を備えるコンピュータプログラム製品を提供する。方法は、time-of-flight(TOF)システムを介して光信号を生成して放出するステップと、放出された光信号の目標物体からの反射をTOFシステムを介して感知するステップとを備える。方法はさらに、放出された光信号の反射に基づいて返ってくるエネルギーを決定するステップと、光信号が放出されるときと放出された光信号が感知されるときとの間の時間を測定するステップとを含む。方法はまた、測定された時間に基づいて目標物体とTOFシステムとの間の距離を決定するステップと、放出された光信号の返ってくるエネルギーに基づいて目標物体の反射率を特定するステップと、目標物体までの距離および目標物体の反射率に基づいて露出レベルを決定するステップとを含む。

上述の態様、ならびに、本技術の他の特徴、態様、および利点が、添付の図面を参照して、様々な実施形態に関してここで説明される。しかしながら、示される実施形態は例にすぎず、限定的であることは意図されていない。図面全体にわたって、文脈が別段に規定しない限り、同様の記号は通常、同様の構成要素を特定する。以下の図の相対的な寸法は、縮尺どおりに描かれていない場合があることに留意されたい。

いくつかの実施形態による、自動露出制御システムのタイミング図の例を示す図である。 3つの例示的な実装形態による、自動露出制御システムのタイミング図の3つの例を示す図である。 ある例示的な実装形態による、センサ(たとえば、カメラ)を使用して目標物体までの距離および目標物体の反射率を特定することを示す図である。 自動露出補正およびオートフォーカスを決定するための画像捕捉デバイスの一実施形態の例を示すブロック図である。 目標物体と撮像デバイスとの間の距離と、露出との関係を示すグラフである。 図4Aに示されるグラフと関連付けられ、距離に関する情報と、露出制御に関する情報と、TOFセンサデータに関する情報との例を示す、表である。 ある例示的な実施形態による、ある所与の距離における、反射率の値が変化する目標物体のプリフラッシュ露出を示す、プリフラッシュ露出対信号雑音比を示すグラフである。 図4Cと関連付けられる情報を示す表である。 LEDフラッシュ自動露出補正に基づいてフラッシュ露出を推定するためのプロセスの例を示すブロック図である。 AECモジュールとともにTOFまたはレーザーセンサを利用するカメラによって、目標物体までの特定された距離および目標物体の反射率に基づいて、フラッシュ露出を推定するためのプロセスの例を示すブロック図である。 いくつかの実施形態による、露出を決定するための方法の例を示すフローチャートである。

新規のシステム、装置、および方法の様々な態様が、添付の図面を参照して以下でさらに十分に説明される。しかしながら、本開示は、多くの異なる形態で具現化されることがあり、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり得るように、かつ本開示の範囲を当業者に十分に伝え得るように与えられている。本開示の範囲は、本発明の他の態様とは無関係に実装されるにせよ、本発明の他の態様と組み合わされるにせよ、本明細書において開示されるシステム、装置、および方法の態様を包含することが意図される。たとえば、本明細書に記載される任意の数の態様を使用して、装置が実装されることがあり、または方法が実践されることがある。加えて、本明細書において説明されるものを含めて、本発明の実施形態の範囲は、本明細書に記載される実施形態の様々な態様に加えて、またはそれら以外の、他の構造、機能、または構造および機能を使用して実践されるような装置または方法を包含することが意図される。本明細書において開示されるいかなる態様も請求項の1つまたは複数の要素によって具現化され得ることを理解されたい。

特定の態様が本明細書において説明されるが、それらの態様の多数の変形および置換が、本開示の範囲内である。好ましい態様のいくつかの利益および利点が言及されるが、本開示の範囲は、特定の利益、用途、または目的に限定されることは意図されない。むしろ、本開示の態様は、様々な撮像および写真技術、システム構成、計算システム、フラッシュシステム、ならびに露出決定システムに広く適用可能であることが意図される。発明を実施するための形態および図面は、本発明の実施形態の開示を限定するものではなく例示するものであることが意図される。

写真では、ユーザがマニュアルモードにて撮像システム(またはカメラ)を使用しているとき、ユーザは、撮像システムが何に合焦するかを積極的に制御でき、露出を制御する様々な特性(たとえば、開口、シャッタースピード、「フィルム」スピード)を選択できる。これにより、撮像システムは、ユーザが画像を捕捉するために制御インターフェースを作動させるときに、ほぼ瞬間的に画像を捕捉することが可能になる。しかしながら、撮像システムが自動フォーカス(「オートフォーカス」)および自動露出モードにて使用されるとき、画像が捕捉される前に、撮像システムは正しい露出を決定してオートフォーカスプロセスを実行するように構成される。フラッシュを使用して捕捉される画像の露出を自動的に決定することは、実際の画像が捕捉される前に、目標物体(またはシーン、ここでは別段示されない限り「目標物体」と交換可能に使用される)のフラッシュなし露出から決定される情報を、目標物体のプリフラッシュ露出から決定される情報と組み合わせることを伴い得る。したがって、自動露出プロセスは、実行するのに時間がかかり、画像を捕捉することに遅れをもたらす。

「フラッシュなし期間」は、周辺の照明(たとえば、日光または撮像システムのフラッシュからのものではない他の光)のみのもとでの目標物体の明るさに基づいて撮像システムが露出レベルを決定し設定し得る期間を指すために本明細書において全般に使用される、広義の語句である。フラッシュなし期間の間、撮像システムのフラッシュは光らず、スタンバイモードまたはオフであり得る。フラッシュなし期間は、撮像システムが作動しているが画像を捕捉するために作動されていない、任意の時間に存在し得る。

「プリフラッシュ期間」は、撮像システムの露出パラメータを決定し設定するための完全な出力よりも低い出力のレベルで撮像システムがフラッシュを作動させ得る期間を指すために本明細書において全般に使用される、広義の語句である。いくつかの実施形態では、フラッシュは、2つ以上の照明レベルにおける目標物体の照明を生み出す。しかしながら、このプロセスはユーザが画像を捕捉するために撮像システムを作動させるまで実行されないことがあるので、撮像システムがプリフラッシュ露出を実行するために必要とされる時間が、画像の捕捉を遅らせる。加えて、フラッシュはしばしば出力が限られているので、撮像システムから遠くの距離(たとえば、8〜15+メートル)にある目標物体は、プリフラッシュ期間の間は適切に照明されないことがある。これにより、撮像システムに、不適切なフラッシュ露出を生成させることがあり、または露出を決定するために長い時間をとらせることがある。

所望の画像の捕捉を早く処理するための1つの例示的な解決法は、撮像システムの露出を決定するための代替のまたは追加のセンサ、たとえば、目標物体の距離および反射率を決定するように構成されるセンサを利用することを含み得る。

図1Aは、自動露出制御(AEC:automatic exposure control)システムのタイミング図100の例のグラフィカルな表現を示す。タイミング図100は、フラッシュが使用されるときの、センサの露出レベルおよび画像を捕捉する撮像システムのフラッシュ出力レベルの例を示す。タイミング図100において、x軸の左から右に向かって時間が進む。撮像システムと関連付けられる(放出される光の)相対的なフラッシュ出力は、y軸に沿って、すなわち、y軸の0に近い低いフラッシュ出力レベルからy軸に沿って増大するより高いフラッシュ出力レベルへと、増大する。タイミング図100はまた、y軸に沿って増大する、すなわち、y軸の0に近い少量の露出からより多量の露出へとy軸に沿って増大する、相対的な露出の量を示す。フラッシュ線102は撮像システム(この例ではカメラと呼ばれる)のフラッシュにより放出される光のレベルを示し、一方で露出線104は撮像システムのAECプロセスまたはAECシステムによって決定され設定される露出を示す。タイミング図100はさらに、x軸に沿った特定の時間的な点を含む。

図1Aに示されるように、フラッシュ線102は0のフラッシュなし期間151において、またはその近くで開始し、これは、たとえばカメラがオフであるとき、またはカメラがシーンを見るために使用されているだけであり画像を捕捉するようにまだ指示されていないときに、フラッシュが光を放出していないことを示している。この期間の間(時間t0より前のx軸に沿って)、露出線104はフラッシュなし露出レベルにあり、これは、カメラがフラッシュを使用している時間においてよりも高くなり得るカメラの露出設定を示している。t0より前の時間において、カメラは、フラッシュなし露出、たとえば、目標物体の明るさのレベルと、カメラからのフラッシュがない状態でのシーンおよび/または環境における自然光のレベルとを特定し得る。カメラは、露出を決定するために使用され得るAECプロセスを用いて構成される。

時間t0において、フラッシュ線102は、一定値、すなわちプリフラッシュ期間152の間のプリフラッシュ照明レベルまで増大する。プリフラッシュレベルは、フラッシュが完全な出力レベルより低い出力レベルまでチャージされるとき、または、完全な出力レベルにてフラッシュが放出する光よりも低いレベルにて光を放出するだけであるように制御されるときであり得る。いくつかの実施形態では、プリフラッシュレベルは、一定の照明レベル、または所与の照明の閾値を超えて増大しない変化する照明レベルであり得る。タイミング図100において示されるように、図示される実施形態のプリフラッシュレベルは、プリフラッシュ期間152の間は一定の照明レベルに維持される。このプリフラッシュ期間の間、AECプロセスは、露出レベル108に達するまで区間106において減少する露出線104により示されるように、プリフラッシュにより照明される目標物体の明るさに基づいて、目標物体の露出を調整することができる。時間t1において、0値に近い、または0値にある低いレベル153へと戻るように減少するフラッシュ線102により示されるように、プリフラッシュ期間が終了する。

カメラがプリフラッシュ期間の間に露出を調整するのに費やす時間は、たとえば、環境の明るさ、カメラからの目標物体の距離、および目標物体の反射率のうちの1つまたは複数により影響され得る。たとえば、露出を決定するための時間は、目標物体がカメラから遠く離れているとき、または目標物体の反射率が低いときにはより短いことがあり、それは、目標物体の距離および/または低い反射率が原因で、カメラのフラッシュからの光が目標物体の明るさを大きくは高めないので、決定するために適切なフラッシュ露出が必要ではないからである。

時間t2において、フラッシュ線102が0値の近くに、または0値に戻るように減少する間、AECプロセスは露出を推定されるフラッシュ露出レベル110へと調整する。推定されるフラッシュ露出レベル110は、目標物体のフラッシュなし露出(t0より前)およびプリフラッシュ期間の間(t0とt1の間)に特定される測定され調整された露出を使用して計算され得る。AECプロセスは、プリフラッシュ期間の間に収集される1つまたは複数の画像から収集された情報を使用して、プリフラッシュ期間の間の照明されるフレームのフレーム明るさを計算し得る。AECプロセスはさらに、プリフラッシュ期間の間に光るフラッシュをより高い出力レベルにて利用するメインフラッシュの間に目標物体が照明される場合の目標物体の明るさを計算することができるので、画像を捕捉するためのカメラの露出を特定することができる。目標物体の明るさは、メインフラッシュを用いて画像を捕捉するための適切な露出を決定するために使用されることがあり、AECプロセスは、時間t2において推定されるフラッシュ露出レベル110に露出を設定できる。

時間t3において、メインフラッシュが、ある期間にわたる、すなわち、画像が捕捉される時間t4までの、メインフラッシュ期間154の間、より高い出力レベルにて作動される。t5において、画像が捕捉された後で、AECプロセスはフラッシュなし露出設定115へとカメラの露出をリセットすることができ、フラッシュなし期間155の間、フラッシュはほぼ0のレベルへとオフにされ得る。

上で説明されたプロセスでは、所望の目標物体に対して必要な露出の調整および計算には、15個以上ものフレームを要することがある。多くの実施形態において、プロセス全体は0.5秒以上かかることがある。タイミング図100においてわかり得るように、時間の大半は、プリフラッシュ期間の間にカメラの露出が調整されるのを待機することに費やされ得る。したがって、上で説明されたAECプロセスを使用して画像を捕捉することは、目標物体の画像を捕捉するプロセスに大きな遅延をもたらし得る。

プリフラッシュプロセスを使用して正しい露出を決定するために様々なプロセスが使用されることがあり、それらの各々が、写真を撮るためのユーザの指令をカメラが受け取るときと、写真が実際に撮られるときとの間に、時間的な遅れを引き起こす。図1Bは、カメラにおいて使用され得るフラッシュタイミング図(グラフ)の3つの例を示しており、AECシステムおよび露出調整方式により引き起こされる可能性のある遅れを例証している。3つのグラフ(図1のタイミング図と同様の3つのタイミング図)150、160、および170はそれぞれ、左から右へとx軸に沿って進む「時間」および下から上へとy軸に沿って増大する「光強度」とともに示されている。図1Aからの同様の期間が図1Bのタイミング図に示されるように、示されているタイミング図150、160、および170は、図1Aのフラッシュタイミング図に対応するラベルを含んでいる。たとえば、各タイミング図150、160、および170は、フラッシュなし期間151、プリフラッシュ期間152、メインフラッシュ期間154、およびメインフラッシュ期間154の後の別のフラッシュなし期間155を有する。これらの例は、撮像プロセスにおいて大きな遅れを示している。タイミング図150に示される例では、プリフラッシュ露出決定プロセスを実行するための総時間は約1.2秒である。タイミング図160では、総時間は約4秒である。タイミング図170では、総時間は約1.8秒である。

いくつかの実施形態では、オートフォーカスシステムが、上で説明されたAECシステムの同様のタイミング問題に依拠することがある。したがって、オートフォーカスシステムには上で説明された多くの欠点があり得る。たとえば、環境が暗すぎる場合、または環境の照明が弱い場合、オートフォーカスシステムは、環境が暗すぎるので適切に動作しないことがある。したがって、オートフォーカスシステムは、カメラのフラッシュを使用してカメラの合焦を支援することがあり、これは、遅いことがあり、露出に関して上で説明された遅れと同様の、カメラが画像を捕捉するように指令されるときからカメラが実際に画像を捕捉する時間までの時間的な遅れを引き起こすことがある。オートフォーカスはさらに、初期のレンズ位置と、カメラを合焦するために使用される合焦アルゴリズムの種類とに応じて遅くなり得る。

撮像システムは、レーザーセンサおよび/またはtime-of-flight(TOF)システムを組み込むことがある。これらのTOFシステムは、カメラの露出および合焦を支援し、露出決定プロセスを大きく減らすために使用され得る。様々な実施形態において、TOFシステムは、距離を測定するために、返ってくるエネルギーもしくは反射されたエネルギーを測定するために、かつ/または信号雑音比を特定するために使用され得る。TOFシステムは光放出器および光センサを含み得る。光放出器は光を放出するように構成され得るが、光センサシステムは目標物体から反射し光センサに戻ってくる放出された光の一部分を感知するように構成され得る。光放出器から放出された光が目標物体から光センサへと反射するのにかかる時間が、TOFシステムから目標物体の距離を特定するために使用され得る。TOFシステムはまた、(目標物体から反射された)感知された光のエネルギーの量を決定するように構成されることがあり、これは、目標物体の反射率および露出情報を決定するために使用されることがある。いくつかの実施形態では、放出された光と感知された光の位相差が距離を決定するために使用され得る。

図2は、本発明のいくつかの実施形態による、画像捕捉デバイス202の例を示す図である。この例では、画像捕捉デバイス202はtime of flight(TOF)システム214を含むカメラであるが、画像捕捉デバイス202は、フォーマット(デジタル、フィルムなど)またはタイプ(ビデオカメラ、スチルカメラ、ウェブカメラなど)にかかわらず、静止画または動画を捕捉することが可能な任意のデバイスであり得る。画像捕捉デバイス202は、目標シーンまたは目標物体までの距離を決定し、TOFシステム214を使用して目標シーンまたは目標物体の露出(たとえば、少なくとも1つの露出パラメータ)を決定するように構成される。説明を明瞭にするために、カメラが合焦する対象物であるという文脈で、目標シーンと目標物体の両方が「目標物体」と呼ばれる。露出パラメータは、露出を決定し得る、または露出に影響し得る様々なパラメータのいずれでもあり得る。露出パラメータの例は、センサに向かってレンズを通って伝播する光が通過する開口または入射瞳を示すパラメータ(たとえば、f/#または物理的な開口サイズ)である。露出パラメータの別の例は、カメラのセンサへと光を通すためにカメラのシャッターが開いている時間の長さである(これは「シャッタースピードと呼ばれ得る」)。露出パラメータの別の例は、光を感知し画像を捕捉するためにカメラのセンサの動作を制御するためのパラメータ、たとえば、「フィルムスピード」であり、当業者は、この用語がセンサの感度に影響する設定であることを理解する(フィルム写真からの持ち越し用語であり、各フィルムはISOにより示される相対的な尺度で評価される感度を有する)。露出パラメータの別の例は、目標物体により反射される周辺光を示すパラメータであり、これは、目標物体の画像を捕捉するために使用される露出を決定するために使用され得る。露出パラメータの別の例は、目標物体により反射される光源からの光を示すパラメータである。たとえば、(光源からの)光は、TOFシステム214の光放出器212によって作り出される光であり得る。TOFシステムの光放出器212は、画像捕捉デバイス202に組み込まれることがあり、または画像捕捉デバイス202に結合されることがある。いくつかの実施形態では、光放出器212は画像捕捉デバイス202とは分かれており、すなわち、画像捕捉デバイス202に組み込まれておらず、または構造的に付随していない。

図2の実施形態は、光放出器212から目標物体210への光の経路を表す光経路206に沿って伝播する、光放出器212からの放出された光204を示す。図2はまた、(たとえば、光放出器212からの)目標物体210を照明してTOFシステム214の光センサ220へと目標物体210から反射する、光または光の反射経路を表し得る、反射された光208を示す。いくつかの実施形態では、画像捕捉デバイス202は、放出された光204が目標物体210を照明するために光放出器212から放出されるときと、目標物体210から反射された放出された光204が光センサ220によって感知されるときとの間の時間の長さを決定するための、時計、タイマー、または何らかの他の手段を含み得る。いくつかの実施形態では、光放出器212および光センサ220は、単一構成要素のTOFシステム214の一部である代わりに、一緒に動作するように構成される2つの構成要素であり得る。光放出器212および光センサ220は2つの別個の構成要素および/またはシステムであり得るが、本開示の目的のために、それらはTOFシステム214を形成するものとして論じられる。いくつかの実施形態では、TOFシステム214は統合されたTOFシステムであることがあり、このとき、光放出器212および光センサ220は単一の統合されたシステムの一部である。

動作の例において、光放出器212はパルス状の赤外(IR)光を放出し得る。光信号として特徴付けられ得る(または本明細書において光信号と呼ばれ得る)、または複数の光子を含むものとして特徴付けられ得る、この放出された光204は、目標物体210を照明し、目標物体から光センサ220へと反射する。TOFシステム214の時計もしくはタイマー、または画像捕捉デバイス202の別の構成要素は、放出された光204を放出してから反射された光208を光センサ220において感知するまでにかかる時間を決定し得る。この時間の長さと既知の光の速さとを使用して、光放出器212から目標物体210まで進み光センサ220に戻ってくるまでに光が移動する距離は、式1を使用して計算され得る。
移動距離=(光の移動時間)×(光の速さ) (1)
目標物体までの距離は、移動距離の半分である。したがって、カメラから遠く離れている場所にある目標物体210は、カメラにより近い目標物体と比べて、放出された光204が光放出器212から目標物体210まで進んで光センサ220に戻ってくるのに、より多くの時間が必要である。

TOFシステム214は、目標物体からの返ってくるエネルギーを特定するように構成され得る。返ってくるエネルギーは、放出された光が目標物体から反射した後で有するエネルギーの量を特定する。目標物体から反射した後でTOFシステム214の光センサにより感知されるときに、放出された光のエネルギーの量が多いほど、目標物体の反射率は高い。目標物体の反射率は、目標物体がどれだけ明るくまたは暗く見えるかに直接関係し得る。したがって、所与の光条件および距離に対して、光センサ220において感知されるときの光のエネルギーの量が少ないほど、目標物体は暗く見える。

TOFシステムは、返ってくる信号が目標物体から反射した後のTOFシステムにおける返ってくる信号(光)の強度を示す、信号雑音比(Signal-to-Noise ratioまたはSNR)を生成するように構成され得る。たとえば、受信される返ってくる信号が(バックグラウンドノイズまたは環境によりもたらされるノイズに関して)強いとき、SNRはより高い。代わりに、受信される返ってくる信号が(バックグラウンドノイズに関して)より弱いとき、SNRはより低くなり得る。目標物体の返ってくる信号の反射に関して、より高いSNRは、目標物体の反射率がより高いこと(たとえば、目標物体が光を反射する色または材料であり得ること)を示し得るが、より低いSNRは、目標物体の反射率が低いこと(たとえば、目標物体がより光を吸収する色または材料であり得ること)を示す。上の議論は、反射が同じ距離において目標物体から受信されるときにSNRが測定される状況に対してあてはまり得る。しかしながら、SNRは、TOFシステムからの目標物体の距離に応じて変化することもある。したがって、同じ目標物体が、TOFシステムからの目標物体の距離に基づいて異なるSNR値を生成することがある。目標物体がTOFシステムから離れるように移動するにつれて(たとえば、距離がより長くなるにつれて)、SNRはより小さくなる。

図3は、カメラ315に、フラッシュ(または他の光源)316に、TOFシステム317に、および自動露出補正を決定するためのモジュール(AECモジュール360およびオートフォーカス(AF)モジュール365)につながれた画像プロセッサ320を含む構成要素の集合を有する、(図2の画像捕捉デバイス202と同様の)画像捕捉デバイス302の一実施形態の高水準のブロック図を示す。画像プロセッサ320はまた、作業メモリ305、メモリ330、およびデバイスプロセッサ350とも通信していることがあり、デバイスプロセッサ350は、電子記憶モジュール310、ディスプレイ325(たとえば、電子ディスプレイまたはタッチスクリーンディスプレイ)、および距離/反射率モジュール340と通信していることがある。いくつかの実施形態では、図3に示されるような2つの別個のプロセッサではなく、単一のプロセッサが画像プロセッサ320とデバイスプロセッサ350の両方を備えることがある。いくつかの実施形態では、画像プロセッサ320とデバイスプロセッサ350の一方または両方が、デバイスプロセッサ350内に統合されるものとして図3に示されている時計351を備えることがある。いくつかの実施形態は、3つ以上のプロセッサを含み得る。いくつかの実施形態では、上で説明された構成要素のいくつかは画像捕捉デバイス302に含まれないことがあり、または、上で説明されない追加の構成要素が画像捕捉デバイス302に含まれることがある。いくつかの実施形態では、上で説明された構成要素または画像捕捉デバイス302に含まれるものとして説明された構成要素の1つまたは複数は、組み合わされることがあり、または画像捕捉デバイス302の任意の他の構成要素に組み込まれることがある。

画像捕捉デバイス302は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末、ラップトップコンピュータ、個人用カメラ、アクションカメラ、搭載カメラ、コネクテッドカメラ、ウェアラブルデバイス、自動車、ドローンなどであることがあり、またはそれらの一部であることがある。画像捕捉デバイス302はまた、TOFシステム317が有利である固定式のコンピューティングデバイスまたは任意のデバイスであり得る。複数の適用形態が画像捕捉デバイス302上でユーザに利用可能であり得る。これらの適用形態は、従来の写真およびビデオの適用形態、高ダイナミックレンジ撮像、パノラマ写真およびビデオ、または3Dイメージや3Dビデオなどのステレオ撮像を含み得る。

さらに図3を参照すると、画像捕捉デバイス302は、目標物体および/またはシーンの画像を捕捉するためのカメラ/レンズ(「カメラ」)315を含む。カメラ315は、少なくとも1つのセンサと、画像捕捉デバイス302の視野(FOV)(たとえば、カメラ315のFOV)から受け取られる光を少なくとも1つのセンサ(たとえば、CMOSまたはCCDセンサ)へと合焦する少なくとも1つの光学撮像構成要素と、少なくとも1つの光学撮像構成要素に結合されるAFモジュール365と、少なくとも1つの光学撮像構成要素に結合されるAECモジュール360とを含み得る。いくつかの実施形態では、画像捕捉デバイス302は2つ以上のカメラを含み得る。カメラ315は、捕捉された画像を画像プロセッサ320に送信するために画像プロセッサ320に結合され得る。この実施形態では、カメラ315への信号およびカメラ315からの信号は画像プロセッサ320を通じて通信される。

画像捕捉デバイスはフラッシュ316を含み得る。いくつかの実施形態では、画像捕捉デバイス302は少なくとも2つのフラッシュを含み得る。フラッシュ316は、たとえば、フラッシュバルブ、リフレクタ、幾何学的光パターン生成器、またはLEDフラッシュを含み得る。画像プロセッサ320は、フラッシュ316からの信号を受信し送信してフラッシュを制御するように構成され得る。

画像プロセッサ320はさらに、TOFシステム317に結合され得る。いくつかの実装形態では、TOFシステム317は上で説明されたように2つの構成要素を含み得る。いくつかの実施形態では、TOFシステム317は光放出器318と光センサ319とを含み得る。光放出器318は、TOFシステム317から放射(たとえば、光)を放出するように構成され得る。説明を簡単にするために、TOFシステム317から放出されるあらゆる放射が、可視の放射と不可視の放射を含む「光」と呼ばれる。光は、画像捕捉デバイス302の目標物体に向けられる。光センサ319は、光が物体から反射した後の、光放出器318によって放出される光を感知するように構成される。いくつかの実施形態では、光センサ319は、シーンの複数の目標物体から反射された光を感知するように構成され得る。

図3に示されているように、画像プロセッサ320は、メモリ330および作業メモリ305に接続される。示される実施形態では、メモリ330は、捕捉制御モジュール335、距離/反射率モジュール340、オペレーティングシステム345、time-of-flight(TOF)モジュール355、AECモジュール360、およびAFモジュール365を記憶するように構成され得る。いくつかの実施形態では追加のモジュールが含まれることがあり、いくつかの実施形態ではより少数のモジュールが含まれることがある。これらのモジュールは、様々な画像処理およびデバイス管理のタスクを実行するように画像プロセッサ320を構成する命令を含み得る。作業メモリ305は、メモリ330のモジュールの1つまたは複数に含まれるプロセッサ命令または機能の作業セットを記憶するために画像プロセッサ320によって使用され得る。作業メモリ305は、画像捕捉デバイス302の動作の間に作成される動的なデータ(たとえば、1つまたは複数の目標物体の距離の測定結果またはFOV距離の測定結果の列、1つまたは複数の目標物体の反射率またはFOV反射率の測定結果の列、露出の推定、焦点の推定など)を記憶するために、画像プロセッサ320によって使用され得る。追加のモジュールまたは外部のデバイスもしくはハードウェアへの接続がこの図では示されないことがあるが、それらは他の露出および焦点の調整ならびに推定の選択肢または活動を提供するために存在することがある。

上述のように、画像プロセッサ320は、メモリ330に記憶されたいくつかのモジュールによって構成されることがあり、またはそれらとともに動作するように構成されることがある。捕捉制御モジュール335は、画像捕捉デバイス302の全体的な画像捕捉機能を制御する命令を含み得る。たとえば、捕捉制御モジュール335は、カメラ315を使用して目標物体の生の画像データを捕捉するように画像プロセッサ320を構成する命令を含み得る。捕捉制御モジュール335はまた、生の画像データを捕捉するときにフラッシュ316を作動させるように構成され得る。いくつかの実施形態では、捕捉制御モジュール335は、捕捉された生の画像データを電子記憶モジュール310に記憶するように、または捕捉された生の画像データをディスプレイ325に表示するように構成され得る。いくつかの実施形態では、捕捉制御モジュール335は、捕捉された生の画像データが作業メモリ305に記憶されるように指示し得る。いくつかの実施形態では、捕捉制御モジュール335は、メモリ330の中の他のモジュールの1つまたは複数、たとえば、距離/反射率モジュール340、TOFモジュール355、AECモジュール360、またはAFモジュール365のうちの1つまたは複数を呼び出し得る。

距離/反射率モジュール340は、画像プロセッサ320またはデバイスプロセッサ350が、目標物体までの距離および目標物体の反射率または画像捕捉デバイス302のFOVを計算し、推定し、または別様に決定することを可能にする、命令を備え得る。距離/反射率モジュール340は、TOFシステム317、カメラ315、および時計351を使用して目標物体の距離を特定するための命令を含み得る。目標物体までの距離および目標物体の反射率を特定するとき、距離/反射率モジュール340は、目標物体までの距離を決定するように構成され得る。したがって、距離/反射率モジュール340は、光放出器318を介して光信号を放出し、光センサ319を介して目標物体からの光信号の反射を感知するための、命令を備え得る。この命令はさらに、光信号の放出と光信号の反射の感知との間の時間を測定するように時計351に命令し得る。光信号が光放出器318によって放出されるときから光信号の反射が光センサ319によって感知されるときまでに経過する時間の長さに基づいて、距離/反射率モジュール340は、たとえば上の式1を使用して、光信号が移動した距離を決定するための命令を備え得る。距離/反射率モジュール340はさらに、画像捕捉デバイス302のFOVの中の複数の点の距離を決定するための、および距離の列を形成するための命令を備え得る。距離/反射率モジュール340に含まれる命令は、たとえば、画像捕捉デバイス302のFOV内の複数の点または位置の各々に対する距離(上で説明されたように目標物体に対する)を特定することと、作業メモリ305または電子記憶モジュール310のうちの1つに列を記憶することとを含み得る。

加えて、距離/反射率モジュール340は、目標物体の反射率または画像捕捉デバイス302のFOV内の点の列を決定するための命令を備え得る。距離の命令に関して上で説明されたように、距離/反射率モジュール340はさらに、TOFシステム317の光放出器318を介して光信号を放出し、光センサ319を介して反射された光信号を感知するための、命令を備え得る。目標物体から反射される光のエネルギーに基づいて、距離/反射率モジュール340は、目標物体の反射率を特定し得る。加えて、距離/反射率モジュール340に含まれる命令は、距離/反射率モジュール340に、画像捕捉デバイス302のFOV内の複数の点または場所の各々の反射率を特定するように指示することができ、特定された反射率の値の記憶または表示を準備することができる。

いくつかの実施形態では、距離/反射率モジュール340はさらに、図5Bを参照して以下で説明されるオフライン構成データを生成するための命令を備え得る。

AECモジュール360は、画像プロセッサ320またはデバイスプロセッサ350が、カメラ315の、したがって画像捕捉デバイス302の露出を計算し、推定し、または調整することを可能にする、命令を備え得る。AECモジュール360は、図1を参照して上で説明され図5Aおよび図5Bを参照して以下で説明される露出推定を可能にする命令を含み得る。したがって、AECモジュール360は、TOFシステム317(光放出器318と光センサ319の両方を含む)、カメラ315、時計351、およびフラッシュ316を利用して、フラッシュなし露出、プリフラッシュ露出、およびフラッシュ露出を特定ならびに/または推定するための命令を備え得る。加えて、AECモジュール360は、カメラ315の露出を、フラッシュなし露出、プリフラッシュ露出、およびフラッシュ露出のうちの少なくとも1つに調整するための命令を含み得る。いくつかの実施形態では、AECモジュールはさらに、照明のフラッシュなしレベル、プリフラッシュレベル、およびメインフラッシュレベルのうちの1つにてフラッシュを光らせるための命令を備え得る。

画像捕捉デバイス302によって捕捉される目標物体の明るさは画像捕捉デバイス302の露出に直接関係するので、画像捕捉デバイス302のフラッシュなし露出は、フラッシュが光らないが画像捕捉デバイス302がオンである任意の時間に特定され得る。したがって、いくつかの実施形態では、AECモジュール360は、目標物体の明るさに基づいて画像捕捉デバイス302の露出を常に監視するように構成され得る。AECモジュール360は、捕捉制御モジュール335およびオペレーティングシステム345のうちの1つまたは複数と統合され、または別様にそれらと通信し、上で説明された方法に従って画像を代わりに捕捉することがある。しかしながら、上で説明されたように、AECモジュール360とともにフラッシュ316を使用することは、画像の捕捉に不要な遅れをもたらすことがある。

代わりに、TOFシステム317が、単一の点だけではなくFOVの様々な部分に対する深度およびSNR情報を提供することがある。AFモジュール365およびAECモジュール360は、TOFシステム317からのこの情報を利用し、いくつかの戦略および方法を採用して、FOVの中の様々な場所にある目標物体に対する最適な露出および合焦を実現し得る。たとえば、ある人物の肖像写真が撮影され、その人物が画像の中心ではなくFOVの左側から1/3のようにやや中心から離れて立っていた場合、TOFシステム317はその人物の場所を(その人物がカメラに最も近い物体であると仮定して)正確に検出し得る。したがって、AFモジュール365およびAECモジュール360は、最も近い物体、この場合は人物に合焦して露出することを選び得る。

図3をさらに参照すると、オペレーティングシステム345は、画像捕捉デバイス302の作業メモリ305および処理リソースを管理するように画像プロセッサ320を構成し得る。たとえば、オペレーティングシステム345は、カメラ315、フラッシュ316、およびTOFシステム317などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上および下で論じられる処理モジュールに含まれる命令は、これらのハードウェアリソースと直接相互作用しないことがあり、代わりに、オペレーティングシステム345の中に位置する標準サブルーチンまたはAPIを通じてこのハードウェアと相互作用することがある。そうすると、オペレーティングシステム345内の命令が、これらのハードウェア構成要素と直接相互作用することがある。オペレーティングシステム345はさらに、デバイスプロセッサ350と情報を共有するように画像プロセッサ320を構成することがある。オペレーティングシステム345はまた、画像捕捉デバイスの様々な処理モジュールの間での情報とリソースの共有を可能にする命令を含み得る。

AFモジュール365は、カメラ315の焦点位置を調整するように画像プロセッサ320を構成する命令を含み得る。AFモジュール365は、いくつかの実施形態では焦点の分析を実行して焦点パラメータを自動的に決定するように画像プロセッサ320を構成する命令を含むことがあり、いくつかの実施形態ではユーザにより入力された合焦指令に応答するように画像プロセッサ320を構成する命令を含むことがある。いくつかの実施形態では、AFモジュール365は、光放出器318および光センサ319からの情報を使用して、目標物体(または画像捕捉デバイスのFOV内の1つまたは複数の点もしくは位置)がいつある特定の距離にあり適切に合焦しているかを決定し得る。いくつかの実施形態では、AFモジュール365は、フラッシュ316から放出され目標物体またはFOV内の1つまたは複数の点もしくは位置から光センサ319において受信される光に基づいて、カメラ315の焦点を特定し調整するための命令を含み得る。いくつかの実施形態では、AFモジュール365は、捕捉制御モジュール335、距離/反射率モジュール340、AECモジュール360、TOFモジュール355、または画像プロセッサ320もしくはデバイスプロセッサ350のうちの1つから指令を受信するように構成され得る。

AFモジュール365は、プリフラッシュ期間の間にのみ探索アルゴリズムを実行するように構成されることがあり、フラッシュなし期間の間にはいずれの機能も実行しないことがある。したがって、TOFシステム317からの情報がAFモジュール365に提供される場合、AFモジュール365がオートフォーカス機能を実行するのにかかる時間の長さは短くなり得る。

図3において、デバイスプロセッサ350は、捕捉された画像、または推定された露出および焦点の設定を含む捕捉された画像のプレビューをユーザに表示するように、ディスプレイ325を制御するように構成され得る。ディスプレイ325は、画像捕捉デバイス302の外部にあることがあり、または、画像捕捉デバイス302の一部であることがある。ディスプレイ325はまた、目標物体の画像を捕捉する前にユーザにプレビュー画像を表示するビューファインダーを提供するように構成されることがあり、または、作業メモリ305もしくは電子記憶モジュール310に記憶されている、またはユーザにより最近捕捉された、捕捉された画像を表示するように構成されることがある。ディスプレイ325は、パネルディスプレイ、たとえば、LCDスクリーン、LEDスクリーン、または他のディスプレイ技術を含むことがあり、タッチ感知技術を実装することがある。デバイスプロセッサ350はまた、ユーザから入力を受け取るように構成され得る。たとえば、ディスプレイ325はまた、タッチスクリーンであるように構成され得るので、ユーザからの入力を受け取るように構成され得る。ユーザは、ディスプレイ325を使用して情報を入力することができ、プロセッサは、この情報を距離/反射率モジュール340またはTOFモジュール355またはAECモジュール360またはAFモジュール365に提供することができる。たとえば、ユーザは、タッチスクリーンを使用して、ディスプレイ325に示されているFOVから目標物体を選択し、または、画像捕捉デバイス302の露出レベルおよび焦点の設定を設定もしくは確立することができる。デバイスプロセッサ350は、その入力を受け取ってそれを適切なモジュールに提供することができ、その適切なモジュールはその入力を使用して本明細書において開示される命令を実行する(たとえば、距離/反射率モジュール340において目標物体の距離または反射率を決定する、AFモジュール365において目標物体の焦点を決定する、など)ことができる。

いくつかの実施形態では、デバイスプロセッサ350は、メモリ330の中の処理モジュールのうちの1つまたは複数を制御するように、またはメモリ330の中の処理モジュールのうちの1つまたは複数から入力を受け取るように構成され得る。TOFモジュール355は、TOFシステム317と対話するように構成され得る。TOFモジュール355は、TOFシステム317によって実行される測定および活動に基づいて様々なパラメータおよび値を決定するために、本明細書において説明されるような式1および2を適用するための命令を備え得る。たとえば、TOFモジュール355は、光放出器318によって放出される信号が移動する距離を決定するための式を含むことがあり、または、TOFシステム317および光放出器318および光センサ319と対話するための、ならびに/もしくはそれらを制御するためのソフトウェアを含むことがある。いくつかの実施形態では、TOFモジュール355は、以下で説明されるオフライン構成情報を記憶または取得するように構成され得る。いくつかの実施形態では、デバイスプロセッサ350またはTOFモジュール355は、TOFシステム317とともに使用するための複数の式を選択することができ、放出され感知された光信号に基づいて所望のパラメータを特定するために式の1つまたは複数を使用することを決定することができる。

デバイスプロセッサ350は、電子記憶モジュール310にデータを、たとえば捕捉された画像を表すデータを書き込み得る。電子記憶モジュール310は従来のディスクデバイスとして図では表されているが、いくつかの実施形態では、電子記憶モジュール310は任意の記憶媒体デバイスとして構成され得る。たとえば、電子記憶モジュール310は、フロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、光ディスクドライブ、もしくは光磁気ディスクドライブなどのディスクドライブ、または、フラッシュメモリ、RAM、ROM、および/もしくはEEPROMなどのソリッドステートメモリを含み得る。電子記憶モジュール310は、複数のメモリユニットを含むこともあり、メモリユニットの任意の1つが、画像捕捉デバイス302内にあるように構成されることがあり、または、画像捕捉デバイス302の外部にあることがある。たとえば、電子記憶モジュール310は、画像捕捉デバイス302内に記憶されたシステムプログラム命令を含むROMメモリを含み得る。電子記憶モジュール310は、カメラから取り外し可能であり得る、捕捉された画像を記憶するように構成されたメモリカードまたは高速メモリも含み得る。

図3は、プロセッサ、撮像センサ、およびメモリを含むように別々の構成要素を有するデバイス300を示すが、いくつかの実施形態では、これらの別々の構成要素は、特定の設計上の目的を達成するために様々な方法で組み合わされることがある。たとえば、代替的な実施形態では、メモリ構成要素は、コストを節約し、性能を改善するために、プロセッサ構成要素と組み合わされ得る。

加えて、図3は、いくつかの処理モジュールを備えるメモリ330と、作業メモリ305を備える別個のメモリとを含む、いくつかのメモリ構成要素を示すが、いくつかの実施形態では、異なるメモリアーキテクチャが利用され得る。たとえば、ある設計は、メモリ330に含まれるモジュールを実装するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用することがある。プロセッサ命令は、画像プロセッサ320による実行を容易にするためにRAMにロードされ得る。たとえば、作業メモリ305は、RAMメモリを備えることがあり、命令は、画像プロセッサ320による実行の前に作業メモリ305にロードされる。いくつかの実施形態では、処理モジュールの1つまたは複数は、メモリ330に記憶されるソフトウェアであることがあり、または、ソフトウェア構成要素と組み合わされたハードウェアシステムを備えることがある。さらに、画像プロセッサ320およびデバイスプロセッサ350の一方と上で関連付けられる機能は、上ではそのようには説明されていないが、画像プロセッサ320およびデバイスプロセッサ350の他方によって、または画像プロセッサ320とデバイスプロセッサ350の両方によって実行されることがある。

いくつかの実施形態では、画像プロセッサ320はさらに、画像を捕捉する前、画像を捕捉する間、および画像を捕捉した後に、1つまたは複数の処理動作に参加するように構成され得る。たとえば、画像を捕捉する前に、画像プロセッサ320は、上で説明されたプロセスの1つまたは複数(たとえば、カメラ315の露出および焦点を推定して調整すること)を実行するように構成され得る。いくつかの実施形態では、画像プロセッサ320は、LEDフラッシュ、TOFシステム317、距離/反射率モジュール340、TOFモジュール355、AECモジュール360、およびAFモジュール365のうちの1つまたは複数とともに、画像捕捉デバイス302(具体的にはカメラ315)の露出および焦点を調整するように構成され得る。画像プロセッサ320はしたがって、ユーザが望むような適切な設定(露出および焦点)で画像捕捉デバイス302が目標物体またはFOVの画像を捕捉することを可能にするように構成され得る。

いくつかの実施形態では、画像プロセッサ320は、カメラ315の露出および焦点の調整ならびに推定に関与することがあり、かつ/またはそれらを制御することがある。画像プロセッサ320は、フラッシュ316、カメラ315、AECモジュール360、距離/反射率モジュール340を制御して、推定されるフラッシュ露出(上で図1Aに関して説明されたような)を確立するように構成され得る。したがって、画像プロセッサ320は、フラッシュ316からのあらゆる照明の前に、目標物体の明るさを監視することができる(図2において言及されるような、目標物体210の明るさを監視することは、カメラ315を使用して目標物体を見て、フラッシュ316からの光なしでの目標物体もしくは環境の明るさを検出または特定することを含み得る)。画像プロセッサ320は次いで、AECモジュール360から受信された指令および入力に基づいて、プリフラッシュレベルの光を放出して画像捕捉デバイス302の露出を調整するように、フラッシュ316を制御することができる。プリフラッシュ露出に達すると、画像プロセッサ320は、フラッシュ316をオフにして、画像捕捉デバイス302の露出をAECモジュール360により計算されるような推定されるフラッシュ露出に設定することができる。次いで、画像プロセッサ320は、メインフラッシュ光レベルにてフラッシュ316を作動させ、目標物体210の画像を捕捉することができる。

代わりに、または加えて、画像プロセッサ320は、上で論じられたステップを実行する前に、推定されるプリフラッシュ露出を生成するように構成され得る。たとえば、画像プロセッサ320は、TOFモジュール355、TOFシステム317、および距離/反射率モジュール340のうちの1つまたは複数を介して、目標物体またはFOV内の点もしくは位置の列の、距離および反射の推定を実行するように構成され得る。本明細書において説明されるように、距離および反射の推定は、光(または光信号)が光放出器318から放出されたときから(目標物体またはFOV内の点もしくは位置から反射した後に)返ってくる光信号が光センサ319によって受信されるときまでに経過する時間の長さに基づき得る。TOF反射率の推定が実行される前に、その間に、またはその後に、画像プロセッサ320はまた、フラッシュなし期間に関して上で論じられたように、フラッシュ316からのあらゆる照明の前に目標物体の明るさを監視していることがあり、このことは、フラッシュ316からのあらゆる照明なしでカメラ315により受け取られる明るさのレベルを監視して、画像捕捉デバイス302のフラッシュなし露出(環境光のみ)を特定することを伴い得る。画像プロセッサ320は次いで、TOFシステム317から受け取られる情報(距離および反射率)をフラッシュなし露出と組み合わせて、プリフラッシュ露出の推定を生成し得る。いくつかの実施形態では、プリフラッシュ露出の推定は、オフライン事前較正の値を参照することを伴うことがあり、これは以下でさらに詳細に説明される。いくつかの実施形態では、プリフラッシュ露出の推定は、画像プロセッサ320が上で説明されたプリフラッシュ露出の調整を飛ばし、画像捕捉の間に使用するためのフラッシュ露出の推定に直接進み得るのに、十分正確であり得る。いくつかの実施形態では、TOF距離の推定は、メインフラッシュを用いた画像捕捉の間に使用するためのフラッシュ露出を推定する前に、プリフラッシュ露出の調整とともに組み合わされ得る。

いくつかの実施形態では、画像プロセッサ320は、TOFシステム317、TOFモジュール355、および距離/反射率モジュール340によって提供されるTOF距離の推定を使用して、画像捕捉デバイス302の焦点の推定を改善し、カメラ315により見られる目標物体の明るさに応答してカメラ315の焦点が調整され得るプリフラッシュ期間の間にフラッシュ316に応答して画像捕捉デバイス302(具体的には、カメラ/レンズ(「カメラ」)315)の焦点を調整するために必要とされる時間を減らし得る。露出推定について上で説明されたのと同様に、画像プロセッサ320は、カメラ315のプリフラッシュ焦点を推定するように構成されることがあり、その推定を、プリフラッシュの焦点の調整および推定の期間を減らした状態で、またはプリフラッシュの焦点の調整および推定の期間の代わりに、使用し得る。

代わりに、または加えて、画像プロセッサ320は、画像捕捉デバイス302の1つまたは複数の他の構成要素またはモジュールからの命令に応答して活動するだけであり得る。たとえば、AECモジュール360またはAFモジュール365は、AECモジュール360が上で説明された方法のいずれかに基づいて(TOFシステム入力を用いて、または用いずに)推定されるフラッシュ露出を計算することを可能にするように、または、AFモジュール365が上で説明されたような推定される焦点を計算することを可能にするように、画像捕捉デバイス302の他の構成要素に命令を出し得る。加えて、リアルタイムでのセンサからの画像データに基づいて、様々なハードウェア(画像信号プロセッサ(ISP)など)を使用して統計が収集され得る。たとえば、収集される統計は、64×48などの、あるサイズの格子上のすべての領域の合計および平均であり得る。収集される統計は画像データのヒストグラムも含み得る。

図4Aは、目標物体と撮像デバイスとの間の距離と、露出との関係を示すグラフ400である。グラフ400のx軸は、目標物体とカメラとの間の距離をセンチメートル(cm)で示し、一方でグラフ400のy軸は、カメラの決定された「正しい」(相対的な)露出レベルを表す。たとえば、グラフ400は、プリフラッシュ露出情報対目標物体の距離の例を示す。図4Bは、グラフ400と関連付けられ、距離426に関する情報の例、露出427に関する情報の例、および信号雑音比(SNR)431などのTOFセンサデータに関する情報の例を示す、表425である。グラフ400および表425は、開示される様々な態様の試験および比較から特定された実験的なデータを備える。表425は様々な列を含む。距離426は、目標物体とカメラとの間の距離を含み、LED AEC推定データに対応する3つの列は、目標物体のプリフラッシュ露出を示す露出427と、目標物体のプリフラッシュ輝度を示す輝度428と、プリフラッシュ期間が続く秒単位の時間の長さ(たとえば、カメラが露出427の露出に達するのにかかる時間)を含むプリフラッシュ時間列429とを含む。表425はまた、TOFシステムにより測定される(ミリメートル単位の)目標物体とカメラとの間の距離を含む測定される距離430と、TOFシステムにより特定される信号雑音比(SNR)を示すSNR431とを含む、TOFシステムデータを備える列を含む。表425はまた、異なる距離(センチメートル単位)に対応する4つの行を有する。この距離は、10cm、17cm、27cm、および43cmを含む。

グラフ400に示されるように、目標物体とカメラとの間の距離が短い場合は、目標物体がカメラに近いときに、フラッシュからの光がカメラにより見られる目標物体の明るさに与える影響が大きくなるのでプリフラッシュ露出はより小さくなり、プリフラッシュ露出レベルはより低くなる。それに対応して、カメラと目標物体との間の距離が長くなるにつれて、フラッシュからの光がカメラにより見られる目標物体の明るさに与える影響がより小さくなるので露出レベルは増大し、露出レベルは所与の明るさのレベルにて画像を捕捉するためにより高くなければならない。したがって、グラフ400および表425に示されるように、目標物体がカメラから10cmの距離にあるとき、カメラのプリフラッシュ露出は249であり得る。目標物体がカメラから17cmの距離にあるとき、カメラのプリフラッシュ露出は279であり得る。同様に、距離が27cmであるとき、プリフラッシュ露出は302であることがあり、距離が43cmであるとき、プリフラッシュ露出は340であることがある。表425の輝度(明るさ)428は、所与の距離における露出427のプリフラッシュ露出レベルを仮定したときの、カメラにより見られる目標物体の明るさを示す。この輝度は、プリフラッシュプロセスの最後における最終的な輝度であり、プリフラッシュ露出インデックスに相当する。たとえば、10cmの距離における目標物体のプリフラッシュ輝度は58であるが、17cmの距離における目標物体のプリフラッシュ輝度は55であり、27cmの距離では49であり、43cmの距離では62である。したがって、上で説明されたように、目標物体がカメラからより遠くなるにつれて、生じるプリフラッシュ露出は、同じまたは同様の明るさのレベルを得るにはより高くなり得る。

プリフラッシュ時間列429は、AECシステムがプリフラッシュ露出レベルへとカメラの露出を調整する間に経過する時間を与える。様々な距離に対応するプリフラッシュ時間列429の値を比較することによりわかるように、この時間はプリフラッシュ露出が増大するにつれて減少する。たとえば、目標物体の距離が10cmでありプリフラッシュ露出が249であるとき、この時間は0.675秒であるが、目標物体がカメラから43cmでありプリフラッシュ露出が340であるときは、0.447秒しかない。このことは、プリフラッシュ露出の調整のために失われる時間が、実行される露出の調整の量と直接関連していることを示す。

測定される距離430は、TOFシステムにより決定される、目標物体とカメラとの間の距離を示す。測定される距離430を距離426と比較することによって、TOFが目標物体とカメラとの間の距離の正確な測定結果を与えることがわかる。このデータにおいて、TOFシステムを介して測定される値は、1センチメートル未満しか違わない(距離426からの27cm対測定距離430からの261.5mm)。最後に、SNR431はTOFシステムにより特定されるSNRを示す。SNRは、カメラと目標物体との間の距離が10cmのときの60.8から、カメラと目標物体との間の距離が43cmのときの1.7まで減少する。

図4Cは、ある例示的な実施形態による、ある所与の距離における、反射率の値が変化する目標物体のプリフラッシュ露出を示す、プリフラッシュ露出対信号雑音比を示すグラフ450である。グラフ450のx軸は目標物体の色(または反射率の値)を示し、一方グラフ450のy軸はカメラの露出レベルを表す。図4Dは、図4Cと関連付けられる情報を示す表475である。グラフ450および表475は、開示される様々な態様の試験および比較から特定された実験的なデータを備える。グラフ450は、プリフラッシュ露出対目標物体の反射率を示す。表475は様々な列を含む。物体476は、目標物体の色(反射率)を含み、LED AEC推定データに対応する3つの列は、目標物体のプリフラッシュ露出情報を示すプリフラッシュ露出477と、目標物体のプリフラッシュ輝度情報を示す輝度478と、プリフラッシュ期間が続く秒単位の時間の長さ(たとえば、カメラがプリフラッシュ露出477の露出に達するのにかかる時間)の情報を含むプリフラッシュ時間479とを含む。表475はまた、TOFシステムにより測定される(ミリメートル単位の)目標物体とカメラとの間の距離を含む測定される距離480と、TOFシステムにより特定される信号雑音比(SNR)を示す信号雑音比(SNR)481とを含む、TOFシステムデータを備える列を含む。表475は、異なる反射率の値を有する異なる色の目標物体に対応する3つの行を有する。これらの色は、白、灰色、および黒を含む。

グラフ450に示されるように、目標物体の信号雑音比がより大きいとき、プリフラッシュ露出の値はより小さい。これは、上で説明されたように、目標物体がより高い反射率を有するときには、目標物体から反射する返ってくる信号がより大きく、反射率のより高い目標物体は通常、より反射率のより低い目標物体よりも少ない露出しか必要としないからであり得る。このことは、目標物体がより反射的である(たとえば、より高い反射率を有する)ときにフラッシュがカメラの露出に影響を与え得るという、上での説明に対応する。

グラフ450および表475に示されるように、プリフラッシュ露出477は、物体476における目標物体の露出(または色/材料)と符合する。たとえば、白い物体(灰色のまたは黒い目標物体より高い反射率を有する)は249というより低い露出値を有するが、灰色の目標物体および黒い目標物体はそれぞれ、313および344という露出値を有する。これらの値は、より反射率の値が高い目標物体が、より反射率の値が低い目標物体よりも低い露出の値を使用できるという、本明細書での議論に適合する。加えて、輝度478の輝度(明るさ)の値は、カメラにより見られる目標物体の明るさの量を示す。示されるように、白い目標物体、黒い目標物体、および灰色の目標物体はすべて、同等の値にある(それぞれ、58、17、および76)。いくつかの実施形態では、妥当な範囲内に輝度を操作するために、あるアルゴリズムが使用され得る。たとえば、白い目標物体、黒い目標物体、および灰色の目標物体の輝度値(それぞれ58、17、および76)は各々、妥当な値であると考えられ得る。加えて、表475において、輝度478のプリフラッシュの明るさが増大するにつれて、プリフラッシュ時間479は減少する。加えて、グラフ450に示されるように、SNR481における目標物体の各々のSNRは、プリフラッシュ露出477の露出レベルが増大するにつれて低減する(249の露出レベルは60.8というSNRを有するが、313および344の露出はそれぞれ40.4および21.2というSNRを有する)。図10に示されるように、SNRは、目標物体の反射率と相関し得る(たとえば、白い目標物体は灰色の目標物体よりも高いSNRを有し、灰色の目標物体はほぼ同じ距離にある黒い目標物体より高いSNRを有する)。図10に示されるように、輝度およびプリフラッシュ時間の値は、SNRよりもプリフラッシュ露出との相関が小さいことがある。

測定される距離480は、TOFシステムにより決定される、目標物体とカメラとの間の距離を示す。測定される距離480に示されるように、物体476の目標物体はすべて、互いに1cm以内にある(白は100.6mm、灰色は102.3mm、黒は106.1mmと測定される)。最後に、SNR481はTOFシステムにより特定されるSNRを示す。SNRは、白い目標物体に対する60.8から黒い目標物体に対する21.2まで減少する。

図5Aは、上で説明されたように、TOFまたはレーザーセンサを利用しないカメラを使用してLEDフラッシュ自動露出補正に基づいてフラッシュ露出を推定するための、撮像デバイスが実施するように構成され得るプロセス500を示すブロック図を示している。示されるように、プロセス500は、上で説明されたように、推定されるフラッシュ露出の特定に関係する4つのブロックを含む。プロセス500は、ブロック505において、フラッシュなし露出の決定とともに開始する。ブロック505のフラッシュなし露出は、フラッシュがいずれのレベルにおいても作動していないときのカメラの露出の特定の、上での議論に対応し得る。たとえば、これは、カメラがオンにされたがフラッシュ316から光を放出していないときに発生し得る。フラッシュなし露出は、後で使用するために特定され記憶され得る。フラッシュなし露出がブロック505において決定されると、プロセス500はブロック510および515に進み、これらは同時に行われ得る。

ブロック510は、プリフラッシュレベルにてカメラのフラッシュを作動させることを含む。これは、たとえば、完全なフラッシュレベル未満で目標物体を照明するようにフラッシュを制御することを含み得る。フラッシュがプリフラッシュレベルにて作動する間、ブロック515はカメラの露出をプリフラッシュ露出レベルへと調整する。いくつかの実施形態では、プリフラッシュ露出レベルは、輝度が指定された範囲内にあるように調整され得る(たとえば、上で説明されたように、58、17、および76の各々が指定された範囲内にあり得る)。いくつかの実施形態では、目標物体の反射率、距離、およびプリフラッシュ露出レベルは、輝度値を指定された範囲内にもってくるように調整され得る。そのような調整は、上で説明されたAECモジュールによって、またはカメラの露出を制御するように構成される任意の他のモジュールによって実行され得る。ブロック510および515の間、カメラはまったく画像を捕捉しないことがある。代わりに、カメラは、目標物体および/または環境の明るさを監視し、監視された明るさに従って露出を目標露出レベルへと調整するだけであり得る。加えて、プリフラッシュ露出は、後で使用するために記憶され得る。たとえば、AECモジュール360は、記憶されているプリフラッシュ露出レベルとともにプリフラッシュとメインフラッシュの明るさの比(あらかじめ定められている/所定の何らかの値)を使用して、最終的なフラッシュ画像での望まれる露出レベルを推定し得る。いくつかの実施形態では、メインフラッシュはプリフラッシュより明るいことがあるので(明るさの比>1)、AECモジュール360はさらに、最終的な画像が適切に露出され得るように、プリフラッシュ露出レベルから露出レベルを下げる。いくつかの実施形態では、カメラの露出の調整は露出アルゴリズムによって実行され得る。プリフラッシュ露出がブロック515において決定されると、プロセス500はブロック520に進む。

ブロック520は、メインフラッシュの照明のためのカメラの露出を推定することを含む。これは、上で説明された露出アルゴリズムまたはAECモジュールによって実行され得る。露出アルゴリズムは、ブロック505において取得されるフラッシュなし情報とブロック515において取得されるプリフラッシュ露出情報とを利用して、上で説明された収集される統計情報を介して目標物体の明るさ(具体的には、LEDにより照明されている間にカメラにより見られる目標物体を含むフレームの明るさ)を計算するように構成され得る。露出アルゴリズムはさらに、メインフラッシュ駆動電流(プリフラッシュ駆動電流よりかなり大きい)によって照明されているときの目標物体およびシーンの明るさを推測し得る。この推測される明るさは、メインフラッシュが完全な電流(たとえば、メインフラッシュ駆動電流)で照明されているときに予想される目標物体またはシーンの推定される明るさレベルを表し得る。推測される明るさは次いで、目標またはシーンが過剰にまたは過少に露出されないように(たとえば、捕捉目標またはシーンが適切な明るさであるように)、カメラの露出を適切なレベルに設定するために使用され得る。推定されるフラッシュ露出が決定されると、プロセス500は終了する。いくつかの実施形態では、特定された明るさおよび/または露出は後で使用するために記憶され得る。

図5Bは、たとえば上で説明されたように、AECモジュールとともにTOFシステムまたはレーザーセンサを利用するカメラによって、目標物体の決定された距離および反射率に基づいてフラッシュ露出を推定するための、撮像デバイスが実施するように構成され得るプロセス550を示すブロック図である。示されるように、プロセス550は、推定されるプリフラッシュの特定に関係する4つのブロックを含むが、任意選択の第5のブロックが含まれることがある(しかしここでは示されていない)。プロセス550は、同時に行われるブロック555および560とともに開始する。ブロック555は、TOFシステムを使用して目標物体までの距離を推定することを含む。

いくつかの実施形態では、目標物体の距離の決定は、目標物体の中心またはカメラのFOVの中心に基づく単一の距離の推定のみを含み得る。いくつかの実施形態では、目標物体の距離は、カメラのFOVにわたって分布する様々な点に対する距離情報の列を使用して決定され得る。たとえば、TOFシステムは、FOVの周りの様々な場所に光を放出し、様々な場所からの光を感知して、距離情報の列を生成し得る。いくつかの実施形態では、カメラは次いで、列からの距離情報を平均して画像の距離を決定し得る。いくつかの実施形態では、カメラは、FOV内の目標物体の場所に対応する列の中のある点における列からの距離情報に基づいて、(たとえば、焦点を選択するときなどにユーザによって選択されるような)FOV内の特定の場所における目標物体に対する距離情報を特定し得る。

撮像デバイスは、TOFシステムを使用して目標物体の反射率を決定するように構成され得る。反射率は、TOF放出器から放出されTOFセンサによって受信される光の返ってくるエネルギーに基づいて決定され得る。上で説明されたように、返ってくるエネルギーが大きいほど、目標物体の反射率は高い。上の距離情報と同様に、反射率の決定は、FOVの列の反射率の決定を含むことがあり、ここでFOV内の複数の場所の反射率が決定および/または計算され得る。

TOFシステムの距離の推定と同時に、カメラは、ブロック560においてフラッシュなし露出を特定するように構成され得る。ブロック560におけるフラッシュなし露出は、図5Aに関して上で説明されたブロック505におけるフラッシュなし露出と同様または同一であり得る。ブロック560のフラッシュなし露出は、TOFシステムが目標物体またはFOVの明るさに影響する光を利用しないので、ブロック555のTOF距離推定と同時に決定され得る。したがって、TOFシステムによって放出される光(たとえば、IR光)は、露出検出の間にカメラによって見られる目標物体またはFOVの明るさに影響しないので、フラッシュなし露出検出は、TOFシステム距離推定と同時に実行され得る。いくつかの実施形態では、カメラによる露出推定は、任意のTOFシステム推定と同時に実行され得る。ブロック555および560が完了すると、プロセス550はブロック565に進む。

図5Bのカメラは、ブロック565においてプリフラッシュ露出を推定する。上で説明されたように、カメラは、ブロック560のフラッシュなし露出とともにブロック555において特定されたTOF距離推定を使用して、プリフラッシュ期間より前に初期のプリフラッシュ露出を計算し得る。プリフラッシュ期間に入る前に推定される初期のプリフラッシュ露出を適用することは、プリフラッシュ期間においてカメラが費やし得る時間の長さを減らすことができ、それは、カメラの露出が適切なプリフラッシュ露出により近いレベルにあるので、プリフラッシュ期間の間に必要な露出の調整が減るからである。上で説明されたように、カメラがプリフラッシュ期間を使用してプリフラッシュ露出に達するようにフラッシュなし露出を調整するとき、カメラは、環境光、目標物体とカメラとの間の距離、および目標物体の反射率に少なくとも応じて、露出を大きく調整し得る。しかしながら、ブロック555および560が目標物体の距離および反射率を与えるので、ブロック565は、所望の明るさのレベルにて目標物体の画像を捕捉するために必要とされるカメラの露出のより正確な推定を与えることができ、カメラの露出は、プリフラッシュ露出推定レベルからより少量しか調整される必要がない。

いくつかの実施形態では、ブロック565のプリフラッシュ露出推定があらかじめ較正され得る。いくつかの実施形態では、オフラインの事前較正は、様々な距離において目標物体を捕捉するときのカメラの露出を特定することで、様々な距離における目標物体に対する露出値のライブラリを構築することを伴い得る。いくつかの実施形態では、オフラインの事前較正は、同じ距離において可変の反射率を有する様々な目標物体を捕捉するときのカメラの露出値を特定することで、可変の反射率の値とともにある距離に対する露出値のライブラリを構築することを備え得る。いくつかの実施形態では、事前較正は、ブロック565のプリフラッシュ露出推定がプリフラッシュ露出のより正確な推定を生み出すのを助ける情報を提供し得る。いくつかの実施形態では、様々な反射率の値を有する様々な距離にある目標物体を捕捉することによって、ライブラリまたは他のデータベースが生成され得る。ライブラリまたはデータベースは、すべての状況をカバーすることができ、距離および反射率またはSNRが入力されるとライブラリまたはデータベースの中で正しい露出レベルをアルゴリズムが正確に特定することを可能にできる。たとえば、事前較正情報は、ブロック565がTOF距離推定を与えられるときにプリフラッシュ露出をより良好に推定することを可能にでき、それは、ブロック565が推定される距離および推定される反射率のために較正情報の中の露出値を再検討できるからである。より良好な推定は、ブロック565のプリフラッシュ露出推定が、プリフラッシュ露出値をより正確に推定することを可能にできるので、プリフラッシュ期間においてカメラが費やし得る時間の長さがさらに短くなる。

ブロック565がプリフラッシュ露出推定を完了すると、プロセス550はブロック570に進み、そこで、カメラは上で説明されたプリフラッシュ期間に入る(たとえば、プロセス500のブロック510および515に入る)。いくつかの実施形態(この図には示されていない)では、ブロック565のプリフラッシュ露出推定は、正確なプリフラッシュ露出推定を与え得る。したがって、プロセス550は、プリフラッシュ露出調整期間を飛ばして、メインフラッシュ期間の間の画像捕捉に直接進み得る。したがって、いくつかの実施形態では、ブロック565のプリフラッシュ露出推定は、TOF距離および反射の推定と、ブロック555および560のフラッシュなし露出とをそれぞれ使用する、メインフラッシュ露出推定ブロックを備え得る。そのようにプリフラッシュ期間を完全になくすことで、上で説明されたAECプロセスがTOFシステムとともに使用されないときにAECプロセスによりもたらされる遅延を大きく減らすことができる。

いくつかの実施形態では、カメラは、ブロック555のTOF距離推定を使用してプリフラッシュ焦点をより良好に推定し得る。たとえば、カメラが画像を捕捉することを準備しているとき、カメラは、TOF距離推定からの情報を使用して、目標物体への合焦にカメラが費やす時間の長さを減らすより正確なプリフラッシュ焦点推定を生成することができるが、カメラはそれでもプリフラッシュ期間に進むことがある。

図6は、いくつかの実施形態による、露出を決定するための方法600の例を示すフローチャートである。方法600は、ブロック602において開始し、ブロック604に進み得る。ブロック604において、方法600は、TOFシステムを介して目標物体に向かって光信号を放出し得る。TOFシステムは、図2および図3に関して上で説明されたように、TOFシステム214/317(光放出器と光センサの両方を含む)を備え得る。いくつかの実施形態では、TOFシステムは、図2および図3にそれぞれ示される画像捕捉デバイス202および302などの、画像捕捉デバイスの一部であり得る。TOFシステムは、プロセッサ(たとえば、画像プロセッサ320またはデバイスプロセッサ350のうちの1つ)を介して、または図3に関して上で説明されたモジュールのいずれかを介して、制御され得る。光信号が生成されて目標物体に向かって放出されると、方法600はブロック606に進む。

ブロック606において、方法600は、光センサ、たとえば図2および図3においてそれぞれ言及された光センサ220/318を介して、目標物体からの放出された光信号の反射を感知する。いくつかの実施形態では、TOFシステムの光センサは、受け取られた反射に関する情報を画像捕捉デバイスのプロセッサに通信することができ、または、作業メモリ305もしくは電子記憶モジュール310などのメモリに情報を記憶することができる。代わりに、光センサからの情報は、図3に示されるような画像捕捉デバイス302の中のモジュールのいずれにも通信され得る。反射された光がTOFシステムの光センサによって感知されると、方法600はブロック608に進む。

ブロック608において、方法600は、光センサによって感知される放出された光信号の反射に基づいて、返ってくるエネルギーを決定する。返ってくるエネルギーは、光センサ自体によって決定されることがあり、またはプロセッサの1つによって決定されることがある。代わりに、または加えて、返ってくるエネルギーは、たとえば距離/反射率モジュール340またはTOFモジュール355などの、図3の画像捕捉デバイス302のモジュールの1つまたは複数によって、放出された光信号の反射に基づいて決定され得る。方法600が放出された光信号の反射に基づいて反射されたエネルギーを決定すると、方法600はブロック610に進む。ブロック610において、方法600は、光信号がTOFシステムの光放出器により放出されるときと、放出される光信号の目標物体からの反射をTOFシステムの光センサが感知するときとの間の時間を測定する。いくつかの実施形態では、この時間の測定は、プロセッサによって、または図3の画像捕捉デバイス302のモジュールの1つ、たとえば距離/反射率モジュール340またはTOFモジュール355によって実行され得る。いくつかの実施形態では、この時間の測定は時計351を伴い得る。いくつかの実施形態では、測定の結果は、メモリに記憶されることがあり、またはプロセッサもしくは関連するモジュールのいずれかに通信されることがある。時間が測定されたら、方法600はブロック612に進む。

ブロック612において、方法600は、測定された時間に基づいて、目標物体とTOFシステムとの間の距離を決定する。いくつかの実施形態では、この決定は、TOFシステム自体またはプロセッサの1つによって実行され得る。いくつかの実施形態では、この決定は、画像捕捉デバイス302の距離/反射率モジュール340によって行われ得る。いくつかの実施形態では、決定された距離は、メモリの1つに記憶されることがあり、またはモジュールもしくはプロセッサの1つによって直ちに使用されることがある。ブロック612が完了すると、方法600はブロック614に進む。ブロック614において、方法600は、返ってくるエネルギーに基づいて目標物体の反射率を特定する。いくつかの実施形態では、反射率は、距離/反射率モジュール340またはTOFシステムによって特定され得る。いくつかの実施形態では、プロセッサの1つまたは他のモジュールの1つが、感知された反射および特定された環境光またはフラッシュなしの光に基づいて、目標物体の反射率を特定するように構成され得る。いくつかの実施形態では、反射率は、光センサにより感知される返ってくるエネルギーに基づいて決定され得る。いくつかの実施形態では、反射率を特定することは、1つまたは複数の他の測定されたパラメータ、特定されたパラメータ、または決定されたパラメータ(環境光の露出などの)も組み込むことがある。反射率がブロック614において決定されると、方法600はブロック616に進む。

ブロック616において、方法600は、決定された距離および特定された反射率に基づいて目標物体の露出レベルを決定する。いくつかの実施形態では、露出レベルの決定は、AECモジュール360または図3のプロセッサの1つまたは他のモジュールの1つによって実行され得る。いくつかの実施形態では、露出レベルは光センサによって決定され得る。いくつかの実施形態では、露出レベルは、メモリの1つに記憶されることがあり、または図3の画像捕捉デバイス302のモジュールの1つに直ちに通信されることがある。露出レベルが決定されると、方法600はブロック618において終了する。

いくつかの実施形態では、上で説明された、決定された値もしくは量、特定された値もしくは量、測定された値もしくは量、または生成された値もしくは量は、たとえば図3により参照されるようにディスプレイ325に表示されることがあり、または、作業メモリ305もしくは電子記憶モジュール310に記憶されることがあり、またはプロセッサの1つによって処理されることがある。

本明細書で使用される「決定すること(determining)」という用語は、多種多様な行為を包含する。たとえば、「決定する」ことは、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベースまたは別のデータ構造内でルックアップすること)、確認することなどを含み得る。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含み得る。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含み得る。さらに、本明細書で使用される「チャネル幅」は、いくつかの態様では帯域幅を包含することがあり、または帯域幅と呼ばれることもある。

本明細書で使用される、項目の列挙「のうちの少なくとも1つ」に言及する句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含することが意図されている。

上で説明された方法の様々な動作は、様々なハードウェアおよび/もしくはソフトウェア構成要素、回路、ならびに/またはモジュールなどの、動作を実行することが可能な任意の好適な手段によって実行され得る。一般に、図に示された任意の動作は、その動作を実行することが可能な対応する機能的手段によって実行され得る。

本明細書で使用されるインターフェースという用語は、2つ以上のデバイスを一緒に接続するように構成されたハードウェアまたはソフトウェアを指すことがある。たとえば、インターフェースは、プロセッサまたはバスの一部であることがあり、デバイス間の情報またはデータの通信を可能にするように構成されることがある。インターフェースは、チップまたは他のデバイスに統合され得る。たとえば、いくつかの実施形態では、インターフェースは、あるデバイスからの情報または通信を別のデバイスにおいて受信するように構成された受信機を備え得る。(たとえば、プロセッサまたはバスの)インターフェースは、フロントエンドまたは別のデバイスによって処理された情報またはデータを受信することができ、または受信された情報を処理することができる。いくつかの実施形態では、インターフェースは、情報またはデータを別のデバイスに送信または通信するように構成された送信機を備え得る。したがって、インターフェースは、情報もしくはデータを送信することができ、または、情報もしくはデータを、(たとえば、バスを介した)送信のために出力するために準備することができる。

本開示に関連して説明される様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)もしくは他のプログラマブル論理デバイス(PLD)、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書において説明される機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。

1つまたは複数の態様では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されることがあり、またはコンピュータ可読媒体を介して送信されることがある。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体の両方を含む。記憶媒体は、コンピュータによりアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令もしくはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(「DSL」)、または、赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、もしくは他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または、赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的コンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、いくつかの態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるものとする。

本明細書で開示される方法は、説明された方法を実現するための1つまたは複数のステップまたは活動を備える。方法のステップおよび/または活動は、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたは活動の特定の順序が指定されない限り、特定のステップおよび/または活動の順序および/または使用は、特許請求の範囲から逸脱することなく変更され得る。

説明された機能は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令としてコンピュータ可読媒体上に記憶され得る。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令もしくはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。

したがって、いくつかの態様は、本明細書で提示された動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書において説明された動作を実行するように1つまたは複数のプロセッサによって実行可能である命令が記憶された(および/または符号化された)コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび/または他の適切な手段が、適用可能な場合、ユーザ端末および/もしくは基地局によってダウンロードされ、かつ/または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書において説明された方法を実行するための手段の転送を容易にするために、サーバに結合され得る。代替として、本明細書において説明された様々な方法は、ユーザ端末および/または基地局が記憶手段をデバイスに結合または提供すると様々な方法を取得できるように、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピー(登録商標)ディスクなどの物理的記憶媒体など)を介して提供され得る。その上、本明細書において説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。

特許請求の範囲は、上で示された厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、上で説明された方法および装置の構成、動作、および詳細において、様々な修正、変更、および変形が行われ得る。

上記は本開示の態様を対象とするが、本開示の他の態様およびさらなる態様が、その基本的範囲から逸脱することなく考案されることがあり、その範囲は以下の特許請求の範囲によって決定される。

100 タイミング図
102 フラッシュ線
104 露出線
106 区間
108 露出レベル
110 推定されるフラッシュ露出レベル
150 タイミング図
151 フラッシュなし期間
152 プリフラッシュ期間
153 低いレベル
154 メインフラッシュ期間
160 タイミング図
170 タイミング図
202 画像捕捉デバイス
204 光
206 光経路
208 反射された光
210 目標物体
212 光放出器
214 TOFシステム
220 光センサ
305 作業メモリ
310 電子記憶モジュール
315 カメラ/レンズ
316 フラッシュ
318 光放出器
319 光センサ
320 画像プロセッサ
325 ディスプレイ
330 メモリ
335 捕捉制御モジュール
340 距離/反射率モジュール
345 オペレーティングシステム
350 デバイスプロセッサ
351 時計
355 time-of-flightモジュール
360 AECモジュール
365 AFモジュール
370 空間モジュール
400 グラフ
425 表
426 距離
427 プリフラッシュ露出
428 プリフラッシュ輝度
429 プリフラッシュ時間
430 測定された距離
431 信号雑音比
450 グラフ
475 表
476 物体
477 プリフラッシュ露出
478 プリフラッシュ輝度
479 プリフラッシュ時間
480 測定された距離
481 信号雑音比
600 方法

Claims (30)

1. time-of-flight(TOF)システムであって、
   光信号を放出するように構成される放出器と、
   前記放出された光信号の目標物体からの反射を感知するように構成される感知システムと
   を備え、前記放出された光信号の前記反射に基づいて返ってくるエネルギーを決定するように構成されるTOFシステムと、
   前記TOFシステムに結合された時計であって、前記光信号が放出されるときと前記放出された光信号が前記感知システムによって感知されるときとの間の時間を測定するように構成される、時計と、
   前記TOFシステムおよび前記時計と通信しているプロセッサであって、
   前記測定された時間に基づいて、前記目標物体と前記TOFシステムとの間の距離を決定し、
   前記放出された光信号の前記返ってくるエネルギーに基づいて前記目標物体の反射率を特定し、
   前記目標物体までの前記距離および前記目標物体の前記反射率に基づいて露出レベルを決定する
   ように構成される、プロセッサとを備える、撮像装置。
2. 前記プロセッサがさらに、前記返ってくるエネルギーに基づいて前記目標物体の信号雑音比(SNR)を特定するように構成され、前記SNRが前記目標物体の前記反射率に対応する、請求項1に記載の撮像装置。
3. 環境光の条件のもとでの前記目標物体の明るさのレベルを決定するように構成されるカメラをさらに備える、請求項1に記載の装置。
4. 前記プロセッサがさらに、環境光の条件のもとでの前記目標物体の前記明るさに基づいて前記露出レベルを決定するように構成される、請求項3に記載の装置。
5. 前記カメラが、前記カメラの露出を調整するための露出構成要素と、前記カメラの焦点を調整するための焦点構成要素とを備える、請求項3に記載の装置。
6. 前記決定された露出レベルに基づいて前記露出構成要素を介して前記カメラの前記露出を調整するように構成される自動露出制御(AEC)モジュールをさらに備え、前記AECモジュールが前記決定された露出レベルを使用して前記カメラの前記露出を画像捕捉露出レベルへと調整する、請求項5に記載の装置。
7. 前記決定された露出レベルに基づいて前記カメラの前記焦点を調整するように構成されるオートフォーカス(AF)モジュールをさらに備え、前記AFモジュールが前記決定された露出レベルを使用して前記カメラの前記焦点を画像捕捉焦点レベルへと調整する、請求項5に記載の装置。
8. 前記TOFシステムが、視野(FOV)にわたる点または位置の列に対する距離情報および返ってくるエネルギーの情報を生成するように構成される、請求項1に記載の装置。
9. 前記TOFシステムが、視野(FOV)にわたる1つまたは複数の項目に対する空間的な位置を検出するように構成される、請求項1に記載の装置。
10. 前記プロセッサがさらに、前記目標物体と前記TOFシステムとの間の前記特定された距離、前記目標物体の前記特定された反射率、および前記目標物体の環境の外部光条件に基づいて、前記目標物体の暗さを導出するように構成される、請求項1に記載の装置。
11. 前記プロセッサがさらに、較正情報に基づいて前記露出レベルを決定するように構成され、前記較正情報が、複数の距離において捕捉される第1の物体の露出レベルに関する情報、または固定された距離における複数の物体の露出レベルに関する情報を備え、前記複数の物体の各々が異なる反射率を有する、請求項1に記載の装置。
12. 画像を捕捉するための方法であって、
    time-of-flight(TOF)システムを介して光信号を放出するステップと、
    前記TOFシステムを介して前記放出された光信号の目標物体からの反射を感知するステップと、
    前記放出された光信号の前記反射に基づいて返ってくるエネルギーを決定するステップと、
    前記光信号が放出されるときと前記放出された光信号が感知されるときとの間の時間を測定するステップと、
    前記測定された時間に基づいて、前記目標物体と前記TOFシステムとの間の距離を決定するステップと、
    前記放出された光信号の前記返ってくるエネルギーに基づいて前記目標物体の反射率を特定するステップと、
    前記目標物体までの前記距離および前記目標物体の前記反射率に基づいて露出レベルを決定するステップとを備える、方法。
13. 前記返ってくるエネルギーに基づいて前記目標物体の信号雑音比(SNR)を特定するステップをさらに備え、前記SNRが前記目標物体の前記反射率に対応する、請求項12に記載の方法。
14. カメラを介して、環境光の条件のもとでの前記目標物体の明るさのレベルを決定するステップをさらに備える、請求項12に記載の方法。
15. 環境光の条件のもとでの前記目標物体の前記明るさに基づいて前記露出レベルを決定するステップをさらに備える、請求項14に記載の方法。
16. 露出構成要素を介して前記カメラの露出を調整するステップと、焦点構成要素を介して前記カメラの焦点を調整するステップとをさらに備える、請求項14に記載の方法。
17. 自動露出制御(AEC)モジュールを介して、前記決定された露出レベルに基づいて前記露出構成要素を介して前記カメラの前記露出を調整するステップをさらに備え、前記AECモジュールが前記決定された露出レベルを使用して前記カメラの前記露出を画像捕捉露出レベルへと調整する、請求項16に記載の方法。
18. オートフォーカス(AF)モジュールを介して、前記決定された露出レベルに基づいて前記カメラの前記焦点を調整するステップをさらに備え、前記AFモジュールが前記決定された露出レベルを使用して前記カメラの前記焦点を画像捕捉焦点レベルへと調整する、請求項16に記載の方法。
19. 前記目標物体と前記TOFシステムとの間の前記特定された距離、前記目標物体の前記特定された反射率、および前記目標物体の環境の外部光条件に基づいて、前記目標物体の暗さを導出するステップをさらに備える、請求項12に記載の方法。
20. 較正情報に基づいて前記露出レベルを決定するステップをさらに備え、前記較正情報が、複数の距離において捕捉される第1の物体の露出レベルに関する情報、または固定された距離における複数の物体の露出レベルに関する情報を備え、前記複数の物体の各々が異なる反射率を有する、請求項12に記載の方法。
21. 光信号のtime-of-flight(TOF)を特定するための手段であって、
    前記光信号を放出するための手段と、
    前記放出された光信号の目標物体からの反射を感知するための手段と、
    前記放出された光信号の前記反射に基づいて返ってくるエネルギーを決定するための手段と
    を備える、手段と、
    前記光信号が放出されるときと前記放出された光信号が感知されるときとの間の時間を測定するための手段と、
    前記測定された時間に基づいて、前記目標物体と前記TOF特定手段との間の距離を決定するための手段と、
    前記放出された光信号の前記返ってくるエネルギーに基づいて前記目標物体の反射率を特定するための手段と、
    前記目標物体までの前記距離および前記目標物体の前記反射率に基づいて露出レベルを決定するための手段とを備える、撮像装置。
22. 前記反射率特定手段がさらに、前記返ってくるエネルギーに基づいて前記目標物体の信号雑音比(SNR)を特定するように構成され、前記SNRが前記目標物体の前記反射率に対応する、請求項21に記載の撮像装置。
23. 環境光の条件のもとでの前記目標物体の明るさのレベルを決定するように構成される、画像を捕捉するための手段をさらに備える、請求項21に記載の撮像装置。
24. 前記露出レベル決定手段が、環境光の条件のもとでの前記目標物体の前記明るさに基づいて前記露出レベルを決定するように構成される、請求項23に記載の撮像装置。
25. 前記画像捕捉手段が、前記画像捕捉手段の露出を調整するための手段と、前記画像捕捉手段の焦点を調整するための手段とを備える、請求項23に記載の撮像装置。
26. 前記決定された露出レベルに基づく前記露出調整手段を介した前記画像捕捉手段の自動露出制御(AEC)のための手段をさらに備え、前記AEC手段が、前記決定された露出レベルを使用して前記画像捕捉手段の前記露出を画像捕捉露出レベルへと調整する、請求項25に記載の撮像装置。
27. 前記決定された露出レベルに基づいて前記焦点調整手段を介して前記画像捕捉手段を自動的に合焦する(AF)ための手段をさらに備え、前記AF手段が、前記決定された露出レベルを使用して前記画像捕捉手段の前記焦点を画像捕捉焦点レベルへと調整する、請求項25に記載の撮像装置。
28. 前記反射率特定手段がさらに、前記目標物体と前記生成手段、前記放出手段および前記感知手段との間の前記特定された距離、前記目標物体の前記特定された反射率、ならびに前記目標物体の環境の外部光条件に基づいて、前記目標物体の暗さを導出するように構成される、請求項21に記載の撮像装置。
29. 前記露出レベル決定手段が、較正情報に基づいて前記露出レベルを決定するように構成され、前記較正情報が、複数の距離において捕捉される第1の物体の露出レベルに関する情報、または固定された距離における複数の物体の露出レベルに関する情報を備え、前記複数の物体の各々が異なる反射率を有する、請求項21に記載の撮像装置。
30. 実行されると、画像を捕捉する方法を装置に実行させる命令が符号化されているコンピュータ可読記憶媒体であって、前記方法が、
    time-of-flight(TOF)システムを介して光信号を放出するステップと、
    前記TOFシステムを介して前記放出された光信号の目標物体からの反射を感知するステップと、
    前記放出された光信号の前記反射に基づいて返ってくるエネルギーを決定するステップと、
    前記光信号が放出されるときと前記放出された光信号が感知されるときとの間の時間を測定するステップと、
    前記測定された時間に基づいて、前記目標物体と前記TOFシステムとの間の距離を決定するステップと、
    前記放出された光信号の前記返ってくるエネルギーに基づいて前記目標物体の反射率を特定するステップと、
    前記目標物体までの前記距離および前記目標物体の前記反射率に基づいて露出レベルを決定するステップとを備える、コンピュータ可読記憶媒体。

Images