JP2017223648A - 飛行時間型深度イメージングの際の消費電力の低減 - Google Patents

Abstract

【課題】実施形態の態様は、受動的深度決定を対象とする。【解決手段】最初に、場面の高電力の深度マップが作成され得る。剛体またはその他の物体もしくは物体の一部など、場面内の物体が特定され得る。一連のより低電力のまたはＲＧＢ画像がキャプチャされ得る。物体は、より低電力のまたはＲＧＢ画像のうちの１つまたは複数内に位置し得る。画素集合によって表された、物体の位置における変化が、決定され得る。物体の位置における変化から、物体の新しい深度が外挿され得る。物体の外挿された深度が、高電力の深度マップを更新するのに使用され得る。【選択図】図１Ａ

Description

本開示は、飛行時間型深度イメージングの際の消費電力を低減するためのシステムおよび方法に関する。

デバイスと物体との間の距離の検知は、デバイスから光を出射し、光が物体から反射され、次にデバイスによって集められるのに掛かる時間を測定することによって、行われ得る。距離検知デバイスは、デバイスによって出射され、次に環境内の物体から反射された光を集める、光センサを含み得る。

飛行時間型（ＴＯＦ：Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）３次元（３Ｄ：Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ）画像センサでは、画像センサは、２次元画像をキャプチャする。画像センサは、デバイスからのその距離が、出射された光が画像センサに戻るのに掛かる時間を検出することによって測定される、物体を照明する光源をさらに備える。このことは、第３次元の情報を提供し、３Ｄ画像の生成を可能にさせる。イメージングデバイスからのそれらの距離を決定する目的で、物体を照明する光源を使用することは、かなりの電力量を使う場合がある。

実施形態の態様は、イメージングデバイスを操作する方法を対象とする。方法は、画像センサによって第１の画像をキャプチャすることと、キャプチャされた画像内の物体の少なくとも一部を特定することと、画像センサによって第２の画像をキャプチャすることと、物体の少なくとも一部の位置における変化を、第２の画像から決定することと、物体の少なくとも一部の位置における変化に基づき、深度マップを更新することと、を含むことができる。

実施形態の態様は、画像センサ、光源、および画像プロセッサを含む、イメージングデバイスを対象とする。イメージングデバイスは、画像センサによって第１の画像をキャプチャし、キャプチャされた画像内の物体の少なくとも一部を特定し、画像センサによって第２の画像をキャプチャし、物体の少なくとも一部の位置における変化を、第２の画像から決定し、かつ物体の少なくとも一部の位置における変化に基づき、深度マップを更新するように構成される。

本出願の様々な態様および実施形態が以下の図を参照して説明されることになる。図は、必ずしも一定の比率の縮尺で描かれていないことを理解されたい。複数の図に現れる項目は、それらが現れる図のすべてにおいて、同じ参照番号で示される。

図１Ａは、いくつかの実施形態による、距離を検知するように構成された例示的なイメージングデバイスを描写する。

図１Ｂは、いくつかの実施形態による、図１Ａに示されたイメージングデバイスによって生成された例示的な距離マップを描写する。

図２は、いくつかの実施形態による、イメージングデバイスのブロック図である。

図３は、いくつかの実施形態による、距離情報を決定する方法を描写するフローチャートである。

図４は、いくつかの実施形態による、物体までの距離を決定するためのパルス変調技法を図示する。

図５は、いくつかの実施形態による、１つのイメージングフレーム内の例示的なパルス変調パターンを描写する。

図６は、照明光が、すべてではなく一部のフレームにおいて射出される、一連のフレームを図示する。

図７は、本明細書に説明されるタイプのイメージングデバイスを組み込む、システムの一例を図示する。

図８は、本明細書に説明されるタイプのイメージングデバイスを組み込む、モバイルデバイスを図示する。

図９は、本明細書に説明されるタイプのイメージングデバイスを組み込む、ゲームコンソールを図示する。

図１０は、本明細書に説明されるタイプのイメージングデバイスを組み込む、ロボットを図示する。

図１１は、本開示の実施形態による、イメージングデバイスを使用してイメージングする際のプロセスフロー図である。

図１２Ａは、本開示の実施形態による、場面からのより高品質の画像を、同じ場面のより低品質の画像からもたらすための１つまたは複数のアルゴリズムパラメータを決定する際のプロセスフロー図である。

図１２Ｂは、本開示の実施形態による、決定されたアルゴリズムパラメータを使用し、より低品質のキャプチャされた画像から、より高品質の画像をもたらす際のプロセスフロー図である。

図１３Ａは、本開示の実施形態による、アルゴリズムパラメータを決定して、キャプチャされた画像から特徴抽出をもたらす際のプロセスフロー図である。

図１３Ｂは、本開示の実施形態による、イメージングシステムによってキャプチャされた１組のフレームからの特徴抽出の際のプロセスフロー図である。

図１４は、本開示の実施形態による、低電力の深度画像をフィルタ処理する際のプロセスフロー図である。

図１５は、本開示の実施形態による、剛体移動情報を通して深度マップを更新する際のプロセスフロー図である。

図１６は、本開示の実施形態による、画像の画素単位の移動を決定して、深度マップを更新する際のプロセスフロー図である。

図１７は、いくつかの実施形態による、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａ Ｍｅａｓｕｒｉｎｇ Ｕｎｉｔ）を備えたイメージングデバイスのブロック図である。

図１８Ａは、ＲＧＢ画像を使用した深度マップ推定値と組み合わさったＩＭＵ測定データを使用し、深度マップを更新する際のプロセスフロー図である。

図１８Ｂは、本開示の実施形態による、慣性計測装置情報を使用して深度マップを推定する際のプロセスフロー図である。

図１９は、本開示の実施形態による、物体の動きのパッチ単位の推定値を使用して、深度マップを更新する際のプロセスフロー図である。

図２０は、更新された深度マップについての背景画素を外挿する際のプロセスフロー図である。

本出願の態様は、ＴＯＦ ３Ｄ検知システムの操作に電力効率のよい技法を提供し、ＴＯＦ ３Ｄ検知システムの照明源が、それについての距離情報が望まれる各フレームより少ない頻度で操作されるようにする。照明源が使用されない場合に物体までの距離を決定するのに、２つの２次元（２Ｄ：Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ）画像を比較することによるなど、距離を決定するより低電力の代替え的な方法が使用され得る。少なくともいくつかの実施形態では、他のより低電力の技法が不十分な場合のみ、すなわち、より低電力の代替え的な距離決定機構が、画像化された物体までの距離を決定することができない場合のみ、距離を決定するのに照明源が使用される。これにより、照明源によって消費される電力が低減され得る。

第３次元の距離に関する情報を２次元画像から得ることは、３次元画像が望まれる用途など、広範な用途に益することができる。３次元画像自体、ある場面では、所望の最終目標であり得、またある場面では、決定された第３次元の距離情報が、物体の動きを追跡することを可能にさせることができ、または、物理的な環境をナビゲートするなど、とるべき行動について意思決定する際の助けとなり得る。物体または環境の第３次元についての情報を獲得するために、光が、物体／環境を照明するのに掛かる時間に関する、「飛行時間」または略して「ＴＯＦ」として知られる情報が、使用され得る。しかしながら、画像または画像シーケンスのフレームごとに照明し、飛行時間情報を算定することは、プロセッサとエネルギー両方の多消費となり得る。処理および電力の要求を低減するために、画像検知システム用のいくつかの技法が開示される。いくつかの実施形態では、画像検知システムは、飛行時間照明技法を代替え的な距離検知技法と併用し、物体または環境における変化が検出されたときかまたは一定時間経過後かに応じて、飛行時間技法が行われるようにする。

本明細書に説明されるいくつかの実施形態によれば、距離情報は、照明光を出射し、かつ環境内の物体から反射されてデバイスに戻る照明光を検知するように構成されたイメージングデバイスを使用することによって、決定され得る。場合によっては、同じイメージングデバイスが、環境の２次元画像を追加的にキャプチャし得る（たとえば、反射照明光を検知するのに使用されたのと同じ画像センサを使用して、または別の方法で）。例示的なイメージングデバイスが、図１ＡのＴＯＦ ３Ｄ検知システム１００内に描写される。

図１Ａの例では、イメージングデバイス１１０は、それらの両方がプロセッサ１１６によって制御される、画像センサ１１２と照明光源１１４を含む。３つの例示的な物体１０５ａ、１０５ｂおよび１０５ｃは、イメージングデバイスから、それぞれ、ｄ_２、ｄ_１、ｄ_３の距離に位置付けされる。レーザダイオードなどのレーザ光源であり得る照明光源１１４は、イメージングデバイスから外に向かい、物体１０５ａ〜１０５ｃから反射され、そして画像センサ１１２に入射する、照明光（たとえば、レーザ光）を出射する。分かりやすくするために、物体１０５ａ、１０５ｂまたは１０５ｃに入射し、かつ画像センサに反射するそれらの光線のみが図に描写され、また、照明光源から出射され、かつ図に示された以外の方向に反射される、その他の光線も通常はあることが理解されるであろう。

画像センサ１１２は、可視光と赤外光の両方を認識するように構成され得る（たとえば、ＲＧＢとＩＲの組合せセンサであり得る）。このような場合、照明光源は、画像センサ１１２が、同時に受光された赤外線（環境内の物体から反射された照明光を含む）と可視光線（可視スペクトルの環境内の視認物体からの）とを区別することができるように、赤外光源であってもよい。画像センサ１１２は、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）または相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージングデバイスを含むがこれに限定されるものではない、任意の適切な画像センサテクノロジーを含み得る。

いくつかの実装形態では、画像センサ１１２は、イメージングデバイスから見えている場面の一部に対して、反射照明光を集める複数の画素を含み得る。受け取られた光を分析することによって、画像センサは、画素ごとに、その画素から見えた物体までの距離を決定することができる。したがって、各画素が光強度ではなく距離を測定する以外は従来の２次元（２Ｄ）画像に類似している、場面の「距離マップ」が、画像センサによって画像化され得る。図１Ａに描写された場面についての例示的な距離マップ１５０が図１Ｂに示される。図１Ｂに示された画像１６０では、検知された物体がイメージングデバイスから離れて位置するほど、画素が暗くなる。結果として、イメージングデバイスから見た物体１０５ｂに対応する長方形は、イメージングデバイスに比較的近いと測定され（明るい灰色）、イメージングデバイスから見た物体１０５ａに対応する三角形は、イメージングデバイスから中間の距離において測定され（中間の灰色）、そしてイメージングデバイスから見た物体１０５ｃに対応する円形は、イメージングデバイスから比較的遠いと測定される（暗い灰色）。

照明光源１１４は、物体１０５ａ〜１０５ｃに到達し、反射されて画像センサに戻るほど十分に強い光を供給するのにかなりの電力量を消費することがある。この消費電力は、特にＴＯＦ ３Ｄ検知システムがポータブルデバイス用などの電池作動式の場合、ＴＯＦ ３Ｄ検知システムの使用可能電力のかなりの部分に相当する可能性がある。

出願者は、距離検知が、距離決定が望まれるすべてではなく一部の場合のみ照明光を出射することによるより高い電力効率で、イメージングデバイスによって行われ得ることを認識し、理解している。照明光がデバイスによって出射されないそれらの場合では、イメージングデバイスによってキャプチャされた２Ｄ画像を比較し、それらの画像内の１つまたは複数の物体が時間とともにどのように変化するかを検出することによって距離を推定する、画像分析技法が使用され得る。

いくつかの実施形態によれば、照明光が生成され、捕捉されたときに予め定められる距離は、２Ｄ画像分析技法を使用した距離の推定の際に役立つ基準として使用され得る。たとえば、照明光は、距離を周期的に決定するために周期的に出射されてもよく、また、それらの出射間で、距離を決定するのに画像分析が行われてもよい（たとえば、照明光を使用して得られた事前決定の距離を、基準点として使用して）。

いくつかの実施形態によれば、照明光を出射するべきか否か（反射照明光を集めることによって距離を定めるために）の決定は、２Ｄ画像の分析に基づくことが可能である。分析は、１つまたは複数の２Ｄ画像に基づいた場合の距離の推定値が、どの程度正確になるかを判断することが可能で、正確さが許容閾値を下回った場合、照明光を使用してより正確な距離の決定値を得ることを決めることが可能である。このように、２Ｄ画像分析が許容できるだけ正確な距離測定値をもたらさない場合のみ、照明光が出射されることが可能で、照明光が出射される頻度を減らし、それにより電力の使用を抑えることが可能である。

本開示の態様は、任意の適切なイメージングデバイスにおいて使用され得るが、ビデオキャプチャの場合など、複数のフレーム中に光を捕捉するイメージングデバイスの範囲で、このような態様を適用することは特定の利点があり得る。いくつかのイメージングデバイスは、最終的に１つの画像を保存するように構成されることが可能で、また１つの画像を保存するために画像デバイスが起動される前かつ／または起動された後に何回か画像をキャプチャすることも可能である（たとえば、静止画像をプレビューする目的で、１つの画像のキャプチャの前に場面を表示するように構成されたデバイス、および／または１つの画像が複数の画像から選択かつ／または合成され得るように、１つの画像をキャプチャするために起動されると、複数の画像をキャプチャするように構成されたデバイス）。本明細書で述べる際、「フレーム」は、（ｉ）ビデオキャプチャ、および（ｉｉ）複数の画像が静止画像キャプチャプロセス中にデバイスに登録される場合の静止画像キャプチャ（限定されるものではないが、上記のこれらの例を含む）の両方の間の画像キャプチャに適用可能であると見なされる。

いくつかの実施形態によれば、２Ｄ画像の分析に基づいて、照明光を出射するべきか否かを決定することは、その間に２Ｄ画像がキャプチャされたと同じフレームにおいて行われ得る。同じフレーム中に決定を行うことは、照明光が出射されるべきではないと決定される場合、２Ｄ画像が、決定が行われる合間のフレームなしで、次のフレーム中にキャプチャされ得ることを確実にし得る。したがって、イメージングデバイスは、各フレーム中で画像をキャプチャすることによって、効率よく動作し得る。いくつかの実施形態によれば、照明光が出射されるべきであると決定されると、照明光は、その間に決定がなされたと同じフレーム中に出射される。あるいは、フレーム中に、２Ｄ画像をキャプチャし、照明光を出射するべきか否かを決定し、さらに照明光を出射するだけの十分な時間がない場合（たとえば、フレーム時間が非常に短いことから、かつ／またはデバイスの処理制限のため、イメージングデバイスが、フレーム内でこれらのすべてのステップを行う処理能力を備えていないため）、照明光の出射は、次のフレームにおいて起こる可能性がある。

いくつかの実施形態によれば、レーザダイオードからのレーザ光などの照明光を使用した距離の決定は、パルス変調技法を使用し得る。パルス変調では、照明光は、反射光パルスが特定され、その飛行時間が測定され得るように（またそれにより、物体までの距離が決定され得るように）、幅が分かっているパルスとして出射される。いくつかの実装形態において、パルス変調技法は、それぞれが反射照明光パルスのセグメントを捕捉する、複数のシャッタで画像センサを操作し得る。各シャッタ中に測定される反射照明光の断片は、光パルスの飛行時間を示し得る。この手法の一例が図４に関して以下に述べられる。

いくつかの実施形態によれば、照明光を使用した距離の決定は、連続波技法を使用し得る。このような技法では、物体までの距離は、物体から反射された光の位相シフトを測定することによって決定される。位相シフトは、照明光の波長が分かっている場合の物体までの距離を示している。

以下は、距離検知の技法に関係している様々な概念、および距離検知の技法の実施形態のより詳細な説明である。本明細書に説明される様々な態様は、数多くの方法のいずれかにおいて実装される得ることを理解されたい。具体的な実装形態の例が、あくまでも例示として、本明細書に提供される。また、以下の実施形態において説明される様々な態様は、単独でまたは任意の組合せにおいて使用されることが可能で、本明細書に明示的に説明される組合せに限定されるものではない。

図２は、いくつかの実施形態による、ＴＯＦ ３Ｄ検知システム２００のブロック図である。ＴＯＦ ３Ｄ検知システム２００は、レンズ２０５およびアイリス２０８を介してイメージングデバイスの外側から受光する画像センサ２１０を含む、イメージングデバイス２０１を含む。イメージングデバイスは、デバイスから照明光を出射するように構成された照明光源２２０も含む。照明光源２２０は、レーザダイオードであってもよく、また照明光は、別のものも考えられるが、レーザ光であってもよい。照明光源２２０は、アイリス２０８も制御する、タイミング発生器２１４によって制御され、画像センサ２１０を、閉状態（集光しない）または開状態（集光する）にさせる。画像センサ２１０によって集められた光は、任意の適切な回路構成要素を含むことが可能であり、かつタイミング発生器２１４によって定められたクロックに従って動作する、フロントエンド２１２によって読み取られる。プロセッサ２１６は、タイミング発生器２１４に同期信号を供給し、フロントエンド２１２からデジタル画像データを読み取ることが可能である。

照明光源は、レーザ光またはその他の種類の光を生成するように構成された任意のデバイスを通常含み得るが、図２の例では、照明光源２２０は、レーザダイオードである。いくつかの実施形態によれば、照明光源２２０は、非可視波長の光（たとえば、非限定的な例として、赤外光または近赤外光）を含み得る。いくつかの実施形態によれば、照明光源は、１つの波長の光を生成し得る、いくつかの実施形態によれば、照明光源は、光を光源から環境内の複数の物体に向ける、１つまたは複数のディフューザおよび／またはその他の光学部品を含み得る。

図２の例では、それぞれ、画像センサ出力信号の適切な増幅機能、照明光源に供給された照明信号の適切な増幅機能を提供する、任意のドライバ２１１、２１７が含まれ、示されるように位置付けされる。

いくつかの実施形態によれば、画像センサ２１０は、２Ｄ画像を生成する目的で集光し、かつ照明光源２２０によって出射され、環境内の物体から反射された照明光を集めるように構成され得る。画像センサ２１０は、これら２つの光源が区別され得るように、数多くの方法で構成され得る。一例として、いくつかの実施形態によれば、画像センサの１つまたは複数の画素は、カラーフィルタ（たとえば、ベイヤー配列における赤、緑および青フィルタ、または別の方法）を含み得る。いくつかの実施形態によれば、画像センサ２１０は、ＲＧＢとＩＲの組合せセンサであり得る。

いくつかの実施形態によれば、画像センサ２１０は、各集合が、２つの光源（２Ｄ画像用の光と反射照明光）のうちの１つを独占的に捕捉するように構成される、２つの別個の画素集合を備え得る。上述のように、照明光は、それを２Ｄ画像用に集められた可視光線から区別可能にさせる、非可視波長の光を含み得る。２つの光源は、分離され（たとえば、プリズムによって）、異なる画像センサに向けられ得る。

いくつかの実施形態によれば、画像センサ２１０は、それぞれが２つの光源（２Ｄ画像用の光と反射照明光）のうちの１つを捕捉するように構成された、２つの異なるタイプの画素（たとえば、チェッカーボードパターンなどで散りばめられた）を含み得る。それにより、イメージングデバイスに入射する光は、すべて、画像センサの画素、その一部（たとえば、半分）が２Ｄ画像を生成するのに使用され得る可視光線を集め、またその一部（たとえば、半分）が距離情報を決定するのに使用され得る反射照明光（たとえば、赤外光）を集める、に向けられ得る。

いくつかの実施形態によれば、画像センサ２１０は、２つの光源（２Ｄ画像用の光と反射照明光）の両方を集めるように構成された画素を含み得る。画素は、それぞれ、集められた可視光線量を示す第１の信号（２Ｄ画像を生成するのに使用され得る）、集められた反射照明光量を示す第２の信号（距離情報を決定するのに使用され得る）を生成し得る。

プロセッサ２１６は、本明細書に説明されるように、照明光源を操作するのに適したスキーム、および／または距離情報を測定しながら２Ｄ画像を生成する画像センサを実装し得る。たとえば、プロセッサ２１６は、以下に説明される方法３００および／または以下の図４および５に関して述べられるパルス変調スキームのいずれかを実装し得る。

図３は、いくつかの実施形態による、ＴＯＦ ３Ｄ検知システムを用いて距離情報を決定する方法を描写するフローチャートである。方法３００の例は、たとえば、図２に示されたイメージングデバイス２０１および／または図１に示されたイメージングデバイス１１０によって行われ得る。より具体的には、方法３００は、イメージングデバイス内部の１つまたは複数のプロセッサによって、画像センサと照明光源を制御することにより行われ得る。

方法３００では、イメージングデバイスは、照明光を使用して基準距離を決定し、次に２Ｄ画像を利用し、基準距離に対する距離変化を推定するかまたは正確に決定する。上述のように、いくつかの実施形態では、イメージングデバイスは、１つまたは複数の２Ｄ画像に基づいた推定距離があまり正確ではないことを判断した時点で（たとえば、ある事前設定の精度閾値を下回る）、照明光が出射されるべきであると結論を下し、照明光を使用して距離を決定し得る。方法３００は、照明光を出射する場合を決定するこのような手法の１つの説明的な例である。

方法３００は、動作３０２で始まり、そこでは、照明光源が、出射光を出射するように操作され（たとえば、タイミング発生器および／またはその他のコントローラによって）、画像センサが、反射照明光を集めるように操作される（たとえば、タイミング発生器および／またはその他のコントローラによって）。照明光は、幅が分かっているパルスとして、または連続波として出射されることが可能で、また赤外線などの光の任意の適切な波長を含み得る。たとえば、動作３０２は、図４に関して以下に説明されるパルス変調分析のステップを含み得る。

動作３０４では、動作３０２において集められた照明光が分析され、１つまたは複数の物体までの距離を決定する。たとえば、画像センサの各画素は、反射照明光を受け取ることが可能で、その画素から見える物体（または物体の一部）までの距離を単独で決定し得る。いくつかの実施形態によれば、集められた照明光が分析され、光によって示される位相シフトを決定し得る（上述の連続波測定技法により）。いくつかの実施形態によれば、照明光が、複数のシャッタ期間中に集められ、出射された照明光パルスの飛行時間を決定し得る（以下に説明されるパルス変調測定技法により）。

動作３０６では、２Ｄ画像が画像センサによってキャプチャされる。上述のように、画像センサは、反射照明光を集めるのに使用される画素と同じまたは異なる画素を、２Ｄ画像をキャプチャするのに利用し得る。

動作３０８では、動作３０６においてキャプチャされた２Ｄ画像が分析され、物体の面積および／または形状の変化が推定される。このような変化は、動作３０４において決定された距離マップに現れるような物体の形状に対して、かつ／または前にキャプチャされた２Ｄ画像に現れるような物体の形状に対して、決定され得る。大まかに言えば、分析は、距離マップおよび／または前に得られた２Ｄ画像に見える物体の形状を調べ、前の状態と後の状態との間の物体の形状および／または見かけ上の面積における変化を決定し得る。たとえば、距離マップおよび／または前の２Ｄ画像がキャプチャされた後にイメージングデバイスに向かって動く物体は、次の２Ｄ画像では、より大きく見える（より大きな面積を有する）と予想されるであろう。動作３０８の分析は、任意の個数の距離マップ、および／または動作３０６においてキャプチャされた２Ｄ画像に加えて、動作３０８の前にキャプチャされた２Ｄ画像を利用して、形状／面積の変化を推定し得る。

動作３１０では、動作３０８において推定された面積／形状の変化が、正確な距離を決定するのに追加の照明光が必要ではないことを十分にはっきりさせているか否かの決定が行われる。場合によっては、物体は、それらの新しい位置および／または向きの決定が難しくなるように、イメージングデバイスに対して動くことがある。たとえば、物体は、物体の見かけ上の大きさを不正確に決定させる（この場合に受け取られた光が、物体の形状を明確に示さないことがあるため）、鏡面ハイライトをもたらすように動くかつ／または回転することがある。また、いくつかの実施形態では、動作３０６においてキャプチャされた２Ｄ画像が、前にキャプチャされた画像とは異なる場面である場合があり、動作３０６においてキャプチャされた２Ｄ画像についての距離情報が、前の２Ｄ画像との比較から決定できない可能性がある。

いくつかの実施形態によれば、動作３０８は、決定された面積／形状の変化の推定精度の信頼度またはその他の表示を生成することが可能で、距離を決定するのに照明光を出射するべきか否かの決定は、このような精度が事前選択された閾値を超えるかまたは下回るかに少なくとも一部基づき得る。

いくつかの実施形態によれば、動作３１０における決定は、複数の物体と、それらの面積／形状の変化が、どの程度動作３０８において正確に（または不正確に）決定され得たかを考慮し得る。たとえば、いくつかの実装形態では、１つの物体が、事前設定の閾値を下回る面積／形状の変化推定精度を有する場合、その他の物体が閾値を超える精度で推定されたそれらの面積／形状変化を有し得る場合でも、照明光を出射することが望ましいことがある。さらに、または別法として、物体の形状／面積の変化推定値のすべての平均精度が考慮され（また、事前設定の閾値と比較され）、照明光が使用されるべきであるか否かが決定され得る。物体の形状／面積の変化推定精度の集合に基づくその他のスキームが、別法として実装され得る。

動作３１０では、距離を決定するのに追加の照明光が出射されるべきであると決定されると、方法３００は、動作３０２に戻る。あるいは、追加の照明光が使用されるべきではないと決定されると、動作３０８において推定された面積／形状の変化によって（また、それに基づいて）示された距離変化が、動作３１２において決定される。

任意の動作３０９では、３次元（３Ｄ）画像が、動作３０８および／または動作３０４において決定された距離に加えて、動作３０６においてキャプチャされた２Ｄ画像を利用して生成され得る。この動作は、距離情報に加え、動作３０６においてキャプチャされた２Ｄ画像に基づき、立体画像を生成することを含み得る。図３の例では、動作３０９が動作３１２と動作３１４との間に描写されるが、物体までの距離が決定された後いつでも、動作３０９が行われ得ることが理解されるであろう。

動作３１４では、動作３０４において予め決定された基準距離が、動作３１２において決定された距離変化に基づき更新される。続く動作３１４のインスタンスでは、複数の距離変化が、動作３０４において決定された距離変化に適用され得る。次に、別の２Ｄ画像が動作３０６においてキャプチャされ、所望の精度で距離を決定するのにさらなる照明光が使用されるべきであると、動作３１０のインスタンスにおいて決定されるまで、動作３０８、任意で３０９、３１０、３１２、および３１４が繰り返される。

方法３００の最終結果は、物体の面積／形状の変化の推定値が、追加の照明光が役に立ってくる程に不正確であることが動作３１０において決定される場合のみ、動作３０２において照明光が出射されるということである。これらの面積／形状の変化を推定するのに適切なアルゴリズムでは、照明光が、イメージングデバイスのフレームの断片のみにおいて出射され、それにより、消費電力を低減することが期待され得る。いくつかの実施形態では、消費電力は、１／２以下に低減され得る。いくつかの実施形態によれば、全フレームの半分より少ないフレーム、または全フレームの１／４より少ないフレーム、または全フレームの１０％より少ないフレームにおいて、照明光が出射される。

動作３１２は、図３の例では、動作３１０の後に描写されているが、追加の距離情報が必要とされるか否かを動作３１０において決定するのに、物体の面積／形状の変化ではなく、決定された距離が使用されるように、動作３１２が、動作３１０の前に行われてもよいことが理解されるであろう。

図４は、いくつかの実施形態による、物体までの距離を決定するためのパルス変調技法を図示する。上述のように、いくつかの実施形態では、距離を決定するのにパルス変調技法が適用され得る。グラフ４００は、図１Ａおよび２に描写されたものなどの画像センサによって利用され得る、このような技法の１つの例を図示する。

図４の例では、期間Ｔ_ＬＤ（たとえば、１０ｎｓ〜３０ｎｓ、１５ｎｓ〜２５ｎｓ、２２ｎｓ、またはこのような範囲内の任意の値もしくは値範囲であり得る）で照明光パルスが出射される。図は、以下の説明から理解されるようになる理由で、出射されるのではなく画像センサに戻される場合の光パルスを図示する。図に示される時間軸は、照明光パルスが出射され始めると始まる。パルスが出射され始めると、第１のシャッタ期間（「Ｓ０シャッタ」の表示）が、画像センサが照明光を集める間で始まる。第１のシャッタ期間が終了すると、その期間中に集められた光は、画像センサから読み取られ、第２のシャッタ期間（「Ｓ１シャッタ」の表示）が始まる。第２のシャッタ期間が終了すると、その期間中に集められた光も、画像センサから読み取られる。

第２のシャッタ期間が終了した後、背景画像が、図示された「背景シャッタ」によって示された時点で画像センサによってキャプチャされる。背景シャッタは、画像センサを用いて背景光を捕捉し得る。いくつかの実施形態によれば、背景シャッタ信号が、Ｓ０および／またはＳ１シャッタ期間中に集められた光から除かれ、背景光（Ｓ０およびＳ１シャッタ期間中に集められた光の「ノイズ」成分に相当し得る）が何もないそれらのシャッタ期間中に受け取られる照明パルス光を推定し得る。

いくつかの実施形態によれば、Ｓ０およびＳ１シャッタ期間と背景画像キャプチャシャッタは、画像センサの１つのフレーム内ですべて起こり得る。いくつかの実施形態によれば、Ｓ０およびＳ１シャッタ期間、背景画像キャプチャシャッタ、および画像センサによる２Ｄ画像の追加キャプチャは、画像センサの１つのフレーム内ですべて起こり得る。

図４の例では、「Ｓ０信号」と表示されたＳ０において集められた照明光対「Ｓ１信号」と表示されたＳ１において集められた照明光の比率は、照明光を反射した物体の、画像センサまでの距離を示している。照明光が、幅が分かっているパルスにおいて出射されたことから、Ｓ１シャッタ期間に対してＳ０シャッタ期間中に集められる光が多くなるほど、物体は、画像センサに近い。例示的な戻り照明光パルスは、Ｓ０信号よりも長い持続時間であるＳ１信号によって示されるように、第２のシャッタ期間中に集められるそのパルスの光の大部分で示される。この手法に基づき、物体までの距離が、以下の式によって決定され得る。

上の式では、「Ｓ_０」、「Ｓ_１」は、それぞれ、Ｓ０シャッタ期間中、Ｓ１シャッタ期間中に受信された信号の振幅を指し、「ＢＧ」は、背景シャッタ期間中に受信された信号の振幅を指す。たとえば、これらの信号の振幅は、画像センサによって生成された光強度信号（たとえば、Ｓ_０および／またはＳ_１の場合における照明光強度信号）であり得る。また式では、「ｃ」は、光の速度であり、Ｄは、物体までの決定された距離である。

いくつかの実施形態によれば、距離マップを決定する際、画像センサは、Ｓ０およびＳ１シャッタの各期間中に、画素がどれくらい多く光を集めるかに基づいて、画素ごとに個々に上記の計算を行い得る。照明光パルスは、上述のように、１つの照明光源から出射され、ディフューザを使用して環境内の物体に拡散され得る。

図５は、いくつかの実施形態による、１つのイメージングフレーム内での照明光源のパルス変調の例示的なパターンを描写する。場合によっては、画像センサの１つのフレーム中に、複数の照明光を出射し、反射照明光の複数の測定を行うことは有利であり得る。このような手法は、たとえば、図４に示されかつ上で説明されたように、１つの測定値より多い正確な測定値をもたらし得る。たとえば、画像センサによって捕捉された追加の光の背景ノイズは、照明光を繰り返し測定することによって、フィルタ処理で取り除かれ得る。図５に示されるグラフ５００は、図４に関して説明された手法を用いて、１つのフレーム内で複数のパルス変調測定を行う１つの例示的なパターンを描写する。

図５の例では、多くの照明光パルスが、次々に出射される（下軸）。これらのパルスが出射される度に、画像センサが集光するＳ０シャッタ期間（図４に示される）が、パルスの出射が始まるときに開始され、パルスの出射が終わるときに終了するまでの期間で実行される。図５の例では、Ｓ０シャッタ期間測定と組み合わされた多くの照明光パルスが、Ｓ１シャッタ期間が何も行われることなしに、連続して行われる。

Ｓ０位相パルス群に続き、別の照明光パルス群が次々に出射される。これらのパルスが出射される度に、パルスの出射が終了するときに始まり、その後のパルスの持続時間に等しい期間が終了するまでの期間で、画像センサが集光する、Ｓ１シャッタ（図４に示される）が実行される。

Ｓ１位相パルス群に続き、Ｓ０およびＳ１シャッタのそれぞれの期間中に集められた光量の測定値が照合され、距離を決定するのに使用され得る（たとえば、上記の式１を用いて）。照明光パルスの長さが、短いと予想され得ることから（たとえば、３０ｎｓより短い）、物体は、通常、図５に示されたような多くの期間中でも、大して動かないことになる（仮に動いたとしても）。たとえば、Ｓ０およびＳ１位相パルス群中の図５に描写された１４個の照明光パルスの場合でさえ、両方の位相のパルス群は、実質的に１マイクロ秒よりも短い時間で完了することがある。

Ｓ０およびＳ１位相パルス群が完了した後、背景画像が複数のシャッタ期間中にキャプチャされ得る（この期間中に出射される対応する照明光はない）。上述のように、背景画像は、Ｓ０位相群信号およびＳ１位相群信号にある背景「ノイズ」の推定値を得るためにキャプチャされることが可能で、またＳ０／Ｓ１信号からそのノイズを取り去るのに使用され得る。いくつかの実施形態によれば、２Ｄ画像は、図５に描写されたと同じフレーム中に、画像センサによってさらにキャプチャされ得る。

図６は、照明光が、すべてではなく一部のフレームにおいて出射される一連のフレームを図示する。上述のように、一連のフレームにおいて、照明光が出射されるべきであるか否かが、一連のフレームのそれぞれにおいて決定が行われ得る。これらのフレームのすべてより少ないフレームでは、結果としての決定は、照明光が出射されるべきではないということであり得る。このようなユースケースの説明的な一例として、図６は、照明光がフレーム６０１および６０５では出射されるが、フレーム６０２、６０３、６０４または６０６では出射されない、一連のフレーム６０１〜６０６を図示する。

本明細書に説明されるタイプのイメージングデバイスを組み入れ得るシステム７００の例示的な実装形態が、図７に示される。本明細書に説明される代替え的な実施形態によるイメージングデバイスが、別法として含まれ得るが、システム７００は、図２のイメージングデバイス２０１を含む。イメージングデバイス２０１に電力供給するのに、パワーユニット７０２が提供され得るが、システムのその他の構成要素に電力供給する可能性もある。パワーユニット７０２は、いくつかの実施形態では、携帯電話、タブレット、およびその他の家電製品において通常使用される電池などの電池であり得る。説明されたように、いくつかの実施形態では、イメージングデバイス２０１は、低電力動作をもたらすことができ、これにより、パワーユニット７０２としての低電力電池の使用を容易にし得る。しかしながら、パワーユニット７０２は、すべての実施形態において、電池であることに限定されるものでも、特定のタイプの電池に限定されるものでもない。

システム７００は、メモリ７０４および不揮発性記憶域７０６をさらに備える。それらの構成要素は、共有通信リンク７０８を介してなど、任意の適切な方法において、イメージングデバイス２０１に通信可能に結合され得る。共有通信リンク７０８は、バスまたはその他の適切な接続であり得る。メモリ７０４および／または不揮発性記憶域７０６は、たとえば図３に関連して説明された方法において動作するようにイメージングデバイス２０１の動作を制御するためのプロセッサ実行可能命令、および／またはイメージングデバイス２０１によってキャプチャされたデータ、を格納し得る。本明細書に説明されるような距離検知用の技法に関連して、たとえば、１つまたは複数の光パルスを生成するよう照明光源に合図するのに、画像センサのシャッタを開くかつ／または閉じるのに、画像センサの画素を読み取るのに、集められた照明光に基づき距離計算を行うのに、などで使用されるコードが、メモリ７０４または不揮発性記憶域７０６のうちの１つまたは複数に格納され得る。プロセッサ２１６は、本明細書に説明されるような距離検知用の任意の技法を提供するように、任意のこのようなコードを実行し得る。メモリ７０４は、イメージングデバイス２０１によってキャプチャされた２Ｄおよび／または３Ｄ画像を表すデータを格納し得る。メモリ７０４および／または不揮発性記憶域７０６は、少なくともいくつかの実施形態では、非一時的メモリであり得る。

本明細書に説明されるイメージングシステムは、様々な用途に使用されることが可能で、そのうちのいくつかの例が、図８〜１０に関連して説明される。第１の例は、スマートフォン、タブレットコンピュータ、スマートウォッチ、またはその他のモバイルデバイスなどのモバイルデバイスの例である。イメージングデバイス２０１またはシステム７００など、本明細書に説明されるタイプのイメージングシステムは、モバイルデバイスのカメラ構成要素として使用され得る。図８は、この場合、携帯電話である一例を図示する。携帯電話８００は、イメージングデバイス２０１など、３Ｄ画像をキャプチャし生成するための、本明細書に説明されるタイプのイメージングデバイスであり得るカメラ８０２を含む。カメラ８０２としてのイメージングデバイス２０１の使用は、本出願の態様による、イメージングデバイスに関連して本明細書に説明される動作方法などの低消費電力動作によって容易になり得る。モバイルデバイス８００などのモバイルデバイスは、通常、電池電力で動作し、それにより相当な電力を消費する構成要素は、このようなデバイス内での使用には非実用的であり得る。本明細書に説明されるタイプのイメージングデバイスは、これに対し、電力効率のよい方法において、このようなデバイス内で展開され得る。

図９は、本明細書に説明されるタイプのイメージングシステムを実装するエンタテインメントシステムを図示する。エンタテインメントシステム９００は、コンソール９０２およびディスプレイ９０４を含む。コンソールは、ディスプレイ９０４上にビデオゲームの画像を生成するように構成されたビデオゲームコンソールであり得、カメラ９０６を含み得る。カメラ９０６は、イメージングデバイス２０１など、３Ｄ画像をキャプチャするように構成された、本明細書に説明されるタイプのイメージングシステムであり得る。図９の例では、ユーザ９０８は、たとえばビデオゲームで遊ぶために、コントローラ９１０を介して、エンタテインメントシステムと相互に作用し得る。カメラ９０６は、ユーザおよび／またはコントローラの画像をキャプチャすることができ、またユーザまでの距離Ｄ１を決定することができる。距離情報は、ディスプレイ９０４上の表示用に、またはエンタテインメントシステムの他の態様の操作用に、３Ｄ画像を生成するのに使用され得る。たとえば、ユーザ９０２は、エンタテインメントシステムを、ハンドジェスチャで操作することができ、ジェスチャは、距離情報Ｄ１をキャプチャすることを通して、少なくとも一部決定され得る。

本明細書に説明されるタイプのイメージングシステムは、ロボットにも採用され得る。図１０は、イメージングシステム１００４を備えたロボット１００２の一例を図示する。ロボットは、移動型であり得、イメージングシステム１００４によって集められた情報は、ロボットのナビゲーションおよび／またはモータ制御を補助するのに使用され得る。イメージングシステム１００４は、たとえばシステム７００またはイメージングデバイス２０１である、明細書に説明されるタイプであり得る。移動型ロボットは、通常、電池によって電力供給され、それにより、説明された実施形態のうちの少なくともいくつかによる、比較的低電力で動作し得る、本明細書に説明されるタイプのイメージングシステムは、ロボットとのそれらの一体化を容易にし得る。

図８〜１０に示された例以外にも、本明細書に説明されるテクノロジーの使用の例が考えられる。たとえば、自動車や防犯カメラは、本明細書に説明されるタイプの３Ｄイメージングデバイスを実装し得る。

「ａｎｄ／ｏｒ（および／または）」という句は、本明細書および特許請求の範囲において使用される際、そのように結合された要素、すなわち、ある場合は接合的に存在し、また他の場合は離接的に存在する要素の「いずれかまたは両方」を意味すると理解されるべきである。「ａｐｐｒｏｘｉｍａｔｅｌｙ（おおよそで）」および「ａｂｏｕｔ（約）」という用語は、いくつかの実施形態では目標値の±２０％以内、いくつかの実施形態では目標値の±１０％以内、いくつかの実施形態では目標値の±５％以内、またいくつかの実施形態では目標値の±２％以内を意味するように使用され得る。「ａｐｐｒｏｘｉｍａｔｅｌｙ（おおよそで）」および「ａｂｏｕｔ（約）」という用語は、目標値を含むことがある。

最適化された時間変化する光強度での飛行時間型深度検知の使用
飛行時間型カメラを使用した深度検知の際の大きなエネルギー消費源は、場面を照明するレーザに電力供給することからもたらされる。高い信号対ノイズ比（ＳＮＲ：Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を得るために、カメラセンサは、かなりの光量に露出され、現在では通常、飛行時間検知を、プラグイン式デバイスに限定している。ドローン検知、拡張現実、自動車検知などの多くの用途が、電池式ソリューションを必要とする。

深度画像精度における低下を最小限に抑えて消費電力を低減するために、本開示は、低電力光源を使用して（すなわち、所与のフレームへ送る光パルスを少なくすることによって）飛行時間型カメラから得られた低品質の深度画像を高める、機械学習およびコンピュータビジョンアルゴリズムを説明する。低電力設定から得られた低品質の深度画像を使用して、より高品質の深度画像を、あたかもそれらが機械学習技法を使用して高電力設定において集められたように、得るという考えは、機械学習技法を使用して、限りあるリソース（たとえば、電力、露出時間、画素数）で得られたデータを、より豊富なリソースで得られたデータにマップするというより一般的な考えの一部である。もう１つの例は、高ＳＮＲ画像として記録された可能性のある画像に、低ＳＮＲ画像をマップすることである。このようなリソースの制約が、おそらく、限りあるリソースで得られたデータに体系的にそれ自体を表すことになることから、データ駆動型／機械学習手法は、十分な訓練データがある場合、このような違いをうまくモデル化して補う可能性を有する。

高品質の深度マップを得るために、実施形態は、低品質の深度画像と並んで、時間的制約のないフレーム（たとえば、ＲＧＢフレーム）を使用することを含む。一例として、ＲＧＢカメラの消費電力は、深度画像のレーザベースのキャプチャの際の消費電力より少なく、ＲＧＢフレームは、深度検知の解像度を上げるのに使用され得る。このようなシステムは、現在のＲＧＢ画像および低品質の深度マップが与えられた現在のフレームの高品質の深度マップを予想するように訓練されたニューラルネットによるなどの、データ駆動型手法において訓練される。さらに電力を節約するために、システムは、現在のＲＧＢ画像と前の深度推定値を使用した現在のフレームにおいてどの程度正確に深度を予想できるか、を反映する信頼度スコアを出力するようにも訓練される。信頼度スコアが低い場合、このようなシステムは、レーザ（またはその他の照明源）を点け、かつ／または使用するパルスを少なくして、低品質の深度マップを得ることができる。この低品質の深度マップは、より高い品質の深度マップを得るために、ＲＧＢ画像といっしょに使用され得る。

図１１は、本開示の実施形態による、イメージングデバイスを使用してイメージングする際のプロセスフロー図１１００である。アルゴリズムは、１１０２において開始することができる。イメージングシステムプロセッサは、現在の深度マップが格納されているか否かを決定することができる（１１０４）。深度マップが格納されていない場合、イメージングシステムは、レーザパルスを使用して、深度マップをキャプチャすることができる（１１０６）。システムは、深度マップを格納することができる（１１０８）。

深度マップがある場合、次にイメージングシステムは、１つまたは複数のフレーム（たとえば、ＲＧＢフレームなどの時間的制約のないフレーム）をキャプチャすることができる（１１１０）。システムは、一定の時間で、時間的制約のない画像を撮ることができる。実施形態において、システムは、時間的制約のない画像に分析を行い、時間的制約のない画像における分析が、深度推定精度の信頼度が閾値を下回ることを示すまで、時間的制約のない画像を撮ることができる。実施形態において、時間的制約のない画像は、動きに対して分析され得る。画像処理、または３Ｄオプティカルフローアルゴリズムなどのコンピュータビジョンアルゴリズムが、時間的制約のない画像および深度マップ画像から深度を推定するのに使用され得る。

設定時間経過後、または時間的制約のないフレームもしくは動き量を使用して得られた深度推定値の信頼度が閾値を超える場合、時間的制約のない画像の代わりに飛行時間型イメージングを使用して、新しい深度マップが測定され得る（１１１２）。

信頼度スコアは、更新された深度マップに基づき計算され得る（１１１４）。イメージングシステムは、信頼度スコアが閾値を超えているか否か（たとえば、ｃ＞Ｔ）を決定することができる（１１１６）。信頼度スコアが閾値を超えている場合、新しい深度マップ写真が撮られず（１１２０）、イメージングシステムは、時間的制約のないフレームを撮ることを継続することができる（１５１０）。

信頼度が閾値を下回る（または、閾値以下）場合（たとえば、ｃ≦Ｔ）、イメージングシステムは、信頼度スコアに基づき、新しい深度画像をキャプチャするためのレーザパワーを調整することができる（１１１８）。通常、レーザパワーは、信頼度スコアを取り入れて、新しい深度マップをキャプチャするのに所望のレーザパワーを出力する、レーザパワー関数、ｆ（ｃ）に基づき決定され得る。たとえば、低い信頼度スコアは、より高いレーザパワー関数をもたらすであろう。

イメージングシステムは、調整されたレーザパワーを使用し、新しい深度画像をキャプチャし（１５０６）、新しい深度マップを格納することができる（１１０８）。

図１２Ａは、本開示の実施形態による、場面からのより高品質の画像を、同じ場面のより低品質の画像からもたらすための１つまたは複数のアルゴリズムパラメータを決定する際のプロセスフロー図１２００である。最初に、複数の高品質の画像がキャプチャされ、データベースに格納され得る（１２０２）。同様に、複数の同類の低品質の画像が、訓練目的でキャプチャされ得る（１２０４）。高品質の画像と対応する低品質の画像が、訓練アルゴリズムに提供され得る（１２０６）。訓練アルゴリズムは、低品質の画像から高品質の画像を得るのに使用され得る、１つまたは複数のアルゴリズムを調整することができる（１２０８）。高品質の画像は、高解像度、高ＳＮＲ、高電力または高リソース消費の画像、あるいはそれらの組合せを含む。低品質の画像は、低解像度、低ＳＮＲ、低電力またはリソース消費の画像、あるいはそれらの組合せであり得る。機械学習、訓練、データ駆動型分析などを通して、高品質の画像からの態様は、低品質の画像と比較され得る。低品質の画像は、１つまたは複数のアルゴリズムパラメータに基づき、それらの品質を高めるように調整され得る。これらのアルゴリズムパラメータは、イメージングシステムプロセッサによって、オンザフライの品質調整用に格納され得る。

実施形態において、訓練画像は、時間的制約のある画像（たとえば、飛行時間型深度画像）を含むことができ、１つまたは複数の時間的制約のない画像（たとえば、時間測定値を含まないＲＧＢまたはＩＲ画像）も含むことができる。とりわけ、オンザフライの品質調整中、キャプチャされた画像タイプは、訓練において使用される画像タイプに一致するであろう（すなわち、時間的制約のある画像と時間的制約のない画像の組合せが、訓練目的で使用される場合、時間的制約のある画像と時間的制約のない画像の同じ組合せが、通常のカメラ動作中に使用されるはずである）。

図１２Ｂは、本開示の実施形態による、決定されたアルゴリズムパラメータを使用し、より高品質の画像を、より低品質のキャプチャされた画像からもたらす際のプロセスフロー図１２５０である。通常の画像キャプチャ中、消費電力は、低品質の画像をキャプチャすることによって低減され得る（１２５２）。たとえば、低品質の画像は、低光力、低露出時間、低解像度などを使用してキャプチャされ得る。低品質の画像は、図１２Ａから決定されたアルゴリズムパラメータを使用した機械学習アルゴリムを使用して、処理され得る（１２５４）。イメージングシステムは、アルゴリズムパラメータを使用した低品質の画像を処理することによって形成された、高品質の画像を出力することができる（１２５６）。

機械学習特徴抽出アルゴリズムを使用した、可変ＳＮＲ深度画像の取得
飛行時間型カメラは、各画素がカメラまでの場面内の対応する点の距離に相当する、場面の写真を撮る。距離は、光パルス（たとえば、ＩＲ光）を使用し場面を照明し、かつパルスがカメラから面に向かい、面からセンサに戻るのに掛かる時間を測定することによって、推定される。パルスを出射する代わりに、いくつかの飛行時間型カメラは、光の振幅変調連続波を出射し、出射された連続波（ＣＷ：Ｃｏｎｔｉｎｕｏｕｓ−Ｗａｖｅ）と反射波との間の位相シフトを測定する。飛行時間型カメラは、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、自律カーナビゲーション、ロボットナビゲーション、ドローンナビゲーションなどを含む、数多くの用途に使用され得る。

前記の用途は、通常、ジェスチャ認識など、あるタイプの特徴抽出を行う機械学習アルゴリズムへの出力として、深度画像を使用する（たとえば、指で挟む動きを認識するため）。たとえば、ジェスチャ認識アルゴリズムは、体の部分が３Ｄ画像において特定されるセグメンテーションや、検出された体の部分の空間内の軌道が追跡されるトラッキングなどの様々なフェーズを、ジェスチャが抽出される場合に有することができる。特徴抽出を使用することができるその他の用途は、物体検出および衝突回避を含む（たとえば、車／ロボット／ドローンの近くの人／物体を検出するため）。「ｆｅａｔｕｒｅ（特徴）」という用語は、画素集合から得られるフレームから検出され得る、また場合によっては、ある時間にわたり、かつ複数のフレームにわたって変わる可能性がある、任意の情報を含むことができる。

いくつかの実施形態では、特徴認識は、様々な特徴を表す深度画像（または、深度画像と時間的制約のない画像との組合せ）のラベル付きの一連のフレーム（またはビデオ）のデータセットにおけるアルゴリズム的訓練を通して行われ得る。たとえばジェスチャ認識の場合では、訓練フェーズは、様々なジェスチャを表す複数の一連のフレームをアルゴリズムに提供することと、アルゴリズムが正しいカテゴリ（たとえば、指で挟む動き）にその一連のフレームを分類することができるまで、そのパラメータを調整することを含むことができる。

通常のカメラの場合のように、センサによって捕捉された光量は、捕捉される光が多くなるほどＳＮＲが向上する、信号対ノイズ比（ＳＮＲ）を決定する。集光量は、（１）光源のパワーを上げることによって、または（２）露出時間を長くすることによって、増加され得る。光源のパワーを上げることは、目の安全の理由から、一般消費者向けアプリケーションには普通適していない。代替え的なソリューションは、さほど強力ではない光源でより長い時間センサを露出することである。露出時間を長くして画像をキャプチャすることはまた、フレームレートを下げ、これはリアルタイムの深度ビデオが必要とされる場合、問題になり得る。さらに、長い露出時間は、物体がより長い時間窓中に動きを捉えられる可能性が高くなることから、画像にブレをより生じさせる。

両方のソリューションでは、ＳＮＲの上昇は、光源においてよりエネルギーを消費することを意味し、たとえば、ポータブルアプリケーションでは電池を消耗させる可能性がある。レーザパワーは、飛行時間型カメラにおける支配的なエネルギー消費源であることが多く、そのため、その使用を減らす方法を見つけることが課題である。

深度画像／ビデオに対して特徴抽出を行う機械学習アルゴリズムを含む、本開示の実施形態は、通常、目的とする場面が、所与のフレームレート（通常、３０ＦＰＳ）における一連（ビデオ）のフレームを使用して記述されると、仮定する。各フレームは、深度画像のみ、時間的制約のないセンサから得られた画像のみを含むか、または両方の組合せを含むかのいずれかであり得る。本開示は、各フレームが、飛行時間型カメラによって取得された深度画像を少なくとも含む場合に焦点を合わせる。

本開示は、フレームの一部のみが取得されるように、シーケンス内のどの深度フレームが、所与の特徴に対してより重要であるかを学習する、アルゴリズムを説明する。目的とするほとんどの場面が、非常にはっきりしており（たとえば、ゆっくり手を動かす）、情報のほとんどが、実際、限られた個数のフレームに含まれるため、それらのフレームを適切に選ぶことによって、深度画像の枚数を減らし、それにより、光源パワーを低減することができる。たとえば、ジェスチャ認識の場合、セグメンテーションフェーズ中にいくつかの連続するフレームをキャプチャし、次のトラッキングフェーズ中にキャプチャするフレームを少なくすることができる。物体検出または衝突回避の場合、人は、物体がカメラの近くにあるように見えない場合、フレームレート（または各深度マップのＳＮＲ）を下げる可能性があり、物体がカメラにより近づく場合、フレームレート（または、ＳＮＲ）を上げる可能性がある。

本開示では、特徴抽出を行うように訓練されるアルゴリズムは、ＳＮＲ値を各深度画像に割り当てるようにも訓練される（ゼロＳＮＲの場合、フレームと同等のフレームがない、高光源パワーの場合のフレームがより高いＳＮＲを有する）。ジェスチャ認識の場合、アルゴリズムは、高ＳＮＲ（すなわち、正確な深度画像／高電力の深度画像）が、ジャスチャが認識されない最初の方のフレームにおいて要求され、アルゴリズムがジェスチャに関して確信をもつと、より低いＳＮＲが使用され得る、ということを学習する可能性がある。

図１３Ａは、本開示の実施形態による、アルゴリズムパラメータを決定して、キャプチャされた画像から特徴抽出をもたらす際のプロセスフロー図１３００である。最初に、複数の一連のフレームが、格納され、少なくとも１つのラベルが割り当てられ得る。ラベルは、一連のフレームに関連付けられた特徴、たとえば具体的なジェスチャに対応する。プレ録画された一連のフレームは、ラベルで格納され、取り出され、機械学習アルゴリズムに入力される（１３０２）。機械学習アルゴリズムは、アルゴリズムパラメータを使用して（１３１６）、一連のフレームにおいて（または、実施形態では、一連のフレームの各フレームからの画素の部分集合において）動作することができる（１３０４）。

機械学習アルゴリズムは、それぞれのプレ録画された一連のフレームを処理し、一連のフレームに関連付けられた特徴の抽出を試み、そして特徴に対応する推定ラベルを出力する（１３０６）。訓練は、格納された一連のフレームに関連付けられている正しいラベルとアルゴリズムによって決定された推定ラベルとの間の誤差を決定することを含む（１３０８）。誤差が高い場合（たとえば、誤差＞閾値）、アルゴリズムパラメータが調整されることが可能で（１３１４）、調整されたアルゴリズムパラメータは、機械学習アルゴリズムによって使用され、推定し直されたラベルを提供する（１３１６、１３０４）。データベース内の画像シリーズのフレームの予想ラベルと実際のラベルとの間の誤差が一定の閾値を下回るまで（１３１０）、機械学習アルゴリズムのパラメータが、繰り返し調整される（１３１４）。

アルゴリズムパラメータは、フィルタまたは補間パラメータなどのパラメータを含むことができるが、光力、キャプチャされたフレームごとのＳＮＲなどのカメラ制御パラメータも含むことができる。

誤差＜閾値である場合、機械学習から出力された推定ラベルは、格納された一連のフレームからの正確なラベルと完全に一致し、機械学習の際使用されたアルゴリズムパラメータは、カメラで使用するために格納される（１３１２）。言い換えれば、誤差＜閾値である場合、機械学習は、一連のフレームからの特徴（たとえば、ジェスチャ）を十分に認識している。

図１３Ｂは、本開示の実施形態による、イメージングシステムによってキャプチャされた１組のフレームからの特徴抽出の際のプロセスフロー図１３５０である。イメージングシステムは、１つまたは複数の特徴を含む、フレームまたはビデオをキャプチャすることができる（１３５２）。イメージングシステムは、図１３Ａからの格納された機械学習パラメータを使用して、キャプチャされたフレーム／ビデオに対して機械学習を実行することができる（１３５４）。イメージングシステムは、機械学習を使用して特徴を認識することができる（１３５８）。いくつかの実施形態では、機械学習は、１つまたは複数のカメラパラメータ調整値を出力し、画像キャプチャ品質を調整することができる（結果として機械学習アルゴリズムのより高い精度をもたらす）（１３５６）。イメージングシステムに調整が行われ、新しいカメラパラメータを使用し、新しいフレームをキャプチャすることができる。

実施形態において、キャプチャされたフレームは、機械学習を使用した特徴抽出（たとえば、ジェスチャ認識）の際に使用され得る、ＲＢＧおよび深度画像を含む。

深度検知のためのガイド付きフィルタ処理
パルス数を最小限にすることによって信頼できる深度測定値を得ることには、電力の低減、より多くのＴＯＦカメラを同時に使用できるようにさせる、深度画像のより素早い取得を可能にさせる、より速いフレームレートを可能にさせる、などの利点があり得る。

この節では、深度推定に適したローパスフィルタを保存するエッジを使用して深度画像を取得するための技法が説明される。このようなフィルタは、低電力設定において得られた深度マップからノイズを取り除くのに有用である。たとえば、通常のバイラテラルフィルタが、高計算性のリソースを要求する場合があるにも関わらず、バイラテラルフィルタが使用され得る。

本開示は、深度マップのノイズろ過のためのエッジ保存に使用され得る、「ガイド付きフィルタ」として知られるフィルタタイプを説明する。その他のフィルタも本開示の範囲から逸脱することなく使用され得るが、本開示の実施形態に従って適合された、または使用されるバイラテラルフィルタなどのこのようなガイド付きフィルタは、本開示では「深度アウェアガイド付きフィルタ処理」と呼ばれ得る。概して、本開示は、深度イメージング用にキャプチャされたＳ０およびＳ１画素集合のそれぞれに対して、フィルタの特定のパラメータを一定に保持することを説明する。フィルタ処理は、深度画像（Ｓ０およびＳ１）の各構成要素において、低電力の画像内のノイズを低減することができ、画像キャプチャの際、パルス数を少なくした形式における低電力の使用を可能にさせる。

「深度アウェアガイド付きフィルタ」を説明する前に、完全にまた分かりやすくするために、この節では、従来のガイド付きフィルタが説明される。以下では、ガイド付きフィルタ処理技法の一例を手短に述べる。

以下とせよ。

Ｗは、フィルタ処理されるべき１つの画像（ＲＧＢ、深度、または別の画像）の現在のパッチ内のＮｘＮ画素領域とせよ。

ｐ_ｉｊは、現在のパッチ内の原画素値とせよ。

ａ、ｂは、現在のパッチ内の中心画素に対して計算されることになる係数であり、ここで、ａは、領域内の画素値の分散の表示と見なされ（たとえば、エッジの近くは、分散が大きい可能性がある）、本明細書ではスケール係数と呼ばれ得る。係数ｂは、領域内の画素値の平均値の表示と見なされ得る（たとえば、ｂは、平面領域内の各画素値に近い可能性がある）。係数（ａ、ｂ）は、ＮｘＮ領域ごとに異なる可能性がある。

λは、フィルタ処理されるべき我々の画像のすべてのパッチに共通である、調整定数である。

フィルタ処理された画素は、
と表される。係数は、以下の最適化問題を解くことによって見つけられ得る。

このエッジ保存フィルタは、λパラメータが、おおよそで選ばれる場合に効果的である。たとえば、λが上がると、より滑らかな画像をもたらすことができるが、エッジがぼやける一方、λが下がると、よりはっきりしたエッジをもたらすことができるが、ノイズがそれほど抑えらない。λ用の値は、この利害関係のバランスをとるように選択され得る。基本的な画素パッチ、Ｗが視覚的に平滑である場合、
および
と期待でき、ここで、
は、画素パッチ（ウィンドウとも呼ばれる）、Ｗ内の画素値にわたってとられた平均を指す。あるいは、基本的なパッチが平滑ではない、かつ／またはばらつきが激しい場合（たとえば、エッジがある場合）、
および
を期待する。この最適化方程式が完全に解かれ、結果として以下のａ、ｂに対する方程式になり得る。

画像は、画像にＮｘＮウィンドウを滑り込ませることによってフィルタ処理され、異なる画像パッチを得て、パッチの中央にある画素ごとにａ、ｂを計算することができる。さらなる後処理ステップとして、それ自体２つの画像として扱われ得る、画素ごとのａとｂの集合的値は、ＮｘＮボックス平均化カーネルを使用してさらにフィルタ処理され得る。このプロセスの出力は、それぞれ、ａ、ｂのフィルタ処理された値から成る、２つの２Ｄ信号、Ａ、Ｂである。

原画像がＩとされる場合、ガイド付きフィルタの出力は、

となる。

上記の乗法および加法は、要素ごとのものである。

深度アウェアガイド付きフィルタ：
いくつかの実施形態では、ＴＯＦカメラを使用して得られる深度マップは、Ｓ０、Ｓ１とする２つの画像を使用して得られ得ることを思い出してみる。Ｄとした深度マップの１つの計算結果は、以下に比例する。

本開示は、ガイド付きフィルタをＳ０およびＳ１に適用することを説明する。これを行う際、起こり得る１つの問題は、エッジの近くへのアーティファクトの導入である。エッジの周りのａ値がＳ０とＳ１とで異なる場合、エッジの周りの深度推定値がゆがめられることになる。Ｓ０およびＳ１内のエッジは重なり、この重なりが、スケール係数「ａ」を、Ｓ０およびＳ１内の同じ画像パッチに対して、同じになるように制約することによって、潜在的なアーティファクトを数学的に最小限にさせ得る。エッジが「ａ」に、より直接に影響を受けることから、係数「ｂ」は、Ｓ０とＳ１とで異なるようにされ得る。Ｓ０およびＳ１内の同じパッチに対して「ａ」の拘束を確実にする１つの手法は、以下のように、パラメータを選ぶことである。

ここで、ｂ_０は、Ｓ０に対する係数ｂであり、ｂ_１は、Ｓ１に対する係数ｂである。この問題は、行列方程式における行列が、付加的な「ｂ」パラメータのために、２×２の代わりに３×３であるようになる、ガイド付きフィルタの場合と同様に解かれ得る。

ガイド付きフィルタをＳ０およびＳ１に適用し、Ｓ０およびＳ１に対するフィルタ処理プロセス間で、対応する画素ウィンドウごとに係数「ａ」を一定に保持することによって、Ｓ０およびＳ１は、使用するレーザパルスを少なくする（たとえば、４０００に対して、５００レーザパルス）などの、低電力技法を使用してキャプチャされ得る。

図１４は、本開示の実施形態による、低電力の深度画像をフィルタ処理する際のプロセスフロー図１４００である。第１の画像は、第１の期間（Ｓ０）においてキャプチャされ得る（１４０２）。第２の画像は、第１の期間とは異なる第２の期間（Ｓ１）においてキャプチャされ得る（１４０４）。Ｓ０とＳ１は、図４および５の場合などの、上に説明された方法と同様の方法でキャプチャされ得る。

キャプチャされた画像のうちの１つからの画素ウィンドウ（すなわち、画素集合値）ごとに、一組のフィルタ処理係数が決定され得る（１４０６）。たとえば、係数は、以下の式を用い、Ｓ０とＳ１のそれぞれに対してＮｘＮ画素ウィンドウ（画素集合）を使用して決定され得る。

拘束された「ａ」係数を使用して、Ｓ０の各画素にガイド付きフィルタが適用され得る（１４０８）。たとえば、
である。同じ拘束された係数「ａ」を使用して、Ｓ１の各画素にガイド付きフィルタが適用され得る（１４１０）。たとえば、
である。向上した深度画像は、Ｓ１＾対Ｓ０＾の比率に基づいて決定され得る（１４１２）。

上に説明されたガイド付きフィルタ処理プロセスは、ハードウェア処理、ソフトウェアアルゴリズム、またはハードウェアとソフトウェアの組合せを使用して行われ、リアルタイムの深度推定を実現することができる。

いくつかの実施形態では、第１の画像Ｓ０と第２の画像Ｓ１のそれぞれに対するスケール係数。第１のキャプチャされた画像および第２のキャプチャされた画像に対応する画素集合ごとに、係数のうちの１つまたは複数間の差の絶対値が、閾値を下回るようにされ得る。

ここで、αは、スケール係数ａ_０、ａ_１に対するコスト係数である。

受動的深度決定
コンピュータビジョン技法が、受動的深度決定に使用され得る。受動的深度決定とは、たとえば、電力を節約するために、たとえ直接の（または「能動的な」）深度決定が行われなくても、いくつかのフレームにおいて深度情報を得ることを意味する。コンピュータビジョン技法は、最初に、画像内の剛体をセグメントアウトすることができる。深度推定値が、新しい深度画像を撮る代わりに、フレーム１において与えられた深度マップから外挿され得るように、３次元における剛体の運動を推定するのに、２Ｄ画像と最適化を使用した、本明細書に説明される技法が使用され得る。

この節では、レーザを連続的に点ける必要なく、移動している物体を追跡することによって、一連のフレームにおける深度画像の更新を可能にする、アルゴリズムが説明される。それについての深度が望まれる物体が、場面においてすでに分かっていると仮定される。この手順は、定格レーザパワーと一連の「安く取得された」画像を使用して得られる最初の深度測定値の場合、各物体の深度がどのように変化するかの推定を可能にさせる。これらの「安く取得された」画像は、デジタルカメラを使用して取得されたＲＧＢ画像か、または低電力設定において取得されたＩＲ画像である可能性がある。

第１のシナリオでは、物体は、剛性であると仮定され、物体のすべての部分が同様に動くことを意味する（すなわち、物体は、収縮、拡張、歪みなどはしない）。第２のシナリオでは、物体を構成する各点は、それ相応に動く可能性がある。

以下とせよ。

Ｉ（ｘ、ｙ、ｔ）は、画像とせよ。ｘｙ座標は、画像内の画素を表し、たとえば、２行３列目の画素は、ｘ＝２、ｙ＝３であり得る。時間ｔは、フレーム番号を表し、Ｉ（ｘ、ｙ、ｔ）は、各画素における強度を表す。Ｉで簡略に表すことにする。

ｆは、カメラの焦点距離とせよ。

Ｘ、Ｙ、Ｚは、リアルワールド座標とせよ。

Ｕ、Ｖ、Ｗは、それぞれ、Ｘ、Ｙ、Ｚにおけるリアルワールド速度とせよ。

ｘ、ｙは、画素単位の座標とせよ。これらの座標は、カメラ原点に関して分かっている。

ｕ、ｖは、それぞれ、ｘ、ｙにおける画素単位の速度とし、「オプティカルフロー」としても知られている。

実施形態の実装形態では、最初の深度マップ、一連の低電力またはＲＧＢ画像、および焦点距離が与えられることが可能で、すなわち、それぞれ、Ｚ、ｘｙ座標、ｆが分かっている。Ｚは、画素ごとに与えられ、たとえば、ｘ＝２、ｙ＝３に対してＺ＝２ｍの場合、これは、イメージングデバイスの２行３列目の画素に捕捉された光が、２ｍ離れた物体の一部から来ていることを意味する。

残りの変数のうちのいくつかを得るために、以下に示されるような透視投影が使用され得る。

本明細書に説明されるアルゴリズムは、Ｕ、Ｖ、およびＷ（ひいては、ｕ、ｖ）を回復させるのに使用され得る。Ｕ、Ｖ、Ｗとｕ、ｖとの関係は、以下に示され、時間に関する区別を通して得られる。

本明細書に説明されるアルゴリズムの基本原理は、輝度不変の仮定である。輝度不変の仮定は、短い期間にわたってわずかに移動している画素が、強度変化しないことを明示する。数学的に、これは、以下を表し得る。

以下の下付き添字ｘ、ｙ、ｔは、それらの変数に関する偏導関数を表すとせよ。

ｕ、ｖをＵ、Ｖ、Ｗに関して書き直す。

項を整理すると、以下の方程式は、方程式Ａと呼ばれ得る。

剛体移動
画像内の既知の物体がどのように位置を変えたかを決定するために、剛体移動が計算され得る。このような情報は、さらなる高額な深度推定値の取得に頼ることなく、深度マップを更新するのに使用され得る（高額とは、高電力のレーザベースの深度マップを意味する）。前の節において説明されたように、剛体運動とは、物体を構成する点のすべてが、同じ変位ベクトルで動くことを意味する。再び、それについての深度情報が望まれる物体が画像内ですでに分かっていると仮定される。

仮定および記法

Ｒは、剛体移動を受ける画像内の領域である。

Ｕ、Ｖ、Ｗは、すべての点Ｒに対する定数である。

Ｚは、前の深度マップ測定値から得られる。

剛体移動を見つけるために、我々は、少なくとも四角の意味で、できる限り広い領域Ｒ内のすべての画素に対して方程式［００１６６］を満たすような、Ｕ、Ｖ、およびＷを見つける。このことは、以下の目的関数Ｊ（Ｕ、Ｖ、Ｗ）を最小化することに等しい。

Ｊ（Ｕ、Ｖ、Ｗ）の最小化の解は、以下の通りである。

方程式は、深度マップを更新するのに使用され得る、物体の３次元速度を与える。剛体の仮定は、物体の速度であるＵ、Ｖ、およびＷが、物体における画素のすべてに対して同じであり、したがって、それらが、画素のｘｙ座標に左右されないことを意味する。方程式Ｊ（Ｕ、Ｖ、Ｗ）は、最初の深度フレームからの深度マップＺを取り入れ、輝度不変の仮定を使用し、さらに方程式Ｊ（Ｕ、Ｖ、Ｗ）を最小化して、剛体の速度Ｕ、Ｖ、Ｗを得る。

フレームｔ＋１に対する推定深度マップは、関連のリアルワールド深度Ｚとともに、フレームｔにおける画素（ｘ、ｙ）を取って得られる。そのリアルワールドＸＹ座標は、
から得られる。ここで、速度Ｕ、Ｖ、およびＷが与えられ、Ｘ’、Ｙ’、Ｚ’と呼ばれ得る、フレームｔにおける画素（ｘ、ｙ）において得られた物体の一部のフレームｔ＋１における位置が、Ｘ’＝Ｘ＋Ｕ、Ｙ’＝Ｙ＋Ｖ、Ｚ’＝Ｚ＋Ｗのように得られる（ここで、我々は、時間ステップを、フレーム間で１であるように正規化する）。再度、
を使用し、画素位置（ｘ’、ｙ’）が、これが（Ｘ＋Ｕ）＝（Ｚ＋Ｗ）ｘ’／ｆ、（Ｙ＋Ｖ）＝（Ｚ＋Ｗ）ｙ’／ｆに対応するように、フレームｔ＋１において推定され得る。これらの方程式では、ｘ’およびｙ’のみが未知であり、そのため抽出され得る。したがって、フレームｔ＋１では、位置（ｘ’、ｙ’）における画素は、深度Ｚ＋Ｗを有する。（ｘ’、ｙ’）が整数ではない場合、（ｘ’、ｙ’）は、一番近い整数に四捨五入され、その画素における深度マップを埋めることができる。

図１５は、本開示の実施形態による、剛体移動情報を通して、深度マップを更新する際のプロセスフロー図１５００である。最初に、１つまたは複数の剛体が、剛体移動アルゴリズムのために特定される（１５０２）。最初の深度マップ（たとえば、フレーム１においてなどの、予めキャプチャされた高電力の深度マップ）、一連の画像、および焦点距離が与えられ、すなわち、Ｚ、ｘｙ座標、およびｆが分かっている。画像内の剛体は、ｘ、ｙにおける剛体の画素単位の位置にセグメントアウトされ得る（１５０４）。場面の１つまたは複数の低電力の画像がキャプチャされ得る（１５０６）。たとえば、場面の１つまたは複数の画像が、ＲＧＢカメラ、または低電力ＩＲ源を使用したカメラを用いてキャプチャされ得る。１つまたは複数の画像が、上に説明された技法を使用して分析され、最初の高電力の画像からの開始点と、低電力の画像のうちの少なくとも１つとの間の剛体の移動を決定することができる（１５０８）。最初の深度マップが、剛体移動情報を使用して更新され得る（１５１０）。

画素単位の移動推定
この節では、画素単位の動き推定を使用して深度マップを更新することを説明する。いくつかの（Ｕ、Ｖ、Ｗ）値の三つ組が、何の追加の制約もなく方程式Ａを満たすことになるため、方程式Ａを使用した、１つの画素に対するＵ、Ｖ、およびＷの決定は、劣決定系の問題であり、この場合、剛体運動のケースでは、必要とされる追加の制約は、すべての画素が同じＵ、Ｖ、Ｗで動くという事実から来ていたことに留意されたい。合理的解法用に方程式Ａを制約するための１つの手法は、Ｕ、Ｖ、Ｗに「平滑さ」を課すことである。この手法の展開が以下に示される。

簡単に導き出すために、画素単位の速度ｕ、ｖが分かっていると仮定される（すなわち、オプティカルフローが分かっている）。

Ｕ、Ｖ、およびＷは、２Ｄ関数である。

λは、定数である。

Ｚは、前の深度マップ測定値から得られていると仮定される。

以下を定義する。

かつ

ここで、ＳおよびＨは、ＵＶ座標を決定するための中間の関数である。

Ｆを被積分関数とすると、各変数に関するラグランジュオイラー方程式は、

代数を省略し、導出の例は、以下の通りである。

Ｕ、Ｖ、およびＷについての座標は、可能な場合はいつでも、混乱を避けるために省略されるが、これらの方程式は、各画素に対して成り立つ。さらに、ラグランジュオイラー方程式は、Ｕ、Ｖ、およびＷのラプラシアンを含むことに注意されたい。画像に対して、ラプラシアンのこのような近似値の１つは、

ここで、

この過程は、これまでのところ、反復スキームを示す。各点に対して、

深度推定値を更新するのに、各画素の相対的な動きが使用され得る。

図１６は、本開示の実施形態による、画像の画素単位の移動を決定して、深度マップを更新する際のプロセスフロー図１６００である。最初に、動いている物体を知ることができ、また物体の速度を知ることができる（１６０２）。画像の既知の深度マップが特定されることが可能で、または、現時点で予めキャプチャされる場合は、深度マップが高電力の深度推定技法を使用してキャプチャされ得る（１６０４）。場面の１つまたは複数の低電力の画像（たとえば、２Ｄ ＲＧＢ画像または低電力のＩＲ画像）がキャプチャされ得る（１６０６）。物体の画素単位の位置が、たとえば、上に説明されたアルゴリズムを使用して、推定または計算され得る（１６０８）。深度マップは、物体の位置における変化の画素単位の計算を使用して、更新され得る（１６１０）。
慣性計測装置（ＩＭＵ）を使用したフレーム補間

図１７は、いくつかの実施形態による、加速度計、ジャイロスコープを含む、慣性計測装置（ＩＭＵ）１７０２をさらに備えた、飛行時間型（ＴｏＦ）イメージングデバイス１７０１を含む検知システム１７００の概略図である。検知システム１７００は、システム２００と同様である。ＩＭＵ１７０２は、並進加速度や回転運動など、ＴｏＦイメージングデバイス１７０１の動きについての情報を提供する。ＩＭＵによって提供された情報は、オンボードプロセッサ２１６を備えるＴｏＦイメージングデバイス１７０１の動きを推定するのに使用され得る

レーザ出射電力を低減するためのフレーム間引きスキームを備えたＴｏＦイメージングデバイス１７０１のいくつかの実施形態によれば、間引きされたフレームにおける深度マップが、間引きされたフレーム中にキャプチャされた、ＴｏＦイメージングデバイス１７０１およびＲＧＢ画像またはその他の感光デバイスの測定深度マップから補間される。補間手順は、画像をセグメント化する計算上複雑なアルゴリズム、およびＴｏＦイメージングデバイス１７０１に対するこれらのセグメントの動きを補間することによる、各セグメントの深度マップの補間を含む。

図１８Ａは、ＴｏＦイメージングデバイス１７０１の動き情報を使用して得られた静止物体の補間された深度マップと、ＲＧＢ画像を使用した動く物体の深度マップ補間とを組み合わせた、場面の深度マップを補間する手順の一実施形態である。ＴｏＦイメージングデバイス１７０１の動きは、１つまたは複数の慣性計測装置から受信されたデータを処理することによって、決定され得る（１８０２）。対応する深度マップ１８０６を有する推定ＲＧＢフレームは、前のＲＧＢフレーム１８０５と、前のフレーム１８１４からの対応する深度マップとに基づき、効率よく計算された。次に、推定ＲＧＢフレームが、現在のフレーム１８０４においてキャプチャされたＲＧＢ画像と比較され、動く物体１８０８と、静止物体１８１０の深度マップとが特定され、場面から抽出される。動く物体１８１２についての深度マップは、いくつかの実施形態による、データ駆動型アルゴリズムを使用した、現在のフレーム１８０４および前のフレーム１８０５のＲＧＢ画像に基づき推定される。現在のフレーム１８１４の場面全体の補間された深度マップは、動く物体１８１２と静止物体１８１０との深度マップを組み合わせて生成される。

ＩＭＵは、第１の２Ｄ画像と第２の２Ｄ画像との間の移動、回転、およびベクトルの拡大縮小の推定を補助するのに使用され得る。たとえば、ＩＭＵは、画像センサが場面内の物体に対してどのように動いたかに関する正確な情報を提供することができる。この動き情報は、２つのキャプチャされた２Ｄ画像間の移動、回転、および／または画素パッチの拡大縮小の決定に使用され得る。

図１８Ｂは、本開示の実施形態による、慣性計測装置情報を使用して、深度マップを推定する際のプロセスフロー図１８５０である。最初に、イメージングシステム１７０１などのイメージングシステムは、イメージングシステムが動くのに従って、ＩＭＵ情報を集めることができる（１８５２）。前のフレームにおいて、イメージングシステムは、ＲＧＢ画像などの２次元画像と、場面の深度マップをキャプチャすることができる（１８５５）。イメージングシステム１７０１は、ＩＭＵ情報、ならびに予めキャプチャされた２次元画像および深度マップを使用して、次のフレームについての新しい２次元画像および／または深度マップを推定することができる（１８５６）。ＩＭＵは、場面内の１つまたは複数の物体がフレーム間でどのように変わったかについての移動情報などの情報を提供することができる。

物体の動きの画素単位の評価
図１９は、本開示の実施形態による、物体の動きの画素単位の推定値を使用して深度マップを更新する際のプロセスフロー図１９００である。最初に、第１のフレーム（フレーム１）がキャプチャされ、これは、深度マップを作成するための高電力のキャプチャであり得る（すなわち、高電力の深度推定技法を使用した）（１９０２）。深度が未知であるかまたはノイズを伴っている、低電力または２Ｄ ＲＧＢ技法によってキャプチャされた１つまたは複数の後のフレームでは（１９０４）、画像の１つまたは複数のパッチ（または画素ウィンドウ）が評価され、フレーム１にもある対応するパッチを見つけることができる（１９０６）。たとえば、対応するパッチは、各フレームにある物体または物体の一部を含むことができる。低電力／ＲＧＢ画像からのパッチは、高電力の画像内のおそらく異なるサイズである、このパッチの近くのパッチと比較され、物体または物体の一部がどの程度動いたか（移動したか）、サイズがどの程度変わったか（拡大縮小したか）、かつ／またはどの程度回転したか、を推定することができる（１９０８）。比較は、画素値の差の合計などの測定基準を使用して行われることが可能で、この場合、大きな値は、大きな違いに対応するので、人は、違いが最も小さいパッチを探す。実施形態において、隣接したパッチ間の変容の平滑さが強要され得る（１９１０）。

物体もしくは物体の一部、または目的とするその他の領域が、２つの画像間でどのように変わったかを決定することによって、深度が推定され得る（１９１２）。たとえば、パッチがより大きい場合、物体は、それがフレームにあった場合よりも、カメラに近い。実施形態において、サイズまたは他の動きにおける変化が数値化され、深度における変化を推定することができる。また、回転推定能力の使用は、２つの画像間のパッチ（または、画素のグループ分け）の特定を補助することができる。対応する画素パッチが、第２の画像において特定された後、深度推定の目的で、移動および拡大縮小（また、いくつかの実施形態では回転）が使用され得る。

画像間の画素位置、拡大縮小、および／または回転の変化を特定するためのアルゴリズムの例は、オプティカルフロー、ブロックマッチング、パッチマッチ、高速フーリエ変換などの異形を含む。

いくつかの実施形態において、本明細書に説明されるアルゴリズムには、データ駆動型手法が有効であり、信頼性を高めることができる。大きな画像セットは、高パルスカウントで得られた高精度の深度マップと、１つまたは複数のより低電力のもしくは２Ｄ ＲＧＢ画像を含んで、集められ得る。ニューラルネットワーク、サポートベクターマシンなどのデータ駆動型アルゴリズムは、精度および／または速度を上げるように訓練され得る。このようなデータ駆動型アルゴリズムは、リアルタイム画像処理技法に適用され、低電力の深度マップ更新を向上させることができる。たとえば、人は、深度マップを含む大きなデータセットを集め、比較測定基準を学習し、パッチを比較することができる。

パッチ位置、拡大縮小、または回転における変化を使用する一例として、第１の２Ｄ画像が、第１の２Ｄ画像内の物体の深度マップまたは深度推定値といっしょにキャプチャされ得る。次に、第２の２Ｄ画像が、キャプチャされ得る。第１の２Ｄ画像から、画素（ｘ、ｙ）に隣接する、また近接する画素のパッチが特定され、第１の２Ｄ画像内の画素（ｘ、ｙ）に割り当てられる。パッチを形成する多くの画素が、所望の解像度、消費電力、プロセッサ利用率などに基づき選択され得る。第１の２Ｄ画像についての各画素パッチの深度マップが、たとえば、画像全体のキャプチャされた深度マップを使用して決定され得る。第１の２Ｄ画像からの画素の深度は、Ｆ（ｘ、ｙ）で表されることが可能で、この場合、Ｆ（ｘ、ｙ）は、位置（ｘ、ｙ）における画素についての深度を表す。

パッチの位置、拡大縮小、または回転における変化は、たとえば、上に説明された１つまたは複数のアルゴリズムを使用して、決定され得る。この例では、画素パッチが拡大縮小と移動を経ていることが決定され得る。画素の移動は、Ｔ＝（ｘ’−ｘ、ｙ’−ｙ）で表されることが可能で、この場合、（ｘ’、ｙ’）は、第２の２Ｄ画像内の対応する画素に対する新しい画素位置を表す。拡大縮小は、因数αで表され得る。第２の画像内の画素の新しい深度は、以下で表され得る。

Ｇ（ｘ’、ｙ’）＝（１／α）^＊Ｆ（ｘ、ｙ）＝（１／α）^＊Ｆ（（ｘ’、ｙ’）−Ｔ）、

ここで、Ｇ（ｘ’、ｙ’）は、第２の２Ｄ画像についての位置（ｘ’、ｙ’）における画素ごとの推定深度である。

実施形態において、深度推定は、第２の２Ｄ画像の画素ごとに行われ得る。実施形態において、第１の２Ｄ画像と第２の２Ｄ画像との間の画素（ｘ、ｙ）の深度における変化は、画素（ｘ、ｙ）に割り当てられたパッチ画素についての深度における代表的な変化として使用され得る。たとえば、第２の２Ｄ画像からの（ｘ’、ｙ’）における画素は、第１の２Ｄ画像内の（ｘ、ｙ）における画素の深度とは、Ａ＝Ｇ（ｘ’、ｙ’）−Ｆ（ｘ、ｙ）分だけ異なる、深度Ｇ（ｘ’、ｙ’）にあると推定され得る。各パッチ内の画素が、第１の２Ｄ画像と第２の２Ｄ画像との間で同様に動くと仮定される場合、第２の２Ｄ画像内の画素（ｘ’、ｙ’）に割り当てられたパッチ内の画素の深度も、Ａの分だけ異なることになる。別の言い方では、画素（ｘ’、ｙ’）に割り当てられたパッチ内の画素の深度は、Ａが加えられた第１の画像内の画素（ｘ、ｙ）に割り当てられたパッチ内の画素の深度であることになる。

実施形態において、Ｔおよび／またはαは、画素（ｘ、ｙ）に割り当てられた画素パッチ全体を形成する各画素に対して一定に保持されることが可能で、パッチの深度は、パッチ内の各画素の深度を個々に推定することなく推定され得る。

背景完成
受動的な深度決定アルゴリズム（剛体運動と画素単位の動きの両方のバージョン）は、場面内の動く物体の深度をモニタするのに使用され得るが、これらの物体の動きは、それについての前のフレームからの前の深度測定値が使用できない背景内の領域も明らかにする。これらの領域を「埋める」ために、考えられる技法は、画像インペインティング、ブロックマッチングなどを含む。たとえば、「安く得られた」フレームにおいてブロックマッチングを使用することによって、明らかにされた背景パッチに最も近いマッチするパッチが特定され、高品質の深度マップからの同じ領域に位置するパッチを使用し、明らかにされた領域を「埋める」ことができる。我々の手法は、これらの「埋める」方法と並んで、受動的な深度決定アルゴリズムを使用し、完全な深度マップを生成することになる。

図２０は、更新された深度マップについての背景画素を外挿する際のプロセスフロー図２０００である。イメージングシステムは、それについての深度マップを外挿する方法が正しい深度推定値を与えないことになる、画素を特定することができる（２００２）。たとえば、物体または物体の一部が第１の画像から第２の画像に動くにつれ、物体によって隠されていたどんなものも明らかにされる。物体が、背景の範囲を塞いでいたために、隠されていた背景の深度が、最初の深度マップの一部ではなかった。背景を表す画素が、第２の画像内で明らかにされるが、深度は分かっていない。それらの画素は、背景完成のために特定され得る。

イメージングシステムは、新しく明らかにされた画素についての深度を推定するのに使用され得る、正しい深度推定値を有する画像内の領域を見つけることができる（２００４）。深度が正しく推定されている画像の領域に基づき深度を測定するのに、上で説明された背景完成が使用され得る（２００６）。

実施形態において、イメージングデバイスは、イメージングセンサを使用して、場面から測定を行うことができる。「ｍｅａｓｕｒｅｍｅｎｔ（測定）」という用語は、２次元画像および深度画像（たとえば、深度マップを構築するのに使用され得る深度情報）をキャプチャすることを含むことができる。「ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｉｍａｇｅ（２次元画像）」という用語は、カラー（ＲＧＢ）画像、グレイスケール画像、赤外線画像、その他の従来の画像など、深度画像ではない任意の画像を含む。

様々な発明概念が、少なくとも１つの非一時的コンピュータ可読記憶媒体（たとえば、コンピュータメモリ、１つまたは複数のフロッピディスク、コンパクトディスク、光ディスク、磁気ディスク、フラッシュメモリ、フィールドプログラマブルゲートアレイにおける回路構成、またはその他の半導体デバイスなど）、あるいは１つまたは複数のコンピュータまたはその他のプロセッサ上で実行されると、本出願の様々な実施形態のうちのいくつかを実装する、１つまたは複数のプログラムで符号化されるコンピュータ可読記憶デバイス（上記の例を含み得る）、として具体化され得る。

本出願のテクノロジーのいくつかの態様および実施形態がこのように説明されたが、様々な変更、修正、および改良が当業者の頭に浮かんでくることを理解されたい。したがって、このような変更、修正および改良は、本出願に説明されたテクノロジーの趣旨および範囲にあるものである。したがって、上記の実施形態は、あくまでも例示として提示され、また、添付の特許請求の範囲およびその均等物の範囲で、発明の実施形態が具体的に説明された以外で実行されてもよいことを理解されたい。また、本明細書に説明された、２つ以上の特徴、システム、物品、材料、および／または方法の任意の組合せは、このような特徴、システム、物品、材料、および／または方法が相互に矛盾しない限り、本開示の範囲に含まれる。

また、説明されたように、いくつかの態様は、１つまたは複数の方法として具体化され得る。方法の一部として行われる動作は、任意の適切な方法において順序付けられ得る。したがって、実施形態は、動作が図示された以外の順番で行われるように組み立てられることが可能で、例示的な実施形態において連続した動作として示された場合でも、いくつかの動作を同時に行うことを含み得る。

本明細書において定められ、使用されるすべての定義は、辞書定義、参照により組み込まれた文書内の定義、および／または定義された用語の通常の意味にわたるものと理解されるべきである。

「ａｎｄ／ｏｒ（および／または）」という句は、本明細書および特許請求の範囲において使用される際、そのように結合された要素、すなわち、ある場合は接合的に存在し、また他の場合は離接的に存在する要素の「いずれかまたは両方」を意味すると理解されるべきである。

本明細書および特許請求の範囲において使用される際、１つまたは複数の要素のリストに関連した、「ａｔ ｌｅａｓｔ ｏｎｅ（少なくとも１つの）」という句は、要素リスト内の要素のうちのいずれか１つまたは複数から選択された少なくとも１つの要素を意味するが、要素リスト内に具体的に載せられたありとあらゆる要素のうちの少なくとも１つを必ずしも含むものではなく、要素リスト内の要素の任意の組合せを除くものではないと理解されるべきである。この定義はまた、要素が、「ａｔ ｌｅａｓｔ ｏｎｅ（少なくとも１つの）」の句が指す、要素リスト内で具体的に特定された要素以外に、具体的に特定されたそれらの要素に関係する、しないに関わらず、任意で存在してもよいことも許す。

「ａｐｐｒｏｘｉｍａｔｅｌｙ（おおよそで）」および「ａｂｏｎｔ（約）」という用語は、いくつかの実施形態では目標値の±２０％以内、いくつかの実施形態では目標値の±１０％以内、いくつかの実施形態では目標値の±５％以内、またさらにいくつかの実施形態では目標値の±２％以内を意味するように使用され得る。「ａｐｐｒｏｘｉｍａｔｅｌｙ（おおよそで）」および「ａｂｏｕｔ（約）」という用語は、目標値を含み得る。

上記の明細書の場合と同様、特許請求の範囲では、「ｃｏｍｐｒｉｓｉｎｇ（備える）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃａｒｒｙｉｎｇ（持つ）」、「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（含む）」、「ｉｎｖｏｌｖｉｎｇ（含む）」、「ｈｏｌｄｉｎｇ（保持する）」、「ｃｏｍｐｏｓｅｄ ｏｆ（から構成される）」などのすべての移行句は、オープンエンドであり、すなわち、含むがそれに限定されないことを意味するものである。「ｃｏｎｓｉｓｔｉｎｇ ｏｆ（から成る）」および「ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ（基本的に〜から成る）」という移行句は、それぞれ、クローズドまたは半クローズドな句とする。

Claims (22)

1. イメージングデバイスを操作する方法であって、
   複数のフレームのうちの第１のフレーム中に、第１の電力設定を使用して、場面から第１の組の測定値をキャプチャすることであって、前記第１の組の測定値が、前記場面内の１つまたは複数の物体と前記イメージングデバイスとの間の距離を表す深度マップを含む、ことと、
   第２のフレーム中に、第２の電力設定を使用して、前記場面から第２の組の測定値をキャプチャすることであって、前記第２の電力設定が、前記第１の電力設定よりも低い、ことと、
   前記第１の組の測定値と前記第２の組の測定値との比較に少なくとも一部基づき、前記第１のフレーム中にキャプチャされた前記深度マップを更新することと、を含む、方法。
2. 前記深度マップが第１の深度マップであり、前記第２の組の測定値が、前記第２の電力設定においてキャプチャされた第２の深度マップを含み、前記方法が、
   前記第２の深度マップに少なくとも一部基づき、前記第１のマップを更新すること、をさらに含む、請求項１に記載の方法。
3. 前記第１の組の測定値が、第１の２次元画像を含み、前記第２の組の測定値が、第２の２次元画像を含み、前記方法が、
   前記第１の２次元画像において、場面の少なくとも一部を特定することと、
   前記第２の２次元画像から、前記場面の前記少なくとも一部の変容における変化を決定することと、をさらに含み、
   前記深度マップを更新することが、前記場面の前記少なくとも一部の変容における前記変化に基づき、前記深度マップを更新することを含む、請求項１に記載の方法。
4. 前記場面の前記少なくとも一部の前記変容における前記変化が、位置、向き、または縮尺における変化のうちの１つまたは複数を含む、請求項３に記載の方法。
5. 前記場面の前記少なくとも一部の変容を決定することが、
   前記イメージングデバイスの焦点距離を特定することと、
   前記第１の画像内の物体の前記一部を表す画素集合を特定することと、
   前記画素集合のうちの少なくとも１つの深度を特定することと、
   前記場面内の前記物体の前記一部の、センサに対する前記位置を決定することと、
   前記第２の画像が撮られたときに対応する時点における、前記物体の前記一部に対応する前記画素を決定することと、
   前記第２の画像が撮られたときに対応する時点における、前記物体の前記一部の、前記センサに対する前記位置を決定することと、
   前記第２のキャプチャされた画像についての前記画素の前記深度を決定することと、を含む、請求項３に記載の方法。
6. 前記場面の前記少なくとも一部の変容を決定することが、前記場面の前記少なくとも一部の回転を決定することを含む、請求項３に記載の方法。
7. 前記場面の前記少なくとも一部の前記回転を決定することが、
   前記第１の画像および前記第２の画像において、前記場面の前記少なくとも一部における画素に、高速フーリエ変換を適用することと、
   前記２つの高速フーリエ変換のマグニチュードを決定することと、
   前記フーリエ変換の前記マグニチュードの座標を極座標に変換することと、
   前記極座標の２つのフーリエ変換の前記マグニチュードのクロスパワースペクトルを計算することと、
   それにおいて前記クロススペクトルが最大化される角度を、前記回転角度として決定することと、を含む、請求項６に記載の方法。
8. 前記場面の前記少なくとも一部の前記縮尺を決定することが、
   前記第１の画像および前記第２の画像において、前記場面の前記少なくとも一部における前記画素に、高速フーリエ変換を適用することと、
   前記高速フーリエ変換の少なくともいくつかの座標を、対数目盛極座標に変換することと、
   前記対数極座標の高速フーリエ変換のクロスパワースペクトルを計算することと、
   それにおいて前記クロススペクトルが最大化される変換の指数を、拡大縮小として決定することと、を含む、請求項６に記載の方法。
9. 前記第１の組の測定値と前記第２の組の測定値との前記比較に関連した信頼度測定基準を決定することと、
   前記複数のフレームのうちの第３のフレーム中に、第３の電力設定を使用して、第３の組の測定値をキャプチャすることであって、前記第３の電力設定が、前記信頼度測定基準に基づいて決定される、ことと、をさらに含む、請求項１に記載の方法。
10. それについての前記深度マップを外挿する方法が、正しい深度推定値を与えないことになる前記画素を特定することと、
    それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素について前記深度を推定するのに使用され得る、前記正しい深度推定値を有する前記画像内の領域を見つけることと、
    それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素に、前記正しい深度推定値を有する前記画像内の領域に基づき、背景完成手順を適用することと、をさらに含む、請求項１に記載の方法。
11. 前記画像センサの位置、向き、または速度のうちの１つまたは複数を、前記画像センサに結合された慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）によって決定することと、
    前記ＩＭＵによって示された変容を、前記場面の前記少なくとも一部に適用し、前記場面の前記少なくとも一部が、前記第１のフレームと前記第２のフレームとの間でどのように変化したかを決定することと、をさらに含む、請求項１に記載の方法。
12. イメージングデバイスであって、
    画像センサと、
    光源と、
    画像プロセッサと、を備え、
    前記画像センサによって、場面から第１の組の測定値をキャプチャすることであって、前記第１の組の測定値が、複数のフレームのうちの第１のフレーム中に、第１の電力設定を使用してキャプチャされ、前記第１の組の測定値が、前記場面内の１つまたは複数の物体と前記画像センサとの間の距離を表す深度マップを含む、ことと、
    前記画像センサによって、前記場面から第２の組の測定値をキャプチャすることであって、前記第２の組の測定値が、第２のフレーム中に、第２の電力設定を使用してキャプチャされ、前記第２の電力設定が、前記第１の電力設定よりも低い、ことと、
    前記第１の組の測定値と前記第２組の測定値との比較に少なくとも一部基づき、前記第１のフレーム中にキャプチャされた前記深度マップを更新することと、を行うように構成された、イメージングデバイス。
13. 前記深度マップが、第１の深度マップであり、前記第２の組の測定値が、前記第２の電力設定においてキャプチャされた第２の深度マップを含み、前記イメージングデバイスが、前記第２の深度マップに少なくとも一部基づき、前記第１のマップを更新するようにさらに構成される、請求項１２に記載のイメージングデバイス。
14. 前記第１の組の測定値が、第１の２次元画像を含み、前記第２の組の測定値が、第２の２次元画像を含み、前記イメージングデバイスが、
    前記第１の２次元画像において、場面の少なくとも一部を特定することと、
    前記第２の２次元画像から、前記場面の前記少なくとも一部の変容における変化を決定することと、を行うように、さらに構成され、
    前記深度マップを更新することが、前記場面の前記少なくとも一部の前記変容における変化に基づき、前記深度マップを更新することを含む、請求項１２に記載のイメージングデバイス。
15. 前記場面の前記少なくとも一部の前記変容における前記変化が、位置、向き、または縮尺における変化のうちの１つまたは複数を含む、請求項１４に記載のイメージングデバイス。
16. 前記イメージングデバイスが、
    前記イメージングデバイスの焦点距離を特定することと、
    前記第１の画像において、物体の前記一部を表す画素集合を特定することと、
    前記画素集合のうちの少なくとも１つの深度を特定することと、
    前記場面内の前記物体の前記一部の、前記センサに対する前記位置を決定することと、
    前記第２の画像が撮られたときに対応する時点における、前記物体の前記一部に対応する前記画素を決定することと、
    前記第２の画像が撮られたときに対応する時点における、前記物体の前記一部の、前記センサに対する前記位置を決定することと、
    前記第２のキャプチャされた画像についての前記画素の前記深度を決定することと、によって、前記場面の前記少なくとも一部の変容を決定するようにさらに構成される、請求項１４に記載のイメージングデバイス。
17. 前記イメージングデバイスが、前記場面の前記少なくとも一部の回転を決定することによって、前記場面の前記少なくとも一部の変容を決定するように構成される、請求項１４に記載のイメージングデバイス。
18. 前記イメージングデバイスが、
    前記第１の画像および前記第２の画像において、前記場面の前記少なくとも一部における画素に、高速フーリエ変換を適用することと、
    前記２つの高速フーリエ変換のマグニチュードを決定することと、
    前記フーリエ変換の前記マグニチュードの座標を極座標に変換することと、
    前記極座標の２つのフーリエ変換の前記マグニチュードのクロスパワースペクトルを計算することと、
    前記クロススペクトルが最大化される角度を、前記回転角度として決定することと、によって、前記場面の前記少なくとも一部の前記回転を決定するように構成される、請求項１７に記載のイメージングデバイス。
19. 前記場面の前記少なくとも一部の前記縮尺を決定することが、
    前記第１の画像および前記第２の画像において、前記場面の前記少なくとも一部における前記画素に、高速フーリエ変換を適用することと、
    前記高速フーリエ変換の少なくともいくつかの座標を、対数目盛極座標に変換することと、
    前記対数極座標の高速フーリエ変換のクロスパワースペクトルを計算することと、
    前記クロススペクトルが、最大化される変換の指数を、前記場面の前記少なくとも一部の拡大縮小として決定することと、を含む、請求項１７に記載のイメージングデバイス。
20. 前記イメージングデバイスが、
    前記第１の組の測定値と前記第２の組の測定値との間の前記比較に関連した信頼度測定基準を決定することと、
    前記イメージングセンサによって、前記複数のフレームのうちの第３のフレーム中に、第３の電力設定を使用して、第３の組の測定値をキャプチャすることであって、前記第３の電力設定が、前記信頼度測定基準に基づいて決定される、ことと、を行うように構成される、請求項１２に記載のイメージングデバイス。
21. それについての前記深度マップを外挿する前記方法が、正しい深度推定値を与えないことになる前記画素を特定することと、
    それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素についての前記深度を推定するのに使用され得る、正しい深度推定値を有する前記画像内の領域を見つけることと、
    それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素に、前記正しい深度推定値を有する前記画像内の領域に基づき、背景完成手順を適用することと、を行うようにさらに構成される、請求項１に記載のイメージングデバイス。
22. 前記イメージングデバイスが、
    前記画像センサの位置、向き、または速度のうちの１つまたは複数を、前記画像センサに結合された慣性計測装置（ＩＭＵ）によって決定することと、
    前記ＩＭＵによって示された変容を、前記場面の前記少なくとも一部に適用し、前記場面の前記少なくとも一部が、前記第１のフレームと前記第２のフレームとの間でどのように変化したかを決定することと、を行うようにさらに構成される、請求項１２に記載のイメージングデバイス。