JP2018534699A - 誤りのある深度情報を補正するためのシステムおよび方法 - Google Patents

Abstract

補正された深度マップを生成するための電子デバイスが説明される。電子デバイスは、プロセッサを含む。プロセッサは、第１の深度マップを取得するように構成される。第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を含む。プロセッサはまた、第２の深度マップも取得するように構成される。第２の深度マップは、第２のサンプリングで深度センサによってサンプリングされたシーンの第２の部分の第２の深度情報を含む。プロセッサは、第１のサンプリングと第２のサンプリングとの間の深度センサの変位を示す変位情報を取得するようにさらに構成される。プロセッサはまた、第１の深度情報、第２の深度情報、および変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成するように構成される。

Description

[0001] 本開示は一般に、電子デバイスに関する。より具体的には、本開示は、誤りのある深度情報を補正するためのシステムおよび方法に関する。

[0002] 過去数１０年間で、電子デバイスの使用は一般的となった。特に、電子技術の進歩は、ますます複雑化し有用性を増している電子デバイスのコストを削減してきた。コストの削減および消費者の需要は、電子デバイスが現在の社会において事実上ユビキタスになるほどに電子デバイスの使用を急増させた。電子デバイスの使用が拡大するにつれ、電子デバイスの新しい改善された特徴に対する需要も拡大した。より詳細には、新しい機能を実行する、および／またはより迅速に、より効率的に、またはより高い品質で機能を実行する電子デバイスが、しばしば求められている。

[0003] 深度（Depth）は、３次元（３Ｄ）空間の構成要素である。例えば、深度は、３Ｄ空間中の２点間の距離として表され得る。実世界の状況では、電子デバイスで深度を正確に測定しようと試みると、多くの問題が発生する。

[0004] 特に、動きおよび測定の機能停止（outages）は、深度測定を損なわせ（corrupt）、不正確なおよび／または無駄な深度測定をもたらし得る。この考察からわかるように、深度測定を改善することは有益であり得る。

[0005] 補正された深度マップを生成するための電子デバイスが説明される。電子デバイスは、深度センサを含む。電子デバイスはまた、深度センサに結合された動きセンサを含む。動きセンサは、動き情報を決定するように構成される。電子デバイスは、深度センサおよび動きセンサに結合されたプロセッサをさらに含む。プロセッサは、第１の深度マップを取得するように構成される。第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を含む。プロセッサはまた、第２の深度マップも取得するように構成される。第２の深度マップは、第２のサンプリングで深度センサによってサンプリングされたシーンの第２の部分の第２の深度情報を含む。プロセッサは、動き情報に基づいて、第１のサンプリングと第２のサンプリングとの間の深度センサの変位を示す変位情報を取得するようにさらに構成される。プロセッサは、第１の深度情報、第２の深度情報、および変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成するようにさらに構成される。

[0006] プロセッサは、変換された深度マップを作成するために、変位情報に基づいて第１の深度マップを変換するように構成され得る。プロセッサは、変換された深度マップに基づいて第２の深度マップの誤りのある深度情報を補正するように構成され得る。

[0007] プロセッサは、誤りのある深度情報を変換された深度マップの対応する深度情報に置き換えるように構成され得る。プロセッサは、変換された深度マップの対応する誤りのない深度情報を用いて、第２の深度マップの誤りのない深度情報を平均化するように構成され得る。

[0008] プロセッサは、第２の深度マップの深度を、変換された深度マップの深度と比較することによって、誤りのある深度情報を検出するように構成され得る。プロセッサは、第２の深度マップの深度が、変換された深度マップの深度から、閾値量を超えるかどうかを決定するように構成され得る。プロセッサは、変換された深度マップの少なくとも２つの深度と、第２の深度マップの少なくとも２つの深度との間の時空間的平均値に基づいて、誤りのある深度情報を検出するように構成され得る。

[0009] プロセッサは、１つまたは複数のワールド座標点を作成するために、深度センサプレーン上の１つまたは複数の点をワールド座標に投影するように構成され得る。プロセッサはまた、１つまたは複数のワールド座標点を回転させるように構成され得る。プロセッサは、１つまたは複数のワールド座標点を平行移動させるようにさらに構成され得る。プロセッサは、変換された深度マップを作成するために、１つまたは複数のワールド座標点を再投影するようにさらに構成され得る。

[0010] プロセッサは、第２の深度マップ中の２つ以上の深度の空間的平均値に基づいて、誤りのある深度情報を検出するように構成され得る。誤りのある深度情報は、深度センサの機能停止を含み得る。

[0011] 電子デバイスによって、補正された深度マップを生成するための方法もまた説明される。方法は、第１の深度マップを取得することを含む。第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を含む。方法はまた、第２の深度マップを取得することもまた含む。第２の深度マップは、第２のサンプリングで深度センサによってサンプリングされたシーンの第２の部分の第２の深度情報を含む。方法は、第１のサンプリングと第２のサンプリングとの間の深度センサの変位を示す変位情報を取得することをさらに含む。方法は、第１の深度情報、第２の深度情報、および変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成することをさらに含む。

[0012] 補正された深度マップを生成するための装置もまた説明される。装置は、第１の深度マップを取得するための手段を含む。第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を含む。装置は、第２の深度マップを取得するための手段もまた含む。第２の深度マップは、第２のサンプリングで深度センサによってサンプリングされたシーンの第２の部分の第２の深度情報を含む。装置は、第１のサンプリングと第２のサンプリングとの間の深度センサの変位を示す変位情報を取得するための手段をさらに含む。装置は、第１の深度情報、第２の深度情報、および変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成するための手段をさらに含む。

[0013] 補正された深度マップを生成するためのコンピュータプログラム製品もまた説明される。コンピュータプログラム製品は、命令を有する非一時的な有形のコンピュータ可読媒体を含む。命令は、電子デバイスに、第１の深度マップを取得させるためのコードを含む。第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を含む。命令は、電子デバイスに、第２の深度マップを取得させるためのコードもまた含む。第２の深度マップは、第２のサンプリングで深度センサによってサンプリングされたシーンの第２の部分の第２の深度情報を含む。命令は、電子デバイスに、第１のサンプリングと第２のサンプリングとの間の深度センサの変位を示す変位情報を取得させるためのコードをさらに含む。命令は、電子デバイスに、第１の深度情報、第２の深度情報、および変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成させるためのコードをさらに含む。

[0014] 図１は、誤りのある深度情報を補正するためのシステムおよび方法が実装され得る電子デバイスの一例を図示するブロック図である。 [0015] 図２は、誤りのある深度情報を補正するための方法の１つの構成を図示するフロー図である。 [0016] 図３は、深度センサ移動（depth sensor movement）の一例を図示する図である。 [0017] 図４は、深度センサ移動の別の例を図示する。 [0018] 図５は、誤りのある深度情報を有する深度マップ視覚化、単純な補正の視覚化、および変位情報を用いた補正の視覚化の例を図示する。 [0019] 図６は、本明細書で開示されるシステムおよび方法に従って実装され得るエレメントのより具体的な例を図示するブロック図である。 [0020] 図７は、誤りのある深度情報を補正するための方法の１つの構成を図示するフロー図である。 [0021] 図８は、本明細書で開示されるシステムおよび方法に従って行われ得る変換の一例を図示する図である。 [0022] 図９は、深度の例を図示する図である。 [0023] 図１０は、本明細書で開示されるシステムおよび方法の様々な構成を実装するように構成された電子デバイス内に含まれ得る、ある特定の構成要素を図示する。

発明の詳細な説明

[0024] 本明細書で開示されるシステムおよび方法は、誤りのある深度情報を補正するためのアプローチを提供し得る。例えば、本明細書で開示されるシステムおよび方法は、動きセンサ（例えば、加速度計など）を使用する不安定な（unsteady）電子デバイスからの深度マップの時間的（temporal）フィルタリングのためのアプローチを提供し得る。深度センサは、機能停止を経験し（experience）得る。機能停止は、深度センサが誤りのある深度情報を作成した時に発生し得る。例えば、深度センサは、深度センサとオブジェクトとの間の深度（例えば、距離）を正確には表さない１つまたは複数の誤った深度測定値を作成し得る。例えば、機能停止は、実際の深度がある値（例えば、ｘ）であるが深度センサは別の値（例えば、ｙ）を提供する誤りのある深度検出であり得、および／または、機能停止は、いずれのものの検出も完全に失敗し得る。

[0025] 機能停止（例えば、深度マップにおけるエラー）は、使用される技術に依存し得る。アクティブなアプローチでは、デバイス自体が光パターン（例えば、赤外光パターン）を用いてシーンを照らし得る。アクティブなアプローチに関して、わずかな光しか反射しない暗い表面は、信号対雑音比が非常に低い可能性があるため、エラーになる傾向があり得る。デバイス（例えば、深度センサ）に対して直角ではなく、離れて傾斜している表面もまた、エラーになる傾向があり得る。他の技術（例えば、偏光方式の立体（passive stereoscopic））は、平坦なおよび／または均質なエリアで、並びに／あるいは、反復パターンを有するエリアで、エラーを有する傾向があり得る。

[0026] 深度センサは、深度情報（および／または深度情報を決定するための情報）をキャプチャし得る。いくつかの構成では、深度情報は、深度測定値（例えば、距離、深度、深度値など）のセットを含み得る。例えば、深度センサは、深度測定値のセットを作成するために、検出フィールド内のシーンをサンプリングし得る。深度測定値のセットが深度マップであり得る。深度マップはしばしば、解像度が低く、機能停止（例えば、ホール（holes））を有し得る。さらに、深度センサが移動するときにフレームからフレームへの機能停止ノイズが残り得る。時間的フィルタリング（例えば、フレーム間の情報を融合すること）は、品質を改善し得る。しかしながら、深度センサが不安定なとき（例えば、深度センサがハンドヘルドであるか、または車に搭載されているとき）、シンプルな平均化は、エッジをぼやけさせる（blurs）。

[0027] 本明細書で開示されるシステムおよび方法は、上述の問題を軽減するためのアプローチを提供し得る。深度センサの動きは、動きセンサ（例えば、加速度計、ジャイロ、内部動きセンサ、ビジュアルオドメトリセンサなど）を用いて推定され得る。例えば、深度センサの平行移動および／または回転が（例えば、６自由度（ＤＯＧ：degrees of freedom）で）推定され得る。推定されたセンサ移動は、１つのフレームから後続の（例えば、次の）フレームに深度情報をマッピングするために利用され得る。それらの全ての３Ｄロケーションを用いて点が推定され得る（例えば、既知となる）ため、深度マップのコンテキストでは、本明細書で開示されるシステムおよび方法は、未知の変位（例えば、視差）を低減または排除し得る。

[0028] 本明細書で説明されるシステムおよび方法の利点のいくつかが下記に提示される。本明細書で開示されるシステムおよび方法は、深度マップ（典型的な深度マップであるが、通常、解像度が低く機能停止を含むものである）の品質を改善し得る。本明細書で開示されるシステムおよび方法のいくつかの構成は、追加のハードウェアを必要としないだろう。例えば、加速度計は、スマートフォン上に偏在する。本明細書で開示されるシステムおよび方法によると、フレーム間マッピングは、一旦深度センサ移動が既知になると、十分に決定論的となり得る。従って、視差を推定する必要はないだろう。本明細書で開示されるシステムおよび方法の様々な構成を実装するための計算コストは低くなり得る。

[0029] 様々な構成が図面を参照して説明され、ここで、同様の参照番号は、機能的に類似したエレメントを指し得る。本明細書の図において一般に説明され図示されるようなシステムおよび方法は、多種多様な異なる構成で配置および設計され得る。よって、図に表されるようないくつかの構成の下記のより詳細な説明は、特許請求の範囲に記載されるような範囲を制限することを意図するものではなく、単にシステムおよび方法を代表するものにすぎない。

[0030] 図１は、誤りのある深度情報を補正するためのシステムおよび方法が実装され得る電子デバイス１０２の一例を図示するブロック図である。電子デバイス１０２の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラフォン、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータなど）、タブレットデバイス、メディアプレイヤ、テレビジョン、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、バーチャルリアリティデバイス（例えば、ヘッドセット）、拡張リアリティデバイス（例えば、ヘッドセット）、混合リアリティデバイス（例えば、ヘッドセット）、アクションカメラ、監視カメラ、搭載型カメラ、接続型カメラ、ロボット、飛行機、ドローン、無人機（ＵＡＶｓ：unmanned aerial vehicleｓ）、スマート家電、ヘルスケア器具、ゲーミングコンソール、パーソナルデジタルアシスタント（ＰＤＡｓ）、セットトップボックス、測量デバイス、セキュリティデバイス、地形測量技師、マッピングデバイスなどを含む。電子デバイス１０２は、１つまたは複数の構成要素またはエレメントを含み得る。構成要素またはエレメントの１つまたは複数は、ハードウェア（例えば、回路）、またはハードウェアとソフトウェアとの組み合わせ（例えば、命令を有するプロセッサ）において実装され得る。

[0031] いくつかの構成では、電子デバイス１０２は、プロセッサ１１２、メモリ１２０、ディスプレイ１２２、１つまたは複数のイメージセンサ１０４、１つまたは複数の光学システム１０６、１つまたは複数の深度センサ１０８、１つまたは複数の動きセンサ１１０、および／または通信インターフェース１２６を含み得る。プロセッサ１１２は、メモリ１２０、ディスプレイ１２２、イメージセンサ１０４、光学システム１０６、深度センサ１０８、動きセンサ１１０、および／または通信インターフェース１２６に結合され（例えば、それらと電子通信し）得る。図１に図示される構成要素および／またはエレメントのうちの１つまたは複数が、いくつかの構成では任意であり得ることに留意されたい。例えば、電子デバイス１０２は、いくつかの構成では、イメージセンサ１０４、光学システム１０６、ディスプレイ１２２、および／または通信インターフェース１２６を含まない可能性がある。

[0032]いくつかの構成では、電子デバイス１０２は、図２および４−７のうちの１つまたは複数に関連して説明される機能、プロシージャ、方法、ステップなどのうちの１つまたは複数を行い得る。追加的にまたは代替的に、電子デバイス１０２は、図４−７のうちの１つまたは複数に関連して説明される構造のうちの１つまたは複数を含み得る。

[0033] 通信インターフェース１２６は、電子デバイス１０２が１つまたは複数の他の電子デバイスと通信することを可能にし得る。例えば、通信インターフェース１２６は、ワイヤードおよび／またはワイヤレス通信のためのインターフェースを提供し得る。いくつかの構成では、通信インターフェース１２６は、無線周波数（ＲＦ）信号を送信および／または受信するために、１つまたは複数のアンテナ１２８に結合され得る。追加的にまたは代替的に、通信インターフェース１２６は、１つまたは複数の種類のワイヤライン（例えば、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）など）通信を可能にし得る。

[0034] いくつかの構成では、複数の通信インターフェース１２６が実装および／または利用され得る。例えば、ある通信インターフェース１２６は、セルラ（例えば、３Ｇ、ロングタームエボリューション（ＬＴＥ（登録商標））、ＣＤＭＡなど）通信インターフェース１２６であり得、別の通信インターフェース１２６は、イーサネットインターフェースであり得、別の通信インターフェース１２６は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースであり得、さらに別の通信インターフェース１２６は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）インターフェース（例えば、米国電気電子学会（ＩＥＥＥ）８０２．１１インターフェース）であり得る。いくつかの構成では、通信インターフェース１２６は、別のデバイスに情報（例えば、イメージ情報、深度情報、深度マップ情報など）を送り、および／または別のデバイス（例えば、車両、スマートフォン、カメラ、ディスプレイ、遠隔サーバなど）から情報を受信し得る。

[0035] いくつかの構成では、電子デバイス１０２は、１つまたは複数のイメージ（例えば、デジタルイメージ、イメージフレーム、ビデオなど）を取得し得る。例えば、電子デバイス１０２は、イメージセンサ１０４と、光学システム１０６の視野内に位置するシーンおよび／またはオブジェクトのイメージをイメージセンサ１０４上に合焦させる光学システム１０６（例えば、レンズ）とを含み得る。カメラ（例えば、可視スペクトルカメラ）は、少なくとも１つのイメージセンサと少なくとも１つの光学システムとを含み得る。いくつかの構成では、イメージセンサ１０４は、１つまたは複数のイメージをキャプチャし得る。光学システム１０６は、プロセッサ１１２に結合され得る、および／またはプロセッサ１１２によって制御され得る。追加的にまたは代替的に、電子デバイス１０２は、別のデバイス（例えば、電子デバイス１０２に結合された１つまたは複数の外部イメージセンサ、ネットワークサーバ、交通カメラ、ドロップカメラ、車載カメラ、ウェブカメラなど）からの１つまたは複数のイメージを要求および／または受け取り得る。いくつかの構成では、電子デバイス１０２は、通信インターフェース１２６を介して１つまたは複数のイメージを要求および／または受け取り得る。例えば、電子デバイス１０２は、カメラ（例えば、イメージセンサ１０４および／または光学システム１０６）を含み得るかまたは含まない可能性があり、１つまたは複数の遠隔デバイスからイメージを受け取り得る。イメージ（例えば、イメージフレーム）の１つまたは複数は、１つまたは複数のシーンおよび／または１つまたは複数のオブジェクトを含み得る。イメージは、可視的領域中にあり得る。例えば、イメージは、可視光の１つまたは複数の態様（例えば、色空間、色モデル、色、明るさ、輝度など）を表すデータを含み得る。

[0036] いくつかの構成では、電子デバイス１０２は、イメージデータバッファ（図示されない）を含み得る。イメージデータバッファは、イメージセンサ１０４からのイメージデータをバッファ（例えば、記憶）し得る。バッファされたイメージデータは、プロセッサ１１２に提供され得る。

[0037] いくつかの構成では、電子デバイス１０２は、カメラソフトウェアアプリケーションおよび／またはディスプレイ１２２を含み得る。カメラアプリケーションが起動しているとき、光学システム１０６の視野内に位置するオブジェクトのイメージは、イメージセンサ１０４によってキャプチャされ得る。イメージセンサ１０４によってキャプチャされたイメージは、ディスプレイ１２２上に提示され得る。いくつかの構成では、これらのイメージは、時間内の任意の所与の瞬間に、光学システム１０６の視野内に位置するシーンおよび／またはオブジェクトがディスプレイ１２２上に提示されるように、比較的高いフレームレートで素早く連続して表示され得る。電子デバイス１０２によって取得された１つまたは複数のイメージは、１つまたは複数のビデオフレームおよび／または１つまたは複数の静止画であり得る。いくつかの構成では、ディスプレイ１２２は、追加的なまたは代替的な情報を提示し得る。例えば、ディスプレイ１２２は、１つまたは複数の検出されたおよび／または追跡されたオブジェクトに対応する１つまたは複数の関心領域（例えば、バウンディングボックス（bounding boxes））を提示し得る。追加的にまたは代替的に、ディスプレイ１２２は、深度情報（例えば、１つまたは複数のオブジェクト（例えば、選択されたオブジェクト）への１つまたは複数の推定された距離を表す数）を提示し得る。

[0038] １つまたは複数の深度センサ１０８は、シーンの深度を感知し得る。例えば、深度センサ１０８は、検出フィールド内のシーン（例えば、１つまたは複数のオブジェクトおよび／または地形（terrain））の深度をサンプリングし得る。検出フィールドは、深度センサ１０８が深度を検出することが可能な範囲（例えば、深度センサ１０８に関連する水平範囲、垂直範囲、および／または角度範囲）であり得る。深度センサ１０８の例は、赤外線飛行時間（ＴｏＦ：time-of-flight）型カメラ、ステレオカメラ（stereoscopic cameras）（例えば、イメージセンサ１０４および／または光学システム１０６）、レーダ、ライダ、干渉計などを含む。深度センサ１０８は、深度情報（および／または深度情報がそこから取得され得る他の情報）をプロセッサ１１２に提供し得る。深度情報および／または他の情報は、深度センサ１０８とシーンとの間の距離を示し得る。

[0039] いくつかの構成では、深度センサ１０８は、電子デバイス１０２内に含まれ得る。他の構成では、深度センサ１０８は、電子デバイス１０２から分離され、かつ電子デバイス１０２に結合され得る。例えば、深度センサ１０８は、深度情報（および／または深度情報がそこから取得され得る情報）をプロセッサ１１２に提供するために、（例えば、通信インターフェース１２６を介して）電子デバイス１０２と通信し得る。イメージセンサ１０４および／または光学システム１０６（例えば、カメラ）は、いくつかの構成では、深度センサ１０８であり得ることに留意されたい。

[0040] 深度センサ１０８は、複数のサンプリングにおいて深度を感知し得る。サンプリングは、深度が感知される時間であり得る。例えば、深度センサ１０８は、深度情報（および／または深度情報がそこから取得され得る情報）を、第１のサンプリングおよび第２のサンプリングにおいてサンプリングし得る。いくつかの場合には、深度センサ１０８（例えば、電子デバイス１０２）は、サンプリング間を移動している可能性がある。本明細書で使用される場合、「第１の」、「第２の」、「第３の」などのような序数的用語は、必ずしも順序を暗示しない可能性があることに留意されたい。例えば、「第１のサンプリング」は、「第２のサンプリング」の前、後、（例えば、重複する時間フレーム中で）同時または同じ時間に発生し得る。

[0041] 動きセンサ１１０は、動き情報を決定するために、動きを検出し得る。動き情報は、動きセンサ１１０および／または深度センサ１０８の動きを示し得る。例えば、動きセンサ１１０は、深度センサ１０８の動きを検出し得る。動きセンサ１１０のいくつかの例は、加速度計、ジャイロ、内部動きセンサ、ビジュアルオドメトリセンサなどを含む。動きセンサ１１０は、深度センサ１０８に結合され得る。例えば、動きセンサ１１０は、同じ電子デバイス１０２に統合されることにより、深度センサ１０８に物理的に結合され得る。代替的に、動きセンサ１１０は、電子デバイス１０２から分離され、かつ同様に電子デバイス１０２から分離した深度センサ１０８に物理的に結合され得る。動きセンサ１１０は、１つまたは複数の方向の動きを検出し得る。例えば、動きセンサ１１０は、ヨー、ロール、ピッチ、前方／後方平行移動、左右平行移動、上下平行移動などの６自由度（Ｄｏｆ）を用いた動きを検出し得る。動きセンサ１１０は、動き情報をプロセッサ１１２に提供し得る。

[0042] プロセッサ１１２は、変位情報取得器１１４を含み得るおよび／または実装し得る。動き情報は、変位情報取得器１１４に提供され得る。変位情報取得器１１４は、動き情報に基づいて変位情報を取得（例えば、決定）し得る。変位情報は、深度センサ１０８の変位を示し得る。例えば、変位情報は、（例えば、サンプリングからサンプリングへの、複数のサンプリングにわたる、などの）サンプリング間の深度センサ１０８の変位を示し得る。例えば、変位情報は、深度センサ１０８が第１のサンプリングから第２のサンプリングへ、どのように（例えば、平行移動、回転など）および／またはどの程度移動したかを示し得る。より具体的には、変位は、動きまたは移動による（例えば、第１のサンプリングから第２のサンプリングへの）時間にわたる位置差であり得る。いくつかの構成では、変位情報取得器１１４は、図２および４−７のうちの１つまたは複数に関連して説明されるアプローチ、機能、プロシージャ、ステップ、および／または構造のうちの１つまたは複数に従って動作し得る。

[0043] いくつかの構成では、動き情報自体が、変位情報であり得る。例えば、変位情報取得器１１４は、変位情報としてｒａｗ動き情報を受け取り得る。他の構成では、変位情報取得器１１４は、変位情報を取得するために、動き情報における１つまたは複数の動作を行い得る。例えば、変位情報取得器１１４は、時間にわたる（例えば、２つ以上のサンプリング間の）動き情報をフィルタリング（例えば、平滑化）し得る。

[0044] 追加的にまたは代替的に、変位情報取得器１１４は、変位情報を取得するために、動き情報に基づいて１つまたは複数の変換（例えば、平行移動、回転）を行い得る。例えば、深度センサ１０８は、動きセンサ１１０と物理的に結合され得、動きセンサ１１０に関連して移動する。いくつかの構成では、深度センサ１０８と動きセンサ１１０とは、厳密にはコロケートされてない可能性がある。例えば、動きセンサは、スマートフォンの中心付近に収容され得るが、一方深度センサは、スマートフォンの上縁部付近および片側に寄せて収容され得る。結果として、深度センサ１０８が異なる位置にあり、動きセンサ１１０によって感知されたものとは異なる動きを経験し得るため、動き情報自体は深度センサ１０８の動きを直接反映しない可能性があり得る。従って、変位情報取得器１１４は、深度センサ１０８の変位を取得するために、動き情報に基づいて１つまたは複数の変換（例えば、回転、平行移動など）を行い得る。

[0045] いくつかの場合には、変位情報取得器１１４は、変位情報を決定するために、変位情報および／または他の情報（例えば、測定された情報）を要求および／または受け取り得る。例えば、変位情報取得器１１４は、通信インターフェース１２６を介して、遠隔デバイス（例えば、外部深度センサ、遠隔サーバ、遠隔電子デバイスなど）から変位情報（および／または変位情報を決定するための他の情報）を要求および／または受け取り得る。

[0046] プロセッサ１１２は、深度情報取得器１１６を含むおよび／または実装し得る。深度情報取得器１１６は、深度情報を取得し得る。深度情報は、深度センサ１０８から（例えば、オブジェクト、地形、構造物などの）１つまたは複数の物理的本体まで（の深度測定値、深度、深度値など）の１つまたは複数の距離を示し得る。例えば、深度情報は、距離の単位（例えば、フィート、インチ、ヤード、マイル、メートル、センチメートル、キロメートルなど）における、１つまたは複数の距離の数値的インジケーションであり得る。いくつかの構成では、深度情報取得器１１６は、深度センサ１０８（および／またはイメージセンサ１０４）から深度情報（および／または深度情報がそこから決定され得る他の情報）を取得し得る。深度情報は、時間にわたる複数のサンプリング（例えば、第１のサンプリング、第２のサンプリングなど）に対応し得る。

[0047] 深度情報は、誤りのある深度情報を含み得る。誤りのある深度情報は、誤った深度（例えば、距離）を示す情報であり得る。例えば、誤りのある深度情報は、深度センサ１０８（および／またはイメージセンサ１０４）によって正確に測定されなかった情報および／またはその機能停止によって引き起こされ得る。いくつかの構成では、誤りのある深度情報は、望ましくないオブジェクトの正確に測定された深度を含まない可能性がある。例えば、干渉するオブジェクトが深度情報（および／または測定された情報（例えば、イメージ、飛行時間情報など）に反映される場合、干渉するオブジェクトに対応する深度情報は、結果として得られる深度情報がシーン中のそのオブジェクトの存在を正確に反映する（および、例えば、測定におけるエラーではない）ため、誤りのある深度情報ではない可能性がある。

[0048] いくつかの構成では、プロセッサ１１２（例えば、深度情報取得器１１６）は、誤りのある深度情報を検出し得る。例えば、所与のロケーション（例えば、ピクセル）において発生し得る、異なる（例えば、２つの）タイプのエラーが存在し得る。エラーのうちの１つのタイプは、誤測定（wrong measurement）であり得、エラーのうちのもう一方のタイプは、測定が行われない場合であり得る。誤測定について、深度情報は値を含み得るが、その値は誤った（例えば、その深度値は実際の深度を正確に反映していない）ものである。誤測定は、推定処理を損なわせるノイズによって発生し得る。

[0049] いくつかの構成では、深度情報取得器１１６は、誤測定が通常は単独のものであり得るため、深度値を１つまたは複数の近隣深度値と比較することによって、誤測定値を検出し得る。例えば、深度値が、１つまたは複数の隣接する深度値（例えば、隣接する深度値の補間値（例えば、平均値））から、閾値量より多く離れている場合（例えば、閾値量を超える、閾値量に満たないなど）、深度情報取得器１１６は、その深度値が誤りのある深度情報であると決定し得る。追加的にまたは代替的に、深度情報取得器１１６は、深度値（例えば、ピクセルに対応する）を、隣接するフレーム（例えば、前のおよび／または後続のフレーム）からの１つまたは複数の変換された（例えば、再投影された）深度値と比較し得る。いくつかの構成では、１つまたは複数の変換された深度値は、補間され（例えば、平均化され）得る。従って、深度情報取得器１１６は、深度値が、１つまたは複数の隣接する深度値、並びに／あるいは、前のおよび／または隣接するフレームからの１つまたは複数の変換された（例えば、再投影された）深度値と、大幅に異なる（例えば、１つまたは複数の異なる閾値よりも大きい）かどうかを決定することによって、その深度値（例えば、深度情報中の深度値のうちの１つまたは複数）が誤りであるかどうかを決定し得る。両方の基準を使用することは、比較のためのより多くのデータが存在するので、より高い信頼性をもたらし得る。誤りのある深度情報を検出することのより具体的な例は、本明細書で開示されるシステムおよび方法に従って（例えば、プロセッサ１１２中でおよび／またはプロセッサ１１２によって、および／または、深度情報取得器１１６において）実装され得る図９に関連して与えられる。

[0050] 発生し得るエラーのもう一方のタイプは、（例えば、対応するピクセル中に）深度値が存在しないときのものであり得る。例えば、深度情報（例えば、深度マップ）は、深度値が存在しない１つまたは複数のロケーションを含み得る。これは、信号が非常に低く、推定処理（例えば、深度センサ１０８）が深度値を信頼できないと分類する場合に発生し得る。このケースは、全ての深度感知技術に関して発生するわけではない可能性がある。例えば、いくつかの深度センサ１０８は、深度値が信頼できないと分類されるときに深度値を示さないように構成され得る。例えば、深度センサ１０８は、赤外線カメラを用いて取り出され復号される赤外（ＩＲ）光パターンを用いて、シーンを描き得る。ＩＲコンテンツが非常に低い（例えば、閾値を下回る、センサノイズに埋もれるなど）場合、深度センサ１０８は、深度値ロケーションを空のままにし得る、および／または値を提供しない可能性がある。従って、深度情報取得器１１６は、値を有していないかどうかを確認することによって、および／または、深度値をその（近接した空間的なおよび／または再投影された）近隣と比較することによって機能停止を検出し得る。

[0051] いくつかの構成では、深度情報は、（例えば、立体深度決定のような）複数のイメージ、動き情報、および／または他の深度感知に基づいて取得され（例えば、決定され）得る。いくつかのアプローチでは、１つまたは複数のカメラ（例えば、イメージセンサ１０４および／または光学システム１０６）は、深度センサ１０８であり得る、および／または深度センサ１０８として利用され得る。いくつかの構成では、例えば、深度情報取得器１１６は、（イメージセンサ１０４からおよび／または遠隔イメージセンサから）複数のイメージを受け取り得る。深度情報取得器１１６は、イメージセンサと１つまたは複数のオブジェクトとの間の深度情報（例えば、距離、深度、深度値、深度測定値など）を決定するために、（例えば、イメージの重複するエリアにおいて）イメージ中の１つまたは複数のオブジェクトを三角測量し得る。例えば、特徴点の３Ｄ位置（第１のカメラ調整システムにおいて参照される）は、２つ（または以上）の較正カメラから計算され得る。次に、深度情報は、三角測量を通じて推定され得る。

[0052] いくつかの構成では、深度情報取得器１１６は、カメラ移動に基づいて深度情報を決定し得る（例えば、ストラクチャフロムモーション（ＳｆＭ：structure from motion）と呼ばれるアプローチ）。例えば、深度は、カメラ動き（例えば、シーン中の１つまたは複数のオブジェクトに関するカメラの動き）によって、２つ以上のイメージフレームに基づいて推定され得る。例えば、時間にわたるオブジェクトの動きを（例えば、時間またはフレームにわたるイメージにおいて）観測することによって、深度情報取得器１１６は、イメージセンサ（例えば、イメージセンサ１０４および／または遠隔イメージセンサ）とオブジェクトとの間の距離を決定し得る。２つのビューからのオブジェクトポイントが一致し、関連するカメラ動きが推定され得る。次に、オブジェクトの深度情報（例えば、距離）が、三角測量によって推定され（例えば、生成され）得る。

[0053] いくつかの構成では、深度情報取得器１１６は、１つまたは複数の追加的なまたは代替的な深度感知アプローチを利用することによって、深度情報を取得し得る。例えば、深度情報取得器１１６は、シーンの１つまたは複数の距離を決定するために利用され得る深度センサ１０８（および／またはイメージセンサ１０４）からの情報（例えば、測定された情報）を受け取り得る。他のセンサの例は、飛行時間カメラ（例えば、赤外線飛行時間型カメラ）、干渉計、レーダ、ライダ、音波深度センサ、超音波深度センサなどを含む。１つまたは複数の深度センサ１０８は、いくつかの構成では、電子デバイス１０２に含まれ得、電子デバイス１０２と結合され得、および／または電子デバイス１０２と通信状態にあり得る。深度情報取得器１１６は、１つまたは複数の深度センサからの測定された情報に基づいて深度情報を推定（例えば、計算）し得る、および／または１つまたは複数の深度センサから深度情報を受け取り得る。例えば、深度情報取得器１１６は、飛行時間カメラから飛行時間情報を受け取り得、飛行時間情報に基づいて深度情報を計算し得る。

[0054] 追加的にまたは代替的に、深度情報取得器１１６は、（例えば、深度センサ１０８が深度情報を直接提供する構成では、）１つまたは複数の深度センサ１０８から直接深度情報を要求および／または受け取り得る。例えば、ステレオ可視スペクトルカメラ（例えば、イメージセンサ１０４および／または光学システム１０６）および／または１つまたは複数の深度センサ１０８は、測定された情報（例えば、イメージ、時間、飛行時間、位相シフト、ドップラシフトなど）に基づいて深度情報（例えば、距離）を計算し得る。従って、深度情報取得器１１６は、１つまたは複数の可視スペクトルカメラ、１つまたは複数の赤外線飛行時間型カメラ、干渉計、ライダ、レーダ、音波／超音波深度センサなどから直接深度情報を受け取り得る。

[0055] いくつかの構成では、深度情報（例えば、マルチモーダル深度（multi-modal depth））を取得するためのアプローチの組み合わせが実装され得る。例えば、ＳｆＭの組み合わせ、立体三角測量、およびレーダが実装され得る。他の組み合わせが実装され得る。マルチモーダル深度推定を利用することは、深度情報の品質を改善し得る。

[0056] 深度情報取得器１１６は、深度マップを取得（例えば、決定）し得る。深度マップは、深度情報を含み得る、および／または深度情報に基づいて決定され得る。例えば、深度マップは、シーンの範囲（例えば深度センサ１０８に関する水平範囲、垂直範囲、および／または角度範囲）にわたる深度情報（例えば、深度測定値、距離など）のセットであり得る。深度マップは、誤りのある深度情報（例えば、誤りのある深度情報と正しい（誤りのない）深度情報との混合）を含み得る。いくつかの構成では、深度情報取得器１１６は、深度センサ１０８から深度マップを受け取り得る。例えば、深度センサ１０８は、シーンの範囲にわたる深度情報（例えば、距離）を直接提供し得る。

[0057] 追加的にまたは代替的に、深度情報取得器１１６は、深度情報に基づいて深度マップを取得（例えば、決定）し得る。例えば、深度センサ１０８は、深度情報および／または深度マップを決定するために使用され得る、測定された情報を提供し得る。例えば、測定された情報は、飛行時間推定値、イメージデータ、受け取った（例えば、反映された）信号電力、受け取った（例えば、反映された）信号振幅、ドップラシフト、信号位相シフトなどを含み得る。深度情報取得器１１６は、推定された情報に基づいて、深度マップを決定し得る。例えば、深度情報取得器１１６は、受け取った（例えば、反映された）信号電力、受け取った（例えば、反映された）信号振幅、ドップラシフト、信号位相シフト、立体イメージ推定値（例えば、２つ以上のカメラによってキャプチャされたイメージデータ中の同じ点間の視差）、ストラクチャフロムモーション（ＳｆＭ）などに基づいて、深度情報（例えば、距離、深度、深度値など）のセットを計算し得る。いくつかの構成では、深度マップは、深度情報（例えば、数値的距離、深度など）のセットを含み得、他の種類のデータ（例えば、可視領域データ、時間領域データ、周波数領域データなど）を含まない可能性があり得る。深度情報および／または深度マップは、いくつかの構成では可視領域に基づいて決定され得るが、深度情報および／または深度マップ自体は、可視領域データ（例えば、イメージデータ）を含まない可能性があることに留意されたい。

[0058] 深度マップのいくつかは、シーンのサンプリングに対応し得る。例えば、深度センサ１０８は、複数のサンプリングにおいて複数の深度マップをもたらすために、（例えば、上述されるような）複数のサンプリングにおけるシーンから情報（例えば、測定された情報、深度情報など）をサンプリングし得る。従って、深度マップは、複数のサンプリングにおいて、深度センサ１０８によってサンプリングされ得る。言い換えると、深度センサ１０８は、シーンをサンプリングし、そのサンプリングに対応する深度情報を作成することによって、深度マップをサンプリングし得、その深度情報は、深度マップとして利用され得るか、または深度マップを決定するために利用され得る。深度センサ１０８がシーンの一部分をサンプリングし得ることに留意されたい。例えば、深度センサは、第１のサンプリングでシーンの第１の部分をサンプリングし得、第２のサンプリングでシーンの第２の部分をサンプリングし得る。例えば、深度センサは、サンプリング間で深度センサが変位するとき、異なるサンプリングにおいてシーンの異なる部分をサンプリングし得る。本明細書で説明されるように、深度マップは、サンプリングで受け取った測定された情報（例えば、サンプル）であるおよび／またはそれから導出される、深度情報を含み得る。

[0059] いくつかの構成では、深度情報取得器１１６は、図２および４−７のうちの１つまたは複数に関連して説明されるアプローチ、機能、プロシージャ、ステップ、および／または構造のうちの１つまたは複数に従って動作し得る。深度情報は、いくつかの構成では深度センサのロケーションに関連し得る一方、深度情報は、いくつかの構成では別のポイントに関連してマッピング（例えば、変換）され得るか、またはされない可能性があることに留意されたい。例えば、電子デバイス１０２は、任意の点（例えば、車両の中心、デバイスの中心など）に関連する深度情報をマッピングし得る。

[0060] プロセッサ１１２は、深度情報補正器１１８を含み得る、および／または実装し得る。深度情報補正器１１８は、誤りのある深度情報を補正し得る。例えば、深度情報補正器１１８は、深度マップの誤りのある深度情報を補正し得る（例えば、深度マップの誤りのある深度情報中のエラーを低減し得る）。誤りのある深度情報を補正することは、補正された深度マップを生成し得る。例えば、深度情報補正器１１８は、シーンの一方の深度マップ中の誤りのある深度情報を、シーンのもう一方の深度マップおよび変位情報に基づいて補正し得る。

[0061] いくつかの構成では、深度情報補正器１１８は、シーンの第１の深度マップおよび変位情報に基づいて、シーンの第２の深度マップの誤りのある深度情報を補正し得る。例えば、シーンの第１の深度マップは、第１のサンプリングで深度センサ１０８（および／またはイメージセンサ１０４）によってサンプリングされ得、第２の深度マップは、第２のサンプリングで深度センサ１０８（および／またはイメージセンサ１０４）によってサンプリングされ得る。変位情報は、第１のサンプリングと第２のサンプリングとの間の深度センサ１０８（および／またはイメージセンサ１０４）の変位を示し得る。誤りのある深度情報を補正することは、いくつかの構成では可視領域データ（例えば、イメージ、ピクセルなど）を修正することを含まない可能性がある。追加的にまたは代替的に、誤りのある深度情報を補正することは、いくつかの構成では、正しい深度情報（correct depth information）を用いて誤りのある深度情報を平均化することを含まない可能性がある。追加的にまたは代替的に、誤りのある深度情報を補正することは、いくつかの構成では誤りのある深度情報にわたる同じフレームの正しい深度情報を単に補間することを含まない可能性がある。

[0062] 「補正すること（correcting）」、「補正（correction）」、「補正する（correct）」、および／または用語「補正する」の他のバリエーションは、エラーの低減および／または品質の改善を意味し得ることに留意されたい。しかしながら、「補正する」およびそのバリエーションは、いくつかの場合には、完全な、精密な、または正確な補正を、および／または本明細書で開示されるシステムおよび方法の構成を意味しない可能性がある。

[0063] 深度情報補正器１１８は、変換された深度マップを作成するために、変位情報に基づいて深度マップを変換し得る。例えば、深度情報補正器１１８は、第２の深度マップを補正するための変換された深度マップを作成するために、変位情報に基づいて第１の深度マップを変換し得る。代替的に、深度情報補正器１１８は、第１の深度マップを補正するための変換された深度マップを作成するために、変位情報に基づいて第２の深度マップを変換し得る。深度情報補正器１１８によって行われ得る変換の例は、平行移動、等方性スケール（isotropic scale）、非等方性スケール、類似性、アファイン、および／または投影変換を含み得る。第１の深度マップを変換することは、第２の深度マップとほぼアラインされた変換された深度マップをもたらすように、第１の深度マップを変更し得る。例えば、第１の深度マップを変換することは、第１のサンプリングと第２のサンプリングとの間の変位を考慮し得る。変換の一例が、図８に関連して与えられる。

[0064] 深度マップ（例えば、第２の深度マップまたは第１の深度マップ）を補正することは、変換された深度マップに基づき得る。例えば、深度情報補正器１１８は、誤りのある深度情報（例えば、機能停止、ホールなど）を、変換された深度マップの対応する深度情報に置き換え得る。例えば、第２の深度マップの誤りのある深度のうちの１つまたは複数は、変換された深度マップの１つまたは複数の対応する深度に置き換えられ得る。別のアプローチでは、第２の深度マップの誤りのある深度の１つまたは複数は、１つまたは複数の変換された深度マップに基づく１つまたは複数の補間された深度マップに置き換えられ得る。誤りのある深度情報を補正することのより具体的な例は、本明細書で開示されるシステムおよび方法に従って（例えば、プロセッサ１１２および／または深度情報補正器１１８において、および／またはそれらによって）実装され得る図９に関連して与えられる。

[0065] 補正は、同じフレーム中のピクセルを単に補間すること、または非変換フレームを単に平均化することよりも優れている可能性がある。例えば、近隣のみが使用される場合、誤りのある深度は、例えば、平均値で満たされ得、それは、微細部をぼかす傾向があり得る。これは、対応するロケーション（例えば、ピクセルのロケーション）を有する別のフレームからの変換された深度マップ（例えば、再投影）を使用することによって改善され得る。変換された深度は、エラー（例えば、誤測定および／または機能停止）が単一のロケーションのみ（例えば、ピクセル）よりも大きい場合に、さらにより有用であり得る。満たすパッチが大きいほど、近隣のみに基づいて値を正確に補正することがより困難になり得る。従って、より正確な情報を有し得る１つまたは複数の他のフレームからの変換（例えば、再投影）が有用であり得る。

[0066] いくつかの構成では、深度マップを補正することは、深度マップの一連の各隣接するペアに関して行われ得る。例えば、第２の深度マップは、第１の深度マップ、および第１の深度マップ（例えば、第１のサンプリング）と第２の深度マップ（第２のサンプリング）との間の変位に基づいて補正され得る。第３の深度マップは次に、第２の深度マップ（例えば、補正された第２の深度マップ）、および第２の深度マップ（例えば、第２のサンプリング）と第３の深度マップ（例えば、第３のサンプリング）との間の変位に基づいて補正され得る。このプロシージャは、後続のペアの深度マップに関して繰り返され得る。いくつかのアプローチでは、補正された深度は、１つまたは複数の隣の（例えば、後続のおよび／または前の）フレームに持ち越され得る。認識されるように、各後続の深度マップは、誤りのある深度情報が時間にわたり補正されるため、エラーが徐々に少なくなることを含み得る。

[0067] いくつかの構成では、補正は、１つまたは複数の（例えば、後続のおよび／または前の）フレームに持ち越されない可能性がある。例えば、これは、フレームのコンテンツ（例えば、補正されたコンテンツ）が、複数の前のフレーム（例えば、膨大な量の、またはそのセット数）ではなく、直接先行するフレームにのみ依存し得るため、よりロバストな（robust）アプローチであり得る。しかしながら、補正を持ち越すことと補正を持ち越さないことは、利点と不利点の両方を提示し得ることに留意されたい。

[0068] いくつかの構成では、処理がオフラインで行われる場合、（例えば、逆の順序で）隣のまたはあるフレームに基づいて補正を行う可能性があり得る。例えば、フレーム（例えば、ビュー ｎ）は、先行するフレーム（例えば、ビュー ｎ−１）、および／または後続のフレーム（例えば、ビュー ｎ＋１）に基づいて補正され得る。

[0069] いくつかの構成では、第１の深度マップおよび第２の深度マップの両方が、（例えば、同じ位置において）誤りのある深度情報を含み得る場合、誤りのある深度情報（例えば、機能停止、ホールなど）は、第２の深度マップ中に残り得る。代替的に、第２の深度マップは、別の深度マップ（例えば、第１の深度マップに先行する深度マップ）に基づいて補正され得る。例えば、深度センサ１０８がシーンに対して比較的ゆっくりと移動する場合、隣のフレームにだけでなく、Ｎ個隣のフレームに深度フレームを一致させることが可能である。従って、全く同じエラーが全てのＮ個のフレーム中に現れる可能性は、（例えば、Ｎ個のフレームの数に基づいて）極めて急速に減少し得る。

[0070] いくつかの構成では、電子デバイス１０２（例えば、プロセッサ１１２）は、変換された深度マップの対応する誤りのない深度情報を用いて、第２の深度マップの誤りのない深度情報を平均化し得る。これは、深度マップ間の誤りのない深度情報を平滑化し得る。

[0071] 本明細書で開示されるシステムおよび方法は、改善された深度情報（例えば、深度マップ）を提供し得る。例えば、深度マップ中の誤りのある深度情報は、上述されるように低減され得るおよび／または除去され得る。

[0072] いくつかの構成では、深度マップは、車両に適用され得る。例えば、電子デバイス１０２は、車両であり得るか、または車両に含まれ得る。深度マップは、車両の周囲のシーン中の、車両と１つまたは複数のオブジェクト（例えば、他の車両、歩行者、柵、建物、道路、障害物など）との間の距離を示すために利用され得る。いくつかの構成では、電子デバイス１０２は、アドバンストドライバ支援システム（ＡＤＡＳ：Advanced Driver Assistance System）であり得るか、またはそれに統合され得る。

[0073] いくつかの構成では、深度マップは、正確な動的深度情報を車両に提供し得る。例えば、車両（例えば、電子デバイス１０２、プロセッサ１１２、または電子デバイス１０２と通信状態にある別個のデバイス）は、深度マップに基づいて視覚化および／またはメッセージを提供し得る。例えば、車両は、１つまたは複数のオブジェクトへの距離を示す、サラウンドビュー視覚化（surround view visualization）を提供し得る。

[0074] より具体的には、車両は、（イメージセンサ１０４または他のイメージセンサから）イメージデータを取得し得、車両の周囲のシーンの視覚化を作成し得る。視覚化における１つまたは複数のオブジェクトは、深度マップに基づいて示され得る。例えば、視覚化は、駐車しようとしている（parking）（例えば、縦列駐車）ときの、車両から停車中の（parked）車までの数値的な距離、および／または運転中の近くの１つまたは複数のオブジェクト（例えば、他の車両）までの数値的な距離を示し得る。追加的にまたは代替的に、車両（例えば、電子デバイス１０２）は、深度情報に基づいて３Ｄ幾何学モデルを生成し得、３Ｄ視覚化を作成するために、その３Ｄ幾何学モデルにイメージデータをマッピングし得る。視覚化は、コンソールにおけるディスプレイ（例えば、ディスプレイ１２２）上、フロントガラス上、ハンドヘルドデバイス（例えば、スマートフォン）上、および／または頭部装着型ディスプレイ（例えば、バーチャルリアリティーディスプレイ、拡張されたリアリティーディスプレイ、オキュラスリフトデバイス、ＨｏｌｏＬｅｎｓデバイスなど）に提示され得る。

[0075] 追加的にまたは代替的に、車両は、深度マップに基づいて１つまたは複数のメッセージ（例えば、テキスト、オーディオ、ビジュアルなど）を提供し得る。例えば、（例えば、進行方向において）オブジェクトから、ある距離よりも車両が離れていないとき、その車両は、警告音（例えば、チャイム、ビープ音、音声警告（spoken warning）など）を出し得る。別の例では、車両は、深度マップに基づいて方向（例えば、どこに駐車するか、どこで曲がるかなど）を示すメッセージを出し得る。

[0076] 追加的にまたは代替的に、深度マップは、いくつかの構成では、自律的（例えば、自動運転）車両、半自律的（例えば、ユーザアシストを用いた自動運転）車両、および／または運転者補助車両に、正確な動的深度を提供し得る。例えば、車両（例えば、電子デバイス１０２、プロセッサ１１２、または電子デバイス１０２と通信状態にある別個のデバイス）は、深度マップに基づいて、道路を追跡し、および／またはオブジェクト（例えば、他の車両、柵、障害物など）との衝突を避け得る。例えば、車両は、別のオブジェクトがある特定の距離内にあることを深度マップが示すとき、そのオブジェクトを避け得る。追加的にまたは代替的に、車両は、オブジェクトとの衝突を避けるために、ブレーキおよび／または加速を適用し得る。追加的にまたは代替的に、車両は、深度マップに基づいて道路を追跡し得る（例えば、縁石または柵内に留まる、道路を走り去るのを回避するなど）。これは、自動運転車両（例えば、車）のための自動ナビゲーションに適用され得る。

[0077] いくつかの構成では、深度マップは、イメージのキャプチャおよび／または再生で利用され得る。一例では、深度マップは、シーンをモデル化するために利用され得る。例えば、電子デバイス１０２（例えば、カメラ、スマートフォン、調査デバイスなど）は、深度マップに基づいてシーンの３Ｄモデルを作成し得る。（例えば、イメージセンサ１０４からの）イメージデータは、いくつかの構成では、３Ｄモデルにマッピングされ得る、および／または３Ｄモデル上にレンダリングされ得る。これは、３Ｄ写真技術、３Ｄモデリング、バーチャルリアリティ、および／またはシーンの拡張されたリアリティの再現を可能にし得る（例えば、オキュラスリフトデバイス、ＨｏｌｏＬｅｎｓデバイスなどで使用するために）。

[0078] メモリ１２０は、命令および／またはデータを記憶し得る。プロセッサ１１２は、メモリ１２０にアクセスし得る（例えば、それから読み取るおよび／またはそれに書き込む）。メモリ１２０によって記憶され得る命令および／またはデータの例は、測定された情報、深度情報、深度マップ、イメージデータ、イメージ視覚化データ、オブジェクトデータ（例えば、ロケーション、サイズ、型など）、モデルデータ、変位情報取得器１１４命令、深度情報取得器１１６命令、および／または深度情報補正器１１８命令などを含み得る。

[0079] いくつかの構成では、電子デバイス１０２は、ディスプレイ１２２上のユーザインターフェース１２４を表し得る。例えば、ユーザインターフェース１２４は、ユーザが電子デバイス１０２と相互作用することを可能にし得る。いくつかの構成では、ユーザインターフェース１２４は、ユーザが選好（例えば、深度情報表示設定、イメージ視覚化設定など）を示すこと、並びに／あるいは、深度情報および／またはイメージ視覚化と相互作用することを可能にし得る。例えば、ユーザインターフェース１２４は、イメージ視覚化を変更するための１つまたは複数のコマンド（例えば、ズームインまたはズームアウトすること、イメージ視覚化を回転させること、イメージ視覚化をシフトすること、イメージ視覚化の形を変更すること、イメージ視覚化ビューポイントを変更することなど）を受け取り得る。追加的にまたは代替的に、ユーザインターフェース１２４は、イメージ視覚化中のオブジェクトの選択を示す入力（例えば、タップ）を受け取り得る。いくつかの構成では、選択されたオブジェクトが追跡され得る。

[0080] いくつかの構成では、ディスプレイ１２２は、（例えば、指、スタイラス、または他の道具による）物理的なタッチからの入力を受け取るタッチスクリーンであり得る。例えば、タッチスクリーンは、ユーザの選好および／または電子デバイス１０２の挙動の１つまたは複数の修正を示すタッチ入力を受け取る入力インターフェースであり得る。追加的にまたは代替的に、電子デバイス１０２は、別の入力インターフェースを含み得るか、またはそれに結合され得る。例えば、電子デバイス１０２は、ユーザに向いているカメラを含み得、ユーザのジェスチャ（例えば、手のジェスチャ、腕のジェスチャ、視線追跡、瞼の瞬きなど）を検出し得る。別の例では、電子デバイス１０２は、マウスに結合され、ある入力を示すマウスクリックを検出し得る。

[0081] いくつかの構成では、いずれのユーザ入力も必要ないことがあり得ることに留意されたい。例えば、電子デバイス１０２は、誤りのある深度情報を自動的に補正し得る。

[0082] いくつかの構成では、電子デバイス１０２（例えば、プロセッサ１１２）は、任意でアドバンストドライバ支援システム（ＡＤＡＳ）に結合され、その一部であり（例えば、それに統合され）、それを含むおよび／または実装し得る。例えば、電子デバイス１０２は、（インダッシュ型ディスプレイ、コンソールディスプレイ、フロントガラスプロジェクタ、ヘッドアップディスプレイ、光学頭部装着型ディスプレイなどにおいて）車両に深度情報を提示し得る。これは、ドライバが状況認識および／または衝突回避するのを支援し得る。

[0083] 電子デバイス１０２（例えば、プロセッサ１１２）は、任意で１つまたは複数の他の種類のデバイスに結合され、その一部であり（例えば、それに統合され）、それを含むおよび／または実装し得る。例えば、電子デバイス１０２は、深度センサ１０８を装備したドローンに実装され得る。深度情報は、ドローンとその周辺との間の深度を示し得る。従って、深度情報は、シーンモデリング、衝突回避、３Ｄ写真技術などのために利用され得る。例えば、これは、ドローンのための自動ナビゲーションに適用され得る。別の例では、電子デバイス１０２（例えば、プロセッサ１１２）は、（１つまたは複数のイメージセンサおよび／またはレンズを含む）アクションカメラ中に実装され得る。深度情報は、そのアクションカメラの周辺のバーチャルリアリティおよび／または拡張されたリアリティイメージを生成するために使用され得る。

[0084] 図２は、誤りのある深度情報を補正するための方法２００の１つの構成を図示するフロー図である。方法２００は、例えば、本明細書で説明される電子デバイス１０２によって行われ得る。

[0085] 電子デバイス１０２は、シーンの第１の深度マップを取得し（２０２）得る。これは、図１に関連して説明されるように達成され得る。例えば、電子デバイス１０２は、第１のサンプリングにおいて１つまたは複数の深度センサ１０８から深度情報および／または他の情報（例えば、深度情報を取得するために測定された情報）を取得し得る。第１の深度マップは、深度情報に基づいて決定され得る。例えば、第１の深度マップは、深度情報（例えば、深度情報の全てまたはサブセット）であり得る、および／または深度情報に基づき得る（例えば、第１の深度マップは深度情報の変換されたバージョンであり得る）。例えば、電子デバイス１０２は、第１の深度マップを取得し（２０２）得、ここで、第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を含む。追加的にまたは代替的に、電子デバイス１０２は、遠隔深度センサからおよび／または別のデバイスから、第１の深度マップを要求および／または受け取り得る。

[0086] 電子デバイス１０２は、シーンの第２の深度マップを取得し（２０４）得る。これは、図１に関連して説明されるように達成され得る。例えば、電子デバイス１０２は、第２のサンプリングにおいて１つまたは複数の深度センサ１０８から深度情報および／または他の情報（例えば、深度情報を取得するために測定された情報）を取得し得る。第２の深度マップは、深度情報に基づいて決定され得る。例えば、第２の深度マップは、深度情報（例えば、深度情報の全てまたはサブセット）であり得る、および／または深度情報に基づき得る（例えば、第２の深度マップは深度情報の変換されたバージョンであり得る）。例えば、電子デバイス１０２は、第２の深度マップを取得し（２０４）得、ここで、第２の深度マップは、第２のサンプリングで深度センサによってサンプリングされたシーンの第２の部分の第２の深度情報を含む。追加的にまたは代替的に、電子デバイス１０２は、遠隔深度センサからおよび／または別のデバイスから、第２の深度マップを要求および／または受け取り得る。

[0087] 電子デバイス１０２は、深度センサの変位を示す変位情報を取得し（２０６）得る。これは、図１に関連して説明されるように達成され得る。例えば、電子デバイス１０２は、１つまたは複数の動きセンサ１１０によって提供される動き情報に基づいて変位情報を取得し（２０６）得る。

[0088] 電子デバイス１０２は、誤りのある深度情報を補正することによって、補正された深度マップを生成し（２０８）得る。例えば、電子デバイス１０２は、（第１のサンプリングからの）第１の深度情報、（第２のサンプリングからの）第２の深度情報、および変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成（２０８）し得る。いくつかの構成では、これは、図１、５−７、および９のうちの１つまたは複数に関連して説明されるように達成され得る。いくつかの構成では、誤りのある深度情報を補正すること（２０６）は、深度マップを変換することを含み得る。例えば、電子デバイス１０２は、変換された深度マップを作成するために、変位情報に基づいて第１の深度マップを変換し得る。深度マップを変換することは、いくつかの構成では、図８に関連して説明されるように達成され得る。いくつかのアプローチでは、電子デバイス１０２は次に、第２の深度マップの誤りのある深度情報を、変換された深度マップの対応する深度情報（例えば、誤りのない深度情報）に置き換え得る。例えば、電子デバイス１０２は、第２の深度マップの機能停止（例えば、ホール）を、変換された深度マップからの深度で満たし得る。いくつかのアプローチでは、電子デバイス１０２は、誤りのある深度情報を、（例えば、同じ深度マップおよび／または１つまたは複数の変換された深度マップに基づいて）１つまたは複数の補間された深度に置き換え得る。いくつかのアプローチでは、電子デバイス１０２は、誤りのある深度情報を、（例えば、同じ深度マップおよび／または１つまたは複数の変換された深度マップからの）１つまたは複数の深度を用いて平均化し得る。従って、誤りのある深度情報を補正すること（２０６）は、深度マップを変換すること、誤りのある深度情報を置き換えること、および／または構成に従って、誤りのある深度情報を平均化することを含み得る。補正された深度マップを生成すること（２０８）（例えば、誤りのある深度情報を補正すること）が、いくつかの構成では補間および／または平均化することを含まない可能性があることに留意されたい。

[0089] いくつかの構成では、電子デバイス１０２は、深度マップに基づいてイメージ視覚化を生成し得る。これは、図１に関連して説明されるように達成され得る。例えば、電子デバイス１０２は、深度マップに基づいて３Ｄモデルを生成し得る。いくつかの構成では、電子デバイス１０２は、イメージ視覚化を作成するために、３Ｄモデル上にイメージデータをマッピングし、および／またはイメージデータを用いて３Ｄをレンダリングし得る。イメージ視覚化は、プレゼンテーションのためにディスプレイに提供され得る。例えば、電子デバイス１０２（例えば、プロセッサ１１２）は、イメージ視覚化をディスプレイに（例えば、電子デバイス１０２中に含まれるディスプレイ１２２、または電子デバイス１０２に結合されるおよび／または電子デバイス１０２と通信状態にあるディスプレイに）提供し得る。ディスプレイは、イメージ視覚化を示し得る。

[0090] 図３は、深度センサ移動３３２の一例を図示する図である。具体的には、図３は、深度センサ３０８を図示する。初めに、深度センサ３０８が図の左側にあり、シーン３３０へと向けられている。シーン３３０は、深度（例えば、深度シーン）を有する任意の空間であり得る。この例では、センサ移動３３２は、右への平行移動と、左への回転を含み得る。深度センサ３０８の移動３３２は、誤りのある深度情報（例えば、機能停止、ホールなど）を補正する際に問題を引き起こし得る。

[0091] 図４は、深度センサ移動４３２ａ−ｂの別の例を図示する。図４では、一連のイメージフレーム４３４ａ−ｎが図示されている。イメージフレーム４３４ａ−ｎは、深度センサの検出フィールドの例を図示し得る。上述されるように、深度センサの一例は、ステレオカメラのセットであり得る。深度センサの別のタイプが利用され、それは、可視領域情報の使用なしに深度を感知し得ることに留意されたい。図４では、深度センサは、いくつかのフレーム４３４ａ−ｎにわたって左から右へ移動する。具体的には、センサ移動Ａ４３２ａは、フレームＡ ４３４ａとフレームＭ ４３４ｍとの間で発生する。センサ移動Ｂ ４３２ｂは、フレームＭ ４３４ｍとフレームＮ ４３４ｎとの間で発生する。フレームＡ ４３４ａとフレームＭ ４３４ｍとの間、および／またはフレームＭ ４３４ｍとフレームＮ４３４ｎとの間に、１つまたは複数の追加のフレームが存在し得るか、または存在しない可能性がある。本明細書で開示されるシステムおよび方法に従って、動き情報（例えば、センサ移動Ａ ４３２ａおよびセンサ移動Ｂ ４３２ｂ）は、動きセンサを用いて取得され得る（例えば、既知となり得る）。

[0092] 図４で見られるように、オブジェクトＩ−Ｖは、深度センサからの深度の範囲にわたって位置している。特に、オブジェクトＩおよびＩＩは深度センサに最も近く、オブジェクトＩＩＩは深度センサから遠く、オブジェクトＩＶはさらに遠く、そして、オブジェクトＶは最も遠くにある。オブジェクトＩ−Ｖが異なる距離に位置するため、より近いオブジェクトは、フレーム中で時間にわたってより大きい移動を示し得る。例えば、フレームＩ ４３４ａとフレームＮ ４３４ｎとの間で、オブジェクトＩおよびＩＩは移動が最も大きく、一方オブジェクトＶは移動が最も小さい。

[0093] 図５は、誤りのある深度情報を有する深度マップ視覚化５３６、単純な補正の視覚化５３８、および変位情報を用いた補正の視覚化５４２の例を図示する。具体的には、誤りのある深度情報を有する深度マップ視覚化５３６は、深度マップの視覚化であり、ここで、より短い距離（例えば、深度）が、薄い網掛けで描かれ、より遠い距離が、濃い網掛けで描かれている。図５では、誤りのある深度情報を有する深度マップ視覚化５３６は、深度センサの誤りのある深度情報（例えば、機能停止、ホールなど）が黒い点で描かれた、破損したフレーム（corrupted frame）である。

[0094] 単純な補正の視覚化５３８は、深度マップ間でのシンプルな平均をとる例を図示し、ここで、深度センサは、サンプリング間を移動している。単純な補正でわかるように、エラー５４０は、未知のオブジェクト変位に起因する深度の不連続性（discontinuities）において発生する。エラー５４０は、特に、オブジェクトの輪郭に沿って発生し得る。例えば、深度センサがシフトされると、最前面にあるオブジェクトは、背景にあるオブジェクトよりも大きく変位し得る。これらの異なる変位は、単純なフレーム間補正においてエラーを引き起こし得る。

[0095] 変位情報を用いた補正の視覚化５４２では、本明細書で開示されるシステムおよび方法に従って誤りのある深度情報を補正することが、低減されたエラー５４４をもたらし得ることがわかるだろう。例えば、加速度計深度情報からの相対的カメラ位置は、改善されたエラー補正のための、改善されたフレーム間マッピングをもたらす。

[0096] 図６は、本明細書で開示されるシステムおよび方法に従って実装され得るエレメント６６２のより具体的な例を図示するブロック図である。エレメント６６２は、カメラ６４６、変位情報取得器６１４、深度情報取得器６１６、および／または深度情報補正器６１８を含み得る。エレメント６６２のうちの１つまたは複数は、同じ電子デバイス上に、または別個の電子デバイス上に実装され得る。いくつかの構成では、エレメント６６２の１つまたは複数は、図１に関連して説明される対応するエレメントの例であり得る。例えば、図６に関連して説明されるエレメント６６２の１つまたは複数は、図１に関連して説明される電子デバイス１０２上に実装され得る。

[0097] 複数のカメラ６４６は、複数のイメージ６４８（例えば、カメラ入力）をキャプチャし得る。カメラ６４６は、図１に関連して説明されるイメージセンサ１０４および光学システム１０６の例であり得る。例えば、各カメラ６４６は、イメージセンサおよび光学システムを含み得る。この例では、カメラ６４６は、図１に関連して説明される深度センサ１０８の例であり得る。

[0098] カメラ６４６は、オーバーラップしているが異なるイメージ６４８をキャプチャし得る。いくつかの例では、２つのカメラ６４６は、ある距離だけ離れており、１つまたは複数のデバイスあるいはボディに搭載され得る。一例では、複数のカメラ６４６は、シーンのイメージ６４８をキャプチャするために、ドローンに搭載され得る。別の例では、複数の（アクション）カメラ６４６は、シーンのイメージ６４８をキャプチャするために、ユーザ（例えば、着用者）に取り付けられ得る。さらに別の例では、複数のカメラ６４６は、スマートフォン、ビデオカメラ、スチルカメラ、防犯カメラ、フレーム、頭部装着型デバイス（例えば、バーチャルリアリティヘッドセット、拡張リアリティヘッドセット、混合リアリティヘッドセット、ヘルメット、メガネ）、ゲーミングデバイス、テレビジョン、電化製品、飛行機、ボート、自転車、車両（例えば、車）、家、ビル、兵器（例えば、銃器）などの異なるロケーションに搭載され得る。これらのカメラ６４６は、カメラ６４６によって眺められるシーンの複数のイメージ６４８をキャプチャし得る。例えば、イメージ６４８は、シーンの近接するおよび／またはオーバーラップするエリアを描き得る。イメージ６４８は、深度情報取得器６１６に提供され得る。カメラ６４６が図６に関連して説明されるが、追加のまたは代替的な深度センサが本明細書で開示されるシステムおよび方法に従って利用され得ることに留意されたい。

[0099] 深度情報取得器６１６は、イメージ６４８に基づいて深度マップ６５４を取得し得る。図６に関連して説明される深度情報取得器６１６は、図１に関連して説明される深度情報取得器１１６の例であり得る。例えば、深度情報取得器６１６は、立体三角測量（stereoscopic triangulation）および／または他の深度感知に基づいて、深度マップ６５４を取得し得る。深度マップ６５４は、深度情報補正器６１８に提供され得る。いくつかの構成では、深度情報取得器６１６は、図１および９のうちの１つまたは複数に関連して説明されるような誤りのある深度情報を検出し得る。

[00100] 加速度計６１０は、動き情報６５０を取得し得る。図６に関連して説明される加速度計６１０は、図１に関連して説明される動きセンサ１１０の例であり得る。加速度計６１０は、動き情報６５０を作成し得る。動き情報６５０は、加速度計（例えば、時間にわたる平行移動および／または回転）の動きを示し得る。動き情報６５０は、変位情報取得器６１４に提供され得る。加速度計６１０が図６に関連して説明されるが、追加的なまたは代替的な動きセンサが本明細書で開示されるシステムおよび方法に従って利用され得ることに留意されたい。

[00101] 変位情報取得器６１４は、動き情報６５０に基づいて変位情報６５２を取得し得る。例えば、変位情報取得器６１４は、イメージ６４８に対応するサンプリングした時間の間の位置差（例えば、ピッチ、ヨー、および／またはロールのような回転差、並びに／あるいは、前／後、左／右、および／または上／下のような平行移動差）を決定し得る。いくつかの例では、動き情報６５０のキャプチャにおけるタイミングは、イメージ６４８のキャプチャ（または、例えば、測定された情報のキャプチャ）とほぼ同期し得る。図６に関連して説明される変位情報取得器６１４は、図１に関連して説明される変位情報取得器１１４の例であり得る。変位情報６５２は、深度情報補正器６１８に提供され得る。

[00102] 深度情報補正器６１８は、深度マップ６５４のうちの少なくとも１つ中の誤りのある深度情報を補正し得る。図６に関連して説明される深度情報補正器６１８は、図１に関連して説明される深度情報補正器１１８の例であり得る。いくつかの構成では、深度情報補正器６１８は、変換器６５５、および／または深度情報置換器６５８を含み得る。

[00103] 変換器６５５は、深度マップ６５４のうちの少なくとも１つを受信し得る。変換器６５５は、変位情報６５２を受け取り得る。変換器６５５は、変換された深度マップ６５６を作成するために、変位情報６５２に基づいて第１の深度マップ６５４を変換し得る。これは、例えば、図１および８のうちの１つまたは複数に関連して説明されるように達成され得る。変換器６５５は、変換された深度マップ６５６を、深度情報置換器６５８に提供し得る。

[00104] 深度情報置換器６５８は、第２の深度マップ６５４の誤りのある深度情報（例えば、１つまたは複数の誤りのある深度）を、変換された深度マップ６５６の対応する深度情報に置き換え得る。これは、例えば、図１−９のうちの１つまたは複数に関連して説明されるように達成され得る。第２の深度マップ６５４の誤りのある深度情報を、変換された深度マップ６５６の対応する深度情報に置き換えることは、補正された深度マップ６６０を作成し得る。

[00105] 補正された深度マップ６６０は、１つまたは複数のエレメントに提供され得る。例えば、補正された深度マップ６６０は、視覚化エレメントに提供され得る。視覚化エレメントは、補正された深度マップ６６０の視覚的表現を作成し得る。例えば、視覚化エレメントは、補正された深度マップ６６０中の深度情報（例えば、数値的深度）の１つまたはを提示し得る。追加的にまたは代替的に、視覚化エレメントは、補正された深度マップ６６０に基づいて３Ｄモデルを生成し得る。（例えば、イメージ６４８からの）イメージデータは、いくつかの構成では、補正された深度マップ上でレンダリングされ得る。

[00106] いくつかの構成では、補正された深度マップ６６０は、駆動素子（driving element）に提供され得る。駆動素子は、上述されるような補正された深度マップ６６０に基づいて車両および／または出力情報を制御し得る。

[00107] 図７は、誤りのある深度情報を補正するための方法７００の１つの構成を図示するフロー図である。方法７００は、図１に関連して説明される電子デバイス１０２、および／または図６に関連して説明される素子６６２のうちの１つまたは複数によって行われ得る。

[00108] 電子デバイス１０２は、深度センサ１０８によってシーンの第１のサンプリングから第１の深度マップを取得し（７０２）得る。これは、図１−２、および６のうちの１つまたは複数に関連して上述されるように達成され得る。例えば、電子デバイス１０２は、第１の深度マップを取得し（７０２）得、ここで、第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を含む。

[00109] 電子デバイス１０２は、深度センサ１０８によってシーンの第２のサンプリングから第２の深度マップを取得し（７０４）得る。これは、図１−２、および６のうちの１つまたは複数に関連して上述されるように達成され得る。例えば、電子デバイス１０２は、第２の深度マップを取得し（７０２）得、ここで、第２の深度マップは、第２のサンプリングで深度センサによってサンプリングされたシーンの第２の部分の第２の深度情報を含む。

[00110] 電子デバイス１０２は、（例えば、第１のサンプリングから第２のサンプリングまでの）第１のサンプリングと第２のサンプリングとの間の深度センサ１０８の変位を示す変位情報を取得し（７０６）得る。これは、図１−２、および６のうちの１つまたは複数に関連して上述されるように達成され得る。

[00111] 電子デバイス１０２は、変換された深度マップを作成するために、変位情報に基づいて第１の深度マップを変換し（７０８）得る。これは、図１−２、および６のうちの１つまたは複数に関連して上述されるように達成され得る。

[00112] 電子デバイス１０２は、第２の深度マップ中の誤りのある深度情報を検出し（７１０）得る。これは、図１および９のうちの１つまたは複数に関連して説明されるように達成され得る。例えば、電子デバイス１０２は、１つまたは複数の深度を、同じ深度マップ中の１つまたは複数の隣接する深度（例えば、空間的に補間された深度、空間的に平均化された深度）と比較することによって、および／または、１つまたは複数の深度を、１つまたは複数の変換された深度マップ（例えば、変換された前の深度マップおよび／または変換された後続の深度マップ）からの１つまたは複数の深度と比較することによって、誤りのある深度情報を検出し（７１０）得る。

[00113] 電子デバイス１０２は、変換された深度マップの対応する深度情報に基づいて、第２の深度マップの誤りのある深度情報を置き換え（７１２）得る。これは、図１−２、６および９のうちの１つまたは複数に関連して説明されるように達成され得る。例えば、電子デバイス１０２は、第２の深度マップの誤りのある深度情報を、変換された深度マップの対応する深度情報に置き換え得る。追加的にまたは代替的に、電子デバイス１０２は、変換された深度マップの対応する深度情報に基づいて、誤りのある深度情報を、１つまたは複数の深度補間値（例えば、時間的深度補間値、時空間的深度補間値、時間的平均値、時空間的平均値など）に置き換え得る。代替的に、電子デバイス１０２は、同じおよび／または異なる（例えば、前のおよび／または後続の）深度マップからの１つまたは複数の深度を用いて誤りのある深度情報を平均化し得る。

[00114] いくつかの構成では、電子デバイス１０２は、深度マップを補正するために、１つまたは複数の変換された深度値（例えば、変換された深度マップ、再投影された深度値など）およびローカル近隣深度値を利用し得る。例えば、電子デバイス１０２は、補正された深度値の合同評価を行うために、機能停止の付近の変換された深度値および１つまたは複数のローカル近隣深度値を利用し得る。

[00115] いくつかの構成では、電子デバイス１０２は、下記のように深度マップを補正し得る。電子デバイス１０２は、センサ移動に従って、複数の深度マップからの深度情報（例えば、ビュー、変換された深度マップなど）をアグリゲートし得る。次に、電子デバイス１０２は、正確な深度を推定するために、深度値間にフィルタリング（例えば、補間値、平均化、中央値（median）、平均値（mean）など）を適用し得る。補正された深度マップを生成すること、および／または誤りのある深度情報を補正することが、深度マップを変換すること（７０８）、および／または誤りのある深度情報を置き換えること（７１２）を含み得ることに留意されたい。

[00116] 図８は、本明細書で開示されるシステムおよび方法に従って行われ得る変換の一例を図示する図である。例えば、電子デバイス１０２（例えば、深度情報補正器１１８）は、変換された深度マップを作成するために、変位情報に基づいて第１の深度マップを変換し得る。いくつかの構成では、電子デバイス１０２は、図８に関連して説明されるアプローチに従って、１つまたは複数の深度マップ（例えば、深度情報）を変換し得る。

[00117] 例えば、電子デバイス１０２は、図１に関連して説明されるように、第１の深度マップを取得し得る。第１の深度マップは、第１のサンプリングにおけるシーンの第１の部分の深度のセットを含み得る。深度センサは、第１のサンプリングと第２のサンプリングとの間で移動し得る。動き情報（例えば、変位情報）は、第１のサンプリングと第２のサンプリングとの間の深度センサの変位を示し得る。例えば、動き情報および／または変位情報は、第１のサンプリングと第２のサンプリングとの間の変位を反映する、回転マトリクス（例えば、Ｒ）と平行移動マトリクス（例えば、Ｔ）であり得る、および／またはそれらを示し得る。電子デバイス１０２は、第２の深度マップを取得し得、それは、第２のサンプリングにおけるシーンの第２の部分の深度の別のセットを含み得る。

[00118] 具体的には、図８は、シーン中の点８８６を図示している。センサプレーン上の対応する点８８８（例えば、深度センサプレーン）もまた図示されている。この例では、ｆが光学システム（例えば、レンズを有するセンサ、カメラなど）の焦点距離である。深度センサ（例えば、光学システム、カメラなど）の焦点距離ｆは、既知であり得る、および／またはあらかじめ定められ得る。Ｚは、ワールド座標系における点８８６の深度であり得、ｘ，ｙは、（例えば、第１のサンプリングにおける）センサプレーン上の点８８８の感知されたデータ（例えば、イメージ、深度など）のロケーションであり得る。例えば、第１の深度マップの深度（例えば、Ｚ）の各々は、深度センサプレーン上の異なる点（例えば、ｘ，ｙ）に位置し得る。

[00119] 電子デバイス１０２（例えば、深度情報補正器１１８）は、変換された深度マップを作成するために、深度マップ（例えば、第１の深度マップ）を変換し得る。例えば、ワールド座標の点８８６（例えば、Ｘ，Ｙ，Ｚ）は、深度Ｚおよび対応する点８８８（ｘ，ｙ）に基づいて計算され得、ここで、Ｘ＝Ｚ＊ｆ／ｘであり、Ｙ座標は、同様に計算され得る（例えば、Ｙ＝Ｚ＊ｆ／ｙ）。例えば、電子デバイス１０２（例えば、プロセッサ１１２）は、１つまたは複数のセンサプレーン点（ｘ，ｙ）を、１つまたは複数のワールド座標点Ｐ＝（Ｘ，Ｙ，Ｚ）に投影し得る。

[00120] ワールド座標系中の点８８６ Ｐ＝（Ｘ，Ｙ，Ｚ）を取得すると、電子デバイス１０２は、センサの回転および平行移動に従って、ワールド座標点８８６（例えば、第１の深度マップに対応するワールド座標点８８６のうちの１つまたは複数）を回転させ得る（例えば、Ｒ）および／または平行移動させ得る（例えば、Ｔ）。例えば、電子デバイス１０２は、１つまたは複数の回転された、および／または平行移動された点Ｐ’＝（Ｘ’，Ｙ’，Ｚ’）＝Ｒ＊Ｐ＋Ｔ（ここで、例えば、Ｒは、３×３（3 by 3）回転マトリクスであり、Ｔは、１×３（1 by 3）平行移動ベクトルである）を決定し得る。回転されたおよび／または平行移動された点Ｐ’＝（Ｘ’，Ｙ’，Ｚ’）は次に、新規の視点のセンサプレーンに戻って投影され得、ｘ’およびｙ’をもたらす。例えば、電子デバイス１０２は、ｘ’＝ｆ＊Ｚ’／Ｘ’およびｙ’＝ ｆ＊Ｚ’／Ｙ’を計算し得る。新たな視点（例えば、第２のサンプリングでの視点（ｘ’，ｙ’））のセンサプレーンにおける深度Ｚ’のセットは、変換された深度マップであり得る。

[00121] 図９は、深度９８４、９８６、９８８（例えば、深度値）の例を図示する図である。具体的には、図９は、誤りのある深度情報を検出するためのアプローチの例を図示する。図９では、深度（ｎ−１） ９８４は、シーンの前のフレームおよび／または前のサンプリング（例えば、第１の深度マップ）に対応し、深度（ｎ） ９８６は、シーンの現在のフレームおよび／または現在のサンプリング（例えば、第２の深度マップ）に対応し、深度（ｎ＋１） ９８８は、シーンの後続のフレームおよび／または後続のサンプリング（例えば、第３の深度マップ）に対応する。例えば、深度（ｎ−１） ９８４は、前の深度マップ（または変換された前の深度マップ）の一部であり得、深度（ｎ） ９８６は、現在の深度マップの一部であり得、深度（ｎ＋１） ９８８は、後続の深度マップ（または、変換された後続の深度マップ）の一部であり得る。以下の例のいくつかにおいて、深度ｄ_{ｎ，ｘ，ｙ}は、深度ｄ_{ｎ，ｘ，ｙ}が誤りである（例えば、誤りのある深度情報）か、またはそうでないかを決定するために、（例えば、プロセッサ１１２および／または深度情報取得器１１６によって）評価され得る。

[00122] いくつかの構成では、深度ｄ_{ｎ，ｘ，ｙ}は、同じフレーム中（例えば、ｄ_{ｎ，ｘ−１，ｙ−１}、ｄ_{ｎ，ｘ，ｙ−１}、ｄ_{ｎ，ｘ＋１，ｙ−１}、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ＋１，ｙ}、ｄ_{ｎ，ｘ−１，ｙ＋１}、ｄ_{ｎ，ｘ，ｙ＋１}、および／または、ｄ_{ｎ，ｘ＋１，ｙ＋１}）の１つまたは複数の深度（例えば、隣接する深度）に基づいて評価され得る。例えば、２つ以上の深度（例えば、隣接する深度）の補間値（例えば、アベレージ、平均値、中央値、重み付け平均、線形補間値、双線形補間値、スプライン補間値、多項式補間値など）が、空間的深度補間値（例えば、ｄ_{ｓ，ｉｎｔ}）を作成するために決定され得る。いくつかの構成では、２つの隣接する深度（例えば、ｄ_{ｎ，ｘ−１，ｙ}とｄ_{ｎ，ｘ＋１，ｙ}；ｄ_{ｎ，ｘ−１，ｙ−１}とｄ_{ｎ，ｘ＋１，ｙ＋１}；ｄ_{ｎ，ｘ，ｙ−１}とｄ_{ｎ，ｘ，ｙ＋１}；ｄ_{ｎ，ｘ＋１，ｙ−１}とｄ_{ｎ，ｘ−１，ｙ＋１}など）が、補間され（例えば、平均化され）得る。いくつかのアプローチでは、４つの隣接する深度（例えば、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ＋１，ｙ}、ｄ_{ｎ，ｘ，ｙ−１}、およびｄ_{ｎ，ｘ，ｙ＋１}；ｄ_{ｎ，ｘ−１，ｙ−１}、ｄ_{ｎ，ｘ＋１，ｙ＋１}；ｄ_{ｎ，ｘ＋１，ｙ−１}、およびｄ_{ｎ，ｘ−１，ｙ＋１}など）が、補間され（例えば、平均化され）得る。いくつかの構成では、８個の隣接する深度（例えば、ｄ_{ｎ，ｘ−１，ｙ−１}、ｄ_{ｎ，ｘ，ｙ−１}、ｄ_{ｎ，ｘ＋１，ｙ−１}、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ＋１，ｙ}、ｄ_{ｎ，ｘ−１，ｙ＋１}、ｄ_{ｎ，ｘ，ｙ＋１}、およびｄ_{ｎ，ｘ＋１，ｙ＋１}）が、補間され（例えば、平均化され）得る。追加的にまたは代替的に、（例えば、ｄ_{ｎ，ｘ−２，ｙ}、ｄ_{ｎ，ｘ＋２，ｙ}、ｄ_{ｎ，ｘ，ｙ−２}、およびｄ_{ｎ，ｘ，ｙ＋２}などのような）評価される深度から遠い（例えば、すぐ隣（immediate neighbors）よりも遠い）１つまたは複数の他の深度が、補間値計算に含まれ得る。

[00123] 電子デバイス１０２は、深度を空間的深度補間値（例えば、ｄ_{ｓ，ｉｎｔ}）と比較することによって、誤りのある深度情報を検出し得る。例えば、深度（例えば、ｄ_{ｎ，ｘ，ｙ}）が空間的深度補間値（例えば、ｄ_{ｓ，ｉｎｔ}）から、閾値量より多く離れている場合、電子デバイス１０２は、その深度が誤りであると決定し得る。例えば、ｄ_{ｎ，ｘ，ｙ}＜ｄ_{ｓ，ｉｎｔ}−ｔｈｒｅｓｈｏｌｄ_{ｓ．ｌｏｗ}である（ここで、ｔｈｒｅｓｈｏｌｄ_{ｓ，ｌｏｗ}は第１の閾値である）場合、および／または、ｄ_{ｎ，ｘ，ｙ}＞ｄ_{ｓ，ｉｎｔ}＋ｔｈｒｅｓｈｏｌｄ_{ｓ，ｈｉｇｈ}である（ここで、ｔｈｒｅｓｈｏｌｄ_{ｓ，ｈｉｇｈ}は第２の閾値である）場合、ｄ_{ｎ，ｘ，ｙ}は、誤りのある深度情報として検出され得る。閾値は、距離の単位（例えば、インチ、フィート、メートルなど）であり得る。第１および第２の閾値は、同じであるか、または異なるものであり得る。

[00124] いくつかの構成では、深度ｄ_{ｎ，ｘ，ｙ}は、１つまたは複数の前のフレーム（例えば、ｄ_{ｎ−１，ｘ−１，ｙ−１}、ｄ_{ｎ−１，ｘ，ｙ−１}、ｄ_{ｎ−１，ｘ＋１，ｙ−１}、ｄ_{ｎ−１，ｘ−１，ｙ}、ｄ_{ｎ−１，ｘ，ｙ}、ｄ_{ｎ−１，ｘ＋１，ｙ}、ｄ_{ｎ−１，ｘ−１，ｙ＋１}、ｄ_{ｎ−１，ｘ，ｙ＋１}、および／またはｄ_{ｎ−１，ｘ＋１，ｙ＋１}）からの、および／または１つまたは複数の後続のフレーム（例えば、ｄ_{ｎ＋１，ｘ−１，ｙ}−１、ｄ_{ｎ＋１，ｘ，ｙ−１}、ｄ_{ｎ＋１，ｘ＋１，ｙ−１}、ｄ_{ｎ＋１，ｘ−１，ｙ}、ｄ_{ｎ＋１，ｘ，ｙ}、ｄ_{ｎ＋１，ｘ＋１，ｙ}、ｄ_{ｎ＋１，ｘ−１，ｙ＋１}、ｄ_{ｎ＋１，ｘ，ｙ＋１}、および／またはｄ_{ｎ＋１，ｘ＋１，ｙ＋１}）からの、１つまたは複数の変換された（例えば、再投影された）深度に基づいて評価され得る。例えば、電子デバイス１０２（例えば、プロセッサ１１２、深度情報取得器１１６など）は、評価されている深度（例えば、ｄ_{ｎ，ｘ，ｙ}）を、前のフレームからの対応する変換された深度（例えば、ｄ_{ｎ−１，ｘ，ｙ}）と比較し得る。深度（例えば、ｄ_{ｎ，ｘ，ｙ}）が、対応する変換された深度（例えば、ｄ_{ｎ−１，ｘ，ｙ}）から、閾値量より多く離れている場合、電子デバイス１０２は、深度が誤りであることを決定し得る。例えば、ｄ_{ｎ，ｘ，ｙ}＜ｄ_{ｎ−１，ｘ，ｙ}−ｔｈｒｅｓｈｏｌｄ_{ｎ−１，ｌｏｗ}の場合、および／またはｄ_{ｎ，ｘ，ｙ}＞ｄ_{ｎ−１，ｘ，ｙ}＋ｔｈｒｅｓｈｏｌｄ_{ｎ−１，ｈｉｇｈ}の場合、ｄ_{ｎ，ｘ，ｙ}は、誤りのある深度情報として検出され得る。同様のアプローチは、後続のフレーム（例えば、ｄ_{ｎ＋１，ｘ，ｙ}）について追加的にまたは代替的に行われ得る。

[00125] いくつかの構成では、深度ｄ_{ｎ，ｘ，ｙ}は、１つまたは複数の前のフレームからの、および／または１つまたは複数の後続のフレームからの、変換された（例えば、再投影された）深度に基づいて評価され得る。例えば、電子デバイス１０２（例えば、プロセッサ１１２、深度情報取得器１１６など）は、１つまたは複数の前のフレームからの、および／または１つまたは複数の後続のフレームからの、２つ以上の変換された深度の補間値（例えば、アベレージ、平均値、中央値、重み付け平均、線形補間値、双線形補間値、スプライン補間値、多項式補間値など）を決定し得る。一例では、電子デバイス１０２は、時間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）を作成するために、前のフレーム（例えば、ｄ_{ｎ−１，ｘ，ｙ}）からの対応する変換された深度、および後続のフレーム（例えば、ｄ_{ｎ＋１，ｘ，ｙ}）からの対応する変換された深度の時間的補間値を決定し得る。深度（例えば、ｄ_{ｎ，ｘ，ｙ}）は、時間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）から、閾値量より多く離れている場合、電子デバイス１０２は、その深度が誤りであることを決定し得る。例えば、ｄ_{ｎ，ｘ，ｙ}＜ｄ_{ｔ，ｉｎｔ}−ｔｈｒｅｓｈｏｌｄ_{ｔ，ｌｏｗ}の場合、および／またはｄ_{ｎ，ｘ，ｙ}＞ｄ_{ｔ，ｉｎｔ}＋ｔｈｒｅｓｈｏｌｄ_{ｔ，ｈｉｇｈ}の場合、ｄ_{ｎ，ｘ，ｙ}は、誤りのある深度情報として検出され得る。いくつかの例では、複数の前のフレームからの深度、および／または複数の後続のフレームからの深度は、時間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）を作成するために補間され得る。

[00126] いくつかの構成では、深度ｄ_{ｎ，ｘ，ｙ}は、同じフレーム中の１つまたは複数の深度と、１つまたは複数の前のフレームからの、および／または１つまたは複数の後続のフレームからの、１つまたは複数の変換された（例えば、再投影された）深度との組み合わせに基づいて評価され得る。例えば、電子デバイス１０２（例えば、プロセッサ１１２、深度情報取得器１１６など）は、同じフレームからの２つ以上の深度（例えば、隣接する深度）の空間的補間値（例えば、アベレージ、平均値、中央値、重み付け平均、線形補間値、双線形補間値、スプライン補間値、多項式補間値など）、１つまたは複数の前のフレームからの２つ以上の変換された深度の空間的補間値、および／または１つまたは複数の後続のフレームからの変換された深度の空間的補間値を決定し得る。例えば、電子デバイス１０２は、前のフレームの２つ以上の深度９８４（例えば、２−９個の深度）の空間的補間値、現在のフレームの２つ以上の深度９８６（例えば、２−９個の深度、２−８個の隣接する深度など）の空間的補間値、および／または後続のフレームの２つ以上の深度９８８（例えば、２−９個の深度など）の空間的補間値を決定し得る。電子デバイス１０２はさらに、前のフレーム、現在のフレーム、および／または後続のフレームからの２つ以上の深度（例えば、深度および／または空間的補間値深度）の空間的補間値を決定し得る。いくつかの例では、電子デバイス１０２は、前のフレーム、現在のフレーム、および／または後続のフレームからの深度の時空間的補間値（例えば、ｄｓ，_{ｔ，ｉｎｔ}）を決定するために、空間的次元および時間的次元の両方で補間され得る。深度（例えば、ｄ_{ｎ，ｘ，ｙ}）が時空間的深度補間値（例えば、ｄｓ，_{ｔ，ｉｎｔ}）から、閾値量より多く離れている場合、、電子デバイス１０２は、その深度が誤りであることを決定し得る。例えば、ｄ_{ｎ，ｘ，ｙ}＜ｄｓ，_{ｔ，ｉｎｔ}−ｔｈｒｅｓｈｏｌｄ_{ｓ，ｔ，ｌｏｗ}の場合、および／またはｄ_{ｎ，ｘ，ｙ}＞ｄｓ，_{ｔ，ｉｎｔ}＋ｔｈｒｅｓｈｏｌｄｓ，_{ｔ，ｈｉｇｈ}の場合、ｄ_{ｎ，ｘ，ｙ}は、誤りのある深度情報として検出され得る。

[00127] いくつかの例では、空間的深度補間値ｄ_{ｓ，ｉｎｔ}と、時間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）とは、別個に決定され得る。電子デバイス１０２は、深度および空間的基準の組み合わせに基づいて、深度（例えば、ｄ_{ｎ，ｘ，ｙ}）が誤りであるかどうかを決定し得る。例えば、ｄ_{ｎ，ｘ，ｙ}＜ｄ_{ｓ，ｉｎｔ}−ｔｈｒｅｓｈｏｌｄ_{ｓ．ｌｏｗ}である（ここで、ｔｈｒｅｓｈｏｌｄ_{ｓ，ｌｏｗ}は、第１の閾値である）場合、および／またはｄ_{ｎ，ｘ，ｙ}＞ｄ_{ｓ，ｉｎｔ}＋ｔｈｒｅｓｈｏｌｄ_{ｓ，ｈｉｇｈ}である（ここで、ｔｈｒｅｓｈｏｌｄ_{ｓ，ｈｉｇｈ}は、第２の閾値である）場合、あるいは、ｄ_{ｎ，ｘ，ｙ}＜ｄ_{ｔ，ｉｎｔ}−ｔｈｒｅｓｈｏｌｄ_{ｔ，ｌｏｗ}である場合、および／またはｄ_{ｎ，ｘ，ｙ}＞ｄ_{ｔ，ｉｎｔ}＋ｔｈｒｅｓｈｏｌｄ_{ｔ，ｈｉｇｈ}である場合、ｄ_{ｎ，ｘ，ｙ}は、誤りのある深度情報として検出され得る。

[00128] 下記の例のうちのいくつかにおいて、深度ｄ_{ｎ，ｘ，ｙ}は、深度ｄ_{ｎ，ｘ，ｙ}が誤りのある深度情報である場合に関して（例えば、プロセッサ１１２および／または深度情報補正器１１８によって）補正され得る。いくつかの構成では、深度ｄ_{ｎ，ｘ，ｙ}は、同じフレーム中の１つまたは複数の深度（例えば、隣接する深度）（例えば、ｄ_{ｎ，ｘ−１，ｙ−１}、ｄ_{ｎ，ｘ，ｙ−１}、ｄ_{ｎ，ｘ＋１，ｙ−１}、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ＋１，ｙ}、ｄ_{ｎ，ｘ−１，ｙ＋１}、ｄ_{ｎ，ｘ，ｙ＋１}、および／または、ｄ_{ｎ，ｘ＋１，ｙ＋１}）に基づいて補正され得る。例えば、隣接する深度のうちの２つ以上の補間値（例えば、アベレージ、平均値、中央値、重み付け平均、線形補間値、双線形補間値、スプライン補間値、多項式補間値など）が、近隣空間的深度補間（例えば、ｄ_{ｓ，ｉｎｔ}）を作成するために決定され得る。いくつかのアプローチでは、２つの隣接する深度（例えば、ｄ_{ｎ，ｘ−１，ｙ}とｄ_{ｎ，ｘ＋１，ｙ}；ｄ_{ｎ，ｘ−１，ｙ−１}とｄ_{ｎ，ｘ＋１，ｙ＋１}；ｄ_{ｎ，ｘ，ｙ−１}とｄ_{ｎ，ｘ，ｙ＋１}；ｄ_{ｎ，ｘ＋１，ｙ−１}とｄ_{ｎ，ｘ−１，ｙ＋１}など）が、補間され（例えば、平均化され）得る。いくつかのアプローチでは、４つの隣接する深度（例えば、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ＋１，ｙ}、ｄ_{ｎ，ｘ，ｙ−１}、およびｄ_{ｎ，ｘ，ｙ＋１}；ｄ_{ｎ，ｘ−１，ｙ−１}、ｄ_{ｎ，ｘ＋１，ｙ＋１}；ｄ_{ｎ，ｘ＋１，ｙ−１}、およびｄ_{ｎ，ｘ−１，ｙ＋１}など）が、補間され（例えば、平均化され）得る。いくつかの構成では、８個の隣接する深度（例えば、ｄ_{ｎ，ｘ−１，ｙ−１}、ｄ_{ｎ，ｘ，ｙ−１}、ｄ_{ｎ，ｘ＋１，ｙ−１}、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ＋１，ｙ}、ｄ_{ｎ，ｘ−１，ｙ＋１}、ｄ_{ｎ，ｘ，ｙ＋１}、およびｄ_{ｎ，ｘ＋１，ｙ＋１}）が、補間され（例えば、平均化され）得る。追加的にまたは代替的に、（例えば、ｄ_{ｎ，ｘ−２，ｙ}、ｄ_{ｎ，ｘ＋２，ｙ}、ｄ_{ｎ，ｘ，ｙ−２}、およびｄ_{ｎ，ｘ，ｙ＋２}などのような）評価される深度から遠い（例えば、すぐ隣よりも遠い）１つまたは複数の他の深度が、補間値計算に含まれ得る。電子デバイス１０２は、深度を、空間的深度補間値（例えば、ｄ_{ｓ，ｉｎｔ}）に置き換えることによって、誤りのある深度情報を補正し得る。

[00129] いくつかの構成では、誤りのある深度ｄ_{ｎ，ｘ，ｙ}は、（例えば、１つまたは複数の前のフレームおよび／または１つまたは複数の後続のフレームからの）１つまたは複数の隣接する深度を用いて、および／または１つまたは複数の変換された深度マップからの１つまたは複数の深度値を用いて、誤りのある深度ｄ_{ｎ，ｘ，ｙ}を平均化することによって、補正され得る。例えば、誤りのある深度は、（例えば、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ，ｙ}およびｄ_{ｎ，ｘ＋１，ｙ}が平均化され得、ｄ_{ｎ，ｘ−１，ｙ−１}、ｄ_{ｎ，ｘ，ｙ}およびｄ_{ｎ，ｘ＋１，ｙ＋１}が平均化され得、ｄ_{ｎ，ｘ，ｙ−１}、ｄ_{ｎ，ｘ，ｙ}およびｄ_{ｎ，ｘ，ｙ＋１}が平均化され得、ｄ_{ｎ，ｘ＋１，ｙ−１}、ｄ_{ｎ，ｘ，ｙ}およびｄ_{ｎ，ｘ−１，ｙ＋１}が平均化されるなどのように）隣接する深度を用いて平均化され得る。追加的にまたは代替的に、誤りのある深度は、（例えば、ｄ_{ｎ，ｘ−１，ｙ}、ｄ_{ｎ，ｘ，ｙ}およびｄ_{ｎ，ｘ＋１，ｙ}が平均化され得、ｄ_{ｎ−１，ｘ，ｙ}およびｄ_{ｎ，ｘ，ｙ}が平均化され得、（例えば、対応する３×３の近隣において）変換された深度マップからの深度の平均値、およびｄ_{ｎ，ｘ，ｙ}（またはｄ_{ｎ，ｘ，ｙ}を含む３×３の近隣など）が平均化され得るなどの）１つまたは複数の他の変換された深度マップからの１つまたは複数の深度を用いて平均化され得る。いくつかの構成では、平均化は、重み付けされ得る。例えば、１つまたは複数の他の深度値（例えば、隣接する深度値および／または変換された深度マップからの深度値）に対して、誤りのある深度値に対してよりも、より大きい重みが与えられ得る。

[00130] いくつかの構成では、誤りのある深度ｄ_{ｎ，ｘ，ｙ}は、１つまたは複数の前のフレーム（例えば、ｄ_{ｎ−１，ｘ−１，ｙ−１}、ｄ_{ｎ−１，ｘ，ｙ−１}、ｄ_{ｎ−１，ｘ＋１，ｙ−１}、ｄ_{ｎ−１，ｘ−１，ｙ}、ｄ_{ｎ−１，ｘ，ｙ}、ｄ_{ｎ−１，ｘ＋１，ｙ}、ｄ_{ｎ−１，ｘ−１，ｙ＋１}、ｄ_{ｎ−１，ｘ，ｙ＋１}、および／またはｄ_{ｎ−１，ｘ＋１，ｙ＋１}）からの、および／または１つまたは複数の後続のフレーム（例えば、ｄ_{ｎ＋１，ｘ−１，ｙ}−１、ｄ_{ｎ＋１，ｘ，ｙ−１}、ｄ_{ｎ＋１，ｘ＋１，ｙ−１}、ｄ_{ｎ＋１，ｘ−１，ｙ}、ｄ_{ｎ＋１，ｘ，ｙ}、ｄ_{ｎ＋１，ｘ＋１，ｙ}、ｄ_{ｎ＋１，ｘ−１，ｙ＋１}、ｄ_{ｎ＋１，ｘ，ｙ＋１}、および／またはｄ_{ｎ＋１，ｘ＋１，ｙ＋１}）からの、１つまたは複数の変換された（例えば、再投影された）深度に基づいて補正され得る。例えば、電子デバイス１０２（例えば、プロセッサ１１２は、深度情報補正器１１８など）は、誤りのある深度（例えば、ｄ_{ｎ，ｘ，ｙ}）を、前のフレーム（例えば、ｄ_{ｎ−１，ｘ，ｙ}）からの対応する変換された深度、または後続のフレーム（例えば、ｄ_{ｎ＋１，ｘ，ｙ}）からの対応する変換された深度に置き換え得る。

[00131] いくつかの構成では、誤りのある深度ｄ_{ｎ，ｘ，ｙ}は、１つまたは複数の前のフレームからの、および／または１つまたは複数の後続のフレームからの、変換された（例えば、再投影された）深度に基づいて補正され得る。例えば、電子デバイス１０２（例えば、プロセッサ１１２、深度情報取得器１１６、深度情報補正器１１８など）は、１つまたは複数の前のフレームからの、および／または１つまたは複数の後続のフレームからの、２つ以上の変換された深度の補間値（例えば、アベレージ、平均値、中央値、重み付け平均、線形補間値、双線形補間値、スプライン補間値、多項式補間値など）を決定し得る。一例では、電子デバイス１０２は、時間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）を作成するために、前のフレーム（例えば、ｄ_{ｎ−１，ｘ，ｙ}）からの対応する変換された深度、および後続のフレーム（例えば、ｄ_{ｎ＋１，ｘ，ｙ}）からの対応する変換された深度の時間的補間値を決定し得る。電子デバイス１０２（例えば、プロセッサ１１２は、深度情報補正器１１８など）は、誤りのある深度（例えば、ｄ_{ｎ，ｘ，ｙ}）を、時間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）に置き換え得る。

[00132] いくつかの構成では、誤りのある深度ｄ_{ｎ，ｘ，ｙ}は、同じフレーム中の１つまたは複数の深度と、１つまたは複数の前のフレームからの、および／または１つまたは複数の後続のフレームからの、１つまたは複数の変換された（例えば、再投影された）深度との組み合わせに基づいて補正され得る。例えば、電子デバイス１０２（例えば、プロセッサ１１２、深度情報取得器１１６、深度情報補正器１１８など）は、同じフレームからの２つ以上の深度（例えば、隣接する深度）の空間的補間値（例えば、アベレージ、平均値、中央値、重み付け平均、線形補間値、双線形補間値、スプライン補間値、多項式補間値など）、１つまたは複数の前のフレームからの２つ以上の変換された深度の空間的補間値、および／または１つまたは複数の後続のフレームからの変換された深度の空間的補間値を決定し得る。例えば、電子デバイス１０２は、前のフレームの２つ以上の深度９８４（例えば、２−９個の深度）の空間的補間値、現在のフレームの２つ以上の深度９８６（例えば、２−９個の深度、２−８個の隣接する深度など）の空間的補間値、および／または後続のフレームの２つ以上の深度９８８（例えば、２−９個の深度など）の空間的補間値を決定し得る。電子デバイス１０２はさらに、前のフレーム、現在のフレーム、および／または後続のフレームからの２つ以上の深度（例えば、深度および／または空間的補間値深度）の空間的補間値を決定し得る。いくつかの例では、電子デバイス１０２は、前のフレーム、現在のフレーム、および／または後続のフレームからの深度の時空間的補間値（例えば、ｄｓ，_{ｔ，ｉｎｔ}）を決定するために、空間的次元および時間的次元の両方で補間され得る。電子デバイス１０２（例えば、プロセッサ１１２、深度情報補正器１１８など）は、誤りのある深度（例えば、ｄ_{ｎ，ｘ，ｙ}）を、時空間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）に置き換え得る。

[00133] いくつかの構成では、電子デバイス１０２（例えば、深度情報補正器１１８）は、誤りのある深度情報を補正するために、誤りのある深度検出（例えば、空間的深度補間（例えば、ｄ_{ｓ，ｉｎｔ}）、時間的深度補間値（例えば、ｄ_{ｔ，ｉｎｔ}）、および／または時空間的深度補間値（例えば、ｄｓ，_{ｔ，ｉｎｔ}）など）において決定された補間を再利用し得る。いくつかの構成では、深度情報取得器１１６は、深度情報補正器１１８によって誤りのある深度情報を補正するために使用されるよりも、誤りのある深度情報を検出するために、異なる補間値を使用し得る。

[00134] 図１０は、本明細書で開示されるシステムおよび方法の様々な構成を実装するように構成される電子デバイス１００２内に含まれ得る、ある特定の構成要素を図示する。電子デバイス１００２の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラフォン、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータなど）、タブレットデバイス、メディアプレイヤ、テレビジョン、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、バーチャルリアリティデバイス（例えば、ヘッドセット）、拡張リアリティデバイス（例えば、ヘッドセット）、混合リアリティデバイス（例えば、ヘッドセット）、アクションカメラ、監視カメラ、搭載型カメラ、接続型カメラ、ロボット、飛行機、ドローン、無人機（ＵＡＶ）、スマート家電、ヘルスケア器具、ゲーミングコンソール、パーソナルデジタルアシスタント（ＰＤＡｓ）、セットトップボックス、測量デバイス、地図作製者（mappers）などを含み得る。電子デバイス１００２は、図１に関連して説明される電子デバイス１０２に従って、および／または図６に関連して説明されるエレメント６６２のうちの１つまたは複数に従って実装され得る。電子デバイス１００２は、プロセッサ１０８２を含む。プロセッサ１０８２は、汎用単一またはマルチチップマイクロプロセッサ（例えば、ＡＲＭ）、特殊用途向けマイクロプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））、マイクロプロセッサ、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１０８２は、中央処理ユニット（ＣＰＵ）と呼ばれ得る。電子デバイス１００２中には単一のプロセッサ１０８２のみが示されているが、代替の構成では、プロセッサの組み合わせ（例えば、ＡＲＭとＤＳＰ）が実装され得る。

[00135] 電子デバイス１００２はまた、メモリ１０６２も含む。メモリ１０６２は、電子情報を記憶することが可能な任意の電子コンポーネントであり得る。メモリ１０６２は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光学記憶媒体、ＲＡＭにおけるフラッシュメモリデバイス、プロセッサと共に含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、およびそれらの組み合わせを含むその他のものとして実現され得る。

[00136] データ１０６６ａおよび命令１０６４ａは、メモリ１０６２に記憶され得る。命令１０６４ａは、本明細書で説明される方法（例えば、方法２００、方法７００）、プロシージャ、ステップ、および／または機能のうちの１つまたは複数を実装するために、プロセッサ１０８２によって実行可能であり得る。命令１０６４ａを実行することは、メモリ１０６２内に記憶されるデータ１０６６ａの使用を含み得る。プロセッサ１０８２が命令１０６４を実行するとき、命令１０６４ｂの様々な部分がプロセッサ１０８２にロードされ、データ１０６６ｂの様々な部分がプロセッサ１０８２にロードされ得る。

[00137] 電子デバイス１００２はまた、電子デバイス１００２への信号の送信と、電子デバイス１００２からの信号の受信を可能にするために、送信機１０７２および受信機１０７４を含み得る。送信機１０７２および受信機１０７４は、トランシーバ１０７６と総称され得る。１つまたは複数のアンテナ１７３７ａ−ｂは、トランシーバ１０７６に電気的に結合され得る。電子デバイス１００２はまた、複数の送信機、複数の受信機、複数のトランシーバおよび／または追加のアンテナを含み得る（図示されない）。

[00138] 電子デバイス１００２は、デジタルシグナルプロセッサ（ＤＳＰ）１０７８を含み得る。電子デバイス１００２はまた、通信インターフェース１０８０を含み得る。通信インターフェース１０８０は、入力および／または出力の１つまたは複数の種類を許可および／または利用可能にする。例えば、通信インターフェース１０８０は、他のデバイスを電子デバイス１００２にリンク付けするための１つまたは複数ポートおよび／または通信デバイスを含み得る。いくつかの構成では、通信インターフェース１０８０は、送信機１０７２、受信機１０７４、または両方（トランシーバ１０７６）を含み得る。追加的にまたは代替的に、通信インターフェース１０８０は、１つまたは複数の他のインターフェース（例えば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラなど）を含み得る。例えば、通信インターフェース１０８０は、ユーザが電子デバイス１００２と相互作用することを可能にし得る。

[00139] 電子デバイス１００２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る１つまたは複数のバスによって互いに結合され得る。明確化のために、様々なバスがバスシステム１０６８として図１０に示される。

[00140] 「決定すること」という用語は、多種多様なアクションを包含し、従って「決定すること」は、計算すること、演算すること、処理すること、導出すること、調査すること、ルックアップすること（例えば、表、データベース、または別のデータ構造をルックアップすること）、確認することなどを含み得る。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。

[00141] 「〜に基づく」というフレーズは、そうではないと明確に指定されていない限り、「〜のみに基づく」ことを意味するわけではない。言い換えると、「〜に基づく」というフレーズは、「〜のみに基づく」および「〜に少なくとも基づく」の両方を説明する。

[00142] 「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステートマシンなどを包含するように広く解釈されるべきである。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指し得る。「プロセッサ」という用語は、例えば、ＤＳＰと１つのマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連結した１つまたは複数のマイクロプロセッサ、または、任意の他のそのような構成などの、処理デバイスの組み合わせを指し得る。

[00143] 「メモリ」という用語は、電子情報を記憶することができる任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データストレージ、レジスタなどのような、様々なタイプのプロセッサ可読媒体を指し得る。メモリは、プロセッサがそのメモリから情報を読み取ることができるおよび／またはそれに情報を書き込むことができる場合に、そのプロセッサと電子通信中であると言える。プロセッサに統合されているメモリは、そのプロセッサと電子通信中である。

[00144] 「命令」および「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むように広く解釈されるべきである。例えば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを指し得る。「命令」および「コード」は、単一のコンピュータ可読ステートメント、または多くのコンピュータ可読ステートメントを備え得る。

[00145] 本明細書で説明される機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアにおいて実装され得る。これら機能は、コンピュータ可読媒体上で、１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形の記憶媒体を指す。限定はされないが、例として、コンピュータ可読媒体は、命令またはデータ構造の形式で所望のプログラムコードを搬送あるいは記憶するために使用されることができ、かつ、コンピュータによってアクセスされることができる任意の媒体を備え得る。コンピュータ可読媒体は、有形および非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理、または計算され得るコードまたは命令（例えば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コード、またはデータを指し得る。

[00146] ソフトウェアまたは命令はまた、送信媒体上で送信され得る。例えば、ソフトウェアがウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線、およびマイクロ波のようなワイヤレス技術は、送信媒体の定義に含まれる。

[00147] 本明細書に開示された方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、本願の特許請求の範囲から逸脱せずに、互いと交換可能であり得る。言い換えれば、ステップまたは動作の特定の順序が、説明されている方法の正常な動作のために必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく修正され得る。

[00148] さらに、本明細書で説明される方法および技法を実行するためのモジュールおよび／または他の適切な手段が、デバイスによってダウンロードされ得ること、および／または他の方法で取得され得ることが、認識されるべきである。例えば、デバイスは、本明細書で説明される方法を実行するための手段の転送を容易にするために、サーバに結合され得る。代替的に、本明細書で説明される様々な方法は、デバイスに記憶手段を結合または提供した際に、デバイスが様々な方法を取得し得るように、記憶手段（例えば、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピー（登録商標）ディスクのような物理記憶媒体など）を介して提供され得る。

[00149] 本願の請求項は、上記に図示されたとおりの構成および構成要素に限定されないことが理解されるべきである。本明細書において説明された、システム、方法、および装置の、配置、動作、詳細において、様々な修正、変更、および、バリエーションが、特許請求の範囲から逸脱することなく行われ得る。

[00149] 本願の請求項は、上記に図示されたとおりの構成および構成要素に限定されないことが理解されるべきである。本明細書において説明された、システム、方法、および装置の、配置、動作、詳細において、様々な修正、変更、および、バリエーションが、特許請求の範囲から逸脱することなく行われ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
補正された深度マップを生成するための電子デバイスであって、
深度センサと、
前記深度センサに結合された動きセンサと、ここにおいて、前記動きセンサは、動き情報を決定するように構成され、
前記深度センサおよび前記動きセンサに結合されたプロセッサと、
を備え、ここにおいて、前記プロセッサは、
第１の深度マップを取得することと、ここにおいて、前記第１の深度マップは、第１のサンプリングで前記深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
第２の深度マップを取得することと、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
前記動き情報に基づいて、前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得することと、
前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成することと、
を行うように構成される、電子デバイス。
［Ｃ２］
前記プロセッサは、変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換するように構成され、前記プロセッサは、前記変換された深度マップに基づいて前記第２の深度マップの前記誤りのある深度情報を補正するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ３］
前記プロセッサは、前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えるように構成される、Ｃ２に記載の電子デバイス。
［Ｃ４］
前記プロセッサは、前記変換された深度マップの対応する誤りのない深度情報を用いて、前記第２の深度マップの誤りのない深度情報を平均化するように構成される、Ｃ２に記載の電子デバイス。
［Ｃ５］
前記プロセッサは、前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出するように構成される、Ｃ２に記載の電子デバイス。
［Ｃ６］
前記プロセッサは、前記第２の深度マップの前記深度が、前記変換された深度マップの前記深度から、閾値量を超えるかどうかを決定するように構成される、Ｃ５に記載の電子デバイス。
［Ｃ７］
前記プロセッサは、前記変換された深度マップの少なくとも２つの深度と、前記第２の深度マップの少なくとも２つの深度との間の時空間的平均値に基づいて、前記誤りのある深度情報を検出するように構成される、Ｃ２に記載の電子デバイス。
［Ｃ８］
前記プロセッサは、
１つまたは複数のワールド座標点を作成するために、深度センサプレーン上の１つまたは複数の点をワールド座標に投影することと、
前記１つまたは複数のワールド座標点を回転させることと、
前記１つまたは複数のワールド座標点を平行移動させることと、
前記変換された深度マップを作成するために、前記１つまたは複数のワールド座標点を再投影することと
を行うように構成される、Ｃ２に記載の電子デバイス。
［Ｃ９］
前記プロセッサは、前記第２の深度マップ中の２つ以上の深度の空間的平均値に基づいて、前記誤りのある深度情報を検出するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１０］
前記誤りのある深度情報は、深度センサの機能停止を備える、Ｃ１に記載の電子デバイス。
［Ｃ１１］
電子デバイスによって、補正された深度マップを生成するための方法であって、
第１の深度マップを取得することと、ここにおいて、前記第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
第２の深度マップを取得することと、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得することと、
前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成することと、
を備える、方法。
［Ｃ１２］
変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換することをさらに備え、ここにおいて、前記第２の深度マップの前記誤りのある深度情報を補正することは、前記変換された深度マップに基づく、Ｃ１１に記載の方法。
［Ｃ１３］
前記誤りのある深度情報を補正することは、前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えることを備える、Ｃ１２に記載の方法。
［Ｃ１４］
前記変換された深度マップの対応する誤りのない深度情報を用いて、前記第２の深度マップの誤りのない深度情報を平均化することをさらに備える、Ｃ１２に記載の方法。
［Ｃ１５］
前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出することをさらに備える、Ｃ１２に記載の方法。
［Ｃ１６］
前記誤りのある深度情報を検出することは、前記第２の深度マップの前記深度が、前記変換された深度マップの前記深度から、閾値量を超えるかどうかを決定することを備える、Ｃ１５に記載の方法。
［Ｃ１７］
前記変換された深度マップの少なくとも２つの深度と、前記第２の深度マップの少なくとも２つの深度との間の時空間的平均値に基づいて、前記誤りのある深度情報を検出することをさらに備える、Ｃ１２に記載の方法。
［Ｃ１８］
前記第１の深度マップを変換することは、
１つまたは複数のワールド座標点を作成するために、深度センサプレーン上の１つまたは複数の点をワールド座標に投影することと、
前記１つまたは複数のワールド座標点を回転させることと、
前記１つまたは複数のワールド座標点を平行移動させることと、
前記変換された深度マップを作成するために、前記１つまたは複数のワールド座標点を再投影することと
を備える、Ｃ１２に記載の方法。
［Ｃ１９］
前記第２の深度マップ中の２つ以上の深度の空間的平均値に基づいて、前記誤りのある深度情報を検出することをさらに備える、Ｃ１１に記載の方法。
［Ｃ２０］
前記誤りのある深度情報は、深度センサの機能停止を備える、Ｃ１１に記載の方法。
［Ｃ２１］
補正された深度マップを生成するための装置であって、
第１の深度マップを取得するための手段と、ここにおいて、前記第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
第２の深度マップを取得するための手段と、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得するための手段と、
前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成するための手段と
を備える、装置。
［Ｃ２２］
変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換するための手段をさらに備え、ここにおいて、前記第２の深度マップの前記誤りのある深度情報を補正するための前記手段は、前記変換された深度マップに基づく、Ｃ２１に記載の装置。
［Ｃ２３］
前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えるための手段をさらに備える、Ｃ２２に記載の装置。
［Ｃ２４］
前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出するための手段をさらに備える、Ｃ２２に記載の装置。
［Ｃ２５］
前記誤りのある深度情報は、深度センサの機能停止を備える、Ｃ２１に記載の装置。
［Ｃ２６］
命令を有する非一時的な有形のコンピュータ可読媒体を備える、補正された深度マップを生成するためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに、第１の深度マップを取得させるためのコードと、ここにおいて、前記第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
前記電子デバイスに、第２の深度マップを取得させるためのコードと、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
前記電子デバイスに、前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得させるためのコードと、
前記電子デバイスに、前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成させるためのコードと、
を備える、コンピュータプログラム製品。
［Ｃ２７］
前記電子デバイスに、変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換させるためのコードをさらに備え、前記電子デバイスに、前記第２の深度マップの前記誤りのある深度情報を補正させるための前記コードは、前記変換された深度マップに基づく、Ｃ２６に記載のコンピュータプログラム製品。
［Ｃ２８］
前記電子デバイスに、前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えさせるためのコードをさらに備える、Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ２９］
前記電子デバイスに、前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出させるためのコードをさらに備える、Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ３０］
前記誤りのある深度情報は、深度センサの機能停止を備える、Ｃ２６に記載のコンピュータプログラム製品。

Claims (30)

1. 補正された深度マップを生成するための電子デバイスであって、
   深度センサと、
   前記深度センサに結合された動きセンサと、ここにおいて、前記動きセンサは、動き情報を決定するように構成され、
   前記深度センサおよび前記動きセンサに結合されたプロセッサと、
   を備え、ここにおいて、前記プロセッサは、
   第１の深度マップを取得することと、ここにおいて、前記第１の深度マップは、第１のサンプリングで前記深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
   第２の深度マップを取得することと、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
   前記動き情報に基づいて、前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得することと、
   前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成することと、
   を行うように構成される、電子デバイス。
2. 前記プロセッサは、変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換するように構成され、前記プロセッサは、前記変換された深度マップに基づいて前記第２の深度マップの前記誤りのある深度情報を補正するように構成される、請求項１に記載の電子デバイス。
3. 前記プロセッサは、前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えるように構成される、請求項２に記載の電子デバイス。
4. 前記プロセッサは、前記変換された深度マップの対応する誤りのない深度情報を用いて、前記第２の深度マップの誤りのない深度情報を平均化するように構成される、請求項２に記載の電子デバイス。
5. 前記プロセッサは、前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出するように構成される、請求項２に記載の電子デバイス。
6. 前記プロセッサは、前記第２の深度マップの前記深度が、前記変換された深度マップの前記深度から、閾値量を超えるかどうかを決定するように構成される、請求項５に記載の電子デバイス。
7. 前記プロセッサは、前記変換された深度マップの少なくとも２つの深度と、前記第２の深度マップの少なくとも２つの深度との間の時空間的平均値に基づいて、前記誤りのある深度情報を検出するように構成される、請求項２に記載の電子デバイス。
8. 前記プロセッサは、
   １つまたは複数のワールド座標点を作成するために、深度センサプレーン上の１つまたは複数の点をワールド座標に投影することと、
   前記１つまたは複数のワールド座標点を回転させることと、
   前記１つまたは複数のワールド座標点を平行移動させることと、
   前記変換された深度マップを作成するために、前記１つまたは複数のワールド座標点を再投影することと
   を行うように構成される、請求項２に記載の電子デバイス。
9. 前記プロセッサは、前記第２の深度マップ中の２つ以上の深度の空間的平均値に基づいて、前記誤りのある深度情報を検出するように構成される、請求項１に記載の電子デバイス。
10. 前記誤りのある深度情報は、深度センサの機能停止を備える、請求項１に記載の電子デバイス。
11. 電子デバイスによって、補正された深度マップを生成するための方法であって、
    第１の深度マップを取得することと、ここにおいて、前記第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
    第２の深度マップを取得することと、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
    前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得することと、
    前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成することと、
    を備える、方法。
12. 変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換することをさらに備え、ここにおいて、前記第２の深度マップの前記誤りのある深度情報を補正することは、前記変換された深度マップに基づく、請求項１１に記載の方法。
13. 前記誤りのある深度情報を補正することは、前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えることを備える、請求項１２に記載の方法。
14. 前記変換された深度マップの対応する誤りのない深度情報を用いて、前記第２の深度マップの誤りのない深度情報を平均化することをさらに備える、請求項１２に記載の方法。
15. 前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出することをさらに備える、請求項１２に記載の方法。
16. 前記誤りのある深度情報を検出することは、前記第２の深度マップの前記深度が、前記変換された深度マップの前記深度から、閾値量を超えるかどうかを決定することを備える、請求項１５に記載の方法。
17. 前記変換された深度マップの少なくとも２つの深度と、前記第２の深度マップの少なくとも２つの深度との間の時空間的平均値に基づいて、前記誤りのある深度情報を検出することをさらに備える、請求項１２に記載の方法。
18. 前記第１の深度マップを変換することは、
    １つまたは複数のワールド座標点を作成するために、深度センサプレーン上の１つまたは複数の点をワールド座標に投影することと、
    前記１つまたは複数のワールド座標点を回転させることと、
    前記１つまたは複数のワールド座標点を平行移動させることと、
    前記変換された深度マップを作成するために、前記１つまたは複数のワールド座標点を再投影することと
    を備える、請求項１２に記載の方法。
19. 前記第２の深度マップ中の２つ以上の深度の空間的平均値に基づいて、前記誤りのある深度情報を検出することをさらに備える、請求項１１に記載の方法。
20. 前記誤りのある深度情報は、深度センサの機能停止を備える、請求項１１に記載の方法。
21. 補正された深度マップを生成するための装置であって、
    第１の深度マップを取得するための手段と、ここにおいて、前記第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
    第２の深度マップを取得するための手段と、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
    前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得するための手段と、
    前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成するための手段と
    を備える、装置。
22. 変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換するための手段をさらに備え、ここにおいて、前記第２の深度マップの前記誤りのある深度情報を補正するための前記手段は、前記変換された深度マップに基づく、請求項２１に記載の装置。
23. 前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えるための手段をさらに備える、請求項２２に記載の装置。
24. 前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出するための手段をさらに備える、請求項２２に記載の装置。
25. 前記誤りのある深度情報は、深度センサの機能停止を備える、請求項２１に記載の装置。
26. 命令を有する非一時的な有形のコンピュータ可読媒体を備える、補正された深度マップを生成するためのコンピュータプログラム製品であって、前記命令は、
    電子デバイスに、第１の深度マップを取得させるためのコードと、ここにおいて、前記第１の深度マップは、第１のサンプリングで深度センサによってサンプリングされたシーンの第１の部分の第１の深度情報を備え、
    前記電子デバイスに、第２の深度マップを取得させるためのコードと、ここにおいて、前記第２の深度マップは、第２のサンプリングで前記深度センサによってサンプリングされた前記シーンの第２の部分の第２の深度情報を備え、
    前記電子デバイスに、前記第１のサンプリングと前記第２のサンプリングとの間の前記深度センサの変位を示す変位情報を取得させるためのコードと、
    前記電子デバイスに、前記第１の深度情報、前記第２の深度情報、および前記変位情報に基づいて、誤りのある深度情報を補正することによって、補正された深度マップを生成させるためのコードと、
    を備える、コンピュータプログラム製品。
27. 前記電子デバイスに、変換された深度マップを作成するために、前記変位情報に基づいて前記第１の深度マップを変換させるためのコードをさらに備え、前記電子デバイスに、前記第２の深度マップの前記誤りのある深度情報を補正させるための前記コードは、前記変換された深度マップに基づく、請求項２６に記載のコンピュータプログラム製品。
28. 前記電子デバイスに、前記誤りのある深度情報を前記変換された深度マップの対応する深度情報に置き換えさせるためのコードをさらに備える、請求項２７に記載のコンピュータプログラム製品。
29. 前記電子デバイスに、前記第２の深度マップの深度を、前記変換された深度マップの深度と比較することによって、前記誤りのある深度情報を検出させるためのコードをさらに備える、請求項２７に記載のコンピュータプログラム製品。
30. 前記誤りのある深度情報は、深度センサの機能停止を備える、請求項２６に記載のコンピュータプログラム製品。

Images