JP2016517505A - 適応デプス検出 - Google Patents

Abstract

装置、システム、及び方法が本明細書で説明される。装置は、１又は複数のセンサを含み、複数のセンサは、ベースラインレールによって結合される。装置は、また、ベースラインレールに沿って１又は複数のセンサを移動させるためのものであるコントローラデバイスを含み、ベースラインレールは、１又は複数のセンサのそれぞれの間のベースラインを調節するためのものである。

Description

本発明は、概して、デプス検出に関する。より具体的には、本発明は、様々なデプスプレーンにおける適応デプス検出に関する。

画像キャプチャの間に、画像情報に関連付けられるデプス情報をキャプチャするために用いられる様々な技術がある。デプス情報は、典型的には、画像内に含まれるデプスの表現を生成するために用いられる。デプス情報は、画像内の複数の３Ｄオブジェクトのデプスで示すために用いられてよいポイントクラウド、デプスマップ、又は３次元（３Ｄ）多角形メッシュの形であってよい。デプス情報は、また、複数のステレオペア又は複数の多視点ステレオ再構成方法を用いて２次元（２Ｄ）画像から導かれることができ、また、構造化照明、複数の飛行時間センサ、及び多くの他の方法を含む複数の直接デプスセンシング方法の広い範囲から導かれることができる。

デプスは、複数の規定のデプスプレーンにおいて固定デプス解像度値でキャプチャされる。

適応デプス検出を提供するために用いられてよいコンピューティングデバイスのブロック図である。 異なる複数のベースラインを有する２つのデプスフィールドの実例である。 ＭＥＭＳデバイスを有する画像センサの実例である。 ３つのディザリンググリッドの実例である。 グリッドをわたる複数のディザ移動の実例である。 ベースラインレールに沿う複数のＭＥＭＳ制御センサを示す図である。 ２つのセンサの間のベースラインの変化に基づく視野の変化を示す図である。 モバイルデバイスの実例である。 適応デプス検出のための方法の処理フロー図である。 適応デプス検出を提供する例示的なシステムのブロック図である。 図１０のシステムが具現化されてよい小型フォームファクタデバイスの概略図である。 適応デプス検出のためのコードを格納する有形の非一時的コンピュータ可読媒体１２００を示すブロック図である。

本開示及び図面を通じて、同様の複数のコンポーネント及び複数の機能に言及するために、同一の数字が用いられる。１００のシリーズの数字は、最初に図１に表れる複数の機能を指し、２００のシリーズの数字は、最初に図２に表れる複数の機能を指し、他も同様である。

デプス及び画像センサは、主に、静止した事前設定された複数のデバイスであり、様々なデプスプレーンにおける複数の固定デプス解像度値を有する複数の画像及びデプスをキャプチャする。複数のデプス解像度値及び複数のデプスプレーンは、複数のデプスセンサのための事前設定された光学的な視野、複数のセンサの固定された開口、及び固定センサの解像度に起因して固定される。本明細書において複数の実施形態が適応デプス検出を提供する。いくつかの実施形態において、デプス表現は、デプスマップ又はデプスマップ内の関心のエリアの使用に基づいて調整されてよい。

いくつかの実施形態において、適応デプス検出は、人間視覚システムに基づくスケーラブルなデプス検出である。適応デプス検出は、視野の光学中心及び開口を調節するために、微小電気機械システム（ＭＥＭＳ）を用いて実装されてよい。適応デプス検出は、また、様々な位置における複数のディザパターンのセットを含んでよい。

以下の説明及び複数の請求項において、「結合」及び「接続」という用語は、それらの派生語とともに用いられてよい。これらの複数の用語が互いに類義語として意図されないことが理解されるべきである。むしろ、複数の特定の実施形態では、「接続」は、２つ又はより多い要素が互いに直接物理的に又は電気的に接触することを示すために用いられてよい。「結合」は、２つ又はより多い要素が直接物理的に又は電気的に接触することを意味してよい。しかしながら、「結合」は、また、２つ又はより多い要素が互いに直接接触しないが、それでもさらに互いに協働又は情報をやりとりすることを意味してよい。

いくつかの実施形態は、ハードウェア、ファームウェア、及びソフトウェアのうちの１つ又は組み合わせで実装されてよい。いくつかの実施形態は、また、本明細書で説明される複数の動作を実行するコンピューティングプラットフォームによって読み取られて実行されてよい、機械可読媒体上に格納される複数の命令として実装されてよい。機械可読媒体は、機械、例えば、コンピュータによって読み取り可能な形で、情報を格納又は送信するための任意のメカニズムを含んでよい。例えば、機械可読媒体は、特に、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、複数のフラッシュメモリデバイス、又は電気、光、音、若しくは他の形の伝搬される複数の信号、例えば、複数の搬送波、複数の赤外線信号、複数のデジタル信号、若しくは複数の信号を送信及び／又は受信する複数のインターフェースを含んでよい。

実施形態は、実装又は例である。「実施形態」、「一実施形態」、「いくつかの実施形態」、「様々な実施形態」、又は「複数の他の実施形態」に対する本明細書における参照は、複数の実施形態に関連して説明される特定の機能、構造、又は特性が、本発明の少なくともいくつかの実施形態に含まれることを意味するが、全ての実施形態に含まれることを必ずしも意味しない。「実施形態」、「一実施形態」、又は「いくつかの実施形態」の様々な出現は、必ずしも全て同一の実施形態に言及しているわけではない。実施形態からの複数の要素又は複数の態様は、別の実施形態の複数の要素又は複数の態様と組み合わせられることができる。

本明細書で説明されて示される全てのコンポーネント、機能、構造、特性等は、特定の実施形態又は複数の実施形態に含まれる必要があるとは限らない。コンポーネント、機能、構造、又は特性が含まれ「てよい」、「る場合がある」、「ることができる」、「得る」と本明細書で述べた場合、例えば、特定のコンポーネント、機能、構造、又は特性は含まれることを必要とされない。明細書又は請求項が「ある」要素に言及する場合、それは、その要素が１つだけ存在することを意味しない。明細書又は請求項で、「ある追加の」要素に言及する場合、それは、追加の要素が１より多く存在することを除外しない。

いくつかの実施形態が複数の特定の実装を参照して説明されるが、いくつかの実施形態に従って、他の複数の実装が可能であることが留意される。さらに、図面に示される及び／又は本明細書で説明される複数の回路要素又は他の複数の機能の配置及び／又は順序は、示される及び説明される特定の方法で配置される必要はない。多くの他の配置が、いくつかの実施形態に従って可能である。

図面に示される各システムにおいて、複数の要素は、場合によっては、表される複数の要素が、異なり及び／又は類似し得ることを示唆するために、各々同一の参照番号又は異なる参照番号を有してよい。しかしながら、要素は、異なる複数の実装を有し、本明細書に示される又は説明されるシステムのいくつか又は全てと共に動作できるほど十分に柔軟であってよい。複数の図面に示される様々な要素は、同一又は異なるものであってよい。どちらが第１の要素と称され、どちらが第２の要素と呼ばれるかは任意である。

図１は、適応デプス検出を提供するために用いられてよいコンピューティングデバイス１００のブロック図である。コンピューティングデバイス１００は、特に、例えば、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、モバイルデバイス、又はサーバであってよい。コンピューティングデバイス１００は、格納される複数の命令を実行するように構成された中央処理装置（ＣＰＵ）１０２、及びＣＰＵ１０２によって実行可能な複数の命令を格納するメモリデバイス１０４を含んでよい。ＣＰＵは、バス１０６によってメモリデバイス１０４に結合されていてよい。さらに、ＣＰＵ１０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は任意の数の他の構成であり得る。さらに、コンピューティングデバイス１００は、１より多いＣＰＵ１０２を含んでよい。ＣＰＵ１０２によって実行される複数の命令は、適応デプス検出を実装するために用いられてよい。コンピューティングデバイス１００は、また、グラフィックス処理ユニット（ＧＰＵ）１０８を含んでよい。示されるように、ＣＰＵ１０２は、バス１０６を通じてＧＰＵ１０８に結合されてよい。ＧＰＵ１０８は、コンピューティングデバイス１００内で任意の数のグラフィックス処理を実行するように構成されてよい。例えば、ＧＰＵ１０８は、コンピューティングデバイス１００のユーザに対して表示させるために、複数のグラフィックス画像、複数のグラフィックスフレーム、複数のビデオ、又はその類のものを描画又は操作するように構成されてよい。いくつかの実施形態において、ＧＰＵ１０８は、多数のグラフィックスエンジン（不図示）を含み、各グラフィックスエンジンは、複数の特定のグラフィックスタスクを実行する、又は特定のタイプの複数の作業負荷を実行するように構成される。例えば、ＧＰＵ１０８は、センサのディザリングを制御するエンジンを含んでよい。グラフィックスエンジンは、また、デプス解像度及びデプスフィールド線形性を調整すべく、視野（ＦＯＶ）の開口及び光学中心を制御するために用いられてよい。いくつかの実施形態において、解像度は、特定のエリア内の複数のデータポイントの尺度基準である。複数のデータポイントは、デプス情報、画像情報、又はセンサによって測定される任意の他のデータポイントであり得る。さらに、解像度は、異なるタイプのデータポイントの組み合わせを含んでよい。

メモリデバイス１０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は任意の他の適切なメモリシステムを含むことができる。例えば、メモリデバイス１０４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含んでよい。メモリデバイス１０４は、ドライバ１１０を含む。ドライバ１１０は、コンピューティングデバイス１００内の様々なコンポーネントの動作のための複数の命令を実行するように構成される。デバイスドライバ１１０は、ソフトウェア、アプリケーション、プログラム、アプリケーションコード、又はその類のものであってよい。複数のドライバは、また、ＧＰＵを動作させ、センサのディザリング、開口、及び視野（ＦＯＶ）の光学中心を制御するために用いられてよい。

コンピューティングデバイス１００は、１又は複数の画像キャプチャデバイス１１２を含む。いくつかの実施形態において、画像キャプチャデバイス１１２は、カメラ、ステレオカメラ、赤外線センサ、又はその類のものであり得る。画像キャプチャデバイス１１２は、画像情報及び対応するデプス情報をキャプチャするために用いられる。画像キャプチャデバイス１１２は、例えば、デプスセンサ、ＲＧＢセンサ、画像センサ、赤外線センサ、Ｘ線光子カウントセンサ、光センサ、又はそれらの任意の組み合わせのような複数のセンサ１１４を含んでよい。画像センサは、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、システムオンチップ（ＳＯＣ）画像センサ、複数の感光性薄膜トランジスタを有する複数の画像センサ、又はそれらの任意の組み合わせを含んでよい。いくつかの実施形態において、センサ１１４は、デプスセンサ１１４である。デプスセンサ１１４は、画像情報に関連付けられるデプス情報をキャプチャするために用いられてよい。いくつかの実施形態において、ドライバ１１０は、例えば、デプスセンサのような画像キャプチャデバイス１１２内でセンサを動作させるために用いられてよい。デプスセンサは、ディザリングの形態、開口、又は複数のセンサによって観察されるＦＯＶの光学中心を調節することによって、適応デプス検出を実行してよい。ＭＥＭＳ１１５は、１又は複数のセンサ１１４の間の物理的な位置を調節してよい。いくつかの実施形態において、ＭＥＭＳ１１５は、２つのデプスセンサ１１４の間の位置を調節するために用いられる。

ＣＰＵ１０２は、コンピューティングデバイス１００を１又は複数の入力／出力（Ｉ／Ｏ）デバイス１１８に接続するように構成されるＩ／Ｏデバイスインターフェース１１６に、バス１０６を通じて接続されてよい。Ｉ／Ｏデバイス１１８は、例えば、キーボード及びポインティングデバイスを含んでよく、ここで、ポインティングデバイスは、特に、タッチパッド又はタッチスクリーンを含んでよい。Ｉ／Ｏデバイス１１８は、コンピューティングデバイス１００の複数の内蔵コンポーネントであってよく、又はコンピューティングデバイス１００に外部接続される複数のデバイスであってよい。

ＣＰＵ１０２は、また、コンピューティングデバイス１００をディスプレイデバイス１２２に接続するように構成されるディスプレイインターフェース１２０に、バス１０６を通じてリンクされてよい。ディスプレイデバイス１２２は、コンピューティングデバイス１００の内蔵コンポーネントであるディスプレイスクリーンを含んでよい。ディスプレイデバイス１２２は、また、特に、コンピュータモニタ、テレビ、又はプロジェクタを含んでよく、それは、コンピューティングデバイス１００に外部接続される。

コンピューティングデバイスは、また、ストレージデバイス１２４を含む。ストレージデバイス１２４は、例えば、ハードドライブ、光学式ドライブ、サムドライブ、複数のドライブのアレイ、又はそれらの任意の組み合わせのような物理メモリである。ストレージデバイス１２４は、また、複数のリモートストレージドライブを含んでよい。ストレージデバイス１２４は、コンピューティングデバイス１００上で動作するように構成される任意の数のアプリケーション１２６を含む。数のアプリケーション１２６は、複数のステレオディスプレイのための複数の３Ｄステレオカメラ画像及び３Ｄグラフィックスを含む、複数のメディア及びグラフィックスを組み合わせるために用いられてよい。複数の例において、アプリケーション１２６は、適応デプス検出を提供するために用いられてよい。

コンピューティングデバイス１００は、また、バス１０６を通じてコンピューティングデバイス１００をネットワーク１３０に接続するように構成されてよいネットワークインターフェースコントローラ（ＮＩＣ）１２８も含んでよい。ネットワーク１３０は、特に、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はインターネットであってよい。

図１のブロック図は、コンピューティングデバイス１００が図１に示されるコンポーネントの全てを含むことを示すことが意図されない。さらに、コンピューティングデバイス１００は、特定の実装の詳細に依存して、図１に示されない任意の数の追加のコンポーネントを含んでよい。

適応デプス検出は、２つの眼を含む人間視覚システムと同様の方法で変化してよい。各眼は、他の眼と比較した場合、両眼の異なる位置に起因して、異なる画像をキャプチャする。人の眼は、瞳孔に入る光の量に応答してサイズを変化させることが可能な眼の中心における開口である瞳孔を用いて、複数の画像をキャプチャする。各瞳孔の間の距離は、ベースラインと称されてよい。人の両眼のペアによってキャプチャされた複数の画像は、このベースライン距離だけオフセットされる。脳が、視野（ＦＯＶ）内の複数のオブジェクトの複数のデプスを計算するために、複数のオフセット画像からの情報を用いることができるので、複数のオフセット画像はデプス認識をもたらす。デプスを認知するために複数のオフセット画像を用いることに加えて、人の眼は、また、関心の領域のＦＯＶの中心の周りでディザリングするために複数の衝動性運動を用いる。複数の衝動性運動は、ＦＯＶの中心又は焦点の周りの迅速な眼の動きを含む。複数の衝動性運動は、さらに、人間視覚システムがデプスを認知することを可能にする。

図２は、異なる複数のベースラインを有する２つのデプスフィールドの実例である。複数のデプスフィールドは、デプスフィールド２０２及びデプスフィールド２０４を含む。デプスフィールド２０２は、３つの開口からの情報を用いて計算される。開口は、画像キャプチャデバイスのレンズの中心の穴であり、人間視覚システムの瞳孔と同様の複数の機能を実行できる。複数の例において、開口２０６Ａ、開口２０６Ｂ、及び開口２０６Ｃのそれぞれは、画像キャプチャデバイス、センサ、又はそれらの任意の組み合わせの部分を形成する。複数の例において、画像キャプチャデバイスはステレオカメラである。開口２０６Ａ、開口２０６Ｂ、及び開口２０６Ｃは、画像内のデプスを認知するために用いられることができる３つのオフセット画像をキャプチャするために用いられる。示されるように、デプスフィールド２０２は、デプスフィールド全体にわたって、非常にばらつきがあるデプスの粒度を有する。具体的には、開口２０６Ａ、開口２０６Ｂ、及び開口２０６Ｃの近くでは、デプスフィールド２０２のグリッド内のより小さい複数の矩形エリアによって示されるように、デプスフィールド２０２におけるデプス認識は細かい。開口２０６Ａ、開口２０６Ｂ、及び開口２０６Ｃから最も離れたところでは、デプスフィールド２０２のグリッド内のより大きい複数の矩形エリアによって示されるように、デプスフィールド２０２におけるデプス認識は粗い。

デプスフィールド２０４は、１１個の開口からの情報を用いて計算される。開口２０８Ａ、開口２０８Ｂ、開口２０８Ｃ、開口２０８Ｄ、開口２０８Ｅ、開口２０８Ｆ、開口２０８Ｇ、開口２０８Ｈ、開口２０８Ｉ、開口２０８Ｊ、及び開口２０８Ｋのそれぞれは、１１個のオフセット画像を提供するために用いられる。複数の画像は、デプスフィールド２０４を計算するために用いられる。したがって、デプスフィールド２０４は、デプスフィールド２０２と比較される場合、様々なベースライン位置におけるより多い画像を含む。結果として、デプスフィールド２０４は、デプス表現２０２と比較されると、ＦＯＶを通じて、より一貫性のあるデプスの表現を有する。デプスフィールド２０４内の一貫性のあるデプスの表現は、デプスフィールド２０２のグリッド内の同様のサイズの矩形エリアによって示される。

デプスフィールドは、画像内の複数の３Ｄオブジェクトのデプスを示すために用いられてよい、例えば、ポイントクラウド、デプスマップ、又は３次元（３Ｄ）多角形メッシュのようなデプス情報の複数の表現を指してよい。複数の技術がデプスフィールド又はデプスマップを用いて本明細書で説明される一方で、任意のデプス表現が用いられることができる。異なる精度の複数のデプスマップは、画像キャプチャデバイスの開口サイズを変化させるため、及びＦＯＶの光学中心を変化させるために、１又は複数のＭＥＭＳデバイスを用いて生成されることができる。異なる精度の複数のデプスマップは、スケーラブルなデプス解像度をもたらす。ＭＥＭＳデバイスは、また、さらに高いデプス解像度のために、複数のセンサをディザリングし、フレームレートを増加させるために用いられてよい。

複数のセンサをディザリングすることによって、最も大きいディザリングのエリア内のポイントは、より小さいディザリングを有するエリアと比較される場合、さらに高いデプス解像度を有してよい。

ＭＥＭＳ制御センサ精度ディザリングは、解像度を増加するために、サブセンサセルのサイズのＭＥＭＳの動きを用いて、さらに高いデプス解像度を可能にする。言い換えれば、ディザリングの動きは、画素サイズより小さくあり得る。いくつかの実施形態において、そのようなディザリングは、画素毎にキャプチャされるいくつかのサブ画素データポイントを生成する。例えば、Ｘ−Ｙ面において半センサセル単位でセンサをディザリングすることは、４つのサブ画素精度の画像のセットが生成され、４つのディザフレームのそれぞれはサブ画素解像度のために用いられ得、統合され、又は画像の精度を増加させるために共に組み合わせられることを可能にする。ＭＥＭＳデバイスは、１又は複数の画像キャプチャデバイスに対するＦＯＶを調節することによって、開口の形状を制御してよい。例えば、狭いＦＯＶは、より長い距離のデプス検出の解像度を可能にしてよく、より広いＦＯＶは、短い距離のデプス検出を可能にしてよい。ＭＥＭＳデバイスは、また、１又は複数の画像キャプチャデバイス、センサ、開口、又はそれらの任意の組み合わせの動きを可能にすることによって、ＦＯＶの光学中心を制御してよい。例えば、センサのベースラインの位置は、遠くのデプス解像度線形性に対するデプス線形性を最適化するために広げられることができ、センサのベースラインの位置は、近くの範囲のデプス線形性に対するデプス認識を最適化するために短くされることができる。

図３は、ＭＥＭＳデバイス３０４を有するセンサ３０２の実例３００である。センサ３０２は、画像キャプチャデバイスのコンポーネントであってよい。いくつかの実施形態において、センサ３０２は、画像情報、デプス情報、又はそれらの任意の組み合わせをキャプチャするための開口を含む。ＭＥＭＳデバイス３０４は、ＭＥＭＳデバイス３０４がＸ−Ｙ面を通じてセンサ３０２を移動できるように、センサ３０２と接触していてよい。

したがって、ＭＥＭＳデバイス３０４は、矢印３０６Ａ、矢印３０６Ｂ、及び矢印３０６Ｃ、及び矢印３０６Ｄに示されるように、４つの異なる方向にセンサを移動するために用いられることができる。

いくつかの実施形態において、デプス検出モジュールは、人の眼の衝動性運動を模倣するように、センサ３０２を迅速にディザリングするために、ＭＥＭＳデバイス３０４を組み込むことができる。このように、画像の解像度は、画像センサの複数のフォトダイオードセルが光を蓄積する時間の間に、サブフォトダイオードセルの粒度で提供される。これは、複数のオフセット画像が、様々なオフセットの位置における単一のフォトセルのためのデータを提供するからである。画像センサのディザリングを含む画像のデプス解像度は、画像のデプス解像度を増加させてよい。ディザリングメカニズムは、フォトダイオードのサイズのごく一部におけるセンサをディザリングすることが可能である。

例えば、ＭＥＭＳデバイス３０４は、例えば、セルのサイズの次元毎に１μｍのようなセンサセルのサイズのごく一部の量においてセンサ３０２をディザリングするために用いられてよい。ＭＥＭＳデバイス３０４は、人の眼の衝動性運動と同様にデプス解像度を増加させるために、像面においてセンサ３０２をディザリングしてよい。いくつかの実施形態において、画像キャプチャデバイスのレンズ及びセンサは、共に移動してよい。さらに、いくつかの実施形態において、センサは、レンズと共に移動してよい。いくつかの実施形態において、センサはレンズの下で移動してよく、一方で、レンズは動かない。

いくつかの実施形態において、ＭＥＭＳデバイスのための複数の可変衝動性ディザパターンは、設計又は選択されることができ、プログラム可能な衝動性ディザリングシステムをもたらす。画像ディザリングを用いて取得される複数のオフセット画像は、特定のシーケンスでキャプチャされ、そして、単一の高解像度画像に共に統合されることができる。

図４は、３つのディザリンググリッドの実例である。複数のディザリンググリッドは、ディザリンググリッド４０２、ディザリンググリッド４０４、及びディザリンググリッド４０６を含む。ディザリンググリッド４０２は、３×３のグリッドの中心点を中央とするディザパターンを含む３×３のグリッドである。ディザパターンは、中心に停止するまで、連続した順序でグリッドのエッジの周囲を移動する。同様に、ディザリンググリッド４０４は、３×３のグリッドにおける中心点を中央とするディザリングパターンを含む。しかしながら、ディザパターンは、グリッドの右下に停止するまで、連続した順序で、右から左へ、そして右へ、ディザリンググリッド４０４をわたって移動する。ディザリンググリッド４０２及びディザリンググリッド４０４の両方は、グリッドの全体のサイズが画像センサのフォトセルのサイズのごく一部であるグリッドを用いる。複数のフォトセルのごく一部の異なる複数の視野を取得するためにディザリングすることによって、デプス解像度が増加されてよい。

ディザリンググリッド４０６は、ディザリンググリッド４０２及びディザリンググリッド４０４と比較される場合、さらにより細かいグリッド解像度を用いる。複数の太線４０８は、センサ画像セルのサイズを表す。いくつかの実施形態において、センサ画像セルのサイズは、セル毎に１μｍである。複数の細線４１０は、ディザリング間隔の結果としてキャプチャされるフォトセルのサイズのごく一部を表す。

図５は、グリッドをわたる複数のディザ移動の実例５００である。グリッド５０２は、図４に関して説明されたようなディザリンググリッド４０６であってよい。各ディザリングは、キャプチャされているオフセット画像５０４をもたらす。具体的には、各画像５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄ、５０４Ｅ、５０４Ｆ、５０４Ｇ、５０４Ｈ、及び５０４Ｉは、互いからのオフセットである。各ディザ画像５０４Ａ―５０４Ｉは、参照番号５０６で最終的な画像を計算するために用いられる。結果として、最終的な画像は、各ディザ画像の中心で解像度を計算するために、９つの異なる複数の画像を用いることが可能である。複数のディザ画像のエッジ又はその近くの画像の複数のエリアは、画像の解像度を計算するために、わずか１つの画像から最大９つまでの異なる複数の画像を有してよい。ディザリングを用いることによって、固定センサ位置を用いることと比較した場合、より高い解像度の画像が取得される。個々の複数のディザ画像は、より高い解像度の画像に共に統合されてよく、実施形態において、デプス解像度を増加するために用いられてよい。

図６は、ベースラインレール６０２に沿う複数のＭＥＭＳ制御センサを示す図である。複数のセンサをディザリングすることに加えて、上で説明されたように、複数のセンサは、また、ベースラインレールに沿って移動されてよい。このように、複数のセンサを用いて提供されるデプス検出は、適応デプス検出である。参照番号６００Ａにおいて、センサ６０４の中心とセンサ６０６の中心との間のベースライン６０８を調節すべく、センサ６０４及びセンサ６０６は、ベースラインレール６０２に沿って左又は右に移動する。参照番号６００Ｂにおいて、センサ６０２及びセンサ６０６は、両方、ベースライン６０８を調節するために、ベースラインレール６０２を用いて右に移動した。いくつかの実施形態において、ＭＥＭＳデバイスは、センサの上の開口領域を物理的に変化させるために用いられてよい。ＭＥＭＳデバイスは、センサの複数の部分を塞ぐことを通じて、開口の位置を変化させることができる。

図７は、２つのセンサの間のベースラインの変化に基づく視野及び開口の変化を示す図である。参照番号７０４の矩形は、ベースライン７０６及びセンサ６０６に起因するセンサ６０４の開口によって感知されるエリアを表す。センサ６０４は視野７０８を有し、一方で、センサ６０６は視野７１０を有する。ベースライン７０６の結果として、センサ６０４は参照番号７１２の開口を有し、一方で、センサ６０６は参照番号７１４の開口を有する。いくつかの実施形態において、ベースラインの長さの結果として、ＦＯＶの光学中心は、１又は複数のセンサのそれぞれに対して変化させられ、回りまわって、１又は複数のセンサのそれぞれに対する開口の位置を変化させる。いくつかの実施形態において、ＦＯＶの光学中心及び開口は、１又は複数のセンサの間の重複するＦＯＶに起因して位置を変化させる。いくつかの実施形態において、開口は、開口を変化させるＭＥＭＳデバイスの結果として変化してよい。ＭＥＭＳデバイスは、開口を調節するために、センサの複数の部分を塞いでよい。さらに、複数の実施形態において、複数のＭＥＭＳデバイスは、開口及び光学中心を調節するために用いられてよい。

同様に、センサ６０４に対する開口７２０の幅は、ベースライン７２２の結果であり、センサ６０４に対する視野７２４及びセンサ６０６に対する視野７２６を伴う。ベースライン７２２の長さの結果として、ＦＯＶの光学中心は、センサ６０４及びセンサ６０６のそれぞれに対して変化させられ、回りまわって、センサ６０４及びセンサ６０６のそれぞれに対する開口の位置を変化させる。具体的には、センサ６０４は、参照番号７２８を中央とする開口を有し、一方で、センサ６０６は、参照番号７３０を中央とする開口を有する。したがって、いくつかの実施形態において、センサ６０４及び６０６は、ステレオデプスフィールド解像度における複数の適応変化を可能にする。複数の実施形態において、ステレオデプスフィールドにおける複数の適応変化は、デプスフィールドにおける近視野精度及びデプスフィールドにおける遠視野精度を提供できる。

いくつかの実施形態において、可変シャッタマスキングは、デプスセンサが所望の場所のデプスマップ及び画像をキャプチャすることを可能にする。例えば、複数の矩形、複数の多角形、複数の円、及び楕円のような様々な形状が可能である。マスキングは、マスク内の複数の正しい寸法を組み合わせるために、ソフトウェアで具現化されよく、又は、マスキングは、センサの上の開口マスク領域を変化させることができるＭＥＭＳデバイスで具現化されてよい。可変シャッタマスクは、省電力及びデプスマップサイズの節約を可能にする。

図８は、モバイルデバイス８００の実例である。モバイルデバイスは、センサ８０２、センサ８０４、及びベースラインレール８０６を含む。ベースラインレール８０６は、センサ８０２とセンサ８０４との間のベースライン８０８の長さを変化させるために用いられてよい。センサ８０２、センサ８０４、及びベースラインレール８０６は、デバイスの「前向き」の位置に示されるが、センサ８０２、センサ８０４、及びベースラインレール８０６は、デバイス８００上の任意の位置にあってよい。

図９は、適応デプス検出のための方法の処理フロー図である。ブロック９０２において、１又は複数のセンサの間のベースラインは調節される。ブロック９０４において、１又は複数のオフセット画像は、１又は複数のセンサのそれぞれを用いてキャプチャされる。ブロック９０６において、１又は複数の画像は、単一の画像に組み合わせられる。ブロック９０８において、適応デプスフィールドは、画像からのデプス情報を用いて計算される。

ここで説明される複数の技術を用いて、デプス検出は、適応デプス検出を可能にするために、１つのデバイス内に複数の可変検出位置を含んでよい。複数のデプスプレーンは、各アプリケーションの複数の要求に従って変化させられてよいので、デプスを用いるための複数のアプリケーションは、より多い情報へのアクセスを有し、強化されたユーザ体験をもたらす。さらに、デプスフィールドを変化させることによって、解像度は、デプスフィールド内でさえ、正規化されることができ、増加されて局在化されるデプスフィールドの解像度及び線形性を可能にする。適応デプス検出は、また、アプリケーション毎の基準でのデプス解像度及び精度を可能とし、近及び遠のデプスのユースケースをサポートするために複数の最適化を可能とする。さらに、単一のステレオシステムは、より広い範囲のステレオデプス解像度を生成するために用いられることができ、同一のデプスセンサが、デプスフィールドをわたって変化する複数の要求を有するより広い範囲の複数のユースケースをサポートするために、スケーラブルなデプスを提供できるので、低減されたコスト及び増加されたアプリケーション適合性をもたらす。

図１０は、適応デプス検出を提供する例示的なシステム１０００のブロック図である。同様の数字が付けられた複数のアイテムは、図１に関して説明されたとおりである。いくつかの実施形態において、システム１０００は、メディアシステムである。その上、システム１０００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、又はその類のものに組み込まれてよい。

様々な実施形態において、システム１０００は、ディスプレイ１００４に結合されたプラットフォーム１００２を備える。プラットフォーム１００２は、例えば、（複数の）コンテンツサービスデバイス１００６、（複数の）コンテンツ配信デバイス１００８、又は他の類似のコンテンツソースのようなコンテンツデバイスからコンテンツを受信してよい。１又は複数のナビゲーション機能を含むナビゲーションコントローラ１０１０は、例えば、プラットフォーム１００２及び／又はディスプレイ１００４と情報をやりとりするために用いられてよい。これらのコンポーネントのそれぞれは、下でより詳細に説明される。

プラットフォーム１００２は、チップセット１０１２、中央処理装置（ＣＰＵ）１０２、メモリデバイス１０４、ストレージデバイス１２４、グラフィックスサブシステム１０１４、アプリケーション１２６、及び無線機１０１６の任意の組み合わせを含んでよい。チップセット１０１２は、ＣＰＵ１０２、メモリデバイス１０４、ストレージデバイス１２４、グラフィックスサブシステム１０１４、複数のアプリケーション１２６、及び無線機１０１６の間の相互通信を提供してよい。例えば、チップセット１０１２は、ストレージデバイス１２４との相互通信を提供することが可能なストレージアダプタ（不図示）を含んでよい。

ＣＰＵ１０２は、複数の複合命令セットコンピュータ（ＣＩＳＣ）若しくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、複数のｘ８６命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ若しくは中央処理装置（ＣＰＵ）として実装されてよい。いくつかの実施形態において、ＣＰＵ１０２は、（複数の）デュアルコアプロセッサ、（複数の）デュアルコアモバイルプロセッサ、又はその類のものを含む。

メモリデバイス１０４は、限定されないが、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）のような揮発性メモリデバイスとして実装されてよい。ストレージデバイス１２４は、限定されないが、例えば、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、付属ストレージデバイス、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（シンクロナスＤＲＡＭ）、及び／又はネットワークアクセス可能ストレージデバイスのような不揮発性ストレージデバイスとして実装されてよい。いくつかの実施形態において、ストレージデバイス１２４は、例えば、複数のハードドライブが含まれる場合、重要なデジタルメディアに対するストレージ性能の強化された保護を向上させるための技術を含む。

グラフィックスサブシステム１０１４は、例えば、表示するためのスチル又はビデオのような複数の画像の処理を実行してよい。例えば、グラフィックスサブシステム１０１４は、例えば、ＧＰＵ１０８又は視覚処理ユニット（ＶＰＵ）のようなグラフィックス処理ユニット（ＧＰＵ）を含んでよい。アナログ又はデジタルのインターフェースは、グラフィックスサブシステム１０１４とディスプレイ１００４とを通信可能に結合するために用いられてよい。例えば、インターフェースは、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ（ＨＤＭＩ（登録商標））、ディスプレイポート（ＤｉｓｐｌａｙＰｏｒｔ）、無線ＨＤＭＩ（登録商標）、及び／又は複数の無線ＨＤ準拠技術のいずれかであってよい。グラフィックスサブシステム１０１４は、ＣＰＵ１０２又はチップセット１０１２に統合されてよい。

代替的には、グラフィックスサブシステム１０１４は、チップセット１０１２に通信可能に結合されるスタンドアロンカードであってよい。

本明細書で説明される複数のグラフィックス及び／又はビデオ処理技術は、様々なハードウェアアーキテクチャで実装されてよい。例えば、グラフィックス及び／又はビデオ機能は、チップセット１０１２内に統合されてよい。代替的には、別個のグラフィックス及び／又はビデオプロセッサが用いられてよい。さらに別の実施形態として、複数のグラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって実装されてよい。さらなる実施形態において、複数の機能は、家庭用電気機器に実装されてよい。無線機１０１６は、様々な適切な無線通信技術を用いて、複数の信号を送信及び受信することが可能な１又は複数の無線機を含んでよい。そのような複数の技術は、１又は複数の無線ネットワークをまたがる通信を伴ってよい。例示的な複数の無線ネットワークは、複数の無線ローカルエリアネットワーク（ＷＬＡＮ）、複数の無線パーソナルエリアネットワーク（ＷＰＡＮ）、複数の無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、複数のセルラーネットワーク、複数の衛星ネットワーク、又はその類のものを含む。そのような複数のネットワークをまたがった通信において、無線機１０１６は、任意のバージョンの１又は複数の適用規格に従って動作してよい。

ディスプレイ１００４は、任意のテレビタイプモニタ又はディスプレイを含んでよい。例えば、ディスプレイ１００４は、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビ、又はその類のものを含んでよい。ディスプレイ１００４は、デジタル及び／又はアナログであってよい。いくつかの実施形態において、ディスプレイ１００４は、ホログラフィックディスプレイである。また、ディスプレイ１００４は、視覚投影を受信し得る透明な面であってよい。そのような投影は、情報の様々な形、複数の画像、複数のオブジェクト、又はその類のものを伝達してよい。例えば、そのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーションの視覚的オーバレイであってよい。１又は複数のアプリケーション１２６の制御下において、プラットフォーム１００２は、ディスプレイ１００４上にユーザインターフェース１０１８を表示してよい。

（複数の）コンテンツサービスデバイス１００６は、任意の国の、国際の、又は独立のサービスによって主催されてよく、したがって、例えば、インターネットを介してプラットフォーム１００２にアクセス可能であってよい。（複数の）コンテンツサービスデバイス１００６は、プラットフォーム１００２及び／又はディスプレイ１００４に結合されてよい。プラットフォーム１００２及び／又は（複数の）コンテンツサービスデバイス１００６は、ネットワーク１３０に対して及びからメディア情報を通信（例えば、送信及び／又は受信）するために、ネットワーク１３０に結合されてよい。（複数の）コンテンツ配信デバイス１００８は、また、プラットフォーム１００２及び／又はディスプレイ１００４に結合されてよい。（複数の）コンテンツサービスデバイス１００６は、デジタル情報を配信することが可能なインターネット可能なデバイス、電話、ネットワーク、パーソナルコンピュータ、又はケーブルテレビボックスを含んでよい。その上、（複数の）コンテンツサービスデバイス１００６は、ネットワーク１３０を介して又は直接、複数のコンテンツプロバイダとプラットフォーム１００２又はディスプレイ１００４との間で、一方向又は双方向にコンテンツを通信することが可能な任意の他の類似の複数のデバイスを含んでよい。コンテンツは、ネットワーク１３０を介して、システム１０００及びコンテンツプロバイダにおける複数のコンポーネントのうちのいずれか１つから及びに対して一方向及び／又は双方向に通信されてよいことが理解される。コンテンツの複数の例は、例えば、ビデオ、音楽、医療、及びゲーム情報、並びにその他を含む任意のメディア情報を含んでよい。

（複数の）コンテンツサービスデバイス１００６は、例えば、メディア情報、デジタル情報、又は他のコンテンツを含むケーブルテレビ番組のようなコンテンツを受信してよい。

複数のコンテンツプロバイダの複数の例は、特に、任意のケーブル若しくは衛星テレビ、又は複数の無線若しくはインターネットコンテンツプロバイダを含んでよい。

いくつかの実施形態において、プラットフォーム１００２は、ナビゲーションコントローラ１０１０から複数の制御信号を受信し、それは、１又は複数のナビゲーション機能を含む。ナビゲーションコントローラ１０１０の複数のナビゲーション機能は、例えば、ユーザインターフェース１０１８と情報をやりとりするために用いられてよい。ナビゲーションコントローラ１０１０は、ユーザが空間（例えば、連続又は多次元）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（具体的には、ヒューマンインターフェースデバイス）であってよいポインティングデバイスであってよい。例えば、複数のグラフィカルユーザインターフェース（ＧＵＩ）、並びに複数のテレビ及び複数のモニタのような多くのシステムは、ユーザが複数の身体的なジェスチャを用いてコンピュータ又はテレビを制御及びそれにデータを提供することを可能にする。複数の身体的なジェスチャは、限定されないが、複数の顔の表情、複数の顔の動き、様々な手足の動き、複数の体の動き、ボディランゲージ、又はそれらの任意の組み合わせを含む。そのような複数の身体的なジェスチャは、認識されて複数のコマンド又は複数の命令に変換されることができる。

ナビゲーションコントローラ１０１０の複数のナビゲーション機能の複数の動きは、ディスプレイ１００４上に表示されるポインタ、カーソル、フォーカスリング、又は複数の他の視覚的な指標の複数の動きによって、ディスプレイ１００４上に反映されてよい。例えば、複数のアプリケーション１２６の制御下において、ナビゲーションコントローラ１０１０上に位置付けられる複数のナビゲーション機能は、ユーザインターフェース１０１８上に表示される複数の仮想ナビゲーション機能にマッピングされてよい。いくつかの実施形態において、ナビゲーションコントローラ１０１０は、別個のコンポーネントではなくてよいが、むしろ、プラットフォーム１００２及び／又はディスプレイ１００４に統合されてよい。

システム１０００は、例えば、有効にされた場合、最初の起動の後に、複数のユーザがボタンのタッチでプラットフォーム１００２を即座にオン及びオフすることを可能にする技術を含む複数のドライバ（不図示）を含んでよい。プログラムロジックは、プラットフォームが「オフ」される場合、プラットフォーム１００２が複数のメディアアダプタ又は他の（複数の）コンテンツサービスデバイス１００６又は（複数の）コンテンツ配信デバイス１００８にコンテンツをストリームすることを可能にしてよい。その上、チップセット１０１２は、例えば、５．１サラウンドサウンドオーディオ及び／又は高品位７．１サラウンドサウンドオーディオのためのハードウェア及び／又はソフトウェアサポートを含んでよい。複数のドライバは、統合された複数のグラフィックスプラットフォームのためのグラフィックスドライバを含んでよい。いくつかの実施形態において、グラフィックスドライバは、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）グラフィックスカードを含む。

様々な実施形態において、システム１０００の中に示される複数のコンポーネントのうちの任意の１又は複数は、統合されてよい。例えば、プラットフォーム１００２及び（複数の）コンテンツサービスデバイス１００６が統合されてよく、プラットフォーム１００２及び（複数の）コンテンツ配信デバイス１００８が統合されてよく、又はプラットフォーム１００２、（複数の）コンテンツサービスデバイス１００６、及び（複数の）コンテンツ配信デバイス１００８が統合されてよい。いくつかの実施形態において、プラットフォーム１００２及びディスプレイ１００４は、統合されたユニットである。例えば、ディスプレイ１００４及び（複数の）コンテンツサービスデバイス１００６が統合されてよく、又はディスプレイ１００４及び（複数の）コンテンツ配信デバイス１００８が統合されてよい。

システム１０００は、無線システム又は有線システムとして実装されてよい。無線システムとして実装される場合、システム１０００は、例えば、１又は複数のアンテナ、送信機、受信機、送受信機、増幅器、フィルタ、制御ロジック、及びその他のような、無線共有媒体で通信するために適切な複数のコンポーネント及び複数のインターフェースを含んでよい。無線共有媒体の例は、例えば、ＲＦスペクトルのような無線スペクトルの部分を含んでよい。有線システムとして実装される場合、システム１０００は、例えば、複数の入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する複数の物理コネクタ、ネットワークインターフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ、又はその類のもののような、有線通信媒体で通信するために適切な複数のコンポーネント及び複数のインターフェースを含んでよい。有線通信媒体の複数の例は、ワイヤ、ケーブル、複数の金属リード線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアワイヤ、同軸ケーブル、ファイバ光学、又はその類のものを含んでよい。

プラットフォーム１００２は、情報を通信するために、１又は複数の論理又は物理チャネルを確立してよい。情報は、メディア情報及び制御情報を含んでよい。メディア情報は、ユーザのためのコンテンツを表す任意のデータを指してよい。コンテンツの複数の例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（ｅメール）メッセージ、音声メールメッセージ、複数の英数字のシンボル、グラフィックス、画像、ビデオ、テキスト、及びその類のものからのデータを含んでよい。音声会話からのデータは、例えば、音声情報、複数の沈黙期間、背景ノイズ、快適ノイズ、複数のトーン、及びその類のものであってよい。制御情報は、自動化されたシステムのための複数のコマンド、複数の命令、又は複数の制御語を表す任意のデータを指してよい。例えば、制御情報は、システムを通じてメディア情報をルーティングするために、又は予め定められた態様でメディア情報を処理することをノードに指示するために用いられてよい。しかしながら、複数の実施形態は、図１０に示される又は説明される複数の要素又はコンテキストに限定されない。

図１１は、図１０のシステム１０００が具現化されてよい小型フォームファクタデバイス１１００の概略図である。同様の数字が付けられた複数のアイテムは、図１０に関して説明されたとおりである。いくつかの実施形態において、例えば、デバイス１１００は、複数の無線機能を有するモバイルコンピューティングデバイスとして実装される。モバイルコンピューティングデバイスは、例えば、処理システム、及び例えば、１又は複数のバッテリのようなモバイル電源又は電力供給装置を有する任意のデバイスを指してよい。

上で説明されたように、モバイルコンピューティングデバイスの複数の例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、及びその類のものを含んでよい。

モバイルコンピューティングデバイスの例は、また、例えば、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、靴コンピュータ、衣類コンピュータ、又は任意の他の適切なタイプのウェアラブルコンピュータのような、人によって身につけられるように配置されるコンピュータを含んでよい。例えば、モバイルコンピューティングデバイスは、音声通信及び／又はデータ通信だけでなく、複数のコンピュータアプリケーションを実行することが可能なスマートフォンとして実装されてよい。いくつかの実施形態は、例として、スマートフォンとして実装されるモバイルコンピューティングデバイスを用いて説明されてよいが、複数の他の実施形態は、同様に、複数の他の無線モバイルコンピューティングデバイスを用いて実装されてよいことが理解される。

図１１において示されるように、デバイス１１００は、筐体１１０２、ディスプレイ１１０４、入力／出力（Ｉ／Ｏ）デバイス１１０６、及びアンテナ１１０８を含んでよい。デバイス１１００は、また、複数のナビゲーション機能１１１０を含んでよい。ディスプレイ１１０４は、モバイルコンピューティングデバイスに適切な情報を表示するための任意の適切なディスプレイユニットを含んでよい。Ｉ／Ｏデバイス１１０６は、モバイルコンピューティングデバイスに情報を入力するための任意の適切なＩ／Ｏデバイスを含んでよい。例えば、Ｉ／Ｏデバイス１１０６は、英数字キーボード、テンキーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス、及びソフトウェア、又はその類のものを含んでよい。情報は、また、マイク経由でデバイス１１００に入力されてよい。そのような情報は、音声認識デバイスによってデジタル化されてよい。いくつかの実施形態において、小型フォームファクタデバイス１１００はタブレットデバイスである。いくつかの実施形態において、タブレットデバイスは、画像キャプチャメカニズムを含み、画像キャプチャメカニズムは、カメラ、ステレオカメラ、赤外線センサ、又はその類のものである。画像キャプチャデバイスは、画像情報、デプス情報、又はそれらの任意の組み合わせをキャプチャするために用いられてよい。タブレットデバイスは、また、１又は複数のセンサを含んでよい。例えば、複数のセンサは、デプスセンサ、画像センサ、赤外線センサ、Ｘ線光子カウントセンサ、又はそれらの任意の組み合わせであってよい。画像センサは、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、システムオンチップ（ＳＯＣ）画像センサ、複数の感光性薄膜トランジスタを有する複数の画像センサ、又はそれらの任意の組み合わせを含んでよい。いくつかの実施形態において、小型フォームファクタデバイス１１００はカメラである。

さらに、いくつかの実施形態において、本技術は、例えば、複数のテレビパネル及び複数のコンピュータモニタのような複数のディスプレイと共に用いられてよい。任意のサイズのディスプレイが用いられることができる。いくつかの実施形態において、ディスプレイは、適応デプス検出を含む複数の画像及びビデオを描画するために用いられてよい。さらに、いくつかの実施形態において、ディスプレイは３次元ディスプレイである。いくつかの実施形態において、ディスプレイは、適応デプス検出を用いて複数の画像をキャプチャするための画像キャプチャデバイスを含む。いくつかの実施形態において、画像デバイスは、１又は複数のセンサをディザリングすること、及び複数のセンサの間のベースラインレールを調節することを含む適応デプス検出を用いて複数の画像又はビデオをキャプチャし、そして、リアルタイムでユーザに対して複数の画像又はビデオを描画してよい。さらに、複数の実施形態において、コンピューティングデバイス１００又はシステム１０００は、プリントエンジンを含んでよい。プリントエンジンは、画像をプリントデバイスに送信できる。画像は、適応デプス検出モジュールからのデプス表現を含んでよい。プリントデバイスは、複数のプリンタ、複数のファックスマシン、及びプリントオブジェクトモジュールを用いて結果として生じる画像をプリントできる他のプリントデバイスを含むことができる。いくつかの実施形態において、プリントエンジンは、ネットワーク１３２を介してプリントデバイス１３６に適応デプス表現を送信してよい。いくつかの実施形態において、プリントデバイスは、適応デプス検出のための１又は複数のセンサ及びベースラインレールを含む。

図１２は、適応デプス検出のためのコードを格納する有形の非一時的コンピュータ可読媒体１２００を示すブロック図である。有形の非一時的コンピュータ可読媒体１２００は、コンピュータバス１２０４を超えてプロセッサ１２０２によってアクセスされてよい。さらに、有形の非一時的コンピュータ可読媒体１２００は、本明細書で説明される複数の方法を実行するようにプロセッサ１２０２に指示するように構成されるコードを含んでよい。図１２に示されるように、本明細書中で説明される様々なソフトウェアコンポーネントは、１又は複数の有形の非一時的コンピュータ可読媒体１２００に格納されてよい。例えば、ベースラインモジュール１２０６は、１又は複数のセンサの間のベースラインを修正するように構成されてよい。いくつかの実施形態において、ベースラインモジュールは、また、１又は複数のセンサをディザリングしてよい。キャプチャモジュール１２０８は、１又は複数のセンサのそれぞれを用いて、１又は複数のオフセット画像を取得するように構成されてよい。適応デプス検出モジュール１２１０は、１又は複数の画像を単一の画像に組み合わせてよい。さらに、いくつかの実施形態において、適応デプス検出モジュールは、画像からのデプス情報を用いて、適応デプスフィールドを生成してよい。

図１２のブロック図は、有形の非一時的コンピュータ可読媒体１２００が図１２に示される複数のコンポーネントの全てを含むことを示すことが意図されない。さらに、有形の非一時的コンピュータ可読媒体１２００は、特定の実装の詳細に依存して、図１２に示されない任意の数の追加のコンポーネントを含んでよい。

装置が本明細書で説明される。装置は、１又は複数のセンサであって、ベースラインレールによって結合される複数のセンサと、ベースラインレールが１又は複数のセンサのそれぞれの間のベースラインを調節するように、ベースラインレールに沿って１又は複数のセンサを移動させるコントローラデバイスとを含む。

コントローラは、１又は複数のセンサのそれぞれに対する視野を調節する方法で、ベースラインレールに沿って、態様１又は複数のセンサのそれぞれの間のベースラインを調節してよい。コントローラは、また、１又は複数のセンサのそれぞれに対する開口を調節する方法で、ベースラインレールに沿って、１又は複数のセンサのそれぞれの間のベースラインを調節してよい。コントローラは、微小電気機械システムであってよい。さらに、コントローラは、リニアモータであってよい。コントローラは、１又は複数のセンサのそれぞれに対する視野における閉塞を取り除く方法で、ベースラインレールに沿って、１又は複数のセンサのそれぞれの間のベースラインを調節してよい。コントローラは、１又は複数のセンサのそれぞれの開口の周りで１又は複数のセンサのそれぞれをディザリングしてよい。ディザリングは、可変衝動性ディザリングであってよい。デプスフィールドのデプス解像度は、１又は複数のセンサの間のベースラインに基づいて調節されてよい。複数のセンサは、画像センサ、デプスセンサ、又はそれらの任意の組み合わせであってよい。装置は、タブレットデバイス、カメラ、又はディスプレイである。１又は複数のセンサは、画像又はビデオデータをキャプチャしてよく、画像データは、デプス情報を含み、ディスプレイ上に画像又はビデオデータを描画する。

システムが本明細書で説明される。システムは、格納される複数の命令を実行するように構成される中央処理装置（ＣＰＵ）と、複数の命令を格納するストレージデバイスとを含み、前記ストレージデバイスは、プロセッサ実行可能コードを備える。プロセッサ実行可能コードは、ＣＰＵによって実行される場合に、１又は複数のセンサから複数のオフセット画像を取得し、複数のオフセット画像を単一の画像に組み合わせるように構成され、複数のセンサは、ベースラインレールに結合され、画像のデプス解像度は、ベースラインレールに沿った複数のセンサの間のベースライン距離に基づいて適応できる。

システムは、ベースラインレールを用いて、１又は複数のセンサのベースラインを変化させてよい。システムは、１又は複数のセンサを含む画像キャプチャデバイスを含んでよい。

さらに、システムは、１又は複数のセンサをディザリングしてよい。ディザリングは、可変衝動性ディザリングであってよい。

方法が本明細書で説明される。方法は、１又は複数のセンサの間のベースラインを調節する段階と、１又は複数のセンサのそれぞれを用いて、１又は複数オフセット画像をキャプチャする段階と、１又は複数の画像を単一の画像に組み合わせる段階と、画像からのデプス情報を用いて、適応デプスフィールドを計算する段階とを含む。

１又は複数のセンサは、サブセルデプス情報を取得するためにディザリングされてよい。複数のセンサは、可変衝動性ディザリングを用いてディザリングされてよい。ディザリングプログラムは、複数のオフセット画像のパターンを取得するために選択されてよく、１又は複数のセンサは、ディザリングプログラムに従ってディザリングされる。ベースラインは、遠デプス解像度線形性をキャプチャするために広げられてよい。ベースラインは、近デプス解像度線形性をキャプチャするために狭められてよい。

有形の非一時的コンピュータ可読媒体が本明細書で説明される。コンピュータ可読媒体は、１又は複数のセンサの間のベースラインを修正し、１又は複数のセンサのそれぞれを用いて、１又は複数のオフセット画像を取得し、１又は複数の画像を単一の画像に組み合わせ、画像からのデプス情報を用いて、適応デプスフィールドを生成するようにプロセッサに指示するためのコードを含む。１又は複数のセンサは、サブセルデプス情報を取得するためにディザリングされてよい。

上記の複数の例における詳細は、１又は複数の実施形態のいずれにおいても用いられてよいことが理解される。例えば、上で説明されるコンピューティングデバイスの全ての選択的な機能は、また、本明細書で説明される複数の方法又はコンピュータ可読媒体のいずれかに関して実装されてよい。さらに、複数のフロー図及び／又は複数の状態図は、複数の実施形態を説明するために本明細書で用いられるが、本発明は、これらの図面又は対応する本明細書の説明に限定されない。例えば、フローは、示される各ボックス若しくは状態を通じて、又は本明細書に示される及び説明される全く同一の順序で動く必要はない。

本発明は、本明細書に列挙された特定の詳細に限定されない。実際、本開示の恩恵を有する当業者は、前述の説明及び図面から多くの他の変更が本発明の範囲内でなされ得ることを理解できるだろう。したがって、それは、それに加えて、本発明の範囲を定義する任意の補正を含む以下の請求項である。

Claims (27)

1. １又は複数のセンサであって、ベースラインレールによって結合される複数のセンサと、
   前記ベースラインレールが前記１又は複数のセンサのそれぞれの間のベースラインを調節するように、前記ベースラインレールに沿って前記１又は複数のセンサを移動させるコントローラと
   を備える装置。
2. 前記コントローラは、前記１又は複数のセンサのそれぞれに対する視野を調節する方法で、前記ベースラインレールに沿って、前記１又は複数のセンサのそれぞれの間の前記ベースラインを調節する、請求項１に記載の装置。
3. 前記コントローラは、前記１又は複数のセンサのそれぞれに対する開口を調節する方法で、前記ベースラインレールに沿って、前記１又は複数のセンサのそれぞれの間の前記ベースラインを調節する、請求項１に記載の装置。
4. 前記コントローラは、微小電気機械システムである、請求項１から３のいずれか一項に記載の装置。
5. 前記コントローラは、リニアモータである、請求項１から３のいずれか一項に記載の装置。
6. 前記コントローラは、前記１又は複数のセンサのそれぞれに対する視野における閉塞を取り除く方法で、前記ベースラインレールに沿って、前記１又は複数のセンサのそれぞれの間の前記ベースラインを調節する、請求項１に記載の装置。
7. 前記コントローラは、前記１又は複数のセンサのそれぞれの開口の周りで前記１又は複数のセンサのそれぞれをディザリングする、請求項１に記載の装置。
8. 前記ディザリングは、可変衝動性ディザリングである、請求項７に記載の装置。
9. デプスフィールドのデプス解像度は、前記１又は複数のセンサの間の前記ベースラインに基づいて調節される、請求項１から８のいずれか一項に記載の装置。
10. 前記複数のセンサは、画像センサ、デプスセンサ、又はそれらの任意の組み合わせである、請求項１から９のいずれか一項に記載の装置。
11. 前記装置は、タブレットデバイスである、請求項１から１０のいずれか一項に記載の装置。
12. 前記装置は、カメラである、請求項１から１０のいずれか一項に記載の装置。
13. 前記装置は、ディスプレイである、請求項１から１０のいずれか一項に記載の装置。
14. 前記１又は複数のセンサは、画像データ又はビデオデータをキャプチャし、前記画像データは、デプス情報を含み、ディスプレイ上に前記画像データ又は前記ビデオデータを描画する、請求項１から１３のいずれか一項に記載の装置。
15. 格納される複数の命令を実行するように構成される中央処理装置（ＣＰＵ）と、
    複数の命令を格納するストレージデバイスと
    を備え、
    前記ストレージデバイスは、前記ＣＰＵによって実行される場合に、
    １又は複数のセンサから複数のオフセット画像を取得し、
    前記複数のオフセット画像を単一の画像に組み合わせる
    ように構成されるプロセッサ実行可能なコードを備え、
    前記複数のセンサは、ベースラインレールに結合されており、
    前記画像のデプス解像度は、前記ベースラインレールに沿った前記複数のセンサの間のベースライン距離に基づいて適応できる、システム。
16. 前記システムは、前記ベースラインレールを用いて、前記１又は複数のセンサのベースラインを変化させる、請求項１５に記載のシステム。
17. 前記１又は複数のセンサを含む画像キャプチャデバイスをさらに備える、請求項１５又は１６に記載のシステム。
18. 前記システムは、前記１又は複数のセンサをディザリングする、請求項１５から１７のいずれか一項に記載のシステム。
19. 前記ディザリングは、可変衝動性ディザリングである、請求項１８に記載のシステム。
20. １又は複数のセンサの間のベースラインを調節する段階と、
    前記１又は複数のセンサのそれぞれを用いて、１又は複数のオフセット画像をキャプチャする段階と、
    前記１又は複数の画像を単一の画像に組み合わせる段階と、
    前記画像からのデプス情報を用いて、適応デプスフィールドを計算する段階と
    を備える方法。
21. 前記１又は複数のセンサは、サブセルデプス情報を取得するためにディザリングされる、請求項２０に記載の方法。
22. 前記複数のセンサは、可変衝動性ディザリングを用いてディザリングされる、請求項２１に記載の方法。
23. ディザリングプログラムは、複数のオフセット画像のパターンを取得するために選択され、前記１又は複数のセンサは、前記ディザリングプログラムに従ってディザリングされる、請求項２０から２２のいずれか一項に記載の方法。
24. 前記ベースラインは、遠デプス解像度線形性をキャプチャするために広げられる、請求項２０から２３のいずれか一項に記載の方法。
25. 前記ベースラインは、近デプス解像度線形性をキャプチャするために狭められる、請求項２０から２４のいずれか一項に記載の方法。
26. １又は複数のセンサの間のベースラインを修正する段階と、
    前記１又は複数のセンサのそれぞれを用いて、１又は複数のオフセット画像を取得する段階と、
    前記１又は複数の画像を単一の画像に組み合わせる段階と、
    前記画像からのデプス情報を用いて、適応デプスフィールドを生成する段階と
    をコンピュータに実行させるためのプログラム。
27. 前記１又は複数のセンサは、サブセルデプス情報を取得するためにディザリングされる、請求項２６に記載のプログラム。

Images