JP2018133093A - 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 - Google Patents

Abstract

【課題】 携帯型コンピュータプラットフォームに接続可能な装置を提供すること。【解決手段】 装置は、ヘッドセットまたはニアアイディスプレイを着用したユーザの近傍にパターン光を照明するように構成された照明器と、ユーザの近傍に位置する少なくとも１つの物体からのパターン光の反射を撮影するように構成されたＩＲカメラとを含み得る。プロセッサは、装置と携帯型コンピュータプラットフォームとニアアイディスプレイとの間のデータおよび電力接続を確立して、反射に基づいて物体の深さマップを生成するように構成されている。【選択図】 図４

Description

本発明は、概して仮想現実（ＶＲ）環境に関し、特に、身体的ジェスチャおよび／または姿勢を用いてＶＲ環境との自然なインターフェースを可能にする装置および方法に関する。

本発明の背景技術の記載に先立って、以下で用いる用語の定義を記載する。
本明細書で使用する用語「仮想現実」（ＶＲ）は、現実世界または仮想世界のある場所における物理的存在をシミュレート可能なコンピュータシミュレーション環境として定義される。仮想現実は、仮想の味覚、視覚、嗅覚、聴覚、触覚などの感覚体験を再現可能である。多くの従来のＶＲシステムは三次元（３Ｄ）仮想環境を提示するニアアイ（near eye）ディスプレイを使用する。

本明細書で使用する用語「拡張現実」（ＡＲ）は、物理的な現実世界の環境の生の直接的または間接的な視野として定義され、この物理的現実世界の環境の要素は、音声、動画、画像、ＧＰＳデータなどのコンピュータにより生成された知覚入力によって拡張（補足）される。これは、より一般的な概念として、コンピュータにより現実の視野が修正（場合によっては拡張ではなく減少）される媒介現実（mediated reality）に関する。

本明細書で使用する用語「ニアアイディスプレイ」は、着用可能な投影ディスプレイを含む装置として定義され、通常は、３Ｄ視覚を生成するために僅かに異なる視野がそれぞれの目に提示されるという意味で立体視である。

用語「仮想現実ヘッドセット」は「ゴーグル」とも呼ばれ、コンピュータ出力を表示する湾曲型（wrap-around）ビジュアルインターフェースである。一般に、コンピュータディスプレイ情報は、現実世界環境の３次元表現として提示される。ゴーグルは、コンピュータディスプレイ（スマートフォンの形態を取り得る）を単に保持する構造のみに加えて光学系を含んでいても含んでいなくてもよい。

図１は、ユーザ１０が、ユーザ１０の各目に対してシーンの合成画像１６を投影するヘッドマウント立体ディスプレイ１２（例えば、Oculus Rift（商標））を着用した場合の従来のＶＲシステムを示す。ＶＲでは通常、各目に対し僅かに異なる角度で合成画像１６が入力されることで、ユーザの脳内に３Ｄ知覚が生成される（簡略化のために、立体視ペアは図示していない）。また、ユーザの視角または視線方向をリアルタイムで検出することができる加速度計またはジャイロスコープ（図示略）などのセンサがヘッドマウントディスプレイ１２に備えられてもよい。これにより、ＶＲシステムは、ユーザの新たな頭の向きに合うように画像１６を調節することができる。このような調整がリアルタイムで実行されることにより、現実世界における頭の動きを模倣する仮想現実の錯覚が実現され得る。

上述のようにユーザの視点を追跡する以外にも、ＶＲシステムは、ジョイスティック１４（あるいは、マウス、タッチパッド、またはキーボード）などの入力装置を介して仮想世界とのさらなる相互作用を提供する。このような入力装置は、ユーザ１０が種々の動作を行うことを可能にする。例えば、ユーザ１０は、ジョイスティック１４を介して、ＶＲシーンの画像１６に示されたカーソル１８を制御することができる。必然的に、そのような従来の入力装置の使用は、ユーザによる全体的なＶＲ体験を損なわせる。また、カーソル１８の使用は、ユーザ体験を、パーソナルコンピュータで周知の標準的なコンピュータユーザインタフェースに制限する。

本発明のいくつかの実施形態によれば、ユーザは本発明の実施形態による装置が搭載、例えば機能拡張（アドオン）されたニアアイディスプレイを着用することができる。装置は、照明器（例えば、レーザ送信機）と撮像部（例えば、カメラ）とを含み得る。これらの視野は、ユーザの周辺を網羅するのに十分広い。動作時、ニアアイディスプレイは、ユーザの両目に合成シーンを投影するように構成されている。照明器は、ユーザおよび／またはユーザの近傍をパターン光で照明し得る。このパターン光の反射が撮像装置によって撮像されて、例えば、ニアアイディスプレイの一部であるスマートフォン内に位置し得るコンピュータプロセッサによって分析されることにより、リアルタイムで変化するユーザの手などの物体の位置および向きを示す３次元仮想表示を生成することができる。

他の実施形態において、装置は、手の画像やユーザによって制御される他のジェスチャ物体の画像を撮影するべく専用ソフトウェアによって構成され得るスマートフォンのカメラによる利点を有し得る。また、スマートフォンのプロセッサは、装置によって撮影されたデータに基づいて、同一の手またはジェスチャ物体の深さマップを計算するように構成されている。プロセッサはさらに、深さマップおよび視覚画像のデータを、仮想画像における対応する位置にインポート可能な手の３Ｄ画像に結合するように構成されている。このようにして、ユーザの実際の手の３Ｄ特性を維持しつつ、その実際の手がＶＲシーンにインポートされる。

本発明のこれらの、付加的な、および／または他の態様および／または実施形態の利点は以下の詳細な説明で説明され、それらは、以下の詳細な説明から推測可能であり、および／または本発明の実施形態の実施よって理解可能である。

従来技術による仮想現実システムおよびその環境を例示する図。 本発明のいくつかの実施形態による装置の環境を例示する概略図。 本発明のいくつかの実施形態による装置の非限定的な実施形態を例示する図。 本発明のいくつかの実施形態による装置を例示するブロック図。 本発明の実施形態による態様を例示する図。 本発明の実施形態による態様を例示する図。 本発明のいくつかの実施形態による装置の動作環境を例示する図。 本発明の実施形態による例示のパターン光発生器のブロック図。 本発明の実施形態による例示のパターン光発生器のブロック図。 本発明の実施形態による例示のパターン光発生器のブロック図。 本発明の実施形態によるパターン光の態様を例示する図。

本発明の実施形態をより良く理解し、どのように実施することができるかを示すために一例として添付図面を参照する。なお、図面において、同様の符号は対応する要素または部分を示す。

以下、図面を参照して詳細に説明するが、図示する詳細は単なる例示であり、本技術の好ましい実施形態の説明のみを目的としたものであり、本技術の原理および概念的側面の最も有用で容易に理解される説明として提供される。この点において、本技術の基本的な理解に必要なもの以外について本技術の構造的な詳細を示すことはしていない。図面とともに以下の説明を参照することにより、本発明の種々の形態を実際にどのように実施することができるかについて当業者に明らかとなる。

本技術の少なくとも１つの実施形態を詳細に説明するが、本発明はその適用において、以下に説明または図示する構成要素による詳細な構成および配置に限定されない。本技術は、他の実施形態に適用可能であるかまたは様々な方法で実施または実行される。また、本明細書で使用する表現および用語は、説明を目的としたものであり、限定とみなされるべきではない。

図２は、スマートフォン２２０などのモバイル装置とともに使用するように構成された仮想現実（ＶＲ）ヘッドセット２４０（ゴーグル）などの周辺環境２００に取り付けられて一体化された本発明のいくつかの実施形態による装置２１０の斜視図である。装置２１０は、赤外線（ＩＲ）パターン照明器２１２などの照明器（例えば、レーザ送信機）と、ＩＲカメラ２１４などのカメラとを含み得る。また、装置２１０は、初期画像処理を行うように構成されたプリプロセッサ（図示略）を含み得る。また、装置２１０は、ＶＲヘッドセットをともに構成するスマートフォン２２０やニアアイディスプレイ２４０と物理的および電子的にインターフェースするように構成されている。このようなＶＲヘッドセット（ゴーグル）は、当該技術分野で知られているように、スマートフォンとともに使用するように構成することができ、通常は、スマートフォンのディスプレイ（図示しない反対側の面）と通信可能な光学機器と、カメラ２２２を含み得るスマートフォン２２０を収容するためのスリーブ２５０と、ＶＲヘッドセット（ゴーグル）をユーザの頭部に固定するためのストラップ２３０とを含む。ただし、装置２１０は、Samsung Gear VR（商標）やOculus Rift（商標）などのニアアイディスプレイとインターフェースすることも可能である。

動作時に、装置２１０は、ＶＲシーン内でユーザの手または他の身体部分の３Ｄ画像を見る能力を付加することによって、ＶＲヘッドセットの機能を強化する手段として機能する。これは、ニアアイディスプレイに取り付けられる必要なハードウェアと、ＶＲデバイスプロセッサ上で実行される必要なソフトウェアとを提供する装置２１０によって実現される。ＶＲデバイスプロセッサは、装置２１０を制御し、その装置２１０によって取得されるデータを分析する。経済的な面において、本発明のいくつかの実施形態は、ＶＲ特定デバイスの必要性を排除し、コストをさらに節約する。

装置２１０は、パターン光照明器およびパターンの反射を撮影するためのカメラなどの最小限のハードウェアのみを提供することが有利である。スマートフォン２２０に接続されるインターフェースは、スマートフォン２２０に必要な電力を供給し、スマートフォン２２０に対して取得されたデータを転送する。そして、スマートフォン２２０の処理能力を利用して、全ての処理が実行される。したがって、本発明のいくつかの実施形態によれば、ＶＲシステムをインストールすることにより、スマートフォンやゴーグルなどの市販のコンポーネントを使用できるようになり非常に容易となる。

図３は、本発明のいくつかの実施形態による装置の非限定的な実装例を示す機械的構成図である。斜視図は、構成要素が搭載されたプリント回路基板（ＰＣＢ）３０１を示し、このＰＣＢ３０１はベース部３０５に物理的に取り付けられ得る。この実装例の主な構成要素は、レーザ駆動器３２０に接続されたレーザ送信機３６０である。レーザ駆動器３２０は、レーザ送信機３６０に十分な電力、例えば変調電力を供給するように構成されている。カメラ３３０、例えばＶＧＡカメラは、パターン光の反射を受け取るように構成されている。一実施形態によれば、ＰＣＢは、カメラ３３０を覆うＩＲフィルタ３５０を含み得る。いくつかの実施形態において、カメラ３３０によって受信されたパターン光の反射に関するデータなどは、例えば信号プロセッサ３１０によって最初に処理され、次いで、例えばＵＳＢポート３４０などのポートを介してサードパーティのプロセッサ（図示略）に伝送される。例えば、データはＵＳＢプロトコルを介してスマートフォンのＵＳＢポートに転送され、スマートフォンのプロセッサ上で実行されるアプリケーションと相互作用し得る。また、装置の電源は、ＵＳＢポート３４０を介して提供され得る。追加のカメラのソケットや、初期画像プロセッサ（ＴＩＰ）などの種々の集積回路（ＩＣ）もＰＣＢに取り付けられ、図示されている。

いくつかの実施形態では、カメラ３３０が装置から省略されてもよく、代わりに外部の携帯型コンピュータプラットフォーム（スマートフォン）のカメラを使用することができる。本発明者らは、いくつかのプロトタイプの装置を試験し、カメラ３３０を備えた装置が１ワットの低い電力消費であることを測定した。また、カメラ３３０を備えない場合には５５０ミリワットのさらに低い電力消費であることが測定された。

図４は、本発明のいくつかの実施形態による上述した装置およびその周辺環境の構造を例示するブロック図である。装置４００は、シーンをパターン光で照明するように構成されたＩＲ照明器と、パターン光の反射を受信するように構成されたＩＲカメラ４０６と、ＩＲカメラ４０６からのデータの初期処理を実行するように構成されたプリプロセッサとを含み得る。また、装置４００は、スマートフォン４１０などの携帯型コンピュータプラットフォームとインターフェースするように構成されている。スマートフォン４１０は、プロセッサ４１４と、そのプロセッサ４１４によって実行され、装置４００に関連付けられたソフトウェアモジュールとを含み得る。また、スマートフォン４１０は、ニアアイディスプレイ４２０に接続されている。ニアアイディスプレイ４２０は、合成シーンと、さらにはユーザの身体部分（例えば、手）の３Ｄ画像とをユーザに提示するように構成されている。なお、プラットフォームは、ラップトップパーソナルコンピュータ（ＰＣ）、タブレットＰＣなどであってもよい。

動作時、照明器４０２によって照明された反射ＩＲパターンはＩＲカメラ４０６によって撮影され、プリプロセッサ４０４によって初期処理が行われた後、そのデータが、専用ソフトウェア４１６を備えたスマートフォン４１０のプロセッサ４１４に伝達される。プロセッサ４１４は、反射パターンに基づいて、ユーザの身体部分の深さマップを生成する。可視光カメラ４１２は、パターン光が照明されたユーザの同じ身体部分（例えば、手）の２Ｄカラー画像を取得するように構成され得る。したがって、プロセッサ４１４は、深さマップと身体部分の２Ｄカラー画像との両方を使用して、撮影された身体部分の３Ｄカラー画像を生成し得る。さらに、プロセッサ４１４は、撮影した身体部分の３Ｄカラー画像を合成ＶＲシーンに重畳するように構成されており、これによりユーザは、ニアアイディスプレイ４２０を介して、ＶＲシーンと、撮影されたユーザの身体部分（例えば、手）との両方を、実生活での位置および向きによる３Ｄカラー画像として見ることができる。

図５Ａ及び図５Ｂは、本発明のいくつかの実施形態による態様を示す図である。ユーザ５００は、本発明のいくつかの実施形態による装置５１０を着用している。なお、ここでは、簡略化のために装置のみが図示されており、ヘッドセットは図示されていない。図５Ａは、装置５１０の照明器とＩＲカメラとの両方の視野を例示している。パターン光５３０Ａによってカバーされる領域は、縦方向設定で示されているＩＲカメラ５２０Ａによりカバーされる領域と実質的に重複している。図５Ｂは、横方向設定において同様に重複する視野を示しており、この場合は、ＩＲカメラが９０°回転され、照明器も同様に回転されている。あるいは、照明器のパターン発生面が延伸されることで実質的に横方向とされてもよい。横方向の向きの使用は、自然な姿勢やジェスチャの実行およびモニタを可能にする上で手の全範囲が重要となるＶＲアプリケーションにおいて有利である。実験では、本発明者らは、約４３°の水平視野と約５５°の垂直視野が、縦方向設定における本発明の実施形態に対して良好な結果をもたらすことを確認した。同様に、約５５°の水平視野と約４３°の水平視野が横方向設定に対して良好な結果をもたらす。なお、本発明の他の実施形態では、他の装置において他の視野も使用可能である。

図６は、本発明の実施形態による装置の動作環境を示す概略図である。ユーザ１０は、例えば上述した拡張機能（アドオン）として装置６００が搭載され得るニアアイディスプレイ６３０を着用している。装置６００は、照明器（例えば、レーザ送信機）６２０と、撮像部（例えば、カメラ）６１０とを含み得る。これらは、上述のようにユーザの周辺を網羅するのに十分な視野を有する。

動作時、ニアアイディスプレイ６３０は、ユーザ１０の両目に合成シーンを投影するように構成されている。照明器６１０は、ユーザ１０の近傍をパターン光６２４で照明し得る。このパターン光の反射は、撮像装置６１０で撮影された後、例えば、ニアアイディスプレイ６３０に取り付けられたスマートフォン上に位置し得るコンピュータプロセッサ（ここでは図示せず）によって分析される。スマートフォンの可視光カメラ（または装置６００の一部）は、ユーザの手またはユーザ１０によって制御される他のジェスチャ物体の２Ｄ画像を撮影するように構成されている。また、スマートフォンのプロセッサは、そのユーザの手またはジェスチャ物体の深さマップを計算して、その深さマップおよび視覚画像のデータを、仮想画像６６０における対応する位置にインポート可能な手の３Ｄ画像６６２に結合するように構成されている。このようにして、ユーザの手の３Ｄ特性を維持しつつ、そのユーザの手がＶＲシーンに重畳される。

図７Ａ〜図７Ｃは、照明器（パターン光の光源）をマルチラインパターン発生器の形態で実現する種々の実施形態を示す図である。このパターン発生器は、レーザ源と、レーザビームを複数のラインに変換する光学系とを含む。構造化された光がどのように実現され得るかについてのさらなる詳細を提供するために、例示の目的にて、米国特許出願第１３／４９７，５８６号、国際公開第２０１３／０８８４４２、および米国仮特許出願第６１／８６３，５１０号、６１／８９４，４７１号、６１／９２６，４７６号の全体が参照によって本明細書に組み込まれる。

図７Ａは、本発明の第１実施形態によるパターン発生器システム７００Ａの構成を示す。このシステム７００Ａは、レーザダイオード光源７１０Ａなどの光源と、単一の光学レンズ要素１２０とを含み得る。光学要素７２０Ａは、ａ）ライン生成、ｂ）増幅、ｃ）コリメーションの３つの機能（この順序は特にない）を提供することにより、空間あるいは面または物体に対してマルチラインパターンなどのパターンを生成する。

本発明の第１実施形態によれば、少なくとも２つの面として、第１光学面７２５Ａと第２光学面７３５Ａとを含む単一レンズ光学要素７２０Ａが提供される。第１光学面のＹ−Ｚ断面などの第１断面において、レンズ要素１２０は正の光学的パワーを有する。この正の光学的パワーは、低発散区間のレーザ光をコリメートするために使用される。

レンズの第１面７２５Ａまたは第２面７３５ＡのＸ−Ｚ断面などの第２断面において、要素７２０Ａはライン発生器を有する。ライン発生器は、非球面レンズ、シリンドリカルレンズ、回折素子、負の光学面、または結合された負／正面などの、正の光学的パワーの形態を取り得る。単一の光学素子７００Ａはさらに、第２面７３５ＡのＹ−Ｚ断面などの第１断面内に形成されるビームスプリッタ要素を含む。

図７Ｂは、本発明の第２実施形態によるパターン発生器システム７００Ｂの構成を示す。このシステム７００Ｂは、レーザダイオード光源７１０Ｂなどの光源と、２つの光学レンズ要素としての第１レンズ要素７２０Ｂおよび第２レンズ要素７４０Ｂとを含み得る。第１レンズの第１面７２５ＢのＹ−Ｚ断面などの少なくとも１つの断面（例えば、速軸または遅軸）において要素７２０Ｂは正の光学的パワーを有し、第１光学要素の他の断面（例えば、Ｘ−Ｚ断面）において、第２面７２７Ｂには、レーザ源７１０Ｂによって供給されるビームを分割するための増幅機能が設けられている。

第１レンズ要素７２０Ｂに隣接してまたはその近傍には、ラインパターンなどのパターンを生成するように構成された第２レンズ要素７４０Ｂが設けられる。このラインパターンは、第２要素７４０Ｂの第１面７４５Ｂの第１断面、例えば、第１面７４５ＢのＹ−Ｚ断面に供給され得る。

図７Ｃは、本発明の第３実施形態によるパターン発生器システム７００Ｃの構成を示す。このシステム７００Ｃは、レーザダイオード光源７１０Ｃなどの光源と、２つの光学レンズ要素としての第１レンズ要素７２０Ｃおよび第２レンズ要素７３０Ｃとを含み得る。第１レンズの第１面７５５ＢのＹ−Ｚ断面などの少なくとも１つの断面において、要素７４５Ｃは正の光学的パワーを有する。

第１レンズ要素７２０Ｃに隣接してまたはその近傍には、１）ライン生成、および２）増幅の２つの機能をもたらすために第２レンズ要素７４０Ｃが設けられる。例えば、第１面の第１断面（即ち、Ｙ−Ｚ断面）にラインパターンなどのパターンが形成され、第２面７５５Ｃの他の断面（即ち、Ｘ−Ｚ断面）に増幅機能が形成される。

本発明のいくつかの実施形態によれば、第１要素と第２要素は、当技術分野で知られている接着技術の溶接によって互いに結合され得る。
本発明の別の実施形態によれば、第２レンズ要素の回折面は、第１レンズ要素の表面に面して感度回折面を保護し、不要な外部要素と回折面との接触を防止する。

本発明のいくつかの実施形態によれば、ライン生成機能は、正の光学面、結合された負／正の面または回折面を使用して形成することができる。
例示的な実施形態によれば、手の動きの追跡は、親指や他の指の微動などの手の動きの検出を可能とするように設計された光パターンを使用して実行される。構造化された光の使用は、例えば、参照によりその全体が本明細書に組み込まれる、国際公開第２０１３／０８８４４２号に開示されている。

特に設計される光パターンは、３次元深さマップとは異なる二次元ビデオデータが身体の他の部分からの手の容易な分離を提供しない場合にも、動きの追跡を可能にする。
任意で、光パターンは、二次元ビデオデータ（例えば、通常のビデオカメラからストリーミングされたビデオ画像）で手の指の動きを追跡するように特別に設計されてもよい。具体的には、光パターンは、指によるパターンの歪みに応じて、二次元ビデオデータ内において指（即ち、親指や他の指）や手のひらの検出および追跡を可能にするように設計されてもよい。

任意で、光パターンは、第１方向（例えば、Ｘ軸）に連続的な特徴を有し、第１方向に対して実質的に垂直な方向（例えば、Ｙ軸）に非連続的（例えば、周期的）な特徴を有する。このようなパターンの一例において、光パターンは、互いに平行（またはほぼ平行）に配置された、いくつかの縦縞を含む。

図８は、本発明の実施形態によるパターン光の態様を示す図である。以下では、ユーザによって行われたジェスチャを追跡するために、生成されたパターン光がどのように使用されるかについて詳細に説明する。例示的な実施形態によれば、センサ（図示略）は、或るＹ軸距離に、例えば手８１０および背景８２０（例えば、手が置かれたテーブルの表面や壁など）上に縦縞パターンを投影する送信器の近くに配置され得る。センサの位置は、カメラ、光プロジェクタ、およびユーザの手８１０および背景８２０から反射された光との間の三角測量効果を生成するように選択される。

三角測量効果は、光パターンで投影された物体で顕著な深さずれが存在するストリップに沿った箇所でパターンの不連続性を引き起こす。不連続部分は、ストリップを２つ以上のストリップセグメント、例えば、手に位置するセグメント８３１、手の左側に位置するセグメント８３２、および手の右側に位置するセグメント８３３に区分（即ち、分割）する。

このような深さずれが存在するストリップセグメントは、カメラとユーザの身体との間に位置するユーザの手のひらや指の輪郭上に位置し得る。即ち、ユーザの指または手のひらがストリップを２つ以上のストリップセグメントに分割する。このようなストリップセグメントが検出されると、ストリップセグメントの端部までストリップセグメントを追跡することは容易である。

従って、装置は、二次元ビデオデータを分析することで、ストリップセグメントの集合を生成し得る。例えば、装置は、光パターンにおいて、手の指による縦縞の区分によって生成された１つ以上のスリップセグメントの集合、例えば手の中央の指で反射された４つのセグメントの集合８４１を識別することができる。その結果、装置は、指による縦縞の区分によって作成されたストリップセグメントの集合を追跡することによって、またはその集合における少なくとも１つのセグメントを追跡することによって、指の動きを追跡する。

指による縦縞の区分（即ち、分割）によって生成されたストリップセグメントの集合は、Ｘ軸に重なりを有するストリップセグメントを含む。任意で、集合内のストリップセグメントは、同じ長さ（指の厚さから得られる）またはＹ軸座標における相対的な近接性を有する。

Ｘ軸上において、複数のセグメントが、直線的に位置する指との完全な重なりを有していてもよく、またはＸ−Ｙ平面内で斜めに位置する指との部分的な重なりを有していてもよい。任意で、装置は、例えば、追跡された集合内のセグメントの数の変化を検出することによって、指の深さの動きをさらに識別する。例えば、ユーザがユーザの中央の指を伸ばすと、指と光プロジェクタとカメラ（Ｘ−Ｙ平面）との間の角度が変化する。その結果、集合８４１内のセグメントの数は４から３に減少する。

任意で、装置は、光パターンにおいて、手のひらによる縦縞の区分によって生成された１つ以上のストリップセグメントの１つ以上の集合をさらに識別する。
手のひらによる縦縞の区分によって生成されたストリップセグメントの集合は、ユーザの手の指のストリップセグメント集合とＸ軸において重なる上部ストリップセグメント８３１を含む。上部ストリップセグメント８３１はＸ軸において４つの指集合に重なるが、４つの指集合の下部セグメントの最小および最大Ｘ値を超えない。

手のひらによる縦縞の区分によって生成されたストリップセグメントの集合は、セグメント８３１のすぐ下に、ストリップセグメント８３１と重複するいくつかのストリップセグメントをさらに含む。手のひらによる縦縞の区分によって生成されたストリップセグメントの集合はさらに、ユーザの親指のストリップセグメント集合８５１の根元まで延びるより長いストリップセグメントを含む。なお、指および手のひらの集合の向きは、特定の手の位置および回転によって異なるものとなる。

スマートフォンなどのように電源の電力が制限されている場合であっても、装置の電力消費が十分に低減されて中断されることなく連続動作が可能になることが有利である。上述のように、本発明のいくつかの実施形態は、エネルギー遮断を伴う従来技術の解決策とは対照的に、エネルギーが空間的に迂回される干渉に基づくパターン生成を利用する。干渉ベースパターン生成の使用は、より効率的なエネルギーとなる。上述したように、深さマップの生成は、計算負荷を低下させる部分パターン処理を可能にする反射のセグメントに基づく。これは全体的な消費電力の削減にも貢献する。いくつかの実施形態では、スマートフォンのオートフォーカス機能を使用して、パターンで投影されている物体の範囲に関する初期データを提供することができる。これも消費電力の低減に寄与する。上述した低消費電力機能はすべて、消費電力の観点から、スマートフォンや、ＶＲヘッドセットとしてのニアアイディスプレイとのインターフェースをとることに大きく貢献する。

以上の説明において、一つの実施形態は本発明の一例または実現例であり、「一実施形態」や「実施形態」や「いくつかの実施形態」などの記載は、必ずしもすべてが同じ実施形態を指すとは限らない。

本発明の種々の特徴が単一の実施形態の文脈で説明されている場合でも、それらの特徴を別々にまたは任意の適切な組み合わせで提供することもできる。あるいは、明瞭化のために別々の実施形態の文脈で本発明が説明されている場合でも、本発明を単一の実施形態で実施することもできる。

本明細書において、「いくつかの実施形態」や「一実施形態」や「他の実施形態」などは、それらの実施形態に関連して説明されている特定の特徴、構造、または特性が少なくともいくつかの実施形態において含まれていることを意味し、必ずしも本発明のすべての実施形態に含まれていることを意味しない。

本明細書で使用する表現および用語は、限定として解釈されるべきでなく、説明のみを目的とする。
本発明の教示の原理および使用は、実施例や添付の図面を参照することによって、より良く理解され得る。

本明細書で説明する詳細は、本発明の適用に対する限定を意図しない。
また、本発明は種々の方法で実行または実施することができ、上述した説明以外の実施形態でも実施することができる。

用語「含む」、「備える」、「からなる」やその変形表現は、１つまたは複数の構成要素、特徴、ステップ、あるいは整数またはグループの追加を排除するものではなく、構成要素、特徴、ステップまたは整数を特定するものと解釈されるべきである。

明細書または特許請求の範囲が「追加」の要素を指す場合、その追加の要素が２つ以上存在することを排除しない。
明細書または特許請求の範囲が「一つ」の要素を参照する場合、そのような参照は、その要素が１つのみ存在すると解釈されるべきではない。

本明細書において、構成要素、特徴、構造、または特性が含まれ「得る」と述べる場合、その特定の構成要素、特徴、構造、または特性が含まれることが必須とされるわけではない。

適用可能な場合には、実施形態を説明するために状態図、フローチャート、またはその両方を使用する場合があるが、本発明はこれらの図または対応する説明に限定されるものではない。例えば、処理の流れは、それぞれ図示したボックスや状態を通じて行う必要はなく、また、図示し説明したものと全く同じ順序で行う必要はない。

本発明の方法は、手動で、自動で、またはそれらの組み合わせで、選択されたステップまたは処理を実行または完了することによって実施することができる。
特許請求の範囲および明細書に記載した説明、実施例、方法および材料は、限定として解釈されるべきでなく、単に例示として解釈されるべきである。

本明細書で使用する技術用語および科学用語の意味は、他に定義されない限り、本発明が属する技術分野の当業者によって一般的に理解される意味である。
本発明は、本明細書で説明するものと同等または類似の方法および材料を用いて試験または実施において実施することができる。

本発明を限定された数の実施形態に関して説明したが、これらは本発明の範囲を限定するものではなく、むしろ、好ましい実施形態のいくつかの例示として解釈されるべきである。他の可能な変形、変更、および適用もまた本発明の範囲内に含まれる。したがって、本発明の範囲は、上記説明したものによって限定されるべきではなく、添付の特許請求の範囲およびそれらの同等物によって限定されるべきである。

Claims (20)

1. 携帯型コンピュータプラットフォームに接続可能な装置であって、
   構造化光によりシーンを照明するように構成された照明器と、
   前記シーン内の少なくとも１つの物体からの前記構造化光の反射を撮影するように構成されたカメラと、
   プリプロセッサであって、
   前記撮影された反射に関連するデータの前処理を行い、
   前記前処理されたデータを前記携帯型コンピュータプラットフォームのプロセッサに供給するように構成されたプリプロセッサと、
   を備え、前記前処理されたデータは、前記携帯型コンピュータプラットフォームが前記少なくとも１つの物体の深さマップを生成するのに十分なデータである、装置。
2. 前記照明器と、フィルタで覆われた前記カメラとが赤外線（ＩＲ）領域で動作する、請求項１に記載の装置。
3. 当該装置を前記携帯型コンピュータプラットフォームに接続し、前記携帯型コンピュータプラットフォームに電力を供給するインターフェースをさらに備える請求項１に記載の装置。
4. 前記携帯型コンピュータプラットフォームは、スマートフォン、ラップトップパーソナルコンピュータ（ＰＣ）、およびタブレットＰＣを含む群から選択される、請求項１に記載の装置。
5. 当該装置は、仮想現実（ＶＲ）シーンと、前記深さマップに基づいて得られる前記少なくとも１つの物体の少なくとも１つの３Ｄ画像とをユーザに提示するためのニアアイディスプレイにさらに接続されている、請求項１に記載の装置。
6. 前記少なくとも１つの物体が、前記ユーザの少なくとも１つの身体部分を含む、請求項５に記載の装置。
7. 前記少なくとも１つの物体の深さマップが、前記ユーザの少なくとも１つの身体部分に関連する１つまたは複数のジェスチャに関する情報を含む、請求項６に記載の装置。
8. 前記カメラの視野が、前記ニアアイディスプレイのユーザ周辺のシーンを含む、請求項５に記載の装置。
9. 当該装置がさらに、前記少なくとも１つの物体の少なくとも１つの２Ｄ画像を撮影するように構成された別のカメラを備え、
   前記プリプロセッサはさらに、
   前記撮影された少なくとも１つの２Ｄ画像に関連する情報の前処理を行い、
   前記前処理された情報を前記プロセッサに供給するように構成され、前記前処理された情報は、前記携帯型コンピュータプラットフォームが前記深さマップと前記前処理された情報とに基づいて前記少なくとも１つの物体の少なくとも１つの３Ｄ画像を生成するのに十分なデータである、請求項１に記載の装置。
10. 前記照明器は、少なくとも１つの光学要素に結合された光源を含み、
    前記少なくとも１つの光学要素は、前記光源から照射された光を用いて前記構造化光を生成する、請求項１に記載の装置。
11. 前記少なくとも１つの光学要素が、非球面レンズ、シリンドリカルレンズ、回折素子、ビームスプリッタ要素、正の光学面、および負の光学面のうちの少なくとも１つを含む、請求項１０に記載の装置。
12. 前記構造化光は、第１方向に連続的な特徴を有し、前記第１方向に対し垂直な第２方向に非連続的な特徴を有する光パターンを含む、請求項１に記載の装置。
13. 前記照明器に対する前記カメラの位置は、前記撮影された前記構造化光の反射が、前記少なくとも１つの物体の少なくとも１つの深さずれに関連する前記連続的な特徴に沿った少なくとも１つの不連続部分を有するように選択される、請求項１２に記載の装置。
14. 前記プリプロセッサはさらに、
    前記連続的な特徴に沿った前記少なくとも１つの不連続部分を有する前記撮影された反射に関連する情報の前処理を行い、
    前記前処理された情報を前記プロセッサに供給するように構成され、前記前処理された情報は、前記携帯型コンピュータプラットフォームが前記少なくとも１つの物体に関連する１つまたは複数のジェスチャを追跡するのに十分である、請求項１３に記載の装置。
15. 方法であって、
    照明器とカメラとを備える装置を、携帯型コンピュータプラットフォームに接続すること、
    前記照明器から照射された構造化光によりシーンを照明すること、
    前記シーン内の少なくとも１つの物体からの前記構造化光の反射を前記カメラによって撮影すること、
    前記撮影された反射に関連するデータの前処理を行うこと、
    前記前処理されたデータを前記携帯型コンピュータプラットフォームのプロセッサに供給すること
    を備え、前記前処理されたデータは、前記携帯型コンピュータプラットフォームが前記少なくとも１つの物体の深さマップを生成するのに十分なデータである、方法。
16. 前記装置を前記携帯型コンピュータプラットフォームに接続するインターフェースを介して、前記装置から前記携帯型コンピュータプラットフォームに電力を供給することをさらに備える請求項１５に記載の方法。
17. 前記少なくとも１つの物体の少なくとも１つの２Ｄ画像を撮影すること、
    前記撮影された少なくとも１つの２Ｄ画像に関連する情報の前処理を行うこと、
    前記前処理された情報を前記プロセッサに供給すること
    をさらに備え、前記前処理された情報は、前記携帯型コンピュータプラットフォームが前記深さマップと前記前処理された情報とに基づいて前記少なくとも１つの物体の少なくとも１つの３Ｄ画像を生成するのに十分なデータである、請求項１５に記載の方法。
18. 第１方向に連続的な特徴を有し、前記第１方向に対し垂直な第２方向に非連続的な特徴を有する前記構造化光を、前記照明器の少なくとも１つの光学要素を用いて生成することをさらに備え、前記少なくとも１つの光学要素が、前記照明器の非球面レンズ、シリンドリカルレンズ、回折素子、ビームスプリッタ要素、正の光学面、および負の光学面のうちの少なくとも１つを含む、請求項１５に記載の方法。
19. 前記連続的な特徴に沿った前記少なくとも１つの不連続部分を有する前記撮影された反射に関連する情報の前処理を行うこと、
    前記前処理された情報を前記プロセッサに供給すること
    をさらに備え、前記前処理された情報は、前記携帯型コンピュータプラットフォームが前記少なくとも１つの物体に関連する１つまたは複数のジェスチャを追跡するのに十分である、請求項１８に記載の方法。
20. 前記深さマップが、前記装置に接続されたニアアイディスプレイを着用しているユーザの少なくとも１つの身体部分に関連する１つまたは複数のジェスチャに関する情報を含む、請求項１５に記載の方法。