JP2019534510A - 表面モデル化システムおよび方法 - Google Patents

Abstract

物理的環境の表面モデルを生成する方法は、物理的環境の画像を取得するステップを含む。本方法はまた、平面ポリゴンメッシュを少なくとも画像から生成するステップを含む。本方法はさらに、平面ポリゴンメッシュの境界ポリゴンを抽出するステップを含む。さらに、本方法は、表面メッシュの境界ポリゴンに関する凸包を生成するステップを含む。加えて、本方法は、最小面積指向境界ポリゴンを凸包から生成するステップを含む。本方法はまた、平面ポリゴンメッシュの境界ポリゴンの内側の最大面積指向内部ポリゴンを生成するステップを含んでもよい。

Description

本開示は、モバイルカメラシステムによって捕捉された画像を使用した表面モデル化に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、および／または複合現実（「ＭＲ」）体験のためのシステムの開発を促進している。これは、頭部搭載型ディスプレイを通して、コンピュータ生成画像をユーザに提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境に没入させる。ＶＲシステムは、典型的には、実際の実世界視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。

ＡＲシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ＡＲシステムは、ユーザに、頭部搭載型ディスプレイを介して、周囲の実世界環境のビューを提供し得る。コンピュータ生成画像はまた、周囲の実世界環境を向上させるために頭部搭載型ディスプレイ上に提示されることもできる。本コンピュータ生成画像は、周囲の実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト、および同等物を含むことができる。ＭＲシステムはまた、シミュレートされたオブジェクトを実世界環境に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムを上回る相互作用の程度を特徴とする。

種々の光学システムは、ＶＲ／ＡＲ／ＭＲシナリオを表示するために、画像を種々の深度に生成する。いくつかのそのような光学システムは、米国特許出願第１４／５５５，５８５号（弁理士整理番号第ＭＬ．２００１１．００）および第１４／７３８，８７７号（弁理士整理番号第ＭＬ．２００１９．００）（その内容は、前述で参照することによって本明細書に組み込まれている）に説明される。

ＡＲ／ＭＲシナリオは、多くの場合、実世界オブジェクトに関連して仮想画像要素の提示を含む。例えば、図１を参照すると、ＡＲ／ＭＲ場面１００が、描写されており、ＡＲ／ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１０４を特徴とする、実世界公園状設定１０２が見える。これらのアイテムに加え、ＡＲ／ＭＲ技術のユーザは、実世界プラットフォーム１０４上に立っているロボット像１０６と、マルハナバチの擬人化のように見える、飛んでいる漫画状アバタキャラクタ１０８とが「見える」と知覚するが、ロボット像１０６および漫画状アバタキャラクタ１０８は、実世界環境には存在しない。図１は、ＡＲ／ＭＲシナリオを図式的に描写するが、ＡＲ／ＭＲシナリオの品質は、ＡＲ／ＭＲシステムの品質に応じて変動する。図１は、先行技術ＡＲ／ＭＲシナリオを描写するものではなく、むしろ、ある実施形態による、ＡＲ／ＭＲシナリオを描写する。

脳の視覚中枢は、貴重な知覚情報を相互に対する両眼およびその構成要素の運動から得る。相互に対する２つの眼の輻輳・開散運動移動（すなわち、眼の視線をオブジェクト上に収束させ、それを固視するための相互に向かってまたはそこから離れる瞳孔の回転移動）は、眼の水晶体の遠近調節（または合焦）と緊密に関連付けられる。通常条件下、眼を遠近調節し、または眼の水晶体の焦点を変化させ、異なる距離におけるオブジェクト上に合焦させることは、「遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）−輻輳・開散運動（ｖｅｒｇｅｎｃｅ）反射」として知られる関係下、同一距離への輻輳・開散運動の整合変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。本反射に逆らう作用は、大部分の従来の立体視ＶＲ／ＡＲ／ＭＲ構成におけるように、眼精疲労、頭痛、または他の形態の不快感をユーザにもたらすことが知られている。

立体視ウェアラブル眼鏡は、概して、３次元視点がヒト視覚系によって知覚されるように、若干異なる要素提示を伴う画像を表示するように構成される、２つのディスプレイ（左眼に１つ、右眼に１つ）を特徴とする。そのような構成は、輻輳・開散運動と遠近調節との間の不整合（「輻輳・開散運動−遠近調節衝突」）に起因して、多くのユーザにとって不快であることが見出されており、これは、３次元における画像を知覚するために克服されなければならない。実際、一部のユーザは、立体視構成に耐えることが不可能である。これらの限界は、ＶＲ、ＡＲ、およびＭＲシステムに該当する。故に、大部分の従来のＶＲ／ＡＲ／ＭＲシステムは、部分的に、従来のシステムが、輻輳・開散運動−遠近調節衝突を含む、ヒト知覚系の基本側面のうちのいくつかに対処することができないため、ユーザにとって快適かつ最大限に有用となるであろう様式において、豊かな両眼３次元体験を提示するために最適に好適ではない。

米国特許出願第１４／５５５，５８５号（弁理士整理番号第ＭＬ．２００１１．００）に説明されるもの等のＶＲ／ＡＲ／ＭＲシステムは、光および光によってレンダリングされた画像が複数の深度平面から生じるように現れるように、１つ以上の光誘導光学要素を使用して、光をユーザの眼に投影させることによって、輻輳・開散運動−遠近調節衝突に対処する。光誘導光学要素は、デジタルまたは仮想オブジェクトに対応する仮想光を内部結合し、それを全内部反射（「ＴＩＲ」）によって伝搬し、次いで、仮想光を外部結合し、仮想オブジェクトをユーザの眼に表示するように設計される。ＡＲ／ＭＲシステムでは、光誘導光学要素はまた、実際の実世界オブジェクトからの（例えば、そこから反射する）光に対して透過性であるように設計される。したがって、光誘導光学要素の一部は、ＴＩＲを介した伝搬のために仮想光を反射させながら、ＡＲ／ＭＲシステム内の実世界オブジェクトからの実世界光に対して透過性であるように設計される。

複数の光誘導光学要素システムを実装するために、１つ以上の源からの光は、光誘導光学要素システムのそれぞれに制御可能に分散されなければならない。光は、現実的３−Ｄ体験を提供するために比較的に高レート（例えば、３６０Ｈｚまたは１ＫＨｚ）でレンダリングされる、仮想画像データでエンコードされる。そのような速度かつ高分解能で動作する（例えば、仮想コンテンツをレンダリングする）、現在のグラフィック処理ユニット（「ＧＰＵ」）は、大量の電力（ポータブルバッテリの容量に対して）を消費し、ＡＲ／ＭＲシステムを装着しているユーザにとって不快であり得る、熱を生成する。

ＡＲ／ＭＲシナリオは、多くの場合、仮想オブジェクトと実世界の物理的環境との間の相互作用（例えば、図１における実世界プラットフォーム１０４上に立っているロボット像１０６）を含む。同様に、いくつかのＶＲシナリオは、完全仮想オブジェクトと他の仮想オブジェクトとの間の相互作用を含む。

物理的環境内の表面の輪郭を描くことは、それらの相互作用の境および境界線を画定することによって（例えば、物理的環境内の特定の表面の範囲を画定することによって）、仮想オブジェクトとの相互作用を促進する。例えば、ＡＲ／ＭＲシナリオが、物理的環境内の特定の表面から延在する仮想オブジェクト（例えば、触手または拳）を含む場合、表面の範囲を画定することは、ＡＲ／ＭＲシステムがより現実的ＡＲ／ＭＲシナリオを提示することを可能にする。一実施形態では、表面の範囲が、画定されない、または不正確に画定される場合、仮想オブジェクトは、表面からの代わりに、部分的または完全に、表面に隣接する空中から延在するように現れ得る。別の実施形態では、ＡＲ／ＭＲシナリオが、物理的環境内の特定の水平表面上を歩いている仮想キャラクタを含む場合、表面の範囲を不正確に画定することは、落下せずに、代わりに、空中に浮遊して、表面から離れて歩いているように現れる、仮想キャラクタをもたらし得る。

仮想オブジェクトと実世界の物理的環境との間の相互作用を促進するために、種々のＡＲ／ＭＲシステムは、基準マーカ（図２のＡｒＵｃｏマーカ２００参照）を利用して、基準マーカが設置される、実世界の物理的表面に関する位置および配向（すなわち、姿勢）情報を提供する。しかしながら、ＡｒＵｃｏマーカ２００は、物理的表面の範囲に関連する任意の情報を提供しない。さらに、実世界の物理的環境内の１つ以上の表面上へのＡｒＵｃｏ２００マーカの設置に適しているアプリケーションまたは状況は、殆どない。例えば、ＡｒＵｃｏマーカ２００は、可視マーカがその表面上に設置されることを要求することによって、表面の審美性を改変し得る。

いくつかのＶＲ／ＡＲ／ＭＲシステムは、ポリゴンメッシュを生成し、物理的環境内の表面の輪郭を描くおよび／または表すことができるが、そのようなポリゴンメッシュは、仮想オブジェクトと実世界の物理的環境使用との間の相互作用を促進するために、あまりに多くの情報を提供し得る。例えば、ＶＲ／ＡＲ／ＭＲシステムは、物理的衝突のシミュレーション、静止接触のシミュレーション、および種々の採光効果（例えば、陰影および反射）等、種々のアプリケーション／機能／プロセスのために、ポリゴンメッシュをさらに処理する必要があるであろう。現実的であって、真実味があって、および／または意にかなうＶＲ／ＡＲ／ＭＲ体験を可能にするための十分な速度および分解能を伴う、これらの種々のアプリケーション／機能／プロセスのためのポリゴンメッシュのさらなる処理は、多くのプロセッササイクルを要求し得る。プロセッサ関連要件は、ひいては、性能（例えば、レンダリング等の他の機能のためのプロセッササイクル）、電力（例えば、バッテリ寿命）、熱（例えば、ユーザの身体との近接度に照らして）、およびサイズ（例えば、可搬性）関連制限をＶＲ／ＡＲ／ＭＲシステム上に課し得る。最小限の処理を用いて、大平坦領域の場所等の環境の重要な側面を表すために、環境のより抽象的であって、容易に理解しやすい表現の必要がある。ポリゴンメッシュは、有用な情報を抽象化出力するために、さらなる処理を要求する。本明細書に説明されるシステムおよび方法は、これらおよび他の課題に対処するように構成される。

一実施形態では、物理的環境の表面モデルを生成する方法は、物理的環境の画像を取得するステップを含む。本方法はまた、境界ポリゴンを少なくとも画像から抽出するステップを含む。さらに、本方法は、境界ポリゴンに関する凸包を生成するステップを含む。加えて、本方法は、最小面積指向境界ポリゴンを凸包から生成するステップを含む。

１つ以上の実施形態では、本方法はまた、平面ポリゴンメッシュを少なくとも画像から生成するステップを含む。境界ポリゴンを少なくとも画像から抽出するステップは、境界ポリゴンを平面ポリゴンメッシュから抽出するステップを含んでもよい。物理的環境の画像を取得するステップは、結像デバイスを使用して、物理的環境に対応する３−Ｄ点群を取得するステップと、結像デバイスに関する姿勢情報を取得するステップとを含んでもよい。本方法はまた、姿勢情報を使用して、３−Ｄ点群に関する切断符号付き距離関数（ｔｒｕｎｃａｔｅｄ ｓｉｇｎｅｄ ｄｉｓｔａｎｃｅ ｆｕｎｃｔｉｏｎ）を算出するステップを含んでもよい。平面ポリゴンメッシュを生成するステップは、切断符号付き距離関数をテッセレート（ｔｅｓｓｅｌｌａｔｅ）するステップを含んでもよい。本方法はまた、２つのより小さい平面ポリゴンメッシュを１つのより大きい平面ポリゴンメッシュに組み合わせるステップを含んでもよい。

１つ以上の実施形態では、本方法はまた、重力ベクトルを取得するステップを含み、生成された平面ポリゴンメッシュは、重力ベクトルに対して略平行および直交のうちの少なくとも１つである。凸包を生成するステップは、Ｇｒａｈａｍ走査アルゴリズムを使用するステップを含んでもよい。最小面積指向境界ポリゴンを生成するステップは、回転キャリパーアルゴリズムを使用するステップを含んでもよい。最小面積指向境界ポリゴンは、平面ポリゴンメッシュの境界ポリゴンの外側にあってもよい。

１つ以上の実施形態では、本方法はまた、平面ポリゴンメッシュの境界ポリゴンの内側の最大面積指向内部ポリゴンを生成するステップを含む。最大面積指向内部ポリゴンを生成するステップは、境界ポリゴンによって画定された検索面積内で検索を実施するステップを含んでもよい。最大面積指向内部ポリゴンを生成するステップは、グリッドを検索面積内に形成するステップを含んでもよい。本方法はまた、検索面積のサイズに基づいて、グリッドの分解能を調節するステップを含んでもよい。

１つ以上の実施形態では、本方法はまた、平面ポリゴンメッシュの境界ポリゴンの内側の点の選択を受信するステップを含む。最大面積指向内部ポリゴンを生成するステップは、選択された点を使用して画定された検索面積内で検索を実施するステップを含んでもよい。最大面積指向内部ポリゴンを生成するステップは、グリッドを検索面積内に形成するステップを含んでもよい。本方法はまた、検索面積のサイズに基づいて、グリッドの分解能を調節するステップを含んでもよい。

１つ以上の実施形態では、最小面積指向境界ポリゴンおよび最大面積指向内部ポリゴンは、同一形状を有してもよい。平面ポリゴンメッシュは、マーチングキューブアルゴリズムに基づいて生成されてもよい。最小面積指向境界ポリゴンは、長方形、三角形、および円形のうちの少なくとも１つであってもよい。本方法はまた、最小面積指向境界ポリゴンと境界ポリゴンとの間の適合を決定するステップを含んでもよい。適合を決定するステップは、最小面積指向境界ポリゴンの第１の面積と境界ポリゴンの第２の面積との間の差異を計算するステップを含んでもよい。

１つ以上の実施形態では、本方法はまた、最小面積指向境界ポリゴンを表すデータを記憶するステップを含み、最小面積指向境界ポリゴンは、長方形である。データは、長方形に対応する４つの座標集合を含んでもよい。データはまた、長方形の長さ、長方形の幅、および長方形の中心を含んでもよい。４つの座標集合はそれぞれ、一対の座標であってもよい。平面ポリゴンメッシュを生成するステップは、物理的環境の一連の画像の静的部分を捕捉するステップを含んでもよい。

別の実施形態では、物理的環境の表面モデルを生成するためのシステムは、結像デバイスと、カメラに動作可能に結合される、画像プロセッサとを含む。画像プロセッサは、少なくとも部分的に、物理的環境の画像を結像デバイスから取得するように構成される。画像プロセッサはまた、境界ポリゴンを少なくとも画像から抽出するように構成される。さらに、画像プロセッサは、境界ポリゴンに関する凸包を生成するように構成される。加えて、画像プロセッサは、最小面積指向境界ポリゴンを凸包から生成するように構成される。

１つ以上の実施形態では、本システムはまた、結像デバイスおよび画像プロセッサに動作可能に結合される、姿勢センサを含む。画像プロセッサはまた、姿勢情報を使用して、３−Ｄ点群に関する切断符号付き距離関数を算出するように構成されてもよい。画像プロセッサはさらに、切断符号付き距離関数をテッセレートすることによって、平面ポリゴンメッシュを少なくとも画像から生成するように構成されてもよい。境界ポリゴンを少なくとも画像から抽出することは、平面ポリゴンメッシュの境界ポリゴンを抽出することを含んでもよい。物理的環境の画像を取得するステップは、結像デバイスを使用して、物理的環境に対応する３−Ｄ点群を取得することと、姿勢センサを使用して、結像デバイスに関する姿勢情報を取得することとを含んでもよい。

１つ以上の実施形態では、画像プロセッサはまた、平面ポリゴンメッシュを少なくとも画像から生成し、平面ポリゴンメッシュの境界ポリゴンの内側の最大面積指向内部ポリゴンを生成するように構成される。最大面積指向内部ポリゴンを生成することは、境界ポリゴンによって画定された検索面積内で検索を実施することと、グリッドを検索面積内に形成することと、検索面積のサイズに基づいて、グリッドの分解能を調節することとを含んでもよい。

１つ以上の実施形態では、画像プロセッサはまた、平面ポリゴンメッシュの境界ポリゴンの内側の点の選択を受信するように構成される。最大面積指向内部ポリゴンを生成することはまた、選択された点を使用して画定された検索面積内で検索を実施することと、グリッドを検索面積内に形成することとを含んでもよい。画像プロセッサはまた、検索面積のサイズに基づいて、グリッドの分解能を調節するように構成されてもよい。最小面積指向境界ポリゴンは、長方形、三角形、および円形のうちの少なくとも１つであってもよい。

１つ以上の実施形態では、画像プロセッサはまた、最小面積指向境界ポリゴンを表すデータを記憶するように構成され、最小面積指向境界ポリゴンは、長方形である。データは、長方形に対応する４つの座標集合を含んでもよい。データはまた、長方形の長さ、長方形の幅、および長方形の中心を含んでもよい。４つの座標集合はそれぞれ、一対の座標であってもよい。画像プロセッサはまた、少なくとも物理的環境の一連の画像の静的部分を捕捉することによって、平面ポリゴンメッシュを少なくとも画像から生成するように構成されてもよい。

１つ以上の実施形態では、平面ポリゴンメッシュは、マーチングキューブアルゴリズムを使用して生成される。本方法はまた、最小面積指向境界ポリゴン内の中心点を決定するステップを含んでもよい。本方法はまた、最小面積指向境界ポリゴンの配向を決定するステップを含んでもよい。本方法はまた、最小面積指向境界ポリゴンに対して法線方向の線を決定するステップを含んでもよい。本方法はまた、最小面積指向境界ポリゴンを含む、座標系を決定するステップを含んでもよい。

図面は、本開示の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上記に列挙される利点および目的および他の利点および目的を取得する方法をより深く理解するために、上記に簡単に説明された本開示のより詳細な説明は、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解されたい、本開示は、付随の図面の使用を通して、付加的具体性および詳細とともに記載および説明されるであろう。

図１は、一実施形態による、ウェアラブルＡＲ／ＭＲユーザデバイスを通した拡張または複合現実の概略図である。 図２は、一実施形態による、４つのＡｒＵｃｏ基準マーカを描写する。 図３は、一実施形態による、ＡＲ／ＭＲシステムを描写する、ブロック図である。 図４は、一実施形態による、ＡＲ／ＭＲシステムを使用して、実世界の物理的環境の表面モデルを生成する方法を図示する、フローチャートである。 図５は、別の実施形態による、ＡＲ／ＭＲシステムを使用して、実世界の物理的環境の表面モデルを生成する方法を図示する、フローチャートである。 図６は、一実施形態による、実世界の物理的環境の表面を表す、平面ポリゴンメッシュを描写する。 図７は、一実施形態による、平面ポリゴンメッシュから抽出される境界ポリゴンを描写する。 図８は、一実施形態による、実世界の物理的環境の表面モデルと相互作用するためのユーザインターフェースを描写する。 図９Ａ−９Ｃは、別の実施形態による、実世界の物理的環境の表面モデルと相互作用するためのユーザインターフェースの３つのインスタンスを描写する。 図１０は、一実施形態による、部屋内の１つ以上の表面を表す、３−Ｄ表面モデルを描写する。 図１１は、さらに別の実施形態による、ＡＲ／ＭＲシステムを使用して、実世界の物理的環境の表面モデルを生成する方法を図示する、フローチャートである。 図１２は、さらに別の実施形態による、ＡＲ／ＭＲシステムを使用して、実世界の物理的環境の表面モデルを生成する方法を実装するために好適なコンピューティングシステムを図示する、ブロック図である。

本開示の種々の実施形態は、単一実施形態または複数の実施形態における、表面モデル化システムのためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。

種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、本開示の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、以下の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、部分的または完全に、公知のコンポーネント（または方法またはプロセス）を使用して実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）の一部のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。

表面モデル化システムは、ＡＲ／ＭＲシステムから独立して実装されてもよいが、以下の多くの実施形態は、例証的目的のためだけに、ＡＲ／ＭＲシステムに関連して説明される。
（問題およびソリューションの概要）

仮想オブジェクトと実世界の物理的環境との間の現実的相互作用を可能にするために、物理的環境内の種々の表面の位置、配向、および範囲が、決定され、仮想オブジェクトをレンダリングするプロセッサ（例えば、ＧＰＵ）に通信されなければならない。物理的環境内の表面に関する情報は、表面に対する物理的法則（例えば、重力）に従うように現れるように、プロセッサが仮想オブジェクトをレンダリングすることを可能にする。表面に関する情報はまた、表面と一致するように、プロセッサが仮想オブジェクトをレンダリングすることを可能にする。実施例は、仮想メディアが壁またはテーブルを越えて延在しない、壁またはテーブルの表面上への仮想メディア（例えば、漫画本または映画）の表示である。

いくつかの拡張現実（ＡＲ）／複合現実（ＭＲ）システムは、基準マーカ（例えば、ＡｒＵｃｏマーカ）を利用し、実世界の物理的環境内の表面の位置および配向を提供する。しかしながら、そのようなマーカは、侵害性であり得、表面の範囲（サイズ、形状、および同等物）に関連する情報を提供しない場合がある。他のＡＲ／ＭＲシステムは、ポリゴンメッシュを生成し、物理的環境内の表面をモデル化する。しかしながら、多くのアプリケーションは、さらなる処理からの算出上の費用を増加させずに、ポリゴンメッシュを利用することができない。ポリゴンメッシュのさらなる処理に費やされるプロセッササイクルは、高精細画像のレンダリング等、他のＡＲ／ＭＲシステム機能のために使用されることができない。さらに、付加的処理は、電力を要求し、バッテリ寿命を低減させる。さらに、付加的処理は、熱を生成し、潜在的に、ＡＲ／ＭＲシステムを装着しているユーザに不快感を生じさせる。加えて、付加的処理を実施するためのプロセッサおよび／またはバッテリの追加は、ＡＲ／ＭＲシステムの最小サイズを増加させる。

本明細書に説明されるＡＲ／ＭＲシステムおよび方法は、ユーザフレンドリーにより大きいポリゴン（例えば、長方形）をより小さいポリゴンメッシュから抽出し、次いで、抽出されたより大きいポリゴンを使用して、物理的環境の表面をモデル化することによって、これらの問題に対処する。本システムおよび方法は、最も有用なポリゴン（例えば、水平および垂直平面）を抽出することができる。抽出されたより大きいポリゴンは、次いで、単純および便宜的データフォーマット内に記憶され、ＡＲ／ＭＲシステムと関連付けられたアプリケーション／機能／プロセスに送信される。物理的環境の表面は、抽出されたより大きいポリゴンを用いてモデル化されるため、およびより大きいポリゴンは、単純かつ便宜的データフォーマット内に記憶されるため、それらは、最小限のさらなる処理と併用され、最小限の待ち時間および処理要件を伴って、現実的高精細ＡＲ／ＭＲ体験を生成することができる。
（拡張現実／複合現実システム）

図３は、一実施形態による、ＡＲ／ＭＲシステム３００（以降、「システム３００」と称される）を図示する。システム３００は、１つ以上のスタックされた光誘導光学要素（「ＬＯＥ」）３９０を使用して、光をユーザの眼の中に個別の１つ以上の深度平面において誘導する。ＬＯＥは、深度平面情報でエンコード／プログラム／内蔵され、個別の深度平面から生じるように現れる画像を生成する、体積位相ホログラムまたは表面レリーフホログラムであってもよい。言い換えると、回折パターンまたは回折光学要素（「ＤＯＥ」）が、コリメートされた光（略平面波面を伴う光ビーム）がＬＯＥに沿って実質的に全内部反射されるにつれて、複数の場所において回折パターンと交差し、ユーザの眼に向かって出射するように、ＬＯＥに内蔵される、またはその上にインプリントされてもよい。ＤＯＥは、ＬＯＥからそれを通して出射する光が輻輳され、特定の深度平面から生じるように現れるように構成される。

システム３００は、画像プロセッサ３１０と、光源３２０と、コントローラ３３０と、空間光変調器（「ＳＬＭ」）３４０と、一対の前方に面した視野（ＦＯＶ）カメラ３５０と、前方に面したＦＯＶカメラ３５０に対応する一対の姿勢センサ３６０と、複数の平面焦点システムとして機能する、スタックされたＬＯＥ３９０の少なくとも１つのセットとを含む。システム３００はまた、眼追跡サブシステム３７０を含んでもよい。他の実施形態は、複数のスタックされたＬＯＥ３９０のセットを有してもよいことを理解されたい。

画像プロセッサ３１０は、ユーザに表示されるための仮想コンテンツを生成するように構成される。画像プロセッサ３１０は、仮想コンテンツと関連付けられた画像またはビデオをユーザに３−Ｄで投影され得るフォーマットに変換してもよい。例えば、３−Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の一部が、特定の深度平面に表示される一方、その他が、他の深度平面に表示されるように、フォーマットされる必要があり得る。一実施形態では、画像は全て、単一深度平面に生成されてもよい。別の実施形態では、画像プロセッサ３１０は、ともに視認されると、仮想コンテンツがコヒーレントかつ快適にユーザの眼に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされてもよい。

画像プロセッサ３１０はまた、実世界の物理的環境の表面モデルを生成するように構成される（例えば、前方に面したＦＯＶカメラ３５０によって捕捉された画像および／またはビデオから）。一実施形態では、画像プロセッサ３１０は、基準マーカの使用を伴わずに、表面モデルを生成するように構成される。表面モデルは、物理的環境内の表面全体に近似するより大きいポリゴンを含む。別の実施形態では、表面モデルは、メッシュがない。

画像プロセッサ３１０はさらに、メモリ３１２と、ＧＰＵ３１４と、ＣＰＵ３１６と、画像生成および処理および表面モデル化のための他の回路とを含んでもよい。画像プロセッサ３１０は、ＡＲ／ＭＲシステム３００のユーザに提示されるための所望の仮想コンテンツでプログラムされてもよい。画像プロセッサ３１０はまた、表面モデルを捕捉された画像および／またはビデオから生成するための１つ以上のアルゴリズムでプログラムされてもよい。いくつかの実施形態では、画像プロセッサ３１０は、システム３００のウェアラブルディスプレイユニット内に格納されてもよい。他の実施形態では、画像プロセッサ３１０および他の回路は、ウェアラブルディスプレイユニットに結合されるベルトパック内に格納されてもよい。画像プロセッサ３１０は、所望の仮想コンテンツと関連付けられた光を投影する、光源３２０と、１つ以上の空間光変調器とに動作可能に結合される。画像プロセッサ３１０はまた、前方に面したＦＯＶカメラ３５０と、姿勢センサ３６０とにも動作可能に結合される。

光源３２０は、コンパクトであって、高分解能を有する。光源３２０は、コントローラ３３０に動作可能に結合される。光源３２０は、種々の幾何学的構成に配置される、色特有のＬＥＤおよびレーザを含んでもよい。代替として、光源３２０は、同様の色のＬＥＤまたはレーザを含んでもよく、それぞれ１つが、ディスプレイの視野の具体的領域にリンクされる。別の実施形態では、光源３２０は、放出エリアおよび位置のセグメント化のためのマスクオーバーレイを伴う、白熱灯または蛍光灯等の広域エミッタを含んでもよい。光源３２０は、図３では、直接、ＡＲ／ＭＲシステム３００に接続されるが、光源３２０は、光ファイバ（図示せず）を介して、システム３００に接続されてもよい。システム３００はまた、光源３２０からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。

ＳＬＭ３４０は、種々の例示的実施形態では、反射性（例えば、ＬＣＯＳ、ＦＬＣＯＳ、ＤＬＰ ＤＭＤ、またはＭＥＭＳミラーシステム）、透過性（例えば、ＬＣＤ）、または発光性（例えば、ＦＳＤまたはＯＬＥＤ）であってもよい。ＳＬＭ３４０のタイプ（例えば、速度、サイズ等）は、３−Ｄ知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作するＤＬＰ ＤＭＤは、定常システム３００の中に容易に組み込まれ得るが、ウェアラブルシステム３００は、より小さいサイズおよび電力のＤＬＰを使用し得る。ＤＬＰの電力は、３Ｄ深度平面／焦点面が作成される方法を変化させる。画像プロセッサ３１０は、ＳＬＭ３４０に動作可能に結合され、これは、光源３２０からの光を所望の仮想コンテンツでエンコードする。光源３２０からの光は、ＳＬＭ３４０から反射する、そこから放出される、またはそれを通して通過するとき、画像情報でエンコードされてもよい。

ＳＬＭ３４０からの光は、ＳＬＭ３４０によって画像データでエンコードされた光ビームが、ユーザの眼への送達のために、単一ＬＯＥ３９０に沿って効果的に伝搬されるように、ＬＯＥ３９０に指向される。各ＬＯＥ３９０は、所望の深度平面またはＦＯＶ角度位置からユーザの網膜上に生じるように現れる、画像またはサブ画像を投影するように構成される。光源３２０およびＬＯＥ３９０は、したがって、空間内の種々の深度平面または位置から生じるように現れる、（コントローラ３３０の制御下、ＳＬＭ３４０によって同期してエンコードされる）画像を選択的に投影することができる。光源３２０およびＬＯＥ３９０のそれぞれを使用して、十分に高フレームレート（例えば、６０Ｈｚの事実上フルボリュームのフレームレートにおける１つの色において６つの深度平面に関して３６０Ｈｚ、または６０ＨｚにおけるＲＧＢフルカラーにおいて６つの深度平面に関して１，０８０Ｈｚ）において、画像を連続して投影させることによって、システム３００は、３−Ｄ画像内に同時に存在するように現れる、仮想オブジェクトの３−Ｄ画像を種々の深度平面に生成することができる。

コントローラ３３０は、画像プロセッサ３１０、光源３２０、およびＳＬＭ３４０と通信し、それに動作可能に結合され、ＳＬＭ３４０に、光源３２０からの光ビームを画像プロセッサ３１０からの適切な画像情報でエンコードするように命令することによって、画像の同期表示を協調させる。

前方に面したＦＯＶカメラ３５０は、ユーザＦＯＶの画像および／またはビデオを捕捉するように構成される。前方に面したＦＯＶカメラ３５０は、可視光および／または赤外線等の不可視光に敏感であってもよい。前方に面したＦＯＶカメラ３５０は、画像プロセッサ３１０に動作可能に結合される。

姿勢センサ３６０は、前方に面したＦＯＶカメラ３５０のそれぞれの配向（例えば、ロール、ピッチ、およびヨー）に関連する情報を記録するように構成される。一実施形態では、姿勢センサ３６０は、慣性測定ユニット（「ＩＭＵ」）であって、これは、１つ以上の加速度計、ジャイロスコープ、磁力計、および同等物を含んでもよい。姿勢センサ３６０は、Ｎ（例えば、６）自由度の力、角度変化、および／または磁場変化を測定してもよい。姿勢センサ３６０と個別の前方に面したＦＯＶカメラ３５０の近接度は、前方に面したＦＯＶカメラ３５０に関する姿勢情報の正確度を増加させる。いくつかの実施形態では、姿勢センサ３６０は、前方に面したＦＯＶカメラ３５０に結合される（恒久的または除去可能に）。

システム３００はまた、ユーザの眼を追跡し、ユーザの焦点を決定するように構成される、随意の眼追跡サブシステム３７０を含む。一実施形態では、システム３００は、画像がユーザの焦点／遠近調節と一致する所望の深度平面に生成されるように、眼追跡サブシステム３７０からの入力に基づいて、ＬＯＥ３９０のサブセットを照明するように構成される。例えば、ユーザの眼が、相互に平行である場合、システム３００は、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、ＬＯＥ３９０を照明してもよい。別の実施例では、眼追跡サブシステム３７０が、ユーザの焦点が１メートル離れていることを決定する場合、ほぼその範囲内に集束するように構成される、ＬＯＥ３９０が、代わりに照明されてもよい。
表面モデル化

一実施形態による、実世界の物理的環境の表面をモデル化するように構成される、システム３００が、上記に説明される。そのようなシステムを使用して、実世界の物理的環境の表面をモデル化する方法が、以下に説明される。

図４は、一実施形態による、システム３００（前方に面した視野（ＦＯＶ）カメラ３５０と、姿勢センサ３６０と、画像プロセッサ３１０とを含む）を使用して、実世界の物理的環境の表面モデルを生成する方法４００を図示する、フローチャートである。ステップ４０２では、システム３００（例えば、画像プロセッサ３１０）は、システム３００が配置される、物理的環境の１つ以上の画像またはビデオを受信する。画像／ビデオは、前方に面したＦＯＶカメラ３５０から受信されてもよい。システム３００は、物理的環境の一連の画像の静的部分のみが捕捉される一方、動的部分が無視されるように、前方に面したＦＯＶカメラ３５０を使用して、画像を捕捉するように構成されてもよい。

代替として、画像／ビデオは、物理的環境内の（例えば、他のユーザの）他のシステム３００のカメラから受信されてもよい。画像／ビデオが、１つ以上のカメラから受信されると、それらの画像／ビデオ内の点は、共通座標系を有する、単一基準フレームに位置合わせされる。画像／ビデオは、その捕捉に対してリアルタイムで受信されてもよい、または事前に捕捉および記憶されていてもよい（例えば、システム３００が通信可能に結合される、サーバのメモリ内に）。同一物理的環境の画像／ビデオを１つ以上の位置および配向／角度から受信することは、光学情報が存在しない物理的環境内の表面の量を低減させることによって、表面モデル化の正確度を増加させる。

姿勢情報は、システム３００の姿勢センサ３６０から受信されてもよく、これは、個別の前方に面したＦＯＶカメラ３５０に隣接して設置される。画像プロセッサ３１０は、姿勢情報を使用して、物理的環境に対応する３−Ｄ点群をその画像／ビデオから生成する。単一画像実施形態では、３−Ｄ点群は、画像と、画像を捕捉した前方に面したＦＯＶカメラ３５０に関連する姿勢情報とから決定されるように、各サンプル点と、３次元座標系（例えば、Ｘ、Ｙ、Ｚ）内のその位置とを表す。そのような情報は、飛行時間情報分析を使用して取得されることができる。複数の画像実施形態では、３−Ｄ点群は、画像と、ある場合には、個別の姿勢情報とから決定されるように、各画像内の各サンプル点の平均と、３次元座標系内の平均位置とを表す。そのような情報は、飛行時間分析および／または三角測量を使用して取得されてもよい。

深度感知システムもまた、３−Ｄ点群を生成するために使用されてもよい。深度感知は、３−Ｄ空間（例えば、深度センサまたは前方に面したＦＯＶカメラ３５０）内の既知の点と実世界の物理的オブジェクトの表面上の着目点（「ＰＯＩ」）との間の距離の決定である。深度感知は、ＡＲ／ＭＲシステムを含む、多くのコンピュータビジョンシステムのために有用である。深度感知の１つのアプローチは、表面上の単一ＰＯＩおよび個別の画像上のＰＯＩの２つの画像の光学軸（既知の配向において既知の距離によって分離される）間の個別の角度を測定するステップを含む。表面の深度は、測定された角度および画像捕捉場所間の既知の距離を三角測量することによって決定される。飛行時間カメラは、あるタイプの深度センサと見なされ得る。

ステップ４０４では、システム３００（例えば、その画像プロセッサ３１０）は、平面ポリゴンメッシュを受信された画像／ビデオから生成する。図６を簡単に参照すると、一実施形態による、平面ポリゴン／三角形メッシュ６０２が、図示される。１つ以上の平面ポリゴンメッシュ（例えば、図６に示されるような平面ポリゴン／三角形メッシュ６０２）が、物理的環境から捕捉または構築された画像／ビデオ／３−Ｄ点群から形成され、物理的環境内の表面の輪郭を描くおよび／または表してもよい。一実施形態では、マーチングキューブアルゴリズムが、非平面メッシュを受信された画像／ビデオから生成するために使用され、平面ポリゴンメッシュ６０２は、非平面メッシュから導出される。

別の実施形態では、ステップ４０４では、システム３００は、３−Ｄ点群に関する切断符号付き距離関数（「ＴＳＤＦ」）を算出することによって、３−Ｄ点群に基づいて平面ポリゴンメッシュ６０２を生成する。例えば、３−Ｄ点群に関するＴＳＤＦは、例えば、マーチングキューブアルゴリズムを使用して、非平面メッシュを生成するために使用され、平面ポリゴンメッシュ６０２は、非平面メッシュから導出される。ＴＳＤＦは、３−Ｄ点群内の点毎の数値を含む。値は、点が特定の平面内にあるとき、ゼロであって、点が（特定の座標系を使用して）特定の平面の上方にあるとき、正であって、点が特定の平面の下方にあるとき、負である。算出されたＴＳＤＦは、次いで、特定の平面内、その上方、および下方に整合される、ブリックまたはボックスの３−Ｄ立体グリッドを画定するために使用される。最後に、３−Ｄ立体グリッドは、マーチングキューブでテッセレートされ、非平面メッシュを生成し、非平面メッシュは、分析され、特定の表面を表す平面ポリゴンメッシュ６０２に変換される。テッセレーションプロセスは、丸みを帯びた縁または鋭的縁を含む、または除外するように制御されることができる。加えて、非平面メッシュは、同一配向を有する近傍の／隣接するポリゴンをより大きいポリゴンに折り畳むことによって、簡略化されてもよい。いくつかの実施例では、生成された平面ポリゴンメッシュ６０２もまた、同一配向を有する近傍の／隣接するポリゴンをより大きいポリゴンに折り畳むことによって、簡略化されてもよい。

種々の実施形態はまた、姿勢センサ３６０（例えば、ＩＭＵ）によって検出された重力ベクトルに直交する平面性を強制することができる。言い換えると、物理的環境が、種々のオブジェクト（例えば、電話、ラップトップコンピュータ、コーヒーマグカップ等）をその上に有する、会議テーブルを含む場合、これらの実施形態は、メッシュが会議テーブルの水平表面のみの輪郭を描く／表すように、それらのオブジェクトを平面ポリゴンメッシュから除去することができる。同様に、システム３００はまた、壁およびホワイトボード等の垂直表面の平面性を強制するように構成されることができる。他の実施形態は、任意の方向ベクトルを重力ベクトルに置換することによって、平面性および任意の所定の角度を強制することができる。

ステップ４０６では、システム３００（例えば、その画像プロセッサ３１０）は、平面ポリゴンメッシュの境界ポリゴンを抽出する。図７を簡単に参照すると、一実施形態による、図６の平面ポリゴンメッシュ６０２から抽出される境界ポリゴン７０４が、図示される。境界ポリゴン７０４を平面ポリゴンメッシュ６０２から抽出することは、平面ポリゴンメッシュ６０２の外部表面に面していない平面ポリゴンメッシュ６０２の部分を除去するステップを含んでもよい。図７に示されるように、境界ポリゴン７０４を生成することは、平面ポリゴンメッシュ６０２内の多数のより小さいポリゴンを除去することによって、表面のモデルを簡略化する。一般に、より大きい数（例えば、数十万）のより小さいポリゴンを処理することは、より多くのプロセッサ（例えば、ＣＰＵ／ＧＰＵ）サイクルおよびバッテリ電力を要求し、より多くの熱を生成する。いくつかの実施形態では、ポリゴンメッシュ６０２内の「包囲された」孔（すなわち、構造によって囲繞される構造内の空間）は、境界ポリゴン７０４を生成する際、無視されてもよい一方、平面ポリゴンメッシュ６０２内の「湾状部」（すなわち、主に、地理的マップ内の湾のような構造によって囲繞される構造内の空間）は、境界ポリゴン７０４を生成する際に含まれてもよい。

ステップ４０８では、システム３００（例えば、その画像プロセッサ３１０）は、凸包を抽出された境界ポリゴンから生成する。図８を簡単に参照すると、一実施形態による、抽出された境界ポリゴン８０４から生成された凸包８０６が、図示される。境界ポリゴン８０４の周囲の凸包８０６は、境界ポリゴン８０４をきついゴムバンドまたはぴったりしたプラスチックラップで巻着することに類似する、数学的関数である。結果として、凸包８０６上の線は、境界ポリゴン８０４を貫通せず、境界ポリゴン８０４の内側に到達する。一実施形態では、凸包８０６は、Ｇｒａｈａｍ走査アルゴリズムを使用して、境界ポリゴン８０４から生成される。凸包８０６を境界ポリゴン８０４から生成することは、境界ポリゴン８０４の「高点」（例えば、その中心から最も遠い境界ポリゴン８０４の点）を接続する線を引くことを含んでもよい。

境界ポリゴン８０４および凸包８０６は両方とも、実世界の物理的ホワイトボード８０２の垂直表面を表す。

ステップ４１０では、システム３００（例えば、その画像プロセッサ３１０）は、最小面積指向境界ポリゴン（「ＭＡＯＢＰ」）を凸包から生成する。図８を簡単に参照すると、一実施形態による、凸包８０６から生成されたＭＡＯＢＰ８０８が、図示される。ＭＡＯＢＰ８０８は、凸包８０６（したがって、境界ポリゴン８０４）を含有し得る、所定の形状の最小ポリゴンである。図８に描写される実施形態では、ＭＡＯＢＰ８０８は、重力ベクトルに沿って配向され、床に直交する、長方形である。一実施形態では、ＭＡＯＢＰ８０８は、回転キャリパーアルゴリズムを使用して、凸包８０６から生成される。ＭＡＯＢＰ８０８を凸包８０６から生成することは、物理的環境内の表面を表す他のモダリティより比較的に少ない算出を要求する。

ＭＡＯＢＰ８０８は、凸包８０６、したがって、境界ポリゴン８０４全体を含有するため、特に、あるアプリケーションのために有用である。ＭＡＯＢＰ８０８が好適である、１つのアプリケーションは、物理的環境の表面上への仮想メディア（例えば、漫画本または映画）の表示である。いくつかの仮想ディスプレイアプリケーションに関して、仮想メディアのわずかな部分を、実際の物理的表面を越えて、空間の中に延在させることは、特に、注意を逸らさない。さらに、いくつかの実施形態では、ＭＡＯＢＰ８０８は、他の方法より正確に完全下層表面を捕捉し、ＭＡＯＢＰ８０８のわずかな部分が空（ｅｍｐｔｙ）空間まで延在する非常にわずかなインスタンスをもたらし得る。

図９Ａ−９Ｃはまた、個別の境界ポリゴン９０４、９０４’の周囲に形成される、２つのＭＡＯＢＰ９０８、９０８’を図示する。ＭＡＯＢＰ９０８、９０８’および個別の境界ポリゴン９０４、９０４’は両方とも、個別の実世界オブジェクトの表面（ホワイトボード９０２、テーブルの表面９０２’）を表す。図９Ａ−９Ｃに示されるように、ホワイトボード９０２を表すＭＡＯＢＰ９０８は、テーブルの表面９０２’を表すＭＡＯＢＰ９０８’と比較して、対応する境界ポリゴン９０４およびホワイトボード９０２に対してより良好な適合（すなわち、より正確な相関）である（すなわち、あまり余剰空空間を有していない）。図９Ａ−９Ｃは、実世界の物理的環境の表面モデルと相互作用するためのユーザインターフェース９００、９００’、９００’’（例えば、システム３００のユーザに表示される）の３つのインスタンスを描写する。

図９Ａ−９Ｃは、ＭＡＯＢＰ９０８、９０８’が他のアプリケーションのためにはあまり好適ではない場合があることを図示する。例えば、仮想キャラクタがテーブルの表面９０２’上を歩いているアプリケーションにおいてＭＡＯＢＰ９０８’を使用することは、テーブルから離れて歩いており、かつ空中に懸架されている、キャラクタをもたらし得る。本問題に対処するために、他のポリゴンが、物理的環境内の表面の輪郭を描く／表すために生成されてもよい。

例えば、図５は、別の実施形態による、システム３００（前方に面したＦＯＶカメラ３５０と姿勢センサ３６０と、画像プロセッサ３１０とを含む）を使用して、実世界の物理的環境の表面モデルを生成する方法５００を図示する、フローチャートである。ステップ５０２−５１０は、それぞれ、図４における対応するステップ４０２−４１０と同じである。図４に関して上記に説明されるように、図８に関するステップ５０２−５１０の結果は、境界ポリゴン８０４、凸包８０６、およびＭＡＯＢＰ８０８である。

ステップ５１２では、システム３００（例えば、その画像プロセッサ３１０）は、境界ポリゴンの最大面積指向内部ポリゴン（「ＭＡＯＩＰ」）を生成する。図８を簡単に参照すると、一実施形態による、ＭＡＯＩＰ８１０が、図示される。ＭＡＯＩＰ８１０は、重力ベクトルに沿って配向され、床に直交する、長方形である。一実施形態では、ＭＡＯＩＰ８１０は、検索面積（例えば、ＭＡＯＢＰ８０８によって画定された）内で検索を実施することによって生成される。グリッドは、検索面積の上部にオーバーレイされ、グリッド内の各点は、境界ポリゴン８０４の平面に連続して延在され、内部ポリゴンを形成し、これは、次いで、連続して試験され、境界ポリゴン８０４内に完全に含有されるかどうかを決定する。境界ポリゴン８０４の外側の部分を含む、内部ポリゴンは、分析から破棄される。最後に、境界ポリゴン８０４内に含有される内部ポリゴンのそれぞれの面積は、比較され、最大面積を伴う内部ポリゴンを識別する。

前述のグリッドおよび検索アルゴリズムを使用して、ＭＡＯＩＰ８１０を生成することは、実世界の物理的環境内の表面を表す他のモダリティ（例えば、ＭＡＯＢＰ）と比較して、算出上高価である。ＭＡＯＢＰ８０８を検索面積として使用することは、システム３００が最大数のグリッド点をウォークスルーすることを要求する。本問題に対処するために、方法は、検索面積のサイズを限定するために、図８におけるユーザインターフェース８００を使用して、ユーザ入力を促進してもよい。ユーザインターフェース８００は、システム３００の頭部装着型ディスプレイから投影される線８１４によって画定されたカーソル８１２を含む。ユーザは、その頭部またはトーテムをホワイトボード８０２に対して移動させることによって、カーソル８１２を移動させることができる。カーソル８１２は、境界ポリゴン８０４の平面におけるＸ（８１６）およびＹ（８１８）方向に延在することによって、検索面積を画定する。

図８における検索面積は、ＭＡＯＢＰ８０８より若干のみ小さいが、他の実施形態では、検索面積は、ＭＡＯＢＰ８０８より有意に小さくてもよい。１つのそのような実施形態は、図９Ｃにおけるユーザインターフェース９００’’に示され、境界ポリゴン９０４’は、テーブルの表面９０２’と異なる形状を有する。検索面積は、重力ベクトルに直交するように配向される、または重力ベクトルに対して回転されてもよい。

ＭＡＯＩＰ８１０を検索する算出負荷に対処するための別の方法は、検索面積を形成するグリッドの分解能を調節することである。グリッドの分解能を低減させることは、算出負荷を低減させる。一実施形態では、グリッドの分解能は、検索面積のサイズに基づいて調節される。大検索面積に関して、分解能は、減少される。逆に言えば、小検索面積に関して、分解能は、増加される。

ＭＡＯＩＰ８１０は、境界ポリゴン８０４内の点のみを含有するため、特に、あるアプリケーションのために有用である。ＭＡＯＩＰ８１０が好適である、１つのアプリケーションは、仮想キャラクタがテーブルの表面９０２’上を歩いている、アプリケーションまたはゲームである。本アプリケーションに関して、表面を境界ポリゴン９０４’の内側の点のみを含むように画定することは、仮想キャラクタが、テーブルの表面９０２’から離れて歩いており、空中に懸架された状態になる等の異常を防止する。
（記憶および使用のためのデータ構造）

図１０は、部屋（その中に家具を含む）内の複数の主要な表面を表す、３−Ｄ表面モデル１０００（以降、「モデル１０００」と称される）を描写する。モデル１０００は、上記に説明されるように生成され、表面は、重力ベクトルに対して平行または直交のいずれかであるように選択されている。モデル１０００は、抽出された境界ポリゴン１００４と、凸包１００６と、ＭＡＯＢＰ１００８と、ＭＡＯＩＰ１０１０とを含む。本モデル１０００は、特に、垂直表面（例えば、メディアを表示する）および水平表面（例えば、重力下での表面とのシミュレートされた相互作用を伴う、仮想オブジェクトの設置）と相互作用する、アプリケーションにとって有用であろう。図１０に描写されるモデル１０００等の３−Ｄモデルは、最小限の記憶および帯域幅を使用して、アプリケーション／ＡＲ／ＭＲシステム内に記憶され、それに伝送されることができる。さらに、そのような３−Ｄモデルは、アプリケーション／ＡＲ／ＭＲシステムによる付加的最小限の処理を伴って、物理的衝突をシミュレートし、静止接触をシミュレートし、種々の採光効果（例えば、陰影および反射）を表示するために使用されることができる。

図１０に描写されるモデル１０００のような３−Ｄ表面モデルは、基準マーカ（例えば、ＡｒＵｃｏマーカ）の使用を伴わずに、物理的環境内の表面に関する位置および配向情報を提供する。加えて、３−Ｄ表面モデルは、推定された表面範囲情報を提供するが、これは、基準マーカによって提供されることができない。ＭＡＯＢＰは、表面の範囲を過大推定し、ＭＡＯＩＰは、表面の範囲を過小推定する。

図１０における抽出された境界ポリゴン、凸包、ＭＡＯＢＰ、およびＭＡＯＩＰは、平面メッシュポリゴンを使用して、物理的環境内の表面を表すことと比較して、最小限の量のメモリおよび帯域幅を使用して、メモリ（例えば、システム３００のメモリ３１２）内に記憶され、種々のアプリケーションに通信されることができる。一実施形態では、長方形を表すデータ（例えば、ＭＡＯＢＰまたはＭＡＯＩＰ）は、所定の３−Ｄ座標系内の（例えば、長方形の４つの角の）Ｘ、Ｙ、Ｚ座標であることができる。別の実施形態では、長方形を表すデータは、長方形の中心を表す座標（例えば、Ｘ、Ｙ座標）と、長方形の長さおよび幅を表す四元数（４つの数）であることができる。

本データフォーマットは、メモリおよび帯域幅要件の両方を低減させ、多くの場合、複合現実アプリケーションによって使用される、他の表面特性に到着する単純低算出操作のために構成される。例えば、長方形の長さおよび幅は、長方形の４つの角の座標を減算することによって、容易に計算されることができる。同様に、長方形の中心は、長方形の４つの角の座標を平均することによって、容易に計算されることができる。加えて、長方形の長さおよび幅の方向におけるベクトルは、長方形に対する法線を計算する（例えば、クロス積を使用して）ために使用されることができる。さらに、座標系は、長さベクトル、幅ベクトル、および法線ベクトルに基づいて、画定されることができる。

長方形を表すデータ（例えば、ＭＡＯＢＰまたはＭＡＯＩＰ）は、所定の座標系内の（例えば、長方形の４つの角の）座標であることができるが、他の実施形態では、長方形を表すデータはまた、これらの算出された特性のうちのいくつか（例えば、長さ、幅、中心、法線、および座標系）を含んでもよい。これらの実施形態では、メモリおよび帯域幅の若干の増加は、表面モデルを受信および処理するアプリケーションによる低減された算出要件によって相殺され得る。

上記に説明される実施形態におけるＭＡＯＢＰおよびＭＡＯＩＰは、長方形であるが、システム３００は、任意の所定の形状（例えば、円形、三角形、五角形、および同等物）におけるＭＡＯＢＰおよびＭＡＯＩＰを生成するように構成されることができる。単一実施形態におけるＭＡＯＢＰおよびＭＡＯＩＰは、２つの異なるポリゴン（例えば、三角形および長方形）であることができる。他の実施形態では、本明細書に描写されるもののように、単一実施形態におけるＭＡＯＢＰおよびＭＡＯＩＰは、同一形状であるが、異なるスケールであることができる。抽出された境界ポリゴンとＭＡＯＢＰとの間の適合は、抽出された境界ポリゴンの面積をＭＡＯＢＰの面積から減算することによって計算されることができる。その実施形態では、面積の差異が小さいほど、適合がより良好である。

図９Ａ−９Ｃに示されるように、ホワイトボード９０２を表すＭＡＯＢＰ９０８は、テーブルの表面９０２’を表すＭＡＯＢＰ９０８’と比較して、対応する境界ポリゴン９０４およびホワイトボード９０２に対するより良好な適合である（すなわち、より少ない余剰空空間を有する）。システム３００は、面積における計算された差異を比較することによって、所定の一連の既知の形状を通して巡回させ、ＭＡＯＢＰの適合を増加させるように構成されることができる。これはまた、相関／適合値を計算し、値がある所定の閾値（例えば、０．９）を上回るかどうかを決定することによって、物理的環境内の任意の特定の表面の形状の良好な推定を提供するであろう。

上記に説明されるシステム３００は、仮想画像をレンダリングし、実世界の物理的環境の表面をモデル化するために、単一画像プロセッサ３１０を含むが、他の実施形態は、レンダリングおよびモデル化するための別個のプロセッサを含む。実際、表面モデル化のための別個のプロセッサは、サーバコンピュータ内に常駐してもよい。別個のプロセッサは、相互に通信可能および動作可能に結合されてもよい。

上記に説明されるシステム３００は、個別の対の前方に面したＦＯＶカメラ３５０と、姿勢センサ３６０とを含むが、他の実施形態は、単一の前方に面したＦＯＶカメラ３５０と、単一の姿勢センサ３６０とのみを含む。さらに他の実施形態では、一対の前方に面したＦＯＶカメラ３５０を含み、姿勢センサ３６０を含まない。これらの実施形態では、３−Ｄ点群は、古典的三角測量技法を使用して生成される。

ＡＲ／ＭＲシステムを使用して、上記に説明される実世界の物理的環境の表面モデルを生成する方法４００、５００は、平面ポリゴンメッシュを物理的環境の画像／ビデオから生成するステップを含むが、他の実施形態では、ポリゴンメッシュは、物理的環境画像／ビデオから生成される。さらに他の実施形態では、ポリゴンメッシュは、存在しない。代わりに、これらの方法は、境界ポリゴンを、直接、物理的環境の画像／ビデオから抽出する（例えば、マシンビジョン技法を使用して）。

例えば、図１１は、さらに別の実施形態による、システム３００を使用して、実世界の物理的環境の表面モデルを生成する方法１１００を描写する。ステップ１１０２、１１０８、および１１１０は、図４における対応するステップ４０２、４０８、および４１０と同じである。それぞれ、図４および１１に描写される方法４００、１１００間の差異は、方法１１００におけるステップ１１０６では、システム３００（例えば、その画像プロセッサ３１０）が、境界ポリゴンを物理的環境の受信された画像／ビデオから抽出することである（例えば、マシンビジョンおよび受信された姿勢情報を使用して）。方法１１００は、効率的マシンビジョンのために構成されるシステム内に実装されると、平面ポリゴンメッシュを生成するステップを含む、方法４００、５００より少ない算出電力（例えば、プロセッササイクル）を使用して、物理的環境の表面モデルを生成し得る。
（システムアーキテクチャ）

図１２は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム１２００のブロック図である。コンピュータシステム１２００は、情報を通信するためのバス１２０６または他の通信機構を含み、これは、プロセッサ１２０７、システム（主要な）メモリ１２０８（例えば、ＲＡＭ）、静的記憶デバイス１２０９（例えば、ＲＯＭ）、ディスク（記憶）ドライブ１２１０（例えば、磁気または光学）、通信インターフェース１２１４、ディスプレイ１２１１、入力デバイス１２１２、データインターフェース１２３３、およびカーソル制御等の相互接続サブシステムおよびデバイスである。

一実施形態によると、コンピューティングシステム１２００は、プロセッサ１２０７がシステムメモリ１２０８内に含有される１つ以上の命令の１つ以上のシーケンスを実行することによって、具体的動作を実施する。そのような命令は、システムメモリ１２０８の中に、静的記憶デバイス１２０９またはディスクドライブ１２１０等の別のコンピュータ可読／使用可能媒体から読み出されてもよい。代替実施形態では、有線回路が、本開示を実装するためのソフトウェア命令の代わりに、またはそれと組み合わせて使用される。したがって、本開示の実施形態は、任意の具体的組み合わせのハードウェア回路および／またはソフトウェアに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、任意の組み合わせのソフトウェアまたはハードウェアを意味し得る。

用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ１２０７に提供する際に関与する、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１２１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１２０８等の動的メモリを含む。「コンピュータ可読媒体」は、非一過性コンピュータ可読記憶媒体であってもよい。

共通形態のコンピュータ可読メディアは、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取り得る、任意の他の媒体を含む。

一実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピュータシステム１２００によって実施される。他の実施形態によると、通信リンク１２１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つ以上のコンピュータシステム１２００が、相互に協調して、本開示を実践するために要求される命令のシーケンスを実施してもよい。

コンピュータシステム１２００は、通信リンク１２１５および通信インターフェース１２１４を通して、プログラム、例えば、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、プロセッサ１２０７によって、受信されるにつれて実行される、および／または後の実行のために、ディスクドライブ１２１０または他の不揮発性記憶装置内に記憶されてもよい。コンピュータシステム１２００は、データを、データインターフェース１２３３を介して、データベースサーバ１２３１に通信可能に結合されるデータベース１２３２に伝送し、そこから受信してもよい。

本明細書に説明されるシステム３００は、前方に面したＦＯＶカメラ３５０を有するが、それらのカメラは、深度センサまたはその一部として機能してもよい。そのような深度センサは、米国仮特許出願第６２／３０１，８４７号（その内容は、前述で参照することによって本明細書に組み込まれている）に説明される。

本開示の種々の実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広義に適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および例証される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられる、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられた請求項に記載の範囲内であることが意図される。

本開示は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する作用を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。言い換えると、「提供する」作用は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。

本開示の側面が、材料選択および製造に関する詳細とともに、上記に記載された。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことは、一般または論理的に採用されるような付加的作用の観点から、本発明の方法ベースの側面に関しても当てはまり得る。

加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）は、本開示の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。

また、説明される本開示の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形アイテムの言及は、存在する複数の同一アイテムが存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。言い換えると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題のアイテムのうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「〜を備える」は、所与の数の要素が請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

本開示の範疇は、提供される実施例および／または本主題の明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。

前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (35)

1. 物理的環境の表面モデルを生成する方法であって、
   前記物理的環境の画像を取得することと、
   境界ポリゴンを少なくとも前記画像から抽出することと、
   前記境界ポリゴンに関する凸包を生成することと、
   最小面積指向境界ポリゴンを前記凸包から生成することと
   を含む、方法。
2. 平面ポリゴンメッシュを少なくとも前記画像から生成することをさらに含み、
   前記境界ポリゴンを少なくとも前記画像から抽出することは、前記境界ポリゴンを前記平面ポリゴンメッシュから抽出することを含む、請求項１に記載の方法。
3. 前記物理的環境の画像を取得することは、
   結像デバイスを使用して、前記物理的環境に対応する３−Ｄ点群を取得することと、
   前記結像デバイスに関する姿勢情報を取得することと
   を含み、
   前記方法はさらに、前記姿勢情報を使用して、前記３−Ｄ点群に関する切断符号付き距離関数を算出することを含み、
   前記平面ポリゴンメッシュを生成することは、前記切断符号付き距離関数をテッセレートすることを含む、
   請求項２に記載の方法。
4. ２つのより小さい平面ポリゴンメッシュを１つのより大きい平面ポリゴンメッシュに組み合わせることをさらに含む、請求項３に記載の方法。
5. 重力ベクトルを取得することをさらに含み、
   前記生成された平面ポリゴンメッシュは、前記重力ベクトルに対して略平行および直交のうちの少なくとも１つである、請求項２に記載の方法。
6. 前記凸包を生成することは、Ｇｒａｈａｍ走査アルゴリズムを使用することを含む、請求項１に記載の方法。
7. 前記最小面積指向境界ポリゴンを生成することは、回転キャリパーアルゴリズムを使用することを含む、請求項１に記載の方法。
8. 前記最小面積指向境界ポリゴンは、前記平面ポリゴンメッシュの境界ポリゴンの外側にある、請求項２に記載の方法。
9. 前記平面ポリゴンメッシュの境界ポリゴンの内側の最大面積指向内部ポリゴンを生成することをさらに含む、請求項２に記載の方法。
10. 前記最大面積指向内部ポリゴンを生成することは、前記境界ポリゴンによって画定された検索面積内で検索を実施することを含む、請求項９に記載の方法。
11. 前記最大面積指向内部ポリゴンを生成することは、グリッドを前記検索面積内に形成することを含む、請求項１０に記載の方法。
12. 前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することをさらに含む、請求項１１に記載の方法。
13. 前記平面ポリゴンメッシュの境界ポリゴンの内側の点の選択を受信することをさらに含み、
    前記最大面積指向内部ポリゴンを生成することは、前記選択された点を使用して画定された検索面積内で検索を実施することを含む、請求項９に記載の方法。
14. 前記最大面積指向内部ポリゴンを生成することは、グリッドを前記検索面積内に形成することを含む、請求項１３に記載の方法。
15. 前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することをさらに含む、請求項１３に記載の方法。
16. 前記最小面積指向境界ポリゴンおよび前記最大面積指向内部ポリゴンは、同一形状を有する、請求項９に記載の方法。
17. 前記平面ポリゴンメッシュは、マーチングキューブアルゴリズムに基づいて生成される、請求項２に記載の方法。
18. 前記最小面積指向境界ポリゴンは、長方形、三角形、および円形のうちの少なくとも１つである、請求項１に記載の方法。
19. 前記最小面積指向境界ポリゴンと前記境界ポリゴンとの間の適合を決定することをさらに含む、請求項１に記載の方法。
20. 前記適合を決定することは、前記最小面積指向境界ポリゴンの第１の面積と前記境界ポリゴンの第２の面積との間の差異を計算することを含む、請求項１９に記載の方法。
21. 前記最小面積指向境界ポリゴンを表すデータを記憶することをさらに含み、
    前記最小面積指向境界ポリゴンは、長方形である、請求項１に記載の方法。
22. 前記データは、前記長方形に対応する４つの座標集合を備える、請求項２１に記載の方法。
23. 前記データはさらに、前記長方形の長さ、前記長方形の幅、および前記長方形の中心を備える、請求項２２に記載の方法。
24. 前記４つの座標集合はそれぞれ、一対の座標である、請求項２２に記載の方法。
25. 前記平面ポリゴンメッシュを生成することは、前記物理的環境の一連の画像の静的部分を捕捉することを含む、請求項２に記載の方法。
26. 物理的環境の表面モデルを生成するためのシステムであって、
    結像デバイスと、
    カメラに動作可能に結合される画像プロセッサであって、前記画像プロセッサは、
    少なくとも部分的に、前記物理的環境の画像を前記結像デバイスから取得することと、
    境界ポリゴンを少なくとも前記画像から抽出することと、
    前記境界ポリゴンに関する凸包を生成することと、
    最小面積指向境界ポリゴンを前記凸包から生成することと
    を行うように構成される、画像プロセッサと
    を備える、システム。
27. 前記結像デバイスおよび前記画像プロセッサに動作可能に結合される姿勢センサをさらに備え、
    前記画像プロセッサはまた、
    前記姿勢情報を使用して、前記３−Ｄ点群に関する切断符号付き距離関数を算出することと、
    前記切断符号付き距離関数をテッセレートすることによって、平面ポリゴンメッシュを少なくとも前記画像から生成することと
    を行うように構成され、
    前記境界ポリゴンを少なくとも前記画像から抽出することは、前記平面ポリゴンメッシュの境界ポリゴンを抽出することを含み、
    前記物理的環境の画像を取得することは、
    前記結像デバイスを使用して、前記物理的環境に対応する３−Ｄ点群を取得することと、
    前記姿勢センサを使用して、前記結像デバイスに関する姿勢情報を取得することと
    を含む、請求項２６に記載のシステム。
28. 前記画像プロセッサはまた、
    平面ポリゴンメッシュを少なくとも前記画像から生成することと、
    前記平面ポリゴンメッシュの境界ポリゴンの内側の最大面積指向内部ポリゴンを生成することと
    を行うように構成される、請求項２６に記載のシステム。
29. 前記最大面積指向内部ポリゴンを生成することは、
    前記境界ポリゴンによって画定された検索面積内で検索を実施することと、
    グリッドを前記検索面積内に形成することと、
    前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することと
    を含む、請求項２８に記載のシステム。
30. 前記画像プロセッサはまた、前記平面ポリゴンメッシュの境界ポリゴンの内側の点の選択を受信するように構成され、
    前記最大面積指向内部ポリゴンを生成することは、
    前記選択された点を使用して画定された検索面積内で検索を実施することと、
    グリッドを前記検索面積内に形成することと
    を含み、
    前記画像プロセッサはまた、前記検索面積のサイズに基づいて、前記グリッドの分解能を調節するように構成される、請求項２８に記載のシステム。
31. 前記最小面積指向境界ポリゴンは、長方形、三角形、および円形のうちの少なくとも１つである、請求項２６に記載のシステム。
32. 前記画像プロセッサはまた、前記最小面積指向境界ポリゴンを表すデータを記憶するように構成され、
    前記最小面積指向境界ポリゴンは、長方形であり、
    前記データは、前記長方形に対応する４つの座標集合を備える、
    請求項２６に記載のシステム。
33. 前記データはさらに、前記長方形の長さ、前記長方形の幅、および前記長方形の中心を備える、請求項３２に記載のシステム。
34. 前記４つの座標集合はそれぞれ、一対の座標である、請求項３２に記載のシステム。
35. 前記画像プロセッサはまた、少なくとも前記物理的環境の一連の画像の静的部分を捕捉することによって、平面ポリゴンメッシュを少なくとも前記画像から生成するように構成される、請求項２６に記載のシステム。