JP2018517187A - 仮想現実システムにおけるスパース投影 - Google Patents

仮想現実システムにおけるスパース投影 Download PDF

Info

Publication number
JP2018517187A
JP2018517187A JP2017546086A JP2017546086A JP2018517187A JP 2018517187 A JP2018517187 A JP 2018517187A JP 2017546086 A JP2017546086 A JP 2017546086A JP 2017546086 A JP2017546086 A JP 2017546086A JP 2018517187 A JP2018517187 A JP 2018517187A
Authority
JP
Japan
Prior art keywords
cluster
additional
diffractive optical
clusters
local region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017546086A
Other languages
English (en)
Other versions
JP2018517187A5 (ja
JP6581203B2 (ja
Inventor
カッツ、ドブ
フリーマン ラッキー、パーマー
フリーマン ラッキー、パーマー
レドモンド ダミーコ、サム
レドモンド ダミーコ、サム
エム. リチャーズ、エバン
エム. リチャーズ、エバン
シェン、シージェ
リー ドルソン、ジェニファー
リー ドルソン、ジェニファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Facebook Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of JP2018517187A publication Critical patent/JP2018517187A/ja
Publication of JP2018517187A5 publication Critical patent/JP2018517187A5/ja
Application granted granted Critical
Publication of JP6581203B2 publication Critical patent/JP6581203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Holo Graphy (AREA)
  • Image Processing (AREA)

Abstract

仮想現実(VR)は、複数のクラスタを1つ以上の回折光学素子を用いて生成するように構成されたスパース投影システムを含む。生成された各クラスタは、局所領域の仮想マッピング内における固有の位置に対応する固有の構成を有している。スパース投影システムは、生成した複数のクラスタを局所領域に投影する。VRコンソールは、少なくとも1つの画像が少なくとも1つのクラスタを含む局所領域の一連の画像を撮像装置から受信する。VRコンソールは、一連の画像に含まれる少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、局所領域の仮想マッピング内におけるVRヘッドセットの位置を判定する。この判定されたVRヘッドセットの位置に少なくとも部分的に基づいてコンテンツが生成され、提示するためにVRヘッドセットに提供される。

Description

本開示は、概して仮想現実システムに関し、詳しくは、仮想現実システムにおける投影システムに関する。
仮想現実(VR)システムは、ユーザが装着するVRヘッドセットの位置および移動を判定するための構成を含む。従来のVRシステムは、VRシステムで用いられる光を放出するアクティブデバイス(例えば、発光ダイオード)を用いてVRヘッドセットの位置および移動を判定することによりVRヘッドセットの位置を追跡する。
しかしながら、VRヘッドセットの位置および移動を追跡するためにアクティブ部品を用いると、VRヘッドセットの設計および製造の複雑さが増す。
仮想現実(VR)システムは、撮像装置を含むVRヘッドセットと、スパース(sparse)投影システムと、VRコンソールとを含む。スパース投影システムは、1つ以上の回折光学素子を用いて複数のクラスタを生成し、スパース投影システムを含む局所領域に複数のクラスタを投影する。各クラスタは、スパース投影システムを含む局所領域の仮想マッピング内の固有の位置に対応する固有の配置構成を有している。VRヘッドセットは、局所領域の部分の一連の画像を撮像するように構成された撮像装置を含む。画像のうちの1つ以上は、少なくとも1つのクラスタを含んでいる。また、VRヘッドセットは、局所領域の仮想マッピングに少なくとも部分的に基づいて、コンテンツを出力するように構成された電子ディスプレイを含む。VRコンソールは、VRヘッドセットの撮像装置から一連の画像を受信し、その一連の画像内の少なくとも1つのクラスタの配置構成に少なくとも部分的に基づいて局所領域の仮想マッピング内におけるVRヘッドセットの位置を判定する。そして、例えば、局所領域の仮想マッピング内におけるVRヘッドセットの位置を判定した結果に少なくとも部分的に基づいて、VRコンソールは、電子ディスプレイによる提示のためにVRヘッドに提供するコンテンツを生成する。
一実施形態による仮想現実システムを含むシステム環境のブロック図。 一実施形態による仮想現実ヘッドセットの配線図。 一実施形態によるスパース投影システムにより照明される局所領域の例を示す図。 一実施形態による投影アセンブリを含むスパースプロジェクタを示す図。 一実施形態による複数の投影アセンブリを含むスパースプロジェクタのブロック図。
図面は例示のみを目的として本開示の実施形態を示すものであり、当業者は、本明細書に記載される開示の原理または利点から逸脱することなく本明細書に例示される構造および方法の代替の実施形態も使用し得ることを以下の説明から容易に認識し得る。
[システム概略]
図1は、仮想現実(VR)コンソール110が動作するVRシステム環境100のブロック図である。図1に示すシステム環境100は、撮像装置135を含むVRヘッドセット105と、スパース(sparse)投影システム136と、VR入力インターフェース140とを備え、それらはそれぞれVRコンソール110に接続されている。図1は、1つのVRヘッドセット105と、1つのスパース投影システム136と、1つのVR入力インターフェース140とを含む例示的なシステム環境100を示しているが、他の実施形態では、これらの構成の任意の数をシステム環境100に含めてもよい。例えば、スパース投影システム136を含む局所領域に複数のクラスタを投影する複数のスパース投影システム136を設けてもよく、VRヘッドセット105および/またはVR入力インターフェース140は局所領域の仮想マッピング内でそれらに方向を合わせて使用される。前述した例では、VRヘッドセット105、VR入力インターフェース140、スパース投影システム136、および撮像装置135の各々はVRコンソール110と通信する。代替構成では、異なるおよび/または追加の構成要素をシステム環境100に含めることができる。
スパース投影システム136は、スパース投影システム136を含む局所領域にわたって複数のクラスタを生成し投影する1つ以上のスパースプロジェクタを含む。いくつかの実施形態では、スパース投影システム136は、特定の帯域(例えば、光の波長範囲)でコヒーレントな光を放出する1つ以上の光源を含む。スパース投影システム136における1つ以上の光源によって放出された光の例示的な帯域は、可視帯域(380nm〜750nm)、赤外線(IR)帯域(750nm〜1mm)、紫外帯域(10nm〜380nm)、他の電磁スペクトルの部分、またはそれらの任意の組み合わせである。例えば、スパース投影システム136の光源は、IR帯域の光を生成するレーザである。複数のクラスタを生成するために、1つ以上の回折光学素子が、スパース投影システム136における1つ以上の光源によって照明される。そして、生成された複数のクラスタがスパース投影システム136によって局所領域に投影される。スパース投影システム136は、図4および図5に関して以下でさらに説明する。
クラスタは、スパース投影システム136を含む局所領域の仮想マッピング内における固有の位置に対応する照明領域の固有のパターンまたは構成である。したがって、異なるクラスタは、局所領域の仮想マッピング内の異なる位置に関連付けられる。局所領域は、スパース投影システム136によってクラスタが投影される現実世界環境である。例えば、局所領域は、クラスタを室内の1つ以上の表面に投影するスパース投影システム136を囲む部屋の内部である。各クラスタは、クラスタの空間配置とクラスタの反射タイプとを記述した固有の配置構成を有する様々な照明領域を含む。クラスタの空間配置は、クラスタ内の照明領域の数および配置を記述する一方、反射タイプは、クラスタを生成するために使用される光の帯域(例えば、光の波長範囲)を指定する。2つのクラスタが同じ固有の配置構成を有することはない。例えば、各クラスタは、異なる空間配置を有する一方で共通の反射タイプを有する。あるいは、複数のクラスタが、同じ空間配置を有する一方で異なる反射タイプを有していてもよい。
VRヘッドセット105は、ユーザにコンテンツを提示するヘッドマウントディスプレイである。VRヘッドセット105により提示されるコンテンツの例として、1つ以上の画像、動画、音声、または、それらの任意の組み合わせが挙げられる。いくつかの実施形態では、音声は、VRヘッドセット105、VRコンソール110、またはその両方から音声情報を受信し、その音声情報に基づいて音声データを提示する外部装置(例えば、スピーカおよび/またはヘッドフォン)により提示される。VRヘッドセット105の一実施形態については、図2に関して以下でさらに説明する。VRヘッドセット105は、互いに強固または非強固に接続され得る1つ以上の複数の剛体を含むことができる。剛体間の強固な接続は、それら接続された剛体を単一の剛体として機能させる。一方、剛体間の非強固な接続は、それら剛体の互いの相対移動を可能とする。いくつかの実施形態では、VRヘッドセット105は、拡張現実(AR)ヘッドセットおよび/または複合現実(MR)ヘッドセットとして機能してもよい。これらの実施形態では、VRヘッドセット105は、コンピュータにより生成されたコンテンツ(例えば、画像、動画、音声など)を用いて物理的な現実世界環境のビューを向上させる。
いくつかの実施形態では、VRヘッドセット105は、電子ディスプレイ115、光学ブロック118、1つ以上の位置センサ125、慣性測定ユニット(IMU)130、および撮像装置135を含む。電子ディスプレイ115は、VRコンソール110から受信したデータに従ってユーザに画像を表示する。種々の実施形態において、電子ディスプレイ115は、単一の電子ディスプレイまたは複数の電子ディスプレイ(例えば、ユーザの両目用のディスプレイ)を含み得る。電子ディスプレイ115の例は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリクス有機発光ダイオード(AMOLED)ディスプレイ、他の任意のディスプレイ、またはそれらの任意の組み合わせを含む。
光学ブロック118は、受信した画像光を拡大して、その画像光に関連する光学誤差を補正し、その補正後の画像光をVRヘッドセット105のユーザに提示する。種々の実施形態では、光学ブロック118に含まれる例示的な光学素子は、絞り、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または画像光に影響を与える他の任意の適切な光学素子を含む。さらには、光学ブロック118は、異なる光学素子の組み合わせを含み得る。いくつかの実施形態では、光学ブロック118の光学素子のうちの1つ以上は、反射防止コーティングなどの1つ以上のコーティングを有し得る。
光学ブロック118による画像光の拡大により、電子ディスプレイ115は、より大型のディスプレイよりも物理的に小さくし、重量を少なくし、消費電力を少なくすることができる。また、拡大は、電子ディスプレイ115によって提示されるコンテンツの視野を増加させることができる。例えば、表示コンテンツの視野は、その表示コンテンツがほぼすべて(例えば、対角線110度)で提示されるものとなり、いくつかの場合ではユーザの視野全てとなる。いくつかの実施形態では、光学素子を追加または除去することによって拡大量を調整することができる。
光学ブロック118は、1つ以上の種類の光学誤差を補正するように設計され得る。この光学誤差の例としては、2次元光学誤差、3次元光学誤差、またはそれらの任意の組み合わせが挙げられる。2次元誤差は、2次元で生じる光学収差である。2次元誤差の例としては、樽型歪み、ピンクッション歪み、軸方向色収差、横方向色収差、または任意の他の種類の2次元光学誤差が挙げられる。3次元誤差は、3次元で生じる光学誤差である。3次元誤差の例としては、球面収差、コマ収差、像面湾曲、非点収差、または任意の他の種類の3次元光学誤差が挙げられる。いくつかの実施形態では、表示のために電子ディスプレイ115に提供されるコンテンツには予め歪みがあるので、光学ブロック118は、コンテンツに基づいて生成された電子ディスプレイ115からの画像光を受け取るときにその歪みを補正する。
IMU130は、1つ以上の位置センサ125から受信した測定信号に基づいてVRヘッドセット105の初期位置に対するVRヘッドセット105の推定位置を示す高速較正データを生成する電子デバイスである。位置センサ125は、VRヘッドセット105の動きに応じて1つ以上の測定信号を生成する。位置センサ125の例としては、1つ以上の加速度計、1つ以上のジャイロスコープ、1つ以上の磁力計、動きを検出する他の適切なタイプのセンサ、IMU130の誤差補正に使用されるタイプのセンサ、またはそれらの任意の組み合わせが挙げられる。位置センサ125は、IMU130の外部に配置されてもよいし、IMU130の内部に配置されてもよいし、またはそれらの任意の組み合わせであってもよい。
IMU130は、1つ以上の位置センサ125によって生成された1つ以上の測定信号に基づいて、VRヘッドセット105の初期位置に対するVRヘッドセット105の推定位置を示す高速較正データを生成する。例えば、位置センサ125は、並進運動(前後、上下、左/右)を測定する複数の加速度計と、回転運動(例えば、ピッチ、ヨー、ロール)を測定する複数のジャイロスコープとを含む。いくつかの実施形態では、IMU130は、種々の位置センサ125からの測定信号を迅速にサンプリングし、サンプリングデータからVRヘッドセット105の推定位置を計算する。例えば、IMU130は、1つ以上の加速度計から受信した測定信号を時間積分して速度ベクトルを推定し、その速度ベクトルを時間積分してVRヘッドセット105上の参照点の推定位置を判定する。あるいは、IMU130は、サンプリングされた測定信号をVRコンソール110に提供し、このVRコンソール110が、高速較正データを決定する。参照点は、VRヘッドセット105の位置を記述するために使用され得る点である。参照点は一般には空間内の点として規定され得るが、実際には、参照点は、VRヘッドセット105内の点(例えば、IMU130の中心)として規定される。
IMU130は、VRコンソール110から1つ以上の較正パラメータを受信する。以下でさらに説明するように、1つ以上の較正パラメータを使用してVRヘッドセット105の追跡が維持される。IMU130は、受信した較正パラメータに基づいて1つ以上のIMUパラメータ(例えば、サンプルレート)を調整することができる。いくつかの実施形態では、参照点の初期位置が参照点の次の較正位置に対応するように、IMU130が特定の較正パラメータによって参照点の初期位置を更新する。参照点の初期位置を参照点の次の較正位置として更新することは、判定した推定位置に関連する累積誤差を低減するのに有用となる。ドリフト誤差とも呼ばれる累積誤差は、参照点の推定位置を時間の経過とともに参照点の実際の位置から「ドリフト」させるものとなる。
撮像装置135は、VRヘッドセット105を含む局所領域の1つ以上の画像を撮像する。撮像画像のうち少なくとも1つの撮像画像セットは、少なくとも1つのクラスタを含む。種々の実施形態において、撮像装置135は、1つ以上のカメラ、1つ以上のビデオカメラ、クラスタの画像を撮像可能な任意の他の装置、または、それらの任意の組み合わせを含むことができる。また、撮像装置135は、1つ以上のフィルタ(例えば、信号対雑音比を高めるためのフィルタ)を含み得る。撮像装置135は、その撮像装置135の視野内のクラスタを検出するように構成されている。種々の実施形態では、撮像装置135によって撮像された画像は、撮像装置135からVRコンソール110に通信される低速較正データである。撮像装置135は、VRコンソール110から1つ以上の較正パラメータを受信して、局所領域の撮像画像に対する1つ以上の撮像パラメータ(例えば、フォーカス距離、フォーカス、フレームレート、ISO、センサ温度、シャッタ速度、絞りなど)を調整する。別の実施形態では、撮像装置135は、VRヘッドセット105とは別個に設けられる。
VR入力インターフェース140は、ユーザがVRコンソール110に動作要求を送ることを可能にするデバイスである。動作要求は、特定の動作を実行する要求である。例えば、動作要求は、アプリケーションを開始するためのもの、アプリケーションを終了するためのもの、またはアプリケーション内で特定の動作を実行するためのものとすることができる。VR入力インターフェース140は、1つ以上の入力装置を含み得る。例示的な入力装置は、キーボード、マウス、ゲームコントローラ、ジョイスティック、ヨーク、または動作要求を受信してその受信した動作要求をVRコンソール110に通信するための他の任意の適切なデバイスを含む。VR入力インターフェース140によって受信された動作要求はVRコンソール110に通信され、VRコンソール110は、その動作要求に対応する動作を実行する。いくつかの実施形態において、VR入力インターフェース140は、1つ以上のクラスタの画像を撮像してその画像をVRコンソール110に供給する撮像装置135を含んでもよい。
また、VR入力インターフェース140は、VRインターフェース140の初期位置に対するVR入力インターフェース140の推定位置を示す高速較正データを取得し、その高速較正データをVRコンソール110に提供するIMU130を含んでもよい。IMU130は、VRコンソール110から1つ以上の較正パラメータを受信する。以下でさらに説明するように、1つ以上の較正パラメータは、VRインターフェース140の追跡を維持するために使用される。
VR入力インターフェース140は、いくつかの実施形態では、VRコンソール110から受信した指示に応じて、ユーザに触覚フィードバックを提供することができる。例えば、動作要求が受信されるときに、ユーザに触覚フィードバックが提供される。別の例として、VR入力インターフェース140は、VRコンソール110が動作を実行する際にVR入力インターフェース140に触覚フィードバックを生成させる命令をVRコンソール110がVR入力インターフェース140に伝達するときに、ユーザに触覚フィードバックを提供する。
VRコンソール110は、撮像装置135、VRヘッドセット105、およびVR入力インターフェース140のうちの1つ以上から受信した情報に応じて、ユーザに提示するためのコンテンツをVRヘッドセット105に供給する。図1に示される例では、VRコンソール110は、アプリケーション記憶部145と、特徴データベース147と、マッピングモジュール148と、追跡モジュール150と、仮想現実(VR)エンジン155とを含む。なお、VRコンソール110のいくつかの実施形態は、図1に関して説明するものとは異なる構成を有している。また、以下でさらに説明する機能は、種々の実施形態では、本明細書で説明するものとは異なる方法でVRコンソール110の構成間に分散されてもよい。
アプリケーション記憶部145は、VRコンソール110による実行のための1つ以上のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されるときに、ユーザに提示するためのコンテンツを生成するための命令群である。アプリケーションによって生成されたコンテンツは、VRヘッドセット105またはVRインターフェースデバイス140の動きを通じてユーザから受信される入力に応答してもよい。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、動画再生アプリケーション、または他の適切なアプリケーションが含まれる。
特徴データベース147は、局所領域の仮想マッピング内の対応するクラスタに対する交差比(cross ratio)のマッピングを記憶する。クラスタの交差比は、クラスタ内の種々の照明領域間の距離に基づいている。例えば、クラスタの交差比は、クラスタ内の同一平面上の照明領域ペア間の距離から決定される。特定の例として、或るクラスタについて、第1照明領域と第2照明領域との間の距離と、第3照明領域と第4照明領域との間の距離との積が決定されるとともに、第1照明領域と第4照明領域との間の距離と、第3照明領域と第2照明領域との間の距離との追加の積が決定される。クラスタの交差比は、追加の積に対する積の比として決定される。この交差比は、クラスタに関連するクラスタ識別子に関連付けて特徴データベース147に記憶される。また、いくつかの実施形態では、交差比も反射タイプ(例えば、IRにおける特定の帯域)に関連付けられる。したがって、いくつかの実施形態では、交差比と追加の交差比は同じ空間配置を有する一方、異なる反射タイプを有する。これにより、交差比と追加の交差比が局所領域の異なる領域にマッピングされる。局所領域の仮想マッピング内の各クラスタは、クラスタ識別子によって一意に識別される。したがって、特徴データベース147は、種々のクラスタ識別子とそれらのそれぞれの交差比との間のマッピングを記憶する。
マッピングモジュール148は、VRヘッドセット105またはVR入力インターフェース140から受信した、投影されたクラスタの画像に基づいて局所領域の仮想マッピングを生成する。また、マッピングモジュール148は、スパース投影システム136およびVRヘッドセット105に対する局所領域内の各クラスタの位置を判定する。例えば、マッピングモジュール148は、VRヘッドセット105からの低速較正情報(例えば、局所領域の部分の画像)を使用して、撮像されたクラスタからVRヘッドセット105までの距離を計算する。VRヘッドセット105から受信した情報とスパース投影システム136からのクラスタ情報とに基づき、マッピングモジュール148は、異なるクラスタに関連付けられたクラスタ識別子を用いて、局所領域を覆う仮想空間内の特定の位置に各クラスタを割り当てることによって仮想マッピングを生成する。
追跡モジュール150は、1つ以上の較正パラメータを使用してシステム環境100を較正する。また、追跡モジュール150は、1つ以上の較正パラメータを調整することにより、VRヘッドセット105の位置判定の誤差を低減することができる。例えば、追跡モジュール150は、観測されたクラスタのより正確な位置を得るために撮像装置135のフォーカスを調整する。さらに、追跡モジュール150によって行われる較正では、VRヘッドセット105内の、またはVR入力インターフェース140内のIMU130から受信した情報も考慮する。VRヘッドセット105またはVR入力インターフェース140の追跡が失われた場合(例えば、撮像装置135が少なくとも閾値数のクラスタについての視線を失う場合)、追跡モジュール150は、システム環境100の一部または全部を再較正してもよい。
追跡モジュール150は、1つ以上の撮像装置135からの低速較正情報を使用して、VRヘッドセット105またはVR入力装置140の動きを追跡する。例えば、追跡モジュール150は、低速較正情報からの少なくとも1つの観測されたクラスタと、特徴データベース147とを用いて、仮想マッピング内のVRヘッドセット105の参照点の位置を判定する。例えば、追跡モジュール150は、観察されたクラスタの交差比を判定し、判定した交差比を特徴データベース147に記憶されている交差比と比較する。そして、追跡モジュール150は、判定した交差比と一致する交差比に関連付けられているクラスタ識別子を特徴データベース147から特定し、その特定したクラスタ識別子に対応する局所領域内の位置をマッピングモジュール148から判定する。VR入力インターフェース140が撮像装置135を含む場合の実施形態では、追跡モジュール150は、VRヘッドセット105について上述した方法と同様の方法で、VR入力インターフェース140の位置を決定する。
また、追跡モジュール150は、高速較正情報からの位置情報を使用して、VRヘッドセット105の参照点の位置、またはVR入力インターフェース140の参照点の位置を判定してもよい。また、いくつかの実施形態では、追跡モジュール150は、VRヘッドセット105の将来位置、またはVR入力インターフェース140の将来位置を予測するために、高速較正情報の一部、低速較正情報、またはそれらの任意の組み合わせを使用してもよい。追跡モジュール150は、VRヘッドセット105またはVR入力インターフェース140の推定または予測した将来位置をVRエンジン155に提供する。
VRエンジン155は、システム環境100内のアプリケーションを実行して、追跡モジュール150から、VRヘッドセット105の位置情報、加速度情報、速度情報、予測される将来位置、またはそれらの任意の組み合わせを受信する。この受信した情報に基づいて、VRエンジン155は、ユーザに提示するべくVRヘッドセット105に提供するコンテンツを決定する。コンテンツは、動画情報、1つ以上の画像、仮想オブジェクト、音声情報、またはそれらの任意の組み合わせを含むことができる。例えば、受信した情報が、ユーザが左を見たことを示す場合、VRエンジン155は、仮想環境におけるユーザの動きを反映するVRヘッドセット105用のコンテンツを生成する。また、VRエンジン155は、VR入力インターフェース140から受信した動作要求に応答して、VRコンソール110上で実行中のアプリケーション内で動作を実行し、その動作が実行されたことをユーザにフィードバックする。このフィードバックは、VRヘッドセット105を介した視覚的または聴覚的なフィードバックであってもよいし、またはVR入力インターフェース140を介した触覚フィードバックであってもよい。
図2は、一実施形態による仮想現実(VR)ヘッドセット200の配線図である。VRヘッドセット200は、VRヘッドセット105の実施形態であり、フロント剛体205およびバンド210を含む。フロント剛体205は、電子ディスプレイ115(図示略)の1つ以上の電子ディスプレイ要素、IMU130、1つ以上の位置センサ125、および撮像装置135を含む。いくつかの実施形態において、撮像装置135は2つの異なるカメラであり、この2つのカメラによって生成された個別の画像を使用して、VRヘッドセット200から、スパース投影システム136によって投影され双方のカメラによって撮像されるクラスタまでの距離が決定される。別の実施形態では、撮像装置135は、スパース投影システム136によって投影されて撮像されるクラスタまでの距離を決定するための距離ファインダを含む単一のカメラである。また、代替実施形態では、1つ以上の撮像装置をVRヘッドセット200から分離してもよい。例えば、VRヘッドセット200を含む局所領域を異なる視点から見ることができるように1つ以上の撮像装置が構成されてもよい。
図3は、スパース投影システム136による局所領域300の照明例である。図3の例では、局所領域300は、局所領域300にわたって複数のクラスタ340を生成および投影するスパースプロジェクタ310を含む。図1に関して上述したように、各クラスタは、クラスタの空間配置と反射タイプとを記述する固有の配置構成を有する。例えば、クラスタ340Aは、クラスタ340Bの空間配置とは異なる空間配置を有する。別の例として、クラスタ340Aとクラスタ340Bは共通の空間配置を有する一方、異なる反射タイプを有する。図1に関して上述したように、各クラスタは局所領域300の仮想マッピング内の固有の位置に対応するため、単一のクラスタを含む画像を撮像することにより、局所領域300の仮想マッピング内におけるVRヘッドセット105の位置を識別することが可能となる。
いくつかの例では、局所領域300は、1つ以上のアイテム(椅子、テーブル、ソファ、人など)を含む。図3の例では、局所領域300はテーブル320を含み、テーブル320上でスパースプロジェクタ310が特定のクラスタを投影する。スパースプロジェクタ310に対してテーブル320が位置決めされると、クラスタ310が投影されていないテーブル310の背後に影領域330が生成される。いくつかの実施形態では、クラスタ340を影領域310に投影するために、1つ以上の追加のスパースプロジェクタ310が局所領域300内にて異なる位置に含まれる。例えば、図3の局所領域300内のテーブル320上方において天井に取り付けられる第2のスパースプロジェクタが含まれることで、影領域330内にクラスタを投影して、局所領域300のより適切な仮想マッピングをVRコンソール110によって生成することが可能となる。
図4は、投影アセンブリ410を含むスパースプロジェクタ400の実施形態のブロック図である。図4に示す例では、スパースプロジェクタ400は、光源アセンブリ405と投影アセンブリ410を含む。光源アセンブリ405は、投影アセンブリ410に向けてコヒーレントな光ビーム412を放出するように構成されたコヒーレント光源である。光源アセンブリ405の例には、レーザダイオード、垂直共振器面発光レーザ、チューナブルレーザ、またはコヒーレントな光を放出する他の光源が含まれる。種々の実施形態において、光源アセンブリ405はIR帯域の光を放出する。しかしながら、他の実施形態では、光源アセンブリ405は、可視帯域、UV帯域、または任意の他の適切な帯域の光を放出する。いくつかの実施形態では、光ビーム412は、比較的コリメートされ得る。しかしながら、いくつかの実施形態では、光源アセンブリ405は、コリメートされていない光ビーム412を放出する。例えば、光源アセンブリ405によって放出された光は発散または収束してもよい。したがって、いくつかの実施形態では、光源アセンブリ405は、光源からの光を光ビーム412にコリメートするコリメータも含む。
投影アセンブリ410は、光源アセンブリ405から放出された光ビーム412を受信し、複数のクラスタを出力する。一実施形態では、投影アセンブリ410は、ビーム拡大アセンブリ420と、回折光学素子430と、変換アセンブリ440とを含む。しかしながら、他の実施形態では、投影アセンブリ410は、図4に関して説明するものとは異なるおよび/または追加の構成要素を含み得る。
ビーム拡大アセンブリ420は、光源アセンブリ405から受信したコヒーレントな光ビーム412を拡大して、回折光学素子430を完全に照明するのに十分な大きさを有する拡大光ビーム422を生成する。ビーム拡大アセンブリ420は、ガリレオ式、ケプラー式、または回折光学素子430を完全に照明する拡大光ビーム422をビーム412から生成するように構成された他の任意の構造とすることができる。いくつかの実施形態では、単一の回折光学素子430を基板上に設けてもよく、この場合、コヒーレントな光ビーム412は、単一の回折光学素子430のみを照明する。他の実施形態において、基板は、異なるクラスタ群にそれぞれ対応する複数の回折光学素子430を含んでもよく、この場合、コヒーレントな光ビーム412は、複数の回折光学素子430のうちのいくつかまたはすべてを同時に照明する。
回折光学素子430は、局所領域内への投影のための複数のクラスタの2次元(2D)フーリエ変換である。種々の実施形態において、回折光学素子430は、フーリエ変換ホログラフィなどの計算機合成ホログラフィを使用して生成される計算機合成ホログラム(computer generated hologram)である。いくつかの実施形態では、計算機合成ホログラムは、空間光モジュレータ(例えば、位相変調モードで動作するモジュレータ)上で提示される。あるいは、計算機合成ホログラムは、光学素子に適用されるフィルムである。計算機合成ホログラフィは、ホログラフィック干渉パターンをデジタル的に生成し、生成したパターンを回折光学素子430などの光学素子に適用する。回折光学素子430を複数のクラスタの2Dフーリエ変換を用いて符号化するために種々の方法を用いることが可能であり、これらの方法の例は、Brown, Byron R., Lohmann, Adolf W., “Complex spatial filtering with binary masks”, Applied Optics (Optical Society of America), Volume 5, Number 6, June 1966や、JJ Burch (1967), “A Computer Algorithm for the Synthesis of Spatial Frequency Filters”, Applied Optics, Proceedings of IEEE (IEEE) 55: 599-601や、Burrchardt, C.B., “A Simplification of Lee's Method of Generating Holograms by Computer”, Applied Optics, Volume 9, Number 8, August 1970や、Lee, Wai Hon, “Sampled Fourier Transform Hologram Generated by Computer”, Applied Optics, Volume 9, Number 3, March 1970や、Lohmann, A. W., Paris, D. P., “Binary Fraunhofer Holograms, Generated by Computer”, Applied Optics, Volume 6, Number 10, October 1967や、Lohmann, A. W., Sinzinger, S. “Graphic Codes for Computer Holography”, Applied Optics, Volume 34, Number 17, June 1995に記載されており、それらのすべてはその全体を参照することによって本明細書に組み込まれる。図4は、複数のクラスタの2Dフーリエ変換である例示的な回折光学素子430の例を含む。説明を目的として、回折光学素子430の符号化を分かりやすく示すために、回折光学素子430の一部440が拡大されている。回折光学素子430の拡大部分440に示されている垂直バーは、単一のクラスタのフーリエ変換の例であり、そのクラスタの振幅および位相情報が、回折光学素子430の部分440に量子化および符号化されている。
回折光学素子430は、遠視野内の所望の画像の逆であるマスクよりも、光学パワーの減衰を少なくする。例えば、遠視野内の所望の画像が、1つ以上の照明領域を含む複数のクラスタであるとき、所望の画像のマスクは、照明領域に対応する位置では透明であり、他の位置では不透明である。例えば、図4は、単一のクラスタに対応するマスク450の一部を示す。しかしながら、実際には、マスクは光のかなりの部分を遮断し、光パワーの大部分を無駄にする。図4に示すように、回折光学素子430の拡大部分440は、マスク450の部分よりも光の遮断を著しく少なくし、単一のクラスタにも対応する。したがって、回折光学素子430を使用することにより、マスクの使用に比べてクラスタ442を生成するのに必要な光学パワーが低減される。
変換アセンブリ440は、回折光学素子430から出力された光432の逆フーリエ変換を行うことで複数のクラスタ442を生成し、スパースプロジェクタ400を含む局所領域にそれら複数のクラスタ442を投影する。例えば、変換アセンブリ440は、変換レンズおよび投影部品を含む。変換レンズは正レンズであり、回折光学素子430からの出力432の2D逆フーリエ変換を行い、遠視野にて変換レンズの後焦点面に現れるような複数のクラスタ442の画像を出力する。上述したように、いくつかの実施形態では、異なるクラスタ群に対応する複数の回折光学素子430を同時に照明することが可能であり、その場合、いくつかの例において、変換アセンブリ440は、クラスタ群を遠視野内で重畳させる。
変換アセンブリ440の投影部品は、クラスタ442の画像を大きな視野(例えば、半球)にわたって局所領域に投影する。種々の実施形態において、投影部品は、クラスタ442の画像に関して位置決めされてクラスタ442を大きな視野にわたって投影する1つ以上のレンズを含む。いくつかの実施形態では、クラスタ442が投影される視野が半球(例えば、180度)に近づくように、魚眼レンズが使用される。また、いくつかの実施形態では、クラスタ442の画像の低次表現が局所領域に投影されることを防ぐために、1つ以上のフィルタおよび/またはバッフルを使用してもよい。
図5は、複数の投影アセンブリ510A,510B,510Cを含むスパースプロジェクタ500の実施形態のブロック図である。図5に示す例では、スパースプロジェクタ500は、光源アセンブリ505と、投影アセンブリ510A,510B,510Cとを含む。光源アセンブリ505は、図4に関して上述した光源アセンブリ405と実質的に同じである。しかしながら、光源アセンブリ505は、単一の光ビームに代えて、複数の光ビーム515A,515B,515Cを出力するように構成されている。いくつかの実施形態において、光源アセンブリ505によって出力される異なる光ビーム515A,515B,515Cは、同じ波長範囲にある。あるいは、光源アセンブリ505によって出力される異なる光ビーム515A,515B,515Cは、異なる波長範囲にある。
投影アセンブリ510A,510B,510Cはそれぞれ、図4に関して上述した投影アセンブリ410と実質的に同じである。いくつかの実施形態では、各投影アセンブリ510A,510B,510Cが異なる回折光学素子を含むことにより、各投影アセンブリ510A,510B,510Cはそれぞれ異なるクラスタ群542A,542B,542Cを出力する。また、各クラスタ群542A,542B,542C内における各クラスタは固有であるため、特定のクラスタは、クラスタ群542A,542B,542Cにおいて1回出現する。代替実施形態では、各投影アセンブリ510A,510B,510Cの回折光学素子は同じであるが、各投影アセンブリ510A,510B,510Cは、異なる波長範囲を使用して照明される。例えば、光ビーム515Aは特定の波長範囲であり、光ビーム515Bは異なる波長範囲であり、光ビーム515Cは別の波長範囲である。したがって、異なるクラスタ群542A,542B,542Cにおけるクラスタは同じ空間配置を有し得る一方、異なる反射タイプを有する。このため、クラスタ群542A,542B,542Cにおける各クラスタは、依然として固有の配置構成を有する。
複数の投影アセンブリ510A,510B,510Cを使用することにより、投影アセンブリ510A,510B,510Cのそれぞれの視野(それぞれ、例えば60度)内のクラスタ群542A,542B,542Cにおけるクラスタの密度を増加させることができる。これは、クラスタ群542A,542B,542Cのうちの所与のクラスタ群は、スパースプロジェクタ500の全視野(例えば、180度)にわたって拡散しないためである。対照的に、図4の投影アセンブリ410は、同じ視野(例えば、180度)にわたって単一のクラスタ群442を出力する。したがって、クラスタ群542A,542B,542Cにおいて隣接するクラスタ間の距離はより小さく、潜在的に局所領域のより正確な仮想マッピングが可能になる。
[追加構成情報]
本開示の実施形態に関する上記の説明は、例示を目的として提示されるものであり、包括的であることまたは開示された正確な形態に特許権を限定することを意図するものではない。当業者であれば、上記の開示内容をもとに、多くの変更および変形が可能である。
この説明のいくつかの部分は、情報に関する操作のアルゴリズムおよび記号表現に関する実施形態を説明する。これらのアルゴリズム記述や表現は、データ処理技術の当業者によって一般的に使用され、その作業の実体を当業者に効果的に伝えるためのものである。これらの動作は、機能的に、計算的に、または論理的に記載されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現される。さらに、これらの操作の構成は、一般性を失うことなく、モジュールと呼ばれる場合もある。記載された動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化されてもよい。
本明細書に記載のステップ、動作、または処理のいずれかは、単独で、または他の装置との組み合わせによって、1つ以上のハードウェアまたはソフトウェアモジュールで実行または実装することができる。一実施形態では、ソフトウェアモジュールは、記述されたステップ、動作、または処理のいずれかまたはすべてを実行するコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で具現化される。
また、本開示の実施形態は、本明細書の動作を実行するための装置に関連し得る。この装置は、必要な目的のために特別に構成することができ、および/またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成された汎用演算装置を含み得る。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するのに適しておりコンピュータシステムバスに接続され得る任意の種類の媒体に記憶され得る。さらには、本明細書で説明される任意の演算システムは、単一のプロセッサを含むことができ、または演算能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
また、本開示の実施形態は、本明細書で説明される演算プロセスによって生成される製品に関連し得る。そのような製品は、非一時的な有形のコンピュータ可読記憶媒体に情報が記憶される演算処理から得られる情報を含むことができ、本明細書で説明されるコンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含むことができる。
本明細書で使用される用語は、主として、読みやすさおよび教授目的のために選択されており、特許権を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、詳細な説明によって限定されるものではなく、本明細書に基づく出願の任意の請求項によって限定されることが意図される。したがって、本実施形態の開示内容は、特許請求の範囲に記載された特許権の範囲を例示するものであって、これに限定されるものではない。

Claims (20)

  1. システムであって、
    局所領域の仮想マッピング内における固有の位置に対応する固有の構成をそれぞれ有する複数のクラスタを1つ以上の回折光学素子を用いて生成し、生成した前記複数のクラスタを前記局所領域にわたって投影するように構成されたスパース投影システムと、
    仮想現実(VR)ヘッドセットであって、
    前記局所領域の部分の一連の画像を撮像するように構成され、少なくとも1つの画像が少なくとも1つのクラスタを含む撮像装置と、
    前記局所領域の前記仮想マッピングに少なくとも部分的に基づいて動画情報を出力するように構成された電子ディスプレイと、
    を含むVRヘッドセットと、
    VRコンソールであって、
    プロセッサと、
    前記プロセッサに接続され、前記プロセッサにより実行されたときに前記プロセッサに処理を実行させる命令を含むメモリと、
    を含むVRコンソールと、を備え、
    前記プロセッサは、前記命令が前記プロセッサにより実行されたとき、
    前記撮像装置から前記一連の画像を受信し、
    前記少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定し、
    前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定した結果に少なくとも部分的に基づいてコンテンツを生成し、
    前記電子ディスプレイによる提示のために前記VRヘッドセットに前記コンテンツを提供する、システム。
  2. 前記1つ以上の回折光学素子のうち1つの回折光学素子は計算機合成ホログラムであり、前記スパース投影システムは、前記回折光学素子から出力された光の逆フーリエ変換を行うことによって複数のクラスタを生成するように構成されている、請求項1に記載のシステム。
  3. 所与のクラスタの前記固有の構成は、前記所与のクラスタ内における照明領域の数および配置を記述した空間配置と、前記所与のクラスタを生成するために用いられる光の帯域を指定する反射タイプとの組み合わせである、請求項1に記載のシステム。
  4. 前記スパース投影システムは、
    光ビームと追加の光ビームとを生成するように構成された光源アセンブリと、
    前記1つ以上の回折光学素子のうち1つの回折光学素子と前記光ビームとを用いて前記複数のクラスタのうちのクラスタ群を生成し、生成した前記クラスタ群を前記局所領域の一部にわたって投影するように構成された投影アセンブリと、
    前記1つ以上の回折光学素子のうち追加の回折光学素子と前記追加の光ビームとを用いて前記複数のクラスタのうちの追加のクラスタ群を生成し、生成した前記追加のクラスタ群を前記局所領域の更なる部分にわたって投影するように構成された第2の投影アセンブリと、
    を含む、請求項3に記載のシステム。
  5. 前記光ビームと前記追加の光ビームとが異なる波長を有することにより、前記クラスタ群に関連付けられた反射タイプが前記追加のクラスタ群に関連付けられた反射タイプとは異なっている、請求項4に記載のシステム。
  6. 前記回折光学素子と前記追加の回折光学素子は、前記クラスタ群の空間配置が前記追加のクラスタ群の空間配置と同じとなるように構成されている、請求項5に記載のシステム。
  7. 前記光ビームと前記追加の光ビームは、前記クラスタ群に関連付けられた反射タイプが前記追加のクラスタ群に関連付けられた反射タイプと同じとなるように構成されている、請求項4に記載のシステム。
  8. 前記回折光学素子と前記追加の回折光学素子とが異なることにより、前記クラスタ群の空間配置が前記追加のクラスタ群の空間配置とは異なっている、請求項7に記載のシステム。
  9. システムであって、
    スパース投影システムであって、
    1つ以上の光ビームを生成するように構成された光源アセンブリと、
    局所領域の仮想マッピング内における固有の位置に対応する固有の構成をそれぞれ有する複数のクラスタを、前記1つ以上の光ビームのうち1つのビームと回折光学素子とを用いて生成し、生成した前記複数のクラスタを前記局所領域にわたって投影するように構成された投影アセンブリと、
    を含むスパース投影システムと、
    仮想現実(VR)ヘッドセットであって、
    前記局所領域の部分の一連の画像を撮像するように構成され、少なくとも1つの画像が少なくとも1つのクラスタを含む撮像装置と、
    前記局所領域の前記仮想マッピングに少なくとも部分的に基づいてコンテンツを出力するように構成された電子ディスプレイと、
    を含むVRヘッドセットと、
    VRコンソールであって、
    プロセッサと、
    前記プロセッサに接続され、前記プロセッサにより実行されたときに前記プロセッサに処理を実行させる命令を含むメモリと、
    を含むVRコンソールと、を備え、
    前記プロセッサは、前記命令が前記プロセッサにより実行されたとき、
    前記撮像装置から前記一連の画像を受信し、
    前記少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定し、
    前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定した結果に少なくとも部分的に基づいてコンテンツを生成し、
    前記電子ディスプレイによる提示のために前記VRヘッドセットに前記コンテンツを提供する、システム。
  10. 前記回折光学素子は計算機合成ホログラムであり、前記スパース投影システムは、前記回折光学素子から出力された光の逆フーリエ変換を行うことによって前記複数のクラスタを生成するように構成されている、請求項9に記載のシステム。
  11. 所与のクラスタの前記固有の構成は、前記所与のクラスタ内における照明領域の数および配置を記述した空間配置と、前記所与のクラスタを生成するために用いられる光の帯域を指定する反射タイプとの組み合わせである、請求項9に記載のシステム。
  12. 前記スパース投影システムは、追加の回折光学素子と前記1つ以上の光ビームのうち追加の光ビームとを用いて追加の複数のクラスタを生成し、生成した前記追加の複数のクラスタを前記局所領域にわたって投影するように構成された追加の投影アセンブリをさらに含む、請求項11に記載のシステム。
  13. 前記複数のクラスタに関連付けられた反射タイプが前記追加の複数のクラスタに関連付けられた反射タイプとは異なるように、前記光ビームと前記追加の光ビームが異なる波長を有している、請求項12に記載のシステム。
  14. 前記回折光学素子と前記追加の回折光学素子とが同じ構成であることにより、前記複数のクラスタの空間配置と前記追加の複数のクラスタの空間配置とが同じである、請求項13に記載のシステム。
  15. 前記複数のクラスタに関連付けられた反射タイプが前記追加の複数のクラスタに関連付けられた反射タイプと同じとなるように、前記光ビームと前記追加の光ビームが同じ構成である、請求項12に記載のシステム。
  16. 前記回折光学素子と前記追加の回折光学素子とが異なることにより、前記複数のクラスタの空間配置が前記追加の複数のクラスタの空間配置とは異なっている、請求項15に記載のシステム。
  17. システムであって、
    スパース投影システムであって、
    1つ以上の光ビームを生成するように構成された光源アセンブリと、
    局所領域の仮想マッピング内における固有の位置に対応する固有の構成をそれぞれ有する複数のクラスタを、前記1つ以上の光ビームのうち1つのビームと回折光学素子とを用いて生成し、生成した前記複数のクラスタを前記局所領域にわたって投影するように構成された投影アセンブリと、
    を含むスパース投影システムと、
    VRコンソールであって、
    プロセッサと、
    前記プロセッサに接続され、前記プロセッサにより実行されたときに前記プロセッサに処理を実行させる命令を含むメモリと、
    を含むVRコンソールと、を備え、
    前記プロセッサは、前記命令が前記プロセッサにより実行されたとき、
    少なくとも1つの画像が少なくとも1つのクラスタを含む一連の画像を撮像装置から受信し、
    前記少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、前記局所領域の前記仮想マッピング内におけるVRヘッドセットの位置を判定し、
    前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定した結果に少なくとも部分的に基づいてコンテンツを生成し、
    電子ディスプレイによる提示のために前記VRヘッドセットに前記コンテンツを提供する、システム。
  18. 前記1つ以上の回折光学素子のうち1つの回折光学素子は計算機合成ホログラムであり、前記スパース投影システムは、前記回折光学素子から出力された光の逆フーリエ変換を行うことによって前記複数のクラスタを生成するように構成されている、請求項17に記載のシステム。
  19. 前記スパース投影システムは、
    前記光ビームと追加の光ビームとを生成するように構成された光源アセンブリと、
    前記1つ以上の回折光学素子のうち1つの回折光学素子と前記光ビームとを用いて前記複数のクラスタのうちのクラスタ群を生成し、生成した前記クラスタ群を前記局所領域の一部にわたって投影するように構成された投影アセンブリと、
    前記1つ以上の回折光学素子のうち追加の回折光学素子と前記追加の光ビームとを用いて前記複数のクラスタのうちの追加のクラスタ群を生成し、生成した前記追加のクラスタ群を前記局所領域の更なる部分にわたって投影するように構成された追加の投影アセンブリと、
    を含む、請求項17に記載のシステム。
  20. 所与のクラスタの前記固有の構成は、前記所与のクラスタ内における照明領域の数および配置を記述した空間配置と、前記所与のクラスタを生成するために用いられる光の帯域を指定する反射タイプとの組み合わせである、請求項17に記載のシステム。
JP2017546086A 2015-03-04 2016-03-04 仮想現実システムにおけるスパース投影 Active JP6581203B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562128433P 2015-03-04 2015-03-04
US62/128,433 2015-03-04
PCT/US2016/020814 WO2016141263A1 (en) 2015-03-04 2016-03-04 Sparse projection for a virtual reality system

Publications (3)

Publication Number Publication Date
JP2018517187A true JP2018517187A (ja) 2018-06-28
JP2018517187A5 JP2018517187A5 (ja) 2019-02-28
JP6581203B2 JP6581203B2 (ja) 2019-09-25

Family

ID=56849076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017546086A Active JP6581203B2 (ja) 2015-03-04 2016-03-04 仮想現実システムにおけるスパース投影

Country Status (6)

Country Link
US (1) US10073263B2 (ja)
EP (1) EP3114528B1 (ja)
JP (1) JP6581203B2 (ja)
KR (1) KR102054695B1 (ja)
CN (1) CN107533225B (ja)
WO (1) WO2016141263A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728518B2 (en) 2018-03-22 2020-07-28 Microsoft Technology Licensing, Llc Movement detection in low light environments
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10944957B2 (en) 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10565720B2 (en) 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10994216B2 (en) * 2019-08-15 2021-05-04 Board Media Group LLC Virtual reality motion simulator
WO2023009755A1 (en) 2021-07-29 2023-02-02 Summer Robotics, Inc. Dynamic calibration of 3d acquisition systems
WO2023177692A1 (en) 2022-03-14 2023-09-21 Summer Robotics, Inc. Stage studio for immersive 3-d video capture
US20230316657A1 (en) * 2022-04-05 2023-10-05 Summer Robotics, Inc. Auxiliary device for augmented reality
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231270A1 (en) * 2005-06-30 2009-09-17 Panu Vartiainen Control device for information display, corresponding system, method and program product
WO2012033170A1 (ja) * 2010-09-08 2012-03-15 大日本印刷株式会社 投射装置および投射型映像表示装置
WO2012049795A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 表示処理装置、表示方法およびプログラム
JP2013206322A (ja) * 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理システム及び情報処理方法
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50311875D1 (de) * 2002-11-13 2009-10-15 Seereal Technologies Gmbh Einrichtung zur rekonstruktion von videohologrammen
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US8711370B1 (en) 2012-10-04 2014-04-29 Gerard Dirk Smits Scanning optical positioning system with spatially triangulating receivers
JP6061334B2 (ja) * 2012-11-26 2017-01-18 Kddi株式会社 光学式シースルー型hmdを用いたarシステム
JP6123342B2 (ja) * 2013-02-20 2017-05-10 ソニー株式会社 表示装置
EP2797313A1 (en) 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
DE102013210746A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs
CN103617636B (zh) * 2013-12-02 2016-08-17 西北工业大学 基于运动信息及稀疏投影的视频目标自动检测跟踪方法
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
WO2015138266A1 (en) * 2014-03-10 2015-09-17 Ion Virtual Technology Corporation Modular and convertible virtual reality headset system
CN110308561A (zh) * 2014-03-14 2019-10-08 索尼互动娱乐股份有限公司 用于头戴式显示器(hmd)的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231270A1 (en) * 2005-06-30 2009-09-17 Panu Vartiainen Control device for information display, corresponding system, method and program product
WO2012033170A1 (ja) * 2010-09-08 2012-03-15 大日本印刷株式会社 投射装置および投射型映像表示装置
WO2012049795A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 表示処理装置、表示方法およびプログラム
JP2013206322A (ja) * 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理システム及び情報処理方法
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENG, DONGDONG, 外3名: "Study on an Indoor Tracking System with Infrared Projected Markers for Large-area Applications", VRCAI 2009, JPN6019008824, 14 December 2009 (2009-12-14), US, pages 239 - 242, ISSN: 0003995878 *

Also Published As

Publication number Publication date
KR102054695B1 (ko) 2019-12-11
EP3114528A4 (en) 2017-11-01
CN107533225A (zh) 2018-01-02
CN107533225B (zh) 2020-07-14
US20160259168A1 (en) 2016-09-08
US10073263B2 (en) 2018-09-11
EP3114528A1 (en) 2017-01-11
KR20170122215A (ko) 2017-11-03
WO2016141263A1 (en) 2016-09-09
JP6581203B2 (ja) 2019-09-25
EP3114528B1 (en) 2019-11-06

Similar Documents

Publication Publication Date Title
JP6581203B2 (ja) 仮想現実システムにおけるスパース投影
US10511829B1 (en) Dynamic control over structured illumination intensity
EP3371973B1 (en) Eye tracking using a diffraction pattern of coherent light on the surface of the eye
CN109425994B (zh) 深度相机组件、头戴式显示器和用于深度感测的方法
US10636193B1 (en) Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
US10636192B1 (en) Generating a graphical representation of a face of a user wearing a head mounted display
US10237481B2 (en) Event camera for generation of event-based images
US10529113B1 (en) Generating graphical representation of facial expressions of a user wearing a head mounted display accounting for previously captured images of the user's facial expressions
US10410373B1 (en) Calibration of a phase interferometry depth camera assembly
US10120442B2 (en) Eye tracking using a light field camera on a head-mounted display
JP2022504010A (ja) 構造化光源および飛行時間カメラ付き深度測定アセンブリ
US10948283B1 (en) Tileable structured light projection system
JP2019533918A (ja) 深度マッピング用のアレイ検出器
US10789777B1 (en) Generating content for presentation by a head mounted display based on data captured by a light field camera positioned on the head mounted display
US10795436B2 (en) Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
US10521926B1 (en) Tileable non-planar structured light patterns for wide field-of-view depth sensing
US10495882B1 (en) Positioning cameras in a head mounted display to capture images of portions of a face of a user
EP3445049B1 (en) Camera assembly with programmable diffractive optical element for depth sensing
EP3393122A1 (en) Event camera

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180709

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190117

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190117

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190520

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190829

R150 Certificate of patent or registration of utility model

Ref document number: 6581203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250