JP2023055715A - 深度検知のためのプログラム可能回折光学素子を有するカメラアセンブリ - Google Patents

Abstract

【課題】固定された構造光および回折光学素子に基づく深度検知は、照明パターンの調節が必要な場合の動的な深度検知には十分堅牢ではない。【解決手段】局所エリアの深度検知のための深度カメラアセンブリ（ＤＣＡ）の構造光発生器は、光学ビームを使用する回折スキャンビームを生成するプログラム可能回折光学素子（ＰＤＯＥ）を含む。ＰＤＯＥは、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。回折スキャンビームは、構造光パターンとして局所エリアに投影され、構造光パターンは、ＰＤＯＥに基づいて動的に調節可能である。イメージデバイスは、局所エリア内のオブジェクトから反射された構造光パターンの少なくとも一部のイメージをキャプチャする。コントローラは、キャプチャされたイメージに基づいて、オブジェクトの深度情報を決定する。【選択図】図３Ａ

Description

本開示は、一般に、深度検知に関し、詳細には、３次元深度検知のためのプログラム可能回折光学素子（ＰＤＯＥ：ｐｒｏｇｒａｍｍａｂｌｅ ｄｉｆｆｒａｃｔｉｖｅ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）を有するカメラアセンブリに関する。

ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を使用するときの深度検知に対する感動的なユーザ体感を実現するためには、リアルタイムに動的に調節可能な照明パターンを提供するスキャンデバイスを作り出すことが重要である。ほとんどの深度検知方法は、アクティブな照明および検出に依存する。深度検知のための従来の方法は、構造光または飛行時間技法を使用する機械的スキャンまたは固定された回折光学素子パターン投影を伴う。飛行時間に基づく深度検知は、短パルスをオブジェクト空間に送信するために、機械ベースのミラーデバイス（スキャナ）を使用する。飛行時間に基づく深度検知は、高解像度深度マップを作り出すために、オブジェクトからの時間ゲート後方散乱光に対してハイスピード検出器をさらに使用する。しかし、機械ベースのスキャナは、スキャンスピード、リアルタイム再構成、および機械的安定性において十分に作動しない。固定された構造光に基づく深度検知は、オブジェクト空間に投影される静的な（固定された）パターンの構造光を生成するために、回折光学素子を使用する。固定された構造光に基づく深度検知は、深度マップを計算して抽出するために、予め格納された探索テーブルをさらに使用する。しかし、固定された構造光および回折光学素子に基づく深度検知は、照明パターンの調節が必要な場合の動的な深度検知には十分堅牢ではない。

深度カメラアセンブリ（ＤＣＡ：ｄｅｐｔｈ ｃａｍｅｒａ ａｓｓｅｍｂｌｙ）は、局所エリア内の１つまたは複数のオブジェクトと関連付けられた深度情報を決定する。ＤＣＡは、構造光発生器、イメージデバイス、およびコントローラを備える。構造光発生器は、放射指令に従って、構造光パターン（例えば、ドットパターン、ラインパターン、等）で局所エリアを照らすように構成される。構造光発生器は、照明光源、プログラム可能回折光学素子（ＰＤＯＥ）、および投影アセンブリを含む。照明光源は、光学ビームを放射するように構成される。ＰＤＯＥは、光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成する。ＰＤＯＥは、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。投影アセンブリは、回折スキャンビームを構造光パターンとして局所エリアに投影するように構成され、構造光パターンは、ＰＤＯＥに基づいて動的に調節可能である。イメージデバイスは、局所エリア内の１つまたは複数のオブジェクトから反射された構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成される。コントローラは、構造光発生器とイメージデバイスの両方に連結されることが可能である。コントローラは、放射指令を生成し、構造光発生器に放射指令を提供する。コントローラは、キャプチャした１つまたは複数のイメージに部分的に基づいて、１つまたは複数のオブジェクトの深度情報を決定することも行うように構成される。

ヘッドマウントディスプレイ（ＨＭＤ）は、ＤＣＡをさらに統合することができる。ＨＭＤは、電子ディスプレイおよび光学アセンブリをさらに含む。ＨＭＤは、例えば、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）システム、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）システム、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）システム、またはこれらのいくつかの組合せであることが可能である。電子ディスプレイは、イメージ光を放射するように構成される。光学アセンブリは、ユーザの眼のロケーションに対応するＨＭＤの射出瞳にイメージ光を向けるように構成され、イメージ光は、ＤＣＡによって決定された局所エリア内の１つまたは複数のオブジェクトの深度情報を含む。

本発明による実施形態は、深度カメラアセンブリ（ＤＣＡ）、方法、およびヘッドマウントディスプレイ（ＨＭＤ）を対象とする添付の特許請求の範囲において具体的に開示され、例えばＤＣＡといった１つの請求項のカテゴリにおいて言及されるいずれかの特徴は、例えば、方法、ＨＭＤ、システム、ストレージ媒体、およびコンピュータプログラム製品といった別の請求項のカテゴリにおいて同様に特許請求される可能性がある。添付の特許請求の範囲における従属または逆参照は、正式の理由のためだけに選ばれる。しかし、前にあるいずれかの請求項への意図的な逆参照から生じるいずれかの主題（特に複数の従属）は、請求項およびその特徴のいずれかの組合せが開示され、添付の特許請求の範囲において選ばれた従属とは関係なく特許請求されることが可能になるように、同様に特許請求されることが可能である。特許請求されることが可能な主題は、添付の特許請求の範囲において提示されるような特徴の組合せだけでなく、特許請求の範囲における特徴の他のいずれかの組合せも含み、特許請求の範囲において言及される各特徴は、特許請求の範囲における他のいずれかの特徴または他の特徴の組合せと組み合わされることが可能である。さらに、本明細書において説明または描写される実施形態および特徴のいずれかは、別個の請求項において、および／あるいは本明細書において説明もしくは描写されるいずれかの実施形態もしくは特徴、または添付の特許請求の範囲の特徴のいずれか、とのいずれかの組合せにおいて、特許請求されることが可能である。

本発明による１つの実施形態において、深度カメラアセンブリ（ＤＣＡ）は、
放射指令に従って、構造光パターンで局所エリアを照らすように構成された構造光発生器であって、
光学ビームを放射するように構成された照明光源、
光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成するプログラム可能回折光学素子（ＰＤＯＥ）であって、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子（ＰＤＯＥ）、および
回折スキャンビームを構造光パターンとして局所エリアに投影するように構成された投影アセンブリであって、構造光パターンが、ＰＤＯＥに基づいて動的に調節可能である、投影アセンブリ
を備える、構造光発生器と、
局所エリア内の１つまたは複数のオブジェクトから反射された構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
放射指令を生成すること、
構造光発生器に放射指令を提供すること、および
キャプチャした１つまたは複数のイメージに部分的に基づいて、１つまたは複数のオブジェクトの深度情報を決定すること
を行うように構成されたコントローラと
を備えることができる。

ＰＤＯＥは、空間光モジュレータ、リキッドクリスタルオンシリコン（ＬＣＯＳ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）デバイス、微小電気機械（ＭＥＭ：ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ）デバイス、およびデジタルマイクロミラーデバイス（ＤＭＤ）からなる群から選択されることが可能である。

ＰＤＯＥは、液晶（ＬＣ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）ベースの回折光学素子を含むことができ、
コントローラは、ＬＣベースの回折光学素子の回折角を調節して種々のパターンを有する回折スキャンビームを形成するために、ＬＣベースの回折光学素子に印加される電圧レベルを動的に調節することができる。

ＰＤＯＥは、回折スキャンビームを変調光として形成するために、変調信号が空間周波数を有することに基づいて光学ビームを空間変調する空間光モジュレータを含むことができ、
コントローラは、種々のパターンを有する変調光を形成するために、光学ビームに適用される変調信号の空間周波数を動的に調節することができる。

ＰＤＯＥは、マイクロミラーセルのアレイを含むことができ、
コントローラは、種々のパターンを有する回折スキャンビームを形成するために、放射指令に部分的に基づいて、光学ビームの一部を吸収するようにアレイにおける第１の複数のセルを動的に再構成し、光学ビームの別の部分を反射するようにアレイにおける第２の複数のセルを動的に再構成することができる。

照明光源は、
放射指令に部分的に基づいて光学ビームを放射するように構成された光エミッタと、
光学ビームをコリメート光にコリメートするように構成されたコリメーションアセンブリと、
コリメート光をＰＤＯＥに向けるように構成されたプリズムと
を含むことができる。

照明光源は、
放射指令に部分的に基づいて光学ビームを放射するように構成された光エミッタと、
コリメート光を生成するために光学ビームをコリメートすること、および
コリメート光をＰＤＯＥに向けること
を行うように構成された単一の光学素子と
を含むことができる。

ＰＤＯＥは、放射指令に部分的に基づいて回折スキャンビームを形成するために、ブラッグ整合条件を満たす角度でＰＤＯＥに入射する光学ビームを回折させることができる。

構造光パターンが時間的に変調されるように、光学ビームを時間的に変調することが可能である。

コントローラは、
決定された深度情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を行うように構成されることが可能である。

コントローラは、
局所エリア内の１つまたは複数のオブジェクトのロケーション情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を行うように構成されることが可能である。

ＤＣＡは、ヘッドマウントディスプレイの構成要素であることが可能である。

本発明による１つの実施形態において、方法は、
放射指令を生成することと、
光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能するプログラム可能回折光学素子（ＰＤＯＥ）を使用して光学ビームを回折させることによって、光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成することと、
回折スキャンビームを構造光パターンとして局所エリアに投影することと、
局所エリア内の１つまたは複数のオブジェクトから反射した構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャすることと、
キャプチャした１つまたは複数のイメージに少なくとも部分的に基づいて、１つまたは複数のオブジェクトの深度情報を決定することと
を含むことができる。

ＰＤＯＥは、液晶（ＬＣ）ベースの回折光学素子を含むことができ、方法は、
ＬＣベースの回折光学素子の回折角を調節して種々のパターンを有する回折スキャンビームを形成するために、ＬＣベースの回折光学素子に印加される電圧レベルを動的に調節すること
を含むことができる。

方法は、
変調信号が空間周波数を有することに基づいて、回折スキャンビームを変調光として形成するために、空間光モジュレータとして構成されたＰＤＯＥを使用して光学ビームを変調することと、
種々のパターンを有する変調光を形成するために、光学ビームに適用される変調信号の空間周波数を動的に調節することと
を含むことができる。

ＰＤＯＥは、マイクロミラーセルのアレイを含むことができ、方法は、
種々のパターンを有する回折スキャンビームを形成するために、放射指令に部分的に基づいて、光学ビームの一部を吸収するようにアレイにおける第１の複数のセルを動的に再構成し、光学ビームの別の部分を反射するようにアレイにおける第２の複数のセルを動的に再構成すること
を含むことができる。

方法は、
放射指令に部分的に基づいて光学ビームを放射することと、
コリメート光を生成するために光学ビームをコリメートすることと、
コリメート光をＰＤＯＥに向けることと
を含むことができる。

方法は、
決定された深度情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を含むことができる。

方法は、
局所エリア内の１つまたは複数のオブジェクトのロケーション情報に基づいて、光学ビームの回折を調節するように動的回折格子を制御すること
を含むことができる。

本発明による１つの実施形態において、ヘッドマウントディスプレイ（ＨＭＤ）は、
イメージ光を放射するように構成された電子ディスプレイと、
放射指令に従って、構造光パターンで局所エリアを照らすように構成された光発生器であって、
光学ビームを放射するように構成された照明光源、
光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成するプログラム可能回折光学素子（ＰＤＯＥ）であって、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子（ＰＤＯＥ）、および
回折スキャンビームを構造光パターンとして局所エリアに投影するように構成された投影アセンブリであって、構造光パターンが、ＰＤＯＥに基づいて動的に調節可能である、投影アセンブリ
を備える、光発生器と、
局所エリア内の１つまたは複数のオブジェクトから反射した構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
放射指令を生成すること、
光発生器に放射指令を提供すること、および
キャプチャした１つまたは複数のイメージに部分的に基づいて、１つまたは複数のオブジェクトの深度情報を決定すること
を行うように構成されたコントローラと、
ユーザの眼のロケーションに対応するＨＭＤの射出瞳にイメージ光を向けるように構成された光学アセンブリであって、イメージ光が、決定された深度情報を含む、光学アセンブリと
を備えることができる。

本発明のさらなる実施形態において、１つまたは複数のコンピュータ可読非一時的ストレージ媒体は、本発明または上述の実施形態のいずれかによるシステムにおいて行うように実行されるときに動作可能なソフトウェアを含む。

本発明のさらなる実施形態において、コンピュータ実行方法は、本発明または上述の実施形態のいずれかによるシステムを使用する。

本発明のさらなる実施形態において、コンピュータプログラム製品は、好ましくはコンピュータ可読非一時的ストレージ媒体を備え、本発明または上述の実施形態のいずれかによるシステムにおいて使用される。

１つの実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）の図である。 １つの実施形態による、図１におけるＨＭＤの前部剛体の横断面を示す図である。 １つの実施形態による、プログラム可能回折光学素子（ＰＤＯＥ）を備える深度カメラアセンブリ（ＤＣＡ）の例を示す図である。 １つの実施形態による、反射型ＰＤＯＥを備えるＤＣＡの例を示す図である。 １つの実施形態による、音響光学モジュレータ（ＡＯＭ：ａｃｏｕｓｔｏ－ｏｐｔｉｃ ｍｏｄｕｌａｔｏｒ）およびＰＤＯＥを備えるＤＣＡの例を示す図である。 １つの実施形態による、局所エリア内のオブジェクトの深度情報を決定する処理を示す流れ図である。 １つの実施形態による、コンソールが動作するＨＭＤシステムのブロック図である。

図は、例証のためだけに本開示の実施形態を描写する。本明細書において示される構造および方法の代替実施形態は、本明細書において説明される本開示の原理またはうたわれる利益から逸脱することなく用いられることが可能であるということを当業者は以下の説明から容易に認識するであろう。

ＤＣＡのいくらかまたは全てを取り囲む局所エリア内のオブジェクトの深度情報を決定するための深度カメラアセンブリ（ＤＣＡ）。ＤＣＡは、照明光源、カメラ、およびコントローラを含む。照明光源は、光源、プログラム可能回折光学素子（ＰＤＯＥ）、および投影アセンブリを含む。ＰＤＯＥは、例えば、空間光モジュレータ、リキッドクリスタルオンシリコン（ＬＣＯＳ）、微小電気機械（ＭＥＭ）デバイス、種々のパターンの光を生み出すことができる他のいくつかのデバイス、またはこれらのいくつかの組合せであることが可能である。いくつかの実施形態において、照明光源は、光源、コリメータ、およびコリメート光をＰＤＯＥに向けるプリズムを含む。他の実施形態において、照明光源は、光源、および、コリメートしてコリメートビームをＰＤＯＥの方に向けるように振る舞う単一の複合光学素子を有するレンズ、を含む。ＰＤＯＥの前に位置する投影アセンブリは、ＰＤＯＥによって生成された光を局所エリアに投影し、投影光のパターンは、ＰＤＯＥに基づいて動的に調節可能である。コントローラは、局所エリア内のオブジェクトから反射された調節可能な光パターンの少なくとも一部のキャプチャした１つまたは複数のイメージに部分的に基づいて深度情報を決定する。

いくつかの実施形態において、ＤＣＡは、ＨＭＤのいくらかまたは全てを取り囲む局所エリア内の深度情報を説明するデータをキャプチャするヘッドマウントディスプレイ（ＨＭＤ）に統合される。ＨＭＤは、例えば、仮想現実（ＶＲ）システム、拡張現実（ＡＲ）システム、複合現実（ＭＲ）システム、またはこれらのいくつかの組合せの一部であることが可能である。ＨＭＤは、電子ディスプレイおよび光学アセンブリをさらに含む。電子ディスプレイは、イメージ光を放射するように構成される。光学アセンブリは、ユーザの眼のロケーションに対応するＨＭＤの射出瞳にイメージ光を向けるように構成され、イメージ光は、ＤＣＡによって決定された局所エリア内のオブジェクトの深度情報を含む。

図１は、１つの実施形態によるＨＭＤ１００の図である。ＨＭＤ１００は、例えば、ＶＲシステム、ＡＲシステム、ＭＲシステム、またはこれらのいくつかの組合せの一部であることが可能である。ＡＲシステムおよび／またはＭＲシステムを説明する実施形態において、ＨＭＤ１００の前面１０２の一部は、可視帯（３８０ｎｍから７５０ｎｍまで）において少なくとも部分的に透明であり、ＨＭＤ１００の前面１０２とユーザの眼との間にあるＨＭＤ１００の部分は、少なくとも部分的に透明である（例えば、部分的に透明な電子ディスプレイ）。ＨＭＤ１００は、前部剛体１０５、バンド１１０、および基準点１１５を含む。ＨＭＤ１００は、ＨＭＤ１００のいくらかまたは全てを取り囲む局所エリアの深度情報を決定するように構成されたＤＣＡも含む。ＨＭＤ１００は、イメージ開口１２０および照明開口１２５も含み、ＤＣＡの照明光源は、照明開口１２５を通じて光（例えば、構造光パターン）を放射する。ＤＣＡのイメージデバイスは、イメージ開口１２０を通じて局所エリアから反射された照明光源からの光をキャプチャする。照明開口１２５を通じてＤＣＡの照明光源から放射された光は、図２～図４に関してより詳細に論じられるような構造光パターンを含む。イメージ開口１２０を通じて局所エリアから反射され、ＤＣＡのイメージデバイスによってキャプチャされる光は、図２～図４に関してより詳細に同じく論じられるように、反射された構造光パターンの少なくとも一部を含む。

前部剛体１０５は、１つまたは複数の電子ディスプレイ要素（図１において図示せず）、１つまたは複数の統合された視標追跡システム（図１において図示せず）、慣性計測ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１３０、１つまたは複数のポジションセンサ１３５、および基準点１１５を含む。図１によって示された実施形態において、ポジションセンサ１３５はＩＭＵ１３０の中にあり、ＩＭＵ１３０もポジションセンサ１３５も、ＨＭＤ１００のユーザには見えない。ＩＭＵ１３０は、ポジションセンサ１３５の１つまたは複数から受信された測定信号に基づいて較正データをすばやく生成する電子デバイスである。ポジションセンサ１３５は、ＨＭＤ１００の動きに応答して１つまたは複数の測定信号を生成する。ポジションセンサ１３５の例は、１つもしくは複数の加速度計、１つもしくは複数のジャイロスコープ、１つもしくは複数の磁力計、動きを検出するセンサの別の適切なタイプ、ＩＭＵ１３０の誤差補正のために使用されるセンサのタイプ、またはこれらのいくつかの組合せを含む。ポジションセンサ１３５は、ＩＭＵ１３０の外部、ＩＭＵ１３０の内部、またはこれらのいくつかの組合せの場所にあることが可能である。

図２は、図１において示されたＨＭＤ１００の前部剛体１０５の横断面２００である。図２に示されるように、前部剛体１０５は、イメージ光を射出瞳２２５に共に送る電子ディスプレイ２１０および光学アセンブリ２２０含む。射出瞳２２５は、ユーザの眼２３０によって占有されることになる空間内の領域である。場合によっては、射出瞳２２５は、アイボックスと呼ばれることもある。例証のために、図２は、ただ１つの眼２３０と関連付けられた横断面２００を示しているが、光学アセンブリ２２０とは別個の別の光学アセンブリ２２０が、変えられたイメージ光をユーザの別の眼に送る。

電子ディスプレイ２１０は、イメージ光を生成する。いくつかの実施形態において、電子ディスプレイ２１０は、生成したイメージ光の焦点を調節する光学素子を含む。電子ディスプレイ２１０は、コンソール（図２において図示せず）から受信されたデータに従ってイメージをユーザに表示する。様々な実施形態において、電子ディスプレイ２１０は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザのそれぞれの眼に対するディスプレイ）を備えることができる。電子ディスプレイ２１０の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、他のいくつかのディスプレイ、プロジェクタ、またはこれらのいくつかの組合せを含む。電子ディスプレイ２１０は、開口、フレネルレンズ、凸レンズ、凹レンズ、回折素子、導波路、フィルタ、偏光子、ディフューザ、ファイバテーパ、反射面、偏光反射面、または電子ディスプレイから放射されたイメージ光に影響を及ぼす他の任意の適切な光学素子を含むこともできる。いくつかの実施形態において、ディスプレイブロック光学素子の１つまたは複数は、反射防止コーティングなどの１つまたは複数のコーティングを有することが可能である。

光学アセンブリ２２０は、電子ディスプレイ２１０から受信された光を拡大し、イメージ光と関連付けられた光学収差を補正し、補正されたイメージ光は、ＨＭＤ１００のユーザに提示される。光学アセンブリ２２０の少なくとも１つの光学素子は、開口、フレネルレンズ、反射レンズ、反射面、回折素子、導波路、フィルタ、または電子ディスプレイ２１０から放射されたイメージ光に影響を及ぼす他の任意の適切な光学素子であることが可能である。その上、光学アセンブリ２２０は、種々の光学素子の組合せを含むことができる。いくつかの実施形態において、光学アセンブリ２２０における光学素子の１つまたは複数は、反射防止コーティング、二色性コーティング、等などの１つまたは複数のコーティングを有することができる。光学アセンブリ２２０によってイメージ光を拡大することは、電子ディスプレイ２１０の要素が、より大きいディスプレイより物理的に小さくなること、重さが軽くなること、および電力消費量が少なくなることを可能にする。追加として、拡大は、表示された媒体の視野を増大させることができる。例えば、表示された媒体の視野は、ユーザの視野のほぼ全て（例えば、対角１１０度）、および場合によっては全てを使用して、表示された媒体が提示されるといったようなものである。いくつかの実施形態において、光学アセンブリ２２０は、その有効焦点距離が、電子ディスプレイ２１０までの間隔より大きくなるように設計され、このことが、電子ディスプレイ２１０によって投影されたイメージ光を拡大する。追加として、いくつかの実施形態において、拡大量は、光学素子を追加または除去することによって調節されることが可能である。

図２において示されるように、前部剛体１０５は、ＨＭＤ１００のいくらかまたは全てを取り囲む局所エリア２４５における１つまたは複数のオブジェクトの深度情報を決定するためのＤＣＡ２４０をさらに含む。ＤＣＡ２４０は、構造光発生器２５０、イメージデバイス２５５、および構造光発生器２５０とイメージデバイス２５５の両方に連結されることが可能なコントローラ２６０を含む。構造光発生器２５０は、照明開口１２５を通じて光を放射する。本開示の実施形態によれば、構造光発生器２５０は、コントローラ２６０によって生成された放射指令に従って、構造光２６５で局所エリア２４５を照らすように構成される。コントローラ２６０は、放射指令に基づいて、構造光発生器２５０の一定の構成要素の動作を制御するように構成される。コントローラ２６０は、局所エリア２４５を照らす構造光２６５のパターンを動的に調節するために、構造光発生器２５０の１つまたは複数の回折光学素子に放射指令を送る。構造光発生器２５０の１つまたは複数の回折光学素子を制御すること、および構造光２６５のパターンを動的に調節することについてのさらなる詳細は、図３Ａ～図３Ｃおよび図４に関して開示される。

構造光発生器２５０は、一定の特性（例えば、波長、偏光、干渉、時間的挙動、等）を有する光をそれぞれが放射する複数のエミッタを含むことができる。特性は、エミッタ間で同じであることまたは異なることが可能であり、エミッタは、同時にまたは個別に動作することが可能である。１つの実施形態において、複数のエミッタは、例えば、レーザダイオード（例えば、エッジエミッタ）、無機ＬＥＤもしくは有機ＬＥＤ、垂直キャビティ面発光レーザ（ＶＣＳＥＬ）、または他のいくつかの光源であることが可能である。いくつかの実施形態において、構造光発生器２５０における単一のエミッタまたは複数のエミッタは、１つまたは複数の光線を放射することができる。構造光発生器２５０を含むＤＣＡ２４０についてのさらなる詳細が、図３Ａに関して開示される。

イメージデバイス２５５は、局所エリア２４５から反射された構造光２６５の少なくとも一部を、イメージ開口１２０を通じてキャプチャするように構成された１つまたは複数のカメラを含む。イメージデバイス２５５は、構造光２６５で照らされた局所エリア２４５における１つまたは複数のオブジェクトの１つまたは複数のイメージをキャプチャする。イメージデバイス２５５に連結されたコントローラ２６０は、反射された構造光のキャプチャ部分に基づいて、１つまたは複数のオブジェクトの深度情報を決定するように同様に構成される。いくつかの実施形態において、コントローラ２６０は、決定された深度情報を、ＨＭＤ１００のコンソール（図２において図示せず）および／または妥当なモジュール（例えば、可変焦点モジュール、図２において図示せず）に送る。コンソールおよび／またはＨＭＤ１００は深度情報を利用して、例えば、電子ディスプレイ２１０上に提示するためのコンテンツを生成することができる。

いくつかの実施形態において、前部剛体１０５は、ユーザの眼２３０の視標追跡情報を決定する視標追跡システム（図２において図示せず）をさらに備える。決定された視標追跡情報は、アイボックス内のユーザの眼２３０の方向についての情報、すなわち、視線の角度についての情報を含むことができる。アイボックスは、イメージ光を受信するためにユーザの眼があるＨＭＤの出力における３次元体積に相当する。１つの実施形態において、ユーザの眼２３０は、構造光で照らされる。次に、視標追跡システムは、キャプチャされたイメージ内の反射された構造光のロケーションを使用して、眼のポジションおよび視線を決定することができる。別の実施形態において、視標追跡システムは、複数の時刻にわたってキャプチャされたイメージ光の等級に基づいて眼のポジションおよび視線を決定する。

いくつかの実施形態において、前部剛体１０５は、可変焦点モジュール（図２において図示せず）をさらに備える。可変焦点モジュールは、視標追跡情報に基づいて、電子ディスプレイ２１０上に表示された１つまたは複数のイメージの焦点を調節することができる。１つの実施形態において、可変焦点モジュールは、決定された視標追跡情報に基づいて光学アセンブリ２２０の焦点距離を調節することによって、表示されたイメージの焦点を調節して両眼連動調節の不一致（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）を緩和する。別の実施形態において、可変焦点モジュールは、決定された視標追跡情報に基づいて、１つまたは複数のイメージの中心窩適応レンダリング（ｆｏｖｅａｔｅｄ ｒｅｎｄｅｒｉｎｇ）を行うことによって、表示されたイメージの焦点を調節する。さらに別の実施形態において、可変焦点モジュールは、コントローラ２６０からの深度情報を利用して、電子ディスプレイ２１０上に提示するためのコンテンツを生成する。

図３Ａは、１つの実施形態による、ＤＣＡ３００の例である。ＤＣＡ３００は、動的に調節可能なパターンの構造光を使用して、大きい視野にわたる深度検知のために構成される。ＤＣＡ３００は、構造光発生器３０５、イメージデバイス３１０、および構造光発生器３０５とイメージデバイス３１０の両方に連結されたコントローラ３１５を含む。ＤＣＡ３００は、図１におけるＨＭＤ１００の構成要素として構成されることが可能である。したがって、ＤＣＡ３００は、図２におけるＤＣＡ２４０の実施形態であることが可能であり、構造光発生器３０５は、図２における構造光発生器２５０の実施形態であることが可能であり、イメージデバイス３１０は、図２におけるイメージデバイス２５５の実施形態であることが可能である。

構造光発生器３０５は、コントローラ３１５からの放射指令に従って、局所エリア３２０を構造光で照らしてスキャンするように構成される。構造光発生器３０５は、照明光源３２５、ＰＤＯＥ３３０、および投影アセンブリ３３５を含む。照明光源３２５は、光を生成してＰＤＯＥ３３０に向ける。照明光源３２５は、光エミッタ３４０およびビーム調整アセンブリ３４５を含む。

光エミッタ３４０は、コントローラ３１５からの放射指令に部分的に基づいて光学ビーム３５０を放射するように構成される。いくつかの実施形態において、光エミッタ３４０は、赤外線スペクトルで光学ビーム３５０を放射するレーザダイオードのアレイを含む。他の実施形態において、光エミッタ３４０は、可視スペクトルで光学ビーム３５０を放射するレーザダイオードのアレイを含む。いくつかの実施形態において、光エミッタは、定義されたパターン（例えば、ドットパターン、またはラインパターン）の構造光として光学ビーム３５０を放射する。代替または追加として、光エミッタ３４０は、構造照明に加えて局所エリア３２０の時間的に変調された照明を生成するために、コントローラ３１５からの放射指令に部分的に基づいて時間的に変調された光として光学ビームを放射する。

ビーム調整アセンブリ３４５は、照明エミッタ３４０から放射された光学ビーム３５０を集め、光学ビーム３５０をＰＤＯＥ３３０の一部に向ける。ビーム調整アセンブリ３４５は、１つまたは複数の光学素子（レンズ）から成る。いくつかの実施形態において、ビーム調整アセンブリ３４５は、コリメーションアセンブリおよびプリズム（図３Ａにおいて図示せず）を含む。コリメーションアセンブリは、光学ビーム３５０をコリメート光にコリメートする１つまたは複数の光学素子（レンズ）を含む。プリズムは、コリメート光をＰＤＯＥ３３０に向ける光学素子である。代替実施形態において、ビーム調整アセンブリ３４５は、光学ビーム３５０をコリメートしてコリメート光を生成することと、コリメート光をＰＤＯＥ３３０に向けることと、の両方を行う単一の複合光学素子（レンズ）を含む。

ＰＤＯＥ３３０は、コントローラ３１５からの放射指令に部分的に基づいて、光学ビーム３５０から回折スキャンビーム３５５を生成する。ＰＤＯＥ３３０は、光学ビーム３５０の回折を動的に調節して種々のパターンの回折スキャンビーム３５５を生成する動的回折格子として機能する。回折スキャンビーム３５５の種々のパターンを生成することによって、局所エリア３２０を照らす構造光パターン３６０は経時的に変化する。回折スキャンビーム３５５および構造光パターン３６０のパターンを動的に調節する能力があることは、局所エリア３２０におけるオブジェクトの種々のエリアおよび様々なタイプのスキャンに対する柔軟性をもたらす。ＰＤＯＥ３３０は、リキッドクリスタルオンシリコン（ＬＣＯＳ）デバイス、空間光モジュレータ、デジタルマイクロミラーデバイス、および微小電気機械（ＭＥＭ）デバイスからなる群から選択されることが可能である。

いくつかの実施形態において、ＬＣＯＳデバイスとして実行されたＰＤＯＥ３３０は、液晶（ＬＣ）ベースの回折光学素子（図３Ａにおいて図示せず）を含むことができる。ＬＣベースの回折光学素子に印加される電圧レベルは、（例えばコントローラ３１５によって）動的に調節されることが可能である。電圧レベルを動的に調節することによって、ＰＤＯＥ３３０のＬＣベースの回折光学素子の回折角は、経時的に変化するパターンを有するＰＤＯＥ３３０の出力における回折スキャンビーム３５５を形成するようにリアルタイムに変化する。

他の実施形態において、ＰＤＯＥ３３０は、空間光モジュレータ（図３Ａにおいて図示せず）を含むことができる。空間光モジュレータは、変調信号が空間周波数を有することに基づいて、回折スキャンビーム３５５を変調光として形成するために、光学ビーム３５０を空間変調する。変調信号の空間周波数は、経時的に変化するパターンを有する変調光（すなわち、回折スキャンビーム３５５および構造光３６０）を形成するように、（例えばコントローラ３１５を介して）動的に調節可能である。

さらに他の実施形態において、デジタルマイクロミラーデバイス（ＤＭＤ）またはＭＥＭデバイスとして実装されたＰＤＯＥ３３０は、マイクロミラーセルのアレイを含むことができる。アレイにおける第１の複数のマイクロミラーセルは、ＰＤＯＥ３３０に入射する光学ビーム３５０の一部を吸収するように（例えばコントローラ３１５を介して）動的に再構成されることが可能である。さらに、アレイにおける第２の複数のマイクロミラーセルは、ＰＤＯＥ３３０に入射する光学ビーム３５０の別の部分を反射する（回折する）ように（例えばコントローラ３１５を介して）動的に再構成されることが可能である。入射光の吸収および反射のためのＰＤＯＥ３３０におけるマイクロミラーセルの異なるサブセットを複数の時刻にわたって再構成することによって、複数の時刻にわたってパターンを変化させる回折スキャンビーム３５５（および構造光３６０）が生成されることが可能である。

いくつかの実施形態において、ＰＤＯＥ３３０は、別のプログラム不能ＤＯＥまたは他のプログラム不能光学素子（図３Ａにおいて図示せず）と組み合わされることが可能である。プログラム不能ＤＯＥまたは光学素子は、例えば、ＰＤＯＥ３３０の前にあることが可能である。この場合、構造光パターン３６０は「タイル＋タイラ」アーキテクチャで形成され、構造光パターン３６０のタイラまたはファンアウトはプログラム可能である。プログラム不能ＤＯＥまたは光学素子とＰＤＯＥを組み合わせることによって、構造光パターン３６０によって照らされる局所エリア３２０の視野は、より広くなる。

好ましい回折効率のために、ＰＤＯＥ３３０は、コントローラ３１５からの放射指令に部分的に基づいて回折スキャンビーム３５５を形成するために、ブラッグ整合条件を満たす角度でＰＤＯＥ３３０の少なくとも一部に入射する光学ビーム３５０を回折させるように構成されることが可能である。いくつかの実施形態において、ＰＤＯＥ３３０は、例えば、ブラッグ整合条件を満たす形状でＰＤＯＥ３３０における液晶に光学ビーム３５０の方向を合わせることによって、偏光光（例えば、円偏光光）として回折スキャンビーム３５５を生成するように構成されることが可能である。回折スキャンビーム３５５は、ＰＤＯＥ３３０における液晶に基づいて右回りに円偏光されること、または左回りに円偏光されることが可能であるということに留意されたい。いくつかの実施形態において、ＰＤＯＥ３３０に入射する光学ビーム３５０の偏光状態（ＳＯＰ）は、ＰＤＯＥ３３０の最大回折効率を実現するためのブラッグ角度における偏光の固有状態にマッチする。

投影アセンブリ３３５は、ＰＤＯＥ３３０の前面に位置する。投影アセンブリ３３５は、１つまたは複数の光学素子（レンズ）を含む。投影アセンブリ３３５は、例えば広い視野にわたって、回折スキャンビーム３５５を構造光パターン３６０として局所エリア３２０に投影する。構造光パターン３６０は、ＰＤＯＥ３３０に基づいて経時的に動的に調節可能である。構造光パターン３６０は、局所エリア３２０における１つまたは複数のオブジェクトを含む局所エリア３２０の一部を照らす。構造光パターン３６０は経時的に動的に調節可能なので、局所エリア３２０の異なる一部が、異なる時刻において照らされることが可能である。反射された構造光パターン３６５は、局所エリア３２０における１つまたは複数のオブジェクトから構造光パターン３６０の反射に基づいて生成される。

イメージデバイス３１０は、反射された構造光パターン３６５の少なくとも一部をキャプチャすることによって局所エリア３２０における１つまたは複数のオブジェクトの１つまたは複数のイメージをキャプチャする。１つの実施形態において、イメージデバイス３１０は、赤外線スペクトルでイメージをキャプチャするように構成された赤外線カメラである。別の実施形態において、イメージデバイス３１０は、可視スペクトルのイメージ光をキャプチャするように構成される。イメージデバイス３１０は、電荷結合素子（ＣＣＤ）検出器、相補型金属酸化膜半導体（ＣＭＯＳ）検出器、または検出器の他のいくつかのタイプ（図３Ａにおいて図示せず）を含むことができる。イメージデバイス３１０は、局所エリア３２０におけるオブジェクトの高速検出のために、ｋＨｚからＭＨｚの範囲のフレームレートで動作するように構成されることが可能である。いくつかの実施形態において、イメージデバイス３１０は、反射された構造光パターン３６５の少なくとも一部をキャプチャするための２次元検出ピクセルアレイを含む。他の実施形態において、イメージデバイス３１０は、反射された構造光パターン３６５の少なくとも一部をキャプチャするための２つ以上のカメラを含む。

いくつかの実施形態において、イメージデバイス３１０は、特定の偏光の反射された構造光パターン３６５を受信し、伝搬させるためのカメラの前に置かれた偏光素子（図３Ａにおいて図示せず）を含むことができる。偏光素子は、線形偏光子、循環偏光子、長円形偏光子、等であることが可能である。偏光素子は、薄膜偏光子（吸収性、反射性）、線形偏光子と組み合わされた４分の１波長板、等として実装されることが可能である。反射された構造光パターン３６５は、線形偏光光（垂直および水平）、右回りの円偏光光、左回りの円偏光光、ならびに楕円偏光光からなる群から選択されることが可能である。反射された構造光パターン３６５の偏光は、局所エリア３２０を照らす構造光パターン３６０の偏光とは異なる可能性があるということに留意されたい。

コントローラ３１５は、図３ＡにおけるＤＣＡ３００の様々な構成要素の動作を制御する。いくつかの実施形態において、コントローラ３１５は放射指令を光エミッタ３４０に送り、放射された光学ビーム３５０の強さ、光学ビーム３５０の（空間）変調、光エミッタ３４０がアクティブにされる時間、等を制御する。コントローラ３１５は、回折スキャンビーム３５５のパターンおよび局所エリア３２０を照らす構造光パターン３６０を動的に調節するために、ＰＤＯＥ３３０の動作を制御するための放射指令をさらに作り出すことができる。いくつかの実施形態において、コントローラ３１５は、回折スキャンビーム３５５の強さがプログラム可能になるように、ＰＤＯＥ３３０の動作を放射指令に部分的に基づいて制御することができる。他の実施形態において、コントローラ３１５は、回折スキャンビーム３５５の位相がプログラム可能になるように、ＰＤＯＥ３３０の動作を放射指令に部分的に基づいて制御することができる。

いくつかの実施形態において、コントローラ３１５は、ＬＣベースの回折光学素子の回折角を動的に変化させて、経時的に変化するパターンを有する回折スキャンビーム３５５を形成するために、ＬＣベースの回折光学素子を有するＰＤＯＥ３３０に印加された電圧レベルを制御する。他の実施形態において、コントローラ３１５は、回折スキャンビーム３５５のパターンおよび構造光パターン３６０を動的に調節するために、空間光モジュレータを含むＰＤＯＥ３３０を介して光学ビーム３５０に適用された変調信号の空間周波数を経時的に修正する。さらに他の実施形態において、コントローラ３１５は、ＰＤＯＥ３３０におけるマイクロミラーセルのサブセットを動的に再構成する。入射光の吸収および反射のためにマイクロミラーセルの異なるサブセットを複数の時刻にわたって再構成することによって、コントローラ３１５は、回折スキャンビーム３５５のパターンおよび構造光パターン３６０を動的に調節する。

図３Ａに示されるように、コントローラ３１５は、イメージデバイス３１０にさらに連結され、局所エリア３２０における１つまたは複数のオブジェクトの深度情報を決定するように構成されることが可能である。コントローラ３１５は、イメージデバイス３１０によってキャプチャされた１つまたは複数のイメージに部分的に基づいて１つまたは複数のオブジェクトの深度情報を決定する。コントローラ３１５は、局所エリア３２０における１つまたは複数のオブジェクトの形状によって歪曲した、イメージデバイス３１０によってキャプチャされた光の位相偏移パターンに基づいて深度情報を決定すること、および局所エリア３２０の深度マップを取得するために三角測量計算を使用すること、を行うように構成されることが可能である。代替として、コントローラ３１５は、飛行時間情報、および１つまたは複数のオブジェクトの形状によって歪曲した反射された構造光パターン３６５についての情報、に基づいて深度情報を決定するように構成されることが可能である。いくつかの実施形態において、コントローラ３１５は、反射された構造光パターン３６５の偏光情報、および／または構造光パターン３６０の偏光情報に基づいて深度情報を決定するように構成されることが可能である。

いくつかの実施形態において、局所エリア３２０における１つまたは複数のオブジェクトの決定された深度情報に基づいて、コントローラ３１５は、光学ビーム３５０の回折を調節するために、動的回折格子としてのＰＤＯＥ３３０の動作を（例えば、放射指令に部分的に基づいて）制御することができる。したがって、コントローラ３１５は、決定された深度情報の質、局所エリア３２０における１つまたは複数のオブジェクトの表面タイプ、等に基づいて、光学ビーム３５０の回折を動的に調節するようにＰＤＯＥ３３０に命令することができる。追加または代替として、コントローラ３１５は、局所エリア３２０における１つまたは複数のオブジェクトのロケーション情報に基づいて、光学ビーム３５０の回折を調節するために、動的回折格子としてのＰＤＯＥ３３０の動作を（例えば、放射指令に部分的に基づいて）制御することができる。したがって、コントローラ３１５およびＰＤＯＥ３３０は、局所エリア３２０における各オブジェクトのロケーションに基づいて構造光パターン３６０を動的に調節する。

いくつかの実施形態において、コントローラ３１５は、局所エリア３２０の関心のある１つの領域または複数の領域に構造光パターン３６０が指し示されるように、ＰＤＯＥ３３０の動作を制御することができる。他の実施形態において、コントローラ３１５は、局所エリア３２０における関心のあるオブジェクトへの、例えばｚ次元に沿った、距離に応じて構造光パターン３６０の密度を調節するようにＰＤＯＥ３３０の動作を制御することができる。さらに他の実施形態において、コントローラ３１５は、例えば、反射された構造光パターン３６５の一部をキャプチャすること、および深度決定のために、イメージデバイス３１０およびコントローラ３１５によって浪費される電力を節約するために、構造光パターン３６０の密度を減少させるようにＰＤＯＥ３３０の動作を制御することができる。さらに他の実施形態において、コントローラ３１５は、局所エリア３２０の深度マップにおける深度ポイントの数を増加させるために、構造光パターン３６０の密度を増大させるようにＰＤＯＥ３３０の動作を制御することができる。さらに他の実施形態において、コントローラ３１５は、例えば、ルームまたはオブジェクト再構築に対する手動式の追跡に、より適したものになるように構造光パターン３６０を変化させるようにＰＤＯＥ３３０の動作を制御することができる。

図３Ｂは、１つの実施形態による、照明光源３２５、および反射型空間光モジュレータとして実装されたＰＤＯＥ３３０、を含むＤＣＡ３００の構造光発生器３０５を示す。照明光源３２５は、反射型ＰＤＯＥ３３０の一部に向けて光学ビーム３５０を放射する。いくつかの実施形態において、照明光源３２５は、光学ビーム３５０をコリメート光として反射型ＰＤＯＥ３３０に向けるコリメーションアセンブリ（図３Ｂにおいて図示せず）を含む。図３Ｂにおいて示された反射型ＰＤＯＥ３３０は、ＰＤＯＥ３３０に入射する光学ビーム３５０を反射して構造光パターン３６０を生成する。例証の簡潔さのために、図３Ｂにおいて示された構造光発生器３０５は、構造光パターン３６０を局所エリア３２０に投影する投影アセンブリ３３５を含むこともできるが、図３Ａにおいて示された投影アセンブリ３３５は図３Ｂにおいて省略されている。図３Ｂにおいて示された反射型ＰＤＯＥ３３０は、ＬＣＯＳデバイス、空間光モジュレータ、デジタルマイクロミラーデバイス、または他のいくつかのプログラム可能反射型光学素子として実装されることが可能である。コントローラ３１５は、構造光パターン３６０を動的に調節するように反射型ＰＤＯＥ３３０の動作を制御するための放射指令を作り出すことができる。

図３Ｃは、１つの実施形態による、ＰＤＯＥ３３０の前に置かれた音響光学モジュレータ（ＡＯＭ）３７０を備えるＤＣＡ３００の構造光発生器３０５を示す。照明光源３２５は、ＡＯＭ３７０の一部に向けて光学ビーム３５０を放射する。ＡＯＭ３７０は、光学ビーム３５０を１つまたは複数の次元に回折する。ＡＯＭ３７０は、光学ビーム３５０を回折させることによって、１つまたは２つの次元における回折スキャンビーム３７５を生成する１つまたは複数の音響光学デバイスから成る。回折スキャンビーム３７５は、第１のオーダーの回折スキャンビームを含むことができる。代替として、回折スキャンビーム３７５は、第１のオーダーより高いオーダーの回折スキャンビームを含むことができる。

いくつかの実施形態において、ＡＯＭ３７０における各音響光学デバイスは、コントローラ３１５からの放射指令に部分的に基づいて回折スキャンビーム３７５を形成するための、光学ビーム３５０を回折させる動的回折格子として機能するように構成される。ＡＯＭ３７０における各音響光学デバイスは、トランスデューサまたはトランスデューサのアレイ、および１つまたは複数の回折エリア（図３Ｃにおいて図示せず）を含むことができる。放射指令における少なくとも１つの無線周波数に応じて、ＡＯＭ３７０における音響光学デバイスのトランスデューサまたはトランスデューサのアレイは、動的回折格子を形成するために、音響光学デバイスの１つまたは複数の回折エリアにおいて少なくとも１つの音波を生成するように構成されることが可能である。ＡＯＭ３７０によって生成された回折スキャンビーム３７５は、より広い視野の回折スキャンビーム３５５を生成するために、回折スキャンビーム３７５をさらに回折させるＰＤＯＥ３３０の少なくとも一部に入射する。投影アセンブリ３３５は、局所エリア３２０を照らす構造光パターン３６０として回折スキャンビーム３５５を投影する。

図４は、１つの実施形態による、局所エリア内のオブジェクトの深度情報を決定する処理４００を示す流れ図である。図４の処理４００は、ＤＣＡ（例えばＤＣＡ３００）の構成要素によって行われることが可能である。他のエンティティ（例えば、ＨＭＤおよび／またはコンソール）は、他の実施形態における処理のステップのいくつかまたは全てを行うことができる。同様に、実施形態は、異なるステップおよび／もしくは追加のステップを含むこと、または異なる順序でステップを行うことができる。

ＤＣＡは、（例えばコントローラを介して）放射指令を生成する４１０。ＤＣＡは、ＤＣＡ内の照明光源およびＰＤＯＥに放射指令を送ることができる。放射指令に基づいて、照明光源は、光学ビームを放射することができる。放射指令に基づいて、放射された光学ビームは、固有の強さおよび／または変調（空間的、時間的、等）を有することができる。いくつかの実施形態において、ＤＣＡは、ＰＤＯＥのＬＣベースの回折光学素子に印加される電圧レベルについての情報を含む放射指令を生成する。放射指令における電圧レベルに応じて、ＤＣＡは、ＰＤＯＥの回折角を調節して、ＰＤＯＥによって生成される光のパターンを動的に調節する。他の実施形態において、ＤＣＡは、ＰＤＯＥの空間光モジュレータによって生成された光のパターンを動的に調節するために、光学ビームに適用された変調信号の空間周波数についての情報を含む放射指令を生成する。

ＤＣＡは、ＰＤＯＥおよび放射指令を使用して回折スキャンビームを（例えばＰＤＯＥを介して）生成する４２０。ＰＤＯＥは、放射指令に従って、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。いくつかの実施形態において、ＰＤＯＥは、空間光モジュレータ、ＬＣＯＳデバイス、ＭＥＭデバイス、およびデジタルマイクロミラーデバイス（ＤＭＤ）からなる群から選択される。いくつかの実施形態において、ＰＤＯＥは、ＬＣベースの回折光学素子を含む。ＬＣベースの回折光学素子に印加された電圧レベルは、ＬＣベースの回折光学素子の回折角を調節して種々のパターンを有する回折スキャンビームを生成するように（例えばコントローラを介して）変化させることができる。他の実施形態において、ＰＤＯＥは、変調光として回折スキャンビームを生成するために、変調信号が空間周波数を有することに基づいて光学ビームを空間変調する空間光モジュレータを含む。光学ビームに適用された変調信号の空間周波数は、種々のパターンを有する変調光を生成するために（例えばコントローラを介して）動的に調節されることが可能である。さらに他の実施形態において、ＰＤＯＥは、マイクロミラーセルのアレイを含む。アレイにおける第１の複数のセルは、光学ビームの一部を吸収するように（例えばコントローラを介して）動的に再構成されることが可能であり、アレイにおける第２の複数のセルは、光学ビームの別の部分を反射して種々のパターンを有する回折スキャンビームを生成するように（例えばコントローラを介して）動的に再構成されることが可能である。

ＤＣＡは、回折スキャンビームを構造光パターンとして局所エリアに（例えば投影アセンブリを介して）投影する４３０。局所エリアを照らす構造光パターンは、ＰＤＯＥに基づいて動的に調節可能である。構造光パターンは、異なる時刻の中で局所エリアの異なる部分を照らすようにリアルタイムに変化させることができる。

ＤＣＡは、局所エリア内の１つまたは複数のオブジェクトから反射した構造光パターンの少なくとも一部の１つまたは複数のイメージを（例えばイメージデバイスを介して）キャプチャする４４０。いくつかの実施形態において、イメージデバイスは、１つまたは複数のイメージをキャプチャする２次元検出ピクセルアレイを含む。他の実施形態において、イメージデバイスは、１つまたは複数のイメージをキャプチャするための２つ以上のカメラを含む。いくつかの実施形態において、イメージデバイスは偏光素子およびカメラを含み、偏光素子は、カメラの前に位置する。偏光素子は、固有の偏光を有する反射された構造光パターンの少なくとも一部を受信し、反射された偏光光の受信部分をカメラに伝搬させるように構成される。

ＤＣＡは、キャプチャした１つまたは複数のイメージに部分的に基づいて、１つまたは複数のオブジェクトの深度情報を（例えばコントローラを介して）決定する４５０。いくつかの実施形態において、ＤＣＡは、１つまたは複数のオブジェクトの形状によって歪曲した反射された構造光パターンについての情報に基づいて、１つまたは複数のオブジェクトの深度情報を決定する。ＤＣＡは、反射された構造光パターンのキャプチャ部分の偏光情報に部分的に基づいて、１つまたは複数のオブジェクトの深度情報を決定することもできる。

いくつかの実施形態において、ＤＣＡは、例えば図１におけるＨＭＤ１００といった、ＨＭＤの一部として構成される。１つの実施形態において、ＤＣＡは、ＨＭＤに連結されたコンソールに、決定された深度情報を送る。コンソールは、次に、深度情報に基づいて、ＨＭＤの電子ディスプレイ上に提示するためのコンテンツを生成するように構成される。別の実施形態において、ＤＣＡは、深度情報に基づいて、ＨＭＤの電子ディスプレイ上に提示するためのコンテンツを生成するＨＭＤのモジュールに、決定された深度情報を送る。代替実施形態において、ＤＣＡは、ＡＲシステムの一部としてＨＭＤに統合される。この場合、ＤＣＡは、ＨＭＤを着用しているユーザの頭の背後にあるオブジェクトを検知して表示すること、または前もって記録されたオブジェクトを表示すること、を行うように構成されることが可能である。さらに他の実施形態において、ＤＣＡは、ＨＭＤの外部にある基地局またはセンサバーに統合される。この場合、ＤＣＡは、例えばユーザの下半身といった、ＨＭＤを着用しているユーザの体の様々な部位を検知するように構成されることが可能である。

システム環境
図５は、コンソール５１０が動作するＨＭＤシステム５００の１つの実施形態のブロック図である。ＨＭＤシステム５００は、ＶＲシステム環境、ＡＲシステム環境、ＭＲシステム環境、またはこれらのいくつかの組合せにおいて動作することができる。図５によって示されたＨＭＤシステム５００は、コンソール５１０に連結されたＨＭＤ５０５および入力／出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）インターフェース５１５を備える。図５は、１つのＨＭＤ５０５および１つのＩ／Ｏインターフェース５１５を含むＨＭＤシステム５００の例を示すが、他の実施形態において、任意の数のこれらの構成要素が、ＨＭＤシステム５００に含まれることが可能である。例えば、複数のＨＭＤ５０５があることが可能であり、それぞれのＨＭＤ５０５は、関連付けられたＩ／Ｏインターフェース５１５を有し、各ＨＭＤ５０５およびＩ／Ｏインターフェース５１５は、コンソール５１０と通信する。代替構成において、異なる構成要素および／または追加の構成要素が、ＨＭＤシステム５００に含まれることが可能である。追加として、図５において示された構成要素の１つまたは複数に関して説明される機能は、いくつかの実施形態において図５に関して説明されるものとは異なる手法で構成要素の中に分散されることが可能である。例えば、コンソール５１０の機能のいくつかまたは全ては、ＨＭＤ５０５によって提供される。

ＨＭＤ５０５は、コンピュータ生成要素（例えば、２次元（２Ｄ：ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ）または３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）イメージ、２Ｄまたは３Ｄビデオ、サウンド、等）で物理的現実世界環境の仮想ビューおよび／または拡張ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。いくつかの実施形態において、本コンテンツは、ＨＭＤ５０５、コンソール５１０、または両方、からのオーディオ情報を受信する外部デバイス（例えばスピーカおよび／またはヘッドホン）を介して提示されるオーディオを含み、オーディオ情報に基づいてオーディオデータを提示する。ＨＭＤ５０５は、硬直的または非硬直的に相互に連結されることが可能な１つまたは複数の剛体を含むことができる。剛体間の硬直的な連結は、連結された剛体を単一の硬直的なエンティティとして振る舞わせる。対照的に、剛体間の非硬直的な連結は、剛体が互いに対して移動できるようにする。ＨＭＤ５０５の実施形態は、図１に関して上述されたＨＭＤ１００である。

ＨＭＤ５０５は、ＤＣＡ５２０、電子ディスプレイ５２５、光学アセンブリ５３０、１つまたは複数のポジションセンサ５３５、ＩＭＵ５４０、任意選択の視標追跡システム５４５、および任意選択の可変焦点モジュール５５０を含む。ＨＭＤ５０５のいくつかの実施形態は、図５に関して説明されたものとは異なる構成要素を有する。追加として、図５に関して説明された様々な構成要素によって提供される機能は、他の実施形態におけるＨＭＤ５０５の構成要素の中にそれぞれに分散されることが可能である。

ＤＣＡ５２０は、ＨＭＤ５０５のいくらかまたは全てを取り囲む局所エリアの深度情報を説明するデータをキャプチャする。ＤＣＡ５２０は、（例えば、構造光パターンのキャプチャ部分に基づく）データを使用して深度情報を計算することができ、またはＤＣＡ５２０は、ＤＣＡ５２０からのデータを使用して深度情報を決定することができるコンソール５１０などの別のデバイスにこの情報を送信することができる。

ＤＣＡ５２０は、構造光発生器、イメージデバイス、およびコントローラを含む。ＤＣＡ５２０の構造光発生器は、放射指令に従って、構造光パターン（例えば、ドットパターン、ラインパターン、等）で局所エリアを照らすように構成される。ＤＣＡ５２０の構造光発生器は、照明光源、ＰＤＯＥ、および投影アセンブリを含む。照明光源は、光学ビームを放射するように構成される。ＰＤＯＥは、光学ビームから回折スキャンビームを、放射指令に部分的に基づいて生成する。ＰＤＯＥは、光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能する。投影アセンブリは、回折スキャンビームを構造光パターンとして局所エリアに投影するように構成され、構造光パターンは、ＰＤＯＥに基づいて動的に調節可能である。ＤＣＡ５２０のイメージデバイスは、局所エリア内の１つまたは複数のオブジェクトから反射された構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成される。ＤＣＡ５２０のコントローラは、構造光発生器とイメージデバイスの両方に連結されることが可能である。ＤＣＡ５２０のコントローラは、放射指令を生成して、構造光発生器に放射指令を送る。ＤＣＡ５２０のコントローラは、キャプチャした１つまたは複数のイメージに部分的に基づいて、１つまたは複数のオブジェクトの深度情報を決定することも行うように構成される。ＤＣＡ５２０は、図２におけるＤＣＡ２４０、または図３Ａ～図３ＣにおけるＤＣＡ３００の実施形態である。

電子ディスプレイ５２５は、コンソール５１０から受信されたデータに従って、２次元または３次元のイメージをユーザに表示する。様々な実施形態において、電子ディスプレイ５２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザのそれぞれの眼のためのディスプレイ）を備える。電子ディスプレイ５２５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、他のいくつかのディスプレイ、またはこれらのいくつかの組合せを含む。いくつかの実施形態において、電子ディスプレイ５２５は、図２における電子ディスプレイ２１０に相当することが可能である。

光学アセンブリ５３０は、電子ディスプレイ５２５から受信されたイメージ光を拡大し、イメージ光と関連付けられた光学誤差を補正し、補正されたイメージ光をＨＭＤ５０５のユーザに提示する。光学アセンブリ５３０は、複数の光学素子を含む。光学アセンブリ５３０に含まれる光学素子の例は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、またはイメージ光に影響を及ぼす他の任意の適切な光学素子を含む。その上、光学アセンブリ５３０は、異なる光学素子の組合せを含むことができる。いくつかの実施形態において、光学アセンブリ５３０における光学素子の１つまたは複数は、部分的に反射性のコーティング、または反射防止コーティングなどの、１つまたは複数のコーティングを有することができる。

光学アセンブリ５３０によってイメージ光を拡大することおよび焦点を合わせることは、電子ディスプレイ５２５が、より大きいディスプレイより物理的に小さくなること、重さが軽くなること、および電力消費量が少なくなることを可能にする。追加として、拡大することは、電子ディスプレイ５２５によって提示されるコンテンツの視野を増大させることができる。例えば、表示されるコンテンツの視野は、ユーザの視野のほぼ全て（例えば、およそ１１０度の対角）、および場合によっては全てを使用して、表示されたコンテンツが提示されるようなものである。追加として、いくつかの実施形態において、拡大量は、光学素子を追加または除去することによって調節されることが可能である。

いくつかの実施形態において、光学アセンブリ５３０は、１つまたは複数のタイプの光学誤差を補正するように設計されることが可能である。光学誤差の例は、樽型もしくは糸巻型の歪曲、縦色収差、または横色収差を含む。他のタイプの光学誤差は、球面収差、レンズフィールドの曲率による色収差もしくは誤差、非点収差、または他の任意のタイプの光学誤差をさらに含むことができる。いくつかの実施形態において、表示のために電子ディスプレイ５２５に提供されるコンテンツは元々歪曲しており、光学アセンブリ５３０は、コンテンツに基づいて生成された電子ディスプレイ５２５からのイメージ光を受信したときに歪曲を補正する。いくつかの実施形態において、光学アセンブリ５３０は、図２における光学アセンブリ２２０に相当することが可能である。

ＩＭＵ５４０は、ポジションセンサ５３５の１つまたは複数から受信された測定信号に基づいて、およびＤＣＡ５２０から受信された深度情報から、ＨＭＤ５０５のポジションを示すデータを生成する電子デバイスである。ポジションセンサ５３５は、ＨＭＤ５０５の動きに応答して１つまたは複数の測定信号を生成する。ポジションセンサ５３５の例は、１つもしくは複数の加速度計、１つもしくは複数のジャイロスコープ、１つもしくは複数の磁力計、動きを検出するセンサの別の適切なタイプ、ＩＭＵ５４０の誤差補正のために使用されるセンサのタイプ、またはこれらのいくつかの組合せを含む。ポジションセンサ５３５は、ＩＭＵ５４０の外部、ＩＭＵ５４０の内部、またはこれらのいくつかの組合せの場所にあることが可能である。

１つまたは複数のポジションセンサ５３５からの１つまたは複数の測定信号に基づいて、ＩＭＵ５４０は、ＨＭＤ５０５の当初のポジションに対するＨＭＤ５０５の現在の推定ポジションを示すデータを生成する。例えば、ポジションセンサ５３５は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計、および回転運動（例えば、縦揺れ、偏揺れ、横揺れ）を測定するための複数のジャイロスコープを含む。いくつかの実施形態において、ポジションセンサ５３５は、図１におけるポジションセンサ１３５に相当することが可能である。いくつかの実施形態において、ＩＭＵ５４０は、測定信号を迅速にサンプリングし、サンプリングデータからＨＭＤ５０５の現在の推定ポジションを計算する。例えば、ＩＭＵ５４０は、速度ベクトルを推定するために加速度計から経時的に受信された測定信号を統合し、ＨＭＤ５０５上の基準点の現在の推定ポジションを決定するために速度ベクトルを経時的に統合する。代替として、ＩＭＵ５４０は、サンプリングした測定信号をコンソール５１０に送り、コンソール５１０は誤差を低減するためにデータを解釈する。基準点は、ＨＭＤ５０５の位置を説明するために使用されることが可能なポイントである。基準点は、一般に、ＨＭＤ５０５の方向およびポジションに関連した空間内のポイントまたはポジションとして定義されることが可能である。

ＩＭＵ５４０は、１つまたは複数のパラメータをコンソール５１０から受信する。１つまたは複数のパラメータは、ＨＭＤ５０５の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ５４０は、１つまたは複数のＩＭＵパラメータ（例えばサンプリングレート）を調節することができる。いくつかの実施形態において、一定のパラメータは、基準点の当初のポジションが基準点の次のポジションに対応するように、基準点の当初のポジションをＩＭＵ５４０に更新させることができる。基準点の較正された次のポジションとして基準点の当初のポジションを更新することは、ＩＭＵ５４０によって現在の推定ポジションと関連付けられた蓄積された誤差を低減するのに役立つ。蓄積された誤差は、変動誤差とも呼ばれ、基準点の推定ポジションが基準点の実際のポジションから経時的に「変動して」離れていく原因となる。ＨＭＤ５０５のいくつかの実施形態において、ＩＭＵ５４０は、専用ハードウェア構成要素であることが可能である。他の実施形態において、ＩＭＵ５４０は、１つまたは複数のプロセッサにおいて実行されるソフトウェア構成要素であることが可能である。いくつかの実施形態において、ＩＭＵ５４０は、図１におけるＩＭＵ１３０に相当することが可能である。

いくつかの実施形態において、視標追跡システム５４５は、ＨＭＤ５０５に統合される。視標追跡システム５４５は、ＨＭＤ５０５を着用しているユーザの眼と関連付けられた視標追跡情報を決定する。視標追跡システム５４５によって決定された視標追跡情報は、ユーザの眼の方向についての情報、すなわち、視線の角度についての情報を含むことができる。いくつかの実施形態において、視標追跡システム５４５は、光学アセンブリ５３０に統合される。視標追跡システム５４５の実施形態は、照明光源およびイメージデバイス（カメラ）を備えることができる。

いくつかの実施形態において、可変焦点モジュール５５０は、ＨＭＤ５０５にさらに統合される。可変焦点モジュール５５０は、視標追跡システム５４５によって決定された視標追跡情報を取得するために、視標追跡システム５４５に連結されることが可能である。可変焦点モジュール５５０は、視標追跡システム５４５から取得された決定された視標追跡情報に基づいて、電子ディスプレイ５２５上に表示された１つまたは複数のイメージの焦点を調節するように構成されることが可能である。このようにして、可変焦点モジュール５５０は、イメージ光に関する両眼連動調節の不一致を緩和することができる。可変焦点モジュール５５０は、電子ディスプレイ５２５、および光学アセンブリ５３０の少なくとも１つの光学素子のうちの少なくとも１つと（例えば、機械的または電気的に）インターフェースされることが可能である。次に、可変焦点モジュール５５０は、視標追跡システム５４５から取得された決定された視標追跡情報に基づいて、電子ディスプレイ５２５、および光学アセンブリ５３０の少なくとも１つ光学素子のうちの少なくとも１つのポジションを調節することによって、電子ディスプレイ５２５上に表示された１つまたは複数のイメージの焦点を調節するように構成されることが可能である。ポジションを調節することによって、可変焦点モジュール５５０は、ユーザの眼に向けて電子ディスプレイ５２５から出力されたイメージ光の焦点を変化させる。可変焦点モジュール５５０は、視標追跡システム５４５から取得された決定された視標追跡情報に少なくとも部分的に基づいて、表示されたイメージの中心窩適応レンダリングを行うことによって、電子ディスプレイ５２５上に表示されたイメージの解像度を調節するように構成されることも可能である。この場合、可変焦点モジュール５５０は、妥当なイメージ信号を電子ディスプレイ５２５に送る。可変焦点モジュール５５０は、ユーザの視線の中心窩領域においてのみ、最大ピクセル密度のイメージ信号を電子ディスプレイ５２５に送る一方で、電子ディスプレイ５２５の他の領域において、より低いピクセル密度のイメージ信号を送る。１つの実施形態において、可変焦点モジュール５５０は、ＤＣＡ５２０によって取得された深度情報を利用して、例えば、電子ディスプレイ５２５上で提示するためのコンテンツを生成することができる。

Ｉ／Ｏインターフェース５１５は、ユーザがアクションリクエストを送信すること、およびコンソール５１０からレスポンスを受信することを可能にするデバイスである。アクションリクエストは、特定のアクションを行うというリクエストである。例えば、アクションリクエストは、イメージデータもしくはビデオデータのキャプチャを開始もしくは終了するという命令、またはアプリケーションにおいて特定のアクションを行うという命令であることが可能である。Ｉ／Ｏインターフェース５１５は、１つまたは複数の入力デバイスを含むことができる。入力デバイスの例は、キーボード、マウス、ゲームコントローラ、または、アクションリクエストを受信することおよびアクションリクエストをコンソール５１０に通信することに適した他の任意のデバイス、を含む。Ｉ／Ｏインターフェース５１５によって受信されたアクションリクエストはコンソール５１０に通信され、コンソール５１０は、アクションリクエストに対応するアクションを行う。いくつかの実施形態において、Ｉ／Ｏインターフェース５１５は、Ｉ／Ｏインターフェース５１５の当初のポジションに対するＩ／Ｏインターフェース５１５の推定ポジションを示す較正データをキャプチャするＩＭＵ５４０を含む。いくつかの実施形態において、Ｉ／Ｏインターフェース５１５は、コンソール５１０から受信された命令に従って、触感のフィードバックをユーザに提供することができる。例えば、触感のフィードバックは、アクションリクエストが受信されたときに提供され、またはコンソール５１０は、命令をＩ／Ｏインターフェース５１５に通信し、コンソール５１０がアクションを行うときの触感のフィードバックをＩ／Ｏインターフェース５１５に生成させる。

コンソール５１０は、ＤＣＡ５２０、ＨＭＤ５０５、およびＩ／Ｏインターフェース５１５の１つまたは複数から受信された情報に従って処理するためにコンテンツをＨＭＤ５０５に送る。図５において示された例において、コンソール５１０は、アプリケーションストア５５５、追跡モジュール５６０、およびエンジン５６５を含む。コンソール５１０のいくつかの実施形態は、図５に関して説明されたものとは異なるモジュールまたは構成要素を有する。同様に、下記においてさらに説明される機能は、図５に関して説明されたものとは異なる手法でコンソール５１０の構成要素の中に分散されることが可能である。

アプリケーションストア５５５は、コンソール５１０によって実行するための１つまたは複数のアプリケーションを格納する。アプリケーションは、命令の群であり、プロセッサによって実行されるとき、ユーザに提示するためのコンテンツを生成する。アプリケーションによって生成されるコンテンツは、ＨＭＤ５０５またはＩ／Ｏインターフェース５１５の移動を介してユーザから受信された入力に応答するものであることが可能である。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションを含む。

追跡モジュール５６０は、１つまたは複数の較正パラメータを使用してＨＭＤシステム５００を較正し、１つまたは複数の較正パラメータを調節して、ＨＭＤ５０５のポジションまたはＩ／Ｏインターフェース５１５のポジションの決定の際の誤差を低減することができる。例えば、追跡モジュール５６０は、ＤＣＡ５２０の焦点を調節して、ＤＣＡ５２０によってキャプチャされた構造光要素のポジションをより正確に決定するために、較正パラメータをＤＣＡ５２０に通信する。追跡モジュール５６０によって行われる較正は、ＨＭＤ５０５におけるＩＭＵ５４０、および／またはＩ／Ｏインターフェース５１５に含まれるＩＭＵ５４０から受信された情報を考慮に入れる。追加として、ＨＭＤ５０５の追跡が失われた（例えば、ＤＣＡ５２０が少なくとも閾値数の構造光要素の照準線を見失う）場合、追跡モジュール５６０は、ＨＭＤシステム５００のいくつかまたは全てを再較正することができる。

追跡モジュール５６０は、ＤＣＡ５２０、１つもしくは複数のポジションセンサ５３５、ＩＭＵ５４０、またはこれらのいくつかの組合せからの情報を使用して、ＨＭＤ５０５の移動またはＩ／Ｏインターフェース５１５の移動を追跡する。例えば、追跡モジュール５５０は、ＨＭＤ５０５からの情報に基づいて、局所エリアのマッピングにおいてＨＭＤ５０５の基準点のポジションを決定する。追跡モジュール５６０は、ＩＭＵ５４０からのＨＭＤ５０５のポジションを示すデータを使用すること、またはＩ／Ｏインターフェース５１５に含まれるＩＭＵ５４０からのＩ／Ｏインターフェース５１５のポジションを示すデータを使用すること、をそれぞれ行って、ＨＭＤ５０５の基準点またはＩ／Ｏインターフェース５１５の基準点のポジションを決定することもできる。追加として、いくつかの実施形態において、追跡モジュール５６０は、ＩＭＵ５４０からのＨＭＤ５０５のポジションを示すデータ、ならびにＤＣＡ５２０からの局所エリアの表現、の一部を使用して、ＨＭＤ５０５の将来のロケーションを予測することができる。追跡モジュール５６０は、ＨＭＤ５０５またはＩ／Ｏインターフェース５１５の推定または予測された将来のロケーションをエンジン５５５に送る。

エンジン５６５は、ＨＭＤ５０５から受信された情報に基づいて、ＨＭＤ５０５のいくらかまたは全てを取り囲むエリア（すなわち「局所エリア」）の３Ｄマップを生成する。いくつかの実施形態において、エンジン５６５は、深度を計算する際に使用される技法に適切な、ＤＣＡ５２０から受信された情報に基づいて、局所エリアの３Ｄマップの深度情報を決定する。エンジン５６５は、構造光から深度を計算する際の１つまたは複数の技法を使用して深度情報を計算することができる。様々な実施形態において、エンジン５６５は、深度情報を使用して、例えば局所エリアのモデルを更新し、更新されたモデルに部分的に基づいてコンテンツを生成する。

エンジン５６５は、ＨＭＤシステム５００においてアプリケーションを実行し、ＨＭＤ５０５のポジション情報、加速度情報、速度情報、予測される将来のポジション、またはこれらのいくつかの組合せを追跡モジュール５６０から受信することも行う。受信情報に基づいて、エンジン５６５は、ユーザに提示するための、ＨＭＤ５０５に送ることになるコンテンツを決定する。例えば、ユーザが左を見たということを受信情報が示す場合、エンジン５６５は、仮想の環境における、または追加コンテンツで局所エリアを拡張する環境における、ユーザの移動を映すＨＭＤ５０５のためのコンテンツを生成する。追加として、エンジン５６５は、Ｉ／Ｏインターフェース５１５から受信されたアクションリクエストに応答して、コンソール５１０上で実行するアプリケーションの中でアクションを行い、アクションが行われたというフィードバックをユーザに提供する。提供されるフィードバックは、ＨＭＤ５０５を介した視覚もしくは可聴のフィードバック、またはＩ／Ｏインターフェース５１５を介した触感のフィードバックであることが可能である。

いくつかの実施形態において、視標追跡システム５４５から受信された視標追跡情報（例えば、ユーザの眼の方向）に基づいて、エンジン５６５は、電子ディスプレイ５２５上でユーザに提示するための、ＨＭＤ５０５に提供されるコンテンツの解像度を決定する。エンジン５６５は、ユーザの視線の中心窩領域において、電子ディスプレイ５２５上の最大ピクセル解像度を有するコンテンツをＨＭＤ５０５に提供し、その一方でエンジン５６５は、電子ディスプレイ５２５の他の領域においてピクセル解像度を小さくし、このようにして、ユーザの視覚的体感を損なうことなく、ＨＭＤ５０５における電力消費量を少なくすることを実現し、コンソール５１０の計算サイクルを節約する。いくつかの実施形態において、エンジン５６５は、視標追跡情報をさらに使用して、電子ディスプレイ５２５上でオブジェクトが表示される場所を調節し、両眼連動調節の不一致を防ぐことができる。

追加の構成情報
本開示の実施形態の前述の説明は、例証のために提示されてきたが、網羅的であること、または、開示された厳密な形式に本開示を限定すること、を意図するものではない。上記の開示の観点から多くの修正および変形が可能であるということを当業者は正しく認識するであろう。

本説明のいくつかの部分は、情報の操作に関するアルゴリズムおよび象徴的な表現の観点から本開示の実施形態を説明している。これらのアルゴリズム的説明および表現は、一般に、これらの作業の実体を効果的に他の当業者に伝えるために、データ処理の当業者によって使用される。これらの動作は、機能的、計算的、または論理的に説明されるが、コンピュータプログラムもしくは同等の電気回路、マイクロコード、または同様のものによって実行されるものと理解される。さらに、一般性を損なうことなく、動作のこれらの配列をモジュールと呼ぶことが便利であると時々証明してきた。説明された動作およびこれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらのいずれかの組合せに含まれることも可能である。

本明細書において説明されるステップ、動作、または処理のいずれかは、単独で、または他のデバイスと組み合わせて、１つまたは複数のハードウェアモジュールまたはソフトウェアモジュールによって、行われることまたは実行されることが可能である。１つの実施形態において、ソフトウェアモジュールは、説明されたステップ、動作、または処理のいずれかまたは全てを行うためにコンピュータプロセッサによって実行されることが可能な、コンピュータプログラムコードを収めるコンピュータ可読媒体を含むコンピュータプログラム製品によって実行される。

本開示の実施形態は、本明細書における動作を行うための装置に関するものであることも可能である。この装置は、必要な目的のために具体的に構築されることが可能であり、および／またはこの装置は、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブにされるか、もしくは再構成された汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、コンピュータシステムバスに連結されることが可能な、非一時的な有形のコンピュータ可読ストレージ媒体、または電子命令を格納するのに適した任意のタイプの媒体に格納されることが可能である。さらに、明細書において参照されるいずれかのコンピューティングシステムは単一のプロセッサを含むことができ、または向上した計算能力のために複数のプロセッサ設計を用いるアーキテクチャであることも可能である。

本開示の実施形態は、本明細書において説明される計算処理によって生み出される製品に関するものであることも可能である。このような製品は、計算処理から生じる情報を含むことができ、ここで、情報は、非一時的な有形のコンピュータ可読ストレージ媒体に格納され、本明細書において説明されるコンピュータプログラム製品または他のデータの組合せのいずれかの実施形態を含むことができる。

最後に、明細書において使用される言語は、可読性および教授目的のために主に選択されてきたが、発明の主題を詳しく説明すること、または制限することを行うように選択されなかった可能性がある。したがって、本開示の範囲は、本詳細な説明によってではなく、むしろ本明細書に基づく出願に関して発行するいずれかの請求項によって限定されるということを意図するものである。したがって、本実施形態の開示は、以下の特許請求の範囲において示される本開示の範囲の例証であることを意図するものであるが、限定を意図するものではない。

Claims (35)

1. 放射指令に従って、構造光パターンで局所エリアを照らすように構成された構造光発生器であって、
   光学ビームを放射するように構成された照明光源、
   前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子（ＰＤＯＥ）であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子（ＰＤＯＥ）、および
   前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記ＰＤＯＥに基づいて動的に調節可能である、投影アセンブリ、
   を備える、構造光発生器と、
   前記局所エリア内の１つまたは複数のオブジェクトから反射された前記構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
   コントローラであって、
   前記放射指令を生成すること、
   前記構造光発生器に前記放射指令を提供すること、および
   キャプチャした前記１つまたは複数のイメージに部分的に基づいて、前記１つまたは複数のオブジェクトの深度情報を決定すること
   を行うように構成されたコントローラと
   を備える、深度カメラアセンブリ（ＤＣＡ）。
2. 前記ＰＤＯＥが、空間光モジュレータ、リキッドクリスタルオンシリコン（ＬＣＯＳ）デバイス、微小電気機械（ＭＥＭ）デバイス、およびデジタルマイクロミラーデバイス（ＤＭＤ）からなる群から選択される、請求項１に記載のＤＣＡ。
3. 前記ＰＤＯＥが、液晶（ＬＣ）ベースの回折光学素子を含み、
   前記コントローラが、前記ＬＣベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記ＬＣベースの回折光学素子に印加される電圧レベルを動的に調節する、
   請求項１に記載のＤＣＡ。
4. 前記ＰＤＯＥが、前記回折スキャンビームを変調光として形成するために、変調信号が空間周波数を有することに基づいて前記光学ビームを空間変調する空間光モジュレータを含み、
   前記コントローラが、前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節する、
   請求項１に記載のＤＣＡ。
5. 前記ＰＤＯＥが、マイクロミラーセルのアレイを含み、
   前記コントローラが、前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第１の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第２の複数のセルを動的に再構成する、
   請求項１に記載のＤＣＡ。
6. 前記照明光源が、
   前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、
   前記光学ビームをコリメート光にコリメートするように構成されたコリメーションアセンブリと、
   前記コリメート光を前記ＰＤＯＥに向けるように構成されたプリズムと
   を含む、請求項１に記載のＤＣＡ。
7. 前記照明光源が、
   前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、
   単一の光学素子であって、
   コリメート光を生成するために前記光学ビームをコリメートすること、および
   前記コリメート光を前記ＰＤＯＥに向けること
   を行うように構成された単一の光学素子と
   を含む、請求項１に記載のＤＣＡ。
8. 前記ＰＤＯＥが、前記放射指令に部分的に基づいて前記回折スキャンビームを形成するために、ブラッグ整合条件を満たす角度で前記ＰＤＯＥに入射する前記光学ビームを回折させる、請求項１に記載のＤＣＡ。
9. 前記構造光パターンが時間的に変調されるように、前記光学ビームが時間的に変調される、請求項１に記載のＤＣＡ。
10. 前記コントローラが、
    決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    を行うようにさらに構成される、請求項１に記載のＤＣＡ。
11. 前記コントローラが、
    前記局所エリア内の前記１つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    を行うようにさらに構成される、請求項１に記載のＤＣＡ。
12. 前記ＤＣＡが、ヘッドマウントディスプレイの構成要素である、請求項１に記載のＤＣＡ。
13. 放射指令を生成することと、
    光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能するプログラム可能回折光学素子（ＰＤＯＥ）を使用して前記光学ビームを回折させることによって、前記光学ビームから前記回折スキャンビームを、前記放射指令に部分的に基づいて生成することと、
    前記回折スキャンビームを構造光パターンとして局所エリアに投影することと、
    前記局所エリア内の１つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャすることと、
    キャプチャした前記１つまたは複数のイメージに少なくとも部分的に基づいて、前記１つまたは複数のオブジェクトの深度情報を決定することと
    を含む、方法。
14. 前記ＰＤＯＥが、液晶（ＬＣ）ベースの回折光学素子を含み、前記方法が、
    前記ＬＣベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記ＬＣベースの回折光学素子に印加される電圧レベルを動的に調節すること
    をさらに含む、請求項１３に記載の方法。
15. 変調信号が空間周波数を有することに基づいて、前記回折スキャンビームを変調光として形成するために、空間光モジュレータとして構成された前記ＰＤＯＥを使用して前記光学ビームを変調することと、
    前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節することと
    をさらに含む、請求項１３に記載の方法。
16. 前記ＰＤＯＥが、マイクロミラーセルのアレイを含み、前記方法が、
    前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第１の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第２の複数のセルを動的に再構成すること
    をさらに含む、請求項１３に記載の方法。
17. 前記放射指令に部分的に基づいて前記光学ビームを放射することと、
    コリメート光を生成するために前記光学ビームをコリメートすることと、
    前記コリメート光を前記ＰＤＯＥに向けることと
    をさらに含む、請求項１３に記載の方法。
18. 決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    をさらに含む、請求項１３に記載の方法。
19. 前記局所エリア内の前記１つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    をさらに含む、請求項１３に記載の方法。
20. ヘッドマウントディスプレイ（ＨＭＤ）であって、
    イメージ光を放射するように構成された電子ディスプレイと、
    放射指令に従って、構造光パターンで局所エリアを照らすように構成された光発生器であって、
    光学ビームを放射するように構成された照明光源、
    前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子（ＰＤＯＥ）であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子（ＰＤＯＥ）、および
    前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記ＰＤＯＥに基づいて動的に調節可能である、投影アセンブリ
    を備える、光発生器と、
    前記局所エリア内の１つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
    コントローラであって、
    前記放射指令を生成すること、
    前記光発生器に前記放射指令を提供すること、および
    キャプチャした前記１つまたは複数のイメージに部分的に基づいて、前記１つまたは複数のオブジェクトの深度情報を決定すること
    を行うように構成されたコントローラと、
    ユーザの眼のロケーションに対応する前記ＨＭＤの射出瞳に前記イメージ光を向けるように構成された光学アセンブリであって、前記イメージ光が、決定された前記深度情報を含む、光学アセンブリと
    を備える、ヘッドマウントディスプレイ（ＨＭＤ）。
21. 放射指令に従って、構造光パターンで局所エリアを照らすように構成された構造光発生器であって、
    光学ビームを放射するように構成された照明光源、
    前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子（ＰＤＯＥ）であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子（ＰＤＯＥ）、および
    前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記ＰＤＯＥに基づいて動的に調節可能である、投影アセンブリ
    を備える、構造光発生器と、
    前記局所エリア内の１つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
    コントローラであって、
    前記放射指令を生成すること、
    前記構造光発生器に前記放射指令を提供すること、および
    キャプチャした前記１つまたは複数のイメージに部分的に基づいて、前記１つまたは複数のオブジェクトの深度情報を決定すること
    を行うように構成されたコントローラと
    を備える、深度カメラアセンブリ（ＤＣＡ）。
22. 前記ＰＤＯＥが、空間光モジュレータ、リキッドクリスタルオンシリコン（ＬＣＯＳ）デバイス、微小電気機械（ＭＥＭ）デバイス、およびデジタルマイクロミラーデバイス（ＤＭＤ）からなる群から選択される、請求項２１に記載のＤＣＡ。
23. 前記ＰＤＯＥが、液晶（ＬＣ）ベースの回折光学素子を含み、
    前記コントローラが、前記ＬＣベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記ＬＣベースの回折光学素子に印加される電圧レベルを動的に調節する、
    請求項２１または２２に記載のＤＣＡ。
24. 前記ＰＤＯＥが、前記回折スキャンビームを変調光として形成するために、変調信号が空間周波数を有することに基づいて前記光学ビームを空間変調する空間光モジュレータを含み、
    前記コントローラが、前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節する、
    請求項２１から２３のいずれか一項に記載のＤＣＡ。
25. 前記ＰＤＯＥが、マイクロミラーセルのアレイを含み、
    前記コントローラが、前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第１の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第２の複数のセルを動的に再構成する、
    請求項２１から２４のいずれか一項に記載のＤＣＡ。
26. 前記照明光源が、
    前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、
    前記光学ビームをコリメート光にコリメートするように構成されたコリメーションアセンブリと、
    前記コリメート光を前記ＰＤＯＥに向けるように構成されたプリズムと
    を含み、ならびに／または
    前記照明光源が、
    前記放射指令に部分的に基づいて前記光学ビームを放射するように構成された光エミッタと、
    単一の光学素子であって、
    コリメート光を生成するために前記光学ビームをコリメートすること、および
    前記コリメート光を前記ＰＤＯＥに向けること
    を行うように構成された単一の光学素子と
    を含む、
    請求項２１から２５のいずれか一項に記載のＤＣＡ。
27. 前記ＰＤＯＥが、前記放射指令に部分的に基づいて前記回折スキャンビームを形成するために、ブラッグ整合条件を満たす角度で前記ＰＤＯＥに入射する前記光学ビームを回折させ、および／または
    前記構造光パターンが時間的に変調されるように、前記光学ビームが時間的に変調される、
    請求項２１から２６のいずれか一項に記載のＤＣＡ。
28. 前記コントローラが、
    決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    をさらに行うように構成され、および／または
    前記コントローラが、
    前記局所エリア内の前記１つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    をさらに行うように構成される、
    請求項２１から２７のいずれか一項に記載のＤＣＡ。
29. 前記ＤＣＡが、ヘッドマウントディスプレイの構成要素である、請求項２１から２８のいずれか一項に記載のＤＣＡ。
30. 放射指令を生成することと、
    光学ビームの回折を動的に調節して種々のパターンの回折スキャンビームを生成する動的回折格子として機能するプログラム可能回折光学素子（ＰＤＯＥ）を使用して前記光学ビームを回折させることによって、前記光学ビームから前記回折スキャンビームを、前記放射指令に部分的に基づいて生成することと、
    前記回折スキャンビームを構造光パターンとして局所エリアに投影することと、
    前記局所エリア内の１つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャすることと、
    キャプチャした前記１つまたは複数のイメージに少なくとも部分的に基づいて、前記１つまたは複数のオブジェクトの深度情報を決定することと
    を含む、方法。
31. 前記ＰＤＯＥが、液晶（ＬＣ）ベースの回折光学素子を含み、前記方法が、
    前記ＬＣベースの回折光学素子の回折角を調節して前記種々のパターンを有する前記回折スキャンビームを形成するために、前記ＬＣベースの回折光学素子に印加される電圧レベルを動的に調節すること
    をさらに含む、請求項３０に記載の方法。
32. 変調信号が空間周波数を有することに基づいて、前記回折スキャンビームを変調光として形成するために、空間光モジュレータとして構成された前記ＰＤＯＥを使用して前記光学ビームを変調することと、
    前記種々のパターンを有する前記変調光を形成するために、前記光学ビームに適用される前記変調信号の前記空間周波数を動的に調節することと
    をさらに含み、ならびに／または
    前記ＰＤＯＥが、マイクロミラーセルのアレイを含み、前記方法が、
    前記種々のパターンを有する前記回折スキャンビームを形成するために、前記放射指令に部分的に基づいて、前記光学ビームの一部を吸収するように前記アレイにおける第１の複数のセルを動的に再構成し、前記光学ビームの別の部分を反射するように前記アレイにおける第２の複数のセルを動的に再構成すること
    をさらに含む、
    請求項３０または３１に記載の方法。
33. 前記放射指令に部分的に基づいて前記光学ビームを放射することと、
    コリメート光を生成するために前記光学ビームをコリメートすることと、
    前記コリメート光を前記ＰＤＯＥに向けることと
    をさらに含む、請求項３０から３２のいずれか一項に記載の方法。
34. 決定された前記深度情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    をさらに含み、および／または
    前記局所エリア内の前記１つまたは複数のオブジェクトのロケーション情報に基づいて、前記光学ビームの回折を調節するように前記動的回折格子を制御すること
    をさらに含む、
    請求項３０から３３のいずれか一項に記載の方法。
35. ヘッドマウントディスプレイ（ＨＭＤ）であって、
    イメージ光を放射するように構成された電子ディスプレイと、
    放射指令に従って、構造光パターンで局所エリアを照らすように構成された光発生器であって、
    光学ビームを放射するように構成された照明光源、
    前記光学ビームから回折スキャンビームを、前記放射指令に部分的に基づいて生成するプログラム可能回折光学素子（ＰＤＯＥ）であって、前記光学ビームの回折を動的に調節して種々のパターンの前記回折スキャンビームを生成する動的回折格子として機能する、プログラム可能回折光学素子（ＰＤＯＥ）、および
    前記回折スキャンビームを前記構造光パターンとして前記局所エリアに投影するように構成された投影アセンブリであって、前記構造光パターンが、前記ＰＤＯＥに基づいて動的に調節可能である、投影アセンブリ
    を備える、光発生器と、
    前記局所エリア内の１つまたは複数のオブジェクトから反射した前記構造光パターンの少なくとも一部の１つまたは複数のイメージをキャプチャするように構成されたイメージデバイスと、
    コントローラであって、
    前記放射指令を生成すること、
    前記光発生器に前記放射指令を提供すること、および
    キャプチャした前記１つまたは複数のイメージに部分的に基づいて、前記１つまたは複数のオブジェクトの深度情報を決定すること
    を行うように構成されたコントローラと、
    ユーザの眼のロケーションに対応する前記ＨＭＤの射出瞳に前記イメージ光を向けるように構成された光学アセンブリであって、前記イメージ光が、決定された前記深度情報を含む、光学アセンブリと
    を備える、ヘッドマウントディスプレイ（ＨＭＤ）。

Images