JP2021524021A - 深度検知システム用の動的構造化光 - Google Patents

Abstract

深度カメラアセンブリ（ＤＣＡ）は、深度情報を決定する。ＤＣＡは、動的構造化光パターンを局所エリアに投射し、動的構造化光パターンの一部分を含む画像を取り込む。ＤＣＡは、動的構造化光パターンを用いて関心領域に加えられるテクスチャの量を増減することが有益であり得る関心領域を決定する。たとえば、ＤＣＡは、コントラストアルゴリズムを用いて計算されたコントラスト値に基づいて、または局所エリアの仮想モデルを含むマッピングサーバから受け取ったパラメータに基づいて、関心領域を識別することができる。ＤＣＡは、動的構造化光パターンによって局所エリアの各部分に追加されるテクスチャの量を選択的に増減することができる。動的構造化光パターンの各部分を選択的に制御することによって、ＤＣＡは電力消費を低減させること、および／または深度検知測定の精度を高めることができる。【選択図】図１Ｂ

Description

関連出願の相互参照
本出願は、２０１８年５月２１日出願の米国特許仮出願第６２／６７４，４３０号、および２０１９年５月１７日出願の米国特許出願第１６／４１５，２０２号の利益を主張し、これらの特許文献は参照によりその全体が本明細書に組み込まれる。

本開示は、一般に深度カメラアセンブリに関し、詳細には深度カメラアセンブリ用の動的構造化光に関する。

非常に大まかには、構造化光検知とは、既知の構造化光パターン（たとえば、バー）を１つのシーン上に構造化光投射器を使用して投射する処理のことである。そのシーンの深度情報は、構造化光パターンによって照明されたシーンの画像を用いて計算することができる。構造化光パターンの有効性は、部分的にパターンフィーチャの密度に基づく。従来の構造化光投射器は通常、動的に調整されない固定パターンを有する。したがって、従来の構造化光投射器は通常、特別な範囲の距離またはコントラストに対しては最適化されるが、これらのパラメータの範囲を越えると、パターンは密になりすぎたり（たとえば、電力消費が不必要に高くなるように、かつ／またはフィーチャが互いに解像できないように）、疎になりすぎたりする（たとえば、解像度が非常に低くなる）。

深度カメラアセンブリ（ＤＣＡ）は深度情報を決定する。本開示の実施形態は、深度情報を決定するための方法、コンピュータ可読媒体、および構造化光を供給する装置をサポートする。いくつかの実施形態では、動的構造化光パターンは、ネットワークを介してヘッドセットと接続されたマッピングサーバに記憶されている物理的ロケーションの仮想モデルに基づいて決定される。この仮想モデルは、複数の空間、およびこれらの空間の特性を記述し、仮想モデル内のロケーションは、ヘッドセットの物理的なロケーションに対応する。マッピングサーバは、ヘッドセットから受け取った局所エリアの少なくとも一部分について記述する情報に基づいて、ヘッドセットの仮想モデル内のロケーションを決定する。マッピングサーバは、仮想モデル内の決定されたロケーションと、決定されたロケーションに関連するいずれかのパラメータとに部分的に基づいて、ヘッドセットの物理的ロケーションに関連するパラメータの組を決定する。ヘッドセットは、マッピングサーバから受け取ったパラメータの組を用いて、動的構造化光パターンを生成する。

ＤＣＡは、動的構造化光パターンを用いて関心領域に加えられるテクスチャの量を増減することが有益であり得る関心領域を決定することができる。たとえば、ＤＣＡは、コントラストアルゴリズムを用いて計算されたコントラスト値に基づいて、またはマッピングサーバから受け取ったパラメータに基づいて、関心領域を識別することができる。ＤＣＡは、動的構造化光パターンによって局所エリアの各部分に追加されるテクスチャの量を選択的に増減することができる。動的構造化光パターンの各部分を選択的に制御することによって、ＤＣＡは電力消費を低減させること、および／または深度検知測定の精度を高めることができる。

いくつかの実施形態では、ＤＣＡは、構造化光（ＳＬ）投射器、カメラアセンブリ、およびコントローラを含む。ＳＬ投射器は、１つまたは複数のＳＬパターンを照明命令に従って局所エリアに投射するように構成される。カメラアセンブリは、１つまたは複数のＳＬパターンを含む局所エリアの一部分の画像を取り込むように構成される。コントローラは、取り込まれた画像に部分的に基づいて局所エリアのコントラスト量を決定するように構成される。コントローラはまた、局所エリア内の第１の関心領域、および局所エリア内の第２の関心領域を識別する。第１の関心領域は第１のコントラスト量を有し、第２の関心領域は第１の量よりも多い第２のコントラスト量を有する。コントローラは、第１の関心領域内の第１のコントラスト量と、第２の関心領域内の第２のコントラスト量とに部分的に基づいて照明命令を更新する。コントローラは、その更新された照明命令をＳＬ投射器に与える。更新された照明命令により、ＳＬ投射器は、第１のＳＬパターンを第１の関心領域に投射し、第２のＳＬパターンを第２の関心領域に投射する。また、第２のＳＬパターンは第１のＳＬパターンとは異なる。

１つまたは複数の実施形態による、深度カメラアセンブリを含むヘッドセットの斜視図である。 １つまたは複数の実施形態による、図１ＡのヘッドセットのＤＣＡの概略図である。 １つまたは複数の実施形態による、ユーザが部屋内でヘッドセットを装着している概略図である。 １つまたは複数の実施形態による、ＤＣＡのブロック図である。 １つまたは複数の実施形態による、マッピングサーバのブロック図である。 １つまたは複数の実施形態による、局所エリアと、局所エリアの構成について記述するパラメータとを記述する仮想モデルの一例である。 １つまたは複数の実施形態による、動的構造化光パターンを生成する処理を示すフローチャートである。 １つまたは複数の実施形態による、局所エリアのコントラスト量を決定する処理を示すフローチャートである。 １つまたは複数の実施形態による、対象物ロケーションに基づいて関心領域を識別する処理を示すフローチャートである。 １つまたは複数の実施形態による、ヘッドセットおよびマッピングサーバを含むシステム環境のブロック図である。

図は、本開示の諸実施形態を単に説明の目的で描写している。当業者には、以下の説明から、本明細書に示された構造および方法の代替実施形態が、本明細書に記載された開示の原理、または謳われている利益から逸脱することなく使用され得ることが容易に理解されよう。

深度カメラアセンブリ（ＤＣＡ）は、深度情報を決定する。ＤＣＡは、動的構造化光パターンを局所エリアに投射し、動的構造化光パターンの一部分を含む画像を取り込む。局所エリア内の三次元対象物による動的構造化光パターンの歪により、ＤＣＡが三次元深度情報を計算することが可能になる。ＤＣＡは、動的構造化光パターンを用いて、ある量のテクスチャを局所エリア内の対象物に与えることができる。ＤＣＡは、動的構造化光パターンを用いて関心領域に加えられるテクスチャを変えることが有益であり得る関心領域を決定することができる。動的構造化光パターンを用いて加えられるテクスチャの量は、深度測定の精度に影響を及ぼし得る（たとえば、テクスチャが多いと精度が向上し得る）。テクスチャは、輝度、密度、パターン形状（たとえば、ドット、バー、グリッド）、偏光、点滅率などの動的構造化光パターンの特性の影響を受ける。動的構造化光パターンの１つの特性を変化させると、動的構造化光パターンによって局所エリアに追加されるテクスチャが変化し得る。たとえば、ＤＣＡは、コントラストアルゴリズムを用いて計算されたコントラスト値に基づいて、または局所エリアの仮想モデルを含むマッピングサーバから受け取ったパラメータに基づいて、関心領域を識別することができる。ＤＣＡは、動的構造化光パターンによって局所エリアの各部分に追加されるテクスチャの量を選択的に増減することができる。

ＤＣＡは、局所エリアの別々の部分の動的構造化光パターンを別個に変えることができる。たとえば、所与の瞬間における状態の変化に応答して、ＤＣＡは、第１の関心領域内の動的構造化光パターンの輝度を増大させることができ、またＤＣＡは同時に、第２の関心領域内の動的構造化光パターンの輝度を低減させることができる。局所エリアのそれぞれの部分について、ＤＣＡは、輝度、密度、パターン形状（たとえば、ドット、バー、グリッド）、偏光、点滅率などの、動的構造化光パターンのいずれかの適切な特性を調整することができる。いくつかの実施形態では、動的構造化光パターンは、異なるパターンが異なる時間に異なる領域の上に投射されるように時分割することができる。

従来のシステムでは、深度情報を決定するために静的構造化光パターンを投射することができる。しかし、静的構造化光パターンは、局所エリアのいくつかの領域に必要以上のテクスチャを与えることがあり、これにより余分な電力を消費する。加えて、静的構造化光パターンは、低コントラスト領域などの局所エリアのいくつかの領域では、正確な深度情報を取得するための十分なテクスチャを与えることができない。対照的に、局所エリアについての情報をマッピングサーバから取得することによって、また動的構造化光パターンの各部分を選択的に制御することによって、ＤＣＡは電力消費を低減させること、および／または深度検知測定の精度を高めることができる。

本開示の諸実施形態は、人工現実システムを含むこと、または人工現実システムと併せて実施することができる。人工現実とは、ユーザに提示する前に何かの方法で調整された現実の一形態のことであり、これには、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはこれらのいくつかの組み合わせおよび／または派生物が含まれ得る。人工現実コンテンツには、完全に生成されたコンテンツ、または取り込まれた（たとえば、実世界）コンテンツと組み合わされた生成コンテンツが含まれ得る。人工現実コンテンツには、映像、音声、触覚フィードバック、またはこれらのどれかの組み合わせが含まれてもよく、これらのいずれも、単一のチャネルまたは複数のチャネル（視聴者に三次元効果をもたらす立体映像など）で提示することができる。加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、またはこれらのいくつかの組み合わせと関連付けることができ、これらはたとえば、人工現実のコンテンツを作成するために使用され、かつ／または人工現実において（たとえば、諸活動を行うのに）別に使用される。人工現実コンテンツを提供する人工現実システムは、ヘッドセット、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、ニアアイディスプレイ（ＮＥＤ）、モバイルデバイスもしくはコンピューティングシステム、または他の、人工現実コンテンツを１人または複数の視聴者に提供できる任意の他のハードウェアプラットフォームを含む様々なプラットフォーム上で実施することができる。

ヘッドセットは、たとえば、ＮＥＤ、ＨＭＤ、または何か別のタイプのヘッドセットでよい。ヘッドセットは、人工現実システムの一部でもよい。ヘッドセットはさらに、表示装置および光学アセンブリを含む。ヘッドセットの表示装置は、画像光を発するように構成される。ヘッドセットの光学アセンブリは、装着者の眼のロケーションに対応するヘッドセットのアイボックスまで画像光を導くように構成される。いくつかの実施形態では、画像光は、ヘッドセットを取り囲む局所エリアの深度情報を含み得る。

図１Ａは、１つまたは複数の実施形態による、ＤＣＡ １２０を含むヘッドセットの斜視図である。いくつかの（図１Ａに示すような）実施形態では、ヘッドセット１００はニアアイディスプレイ（ＮＥＤ）として実施される。代替実施形態（図１Ａに図示せず）では、ヘッドセット１００はヘッドマウントディスプレイ（ＨＭＤ）として実施される。一般にヘッドセット１００は、ヘッドセット１００の一方または両方のレンズ１１０を用いてコンテンツ（たとえば、メディアコンテンツ）が提示されるようにユーザの顔に装着することができる。しかし、ヘッドセット１００はまた、メディアコンテンツがユーザに別の方法で提示されるように使用することもできる。ヘッドセット１００によって提示されるメディアコンテンツの例には、１つまたは複数の画像、映像、音声、またはこれらのどれかの組み合わせが含まれる。ヘッドセット１００は、いくつかある構成要素の中で特に、フレーム１０５、レンズ１１０、１つまたは複数のスピーカ１１５、深度カメラアセンブリ（ＤＣＡ）１２０、および位置センサ１２５を含み得る。

ＤＣＡ １２０は、ヘッドセット１００の一部または全部を取り囲む局所エリアについての視覚情報を取り込むための、ヘッドセット１００に搭載された同時位置特定・マッピング（ＳＬＡＭ）センサの一部とすることができる。図１Ａは、ヘッドセット１００上の例示的なロケーションにおけるヘッドセット１００の構成要素を示すが、これらの構成要素は、ヘッドセット１００の上、ヘッドセット１００と対をなす周辺デバイスの上、またはこれらのどれかの組み合わせの、どこか他のところに設置されてもよい。

ヘッドセット１００は、ユーザの視覚を補正もしくは向上させることも、ユーザの眼を保護することも、ユーザに画像を提供することもできる。ヘッドセット１００は、ユーザの視力の欠陥を補正するメガネとすることができる。ヘッドセット１００は、太陽からユーザの眼を保護するサングラスとすることができる。ヘッドセット１００は、ユーザの眼を衝撃から保護する安全メガネとすることができる。ヘッドセット１００は、夜間にユーザの視覚を向上させる暗視デバイスまたは赤外線ゴーグルとすることができる。ヘッドセット１００は、ユーザのために人工現実コンテンツをもたらすニアアイディスプレイとすることができる。

フレーム１０５は、ヘッドセット１００の他の構成要素を保持する。フレーム１０５は、レンズ１１０と、ユーザの頭部に付着するための端部片とを保持する前部を含む。フレーム１０５の前部は、ユーザの鼻の最上部をまたぐ。端部片（たとえば、メガネのつる）は、ユーザのこめかみが付くフレーム１０５の各部分である。端部片の長さは、異なるユーザに合うように調整可能（たとえば、つるの長さが調整可能）とすることができる。端部片はまた、ユーザの耳の後ろで丸まる部分（たとえば、つる先端部、耳部片）を含むこともできる。

レンズ１１０は、ヘッドセット１００を装着するユーザに光を供給（たとえば、生成および／または透過）する。レンズ１１０は、ユーザの視力の欠陥を補正する助けになる度付きレンズ（たとえば、単焦点、二焦点および三焦点、または累進焦点）とすることができる。度付きレンズは、ヘッドセット１００を装着しているユーザまで周囲光を透過する。透過される周囲光は、度付きレンズによってユーザの視力の欠陥を補正するように修正することができる。レンズ１１０は、太陽からユーザの眼を保護するための偏光レンズまたは色付きレンズとすることができる。レンズ１１０は、画像光が導波路の端部または縁部を介してユーザの眼に結合される導波路表示装置の一部として、１つまたは複数の導波路とすることができる。レンズ１１０は、画像光を供給するための電子表示装置を含むことができ、また電子表示装置からの画像光を拡大するための光学ブロックを含むこともできる。

スピーカ１１５は、ユーザの耳に音をもたらす。スピーカ１１５はフレーム１０５の外部に示されているが、スピーカ１１５はフレーム１０５で囲むこともできる。いくつかの実施形態では、耳ごとの単独のスピーカの代わりに、ヘッドセット１００は、提示される音声コンテンツの方向性を改善するために、たとえばフレーム１０５の端部片に内蔵されたスピーカアレイ（図１Ａに図示せず）を含む。

ＤＣＡ １２０は、部屋などの、ヘッドセット１００を取り囲む局所エリアについての深度情報を決定する。ＤＣＡ １２０は、光投射器（たとえば、構造化光投射器および／または飛行時間を得るための閃光照明）、撮像デバイス、およびコントローラ（図１Ａに図示せず）を含む。構造化光投射器は、本明細書でさらに説明するように、様々な条件に応じて調整することができる動的構造化光パターンを局所エリアに生成することができる。

ＤＣＡ １２０は、光投射器から局所エリアに投射された光からなる、撮像デバイスによって取り込まれる画像などのデータを取り込むことができる。１つの実施形態では、ＤＣＡ １２０は、コントローラと、局所エリアの各部分を立体で取り込むために方向を合わせてある２つ以上の撮像デバイスとを含み得る。取り込まれたデータは、２つ以上の撮像デバイスによって取り込まれた、局所エリアの立体の画像であり得る。ＤＣＡ １２０のコントローラは、取り込まれたデータおよび深度決定技法（たとえば、構造化光、飛行時間、立体撮像など）を用いて、局所エリアの深度情報を計算する。この深度情報に基づいて、ＤＣＡ １２０のコントローラは、局所エリア内のヘッドセット１００の絶対位置情報を決定する。ＤＣＡ １２０のコントローラはまた、局所エリアのモデルを生成することもできる。ＤＣＡ １２０は、ヘッドセット１００と一体化することができ、あるいはヘッドセット１００の外部の局所エリア内に配置することができる。

いくつかの実施形態では、ＤＣＡ １２０のカメラのうちの一部はまた、カラー（たとえば、ＲＧＢ）画像データを生成する１つまたは複数の受動撮像デバイスを含む、受動カメラアセンブリ（ＰＣＡ）として機能するように構成することもできる。受動撮像デバイスは、局所エリアの環境からの光を取り込んでカラー画像データを生成する。深度または撮像デバイスからの距離を定義するピクセル値ではなく、カラー画像データのピクセル値は、画像データに取り込まれた対象物の可視色を定義することができる。いくつかの実施形態では、受動撮像デバイスはコントローラによって制御され、コントローラは、受動撮像デバイスによって取り込まれた光に基づいてカラー画像データを生成する。

ＤＣＡ １２０は、ＩＲ構造化光パターンを含む画像フレーム内の周囲ＩＲ信号を補正することができる。周囲ＩＲ信号は、画像フレーム内の、ＩＲ構造化光パターンでは得られないあらゆるＩＲ信号であり得る。ＤＣＡ １２０は、第１の画像の取り込み中に動的構造化光パターンを投射することができ、またＤＣＡは、第２の画像の取り込み中に動的構造化光パターンを停止することができる。ＤＣＡ １２０は、第１の画像のピクセル値から第２の画像のピクセル値を減算することができ、これにより、画像から周囲ＩＲ信号を除去すること、および深度情報を計算するＤＣＡ １２０の能力を向上させることができる。

位置センサ１２５は、ヘッドセット１００の動きに応答して１つまたは複数の測定信号を生成することができる。位置センサ１２５は、ヘッドセット１００のフレーム１０５の一部分に設置することができる。位置センサ１２５は、位置センサもしくは慣性測定ユニット（ＩＭＵ）または両方を含むことができる。ヘッドセット１００のいくつかの実施形態は、位置センサ１２５を含むことも含まないこともあり、あるいは複数の位置センサ１２５を含むことがある。位置センサ１２５がＩＭＵを含む実施形態では、ＩＭＵは、位置センサ１２５からの測定信号に基づいてＩＭＵデータを生成する。位置センサ１２５の例としては、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵの誤差補正に使用されるタイプのセンサ、またはこれらのどれかの組み合わせが含まれる。位置センサ１２５は、ＩＭＵの外部、ＩＭＵの内部、またはこれらのどれかの組み合わせに設置することができる。

１つまたは複数の測定信号に基づいて、位置センサ１２５は、ヘッドセット１００の初期位置を基準としてヘッドセット１００の現在の位置を推定する。この推定位置には、ヘッドセット１００のロケーション、および／またはヘッドセット１００もしくはヘッドセット１００を装着しているユーザの頭の向き、またはこれらのどれかの組み合わせが含まれ得る。この向きは、基準点に対するそれぞれの耳の位置に対応し得る。いくつかの実施形態では、位置センサ１２５は、ＤＣＡ １２０からの深度情報および／または絶対位置情報を用いてヘッドセット１００の現在の位置を推定する。位置センサ１２５は、並進運動（前後、上下、左右）を測定する多数の加速度計と、回転運動（たとえば、ピッチ、ヨー、ロール）を測定する多数のジャイロスコープとを含み得る。いくつかの実施形態では、ＩＭＵは、測定信号を高速でサンプリングし、サンプリングされたデータからヘッドセット１００の推定位置を計算する。たとえば、ＩＭＵは、加速度計から受け取った測定信号を経時的に積分して速度ベクトルを推定し、その速度ベクトルを経時的に積分してヘッドセット１００上の基準点の推定位置を決定する。基準点とは、ヘッドセット１００の位置を記述するために使用できる点のことである。基準点は、一般には空間内の点として定義され得るが、実際には基準点は、ヘッドセット１００の内部の点として定義される。

図１Ｂは、一実施形態による、光を局所エリア１５５に投射する図１Ａのヘッドセット１００のＤＣＡ １２０の概略図１５０である。ＤＣＡ １２０のいくつかの実施形態には、ここで説明するものとは異なる構成要素がある。同様に、場合によっては、各機能が、ここで説明するのとは異なるようにして構成要素の間に分布し得る。

ＤＣＡ １２０は、構造化光投射器１６０、カメラアセンブリ１６５、およびコントローラ１７０を含む。構造化光投射器１６０は、局所エリア１５５を構造化光によって照明する。いくつかの実施形態では、構造化光投射器１６０は、光源、回折光学ユニット、および投射アセンブリを含む。光源は光を発する。回折光学ユニットは、複数の回折光学要素（ＤＯＥ）を含む。ＤＯＥは、たとえば、１つまたは複数の回折格子、拡散器、空間光変調器、構造化光を形成する何か他の要素、またはこれらのどれかの組み合わせとすることができる。回折光学ユニットの各ＤＯＥは、光源からの光を構造化光パターンに変換する。構造化光パターンは、たとえば、ドットマトリックスパターン、ラインパターン、正弦波パターン、マルチ（空間）トーンパターンおよびグリッドパターン、（たとえば、飛行時間または能動的な立体深度決定のための）散乱光、深度情報を決定するために使用される何か他の光、またはこれらのどれかの組み合わせであり得る。動的光パターン投射は、光源、ＤＯＥもしくは投射アセンブリ、またはこれらを組み合わせたものを動的に制御することによって達成される。構造化光が散乱光である実施形態では、ＤＯＥを使用して、ＤＣＡ １２０の異なる視野を生成することができる。ＤＣＡ １２０は、ＤＯＥを選択してその視野を調整する。投射アセンブリは、構造化光パターンを局所エリア１５５に投射する。たとえば、投射アセンブリは、構造化光を集めて局所エリア１５５の一部または全部にその構造化光を投射する１つまたは複数の光学要素（たとえば、レンズ、偏光器、格子など）を含む。

カメラアセンブリ１６５は、局所エリア１５５の一部分の画像を取り込み、取り込み画像をコントローラ１７０へ出力する。カメラアセンブリ１６５は、１つまたは複数のカメラを含む。

いくつかの実施形態では、コントローラ１７０は、カメラアセンブリ１６５からの取り込み画像を用いて局所エリア１５５内の対象物の深度情報を決定するように構成される。コントローラ１７０はまた、構造化光投射器１６０が構造化光をどのように投射するか、さらにカメラアセンブリ１６５が画像光をどのように取り込むかを制御する。たとえば、コントローラ１７０は、構造化光投射器１６０に対し１つまたは複数のＤＯＥを選択するように、かつ／または光源を制御するように指示し、またカメラアセンブリ１６５に対し画像を取り込むように指示する。いくつかの実施形態では、コントローラ１７０は、決定された深度情報をコンソールに（図１Ｂに図示せず）、および／またはヘッドセット１００の適切なモジュール（たとえば、可変焦点モジュール、図１Ｂに図示せず）に与える。コンソールおよび／またはヘッドセット１００は、その深度情報を利用して、たとえば提示用のコンテンツを生成することができる。ＤＣＡ １２０およびその構成要素に関するさらなる詳細については、後で図３に関して詳細に論じる。

図２は、１つまたは複数の実施形態による、ユーザ２１０が部屋２２０内でヘッドセット２００を装着している概略図を示す。ヘッドセット２００は、ＤＣＡ（たとえば、ＤＣＡ １２０）を含む。ヘッドセット２００は、ヘッドセット１００の一実施形態とすることができる。ヘッドセット２００は、部屋２２０の一部もしくは全部、および／または部屋２２０内の対象物について記述する深度情報を決定することができる。ＤＣＡの構造化光投射器は、動的構造化光パターンを部屋２２０に投射することができる。ＤＣＡのカメラアセンブリは、動的構造化光パターンを含む画像を取得することができ、この動的構造化光パターンの歪は、部屋２２０内の対象物に関する情報を提供し得る。

ヘッドセット２００は、部屋２２０の少なくとも一部分について記述する視覚情報を決定し、その視覚情報をマッピングサーバ２３０に与えることができる。たとえば、ヘッドセット２００は、部屋２２０の少なくとも一部分についての深度情報を生成する少なくとも１つのＤＣＡを含み得る。ヘッドセット２００上のＤＣＡはさらに、部屋２２０の少なくとも一部分のカラー画像データを生成する少なくとも１つの受動カメラアセンブリ（ＰＣＡ）を含み得る。いくつかの実施形態では、ヘッドセット２００のＤＣＡおよびＰＣＡは、部屋２２０の視覚情報を決定するためにヘッドセット２００に搭載された同時位置特定・マッピング（ＳＬＡＭ）センサの一部である。それゆえに、少なくとも１つのＤＣＡによって取り込まれた深度情報、および／または少なくとも１つのＰＣＡによって取り込まれたカラー画像データは、ヘッドセット２００のＳＬＡＭセンサによって決定された視覚情報と呼ぶことができる。

ヘッドセット２００は、部屋２２０についてのパラメータの組を決定するために、ネットワーク２４０を介して視覚情報をマッピングサーバ２３０へ伝達することができる。ネットワーク２４０は、無線および／または有線通信システムの両方を使用するローカルエリアネットワークおよび／または広域ネットワークの任意の組み合わせを含み得る。たとえば、ネットワーク２４０は、インターネットならびに携帯電話ネットワークを含み得る。１つの実施形態では、ネットワーク２４０は、標準的な通信技術および／またはプロトコルを使用する。この故に、ネットワーク２４０は、イーサネット、８０２．１１、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭＡＸ）、２Ｇ／３Ｇ／４Ｇ移動通信プロトコル、デジタル加入者線（ＤＳＬ）、非同期転送モード（ＡＴＭ）、インフィニバンド、ＰＣＩエキスプレスアドバンスドスイッチングなどの技術を用いるリンクを含み得る。同様に、ネットワーク２４０で使用されるネットワークプロトコルには、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、ファイル転送プロトコル（ＦＴＰ）などが含まれ得る。ネットワーク２４０を通じて交換されるデータは、二進形式の画像データ（たとえば、ポータブルネットワークグラフィックス（ＰＮＧ））、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）などを含む技術および／またはフォーマットを用いて表すことができる。加えて、リンクの全部または一部は、セキュアソケットレイヤ（ＳＳＬ）、トランスポート層セキュリティ（ＴＬＳ）、仮想私設ネットワーク（ＶＰＮ）、インターネットプロトコルセキュリティ（ＩＰｓｅｃ）などの従来の暗号化技術を用いて暗号化することができる。ネットワーク２４０はまた、同一または別々の部屋に設置された多数のヘッドセットを同一のマッピングサーバ２３０に接続することもできる。

いくつかの実施形態では、ヘッドセット２００は、そのロケーション情報（たとえば、部屋２２０の全地球測位システム（ＧＰＳ）ロケーション）を、パラメータの組を決定するための視覚情報に加えてマッピングサーバ２３０へ提供する。いくつかの実施形態では、ヘッドセット２００は、ロケーション情報をマッピングサーバ２３０へ、パラメータの組を決定するために提供する。パラメータの組を用いて、部屋２２０の深度マップを共に定義する部屋２２０内の、ある特別な構成の様々な特性を表すことができる。パラメータには、部屋のサイズ、部屋内の対象物の数、対象物ロケーション、各面の反射率、コントラスト値、明るさ、ライティング条件、仮想モデル内の様々なロケーションについて、部屋内のロケーションにテクスチャが追加されるべきかどうか、またどのタイプのテクスチャ（たとえば、ＳＬパターンの密度、ＳＬパターンのタイプ、ＳＬパターンの明るさなど）が追加されるべきか、などが含まれ得る。

部屋２２０の構成および関連する条件が、たとえば、部屋２２０内のヘッドセット２００のロケーションの変化、部屋２２０内の物理的または仮想の対象物のロケーションの変化、部屋２２０内の対象物の個数の増減、部屋内のライティングの変化、などのうちの少なくとも１つに基づいて変化し得る。ヘッドセット２００は、ヘッドセットが利用できる情報に基づいて、動的構造化光パターンの全部または一部分を動的に変えることができる。動的構造化光パターンは、部屋２２０の一部分にそれぞれ投射される複数のセグメントまたはタイルから形成され、合わせて完全な動的構造化光パターンを形成することができる。いくつかの実施形態では、動的構造化光パターンの各セグメントは、別の構造化光パターンを含有することができ、個々に調整することができる。たとえば、所与の瞬間における部屋の状態の変化に応答して、ヘッドセット２００は、第１のセグメントの動的構造化光パターンの輝度を増加させることができ、またヘッドセット２００は同時に、第２のセグメントの動的構造化光パターンの輝度を低減させることができる。部屋２２０の各部分に対し、ヘッドセット２００は、輝度、密度、パターン形状（たとえば、ドット、バー、グリッド）、偏光、点滅率などの、動的構造化光パターンのいずれかの適切な特性を調整することができる。いくつかの実施形態では、動的構造化光パターンは、異なるパターンが異なる時間に部屋２２０の異なる部分に投射されるように時分割することができる。

ヘッドセット２００は、低コントラストエリア２６０の動的構造化光パターンを調整することができる。たとえば、ヘッドセットは、低コントラストエリア２６０にテクスチャを追加するために、低コントラストエリア２６０の方向の動的構造化光パターンの輝度、密度、および／または形状を変化させること（たとえば、バーからドットへ変化させること）ができる。いくつかの実施形態では、深度カメラアセンブリは低コントラストエリア２６０を検出することができ、さらに深度カメラアセンブリは、その領域の深度推定の特性を改善するために、低コントラストエリア２６０の方向の動的構造化光パターンを調整することができる。

マッピングサーバ２３０は、複数の空間を記述する仮想モデルを記憶しているデータベースを含み、仮想モデル内の１つのロケーションが部屋２２０の現在の構成に対応する。マッピングサーバ２３０は、ネットワーク２４０を介してヘッドセット２００から、部屋２２０の少なくとも一部分について記述する視覚情報、および／または部屋２２０についてのロケーション情報を受け取る。マッピングサーバ２３０は、受け取った視覚情報および／またはロケーション情報に基づいて、部屋２２０の現在の構成と関連付けられている仮想モデル内のロケーションを決定する。マッピングサーバ２３０は、仮想モデル内の決定されたロケーションと、決定されたロケーションに関連するいずれかのパラメータとに部分的に基づいて、部屋２２０の現在の構成と関連付けられたパラメータの組を決定する（たとえば、検索する）。

マッピングサーバ２３０は、ヘッドセット２００が構造化光投射器の適切な光パターンを決定するための、パラメータの組についての情報をヘッドセット２００に提供することができる（たとえば、ネットワーク２４０を介して）。たとえば、マッピングサーバ２３０は、部屋２２０内の低コントラストエリア２６０のロケーションに関する情報をヘッドセット２００へ送信することができる。あるいは、マッピングサーバ２３０は、構造化光パターンについて記述する情報を、パラメータの組を用いて生成すること、およびその情報をヘッドセット２００に提供することができ、その後ヘッドセットは、その情報を用いて構造化光パターンを生成することができる。いくつかの実施形態では、マッピングサーバ２３０の構成要素のいくつかは、有線接続部（図２に図示せず）を介してヘッドセット２００に接続された別のデバイス（たとえば、コンソール）と一体化することができる。

ヘッドセット２００はユーザ２１０に、仮想対象物２７０または仮想対象物２８０などの、仮想対象物を表示することができる。図２に示されるように、仮想対象物２８０は、ヘッドセット２００と物理的対象物２９０の間の視線に位置し得る。ヘッドセット２００は、物理的対象物２９０のロケーションについて記述する情報をマッピングサーバ２３０または深度カメラアセンブリを介して取得することができる。

ヘッドセット２００が、仮想対象物２８０によって遮られている物理的対象物についての深度情報を取得することは不必要なことがある。しかし、ヘッドセット２００が、ヘッドセット２００と仮想対象物２８０の間に位置し得るいずれかの対象物についての深度情報を取得することが望ましい場合がある。それゆえに、ヘッドセット２００は、遮られた対象物を含有する関心領域内のテクスチャの量を、ヘッドセット２００と仮想対象物２８０の間の深度情報を決定するにはテクスチャが十分なように、仮想対象物２８０の方向に投射される構造化光の輝度または密度を低下させることによって低減することができる。

同様に、ヘッドセット２００が、物理的対象物２９０によって遮られている仮想対象物２７０のエリアの深度情報を取得することは不必要なことがある。それゆえに、十分なテクスチャを遠方の仮想対象物２７０に与える代わりに、ヘッドセット２００は、仮想対象物２７０の方向に投射される構造化光の輝度または密度を低下させてもよい。

図３は、１つまたは複数の実施形態による、ヘッドセット用のＤＣＡ ３００のブロック図である。いくつかの実施形態では、ＤＣＡ ３００は、図１Ａおよび図１Ｂに関して説明したＤＣＡ １２０でもよい。ＤＣＡ ３００のいくつかの実施形態には、ここで説明するものとは異なる構成要素がある。同様に、各機能は、ここで説明するのとは異なるようにして構成要素の間に分布し得る。いくつかの実施形態では、ＤＣＡ ３００の機能のいくつかは、別の構成要素の一部とすることができる（たとえば、いくつかはヘッドセットの一部でよく、いくつかはコンソールおよび／またはサーバの一部でもよい）。

ＤＣＡ ３００は、部屋などの局所エリアの深度情報を生成する。深度情報は、ＤＣＡ ３００からの距離を定義するピクセル値を含み、深度情報に取り込まれたロケーションの三次元マッピングなどの、深度情報に取り込まれたロケーションのマッピングを提供する。ＤＣＡ ３００は構造化光投射器３１０、カメラアセンブリ３２０、およびコントローラ３３０を含む。

構造化光投射器３１０は、構造化光を生成し、その構造化光を局所エリアに投射する。構造化光投射器３１０は、１つまたは複数の照明源、１つまたは複数のパターン板、および１つまたは複数の投射アセンブリを備える。照明源は、光を（たとえば、光ビームとして）発するように構成され、多数の波長の光を発することができる。照明源は、たとえば、可視帯域内（約３８０ｎｍ〜７５０ｎｍ）、赤外（ＩＲ）帯域内（約７５０ｎｍ〜約１，８００ｎｍ）、紫外帯域内（約１００ｎｍ〜３８０ｎｍ）、カメラアセンブリ３２０が検出するように構成されている電磁スペクトルのどれか他の部分、またはこれらのどれかの組み合わせ、の光を発することができる。照明源は、たとえば、レーザダイオード（たとえば、エッジエミッタ）、無機または有機ＬＥＤ、垂直共振器表面発光レーザ（ＶＣＳＥＬ）、または何か他の光源とすることができる。いくつかの実施形態では、構造化光生成器内の単一の発光体または複数の発光体が、構造化光パターンを有する光を発することができる。いくつかの実施形態では、複数の発光体は単独で、またはブロック／セクション／グループごとにアドレス指定可能である。１つまたは複数の照明源から発した光は、たとえば、偏光させることができる（たとえば、直線、円など）。

１つまたは複数のパターン板は、１つまたは複数の照明源からの光を用いてＳＬパターンを生成する。パターン板は、たとえば、１つまたは複数の回折光学要素、マスク、コンピュータ生成ホログラム、音響光学デバイス（たとえば、動的解析格子として機能するように構成されている）、構造化光パターンを生成する何か他の要素、またはこれらのどれかの組み合わせとすることができる。

投射アセンブリは、構造化光を局所エリアに投射する。投射アセンブリは、構造化光パターンを局所エリアに向ける１つまたは複数の光学要素を備える。たとえば、投射アセンブリは複数のレンズを備え得る。いくつかの実施形態では、投射アセンブリは、１つまたは複数のパターン板によって回折された構造化光の断面、すなわち全体の輝度包絡線、を変化させるビーム成形要素を含む。ＳＬパターンは、複数のＳＬ要素を含む。各要素は、線またはドットなどの、ＳＬパターンをなす個別の部分である。たとえば、照明されたパターン板によって投射されるＳＬ要素のそれぞれは、パターン板上の特別なロケーションと関連付けられたドットである。たとえば、構造化光投射器３１０は、異なるタイプの複数のＳＬ要素（たとえば、ライン、グリッド、ドット）を、ヘッドセットを取り囲む局所エリアの一部分に投射することができる。

構造化光投射器３１０は、コントローラ３３０からの命令に従って構造化光パターンを動的に変えることができる。いくつかの実施形態では、構造化光投射器３１０は、構造化光投射器３１０の全視野にわたって同じパターンを投射することができ、あるいは構造化光投射器３１０は、別々の構造化光パターンを視野の別々の部分に投射することができる。たとえば、動的構造化光パターンは、構造化光投射器３１０の視野の一部分にそれぞれ投射される複数のセグメントまたはタイルから形成し、一緒にして全体の動的構造化光パターンを形成することができる。いくつかの実施形態では、動的構造化光パターンの各セグメントは、別々の構造化光パターンを含有することができ、個々に調整され得る。たとえば、所与の瞬間の条件の変化に応答して、構造化光投射器３１０は、第１のセグメントの動的構造化光パターンの輝度を増加させることができ、また構造化光投射器３１０は同時に、第２のセグメントの動的構造化光パターンの輝度を低下させることができる。構造化光投射器３１０の視野の各部分に対し、構造化光投射器３１０は、輝度、密度、パターン形状（たとえば、ドット、バー、グリッド）、偏光、点滅率などの、動的構造化光パターンのいずれかの適切な特性を調整することができる。いくつかの実施形態では、動的構造化光パターンは、別々のパターンが別々の時間に視野の別々の部分に投射されるように時分割することができる。

構造化光投射器３１０は、別々の発光体を作動状態にすることによって、発光体の一部または全部を調整可能にすることによって、または別々の構造化光パターンを得るための別々のパターン板を有することによって、動的構造化光パターンを変えることができる。いくつかの実施形態では、動的構造化光パターンは、各発光体を個別に、またはサブセットもしくはセクションごとに制御するだけで達成され、その動的な特性は、パターン形状、輝度、偏光、時間変調、視野などに関して投射パターンに発現される。いくつかの実施形態では、レンズ、格子、または空間光変調器などの調整可能光学構成要素が、動的パターンを実現するために使用される。いくつかの実施形態では、アドレス指定可能光源と調整可能光学部品を使用することの組み合わせが、投射器のサイズ、重量、電力、コストなどを考慮した動的光パターン投射を実現するために採用され得る。

カメラアセンブリ３２０は、局所エリアの画像を取り込むように構成される。カメラアセンブリ３２０は、少なくとも光帯域のＳＬパターンの画像を取り込むことができる１つまたは複数の撮像デバイス（たとえば、カメラ）を含む。いくつかの実施形態では、これら１つまたは複数の撮像デバイスおよび／またはカメラアセンブリ３２０の他の撮像デバイスはまた、可視光帯域の光を取り込むこともできる。いくつかの実施形態では、局所エリアの取り込み画像の一部または全部は、（たとえば、局所エリア内の対象物によって反射された）ＳＬパターンの一部または全部を含み得る。

コントローラ３３０は、ＤＣＡ ３００の構成要素を制御する。コントローラは、マッピングモジュール３４０、コントラストモジュール３５０、深度測定モジュール３６０、および照明モジュール３７０を備え得る。コントローラ３３０のいくつかの実施形態には、ここに記載のものとは異なる構成要素がある。同様に、各機能は、ここで説明するのとは異なるようにして構成要素の間に分布し得る。いくつかの実施形態では、コントローラ３３０の機能のいくつかは、別の構成要素の一部とすることができる（たとえば、いくつかはヘッドセットの一部でよく、いくつかはコンソールおよび／またはサーバの一部でもよい）。

マッピングモジュール３４０は、マッピングサーバ（たとえば、マッピングサーバ２３０）と通信するように構成することができる。マッピングモジュール３４０は、ＤＣＡ ３００のロケーションおよび／またはＤＣＡ ３００によって取り込まれた画像を含めて、情報をマッピングサーバへ送信することができる。マッピングサーバはさらに、深度情報を図２のマッピングサーバ２３０に、またはどれか他の構成要素に提供することができる。

コントラストモジュール３５０は、カメラアセンブリ３２０によって取り込まれた画像に基づいて、局所エリアのコントラストを計算することができる。コントラストモジュール３５０は、ウェーバーコントラスト、マイケルソンコントラスト、２乗平均平方根（ＲＭＳ）コントラストなどの様々なコントラストアルゴリズムを用いることができる。いくつかの実施形態では、コントラストモジュール３５０は、図７を参照してさらに説明するように、Ｌ２コントラストウィズスライディングマックス（Ｌ２ Ｃｏｎｔｒａｓｔ ｗｉｔｈ Ｓｌｉｄｉｎｇ Ｍａｘ）アルゴリズムを用いてコントラストを計算することができる。コントラストモジュール３５０は、局所エリア内の特定のエリアに対応して、センサのピクセルごとにコントラストを計算することができる。

照明モジュール３７０は、動的構造化光パターンを投射するための、光投射器３１０に与える照明命令を生成することができる。照明命令は、局所エリアに十分なテクスチャを与えて深度情報を計算しながら、光投射器３１０の電力消費を減らす（また場合により最小化する）ことができる。いくつかの実施形態では、照明モジュール３７０は、深度測定値の信頼レベルに基づいて、局所エリアが十分なテクスチャを含有していることを決定することができる（たとえば、深度測定値が、９５％を超える、または５０％を超える信頼レベルで計算されるならば、テクスチャは十分であり得る）。たとえば、コントラストモジュール３５０は、コントラスト値が比較的高い局所エリアの第１の関心領域を検出することができ、照明モジュール３７０は、光投射器３１０から与えられる追加のテクスチャがなくても深度測定モジュール３６０が関心領域の深度情報を十分に計算することが可能であり得るので、光投射器３１０によって第１の関心領域に与えられるテクスチャの量を低下させることができる。同様に、コントラストモジュール３５０は、コントラスト値が比較的低い局所エリアの第２の関心領域を検出することができ、照明モジュール３７０は、追加のテクスチャによって深度測定モジュール３６０が関心領域の深度情報をより適切に計算することが可能であり得るので、光投射器３１０によって第２の関心領域に与えられるテクスチャの量を増加させることができる。

いくつかの実施形態では、照明モジュール３７０は光投射器に、フレーム減算の一部としてカメラアセンブリ３２０によって取り込まれる画像と連係して作動する（たとえば、光を発する）ように、または作動しない（たとえば、光を発しない）ように指示することができる。たとえば、ＤＣＡ ３００は、ＩＲ構造化光パターンを含む画像フレーム内の周囲ＩＲ信号を補正することができる。周囲ＩＲ信号は、ＩＲ構造化光パターンによっては提供されていない、画像フレーム内のいずれかのＩＲ信号であり得る。照明モジュール３７０は光投射器３１０に、カメラアセンブリ３２０による第１の画像の取り込み中に作動するように、また、カメラアセンブリ３２０による第２の画像の取り込み中に作動しないように指示することができる。

深度測定モジュール３６０は、カメラアセンブリ３２０によって取り込まれた画像に基づいて画像の各ピクセルについての深度情報を決定し、各ピクセルについてのその深度情報を、深度画像を生成するためにピクセルと関連付けて記憶する。深度測定モジュールは、動的構造化光パターンを含有する画像を分析する。局所エリア内の三次元対象物による動的構造化光パターンの歪により、ＤＣＡが三次元深度情報を計算することが可能になる。

いくつかの実施形態では、深度測定モジュール３６０は、照明モジュール３７０によって取り込まれた複数の画像フレームを用いてフレーム減算を行う。深度測定モジュール３６０は、構造化光パターンが不作動状態で取り込まれた第２の画像のピクセル値を、構造化光パターンが作動状態で取り込まれた第１の画像のピクセル値から減算することができ、この減算により、周囲ＩＲ信号を画像から除去すること、および深度情報を計算する深度測定モジュール３６０の能力を向上させることができる。いくつかの実施形態では、第１の画像および第２の画像の輝度は、これらの取り込み間の露光時間の差に基づいてスケール変更することができる。

様々な実施形態では、深度測定モジュール３６０は、「ステレオ」とも呼ばれる１つまたは複数の立体撮像処理を、共通時間にカメラアセンブリ３２０によって取り込まれた一対の画像に適用して深度情報を決定することなどによって、動的構造化光パターンを用いずに画像の深度情報を決定する。ステレオ処理の例としては、グローバルパッチマッチングおよびセミグローバルマッチングがある。深度測定モジュール３６０でセミグローバルマッチング処理を適用する場合、深度測定モジュール３６０は、カメラアセンブリ３２０の第１の撮像デバイスによって取り込まれた画像のサブセットと、共通時間に画像としてカメラアセンブリ３２０の第２の撮像デバイスによって取り込まれた追加画像のサブセットとに対して高密度パッチマッチングを行い、たとえば、深度測定モジュール３６０は、その画像および追加画像を修正し、修正画像と追加画像の間のエピポーラ線に沿って高密度パッチマッチングを行う。セミグローバルマッチング処理を適用する場合には、深度測定モジュール３６０はまた、あるピクセルの深度情報を他のピクセルへ、画像全体にわたって有限数の経路（たとえば、４本、８本、１６本）に沿って伝える。しかし、他の実施形態では、深度測定モジュール３６０は、畳み込みニューラルネットワークなどを介して任意の適切なステレオ処理を実施する。いくつかの実施形態では、照明モジュール３７０は光投射器３１０に、構造化光パターンをシーンに投射してテクスチャをシーンに加えるように指示することができ、こうすることにより、事前較正された構造化光パターンを用いなくても深度測定の精度を高めることができる。

図４は、１つまたは複数の実施形態による、マッピングサーバ２３０のブロック図である。マッピングサーバ２３０は、図１Ａのヘッドセット１００などのヘッドセットが位置する物理的空間（部屋）のパラメータの組を決定する。パラメータには、部屋のサイズ、部屋内の対象物の数、対象物ロケーション、各面の反射率、コントラスト値、明るさ、ライティング条件、部屋内のロケーションにテクスチャが追加されるべきかどうか、またどのタイプのテクスチャが追加されるべきか、などが含まれ得る。決定されたパラメータの組は、局所エリアの構造化光パターンを生成するためにヘッドセット１００で用いることができる。マッピングサーバ２３０は、仮想モデルデータベース４１０、通信モジュール４２０、マッピングモジュール４３０、および分析モジュール４４０を含む。他の実施形態では、マッピングサーバ２３０は、列記されたモジュールの任意の組み合わせを任意の追加のモジュールと共に有し得る。いくつかの他の実施形態では、マッピングサーバ２３０は、図４に示されたモジュールの機能を組み合わせた１つまたは複数のモジュールを含む。マッピングサーバ２３０のプロセッサ（図４に示されていない）は、仮想モデルデータベース４１０、通信モジュール４２０、マッピングモジュール４３０、分析モジュール４４０、１つもしくは複数の他のモジュール、または図４に示されたモジュールの機能を組み合わせたモジュールのうちの一部または全部を動作させることができる。

仮想モデルデータベース４１０は、複数の物理的空間と、これらの物理的空間の特性とを記述する仮想モデルを記憶する。仮想モデル内のそれぞれのロケーションは、特定の構成を有する局所エリア内のヘッドセットの物理的ロケーションに対応する。その状態は、パラメータの組で表された特性の組を有する局所エリアの状態を表す。仮想モデル内の特別なロケーションが、図２の部屋２２０内のヘッドセットの現在の物理的ロケーションに対応し得る。仮想モデル内のそれぞれのロケーションは、局所エリアの一構成である１つの対応する物理的空間のパラメータの組と関連付けられている。パラメータの組は、局所エリアのその１つの特別な構成の様々な特性を記述する。パラメータには、部屋のサイズ、部屋内の対象物の数、対象物ロケーション、各面の反射率、コントラスト値、明るさ、ライティング条件、仮想モデル内の様々なロケーションについての、部屋内のロケーションにテクスチャが追加されるべきかどうか、またどのタイプのテクスチャが追加されるべきか、などが含まれ得る。

通信モジュール４２０は、ネットワーク（たとえば、図２のネットワーク２４０）を介してヘッドセットと通信するモジュールである。通信モジュール４２０は、ヘッドセットから、部屋２２０の少なくとも一部分について記述する視覚情報を受け取る。１つまたは複数の実施形態では、視覚情報は、部屋２２０の少なくとも一部分についての画像データを含む。たとえば、通信モジュール４２０は、ヘッドセットのＤＣＡによって取り込まれた深度情報を、部屋２２０の壁、床および天井の面などの、部屋２２０の面によって画定された部屋２２０の形状についての情報と共に受け取る。通信モジュール４２０はまた、ヘッドセットのＰＣＡによって取り込まれたカラー画像データを受け取ることもできる。マッピングサーバ２３０は、そのカラー画像データを用いて、別々のロケーションおよびコントラスト値を部屋２２０の各面と関連付けることができる。通信モジュール４２０は、ヘッドセットから受け取った視覚情報（たとえば、深度情報およびカラー画像データ）をマッピングモジュール４３０に提供することができる。

マッピングモジュール４３０は、ヘッドセットから受け取った視覚情報を仮想モデルのロケーションにマッピングする。マッピングモジュール４３０は、ヘッドセットが位置する現在の物理的空間、すなわち局所エリアの現在の構成、に対応する仮想モデルのロケーションを決定する。マッピングモジュール４３０は、仮想モデルをくまなく探索して、（ｉ）少なくとも、たとえば物理的空間の各面の幾何学的形状についての情報、およびその面のコントラスト値についての情報と、（ｉｉ）仮想モデル内の物理的空間の対応する構成との間のマッピングを見出す。マッピングは、受け取った視覚情報のうちの幾何学的形状および／またはコントラスト情報を、仮想モデル内の物理的空間の構成の一部として記憶されている幾何学的形状および／またはコントラスト情報と突き合わせることによって行われる。仮想モデル内の物理的空間の対応する構成は、ヘッドセットが現在位置している物理的空間のモデルに対応する。一致が見出されない場合、これは、物理的空間の現在の構成が仮想モデル内でまだモデル化されていないことを示すものになる。このような場合には、マッピングモジュール４３０は、一致が見出されないことを分析モジュール４４０に知らせ、分析モジュール４４０は、受け取った視覚情報に少なくとも部分的に基づいてパラメータの組を決定する。

分析モジュール４４０は、ヘッドセットの物理的ロケーションに関連付けられたパラメータの組を、マッピングモジュール４３０から取得された仮想モデル内の決定されたロケーションと、決定されたロケーションに関連付けられた仮想モデル内のいずれかのパラメータとに部分的に基づいて決定する。パラメータには、部屋のサイズ、部屋内の対象物の数、対象物ロケーション、各面の反射率、コントラスト値、明るさ、ライティング条件、部屋内のロケーションにテクスチャが追加されるべきかどうか、またどのタイプのテクスチャが追加されるべきか、などが含まれ得る。いくつかの実施形態では、分析モジュール４４０は、特定の空間構成に関連付けられている仮想モデル内の決定されたロケーションにパラメータの組が記憶されているので、パラメータの組を仮想モデルから検索する。いくつかの他の実施形態では、分析モジュール４４０はパラメータの組を、ヘッドセットから受け取った視覚情報に少なくとも部分的に基づいて、仮想モデル内の特定の空間構成について事前に決定されたパラメータの組を調整することによって決定する。たとえば、分析モジュール４４０は、受け取った視覚情報を用いてオフラインシミュレーションを行って、パラメータの組を決定することができる。

いくつかの実施形態では、分析モジュール４４０は、以前に生成されたパラメータがヘッドセットの現在の物理的ロケーションの状態とは一致しないことを決定する。不一致が検出されると、パラメータの新しい組の再生成をマッピングサーバ２３０においてトリガすることができる。再計算された後、このパラメータの新しい組は、以前のパラメータの組に代わるものとして、または同じ物理的空間の追加の状況として、マッピングサーバ２３０の仮想モデルに入力することができる。分析モジュール４４０は、導出されたパラメータの組を、マッピングサーバ２３０からヘッドセットへパラメータの組を伝達する通信モジュール４２０に提供し、このパラメータの組はヘッドセットによって、構造化光パターンを生成するために使用される。

いくつかの実施形態では、分析モジュール４４０によって決定された１つまたは複数のパラメータは、部屋２２０の現在の構成と部屋２２０の対応する状態とが仮想モデルによってモデル化されなかったので、仮想モデルの一部ではなかった新しいパラメータの組になる。このようの場合には、仮想モデルデータベース４１０は、部屋２２０の現在の状態をモデル化している部屋２２０の現在の構成と関連付けられた仮想モデル内の、１つのロケーションにおける新しいパラメータの組を記憶する。１つまたは複数のパラメータの一部または全部は、仮想モデル内に、そのパラメータと関連付けられた信頼度（重み）および絶対タイムスタンプと共に記憶することができ、これら信頼度および絶対タイムスタンプは、パラメータの一部を再計算するために使用することができる。

図５は、１つまたは複数の実施形態による、局所エリアと、局所エリアの構成について記述するパラメータとを記述する仮想モデル５００の一例である。パラメータには、部屋のサイズ、部屋内の対象物の数、対象物ロケーション、各面の反射率、コントラスト値、明るさ、ライティング条件、部屋内のロケーションにテクスチャが追加されるべきかどうか、またどのタイプのテクスチャが追加されるべきか、などが含まれ得る。仮想モデル５００は、マッピングサーバ２３０の仮想モデルデータベース４１０に記憶することができる。仮想モデル５００は、１つまたは複数のヘッドセットを取り囲む様々な局所エリアについての地理的に結び付けられた三つ組みの情報（すなわち、局所エリア識別子（ＩＤ）５１０、局所エリア構成ＩＤ ５２０、パラメータの組５３０）を記憶する、仮想モデルデータベース４１０内の地理的情報記憶エリアを表し得る。

仮想モデル５００は、それぞれが局所エリアＩＤ ５１０で識別された、実現可能な局所エリアＳ１、Ｓ２、．．．、Ｓｎのリストを含む。局所エリアＩＤ ５１０は、局所エリアの特別なタイプを識別する。たとえば、局所エリアＩＤ ５１０は、会議室、浴室、廊下、事務室、寝室、食堂、居間、何か他のタイプの物理的空間、またはこれらのどれかの組み合わせなどの、異なるタイプの部屋を識別する。それゆえに、それぞれの局所エリアＩＤ ５１０は、１つの特別なタイプの物理的空間に対応する。

それぞれの局所エリアＩＤ ５１０は、１つまたは複数の局所エリア構成ＩＤ ５２０と関連付けられる。それぞれの局所エリア構成ＩＤ ５２０は、局所エリアＩＤ ５１０によって識別される、特定の深度情報またはコントラスト情報を有する局所エリアの構成に対応する。局所エリア構成ＩＤ ５２０は、局所エリア内の対象物の数、局所エリア内の対象物の位置決め、識別情報、局所エリアの周囲ライティング、または局所エリア内の他の条件を識別する情報を含み得る。局所エリアの異なる構成は、局所エリアの異なる領域に対する深度情報、または局所エリアの異なる領域からのコントラスト情報に影響を及ぼす。それぞれの局所エリア識別子ＩＤ ５２０は、局所エリアＩＤ ５１０の構成を識別するコードＩＤ（たとえば、２進コード、英数字コード）として表すことができる。たとえば、図５に示されるように、局所エリアＳ１は、それぞれが局所エリアＳ１の異なる構成を表すｐ個の異なる空間構成Ｓ１Ｃ１、Ｓ１Ｃ２、．．．、Ｓ１Ｃｐと関連付けることができ、局所エリアＳ２は、それぞれが局所エリアＳ１の異なる構成を表すｑ個の異なる構成Ｓ２Ｃ１、Ｓ２Ｃ２、．．．、Ｓ２Ｃｑと関連付けることができ、局所エリアＳｎは、それぞれが局所エリアＳ１の異なる構成を表すｒ個の異なる構成ＳｎＣ１、ＳｎＣ２、．．．、ＳｎＣｒと関連付けることができる。マッピングモジュール４３０は、ヘッドセットから受け取った局所エリアの視覚情報に基づいて、仮想モデル５００を探索して適切な局所エリア構成ＩＤ ５２０を見出すことができる。

それぞれの局所エリアＩＤ ５２０は、仮想モデル５００の対応するロケーションに記憶されたパラメータ５３０の特定の組と関連付けられている。図５に示されているように、同じ局所エリアＳ１のｐ個の異なる空間構成Ｓ１Ｃ１、Ｓ１Ｃ２、．．．、Ｓ１Ｃｐが、ｐ個の異なるパラメータ｛Ｐ１１｝、｛Ｐ１２｝、．．．、｛Ｐ１ｐ｝の組と関連付けられている。同様に、図５にさらに示されているように、同じ局所エリアＳ２のｑ個の異なる空間構成Ｓ２Ｃ１、Ｓ２Ｃ２、．．．、Ｓ２Ｃｑが、ｑ個の異なるパラメータ｛Ｐ２１｝、｛Ｐ２２｝、．．．、｛Ｐ２ｑ｝の組と関連付けられ、同じ局所エリアＳｎのｒ個の異なる空間構成ＳｎＣ１、ＳｎＣ２、．．．、ＳｎＣｒが、ｒ個の異なるパラメータ｛Ｐｎ１｝、｛Ｐｎ２｝、．．．、｛Ｐｎｒ｝の組と関連付けられている。分析モジュール４４０は、ヘッドセットが位置している局所エリアの現在の構成に対応する局所エリア構成ＩＤ ５２０をマッピングモジュール４３０が見つけると、対応するパラメータの組５３０を仮想モデル５００から検索することができる。このパラメータは、ＤＣＡ（たとえば、ＤＣＡ ３００）で使用して動的構造化光パターンを生成することができる。

図６は、１つまたは複数の実施形態による、動的構造化光パターンを生成する処理６００を示すフローチャートである。図６の処理６００は、ＤＣＡ（たとえば、ＤＣＡ ３００）の構成要素によって行うことができる。他の実施形態においては、他のエンティティ（たとえば、図２のマッピングサーバ２３０および／または図９に示された構成要素）が、処理のステップの一部または全部を行うことができる。同じように、諸実施形態で別の、および／または追加のステップを含むこと、あるいは別の順序でそのステップを行うことができる。

ＤＣＡは６１０で、局所エリアの少なくとも一部分について記述する情報に基づいて、局所エリア（たとえば、部屋２２０）内のヘッドセット（たとえば、ヘッドセット２００）の仮想モデル内のロケーションを決定する。ＤＣＡは、情報をマッピングサーバへ送信することができる。たとえば、ＤＣＡは、ヘッドセットのロケーションを決定するために使用できるＧＰＳロケーションや深度情報を送信することができ、あるいはＤＣＡは、ヘッドセットによって取り込まれた画像を送信することができる。いくつかの実施形態では、ＤＣＡは、最初に構造化光パターンを投射し、画像を取り込んで深度情報を決定することができ、またＤＣＡは、深度情報をマッピングサーバへ送信して、動的構造化光パターンを得るためのパラメータを生成することができる。マッピングサーバは、記憶された仮想モデル内のヘッドセットのロケーションを識別することができる。記憶された仮想モデルは、複数の空間およびこれらの空間の特性を記述し、仮想モデル内のロケーションは、図５に関して別に説明したように、局所エリア内のヘッドセットの物理的なロケーションに対応する。局所エリアの少なくとも一部分について記述する情報は、深度情報を、局所エリアの面（たとえば、壁、床および天井の面）によって画定された局所エリアの少なくとも一部分の形状と、局所エリア内の１つまたは複数の対象物（実および／または仮想）とについての情報と共に、含み得る。局所エリアの少なくとも一部分について記述する情報はさらに、相対的に高い、または低いコントラストのエリアを局所エリアの面と、１つまたは複数の対象物の面とに関連付けるためのコントラストデータを含み得る。いくつかの実施形態では、局所エリアの少なくとも一部分について記述する情報は、局所エリアのロケーション情報、たとえば、局所エリアのアドレス、局所エリアのＧＰＳロケーション、局所エリアの緯度および経度についての情報など、を含み得る。いくつかの他の実施形態では、局所エリアの少なくとも一部分について記述する情報には、深度情報、カラー画像データ、音響データ、局所エリアのロケーション情報、何か他の情報、またはこれらの組み合わせが含まれる。いくつかの実施形態では、ＤＣＡは、局所エリアの一部分について記述する情報に部分的に基づいて、最初の構造化光パターンを生成することができる。

ＤＣＡは６２０で、局所エリアのコントラスト量を決定する。ＤＣＡは、構造化光を局所エリアに投射し、構造化光パターンを含む局所エリアの一部分の画像を取り込むことができる。取り込まれた画像に部分的に基づいて、ヘッドセットはコントラスト量を決定する。ＤＣＡは、局所エリアのそれぞれの部分のコントラスト値をピクセル値に応じて決定することができる。いくつかの実施形態では、ＤＣＡは、ＤＣＡの視野内にある局所エリア全体の平均コントラスト値を決定することができる。いくつかの実施形態では、ＤＣＡは、図７に関してさらに説明するように、コントラストアルゴリズムを用いて局所エリアのコントラスト量を決定する。いくつかの実施形態では、ヘッドセットは、マッピングサーバから受け取ったパラメータに基づいて局所エリアのコントラスト量を決定する。

ＤＣＡは６３０で、局所エリア内の第１の関心領域、および局所エリア内の第２の関心領域を決定する。第１の関心領域は第１のコントラスト量を有し、第２の関心領域は第２のコントラスト量を有する。いくつかの実施形態では、ＤＣＡは、コントラスト値が相対的に低い領域か高い領域かを識別するコントラストアルゴリズムに基づいて、関心領域を選択することができる。様々な実施形態では、ヘッドセットは、局所エリアについて記述する情報をマッピングサーバから受け取り、マッピングサーバから受け取ったその情報に基づいて局所エリア内の１つまたは複数の関心領域を選択する。たとえば、マッピングサーバからの情報により、以前に対象物を含んでいた局所エリア内の領域が識別される。ヘッドセットは、マッピングサーバからの情報によって以前に対象物を含んでいたものとして識別された領域に対応する、画像内の関心領域を選択する。別の例として、マッピングサーバから受け取った情報により、局所エリアの別々の領域について以前に決定されたコントラスト測定値が識別され、ＤＣＡは、マッピングサーバから受け取った情報による閾コントラスト測定値を少なくとも有する領域として、１つの関心領域を選択する。この故に、様々な実施形態では、ＤＣＡは関心領域を、マッピングサーバから受け取った情報に対応する、１つまたは複数の特定の特性を有する画像の領域として選択する。

ＤＣＡは６４０で照明命令を、局所エリアのコントラスト量に部分的に基づいて更新する。ＤＣＡはさらに照明命令を、仮想モデル内の決定されたロケーションと、決定されたロケーションに関連付けられたいずれかのパラメータとに基づいて更新することができる。更新された照明命令は、動的構造化光パターンに変化を生じさせることができる。動的構造化光パターンを変化させると、動的構造化光パターンによって局所エリアに追加されるテクスチャが増減し得る。局所エリア内でテクスチャを増加させると、ＤＣＡがＤＣＡと対象物の間の距離を決定する助けになる。いくつかの実施形態では、マッピングサーバは、仮想モデルによるパラメータの組を、ヘッドセットが現在位置している空間構成と関連付けられた仮想モデル内の決定されたロケーションから検索する。いくつかの実施形態では、マッピングサーバは、以前に決定された仮想モデル内のパラメータの組を調整することによってパラメータの組を、ＤＣＡから受け取った局所エリアの少なくとも一部分について記述する情報に少なくとも部分的に基づいて決定する。マッピングサーバは、ＤＣＡから受け取った画像を分析して、既存のパラメータの組が（利用可能な場合に）画像分析と一致しているか、それとも再計算されるべきかを決定することができる。既存のパラメータが画像分析と一致しない場合には、マッピングサーバは、局所エリアの少なくとも一部分について記述する情報（たとえば、部屋の幾何学的形状、ライティング）を用いて、新しいパラメータの組を決定することができる。

ＤＣＡは、識別された関心領域に対する照明命令を更新することができる。たとえば、照明命令は、動的構造化光パターンの密度または輝度を第１の関心領域において増加させることができ、また照明命令は、動的構造化光パターンの密度または輝度を第２の関心領域において低下させることができる。いくつかの実施形態では、更新された照明命令は光投射器に、１つまたは複数の関心領域において構造化光パターンを作動させるように、または作動させないように指示することができる。

ＤＣＡは６５０で、更新された命令を構造化光投射器に与え、この更新された命令によりＳＬ投射器は、第１のＳＬパターンを第１の関心領域に投射し、第２のＳＬパターンを第２の関心領域に投射し、この第２のＳＬパターンは第１のＳＬパターンとは異なる。それゆえに、ＤＣＡは、使用される構造化光パターンを、局所エリアの深度情報を取得するように適合させる。いくつかの実施形態では、処理６００は、連続して繰り返すことができ、あるいは、局所エリア内のヘッドセットの移動または対象物の移動などのイベントに応答して繰り返すことができる。それゆえに、ＤＣＡは、追加のテクスチャが不必要なエリアに投射される構造化光の量を低減することによって、電池を節約して使うことができる。同様に、ＤＣＡは、追加のテクスチャが有益である関心領域のテクスチャを増加させることによって、深度測定精度を高めることができる。

図７は、１つまたは複数の実施形態による、局所エリアのコントラスト量を決定する処理７００を示すフローチャートである。いくつかの実施形態では、処理７００は、図６に関して説明したステップ６２０の全部または一部として行うことができる。処理７００は、ＤＣＡ（たとえば、ＤＣＡ ３００）の構成要素によって行うことができる。

ＤＣＡは７１０で、局所エリア内の１つまたは複数の画像を取り込む。ＤＣＡは、画像の全部または一部のコントラストを計算する。コントラストとは、ある対象物（または画像もしくは表示としてのその写像）を区別できるようにする、輝き、色、距離、または他の測定可能な量の差異のことである。画像のコントラストは、関心領域内の局所深度性能と相関関係にある。たとえば、画像が関心領域において高いコントラスト値を含有する場合、ＤＣＡは、その関心領域の深度測定値に高い信頼度の値を置くことができる。それゆえに、ＤＣＡは、動的構造化光パターンによって提供されるテクスチャの量を関心領域において低減することができ、これにより電池電力を節約することができる。対照的に、画像が関心領域において低いコントラスト値を含有する場合には、ＤＣＡは、動的構造化光パターンによって与えられるテクスチャの量を増加させて、深度測定値の精度を高めることができる。いくつかの実施形態では、コントラストは、画像中の局所ノイズレベルに対し正規化することができる。コントラストを計算するための、ウェーバーコントラスト、マイケルソンコントラスト、ＲＭＳコントラストなどの多くのアルゴリズムが当技術分野で知られている。ＤＣＡは、それぞれのピクセル（ｉ，ｊ）のコントラストを定義することができる。いくつかの実施形態では、ＤＣＡは、Ｌ２コントラストウィズスライディングマックスアルゴリズムを用いてコントラストを計算することができる。

Ｌ２コントラストウィズスライディングマックスアルゴリズムを行うために、ＤＣＡは第１に７２０で、ピクセルごとのコントラスを計算することができる。ピクセルごとのコントラストは、次式を用いて計算することができる。

ここでＩｉ，ｊは、センサピクセル（ｉ，ｊ）のデジタル数であり、ｉおよびｊは、画像センサのピクセルのｉ番目の列およびｊ番目の行を表す整数値である。

第２に、ＤＣＡは７３０で、生コントラストのスライディングウィンドウ最大値を計算することができる。生コントラストのスライディングウィンドウ最大値は、次式を用いて計算することができる。

ここでｗは、スライディングウィンドウのサイズを制御する（ウィンドウサイズは、ピクセルで（２ｗ＋１）×（２ｗ＋１）である）。ｋおよびｌは、スライディングウィンドウ内にあるピクセルのｋ番目の列およびｌ番目の行を表す整数値である。Ｌ２コントラストウィズスライディングマックスアルゴリズムは、深度性能との良好な相関関係を示した。それゆえに、ＤＣＡは、コントラストアルゴリズムの結果を用いて、高レベルまたは低レベルの照明が望ましいことがある領域を識別することができ、またＤＣＡは、その結果を用いて、図６のステップ６４０に関して説明したように、照明命令を更新することができる。

図８は、１つまたは複数の実施形態による、対象物ロケーションに基づいて関心領域を識別する処理８００を示すフローチャートである。いくつかの実施形態では、この処理は、図６に関して説明したステップ６３０の全部または一部とすることができる。

ＤＣＡは８１０で、局所エリア内の１つまたは複数の対象物を識別することができる。いくつかの実施形態では、ＤＣＡは、対象物のロケーションをマッピングサーバから受け取ることができる。しかし、いくつかの実施形態では、ＤＣＡは、対象物を局所深度信頼度測定基準に基づいて検出することができ、この局所深度はヘッドセットによって、接続デバイスを介して、またはクラウドを介して推定することができ、あるいはスタック化センサ論理に基づいて局所的に推定することができる。

ＤＣＡは８２０で、対象物の移動を検出することができる。いくつかの実施形態では、ＤＣＡは、その移動を局所エリアの一部分の深度情報の変化に基づいて検出することができる。いくつかの実施形態では、ＤＣＡを含有するヘッドセットは、可視光または赤外画像センサ、ＳＬＡＭの入力部として使用される画像センサ、画像取り込み、テクスチャ取り込み、環境再構築に使用されるカラーＲＧＢセンサ、音声センサ、テレプレゼンス、ＩＭＵセンサデータ、動的視覚センサなどの、シーン内で動いている対象物を検出するヘッドセット上の他のセンサを使用して、動きを検出することができる。対象物の移動がＤＣＡに、対象物を含有する関心領域に投射されるテクスチャの量をＤＣＡが増加すべきであることを示し得る。

ＤＣＡは８３０で、対象物が遮られたことを検出することができる。ＤＣＡは、２つ以上の対象物がＤＣＡからの同一の視線に位置していることを決定することができる。たとえば、マッピングサーバから提供された情報、またはＤＣＡによって決定された深度情報に基づいて、ＤＣＡは、２つ以上の対象物が同一の視線に位置していることを決定することができる。２つ以上の対象物についての深度情報に基づいて、ＤＣＡは、ＤＣＡに最も近い対象物が、同一の視線にＤＣＡからもっと遠く位置しているいずれかの対象物を遮っていることを決定する。遮られた対象物は、ヘッドセットからの視線に対して、局所エリア内の別の対象物の背後に位置し得る。いくつかの実施形態では、仮想対象物がヘッドセットと物理的対象物の間に位置して物理的対象物を遮ることがある。いくつかの実施形態では、物理的対象物がヘッドセットと仮想対象物の間に位置して仮想対象物を遮ることがある。同様に、いくつかの実施形態では、物理的対象物が別の物理的対象物を遮ること、または仮想対象物が別の仮想対象物を遮ることがある。

ＤＣＡは８４０で、対象物の移動または遮られた対象物の検出に基づいて関心領域を識別することができる。たとえば、ある対象物の動きに応答して、ＤＣＡは、その対象物を関心領域内に位置しているとして識別することができる。ＤＣＡは、動いている対象物を含有する関心領域のテクスチャの量を増加させることを決定することができる。いくつかの実施形態では、対象物が遮られていることを検出することに応答して、ＤＣＡは、遮られた対象物を関心領域内に位置しているとして識別することができる。ＤＣＡは、遮られた対象物を含有する関心領域のテクスチャの量を減少させることを決定することができる。たとえば、遮られた対象物の距離において深度測定値を取得するのに十分なテクスチャを持つ構造化光を投射する代わりに、ＤＣＡは、遮られた対象物を遮っている対象物のもっと近くで測定値を取得するには十分なレベルまで、テクスチャの量を減少させることができる。識別された関心領域を用いて、図６のステップ６４０に関して説明したように、照明命令を更新することができる。

システム環境
図９は、１つまたは複数の実施形態による、ヘッドセット９０５のシステム環境９００である。いくつかの実施形態では、ヘッドセット９０５は、図１Ａのヘッドセット１００であってもよい。システム９００は、人工現実環境、たとえば仮想現実、拡張現実、複合現実環境、またはこれらのどれかの組み合わせにおいて動作することができる。図９で示されたシステム９００は、ヘッドセット９０５、ネットワーク９３５、マッピングサーバ９６５、およびコンソール９４５に接続された入力／出力（Ｉ／Ｏ）インターフェース９４０を含む。図９は、１つのヘッドセット９０５および１つのＩ／Ｏインターフェース９４０を含む例示的なシステム９００を示すが、別の実施形態では、任意の個数のこれら構成要素がシステム９００に含まれ得る。たとえば、付随するＩ／Ｏインターフェース９４０をそれぞれが有する多数のヘッドセットがあり得、それぞれのヘッドセットおよびＩ／Ｏインターフェース９４０がコンソール９４５と通信する。代替構成では、別の、および／または追加の構成要素がシステム９００に含まれ得る。加えて、図９に示された構成要素のうちの１つまたは複数と併せて説明される機能性は、いくつかの実施形態では、図９と併せて説明されるのとは異なるようにして構成要素の中に分布し得る。たとえば、コンソール９４５の機能性の一部または全部は、ヘッドセット９０５によって提供することができる。

ヘッドセット９０５は、表示アセンブリ９１０、光学ブロック９１５、１つまたは複数の位置センサ９２５、ＤＣＡ ９３０、および慣性測定ユニット（ＩＭＵ）９２０を含む。ヘッドセット９０５のいくつかの実施形態には、図９と併せて説明されたものとは異なる構成要素がある。加えて、図９と併せて説明される様々な構成要素によって提供される機能性は、他の実施形態では、ヘッドセット９０５の構成要素の中で異なって分布することがあり、あるいは、ヘッドセット９０５から遠く離れている分離したアセンブリに取り込まれることがある。

表示アセンブリ９１０は、コンソール９４５から受け取ったデータに応じて２Ｄまたは３Ｄ画像をユーザに表示する電子表示装置を含み得る。図１のレンズ１１０は、表示アセンブリ９１０の実施形態であり得る。様々な実施形態では、表示アセンブリ９１０は、単一の電子表示装置または多数の電子表示装置（たとえば、ユーザの眼ごとの表示装置）を備える。電子表示装置の例としては、液晶表示装置（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）表示装置、アクティブマトリックス有機発光ダイオード表示装置（ＡＭＯＬＥＤ）、何か他の表示装置、またはこれらのどれかの組み合わせがある。レンズ１１０は、表示アセンブリ９１０の一実施形態である。いくつかの実施形態では、レンズ１１０はまた、光学ブロック９１０の機能性の一部または全部を含み得ることに留意されたい。

光学ブロック９１５は、電子表示装置から受け取った画像光を拡大し、画像光に伴う光学エラーを補正し、補正された画像光をヘッドセット９０５のユーザに提示する。様々な実施形態では、光学ブロック９１５は、１つまたは複数の光学要素を含む。光学ブロック９１５に含まれる光学要素の例としては、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または他の任意の適切な、画像光に影響を及ぼす光学要素がある。さらに、光学ブロック９１５は、異なる光学要素の組み合わせを含み得る。いくつかの実施形態では、光学ブロック９１５の光学要素のうちの１つまたは複数は、部分的に反射性のコーティングまたは反射防止のコーティングなどの、１つまたは複数のコーティングを有し得る。

光学ブロック９１５によって画像光を拡大または集束すると、電子表示装置を物理的に小さく軽量にすること、および消費する電力を大型の表示装置よりも少なくすることが可能になる。加えて、拡大することにより、電子表示装置によって提示されるコンテンツの視野を増大させることができる。たとえば、表示されるコンテンツの視野は、表示されるコンテンツがユーザの視野のほとんど全部（たとえば、約１１０度対角線）を用いて、また場合によっては全部を用いて提示されるようなものである。加えて、いくつかの実施形態では、拡大量は、光学要素を追加または除去することによって調整することができる。

いくつかの実施形態では、光学ブロック９１５は、１つまたは複数のタイプの光学エラーを補正するように設計することができる。光学エラーの例としては、樽形もしくは糸巻き形歪、軸上色収差、または横色収差がある。他のタイプの光学エラーにはさらに、球面収差、色収差、もしくはレンズ像面湾曲、非点収差、またはあらゆる他のタイプの光学エラーが含まれ得る。いくつかの実施形態では、表示のために電子表示装置に提供されるコンテンツはあらかじめ歪められており、光学ブロック９１５は、コンテンツに基づいて生成された電子表示装置からの画像光を受け取ったときに、その歪を補正する。

ＩＭＵ ９２０は、ヘッドセット９０５の位置を示すデータを、１つまたは複数の位置センサ９２５から受け取った測定信号に基づいて生成する電子デバイスである。位置センサ９２５は、ヘッドセット９０５の動きに応じて１つまたは複数の測定信号を生成する。位置センサ９２５の例としては、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵ ９２０の誤差補正に使用されるタイプのセンサ、またはこれらのどれかの組み合わせがある。位置センサ９２５は、ＩＭＵ ９２０の外部、ＩＭＵ ９２０の内部、またはこれらのどれかの組み合わせに設置することができる。

ＤＣＡ ９３０は、部屋などの局所エリアの深度情報を生成する。ＤＣＡ ９３０は、図３のＤＣＡ ３００の一実施形態であり得る。深度情報は、撮像デバイスからの距離を定義するピクセル値を含み、それゆえに、深度情報に取り込まれたロケーションの（たとえば、３Ｄ）マッピングを提供する。ＤＣＡ ９３０は、光投射器、１つまたは複数の撮像デバイス、およびコントローラを含む。光投射器は、局所エリア内の対象物から反射され、撮像デバイスによって取り込まれて深度情報を生成する、動的構造化光パターンまたは、他の光を投射することができる。

たとえば、光投射器は、異なるタイプの複数の構造化光（ＳＬ）要素（たとえば、ライン、グリッド、ドット）を、ヘッドセット９０５を取り囲む局所エリアの一部分に投射することができる。様々な実施形態では、光投射器は、照明源およびパターン板を備える。照明源は、パターン板を光（たとえば、赤外光）で照明するように構成された１つまたは複数の発光体を備え得る。照明されたパターン板は、複数のＳＬ要素を含むＳＬパターンを局所エリアに投射する。たとえば、照明されたパターン板から投射されるＳＬ要素のそれぞれは、パターン板上の特別なロケーションと関連付けられたドットである。

ＤＣＡ ９３０から投射されるそれぞれのＳＬ要素は、電磁スペクトルの赤外光部の光を含む。いくつかの実施形態では、照明源は、人間に見えないように赤外光でパターン板を照明するように構成されたレーザである。いくつかの実施形態では、照明源はパルス化することができる。いくつかの実施形態では、照明源は可視であり、光が眼に見えないようにパルス化することができる。

ＤＣＡ ９３０によって局所エリアに投射されたＳＬパターンは、局所エリア内の様々な面および対象物に出会うと変形する。１つまたは複数の撮像デバイスはそれぞれ、局所エリアの１つまたは複数の画像を取り込むように構成される。取り込まれた１つまたは複数の画像のそれぞれは、光投射器から投射され局所エリア内の対象物によって反射された複数のＳＬ要素（たとえば、ドット）を含み得る。１つまたは複数の撮像デバイスのそれぞれは、検出器アレイ、カメラ、またはビデオカメラであり得る。

ＤＣＡ ９３０は、ＤＣＡ ９３０によって取り込まれた光に基づいて深度情報を生成する。コントローラ９３０はさらに、深度情報をコンソール９４５、音声コントローラ、または何か他の構成要素に提供することができる。

ＤＣＡは、カラー（たとえば、ＲＧＢ）画像データを生成する１つまたは複数の受動撮像デバイスを備えるＰＣＡを含み得る。ＰＣＡは、局所エリアの環境からの光を取り込んで画像データを生成する。撮像デバイスからの深度または距離を定義するピクセル値ではなく、画像データのピクセル値は、撮像データに取り込まれた対象物の可視色を定義することができる。いくつかの実施形態では、ＰＣＡは、受動撮像デバイスによって取り込まれた光に基づいてカラー画像データを生成するコントローラを含む。いくつかの実施形態では、ＤＣＡ ９３０とＰＣＡは、共通のコントローラを共有する。たとえば、共通コントローラは、可視スペクトル（たとえば画像データ）および赤外スペクトル（たとえば、深度情報）として取り込まれた１つまたは複数の画像のそれぞれを互いにマッピングすることができる。１つまたは複数の実施形態では、共通コントローラは、付加的または代替的に、局所エリアの１つまたは複数の画像を音声コントローラまたはコンソール９４５に提供するように構成される。

Ｉ／Ｏインターフェース９４０は、ユーザがアクション要求を送出し、コンソール９４５から応答を受け取れるようにするデバイスである。アクション要求とは、ある特別な動作を行わせる要求のことである。たとえば、アクション要求は、画像または映像データの取り込みを開始もしくは終了する命令、またはアプリケーション中の特別な動作を行わせる命令であり得る。Ｉ／Ｏインターフェース９４０は、１つまたは複数の入力デバイスを含み得る。入力デバイスの例としては、キーボード、マウス、ゲームコントローラ、または他の任意の、アクション要求を受け取り、そのアクション要求をコンソール９４５へ伝達するための適切なデバイスがある。Ｉ／Ｏインターフェース９４０で受け取られたアクション要求がコンソール９４５に伝達され、コンソールは、アクション要求に対応する動作を行う。いくつかの実施形態では、Ｉ／Ｏインターフェース９４０は、別に上述したようにＩＭＵ ９２０を含み、ＩＭＵは、Ｉ／Ｏインターフェース９４０の初期位置に対するＩ／Ｏインターフェース９４０の推定位置を示す較正データを取り込む。いくつかの実施形態では、Ｉ／Ｏインターフェース９４０は、コンソール９４５４から受け取った命令に従って触覚フィードバックをユーザに与えることができる。たとえば、アクション要求が受け取られたときに触覚フィードバックが与えられ、あるいは、コンソール９４５がある動作を行ったときに、コンソール９４５は命令をＩ／Ｏインターフェース９４０へ伝達してＩ／Ｏインターフェース９４０が触覚フィードバックを生成する。

コンソール９４５は、ＤＣＡ ９３０、ヘッドセット９０５、およびＩ／Ｏインターフェース９４０のうちの１つまたは複数から受け取った情報に従って処理するためのコンテンツをヘッドセット９０５に提供する。図９に示された例では、コンソール９４５は、アプリケーション記憶装置９５０、トラッキングモジュール９５５、およびエンジン９６０を含む。コンソール９４５のいくつかの実施形態には、図９と併せて説明されたものとは異なるモジュールまたは構成要素がある。同様に、以下でさらに説明される機能は、図９と併せて説明されたのとは異なるようにしてコンソール９４５の各構成要素の間で分布し得る。いくつかの実施形態では、コンソール９４５に関して本明細書で論じられた機能性は、ヘッドセット９０５、または遠隔システムにおいて実施することができる。

アプリケーション記憶装置９５０は、コンソール９４５による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションとは、プロセッサによって実行されたときに、ユーザに提示するためのコンテンツを生成する命令の群のことである。アプリケーションによって生成されるコンテンツは、ヘッドセット９０５の移動によって、またはＩ／Ｏインターフェース９４０によって、ユーザから受け取った入力に対応し得る。アプリケーションの例としては、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションがある。

トラッキングモジュール９５５は、１つまたは複数の較正パラメータを用いてシステム９００の局所エリアを較正し、さらに、ヘッドセット９０５またはＩ／Ｏインターフェース９４０の位置の決定の際のエラーを低減するように１つまたは複数の較正パラメータを調整することができる。たとえば、トラッキングモジュール９５５は、較正パラメータをＤＣＡ ９３０へ伝達して、ＤＣＡ ９３０によって取り込まれるＳＬ要素の位置をより正確に決定するようにＤＣＡ ９３０の焦点を調整することができる。トラッキングモジュール９５５によって行われる較正によりまた、ヘッドセット９０５のＩＭＵ ９２０、および／またはＩ／Ｏインターフェース９４０に含まれるＩＭＵ ９２０から受け取った情報が明らかになる。加えて、ヘッドセット９０５が追跡されなくなった場合に（たとえば、ＤＣＡ ９３０の、少なくとも閾値数の投射ＳＬ要素の視線がなくなる）、トラッキングモジュール９５５は、システム９００の一部または全部を再較正することができる。

トラッキングモジュール９５５は、ヘッドセット９０５またはＩ／Ｏインターフェース９４０の移動を、ＤＣＡ ９３０、１つまたは複数の位置センサ９２５、ＩＭＵ ９２０、またはこれらのどれかの組み合わせからの情報を用いて追跡する。たとえば、トラッキングモジュール９５５は、局所エリアのマッピング中のヘッドセット９０５の基準点の位置をヘッドセット９０５からの情報に基づいて決定する。トラッキングモジュール９５５はまた、対象物または仮想対象物の位置を決定することもできる。加えて、いくつかの実施形態では、トラッキングモジュール９５５は、ヘッドセット９０５の位置を示すＩＭＵ ９２０からのデータの部分、ならびにＤＣＡ ９３０からの局所エリアの写像を用いて、ヘッドセット９０５の将来のロケーションを予測することができる。トラッキングモジュール９５５は、ヘッドセット９０５またはＩ／Ｏインターフェース９４０の予想または予測将来位置をエンジン９６０に提供することができる。

エンジン９６０は、アプリケーションを実行し、ヘッドセット９０５の位置情報、加速度情報、速度情報、予測将来位置、またはこれらのどれかの組み合わせをトラッキングモジュール９５５から受け取る。受け取った情報に基づいて、エンジン９６０は、ユーザに提示するためにヘッドセット９０５に提供するコンテンツを決定する。たとえば、受け取った情報が、ユーザが左を見たことを示す場合、エンジン９６０は、仮想局所エリアにおいて、または追加のコンテンツで局所エリアを増補している局所エリアにおいて、ユーザの移動をミラーリングするヘッドセット９０５のコンテンツを生成する。加えて、エンジン９６０は、Ｉ／Ｏインターフェース９４０から受け取ったアクション要求に応答してコンソール９４５上で実行するアプリケーション中の動作を行い、その動作が行われたというフィードバックをユーザに与える。与えられるフィードバックは、ヘッドセット９０５を介する可視または可聴フィードバックでも、Ｉ／Ｏインターフェース９４０を介する触覚フィードバックでもよい。

追加の構成情報
本発明による諸実施形態は特に、方法、装置、および記憶媒体を対象とする添付の特許請求の範囲に開示されており、１つの請求項カテゴリ（たとえば、方法）で述べられているいずれの特徴もまた、別の請求項カテゴリ（たとえば、装置、記憶媒体、システム、およびコンピュータプログラム製品）で特許請求され得る。添付の特許請求の範囲の従属事項または参照事項は、正式の理由だけで選ばれている。しかし、先行する請求項を意図的に参照することにより得られるいずれの主題（特に多数の従属事項）もまた特許請求することができ、それにより、請求項およびその特徴の任意の組み合わせが開示されることになり、添付の特許請求の範囲において選ばれている従属事項にかかわらず特許請求され得る。特許請求できる主題は、添付の特許請求の範囲に詳述された特徴の組み合わせだけでなく、特許請求の範囲の他の任意の特徴の組み合わせも含み、特許請求の範囲に述べられている各特徴を、特許請求の範囲の任意の他の特徴または他の特徴の組み合わせと組み合わせることができる。さらに、本明細書に説明または描写された実施形態および特徴のいずれも、別個の請求項として、および／または本明細書に説明または描写された任意の実施形態および特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組み合わせとして、特許請求することができる。

一実施形態では、１つまたは複数のコンピュータ可読の非一時的記憶媒体が、上に述べた実施形態のいずれかによる方法を行うように実行されたときに、または実施形態のいずれかの中で実行されたときに動作可能であるソフトウェアを具現化することができる。

一実施形態では、システムが、１つまたは複数のプロセッサと、そのプロセッサに結合され、プロセッサによって実行可能な命令を含む少なくとも１つのメモリとを備え、プロセッサは、上に述べた実施形態のいずれかによる方法を行うように命令を実行しているときに、または実施形態のいずれかの中で命令を実行しているときに動作可能である。

一実施形態では、好ましくはコンピュータ可読の非一時的記憶媒体を備えるコンピュータプログラム製品が、上に述べた実施形態のいずれかによる方法を行うように実行されたときに、または実施形態のいずれかの中で実行されたときに動作可能であり得る。

本開示の実施形態についての以上の説明は例示の目的で提示されており、網羅的なものではなく、あるいは開示されたそのままの形に本開示を限定するものではない。当業者には、上記の開示に照らして多くの修正形態および変形形態が可能であることが理解できよう。

本明細書のいくつかの部分は、本開示の実施形態を情報の操作のアルゴリズムおよび記号表現に関して説明している。これらのアルゴリズムに関する説明および表現は、データ処理技術分野の当業者がその仕事の内容を他の当業者に効果的に伝えるために通常使用されている。これらの動作は、機能的、計算的、または論理的に説明されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現されると理解される。さらに、これらの動作装置をモジュールと呼ぶことが場合により便利であることが、一般性を失うことなく判明している。説明された動作およびその関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせとして具現化することができる。

本明細書に記載のステップ、動作、または処理のいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールだけで、または他のデバイスとの組み合わせで行い、または実施することができる。１つの実施形態では、ソフトウェアモジュールが、コンピュータプログラムコードを含有するコンピュータ可読媒体を備えたコンピュータプログラム製品によって実施され、このコンピュータプログラムコードは、記載されたステップ、動作、または処理のいずれか、または全部を行うために、コンピュータプロセッサによって実行することができる。

本開示の実施形態はまた、本明細書の動作を行うための装置とも関連がある。この装置は、必要とされる目的のために特別に造ることができ、かつ／または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動もしくは再構成される汎用計算デバイスを備えることができる。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、または電子的命令を記憶するのに適している任意のタイプの媒体に記憶することができ、これらの媒体はコンピュータシステムバスに結合することができる。さらに、本明細書で言及されるいずれの計算システムも、単一のプロセッサを含むことができ、あるいは計算能力の増大のために多数のプロセッサ設計を使うアーキテクチャとすることができる。

本開示の実施形態はまた、本明細書に記載の計算処理によって製造される製品にも関連があり得る。このような製品は、計算処理から得られた情報を備えることができ、この情報は、非一時的な有形のコンピュータ可読記憶媒体に記憶され、本明細書に記載のコンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含み得る。

最後に、本明細書に使用される言葉は、主として読みやすさおよび教示の目的のために選ばれており、本発明の主題を詳細に叙述または範囲を定めるために選ばれてはいないことがある。したがって、本開示の範囲は、本明細書の「発明を実施するための形態」によってではなく、本明細書に基づいて出願時に出されるいずれかの特許請求の範囲によって限定されるものである。それゆえに、諸実施形態の開示は、添付の特許請求の範囲に明示されている本開示の範囲を限定するものではなく、例示するものである。

Claims (20)

1. 照明命令に従って１つまたは複数の構造化光（ＳＬ）パターンを局所エリアに投射するように構成されたＳＬ投射器と、
   前記１つまたは複数のＳＬパターンを含む前記局所エリアの一部分の画像を取り込むように構成されたカメラアセンブリと、
   コントローラであり、
   前記局所エリアのコントラスト量を、前記取り込まれた画像に部分的に基づいて決定し、
   前記局所エリア内の、第１のコントラスト量を有する第１の関心領域と、前記局所エリア内の、前記第１のコントラスト量よりも多い第２のコントラスト量を有する第２の関心領域とを識別し、
   前記第１の関心領域内の前記第１のコントラスト量と、前記第２の関心領域内の前記第２のコントラスト量とに部分的に基づいて前記照明命令を更新し、
   前記更新された照明命令を前記ＳＬ投射器に与えるように構成されたコントローラと
   を備える深度カメラアセンブリ（ＤＣＡ）であって、前記更新された照明命令により前記ＳＬ投射器が第１のＳＬパターンを前記第１の関心領域に投射し、第２のＳＬパターンを前記第２の関心領域に投射する、深度カメラアセンブリ（ＤＣＡ）。
2. 前記コントローラがさらに、
   前記局所エリアについて記述する情報をマッピングサーバへ送信するように構成され、前記情報が前記局所エリアの少なくとも前記部分についての視覚情報を含む、請求項１に記載のＤＣＡ。
3. 前記コントローラがさらに、
   前記局所エリアのコントラストをコントラストアルゴリズムを用いて計算するように構成される、請求項１に記載のＤＣＡ。
4. 前記コントラストアルゴリズムが、ピクセルごとのコントラストのスライディングウィンドウ最大値を計算することを含む、請求項３に記載のＤＣＡ。
5. 前記コントローラが、前記局所エリア内の前記第１の関心領域を、前記第１の関心領域内の対象物の移動を検出することに基づいて識別するように構成される、請求項１に記載のＤＣＡ。
6. 前記コントローラが、
   前記局所エリア内の前記第１の関心領域を、前記第１の関心領域内の遮られた対象物を検出することに基づいて識別し、
   前記遮られた対象物を検出することに応答して前記第１の関心領域のテクスチャの量を減少させるように構成され、前記遮られた対象物が物理的対象物であり、前記物理的対象物が仮想対象物によって遮られる、請求項１に記載のＤＣＡ。
7. 前記コントローラが、
   前記局所エリア内の仮想対象物の予想ロケーションを決定し、
   前記第１のＳＬパターンの電力レベルを前記仮想対象物の前記予想ロケーションに基づいて選択するように構成される、請求項１に記載のＤＣＡ。
8. 前記第２のＳＬパターンが前記第１のＳＬパターンとは異なる、請求項１に記載のＤＣＡ。
9. 前記コントローラが、前記局所エリアについて記述するパラメータをマッピングサーバから受け取るように構成される、請求項１に記載のＤＣＡ。
10. 前記コントローラが、
    ＳＬパターンを全く用いずに取り込まれた第１の画像を、前記ＳＬパターンのうちの１つを含有する第２の画像から減算し、
    前記減算に基づいて、ＩＲ照明のバックグラウンドレベルを決定するように構成される、請求項１に記載のＤＣＡ。
11. 局所エリアのコントラスト量を決定すること、
    前記局所エリア内の、第１のコントラスト量を有する第１の関心領域と、前記局所エリア内の、前記第１のコントラスト量よりも多い第２のコントラスト量を有する第２の関心領域とを識別すること、
    前記第１の関心領域内の前記第１のコントラスト量と、前記第２の関心領域内の前記第２のコントラスト量とに部分的に基づいて照明命令を更新すること、および
    前記更新された照明命令をＳＬ投射器に与えることを含む方法であって、前記更新された照明命令により、前記ＳＬ投射器が第１のＳＬパターンを前記第１の関心領域に投射し、第２のＳＬパターンを前記第２の関心領域に投射する、方法。
12. 前記局所エリアについて記述する情報をマッピングサーバへ送信することをさらに含み、前記情報が前記局所エリアの少なくとも一部分についての視覚情報を含む、請求項１１に記載の方法。
13. 前記局所エリアのコントラストをコントラストアルゴリズムを用いて計算することをさらに含む、請求項１１に記載の方法。
14. 前記コントラストアルゴリズムが、ピクセルごとのコントラストのスライディングウィンドウを計算することを含む、請求項１３に記載の方法。
15. 前記局所エリア内の前記第１の関心領域を、前記第１の関心領域内の対象物の移動を検出することに基づいて識別することをさらに含む、請求項１１に記載の方法。
16. 前記局所エリア内の前記第１の関心領域を、前記第１の関心領域内の遮られた対象物を検出することに基づいて識別することをさらに含む、請求項１１に記載の方法。
17. 前記遮られた対象物を検出することに応答して前記第１の関心領域のテクスチャの量を減少させることをさらに含む、請求項１６に記載の方法。
18. 前記遮られた対象物が物理的対象物であり、前記物理的対象物が仮想対象物によって遮られる、請求項１７に記載の方法。
19. 前記局所エリアについて記述するパラメータをマッピングサーバから受け取ることをさらに含む、請求項１１に記載の方法。
20. 符号化された命令であり、プロセッサによって実行されたときに、前記プロセッサが、
    局所エリアのコントラスト量を決定すること、
    前記局所エリア内の、第１のコントラスト量を有する第１の関心領域と、前記局所エリア内の、前記第１のコントラスト量よりも多い第２のコントラスト量を有する第２の関心領域とを識別すること、
    前記第１の関心領域内の前記第１のコントラスト量と、前記第２の関心領域内の前記第２のコントラスト量とに部分的に基づいて照明命令を更新すること、および
    前記更新された照明命令をＳＬ投射器に与えること
    を含む動作を行う、符号化された命令を有する非一時的なコンピュータ可読記憶媒体であって、前記更新された照明命令により、前記ＳＬ投射器が第１のＳＬパターンを前記第１の関心領域に投射し、第２のＳＬパターンを前記第２の関心領域に投射する、非一時的なコンピュータ可読記憶媒体。

Images