JP2019533918A - 深度マッピング用のアレイ検出器 - Google Patents

Abstract

深度カメラ部品（ＤＣＡ）は、局所領域内の深度情報を記述するデータを捕捉する。ＤＣＡは、アレイ検出器、コントローラ、および照明源を含む。アレイ検出器は、レンズアレイと重なり合う検出器を含む。検出器は複数の画素を含み、複数の画素は複数の個別の画素群に分割される。レンズアレイは複数のレンズスタックを含み、各レンズスタックは個別の画素群と重なり合う。アレイ検出器は、照明源からの光で照明された局所領域の１つまたは複数の合成画像を捕捉する。コントローラは、１つまたは複数の合成画像を使用して局所領域内の物体に関する深度情報を決定する。

Description

本開示は、概して、仮想現実システムまたは拡張現実システムに関し、より詳細には、局所領域の深度情報を決定するために使用される情報を取得するアレイ検出器に関する。

仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、および複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムは、三次元（３Ｄ）でユーザを取り囲む環境の捕捉を活用することができる。しかしながら、従来の深度カメラ画像処理アーキテクチャは、サイズが比較的大きく、重量があり、かなりの量の電力を消費する。シーンの３Ｄ情報を取得するための例示的な深度カメラ撮像アーキテクチャは、例えば、ステレオビジョン、タイムオブフライト（ＴｏＦ：Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）、および構造化光（ＳＬ：Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ）を含む。別々の深度カメラ撮像アーキテクチャは、別々の長所および短所を提供し、したがって、特定の深度カメラ撮像アーキテクチャは、別々の動作条件において他のものよりも優れた性能を提供し得る。例えば、ステレオビジョンアーキテクチャは、周囲照明で良好に動作するが、アクティブ照明源を有するＴｏＦアーキテクチャは、周囲照明からの信号対雑音比の制限によって正常に機能しない可能性がある。しかしながら、比較的大きいサイズの従来の深度カメラ撮像アーキテクチャのために、深度カメラを含む多くのシステムは、通常、特定の使用事例に対応するように構成された単一タイプの深度カメラ撮像アーキテクチャを使用している。ヘッドマウントシステムが様々な動作条件および環境においてより広範囲の機能を実行するために急速に使用されるにつれて、ヘッドマウントシステムおよびユーザを取り囲む領域の深度情報を得るために単一の深度カメラ撮像アーキテクチャを選択することは、ヘッドマウントシステムを用いたユーザエクスペリエンスを損なう可能性がある。さらに、ＨＭＤが屋内と屋外の両方で使用されるようになるにつれて、動作環境のダイナミクスは、捕捉されたデータ品質の高度な信頼性と弾力性の恩恵を受けることとなり得る。

深度カメラ部品（ＤＣＡ）は、例えば、ＤＣＡを含むヘッドマウントディスプレイ（ＨＭＤ）を取り囲む局所領域内の深度情報を記述するデータを捕捉する。ＤＣＡは、アレイ検出器、コントローラ、および照明源を含む。アレイ検出器は検出器を含み、検出器の一部はレンズアレイと重なっている。検出器は複数の画素を含み、複数の画素は複数の個別の画素群に分割されている。レンズアレイは複数のレンズスタックを含み、各レンズスタックは個別の画素群と重なり合う。アレイ検出器は、照明源からの光で照明された局所領域の１つまたは複数の合成画像を捕捉する。コントローラは、１つまたは複数の合成画像を使用して局所領域内の物体に関する深度情報を決定する。実施形態では、ＤＣＡがＨＭＤの一部であり、電子ディスプレイ要素は、深度情報に部分的に基づいて仮想物体を表示する。そして、光学ブロックが電子ディスプレイ要素からの光をＨＭＤの射出瞳に向ける。

レンズスタックは、局所領域からの光を活性領域の対応する部分に集束させる１つまたは複数の光学素子である。各レンズスタックは、レンズアレイ内の他のレンズスタックと同一でも異なっていてもよい。例えば、レンズスタックの１つまたは複数の光学素子は、焦点距離、Ｆ値、アパーチャ、透過波長、偏光などのうちの１つまたは複数が同じレンズアレイ内のレンズスタック間で異なるように変更され得る。各レンズスタックは、個々の画素群に対応する検出器の活性領域の別々の部分と重なってカメラユニットを形成する。したがって、単一の検出器および複数のレンズスタックは複数のカメラユニットを作り出す。検出器からの出力は、局所領域の合成画像を共に形成する各カメラユニットからの内容を含む。合成画像は、例えば、ステレオビジョン、フォトメトリックステレオ、構造化光（ＳＬ）、タイムオブフライト（ＴｏＦ）、またはそれらのある組み合わせを含む様々な技術により局所領域に関する深度情報を決定するために、コントローラおよび／または仮想現実コンソールによって使用され得る。

本発明による実施形態は、特に、システムを対象とする添付の特許請求の範囲に開示されており、１つの請求項のカテゴリー、例えばシステムで言及される任意の特徴は別の特許請求の範囲の請求項のカテゴリー、例えば、方法で請求することができる。添付の特許請求の範囲に記載されている従属関係または参照は、形式的な理由からのみ選択されている。しかしながら、添付の特許請求の範囲で選択された従属関係にかかわらず、請求項およびその特徴の任意の組み合わせが、開示され、かつ請求することができるように、任意の前の請求項（特に、多数項従属）への意図的な参照から生じる任意の主題も請求することができる。特許請求することができる主題は、添付の特許請求の範囲に記載の特徴の組み合わせのみならず、特許請求の範囲における他のあらゆる特徴の組み合わせも含み、特許請求の範囲に記載の各特徴は他のあらゆる特徴または特許請求の範囲における他の特徴の組み合わせと組み合わせることができる。さらに、本明細書に記載または描写されている実施形態および特徴のいずれかは、別々の請求項において、および／または本明細書に記載もしくは描写されている任意の実施形態もしくは特徴と、または添付の請求項の特徴のいずれかとの任意の組み合わせで請求することができる。

本発明の一実施形態において、深度カメラ部品（ＤＣＡ）は、
局所領域に光を投光するように構成された照明源と、
複数のレンズスタックを含むレンズアレイと重ね合わされる複数の画素を有する検出器を含むアレイ検出器と、複数の画素は別々の画素群に分割され、各レンズスタックは別々の画素群を覆い、アレイ検出器は、照明源からの光で照明された局所領域の１つまたは複数の合成画像を捕捉するように構成され、
１つまたは複数の合成画像を使用して局所領域内の物体に関する深度情報を決定するように構成されたコントローラとを含み得る。

ＤＣＡは、ヘッドマウントディスプレイ（ＨＭＤ）の一部であり得、ＨＭＤは、
深度情報に部分的に基づいて仮想物体を表示するように構成された電子ディスプレイ要素と、
電子ディスプレイ要素からの光をＨＭＤの射出瞳に向けるように構成された光学ブロックとを含む。

コントローラは、１つまたは複数の合成画像と、ステレオビジョン、タイムオブフライト、フォトメトリックステレオ、構造化光、またはそれらのある組み合わせからなる群から選択された深度測定技術とを使用して深度情報を決定するようにさらに構成され得る。

各画素群は同数の画素を含み得る。
少なくとも１つの画素群が、複数の画素の他の画素群とは異なる数の画素を有し得る。
レンズアレイは４つのレンズスタックを含み得、各対応する画素群は同数の画素を有し得る。

複数のレンズスタックのうちの１つのレンズスタックが、レンズ、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含み得る。

レンズアレイ内の複数のレンズスタックのうちの少なくとも１つが、レンズアレイ内の他のレンズスタックとは別の少なくとも１つの光学素子を含み得る。
レンズアレイ内の各レンズスタックは、同じ１つまたは複数の光学素子を含み得る。

本発明の一実施形態において、深度カメラ部品（ＤＣＡ）は、
局所領域に光を投光するように構成された照明源と、
複数のレンズスタックを含むレンズアレイと重ね合わされる複数の画素を有する検出器を含むアレイ検出器と、複数の画素は別々の画素群に分割され、各レンズスタックは別々の画素群を覆い、アレイ検出器は、照明源からの光で照明された局所領域の１つまたは複数の合成画像を捕捉するように構成され、
１つまたは複数の合成画像を仮想現実（ＶＲ）コンソールに提供するように構成されたコントローラとを備え得、ＶＲコンソールは、１つまたは複数の合成画像に部分的に基づいて深度情報を決定し、深度情報に部分的に基づいて仮想物体を生成するように構成される。

各画素群は同数の画素を含み得る。
少なくとも１つの画素群が、複数の画素の他の画素群とは異なる数の画素を有し得る。
レンズアレイは４つのレンズスタックを含み得、各対応する画素群は同数の画素を有し得る。

複数のレンズスタックのうちの１つのレンズスタックが、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含み得る。

レンズアレイ内の複数のレンズスタックのうちの少なくとも１つが、レンズアレイ内の他のレンズスタックとは別の少なくとも１つの光学素子を含み得る。
本発明の一実施形態において、深度カメラ部品（ＤＣＡ）は、
局所領域に光を投光するように構成された照明源と、
複数のレンズスタックを含むレンズアレイと重ね合わされる複数の画素を有する検出器を含むアレイ検出器と、複数の画素は別々の画素群に分割され、各レンズスタックは別々の画素群を覆い、アレイ検出器は、照明源からの光で照明された局所領域の１つまたは複数の合成画像を捕捉するように構成され、
１つまたは複数の合成画像を使用して局所領域内の物体に関する深度情報を決定するように構成されたコントローラと、および／または
１つまたは複数の合成画像を仮想現実（ＶＲ）コンソールに提供するように構成されたコントローラとを備え得、ＶＲコンソールは、１つまたは複数の合成画像に部分的に基づいて深度情報を決定し、深度情報に部分的に基づいて仮想物体を生成するように構成される。

本発明の一実施形態において、深度カメラ部品（ＤＣＡ）は、
局所領域に光を投光するように構成された照明源と、
アレイ検出器であって、
第１の画素群を含む第１の検出器と、
第１の検出器に隣接して配置され、第２の画素群を含む第２の検出器と、
第１のレンズスタックと第２のレンズスタックとを含むレンズアレイとを含み、第１のレンズスタックは第１の画素群と重なり合い、第２のレンズスタックは第２の画素群と重なり合い、
特定の時間範囲に亘り第１の検出器によって捕捉された局所領域の画像と、特定の時間範囲に亘り第２の検出器によって捕捉された局所領域の画像とが共に合成画像を構成する、アレイ検出器と、
合成画像を使用して局所領域内の物体に関する深度情報を決定するように構成されたコントローラとを備え得る。

第１の画素群および第２の画素群は、同数の画素を含み得る。
第１の画素群は、第２の画素群とは異なる数の画素を有し得る。
第１のレンズスタックおよび第２のレンズスタックが、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含み得る。

第１のレンズスタックが、第２のレンズスタックとは別の少なくとも１つの光学素子を含み得る。
コントローラは、合成画像と、ステレオビジョン、タイムオブフライト、フォトメトリックステレオ、構造化光、またはそれらのある組み合わせからなる群から選択された深度測定技術とを使用して深度情報を決定するようにさらに構成され得る。

一実施形態による仮想現実システムを含むシステム環境のブロック図である。 一実施形態によるヘッドマウントディスプレイの図である。 一実施形態による深度カメラ部品を含むヘッドマウントディスプレイの前側硬質本体の断面図である。 一実施形態による深度カメラ部品のアレイ検出器の上面図である。

図面は、例示のみを目的として本開示の実施形態を示す。当業者であれば、以下の説明から、本明細書で説明した構造および方法の代替の実施形態を、本明細書に記載の原理または利点から逸脱することなく用いることができることを容易に認識するであろう。

システムの概要
図１は、ＶＲコンソール１１０が動作する仮想現実（ＶＲ）システム環境１００の一実施形態のブロック図である。図１は例示の目的でＶＲシステム環境を示しているが、本明細書に記載のコンポーネントおよび機能は、様々な実施形態において拡張現実（ＡＲ）システムまたは複合現実（ＭＲ）システムにも含まれ得る。本明細書で使用されるように、ＶＲシステム環境１００は、ユーザが対話することができる仮想環境をユーザに提示する仮想現実システム環境を含み得る。図１に示すＶＲシステム環境１００は、ヘッドマウントディスプレイ（ＨＭＤ）１０５と、ＶＲコンソール１１０に結合されたＶＲ入出力（Ｉ／Ｏ）インタフェース１１５とを備える。図１は、１つのＨＭＤ１０５および１つのＶＲ Ｉ／Ｏインタフェース１１５を含む例示的なシステム１００を示しているが、他の実施形態では、任意の数のこれらのコンポーネントがＶＲシステム環境１００に含まれてもよい。例えば、複数のＨＭＤ１０５が設けられ、各ＨＭＤ１０５が関連のＶＲ Ｉ／Ｏインタフェース１１５を有し、各ＨＭＤ１０５およびＶＲ Ｉ／Ｏインタフェース１１５がＶＲコンソール１１０と通信してもよい。代替の構成では、異なるおよび／または追加のコンポーネントをＶＲシステム環境１００に含ませることができる。さらに、いくつかの実施形態において図１に示される１つまたは複数の構成要素と関連して説明される機能が、図１に関連して説明したのとは異なる方法で複数の構成要素に分配されてもよい。例えば、ＶＲコンソール１１０の機能の一部または全部は、ＨＭＤ１０５によって提供される。

ＨＭＤ１０５は、コンピュータが生成した要素（例えば、２次元（２Ｄ）または３次元（３Ｄ）画像、２Ｄまたは３Ｄ動画、音声他）を用いて物理的な現実世界環境の拡張ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。いくつかの実施形態では、提示されるコンテンツは、ＨＭＤ１０５、ＶＲコンソール１１０、またはその両方からオーディオ情報を受信し、オーディオ情報に基づいてオーディオデータを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォン）を介して提示されるオーディオを含む。ＨＭＤ１０５は、互いに強固にまたは非剛性に結合され得る１つまたは複数の硬質本体を備え得る。硬質本体間の堅固な結合は、結合された硬質本体を単一の硬質本体として機能させる。対照的に、硬質本体間の非剛性結合は、硬質本体が互いに対して移動することを可能にする。

ＨＭＤ１０５は、深度カメラ部品（ＤＣＡ：Ｄｅｐｔｈ Ｃａｍｅｒａ Ａｓｓｅｍｂｌｙ）１２０、電子ディスプレイ１２５、光学ブロック１３０、１つまたは複数の位置センサ１３５、および慣性測定ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１４０を含む。ＨＭＤ１０５のいくつかの実施形態は、図１に関連して説明されるものとは異なるコンポーネントを有する。さらに、図１に関連して説明した様々な構成要素によって提供される機能は、他の実施形態では、ＨＭＤ１０５の構成要素において異なるようにして分散されるか、またはＨＭＤ１０５から遠隔の別個の部品において取り込まれてもよい。

ＤＣＡ１２０は、ＨＭＤ１０５の周囲の領域の深度情報を記述するデータを捕捉する。深度情報を記述するデータは、深度情報を決定するために使用される以下の技術、ステレオビジョン、フォトメトリックステレオ（ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ）、構造化光（ＳＬ）、およびタイムオブフライト（ＴｏＦ）のうちの１つまたはそれらのある組み合わせと関連付けされ得る。ＤＣＡ１２０は、データを使用して深度情報を計算することができるか、あるいはＤＣＡ１２０は、ＤＣＡ１２０からのデータを使用して深度情報を決定することができるＶＲコンソール１１０などの別のデバイスにこの情報を送信することができる。

一実施形態では、ＤＣＡ１２０は、照明源、アレイ検出器、およびコントローラを含む。照明源は、ＨＭＤを取り囲む領域に光を放射する。アレイ検出器は、周囲光と、その領域内の物体から反射された照明源からの光とを捕捉する。アレイ検出器は、アレイ検出器の活性領域を複数の領域に分割するレンズアレイを含み（例えば、レンズアレイは４つの別々のレンズスタックを含み得る）、各領域は局所領域の別々の視点を提供する。アレイ検出器は、深度情報をより良く抽出するために局所領域の複数の視野に関するデータを提供するように構成される。コントローラは、照明源がどのように光を放射するか、およびアレイ検出器がどのように光を捕捉するかを調整する。ＤＣＡ１２０の動作に関するさらなる詳細は、図３に関して以下に説明される。

電子ディスプレイ１２５は、ＶＲコンソール１１０から受信したデータに従って２Ｄまたは３Ｄ画像をユーザに表示する。種々の実施形態において、電子ディスプレイ１２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼に対するディスプレイ）を含む。例示的な電子ディスプレイ１２５は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ：ａｃｔｉｖｅ−ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、その他のディスプレイ、またはそれらの組み合わせを含む。

光学ブロック１３０は、電子ディスプレイ１２５から受け取った画像光を拡大し、画像光に関連する光学誤差を補正し、かつ補正された画像光をＨＭＤ１０５のユーザに提示する。様々な実施形態において、光学ブロック１３０は、１つまたは複数の光学素子を含む。光学ブロック１３０に含まれる例示的な光学素子は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を与える他の任意の適切な光学素子を含む。さらに、光学ブロック１３０は、異なる光学素子の組み合わせを含み得る。いくつかの実施形態では、光学ブロック１３０内の１つまたは複数の光学素子は、部分反射コーティングまたは反射防止コーティングのような１つまたは複数のコーティングを有することができる。

光学ブロック１３０による画像光の拡大および集束は、より大きなディスプレイよりも電子ディスプレイ１２５を物理的に小さくし、重量を低減し、消費電力を低減することを可能にする。さらに、拡大は、電子ディスプレイ１２５によって提示されるコンテンツの視野を増加させる。例えば、表示されたコンテンツの視野は、表示されたコンテンツが、ユーザの視野のほぼすべて（例えば、約１１０度傾斜）、および場合によっては全部を使用して提示されるようになる。さらにいくつかの実施形態では、光学素子を追加または除去することによって拡大の量を調整することができる。

いくつかの実施形態では、光学ブロック１３０は、１つまたは複数のタイプの光学誤差を補正するように設計されてもよい。光学誤差の例には、バレル歪み、ピンクッション歪み、軸上色収差、または横方向色収差が含まれる。他のタイプの光学誤差は、球面収差、色収差またはレンズ像面湾曲による誤差、非点収差、または他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ１２５に提供されるコンテンツは予歪状態であり、光学ブロック１３０は、コンテンツに基づいて生成された電子ディスプレイ１２５から画像光を受け取るときに歪みを補正する。

ＩＭＵ１４０は、１つまたは複数の位置センサ１３５から受信した測定信号およびＤＣＡ１２０から受信した深度情報に基づいて、ＨＭＤ１０５の位置を示すデータを生成する電子デバイスである。位置センサ１３５は、ＨＭＤ１０５の動きに応答した１つまたは複数の測定信号を生成する。位置センサ１３５の例には、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵ１４０の誤差訂正に使用されるあるタイプのセンサ、またはそれらの組み合わせが含まれる。位置センサ１３５は、ＩＭＵ１４０の外部に、ＩＭＵ１４０の内部に、またはそれらの位置の組み合わせに配置することができる。

ＩＭＵ１４０は、１つまたは複数の位置センサ１３５からの１つまたは複数の測定信号に基づいて、ＨＭＤ１０５の初期位置に対するＨＭＤ１０５の推定の現在位置を示すデータを生成する。例えば、センサ１３５は、並進運動（前後、上下、左右）を測定する複数の加速度計、および回転運動（例えば、ピッチ、ヨー、ロール）を測定する複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１４０は測定信号を迅速にサンプリングし、サンプリングされたデータからＨＭＤ１０５の推定の現在位置を計算する。例えば、ＩＭＵ１４０は、加速度計から受信した測定信号を経時的に積分して速度ベクトルを推定し、速度ベクトルを経時的に積分して、ＨＭＤ１０５上の基準点の推定の現在位置を決定する。代替的に、ＩＭＵ１４０は、サンプリングされた測定信号をＶＲコンソール１１０に提供し、ＶＲコンソール１１０がデータを解釈して誤差を低減する。基準点は、ＨＭＤ１０５の位置を特徴付けるために使用され得る点である。基準点は、一般に、ＨＭＤ１０５の向きおよび位置に関連する空間内の点または位置として定義され得る。

ＩＭＵ１４０は、ＶＲコンソール１１０から１つまたは複数のパラメータを受信する。以下でさらに説明するように、１つまたは複数のパラメータは、ＨＭＤ１０５の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ１４０は、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整することができる。いくつかの実施形態では、特定のパラメータによって、ＩＭＵ１４０は、基準点の初期位置が基準点の次の位置に対応するように基準点の初期位置を更新する。基準点の次の較正された位置として基準点の初期位置を更新することは、ＩＭＵ１４０の推定の現在の位置に関連する累積誤差を低減するのに役立つ。累積誤差は、ドリフト誤差とも呼ばれ、推定の基準点の位置を基準点の実際の位置から経時的に「離脱」させる。ＨＭＤ１０５のいくつかの実施形態では、ＩＭＵ１４０は、専用ハードウェアコンポーネントであってもよい。他の実施形態では、ＩＭＵ１４０は、１つまたは複数のプロセッサに実装されたソフトウェアコンポーネントであってもよい。

ＶＲ Ｉ／Ｏインタフェース１１５は、ユーザがアクション要求を送信し、ＶＲコンソール１１０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、画像またはビデオデータの捕捉を開始または終了するための命令、またはアプリケーション内で特定のアクションを実行するための命令であってもよい。ＶＲ Ｉ／Ｏインタフェース１１５は、１つまたは複数の入力デバイスを含むことができる。例示的な入力デバイスには、キーボード、マウス、ゲームコントローラ、またはアクション要求を受け取り、ＶＲコンソール１１０にアクション要求を伝達するための他の適切な装置が含まれる。ＶＲ Ｉ／Ｏインタフェース１１５によって受信されたアクション要求は、アクション要求に対応するアクションを実行するＶＲコンソール１１０に伝達される。いくつかの実施形態では、ＶＲ Ｉ／Ｏインタフェース１１５は、ＶＲ Ｉ／Ｏインタフェース１１５の初期位置に対するＶＲ Ｉ／Ｏインタフェース１１５の推定の位置を示す較正データを取得する上述したようなＩＭＵ １４０をさらに含む。いくつかの実施形態では、ＶＲ Ｉ／Ｏインタフェース１１５は、ＶＲコンソール１１０から受信した指示に従ってユーザに触覚フィードバックを提供することができる。例えば、アクション要求が受信されたときに触覚フィードバックが提供されるか、またはＶＲコンソール１１０がアクションを実行するときにＶＲコンソール１１０がＶＲ Ｉ／Ｏインタフェース１１５に命令を送り、ＶＲ Ｉ／Ｏインタフェース１１５に触覚フィードバックを生成させる。

ＶＲコンソール１１０は、ＤＣＡ１２０、ＨＭＤ１０５、およびＶＲ Ｉ／Ｏインタフェース１１５のうちの１つまたは複数から受信した情報に従って処理するためにＨＭＤ１０５にコンテンツを提供する。図１に示すように、ＶＲコンソール１１０は、アプリケーションストア１５０、追跡モジュール１５５、およびＶＲエンジン１４５を含む。ＶＲコンソール１１０のいくつかの実施形態は、図１に関連して説明したものとは異なるモジュールまたはコンポーネントを有する。同様に、以下でさらに説明される機能は、図１と関連して説明したものとは異なる方法で、ＶＲコンソール１１０の複数のコンポーネントに分散されてもよい。

アプリケーションストア１５０は、ＶＲコンソール１１０による実行のための１つまたは複数のアプリケーションを格納する。アプリケーションは、プロセッサによる実行時に、ユーザに提示するためのコンテンツを生成する１つのグループの命令である。アプリケーションによって生成されるコンテンツは、ＨＭＤ１０５またはＶＲ Ｉ／Ｏインタフェース１１５の動きによりユーザから受信した入力に応答したものであってもよい。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。

追跡モジュール１５５は、１つまたは複数の較正パラメータを使用してＶＲシステム環境１００を較正するとともに、１つまたは複数の較正パラメータを調整して、ＨＭＤ１０５またはＶＲ Ｉ／Ｏインタフェース１１５の位置の決定における誤差を低減することができる。例えば、追跡モジュール１５５は、ＤＣＡ１２０の焦点を調整してＤＣＡ１２０によって捕捉されるＳＬ要素の位置をより正確に決定するために較正パラメータをＤＣＡ１２０に伝達する。追跡モジュール１５５によって実行される較正はまた、ＨＭＤ１０５内のＩＭＵ１４０および／またはＶＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０から受信した情報を考慮する。さらに、ＨＭＤ１０５の追跡を喪失した場合（例えば、ＤＣＡ１２０が少なくとも閾値のＳＬ要素の照準線を喪失する）、追跡モジュール１４０は、ＶＲシステム環境１００の一部または全部を再較正することができる。

追跡モジュール１５５は、ＤＣＡ１２０、１つまたは複数の位置センサ１３５、ＩＭＵ１４０またはそれらのいくつかの組み合わせからの情報を使用してＨＭＤ１０５またはＶＲ Ｉ／Ｏインタフェース１１５の動きを追跡する。例えば、追跡モジュール１５５は、ＨＭＤ１０５からの情報に基づいて局所領域のマッピングにおけるＨＭＤ１０５の基準点の位置を決定する。追跡モジュール１５５は、ＩＭＵ１４０からのＨＭＤ１０５の位置を示すデータを使用して、またはＶＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０からのＶＲ Ｉ／Ｏインタフェース１１５の位置を示すデータを使用して、ＨＭＤ１０５の基準点の位置またはＶＲ Ｉ／Ｏインタフェース１１５の基準点を決定する。さらに、いくつかの実施形態では、追跡モジュール１５５は、ＩＭＵ１４０からのＨＭＤ１０５の位置を示すデータの一部ならびにＤＣＡ１２０からの局所領域の表現を使用してＨＭＤ１０５の将来の位置を予測することができる。追跡モジュール１５５は、ＨＭＤ１０５またはＶＲ Ｉ／Ｏインタフェース１１５の推定または予測した将来の位置をＶＲエンジン１４５に提供する。

ＶＲエンジン１４５は、ＨＭＤ１０５から受信した情報に基づいて、ＨＭＤ１０５を取り囲む領域（即ち、「局所領域」）の３Ｄマッピングを生成する。いくつかの実施形態では、ＶＲエンジン１４５は、深度を計算する際に使用される技法に関連するＤＣＡ１２０から受信した情報に基づいて、局所領域の３Ｄマッピングのための深度情報を決定する。ＶＲエンジン１４５は、深度を計算する際に１つまたは複数の技法（たとえば、ステレオビジョン、フォトメトリックステレオ、ＳＬ、ＴｏＦ、またはそれらの何らかの組み合わせ）を使用して深度情報を計算し得る。様々な実施形態では、ＶＲエンジン１４５は、ＤＣＡ１２０によって決定された異なるタイプの情報、またはＤＣＡ１２０によって決定された組み合わせのタイプの情報を使用する。

ＶＲエンジン１４５はまた、ＶＲシステム環境１００内のアプリケーションを実行して、ＨＭＤ１０５の位置情報、加速度情報、速度情報、予測した将来の位置、またはそれらのいくつかの組み合わせを追跡モジュール１５５から受信する。受信した情報に基づいて、ＶＲエンジン１４５は、ユーザに提示するためにＨＭＤ１０５に提供するコンテンツを決定する。例えば、受信した情報が、ユーザが左方向を見たことを示している場合、ＶＲエンジン１４５は、仮想環境または追加のコンテンツで局所領域を拡張する環境においてユーザの動きを反映するＨＭＤ１０５に対するコンテンツを生成する。さらに、ＶＲエンジン１４５は、ＶＲ Ｉ／Ｏインタフェース１１５から受信したアクション要求に応答してＶＲコンソール１１０上で実行中のアプリケーション内でアクションを実行し、アクションが実行されたことをユーザにフィードバックする。提供されるフィードバックは、ＨＭＤ１０５による視覚的または聴覚的なフィードバックまたはＶＲ Ｉ／Ｏインタフェース１１５による触覚フィードバックであり得る。

図２は、一実施形態のＨＭＤ２００の実体配線図である。ＨＭＤ２００は、ＨＭＤ１０５の一実施形態であり、かつ前側硬質本体２０５、バンド２１０、基準点２１５、左面２２０Ａ、上面２２０Ｂ、右面２２０Ｃ、下面２２０Ｄ、および前面２２０Ｅを含む。図２に示すＨＭＤ２００はまた、一実施形態の深度カメラ部品（ＤＣＡ）１２０を含み、撮像アパーチャ２２５および照明アパーチャ２３０を表している。いくつかの実施形態のＤＣＡ１２０は、アレイ検出器と照明源とを含む。照明源は照明アパーチャ２３０を介して光を放射する。アレイ検出器は、撮像アパーチャ２２５を介して照明源からの光および局所領域内の周囲光を捕捉する。前側硬質本体２０５は、電子ディスプレイ１２５の１つまたは複数の電子ディスプレイ要素（図示せず）、ＩＭＵ１３０、１つまたは複数の位置センサ１３５、および基準点２１５を含む。

図３は、一実施形態によるＨＭＤ３０５の断面図３００である。いくつかの実施形態では、ＨＭＤ３０５は、ＨＭＤ１０５の一実施形態である。他の実施形態では、ＨＭＤ３０５は、いくつかの他のＨＭＤの一部である。前側硬質本体３０７は、深度カメラ部品（ＤＣＡ）１２０、電子ディスプレイ１２５、および光学ブロック１３０を含む。ＨＭＤ３０５のいくつかの実施形態は、本明細書に記載のものとは異なるコンポーネントを有する。同様に、場合によっては、機能は、本明細書で説明されているのとは異なる方法でコンポーネント間に分散させることができる。前側硬質本体３０７はまた、ユーザの眼３０９が位置することとなる射出瞳３０８を含む。説明のために、図３は、単眼３０９による前側硬質本体３０７の断面図を示す。図３は、眼３０９の中央断面がＤＣＡ１２０と同じ平面内にあるように描かれているが、眼３０９の中央断面とＤＣＡ１２０は同じ平面内にある必要はない。さらに、図３に示すものとは別に、別の電子ディスプレイ１２５および光学ブロック１３０を前側硬質本体３０７に含むようにして、局所領域３１０の拡張表現または仮想コンテンツなどのコンテンツをユーザの他方の眼に提示することができる。

深度カメラ部品（ＤＣＡ）１２０は、照明源３２０、アレイ検出器３２５、およびコントローラ３３０を含む。代替の実施形態では、ＤＣＡ１２０は、照明源３２０を含まず、データに関して局所領域３１０上の周囲光に依存する。

照明源３２０は、局所領域３１０を光で照明する。照明源３２０は、局所領域３１０上に光を放射する１つまたは複数の放射体を含む。局所領域３１０は、ＨＭＤ１０５を取り囲む領域であり、かつアレイ検出器３２５の視野内の物体を含む。照明源３２０の１つまたは複数の放射体は、同じスペクトルの光を放射してもよく、または各放射体は、異なるスペクトルまたは特定範囲の波長の光（すなわち光の「帯域」）を放射してもよい。照明源３２０によって放射される光の例示的な帯域は、可視帯域（３８０ｎｍ〜７５０ｎｍ）、赤外（ＩＲ）帯域（７５０ｎｍ〜２２００ｎｍ）、紫外帯域（１００ｎｍ〜３８０ｎｍ）、電磁スペクトルの別の部分、またはそれらのある組み合わせを含む。照明源３２０は、対称ドットパターンまたは擬似ランダムドットパターン、グリッド、または水平バーなどの特定のパターンでＳＬを放射することができる。複数の発光体を有する照明源およびそのＨＭＤへの統合の実施形態は、２０１６年８月９日に出願された米国特許出願第１５／２３２，０７３号にさらに記載されており、その全体が参照により本明細書に組み込まれる。

アレイ検出器３２５は、局所領域３１０の画像を捕捉する。アレイ検出器３２５は、検出器３４０とレンズスタック３５０とを含む。検出器３４０は、単一のセンサからなるが、代替実施形態では２つ以上のセンサからなる。いくつかの実施形態では、検出器３４０は、単一のセンサであり、システムは固有のリソグラフィおよび画素群間の半導体製造精度を活用することができる。さらに、検出器３４０は、ミリメートルのオーダーの全体寸法を有する一般的なモノリシックマウントに取り付けることができ、マウントはシステムを環境の影響（例えば、温度、振動、または衝撃による較正における誤差の導入）に対して減感させるのに役立つ。

検出器３４０は、特定の帯域の光または特定の偏光を捕捉して記録することができる。例えば、検出器３４０は、可視帯域および赤外帯域の光を含む画像を捕捉することができる。検出器３４０は、特定の偏光光（例えば、円偏光光、直線偏光光）を含む画像を捕捉することができる。

検出器３４０は、活性領域と不活性領域とからなる。検出器３４０の活性領域は、光に反応する複数の画素を含む検出器の領域である。検出器３４０の活性領域内の画素に入射する光は、検出器３４０によって測定された光に寄与し得る。検出器３４０の不活性領域は光に反応しない。検出器３４０の不活性領域に入射する光は、検出器３４０によって測定される光には寄与しない。例えば、検出器３４０は、検出器３４０によって測定された光に寄与しない、画素間の領域または複数の画素の周囲にある領域を含み得る。

一実施形態では、検出器３４０は、複数の画素からなる単一のセンサである。複数の画素は、２つ以上の別々の画素群に分割されている。各画素群は、同数の画素を有していても、異なる数の画素を有していてもよい。いくつかの実施形態では、画素群は同じサイズであり得る。例えば、検出器３４０は２０００×２０００画素を有し、それぞれ１０００×１０００画素である４つの別々の画素群に分割されてもよい。他の実施形態では、１つまたは複数の画素群は異なるサイズである（例えば、上記の例で続けると、検出器は、２つの１０００×１０００画素および８つの５００×５００画素を含み得る１０の別々の画素群に分割され得る）。

レンズアレイ３５０は、複数のレンズスタックからなる。レンズスタックは、１つまたは複数の光学素子からなる。レンズスタックは、例えば、１つまたは複数のレンズ、反射面、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせを含み得る。レンズスタックにおける光学素子は、レンズスタックの特定の焦点距離、Ｆ値、アパーチャ、透過波長、および透過偏光に対して構成することができる。例えば、レンズスタックは、特定の偏光に対して光をフィルタリングするための偏光フィルタ、特定の帯域の光に対して光をフィルタリングするためのバンドパスフィルタなどを含み得る。

レンズアレイ３５０におけるレンズスタックは、レンズアレイ３５０における他のレンズスタックと同じでも異なっていてもよい。各レンズスタックは、検出器３４０の画素群に対応する検出器３４０の活性領域の個々の部分を覆って、カメラユニットを形成する。レンズスタックの光学特性は、その光学部品によってある程度決まるため、対応するカメラユニットは、アレイ検出器３２５における他のカメラユニットとは異なる特性（焦点距離、Ｆ値、アパーチャ、波長、偏光状態など）を有することができる。アレイ検出器３２５の各カメラユニットは、局所領域３１０の画像を記録することができる。各カメラユニットは、複数の視野を有する視野の領域と、カバーされる全体の有用な視野を増大させる方法との両方を可能にするために、部分的に重なり合いかつ部分的に異なる視野範囲を有し得る。このように、１つまたは複数のカメラユニットと重なる視野の領域は、より高いデータ密度を可能にし、深度情報を取得するためのステレオ方法を利用することができ、各カメラユニットに固有の視野領域は、より低密度な（ｓｐａｒｓｅｒ）サンプリング手法を利用することができ、かつ／または深度を取得するための非対称カメラ技術（例えば、ＳＬおよびＴｏＦ）に依存することができる。このようにして、視野範囲全体をも考慮しながら、「優先順位がより高い」と見なされる視野の部分のデータ密度を高めることが可能である。局所領域３１０の１つまたは複数の合成画像は、個々のカメラユニットからの画像を使用して作成することができる。合成画像は、異なるカメラユニットからの情報を含む単一の画像である。

コントローラ３３０は、１つまたは複数の合成画像を使用して局所領域３１０内の物体に関する深度情報を決定するように構成される。コントローラ３３０は、照明源３２０からの光の放射方法およびアレイ検出器３２５による光の捕捉方法を制御する。例えば、コントローラ３３０は、照明源３２０内の１つまたは複数の放射体に光を放射するように指示することができる。このようにして、コントローラ３３０は照明源３２０のタイミングを制御することができる。コントローラ３３０はまた、アレイ検出器の１つまたは複数のカメラユニットにてデータが収集されるタイミングを制御することもできる。従って、コントローラ３３０は、アレイ検出器３２５の１つまたは複数のカメラユニットのデータの捕捉を、照明源３２０による光の放射に合わせて、または環境発生源（ａｍｂｉｅｎｔ ｓｏｕｒｃｅｓ）を介した光の放射に合わせて調整することができる。

コントローラ３３０は、深度情報を捕捉するために使用される技法に部分的に基づいて深度情報を捕捉するように構成される。例えば、深度情報は、ステレオビジョン、フォトメトリックステレオ、ＳＬ、およびＴｏＦの技術のうちの１つまたはそれらの組み合わせを使用することによって決定することができる。

コントローラはまた、ステレオビジョン技術を使用してＤＣＡ１２０に深度情報を捕捉させるようにし得る。一実施形態では、コントローラ３３０は、アレイ検出器３２５からの２つ以上のカメラユニットを制御して、局所領域３１０から反射された光を捕捉する。アレイ検出器３２５のカメラユニットは互いに一定の距離だけ離間して配置されているので、２つ以上のカメラユニットを使用して深度情報を抽出することができる。各カメラユニットは、局所領域３１０（例えば、局所領域３１０内の１つまたは複数の物体）から反射される光を収集する。代替実施形態では、コントローラ３３０は、照明源３２０からの光の放射をアレイ検出器３２５の２つ以上のカメラユニットからの光の収集に合わせて調整する。別々の好都合な位置（ｖａｎｔａｇｅ ｐｏｉｎｔｓ）からのデータを含む、コントローラ３３０によって収集されたデータは、深度情報を決定するために比較することができる。

コントローラ３３０は、フォトメトリックステレオ技術を用いてＤＣＡ１２０に深度情報を捕捉させるようにし得る。一実施形態では、コントローラ３３０は、照明源３２０の２つ以上の放射体からの光の放出をアレイ検出器３２５の１つまたは複数のカメラユニットからの光の収集に合わせて調整する。異なる照明条件を有するデータを含む、コントローラ３３０によって収集されたデータは、局所領域３１０内の物体の深度を決定するために使用することができる。

コントローラ３３０は、ＳＬ技術を使用してＤＣＡ１２０に深度情報を捕捉させるようにもし得る。一実施形態では、コントローラ３３０は、局所領域３１０上に特定のパターンを有するＳＬを放射するように照明源３２０を制御する。コントローラ３３０は、照明源３２０からのＳＬの放射をアレイ検出器３２５内の１つまたは複数のカメラユニットからの集光に合わせて調整する。ＳＬ情報を含む、コントローラ３３０によって収集されたデータは、局所領域３１０内の物体の深度を決定するために使用することができる。

コントローラ３３０は、ＴｏＦ技術を使用してＤＣＡ１２０に深度情報を捕捉させるようにもし得る。一実施形態では、コントローラ３３０は、照明源３２０から光が放射されるタイミングを制御し、放射された光が局所領域３１０から反射されてアレイ検出器３２５の１つまたは複数のカメラによって検出されるのに要する時間（時間的位相）を測定する。ＴｏＦ情報を含む、コントローラ３３０によって収集されたデータは、局所領域３１０内の物体の深度を決定するために使用することができる。

コントローラ３３０は、ＤＣＡ１２０に、ＳＬ情報と同時にまたはほぼ同時にＴｏＦ情報を捕捉させるようにもし得る。コントローラ３３０は、ＳＬ情報と同様にＴｏＦ情報を捕捉するために、１０ＭＨｚなどの特定の周波数を有する搬送波信号でＳＬを放射する照明源３２０を変調する。様々な実施形態において、コントローラ３３０は、互いに異なる時間にアレイ検出器３２５の別々のカメラユニットを作動させて、照明源３２０によって放射された搬送波信号によって変調されたＳＬの異なる時間的位相を捕捉する。例えば、隣接するカメラユニットが互いに約９０度、１８０度、または２７０度の位相シフトを有する光を捕捉するように、カメラユニットは異なる時間に作動される。コントローラ３３０は、個々のカメラユニットからのデータを収集し、そのデータはＴｏＦ情報に関する搬送波信号の位相を導出するために使用することができる。コントローラ３３０によって収集され、ＳＬ情報およびＴｏＦ情報の両方を含むデータは、局所領域３１０内の物体の深度を決定するために使用することができる。

図４は、一実施形態による、図３のアレイ検出器３２５の上面図を示す。レンズスタック３５０は、４つのレンズスタック、具体的にはレンズスタック４１０、レンズスタック４２０、レンズスタック４３０、およびレンズスタック４４０の２×２アレイである。隣接するレンズスタックは、２ミリメートル〜２０ミリメートルのオーダーの中心間間隔を有する。例えば、図４においてレンズスタック４１０およびレンズスタック４２０は、中心間間隔４５０を有する。この実施形態では、各レンズスタックは、検出器３４０のほぼ４分の１の領域を覆い、その領域は同数の画素Ａ、Ｂ、Ｃ、およびＤの２×２アレイの画素群に分割される。例えば、アレイ検出器３２５が２０００×２０００画素を有する場合、各画素群は１０００×１０００画素である。各画素群は関連するレンズスタックと重ね合わされる。例えば、画素群Ａはレンズスタック４１０と重ね合わされ、画素群Ｂはレンズスタック４２０と重ね合わされ、画素群Ｃはレンズスタック４３０と重ね合わされ、そして画素群Ｄはレンズスタック４４０と重ね合わされる。

一実施形態では、画素群はほぼ同じ視野範囲を有するので、同じ局所領域の４つの視野を生成することが可能である。４つの視野は、２ｍｍ〜２０ｍｍのレンズスタック間隔によるベースラインのわずかなシフトから効果的に相関している。同じシーン、照明、および時間について複数の相関関係のある視野があるため、任意の単一の画像捕捉を改善することができる。

追加の構成情報
本開示の実施形態に関する前述の説明は、例示のために提示されたものであり、網羅的であること、または開示された正確な形態に本開示を限定することを意図するものではない。当業者であれば、上記の開示を参照して多くの変更および変形が可能であることを理解することができる。

この説明のいくつかの部分は、情報の処理のアルゴリズムおよび記号表現に関して本開示の実施形態を説明する。これらのアルゴリズムの説明および表現は、データ処理技術の当業者が仕事の内容を他の当業者に効果的に伝えるために一般的に使用するものである。これらの処理は、機能的に、計算的に、または論理的に記述されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現されることが理解される。さらに、これらの処理の方法をモジュールとして参照することは、一般性を失うことなく、時には便利であることが実証されている。記載された処理およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化されてもよい。

本明細書に記載のステップ、動作、またはプロセスのいずれかは、単独で、または他のデバイスと組み合わせて、１つまたは複数のハードウェアまたはソフトウェアモジュールで実行または実施することができる。一実施形態では、ソフトウェアモジュールは、記述されたステップ、動作またはプロセスのいずれかまたはすべてを実行するコンピュータプロセッサによって実行されるコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品で実施される。

本開示の実施形態はまた、本明細書の動作を実行するための装置に関連してもよい。この装置は、必要な目的のために特別に構成することができ、かつ／またはコンピュータに格納されたコンピュータプログラムによって選択的に作動または再構成された汎用コンピューティング装置を含むことができる。そのようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、またはコンピュータシステムバスに結合することができる電子命令を格納するのに適した任意のタイプの媒体に格納することができる。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含むか、またはコンピューティング能力が向上された複数のプロセッサ設計を採用するアーキテクチャであってもよい。

本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生成される製品に関連してもよい。そのような製品は、情報が非一時的な有形のコンピュータ可読記憶媒体に格納される計算プロセスから生じる情報を含むことができ、かつ本明細書に記載のコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含むことができる。

最後に、本明細書で使用される用語は、主に、読みやすさおよび教示目的のために選択されたものであり、本発明の主題を画定または制限するために選択されていない。従って、本開示の範囲は、この詳細な説明ではなく、本明細書に基づいて出願時の任意の特許請求の範囲によって限定されることが意図される。従って、実施形態の開示は、以下の特許請求の範囲に記載されている本開示の範囲に限定するものではなく例示的なものとすることを意図する。

Claims (32)

1. 深度カメラ部品（ＤＣＡ）であって、
   局所領域に光を投光するように構成された照明源と、
   複数のレンズスタックを含むレンズアレイと重ね合わされる複数の画素を有する検出器を含むアレイ検出器と、前記複数の画素は別々の画素群に分割され、各レンズスタックは別々の画素群を覆い、前記アレイ検出器は、前記照明源からの光で照明された前記局所領域の１つまたは複数の合成画像を捕捉するように構成され、
   前記１つまたは複数の合成画像を使用して局所領域内の物体に関する深度情報を決定するように構成されたコントローラとを備える、ＤＣＡ。
2. 前記ＤＣＡは、ヘッドマウントディスプレイ（ＨＭＤ）の一部であり、前記ＨＭＤは、
   前記深度情報に部分的に基づいて仮想物体を表示するように構成された電子ディスプレイ要素と、
   前記電子ディスプレイ要素からの光を前記ＨＭＤの射出瞳に向けるように構成された光学ブロックとを含む、請求項１に記載のＤＣＡ。
3. 前記コントローラは、前記１つまたは複数の合成画像と、ステレオビジョン、タイムオブフライト、フォトメトリックステレオ、構造化光、またはそれらのある組み合わせからなる群から選択された深度測定技術とを使用して深度情報を決定するようにさらに構成される、請求項１に記載のＤＣＡ。
4. 各画素群は同数の画素を含む、請求項１に記載のＤＣＡ。
5. 少なくとも１つの画素群が、前記複数の画素の他の画素群とは異なる数の画素を有する、請求項１に記載のＤＣＡ。
6. 前記レンズアレイは４つのレンズスタックを含み、各対応する画素群は同数の画素を有する、請求項１に記載のＤＣＡ。
7. 前記複数のレンズスタックのうちの１つのレンズスタックが、レンズ、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含む、請求項１に記載のＤＣＡ。
8. 前記レンズアレイ内の前記複数のレンズスタックのうちの少なくとも１つが、前記レンズアレイ内の他のレンズスタックとは別の少なくとも１つの光学素子を含む、請求項７に記載のＤＣＡ。
9. 前記レンズアレイ内の各レンズスタックは、同じ１つまたは複数の光学素子を含む、請求項８に記載のＤＣＡ。
10. 深度カメラ部品（ＤＣＡ）であって、
    局所領域に光を投光するように構成された照明源と、
    複数のレンズスタックを含むレンズアレイと重ね合わされる複数の画素を有する検出器を含むアレイ検出器と、前記複数の画素は別々の画素群に分割され、各レンズスタックは別々の画素群を覆い、前記アレイ検出器は、前記照明源からの光で照明された前記局所領域の１つまたは複数の合成画像を捕捉するように構成され、
    前記１つまたは複数の合成画像を仮想現実（ＶＲ）コンソールに提供するように構成されたコントローラとを備え、前記ＶＲコンソールは、前記１つまたは複数の合成画像に部分的に基づいて深度情報を決定し、前記深度情報に部分的に基づいて仮想物体を生成するように構成される、ＤＣＡ。
11. 各画素群は同数の画素を含む、請求項１０に記載のＤＣＡ。
12. 少なくとも１つの画素群が、前記複数の画素の他の画素群とは異なる数の画素を有する、請求項１０に記載のＤＣＡ。
13. 前記レンズアレイは４つのレンズスタックを含み、各対応する画素群は同数の画素を有する、請求項１０に記載のＤＣＡ。
14. 前記複数のレンズスタックのうちの１つのレンズスタックが、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含む、請求項１０に記載のＤＣＡ。
15. 前記レンズアレイ内の前記複数のレンズスタックのうちの少なくとも１つが、前記レンズアレイ内の他のレンズスタックとは別の少なくとも１つの光学素子を含む、請求項１４に記載のＤＣＡ。
16. 深度カメラ部品（ＤＣＡ）であって、
    局所領域に光を投光するように構成された照明源と、
    アレイ検出器であって、
    第１の画素群を含む第１の検出器と、
    前記第１の検出器に隣接して配置され、第２の画素群を含む第２の検出器と、
    第１のレンズスタックと第２のレンズスタックとを含むレンズアレイとを含み、前記第１のレンズスタックは前記第１の画素群と重なり合い、前記第２のレンズスタックは前記第２の画素群と重なり合い、
    特定の時間範囲に亘り前記第１の検出器によって捕捉された前記局所領域の画像と、前記特定の時間範囲に亘り前記第２の検出器によって捕捉された前記局所領域の画像とが共に合成画像を構成する、前記アレイ検出器と、
    前記合成画像を使用して前記局所領域内の物体に関する深度情報を決定するように構成されたコントローラとを備えるＤＣＡ。
17. 前記第１の画素群および前記第２の画素群は、同数の画素を含む、請求項１６に記載のＤＣＡ。
18. 前記第１の画素群は、前記第２の画素群とは異なる数の画素を有する、請求項１６に記載のＤＣＡ。
19. 前記第１のレンズスタックおよび前記第２のレンズスタックが、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含む、請求項１６に記載のＤＣＡ。
20. 前記第１のレンズスタックが、前記第２のレンズスタックとは別の少なくとも１つの光学素子を含む、請求項１９に記載のＤＣＡ。
21. 前記コントローラは、前記合成画像と、ステレオビジョン、タイムオブフライト、フォトメトリックステレオ、構造化光、またはそれらのある組み合わせからなる群から選択された深度測定技術とを使用して深度情報を決定するようにさらに構成される、請求項１６に記載のＤＣＡ。
22. 深度カメラ部品（ＤＣＡ）であって、
    局所領域に光を投光するように構成された照明源と、
    複数のレンズスタックを含むレンズアレイと重ね合わされる複数の画素を有する検出器を含むアレイ検出器と、前記複数の画素は別々の画素群に分割され、各レンズスタックは別々の画素群を覆い、前記アレイ検出器は、前記照明源からの光で照明された前記局所領域の１つまたは複数の合成画像を捕捉するように構成され、
    前記１つまたは複数の合成画像を使用して前記局所領域内の物体に関する深度情報を決定するように構成されたコントローラと、および／または
    前記１つまたは複数の合成画像を仮想現実（ＶＲ）コンソールに提供するように構成されたコントローラとを備え、前記ＶＲコンソールは、前記１つまたは複数の合成画像に部分的に基づいて深度情報を決定し、前記深度情報に部分的に基づいて仮想物体を生成するように構成される、ＤＣＡ。
23. 前記ＤＣＡは、ヘッドマウントディスプレイ（ＨＭＤ）の一部であり、前記ＨＭＤは、
    前記深度情報に部分的に基づいて仮想物体を表示するように構成された電子ディスプレイ要素と、
    前記電子ディスプレイ要素からの光を前記ＨＭＤの射出瞳に向けるように構成された光学ブロックとを含む、請求項２２に記載のＤＣＡ。
24. 前記コントローラは、前記１つまたは複数の合成画像と、ステレオビジョン、タイムオブフライト、フォトメトリックステレオ、構造化光、またはそれらのある組み合わせからなる群から選択された深度測定技術とを使用して深度情報を決定するようにさらに構成される、請求項２２または２３に記載のＤＣＡ。
25. 各画素群は同数の画素を含む、請求項２２乃至２４のいずれか１項に記載のＤＣＡ。
26. 少なくとも１つの画素群が、前記複数の画素の他の画素群とは異なる数の画素を有する、請求項２２乃至２４のいずれか１項に記載のＤＣＡ。
27. 前記レンズアレイは４つのレンズスタックを含み、各対応する画素群は同数の画素を有する、請求項２２乃至２６のいずれか１項に記載のＤＣＡ。
28. 前記複数のレンズスタックのうちの１つのレンズスタックが、レンズ、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含み、
    任意選択的に、前記レンズアレイ内の前記複数のレンズスタックのうちの少なくとも１つが、前記レンズアレイ内の他のレンズスタックとは別の少なくとも１つの光学素子を含み、
    任意選択的に、前記レンズアレイ内の各レンズスタックは、同じ１つまたは複数の光学素子を含む、請求項２２乃至２７のいずれか１項に記載のＤＣＡ。
29. 深度カメラ部品（ＤＣＡ）であって、
    局所領域に光を投光するように構成された照明源と、
    アレイ検出器であって、
    第１の画素群を含む第１の検出器と、
    前記第１の検出器に隣接して配置され、第２の画素群を含む第２の検出器と、
    第１のレンズスタックと第２のレンズスタックとを含むレンズアレイとを含み、前記第１のレンズスタックは前記第１の画素群と重なり合い、前記第２のレンズスタックは前記第２の画素群と重なり合い、
    特定の時間範囲に亘り前記第１の検出器によって捕捉された前記局所領域の画像と、前記特定の時間範囲に亘り前記第２の検出器によって捕捉された前記局所領域の画像とが共に合成画像を構成する、前記アレイ検出器と、
    前記合成画像を使用して前記局所領域内の物体に対する深度情報を決定するように構成されたコントローラとを備えるＤＣＡ。
30. 前記第１の画素群および前記第２の画素群は、同数の画素を含み、かつ／または
    前記第１の画素群が前記第２の画素群とは異なる数の画素を有する、請求項２９に記載のＤＣＡ。
31. 前記第１のレンズスタックおよび前記第２のレンズスタックは、回折素子、波長フィルタ、偏光子、アパーチャ、またはそれらのある組み合わせからなる群から選択された１つまたは複数の光学素子を含み、
    任意選択的に、前記第１のレンズスタックは前記第２のレンズスタックとは別の少なくとも１つの光学素子を含む、請求項２９または３０に記載のＤＣＡ。
32. 前記コントローラは、前記合成画像と、ステレオビジョン、タイムオブフライト、フォトメトリックステレオ、構造化光、またはそれらのある組み合わせからなる群から選択された深度測定技術とを使用して深度情報を決定するようにさらに構成される、請求項２９乃至３１のいずれか１項に記載のＤＣＡ。