JP2016506565A - 人間トリガのホログラフィックリマインダ - Google Patents

Abstract

人間トリガのホログラフィックリマインダを生成および表示するための方法が開示される。いくつかの実施形態において、ヘッドマウントディスプレイデバイス（HMD）は、特定の人物がＨＭＤの視野内に存在する場合、または、特定の人物がＨＭＤから特定の距離内に存在する場合、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境を、ＨＭＤのエンドユーザに対して生成および表示する。特定の人物は、個々に識別され、または、特定のグループに所属するもの（例えば、プログラマもしくは管理者などの特定の肩書を有するグループのメンバ）として識別され得る。場合によっては、リマインダの完了は、エンドユーザと特定の人物との間で発生する会話のキャプチャされたオーディオに（例えば、キーワード、語句、または名前を識別するために）スピーチ認識技法を利用することによって、自動的に検出され得る。

Description

[0001] 拡張現実（AR:augmented reality）は、現実世界環境の知覚（または、現実世界環境を表すデータ）がコンピュータ生成された仮想データを用いて拡張または修正される、拡張された現実世界環境を提供することに関連する。例えば、現実世界環境を表すデータは、カメラまたはマイクロホンなどの感覚入力デバイスを使用してリアルタイムでキャプチャされ、仮想画像および仮想音を含むコンピュータ生成された仮想データを用いて拡張され得る。仮想データは、現実世界環境における現実世界の物体に関連付けられたテキスト記述などの、現実世界環境に関連する情報も含み得る。ＡＲ環境内の物体は、実物体（すなわち、ある特定の現実世界環境内に存在する物体）と仮想物体（すなわち、その特定の現実世界環境内に存在しない物体）とを含み得る。

[0002] 仮想物体をＡＲ環境に現実的に統合するために、ＡＲシステムは、典型的には、マッピングおよび位置決めを含むいくつかのタスクを実行する。マッピングは、ある現実世界環境の地図を生成するプロセスに関連する。位置決めは、その現実世界環境の地図に関連する特定の視点または姿勢の位置を特定するプロセスに関連する。場合によっては、ＡＲシステムは、モバイルデバイスが現実世界環境内で移動するにつれて、拡張される必要があるモバイルデバイスに関連付けられた特定の視野を決定するために、現実世界環境内で移動しているモバイルデバイスの姿勢をリアルタイムで位置決めし得る。

[0003] 人間トリガのホログラフィックリマインダを生成および表示するための技術が説明される。いくつかの実施形態において、ヘッドマウントディスプレイデバイス（HMD:head-mounted display device）は、特定の人物がＨＭＤの視野内に存在する場合（例えば、顔認識技法を使用して決定される）、または、特定の人物がＨＭＤから特定の距離内に存在する場合、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境を、そのＨＭＤのエンドユーザに対して生成および表示する。特定の人物は、個々に識別され、または、特定のグループに所属するもの（例えば、プログラマまたは管理者などの特定の肩書を有するグループのメンバ）として識別され得る。場合によっては、リマインダの完了は、エンドユーザと特定の人物との間で発生する会話のキャプチャされたオーディオに（例えば、キーワード、語句、または名前を識別するために）スピーチ認識技法を利用することによって、自動的に検出され得る。

[0004] 本概要は、詳細な説明において以下にさらに説明される一連の概念を、簡略化された形式で紹介するために提供される。本概要は、特許請求の範囲に記載された主題の重要な特徴または本質的な特徴を識別することを意図されず、特許請求の範囲に記載された主題の範囲を決定する際の補助として使用されることも意図されない。

[0005]開示される技術が実施され得るネットワーク化されたコンピューティング環境の一実施形態のブロック図である。 [0006]第２のモバイルデバイスと通信するモバイルデバイスの一実施形態を示す図である。 [0007]ＨＭＤの一部分の一実施形態を示す図である。 [0008]遠瞳孔間距離（IPD:inter-pupillary distance）を整列させるために注視点へ伸長する注視ベクトルが使用される、ＨＭＤの一部分の一実施形態を示す図である。 [0009]近瞳孔間距離（IPD）を整列させるために注視点へ伸長する注視ベクトルが使用される、ＨＭＤの一部分の一実施形態を示す図である。 [0010]注視検出要素を含む可動表示光学システムを備えるＨＭＤの一部分の一実施形態を示す図である。 [0011]注視検出要素を含む可動表示光学システムを備えるＨＭＤの一部分の代替的な実施形態を示す図である。 [0012]ＨＭＤの一部分の側面の一実施形態を示す図である。 [0013]マイクロディスプレイ部品の三次元調整を支援するＨＭＤの一部分の側面の一実施形態を示す図である。 [0014]キャプチャデバイスとコンピューティング環境とを含むコンピューティングシステムの一実施形態を示す図である。 [0015]人間トリガのホログラフィックリマインダが使用され得る様々な拡張現実環境の様々な実施形態を示す図である。 人間トリガのホログラフィックリマインダが使用され得る様々な拡張現実環境の様々な実施形態を示す図である。 [0016]人間トリガのホログラフィックリマインダを生成および表示するための方法の一実施形態を説明するフローチャートである。 [0017]１つまたは複数のリマインダを決定するためのプロセスの一実施形態を説明するフローチャートである。 [0018]ある環境内の第２の人物を検出するためのプロセスの一実施形態を説明するフローチャートである。 [0019]リマインダの完了を自動的に検出するためのプロセスの一実施形態を説明するフローチャートである。 [0020]人間トリガのホログラフィックリマインダを生成および表示するための方法の代替的な実施形態を説明するフローチャートである。 [0021]モバイルデバイスの一実施形態のブロック図である。

[0022] 人間トリガのホログラフィックリマインダを生成および表示するための技術が説明される。いくつかの実施形態において、ヘッドマウントディスプレイデバイス（HMD）などのモバイルデバイスは、そのモバイルデバイスのエンドユーザに関連付けられた１つまたは複数のリマインダを取得し、ある環境内の特定の人物を識別し、その特定の人物の識別に基づいて、１つまたは複数のリマインダに優先順位付けし、１つまたは複数のリマインダの優先順位に基づいて、１つまたは複数のリマインダのサブセットをエンドユーザに表示し得る。１つまたは複数のリマインダは、個人情報マネージャ、タスクマネージャ、電子メールアプリケーション、カレンダアプリケーション、ソーシャルネットワーキングアプリケーション、ソフトウェアバグ追跡アプリケーション、問題追跡アプリケーション、および／もしくは時間管理アプリケーションへ入力されるタスク、または、これらからアクセス可能なタスクに基づいて、決定され得る。１つまたは複数のリマインダの各々は、完了されるべき特定のタスク、その特定のタスクに関連付けられた１人または複数の人々、その特定のタスクに関連付けられた位置、（例えば、特定のリマインダは２週間ごとに発行されるという）リマインダの頻度、および／または、その特定のタスクについての完了時間に対応し得る。特定の人物は、個々に識別され、または、特定のグループに所属するもの（例えば、プログラマまたは管理者などの特定の肩書を有するグループのメンバ）として識別され得る。

[0023] いくつかの実施形態において、特定の人物がＨＭＤの視野内に存在する場合（例えば、顔認識技法を使用して決定される）、または、特定の人物がＨＭＤから特定の距離内に存在する場合（例えば、特定の人物に関連付けられた第２のモバイルデバイスに対応するＧＰＳ位置情報を使用して決定される）、ＨＭＤは、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境をＨＭＤのエンドユーザに提供し得る。一例では、ＨＭＤのエンドユーザが特定の人物に借金をしている場合において、その特定の人物がＨＭＤの視界内に存在するとき、ＨＭＤは、エンドユーザがその特定の人物に借金をしているというリマインダをエンドユーザに表示し得る。

[0024] いくつかの実施形態において、ＨＭＤは、ＨＭＤのエンドユーザとは異なる特定の人物に関連付けられたリマインダの第２のセットを、その特定の人物に関連付けられた第２のモバイルデバイスから取得し、特定の人物がＨＭＤの視野内に存在する場合、または、特定の人物がＨＭＤから特定の距離内に存在する場合、リマインダの第２のセット（または、そのサブセット）が表示され得る拡張現実環境をエンドユーザに提供し得る。場合によっては、リマインダの第２のセットに対応する１つまたは複数の仮想物体が、エンドユーザに表示され得る。一例において、１つまたは複数の仮想物体は、特定の人物が特定の話題に関してエンドユーザと話したいというリマインダ情報を提供し得る。別の例において、１つまたは複数の仮想物体は、（例えば、エンドユーザと特定の人物との双方が参加者である次回の会議時に、特定の人物が休暇を取る場合には）タスク関連情報を提供し得る。１つまたは複数の仮想物体は、エンドユーザと特定の人物との間で共有されるべきコンテンツ（例えば、写真または画像）へのリンクも提供し得る。１つまたは複数の仮想物体は、（例えば、贈り物の購入に関連付けられたタスクの完了を容易にするために）オンラインショッピングウェブサイトへのリンクも提供し得る。

[0025] いくつかの実施形態において、リマインダの完了は、エンドユーザと特定の人物との間で発生する会話のキャプチャされたオーディオに（例えば、キーワード、語句、または名前を識別するために）スピーチ認識技法を利用することによって、自動的に検出される。

[0026] 多数のリマインダを管理することに関する１つの問題は、多数のリマインダのうちの１つを、適切な時に、または、そのリマインダに関連付けられたタスク（例えば、近くの友人に「誕生日おめでとう」を自ら言うこと）を完了するために最も効率的な時に、追跡および想起することが困難となり得ることである。したがって、エンドユーザのコンテキストと共通の環境内の他の人々の存在とを考慮に入れる、人間トリガのホログラフィックリマインダを生成および表示する必要がある。

[0027] 図１は、開示される技術が実施され得るネットワーク化されたコンピューティング環境１００の一実施形態のブロック図である。ネットワーク化されたコンピューティング環境１００は、１つまたは複数のネットワーク１８０を通じて相互接続される複数のコンピューティングデバイスを含む。１つまたは複数のネットワーク１８０は、特定のコンピューティングデバイスが別のコンピューティングデバイスと接続および通信することを可能にする。図示されるコンピューティングデバイスは、モバイルデバイス１１、モバイルデバイス１２、モバイルデバイス１９、およびサーバ１５を含む。いくつかの実施形態において、複数のコンピューティングデバイスは、図示されない他のコンピューティングデバイスを含み得る。いくつかの実施形態において、複数のコンピューティングデバイスは、図１に示されるコンピューティングデバイスの数よりも多いまたは少ないコンピューティングデバイスを含み得る。１つまたは複数のネットワーク１８０は、企業のプライベートネットワークなどのセキュアなネットワークと、無線オープンネットワーク、ローカルエリアネットワーク（LAN:local area network）、広域ネットワーク（WAN:wide area network）、およびインターネットなどのセキュアでないネットワークとを含み得る。１つまたは複数のネットワーク１８０の各ネットワークは、ハブ、ブリッジ、ルータ、スイッチ、および、有線ネットワークまたは直接有線接続などの有線送信媒体を含み得る。

[0028] 補足情報サーバまたはアプリケーションサーバを備え得るサーバ１５は、クライアントが情報（例えば、テキスト、オーディオ、画像、およびビデオファイル）をサーバからダウンロードすること、またはサーバに記憶される特定の情報に関連する検索クエリを実行することを可能にし得る。一般に、「サーバ」は、クライアントサーバ関係においてホストとしての機能を果たすハードウェアデバイスを、または、１つもしくは複数のクライアントとリソースを共有し、または、１つもしくは複数のクライアントのための作業を実行するソフトウェアプロセスを含み得る。クライアントサーバ関係におけるコンピューティングデバイス間の通信は、特定のリソースへのまたは実行されるべき特定の作業へのアクセスを求める要求を送信するクライアントによって開始され得る。サーバは、その後、要求された動作を実行し、クライアントに応答を返信する。

[0029] サーバ１５の一実施形態は、全てが互いに通信する、ネットワークインタフェース１５５、プロセッサ１５６、メモリ１５７、およびトランスレータ１５８を含む。ネットワークインタフェース１５５は、サーバ１５が１つまたは複数のネットワーク１８０に接続することを可能にする。ネットワークインタフェース１５５は、無線ネットワークインタフェース、モデム、および／または有線ネットワークインタフェースを含み得る。プロセッサ１５６は、サーバ１５が本明細書において議論されるプロセスを実行するために、メモリ１５７に記憶されるコンピュータ読取可能な命令を実行することを可能にする。トランスレータ１５８は、第１のファイルフォーマットの第１のファイルを第２のファイルフォーマットの対応する第２のファイルに変換するためのマッピングロジックを含み得る（すなわち、第２のファイルは、第１のファイルの変換されたバージョンであり得る）。トランスレータ１５８は、第１のファイルフォーマットのファイル（または、その一部分）を第２のファイルフォーマットの対応するファイルにマッピングするための命令を提供するファイルマッピング命令を使用して構成され得る。

[0030] モバイルデバイス１９の一実施形態は、全てが互いに通信する、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、センサ１４９、およびディスプレイ１５０を含む。ネットワークインタフェース１４５は、モバイルデバイス１９が１つまたは複数のネットワーク１８０に接続することを可能にする。ネットワークインタフェース１４５は、無線ネットワークインタフェース、モデム、および／または有線ネットワークインタフェースを含み得る。プロセッサ１４６は、モバイルデバイス１９が本明細書において議論されるプロセスを実行するために、メモリ１４７に記憶されるコンピュータ読取可能な命令を実行することを可能にする。カメラ１４８は、カラー画像および／または奥行き画像をキャプチャし得る。センサ１４９は、モバイルデバイス１９に関連付けられた動作情報および／または向き情報を生成し得る。場合によっては、センサ１４９は、慣性測定ユニット（IMU:inertial measurement unit）を備え得る。ディスプレイ１５０は、デジタル画像および／またはビデオを表示し得る。ディスプレイ１５０は、シースルーディスプレイを備え得る。

[0031] いくつかの実施形態において、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、およびセンサ１４９を含む、モバイルデバイス１９の様々な部品は、単一のチップ基板上に統合され得る。一例において、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、およびセンサ１４９は、システムオンチップ（SOC:system on a chip）として統合されてもよい。他の実施形態において、ネットワークインタフェース１４５、プロセッサ１４６、メモリ１４７、カメラ１４８、およびセンサ１４９は、単一のパッケージ内に統合され得る。

[0032] いくつかの実施形態において、モバイルデバイス１９は、カメラ１４８、センサ１４９、およびプロセッサ１４６上で実行されるジェスチャ認識ソフトウェアを採用することによって、ナチュラルユーザインタフェース（NUI:natural user interface）を提供し得る。ナチュラルユーザインタフェースを用いれば、人物の身体の一部および動作が検出され、解釈され、コンピューティングアプリケーションの様々な側面を制御するために使用され得る。一例において、ナチュラルユーザインタフェースを利用するコンピューティングデバイスは、そのコンピューティングデバイスとインタラクションする人物の意図（例えば、エンドユーザがコンピューティングデバイスを制御するために特定のジェスチャを実行したこと）を推論し得る。

[0033] ネットワーク化されたコンピューティング環境１００は、１つまたは複数のコンピューティングデバイスのためのクラウドコンピューティング環境を提供し得る。クラウドコンピューティングとは、共有されるリソース、ソフトウェア、および／または情報がインターネット（または、他のグローバルネットワーク）を介してオンデマンドで１つまたは複数のコンピューティングデバイスに提供される、インターネットベースのコンピューティングを言う。「クラウド」という用語は、雲の絵が表す、基礎をなすインフラストラクチャの抽象としてインターネットを示すためにコンピュータネットワーク図において使用される雲の絵に基づいて、インターネットの隠喩として使用される。

[0034] 一例において、モバイルデバイス１９は、ＨＭＤのエンドユーザに拡張現実環境または複合現実環境を提供するヘッドマウントディスプレイデバイス（HMD）を備える。ＨＭＤは、ビデオシースルーシステムおよび／または光学シースルーシステムを備え得る。エンドユーザによって装着される光学シースルーＨＭＤは、（例えば、透明なレンズを介して）現実世界環境の実際の直視を可能にし得、同時に、仮想物体の画像をエンドユーザの視野に投影し、それによって、エンドユーザによって知覚される現実世界環境を、仮想物体を用いて拡張する。

[0035] ＨＭＤを利用することにより、エンドユーザは、ＨＭＤを装着して現実世界環境（例えば、居間）を動き回り、仮想物体の画像がオーバーレイされた現実世界の景色を知覚することができる。仮想物体は、現実世界環境との整合的な空間関係を維持するように見え得る（すなわち、エンドユーザが現実世界環境内でその頭を回転させ、または移動するにつれて、エンドユーザに表示される画像は、エンドユーザによって知覚される現実世界環境内に仮想物体が存在するように見えるように変化するであろう）。仮想物体は、エンドユーザの視点に対して固定されるようにも見え得る（例えば、エンドユーザが現実世界環境内でどのくらいその頭を回転させるか、または移動するかに関わらず、仮想メニューは、エンドユーザの視点の右上隅に常に現れる）。一実施形態において、現実世界環境の環境マッピングは、サーバ１５によって（すなわち、サーバ側で）実行され得る一方で、カメラの位置決めは、モバイルデバイス１９上で（すなわち、クライアント側で）実行され得る。仮想物体は、現実世界の物体に関連付けられたテキスト記述を含み得る。

[0036] いくつかの実施形態において、モバイルデバイス１９などのモバイルデバイスは、サーバ１５などのクラウドにおけるサーバと通信し得、モバイルデバイスに関連付けられた位置情報（例えば、ＧＰＳ座標を用いたモバイルデバイスの位置）および／または画像情報（例えば、モバイルデバイスの視野内で検出される物体に関する情報）をサーバに提供し得る。それに応じて、サーバは、サーバに提供された位置情報および／または画像情報に基づいて、１つまたは複数の仮想物体をモバイルデバイスへ送信し得る。一実施形態において、モバイルデバイス１９は、１つまたは複数の仮想物体を受信するための特定のファイルフォーマットを特定し得、サーバ１５は、その特定のファイルフォーマットのファイル内で具現化された１つまたは複数の仮想物体をモバイルデバイス１９へ送信し得る。

[0037] いくつかの実施形態において、モバイルデバイス１９などのモバイルデバイスは、特定の人物がモバイルデバイスの視野内に存在する場合（例えば、顔認識技法を使用して決定される）、または、特定の人物がモバイルデバイスから特定の距離内に存在する場合（例えば、モバイルデバイスと特定の人物に関連付けられた第２のモバイルデバイスとの双方に対応するＧＰＳ位置情報を使用して決定される）、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境を、モバイルデバイスのエンドユーザに（例えば、シースルーディスプレイを介して）提供し得る。モバイルデバイスは、エンドユーザとは異なる特定の人物に関連付けられたリマインダの第２のセットを、その特定の人物に関連付けられた第２のモバイルデバイスから取得し、特定の人物がモバイルデバイスの視野内に存在する場合、または、特定の人物がモバイルデバイスから特定の距離内に存在する場合、リマインダの第２のセット（または、そのサブセット）が表示され得る拡張現実環境をエンドユーザに提供し得る。場合によっては、リマインダの完了は、エンドユーザと特定の人物との間で発生する会話のキャプチャされたオーディオに（例えば、キーワード、語句、または名前を識別するために）スピーチ認識技法を利用することによって、自動的に検出され得る。

[0038] 図２Ａは、第２のモバイルデバイス５と通信するモバイルデバイス１９の一実施形態を示す。モバイルデバイス１９は、シースルーＨＭＤを備え得る。図示のように、モバイルデバイス１９は、モバイルデバイス５と有線接続６を介して通信する。ただし、モバイルデバイス１９は、モバイルデバイス５と無線接続を介しても通信し得る。モバイルデバイス５は、コンピュータ集約的な処理タスク（例えば、仮想物体のレンダリング）をオフロードし、モバイルデバイス１９上に拡張現実環境を提供するために使用され得る仮想物体情報および他のデータを記憶するために、モバイルデバイス１９によって使用され得る。モバイルデバイス５は、モバイルデバイス５に関連付けられた動作情報および／または向き情報もモバイルデバイス１９に提供し得る。一例において、動作情報は、モバイルデバイス５に関連付けられた速度または加速度を含み得、かつ向き情報は、特定の座標系または基準系に対する回転情報を提供するオイラー角を含み得る。場合によっては、モバイルデバイス５は、モバイルデバイス５に関連付けられた動作情報および／または向き情報を取得するために、慣性測定ユニット（IMU）などの動作および向きセンサを含み得る。

[0039] 図２Ｂは、図１におけるモバイルデバイス１９などのＨＭＤの一部分の一実施形態を示す。ＨＭＤ２００の右側のみが描かれている。ＨＭＤ２００は、右テンプル２０２、鼻ブリッジ２０４、眼鏡レンズ２１６、および眼鏡レンズフレーム２１４を含む。右テンプル２０２は、処理ユニット２３６と通信するキャプチャデバイス２１３（例えば、正面向きのカメラおよび／またはマイクロホン）を含む。キャプチャデバイス２１３は、デジタル画像および／またはビデオを記録するための１つまたは複数のカメラを備え得、録画物を処理ユニット２３６へ送信し得る。１つまたは複数のカメラは、カラー情報、ＩＲ情報、および／または奥行き情報をキャプチャし得る。キャプチャデバイス２１３は、音を記録するための１つまたは複数のマイクロホンも備え得、録音物を処理ユニット２３６へ送信し得る。

[0040] 右テンプル２０２は、全てが処理ユニット２３６と通信する、生体センサ２２０、眼追跡システム２２１、イヤホン２３０、動作および向きセンサ２３８、ＧＰＳ受信機２３２、電源２３９、ならびに無線インタフェース２３７も含む。生体センサ２２０は、ＨＭＤ２００のエンドユーザに関連付けられた脈拍数または心拍数を決定するための１つまたは複数の電極と、ＨＭＤ２００のエンドユーザに関連付けられた体温を決定するための温度センサとを含み得る。一実施形態において、生体センサ２２０は、エンドユーザのこめかみに押し付けられる脈拍数測定センサを含む。動作および向きセンサ２３８は、三軸磁力計、三軸ジャイロ、および／または三軸加速度計を含み得る。一実施形態において、動作および向きセンサ２３８は、慣性測定ユニット（IMU）を備え得る。ＧＰＳ受信機は、ＨＭＤ２００に関連付けられたＧＰＳ位置を決定し得る。処理ユニット２３６は、１つまたは複数のプロセッサと、その１つまたは複数のプロセッサ上で実行されるべきコンピュータ読取可能な命令を記憶するためのメモリとを含み得る。メモリは、１つまたは複数のプロセッサ上で実行されるべき他のタイプのデータも記憶し得る。

[0041] 一実施形態において、眼追跡システム２２１は、内側向きのカメラを含み得る。別の実施形態において、眼追跡システム２２１は、眼追跡照明光源と、関連付けられた眼追跡ＩＲセンサとを備え得る。一実施形態において、眼追跡照明光源は、ほぼ所定のＩＲ波長または波長範囲を出射する赤外線発光ダイオード（LED:light emitting diode）またはレーザ（例えば、VCSEL）などの、１つまたは複数の赤外線（IR:infrared）エミッタを含み得る。いくつかの実施形態において、眼追跡センサは、閃光位置を追跡するためのＩＲカメラまたはＩＲ位置感応検出器（PSD:position sensitive detector）を含み得る。眼追跡システムに関するさらなる情報は、２００８年７月２２日に発行された、「Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｅｙｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ」と題された米国特許第７，４０１，９２０号、および２０１１年９月２６日に出願された、「Ｉｎｔｅｇｒａｔｅｄ Ｅｙｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍｓ」と題された米国特許出願第１３／２４５，７００号に見出すことができ、これらの双方が参照によって本明細書に組み込まれる。

[0042] 一実施形態において、眼鏡レンズ２１６は、シースルーディスプレイを備えることができ、これによって、処理ユニット２３６によって生成された画像がシースルーディスプレイ上に投影および／または表示され得る。キャプチャデバイス２１３は、キャプチャデバイス２１３によってキャプチャされた視野がＨＭＤ２００のエンドユーザによって見られる視野に対応するように調整される。イヤホン２３０は、仮想物体の投影された画像に関連付けられた音を出力するために使用され得る。いくつかの実施形態において、ＨＭＤ２００は、正面向きのカメラによってキャプチャされた視野に関連付けられた立体情報から奥行きを得るために、２つ以上の正面向きのカメラ（例えば、テンプルごとに１つ）を含み得る。２つ以上の正面向きのカメラは、３Ｄカメラ、ＩＲカメラ、および／またはＲＧＢカメラも備え得る。奥行き情報は、動作技法からの奥行きを利用する単一のカメラからも取得され得る。例えば、２つの画像は、異なる時点における空間内の異なる２つの点に関連付けられた単一のカメラから取得され得る。次いで、空間内の２つの異なる点に関する位置情報が与えられると、視差計算が実行され得る。

[0043] いくつかの実施形態において、ＨＭＤ２００は、角膜中心、眼球回転の中心、または瞳孔中心などの、１つまたは複数の人間の眼の要素に関連して注視検出要素と三次元座標系とを使用して、エンドユーザの両眼の各眼について注視検出を実行し得る。注視検出は、エンドユーザが視野内で注目している場所を識別するために使用され得る。注視検出要素の例は、閃光生成照明器と、生成された閃光を表すデータをキャプチャするためのセンサとを含み得る。場合によっては、角膜の中心は、平面配位を使用して２つの閃光に基づいて決定することができる。角膜の中心は、瞳孔中心と眼球の回転の中心とつながり、これは、ある注視角または視野角におけるエンドユーザの眼の光軸を決定するための固定位置として扱うことができる。

[0044] 図２Ｃは、遠瞳孔間距離（IPD）を位置合わせするために注視点へ伸長する注視ベクトルが使用される、ＨＭＤ２の一部分の一実施形態を示す。ＨＭＤ２は、図１におけるモバイルデバイス１９などのモバイルデバイスの一例である。図示されるように、注視ベクトル１８０ｌおよび１８０ｒは、エンドユーザから遠く離れた注視点において交差する（すなわち、注視ベクトル１８０ｌおよび１８０ｒは、エンドユーザが遠く離れた物体を見ているときには交差しない）。眼球１６０ｌおよび１６０ｒについての眼球のモデルは、グルストランドの概略眼モデルに基づいて、各眼について例示される。各眼球は、回転の中心１６６を備える球体としてモデル化され、中心１６４を有する球体としてモデル化される角膜１６８を含む。角膜１６８は、眼球と共に回転し、眼球の回転の中心１６６は、固定点として扱うことができる。角膜１６８は、虹彩１７０を瞳孔１６２によりその中心において覆う。各角膜の表面１７２上には、閃光１７４および１７６が存在する。

[0045] 図２Ｃに図示されるように、センサ検出領域１３９（すなわち、１３９ｌおよび１３９ｒのそれぞれ）は、眼鏡フレーム１１５内の各表示光学システム１４の光軸に位置合わせされる。一例において、検出領域に関連付けられたセンサは、フレーム１１５の左側の照明器１５３ａおよび１５３ｂによってそれぞれ生成される閃光１７４ｌおよび１７６ｌを表す画像データと、フレーム１１５の右側の照明器１５３ｃおよび１５３ｄによってそれぞれ生成される閃光１７４ｒおよび１７６ｒを表すデータとをキャプチャすることが可能な１つまたは複数のカメラを含み得る。眼鏡フレーム１１５における表示光学システム１４ｌおよび１４ｒを通じて、エンドユーザの視野は、実物体１９０、１９２、および１９４と仮想物体１８２および１８４との双方を含む。

[0046] 回転の中心１６６から角膜中心１６４を通じて瞳孔１６２まで形成される軸１７８は、眼の光軸を含む。注視ベクトル１８０は、窩から瞳孔の中心１６２を通じて伸長する視線または視軸とも呼ばれ得る。いくつかの実施形態において、注視ベクトルとして選択される視軸を取得するために、ユーザ調整を通じて、光軸が決定され、小さな補正が決定される。エンドユーザごとに、仮想物体は、異なる水平位置および垂直位置における多数の所定の位置の各々においてディスプレイデバイスによって表示され得る。光軸は、各位置における物体の表示期間中に各眼について計算され得、光線は、その位置からユーザの眼の中へ伸長するものとしてモデル化され得る。水平成分および垂直成分を有する注視オフセット角は、モデル化された光線と一直線に並ぶために光軸がどのくらい移動されなければならないかに基づいて決定され得る。様々な位置から、水平成分および垂直成分を有する平均注視オフセット角を、計算された各光軸に適用されるべき小さな補正として選択することができる。いくつかの実施形態においては、水平成分のみが、注視オフセット角補正のために使用される。

[0047] 図２Ｃに図示されるように、注視ベクトル１８０ｌおよび１８０ｒは、眼球から注視点において視野内へ伸長するにつれてより近くなるため、完全に平行ではない。各表示光学システム１４において、注視ベクトル１８０は、センサ検出領域１３９の中心が置かれる光軸と交差するように見える。この構成において、光軸は、瞳孔間距離（IPD）に位置合わせされる。エンドユーザが真っ直ぐに前を見ている場合、測定されるＩＰＤは、遠ＩＰＤとも呼ばれる。

[0048] 図２Ｄは、近瞳孔間距離（IPD）を位置合わせするために注視点へ伸長する注視ベクトルが使用される、ＨＭＤ２の一部分の一実施形態を示す。ＨＭＤ２は、図１におけるモバイルデバイス１９などのモバイルデバイスの一例である。図示されるように、左眼の角膜１６８ｌは、右へまたはエンドユーザの鼻に向けて回転され、右眼の角膜１６８ｒは、左へまたはエンドユーザの鼻に向けて回転される。双方の瞳孔は、エンドユーザから特定の距離内の実物体１９４を注視している。各眼からの注視ベクトル１８０ｌおよび１８０ｒは、実物体１９４が位置するパナムの融合領域１９５に入る。パナムの融合領域は、人間の視覚の領域のような両眼目視システムにおける単一視の領域である。注視ベクトル１８０ｌおよび１８０ｒの交点は、エンドユーザが実物体１９４を見ていることを示す。そのような距離において、眼球が内側へ回転すると、これらの瞳孔間の距離は近ＩＰＤに減少する。近ＩＰＤは、典型的には、遠ＩＰＤよりも約４ｍｍ小さい。近ＩＰＤ距離基準（例えば、エンドユーザから４フィート未満における注視点）は、表示光学システム１４のＩＰＤアラインメントを近ＩＰＤのＩＰＤアラインメントに切り替えまたは調整するために使用され得る。近ＩＰＤの場合、各表示光学システム１４は、光軸および検出領域１３９が検出領域１３９ｌｎおよび１３９ｒｎによって表されるように数ミリメートル鼻に向けて移動するように、エンドユーザの鼻に向けて移動され得る。

[0049] ＨＭＤのエンドユーザについてのＩＰＤを決定し、それに応じて表示光学システムを調整することに関するさらなる情報は、２０１１年９月３０日に出願された、「Ｐｅｒｓｏｎａｌ Ａｕｄｉｏ／Ｖｉｓｕａｌ Ｓｙｓｔｅｍ」と題された米国特許出願第１３／２５０，８７８号に見出すことができ、この出願は、その全体が参照によって本明細書に組み込まれる。

[0050] 図２Ｅは、注視検出要素を含む可動表示光学システムを備えるＨＭＤ２の一部分の一実施形態を示す。各眼についてのレンズに見えるものは、各眼についての表示光学システム１４（すなわち、１４ｌおよび１４ｒ）を表す。表示光学システムは、シースルーレンズと、仮想コンテンツをＨＭＤのレンズを通じて見られる実際の直接の現実世界の視界と継ぎ目なく融合させるための光学要素（例えば、ミラー、フィルタ）とを含む。表示光学システム１４は、歪のない視界を提供するために光が概してコリメートされるシースルーレンズの概して中心にある光軸を有する。例えば、アイケアの専門家が普通の眼鏡をエンドユーザの顔に合わせる場合、その眼鏡は、通常、各瞳孔がそれぞれのレンズの中心または光軸と一直線に並び、はっきりとした視界または歪みのない視界のためにエンドユーザの眼に到達する概してコリメートされた光をもたらす位置において、エンドユーザの鼻の上に乗るように合わされる。

[0051] 図２Ｅに図示されるように、少なくとも１つのセンサの検出領域１３９ｒ、１３９ｌは、検出領域１３９ｒ、１３９ｌの中心が光軸に沿った光をキャプチャするように、そのそれぞれの表示光学システム１４ｒ、１４ｌの光軸と位置合わせされる。表示光学システム１４がエンドユーザの瞳孔に位置合わせされる場合、それぞれのセンサ１３４の各検出領域１３９は、エンドユーザの瞳孔に位置合わせされる。検出領域１３９の反射光は、１つまたは複数の光学要素を介してカメラの実画像センサ１３４へ転送され、実画像センサ１３４は、図示される実施形態において、フレーム１５の内部にあるものとして点線によって例示される。

[0052] 一実施形態において、少なくとも１つのセンサ１３４は、可視光カメラ（例えば、ＲＧＢカメラ）であり得る。一例において、光学要素または光指向要素は、部分的に透過的で、および、部分的に反射的な可視光反射ミラーを備える。可視光カメラは、エンドユーザの眼の瞳孔の画像データを提供する一方で、ＩＲ光検出器１５２は、スペクトルのＩＲ部分における反射である閃光をキャプチャする。可視光カメラが使用される場合、仮想画像の反射は、そのカメラによってキャプチャされる眼のデータに現れ得る。画像フィルタリング技法は、必要に応じて、仮想画像の反射を除去するために使用することができる。ＩＲカメラは、眼の上の仮想画像の反射に対して敏感ではない。

[0053] 別の実施形態において、少なくとも１つのセンサ１３４（すなわち、１３４ｌおよび１３４ｒ）は、ＩＲ放射が向けられるＩＲカメラまたは位置感応検出器（PSD）である。眼から反射されるＩＲ放射は、照明器１５３、他のＩＲ照明器（図示せず）の入射放射から、または、眼から反射される環境ＩＲ放射からのものであり得る。場合によっては、センサ１３４は、ＲＧＢカメラとＩＲカメラとの組み合わせであってもよく、光指向要素は、可視光反射要素または可視光迂回要素と、ＩＲ放射反射要素またはＩＲ放射迂回要素とを含み得る。場合によっては、センサ１３４は、システム１４のレンズ内に埋め込まれてもよい。また、画像フィルタリング技法は、カメラをユーザ視野に溶け込ませて、ユーザへの任意の妨害を減少させるために利用することができる。

[0054] 図２Ｅに図示されるように、光検出器１５２と対にされ、照明器１５３によって生成される入射光と光検出器１５２において受信される反射光との間の干渉を回避するためのバリア１５４によって分離される、４つのセットの照明器１５３がある。図面における不必要な混乱を回避するために、図面の符号は、１つの代表的な対に関して示される。各照明器は、ほぼ所定の波長で狭ビームを生成する赤外線（IR）照明器とすることができる。光検出器の各々は、ほぼ所定の波長で光をキャプチャするように選択され得る。赤外線は、近赤外線も含み得る。照明器もしくは光検出器の波長ドリフトが存在することがあり、または、ほぼ１つの波長の小さい範囲は容認可能となり得るため、照明器および光検出器は、生成および検出のための波長に関して公差範囲を有し得る。センサがＩＲカメラまたはＩＲ位置感応検出器（PSD）である場合によっては、光検出器は、付加的なデータキャプチャデバイスを含んでもよく、照明器の動作、例えば、波長ドリフト、ビーム幅の変化等を監視するためにも使用され得る。光検出器は、センサ１３４としての可視光カメラで閃光データも提供し得る。

[0055] 図２Ｅに図示されるように、各表示光学システム１４および各眼と対面する注視検出要素（例えば、カメラ１３４およびその検出領域１３９、照明器１５３、ならびに光検出器１５２）の構成は、可動内側フレーム部分１１７ｌ、１１７ｒに位置する。この例において、表示調整機構は、モータ２０３によって駆動されるシャフト２０５の誘導および動力下で、フレーム１１５内で左から右へまたはその逆へスライドする内側フレーム部分１１７に取り付けられるシャフト２０５を有する１つまたは複数のモータ２０３を備える。いくつかの実施形態において、１つのモータ２０３は、双方の内側フレームを駆動し得る。

[0056] 図２Ｆは、注視検出要素を含む可動表示光学システムを備えるＨＭＤ２の一部分の代替的な実施形態を示す。図示されるように、各表示光学システム１４は、別個のフレーム部分１１５ｌ、１１５ｒに封入される。フレーム部分の各々は、モータ２０３によって別個に移動させることができる。可動表示光学システムを備えるＨＭＤに関するさらなる情報は、２０１１年９月３０日に出願された、「Ｐｅｒｓｏｎａｌ Ａｕｄｉｏ／Ｖｉｓｕａｌ Ｓｙｓｔｅｍ」と題された米国特許出願第１３／２５０，８７８号に見出すことができ、この出願は、その全体が参照によって本明細書に組み込まれる。

[0057] 図２Ｇは、フレーム１１５の眼鏡テンプル１０２を含むＨＭＤ２の一部分の側面の一実施形態を示す。フレーム１１５の正面には、ビデオおよび静止画像をキャプチャすることができる正面向きのビデオカメラ１１３がある。いくつかの実施形態において、正面向きのカメラ１１３は、可視光カメラまたはＲＧＢカメラだけでなく、奥行きカメラも含み得る。一例において、奥行きカメラは、ＩＲ照明器用送信器と、可視光を通過させ、照明器によって送信される１つの波長範囲内またはほぼ所定の波長の反射されたＩＲ放射をＣＣＤまたは他のタイプの奥行きセンサへ向ける可視画像センサの前のホットミラーのようなホット反射面とを含み得る。他のタイプの可視光カメラ（例えば、ＲＧＢカメラまたは画像センサ）および奥行きカメラが使用されてもよい。奥行きカメラに関するさらなる情報は、その全体が参照によって本明細書に組み込まれる、２０１０年６月１１日に出願された米国特許出願第１２／８１３，６７５号に見出すことができる。カメラからのデータは、画像分割技法および／またはエッジ検出技法を通じて物体を識別するために、処理のために制御回路１３６へ送信され得る。

[0058] テンプル１０２内にあるものは、またはテンプル１０２に取り付けられるものは、イヤホン１３０、慣性センサ１３２、ＧＰＳ受信機１４４、および温度センサ１３８である。一実施形態において、慣性センサ１３２は、三軸磁力計、三軸ジャイロ、および三軸加速度計を含む。慣性センサは、ＨＭＤ２の位置、向き、および突然の加速を感知するためのものである。これらの動作から、頭部位置も決定することができる。

[0059] 場合によっては、ＨＭＤ２は、１つまたは複数の仮想物体を含む、１つまたは複数の画像を生成することができる画像生成ユニットを含み得る。いくつかの実施形態において、マイクロディスプレイが、画像生成ユニットとして使用され得る。図示されるように、マイクロディスプレイ部品１７３は、光処理要素と可変焦点調整器１３５とを備える。光処理要素の例は、マイクロディスプレイユニット１２０である。他の例は、レンズシステム１２２の１つまたは複数のレンズなどの１つまたは複数の光学要素、および表面１２４などの１つまたは複数の反射要素を含む。レンズシステム１２２は、単一のレンズまたは複数のレンズを備え得る。

[0060] テンプル１０２に取り付けられ、またはテンプル１０２内にあるマイクロディスプレイユニット１２０は、画像ソースを含み、仮想物体の画像を生成する。マイクロディスプレイユニット１２０は、レンズシステム１２２および反射面１２４と光学的に位置合わせされる。光学的な位置合わせは、１つまたは複数の光軸を含む光軸１３３または光路１３３に沿ったものとすることができる。マイクロディスプレイユニット１２０は、仮想物体の画像を、レンズシステム１２２を通じて投影し、レンズシステム１２２は、その画像を反射要素１２４上へ向けることができる。可変焦点調整器１３５は、マイクロディスプレイ部品の光路における１つまたは複数の光処理要素間のずれを、またはマイクロディスプレイ部品の１つの要素の光パワーを変化させる。レンズの光パワーは、一方における変化が他方に影響を及ぼすように、その焦点距離の逆数（すなわち、１／焦点距離）として定義される。焦点距離における変化は、マイクロディスプレイ部品１７３によって生成される画像に焦点が合った視野の領域における変化をもたらす。

[0061] ずれを変化させるマイクロディスプレイ部品１７３の一例において、ずれの変化は、レンズシステム１２２およびマイクロディスプレイ１２０などの少なくとも１つの光処理要素を支持する電機子内で誘導される。電機子１３７は、選択されたずれまたは光パワーを達成するために、要素の物理的な動作期間中の光路１３３に沿った位置合わせを安定化させることを支援する。いくつかの例において、調整器１３５は、電機子１３７内のレンズシステム１２２のレンズなどの、１つまたは複数の光学要素を移動させ得る。他の例において、電機子は、光処理要素を移動させることなく、要素、例えば、マイクロディスプレイ１２０上をスライドするように、光処理要素の周りの領域において溝または空間を有し得る。レンズシステム１２２などの、電機子における別の要素は、システム１２２またはその内部のレンズが、移動する電機子１３７と共にスライドまたは移動するように取り付けられる。ずれの範囲は、典型的には、数ミリメートル（ｍｍ）のオーダーである。一例において、その範囲は、１〜２ｍｍである。他の例において、電機子１３７は、ずれよりも他の物理パラメータの調整を伴う焦点調整技法のためにレンズシステム１２２を支援し得る。そのようなパラメータの例は、偏光である。

[0062] マイクロディスプレイ部品の焦点距離を調整することに関するさらなる情報は、２０１０年１１月８日に出願され、「Ａｕｔｏｍａｔｉｃ Ｖａｒｉａｂｌｅ Ｖｉｒｔｕａｌ Ｆｏｃｕｓ ｆｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｄｉｓｐｌａｙｓ」と題された米国特許第１２／９４１，８２５号に見出すことができ、この出願は、その全体が参照によって本明細書に組み込まれる。

[0063] 一実施形態において、調整器１３５は、圧電モータなどのアクチュエータとすることができる。アクチュエータについての他の技術が使用されてもよく、そのような技術のうちのいくつかの例は、コイルと永久磁石とから形成されるボイスコイル、磁歪要素、および電歪要素である。

[0064] マイクロディスプレイ１２０を実装するために、いくつかの異なる画像生成技術が使用され得る。一例において、マイクロディスプレイ１２０は、光源が光学活性材料によって変調され、白色光を用いて背後から光を当てられる透過型投影技術を使用して実装することができる。これらの技術は、通常、強力なバックライトおよび高い光エネルギー密度を備えるＬＣＤタイプのディスプレイを使用して実装される。マイクロディスプレイ１２０は、外部光が光学活性材料によって反射および変調される反射技術を使用して実装されることもできる。照明は、技術に応じて、白色源またはＲＧＢ源のどちらかによって前方へ照らされ得る。デジタル光処理（DLP）、ＬＣＯＳ（liquid crystal on silicon）、およびＱｕａｌｃｏｍｍ，Ｉｎｃ．のＭｉｒａｓｏｌ（登録商標）ディスプレイ技術は全て、大部分のエネルギーが変調された構造から反射されるため効率的であり、本明細書において説明されるシステムにおいて使用され得る反射技術の例である。また、マイクロディスプレイ１２０は、光がディスプレイによって生成される放射性技術を使用して実装することができる。例えば、Ｍｉｃｒｏｖｉｓｉｏｎ，Ｉｎｃ．のＰｉｃｏＰ（商標）エンジンは、マイクロミラーステアリングを用いてレーザ信号を、透過要素としての機能を果たす小さな画面上へ出射し、または直接眼の中へ発する（例えば、レーザ）。

[0065] 図２Ｈは、マイクロディスプレイ部品の三次元調整を支援するＨＭＤ２の一部分の側面の一実施形態を示す。上記図２Ｇにおいて例示された符号のうちのいくつかは、図面における混乱を回避するために除去されている。表示光学システム１４が三次元のうちのいずれかに移動されるいくつかの実施形態において、反射面１２４およびマイクロディスプレイ部品１７３のその他の要素によって表される光学要素も、表示光学システムへの仮想画像の光の光路１３３を維持するために移動され得る。制御回路１３６の制御下のモータブロック２０３およびシャフト２０５によって表される１つまたは複数のモータから構成されるこの例におけるＸＹＺ転送機構は、マイクロディスプレイ部品１７３の要素の動作を制御する。使用され得るモータの例は、圧電モータである。例示される例においては、１つのモータが電機子１３７に取り付けられ、可変焦点調整器１３５も同様に移動させ、別の代表的なモータ２０３が、反射要素１２４の動作を制御する。

[0066] 図３は、キャプチャデバイス２０とコンピューティング環境１２とを含むコンピューティングシステム１０の一実施形態を示す。いくつかの実施形態において、キャプチャデバイス２０およびコンピューティング環境１２は、単一のモバイルコンピューティングデバイス内に統合されてもよい。単一の統合されたモバイルコンピューティングデバイスは、図１のモバイルデバイス１９などのモバイルデバイスを含み得る。一例において、キャプチャデバイス２０およびコンピューティング環境１２は、ＨＭＤ内に統合されてもよい。他の実施形態において、キャプチャデバイス２０は、図２Ａのモバイルデバイス１９などの第１のモバイルデバイスと統合されてもよく、コンピューティング環境１２は、図２Ａのモバイルデバイス５などの、第１のモバイルデバイスと通信する第２のモバイルデバイスと統合されてもよい。

[0067] 一実施形態において、キャプチャデバイス２０は、画像およびビデオをキャプチャするための１つまたは複数の画像センサを含み得る。画像センサは、ＣＣＤ画像センサまたはＣＭＯＳ画像センサを含んでもよい。いくつかの実施形態において、キャプチャデバイス２０は、ＩＲ ＣＭＯＳ画像センサを含んでもよい。キャプチャデバイス２０は、例えば、ＴＯＦ（time-of-flight）、構造化された光、立体画像などを含む任意の適切な技法を用いた奥行き値を含み得る奥行き画像を含む奥行き情報と共にビデオをキャプチャするように構成された奥行きセンサ（または奥行き感知カメラ）も含み得る。

[0068] キャプチャデバイス２０は、画像カメラ部品３２を含み得る。一実施形態において、画像カメラ部品３２は、シーンの奥行き画像をキャプチャすることができる奥行きカメラを含み得る。奥行き画像は、二次元（２Ｄ）画素領域における各画素が、キャプチャされたシーンにおける物体の画像カメラ部品３２からの距離などの奥行き値を、例えば、センチメートル、ミリメートルなどで表し得る、キャプチャされたシーンの２Ｄ画素領域を含むことができる。

[0069] 画像カメラ部品３２は、キャプチャ領域の奥行き画像をキャプチャするために使用されるＩＲ光部品３４、三次元（３Ｄ）カメラ３６、およびＲＧＢカメラ３８を含み得る。例えば、ＴＯＦ分析において、キャプチャデバイス２０のＩＲ光部品３４は、キャプチャ領域上へ赤外光を出射し、例えば、３Ｄカメラ３６および／またはＲＧＢカメラ３８を使用してキャプチャ領域における１つまたは複数の物体の表面からの後方散乱光を検出するためのセンサを使用し得る。いくつかの実施形態において、パルス状の赤外光は、出射光パルスと対応する入射光パルスとの間の時間が、キャプチャデバイス２０からキャプチャ領域における１つまたは複数の物体上の特定の位置までの物理的距離を決定するために測定および使用されるように、使用され得る。また、出射光波の位相は、位相シフトを決定するために、入射光波の位相と比較され得る。次いで、位相シフトは、キャプチャデバイスから１つまたは複数の物体に関連付けられた特定の位置までの物理的距離を決定するために使用され得る。

[0070] 別の例において、キャプチャデバイス２０は、奥行き情報をキャプチャするために、構造化された光を使用することができる。そのような分析において、パターン化された光（すなわち、格子パターンまたはストライプパターンなどの既知のパターンとして表示される光）は、例えば、ＩＲ光部品３４を用いて、キャプチャ領域上へ投影され得る。キャプチャ領域における１つまたは複数の物体（または対象）の表面に突き当たると、パターンは、それに応じて変形することがある。パターンのそのような変形は、例えば、３Ｄカメラ３６および／またはＲＧＢカメラ３８によってキャプチャされ、キャプチャデバイスから１つまたは複数の物体上の特定の位置までの物理的距離を決定するために分析され得る。キャプチャデバイス２０は、コリメート光を生成するための光学素子を含み得る。いくつかの実施形態において、構造化された光のパターンを生成するために、レーザプロジェクタが使用されてもよい。光プロジェクタは、レーザ、レーザダイオード、および／またはＬＥＤを含み得る。

[0071] いくつかの実施形態において、２つ以上の異なるカメラが、統合されたキャプチャデバイスに組み込まれてもよい。例えば、奥行きカメラおよびビデオカメラ（例えば、ＲＧＢビデオカメラ）は、共通のキャプチャデバイスに組み込まれてもよい。いくつかの実施形態において、同じタイプまたは異なるタイプの２つ以上の別個のキャプチャデバイスが協調して使用されてもよい。例えば、奥行きカメラおよび別個のビデオカメラが使用されてもよいし、２つのビデオカメラが使用されてもよいし、２つの奥行きカメラが使用されてもよいし、２つのＲＧＢカメラが使用されてもよいし、または、任意の組み合わせおよび数のカメラが使用されてもよい。一実施形態において、キャプチャデバイス２０は、奥行き情報を生成するために分解され得る立体視覚データを取得するために、異なる角度からキャプチャ領域を見得る２つ以上の物理的に別個のカメラを含み得る。奥行きは、白黒、赤外線、ＲＧＢ、または任意の他のタイプの検出器とすることができる複数の検出器を使用して画像をキャプチャし、視差計算を実行することによっても決定され得る。他のタイプの奥行き画像センサも、奥行き画像を生成するために使用することができる。

[0072] 図３に図示されるように、キャプチャデバイス２０は、１つまたは複数のマイクロホン４０を含み得る。１つまたは複数のマイクロホン４０の各々は、音を受信し、電気信号に変換し得るトランスデューサまたはセンサを含み得る。１つまたは複数のマイクロホンは、１つまたは複数のマイクロホンが所定のレイアウトに配置され得るマイクロホンアレイを含み得る。

[0073] キャプチャデバイス２０は、画像カメラ部品３２と動作可能に通信し得るプロセッサ４２を含み得る。プロセッサ４２は、標準プロセッサ、専用プロセッサ、マイクロプロセッサなどを含み得る。プロセッサ４２は、フィルタもしくはプロファイルを記憶し、画像を受信および分析し、特定の状況が発生したかを決定するための命令、または任意の他の適切な命令を含み得る命令を実行することができる。少なくともいくつかの画像分析および／または対象分析ならびに追跡動作は、キャプチャデバイス２０などの１つまたは複数のキャプチャデバイス内に含まれるプロセッサによって実行され得ることが理解されるべきである。

[0074] キャプチャデバイス２０は、プロセッサ４２によって実行され得る命令、３ＤカメラまたはＲＧＢカメラによってキャプチャされた画像もしくは画像のフレーム、フィルタもしくはプロファイル、または任意の他の適切な情報、画像などを記憶し得るメモリ４４を含むことができる。一例において、メモリ４４は、ランダムアクセスメモリ（RAM:random access memory）、読み出し専用メモリ（ROM:read only memory）、キャッシュ、フラッシュメモリ、ハードディスク、または任意の他の適切な記憶部品を含み得る。図示されるように、メモリ４４は、画像キャプチャ部品３２およびプロセッサ４２と通信する別個の部品とすることができる。別の実施形態において、メモリ４４は、プロセッサ４２および／または画像キャプチャ部品３２に統合されてもよい。他の実施形態において、キャプチャデバイス２０の部品３２、３４、３６、３８、４０、４２および４４のうちの一部または全部は、単一の筐体に収納されてもよい。

[0075] キャプチャデバイス２０は、通信リンク４６を介してコンピューティング環境１２と通信し得る。通信リンク４６は、例えば、ＵＳＢ接続、ＦｉｒｅＷｉｒｅ接続、イーサネットケーブル接続などを含む有線接続、および／または、無線８０２．１１ｂ、ｇ、ａ、もしくはｎ接続などの無線接続とすることができる。コンピューティング環境１２は、例えば、シーンをいつキャプチャすべきかを決定するために使用され得るクロックを、通信リンク４６を介してキャプチャデバイス２０に提供し得る。一実施形態において、キャプチャデバイス２０は、例えば、３Ｄカメラおよび／またはＲＧＢカメラ３８によってキャプチャされた画像を、通信リンク４６を介してコンピューティング環境１２へ提供し得る。

[0076] 図３に図示されるように、コンピューティング環境１２は、アプリケーション１９６と通信する、画像およびオーディオ処理エンジン１９４を含む。アプリケーション１９６は、オペレーティングシステムアプリケーション、またはゲーミングアプリケーションなどの他のコンピューティングアプリケーションを備え得る。画像およびオーディオ処理エンジン１９４は、全てが互いに通信する、仮想データエンジン１９７、物体およびジェスチャ認識エンジン１９０、構造データ１９８、処理ユニット１９１、ならびにメモリユニット１９２を含む。画像およびオーディオ処理エンジン１９４は、キャプチャデバイス２０から受信されるビデオデータ、画像データ、およびオーディオデータを処理する。物体の検出および／または追跡を支援するために、画像およびオーディオ処理エンジン１９４は、構造データ１９８、ならびに、物体およびジェスチャ認識エンジン１９０を利用し得る。仮想データエンジン１９７は、仮想物体を処理し、メモリユニット１９２に記憶された現実世界環境の様々な地図に対する仮想物体の位置および向きを登録する。

[0077] 処理ユニット１９１は、物体認識アルゴリズム、顔認識アルゴリズム、および音声認識アルゴリズムを実行するための１つまたは複数のプロセッサを含み得る。一実施形態において、画像およびオーディオ処理エンジン１９４は、物体認識技法および顔認識技法を画像データまたはビデオデータに利用し得る。例えば、物体認識は、特定の物体（例えば、サッカーボール、車、人々、またはランドマーク）を検出するために使用することができ、顔認識は、特定の人物の顔を検出するために使用することができる。画像およびオーディオ処理エンジン１９４は、オーディオ認識技法および音声認識技法をオーディオデータに利用し得る。例えば、オーディオ認識は、特定の音を検出するために使用することができる。検出されるべき特定の顔、音声、音、および物体は、メモリユニット１９２に含まれる１つまたは複数のメモリに記憶され得る。処理ユニット１９１は、本明細書において議論されるプロセスを実行するために、メモリユニット１９２に記憶されたコンピュータ読取可能な命令を実行し得る。

[0078] 画像およびオーディオ処理エンジン１９４は、物体認識を実行しつつ、構造データ１９８を利用し得る。構造データ１９８は、追跡されるべき対象および／または物体に関する構造情報を含み得る。例えば、人間の骨格モデルが、身体の部分を認識することを支援するために記憶されてもよい。別の実施形態において、構造データ１９８は、１つまたは複数の無生物を認識することを支援するために、１つまたは複数の無生物に関する構造情報を含み得る。

[0079] 画像およびオーディオ処理エンジン１９４は、ジェスチャ認識を実行しつつ、物体およびジェスチャ認識エンジン１９０も利用し得る。一例において、物体およびジェスチャ認識エンジン１９０は、各々が骨格モデルによって実行され得るジェスチャに関する情報を含む、ジェスチャフィルタのコレクションを含むことができる。物体およびジェスチャ認識エンジン１９０は、骨格モデルおよび骨格モデルに関連付けられた動作の形式でキャプチャデバイス２０によってキャプチャされたデータを、ジェスチャライブラリ内のジェスチャフィルタと比較して、（骨格モデルによって表されるような）ユーザが１つまたは複数のジェスチャを実行した場合に識別する。一例において、画像およびオーディオ処理エンジン１９４は、物体およびジェスチャ認識エンジン１９０を使用して、骨格モデルの動作を解釈することを支援し、特定のジェスチャの実行を検出し得る。

[0080] いくつかの実施形態において、追跡されている１つまたは複数の物体は、物体検出および／または物体追跡を改良するために、ＩＲ再帰性反射マーカーなどの１つまたは複数のマーカーを用いて拡張され得る。平面的な参照画像、符号化されたＡＲマーカー、ＱＲ符号、および／またはバーコードも、物体検出および／または物体追跡を改良するために使用され得る。１つまたは複数の物体および／またはジェスチャを検出すると、画像およびオーディオ処理エンジン１９４は、検出された各物体またはジェスチャの識別と、妥当な場合には、対応する位置および／または向きとを、アプリケーション１９６へ報告し得る。

[0081] 物体を検出および追跡することに関するさらなる情報は、２００９年１２月１８日に出願された、米国特許出願第１２／６４１，７８８号、「Ｍｏｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｄｅｐｔｈ Ｉｍａｇｅｓ」、および、米国特許出願第１２／４７５，３０８号、「Ｄｅｖｉｃｅ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ Ｍｕｌｔｉｐｌｅ Ｈｕｍａｎｓ ｏｖｅｒ Ｔｉｍｅ」に見出すことができ、これらの出願の双方は、それらの全体が参照によって本明細書に組み込まれる。物体およびジェスチャ認識エンジン１９０に関するさらなる情報は、その全体が参照によって本明細書に組み込まれる、２００９年４月１３日に出願された、米国特許出願第１２／４２２，６６１号、「Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｚｅｒ Ｓｙｓｔｅｍ Ａｒｃｈｉｔｅｃｔｕｒｅ」に見出すことができる。ジェスチャを認識することに関するさらなる情報は、２００９年２月２３日に出願された、米国特許出願第１２／３９１，１５０号、「Ｓｔａｎｄａｒｄ Ｇｅｓｔｕｒｅｓ」、および、２００９年５月２９日に出願された、米国特許出願第１２／４７４，６５５号、「Ｇｅｓｔｕｒｅ Ｔｏｏｌ」に見出すことができ、これらの出願の双方は、それらの全体が参照によって本明細書に組み込まれる。

[0082] 図４Ａ〜図４Ｂは、人間トリガのホログラフィックリマインダが使用され得る様々な拡張現実環境の様々な実施形態を示す。いくつかの実施形態において、特定の人物がＨＭＤの視野内に存在する場合、または、特定の人物がＨＭＤから特定の距離内に存在する場合、ＨＭＤは、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境を生成し、ＨＭＤのエンドユーザに表示するために使用され得る。

[0083] 図４Ａは、ＨＭＤ２９を装着した第１のエンドユーザ（すなわち、「ジョー」）が、第１のエンドユーザと環境４００内で第２のＨＭＤ２８を装着した第２のエンドユーザ（すなわち、「ティム」）との双方に関連付けられたリマインダ２５を含む拡張現実環境を見る環境４００の一実施形態を示す。図示されるように、リマインダ２５は、「スーの誕生日に関してティムと話す」ための、第１のエンドユーザ（「ジョー」）に対応する第１のリマインダと、特定の写真をジョーに見せるための、その写真（画像＿１２３）へのリンクを備える、第２のエンドユーザ（「ティム」）に対応する第２のリマインダとを含む。この場合において、ジョーは、ジョーに関連付けられた、ティムのリマインダのうちの１つを見ることができる。第２のＨＭＤ２８を装着した第２のエンドユーザは、リマインダ２４を含む第２の拡張現実環境を見ることができる。図示されるように、リマインダ２４は、「忘れずにジョーに２０ドルを払う」ための第３のリマインダと、「ジョーに写真（画像＿１２３）を見せる」ための第４のリマインダとを含む。したがって、ＨＭＤの拡張現実環境内で表示されるリマインダは、ＨＭＤのエンドユーザと、そのエンドユーザに対応するリマインダを有する他の人々とに関連付けられたことができる。さらに、ＨＭＤ２９および第２のＨＭＤ２８の双方は、それらのそれぞれの拡張現実環境内で同じリマインダを表示することができる。

[0084] 図４Ｂは、ＨＭＤ２９を装着した第１のエンドユーザ（すなわち、「ジョー」）が、リマインダ２７を含む拡張現実環境を見、第２のＨＭＤ２８を装着した第２のエンドユーザ（すなわち、「ティム」）が、リマインダ２６を含む第２の拡張現実環境を見る環境４００の一実施形態を示す。図示されるように、リマインダ２７は、「シニアプログラマ」の肩書に対応する肩書を有する人物と統合問題に関して話すためのリマインダと、その対応する肩書を有する人物（すなわち、「ティム」）がＨＭＤ２９からのある距離内で識別されたこととを含む。（ＨＭＤ２８上に表示されるような）リマインダ２６は、「仕様の更新に関してジョーと話す」ためのリマインダを含み、ジョーが近く（または、ティムの近接内）にいること、ジョーが明日から出張に行くことなどの関連するリマインダ情報をさらに含む。したがって、リマインダは、個人としての、または特定のグループに所属するもの（例えば、プログラマまたは管理者などの特定の肩書を有するグループのメンバ）としての特定の人物に対応し得る。

[0085] 図５は、人間トリガのホログラフィックリマインダを生成および表示するための方法の一実施形態を説明するフローチャートである。一実施形態において、図５のプロセスは、図１におけるモバイルデバイス１９などのモバイルデバイスによって実行され得る。

[0086] 工程５０２において、１つまたは複数のリマインダが決定される。１つまたは複数のリマインダは、個人情報マネージャ、タスクマネージャ、電子メールアプリケーション、カレンダアプリケーション、ソーシャルネットワーキングアプリケーション、オンラインデータベースアプリケーション、ソフトウェアバグ追跡アプリケーション、問題追跡アプリケーション、および／または時間管理アプリケーションへ入力されるタスク、または、これらからアクセス可能なタスクに基づいて、決定され得る。場合によっては、１つまたは複数のリマインダは、オンラインデータベース（例えば、ソーシャルネットワーキングデータベース）からアクセス可能な情報を使用して自動的に生成され得る。例えば、エンドユーザの友人（または連絡先）に関連付けられたソーシャルネットワーキングデータベースまたはアプリケーションから取得される誕生日情報は、エンドユーザからの関与なしに誕生日のリマインダを自動的に生成するために使用され得る。１つまたは複数のリマインダの各々は、完了されるべき特定のタスク、その特定のタスクに関連付けられた１人もしくは複数の人々、その特定のタスクに関連付けられた位置、（例えば、特定のリマインダは２週間ごとに発行されるという）リマインダの頻度、および／または、その特定のタスクの完了時間に対応し得る。特定のタスクに関連付けられた１人または複数の人々は、個々に識別され、または、特定のグループに所属するもの（例えば、プログラマまたは管理者などの特定の肩書を有するグループのメンバ）として識別され得る特定の人物を含むことができる。

[0087] 一実施形態において、ＨＭＤのエンドユーザは、ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、または他のコンピューティングデバイスを使用して、１つまたは複数のリマインダを個人情報管理アプリケーションに入力することができる。ＨＭＤのエンドユーザは、音声コマンドおよび／またはジェスチャを使用して、１つまたは複数のリマインダをＨＭＤ上で実行されている個人情報管理アプリケーションに入力することもできる。例えば、ＨＭＤのエンドユーザは、「私が両親に会ったときにコンサートに関して私にリマインドして」などの音声コマンドを発行し得る。一実施形態において、１つまたは複数のリマインダは、ＨＭＤのエンドユーザに対応するリマインダ、および、エンドユーザに関連付けられた環境内の他の人物に対応する他のリマインダ（例えば、エンドユーザの上司はエンドユーザとプロジェクトを議論するためのリマインダを有する）を含み得る。１つまたは複数のリマインダを決定するためのプロセスの一実施形態は、図６Ａを参照しつつ後述される。

[0088] 工程５０４において、環境内で識別すべき１人または複数の人物が決定される。環境内で識別すべき１人または複数の人物は、特定のリマインダに関連付けられた１人または複数の人々を含む。一例において、特定のリマインダが、受賞について特定の人物を祝うことを含む場合、識別すべき１人または複数の人物は、その特定の人物を含み得る。場合によっては、識別すべき１人または複数の人物は、顔認識技法を使用して識別され得る。

[0089] 工程５０６において、１人または複数の人物のうちの第２の人物が環境内で検出される。第２の人物は、顔認識技法および／または音声認識技法を使用して検出され得る。第２の人物は、環境内の第２の人物に対応する第２のモバイルデバイスを検出することによって、その環境内で検出されることもできる。いくつかの実施形態において、第２の人物は、ユーザ識別子に対応してもよく、環境内で第２の人物を検出することは、環境内の人物がそのユーザ識別子に関連付けられていると決定することを含む。環境内の第２の人物を検出するためのプロセスの一実施形態は、図６Ｂを参照しつつ後述される。

[0090] 工程５０８において、１つまたは複数のリマインダに関連付けられた、１つまたは複数のリマインダ期限が決定される。１つまたは複数のリマインダ期限は、特定のタスクを完了すべき完了時間（または期間）を含み得る。工程５１０において、環境、環境内の第２の人物の検出、および１つまたは複数のリマインダ期限に基づいて、１つまたは複数のスコアが、１つまたは複数のリマインダに割り当てられる。一実施形態において、環境の識別は、１つまたは複数のリマインダのサブセットを評価するために使用され得る。例えば、仕事環境に関連付けられたリマインダは、ＨＭＤのエンドユーザがその仕事環境内に存在する場合、より重く評価され得る。環境内の特定の人々（例えば、エンドユーザの配偶者またはマネージャ）に対応するリマインダ、および／または特定の時間フレーム内にある（例えば、次の２日間の間に完了されなければならない）リマインダ期限には、他のリマインダに関してより高いスコアが与えられ得る。

[0091] 工程５１２において、１つまたは複数のリマインダは、１つまたは複数のスコアに基づいて順序付けられる。一実施形態において、１つまたは複数のリマインダは、最も高いスコアを有するリマインダから最も低いスコアを有するリマインダへ降順で順序付けられる。工程５１４において、１つまたは複数のリマインダの順序付けに基づいて、少なくとも、１つまたは複数のリマインダのサブセットが表示される。一実施形態において、少なくとも、１つまたは複数のリマインダのサブセットは、ＨＭＤを使用して表示され得る。別の実施形態において、少なくとも、１つまたは複数のリマインダのサブセットは、タブレットコンピューティングデバイスまたは他の非ＨＭＤタイプのコンピューティングデバイスを使用して表示され得る。

[0092] 工程５１６において、第２の人物に関連付けられた、１つまたは複数のリマインダの第２のセットが決定される。工程５１８において、１つまたは複数のリマインダの第２のセットは、第２の人物に関連付けられた第２のモバイルデバイスへプッシュされる。一例において、１つまたは複数のリマインダの第２のセットは、無線接続（例えば、ＷｉＦｉ接続）を介して第２のモバイルデバイスへ送信され得る。いくつかの実施形態において、第２の人物がＨＭＤの視野内に存在する場合、または、第２の人物がＨＭＤから特定の距離内（例えば、ＨＭＤから１００メートル以内）に存在する場合、第２のセットは、第２のモバイルデバイスへプッシュされ得る。

[0093] 工程５２０において、１つまたは複数のリマインダのうちの第１のリマインダの完了が、自動的に検出される。いくつかの実施形態において、リマインダの完了は、エンドユーザと特定の人物との間で発生する会話のキャプチャされたオーディオに（例えば、キーワード、語句、または名前を識別するために）スピーチ認識技法を利用することによって、自動的に検出され得る。第１のリマインダの完了は、エンドユーザによるユーザインタフェースボタンの明示的な選択時に、またはエンドユーザによる音声コマンドの発行（例えば、エンドユーザは「コンサートに関するリマインダは完了」と言い得る）によっても検出され得る。一旦リマインダが完了したものと見なされると、そのリマインダは、１つまたは複数のリマインダから削除され得る。リマインダの完了を自動的に検出するためのプロセスの一実施形態は、図６Ｃを参照しつつ後述される。

[0094] 一実施形態において、１つまたは複数のリマインダのうちの第１のリマインダは、第１のリマインダに関連付けられた期間が経過した場合、または第１のリマインダに関連付けられた完了日が過ぎた場合、自動的に削除され得る。例えば、第１のリマインダが、友人の誕生日に割り当てられた完了日を有する場合、第１のリマインダは、友人の誕生日の翌日に自動的に削除され得る。

[0095] 図６Ａは、１つまたは複数のリマインダを決定するためのプロセスの一実施形態を説明するフローチャートである。図６Ａにおいて説明されるプロセスは、図５における工程５０２を実装するためのプロセスの一例である。一実施形態において、図６Ａのプロセスは、図１におけるモバイルデバイス１９などのモバイルデバイスによって実行され得る。

[0096] 工程６０２において、第１の人物の識別子に関連付けられたリマインダの第１のセットが決定される。第１の人物は、ＨＭＤのエンドユーザに対応し得、第１の人物の識別子は、第１の人物に関連付けられた英数字のユーザ識別子を含み得る。工程６０４において、第１の人物の識別子に関連付けられた１つまたは複数の連絡先が決定される。１つまたは複数の連絡先は、第１の人物に関連付けられた、個人情報管理アプリケーション、電子メールアプリケーションもしくはカレンダアプリケーション、および／またはソーシャルネットワーキングアプリケーションに入力された連絡先に対応し得る。

[0097] 工程６０６において、１つまたは複数の連絡先のうちの第２の連絡先が、環境内で検出される。一実施形態において、第２の連絡先は、顔認識技法および／または音声認識技法を使用して、環境内で検出され得る。別の実施形態において、第２の連絡先は、第２の連絡先に関連付けられた第２のモバイルデバイスが環境内で検出される場合、環境内で検出され得る。第２のモバイルデバイスがＨＭＤから特定の距離内に存在する場合（例えば、第２のモバイルデバイスおよびＨＭＤの双方に対応するＧＰＳ位置情報を使用して決定される）、第２のモバイルデバイスは、環境内に存在すると見なされ得る。

[0098] 工程６０８において、第２の連絡先に対応する第２の人物の識別子が取得される。第２の人物の識別子は、第２の連絡先に関連付けられた英数字のユーザ識別子を含み得る。一実施形態において、第２の連絡先の識別を第２の人物の識別子（または、１つよりも多くの第２の人物のユーザ識別子）にマッピングするために、テーブルルックアップが使用される。

[0099] 工程６１０において、第２の人物の識別子に関連付けられたリマインダの第２のセットが取得される。一実施形態において、リマインダの第２のセットは、第２の連絡先に関連付けられた第２のモバイルデバイスから取得される。場合によっては、第２のモバイルデバイスは、第２のＨＭＤを含み得る。工程６１２において、リマインダの第１のセットおよびリマインダの第２のセットが出力される。

[00100] 図６Ｂは、環境内で第２の人物を検出するためのプロセスの一実施形態を説明するフローチャートである。図６Ｂにおいて説明されるプロセスは、図５における工程５０６を実装するためのプロセスの一例である。一実施形態において、図６Ｂのプロセスは、図１におけるモバイルデバイス１９などのモバイルデバイスによって実行され得る。

[00101] 工程６２２において、特定の人物に関連付けられた位置情報が取得される。位置情報は、特定の人物によって使用されるモバイルデバイスに関連付けられたＧＰＳ座標を含み得る。位置情報は、奥行き情報またはＨＭＤからの特定の人物の距離も含み得る。工程６２４において、環境の１つまたは複数の画像が取得される。１つまたは複数の画像は、図２Ｂにおけるキャプチャデバイス２１３などの、キャプチャデバイスを使用してキャプチャされ得る。１つまたは複数の画像は、カラー画像および／または奥行き画像を含み得る。工程６２６において、環境内の特定の人物は、１つまたは複数の画像および位置情報に基づいて識別される。一実施形態において、顔認識技法は、特定の人物の位置がＨＭＤから特定の距離内（例えば、１００メートル以内）にある場合、１つまたは複数の画像に利用され得る。別の実施形態において、顔認識は、ＨＭＤに記憶される１つまたは複数のリマインダに関連付けられた各人物についての１つまたは複数の画像を使用して実行される。工程６２８において、特定の人物の識別が出力される。一例において、特定の人物に関連付けられたユーザ識別子が出力され得る。

[00102] 図６Ｃは、リマインダの完了を自動的に検出するためのプロセスの一実施形態を説明するフローチャートである。図６Ｃにおいて説明されるプロセスは、図５における工程５２０を実装するためのプロセスの一例である。一実施形態において、図６Ｃのプロセスは、図１におけるモバイルデバイス１９などのモバイルデバイスによって実行され得る。

[00103] 工程６３２において、環境の１つまたは複数の画像が取得される。１つまたは複数の画像は、図２Ｂにおけるキャプチャデバイス２１３などのキャプチャデバイスを使用してキャプチャされ得る。工程６３４において、第２の人物に関連付けられたオーディオ信号がキャプチャされる。オーディオ信号は、図２Ｂにおけるキャプチャデバイス２１３などのキャプチャデバイスを使用してキャプチャされ得る。工程６３６において、第２の人物によって話された特定の語句が、オーディオ信号に基づいて検出される。特定の語句は、オーディオ信号処理技法および／またはスピーチ認識技法を使用して検出され得る。

[00104] 工程６３８において、第２の人物とのインタラクションは、１つまたは複数の画像に基づいて検出される。一実施形態において、インタラクションは、第２の人物がＨＭＤのエンドユーザの方に顔を向けること、第２の人物がＨＭＤのエンドユーザに向かって話すこと、および／または第２の人物がＨＭＤのエンドユーザと握手することを含み得る。工程６４０において、インタラクションの検出および特定の語句の検出に基づいて、リマインダは完了したと決定される。一実施形態において、インタラクションは、第２の人物がＨＭＤのエンドユーザの方に顔を向けて、特定の語句を言うことを含み得る。場合によっては、特定の語句は、プロジェクトのコード名および／または特定の人物の名前を含み得る。

[00105] 図７は、人間トリガのホログラフィックリマインダを生成および表示するための方法の代替的な実施形態を説明するフローチャートである。一実施形態において、図７の処理は、図１におけるモバイルデバイス１９などのモバイルデバイスによって実行され得る。

[00106] 工程７０２において、第１のモバイルデバイスを使用する第１の人物に関連付けられたリマインダの第１のセットが決定される。リマインダの第１のセットは、第１の人物に対応する、個人情報マネージャ、タスクマネージャ、電子メールアプリケーション、カレンダアプリケーション、ソーシャルネットワーキングアプリケーション、および／または時間管理アプリケーションに入力されるタスク、または、これらからアクセス可能なタスクに基づいて、決定され得る。リマインダの第１のセットは、第１の人物にタグを付け、または別の方法で第１の人物に関連付けられた、ソフトウェアバグ追跡アプリケーションまたは問題追跡アプリケーションなどの仕事関連アプリケーションに入力されたタスクに基づいて決定されることもできる。場合によっては、リマインダの第１のセットは、オンラインデータベース（例えば、ソーシャルネットワーキングデータベース）からアクセス可能な情報を使用して自動的に生成され得る。例えば、ソーシャルネットワーキングデータベース、または第１の人物の友人（もしくは連絡先）に関連付けられたアプリケーションから取得される誕生日情報は、第１の人物からの関与なしに誕生日リマインダを自動的に生成するために使用され得る。リマインダの第１のセットは、完了されるべきタスクの第１のセット、完了されるべきタスクの第１のセットの各々に関連付けられた１人または複数の人々、（例えば、特定のリマインダは２週間ごとに発行されるという）リマインダの頻度、および／または、完了されるべきタスクの第１のセットの各々に対応する完了時間（もしくは期限）に対応し得る。１人または複数の人々は、個々に識別され、または、特定のグループに所属するもの（例えば、プログラマまたは管理者などの特定の肩書を有するグループのメンバ）として識別され得る。

[00107] 工程７０４において、第１の人物と異なる第２の人物が、第１のモバイルデバイスの視野内で検出される。第１のモバイルデバイスは、ＨＭＤを含み得る。第２の人物は、ＨＭＤによってキャプチャされた画像に物体認識技法および／または顔認識技法を利用することによって、第１のモバイルデバイスの視野内で検出され得る。工程７０６において、リマインダの第２のセットが、第２の人物に関連付けられた第２のモバイルデバイスから取得される。場合によっては、第２のモバイルデバイスは、第２の人物に関連付けられた第２のＨＭＤを含み得る。

[00108] 工程７０８において、リマインダの第１のセットに対応するリマインダ期限の第１のセットが決定される。工程７１０において、リマインダの第２のセットに対応するリマインダ期限の第２のセットが決定される。リマインダ期限は、特定のタスクを完了させるべき完了時間（または期間）を含み得る。工程７１２において、リマインダの第１のセットおよびリマインダの第２のセットは、第２の人物の検出、リマインダ期限の第１のセット、およびリマインダ期限の第２のセットに基づいて、優先順位付けがされる。一実施形態において、リマインダの第１のセットおよびリマインダの第２のセットにおける各リマインダに、スコアが割り当てられる。場合によっては、第２の人物が第１の人物から特定の距離内または第１のモバイルデバイスから特定の距離内に存在すると決定される場合、スコアは、リマインダの第２のセットにのみ割り当てられる。一例において、第２の人物に関連付けられたリマインダは、第２の人物が第１のモバイルデバイスに近付くにつれて、より重く評価され（および、そのため、より高いスコアを導き）得る。リマインダの第１のセットおよびリマインダの第２のセットの優先順位付けは、第１のモバイルデバイスと第２のモバイルデバイスとの間の距離、および、リマインダ期限の第１のセットおよび／またはリマインダ期限の第２のセットが特定の時間フレーム内に存在する（例えば、次の２日間の間に完了されなければならない）かに基づき得る。

[00109] 工程７１４において、リマインダの第１のセットの第１のサブセット、およびリマインダの第２のセットの第２のサブセットは、リマインダの第１のセットおよびリマインダの第２のセットの優先順位付けに基づいて表示される。一実施形態において、第１の人物に関連付けられた第１のサブセットおよび第２の人物に関連付けられた第２のサブセットは、第１のモバイルデバイスを使用して第１の人物に表示され得る。第１のモバイルデバイスは、ＨＭＤを含み得る。場合によっては、リマインダの第２のセットに対応する１つまたは複数の仮想物体は、第１のモバイルデバイスを使用して第１の人物に表示され得る。一例において、１つまたは複数の仮想物体は、第２の人物が特定の話題に関して第１の人物と話したいというリマインダ情報を提供し得る。別の実施形態において、１つまたは複数の仮想物体は、（例えば、第１の人物と第２の人物との双方が参加者である次回の会議時に、第２の人物が休暇を取る場合には）タスク関連情報を提供し得る。１つまたは複数の仮想物体は、第１の人物と第２の人物との間で共有されるべきコンテンツ（例えば、写真または画像）へのリンクも提供し得る。１つまたは複数の仮想物体は、特定のタスク（例えば、第２の人物のために贈り物を購入すること）を完了することを支援するために、オンラインショッピングウェブサイトへのリンクも提供し得る。

[00110] 工程７１６において、リマインダの第１のセットの第１のリマインダの完了は、自動的に検出される。いくつかの実施形態において、第１のリマインダの完了は、第１の人物と第２の人物との間で発生する会話のキャプチャされたオーディオに（例えば、キーワード、語句、または名前を識別するために）スピーチ認識技法を利用することによって、自動的に検出され得る。第１のリマインダの完了は、第１の人物によるユーザインタフェースボタンの明示的な選択時に、または第１の人物による音声コマンドの発行（例えば、第１の人物は「コンサートに関するリマインダは完了」と言い得る）によっても検出され得る。一旦第１のリマインダが完了したものと見なされると、そのリマインダは、リマインダの第１のセットから削除され得る。

[00111] いくつかの実施形態において、リマインダの完了は、そのリマインダに関連付けられた特定の人物にフォローアップメッセージを送信するようにＨＭＤのエンドユーザを促すように、ＨＭＤをトリガし得る。例えば、エンドユーザが特定の人物に借金している場合、ＨＭＤは、「小切手はメール内にあります」と述べるメッセージをエンドユーザが特定の人物へ送信したいかをエンドユーザに質問し得る。場合によっては、特定の人物へ送信されるべきメッセージのフォーマットまたはメッセージのタイプ（例えば、電子メールまたはテキストメッセージ）は、特定の人物によって使用されるコンピューティングデバイス（例えば、別のＨＭＤ）のタイプに依存し得る。

[00112] いくつかの実施形態において、ＨＭＤは、ＨＭＤのエンドユーザとは異なる特定の人物に関連付けられたリマインダの第２のセットを、特定の人物に関連付けられた第２のモバイルデバイスから取得し、特定の人物がＨＭＤの視野内に存在する場合、または特定の人物がＨＭＤから特定の距離内に存在する場合、リマインダの第２のセット（または、そのサブセット）が表示され得る拡張現実環境をエンドユーザに提供し得る。場合によっては、リマインダの第２のセットに対応する１つまたは複数の仮想物体が、エンドユーザに表示され得る。一例において、１つまたは複数の仮想物体は、特定の人物がエンドユーザと特定の話題に関して話すためのリマインダを有するというリマインダ情報を提供し得る。別の例において、１つまたは複数の仮想物体は、（例えば、エンドユーザと特定の人物との双方が参加者である次回の会議時に、特定の人物が休暇を取る場合には）タスク関連情報を提供し得る。１つまたは複数の仮想物体は、エンドユーザと特定の人物との間で共有されるべきコンテンツ（例えば、写真または画像）へのリンクも提供し得る。

[00113] 開示される技術の一実施形態は、モバイルデバイスを使用して、第１の人物に関連付けられたリマインダの第１のセットを決定することと、モバイルデバイスの視野内の第１の人物とは異なる第２の人物を検出することと、第２の人物に関連付けられた第２のモバイルデバイスからリマインダの第２のセットを取得することと、リマインダの第１のセットに対応するリマインダ期限の第１のセットを決定することと、第２の人物の識別およびリマインダ期限の第１のセットに基づいて、リマインダの第１のセットおよびリマインダの第２のセットを優先順位付けすることと、リマインダの第１のセットおよびリマインダの第２のセットの優先順位付けに基づいて、リマインダの第１のセットの第１のサブセットおよびリマインダの第２のセットの第２のサブセットを表示することとを含む。

[00114] 開示される技術の一実施形態は、メモリと、このメモリと通信する１つまたは複数のプロセッサと、この１つまたは複数のプロセッサと通信するシースルーディスプレイとを含む。メモリは、電子デバイスを使用して、第１の人物に関連付けられたリマインダの第１のセットを記憶する。１つまたは複数のプロセッサは、電子デバイスの視野内の第２の人物を検出し、第２の人物に関連付けられたリマインダの第２のセットを取得し、第２の人物の検出に基づいて、リマインダの第１のセットおよびリマインダの第２のセットを優先順位付けする。シースルーディスプレイは、リマインダの第１のセットおよびリマインダの第２のセットの優先順位付けに基づいて、リマインダの第１のセットおよびリマインダの第２のセットのサブセットに対応する１つまたは複数の仮想物体を含む拡張現実環境を表示する。

[00115] 開示される技術の一実施形態は、ＨＭＤのエンドユーザに関連付けられた１つまたは複数のリマインダを決定することと、ＨＭＤの視野内のエンドユーザとは異なる第２の人物の識別を決定することと、第２の人物の識別に基づいて、１つまたは複数のスコアを１つまたは複数のリマインダに割り当てることと、１つまたは複数のスコアに基づいて、１つまたは複数のリマインダを順序付けることと、ＨＭＤを使用して、拡張現実環境内の１つまたは複数の仮想物体を表示することとを含み、１つまたは複数の仮想物体は１つまたは複数のリマインダの順序付けに基づいて、１つまたは複数のリマインダのサブセットに対応する。

[00116] 図８は、図１におけるモバイルデバイス１９などのモバイルデバイス８３００の一実施形態のブロック図である。モバイルデバイスは、無線受信機／送信機技術と統合された、ラップトップコンピュータ、ポケットコンピュータ、携帯電話、ＨＭＤ、携帯情報端末、およびハンドヘルドメディアデバイスを含み得る。

[00117] モバイルデバイス８３００は、１つまたは複数のプロセッサ８３１２およびメモリ８３１０を含む。メモリ８３１０は、アプリケーション８３３０および不揮発性記憶装置８３４０を含む。メモリ８３１０は、不揮発性メモリおよび揮発性メモリを含む、任意の様々なメモリ記憶媒体タイプとすることができる。モバイルデバイスオペレーティングシステムは、モバイルデバイス８３００の種々の動作を処理し、電話を掛けおよび受けること、テキストメッセージを送受信すること、ボイルメールを確認することなどの動作のためのユーザインタフェースを含み得る。アプリケーション８３３０は、写真および／またはビデオのためのカメラアプリケーション、住所録、カレンダアプリケーション、メディアプレーヤ、インターネットブラウザ、ゲーム、アラームアプリケーション、および他のアプリケーションなどの、任意のプログラムの組み合わせとすることができる。メモリ８３１０内の不揮発性記憶部品８３４０は、音楽、写真、連絡先データ、スケジューリングデータ、および他のファイルなどのデータを含み得る。

[00118] １つまたは複数のプロセッサ８３１２は、シースルーディスプレイ８３０９と通信する。シースルーディスプレイ８３０９は、現実世界環境に関連付けられた１つまたは複数の仮想物体を表示し得る。１つまたは複数のプロセッサ８３１２はまた、アンテナ８３０２とさらに結合されるＲＦ送信機／受信機８３０６と、赤外線送信機／受信機８３０８と、全地球測位システム（GPS:global positioning service）受信機８３６５と、および、加速度計および／または磁力計を含み得る動作／向きセンサ８３１４と通信する。ＲＦ送信機／受信機８３０６は、ブルートゥース（登録商標）またはＩＥＥＥ８０２．１１標準などの様々な無線技術標準を用いた無線通信を可能にすることができる。加速度計は、ユーザにジェスチャを通じてコマンドを入力させるインテリジェントなユーザインタフェースアプリケーション、および、モバイルデバイスが回転された場合に、縦方向から横方向へディスプレイを自動的に変化させることができる向きアプリケーションなどのアプリケーションを有効化するために、モバイルデバイスに組み込まれている。加速度計は、例えば、半導体チップ上に構築される小さな機械デバイスである微小電気機械システム（MEMS:micro-electromechanical system）によって、提供され得る。加速度方向、ならびに、向き、振動、および衝撃が感知され得る。１つまたは複数のプロセッサ８３１２は、リンガ／バイブレータ８３１６、ユーザインタフェースキーパッド／画面８３１８、スピーカ８３２０、マクロホン８３２２、カメラ８３２４、光センサ８３２６、および温度センサ８３２８とさらに通信する。ユーザインタフェースキーパッド／画面は、タッチセンサ画面ディスプレイを含み得る。

[00119] １つまたは複数のプロセッサ８３１２は、無線信号の送信および受信を制御する。送信モードの期間中、１つまたは複数のプロセッサ８３１２は、マイクロホン８３２２からの音声信号または他のデータ信号をＲＦ送信機／受信機８３０６へ提供する。送信機／受信機８３０６は、アンテナ８３０２を通じて信号を送信する。リンガ／バイブレータ８３１６は、着信、テキストメッセージ、カレンダリマインダ、アラーム時計リマインダ、または他の通知をユーザに知らせるために使用される。受信モードの期間中、ＲＦ送信機／受信機８３０６は、遠隔局からアンテナ８３０２を通じて音声信号またはデータ信号を受信する。受信された音声信号は、スピーカ８３２０に提供される一方で、他の受信されたデータ信号は、適当に処理される。

[00120] また、物理コネクタ８３８８は、電池８３０４を再充電するために、モバイルデバイス８３００をＡＣアダプタまたはパワードッキングステーションなどの外部電源に接続するために使用され得る。物理コネクタ８３８８は、外部コンピューティングデバイスへのデータ接続としても使用され得る。データ接続は、モバイルデバイスデータを別のデバイス上のコンピューティングデータと同期させるなどの動作を可能にする。

[00121] 開示される技術は、多くの他の汎用または専用コンピューティングシステム環境または構成と共に動作可能である。本技術と共に使用する上で適切となり得る周知のコンピューティングシステム、環境、および／または構成の例は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスのうちの任意のものを含む分散コンピューティング環境などを含むが、これらに限定されない。

[00122] 開示される技術は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能な命令の一般的な文脈において説明され得る。一般に、本明細書において説明されるようなソフトウェアおよびプログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および、特定のタスクを実行し、または特定の抽象データ型を実装する他のタイプの構造を含む。ハードウェアまたはハードウェアとソフトウェアとの組み合わせは、本明細書において説明されるようなソフトウェアモジュールと置換され得る。

[00123] 開示される技術は、通信ネットワークを通じてリンクされる遠隔処理デバイスによってタスクが実行される分散コンピューティング環境においても実施され得る。分散コンピューティング環境において、プログラムモジュールは、メモリ記憶デバイスを含む、ローカルコンピュータ記憶媒体および遠隔コンピュータ記憶媒体の双方に位置し得る。

[00124] 本文書の目的のために、開示される技術に関連付けられた各プロセスは、連続的に、および、１つまたは複数のコンピューティングデバイスによって、実行され得る。プロセスにおける各工程は、他の工程において使用されるものと同じまたは異なるコンピューティングデバイスによって実行されてもよく、各工程は、必ずしも単一のコンピューティングデバイスによって実行されることを必要としない。

[00125] 本文書の目的のために、明細書における「ある実施形態」、「一実施形態」、「いくつかの実施形態」、または「別の実施形態」への言及は、異なる実施形態を説明するために使用されており、必ずしも同じ実施形態に言及しない。

[00126] 本文書の目的のために、接続は、直接接続または（例えば、別の部分を介した）間接接続とすることができる。

[00127] 本文書の目的のために、物体の「セット」という用語は、１つまたは複数の物体の「セット」を指す。

[00128] 本主題は、構造的な特徴および／または方法論的な動作に固有の文言において説明されてきたが、添付の特許請求の範囲において定義される本主題は、上述された特定の特徴または動作に必ずしも限定されないことが理解されるべきである。むしろ、上述された特定の特徴および動作は、請求項を実装する例示的な形式として開示される。

Claims (10)

1. 拡張現実環境を表示するための電子デバイスであって、
   前記電子デバイスを使用する第１の人物に関連付けられたリマインダの第１のセットを記憶するメモリと、
   前記メモリと通信する１つまたは複数のプロセッサであって、前記電子デバイスの視野内の第２の人物を検出し、前記第２の人物に関連付けられたリマインダの第２のセットを取得し、前記第２の人物の前記検出に基づいて、前記リマインダの第１のセットおよび前記リマインダの第２のセットを優先順位付けする１つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサと通信するシースルーディスプレイであって、前記リマインダの第１のセットおよび前記リマインダの第２のセットの前記優先順位付けに基づいて、前記リマインダの第１のセットおよび前記リマインダの第２のセットのサブセットに対応する１つまたは複数の仮想物体を含む前記拡張現実環境を表示するシースルーディスプレイと、
   を備える、電子デバイス。
2. 前記１つまたは複数のプロセッサが、前記第２の人物と前記電子デバイスとの間の距離を決定し、前記１つまたは複数のプロセッサが、前記第２の人物と前記電子デバイスとの間の前記距離に基づいて、前記リマインダの第１のセットおよび前記リマインダの第２のセットを優先順位付けする、
   請求項１に記載の電子デバイス。
3. 前記１つまたは複数のプロセッサが、前記リマインダの第１のセットに関連付けられたリマインダ期限の第１のセット、および前記リマインダの第２のセットに関連付けられたリマインダ期限の第２のセットを決定し、前記１つまたは複数のプロセッサが、前記リマインダ期限の第１のセットおよび前記リマインダ期限の第２のセットに基づいて、前記リマインダの第１のセットおよび前記リマインダの第２のセットを優先順位付けする、
   請求項１に記載の電子デバイス。
4. 前記１つまたは複数のプロセッサが、前記第２の人物に関連付けられた前記リマインダの第１のセットのサブセットを決定し、前記１つまたは複数のプロセッサが、前記第２の人物に関連付けられた第２のモバイルデバイスへ前記サブセットをプッシュする、
   請求項１〜３のいずれかに記載の電子デバイス。
5. 前記１つまたは複数のプロセッサが、前記リマインダの第１のセットの第１のリマインダの完了を検出する、
   請求項１〜４のいずれかに記載の電子デバイス。
6. 前記１つまたは複数のプロセッサが、特定のグループを用いて、前記第２の人物がグループのメンバであることを識別することによって、前記第２の人物を検出する、
   請求項１〜５のいずれかに記載の電子デバイス。
7. 人間トリガのホログラフィックリマインダを生成および表示するための方法であって、
   ＨＭＤのエンドユーザに関連付けられた１つまたは複数のリマインダを決定することと、
   前記ＨＭＤの視野内の前記エンドユーザとは異なる第２の人物の識別を決定することと、
   前記第２の人物の前記識別に基づいて、１つまたは複数のスコアを前記１つまたは複数のリマインダに割り当てることと、
   前記１つまたは複数のスコアに基づいて、前記１つまたは複数のリマインダを順序付けることと、
   前記１つまたは複数のリマインダの前記順序付けに基づいて、前記１つまたは複数のリマインダのサブセットに対応する、１つまたは複数の仮想物体を、前記ＨＭＤを使用して、拡張現実環境内に表示することと、
   を含む、方法。
8. 前記第２の人物と前記ＨＭＤとの間の距離を決定することをさらに含み、前記１つまたは複数のスコアを割り当てることは、前記第２の人物の前記識別および前記第２の人物と前記ＨＭＤとの間の前記距離に基づいて、１つまたは複数のスコアを前記１つまたは複数のリマインダに割り当てることを含む、
   請求項７に記載の方法。
9. 前記１つまたは複数のリマインダに関連付けられた１つまたは複数のリマインダ期限を決定することをさらに含み、前記１つまたは複数のスコアを割り当てることは、前記１つまたは複数のリマインダ期限および前記第２の人物の前記識別に基づいて、１つまたは複数のスコアを前記１つまたは複数のリマインダに割り当てることを含む、
   請求項７または８のいずれかに記載の方法。
10. 前記第２の人物に関連付けられた前記１つまたは複数のリマインダの第２のセットを決定することと、
    前記第２の人物に関連付けられた第２のモバイルデバイスへ前記第２のセットをプッシュすることと、
    をさらに含む、請求項７〜９のいずれかに記載の方法。

Images