[00286]本開示は、接眼鏡形電気光学機器に関する。この接眼鏡は、画像を透過型レンズまたは半透過型レンズ上に投影し、接眼鏡の装着者が表示画像だけでなく周囲の環境を見るのも可能にするのに適した投影光学機器を含んでもよい。この投影光学機器は、プロジェクタとも呼ばれ、フィールドシーケンシャルカラーを使用するRGB LEDモジュールを含んでもよい。フィールドシーケンシャルカラーでは、単一のフルカラー画像が赤色、緑色、および青色の原色に基づいてカラーフィールドに分割され、LCoS(液晶オンシリコン)光学ディスプレイ210によって個々に撮像される。各カラーフィールドが光学ディスプレイ210によって撮像されると、対応するLEDカラーがオンになる。これらのカラーフィールドが高速に連続して表示されたときに、フルカラー画像を見ることができる。フィールドシーケンシャルカラー照明では、赤色画像を青色画像および/または緑色画像に対してずらすことなどによって、接眼鏡において得られる投影画像をあらゆるクロミック収差に関して調整することができる。画像はその後、2自由曲面導波路内に反射されてもよく、画像光は、導波路において、ユーザが画像を見るレンズの有効観察領域に達するまで内部全反射(TIR)に関与する。プロセッサは、メモリとオペレーティングシステムとを含んでもよく、LED光源および光学ディスプレイを制御することができる。プロジェクタは、ディスプレイ結合レンズ、集光レンズ、偏光ビームスプリッタ、およびフィールドレンズを含んでいても、またはディスプレイ結合レンズ、集光レンズ、偏光ビームスプリッタ、およびフィールドレンズに光学的に結合されてもよい。
[00287]図123Aおよび図123Bを参照すると分かるように、プロセッサ12302(例えば、デジタルシグナルプロセッサ)は、接眼鏡100のディスプレイ構成要素12328(例えば、LCOSディスプレイ構成要素)を介して画像を表示できるようにディスプレイシーケンシャルフレーム12324を生成することができる。諸実施形態では、シーケンシャルフレーム12324は、プロセッサ12302とディスプレイ構成要素12328との間の中間構成要素としてのディスプレイドライバ12312によって生成されても、またはディスプレイドライバ12312なしで生成されてもよい。例えば、図123Aを参照すると分かるように、プロセッサ12302は、フレームバッファ12304とディスプレイインターフェース12308(例えば、ディスプレイシリアルインターフェース(DSI)を有するモバイルインダストリープロセッサインターフェース(MIPI))とを含んでもよい。ディスプレイインターフェース12308は、プロセッサ12302とディスプレイ構成要素12328との間の中間構成要素としてのディスプレイドライバ12312に画素単位RGBデータ12310を供給してもよく、その場合、ディスプレイドライバ12312は、画素単位RGBデータ12310を受け入れ、赤色、緑色、および青色に関する個々のフルフレームディスプレイデータ12318、12320、および12322を生成し、したがって、ディスプレイシーケンシャルフレーム12324をディスプレイ構成要素12328に供給する。さらに、ディスプレイドライバ12312は、フルフレーム12318、12320、12322がディスプレイシーケンシャルフレーム12324としてディスプレイ構成要素12328に送られる際に同期をとるようなタイミング信号を生成してもよい。別の例では、図123Bを参照すると分かるように、ディスプレイインターフェース12330は、赤色、緑色、および青色に関するフルフレームディスプレイデータ12334、12338、および12340をディスプレイシーケンシャルフレーム12324としてディスプレイ構成要素12328に直接供給することによってディスプレイドライバ12312を不要にするように構成されてもよい。さらに、タイミング信号12332がディスプレイインターフェース12330からディスプレイ構成要素に直接供給さてもよい。この構成は、ディスプレイドライバを不要にすることによって電力消費量を顕著に低減させることができる。この直接パネル情報によって、ドライバが不要になるだけでなく、構成の論理全体を簡略化し、かつパネル情報を画素から再形成したり、画素情報をフレームから生成したりするのに必要な冗長なメモリを削除することなどができる。
[00288]図186を参照すると分かるように、諸実施形態において、LCoS+ASICパッケージ18600の屈曲性を向上させるには、ASICをフレキシブルプリント回路(FPC)18604上に、上面に補強材を設けることによって取り付ければよい。上面の補強材は、ASICと同じ高さであればパッケージ全体の厚さを増すことはない。FPCは、ゼロ挿入力(ZIF)接続部またはピン数がより多い場合のボードツーボードコネクタなどのコネクタ18602を介してLCoSオンガラスファイバ補強エポキシ樹脂積層材(FR4)18608のような標準的なLCoSパッケージに接続されてもよい。感圧接着剤を使用してASIC、(1つまたは複数の)補強材、およびLCoSをFPCに結合してもよい。
[00289]図1では、拡張現実接眼鏡100の例示的な実施形態が示され得る。接眼鏡100の実施形態が図1に示されているすべての要素を含まなくてもよく、一方、他の実施形態が追加の要素または異なる要素を含んでもよいことが理解されよう。諸実施形態において、光学素子は接眼鏡のフレーム102のアーム部122に埋め込まれてもよい。プロジェクタ108によって画像がフレーム102の開口部に配設された少なくとも1つのレンズ104上に投影される。ナノプロジェクタ、ピコプロジェクタ、マイクロプロジェクタ、フェムトプロジェクタ、レーザベースプロジェクタ、ホログラフィックプロジェクタのような1つまたは複数のプロジェクタ108が接眼鏡フレーム102のアーム部に配設されてもよい。諸実施形態において、どちらのレンズ104も透過型または半透過型であり、一方、他の実施形態では、一方のレンズ104のみが半透過型であり、他方のレンズは不透明であるかまたは存在しない。諸実施形態において、接眼鏡100に複数のプロジェクタ108が含められてもよい。
[00290]図1に示すような実施形態では、接眼鏡100は、少なくとも1つの連接イヤホン120と、無線トランシーバ118と、LED光エンジンから熱を吸収し、LED光エンジンを低温に維持し、LED光エンジンが完全な明るさで動作するのを可能にするためのヒートシンク114とをさらに含んでよい。1つまたは複数のTI OMAP4(オープンマルチメディアアプリケーションプロセッサ)112、およびRFアンテナ110を含むフレックスケーブルも存在し、これらについて本明細書において詳しく説明する。
[00291]一実施形態において、図2を参照すると分かるように、プロジェクタ200はRGBオブジェクトであってもよい。プロジェクタ200は、ハウジング202と、ヒートシンク204と、RGB LEDエンジンまたはRGB LEDモジュール206とを含んでもよい。RGB LEDエンジン206は、LED、ダイクロイック光学素子、集光素子などを含んでもよい。デジタルシグナルプロセッサ(DSP)(図示せず)は、画像または映像ストリームを、LED光の強度、持続時間、および混合を制御するための電圧降下/電流補正信号、パルス幅変調(PWM)信号のような制御信号に変換してもよい。例えば、DSPは、複数の色を生成する各LED内を流れる平均電流を制御するように各PWM信号のデューティサイクルを調節してもよい。接眼鏡の静止画像コプロセッサは、ノイズフィルタリング、画像/映像安定化、および顔検出を使用してよく、画像強調を行うことが可能であってもよい。接眼鏡のオーディオバックエンドプロセッサはバッファリング、SRC、等化などを使用してもおい。
[00292]プロジェクタ200は、LCoSディスプレイなどの光学ディスプレイ210と図示のようないくつかの構成要素とを含んでもよい。諸実施形態では、プロジェクタ200は、単一パネルLCoSディスプレイ210を有するように設計されるが、3パネルディスプレイも使用可能であってよい。単一パネル実施形態では、ディスプレイ210は赤色、青色、および緑色で連続的に照明される(akaフィールドシーケンシャルカラー)。他の実施形態では、プロジェクタ200は、バックライト液晶ディスプレイ(LCD)、フロントライトLCD、半透過型LCD、有機発光ダイオード(OLED)、電界放出ディスプレイ(FED)、強誘電LCoS(FLCOS)、サファイア実装液晶技術、透過型液晶マイクロディスプレイ、量子ドットディスプレイなどの代替光学ディスプレイ技術を利用してもよい。
[00293]様々な実施形態において、ディスプレイは3Dディスプレイ、LCD、薄膜トランジスタLCD、LED、LCOS、強誘電液晶オンシリコンディスプレイ、CMOSディスプレイ、OLED、OED画素同士の間の接合部にCMOS型画素センサを有するOLEDアレイ、透過型LCoSディスプレイ、CRTディスプレイ、VGAディスプレイ、SXGAディスプレイ、QVGAディスプレイ、映像ベースの視線追跡装置を含むディスプレイ、出射瞳(exit pupil)拡張技術を利用するディスプレイ、アサヒフィルムディスプレイ、自由曲面光学ディスプレイ、XY多項式コンバイナディスプレイ、導光伝達ディスプレイ、Amoledディスプレイなどであってもよい。諸実施形態において、ディスプレイは、接眼鏡が画像光源からの画像をホログラムとして表示するのを可能にするホログラフィックディスプレイであってもよい。諸実施形態において、ディスプレイは液晶反射型マイクロディスプレイであってもよい。そのようなディスプレイは、偏光光学素子を含んでもよく、あるOLEDマイクロディスプレイと比較して明るさを向上させることができる。諸実施形態において、ディスプレイは自由曲面プリズムディスプレイであってもよい。自由曲面プリズムディスプレイは、3D立体撮像機能を実現することができる。諸実施形態において、ディスプレイは、それぞれキャノンおよびオリンパスによって米国特許第6,384,983号および米国特許第6,181,475号に記載されたディスプレイと同様であってもまたは同じであってもよい。さらに他の実施形態では、ディスプレイは、映像ベースの視線追跡装置を含んでもよい。諸実施形態において、赤外線光源の光線を出射瞳拡大素子(EPE)の内部で分割し拡張して、EPEから目に向かうコリメートされた光線を生成してもよい。小型ビデオカメラが角膜を撮像してもよく、瞳および赤外線の閃光の位置を特定することによって視線の方向を算出してもよい。ユーザ校正の後で、視線追跡装置からのデータは、入力デバイスとして使用することのできる表示画像におけるユーザ焦点を反映することができる。そのようなデバイスは、フィンランド、タンペレのノキア研究所によって実現されているディスプレイと同様であってもよい。さらに、諸実施形態において、ディスプレイは、出射瞳を拡大し画像を新しい位置に送る出射瞳拡大素子を含んでもよい。したがって、ユーザの目の前に薄い透明なプレートを配置するだけでよく、画像光源を他の場所に配置してもよい。さらに他の実施形態では、ディスプレイは軸外光学ディスプレイであってもよい。諸実施形態において、そのようなディスプレイは、開口の機械的中心と一致しなくてもよい。これによって、一次開口が二次光学素子、計器パッケージ、および/またはセンサによって妨害されるのを回避することができ、焦点を合わせた状態で計器パッケージおよび/またはセンサに手を届かせることが可能になる。例えば、アクティブマトリックス有機発光ダイオード(Amoled)ディスプレイは、Nouvoyance社から市販されており、2つの点でより多くの光を透過させることのできる、PenTileと呼ばれる画素設計を使用してもよい。第1に、赤色、青色、および緑色の副画素(subpixel)が従来のディスプレイにおける副画素よりも大きい。第2に、副画素は4つおきに透明である。このことは、バックライトの消費電力を削減し、明るさを向上させ得ることを意味する。副画素の数を減らすと通常、解像度が低下するが、PenTileディスプレイは、RGBストライプパネルの副画素の約3分の1の副画素を使用しつつ、個々の副画素を使用して目に同じ解像度を知覚させる。PenTileディスプレイはまた、画像処理アルゴリズムを使用してシーンの明るさを求め、画像がより暗い場合には自動的にバックライトを暗くする。
[00294]前述の従来技術の制限を解消するために、本開示は、表示視野全体にわたって画像の各部を徐々にスキャンするように連続的に使用することのできる導波路内の切替え可能ミラーの一体的なアレイを提供する。ミラーを反射型から透過型に連続的に高速に切り替えることによって、画像をちらつきを知覚させずにユーザに送ることができる。各切替え可能ミラーは、反射状態ではなく透過状態であるので、切替え可能ミラーのアレイは、ユーザには透明に見えるが、ユーザに対する表示画像の表示も行う。
[00295]導波路によって画像光源からの光を表示することは、当業者には周知であり、したがって、本明細書では説明しない。導波路および画像光源から表示領域への光の伝達についての例示的な説明は、米国特許第5076664号および米国特許第6829095号に記載されている。本開示は、画像光源から送られる導波路内の画像光の方向を変更してユーザに画像を提示するための方法および装置を含む。
[00296]図125は、導波路12510を通して送られる画像光源12502からの光の方向を変更して画像光12504をユーザに提示する切替え可能ミラー12508a〜12508cの一体的なアレイを含む導波路ディスプレイデバイス12500を示す。3つの切替え可能ミラー12508a〜12508cが図示されているが、本開示ではアレイに異なる数の切替え可能ミラーを含めてもよい。図125に示す切替え可能ミラーは、液晶切替え可能ミラーを含む電気的に切替え可能なミラーである。切替え可能ミラー12508a〜12508cとして示されている薄い層内に液晶材料を収容するためにカバーガラス12512が設けられている。図125は、電力線12514および12518をさらに示している。
[00297]導波路12510および切替え可能ミラー12508a〜12508cの一体的なアレイは、適切に平坦であるかぎりプラスチック材料またはガラス材料で作られてもよい。切替え可能ミラーは反射率が高いので、厚さの一様性は大部分の液晶デバイスほど重要ではない。切替え可能液晶ミラーの構成は米国特許第6999649号に記載されている。
[00298]図126および図127は、アレイ内の切替え可能ミラーのうちの1つのみが一度に反射状態になり、そのときアレイ内の他の切替え可能ミラーは透過状態である本開示の連続態様を示している。図124は、反射状態にあり、それによって画像光源12502からの光の方向を変更し、画像の一部をユーザに提示する画像光12504にする第1の切替え可能ミラー12508aを示す。他の切替え可能ミラー12508bおよび12508cは透過状態にある。図124は導波路12410をさらに示す。
[00299]図126では、切替え可能ミラー12508aおよび12508cが透過状態であり、一方、切替え可能ミラー12508bは反射状態である。この状態では、画像光12600とそれに関連する画像の部分がユーザに提示される。最後に、図127では、切替え可能ミラー12508aおよび12508bが透過状態であり、一方、切替え可能ミラー12508cは反射状態である。この最後の状態では、画像光12700とそれに関連する画像の部分がユーザに提示される。この最後の状態に続いて、このシーケンスが、図124に示すように繰り返され、その後図125に示すように繰り返され、次いで図126に示すように繰り返されて画像が徐々にスキャンされる。シーケンスは、ユーザが表示画像を見ている間連続的に繰り返される。したがって、画像光源12502からのすべての光の方向が、シーケンス中の任意の所与の時間において単一の切替え可能ミラーによって変更される。画像光源は、切替え可能ミラーが視野全体にわたって画像光12504を徐々にスキャンする間連続的に動作する。画像光がより明るく知覚されるかまたはそれぞれに異なる切替え可能ミラーにおいて色バランスが異なる場合、それを補償するように画像光源が調整されてもよく、画像光源の明るさおよび色バランスが、切替え可能ミラーのアレイの切替えの順序と同期するように変調されてもよい。本開示の別の実施形態では、切替え可能ミラーの切替えの順序が、切替え可能ミラーのアレイにおいて1、3、2、4のように繰り返されるインターレースされた画像をユーザに提示するように変更されてもよい。
[00300]図128は、機械的に駆動される切替え可能ミラーの一体的なアレイが提供される本開示の別の実施形態を示す。この場合、導波路ディスプレイデバイス12800内の切替え可能ミラーは、交互にエアギャップを形成するか、またはそれぞれ表面12810a〜12810cと光学的に接触するように移動させられるプリズム12804a〜12804cを備える。図128に示すように、プリズム12804aは下向きに移動させられてエアギャップを形成しており、したがって、表面12810aは内部全反射によって動作する反射面になっている。同時に、プリズム12804bおよび12804cは押し上げられてそれぞれ表面12810bおよび12810cと光学的に接触しており、したがって、表面12810bおよび12810cは透過状態である。この状態では、画像光源12502からの光の方向が変更されて、画像の一部をユーザに提示する画像光12802が得られる。この実施形態では、切替え可能ミラーは、透過率がほぼ100%である光学的接触状態から反射率がほぼ100%である内部全反射状態に移る。図128は、電力線12812、マウント・コモングランド接続部12814、およびマイクロアクチュエータ12818a〜12818cをさらに示す。
[00301]図129および図130は、切替え可能ミラーアレイにおける機械的に駆動される切替え可能ミラーのシーケンスにおける他の状態を示す。図129では、プリズム12804aおよび12804cが押し上げられて、それぞれ表面12810aおよび12810cと光学的に接触し、それによって画像光源12502からの光に対して透過状態が確立されている。同時に、プリズム12804bが下向きに移動させられて表面12810bの所にエアギャップを形成し、したがって、画像光源12502からの光の方向が変更され、画像の関連する部分をユーザに提示する画像光12900が得られる。図130に示すシーケンスの最後のステップでは、プリズム12804aおよび12804bが押し上げられて、それぞれ表面12810aおよび12810bと光学的に接触し、それによって画像光源からの光が透過して表面12810cに達する。プリズム12804cが下向きに移動させられて表面12810cの所にエアギャップを形成し、したがって、表面12810cは内部全反射が可能な反射面になり、画像光源12502からの光の方向が変更され、画像の関連する部分を含む画像光13000が得られる。
[00302]上記の説明では、内部全反射の条件は、当業者に周知のように導波路12808の材料の光学的特性および大気に基づく。図128〜図130に示すような90度の反射を得るには、導波路12808の屈折率が1.42よりも高くなければならない。プリズム12804a〜12804cとそれぞれ表面12810a〜12810cの間を光学的に接触させるには、プリズム12804a〜12804cの表面が1.0ミクロンの誤差内で表面12810a〜12810cと一致しなければならない。最後に、画像光源12502からの光を界面の所で偏向されずに導波路12808およびプリズム12804a〜12804cを透過させるには、プリズム12804a〜12804cの屈折率が導波路12808の屈折率と約0.1の誤差内で同じでなければならない。
[00303]図131aおよび図131bは、本開示に含まれるような切替え可能ミラーのアレイを有する導波路アセンブリ13102の例を示す。図131は、ユーザの頭部上の導波路アセンブリ13102の側面図を示し、この場合、切替え可能ミラーのアレイの長軸が垂直に向けられ、それによって画像光13100がユーザの目に送られる。図131bは、ユーザの頭部上の導波路アセンブリ13102の上面図を示し、この場合、切替え可能ミラーのアレイ13104の短軸を見ることができ、画像光13100はユーザの目13110に提示される。図131aおよび図131bでは、画像光13100に形成された視野を明確に見ることができる。図131bでは、アレイ内のそれぞれに異なる切替え可能ミラーによって提示される画像のそれぞれの部分も見ることができる。図131bは、LCOSディスプレイまたはLCDディスプレイなどの小型ディスプレイから光を生成する内部光源を有する画像光源13108を含み、光が次いで導波路によって切替え可能ミラーに伝えられ、切替え可能ミラーによって方向を変更され、ユーザの目13110に提示される画像光13100になる導波路アセンブリ13102の実施形態も示す。
[00304]切替え可能ミラーが画像の連続する部分をユーザに提示するように動作させられるときにユーザが画像のちらつきを知覚するのを抑制するために、切替え可能ミラーシーケンスは60Hzよりも高速に実行されることが好ましい。この場合、アレイ内の各切替え可能ミラーは、シーケンスの各サイクルにおいて(1/60)X1/n秒間反射状態になり、次いで(1/60)X(n−1)/n秒間透過状態になる。したがって、各切替え可能ミラーは、シーケンスの各サイクルにおいて反射状態よりも長時間にわたって透過状態になり、したがって、ユーザは切替え可能ミラーのアレイを比較的透明であると知覚する。
[00305]本開示の別の実施形態では、切替え可能ミラーの一体的なアレイは、表示領域を覆うのに必要なよりも多くの切替え可能ミラーを有する。この余分な切替え可能ミラーは、それぞれに異なる目の間隔(瞳孔間間隔とも呼ばれる)を有する様々なユーザに対する調整を施すのに使用される。この場合、画像をユーザに提示するのに使用される切替え可能ミラーは互いに隣接しており、したがって、連続的な画像領域を構成する。アレイの縁部にある切替え可能ミラーは、ユーザの目の間隔に応じて使用される。図132A〜図132Cに示す例として、アレイ13200は、各々が3mm幅の7つの切替え可能ミラーを備える。使用時には、隣接する5つの切替え可能ミラーは、15mm幅の表示領域(13202a〜13202c)を形成し、目の間隔に対して+/−3mmの調整を施すことができる。図132Aに示すように目の間隔が狭い場合、内側縁部に向かって5つの切替え可能ミラーが表示のために使用され、一方、2つの外側切替え可能ミラーは使用されない。図132Cに示すように目の間隔が広い場合、外側縁部に向かって5つの切替え可能ミラーが表示のために使用され、一方、2つの内側切替え可能ミラーは使用されない。図132Bには、中央の5つの切替え可能ミラーが使用され、外側および内側の切替え可能ミラーが使用されない中央ケースが示されている。この説明では、「使用されない」という用語は、他の切替え可能ミラーが透過状態と反射状態を連続的に繰り返すのに使用される間切替え可能ミラーが透過状態に保持されることを指す。
[00306]例
[00307]第1の例では、ニューヨーク州ホープウェルジャンクションに所在のKent Optronics Inc.(http://www.kentoptronics.com/)によって市販されている、高速応答が可能な液晶切替え可能ミラーを使用する。この導波路は、ガラスまたはプラスチックで作られ、各層間の空間に液晶が、厚さが5ミクロンになるように収容されている。カバーガラスは、外側表面上に液晶を含む。応答時間は10ミリ秒であり、反射状態における反射率は87%であり、透過状態における透過率は87%である。30Hzで動作する3つの切替え可能ミラーを連続的に駆動することができる。切替え可能ミラーの幅が5mmである場合、幅が8mmのアイボックスを含む導波路から10mmの位置で目によって見たときの38度の視野に等しい幅が15mmの表示領域が形成される。
[00308]第2の例では、屈折率が1.53であるガラスまたはプラスチックで作られた機械的に駆動されるプリズムアレイが設けられ、導波路は、屈折率が1.53である同じ材料で作られる。プリズムの表面は平坦度が1ミクロン未満になるように研磨され、プリズムを透過状態から反射状態へと約10ミクロン移動させるのに圧電マイクロアクチュエータが使用される。導波路は、プリズムの嵌め合い面上で平坦度が1ミクロン未満になるように成形される。5つの切替え可能ミラーは、100Hzで連続的に動作するように圧電アクチュエータによって駆動されてもよい。圧電マイクロアクチュエータは、フロリダ州マイアミのSteiner & Martins Inc.(http://www.steminc.com/piezo/PZ_STAKPNViewPN.asp?PZ_SM_MODEL=SMPAK15510D10)から市販されており、150Vで駆動される5X5X10mmパッケージにおいて200ポンド(90.718kg)を超える力によって10ミクロンの移動を生じさせる。各々の幅が5mmである5つのプリズムのアレイを使用して、幅が8mmのアイボックスを含む導波路から10mmの位置で目によって見たときの72度の視野に等しい幅が25mmの表示領域が形成される。代替として、3つのプリズムのみを使用して幅が15mmの表示領域(38度の視野)を形成し、様々なユーザのそれぞれに異なる目と目の間の間隔に対して横方向に+/−5mmの調整を施せるように表示領域を移動させるのを可能にする。
[00309]諸実施形態では、導波路ディスプレイシステムは、表示画像から画像光を生成する画像光源と、画像光を表示領域に送るための導波路と、導波路からの画像光の方向を変更して、ユーザが表示画像を見ることのできる表示領域に画像光を送るための切替え可能ミラーの一体的なアレイとを備えてもよい。諸実施形態では、切替え可能ミラーは電気的に駆動される。諸実施形態では、切替え可能ミラーは機械的に駆動されてもよい。さらなる実施形態では、マイクロアクチュエータを使用して切替え可能ミラーを機械的に駆動してもよい。さらに、マイクロアクチュエータは圧電式であってもよい。切替え可能ミラーは、表示領域全体にわたって画像光の各部を徐々にスキャンするように透過状態と反射状態との間に切り替えられてもよい。
[00310]諸実施形態では、導波路から表示画像を送る方法は、画像光源からの光を導波路に送ることと、導波路内の表示領域の上方に切替え可能ミラーの一体的なアレイを設けることと、切替え可能ミラーを透過状態と反射状態との間で連続的に動作させ、表示領域全体にわたって画像光の各部を徐々にスキャンすることとを含んでもよい。
[00311]さらに他の実施形態において、瞳孔間調整が可能な導波路ディスプレイシステムは、表示画像から画像光を生成する画像光源と、画像光を表示領域に送るための導波路と、導波路からの画像光の方向を変更して画像光をディスプレイに送るための切替え可能ミラーの一体的なアレイとを備えてもよい。さらに、切替え可能ミラーのアレイは、表示領域を覆うのに必要なよりも多いミラーを有してもよく、アレイの縁部にある切替え可能ミラーを使用してユーザの目の間隔に一致する表示領域を形成してもよい。
[00312]接眼鏡は、電池、太陽電力、ライン電力などの電源によって電力を供給されてもよい。電源は、フレーム102に内蔵されても、または接眼鏡10の外部に配設され接眼鏡100の駆動要素と電気的に連絡してもよい。例えば、太陽エネルギー収集装置をフレーム102上、ベルトクリップ上などに配置してもよい。電池の充電は、壁充電器やソケット充電器を使用して行われても、ベルトクリップ上で行われても、接眼鏡ケース内で行われても、その他の方法で行われてもよい。
[00313]プロジェクタ200は、ヒートシンク204上に取り付けられてもよいLED光エンジン206と、LED光エンジンを振動しないように取り付けるのを可能にするためのホルダ208と、中空の先細りライトトンネル220と、ディヒューザ212と、集光レンズ214とを含んでもよい。中空のトンネル220は、RGB LED光エンジンからの急速に変化する光を均一化するのを助ける。一実施形態では、中空のライトトンネル220は、銀色のコーティングを含む。ディヒューザレンズ212は、光が集光レンズ214に導かれる前に光をさらに均一化し混合する。光は集光レンズ214から出射し、次いで偏光ビームスプリッタ(PBS)218に入射する。PBSでは、LED光は、伝搬させられて偏光成分に分割され、その後屈折されてフィールドレンズ216およびLCoSディスプレイ210に達する。LCoSディスプレイはマイクロプロジェクタ用の画像を生成する。画像は次いで、LCoSディスプレイから反射され、再び偏光ビームスプリッタを透過し、次いで90度反射される。したがって、画像はマイクロプロジェクタ200のほぼ真ん中の所でマイクロプロジェクタ200から出射する。光は次いで、後述の結合レンズ504に導かれる。
[00314]図2は、本明細書において説明する他の補助図と一緒にプロジェクタアセンブリの実施形態を示すが、当業者には、他の構成および光学技術を使用してもよいことが諒解されよう。例えば、反射光学素子を含むよりも、サファイアの基板を含む構造などの透過構造を利用してプロジェクタシステムの光路を実装し、したがって、場合によってはビームスプリッタ、方向変換ミラーなどの光学構成要素を変更しならびに/あるいはなくしてもよい。システムはバックライトシステムを有してもよく、その場合、LED RGBトリプレットは、光をディスプレイを透過させるように方向を定められた光源であってもよい。その結果、バックライトおよびディスプレイは導波路に隣接して取り付けられてもよく、またはディスプレイの後にコラムナイジング/配向光学素子を設けて光を適切に光学素子に入射させてもよい。配向光学素子がない場合、ディスプレイは導波路の頂部、側面などに設けられてもよい。一例では、小型の透過型ディスプレイが、透明基板(例えば、サファイア)上のシリコンアクティブバックプレーンと、シリコンアクティブバックプレーンによって制御される透明電極と、液晶材料と、偏光子などと一緒に実装されてもよい。偏光子の機能は、システムを透過する光を非偏光状態にするように補正を行いディスプレイのコントラストを改善することであってよい。別の例では、システムは、膜−ミラー光が微小電気機械システム(MEMS)に基づいてシャッター制御されるマイクロチャネル空間光変調器のような、ある形態の空間変動変調を光路に施す空間光変調器を利用してもよい。システムは、(例えば、変形可能な膜アクチュエータを含む)同調可能な光学フィルタ、高角度偏向マイクロミラーシステム、離散位相光学素子のような他の光学構成要素を利用してもよい。
[00315]他の実施形態では、接眼鏡は、電力効率の向上、ディスプレイの明るさの改善、構成要素のコストの削減などを実現するOLEDディスプレイ、量子ドットディスプレイなどを利用してもよい。さらに、OLEDディスプレイおよび量子ドットディスプレイなどの表示技術は、可撓性のディスプレイを実現することができ、したがって、パッケージング効率が向上し、接眼鏡の全体的なサイズを縮小するのが可能になる。例えば、OLEDディスプレイ材料および量子ドットディスプレイ材料は、打ち抜き加工技術によってプラスチック基板上に印刷されてもよく、したがって、可撓性のディスプレイ構成要素が作製される。例えば、OLED(有機LED)ディスプレイは、バックライティングを必要としない可撓性の低出力ディスプレイであり得る。OLEDディスプレイは、標準的な眼鏡レンズのように湾曲させてもよい。一実施形態では、OLEDディスプレイは透過型ディスプレイであり得るかまたは透過型ディスプレイを実現し得る。諸実施形態では、高い変調伝達関数によって、従来実現できなかった、解像度レベルとデバイスサイズ、例えば眼鏡フレーム厚さとの組合せが可能になる。
[00316]図82を参照すると分かるように、接眼鏡は、反射型ディスプレイ8210に対応して平面状照明ファシリティ8208を利用してもよく、その場合、(1つまたは複数の)光源8202が平面状照明ファシリティ8208の縁部に結合され(8204)、平面状照明ファシリティ8208の平面側が、伝達光学素子8212を通して装着者の目8222に対してコンテンツの画像を表示する反射型ディスプレイ8210を照明する。諸実施形態において、反射型ディスプレイ8210はLCD、LCDオンシリコン(LCoS)、コレステリック液晶、ゲスト−ホスト液晶、ポリマー分散液晶、遅相(phase retardation)液晶など、または当技術分野において周知の他の液晶技術であってもよい。他の実施形態では、反射型ディスプレイ8210は、電気泳動ディスプレイ、エレクトロフルイディックディスプレイ、エレクトロウェッティングディスプレイ、電気運動ディスプレイ、コレステリック液晶ディスプレイなどの双安定ディスプレイ、または当技術分野において周知の任意の他の双安定ディスプレイであってもよい。反射型ディスプレイ8210は、LCD技術と双安定ディスプレイ技術の組合せであってもよい。諸実施形態では、光源8202と平面状照明ファシリティ8208との間の「縁部」との結合8204は、最初に頂面、底面、傾斜面などを透過させるように、平面状照明ファシリティ8208の他の表面を透過させ、次いで平面状照明ファシリティ8208の平面に向けることによって行われてもよい。例えば、光は平面状照明ファシリティに頂面から入射するが、平面の方向に屈曲されるように45度の面(facet)に入射してもよい。代替実施形態では、光の方向をこのように屈曲させることが光学コーティングによって実施されてもよい。
[00317]一例では、光源8202は、平面状照明ファシリティの縁部に直接結合された(8204)RGB LED光源(例えば、LEDアレイ)であってもよい。平面状照明ファシリティの縁部に入射した光は次に、本明細書において説明するように、撮像されるように反射型ディスプレイに送られる。光は反射型ディスプレイに入射して撮像され、次いで、反射型ディスプレイの後部にある反射面などによって、方向を変更されて再び平面状照明ファシリティを透過する。光は次いで、レンズ8214などを通して、画像を装着者の目8222に向けるための伝達光学素子8212に入射し、ビームスプリッタ8218によって反射されて反射面8220に達し、再びビームスプリッタ8218などを透過して目8222に達する。伝達光学素子8212については8214、8218、および8220に関して説明したが、当業者には伝達光学素子8212が、本明細書において説明するよりも複雑な構成またはより単純な構成を含む、任意の周知の伝達光学素子構成を含んでもよいことが諒解されよう。例えば、フィールドレンズ8214における焦点距離が異なる場合、ビームスプリッタ8218が画像を直接目に向かうように屈曲させてもよく、したがって、湾曲したミラー8220が不要になり、より簡素な設計実装形態が実現される。諸実施形態において、光源8202はLED光源、レーザ光源、白色光源などであっても、または当技術分野において周知の任意の他の光源であってもよい。光結合機構8204は、光源8202と平面状照明ファシリティ8208との間の直接的な結合であっても、または導波路、光ファイバ、ライトパイプ、レンズなどのような結合媒体もしくは結合機構を介した結合であってもよい。平面状照明ファシリティ8208は、光を受け取り、干渉格子、光学的欠陥、散乱フィーチャ、反射面、屈折素子などによって光の方向を変更して平面状照明ファシリティ8208の構造の平面側に送る。平面状照明ファシリティ8208は、反射型ディスプレイ8210と平面状照明ファシリティ8208の組合せ厚さを薄くするように反射型ディスプレイ8210を覆うカバーガラスであってもよい。平面状照明ファシリティ8208は、伝達光学素子8212に最も近い側に配置され、画像光が平面状照明ファシリティ8208を透過して伝達光学素子8212に達するときに画像光の円錐角を拡張させるディヒューザをさらに含んでもよい。伝達光学素子8212は、レンズ、ミラー、ビームスプリッタなどの複数の光学要素を含んでも、または当技術分野において周知の任意の他の光学伝達素子を含んでもよい。
[00318]図83は、接眼鏡8300用の光学系8302の実施形態を示し、基板8304に取り付けられた平面状照明ファシリティ8310および反射型ディスプレイ8308が、装着者の目が画像を受け取るアイボックス8320に画像を提示する、初期発散レンズ8312、ビームスプリッタ8314、および球形ミラー8318を含む伝達光学素子8212と相互作用するように示されている。一例では、ビームスプリッタ8314は、ワイヤグリッド偏光子、金属部分透過ミラーコーティング、などであってもよく、球形反射体8318は、表面に部分ミラーを形成するための一連の誘電コーティングであってもよい。別の実施形態では、球形ミラー8318上のコーティングは、部分透過ミラーを形成するための薄い金属コーティングであってもよい。
[00319]光学系の実施形態において、図84は、導波路波長変換器8420、8422を介して平面状照明ファシリティ8408に結合されるレーザ光源8402を利用する構成を含む強誘電光波回路(FLC)8404の一部として平面状照明ファシリティ8408を示しており、この場合、平面状照明ファシリティ8408は、格子技術を利用して平面状照明ファシリティの縁部からの入射光を反射型ディスプレイ8410に面する平面状表面に送る。反射型ディスプレイ8410からの画像光は次いで、方向を変更されて支持構造8414の穴8412を通して再び平面状照明ファシリティ8408を透過して伝達光学素子に達する。この実施形態はレーザ光を利用するので、FLCも光学フィードバックを利用して、米国特許第7265896号に記載されたようにレーザスペクトルを広げることによってレーザからのスペックルを低減させる。この実施形態では、レーザ光源8402はIRレーザ光源であり、FLCは、レーザ光にホップを生じさせ帯域幅を広げてスペックルを抑圧する後方反射と、RGBへの光線を組み合わせる。この実施形態では、スペックル抑圧は導波路8420内で行われる。レーザ光源8402からのレーザ光は、マルチモード干渉コンバイナ(MMI)8422を通して平面状照明ファシリティ8408に結合される。各レーザ光源点は、MMIコンバイナを横切る光が平面状照明ファシリティ8408への一方の出力ポートに重畳されるように位置している。平面状照明ファシリティ8408の格子は反射型ディスプレイのための一様照明を生成する。諸実施形態において、格子要素は、非常に細かいピッチ(例えば、干渉)を使用して反射型ディスプレイへの照明を生成し、この照明は、光が平面状照明ファシリティを透過して伝達光学素子に達するときに格子からの散乱を顕著に抑制した状態で反射される。すなわち、光は、格子が光をほぼ完全に透過させるように揃えられる。この実施形態において利用される光学フィードバックがレーザ光源を使用することによるものであり、LEDを使用するときは、LEDがすでに十分に広い帯域幅を有するのでスペックル抑圧を行わなくてもよいことに留意されたい。
[00320]光学的欠陥、この場合は「グルーブ形」構成を有する構成を含む平面状照明ファシリティ8502を利用する光学系の実施形態が図85に示されている。この実施形態では、(1つまたは複数の)光源8202が平面状照明ファシリティ8502の縁部に直接結合される(8204)。その場合、光は平面状照明ファシリティ8502を透過し、一片のポリメチルメタクリレート(PMMA)のグルーブのような平面状照明ファシリティ材料の小さいグルーブ8504A〜8504Dに達する。諸実施形態において、グルーブ8504A〜8504Dは、入射口から離れるにつれて間隔が変化し(例えば、8504Aから8504Dに進むにつれて「攻撃的」でなくなる)、高さ、ピッチなどが変化し得る。光は次いで、グルーブ8504A〜8504Dによって方向を変更され、反射型ディスプレイ8210に達する扇状の光線を生成する光源のインコヒーレントアレイとして反射型ディスプレイ8210に達し、この場合、反射型ディスプレイ8210は、重なり合って反射型ディスプレイ8210の全領域を一様に照明する各グルーブからの照明パターンを生成するのに十分な距離だけグルーブ8504A〜8504Dから離れている。他の実施形態では、グルーブに最適な間隔を与えてもよく、その場合、光をよりコヒーレントにする(フィルを増大する)には反射型ディスプレイ8210上の画素当たりグルーブ数を増やせばよいが、そうすると装着者に対して表示される画像中のコントラストが低下し、より多くのグルーブが表示される画像内に干渉する。この実施形態についてはグルーブに関して説明したが、点のような他の光学的欠陥も使用可能である。
[00321]諸実施形態において、図86を参照すると分かるように、「スナップオン」リッジアセンブリ8602のように、平面状照明ファシリティのグルーブに対リッジ8604(または「反グルーブ」)を取り付けると、この場合、対リッジ8604は、グルーブ側壁と対リッジ側壁との間にエアギャップが存在するようにグルーブ8504A〜8504D内に位置付けられる。このエアギャップは、光が平面状照明ファシリティを透過するときに光によって感知され、グルーブ側壁の所での光の反射を推進する、屈折率の一定の変化をもたらす。対リッジ8604を取り付けると、グルーブによって生じる画像光の収差および偏向が低減される。すなわち、反射型ディスプレイ8210から反射された画像光はグルーブ側壁によって屈折され、したがって、スネルの法則によって画像光の方向が変化する。グルーブの側壁角度が対リッジの側壁角度に一致するようにグルーブに対リッジを設けることによって、画像光の屈折が補償され、画像光の方向が伝達光学素子8214に向かうように変更される。
[00322]諸実施形態において、図87を参照すると分かるように、平面状照明ファシリティ8702は、交互に異なる屈折率を有する複数の積層8704から形成される積層構造であってもよい。例えば、平面状照明ファシリティ8702は、積層シートの2つの対角面8708に沿って切断されてもよい。このように、図85および図86に示すグルーブ構造は積層構造8702で置き換えられる。例えば、積層シートは同様の材料(違いがPMMAの分子量であるPMMA1とPMMA2)で作られてもよい。各層がかなり厚いかぎり、干渉効果を完全に抑制することができ、各層はプラスチックの透明シートとして働く。図示の構成では、対角積層構造は光源8202のわずかな割合の方向を変更して反射型ディスプレイに送り、積層のピッチとしては収差を最小限に抑えるピッチが選択される。
[00323]光学系の実施形態において、図88は、「ウェッジ」構成を利用する平面状照明ファシリティ8802を示す。この構成では、(1つまたは複数の)光源が平面状照明ファシリティ8802の縁部に直接結合される(8204)。その場合、光は、平面状照明ファシリティ8802を透過して第1のウェッジ8804の傾斜面に達し、方向を変更されて反射型ディスプレイ8210に達し、次いで再び照明ファシリティ8802に送られ、第1のウェッジ8804と第2のウェッジ8812の両方を透過して伝達光学素子上に達する。さらに、多層コーティング8808、8810をウェッジに塗布して伝達特性を向上させてもよい。一例では、ウェッジは、例えば、PMMAから作られ、寸法が高さ1/2mm、幅10mmであり、反射型ディスプレイ全体に広がり、1度〜1.5度の角度を有してもよい。諸実施形態において、光はウェッジ8804内で複数回反射した後で、ウェッジ8804を透過して反射型ディスプレイ8210を照明する。ウェッジ8804を反射率の高いコーティング8808と8810で被覆する場合、光線はウェッジ8804内で何度も反射した後、旋回して出射し、再び光源8202に達する。しかし、SiO2、五酸化ニオブなどの多層コーティング8808および8810をウェッジ8804上に使用することによって、光を反射型ディスプレイ8210を照明するように向けることができる。コーティング8808および8810は、指定された波長の光を広範囲の角度にわたって反射させるが、ある範囲の角度(例えば、シータアウト角度)内で透過させるように設計されてもよい。諸実施形態では、設計によって、光が、反射型ディスプレイ8210に送るのを可能にする透過窓に達するまで、光をウェッジ内で反射させることができ、その場合、コーティングは透過を可能にするように構成される。ウェッジの角度によって、LEDライティングシステムからの光は、反射型画像ディスプレイに一様に照射されて、照明システムを通して反射される画像を生成するように送られる。広い円錐角度を有する光がウェッジ8804に入射するように光源8202からの光を送ることによって、様々な光線がウェッジ8804の長さに沿ったそれぞれに異なる位置で透過窓に達し、したがって、反射型ディスプレイ8210の表面が一様に照明され、その結果、ユーザの目に提示される画像は画像中の画像コンテンツによって決まる一様な明るさを有する。
[00324]諸実施形態では、本明細書において説明するように平面状照明ファシリティ8208と反射型ディスプレイ8210とを含む透過型光学系は、本明細書において説明するような接眼鏡を含むような当技術分野において周知の任意の頭部装着デバイスだけでなく、ヘルメット(例えば、戦闘用ヘルメット、パイロットのヘルメット、自転車のヘルメット、オートバイのヘルメット、潜水用ヘルメット、宇宙服のヘルメットなど)、スキーゴーグル、アイウェア、潜水用マスク、粉塵マスク、呼吸マスク、危険物用ヘッドギア、拡張現実ヘッドギア、シミュレーションデバイスなどに適用されてもよい。さらに、頭部装着デバイスに関連する光学系および保護カバーは、光学系を従来頭部装着デバイスに関連する光学素子およびカバーと共に頭部装着デバイスに挿入することを含む複数の方法で、光学系を組み込んでもよい。例えば、スキーゴーグルのカバーのようなスキーゴーグルなどの構成要素(例えば、周囲の環境に露出され、ユーザの目を風および雪から保護する透明なプラスチックカバーまたは有色プラスチックカバー)とも置き換わらない、投影されたコンテンツをユーザに表示する光学系を、別個のユニットとしてスキーゴーグルに含めてもよい。代替として、光学系が、従来頭部装着器具に関連する少なくとも1つのある光学素子と置き換わってもよい。例えば、伝達光学素子8212のある光学素子は、アイウェア適用例の外側レンズと置き換わってもよい。一例では、伝達光学素子8212のビームスプリッタ、レンズ、またはミラーはアイウェア適用例(例えば、サングラス)用のフロントレンズに置き換わってもよく、湾曲した反射ミラー8220が眼鏡を覆うように拡張されてカバーレンズが不要になる場合と同様に、眼鏡のフロントレンズが不要になる。諸実施形態では、平面状照明ファシリティ8208と反射型ディスプレイ8210とを含む透過型光学系を頭部装着器具の機能および見た目を損なわないように頭部装着器具内に配置してもよい。例えば、アイウェア、またはより具体的には接眼鏡の場合、光学系をフレームの上部のようなレンズの上部に近接する位置に配置してもよい。
[00325]諸実施形態では、光学アセンブリは、頭部またはヘルメット装着ディスプレイなどの構成において使用されてもよく、ならびに/あるいは単一のレンズ、双眼鏡、ホログラフィック双眼鏡、ヘルメットバイザ、マンギンミラーを有する頭部装着ディスプレイ、内蔵ヘルメット・ディスプレイ照準システム、ヘルメット内蔵ディスプレイ照準システム、リンク高度頭部装着ディスプレイ(AHMD)、および多重マイクロディスプレイ光学素子をさらに備えてもよい。諸実施形態では、光学アセンブリは、望遠鏡レンズを含んでもよい。そのようなレンズは眼鏡に装着されるレンズであってもまたはその他のレンズであってもよい。そのような実施形態は、視力障害を有する人に有益である。諸実施形態では、Eli Peliの広視野ケプラー望遠鏡を眼鏡レンズ内に埋め込んでもよい。そのような設計は、キャリアレンズ内部の埋め込みミラーを使用して、光路を屈曲させ、倍率をより高くするための素子にパワーを与えてもよい。これによって、装着者は眼鏡フォーマット内で拡大視野と非拡大視野を同時に見ることができる。諸実施形態において、光学アセンブリは、英国のロンドンに所在するBAE Systemsによって開発されたQ−Sightヘルメット装着ディスプレイを有する構成において使用されてもよい。そのような構成は、状況認識を可能にするヘッヅアップ・アイアウト機能を実現することができる。さらに、様々な実施形態は、上述のような構成において任意の光学アセンブリを使用してもよい。
[00326]平面状照明ファシリティは、照明モジュールとしても知られており、赤緑青(RGB)光および/または白色光を含む複数の色の光を生成することができる。照明モジュールからの光は、3LCDシステム、Digital Light Processing(DLP(登録商標)システム、液晶オンシリコン(LCoS)システム、またはその他のマイクロディスプレイもしくは顕微鏡投影システムに送られてもよい。照明モジュールは、波長合波および非線形周波数変換を光源への非線形フィードバックと共に使用して、非常に明るく、長寿命であり、スペックルが少ないかまたはスペックルがない光を生成する。本開示の様々な実施形態は、赤緑青(RGB)光および/または白色光を含む複数の色の光を生成することができる。照明モジュールからの光は、3LCDシステム、Digital Light Processing(DLP)システム、液晶オンシリコン(LCoS)システム、またはその他のマイクロディスプレイシステムまたは顕微鏡投影システムに送られてもよい。本明細書において説明する照明モジュールを接眼鏡100用の光学アセンブリで使用してもよい。
[00327]本開示の一実施形態は、レーザ、LED、または第1の波長の光線を生成するように構成されたその他の光源と、レーザに結合され光線を案内するように構成された平面光波回路と、平面光波回路に結合され、第1の波長の光線を受け取って第2の波長の出射光線に変換するように構成された導波路光学周波数変換器とを備えるシステムを含む。このシステムは、レーザの第1の波長の光線のパワーに非線形に依存する光学的に結合されたフィードバックをレーザに供給することができる。
[00328]本開示の別の実施形態は、基板と、基板上に配設され第1の波長の複数の光線を放出するように構成されたレーザダイオードアレイあるいは1つまたは複数のLEDと、基板上に配設され光源に結合され、複数の光線同士を合成して第1の波長の合成光線を生成するように構成された平面光波回路と、基板上に配設され平面光波回路に結合され、非線形周波数変換を使用して第1の波長の合成光線を第2の波長の光線に変換するように構成された非線形光学素子とを備えるシステムを含む。このシステムは、第1の波長の合成光線のパワーに非線形に依存する光学的に結合されたフィードバックをレーザダイオードアレイに供給することができる。
[00329]本開示の別の実施形態は、第1の波長の複数の光線を生成するように構成された半導体レーザアレイあるいは1つまたは複数のLEDなどの光源と、光源に結合され、複数の光線を合成して第1の波長の合成光線を出射するように構成されたアレイ導波路格子と、アレイ導波路格子に結合され、第2高調波生成を使用して第1の波長の合成光線に基づいて第2の波長の出射光線を生成するように構成された擬似位相整合波長変換導波路とを備えるシステムを含む。
[00330]導波路変換デバイス内からパワーを得て光源にフィードバックしてもよい。フィードバックパワーは、光源によって波長変換デバイスに供給される入射パワーに非線形に依存する。非線形フィードバックでは、非線形係数が小さくなった場合にフィードバックパワーが増大するので、デバイスの非線形係数の変化に対する波長変換デバイスからの出射パワーの感度が低下することがある。フィードバックが大きくなると、波長変換デバイスに供給されるパワーが増大する傾向があり、したがって、非線形係数が小さくなる影響が軽減される。
[00331]図109Aおよび図109Bを参照すると分かるように、プロセッサ10902(例えば、デジタルシグナルプロセッサ)は、画像表示用のディスプレイシーケンシャルフレーム10924を接眼鏡100のディスプレイ構成要素10928(例えば、LCOSディスプレイ構成要素)を介して生成することができる。諸実施形態において、シーケンシャルフレーム10924は、プロセッサ10902とディスプレイ構成要素10928との間の中間構成要素としてのディスプレイドライバ10912によって生成されても、またはディスプレイドライバ10912なしで生成されてもよい。例えば、図109Aを参照すると分かるように、プロセッサ10902は、フレームバッファ10904とディスプレイインターフェース10908(例えば、ディスプレイシリアルインターフェース(DSI)を有する、モバイルインダストリープロセッサインターフェース(MIPI))とを含んでもよい。ディスプレイインターフェース10908は、プロセッサ10902とディスプレイ構成要素10928との間の中間構成要素としてのディスプレイドライバ10912に画素単位RGBデータ10910を供給してもよく、その場合、ディスプレイドライバ10912は、画素単位RGBデータ10910を受け入れ、赤色、緑色、および青色に関する個々のフルフレームディスプレイデータ10918、10920、および10922を生成し、したがって、ディスプレイシーケンシャルフレーム10924をディスプレイ構成要素10928に供給する。さらに、ディスプレイドライバ10912は、フルフレーム10918、10920、10922がディスプレイシーケンシャルフレーム10924としてディスプレイ構成要素10928に送られる際に同期をとるようなタイミング信号を生成してもよい。別の例では、図109Bを参照すると分かるように、ディスプレイインターフェース10930は、赤色、緑色、および青色に関するフルフレームデータ10934、10938、および10940をディスプレイシーケンシャルフレーム10924としてディスプレイ構成要素10928に直接供給することによってディスプレイドライバ10912を不要にするように構成されてもよい。さらに、タイミング信号10932がディスプレイインターフェース10930からディスプレイ構成要素に直接供給されてもよい。この構成は、ディスプレイドライバを不要にすることによって電力消費量を顕著に低減させることができる。この直接パネル情報によって、ドライバが不要になるだけでなく、構成の論理全体を簡略化し、かつパネル情報を画素から再形成したり、画素情報をフレームから生成したりするのに必要な冗長なメモリを削除することができる。
[00332]図89は、本開示の一実施形態による照明モジュールのブロック図である。照明モジュール8900は、本開示の一実施形態による、光源とコンバイナと光学周波数変換器とを備える。光源8902、8904は、光学放射8910、8914をコンバイナ8906の入射口8922、8924の方へ放出する。コンバイナ8906は、合成放射8918を放出するコンバイナ出射口8926を有する。合成放射8918は、出射光学放射8928を生成する光学周波数変換器8908によって受け取られる。光学周波数変換器8908は、光源フィードバック放射8920をコンバイナ出射口8926に供給してもよい。コンバイナ8906は、フィードバック放射8920を分割して、入射口8922から放出される光源フィードバック放射8912および入射口8924から放出される光源フィードバック放射8916を生成する。光源フィードバック放射8912は光源8902によって受け取られ、光源フィードバック放射8916は光源8904によって受け取られる。光源8902とコンバイナ8906との間の光学放射8910および光源フィードバック放射8912は、自由空間および/または案内構造(例えば、光ファイバまたは任意の他の導波路)の任意の組合せ内を伝搬してもよい。光学放射8914、光源フィードバック放射8916、合成放射8918、およびフィードバック放射8920が、自由空間および/または案内構造の任意の組合せ内を伝搬してもよい。
[00333]適切な光源8902および8904には、1つまたは複数のLEDあるいは光学フィードバックの影響を受ける発光波長を有する光学放射の任意の光源が含まれる。光源の例はレーザを含み、半導体ダイオードレーザであってよい。例えば、光源8902および8904は、半導体レーザのアレイの要素であってもよい。レーザ以外の光源を使用してもよい(例えば、光学周波数変換器が光源として使用されてもよい)。図89には2つの光源が示されているが、本開示は2つよりも多くの光源によって実施されてもよい。コンバイナ8906は、ポート8922、8924、および8926を有する3ポートデバイスとして概略的に示されている。ポート8922および8924は入射口と呼ばれ、ポート8926はコンバイナ出射口と呼ばれるが、これらのポートは双方向性であり、上述のような光学放射の受け取りと放出の両方を行ってもよい。
[00334]コンバイナ8906は、波長分散素子と各ポートを規定するための光学素子とを含んでもよい。適切な波長分散素子には、アレイ導波路格子、反射回折格子、透過回折格子、ホログラフィック光学素子、波長選択フィルタのアセンブリ、およびフォトニックバンドギャップ構造が含まれる。したがって、コンバイナ8906は波長コンバイナであってもよく、その場合、各入射口は、コンバイナ出射口に効率的に結合するための対応する重ならない入射口波長範囲を有する。
[00335]限定はしないが、高調波発生、和周波数発生(SFG)、第2高調波発生(SHG)、差周波数発生、パラメトリック発生、パラメトリック増幅、パラメトリック発振、3波混合、4波混合、模擬ラマン散乱、模擬ブルリアン散乱、模擬発光、音響光学周波数シフト、および/または電気光学周波数シフトを含む、様々な光学プロセスが光学周波数変換器8908内で行われてもよい。
[00336]一般に、光学周波数変換器8908は1組の入射光学波長の光学入射を受け入れ、1組の出射光学波長の光学出射を生成し、その場合、1組の出射光学波長は1組の入射光学波長とは異なる。
[00337]光学周波数変換器8908は、ニオブ酸リチウム、タンタル酸リチウム、チタンリン酸カリウム、ニオブ酸カリウム、石英、シリカ、オキシ窒化ケイ素、ガリウムヒ素、ホウ酸リチウム、および/またはベータ型ホウ酸バリウムなどの非線形光学材料を含んでもよい。光学周波数変換器8908における光学相互作用は、バルク構造、導波路、量子井戸構造、量子細線構造、量子ドット構造、フォトニックバンドギャップ構造、および/または多要素導波路構造を含む様々な構造において行われてもよい。
[00338]光学周波数変換器8908がパラメトリック非線形光学プロセスを実行する場合、この非線形光学プロセスは位相整合することが好ましい。そのような位相整合は、複屈折位相整合であってもまたは擬似位相整合であってもよい。擬似位相整合は、開示が参照により本明細書に組み込まれている、Millerの米国特許第7,116,468号に開示された方法を含んでもよい。
[00339]光学周波数変換器8908は、波長選択出射結合のための波長選択反射体、波長選択共振のための波長選択反射体、および/または変換器のスペクトル応答を制御するための波長選択損失要素その動作を向上させるための様々な要素を含んでもよい。
[00340]諸実施形態において、図89において説明したような複数の照明モジュールを組み合わせて複合照明モジュールを形成してもよい。
[00341]照明モジュールの1つの構成要素は、本明細書において詳しく説明するような回折格子または格子であってもよい。回折格子板は、厚さが1mm未満であってもよく、それにもかかわらず所定の位置に永久的に固着するかまたはLCOSのカバーガラスに置き換わるのに十分な剛性を有し得る。照明モジュールにおいて格子を使用することの1つの利点は、格子がレーザ照明源を使用して効率を向上させ電力を低減させることである。格子は、本来迷光を低減させることができ、帯域幅が狭いことに起因して、透過輝度の低下を抑制しつつアイグローをフィルタリングするより多くのオプションを可能にする。
[00342]図90は、本開示の一実施形態による光学周波数変換器のブロック図である。図90は、フィードバック放射8920が、パラメトリック周波数変換を実行する例示的な光学周波数変換器8908によってどのように生成されるかを示す。合成放射8918は、図90の右側に伝搬する光学周波数変換器8908内の順方向放射9002を構成し、同じく図90の右側に伝搬するパラメトリック放射9004が、光学周波数変換器8908内で生成され、出射光学放射8928として光学周波数変換器8908から放出される。通常、相互作用が進行する(すなわち、この例では放射が右側に伝搬する)につれて順方向放射9002からパラメトリック放射9004への正味パワー伝達が生じる。波長依存透過率を有し得る反射体9008が、順方向放射9002を反射させて(または部分的に反射させて)逆方向放射9006を生成するように光学周波数変換器8908内に配設されており、あるいは反射体9008は、端面9010の後部の、光学周波数変換器8908の外部に配設されてもよい。反射体9008は、格子、内部界面、コーティングされた端面またはコーティングされていない端面、あるいはそれらの任意の組合せであってもよい。反射体9008の好ましい反射率レベルは90%よりも高い。入射界面9012の所に配置された反射体は純粋に線形のフィードバック(すなわち、プロセス効率に依存しないフィードバック)を生成する。端面9010の所に配置された反射体は、順方向パワーのプロセス効率に対する依存度が出射界面の所で最大になるので、非線形度が最高のフィードバックを生成する。
[00343]図91は、本開示の一実施形態によるレーザ照明モジュールのブロック図である。この実施形態ではレーザが使用されるが、LEDのような他の光源を使用してもよいことを理解されたい。レーザ照明モジュール9100は、ダイオードレーザのアレイ9102と、導波路9104および9106と、スターカプラ9108および9110と、光学周波数変換器9114とを備える。ダイオードレーザのアレイ9102は、平面導波路スターカプラ9108への入射口(図89のポート8922および8924など)として働く導波路9104に結合されたレーザ要素を有する。スターカプラ9108は、様々な波長を有する導波路9106によって別の平面導波路スターカプラ9110に結合されている。スターカプラ9108および9110と導波路9106の組合せは、アレイ導波路格子であってもよく、導波路9112に合成放射8918を供給する波長コンバイナ(図89のコンバイナ8906)として働く。導波路9112は、合成放射8918を光学周波数変換器9114に供給する。光学周波数変換器9114内で、光学反射体9116は、合成放射8918の後方反射を生成する。上記に図90に関連して示したように、この後方反射は、本開示の実施形態による非線形フィードバックを生成する。コスト、部品数、およびアライメント要件を低減させるために、図91を参照して説明した要素のうちの1つまたは複数を平面コーティング方法および/またはリソグラフィ方法を使用して共通の基板上に製作してもよい。
[00344]コアが光学周波数変換器8908の導波路のコアに近接するように第2の導波路が配設されてもよい。当技術分野において周知のように、導波路のこの構成は指向性カプラとして働き、したがって、導波路内の放射は、光学周波数変換器8908内でさらなる放射を生成することができる。順方向放射9002の波長以外の波長の放射を生成することによって顕著な結合が回避されてもよく、または順方向放射9002がされる位置で光学周波数変換器8908にさらなる放射が結合されてもよい。
[00345]フィードバックパワーが同じ経路に沿って逆方向に伝搬し、その後入射パワーが伝搬する定在波フィードバック構成は有用であるが、進行波フィードバック構成を使用してもよい。進行波フィードバック構成では、フィードバックが、入射パワーが放出される位置とは異なる位置で利得媒質に再入射する。
[00346]図92は、本開示の別の実施形態による複合レーザ照明モジュールのブロック図である。複合レーザ照明モジュール9200は、図91を参照して説明した1つまたは複数のレーザ照明モジュールを9100備える。図92は、図を簡単にするために3つのレーザ照明モジュール9100を含む複合レーザ照明モジュール9200を示しているが、複合レーザ照明モジュール9200は3つよりも多いレーザ照明モジュール9100を含んでも、または3つよりも少ないレーザ照明モジュール9100を含んでもよい。ダイオードレーザのアレイ9210は、赤外線スペクトル内の光学放射、すなわち、電波よりも短くかつ可視光よりも長い波長を有する光学放射を放出するように構成されたレーザダイオードのアレイ、ダイオードレーザアレイ、および/または半導体レーザアレイであり得る1つまたは複数のダイオードレーザアレイ9102を含んでもよい。
[00347]レーザアレイ出射導波路9220は、ダイオードレーザのアレイ9210内のダイオードレーザに結合され、ダイオードレーザのアレイ9210の出射をスターカプラ9108A〜9108Cに向ける。レーザアレイ出射導波路9220、アレイ導波路格子9230、および光学周波数変換器9114A〜9114Cは、平面光波回路を使用して単一の基板上に製作されてもよく、オキシ窒化ケイ素導波路および/またはタンタル酸リチウム導波路を備えてもよい。
[00348]アレイ導波路格子9230は、スターカプラ9108A〜9108Cと、導波路9106A〜9106Cと、スターカプラ9110A〜9110Cとを備える。導波路9112A〜9112Cは、合成放射を光学周波数変換器9114A〜9114Cに供給し、フィードバック放射をスターカプラ9110A〜9110Cにそれぞれ供給する。
[00349]光学周波数変換器9114A〜9114Cは、非線形光学(NLO)素子、例えば光学パラメトリック発振器素子および/または擬似位相整合光学素子を備えてもよい。
[00350]複合レーザ照明モジュール9200は、複数の波長の出射光学放射を生成してもよい。複数の波長は、可視スペクトル内であり、すなわち、赤外線よりも短く、紫外光よりも長い波長を有してもよい。例えば、導波路9240Aは同様に、約450nmから約470nmの間の出射光学放射を生成してもよく、導波路9240Bは、約525nmから約545nmの間の出射光学放射を生成してもよく、導波路9240Cは、約615nmから約660nmの間の出射光学放射を生成してもよい。これらの範囲の出射光学放射としては、この場合も、人間の目に心地よい可視波長(例えば、それぞれ青色波長、緑色波長、および赤色波長)を生成する放射が再度選択されてもよく、かつこの場合も白色出射光を生成するように合成されてもよい。
[00351]導波路9240A〜9240Cは、レーザアレイ出射導波路9220、アレイ導波路格子9230、および光学周波数変換器9114A〜9114Cと同じ平面光波回路上に製作されてもよい。いくつかの実施形態では、導波路9240A〜9240Cの各々によって生成される出射光学放射は、約1ワットから約20ワットの間の範囲の光学パワーを発生させることができる。
[00352]光学周波数変換器9114は、第1の波長の合成放射に対して第2高調波発生(SHG)を実行して第2の波長の放射を生成するように構成された擬似位相整合波長変換導波路を備えてもよい。擬似位相整合波長変換導波路は、第2の波長の放射を使用して擬似位相整合波長変換導波路に組み込まれた光学パラメトリック発振器をポンピングし、任意選択的に第2の波長と異なる第3の波長の放射を生成するように構成されてもよい。擬似位相整合波長変換導波路は、導波路9112を介しアレイ導波路格子9230を透過してダイオードレーザのアレイ9210に伝搬するフィードバック放射を生成してもよく、それによって、ダイオードレーザのアレイ9210内に配設された各レーザはアレイ導波路格子上の対応するポートによって決定される異なる波長で動作することができる。
[00353]例えば、複合レーザ照明モジュール9200は、公称で約830nmの波長で動作して赤色、緑色、または青色のいずれかに対応する可視スペクトル内の出射光学放射を生成するダイオードレーザのアレイ9210を使用して構成されてもよい。
[00354]複合レーザ照明モジュール9200は、場合によっては、光学素子を介在させずに空間光変調器を直接照明するように構成されてもよい。いくつかの実施形態では、複合レーザ照明モジュール9200は、公称で単一の第1の波長で動作して、赤色、緑色、および青色に対応する複数の第2の波長の出射光学放射を同時に生成するダイオードレーザのアレイ9210を使用して構成されてもよい。各々の異なる波長は、レーザ照明モジュール9100のインスタンスによって生成されてもよい。
[00355]複合レーザ照明モジュール9200は、例えば、導波路選択的タップ(図示せず)を使用して複数の第2の波長の出射光学放射を単一の導波路として合成することによって、回折が制限された白色光を生成するように構成されてもよい。
[00356]ダイオードレーザのアレイ9210、レーザアレイ出射導波路9220、アレイ導波路格子9230、導波路9112、光学周波数変換器9114、および周波数変換器出射導波路9240は、コーティングおよびリソグラフィなどの製作プロセスを使用して共通の基板上に製作されてもよい。ビーム整形要素9250は、図92を参照して説明した導波路9240A〜9240Cによって複合レーザ照明モジュール9200に結合されている。
[00357]ビーム整形要素9250は、複合レーザ照明モジュール9200と同じ基板上に配設されてもよい。基板は、例えば熱伝導材料、半導体材料、またはセラミック材料を含んでもよい。基板は、銅−タングステン、シリコン、ガリウムヒ素、タンタル酸リチウム、オキシ窒化ケイ素、および/または窒化ガリウムを含んでもよく、コーティング、リソグラフィ、エッチング、堆積、および打ち込みを含む半導体製造プロセスを使用して加工されてもよい。
[00358]ダイオードレーザのアレイ9210、レーザアレイ出射導波路9220、アレイ導波路格子9230、導波路9112、光学周波数変換器9114、導波路9240、ビーム整形素子9250、および様々な関連平面光波回路のような上述の要素のいくつかは、受動的な結合および/またはアライメントを施されてもよく、いくつかの実施形態によっては、共通の基板上で受動的に高さを揃えられてもよい。導波路9240A〜9240Cの各々は、図示の単一の素子ではなくビーム整形素子9250の異なるインスタンスに結合されてもよい。
[00359]ビーム整形素子9250は、導波路9240A〜9240Cからの出射光学放射を回折が制限された概ね矩形の光線として整形するように構成されてもよく、さらに、導波路9240A〜9240Cからの出射光学放射を概ね矩形のビーム形状全体にわたって約95%よりも高い輝度均一性を有するように構成してもよい。
[00360]ビーム整形素子9250は、「トップハット」マイクロレンズなどの非球面レンズ、ホログラフィック素子、または光学格子を備えてもよい。いくつかの実施形態では、ビーム整形素子9250によって出力される回折が制限された光線では、スペックルが実質的に低減するかまたはまったく発生しない。ビーム整形素子9250によって出力される光線は、約1ワットから約20ワットの間の範囲の光学パワーと、実質的に平坦な同位相波面を生成することができる。
[00361]図93は、本開示の一実施形態による撮像システムのブロック図である。撮像システム9300は、光エンジン9310と、光線9320と、空間光変調器9330と、変調された光線9340と、投影レンズ9350とを備える。光エンジン9310は、図89において説明した複数の照明モジュールなどの複合光学照明モジュール、図92を参照して説明した複合レーザ照明モジュール9200、または図93を参照して説明したレーザ照明システム9300であってもよい。空間光変調器9330は、3LCDシステム、DLPシステム、LCoSシステム、透過型液晶ディスプレイ(例えば、透過型LCoS)、液晶オンシリコンアレイ、格子ベースのライトバルブ、またはその他のマイクロディスプレイもしくは顕微鏡投影システムもしくは反射型ディスプレイであってよい。
[00362]空間光変調器9330は、光線9320を空間的に変調するように構成されてもよい。空間光変調器9330は、空間光変調器9330自体に、テレビジョンまたはコンピュータモニタによって表示し得るようなビデオ画像を変調させて光線9320に重ね合わせさせ、変調された光線9340を生成させるように構成された電子回路に結合されてもよい。いくつかの実施形態では、変調された光線9340は、反射の光学的原則を使用して、同じ側の空間光変調器が光線9320を受けたときにこの空間光変調器から出射されてもよい。他の実施形態では、変調された光線9340は、透過の光学的原則を使用して、反対側の空間光変調器が光線9320を受けたときにとこの空間光変調器から出射されてもよい。変調された光線9340は、場合によっては投影レンズ9350に結合されてもよい。投影レンズ9350は通常、変調された光線9340をビデオディスプレイスクリーンなどのディスプレイ上に投影するように構成される。
[00363]複数の照明モジュール8900を備えるような複合照明モジュール、複合レーザ照明モジュール9100、レーザ照明システム9200、または撮像システム9300を使用して、ビデオディスプレイを照明する方法が実施されてもよい。複合照明モジュール、複合レーザ照明モジュール9100、レーザ照明システム9200、または光エンジン9310を使用して、回折が制限された出射光線が生成される。出射光線は、空間光変調器9330などの空間光変調器および場合によっては投影レンズ9350を使用して送られる。空間光変調器は、ビデオディスプレイスクリーンなどのディスプレイ上に画像を投影することができる。
[00364]照明モジュールは、一定でない間隔に設定され、等しいパワーレベルまたは等しくないパワーレベルを有する1つ、2つ、3つ、4つ、5つ、6つ、またはそれよりも多くの波長を含む任意の数の波長を放出するように構成されてもよい。照明モジュールは、光線当たり単一の波長を放出するように構成されても、または光線当たり複数の波長を放出するように構成されてもよい。照明モジュールは、追加の構成要素も備え、偏光コントローラ、偏光ローテータ、電源、パワーFETなどの電源回路、電子制御回路、熱管理システム、ヒートパイプ、および安全インターロックを備えてもよい。いくつかの実施形態では、照明モジュールが光ファイバまたはガラス(例えばBK7)などの光導波路に結合されてもよい。
[00365]LCoSフロントライト設計には以下のいくつかの選択肢が含まれる。1)多層コーティング(MLC)を含むウェッジ。この概念では、MLCを使用して特定の反射角度および透過角度を画定する。2)偏光ビームスプリッタコーティングを含むウェッジ。この概念は、ずっと浅い角度であるが、通常のPBSキューブのように働く。これはPBSコーティングまたはワイヤグリッド膜であってもよい。3)PBSプリズムバー(これは、選択肢#2と同様であるが、パネル4の中心に沿って継ぎ目を有する)。4)ワイヤグリッド偏光子プレートビームスプリッタ(PBSウェッジと同様であるが、単なるプレートであり、したがって、固体ガラスではなく主として空気である)。5)一方の平面内方向において一致するが他方の平面内方向では一致しないように調整された屈折率を有するそれぞれに異なるプラスチックの交番層で作られた3M偏光ビームスプリッタのような、可撓性の膜を備える偏光ビームスプリッタ(PBS)。不一致方向には屈折率の高い4分の1波長スタックが形成され、一方、一致方向では膜はプラスチックの透明スラブとして働く。この膜は、ガラスプリズム同士の間に積層され、可視範囲全体にわたって高い高速ビーム性能を実現する広角度PBSを形成する。MLCウェッジは、剛性を有してもよく、凝縮または熱偏向が可能なように、エアギャップが生じないように所定の位置に強固に接着されてもよい。MLCウェッジは広帯域LED光源と協働することができる。諸実施形態において、MLCウェッジをLCOSのカバーガラスと置き換えてモジュールを完成してもよい。MLCウェッジは厚さが約4mm未満であってもよい。一実施形態では、MLCウェッジは厚さが2mm以下であってもよい。
[00366]本開示では、拡張現実接眼鏡を含んでよいが必ず含むとは限らないすべての種類の光学構成に、本明細書において説明したようなフロントライティングシステムを使用し得ることを理解されたい。フロントライティングシステムは、直接照明源または間接照明源としての任意の種類の光学系において、構成要素として使用されてもよく、任意の1種もしくは複数種の光学素子、光学面、または光学センサを照明する場合に特に好ましく、例えばLCoSディスプレイまたは液晶ディスプレイのように選択的に構成可能な光路を有し、ならびに/あるいは光を反射させる光学素子などを照明する場合に最も好ましい。いくつかの実施形態では、フロントライティングシステムによって生成された光の少なくとも一部が、その最終目的地、例えば目、光センサなどに至る途中でフロントライティングシステムの一部を再び透過するように反射され、一方、他の実施形態では、生成された光がその最終目的地に至る途中で再びフロントライティングシステムを透過することはない。例えば、フロントライティングシステムは、LCoSなどの光学デバイスを照明して画像光を生成してもよく、画像光を再びフロントライティングシステムの構成要素を透過するように送り、その後、画像光を最終的にユーザの目によって受け取られるように条件付ける1つまたは複数のさらなる光学系を透過させてもよい。そのような他の光学系は、光学系の構成要素のうちで、1つまたは複数の導波路(自由曲面導波路であってもよい)、ビームスプリッタ、コリメータ、偏光子、ミラー、レンズ、および回折格子であっても、または1つまたは複数の導波路、ビームスプリッタ、コリメータ、偏光子、ミラー、レンズ、および回折格子を含んでもよい。
[00367]図95は、LCoSフロントライト設計の一実施形態を示す。この実施形態では、RGB LED 9508からの光が、ウェッジ、PBSなどであってもよいフロントライト9504を照明する。光は、偏光子9510に当たり、S状態で透過してLCoS9502に達し、画像光としてP状態で反射され、再び非球面9512を透過する。インライン偏光子9514が画像光を再び偏光させ、ならびに/あるいは1/2位相回転を生じさせてS状態にすることができる。画像光は次いで、ワイヤグリッド偏光子9520に当たり、反射して湾曲した(球面)部分ミラー9524に達し、目的地に至る途中で1/2遅相素子9522を透過する。画像光はミラーから反射されてユーザの目9518に達し、再び1/2遅相素子9522およびワイヤグリッド偏光子9520を横切る。次にフロントライト9504の様々な例について説明する。
[00368]諸実施形態において、光学アセンブリは、画像光源からの画像光のそれぞれの部分を反射させ、周囲の環境の透過ビューからのシーン光を透過させ、それによって、反射された画像光の各部と透過したシーン光の各部とで構成された合成画像をユーザの目に提示する部分反射部分透過光学素子を含む。
[00369]携帯ディスプレイシステムでは、明るく小型で軽量のディスプレイを提供することが重要である。携帯ディスプレイシステムには、携帯電話、ラップトップコンピュータ、タブレットコンピュータ、および頭部装着ディスプレイが含まれる。
[00370]本開示は、エッジ光源からの光を反射型画像光源を照明するように効率的に偏向させるための部分反射体としての湾曲したワイヤグリッド偏光膜またはその他の非平面ワイヤグリッド偏光膜で構成された携帯ディスプレイシステム用の小型で軽量のフロントライトを提供する。ワイヤグリッド偏光子は、一方の偏光状態を効率的に反射させ、同時に、他方の偏光状態が透過するのを可能にすることが知られている。ガラス板ワイヤグリッド偏光子が当業界で周知であり、剛性を有するワイヤグリッド偏光子を本開示で使用してもよいが、本開示の好ましい実施形態では、湾曲したワイヤグリッド偏光子用に可撓性のワイヤグリッド偏光膜が使用される。適切なワイヤグリッド偏光膜偏光膜は、日本の東京の旭化成イーマテリアルズ株式会社から市販されている。
[00371]エッジライトは、ディスプレイ用の小型の照明を構成するが、画像光源の縁部に配置されるので、画像光源を照明するには光を90度偏向させなければならない。本開示の一実施形態では、湾曲したワイヤグリッド偏光膜を部分反射面として使用して、エッジ光源によって生成された光を下向きに偏向させて反射型画像光源を照明する。湾曲したワイヤグリッド偏光子に送られる照明光を偏光させるために、エッジ光源に隣接する位置に偏光子が設けられている。偏光子とワイヤグリッド偏光子は、偏光子を透過した光がワイヤグリッド偏光子によって反射されるように配向される。反射型画像光源に含まれる4分の1遅相膜に起因して、反射された画像光の偏光は、照明光に対して逆の偏光状態である。したがって、反射された画像光は、ワイヤグリッド偏光膜を透過し、続いて表示光学素子に達する。可撓性のワイヤグリッド偏光膜を部分反射体として使用することによって、部分反射面を湾曲させて、ワイヤグリッド偏光子が照明光用の反射体および画像光用の透過膜としての2つの役割を果たす軽量の構造を得ることができる。ワイヤグリッド偏光膜によってもたらされる利点は、広範囲の入射角にわたって画像光を受けることができ、したがって、湾曲が、透過して表示光学素子に達する画像光に干渉しないことである。さらに、ワイヤグリッド偏光膜は薄い(例えば、200ミクロン未満)ので、湾曲形状は、画像光が透過して表示光学素子に達するときに画像光をそれほど歪ませない。最後に、ワイヤグリッド偏光子は、光を散乱させる傾向が非常に弱く、したがって、高い画像コントラストを維持することができる。
[00372]図136は、本開示のフロントライト付き画像光源13600の概略図を示す。エッジ光源13602は、偏光子13614を透過し、それによって偏光される照明光13610を生成し、その場合、偏光子13614は吸収型偏光子であっても、または反射型偏光子であってもよい。偏光子は、照明光13610の偏光状態が、光が湾曲したワイヤグリッド偏光子13608によって反射され、それによって照明光13610を下向きに反射型画像光源13604の方へ偏向させるような状態になるように配向される。したがって、偏光子13614の透過軸はワイヤグリッド偏光子13608の透過軸に垂直である。当業者には、図136が水平に配向されたフロントライト付き画像光源13600を示しているが、他の配向も同様に可能であることに留意されたい。すでに説明したように、通常、LCS画像光源などの反射型画像光源は4分の1遅相膜を含み、したがって、照明光の偏光状態が反射時に反射型画像光源によって変更され、その結果、画像光は一般に、照明光に対して逆の偏光状態を有する。当業者に周知であり、かつ米国特許第4398805号に記載されているように、偏光状態のこの変化は、すべての液晶ベースディスプレイの動作の基本である。画像の個々の部分について、反射型画像光源13604の液晶素子によって偏光状態のより顕著な変化またはより目立たない変化が生じ、それによって、反射された画像光13612は、湾曲したワイヤグリッド偏光子を透過する前に混合楕円偏光状態を有する。画像光13612が湾曲したワイヤグリッド偏光子13608および表示光学素子に含めることのできる任意の追加の偏光子を透過した後、湾曲したワイヤグリッド偏光子13608によって画像光13612の偏光状態が決定され、画像光13612に含まれる画像コンテンツが、携帯ディスプレイシステムによって表示される画像における画像光13612の局部強度を決定する。
[00373]湾曲したワイヤグリッド偏光子13608に使用されるワイヤグリッド偏光膜の可撓性によって、湾曲したワイヤグリッド偏光子13608を、照明光13610を反射型画像光源13604に合焦させる形状に形成することができる。湾曲したワイヤグリッド偏光子の形状としては、反射型画像光源を一様に照明する形状が選択される。図136は、放物線形状を有する湾曲したワイヤグリッド偏光子13608を示しているが、照明光13610を一様に偏向させて反射型画像光源13604に重ね合わせるには、エッジ光源13602の性質に応じて、丸い曲線、複雑なスプライン曲線、または複雑なスプライン平面を使用することも可能である。実験によって、放物曲線、丸い曲線、および複雑なスプライン曲線がすべて、平坦な表面よりも一様な照明を生成することが判明している。しかし、いくつかの非常に薄いフロントライト付き画像光源では、平坦なワイヤグリッド偏光膜を効果的に使用して軽量の携帯ディスプレイシステムを実現することができる。フロントライト付き画像光源アセンブリ13800の概略図を示す図138に示されているようにワイヤグリッド偏光膜を所定の位置に保持するのに適した曲線状に形作られた長穴を有するサイドフレームによって、可撓性のワイヤグリッド偏光膜の形状を維持することができる。サイドフレーム13802は、可撓性のワイヤグリッド偏光膜が所望の湾曲形状に保持されるようにするための湾曲した長穴13804を有するように示されている。図138には一方のサイドフレーム13802しか示されていないが、各側に湾曲形状をフロントライト付き画像光源の他の構成要素と一緒に支持するために2つのサイドフレーム13802が使用される。いずれの場合も、本開示であるフロントライト付き画像光源の大部分が空気で構成され、ワイヤグリッド偏光膜が非常に薄いので、重量は従来技術のフロントライトシステムと比較して実質的により軽い。
[00374]本開示のさらなる実施形態において、フロントライト付き画像光源13700は、図137に示すように反射型画像光源13604の2つ以上の縁部に沿って位置する2つ以上のエッジ光源13702を備える。照明光13708を偏光させるために各エッジ光源13702に隣接する位置に偏光子13712が設けられている。照明光13708は湾曲したワイヤグリッド偏光子13704によって偏向されて反射型画像光源13604を照明する。反射された画像光13710は次いで、湾曲したワイヤグリッド偏光子13704を透過して表示光学素子上に達する。2つ以上のエッジ光源13702を使用することの利点は、反射型画像光源13604により多くの光を照射することができ、それによって画像がより明るくなることである。
[00375]エッジ光源は、蛍光灯、白熱灯、有機発光ダイオード、レーザ、またはエレクトロルミネセンスライトであってもよい。本開示の好ましい実施形態では、エッジ光源は3つ以上の発光ダイオードのアレイである。エッジ光源は、反射型画像光源を一様に照明するために、実質的な円錐角を有すべきであり、例えば、エッジ光源はランバート光源であってもよい。レーザ光源の場合、光の円錐角を拡張する必要がある。光源のアレイまたは複数のエッジ光源を使用することによって、一様な照明を生成するように反射型画像光源上の光の分散を調整することができ、その結果、表示画像の明るさをより高度に一様化することができる。
[00376]本開示のフロントライト付き画像光源によって生成された画像光は、携帯ディスプレイシステム用の表示光学素子に入射する。表示画像をどのように使用するかに応じて様々な表示光学素子が使用可能である。例えば、表示光学素子は、ディスプレイがフラットスクリーンディスプレイであるときは分散型であってもよく、ディスプレイが近眼式ディスプレイまたは頭部装着ディスプレイであるときは屈折型または回折型であってもよい。
[00377]図139は、反射型画像光源を有する携帯ディスプレイシステム用の本開示の方法のフローチャートである。ステップ13900において、偏光された照明光を反射型画像光源の1つまたは複数の縁部に送る。ステップ13902において、湾曲したワイヤグリッド偏光子が照明光を受け、反射型画像光源を照明するように偏向させる。その場合、ワイヤグリッド偏光子の湾曲としては、反射型画像光源の領域に対する照明の一様性を向上させる湾曲が選択される。ステップ13904において、反射型画像光源が照明光を受け取って反射させ、同時に、表示される画像に応じて照明光の偏光状態を変化させる。画像光は次いで、ステップ13908において湾曲したワイヤグリッド偏光子を透過し、表示光学素子に入射する。ステップ13910において、携帯ディスプレイシステムによって画像が表示される。
[00378]諸実施形態において、画像を表示するための反射型液晶画像光源を有する軽量の携帯ディスプレイシステムは、反射型液晶画像光源の1つまたは複数の縁部に隣接する位置に偏光された照明光を生成する1つまたは複数のエッジ光源と、偏光された照明光を受けることができ、かつ照明光を反射型液晶画像光源を照明するように偏向させることのできる湾曲したワイヤグリッド偏光子部分反射体と、反射型液晶画像光源から反射された画像光を受け取って画像を表示する表示光学素子とを備えてもよい。さらに、1つまたは複数のレッジ光源は発光ダイオードを備えてもよい。諸実施形態において、ワイヤグリッド偏光子は可撓性の膜であってもよく、可撓性の膜はサイドフレームによって湾曲形状に保持されてもよい。諸実施形態では、ディスプレイシステムの湾曲したワイヤグリッド偏光子は、放物曲線であっても、または丸い曲線であっても、または複雑なスプライン曲線であってもよい。さらに、ディスプレイシステムの反射型液晶画像光源はLCOSであってもよい。諸実施形態において、ディスプレイシステムの表示光学素子はディヒューザを備えてもよく、ディスプレイシステムはフラットスクリーンディスプレイであってもよい。諸実施形態において、ディスプレイシステムの表示光学素子は屈折型素子または回折型素子を備えてもよく、ディスプレイシステムは近眼式ディスプレイまたは頭部装着ディスプレイであってもよい。
[00379]諸実施形態において、反射型液晶画像光源を有する軽量の携帯ディスプレイシステム上に画像を表示する方法は、偏光された照明光を反射型液晶画像光源の1つまたは複数の縁部に送ることと、湾曲したワイヤグリッド偏光子によって照明光を受け取り、反射型液晶画像光源を照明するように光を偏向させることと、反射型液晶画像光源によって照明光を反射させ、表示すべき画像に対して照明光の偏光状態を変化させて画像光を送ることと、画像光を湾曲したワイヤグリッド偏光子を透過させることと、表示光学素子によって画像光を受け取ることと、画像を表示することとを含む。この方法の実施形態では、湾曲したワイヤグリッド偏光子の湾曲形状としては、反射型液晶画像光源の照明の一様性を向上させる湾曲形状が選択される。さらに、1つまたは複数の光源は発光ダイオードを備えてもよい。諸実施形態において、ワイヤグリッド偏光子は可撓性の膜であってもよい。さらに、可撓性の膜は、サイドフレームによって湾曲形状に保持されてもよい。この方法の実施形態では、湾曲したワイヤグリッド偏光子は放物曲線、丸い曲線、または複雑なスプライン曲線であってもよい。さらに、上記の方法の実施形態では、反射型液晶画像光源はLCOSであってもよい。諸実施形態において、表示光学素子はディヒューザを備えてもよく、ディスプレイシステムはフラットスクリーンディスプレイであってもよい。上記の方法の諸実施形態において、表示光学素子は屈折型素子または回折型素子を備えてもよく、ディスプレイシステムは近眼式ディスプレイまたは頭部装着ディスプレイであってもよい。
[00380]図96は、偏光子を有する光学的に結合されたプリズムを備えるフロントライト9504の実施形態を示す。プリズムは、間に実質的に透明なインターフェース9602を有する2つの矩形の固体として示されている。各矩形は、対角方向に二等分されており、二等分線の界面に沿って偏光コーティング9604が配設されている。矩形の固体の二等分された部分によって形成される下方の三角形は、場合によっては単一の部材9608として作られてもよい。プリズムはBK−7または同等物から作られてもよい。この実施形態では、矩形の固体は、2mmx2mmの方形の端部を有する。この実施形態における固体の長さは10mmである。代替実施形態では、二等分線は50%ミラー9704の表面を構成し、2つの矩形の固体間の界面は、光をP状態で通すことができる偏光子9702を構成する。
[00381]図98は、LCoSフロントライト設計の3つの態様を示す。図98Aは多層コーティング(MLC)を有するウェッジを示す。この概念では、MLCを使用して特定の反射角度および透過角度を画定する。この実施形態では、P偏光状態またはS偏光状態のいずれかの画像光がユーザの目によって観察される。図98Bは、偏光子コーティングを有するPBSを示す。ここでは、S偏光画像光のみが透過してユーザの目に達する。図98Cは、プリズムの材料の多くを不要にし、画像光をS偏光として大気を透過させるのを可能にする直角プリズムを示す。
[00382]図99は、偏光コーティング9902がLCoS9904上に層化されたウェッジプラスPBSを示す。
[00383]図100は、光が短い端部(A)に入射すると共に長い端部(B)に沿って入射するプリズムの2つの実施形態を示す。図100Aにおいて、ウェッジは、矩形の固体をずらし二等分して二等分線界面に少なくとも1つの8.6度の角度を形成することによって形成される。この実施形態では、ずらし二等分によって、RGB LED1002が光を透過させる側に、高さが0.5mmのセグメントと1.5mmの別のセグメントが得られる。二等分線に沿って偏光コーティング10004が配設される。図100Bでは、ウェッジは、矩形の固体をずらし二等分して二等分線界面に少なくとも1つの14.3度の角度を形成することによって形成される。この実施形態では、ずらし二等分によって、RGB LED10008が光を透過させる側に、高さが0.5mmのセグメントと1.5mmの別のセグメントが得られる。二等分線に沿って偏光コーティング10010が配設される。
[00384]図101は、LCoSチップ10108の上方に配設されたRGB LED10102によって照明される湾曲したPBS膜10104を示す。PBS膜10104は、LEDアレイ10102からのRGB光をLCOSチップの表面10108上に反射させるが、撮像チップから反射された光を妨害せずに透過させて光学アセンブリに送り、最終的にユーザの目に到達させる。このシステムにおいて使用される膜には、三酢酸セルロース基材または酢酸セルロース基材(TAC)であるアサヒフィルムが含まれる。諸実施形態において、膜は、100nmのUVエンボス加工された波形と、光の入射角に対して傾斜させることのできるリッジ上に設けられたカレンダ成形されたコーティングとを有してもよい。アサヒフィルムは、幅20cm長さ30mのロールとして市販されており、LCD照明に使用されるときにBEF特性を有する。アサヒフィルムは、可視光からIR光までの波長をサポートすることができ、100℃まで安定状態を維持することができる。
[00385]別の実施形態において、図21および図22は、導波路およびプロジェクタの代替構成の分解図を示す。この構成では、プロジェクタは、接眼鏡のアームのヒンジのすぐ後ろに配置され、RGB LED信号が、反射型プリズムによって導波路レンズに入射するように方向が変更されるまで最初のうちは垂直に進行するように、垂直に配向される。垂直に配置された投影エンジンは、中央にPBS218と、底部のRGB LEDアレイと、各色を光学素子に収集されるように混合するための薄膜ディヒューザを有する中空で先細りのトンネルと、集光レンズとを有してもよい。PBSは、入射面に前偏光子を有してもよい。前偏光子は、P偏光のようなある偏光を透過させ、S偏光のような逆の偏光を反射させる(または吸収する)ように位置合わせされてもよい。偏光は次いで、PBSを透過してフィールドレンズ216に達する。フィールドレンズ216の目的は、LCoSパネルにほぼテレセントリックな照明を施すことであってもよい。LCoSディスプレイは、完全に反射型であってもよく、画像が正しく表示されるように各色を正しいタイミングで連続的に反射させる。光はLCoSパネルから反射されてもよく、画像の明るい領域の場合、S偏光に回転させられてもよい。光は次いで、フィールドレンズ216内で屈折されてもよく、PBSの内部界面の所で反射され、プロジェクタから出射し、結合レンズの方へ向かってもよい。中空で先細りのトンネル220は、他の実施形態による均一化レンズレットに置き換わってもよい。プロジェクタを垂直に配向しPBSを中央に配置することによって、空間が節約され、導波路から下がるモーメントアームがほとんどなくなるようにプロジェクタをヒンジ空間に配置することができる。
[00386]接眼鏡の画像光源または関連する光学素子から反射または散乱した光は外部の環境に入射する。このような光損失は、外部の観察者によって、薄暗い環境においてレンズの各部または接眼鏡の周囲の領域を見たときに光って見える「アイグロー」または「ナイトグロー」として知覚される。図22Aに示すようなアイグローのあるケースにおいて、表示画像は、外部の観察者が外部から見たときに表示領域内の観測可能な画像2202Aとみなされることがある。ユーザが見ている画像のプライバシーを維持する点と薄暗い環境において接眼鏡を使用するときにユーザを目立たなくする点の両方においてユーザが画像を見る経験のプライバシーを維持するには、アイグローを低減させることが好ましい。各方法および装置は、画像光源に関連する光学素子における部分反射ミラー、偏光光学素子などを含む光制御素子を介してアイグローを低減させることができる。例えば、導波路に入射する光をS偏光のように偏光させてもよい。光制御素子は直線偏光子を含んでもよい。光制御素子内の直線偏光子は、部分反射ミラーを透過する直線偏光された画像光の第2の部分が遮断され、アイグローが低減するように直線偏光された画像光に対して配向される。諸実施形態では、この場合はP偏光のように、ユーザの目から反射する光から反対方向に偏光される、本明細書において説明するスナップフィット光学素子などのレンズを導波路またはフレームに取り付けることによって、アイグローを最低限に抑えるかまたは解消することができる。
[00387]諸実施形態において、光制御素子は、第2の4分の1波長膜と直線偏光子とを含んでもよい。第2の4分の1波長膜は、円形偏光画像光の第2の部分を光制御素子内の直線偏光子によって遮断される偏光状態を有する直線偏光画像光に変換し、したがって、アイグローを低減させる。例えば、光制御素子が直線偏光子と4分の1波長膜とを含むとき、ユーザの前方の外部環境から入射する非偏光シーン光は直線偏光に変換され、一方、光の50%は遮断される。直線偏光子を透過するシーン光の第1の部分は、4分の1波長膜によって円偏光に変換される直線偏光である。部分反射ミラーによって反射されるシーン光の第3の部分は、次に第2の4分の1波長膜によって直線偏光に変換される逆転された円偏光を有する。直線偏光子は次いで、シーン光の反射された第3の部分を遮断し、それによって光抜けおよびアイグローを低減させる。図22Bは、眼鏡フレーム内に光制御素子を有する透過ディスプレイアセンブリの一例を示す。眼鏡断面2200Bは、眼鏡フレーム2202B内の透過ディスプレイアセンブリの構成要素を示す。光制御素子は、ユーザが見る透過ビュー全体を覆う。支持膜2204Bおよび2208Bは、ユーザの目2214Bの視野においてそれぞれ部分反射ミラー2210Bおよびビームスプリッタ層2212Bを支持するように示されている。支持膜2204Bおよび2208Bは、光制御素子2218Bと一緒に、眼鏡フレーム2202Bに連結されている。折畳みミラー2220Bおよび第1の4分の1波長膜2222Bのような他の構成要素も支持部材2204Bおよび2208Bに連結されており、したがって、組み合わされたアセンブリは構造的に安定している。
[00388]頭部装着ディスプレイのような小型の光学系内の迷光は通常、ハウジングの側壁、または光が急峻な角度で表面に当たる他の構造からの散乱によって生じる。この種の迷光は、表示画像の周囲の散乱光の明るい領域を生成する。
[00389]この種の迷光を低減させる2つの手法がある。1つの手法は、側壁またはその他の構造を暗い色にするかまたは粗にして光の反射率を低下させることである。しかし、この場合表面における吸光率が高くなり、表面から散乱する反射光が依然として目立つ場合がある。もう1つの方法は、迷光を遮断するかまたはクリップするバッフルを備える事である。表面から散乱した反射光を遮断するかまたはクリップすると、この迷光の作用が大幅に低下する。頭部装着ディスプレイでは、迷光を低減させる両方の手法を使用すると、表示画像の周りの明るい領域がなくなり、表示画像のコントラストが高くなるので有益である。
[00390]米国特許第5949583号は、上から入射する迷光を遮断するための頭部装着ディスプレイ上のバイザーを提供する。しかし、これは、頭部装着ディスプレイシステムの内側からの迷光を低減させるための制御の必要性に対処していない。
[00391]米国特許第6369952号は、頭部装着ディスプレイ内の液晶ディスプレイ画像光源の縁部の周りから生じる光を遮断するための2つのマスクを提供する。第1のマスクは、液晶ディスプレイ画像光源の入力側にバックライトに隣接して配置され、一方、第2のマスクは液晶ディスプレイの出射側に配置される。2つのマスクは液晶ディスプレイの近くに配置されるので、「第1のマスク222と第2のマスク224はどちらも、LCDのアクティブ領域と実質的に等しくかつ一致する開口部または窓232、234をそれぞれ有する」(第15欄、15行目〜19行目)。マスクを画像光源の近くに配置することによって、画像光源のアクティブ領域の中心により近い画像光源の領域から広い円錐角にわたって画像光源によって放出される光に対するマスクの影響をほとんどなくすことができる。広い円錐角を有するこの光は、ハウジングの側壁から様々な方法で反射し、それによって明るい領域の形をしておりかつコントラストの低下した迷光を生成することができる。
[00392]したがって、頭部装着ディスプレイ内部の各光源からの迷光を低減させるための方法が依然として必要である。
[00393]図160は、基板上の光学膜で構成されたビームスプリッタである光学的に平坦な反射面を含む、近眼式ディスプレイ16002であるディスプレイシステムの一例を示す。この例では、画像光源16012は、近眼式ディスプレイ16002内に配置された屈曲光学軸16018を含む光学レイアウトによって画像光を生成するための投影システム(図示せず)を含む。光学軸16018に沿った光学素子には、画像光源16012からの合焦した画像をユーザの目16004に送るように画像光を合焦させるためのレンズを含めてもよい。ビームスプリッタ16008が画像光源16012からの光学軸16018を屈曲させて球面反射体または非球面反射体16010に送る。ビームスプリッタ16008は部分反射ミラーまたは偏光ビームスプリッタであってもよい。近眼式ディスプレイ16002内のビームスプリッタ16008は、画像光源16012からの画像光の少なくとも一部の方向を変更して反射体16010に到達させるための角度に配向されている。反射体16010から、画像光の少なくともさらなる一部が反射されてユーザの目16004に戻る。画像光の反射されたさらなる部分は、再びビームスプリッタ16008を透過し、ユーザの目16004の所で合焦する。反射体16010はミラーまたは部分ミラーであってもよい。反射体16010が部分ミラーである場合、近眼式ディスプレイ16002の前方のシーンからのシーン光を画像光と合成し、それによって、軸16018に沿った画像光で構成された合成画像光16020とシーン光16014をユーザの目16004に送ってもよい。合成画像光16020は、シーンの合成画像を画像光源からの重ね合わせ画像と一緒にユーザの目16004に提示する。
[00394]図161は、近眼式ディスプレイモジュール200の一例を示す。モジュール200は、反射体16104と、画像光源モジュール16108と、ビームスプリッタ16102とで構成される。モジュールは、反射体16104と画像光源モジュール16108とビームスプリッタ16102との間の接合縁部のうちの少なくともいくつか同士を取り付けることによって各側において開放されてもよい。代替として、モジュール200は、埃、ごみ、および水がモジュール200の内面に到達するのを妨げるための密閉されたモジュールを構成するように各側において側壁によって密閉されてもよい。反射体16104と画像光源モジュール16108とビームスプリッタ16102は、別個に製造され、次いで接合されてもよく、あるいは少なくともいくつかの部材が互いに接合されたサブアセンブリとして一緒に製造されてもよい。モジュール200では、ビームスプリッタ16102または反射体16104上で光学膜を使用してもよい。図161では、ビームスプリッタ16102は平坦な表面として示されており、一方、反射体16104は球面として示されている。近眼式モジュール200では、図160に示すように反射体16104とビームスプリッタ16102の両方を使用してユーザの目に画像を提示し、したがって、各表面が光学的に平坦であるかまたは光学的に一様であることが重要である。
[00395]画像光源16108が、広い円錐角を有する光の光源を有する投影システムを含むと仮定すると、画像光も広い円錐角を有する。その結果、画像光はモジュール200の側壁と相互作用し、この相互作用により、ユーザによって表示画像の周囲の明るい領域として観測される明るい領域の形をした反射散乱光を生成することができる。このような明るい領域は、表示画像の周囲の光背のように見えることがあるので著しくユーザの注意をそらす恐れがある。さらに、散乱光は、画像を無作為に横切る低レベルの光を生成することによって表示画像のコントラストを低下させることがある。
[00396]図162は、一種の頭部装着ディスプレイ16200に関連する光学素子の照明を示す。この光学素子において、光源16204は、中心光線16202およびエッジ光線16224を含む、広い円錐角を有する光線を生成する。光源16204は偏光を生成することができる。光線は光源16204から照明ビームスプリッタ16210に達し、照明ビームスプリッタ16210が光の一部を、LCOSディスプレイであってもよい反射型画像光源16208の方へ反射させる。光の第1の部分は、画像光源16208によって反射され、同時に、表示されている画像コンテンツに応じて偏光状態が変化する。光の第2の部分は次いで照明ビームスプリッタ16210を透過し、次に1つまたは複数のレンズ16212を透過し、1つまたは複数のレンズ16212が光線の円錐角を拡張する。光の第3の部分は、撮像ビームスプリッタ16220によって斜めに反射され、球面(または非球面)部分ミラー16214の方へ送られる。部分ミラー16214は、光の第4の部分を反射させ、一方、光に画像をユーザの目16228に集束させ合焦させる。光の第4の部分が部分ミラー16214によって反射された後、光の第5の部分が撮像ビームスプリッタ16220を透過してユーザの目16228に達し、画像光源16208によって表示される拡大されたバージョンの画像がユーザの目16228に提示される。透過頭部装着ディスプレイでは、環境からの光16218(またはシーン光)が部分ミラー16214および撮像ビームスプリッタ16220を透過して環境の透過画像を生成する。すると、画像光源からの表示画像と環境の透過画像とで構成された合成画像がユーザに提示される。
[00397]中心光線16202は、頭部装着ディスプレイの光学素子の中心を光学素子の光軸に沿って透過する。光学素子には、照明ビームスプリッタ16210、画像光源16208、レンズ16212、撮像ビームスプリッタ16220、および部分ミラー16214が含まれる。図162に示すように、エッジ光線16224はハウジング16222の側面に沿って進み、ハウジング16222の側壁と相互作用してもよく、側壁によってエッジ光線16224を反射または散乱させてもよい。エッジ光線16224からのこの反射光または散乱光は、ユーザには表示画像の周囲の明るい領域または画像のコントラストの低下として見える。本開示は、反射光または散乱光を遮断またはクリップすることによって側壁からの反射および散乱光を低減させることによって明るい領域を縮小するための方法を提供する。
[00398]図163は、ハウジング16222内の照明ビームスプリッタ16210とレンズ16212との間にバッフル16302が付加される本開示の第1の実施形態の図を示す。バッフル16302は、エッジ光線16224をレンズ16212に入力する前に遮断またはクリップする。バッフル16302は、エッジ光線16224が遮断またはクリップされるように不透明な任意の材料で作られてもよい。好ましい実施形態では、バッフル16302はマット仕上げの黒色材料で作られてもよく、それによって入射光がバッフルによって吸収される。バッフル16302は、開口を有しハウジング16222内に位置する平坦なシートの材料から作られても、またはハウジング16222の一部として作られてもよい。バッフル16302が画像光源16208から遠くに位置し、かつ画像光が発散するので、図163に示すように、周囲のバッフル16302によって形成される開口は画像光源16208のアクティブ領域よりも大きく、したがって、画像光源16208によって生成された画像がバッフルによって縁部の所でクリップされることはなく、その結果、画像光源16208によって生成された全体画像をユーザの目によって見ることができる。さらに、バッフルは、光がバッフルの縁部から散乱しないように薄い断面(図163に示されている)または鋭い縁部を備えることが好ましい。
[00399]図164は、バッフル16402がレンズ16212の入射面に付加された本開示の別の実施形態の図を示す。バッフル16402は、ハウジング16222の一部として製造されてもよく、またはレンズ16212上にマスクとして取り付けられてもよい。いずれの場合も、バッフル16402は、不透明であり、好ましくは、入射光を遮断し吸収するようにマット仕上げを施した黒色であるべきである。
[00400]図165は、図164に示す実施形態と同様であるがレンズ16212の出射側上に配置された本開示の実施形態の図を示す。この実施形態では、バッフル16502は、エッジ光線16224がレンズ16212を透過した後でエッジ光線16224を遮断またはクリップするように構成される。
[00401]図166は、バッフル16602がレンズ16212と撮像ビームスプリッタ16220との間でハウジング16222に取り付けられた本開示の別の実施形態の図を示す。バッフル16602は、ハウジング16222の一部であっても、またはハウジング16222内に位置する別個の構造であってもよい。バッフル16602は、明るい領域が表示画像の周りのユーザの目16228に送られないようにエッジ光線16224を遮断またはクリップする。
[00402]図167は、入射光およびエッジ光16224の反射および散乱を低減させるように吸光性コーティング16702がハウジング16222の側壁に塗布された本開示のさらなる実施形態の図を示す。吸光性コーティング16702は、バッフル16302、16402、16502、または16602と組み合わされてもよい。
[00403]図168は、頭部装着ディスプレイにおける迷光の別の発生源の図を示し、この場合、迷光16802は光源16204の縁部から直接発生する。この迷光16802は、最初に照明ビームスプリッタ16210から反射され次に画像光源16208から反射されるものではなく、光源16204から直接発生するので特に明るい。図169は、光源16204による迷光16902の別の発生源の図を示し、この場合、迷光16902は画像光源16208の表面から反射し、偏光状態が変化し、次いで、迷光16902が比較的急峻な角度で照明ビームスプリッタを透過することができる。この迷光16902は次いで、図169に示すようにハウジング内の任意の反射面またはレンズ16212の縁部から反射することができる。図170は、光源16204に隣接する位置にバッフル17002が設けられた本開示のさらなる実施形態の図を示す。バッフル17002は不透明であり光源16204から拡張されており、したがって、迷光16802および16902は光源16204の直後に遮断またはクリップされ、それによってユーザの目16228に到達するのを妨げられる。
[00404]さらなる実施形態では、頭部装着ディスプレイにおける迷光をさらに低減させ、それによって表示画像の周囲の明るい領域を縮小するかまたは表示画像のコントラストを高めるように図163〜図167および図169〜図170に示すバッフルまたはコーティングが組み合わされる。光源16204と撮像ビームスプリッタ16220との間に複数のバッフルが使用されてもよい。さらに、図171に示すように、リッジ17102を含む吸光性コーティングを使用してもよく、その場合、一連の小さいリッジまたは段は一連のバッフルとして働き、ハウジング16222の側壁領域全体にわたってエッジ光線を遮断またはクリップする。リッジ17102は、ハウジング16222の一部として作られてもまたはハウジング16222の内壁に別個の層として取り付けられてもよい。
[00405]図172は、キャリアシート17212と、図171に示すように反射光を遮断するのに使用することができるリッジ17214とを含むテープまたはシート17210のさらなる実施形態を示す。リッジ17214は、一方の側が斜めに傾斜し、他方の側が急峻に傾斜しており、それによって、急峻に傾斜した側から接近する入射光が遮断される。リッジ17214は、図172に示すように鋭い縁部を含む三角形の断面を有する固体リッジであっても、または一方の縁部に取り付けられた薄い傾斜したスケールであっても、または表面が側壁に対して傾斜し入射光が遮断されるように一方の端部に取り付けられた傾斜した繊維であってもよい。テープまたはシート17210の利点は、リッジ17214が比較的薄くてもよく、かつリッジはハウジング16222の実質的な領域を覆ってもよい。テープまたはシート17210のさらなる利点は、リッジ17214が、ハウジングの一部として成形することが困難な場合がある図171に示すリッジよりも容易に作製し得ることである。
[00406]すべての実施形態において、周囲のバッフルは、サイズが、光軸に沿って画像光源からバッフルが配置された位置までの距離に相当し、したがって、画像光が光軸に沿って発散し、それによって画像光源16208のクリップされないビューをユーザの目16228に提示することのできる開口を形成してもよい。
[00407]一実施形態では、迷光を低減させるために光学アセンブリにおける吸光型偏光子が使用される。吸光型偏光子は反射防止コーティングを含んでもよい。吸光型偏光子は、光学アセンブリの光学的に平坦な膜を透過する光を低減させるように光学アセンブリの集束レンズの後に配設されてもよい。画像光源からの光は、コントラストを高めるように偏光されてもよい。
[00408]一実施形態では、光学アセンブリにおける反射防止コーティングを使用して迷光を低減させてもよい。反射防止コーティングは、光学アセンブリの偏光子または光学アセンブリの遅相膜上に配設されてもよい。遅相膜は、4分の1波長膜であってもまたは2分の1波長膜であってもよい。反射防止コーティングは、部分反射ミラーの外面上に配設されてもよい。画像光源からの光はコントラストを高めるように偏光されてもよい。
[00409]図102Aを参照すると分かるように、画像光源10228が光学アセンブリのビームスプリッタ層に画像光を送る。図103は、画像光源10228の拡大図を示す。この特定の実施形態では、画像光源10228は、光をディヒューザ10304および前偏光子10308を通して湾曲したワイヤグリッド偏光子10310に送り、光がLCoSディスプレイ10312に反射させる光源(LEDバー10302)を含むように示されている。LCoSからの画像光は次に、反射されて再び湾曲したワイヤグリッド偏光子10310を透過し2分の1波長膜10312を透過して光学アセンブリ10200のビームスプリッタ層に達する。諸実施形態では、光学構成要素10204、10210、10212、10212、10230を含む光学アセンブリは、着脱可能なアセンブリ(例えば、スナップ嵌めによる着脱)、交換可能なアセンブリなどの密封型光学アセンブリとして設けられてもよく、画像光源10228は接眼鏡のフレーム内の一体的な構成要素として設けられてもよい。この場合、密封型光学アセンブリは防水アセンブリ、防塵アセンブリ、交換可能なアセンブリ、カスタマイズ可能なアセンブリなどとする事ができる。例えば、所与の密封型光学アセンブリは、ある人用の矯正光学素子を備え、異なる補正光学要件(例えば、異なる処方)を有する別の人用の第2の密封型光学アセンブリと交換可能であってもよい。諸実施形態では、必ずしも両目で接眼鏡からの入射を受け取らなくてもよい用途があってもよい。この例では、単に一方の側を取り外し、この単一の側を使用してコンテンツを投影するだけでよい。このように、上記の構成によって、アセンブリが取り外されているので妨害されないユーザの目のための光路が得られ、接眼鏡のシステムの半分のみを動作させることによって電池寿命が延びることなどが可能になる。
[00410]光学アセンブリは、図102Aに示すように、画像生成ファシリティ10228ならびに指向性光学ファシリティ10204、10210、10212、および10230で構成されるように、どの部分が密封されるかに関して別々の部分に区画されているとみなされてもよい。さらなる例において、図147は、「投影スクリーン」14608aおよび14608bとしての指向性光学素子を示す接眼鏡構成の実施形態構成を示す。図102Aは、接眼鏡電子機器および投影システム14602の各部も示しており、投影システムのこの部分を画像生成ファシリティと呼ぶことがある。画像生成ファシリティおよび指向性光学ファシリティは、周囲の環境における汚染物質から内部の光学素子を保護することなどのために密封されたサブアセンブリであってもよい。さらに、指向性光学素子は、交換、ユーザに妨害されない視野を確保するための取り外し、非破壊的な強制取り外し(例えば、指向性光学素子を損傷しないように叩いたり、接眼鏡の本体から切り離したりする)の対処などのために着脱可能であってもよい。諸実施形態において、本開示は、ユーザによって装着される対話型頭部装着接眼鏡であって、接眼鏡はユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、コンテンツを光学アセンブリに導入するように構成された内蔵画像光源とを含み、光学アセンブリが、接眼鏡のフレーム内に取り付けられた画像生成ファシリティと、ユーザの目の前方に位置し、接眼鏡のフレームから取り外し可能な指向性光学ファシリティとを含み、画像生成ファシリティが、周囲の環境からの汚染を低減させるようにフレーム内に密封される頭部装着ディスプレイを備えてもよい。諸実施形態において、このシールは密封された光学窓であってもよい。本明細書において説明するように、接眼鏡は、処理ファシリティ、電力管理ファシリティ、取り外しセンサ、電池などをさらに備えてもよく、電力管理ファシリティは、取り外しセンサからの取り外し表示を介して指向性光学ファシリティの取り外しを検出し、接眼鏡の各構成要素への電力を選択的に低下させて電池から消費される電力を低減させることができる。例えば、電力を低下させられる構成要素は、画像光源であってもよく、画像光源の明るさを低下させたり、画像光源への電源をオフにしたりすることなどが行われ、電力管理ファシリティは、指向性光学ファシリティが取り付け直されたどうかを監視し、画像光源の電力使用を取り外し前の動作レベルに戻してもよい。指向性光学ファシリティは切り離すように取り外し可能であってもよく、したがって、誤って指向性光学ファシリティが取り外れるような力が加えられた場合、その指向性光学ファシリティは接眼鏡を損傷せずに外れる。指向性光学ファシリティは、磁石、ピン、レール、スナップオンコネクタなどの連結機構を介して着脱可能であってもよい。指向性光学ファシリティは、矯正接眼鏡を必要とするユーザのための視力矯正を可能にし得、接眼鏡の視力矯正処方を変更することを目的として交換可能である。接眼鏡は、各目のための2つの別々の着脱可能な光学アセンブリを有してもよく、その場合、別々の光学アセンブリンの1つを取り外すと、残りの光学光線を単眼用途に使用することが可能になる。例えば、単眼用途は、銃火器照準用途であってもよく、その場合、取り外された指向性光学ファシリティを有する接眼鏡の側が銃火器を照準するのに使用され、銃火器の照準のための妨害されない視路がユーザに対して形成され、一方、接眼鏡によって他方の目に対して実現される機能が保持される。指向性光学ファシリティは、屋内で使用するように構成された指向性光学ファシリティを屋外で使用するように構成された指向性光学ファシリティと交換するのを可能にするように着脱可能であってもよい。例えば、屋内使用と屋外使用のための異なるフィルタ、視野、コントラスト、遮光機能などがあってもよい。指向性光学ファシリティは、光学素子、機械的要素、調整要素のような追加の要素を受け入れるように構成されてもよい。例えば、ユーザの光学処方に対する調整のために光学素子を挿入してもよい。指向性光学ファシリティは、第1の視野を有する指向性光学ファシリティを第2の視野を有する指向性光学ファシリティと交換することなどによって、実現される視野を変更するように交換可能であってもよい。
[00411]図104を参照すると分かるように、LEDは非偏光を生成する。ディヒューザは、LEDからの光を拡散させ均一化する。吸収型偏光子は光をS偏光に変換する。S偏光は次いで、湾曲したワイヤグリッド偏光子によってLCOSの方へ反射される。LCOSは、S偏光を反射させて、局所画像コンテンツに応じてP偏光に変換する。P偏光された光は、湾曲したワイヤグリッド偏光子を透過して、P偏光された画像光になる。2分の1波長膜はP偏光画像光をS偏光画像光に変換する。
[00412]再び図102Aを参照すると分かるように、ビームスプリッタ層10204が偏光ビームスプリッタであるか、または画像光源が偏光画像光10208を生成し、かつビームスプリッタ層10204が偏光ビームスプリッタであり、それによって、反射された画像光10208は直線偏光になる。この実施形態および関連する偏光制御が図102Aに示されている。画像光源が直線偏光画像光を生成し、かつビームスプリッタ層10204が偏光ビームスプリッタである場合、画像光の偏光状態が偏光ビームスプリッタに揃えられ、したがって、画像光10208が偏光ビームスプリッタによって反射される。図102Aは、反射された画像光をS状態偏光を有するように示している。ビームスプリッタ層10204が偏光ビームスプリッタである場合、第1の4分の1波長膜10210がビームスプリッタ層10204と部分反射ミラー10212との間に設けられる。第1の4分の1波長膜10210は直線偏光画像光を円偏光画像光に変換する(図102AにはSがCRに変換されるように示されている)。画像光10208の反射された第1の部分は次いで、同じく円偏光されて円偏光状態が逆転され(図102AではCLとして示されている)、したがって、再び4分の1波長膜を透過した後、画像光10208の反射された第1の部分の偏光状態は、画像光源によって生成される画像光10208の偏光状態(Sとして示されている)に対して(P偏光に)逆転される。その結果、画像光10208の反射された第1の部分は、反射損失なしに偏光ビームスプリッタを透過する。ビームスプリッタ層10204が偏光ビームスプリッタであり、かつ透過型ディスプレイアセンブリ10200が第1の4分の1波長膜10210を含むとき、光制御素子10230は第2の4分の1波長膜および直線偏光子10220である。諸実施形態では、光制御素子10230は制御可能な減光層10214を含む。第2の4分の1波長膜10218は、円偏光された画像光10208の第2の部分を、アイグローが低減するように光制御素子10230の直線偏光子10220によって遮断される偏光状態を有する直線偏光された画像光10208に変換する(CRがSに変換されるように示されている)。
[00413]光制御素子10230が直線偏光子10220と4分の1波長膜10218とを含むとき、ユーザの前方の外部環境からの入射非偏光シーン光10222が直線偏光(図102AにはP偏光状態として示されている)に変換され、一方、光の50%が遮断される。直線偏光子10220を透過するシーン光10222の第1の部分は、4分の1波長膜によって円偏光に変換される(図102AにはPがCLに変換されるように示されている)直線偏光である。部分反射ミラー10212から反射されたシーン光の第3の部分は、逆転された円偏光を有し(図102AにはCLからCRに変換されるように示されている)、この円偏光は次いで、第2の4分の1波長膜10218によって直線偏光に変換される(図102AにはCRがS偏光に変換されるように示されている)。直線偏光子10220は次いで、シーン光の反射された第3の部分を遮断し、それによって抜け光を低減させかつアイグローを低減させる。
[00414]図102Aに示すように、画像光10208の反射された第1の部分とシーン光の透過された第2の部分は、同じ円偏光状態(CLとして示されている)を有し、したがって、合成され、第1の4分の1波長膜10210によって、ビームスプリッタ層10204が偏光ビームスプリッタであるときにビームスプリッタを透過する直線偏光(Pとして示されている)に変換される。直線偏光された合成光10224は次いで、透過型ディスプレイアセンブリ10200の後部に配置されたユーザの目10202に合成画像を提示し、この場合、合成画像は、画像光源からの表示画像とユーザの前方の外部環境の透過ビューとの重なり合った部分で構成される。
[00415]ビームスプリッタ層10204は、本明細書において説明するアサヒTACフィルムのような光学的に平坦な膜を含む。ビームスプリッタ層10204は、ユーザの目の前方に斜めに配設され、それによって、画像光のそれぞれの部分を反射させたり透過させたりし、かつ周囲の環境の透過ビューからのシーン光を透過させ、したがって、画像光と透過されたシーン光の各部で構成された合成画像がユーザの目に提示される。光学的に平坦な膜は、ワイヤグリッド偏光子などの偏光子であってもよい。光学的に平坦な膜は透明基板に積層されてもよい。光学的に平坦な膜は、ビームスプリッタ10202のような接眼鏡の光学面のうちの1つの表面内または表面上に成形されたり、オーバーモールドされたり、接着されたりしてもよい。光学的に平坦な膜は、垂直から40度未満の角度に位置付けられてもよい。湾曲した偏光膜は、光源の高さと照明領域の幅との比が1:1未満であってもよい。湾曲した膜の最高点は、ディスプレイの最も幅が狭い軸の長さよりも低い。諸実施形態では、(1つまたは複数の)光学的に薄い膜がビームスプリッタ上に位置した後、矯正光学素子、処方レンズのような追加の光学素子を表面に付加して、膜が光学素子と表面との間に挟まれた層として平坦に維持されるようにしてもよい。
[00416]本開示は、光学的に平坦な表面に光学膜を設けるための方法をさらに提供する。光学膜は、撮像デバイスの構造の残りの部分と非常に異なる光学特性を有する光学構造を形成するための好都合な手段である。撮像デバイスの機能を実現するには、光学膜を光学デバイスに取り付ける必要がある。光学膜を反射型として使用すると、反射面が光学的に平坦になるか、または反射面から反射する光の波面が維持されず、画質が低下することが重要である。光学的に平坦な膜は、撮像デバイスに使用される光の波長に対して測定され、かつ平坦な表面または所望の光学曲線と比較されたときの、1インチ(2.54cm)の表面当たり5つの光波長内で一様である表面として定義される。
[00417]本開示において説明するような光学膜を含む光学的に平坦な表面は、プロジェクタ、投影型テレビジョン、近眼式ディスプレイ、頭部装着ディスプレイ、透過型ディスプレイなどを含むディスプレイシステムに含まれてもよい。
[00418]図140は、基板上の光学膜で構成されたビームスプリッタである光学的に平坦な反射面を有する、近眼式ディスプレイ14000であるディスプレイシステムの一例を示す。この例では、画像光源14010は、近眼式ディスプレイ14000内に配置された屈曲光学軸14014を含む光学レイアウトによって画像光を生成する投影システム(図示せず)を含む。光学軸14014に沿った光学素子は、画像光を合焦させ、画像光源14010からの合焦した画像をユーザの目14002に送るためのレンズを含んでもよい。ビームスプリッタ14004が画像光源14010からの光学軸14014を球面反射体または非球面反射体14008に屈曲させる。ビームスプリッタ14004は、部分反射ミラーまたは偏光ビームスプリッタ層であってもよい。近眼式ディスプレイ14000内のビームスプリッタ14004は斜めに配向され、画像光源14010からの画像光の少なくとも一部の方向を変更して反射体14008に送る。反射体14008から、画像光の少なくともさらなる一部が反射されてユーザの目14002に達する。画像光の反射されたさらなる部分は、再びビームスプリッタ14004を透過し、ユーザの目14002において合焦する。反射体14008は、ミラーまたは部分ミラーであってもよい。反射体14008が部分ミラーである場合、近眼式ディスプレイ14000の前方のシーンからのシーン光は、画像光と合成され、それによって軸14014に沿った画像光と軸14012に沿ったシーン光とで構成された合成画像光14018をユーザの目14002に提示する。合成画像光14018は、シーンと画像光源からの重ね合わせ画像との合成画像をユーザの目に送る。
[00419]図141は、近眼式ディスプレイモジュール14100の図を示す。モジュール14100は、反射体14104と、画像光源モジュール14108と、ビームスプリッタ14102とで構成される。このモジュールは、反射体14104と画像光源モジュール14108とビームスプリッタ14102との間の接合縁部のうちの少なくともいくつかを互いに取り付けることによって各側において開放されてもよい。代替として、モジュール14100は、埃、ごみ、および水がモジュール14100の内面に到達するのを妨げるための密閉モジュールを構成するように各側において側壁によって密閉されてもよい。反射体14104と画像光源モジュール14108とビームスプリッタ14102は、別個に製造され、次いで接合されてもよく、あるいは少なくともいくつかの部材が互いに接合されたサブアセンブリとして一緒に製造されてもよい。モジュール14100では、ビームスプリッタ14102または反射体上で光学膜を使用してもよい。図141では、ビームスプリッタ14102は平坦な表面として示されており、一方、反射体14104は球面として示されている。近眼式モジュール14100では、図140に示すように、反射体14104とビームスプリッタ14102の両方を使用してユーザの目に画像を提示し、したがって、各表面が光学的に平坦であるかまたは光学的に一様であることが重要である。
[00420]図142は、本開示の一実施形態の概略図、すなわち、ペリクル型膜アセンブリ14200を示す。ペリクル型膜アセンブリ14200は、上部フレーム部材14202aと下部フレーム部材14202bとで構成されたフレーム14202を含む。光学膜14204は、接着剤または留め具によってフレーム部材14202aとフレーム部材14202bとの間に保持される。光学膜14204の平坦度を向上させるために、接着剤を塗布し、フレーム部材14202aおよび14202bを光学膜14204に結合する間、光学膜14204を1つまたは複数の方向に伸ばしてもよい。光学膜14204がフレーム14202に結合された後、光学膜の縁部を切り取ってフレーム14202の外縁部に平滑な表面を設けてもよい。
[00421]本開示のいくつかの実施形態では、光学膜14204は、光学的に平坦な一連の表面で構成された屈曲膜であり、フレーム部材14202aおよび14202bの界面は一致した屈曲形状を有する。屈曲膜は次いで、屈曲方向に沿って伸ばされて所定の位置に結合され、それによって、フレーム部材14202aおよび14202bが光学膜14204を屈曲形状に保持し、光学的に平坦な一連の表面の各々が所定の位置に保持される。
[00422]いずれの場合も、フレーム部材14202aおよび14202bが光学膜12024に結合された後、得られるペリクル型膜アセンブリ14200は、ビームスプリッタ14102を形成するように近眼式ディスプレイモジュール14100などの光学デバイス内に配置することのできる剛性を有するアセンブリである。この実施形態では、ペリクル型膜アセンブリ14200は、近眼式ディスプレイモジュール14100内の交換可能なビームスプリッタ14102アセンブリである。近眼式ディスプレイモジュール14100内の側壁は、フレーム14202が嵌め込まれるグルーブを有してもよく、または代替として、側壁を連結する平坦な表面が設けてもよく、フレーム14202が平坦な表面上に配置されてもよい。
[00423]図143は、光学膜14302を含むインサート成形されたアセンブリ14300の図を示す。この実施形態では、光学膜14302を型に入れ、粘性のプラスチック材料を成形ゲート14308を通して型の中に射出し、したがって、プラスチックがモールドキャビティに満たされ、光学膜14302に隣接しかつ光学膜14302の後方に成形構造14304を形成する。型の中でプラスチック材料が硬化した後、型を型割り線14310に沿って開放し、インサート成形されたアセンブリ14300を型から取り外す。次いで、光学膜14302をインサート成形されたアセンブリ14300に埋め込んで取り付ける。インサート成形されたアセンブリ14300内の光学膜14302の光学的平坦度を向上させるために、光学膜14302が接触する型の内面を光学的に平坦な表面とする。このようにして、成形プロセス時に粘性のプラスチック材料が光学膜14302を型の光学的に平坦な表面に押し付ける。このプロセスを使用して、平坦であるかまたは所望の光学曲線を有する上述のような光学的に平坦な表面を形成することができる。さらなる実施形態において、光学膜14302は、光学膜14302と成形構造14304との付着を向上させるように付着層または結合層を備えてもよい。
[00424]さらに別の実施形態では、光学膜14302が型に入れられ、型表面と光学膜14302との間に保護膜が配置される。保護膜は光学膜14302または型に取り付けられてもよい。保護膜は、成形時に接触する光学膜14302用のより平滑または平坦な表面を形成するように型表面よりも平滑または平坦であってもよい。したがって、保護膜は、例えばプラスチックまたは金属のような任意の材料であってもよい。
[00425]図144は、光学膜14400を含む積層板を製造するための積層プロセスの図を示す。この実施形態では、上部プレス板14408aおよび下部プレス板14408bを使用して光学膜14400を基板14404上に積層する。場合によっては接着剤14402を使用して基板14404を光学膜14400に結合してもよい。さらに、1枚または複数のプレス板14408aおよび14408bを加熱してもよく、または基板14404を加熱して基板14404と光学膜14400との付着度を高めてもよい。基板あるいは1枚または複数のプレス板14408aおよび14408bの加熱を使用して基板14404を軟化させ、それによって光学膜14400の後方により一様な圧力を加えて積層板内の光学膜14400の平滑度または平坦度を向上させてもよい。この実施形態の光学膜14400を含む積層板は、上記にペリクル型膜アセンブリ14200に関して説明したような近眼式ディスプレイモジュール14100内の交換可能なビームスプリッタとして使用されてもよい。
[00426]図145A〜図145Cは、光学膜14500を含む光学面を有する成形構造14502を製造するための塗布プロセスの図を示す。この実施形態では、光学膜14500をゴムアプリケータ14508によって成形構造14502内の光学的に平坦な表面14504に塗布する。成形構造14502の光学的に平坦な表面14504または光学膜14500の底面のいずれかに接着剤層を塗布して光学膜14500を成形構造14502に付着させてもよい。ゴムアプリケータ14508は、最初に光学膜14500の中心部が押されて、最初に成形構造14502の光学的に平坦な表面14504に接触するように、湾曲面を有する比較的柔らかいゴム状の材料であってよい。ゴムアプリケータ14508がさらに押し下げられると、図145A、図145B、および図145Cに示すように、光学膜14500と成形構造14502の光学的に平坦な表面14504との間の接触領域のサイズが大きくなる。この漸進的な塗布プロセスでは、塗布プロセスの間、界面の空気を押し出すのを可能にする圧力を非常に一様に加えるのを可能にする。図145Cに示すように、この漸進的な塗布プロセスは、成形構造14502の光学的に平坦な表面14504と共に、成形構造14502の内面に取り付けられた光学的に平坦な光学膜14500を形成する。光学膜14500を成形構造14502に結合するのに使用される付着層は、光学膜14500に取り付けられてもまたは成形構造14502内部の光学的に平坦な表面14504に取り付けられてもよい。当業者には、この塗布プロセスを同様に使用して光学膜を成形構造の外面に塗布してもよいことが認識されよう。さらに、光学的に平坦な表面は、平坦な表面であっても、または所望の光学曲線を含む表面であっても、または一連の光学的に平坦な表面であってもよく、その場合、ゴムアプリケータは、光学膜が塗布されるにつれて圧力を漸進的に加えるように形作られる。
[00427]諸実施形態において、画像表示システムは、ディスプレイモジュールハウジングを備える光学的に平坦な光学膜を含んでもよく、その場合、ハウジングは、光学膜を光学的に平坦に保持するための基板と、画像光源と、視聴位置とを備え、画像光源によって生成された画像は、光学膜から視聴位置に反射される。諸実施形態では、画像表示システムの光学膜はディスプレイモジュールへと成形されてもよい。諸実施形態において、光学膜がディスプレイモジュールに塗布されてもよい。さらに、諸実施形態では、ディスプレイシステムの光学膜はワイヤグリッド偏光子、ミラー、部分ミラー、ホログラフィック膜などであってもよい。諸実施形態では、画像表示システムは近眼式ディスプレイであってもよい。諸実施形態では、光学膜がディスプレイモジュールへと成形される場合、光学膜がディスプレイモジュールへと成形されるときに光学膜を光学的に平坦な表面に接触させて保持してもよい。諸実施形態では、画像表示システムの光学膜は、1インチ(2.54cm)当たり5つの光波長に相当する光学的平坦度を有してもよい。
[00428]一実施形態において、光学的に平坦な光学膜を含む画像表示システムは、光学膜を光学的に平坦に保持するための基板と、ディスプレイモジュールハウジングと、画像光源と、視聴位置とを備えてもよく、画像光源によって生成された画像は、光学膜から視聴位置に反射されてもよく、光学膜を含む基板は、ディスプレイモジュールハウジング内で交換可能であってもよい。諸実施形態において、画像表示システムの基板はフレームであってもよく、光学膜はフレームによって張力を加えられた状態で保持されてもよく、基板は膜の後方に成形されたプレートであってもよく、ならびに/または基板は積層板であってもよい。さらに、画像表示システムの光学膜は、ビームスプリッタ、偏光ビームスプリッタ、ワイヤグリッド偏光子、ミラー、部分ミラー、ホログラフィック膜などであってもよい。さらに、画像表示システムは近眼式ディスプレイであってもよい。諸実施形態では、画像表示システムの光学膜は、光学膜の後方にプレートが成形されるときに光学的に平坦な表面に接触させて保持されてもよい。さらに、諸実施形態では、画像表示システムの光学膜は、プレートが光学膜に積層されるときに光学的に平坦な表面に接触させて保持されてもよい。様々な実施形態において、画像表示システムの光学膜は1インチ(2.54cm)当たり5つの光波長に相当する光学的平坦度を有してもよい。
[00429]一実施形態において、図102Aの各構成要素は集合的に電気光学モジュールを形成する。ディスプレイに関連する光軸の角度は、垂直から前方に10度以上であってもよい。この傾斜角度は、光学モジュールの上部がどのように前方に傾斜しているかを指す。これによって、ビームスプリッタの角度を小さくすることができ、光学モジュールがより薄くなる。
[00430]湾曲した偏光膜の高さと反射型画像ディスプレイの幅との比は1:1よりも小さくてもよい。偏光膜上の湾曲は、反射型ディスプレイ上の照明領域の幅を決定し、湾曲した領域の傾斜は、反射型ディスプレイ上の照明領域の位置を決定する。湾曲した偏光膜は、第1の偏光状態の照明光を反射型ディスプレイ上に反射させ、それによって照明光の偏光を変化させて画像光を生成し、湾曲した偏光膜は反射された画像光を透過させる。湾曲した偏光膜は、光源の上方の反射型ディスプレイに平行な部分を含む。画像光源の高さは、ディスプレイアクティブ領域幅の少なくとも80%であっても、または少なくとも3.5mmであっても、または4mm未満であってもよい。
[00431]携帯ディスプレイシステムでは、明るく小型で軽量のディスプレイを提供することが重要である。携帯ディスプレイシステムには、携帯電話、ラップトップコンピュータ、タブレットコンピュータ、近眼式ディスプレイ、および頭部装着ディスプレイが含まれる。
[00432]本開示は、エッジ光源からの光の方向を変更して反射型画像光源を照明するための部分反射膜で構成された、携帯ディスプレイシステム用の小型で軽量のフロントライトを提供する。部分反射膜は部分ミラービームスプリッタ膜または偏光ビームスプリッタ膜であってもよい。偏光ビームスプリッタ膜は多層誘電膜またはワイヤグリッド偏光膜であってもよい。偏光ビームスプリッタ膜は、一方の偏光状態を効率的に反射させ、同時に他方の偏光状態を透過させることが知られている。多層誘電膜は、ミネソタ州ミネアポリスの3MからDBEFという名称で市販されている。ワイヤグリッド偏光膜は、日本の東京の旭化成イーマテリアルズ株式会社からWGFという名称で市販されている。
[00433]エッジライトは、ディスプレイ用の小型の光源を実現するが、画像光源の縁部に配置されるので、画像光源を照明するには光の方向を90度変更しなければならない。画像光源が液晶オンシリコン(LCOS)画像光源などの反射型画像光源であるときは、照明光を偏光させなければならない。偏光は画像光源の表面によって反射され、光の偏光状態は、表示中の画像コンテンツに応じて変更される。反射光は次いで、再びフロントライトを透過する。
[00434]図187は、フロントライトとして固体ビームスプリッタキューブ18718を有する従来技術のディスプレイアセンブリ18700の概略図を示す。ディスプレイアセンブリは、フロントライトと、1つまたは複数の光源と、画像光源とを含む。ディスプレイアセンブリ18700には、光線18712として示されている光を生成するための1つまたは複数の光源18702が含まれる。光源はLED、蛍光灯、OLED、白熱灯、または半導体ライトであってもよい。光線18712はディヒューザ18704を透過して光を横方向に拡散させ、照明をより高度に一様化する。拡散光が偏光される場合、ディヒューザは直線偏光子を含む。拡散光線18714は固体ビームスプリッタキューブ18718を通して部分放射層18708の方へ放出され、部分的に反射型画像光源18720の方へ反射される。拡散光線18714は次いで、反射型画像光源18720によって反射され、それによって、部分反射層18708によって透過される画像光18710を生成する。画像光18710は次いで、関連する撮像光学素子(図示せず)に入射し、画像を観察者に提示することができる。しかし、図187を見ると分かるように、ここではディヒューザ18704として示されている光源の照明領域の高さは、照明される反射型画像光源18720の幅と同じである。部分反射層18708は45度の開光角度に位置し、直進するかまたは垂直方向に関連する撮像光学素子に入射する画像光線18710を生成する。その結果、図187に示すフロントライトは比較的大型である。
[00435]一般的な撮像システムでは、画像光源からの波面を維持し、適切な解像度およびコントラストを有する高品質の画像を生成することが重要である。したがって、当業者に知られているように、高品質の画像が観察者に送られるように関連する撮像光学素子に一様な波面を送るには、画像光18710が反射型画像光源18720から垂直に進まなければならない。したがって、(図187〜図198に示すように)拡散光線18714を反射させ関連する撮像光学素子に垂直に入射させることができるように、拡散光線18714の方向を部分反射膜18708によって反射型画像光源18720に垂直になるように変更しなければならない。
[00436]図188は、各縁部の所で支持されかつ反射型画像光源18720の上方に自立する部分反射膜18804を含む別の従来技術のディスプレイアセンブリ18802を示す。このディスプレイアセンブリは、図187に示されるディスプレイアセンブリと同様に作動するが、違いは固体ビームスプリッタキューブ18718がないのでディスプレイアセンブリ18700よりも軽量である事である。図188を見ると分かるように、ディヒューザ18704の高さはこの場合も、反射型画像光源18720によって反射されたときに垂直に進んで関連する撮像光学素子に入射する画像光18808を生成するように反射型画像光源18720の幅と同じである。
[00437]図189は、部分反射膜18804が45度未満の開光角度に位置する場合ディスプレイアセンブリ18902における光がどうなるかについての概略図を示す。この場合、反射型画像光源18720の各部が一様に照明されることはない。ディヒューザから最も遠く離れた反射型画像光源の部分を照明する光線は、(光線18904と同様に)関連する撮像光学素子まで直進することも、または(光線18908と同様に)偏光状態を変化させる反射型画像光源の表面から事前に反射されることもなく、この光線は次に、部分反射膜が偏光ビームスプリッタ膜(反射型偏光膜とも呼ばれる)である場合にはこの膜を透過する。したがって、関連する撮像光学素子が反射型画像光源18720から直進する画像光しか使用できない際、部分反射膜18804が45度未満の角度に位置するときには、照明される反射型画像光源18720の領域が縮小され、それに応じて画像の暗い部分が生成される。
[00438]図190に示す本開示の一実施形態では、光源18702によって生成された拡散光19010の方向を下向きに変更して反射型画像光源18720を照明するための湾曲した部分反射面19004が設けられる。湾曲した部分反射面19004は、薄い可撓性の偏光ビームスプリッタ膜であってもよい。この場合、ディヒューザ18704は、光18712が拡散され、次いで直線偏光されるように直線偏光子を含み、よって拡散光19010は、偏光される。ディヒューザ18704内の直線偏光子および偏光ビームスプリッタ膜19004は、直線偏光子を透過した光が偏光ビームスプリッタ膜によって反射されるように配向される。このように、反射型画像光源18720が拡散光19010の偏光を変化させると、反射された画像光19008の偏光は拡散光19010に対して逆の偏光状態になる。反射された画像光19008は次いで、部分反射膜19004を透過し、引き続き表示光学素子に達する。可撓性の偏光ビームスプリッタ膜を部分反射面19004として使用することによって、部分反射面19004を湾曲させかつ軽量化することができる。偏光ビームスプリッタ膜は、反射型画像光源18720を照明する拡散光19010用の反射体および反射された画像光19008用の透過部材としての2つの役割を果たす。当業者によって知られているように、偏光ビームスプリッタ膜によってもたらされる利点は、広範囲の入射角にわたって光を受けることができ、したがって、湾曲が、膜を透過する光に干渉しないことである。さらに、偏光ビームスプリッタ膜は薄い(例えば、200ミクロン未満)ので、湾曲形状は、画像光19008が膜を透過して表示光学素子に達するときに画像光19008をそれほど歪ませない。最後に、偏光ビームスプリッタ膜は、光を散乱させる傾向が弱く、したがって、高い画像コントラストを維持することができる。
[00439]偏光ビームスプリッタ膜の可撓性によって、ディヒューザからの光の方向を変更し反射型画像光源上に合焦させる湾曲形状として偏光ビームスプリッタ膜を形成することができる。偏光ビームスプリッタ膜の湾曲の形状は、反射型画像光源の一様な照明を生成するためにディヒューザによって形成される光分布に基づいて選択されてもよい。図190は、放物線形状を有する湾曲した部分反射膜19004を示すが、拡散光19010の方向を一様に変更し反射型画像光源18720上に合焦させるには、光源18702の性質およびディヒューザ18704の効果に応じて丸い曲線、複雑なスプライン曲線、比較的平坦な曲線、平面、または分割された平面を使用することも可能である。実験によって、部分反射面19004上の湾曲面が拡散光19010を反射型画像光源18720の中心に集光させる傾向があり、したがって、ディヒューザ18704が縁部がより明るい光の分布を形成するときには湾曲面を使用するのが最適であることが分かっている。逆に、実験によって、ディヒューザ18704が中央がより明るい光の分布を形成するときには部分反射面19004上の比較的平坦な表面を使用するのが最適であることが分かっている。部分反射面19004が可撓性の膜で構成されるときの部分反射面19004の形状は、可撓性の膜を図190に示すように自立膜として所定の位置に保持するのに適した曲線の長穴を有するサイドフレームによって維持されてもよい。湾曲面を他の構成要素と一緒にディスプレイアセンブリ19002のいずれかの側に支持するために2つのサイドフレームが使用されている。ディスプレイアセンブリ19002の大部分は空気で構成され、かつ部分反射面19004は薄膜であるので、図187に示す従来技術のディスプレイアセンブリ18700と比較して重量が実質的に軽い。さらに、図190を見ると分かるように、照明される反射型画像光源18720の幅はディヒューザ18704の高さよりも大きく、したがって、ディスプレイアセンブリ19002は図188に示す従来技術のディスプレイアセンブリよりもより小型である。
[00440]図191は、ディスプレイアセンブリ19102において二重光源19104が使用され、比較的平坦な2つの部分反射面が背中合わせに位置する本開示の別の実施形態を示す。図191に示す構成は、2つの面を有するフロントライトにおける固体膜ホルダ19120を形成し、したがって、ディスプレイアセンブリ19102は、図187に示すような2つのディスプレイアセンブリ18700を背中合わせに配置して使用する構成と同様である。図191では、光線が一方の面についてのみ示されているが、他方の面の部品および光線も図示の面と対称である。固体膜ホルダ19120内に、2つの面の間を連続的に延びる部分反射膜19110が位置している。固体膜ホルダ19120も、画像光19112がディスプレイアセンブリ19102の2つの面の間のシームラインによって遮断または偏向されないように2つの面の間で連続している。固体膜ホルダ19120と部分反射膜19110は一緒に一定の光学的厚さを形成し、したがって、画像光は偏向されることもまたは歪まされることもない。したがって、2つの光源19104からの光によって照明されつつ、連続画質を有する画像光19112を生成することができる。各光源19104は光19114をディヒューザ19108に送り、ディヒューザ19108は光19114を横方向に拡散させて拡散光19118を生成し、反射型画像光源18720の半分を照明する。固体膜ホルダ19120は部分反射膜19110を所望の形状に保持する。最も重要なこととして、ディヒューザ19108の高さは、反射型画像光源18720の照明幅と比較して、ディスプレイアセンブリ18700に関する図187に示す従来技術のディヒューザ18704の2分の1に減少させる。
[00441]図192は、二重光源19104と縁部の所でのみ支持される自立型部分反射膜19204とを有するディスプレイアセンブリ19202の概略図を示す。図192では、光線が一方の面についてのみ示されているが、他方の面の部品および光線も図示の面と対称である。ディスプレイアセンブリ19202の様々な構成要素の機能は、図191に示す機能と同じであるが、ディスプレイアセンブリ19202の大部分が空気で構成されているのでディスプレイアセンブリ19202がディスプレイアセンブリ19102よりもより軽量であるという追加の利点をもたらす。
[00442]図193は、二重光源19104と自立型部分反射膜19308とを含むディスプレイアセンブリ19302を示し、この場合、膜は、2つの湾曲面が形成されるように縁部の所で支持されている。図193では、光線が一方の面についてのみ示されているが、他方の面の部品および光線も図示の面と対称である。部分反射膜19308は両面全体にわたって連続しており、両面に同様の曲線が存在する。曲線としては、ディヒューザによって生成された拡散光19312を反射させて反射型画像光源18720上に合焦させる曲線が選択される。反射型画像光源18720は、拡散19312光を反射させ、それによって画像光19310を形成する。ディヒューザ19304の高さは図187に示す従来技術のディヒューザ18704の2分の1未満であり、したがって、フロントライトおよびディスプレイアセンブリ19302は非常に小型である。
[00443]図194は、図193に示すディスプレイアセンブリ19302と同様の固体膜ホルダ19404の内側に連続部分反射膜19308を有するディスプレイアセンブリ19402の概略図を示す。図194では、光線が一方の面についてのみ示されているが、他方の面の部品および光線も図示の面と対称である。固体膜ホルダ19404は、膜を所定の2段曲線として保持し、さらに部分反射膜19308を保護するように部分反射膜19308の両面で使用されている。固体膜ホルダ19404の2つの面は、画像の中心における画像光19310を乱すシームラインを形成するのをさらに回避するように固体膜ホルダ19404の底部の中央の比較的薄い部分によって連結されている。
[00444]本開示の好ましい実施形態では、図191〜図194に示すディスプレイアセンブリ内の部分反射膜は偏光ビームスプリッタ膜(beam splitting film)である。これらの実施形態では、ディヒューザは、拡散光が偏光されるように直線偏光子を含む。直線偏光子は、偏光ビームスプリッタ膜に揃えられ、それによって、拡散光は偏光ビームスプリッタ膜によって反射される偏光状態を有する。偏光ビームスプリッタ膜は画像光の分析器としても働く。偏光された拡散光をフロントライト内の偏光ビームスプリッタ膜に使用することの利点は、偏光された拡散光のすべてが偏光ビームスプリッタ膜によって反射型画像光源の方へ反射され、画像光に変換されるので、ディスプレイアセンブリ内の迷光が低減することである。拡散光が偏光されない場合、反射されない拡散光の偏光状態は偏光ビームスプリッタ膜を透過し、この光が制御されない場合、画像光の散乱光が生じ、観察者に提示される画像のコントラストが低下する。
[00445]図195は、一方の側の単一光源19104と反射型画像光源18720を両側から効果的に照明するための偏光制御素子とを含むディスプレイアセンブリ19502の概略図を示す。この場合、光源19104は、非偏光19114および非偏光拡散光19508を生成する。部分反射膜は固体膜ホルダ19514内の偏光ビームスプリッタ膜19504である。偏光ビームスプリッタ膜19504は、拡散光の一方の偏光状態(光線19510と示される)を反射させ、一方、他方の偏光状態(光線19518と示される)を透過する。偏光ビームスプリッタ膜19504は屈曲し連続しており、したがって、他方の偏光状態19518を有する光は屈曲した偏光ビームスプリッタ膜19504の両面を透過する。この光195418は次いで、4分の1波長位相遅延膜19524を透過し、4分の1波長位相遅延膜19524は偏光状態を直線偏光から円偏光に変化させる。円偏光は次いで、ミラー19528によって反射され、再び4分の1波長位相遅延膜19524を透過し、4分の1波長位相遅延膜19524は偏光状態を一方の偏光状態について円偏光から直線偏光に変化させ(光線19520によって示されている)、それによって、光19520は次いで、偏光ビームスプリッタ膜19504によって反射型画像光源18720の方へ反射される。したがって、ディスプレイアセンブリ19502内の光源19104によって生成された光は、反射型画像光源18720の両面を同じ偏光状態の光によって照明する。拡散光19508は非偏光であり、反射型画像光源18720を照明するのに両方の偏光状態(19510、19518)が使用されるので、光源によって生成された光の基本的にすべてが画像光に変換される(19512、19522)。画像光(19512、19522)は真っ直ぐに関連する撮像光学素子に送られる。この場合も、ディヒューザ19108の高さは、図187に示すディヒューザ18704の2分の1であり、それによって、小型で効率的なフロントライトおよびディスプレイアセンブリが実現される。
[00446]図196は、図195に示す形状と同様の形状を有するディスプレイアセンブリ19602を示すが、偏光ビームスプリッタ膜19604は、フロントライトの重量を減らし、しかも照明される反射型画像光源の幅に対するディヒューザの高さを低くするように自立型であり縁部でのみ支持されている。
[00447]図197は、二重光源19704と19708、および屈曲した偏光ビームスプリッタ膜19714とを有するディスプレイアセンブリ19702を含み、屈曲した偏光ビームスプリッタ膜19714の2つの面が湾曲している、本開示のさらに別の実施形態を示す。光源19704、19708からの光19718、19720は非偏光であり、ディヒューザ19710、19712は偏光子を含まず、したがって、拡散光19722、19724も非偏光である。偏光ビームスプリッタ膜19714の湾曲面および傾斜面は、拡散光の一方の偏光状態(光線19728、19730として示されている)の方向を反射型画像光源18720の方へ変更し、一方、光19728、19730を反射型画像光源18720の撮像領域上に集光させる。このディスプレイアセンブリでは、偏光ビームスプリッタ膜19714が連続しているので、二重光源19704、19708と屈曲した偏光ビームスプリッタ19714は相補的に動作する。したがって、非偏光拡散光19772、19724はそれぞれ、ディスプレイアセンブリ19702の各面に送られ、第1の偏光状態(通常S)の方向が偏光ビームスプリッタ膜19714によって反射型画像光源18720の方へ変更され、一方、他方の偏光状態(通常P)を有する光19740、19738は偏光ビームスプリッタ膜19714を透過する。他方の偏光状態を有する透過光19740、19738は、屈曲した偏光ビームスプリッタ膜19714の両面を透過し、したがって、それぞれ対応する側のディヒューザ19712、19710に到達する。光19740、19738がそれぞれ反対側のディヒューザ19712、19710に当たると、ディヒューザによって拡散反射され、その過程で非偏光になる。光源19704、19708および周囲の領域に反射体を付加して光19740、19738の反射を増大させてもよい。この拡散反射された非偏光は次いで、それぞれの側の光源19704、19708によって生成された拡散光19722、19724と混合され、次いで、再び偏光ビームスプリッタ膜19714の方へ透過し、第1の偏光状態を有する光19730、19728が反射型画像光源の方へ反射され、一方、他方の偏光状態を有する光19738、19740は透過し、このプロセスが連続的に繰り返される。したがって、本開示のこの実施形態では、他方の偏光状態の光が連続的に再循環され、それによって、二重光源19704、19708によって供給される光19718、19720の両方の偏光状態を利用して反射型画像光源18720が照明されるので、ディスプレイアセンブリ19702の効率が向上する。再循環される光の拡散反射が増大すると、反射型画像光源18720に送られる照明光の一様性も向上する。画像光(19732、19734)を真っ直ぐに関連する撮像光学素子に送ってもよい。
[00448]図197に示し上記に説明した手法と同様の手法が、屈曲した偏光ビームスプリッタ膜の各面に平坦な表面を有するディスプレイアセンブリを含む別の実施形態において使用されてもよい。この実施形態では、反射型偏光膜の各面が平坦であり、サイドライトからの光がディヒューザによって実現される照明の一様性を保持する。
[00449]図197に示すディスプレイアセンブリのさらなる実施形態では、固体膜ホルダを使用してもよく、他方の偏光状態の光が再循環されて効率が向上する。この実施形態では、屈曲した偏光ビームスプリッタ膜の各面は平坦であってもまたは湾曲していてもよい。
[00450]図198は、屈曲した反射型ビームスプリッタ膜19808と両側の二重光源とを含む図199に示すフロントライトなどのフロントライト19902を製造するための方法の概略図を示す。図198には二重光源が示されていない。その理由は、二重光源は別の組み立てステップの一部であってもまたは周囲のモジュールに存在してもよい。組み立て方法のフローチャートが図204に示されている、この方法では、ステップ20402において、頂部膜ホルダ19810および底部膜ホルダ19812を設ける。頂部膜ホルダ19810および底部膜ホルダ19812は、ダイヤモンド旋削、射出成形、圧縮成形、または研削によって任意の透明材料から作られてもよい。材料と製造技術の組合せとしては、複屈折が生じる可能性が低い頂部膜ホルダ19810および底部膜ホルダ19812を形成する材料および製造技術が選択される。膜ホルダ19810、19812用の適切な低複屈折材料にはガラス材料またはZeon Chemicalsから市販されているZeonex F52R、三井化学株式会社から市販されているAPL5514、もしくは大阪ガス株式会社から市販されているOKP4などのプラスチックが含まれる。屈曲した偏光ビームスプリッタ膜19808に接触する頂部膜ホルダおよび底部膜ホルダの各表面は、顕著なエアギャップを導入せずに膜19808を所望の形状および角度で所定の位置に保持するように整合させられ、したがって、画像光はそれほど偏向されずにフロントライト19902を透過することができる。ステップ20404において、接着結合により、または底部膜ホルダ19812を反射型画像光源18720に関連付けて(接触させるかまたは指定された距離だけ離して)保持する周囲の構造を設けることによって、底部膜ホルダ19812を反射型画像光源18720に取り付ける。ステップ20408において偏光ビームスプリッタ膜を屈曲させる。次いで、ステップ20410において、屈曲した偏光ビームスプリッタ膜19808を下部膜ホルダ19812に入れ、その上に上部膜ホルダ19810を配置し、それによって偏光ビームスプリッタ膜19808を頂部膜ホルダ19810および底部膜ホルダ19812の整合させた表面に嵌め合わせる。この方法の代替実施形態では、頂部膜ホルダ19810および底部膜ホルダ19812の表面に接着剤を塗布し、それによって偏光ビームスプリッタ膜19808を頂部膜ホルダ19810および底部膜ホルダ19812に結合する。ステップ20412において、ディヒューザ19802、19804を下部膜ホルダ19812の各側面に取り付ける。組み立てられたフロントライト19902の概略図を図199に示す。同様の方法を使用して図191、図194、および図195に示すフロントライトを製造することができる。組み立ての順序は、本開示の範囲内で変更されてもよい。
[00451]上述の方法の代替実施形態では、膜ホルダ19810、19812をディヒューザ19802、19804または反射型画像光源18720または任意の他の部材に取り付ける前に屈曲したビームスプリッタ膜19808に組み付ける。次いで、ステップ20402、ステップ20408、およびステップ20410を連続的に実行し、図191、図194、および図195に同様に示すように屈曲した偏光ビームスプリッタ膜19808内部に含む固体膜ホルダを製造する。その後反射型画像光源18720およびディヒューザ19802、19804を取り付ける(ステップ20404、ステップ20412)。
[00452]様々な方法を使用して反射型ビームスプリッタ膜を頂部膜ホルダと底部膜ホルダとの間の所定の位置に保持することができる。膜を頂部膜ホルダおよび底部膜ホルダの所定の位置に結合してもよい。頂部膜ホルダまたは底部膜ホルダを周囲の構造部材(図示せず)または関連する撮像光学素子(図示せず)に結合してもよい。反射型ビームスプリッタ膜がワイヤグリッド偏光子を含む偏光ビームスプリッタ膜であるとき、ワイヤグリッド構造の側に接着剤を使用した場合にワイヤグリッド偏光子の性能を損なう恐れがある。この場合、偏光ビームスプリッタ膜をワイヤグリッド構造の反対側で、頂部膜ホルダと底部膜ホルダのどちらがワイヤグリッド構造に隣接しているかに応じて頂部膜ホルダまたは底部膜ホルダのいずれかに結合してもよい。偏光ビームスプリッタ膜を膜ホルダに結合するのに使用される接着剤は、透明であり複屈折を生じさせる可能性が低くなければならない。適切な接着剤の例にはUV硬化接着剤または感圧接着剤が含まれる。
[00453]図200〜図203は、二重サイドライトを有するフロントライトを製造するための別の方法の一連の概略図を示す。図205は、この方法の各ステップを列挙したフローチャートである。この方法では、頂部膜ホルダおよび底部膜ホルダを屈曲した反射型ビームスプリッタ膜の周りの所定の位置に鋳造する。ステップ20502において、偏光ビームスプリッタ膜20008を屈曲させる。ステップ20504において、偏光子ビームスプリッタ膜20008をフロントライトに関する所望の形状(図200に示す二重湾曲形状を参照されたい)に保持するための長穴または整合部材を有するサイドフレームに屈曲させた偏光ビームスプリッタ膜20008を挿入する。次いで、ステップ20508において、サイドフレームを反射型画像光源18720に取り付ける。ステップ20510において、ディヒューザ20002、20004をサイドフレームの側面に取り付ける。この時点で、屈曲した偏光ビームスプリッタ膜20008の各側面をサイドフレームおよびディヒューザ20002、20004によって囲み、底部を反射型画像光源18720によって囲む。図200は、ディヒューザ20002、20004が取り付けられた反射型画像光源18720、および所望の形状が反射型ビームスプリッタ膜20008に加えられるように縁部の所で支持された自立反射型ビームスプリッタ膜20008の概略図を示す。
[00454]図201は、屈曲した反射型ビームスプリッタ膜の下方に透明な鋳造材料を導入するのに使用されるサイドフレームまたは周囲の構造の穴を示す。図示のように、反射型画像光源18720の近くのより大きい穴20102を使用して透明な鋳造材料を導入し、一方、より小さい穴20104を使用して、屈曲した反射型ビームスプリッタ膜20008の下方から空気を逃がすのを可能にする。この方法において、屈曲した反射型ビームスプリッタ膜20008は、ディヒューザ20002、20004およびサイドフレームまたは周囲の構造によって密閉されたキャビティを反射型画像光源18720の上方に形成する。透明な鋳造樹脂が穴20102に徐々に注入されるにつれて、密閉されたキャビティからの空気がより小さい穴20104から排出される。キャビティが満杯になると、透明な鋳造材料の一部が穴20104から流出し、それによって、膜の形状を歪める圧力が反射型ビームスプリッタ膜20008の下方に形成されるのが防止される。次いで、穴20102および20104に栓をして透明な鋳造材料が漏れ出すのを防止することができる。
[00455]ステップ20512において、図202に示すように透明な液体鋳造材料20202を偏光ビームスプリッタ膜20008上に注入する。次いで、ステップ20514において、図203に示すように透明な頂部シートまたは頂部プレート20302を取り付けて材料20202の平坦な頂面を形成する。透明な材料の平坦なシートを透明な鋳造材料に取り付ける際に透明な材料の平坦なシートの下方に空気が閉じ込められないように注意しなければならない。周囲の構造に抜け止めを設けて透明な材料の平坦なシートを反射型画像光源に平行に保持してもよい。
[00456]透明な液体鋳造材料は、エポキシ、アクリル、またはウレタンのような任意の透明な液体鋳造材料であってもよい。画像光が一様な光学的厚さの固体ブロックに照射され、かつ画像光が屈曲した偏光ビームスプリッタ膜の表面によって偏向されないように、頂部膜ホルダには底部膜ホルダと同じ透明な液体鋳造材料を使用すべきである。透明な液体鋳造材料を硬化時間の間放置するか、またはUVを照射するか、または熱にさらすことによって鋳造後に硬化してよい。透明な鋳造材料の硬化は単一のステップで行われてもまたは複数のステップで行われてもよい。図201に示す下部の硬化は、図202に示す上部の鋳造の前に行われてもよい。代替として、鋳造されたフロントライト全体の硬化を図203に示すステップの後に行ってもよい。
[00457]図200〜図203に示す方法の利点は、透明な鋳造材料と反射型ビームスプリッタ膜が密着し、それによって光がフロントライトの各部を妨害されずに透過できることである。頂部膜ホルダまたは底部膜ホルダのみを鋳造するようにこの鋳造方法を固体頂部膜ホルダまたは固体底部膜ホルダに使用してもよい。図200〜図203は、フロントライトが湾曲した表面を備えることを示しているが、この方法を使用して平坦な表面を有するフロントライトを形成してもよい。
[00458]さらなる実施形態において、一方の膜ホルダは固体部材として作られ、他方の膜ホルダは、所定の位置に配置された屈曲したビームスプリッタ膜と一緒に鋳造される。屈曲した偏光ビームスプリッタ膜は、他方の膜ホルダを所定の位置に鋳造する前に固体部材に結合されてもよい。このようにして、鋳造された膜ホルダは偏光ビームスプリッタ膜の各表面と密着する。画像光が反射型画像光源から関連する撮像光学素子に透過する際に画像光を偏向させるのを避けるために、固体膜ホルダに使用する材料は、鋳造される膜ホルダと同じ屈折率を有するべきである。適切に整合する材料の例には、屈折率が1.56であり、かつSmooth−Onから市販されている屈折率が1.565で鋳造可能なEpoxAcast 690によって射出成形することが可能な、Bayerから市販されているAPEC 2000がある。
[00459]この方法のさらなる実施形態では、図206のフローチャートに示すようなマルチステップ成形プロセスを使用して固体膜ホルダを製造する。ステップ20602において、底部膜ホルダを成形する。適切な成形技術には射出成形、圧縮成形、または鋳造が含まれる。ステップ20604において、偏光ビームスプリッタ膜を屈曲させる。ステップ20608において、屈曲した偏光ビームスプリッタ膜を成形された底部膜ホルダに載せ、頂部膜ホルダ用の型の中にインサートとして配置する。次いで、ステップ20610において、屈曲した偏光ビームスプリッタ膜および底部膜ホルダの上方に頂部膜ホルダを成形する。最終的な結果として、図191、図194、および図195に示すような屈曲した偏光ビームスプリッタ膜を内部に有する固体膜ホルダが得られる。このマルチステップ成形技術の利点は、屈曲した偏光ビームスプリッタ膜が底部膜ホルダの表面と嵌め合わされ、頂部膜ホルダおよび底部膜ホルダが屈曲した偏光ビームスプリッタ膜と密着することである。好ましい実施形態では、頂部膜ホルダの屈折率と底部膜ホルダの屈折率は同じであり0.03以内である。さらなる好ましい実施形態では、底部膜ホルダ用の材料のガラス転移点が頂部膜ホルダの材料のガラス転移点よりもより高くなるか、または底部膜ホルダの材料は、頂部膜ホルダが屈曲した偏光ビームスプリッタ膜および底部膜ホルダの上方に成形されるときに底部膜ホルダが変形しないように架橋される。射出成形可能な材料の適切な組合せの例には、Tgが139Cであり屈折率が1.53であるZeon Chemicalsから市販されているZeonex E48RおよびTgが177Cであり屈折率が1.53であるTopas Advanced Polymersから市販されているTopas 6017のような環状オレフィン材料がある。
[00460]本開示のAR接眼鏡のいくつかの実施形態が、従来実現できなかった解像度レベルとデバイスサイズ、例えば眼鏡フレーム厚さとの組合せを可能にする高い変調伝達関数を有することを理解されたい。例えば、いくつかの実施形態では、ユーザに示される仮想画像画素解像度レベルが1度当たり約28画素〜約46画素の範囲になり得る。
[00461]図105A〜図105Cを参照すると分かるように、湾曲したワイヤグリッド偏光子の角度は画像光の方向を調節する。湾曲したワイヤグリッド偏光子の湾曲は画像光の幅を調節する。この湾曲は、幅の狭い光源を使用するのを可能にする。その理由は、湾曲によって、光が光源に当たったときに拡散し、次いで屈曲し/反射して画像ディスプレイを一様に照明するからである。再びワイヤグリッド偏光子を透過する画像光が乱されることはない。したがって、この湾曲は光学アセンブリの小型化も可能にする。
[00462]図21〜図22において、拡張現実接眼鏡2100は、フレーム2102と左右のイヤピースまたはテンプルピース2104とを含む。ユーザの目を保護するか、または保護レンズが処方レンズである場合には周囲の環境に対するユーザの視力を補正するために弾道レンズなどの保護レンズ2106がフレーム2102の前部に取り付けられている。フレームの前部は、カメラまたは画像センサ2130および1つまたは複数のマイクロフォン2132を取り付けるのに使用されてもよい。図21には示されていないが、フレーム2102の保護レンズ2106の後方において、中央ノーズブリッジまたは調整可能なノーズブリッジ2138の各側面に導波路が取り付けられている。フロントカバー2106は交換可能であり、したがって、拡張現実デバイスの特定のユーザのために色合いまたは処方レンズを容易に交換することができる。一実施形態において、各レンズは迅速に交換可能であり、目ごとに異なる処方レンズを使用することができる。一実施形態では、各レンズは、本明細書における他の個所で説明するようにスナップフィットによって迅速に交換可能である。ある実施形態は、接眼鏡の一方の側にプロジェクタと導波路の組合せを有するだけでよく、一方、他方の側に標準レンズ、老眼鏡、処方レンズなどを取り付けてもよい。左右のイヤピース2104の各々には、プロジェクタまたはマイクロプロジェクタ2114あるいは他の画像光源を容易に組み立てられかつ振動/衝撃から保護されるようにばね式ヒンジ2128上に垂直方向に取り付けてもよい。各テンプルピースは、接眼鏡用の関連する電子機器を取り付けるためのテンプルハウジング2116を含んでもよく、また、ユーザ上によりうまく保持されるように弾性頭部グリップパッド2120を含んでもよい。各テンプルピースは、細長いラップアラウンド型耳栓2112と、ヘッドストラップ2142を取り付けるためのオリフィス2126とをさらに含む。
[00463]上述のように、テンプルハウジング2116は、拡張現実接眼鏡に関連する電子機器を含む。電子機器には、図示されているようなマイクロプロセッサおよび無線機器2122、チップ上の通信システム(SOC)2124、ならびに開放型マルチメディアアプリケーションプロセッサ(OMAP)プロセッサボード2140などのためのいくつかの回路板を含めてもよい。チップ上の通信システム(SOC)は、ワイドローカルエリアネットワーク(WLAN)、BlueToothTM通信、周波数変調(FM)無線、全地球測位システム(GPS)、3軸加速度計、1つまたは複数のジャイロスコープなどを含む、1つまたは複数の通信機能用の電子機器を含んでもよい。さらに、右テンプルピースは、接眼鏡および1つまたは複数のアプリケーションに対するユーザ制御を可能にする光学トラックパッド(図示せず)をテンプルピースの外側に含んでもよい。
[00464]一実施形態において、デジタルシグナルプロセッサ(DSP)は、映像フィード情報を受け取り、光学ディスプレイにどんな種類の画像光源が使用されているかにかかわらず画像光源を駆動するように映像フィードを設定するようにプログラムされ、および/または構成されてもよい。DSPは、バスまたは情報を伝達するための他の通信機構と、情報を処理するためにバスに結合された内部プロセッサとを含んでもよい。DSPは、情報および実行すべき命令を記憶するためにバスに結合された、ランダムアクセスメモリ(RAM)または他のダイナミック記憶デバイス(例えば、ダイナミックRAM(DRAM))、スタティックRAM(SRAM)、およびシンクロナスDRAM(SDRAM)などのメモリを含んでもよい。DSPは、例えば、内部プロセッサ用の静的情報および命令を記憶するためにバスに結合された読取り専用メモリ(ROM)またはその他の静的記憶デバイス(例えば、プログラム可能なROM(PROM)、消去可能なPROM(EPROM)、および電気的に消去可能なPROM(EEPROM))などの非揮発性メモリを含んでもよい。DSPは、専用論理デバイス(例えば、特定用途向け集積回路(ASIC))または構成可能な論理デバイス(例えば、シンプルプログラマブルロジックデバイス(SPLD)、コンプレックスプログラマブルロジックデバイス(CPLD)、およびフィールドプログラマブルゲートアレイ(FPGA))を含んでもよい。
[00465]DSPは、プログラムされた命令を保持し、データ構造、テーブル、レコード、または光学ディスプレイを駆動するのに必要な他のデータを含むための少なくとも1つのコンピュータ可読媒体またはメモリを含んでもよい。本開示のアプリケーションに適したコンピュータ可読媒体の例は、コンパクトディスク、ハードディスク、フロッピィディスク、テープ、光磁気ディスク、PROM(EPROM、EEPROM、フラッシュEPROM)、DRAM、SRAM、SDRAM、または任意の他の磁気媒体、コンパクトディスク(例えば、CD−RAM)または任意の他の光学媒体、パンチカード、紙テープ、または穴のパターンを有する他の物理的媒体、搬送波(後述)またはコンピュータが読み取ることのできる任意の他の媒体であってもよい。光学ディスプレイに対する1つまたは複数の命令の1つまたは複数のシーケンスを実行する際に様々な形態のコンピュータ可読媒体を使用してもよい。DSPは、例えばローカルエリアネットワーク(LAN)またはインターネットのような別の通信ネットワークに接続することのできるネットワークリンクに結合されるデータ通信を実現するための通信インターフェースを含んでもよい。ワイヤレスリンクを実装してもよい。任意のそのような実装形態では、適切な通信インターフェースが、様々な種類の情報(映像情報など)を表すデジタルデータストリームを光学ディスプレイに搬送することのできる電気信号、電磁信号、または光信号を送受信してもよい。
[00466]接眼鏡は、観察者の動きに基づいて映像取り込みパラメータを調整する映像のコンテキスト認識取り込みを実行することが可能であってもよく、その場合、パラメータは画像解像度、映像圧縮、秒単位フレームレートなどであってもよい。接眼鏡は、内蔵カメラを介して得られた映像または外部ビデオデバイスから送信された映像の記録、(本明細書において説明する方法およびシステムによる)接眼鏡を介した装着者への映像の再生、外部供給源(例えば、会議電話、ライブニュースフィード、別の接眼鏡からの映像ストリーム)または内蔵カメラ(例えば、内蔵見通し外カメラ)からのライブデータのストリーミングのような複数の映像アプリケーションに使用されてもよい。諸実施形態では、接眼鏡は、例えば接眼鏡に記憶されている映像ファイルを再生するのと同時にストリーミングされている外部映像リンクを表示することのように、装着者に示されている複数の映像アプリケーションに一度に対処することができる。接眼鏡は、画像を両目に提示することなどによって3D視聴体験を実現するか、または代替として、低減させた量のコンテンツを2つの目のうちの一方に提示することのような低減3D体験を実現することができる。接眼鏡は、音声条件として、含まれている音声が大き過ぎたり、音声がユーザにとって外国語であったり、ユーザが音声録音の記録を希望したりするときにテロップ付き映像を表示することができる。
[00467]諸実施形態において、接眼鏡は、映像取り込みの少なくとも1つのパラメータを調整することおよび/または装着者の環境の関数としての表示を実現することのようなコンテキスト認識映像アプリケーションを実現してもよい。例えば、接眼鏡の装着者に対して、装着者が映像よりも外部環境に集中する必要のある外部環境の文脈において接眼鏡を介して映像を表示してもよく、その場合、少なくとも1つのパラメータが、表示によってユーザの気がそらされるのを抑制するように表示される映像を調整する(例えば、空間解像度調整、秒単位フレームの調整、記憶されている人の写真、映像から得た単一のフレームのような映像表示の、映像のコンテンツを表す静的画像との交換)などであってよい。別の例では、装着者が動いている(例えば、歩いているか、走っているか、自転車に乗っているか、自動車を運転している)文脈において接眼鏡上の内蔵カメラによって映像を取り込んでもよく、その場合、少なくとも1つのパラメータが映像の取り込みを調整して動きに対処するのを助ける(例えば、映像がぼやける急激な動きを接眼鏡が検知する期間の間調整を施したり、装着者が歩いているかまたはゆっくりと動いているときに調整を施したりする)。
[00468]諸実施形態では、少なくとも1つのパラメータは空間解像度パラメータ(例えば、単位面積当たり画素数、単位面積当たり特定色画素数、単位面積ごとに単一の(「白黒」)画素のみに限定すること)、視野、単位時間当たり記録フレーム数、単位時間当たり表示フレーム数、データ圧縮、非記録/表示期間などであってもよい。
[00469]諸実施形態では、少なくとも1つのパラメータは、頭部の動きを判定する(例えば、急激な頭部の動き、ゆっくりとした頭部の動きを判定する)ための動き検出入力(本明細書において説明する)、装着者と環境との間の相対的な動きを判定するために内蔵カメラを介して受け取られる画像を処理することによる周囲の映像取り込み環境の動きまたは環境内の動き、装着者が装着者に対して表示されている映像によって気をそらされているかどうかを判定するための装着者の目の動き(本明細書において説明する)、周囲光条件および/または周囲音声条件からのような接眼鏡による検知入力に基づいて調整されてもよい。
[00470]諸実施形態では、接眼鏡は、穏やかな動き、跳ねる動き、急激な動きに対する補償、混色、明るさなどを調整することなどによる背景照明および/または音声環境の調整などのための、装着者による映像体験または映像を取り込む際に記憶されるような映像体験の質に対する動きまたは環境の影響を軽減することに関する画像処理を実行することができる。どの処理を選択するかは、検知入力、環境条件、映像コンテンツなどの関数である。例えば、いくつかの例では高品質画像が好ましく、そのため、ある状況では、品質の低下が許容されず、したがって、そのような状況では映像を一時停止してもよい。別の例では、許容される画質レベルの取り込みが状況によって妨げられていると判定されているが、それでも取り込みをある程度連続させることが望ましい場合、映像圧縮および/または音声圧縮を適用してもよい。接眼鏡の目ごとに異なる処理を適用し、例えば、装着者の利き目とそうでない目に対して異なる処理を適用したり、一方の目と他方の目で経験される環境条件が異なる場合に異なる処理を適用したりしてもよい。処理によって明るい環境を補償してもよく、その場合、埋め込みセンサを使用して周囲光レベルを検査し、場合によってはコンテンツの表示に調整を施し、例えば、環境に基づいてどんな色チャネル圧縮および/または操作を実行すべきかを判定したり、色彩曲線/カラーパレットを周囲環境に対してより見やすくするかまたはより見にくくなるように補正したり、色深度、色彩曲線を変化させたり、色をどのように圧縮するかを変更したりする。
[00471]諸実施形態において、接眼鏡は、検知された条件の結果としてアクションを開始してもよく、例えば、接眼鏡による所定の運動量を超えることなど、ある条件を超えたときに映像の音声部分を続行しつつスクリーンショットモードに入ったり、動きが所定の画質レベルを低下させるような動きである場合に撮像を停止したり、受け取られた映像において動きレベルを超えたときに映像表示の変更をトリガしたりしてもよい。
[00472]諸実施形態では、接眼鏡は、制御信号を受け取った結果としてアクションを開始してもよい。制御信号は、接眼鏡の位置、現在接眼鏡によって何が表示されているかに基づいてもまたはユーザの身振りに基づいてもよい。アクションは、接眼鏡によって取り込まれている画像の記憶位置からのアップロードまたは記憶位置からのダウンロードであってもよい。アクションは、制御信号自体が受け取られたときにのみ開始されても、または制御信号およびユーザによって生成される確認制御信号を受け取ることによって開始されてもよい。アクションは、眼鏡によって表示されている映像内の特定の位置に移動するためのプロセス、眼鏡によって表示されている映像内の特定の位置にブックマークを付けるプロセスを開始することなどであってもよい。
[00473]諸実施形態では、検知された条件の結果として施される調整は、ユーザの好み、組織の方針、州または連邦の規則などによって制御されてもよい。例えば、検知入力が何を示しているかにかかわらず、常にある画質、解像度、圧縮などを実現することが好ましいことがある。
[00474]一例では、接眼鏡の装着者が、接眼鏡が映像を記録している間、装着者の頭部、したがって接眼鏡の内蔵カメラが急激に揺れる環境にいることがある。この場合、接眼鏡は少なくとも1つのパラメータを調整して、ぶれた映像が取り込まれる範囲を縮小し、例えば、映像に適用されている圧縮を強くしたり、単位期間当たりに取り込まれるフレーム数を削減したり(例えば、数秒おきにフレームを取り込む)、フレーム同士の間で画像の大きな変化が生じたフレームを破棄したり、空間解像度を低下させたりなどであってよい。
[00475]一例では、接眼鏡の装着者は、接眼鏡を介したテレビ会議を使用することがあり、その場合、接眼鏡は、装着者が動いていることを運動センサを介して検知する。その結果、この動きの間、この参加者の映像フィードを他の参加者のうちの1人の画像または他のメンバに送信されるユーザの画像などの静的画像で置き換えることができる。このようにして、装着者および/またはテレビ会議の他の参加者に対して、装着者の動きの気をそらす効果を軽減することができる。
[00476]一例では、装着者は、映像を見て、次に自動車の運転を開始することがあり、その場合、装着者が現在表示されている映像を引き続き見るかどうかが安全上の問題になることがある。この例では、接眼鏡は、環境の動きを自動車の中にいることを示すものとして検出し、装着者の目の動きが、ユーザが視線(走行方向)または自動車のすぐ後ろの視野と表示される映像との間で急激に変化していることを示す場合などに、視聴体験をそれほど気をそらさないものに変更することが可能であってもよい。接眼鏡は例えば、映像を中止し、観察者に続行する選択を表示できる。接眼鏡はさらに、自動車の中にいること、自転車に乗っていること、歩いていることなどとは区別される環境の動きを検知し、それに応じて調整を施すことが可能であってもよい。
[00477]一例では、装着者は、自動車を運転していたり、自転車に乗っていたり、歩いていたりするときなどに位置をナビゲートする助けが必要になることがある。この例では、接眼鏡はユーザに対してビデオナビゲーションアプリケーションを表示する。接眼鏡によってユーザに対して表示されるナビゲーション指示は、制御信号によって選択されてもよい。制御信号は、装着者によって指定される位置、現在眼鏡に表示されているもの、または装着者が言葉に発した目的地によって生成されてもよい。位置は、飲食店、学校、イベント、ジム、自宅、屋外の位置、店舗、交通機関(transportation location)などのうちの1つであってもよい。
[00478]一例では、装着者は、周囲環境が気をそらす場所、または色コントラスト、混色、色深度、解像度、明るさなどによってある点で映像の質を低下させる場所で映像を取り込むことがある。接眼鏡は、装着者が屋外にいるかそれとも屋内にいるかの条件に関して調整を施したり、様々な照明条件下で調整を施したり、好ましくない音声条件下などで調整を施したりする。この場合、接眼鏡は、取り込まれているコンテンツをより効果的に表す映像プロダクトを生成するように記録された画像および音声を調整することができる。
[00479]諸実施形態では、接眼鏡は、モニタ、ディスプレイ、TV、キーボード、マウス、メモリストレージ(例えば、外付けハードドライブ、光学ドライブ、半導体メモリ)、ネットワークインターフェース(例えば、インターネット)などのコンピュータ周辺デバイスとの外部インターフェースを構成してもよい。例えば、外部インターフェースは、外部コンピュータ周辺デバイスとの直接接続(例えば、モニタに直接接続する)、外部コンピュータ周辺デバイスとの間接接続(例えば、中央外部周辺インターフェースデバイスを介して接続する)、有線接続を介した接続、ワイヤレス接続を介した接続などを確立してもよい。一例では、接眼鏡は、外部周辺デバイスとの接続を確立する中央外部周辺インターフェースデバイスに接続することが可能であってもよく、その場合、外部周辺インターフェースデバイスは、コンピュータプロセッサ、メモリ、オペレーティングシステム、周辺ドライバおよびインターフェース、USBポート、外部ディスプレイインターフェース、ネットワークポート、スピーカインターフェース、マイクロフォンインターフェースなどのコンピュータインターフェースファシリティを含んでもよい。諸実施形態では、接眼鏡を有線接続、ワイヤレス接続によって中央外部周辺インターフェースに接続したり、クレードルに直接接続したりすることが可能であり、接続時には、パーソナルコンピュータと同様または同一の計算ファシリティが接眼鏡に備えられる。諸実施形態では、接眼鏡によって制御されるデバイスとして選択されるデバイスは、ユーザが接眼鏡で見たり、接眼鏡で指し示したり、接眼鏡に表示されるユーザインターフェースから選択したりすることなどによって選択されてもよい。他の実施形態では、接眼鏡は、ユーザがデバイスを見るかまたは指し示したときにこのデバイスのユーザインターフェースを表示してもよい。
[00480]フレーム2102は、ラップアラウンド型サングラスの一般的な形状をしている。この眼鏡の側面はニチノールストラップなどの形状記憶合金ストラップ2134を含む。ニチノールまたはその他の形状記憶合金ストラップは、拡張現実接眼鏡のユーザに適合される。ストラップは、ユーザによって装着され体温に近い温度まで暖められたときに記憶させられた形状または好ましい形状を有するように調整されている。諸実施形態では、接眼鏡を適合させることは、ユーザ目幅調整技術および測定に相当するものであってもよい。例えば、投影される表示の接眼鏡の装着者に対する位置および/または位置合わせは、様々な装着者のそれぞれに異なる目幅に対処するように調整可能である。位置決めおよび/または位置合わせは、光学系による装着者の目の位置を検出すること(例えば、虹彩検出または瞳検出)によって自動的に行われても、または装着者などによって手動で行われてもよい。
[00481]この実施形態の他の特徴には着脱可能なノイズキャンセリング耳栓が含まれる。図を見ると分かるように、耳栓は、ユーザの耳に音声を届けるための拡張現実接眼鏡の制御装置に接続されるようになっている。音声は、拡張現実接眼鏡のワイヤレスインターネット機能または通信機能からの入力を含んでもよい。耳栓は柔らかく変形可能なプラスチック部分またはフォーム部分を含んでもよく、したがって、ユーザの内耳は耳栓と同様に保護される。一実施形態では、耳栓は、ユーザの耳への入力を約85dBに制限する。これによって、装着者は正常に音声を聞くことができ、一方、銃声またはその他の爆発音および高背景雑音環境での雑音から装着者を保護する。一実施形態では、ノイズキャンセリング耳栓の制御装置は、装着者の耳を保護するうえで消去機能を非常に高速に調整するための自動利得制御機能を有する。
[00482]図23は、接眼鏡2300内に垂直に配置されたプロジェクタ2114のレイアウトを示し、この場合、照明光は、シリコンで裏打ちされてもよいディスプレイ・撮像装置ボードに達する途中でPBSの一方の面を通って下から上へ透過して、画像光として屈折され、偏光ビームスプリッタを構成する三角形プリズムの内部界面に当たり、プロジェクタから反射され、導波路レンズに入射する。この例では、プロジェクタの寸法は、撮像装置ボードの幅が11mmであり、撮像装置ボードの端部から画像中心線までの距離が10.6mmであり、画像中心線からLEDボードの端部までの距離が約11.8mmであるように示されている。
[00483]上述のプロジェクタの各構成要素の詳細な組み立て図は図25に見ることができる。この図は、マイクロプロジェクタ2500が、例えば拡張現実接眼鏡のヒンジの近くに組み立てられたときにどれだけ小型になるかを示す。マイクロプロジェクタ2500は、ハウジングと、特定の光学部材を取り付けるためのホルダ2508とを含む。光学ディスプレイ2510によって各カラーフィールドが撮像されると、対応するLED色がオンにされる。RGB LED光エンジン2502は、底部の近くに、ヒートシンク2504に取り付けられた状態で示されている。ホルダ2508は、LED光エンジン2502、ホルダ取り付けライトトンネル2520、(ホットスポットを解消するための)ディヒューザレンズ2512、および集光レンズ2514上に取り付けられている。光は集光レンズから偏光ビームスプリッタ2518に入射し、次いでフィールドレンズ2516に達する。光は次に、屈折してLCoS(液晶オンシリコン)チップ2510上に達して、画像が形成される。画像を表す光は次いで、反射して再びフィールドレンズ2516を透過し、偏光ビームスプリッタ2518によって90°にわたって偏光され反射される。光は次に、マイクロプロジェクタから出射して眼鏡の光学ディスプレイに送られる。
[00484]図26は、例示的なRGB LEDモジュール2600を示す。この例では、LEDは、1つの赤色ダイ、1つの青色ダイ、および2つの緑色ダイを含む2x2アレイであり、このLEDアレイは4つのカソードと共通アノードとを有する。最大電流は、ダイ当たり0.5Aであってもよく、緑色ダイおよび青色ダイには最高電圧(≒4V)が必要になることがある。
[00485]諸実施形態において、システムは、装着者に対する単色表示を生成することができ、写像性、画像解像度、フレームレートなどの利点をもたらし得る光学系を利用してもよい。例えば、フレームレートは(RGBシステムに対して)3倍になり得、これは、暗視機能およびカメラが周囲を撮像しており、そのような画像が処理されコンテンツとして表示される同様の状況で有用である場合がある。画像は、3つのLEDを使用した場合に3倍明るくなるなど、より明るくなり得るか、または1つのLEDのみによって空間を節約することを可能にする。複数のLEDを使用する場合、同じ色であっても、または異なる色であっても(RGB)よい。システムは、切替え可能な単色/カラーシステムであってもよく、RGBが使用されるが、装着者が単色を希望するときは個々のLEDまたはいくつかのLEDを選択することができる。すべての3つのLEDを連続的に使用するのではなく同時に使用して白色光を生成してもよい。3つのLEDを連続的に使用しないと、フレームレートが3倍になる任意の他の白色光と同様になり得る。単色とカラーの間の「切替え」は、実行されるアプリケーションに応じて、「手動で」行われても(例えば、物理的ボタン、GUIインターフェースの選択)または自動的に行われてもよい。例えば、装着者は暗視モードまたは曇り解消モードを開始してよく、システムの処理部は、接眼鏡が単色高リフレッシュレートモードを開始する必要があると自動的に判定する。
[00486]図3は、使用時の水平方向に配置されたプロジェクタの実施形態を示す。プロジェクタ300は、接眼鏡フレームのアーム部に配設されてもよい。LEDモジュール302は、プロセッサ304の制御下で、一度に1つの色を高速に放出することができる。放出された光は、ライトトンネル308に沿って進んで少なくとも1つの均一化レンズレット310を透過し、その後偏光ビームスプリッタ312に達してLCoSディスプレイ314の方へ偏向され、フルカラー画像が表示される。LCoSディスプレイは、解像度が1280x720pである。画像は次いで反射され、再び偏光ビームスプリッタを透過し、屈曲ミラー318から反射され、プロジェクタから出射する途中でコリメータを透過し、導波路に入射する。プロジェクタは、収差を解消するための回折要素を含んでもよい。
[00487]一実施形態において、対話型頭部装着ディスプレイは、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを含み、光学アセンブリは、周囲の環境についてのユーザのビューを補正する補正要素と、内部反射を可能にする自由曲面光学導波路と、LCoSディスプレイなどの光学ディスプレイからの画像を光学導波路に送るように位置する結合レンズとを含む。接眼鏡は、ユーザに表示コンテンツを処理するための1つまたは複数の内蔵プロセッサと、コンテンツを光学アセンブリに導入するための、プロジェクタファシリティなどの内蔵画像光源とをさらに含む。画像光源がプロジェクタである実施形態では、プロジェクタファシリティは光源と光学ディスプレイとを含む。RGBモジュールなどの光源からの光は、プロセッサの制御下で放出されて偏光ビームスプリッタを横切り、その後LCoSディスプレイまたは他のある実施形態におけるLCDディスプレイなどの光学ディスプレイから反射され、光学導波路に入射する。偏光ビームスプリッタの表面は光学ディスプレイからのカラー画像を光学導波路に反射させてもよい。RGB LEDモジュールは光を連続的に放出し、光学ディスプレイから反射されるカラー画像を形成してもよい。補正要素は、画像光源がオンであるかそれともオフであるかに応じて周囲の環境を適切に表示するのを可能にするように光学導波路に取り付けられた透過型矯正レンズであってもよい。この補正要素は、ウェッジ形矯正レンズであってもよく、処方レンズ、着色レンズ、コーテッドレンズなどであってもよい。自由曲面光学導波路は、より次数の大きい多項式によって表すことができ、導波路の湾曲およびサイズ決定を可能にする二重自由曲面を含んでもよい。導波路を湾曲させサイズを決定することによって、導波路を対話型頭部装着接眼鏡のフレーム内に配置することが可能になる。このフレームは、サングラスまたは眼鏡と同様にユーザの頭部に適合するようにサイズを決定される。接眼鏡の光学アセンブリの他の要素には、内部を光源からの光が伝搬して光線が確実に一様になるホモジナイザと、光学導波路に入射する光の解像度を向上させるコリメータとが含まれる。
[00488]諸実施形態では、処方レンズが接眼鏡レンズの内側または外側に取り付けられてもよい。いくつかの実施形態では、処方パワーを接眼鏡レンズの外側および内側に取り付けられた各処方レンズに分割してもよい。諸実施形態では、接眼鏡レンズまたはビームスプリッタなどの光学アセンブリの構成要素に表面張力などによって付着した矯正光学素子によって処方補正が施される。諸実施形態において、矯正光学素子は、一部が光路内のある位置に設けられ、一部が光路内の別の位置に設けられてもよい。例えば、矯正光学素子の半分がビームスプリッタの集束面の外側に設けられ、他方の半分が集束面の内側に設けられてもよい。このようにして、補正は内部光源からの画像光とシーン光に対して異なるように実施される。すなわち、光源からの光は、画像がユーザの目に反射されるときに集束レンズの内側の矯正光学素子の部分によってのみ補正されてもよく、シーン光は、光がビームスプリッタを透過するときに両方の部分を介して補正されてもよく、したがって、光源からの光とシーン光はそれぞれに異なる光学補正を受ける。別の実施形態では、ビームスプリッタに関連する光学アセンブリは、防水性、防塵性などを有するように密封アセンブリであってもよく、密封光学アセンブリの内面は矯正光学素子のある部分を有し、密封光学アセンブリの外面は矯正光学素子の別の部分を有する。適切な光学素子は、3MのPress−On Opticsによって提供されており、少なくともプリズム(すなわち、フレネルプリズム)、非球面マイナスレンズ、非球面プラスレンズ、および二焦点レンズとして市販されている。矯正光学素子は、表示コンテンツおよび周囲の環境に対してユーザの視力を補正するようにユーザの目と表示コンテンツとの間の位置に取り外し可能に取り付けられるように構成されたユーザによる取り外しおよび交換が可能なジオプトリ補正ファシリティである。ジオプトリ補正ファシリティは、光学アセンブリに取り付けられるように構成されてもよい。ジオプトリ補正ファシリティは、頭部装着接眼鏡に取り付けられるように構成されてもよい。ジオプトリ補正ファシリティは摩擦嵌めを使用して取り付けられてもよい。ジオプトリ補正ファシリティは、磁気取り付けファシリティを使用して取り付けられてもよい。ユーザは、ユーザの視力に応じて複数の異なるジオプトリ補正ファシリティからジオプトリ補正ファシリティを選択してもよい。
[00489]諸実施形態において、本開示は、ユーザによる取り外しおよび交換が可能なジオプトリ補正ファシリティが、表示コンテンツおよび周囲の環境に対してユーザの視力を補正するようにユーザの目と表示コンテンツとの間の位置に取り外し可能に取り付けられるように構成されるような、接眼鏡に「パチンと嵌る」矯正光学素子を実現することができる。ジオプトリ補正ファシリティは、光学アセンブリ、頭部装着接眼鏡などに取り付けられるように構成されてもよい。ジオプトリ補正ファシリティは、摩擦嵌め、磁気取り付けファシリティなどを使用して取り付けられてもよい。ユーザは、ユーザの視力に応じて複数の異なるジオプトリ補正ファシリティからジオプトリ補正ファシリティを選択することが可能であってもよい。
[00490]図4を参照すると分かるように、画像光は、偏光させコリメートすることができるが、場合によっては、コリメータ自体であってもまたはコリメータ自体でなくてもよくあるいはコリメータに付加されてもよいディスプレイ結合レンズ412を横切り、導波路414に入射してもよい。諸実施形態において、導波路414は自由曲面導波路であってもよく、導波路の各表面は多項式によって表される。導波路は直線的であってもよい。導波路414は2つの反射面を含んでもよい。画像光は、導波路414に入射するとき、内部全反射(TIR)が生じる臨界角よりも大きい入射角で第1の表面に当たってもよい。画像光は、第1の表面と第1の表面に面する第2の表面との間のTIRバウンスに関与することがあり、最終的に複合レンズの有効観察領域418に到達する。一実施形態では、光は少なくとも3回のTIRバウンスに関与することがある。導波路414は、TIRバウンスが最終的に導波路から出射するのを可能にするように先細りしているので、複合レンズ420の厚さは一様でなくてもよい。複合レンズ420の観察領域内の歪みは、自由曲面導波路414の長さに沿ってウェッジ形矯正レンズ410を配設してレンズ420の少なくとも観察領域の全体にわたって一様な厚さを形成することによって最小限に抑えられてもよい。矯正レンズ410は、接眼鏡レンズの内側または外側に取り付けられ、いくつかの実施形態では、接眼鏡レンズの内側と外側の両方に取り付けられた、処方レンズ、着色レンズ、偏光レンズ、弾道レンズなどであってもよい。
[00491]いくつかの実施形態において、光学導波路は、導波路に入射する光の内部全反射を可能にする第1の表面および第2の表面を有してもよいが、光は実際には、内部全反射を生じさせる内部入射角で導波路に入射しないことがある。接眼鏡は、表示コンテンツを光学導波路の第2の表面の方へ反射させるように光学導波路の第1の表面上に鏡面を含んでもよい。したがって、鏡面は、光学導波路に入射する光の全反射または光学導波路に入射する光の少なくとも一部の反射を可能にする。諸実施形態では、表面は100%鏡面仕上げされてもまたはそれよりも低い割合で鏡面仕上げされてもよい。いくつかの実施形態では、鏡面の代わりに、導波路と補正素子との間のエアギャップによって、TIRを生じさせない入射角で導波路に入射する光を反射させてもよい。
[00492]一実施形態では、接眼鏡は、表示コンテンツを接眼鏡のアームに隣接する光学導波路の側面から光学アセンブリに導入するプロジェクタなどの内蔵画像光源を含む。画像の入射が光学導波路の頂部側から行われる従来技術の光学アセンブリとは異なり、本開示は、導波路の側面から導波路に画像を入射させる。表示コンテンツの縦横比は、概ね方形から長軸が概ね水平である概ね矩形までの間である。諸実施形態では、表示コンテンツの縦横比は16:9である。諸実施形態では、長軸が概ね水平である表示コンテンツの矩形縦横比は、入射した画像を回転させることによって実現される。他の実施形態では、画像を所望の縦横比に達するまで伸長させることによって実現してもよい。
[00493]図5は、サンプル寸法を示す導波路接眼鏡の設計を示す。例えば、この設計では、結合レンズ504の幅は13mm〜15mmであってもよく、光学ディスプレイ502は光学的に直列に結合される。これらの要素は接眼鏡のアームに配設されてもまたは重複して両方のアームに配設されてもよい。光学ディスプレイ502からの画像光は結合レンズ504を透過して自由曲面導波路508内に投影される。導波路508および矯正レンズ510を含む複合レンズ520の厚さは9mmであってもよい。この設計では、導波路502によって、目までの距離が20mmの場合に出射瞳直径を8mmにすることができる。その結果得られる透過ビュー512は約60mm〜70mmであってもよい。画像光が導波路502(寸法a)に入射するときの瞳から画像光路までの距離は約50mm〜60mmであってもよく、この距離は人間の頭部の幅の大部分に対応することができる。一実施形態では、視野は瞳よりも大きくてもよい。諸実施形態では、視野はレンズ全体に広がっていなくてもよい。これらの寸法が特定の例示的な実施形態用の寸法であり、限定と解釈されるべきではないことを理解されたい。一実施形態では、導波路、スナップオン光学素子、および/または矯正レンズは光学プラスチックを含んでもよい。他の実施形態では、導波路スナップオン光学素子および/または矯正レンズは、ガラス、マージナルガラス、バルクガラス、金属ガラス、パラジウム含有ガラス、または他の適切なガラスを含んでもよい。諸実施形態では、導波路508および矯正レンズ510は、色収差をほとんど生じさせない材料からまったく生じさせない材料までの範囲から選択された様々な材料から作られてもよい。材料は回折格子、ホログラッフィック格子などを含んでよい。
[00494]図1に示すような実施形態において、左右の画像に2つのプロジェクタ108が使用されるとき投影される画像は立体画像であってもよい。立体表示を可能にするには、プロジェクタ108同士を接眼鏡の個々の装着者の瞳孔間間隔に基づく調整を可能にする調整可能な距離を置いて配設すればよい。例えば、単一の光学アセンブリは、水平位置、垂直位置、および傾斜位置について個々の調整が可能な2つの独立した電気光学モジュールを含んでもよい。代替的に、光学アセンブリは、電気光学モジュールのみを含んでもよい。
[00495]図146〜図149は、画像の配置を調整することのできる拡張現実(AR)接眼鏡14600(テンプルピースを含んでいない)の実施形態を概略的に示す。図146および図147はそれぞれ、AR接眼鏡14600の正面斜視図および背面斜視図を示す。この実施形態では、投影システム(集合的に14602で示されている)の電子機器および各部はレンズ14604a、14604bの上方に配置される。AR接眼鏡14600は、レンズ14604a、14604bの装着者側の調整プラットフォーム14610から調整可能に懸垂された2つの投影スクリーン14608a、14608bを有する。調整プラットフォーム14610には、AR接眼鏡14600のブリッジ14612に対する横方向位置および投影スクリーン14608a、14608bの各々の傾斜を独立に調整するための機構が取り付けられている。
[00496]一方または両方のディスプレイスクリーンの位置を調整するための機構は、(例えばボタンによる)手動モータまたはソフトウェア作動モータによって制御されても、あるいは手動制御デバイス(指動輪、レバーアームなど)によって制御されても、あるいは電動デバイスと手動デバイスの両方の組合せによって制御されてもよい。AR接眼鏡14600は、ここで説明する手動デバイスを使用する。当業者には、調整機構が横方向調整を傾斜調整から分離するように設計されることが理解されよう。
[00497]図148は、AR接眼鏡14600の装着者の左側の部分の斜視背面図を示し、図148には、投影スクリーン14608aの調整プラットフォーム14610上の調整機構14614がより明確に示されている。投影スクリーン14608aは、可動キャリッジ14620に固定的に取り付けられた(または可動キャリッジの一部である)フレーム14618に取り付けられている。キャリッジ14620は、そのブリッジ14612側において、調整プラットフォーム14610に取り付けられた第1のブロック14624の弧状グルーブ内にキャリッジシャフト14622によって回転可能および摺動可能に支持されている。キャリッジ14620は、そのテンプル側において、ヨーク14628によって回転可能および摺動可能に支持される。図150を参照すると分かるように、ヨーク14628は、キャリッジ14620に固定的に取り付けられ、キャリッジ14620の回転軸を構成するようにキャリッジシャフト14622と同軸になっているシャフト部14630を有する。ヨーク14628は、調整プラットフォーム14610に取り付けられた第2の支持ブロック14632(図151参照)の弧状グルーブ内に摺動可能および回転可能に支持されている。
[00498]ヨーク14628は、シャフト部14630から半径方向外側に延びる互いに平行な2つのアーム14634a、14634bも有する。各アーム14634a、14634bの自由端は、以下に説明するようにアーム同士の間にシャフト14678を固定的に拘束するための穴、例えばアーム14634bの穴14638を有する(図149参照)。アーム14634aはアンカー部14640を有し、アンカー部14640において、ヨーク14628のシャフト部14630に取り付けられている。アンカー部14640は、後述のようにピン14660を摺動可能に拘束するための貫通穴14642を有する(図152参照)。
[00499]再び図148を参照すると分かるように、調整機構は、投影スクリーン14608aの横方向位置を調節するための第1の指動輪14644と、投影スクリーン14608aの傾斜を調節するための第2の指動輪14648とを有する。第1の指動輪14644は、調整プラットフォーム14610の長穴14650の一部を貫通して延び、第1のねじ付きシャフト14652にねじ込み可能に係合し第1のねじ付きシャフト14652によって支持されている。第1のねじ付きシャフト14652は、第3の支持ブロック14654および第4の支持ブロック14658(図151参照)の貫通穴に摺動可能に支持されている。第3の支持ブロック14654および第4の支持ブロック14658ならびに/または長穴14650の各側面は、第1の指動輪14644が横方向に移動するのを妨げる働きをする。したがって、指動輪14644をその軸(矢印Aによって示されている)の周りに回転させると、第1のねじ付きシャフト14652が横方向に移動する(矢印Bによって示されている)。図152を見ると最もよく分かるように、第1のねじ付きシャフト14652はそのブリッジ側端部から半径方向外側に延びるピン14660を有する。(第1のねじ付きシャフト14652のねじは、図示されていないが、単一ピッチねじであってもまたは複数ピッチねじであってもよいことに留意されたい。))ピン14660は、ヨーク14628のアーム14634aのアンカー部14640の垂直に向けられた貫通穴14642によって摺動可能に拘束されている。第1のねじ付きシャフト14652をブリッジ14612に向けて横方向に前進させる方向に第1の指動輪14644を旋回させると、ピン14660が貫通穴14642のブリッジ14612側に押し付けられ、それによって、ヨーク14628、キャリッジ14620、フレーム14618、および第1の投影スクリーン14608aのすべてがブリッジ14612に向けて横方向に移動する(矢印C参照)。同様に、第1の指動輪14644を逆方向に旋回させると、第1の投影スクリーン14608aがブリッジ14612から離れるように横方向に移動する。
[00500]第2の指動輪14648は、キャリッジシャフト14622およびヨークシャフト部14630によって画定される軸の周りでの第1の投影スクリーン14608aの傾斜を調節するのに使用される。次に図153を参照すると分かるように、第2の指動輪14648は、中空のフランジ付きシャフト14664の幅の狭い部分14662に固定的に取り付けられている。フランジ付きシャフト14664のフランジ部14668は、アイフック14672のねじ付きシャフト部14670をねじ込み可能に受け入れる。(ねじ付きシャフト部14670のねじは、図示されていないが、単一ピッチねじであってもまたは複数ピッチねじであってもよいことに留意されたい。))使用時には、フランジ付きシャフト14664の幅の狭い部分14662が調整プラットフォーム14610の皿穴14674(図151参照)を回転可能に通過し、したがって、指動輪14648が調整プラットフォーム14610の底部側に位置し、アイフック14672が頂部側に位置し、フランジ付きシャフト14664のフランジ部14668が皿穴14674の皿部内に拘束される。再び図149を参照すると分かるように、アイフック14672のアイ部は、ヨークアーム14634a、14634bの自由端の所の穴の中に拘束されたシャフト14678の周りに摺動可能に係合する。したがって、(矢印Dによって示されているように)第2の指動輪14644をその軸の周りに回転させると、フランジ付きシャフト14664が第2の指動輪14644と一緒に旋回し、それによって、(矢印Eによって示されているように)アイフック14672のねじ付きシャフト部14670が垂直方向に移動してフランジ部14668に入るかまたはフランジ部14668から出て、アイフック14672の受け部がシャフト14678に押し付けられ、さらにヨーク14628をその軸の周りを移動させ、したがって、(矢印Fによって示されているように)第1の投影スクリーン14608aを装着者から離れる方向に傾斜するかまたは装着者の方へ傾斜させる。
[00501]再び図148を参照すると分かるように、投影スクリーン14602aの電子機器および各部がキャリッジ14620の頂部に固定されたプラットフォーム14680上に配置されていることに留意されたい。したがって、投影スクリーン14608aとその投影システム14602aの関連する電子機器および各部との間の空間的な関係は、投影スクリーン14608aに施される任意の横方向調整または傾斜調整によって実質的に同じ状態に維持される。
[00502]AR眼鏡14600は、AR接眼鏡14600の装着者の右側に配置された第2の投影スクリーン14608bを横方向に位置付け傾斜させるための、前述の調整機構14614と同様の調整機構も含む。
[00503]一実施形態では、接眼鏡は、光学モジュールを湾曲したフレーム内に維持するIPD調整用の傾斜または湾曲したガイドレールを含んでもよい。いくつかの実施形態では、ディスプレイがそのような傾斜または湾曲したガイドレールに動作可能に連結される。
[00504]諸実施形態において、AR接眼鏡の1つまたは複数のスクリーンは、ユーザの目同士を連結する線に平行になるように構成される。いくつかの実施形態では、1つまたは複数のディスプレイスクリーンはその垂直軸の周りを回転させられ、したがって、鼻の近くのディスプレイスクリーンの端部は、ユーザの目同士を連結する線に平行な角度から約0.1度〜約5度の範囲の角度で、目に向かって内側に回転させられる(すなわち、「トーイン」)。これらの後者の実施形態のうちのいくつかでは、トーイン角が永久的に固定され、一方、他の実施形態では、トーイン角がユーザによって調整可能である。ユーザ調整可能実施形態のいくつかにおいて、調整可能な角度は、事前に設定された2つ以上の位置、例えば、近距離輻輳、中距離輻輳、および遠距離輻輳を表す位置に限定される。他の実施形態では、調整可能な角度は連続的である。本明細書において説明するように自動両眼転導矯正機能も含むAR接眼鏡の実施形態では、両眼転導矯正においてトーインの量を検討することが好ましい。トーインが永久的に固定される実施形態では、位置センサを使用する必要なしにトーイン量を直接、自動両眼転導矯正機能に含めてもよいが、ユーザ調整可能実施形態では、位置センサを使用して、両眼転導矯正の計算において使用すべき存在するトーインの量をプロセッサに伝達することが好ましい。トーイン角がユーザによって調整可能である実施形態では、調整は、一方または両方のディスプレイスクリーンをディスプレイスクリーンの垂直軸の周りを直接、選択的に回転させるか、または例えばドライブトレーンを介して間接的に選択的に回転させるターンホイールを使用することによって手動で行われても、あるいはユーザインターフェースまたは制御スイッチを介してユーザによって作動させられたときに選択可能な回転を実現するように電動式に構成されてもよい。
[00505]いくつかの場合には、トーイン機能を使用して、ユーザの目が特定の焦点距離に維持される長時間の活動の間、例えば読書をし、モニタ、球技、または水平線を見たりしている間ユーザの目をリラックスさせることができる。上述のトーイン機能を使用して、ディスプレイスクリーンを効果的に回転させてユーザの目によりうまく揃えることによってユーザの瞳孔間距離に対する調整を施すことができる。
[00506]諸実施形態において、本開示は、機械的瞳孔間距離調整を実施するのを可能にし、例えば、接眼鏡の光学アセンブリが、眼鏡フレーム内のユーザ位置を調整可能にすることができるように構成され、したがって、ユーザは、ユーザの目に対して光学アセンブリの位置を変更することができる。位置調整によって、眼鏡フレーム内の光学アセンブリの水平位置、垂直位置、傾斜などを調節することができる。
[00507]諸実施形態において、本開示は、デジタル瞳孔間距離調整を実施するのを可能にし、例えば、内蔵プロセッサは、ユーザが接眼鏡光学アセンブリ上に形成される視野内の表示コンテンツが配置される位置を調整し、他の表示コンテンツを配置する際に使用すべき瞳孔位置合わせ校正係数を設定するのを可能にする瞳孔位置合わせ手順を実行する。この校正係数は、視野内の表示コンテンツの水平方向の調整および/または垂直方向の調整を含んでもよい。校正係数は、各々が実世界オブジェクト距離の計算に基づいて視野内にコンテンツを位置付けるときに使用すべき実世界オブジェクト距離校正係数を表す複数の校正係数を含んでもよい。校正係数は、各校正係数が実世界の対象までの距離の計算に基づいてコンテンツを視野内に位置付ける際に使用すべき実世界の対象までの距離の距離校正係数を表す複数の校正係数に基づく校正プロセスを構成してもよい。画像の位置付けは、画像を視野内で移動させるようにディスプレイ上で調整されてもよい。2つの画像を互いに遠ざけると、撮像されるオブジェクトが遠ざかるように見え、一方、各画像を互いに接近させると、オブジェクトがより近くに見えるようになる。両目間の視野内のオブジェクトの位置の差は視差として知られる。視差は、オブジェクトとユーザとの間の知覚される距離に関係している。
[00508]次に図173を参照すると、眼鏡の分解図が示されている。電子機器17302は、目の上方の眼鏡の前部フレーム内に位置し、CPU、ディスプレイドライバ、カメラ、無線装置、プロセッサ、ユーザインターフェースなどを含む。光学モジュール17308は、オプションであり光学モジュール17308を覆うレンズ17304を有するフレームに取り付けられている。レンズ17304は着色されていてもまたは着色可能であってもよい。ここでは立体実施形態が示されているが、単一の光学モジュール17308を使用してもよいことを理解されたい。電子機器17302は、ボタン、タッチインターフェース、ローラボール、スイッチ、または任意の他の物理的ユーザインターフェースであってもよい物理的ユーザインターフェース17310を含むカバー17314によって密封されている。物理的ユーザインターフェース17310は、眼鏡の機能、眼鏡上で実行されるアプリケーション、または外部デバイスを制御するアプリケーションのような眼鏡の様々な態様を制御することができる。ユーザは、フレームの下部を掴んで安定させ、一方、フレーム上の制御機能/UIに触れることによって、この制御機能を容易に利用することができる。アーム17312は、耳の上に位置し、眼鏡を固定するためのストラップ、外部音声デバイス用の音声/イヤフォン機能またはジャック、電池17318または電源機能などを含んでもよい。電池17318は、本明細書にはいくつかの例が開示されているが任意の種類の市販の電池を含み、各アームに配置されてもよい。ストラップは、ニチノールまたはその他の形状記憶合金から作られたイヤバンドであってもよい。イヤバンドはバンド形態であってもよく、または図177に示すように、イヤバンド17702は、厚さおよび重量を低減させコストを削減するように屈曲させたワイヤの形態であってもよい。外観を良くするために、フレームが任意の色であってもよく、レンズが任意の色であってもよく、接眼鏡アームまたはアームの少なくとも先端が着色されてもよい。例えば、アームの先端を形成するニチノールが着色されてもよい。
[00509]次に図174を参照すると分かるように、電池は、場合によっては動作可能なヒンジ17408を介して、最小数のワイヤを使用しワイヤガイド17404内のヒンジを貫通する配線設計を使用して、前部フレーム内の電子機器に電力を供給することが可能である。この配線設計は、前部フレーム電子機器からアーム上に配置された耳栓まで延びるワイヤ17402を含んでもよい。図175は、ワイヤガイド17404を横切るワイヤ17402に焦点を当てた図174の拡大図である。図176A〜図176Cは、フレームおよび内部眼鏡構造の様々な部分を有するワイヤガイドの切り欠き図を示す。これらの図は、フレームのユーザ側からヒンジを見た図である。図176Aは最も多くの部分が切り欠かれた図を示し、図176Bは次に多くの部分が切り欠かれた図を示し、一方、図176Cは、まったく切り欠かれていない眼鏡の図を示す。
[00510]図6は、透過型レンズまたは半透過型レンズ602を有する接眼鏡600の実施形態を示す。レンズ602上に投影された画像618を見ることができる。この実施形態では、レンズ602上に投影されている画像618は、装着者が見ているシーンの拡張現実バージョンになっており、視野内のタグ付き関心対象点(POI)が装着者に表示されている。拡張現実バージョンは、接眼鏡に埋め込まれ、装着者が見ているものを撮像し位置/POIを識別する前方を向いたカメラ(図6には示されていない)によって使用可能にされてもよい。一実施形態では、カメラまたは光学送信機の出力を、記憶するか、またはリモート位置に送信するか、または接眼鏡もしくは眼鏡を装着する人によって見ることができるように、接眼鏡コントローラまたはメモリに送ってもよい。例えば、ユーザが見る仮想スクリーンに映像出力をストリーミングしてもよい。したがって、映像出力は、ユーザの位置を判定するのを助けるのに使用されても、または装着者の位置を特定するのを助けるかまたは任意の他の目的のために遠くにいる他の人に送られてもよい。GPS、RFID、手動入力のような他の検出技術を使用して装着者の位置を判定してもよい。位置データまたは識別データを使用して、装着者が見ているものと一緒に重ね合わせるかまたは投影するかまたはその他の方法で表示することのできる情報を得るために接眼鏡によってデータベースにアクセスしてもよい。拡張現実アプリケーションおよび拡張現実技術について本明細書においてさらに説明する。
[00511]図7には、接眼鏡700が、ストリーミングメディア(eメールアプリケーション)および着信呼通知704が表示されている不透明レンズ702と一緒に示されている一実施形態である。この実施形態では、メディアが観察領域の一部を見えなくしているが、表示画像が視野内のどこに位置してもよいことを理解されたい。諸実施形態において、メディアの透明度をこれよりも高くしてもまたは低くしてもよい。
[00512]一実施形態では、接眼鏡は、外部コンバータボックスのような任意の外部供給源から入力を受け取ってもよい。供給源は接眼鏡のレンズ内に示されてもよい。一実施形態では、外部供給源が電話であるとき、接眼鏡は電話の位置特定機能を使用して、マーカベースのARアプリケーションによるマーカオーバーレイを含む位置ベースの拡張現実を表示してもよい。諸実施形態では、VNCクライアントを使用してコンピュータに接続すると共にコンピュータを制御してもよく、その場合、装着者は接眼鏡内でコンピュータの表示を見る。一実施形態では、車両に搭載されたパノラマカメラからの表示、デバイス用オンユーザインターフェース、無人機またはヘリコプタからの画像のような、任意の供給源からのコンテンツが接眼鏡にストリーミングされてもよい。例えば、銃に搭載されたカメラは、カメラフィードが接眼鏡に送られるときに直接視線上にはない目標を撮像するのを可能にする。
[00513]レンズは、フォトクロミックレンズまたはエレクトロクロミックレンズなどのクロミックレンズであってもよい。エレクトロクロミックレンズは、プロセッサによってクロミック材料全体にわたって一斉に電荷が印加されたことに応答してレンズの少なくとも一部の不透明度を変化させる一体的なクロミック材料またはクロミックコーティングを含んでもよい。例えば、図9を参照すると、表示コンテンツを接眼鏡の装着者に示すときに接眼鏡の装着者による視認度を向上させることなどのためのレンズ904のクロミック部分902が黒く示されている。諸実施形態において、画素レベルまで制御される、レンズの大部分、投影領域の小部分、レンズおよび/または投影領域のプログラム可能な領域などのような、独立して制御することのできる複数のクロミック領域がレンズ上にあってもよい。クロミック材料の活性化は、本明細書においてさらに説明する制御技術を介して制御されてもよく、あるいはあるアプリケーション(例えば、ストリーミング映像アプリケーション、太陽追跡アプリケーション、周囲明るさセンサ、視野における明るさを追跡するカメラ)によって自動的に有効化されてもまたはフレームに埋め込まれたUVセンサに応答して自動的に有効化されてもよい。諸実施形態では、エレクトロクロミック層が光学素子同士の間および/または矯正レンズ、弾道レンズのような接眼鏡上の光学素子の表面上に配置されてもよい。一例では、エレクトロクロミック層は、間に2つのエレクトロクロミック(EC)層を含む酸化インジウムスズ(ITO)でコーティングされたPET/PC膜などのスタックで構成されてもよく、エレクトロクロミック層は、PET/PCの別の層を取り除くことができ、それによって、反射を低減させる(例えば、層スタックはPET/PC−EC−PET/PC−EC−PET/PCを含んでもよい)。諸実施形態では、電気的に制御可能な光学層は、2進状態の色合いを有する液晶ベースの溶液として設けられてもよい。他の実施形態では、液晶の複数の層または光学層を形成する代替的なイーティントを使用して、光学層の特定の層またはセグメントを段階的にオンまたはオフにすることができるように可変色合いを生成してもよい。エレクトロクロミック層は、SPD、LCD、エレクトロウェッティングなどを含め、接眼鏡における電気的に制御される透明度のうちの任意の透明度について汎用的に使用されてもよい。
[00514]諸実施形態において、レンズは、入射角の小さい光波を透過させ、入射角の大きいS偏光などの光を反射させるのを可能にする角度検知コーティングを有してもよい。クロミックコーティングは、本明細書において説明する制御技術によって部分的に制御されてもまたは全体的に制御されてもよい。レンズは、可変コントラストであってもよく、コントラストは押しボタンまたは本明細書において説明する任意の他の制御技術の制御を受けてもよい。諸実施形態において、ユーザは、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを接眼鏡が含む対話型頭部装着接眼鏡を装着してもよい。光学アセンブリは、周囲の環境についてのユーザの視野を矯正する矯正素子と、ユーザに対して表示されるコンテンツを処理するための内蔵プロセッサと、コンテンツを光学アセンブリに導入するための内蔵画像光源とを含んでもよい。光学アセンブリは、表示コンテンツの要件および周囲環境条件に依存した表示特性調整を可能にするエレクトロクロミック層を含んでもよい。諸実施形態では、表示特性は明るさ、コントラストなどであってもよい。周囲環境条件は、表示特性調整なしでは接眼鏡の装着者が表示コンテンツを視覚化するのを困難にする明るさのレベルであってもよく、表示特性調整は、コンテンツが表示される光学アセンブリの領域に適用されてもよい。
[00515]諸実施形態において、接眼鏡は、明るいかまたは暗い周囲の環境に対する投影されるコンテンツについてのユーザの視野を変更し改善することなどのために接眼鏡の投影領域上の明るさ、コントラスト、空間解像度などを調節させてもよい。例えば、ユーザは明るい日光条件で接眼鏡を使用することがあり、ユーザが表示コンテンツをはっきりと見ることができるようにするには、ディスプレイ領域の明るさおよび/またはコントラストを変更することが必要になることがある。代替として、表示領域の周囲の観察領域を変更してもよい。さらに、変更される領域は、表示領域内であるか否かにかかわらず、実施されているアプリケーションごとに空間的に配向されてもまたは制御されてもよい。例えば、表示領域のわずかな部分が、表示領域の表示部分と周囲の環境との間のある決定されたコントラスト比または所定のコントラスト比から逸脱しているときなどに、そのわずかな部分のみを変更してもよい。諸実施形態では、レンズの各部の明るさ、コントラスト、空間広がり、解像度などを、表示領域全体を含むように固定したり、レンズの一部のみに調整したり、周囲の環境の照明条件の変化および/または表示コンテンツの明るさ−コントラストの変化に対して適応可能でかつ動的に変更可能になるように変更してもよい。空間広がり(例えば、変更の影響を受ける領域)および解像度(例えば、ディスプレイ光学解像度)は、高解像度セグメント、低解像度セグメント、単一画素セグメントなどを含むレンズの様々な部分において異なってもよく、様々なセグメントを組み合わせて、実行されている(1つまたは複数の)アプリケーションの表示目的を実現してもよい。諸実施形態において、明るさ、コントラスト、空間広がり、解像度などの変更を実現するための技術には、エレクトロクロミック材料、LCD技術、光学素子における埋め込みビード、フレキシブルディスプレイ、懸濁粒子デバイス(SPD)技術、コロイド技術などを含めてもよい。
[00516]諸実施形態において、エレクトロクロミック層を活性化する様々なモードがあってもよい。例えば、ユーザは、複合レンズがいくらか暗く見えるに過ぎないサングラスモードに入るか、または複合レンズが真っ暗に見える「ブラックアウト」モードに入ることができる。
[00517]明るさ、コントラスト、空間広がり、解像度などの変更を実現する際に使用できる技術の例としては、エレクトロクロミック材料、エレクトロクロミック膜、エレクトロクロミックインクなどが挙げることができる。エレクトロクロミズムは、可逆的に変化する外観を有するいくつかの材料に電荷が印加されたときに生じる現象である。特定の用途に応じて、様々な種類の材料および構造を使用してエレクトロクロミックデバイスを構成することができる。例えば、エレクトロクロミック材料には、エレクトロクロミックウィンドウまたはスマートガラスを製作する際に使用される主要な化学物質である酸化タングステン(WO3)が含まれる。諸実施形態では、接眼鏡のレンズ上にエレクトロクロミックコーティングを使用して変更を実現してもよい。別の例では、エレクトロクロミックディスプレイを使用して、通常の紙の外観を模倣するように設計され、通常の紙と同様に反射光を示す「電子ペーパー」を実現してもよい。諸実施形態では、ジリコン(透明なシリコンシートに埋め込まれ、各々の球がオイルの泡の中を浮遊し、したがって、自由に回転することができるポリエチレン球から成る)、電気泳動ディスプレイ(印加された電界を使用して荷電された顔料粒子を再配置することによって画像を形成する)、イーインク技術、エレクトロウェッティング、エレクトロフルイディック、干渉変調器、可撓性の基板に埋め込まれた有機トランジスタ、ナノクロミクスディスプレイ(NCD)などを含む、様々な用途および材料でエレクトロクロミズムを実現することができる。
[00518]明るさ、コントラスト、空間広がり、解像度などの変更を実現する際に使用できる技術の例としては、懸濁粒子デバイス(SPD)を挙げることができる。SPD膜に低い電圧を印加すると、安定状態では無作為に分散する微細粒子が揃えられ、光を透過させることが可能になる。この反応はただちに生じ得、一様であり、膜全体にわたって色が安定する。電圧を調整することによって、ユーザは透過する光の量、グレア、および熱を調節することができる。システムの応答は、オフ状態のときに光が完全に遮断されるまでの紺青色の外観から、オン状態のときの透明な外観までの範囲である。諸実施形態では、SPD技術は、能動膜を構成するプラスチック基板上に塗布される乳剤であってもよい。このプラスチック膜は、(単一のガラス板として)積層させたり、ガラス、プラスチック、もしくはその他の透明な材料などの2枚のシートの間に浮遊させたりすることが可能である。
[00519]図8A〜図8Cを参照すると分かるように、ある実施形態において、電気光学素子は、(1)電気光学素子および2)矯正レンズの2つの部品における単眼フリップアップ/フリップダウン構成または両眼フリップアップ/フリップダウン構成として取り付けられてもよい。図8Aは、電気光学素子が、プラグ、ピン、ソケット、配線などの電気コネクタ810を介して接眼鏡804に電気的に接続することができるモジュール802内に含まれる2部品接眼鏡を示す。この構成では、フレーム814内のレンズ818は全体が矯正レンズであってもよい。電気光学モジュール802の2つの半部間の瞳孔間距離(IPD)を、様々なIPDに対処するようにブリッジ808の所で調整してもよい。同様に、ディスプレイ812の配置をブリッジ808を介して調整してもよい。図8Bは、一方の半部が跳ね上げられ他方の半部が押し下げられる両眼電気光学モジュール802を示す。ノーズブリッジは完全に調整可能でありかつ弾性を有してもよい。これによって、ヘッドストラップによるノーズブリッジおよび耳への3点取り付けが可能になり、ユーザの目における画像の安定性が確保される。これに対して、頭皮の上でずれるヘルメット実装光学素子は不安定である。図8Cを参照すると分かるように、レンズ818は、例えば、ANSI準拠ハードコート耐擦傷性ポリカーボネートバリオスティックレンズであってもよく、クロミックレンズであってもよく、角度検知コーティングを有してもよく、UV感知材料などを含んでもよい。この構成では、電気光学モジュールは、暗視機能用のCMOSベースのVIS/NIR/SWIRブラックシリコンセンサを含んでもよい。電気光学モジュール802は、ユーザにとって使い勝手がよく現場での交換および更新を可能にするクイックディスコネクト機能を有してもよい。電気光学モジュール802は内蔵電源ドックを有してもよい。
[00520]図79に示すように、フリップアップ/フリップダウンレンズ7910はライトブロック7908を含んでもよい。取り外し可能なエラストマナイトアダプタ/ライトダム/ライトブロック7908を使用して、暗所視動作などのためにフリップアップ/フリップダウンレンズ7910を遮断してもよい。この接眼鏡の分解上面図は、ヘッドストラップ7900、フレーム7904、および調整可能なノーズブリッジ7902も示している。図80は、正面図(A)および斜視図(B)における電気光学アセンブリの分解図を示す。ホルダ8012が矯正レンズ7910を含む透過型光学素子を保持している。Oリング8020およびねじ8022がホルダをシャフト8024に固定している。ばね8028がホルダ8012とシャフト8024との間のばね式連結を可能にする。シャフト8024は、つまみねじ8018を使用して接眼鏡に固定された取り付けブラケット8014に連結されている。シャフト8024は、ピボット、およびIPD調節つまみ8030を使用するIPD調整器具として働く。図81を見ると分かるように、つまみ8030は調整ねじ8134に沿って回転する。シャフト8024は2つの止めねじグルーブ8132も備える。
[00521]諸実施形態において、接眼鏡の光学素子の一部としてフォトクロミック層を含めてもよい。フォトクロミズムは、化学種が、所与の光周波数にさらされたときに、電磁放射を吸収することによって、異なる吸光スペクトルを有する2つの形態間で、色、暗度などの可逆的変化のような可逆変態を受けることである。一例では、フォトクロミック層は、接眼鏡の導波路と矯正光学素子との間、矯正光学素子の外側などに含められてもよい。諸実施形態では、フォトクロミック層(減光層として使用されるようなフォトクロミック層)をUVダイオード、または当技術分野で知られている他のフォトクロミック応答波長によって活性化してもよい。フォトクロミック層をUV光によって活性化する場合、接眼鏡光学素子は、太陽からのUV光が偶然にフォトクロミック層を活性化するのを妨げるためのUVコーティングをフォトクロミック層の外側に含んでもよい。
[00522]フォトクロミックスは現在、明状態から暗状態への変更を高速に行い、暗状態から明状態への変更をゆっくりと行う。このことは、フォトクロミック材料が透過状態から暗状態に変化することに関与する分子の変化に起因する。フォトクロミック分子は、太陽からのUV光などのUV光が除去された後で振動して透過状態に戻る。熱にさらすことなどにより分子の振動を増大させることによって、光学素子はより高速に透過状態になる。フォトクロミック層が暗状態から明状態に変化する速度は温度に依存することがある。暗状態から明状態に高速に変化することは、サングラスのユーザが明るい外部環境から暗い内部環境に変化することが多く、内部環境を迅速に見ることができることが重要である戦闘アプリケーションに特に重要である。
[00523]本開示は、フォトクロミック材料における暗状態から透過状態への遷移を加速するのに使用される取り付けられたヒータを含むフォトクロミック膜デバイスを提供する。この方法は、温度が高いほど遷移速度が速くなる遷移暗状態から透過状態へのフォトクロミック材料の遷移の速度の関係に依存する。ヒータによってフォトクロミック材料の温度をより高速に上昇させるのを可能にするように、フォトクロミック材料は薄いヒータを有する薄い層として設けられる。単位面積当たりのフォトクロミック膜デバイスの熱質量を低く維持することによって、ヒータは少量の熱を発生するだけでフォトクロミック材料において大きな温度変化を急速に生じさせることができるようになる。フォトクロミック材料は暗状態から透過状態に遷移する間だけ温度を上昇させればよいので、ヒータは短期間使用するだけでよく、したがって、電力要件が低い。
[00524]ヒータは、ITOヒータまたは任意の他の透明な導電性膜材料のような薄い透明なヒータ素子であってもよい。ユーザが接眼鏡を高速に透過状態にする必要があるとき、ユーザは本明細書において説明する制御技術のうちの任意の制御技術によってヒータ素子を作動させてもよい。
[00525]一実施形態では、ヒータ素子を使用して、各レンズが自然に暗状態になるときに低温周囲条件を補償するようにフォトクロミック素子を校正してもよい。
[00526]別の実施形態では、ヒータ素子層が頂部に設けられた厚い基板上にフォトクロミック材料の薄いコートを付着させてもよい。例えば、カバーサングラスレンズは、加速フォトクロミック溶液を含み、しかも、場合によってはUV光によって制御されてもまたはUV光なしで制御されてもよい別個のフォトクロミックパッチを表示領域全体にわたって有してもよい。
[00527]図94Aは、蛇行ヒータパターンを有するフォトクロミック膜デバイスを示し、図94Bは、デバイスがサングラス用のレンズであるフォトクロミック膜デバイスの側面図を示す。フォトクロミック膜デバイスは上部に示されており、デバイスの熱損失を低減させるための保護カバーレンズと接触していない。
[00528]米国特許第3,152,215号は、暗状態から透過状態への遷移時間を短縮することを目的としてフォトクロミック材料を加熱するためにフォトクロミック層と組み合わされたヒータ層について説明している。しかし、フォトクロミック層は、ウェッジ内に位置し、デバイスの熱質量を大幅に増大させ、それによって、ヒータがフォトクロミック材料の温度を変化させることのできる速度を低下させるか、または別法として、フォトクロミック材料の温度を変化させるのに必要な電力を大幅に増大させる。
[00529]本開示は、フォトクロミック材料が塗布された薄いキャリア層を使用することを含む。キャリア層は、ガラス、またはプラスチックであってよい。フォトクロミック材料は、当技術分野において公知のように真空コーティング、浸漬、またはキャリア層への熱拡散によって塗布されてよい。キャリア層の厚さは150ミクロン以下であってよい。キャリア層の厚さの選択は、暗状態におけるフォトクロミック膜デバイスの所望の暗度、および暗状態と透過状態との間の所望の遷移速度に基づいて選択される。キャリア層は厚いほど暗状態において暗くなることができ、一方、熱質量が増大するので高温まで加熱するのにかかる時間が長くなる。逆に、キャリア層は薄いほど暗状態において明るくなることができ、一方、熱質量が低減するので高温まで加熱するのにかかる時間が短くなる。
[00530]図94に示す保護層は、フォトクロミック膜の熱質量を低く維持するためにフォトクロミック膜デバイスから分離されている。このように、保護層をより厚くして衝撃強度を高くすることができる。保護層はガラスまたはプラスチックであってもよく、例えば保護層はポリカーボネートであってもよい。
[00531]ヒータは、比較的一様な導電経路としてパターン化された透明な導体であってもよく、したがって、パターン化されたヒータの全長にわたって生成される熱は比較的一様である。パターン化することのできる透明な導体の一例は二酸化チタンである。図94に示すような電気接点用のより大きい領域がヒータパターンの端部に設けられる。
[00532]図8A〜図8Cの説明において指摘したように、拡張現実眼鏡は、装着者の目ごとのレンズ818を含む。レンズ818は、フレーム814に容易に嵌め込めるように作られてもよく、そのため、各レンズは、眼鏡の対象となる人に対して調整されてもよい。したがって、レンズは、矯正レンズであってもよく、サングラスとして使用できるように着色されても、または対象となる環境に適した他の品質を有してもよい。したがって、レンズは、黄色、濃い色、または他の適切な色に着色されても、あるいはフォトクロミックであってもよく、それによって、より明るい光にさらされたときにレンズの透明度が低下する。一実施形態では、レンズはフレーム内またはフレーム上にスナップ嵌めされるように設計されてもよく、すなわち、スナップオンレンズは一実施形態である。例えば、レンズは高品質のSchott光学ガラスから作られてもよく、偏光フィルタを含んでもよい。
[00533]もちろん、レンズは矯正レンズである必要はなく、単にサングラスとして働くかまたはフレーム内の光学系を保護するだけでもよい。非フリップアップ/フリップダウン構成では、外側レンズが拡張現実眼鏡内のかなり高価な導波路、視聴システム、および電子機器を保護するのを助ける上で重要であることは言うまでもない。最低でも、外側レンズは、ユーザの環境による引っ掻き傷、すなわち、ある環境における砂、イバラ、とげなどによる引っ掻き傷、および別の環境における飛散する瓦礫、弾丸、および爆弾の破片による引っ掻き傷が生じないように保護する。さらに、外側レンズは装飾的なものであってよく、複合レンズの見た目を変える働きをし、おそらくユーザの個性およびファッションセンスに訴える。外側レンズは、例えば多くのユーザが集合するときに、個々のユーザが自分の眼鏡を他のユーザの眼鏡から区別するのを助けてもよい。
[00534]レンズは弾道衝撃などの衝撃に適していることが望ましい。したがって、一実施形態では、レンズおよびフレームは弾道抵抗に関するANSI規格Z87.1−2010を満たす。一実施形態では、レンズは弾道規格CE EN166Bも満たす。別の実施形態において、軍事用途の場合、レンズおよびフレームはMIL−PRF−31013の規格、すなわち規格3.5.1.1または4.4.1.1を満たしてもよい。これらの規格の各々は、弾道抵抗に関してわずかに異なる要件を有し、各々が高速の発射物または瓦礫による衝撃からユーザの目を保護することを目的としている。特定の材料は指定されないが、適切な規格に指定されている試験に合格するには、あるLexan(登録商標)グレードなどのポリカーボネートで十分である。
[00535]一実施形態では、図8Dに示すように、耐衝撃性が向上するようにレンズがフレームの内側ではなく外側からスナップ嵌めされる。その理由は、衝撃が拡張現実眼鏡の外側から来ると考えられることである。この実施形態では、交換可能なレンズ819が、フレーム820のくぼみ820aに嵌る複数のスナップ嵌めアーム819aを有する。アームの係合角度819aは90°よりも大きく、一方、くぼみの係合角度820bも90°より大きい。角度を直角よりも大きくすると、レンズ819をフレーム820から取り外すのが可能になる実用的な効果が得られる。人の視力が変化したかまたは何らかの理由で異なるレンズが望ましい場合に、レンズ819を取り外すことが必要になり得る。スナップ嵌めの設計は、レンズとフレームとの間にわずかな圧縮または軸受荷重が生じるような設計である。すなわち、レンズをフレーム内にわずかに締り嵌めすることなどによって、レンズをフレーム内にしっかりと保持することができる。
[00536]図8Dの片持ち梁スナップ嵌めは、レンズとフレームを取り外し可能にスナップ嵌めするための唯一の可能な方法ではない。例えば、フレームの連続的なスケーリングリップをレンズの大きい方の縁部に係合させ、次いでこの縁部をリップ内にスナップ嵌めするかまたは場合によってはリップを覆うようにスナップ嵌めする環状スナップ嵌めを使用してもよい。そのようなスナップ嵌めは通常、インクペンにキャップを接合するために使用される。この構成は、接合がよりしっかりとしたものになり、非常にわずかの埃およびごみの粒子しか混入せず混入の機会もほとんどなくなるという利点を有し得る。考えられる欠点には、レンズとフレームの両方の全周にわたってかなり大きい公差が必要になること、および3つの次元のすべてにおいて長期にわたる寸法完全性が必要になることが含まれる。
[00537]やはりスナップ嵌めであると考えられるずっと単純なインターフェースを使用することも可能である。フレームの外面にグルーブが成形されてもよく、それによって、レンズは、グルーブに嵌る舌部とみなすことのできる凸状の面を有する。グルーブが約270°〜約300°の半円筒形である場合、舌部はグルーブにスナップ嵌めされてしっかりと保持され、しかもグルーブに残る隙間によって取り外しが可能である。図8Eに示すこの実施形態において、舌部828を有するレンズもしくは交換レンズまたはカバー826は、レンズもしくはカバーがフレームにスナップ嵌めされないにもかかわらずフレーム825のグルーブ827に挿入することができる。この嵌め合いはぴったりとしたものなので、スナップ嵌めとして働きレンズをフレームにしっかりと保持する。
[00538]別の実施形態では、フレームは、従来のさねはぎが可能な下部および上部のような2つの部分として作られてもよい。別の実施形態において、この設計では、標準的な留め具を使用してレンズをフレームによってしっかりと把持してもよい。この設計は、フレーム内部でのいかなる分解を必要とすべきではない。したがって、スナップオンレンズもしくその他のレンズまたはカバーは、フレームの内部に手を届かせる必要なしにフレームに組み付けられるかまたはフレームから取り外されるべきである。本開示の他の部分で指摘するように、拡張現実眼鏡は多数の構成部品を有してもよい。いくつかのアセンブリおよびサブアセンブリでは入念な位置合わせを行うことが必要になる場合がある。これらのアセンブリを動かしたりガタガタさせたりすることは、フレームおよび外側レンズもしくはカバーまたはスナップオンレンズもしくはカバーを動かしたりガタガタさせたりすることと同様にアセンブリの機能に悪影響を及ぼす。
[00539]諸実施形態において、フリップアップ/フリップダウン構成は接眼鏡用のモジュール設計を可能にする。例えば、接眼鏡に単眼モジュールまたは両眼モジュール802を備えることができるだけでなく、レンズ818を交換することもできる。諸実施形態では、一方または両方のディスプレイ812に関連する追加の機能をモジュール802に含めてもよい。図8Fを参照すると分かるように、単眼式または両眼式のモジュール802は、ディスプレイのみ852(単眼式)、854(両眼式)であっても、あるいは前方監視カメラ858(単眼式)ならびに860および862(両眼式)を備えてもよい。いくつかの実施形態では、モジュールは、GPS、レーザレンジファインダのような追加の内蔵電子機器を有してもよい。「Ultra−Vis」としても知られているアーバンリーダ戦術応答、認識および視覚化を可能にする実施形態862において、両眼電気光学モジュール862は立体前方監視カメラ870と、GPSと、レーザレンジファインダ868とを備える。これらの特徴によって、Ultra−Vis実施形態は、パノラマ暗視機能とレーザレンジファインダおよびジオロケーションを含むパノラマ暗視機能とを有することが可能になる。
[00540]一実施形態では、電気光学特性は、限定はしないが以下のとおりであり得る。
[00541]一実施形態ではプロジェクタ特性は以下のとおりであり得る。
[00542]別の実施形態では、拡張現実接眼鏡は、電気制御式レンズをマイクロプロジェクタとしてまたはマイクロプロジェクタと導波路との間の光学素子の一部として含む。図21は、そのような液体レンズ2152を有する一実施形態を示す。
[00543]眼鏡は、ユーザが見ることのできる1つまたは複数の画像を供給することのできる少なくとも1つのカメラまたは光学センサ2130を含んでもよい。画像は、眼鏡の各側のマイクロプロジェクタ2114によって形成され、その側の導波路2108に送られる。一実施形態では、追加の光学素子、すなわち可変焦点レンズ2152が設けられてもよい。このレンズは、導波路2108内で見られる画像がユーザによって合焦されるようにユーザによって電気的に調整可能であってもよい。諸実施形態では、カメラは、「アレイカメラ」などのマルチレンズカメラであってもよく、接眼鏡プロセッサが複数のレンズからのデータおよびレンズの複数の視点から得たデータを組み合わせて単一の高画質画像を生成してもよい。この技術は、画像を処理するのにソフトウェアが使用されるのでコンピュータ処理撮像とも呼ばれる。コンピュータ処理撮像は、複合画像を個々のレンズ画像の関数として処理するのが可能になることのような画像処理上の利点をもたらす。例えば、各レンズがそれ自体の画像を生成するので、プロセッサは、例えば1つのレンズ画像からの焦点が合っており、より解像度が高く、例えば残りの画像の焦点がずれており、解像度が低い中心窩撮像のような特殊な合焦によって画像を生成するように画像処理を行うことができる。プロセッサは、メモリ記憶域が制限されており、保存する必要があるのが複合画像の一部だけであるときなどに、メモリに記憶すべき複合画像の部分を選択し、一方、残りの部分を削除してもよい。諸実施形態では、アレイカメラを使用することによって、画像が得られた後で画像の焦点を変更することができる。アレイカメラは、撮像上の利点をもたらすだけでなく、従来の単一レンズアセンブリよりも薄い機械的外形を有し、したがって、接眼鏡に組み込むのがより容易になる。
[00544]可変レンズには、フランスのリヨンのVarioptic,S.A.または米国カリフォルニア州マウンテンビューのLensVector,Inc.によって提供されているいわゆる液体レンズを含めてもよい。そのようなレンズは、2種類の非混和液体を含む中央部を含んでもよい。通常、これらのレンズでは、レンズ内の光の経路、すなわち、レンズの焦点距離が、液体に浸漬させた電極同士の間に電位を印加することによって変更または調節される。少なくとも一方の液体が、得られる電界電位または磁界電位の影響を受ける。したがって、LensVector,Inc.に譲渡された米国特許出願第2010/0007807号に記載されているようにエレクトロウェッティングが生じることがある。他の技術は、LensVectorの特許出願第2009/021331号および特許出願公開第2009/0316097号に記載されている。これらの3つの開示はすべて、各頁および図が本明細書に逐語的に記載されているのと同様に参照により本明細書に組み込まれている。
[00545]Varioptic.S.A.による他の特許文献は、同じくエレクトロウェッティング現象を利用することができる可変焦点レンズ用の他のデバイスおよび技術を記載している。これらの文献には、各々が、各頁および図が本明細書に逐語的に記載されているのと同様に参照により本明細書に組み込まれている、米国特許第7,245,440号および米国特許第7,894,400号ならびに米国特許出願公開第2010/0177386号および米国特許出願公開第2010/0295987号が含まれる。これらの文献において、2つの液体は通常、異なる屈折率および異なる導電性を有し、例えば一方の液体は水性液体のように導電性であり、他方の液体は油性液体のように絶縁性である。電位を印加すると、レンズの厚さを変化させることができ、レンズ内の光路をも変化させ、したがって、レンズの焦点距離が変化する。
[00546]この電気的に調整可能なレンズは眼鏡の制御装置によって制御されてもよい。一実施形態では、制御装置からメニューを呼び出し、レンズの焦点を調整することによって焦点の調整が行われる。各レンズは別個に制御されてもまたはまとめて制御されてもよい。調整は、調節つまみを物理的に回転させるか、または身振りによって示すか、または音声コマンドを使用することによって行われる。別の実施形態では、拡張現実眼鏡にレンジファインダを含めてもよく、電気的に調整可能なレンズの焦点は、レーザレンジファインダなどのレンジファインダをユーザから所望の距離だけ離れた目標または対象に合わせることによって自動的に調節されてもよい。
[00547]上述の米国特許第7,894,440号に示されているように、可変レンズは、拡張現実眼鏡または拡張現実接眼鏡の外側レンズに適用されてもよい。一実施形態では、各レンズは単に矯正レンズに代わるものであってもよい。電気的に調整可能な制御装置を有する可変レンズは、画像光源またはプロジェクタに搭載されるレンズの代わりに使用されてもまたは画像光源またはプロジェクタに搭載されるレンズと一緒に使用されてもよい。矯正レンズインサートは、導波路ディスプレイが有効であるかどうかにかかわらず、ユーザの環境、すなわち外部世界用の矯正光学素子を構成する。
[00548]拡張現実眼鏡または(1つまたは複数の)拡張現実接眼鏡の装着者に送られる画像、すなわち、導波路内で見られる画像を安定化させることが重要である。送られるビューまたは画像は、接眼鏡に搭載された1つまたは2つのデジタルカメラあるいはセンサからデジタル回路に送られて処理され、必要に応じて眼鏡のディスプレイに表示される前にデジタルデータとして記憶される。いずれの場合も、上述のように、次にデジタルデータを使用し、LCOSディスプレイおよび一連のRGB発光ダイオードを使用することなどによって画像が形成される。光画像は、一連のレンズ、偏光ビームスプリッタ、電動液体矯正レンズ、およびプロジェクタから導波路への少なくとも1つの遷移レンズを使用して処理される。
[00549]画像を収集し提示するプロセスは、拡張現実眼鏡の各構成要素間のいくつかの機械的リンク機構および光学的リンク機構を含む。したがって、ある形の安定化が必要であると思われる。これには、可動プラットフォームに搭載されているので最も直接的な原因になるカメラ自体、さらにはモバイルユーザ上に移動可能に装着された眼鏡を光学的に安定化させることを含めてもよい。したがって、カメラの安定化または補正が必要になることがある。さらに、液体可変レンズには少なくともある安定化または補正を使用すべきである。理想的には、その点に位置する安定化回路が、液体レンズに対する補正を施すだけでなく、画像光源を含む液体レンズから上流側の回路の多くの部分からの任意の収差および振動に対する補正を施すことができる。本システムの1つの利点は、多くの市販のカメラが非常に高度であり、通常少なくとも1つの画像安定化機能または画像安定化オプションを有することである。したがって、各々が、後述のように画像または非常に高速の画像ストリームを安定化させる同じ方法または異なる方法を利用する本開示の多数の実施形態があってもよい。光学的安定化という語は通常、本明細書では、カメラ、カメラプラットフォーム、または他の物理的対象を物理的に安定化させるという意味であり、一方、画像安定化はデータ操作および処理を指す。
[00550]デジタル画像が形成されるときにデジタル画像に対してある画像安定化技術が実行される。この技術では、可視フレームの境界の外側の画素を望ましくない動きの緩衝体として使用してもよい。代替として、この技術では、別の比較的安定した領域または基準を後続のフレームにおいて使用してもよい。この技術をビデオカメラに適用し、動きを軽減するのに十分な程度に電子画像をビデオのフレームごとにずらすことが可能である。この技術は、センサに依存せず、動いているカメラからの振動および気をそらすその他の動きを軽減することによって画像を直接安定化させる。いくつかの技術では、画像の速度を低下させてデジタルプロセスの残りの部分に安定化プロセスを付加し、画像当たりにより多くの時間が費やされるようにしてもよい。これらの技術は、フレーム間の動きの差から算出されたグローバル動きベクトルを使用して安定化の方向を求めてもよい。
[00551]画像の光学安定化では重力駆動機構または電気駆動機構を使用して、周囲の振動を軽減するように光学素子または撮像センサを移動させるかまたは調整する。表示コンテンツを光学的に安定化させるための別の方法では、拡張現実眼鏡を収容するプラットフォーム、例えばユーザのジャイロ式補正またはジャイロ式検知を行う。上述のように、拡張現実眼鏡または拡張現実接眼鏡上で使用される市販のセンサにはMEMSジャイロ式センサが含まれる。このようなセンサは、移動および動きを3次元において非常に小さな刻み幅で取り込み、カメラからリアルタイムに送られる画像を補正するためのフィードバックとして使用されてもよい。望ましくない(undesired and undesirable)動きの少なくとも大部分がユーザおよびカメラ自体の動きによるものであることは明らかである。このようなより大きい動きにはユーザの全体的な動き、例えば歩くことまたは走ること、車両に乗ることを含めてもよい。拡張現実眼鏡内でより弱い振動、すなわち、カメラ(入射)から導波路内の画像(出射)までの経路を形成する電気的リンク機構および機械的リンク機構内の構成要素の振動が生じることもある。例えばプロジェクタの下流側の構成要素のリンク機構の独立したわずかな動きよりも、これらの全体的な動きに対する補正または考慮の方がより重要であり得る。諸実施形態において、ジャイロ式安定化では、画像が周期的に動くときに画像を安定化させることができる。そのような周期的な動きの場合、ジャイロスコープは、ユーザの動きの周期性を求め、情報をプロセッサに送り、ユーザの視野におけるコンテンツの配置を補正することができる。ジャイロスコープは、周期性を求める際に周期的な動きの2回または3回または4回以上のサイクルの移動平均を利用してもよい。加速度計、位置センサ、距離センサ、レンジファインダ、生体センサ、測地センサ、光学センサ、映像センサ、カメラ、赤外線センサ、光センサ、フォトセルセンサ、またはRFセンサのような他のセンサを使用して画像を安定化させるかまたは画像をユーザの視野内に正しく配置してもよい。センサは、ユーザの頭部または目の動きを検出すると、出力をプロセッサに供給し、プロセッサは、ユーザの頭部または目の動きの方向、速度、量、および割合を求めることができる。プロセッサは、この情報を、光学アセンブリを制御するプロセッサ(同じプロセッサであってもよい)によってさらに処理できるように適切なデータ構造に変換してもよい。データ構造は、1つまたは複数のベクトル量であってもよい。例えば、ベクトルの方向が動きの向きを定めてもよく、ベクトルの長さが動きの割合を定めてもよい。処理されたセンサ出力を使用し、それに応じてコンテンツの表示が調整される。
[00552]したがって、動き検知を使用して動きを検知し、光学的安定化の場合と同様に補正しても、または動きを検知し、画像安定化の場合と同様に、取り込まれ処理されている画像を補正してもよい。動きを検知し画像またはデータを補正するための装置が図34Aに示されている。この装置では、加速度計、角位置センサ、またはMEMSジャイロスコープなどのジャイロスコープを含む、1種類または複数種類の運動センサが使用される。センサからのデータが、アナログデジタル変換器(ADC)またはデジタル信号プロセッサ(DSP)のような他の適切なインターフェースのような適切なセンサインターフェースにフィードバックされる。次いで、マイクロプロセッサが上述のようにこの情報を処理し、画像が安定化されたフレームをディスプレイドライバに送り、次いで上述の透過型ディスプレイまたは導波路に送る。一実施形態では、表示は拡張現実接眼鏡のマイクロプロジェクタ内のRGB表示から始まる。
[00553]別の実施形態では、映像センサまたは拡張現実眼鏡あるいは映像センサを含む他のデバイスが車両に搭載されてもよい。この実施形態では、映像ストリームを通信機能またはインターネット機能を介して車両内の人に伝達してもよい。1つの用途はある地域の観光またはツアーであってもよい。別の実施形態は、ある地域の探検または偵察あるいは場合によってはパトロールであってもよい。これらの実施形態では、画像または画像を表すデジタルデータにジャイロ式補正を施すことよりも画像センサのジャイロ式安定化が有効である。この技術の実施形態が図34Bに示されている。この技術では、カメラまたは画像センサ3407が車両3401に搭載される。ジャイロスコープのような1つまたは複数の運動センサ3406がカメラアセンブリ3405に搭載されている。安定化プラットフォーム3403が運動センサから情報を受け取り、カメラアセンブリ3405を安定化させ、それによって、カメラが動作する間ジッタまたはウォブルは最小限に抑えられる。これは真の光学的安定化である。代替として、運動センサまたはジャイロスコープは安定化プラットフォーム自体の上または内部に取り付けられてもよい。この技術は光学的安定化を実現し、デジタル安定化とは異なり、カメラまたは画像センサを安定化させ、後でカメラによって取り込まれたデータをコンピュータ処理することによって画像を補正する。
[00554]ある技術では、光学的安定化において重要なことは、画像センサが画像をデジタル情報に変換する前に安定化または補正を施すことである。ある技術では、ジャイロスコープまたは角速度センサなどのセンサからのフィードバックが符号化されてアクチュエータに送られ、アクチュエータが、オートフォーカス機構がレンズの焦点を調整する場合と同様に画像センサを動かす。画像センサは、使用中のレンズの焦点距離の関数である、画像平面上への画像の投影を維持するように動かされる。場合によっては対話型頭部装着接眼鏡のレンジファインダから取り込まれるオートレンジ・焦点距離情報がレンズ自体を介して取得されてもよい。別の技術では、ジャイロ式センサとも呼ばれることもある角速度センサを使用して水平方向の動きおよび垂直方向の動きのそれぞれを検出することができる。次いで、検出された動きを電磁石にフィードバックしてカメラのフローティングレンズを動かしてもよい。しかし、この光学的安定化技術は、使用される各レンズに施す必要があり、かなりコストがかかる。
[00555]液体レンズの安定化は、フランスのリヨンのVarioptic,S.A.に譲渡された米国特許出願公開第2010/025987号に記載されている。理論上、制御のための変数は、例えばレンズハウジングおよびキャップを電極として使用してレンズの導電性液体および非導電性液体中の電極に印加される電圧のレベルの1つしかないので、液体レンズの制御は比較的簡単である。電圧を印加すると、エレクトロウェッティング効果によって液体−液体界面の変化または傾斜が生じる。この変化または傾斜はレンズの焦点または出射を調整する。フィードバックを含む制御方式の最も基本的な態様では、次に、電圧を印加し、結果、すなわち画像の焦点または非点収差に対する印加された電圧の影響を判定する。電圧は、例えば、大きさが等しく符号が正負逆である電圧、どちらも正であるが大きさが異なる電圧、どちらも負であるが大きさが異なる電圧などの各パターンで印加されてもよい。そのようなレンズは、電気的に可変な光学レンズまたは電気光学レンズとして知られている。
[00556]電圧は各パターンで短期間電極に印加され、焦点または非点収差に関する検査がなされてもよい。検査は、例えば画像センサによって行われてもよい。さらに、カメラまたはこの場合はレンズ上のセンサがカメラまたはレンズの動きを検出してもよい。運動センサには、液体レンズまたは液体レンズに非常に近い光学トレーンの部分に取り付けられた加速度計、ジャイロスコープ、角速度センサ、または圧電センサが含まれる。一実施形態では、次に、印加された電圧および所与のレベルの動きに必要な補正のレベルまたは電圧から校正テーブルなどのテーブルが構成される。例えば、2つではなく4つの電圧を印加できるようにセグメント化された電極を液体の様々な部分に使用することによってさらに高度化されてもよい。もちろん、4つの電極を使用する場合、4つの電圧を2つの電極よりも多いパターンで印加してもよい。これらのパターンには、互いに逆のセグメントに対する大きさが等しく符号が正負逆である電圧などが含まれる。一例が図34Cに示されている。4つの電極34029は液体レンズハウジング(図示せず)内に取り付けられている。2つの電極が非導電性液体中またはその近くに取り付けられ、2つの電極が導電性液体中またはその近くに取り付けられる。各電極は、印加することのできる考えられる電圧に関して独立している。
[00557]参照テーブルまたは校正テーブルを作成し、拡張現実眼鏡のメモリに格納してもよい。使用時には、加速度計またはその他の運動センサが眼鏡、すなわち眼鏡またはレンズ自体上のカメラを検知する。加速度計などの運動センサは特に、画像の導波路への円滑な供給に干渉する弱い振動型の動きを検知する。一実施形態では、プロジェクタからの画像がただちに補正されるように、ここで説明する画像安定化技術を電気制御可能な液体レンズに施してもよい。これによってプロジェクタの出力が安定化され、拡張現実接眼鏡の振動および動きならびにユーザによる少なくともある動きに対する補正が少なくとも部分的に施される。補正の利得パラメータまたは他のパラメータの調整に対して手動の制御が施されてもよい。すでに画像センサ制御装置によって施されており調整可能焦点プロジェクタの一部として説明した焦点調整だけでなく、上記の技術を使用して個々のユーザの近視または遠視に対する補正を行ってもよいことに留意されたい。
[00558]別の可変焦点素子は、同調可能な液晶セルを使用して画像を合焦させる。これは、例えば参照により全体が組み込まれており、本開示が依存している米国特許出願公開第2009/0213321号、米国特許出願公開第2009/0316097号、および米国特許出願公開第2010/0007807号に開示されている。この方法では、液晶材料が、好ましくは一致する屈折率を有する透明なセル内に収容される。セルは酸化インジウムスズ(ITO)から作られた電極のような透明電極を含む。1つのらせん状電極および第2のらせん状電極または平面状電極を使用して空間的に非一様な磁界を印加する。他の形状の電極を使用してもよい。磁界の形状は、屈折率の変化、したがってレンズの焦点の変化を実現するための液晶セル中の分子の回転を決定する。したがって、液晶を電磁的に操作して屈折率を変化させ、同調可能な液晶セルをレンズとして動作させることができる。
[00559]第1の実施形態では、同調可能な液晶セル3420が図34Dに示されている。セルは、内側液晶層3421とポリイミドなどの配向材料の薄い層3423とを含む。この材料は、液晶を好ましい方向に配向するのに役立つ。透明材料3425は配向材料の各側に位置している。電極は平面状であっても、または図34Dの右側に示すようにらせん状であってもよい。透明ガラス基板3437はセル内に材料を含む。各電極は磁界を整形するように形成されている。前述のように、対称ではない、一方の側または両側のらせん状電極が一実施形態で使用される。第2の実施形態が図34Eに示される。同調可能な液晶セル3430は中央液晶材料3431と、透明ガラス基板壁3433と、透明電極とを含む。底部電極3435は平面状であり、頂部電極3437はらせん形状である。透明電極は酸化インジウムスズ(ITO)から作られてもよい。
[00560]追加の電極を使用して液晶を非整形状態または自然状態に高速に逆転させてもよい。したがって、低い制御電圧を使用して光が透過する材料の屈折率を動的に変化させる。この電圧は所望の形状の空間的に非一様な電界を生成すし、液晶はレンズとしての機能を果たす事ができる。
[00561]一実施形態において、カメラは、この特許の他の個所において説明するブラックシリコンの短波赤外線(SWIR)CMOSセンサを含む。別の実施形態では、カメラは、光学的に安定化させた5メガピクセル(MP)映像センサである。一実施形態において、この制御装置は3GHzマイクロプロセッサまたは3GHzマイクロコントローラを含み、カメラまたはビデオセンサからの画像のリアルタイム画像処理を行う30Mポリゴン/第2のグラフィックアクセラレータを有する633MHzデジタル信号プロセッサを含んでもよい。一実施形態では、拡張現実眼鏡は、IEEE802.11に準拠したワイドバンドパーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドローカルエリアネットワークWLAN、またはリーチバック通信用のワイヤレスインターネット機能、無線機能、または通信機能を含んでもよい。一実施形態において設けられる機器は、IEEE802.15に準拠したブルートゥース機能を含む。一実施形態では、拡張現実眼鏡は、セキュア通信用の256ビットAdvanced Encryption System(AES)暗号化システムまたはその他の適切な暗号化プログラムなどの暗号化システムを含む。
[00562]一実施形態では、ワイヤレス通信は、3Gネットワークまたは4Gネットワーク用の機能を含んでもよく、ワイヤレスインターネット機能を含んでもよい。拡張現実接眼鏡または拡張現実眼鏡は、寿命を延ばすために、少なくとも1つのリチウムイオン電池を含むと共に、前述のように、再充電機能を含んでもよい。再充電プラグは、AC/DC電力変換器を備えてもよく、かつAC120VまたはAC240Vのような複数の入力電圧を使用することが可能であってもよい。一実施形態における調節可能な焦点レンズの焦点を調整するための制御装置は、2Dワイヤレスエアマウスまたは3Dワイヤレスエアマウスあるいはユーザの身振りまたは動きに応答する他の非接触制御装置を備える。2Dマウスは、米国カリフォルニア州フリーモントのLogitechから市販されている。3Dマウスは本明細書に記載されており、または中華民国のCidekoから市販されているCideko AVK05のような他の3Dマウスを使用してもよい。
[00563]一実施形態では、接眼鏡は、光学素子を制御するのに適した電子機器と、中央演算処理ユニット、非揮発性メモリ、デジタル信号プロセッサ、3Dグラフィックスアクセラレータなどを含む関連するシステムとを備えてもよい。接眼鏡は、慣性ナビゲーションシステム、カメラ、マイクロフォン、音声出力、電源、通信システム、センサ、ストップウォッチまたはクロノメータ機能、温度計、振動テンプルモータ、運動センサ、システムの音声制御を可能にするためのマイクロフォン、フォトクロミック材料によるコントラストおよび調光を可能にするためのUVセンサなどを含む追加の電子要素または電子機能を実現してもよい。
[00564]一実施形態では、接眼鏡の中央演算処理ユニット(CPU)はデュアル1GHzプロセッサコアを有するOMAP4であってもよい。CPUは、毎秒3000万ポリゴンのCPU用の機能を実現する633MHz DSPを含んでもよい。
[00565]システムは、さらなる取り外し可能な非揮発性メモリに備えるためのデュアルマイクロSD(セキュアデジタル)スロットを有してもよい。
[00566]車載カメラは、1.3MPカラーを実現し、最大60分間のビデオ映像を記録することができる。記録された映像は、ワイヤレスに転送されても、またはビデオ映像をオフロードするための小型USB転送デバイスを使用して転送されてもよい。
[00567]通信システムオンチップ(SOC)は、ワイドローカルエリアネットワーク(WLAN)、ブルートゥースバージョン3.0、GPS受信機、FMラジオなどと共に動作することができる。
[00568]接眼鏡は、電池寿命が長く使いやすいDC3.6Vリチウムイオン再充電可能電池で動作することができる。システムのフレームの外部の太陽電池による追加の電源を設けてもよい。これらの太陽電池は電力を供給してもよく、またリチウムイオン電池を再充電することもできる。
[00569]接眼鏡の総消費電力は約400mWであってもよいが、使用される機能およびアプリケーションに応じて可変である。例えば、顕著なビデオグラフィックスを有しプロセッサを駆使するアプリケーションはより多くの電力が必要であり、消費電力は400mWに近くなる。より単純であり映像をそれほど使用しないアプリケーションは使用する電力が少ない。充電の動作時間は、使用されるアプリケーションおよび機能に応じて変わることがある。
[00570]マイクロプロジェクタ照明エンジンは、本明細書ではプロジェクタとしても知られ、複数の発光ダイオード(LED)を含んでもよい。実物に近い色を実現するために、オスラムレッド、クリーグリーン、およびクリーブルーのLEDが使用される。これらはダイベースのLEDである。RGBエンジンは、調節可能な色出力を生成することができ、ユーザが様々なプログラムおよびアプリケーションの視聴を最適化するのを可能にする。
[00571]諸実施形態では、照明が眼鏡に付加されるかまたは様々な手段によって制御されてもよい。例えば、LEDライトまたはその他のライトが、ノーズブリッジ内のような接眼鏡のフレーム内の、複合レンズの周りまたはテンプルの所に埋め込まれてもよい。
[00572]照明の強度および/または照明の色が変調されてもよい。変調は、本明細書において説明する様々な制御技術、様々なアプリケーション、フィルタリングおよび拡大によって実現されてもよい。
[00573]一例として、照明は、調節つまみ、身振り、目の動き、または音声コマンドによる調整などによる本明細書において説明する様々な制御技術によって変調されてもよい。ユーザは、照明の強度を上げたい場合、眼鏡の調節つまみを調整するか、あるいはレンズ上に表示されるユーザインターフェース内の調節つまみを調整するか、またはその他の手段によって調節つまみを調整してもよい。ユーザは、目の動きを使用して、レンズ上に表示されるつまみを調節するか、または他の手段によってつまみを調節してもよい。ユーザは、ユーザによる動きに基づいて照明の強度または色が変化するように手の動きまたはその他の身体的な動きによって照明を調整してもよい。また、ユーザは、照明を明るくするかまたは暗くすることを要求するかあるいは他の色を表示することを要求する語句を発話することなどによる音声コマンドによって照明を調整してもよい。さらに、本明細書において説明する任意の制御技術またはその他の手段によって照明の変調を実現してもよい。
[00574]さらに、実行される特定のアプリケーションごとに照明が変調されてもよい。一例として、アプリケーションは、そのアプリケーションに最適な設定に基づいて照明の強度または照明の色を自動的に調整してもよい。照明の現在のレベルが、実行中のアプリケーションに最適なレベルではない場合、照明を調整できるようにするためのメッセージまたはコマンドを送ってもよい。
[00575]諸実施形態において、照明の変調はフィルタリングおよび/または拡大によって実現されてもよい。例えば、最適な照明または所望の照明が実現されるように光の強度および/または光の色を変更するのを可能にするフィルタリング技術を使用してもよい。さらに、諸実施形態では、より高いかまたはより低い倍率を適用して所望の照明強度に達することによって照明の強度を変調してもよい。
[00576]プロジェクタは、映像およびその他の表示要素をユーザに出力するようにディスプレイに接続されてもよい。使用されるディスプレイはSVGA800x600ドット/インチSYNDIANT液晶オンシリコン(LCoS)ディスプレイであってもよい。
[00577]このシステムの目標MPE寸法は24mmx12mmx6mmであってもよい。
[00578]焦点は調整可能であってもよく、それによって、ユーザはユーザの要件を満たすようにプロジェクタ出力を調整することができる。
[00579]6061−T6アルミニウムおよびガラスが充填されたABS/PCから製造されたハウジング内に光学系を収容してもよい。
[00580]システムの重量は、一実施形態では、3.75オンス、すなわち95グラムと推定される。
[00581]一実施形態では、接眼鏡および関連する電子機器は暗視機能を実現する。この暗視機能はブラックシリコンSWIRセンサによって有効化されてもよい。ブラックシリコンは、シリコンの光応答を100倍を超える程度に向上させる相補型金属酸化シリコン(CMOS)処理技術である。スペクトル範囲は短波赤外線(SWIR)波長範囲まで拡張される。この技術では、眼鏡に300nm深吸光反射防止層が付加される。この層は、図11に示すように応答性を向上させ、すなわち、ブラックシリコンの応答性は、可視範囲およびNIR範囲にわたってシリコンよりもずっと高く、SWIR範囲まで拡張される。この技術は、コストが極めて高く、性能上の問題があり、さらに大量生産上の問題がある現在の技術を改良したものである。暗視光学素子にこの技術を組み込むと、CMOS技術のコスト面の利点が設計に反映される。
[00582]星明かりまたは可視光スペクトルからの他の環境光を増幅させる現在の暗視ゴーグル(NVG)とは異なり、SWIRセンサは、デジタル写真と同様に、個々の光子を取り込んでSWIRスペクトルの光を電気信号に変換する。光子は、「ナイトグロー」とも呼ばれる、夜間の大気中の酸素原子と水素原子の自然な再結合から生成されてもよい。短波赤外線デバイスは、反射された星明かり、街明かり、または月明かり内の不可視短波赤外線放射を検出することによって夜間に物体を見えるようにする。短波赤外線デバイスは日光の下でもあるいは霧、靄、または煙に対しても有効であり、一方、現在のNVGイメージインテンシファイア赤外線センサは熱または明るさの影響を受ける。短波赤外線デバイスは可視スペクトルの縁部の不可視放射を取り込むので、SWIR画像は、可視光によって生成され同じ陰影およびコントラストおよび顔の細部を白色および黒色のみで示す画像のように見え、人間が人間のように見えるように認識を大幅に向上させ、熱撮像装置で見られるこの多いぼやけた画像ではなくなる。重要なSWIR機能の1つは、戦場において照準レーザのビューを生成する機能である。照準レーザ(1.064um)は現在の暗視ゴーグルでは見えない。SWIR電気光学素子によって、兵士は、敵が使用している照準レーザを含む、使用されているあらゆる照準レーザを見ることができる。車両または建物の窓を透過しない熱撮像装置とは異なり、可視/近赤外線/短波赤外線センサは昼間でも夜間でも窓を透過することができ、ユーザに重要な戦術上の利点をもたらす。
[00583]ある利点には、必要なときにのみアクティブ照明を使用することが含まれる。いくつかの例では、満月のときのように、夜間に十分な自然照明が得られることがある。そのようなときには、アクティブ照明を使用する人工暗視機能が必要とされないことがある。ブラックシリコンCMOSベースSWIRセンサを用いた場合、これらの条件下でアクティブ照明が必要とされないことがあり、アクティブ照明が行われず、したがって、電池の寿命が延びる。
[00584]さらに、ブラックシリコン画像センサは、コストのかかるインジウムガリウムヒ化物画像センサにおいて夜空条件下で得られる信号対雑音比の8倍を超える信号対雑音比を有し得る。この技術によって解像度も向上し、現在の技術を暗視に使用することによって得られるよりもずっと高い解像度が実現される。通常、CMOSベースのSWIRによって生成される長波長画像は解釈が困難であり、熱検出は良好であるが解像度は低い。この問題は、ずっと短い波長に依存するブラックシリコンSWIR画像センサによって解消する。SWIRは、これらの理由で戦場用暗視眼鏡に極めて望ましい。図12は、ブラックシリコン暗視技術の効果を示し、a)埃、b)霧、およびc)煙をSWIRセンサを使用せずに透過した画像とSWIRセンサを使用して透過した画像を示す。図12の画像は、新しいVIS/NIR/SWIRブラックシリコンセンサの性能を示す。諸実施形態では、画像センサは、乱された植物、乱された地面のような自然環境の変化同士を区別することが可能であってもよい。例えば、敵性戦闘員が最近地中に爆発物を設置した可能性があり、したがって、爆発物上の地面は「乱された地面」であり、画像センサは(接眼鏡の内部または外部の処理ファシリティと一緒に)最近乱された地面を周囲の地面と区別することができる。このようにして、兵士は、地中に爆発物(例えば、簡易爆発物(IED))が設置された可能性を離れた位置から検出することが可能であってもよい。
[00585]従来の暗視システムは、街明かりのような明るい光源からの「ブルーム」の影響を受けた。このような「ブルーム」は、画像増強技術において特に強く、解像度の損失にも関連している。場合によっては、画像増強技術システムにおいて冷却システムが必要になり、重量が増し、電池寿命が短くなる。図17は、A)VIS/NIR/SWIR撮像が可能な非冷却CMOS画像センサの可撓性のプラットフォームとB)画像増強された暗視システムとの間の画質の差を示す。
[00586]図13は、現在または従来の視覚補助技術1300と非冷却CMOS画像センサ1307との間の構造の違いを示す。従来のプラットフォーム(図13A)は、コスト、重量、消費電力、スペクトル範囲、および信頼性の問題に起因して配置が制限されている。従来のシステムは通常、フロントレンズ1301と、フォトカソード1302と、マイクロチャネルプレート1303と、高電圧電源1304と、リンスクリーン1305と、接眼鏡1306とで構成される。これに対して、VIS/NIR/SWIR撮像が可能な非冷却CMOS画像センサ1307の可撓性のプラットフォーム(図13B)では、コスト、消費電力、および重量が大幅に低減する。これらのずっと簡素なセンサは、フロントレンズ1308と、デジタル画像出力を有する画像センサ1309とを含む。
[00587]これらの利点は、シリコンの光応答を100倍を超える程度に向上させ、スペクトル範囲を短波赤外線領域まで拡張するCMOS適合処理技術から得られる。応答性の差を図13Cに示す。代表的な暗視ゴーグルは、約1100nm(1.1マイクロメートル)までのUV範囲、可視光範囲、および近赤外線(NIR)範囲に限定されるが、新しいCMOS画像センサの範囲には、2000nm(2マイクロメートル)までの短波赤外線(SWIR)スペクトルも含まれる。
[00588]ブラックシリコンコア技術は、現在の暗視眼鏡を著しく改善することができる。フェムト秒レーザドーピングによってシリコンの光検出特性を広いスペクトルにわたって向上させることができる。さらに、光学応答を100倍〜10,000倍に改善することができる。現在の暗視システムと比較して、ブラックシリコン技術は高速であり、かつスケーリング可能であり、CMOS適合技術はコストが非常に低い。ブラックシリコン技術は通常3.3Vの低動作バイアスを実現することもできる。さらに、非冷却性能は50℃まで可能であってもよい。現在の技術の冷却要件では重量と消費電力の両方が増大すると共に、ユーザの不快感も生じる。上述のように、ブラックシリコンコア技術は現在のイメージインテンシファイア技術の高解像度代替形態を提供する。ブラックシリコンコア技術は、クロストークを最低限に抑えつつ最高で1000フレーム/秒の速度での高速電子シャッター動作を実現することができる。暗視接眼鏡のある実施形態では、LCoSディスプレイのような他の光学ディスプレイよりもOLEDディスプレイが好ましい場合がある。
[00589]VIS/NIR/SWIRブラックシリコンセンサを組み込んだ接眼鏡は、状況認識(SAAS)監視機能およびリアルタイム画像強調機能を向上させることができる。
[00590]いくつかの実施形態では、VIS/NIR/SWIRブラックシリコンセンサは、暗視ゴーグルまたは暗視ヘルメットのようなセンサを暗視のみに適したフォームファクタに組み込んでもよい。暗視ゴーグルは、暗視ゴーグルを堅牢化および代替電源などの軍事市場に適合させる特徴を含んでもよく、一方、消費者または玩具市場には他のフォームファクタが適している場合がある。一例では、暗視ゴーグルは、500nm〜1200nmなどの拡張範囲を有することができ、カメラとして使用可能であってもよい。
[00591]いくつかの実施形態では、VIS/NIR/SWIRブラックシリコンセンサならびに他の車載センサを輸送車両または戦闘車両に搭載することのできる車載カメラに組み込んでもよく、したがって、前方視野を妨害せずに前方視野にビデオを重畳させることによって車両の運転者または他の乗員にリアルタイムフィードを送ることができる。運転者は前方をよりよく見ることができ、射撃者は脅威または臨機目標をよりよく見ることができ、ナビゲータは、同じく脅威を探しつつよりうまく状況認識(SAAS)を行うことができる。必要に応じて、フィードを後で照準、ナビゲーション、監視、データマイニングなどに使用できるようにメモリ/記憶位置の上位司令部のような現場を離れた位置に送ってもよい。
[00592]接眼鏡のさらなる利点にはロバストな接続性を含めてもよい。この接続性によって、ブルートゥース、Wi−Fi/インターネット、セルラ、衛星、3G、FM/AM、TV、およびUVBトランシーバを使用した、大量のデータを高速に送受信するためのダウンロードおよび送信が可能になる。例えば、UWBトランシーバを使用して、非常に高いデータレート、低迎撃/低発見可能性(LPI/LPD)、武器の照準器を接続するためのワイヤレスパーソナルエリアネットワーク(WPAN)、武器装着マウス/コントローラ、E/Oセンサ、医療センサ、オーディオ/ビデオディスプレイなどを実現してもよい。他の実施形態では、他の通信プロトコルを使用してWPANを実現してもよい。例えば、WPANトランシーバは、戦闘用無線機の出力管理を非常に応答性の高いものにしかつ無線機の堅牢性を脅かすのを避けるためのCOTS準拠モジュールフロントエンドであってもよい。超広帯域(UWB)トランシーバ、ベースバンド/MAC、および暗号化チップをモジュール上に組み込むことによって、複数の作戦要件に対処する、物理的に小型の動的で構成可能なトランシーバが得られる。WPANトランシーバは、兵士が装着しているデバイス同士の間に低出力で暗号化されたワイヤレスパーソナルエリアネットワーク(WPAN)を確立する。WPANトランシーバをネットワークインターフェース(ハンドヘルドコンピュータ、戦闘用ディスプレイなど)を含むほぼあらゆる現地用軍事デバイスに取り付けるかまたは埋め込んでもよい。システムは多くのユーザ、AES暗号化をサポートすることができ、電波妨害およびRF干渉に対してロバストであり、低迎撃可能性および低発見可能性(LPI/LPD)を実現する戦闘に理想的である。WPANトランシーバは、データケーブルの体積および重量の兵士に対する影響ならびに兵士へのデータケーブルの「絡まりやすさ」を解消する。インターフェースにはUSB 1.1、USB 2.0 OTG、イーサネット(登録商標)10−、100Base−T、およびRS232 9ピンD−Subが含まれる。電力出力は、最大で2メートルの可変範囲について−10dBm出力、−20dBm出力であってもよい。データ容量は768Mbps以上であってよい。帯域幅は1.7GHzであってよい。暗号化は128ビットAES、192ビットAES、または256ビットAESであってよい。WPANトランシーバは、最適なメッセージ認証コード(MAC)生成機能を含んでよい。WPANトランシーバはMIL−STD−461Fに準拠してよい。WPANトランシーバは、コネクタダストキャップの形をしていてよく、任意の現地用軍事デバイスに取り付けられてよい。WPANトランシーバは、映像、音声、静止画像、テキスト、およびチャットを同時に実現し、電子デバイスの間のデータケーブルを不要にし、複数のデバイスのハンズフリー制御を妨害なしに可能にし、コネクティビティ範囲が調整可能であり、イーサネット(登録商標)およびUSB 2.0とのインターフェースとして働き、調整周波数が3.1GHz〜10.6GHzであり、ピーク消費電力および公称待機電力が200mwである。
[00593]例えば、WPANトランシーバは、GSE立体ヘッドアップ戦闘用ディスプレイ眼鏡の形をした接眼鏡100と、コンピュータと、リモートコンピュータコントローラと、図58に見られるような生体登録デバイスとの間にWPANを確立するのを可能にしてもよい。別の例では、WPANトランシーバは、フリップアップ/ダウンヘッドアップディスプレイ戦闘用眼鏡の形をした接眼鏡と、HUD CPU(外部装置である場合)と、武器フォアグリップコントローラと、図58に見られるものと同様な前腕コンピュータとの間にWPANを確立するのを可能にしてもよい。
[00594]接眼鏡は、セルラシステムとの専用ワイヤレス接続などによる接眼鏡自体のセルラコネクティビティを実現してもよい。専用ワイヤレス接続は、接眼鏡の装着者のみに利用可能であっても、または、接眼鏡が、他のユーザが利用できるローカルホットスポットを構成するWi−Fiホットスポット(例えば、WiFi)の場合のように、複数の近接するユーザに利用可能であってもよい。これらの近接するユーザは、接眼鏡の他の装着者であっても、またはモバイル通信ファシリティ(例えば、携帯電話)のような何らかの他のワイヤレスコンピューティングデバイスのユーザであってもよい。この専用ワイヤレス接続によって、装着者がワイヤレスサービスに接続するための他のセルラ接続またはインターネットワイヤレス接続を不要にすることができる。例えば、接眼鏡に内蔵された専用ワイヤレス接続がない場合、装着者はWiFi接続点を見つけるか、または接眼鏡を装着者のモバイル通信ファシリティに接続してワイヤレス接続を確立してもよい。諸実施形態において、接眼鏡は、携帯電話、モバイルコンピュータのような別個のモバイル通信デバイスを有することを、これらの機能およびユーザインターフェースを接眼鏡に内蔵することによって不要にすることが可能であってもよい。例えば、接眼鏡は、内蔵WiFi接続またはホットスポット、実キーボードインターフェースまたは仮想的キーボードインターフェース、USBハブ、(例えば、音楽をストリーミングするための)スピーカまたはスピーカ入力接続、内蔵カメラ、外部カメラなどを有してもよい。諸実施形態では、接眼鏡と接続される外部デバイスが専用ネットワーク接続(例えば、WiFi、セルラ接続)、キーボード、制御パッド(例えば、タッチパッド)などと一緒に単一のユニットを構成してもよい。
[00595]接眼鏡からの通信は、専用の通信リンクを含んでもよい。例えば、短時間のうちに大量のデータの送信および/または受信を行うときに超広帯域通信リンクを利用してもよい。別の例では、隊員が近くにいるときに、戦術上の理由、局地的な指示、警告などのために、隊員に送信すべき情報を提示するために近距離通信(NFC)リンクを非常に限られた送信範囲で使用してもよい。例えば、兵士は、情報を安全に提示/保持し、かつ情報を知るかまたは使用する必要のある非常に近くにいる人にのみ送信することが可能であってよい。別の例では、武器の照準器、武器装着マウス/コントローラ、電気光学センサ、医療センサ、オーディオ−ビジュアルディスプレイなどを接続するようなワイヤレスパーソナルエリアネットワーク(PAN)を利用してもよい。
[00596]接眼鏡は、GPSプロセッサ、(例えば、システムの頭部制御およびその他の機能を有効化するための)加速度計、ジャイロスコープ、高度計、傾斜計、速度計/走行距離計、レーザレンジファインダ、および画像の安定化も可能にする磁気計などのMEMSベース慣性ナビゲーションシステムを含んでもよい。
[00597]接眼鏡は、ユーザまたは装着者に音声出力を供給する、連接耳栓120などの内蔵ヘッドフォンを含んでもよい。
[00598]一実施形態では、接眼鏡を内蔵した前方監視カメラ(図21参照)が基本的な拡張現実を有効化することができる。拡張現実では、観察者が、見ているものを画像化し、次いで拡張画像、編集後画像、タグ付き画像、または分析後画像を基本ビュー上に重ねることができる。代替として、基本画像と一緒にまたは基本画像に重ねて関連するデータを表示してもよい。2台のカメラが用意され、ユーザにとって適切な瞳孔間距離に取り付けられた場合、立体映像画像を生成することができる。この機能は視力補助を必要とする人に有用であり得る。多くの人が近視、遠視のような視力の障害を有している。カメラおよび本明細書において説明するような非常に近い仮想スクリーンはそのような人用の「映像」を生成し、この映像は、焦点に関してより近くまたはより遠くに調整することが可能であり、音声またはその他のコマンドを介して完全に人によって制御される。この機能は、白内障、網膜炎、網膜色素変性などの眼病を有する人に有用である場合もある。何らかの有機的な視力機能が残っているかぎり、拡張現実接眼鏡は人が物をよりはっきりと見えるようにするのを助けることができる。接眼鏡の諸実施形態は、拡大、明るさの増大、およびまだ正常な目の領域にコンテンツをマップする能力のうちの1つまたは複数を実現することができる。接眼鏡の諸実施形態は、バイフォーカル眼鏡または虫眼鏡として使用されてもよい。装着者は、視野を拡大するかまたは一部の視野を拡大することが可能であってもよい。一実施形態では、関連するカメラが、対象の画像を生成し、次いで拡大された画像をユーザに送ることができる。ユーザインターフェースによって、装着者は、本明細書において説明する制御技術の場合と同様に、拡大したい領域を指し示すことができ、したがって、カメラの視野内のあらゆるものを単に拡大するのではなく、拡大された領域に引き続き画像処理を実行することができる。
[00599]さらなる実施形態では後方監視カメラ(図示せず)を接眼鏡に組み込んでもよい。この実施形態では、後方監視カメラは、接眼鏡の眼球制御を可能にすることができ、ユーザは自分の目を接眼鏡上に表示される特定の項目に向けることによってアプリケーションまたは機能を選択する。
[00600]個人に関する生体データを取り込むためのデバイスのさらなる実施形態は、伸縮自在のマイクロカセグレン屈曲光学カメラをデバイスに組み込んでもよい。伸縮自在のマイクロカセグレン屈曲光学カメラは、バイオプリントデバイス、バイオフォンなどのハンドヘルドデバイスに取り付けられてもよく、生体データを収集するためのバイオキットの一部として使用される眼鏡に取り付けられてもよい。
[00601]カセグレン反射体は、一次凹面鏡と二次凸面鏡の組合せである。このような反射体は、より短くより小さいパッケージにおいて良好な光(または音声)収集機能を実現するので光学望遠鏡および無線アンテナに使用されることが多い。
[00602]対称カセグレンでは、両方のミラーが光軸の周りに揃えられ、一次ミラーは通常、中央に穴を有し、光が接眼鏡またはCCDチップなどのカメラチップもしくは光検出デバイスに到達するのを可能にする。電波望遠鏡で使用されることが多い代替設計では、最終的な焦点が一次反射体の前に配置される。さらなる代替設計では、ミラーを傾斜させて一次ミラーまたは二次ミラーを妨害するのを回避してもよく、一次ミラーまたは二次ミラーの穴を不要にしてもよい。伸縮自在のマイクロカセグレン屈曲光学カメラは、上述の変形実施形態のいずれを使用してもよく、最終的な選択は光学デバイスの所望のサイズによって決定される。
[00603]従来のカセグレン構成3500は、一次ミラーとして放物線反射体を使用し、二次ミラーとして双曲面反射体を使用する。伸縮自在のマイクロカセグレン屈曲光学カメラのさらなる実施形態では、双曲面一次ミラーおよび/または球形もしくは楕円形の二次ミラーを使用する。動作時には、放物線一次ミラーおよび双曲面二次ミラーを有する従来のカセグレンは、図35に示すように光を一次ミラーの穴を再び通して反射させる。光路を屈曲させると、構成がより小型になり、本明細書において説明するバイオプリントセンサおよびバイオプリントキットに使用するのに適した「マイクロ」サイズになる。屈曲光学系では、光線が曲げられて光路がシステムの物理長よりもずっと長くなる。屈曲光学素子の1つの一般的な例はプリズム式双眼鏡である。カメラレンズでは、二次ミラーが、鏡筒を密閉する光学的に平坦で光学的に透明なガラス板に取り付けられてもよい。この支持によって、直線状ベーン付き支持スパイダによって生じる「星形」回折効果が解消する。このため、鏡筒が密封され密閉されて、集光パワーがある程度失われるにもかかわらず、一次ミラーが保護される。
[00604]このカセグレン設計では放物線反射体および双曲面反射体の特殊な特性も利用する。凹状放物線反射体がその対称軸に平行なすべての入射光線を単一の焦点に反射させる。凸状双曲面反射体は2つの焦点を有し、一方の焦点に向けられたすべての光線を他方の焦点の方へ反射させる。この種のレンズにおけるミラーは、1つの焦点を共有するように設計され位置付けられ、双曲面ミラーの第2の焦点が、通常、接眼鏡のすぐ外側に位置する、画像が観察されるのと同じ点に配置される。放物線ミラーは、レンズに入射する互いに平行な光線を双曲面ミラーの焦点と一致する放物線ミラーの焦点に反射させる。双曲面ミラーは次いで、これらの光線を他方の焦点に反射させ、カメラが画像を記録する。
[00605]図36は、伸縮自在のマイクロカセグレン屈曲光学カメラの構成を示す。このカメラは、拡張現実眼鏡、バイオフォン、またはその他の生体データ収集デバイスに取り付けられてもよい。アセンブリ3600は、カメラがカセグレン光学素子と一緒に延びてより長い光路を形成するのを可能にする複数の伸縮自在セグメントを有する。ねじ3602は、拡張現実眼鏡または生体データ収集デバイスなどのデバイスにカメラを取り付けるのを可能にする。図36に示す実施形態はねじを使用するが、バヨネット式取り付け、つまみ、または圧入のような他の取り付け方式を使用してもよい。第1の伸縮部分3604は、レンズが完全に引き込まれた位置に来たときに外部ハウジングとしても働く。カメラはカメラの伸長および引き込みを駆動するためのモータを組み込んでもよい。第2の伸縮部分3606を含めてもよい。他の実施形態は、選択されたタスクまたは収集すべきデータに必要な光路の長さに応じて様々な数の伸縮部分を組み込んでもよい。第3の伸縮部分3606はレンズおよび反射ミラーを含む。反射ミラーは、カメラが従来のカセグレン設計に従って設計されている場合には一次反射体であってもよい。第1の伸縮部分3604に二次ミラーを収容してもよい。
[00606]さらなる実施形態は、顕微鏡を利用してカメラを形成し、しかも屈曲光学素子を使用することによってより長い光路を形成する。カセグレン設計の同じ原則が使用される。
[00607]レンズ3610は、カセグレン設計の屈曲光学素子と一緒に使用される光学素子を構成する。レンズ3610は、様々な種類から選択されてもよく、アプリケーションに応じて異なってもよい。ねじ3602は、ユーザの要件に応じて様々なカメラ同士を交換するのを可能にする。
[00608]機能およびオプションを選択する眼球制御は、システムプロセッサにロードされた物体認識ソフトウェアによって制御され作動してもよい。物体認識ソフトウェアは、拡張現実を有効化し、認識出力をデータベースの問い合わせと組み合わせ、認識出力を計算ツールと組み合わせて依存性/尤度などを求める。
[00609]3Dプロジェクタを組み込んだ追加の実施形態では3次元視聴も可能である。2つの積み重ねられたピコプロジェクタ(図示せず)を使用して3次元画像出力を生成してもよい。
[00610]図10を参照すると分かるように、各センサアレイおよびプロジェクタ用の冗長なマイクロプロセッサおよびDSPを有する複数のデジタルCMOSセンサが、可視光、近赤外光、および短波赤外光を検出して、リアルタイム画像増強1002、リアルタイムキーストン補正1004、およびリアルタイム仮想視野補正1008などの受動的な昼間および夜間の動作を可能にする。接眼鏡は、本明細書において説明するようなデジタルCMOS画像センサおよび指向性マイクロフォン(例えば、マイクロフォンアレイ)を、(例えば、生体認識、身振り制御、2D/3D投影マップによる協調撮像のために)可視シーンを監視するための可視撮像、シーン増強のためのIR/UV撮像(例えば、靄、煙の透過、暗闇での撮像)、音声方向検知(例えば、発砲または爆発の方向、音声検出)などに利用する。諸実施形態では、これらのセンサ入力の各々を、接眼鏡の内部のデジタル信号プロセッサまたは外部処理ファシリティにインターフェースを介して接続されたデジタル信号プロセッサ(DSP)などに送って処理してもよい。各センサ入力ストリームをDSPによって処理した出力は次に、アルゴリズムによって有用なインテリジェンスデータを生成するように組み合わされる。例えば、このシステムは、リアルタイム顔認識、リアルタイム音声検出、およびデータベースとのリンクを介した分析と、特に、対象となる遠くの領域、例えば既知の経路または跡、あるいは重要警戒領域を監視する際の歪み補正および兵士、軍人などの同時GPS位置との組合せに有用である。一実施形態では、音声の方向を示す可視キュー、聴覚キュー、または振動キューの1つまたは複数を接眼鏡のユーザに対して生成するようにDSPへの音声方向センサ入力を処理してもよい。例えば、聴力保護機能を使用して大きな爆発音または発砲音を遮断して兵士の聴力を保護する場合、または爆発音が大き過ぎて、兵士が爆発音がどこから来ているのか分からず、今や耳鳴りがして耳が何も聞こえなくなった場合、兵士への可視キュー、聴覚キュー、または振動キューを使用して脅威が発生した方向を示してもよい。
[00611]拡張現実接眼鏡または拡張現実眼鏡は、電池電力、太陽光発電、ライン電力などのような任意の貯蔵エネルギーシステムによって電力を供給されてもよい。太陽熱収熱器がフレーム上、ベルトクリップ上などに配置されてもよい。電池の充電は、壁充電器やソケット充電器を使用して行われても、ベルトクリップ上で行われても、眼鏡ケース内で行われても、その他の方法で行われてもよい。一実施形態では、接眼鏡は、再充電可能であってもよく、再充電用の小型USBコネクタを備えてもよい。別の実施形態では、接眼鏡は、米国ペンシルバニア州リゴニアのPowercast、および別の供給業者である英国ケンブリッジのSplashpower,Inc.を所有する米国ミシガン州エイダのFulton Int’l.Inc.によって供給されているような1つまたは複数の遠隔誘導電力変換技術による遠隔誘導再充電が可能であってもよい。
[00612]拡張現実接眼鏡は、カメラと、カメラを回路に接続するのに必要なインターフェースも含む。カメラの出力は、メモリに記憶されてもよく、眼鏡の装着者に利用可能なディスプレイ上に表示されてもよい。ディスプレイドライバを使用してディスプレイを制御してもよい。拡張現実デバイスは、図示のような電池などの電源と、電力管理回路と、電源を再充電するための回路とをさらに含む。他の個所で指摘したように、再充電は、ハード接続、例えば小型USBコネクタを介して行われても、またはインダクタ、太陽電池パネル入力などの様式によって行われてもよい。
[00613]接眼鏡または眼鏡用の制御システムは、電池などの電源が低電力を示しているときに電力を節約するための制御アルゴリズムを含んでもよい。この節約アルゴリズムは、照明、カメラ、または例えばヒータを必要とする任意のセンサのような高レベルのエネルギーを必要とするセンサのような、大量のエネルギーを消費するアプリケーションへの電力を遮断することを含んでもよい。他の節約ステップには、電力が低いときに、センサまたはカメラに使用される電力を低下させ、例えばサンプリングレートまたはフレームレートを低下させてより低いサンプリングレートまたはフレームレートに設定するか、あるいはセンサまたはカメラをずっと低いレベルで停止させることを含んでもよい。利用可能な電力に応じて少なくとも3つの動作モード、すなわち通常モード、電力節約モード、および緊急モードまたは停止モードが設けられてもよい。
[00614]本開示のアプリケーションは、接眼鏡のファシリティ(例えば、加速度計、ジャイロ、カメラ、光学センサ、GPSセンサなど)および/または装着者によって装着されるかもしくは装着者に搭載されるファシリティ(例えば、身体装着センサ制御ファシリティ)を介して有効化される、装着者の手、指、足、頭部、目などを動かすことのような、装着者の動きおよび直接的なアクションによって制御されてもよい。このように、装着者は、従来のハンドヘルドリモートコントローラを使用せずに装着者の身体の動きおよび/またはアクションによって接眼鏡を直接制御することができる。例えば、装着者は、少なくとも1本の指、掌、手の甲の上のような一方または両方の手の上に取り付けられた位置検知デバイスなどの検知デバイスを有してもよく、その場合、位置検知デバイスが手の位置データを生成し、位置データをコマンド情報として接眼鏡にワイヤレスに伝達する。諸実施形態では、本開示の検知デバイスは、位置情報を生成する上で、ジャイロ式デバイス(例えば、電子ジャイロスコープ、MEMSジャイロスコープ、機械的ジャイロスコープ、量子ジャイロスコープ、リングレーザジャイロスコープ、光ファイバジャイロスコープ)、加速度計、MES加速度計、速度センサ、力センサ、圧力センサ、光学センサ、近接センサ、RFIDなどを含んでもよい。例えば、装着者は、指の動きを検知することのできる位置検知デバイスを自分の人指し指に取り付けてもよい。この例では、ユーザは、接眼鏡上の何らかのスイッチ機構、または指をすばやく動かすこと、指で硬い表面をタップすることのような、指の何らかの所定の動きのシーケンスを介して接眼鏡を作動させることができる。硬い表面をタップすることは、加速度計、力センサ、圧力センサなどによる検知を介して解釈され得ることに留意されたい。位置検知デバイスは次いで、指を空中で動かしてカーソルを表示画像または投影画像を横切らせたり、すばやい動きによって選択を示したりして、指の動きをコマンド情報として送ってもよい。諸実施形態では、位置検知デバイスが、検知されたコマンド情報をコマンド処理できるように接眼鏡に直接送っても、またはコマンド処理回路が、位置検知デバイスと同じ位置に配置され、例えば、この例では、位置検知デバイスの各センサを含むアセンブリの一部として指に取り付けられてもよい。コマンド情報は視覚インジケータを伴ってよい。例えば、カーソルは異なるコンテンツと相互作用するときに色を変えてもよい。例えば、外部デバイスを使用して眼鏡を制御しているときに指がどこにあるかを知るために、コマンド情報の視覚的表示を眼鏡に表示してもよい。
[00615]諸実施形態において、装着者の身体に複数の位置検知デバイスを取り付けてもよい。例えば、上述の例からの続きで、装着者の手の上の複数の点に位置検知デバイスを取り付けてもよく、例えば、それぞれに異なる指の上に個々のセンサを取り付けるか、または手袋の中などにデバイスの集合として取り付けてもよい。このようにして、手の上の様々な位置におけるセンサの集合からの集合的な検知コマンド情報を使用してより複雑なコマンド情報を供給してもよい。例えば、装着者は、シミュレートされたゲームのシミュレーションおよびプレイにおいて本開示を使用する際に、センサデバイスの手袋をはめてゲームを行うことができ、その場合、手袋は、ユーザの手がボール、バット、ラケットなどを掴み動かしたことを検知する。諸実施形態では、身体の様々な部分に複数の位置検知デバイスを取り付けてもよく、装着者が身体の複雑な動きをアプリケーションによって使用できるように接眼鏡に伝達することが可能になる。
[00616]諸実施形態において、検知デバイスは、検知デバイスが物体に接触したことを検出することなどのための力センサ、圧力センサなどを有してもよい。例えば、検知デバイスは、装着者の指先に力センサを含んでもよい。この場合、装着者は、指でタップすること、複数回タップすること、ある順序に従ってタップすること、スワイプすること、触れることなどを行って接眼鏡に対するコマンドを生成してもよい。力センサを使用して触れること、握ること、押すことなどの程度を示してもよく、その場合、所定のしきい値または学習によって得られたしきい値が異なるコマンド情報を決定する。このように、各コマンドは、接眼鏡を介してアプリケーションにおいて使用されているコマンド情報を絶えず更新する一連の連続的なコマンドとして発せられてもよい。一例として、装着者は、複数の検知デバイスのうちの少なくとも1つのデバイスなどを介した移動および物体との接触が接眼鏡によって表示されるシミュレーションに影響を与えるコマンドとして接眼鏡に供給される、ゲームアプリケーション、軍事アプリケーション、商用アプリケーションなどのシミュレーションを実行することがある。例えば、検知デバイスがペンコントローラに含められてもよく、その場合、ペンコントローラが力センサ、圧力センサ、慣性測定ユニットなどを有し、ペンコントローラを使用して仮想書き込みを行い、接眼鏡のディスプレイに関連付けられたカーソルを制御し、コンピュータマウスとしての動作を実行し、物理的な動きおよび/または接触などを介して制御コマンドを発してもよい。
[00617]諸実施形態において、検知デバイスは、動きがコマンドとして解釈されるように光学センサまたは光送信機を含んでもよい。例えば、検知デバイスが装着者の手に取り付けられた光学センサを含んでもよく、かつ接眼鏡ハウジングが光送信機を含んでもよく、それによって、ユーザが手を接眼鏡の光送信機の上を通過させると、その動きがコマンドとして解釈される。光学センサを介して検出される動きには、様々な速度でのスワイプ、そのような動きの繰り返し、動かない状態と動く状態の組合せなどを含めてもよい。諸実施形態では、光学センサおよび/または光送信機は、装着者(例えば、手の上、足、手袋の中、衣服の一部)に取り付けられた接眼鏡上に配置されても、または装着者および接眼鏡上の様々な領域の組合せなどで使用されてもよい。
[00618]一実施形態では、装着者または装着者に近接した人の状態を監視するのに有用ないくつかのセンサが拡張現実眼鏡内に取り付けられる。センサは、電子技術が発展したおかげかなり小型になっている。信号変換技術および信号処理技術も小型化およびデジタル化に関して大幅に進歩している。したがって、AR眼鏡内の温度センサだけでなくセンサアレイ全体を有することも可能である。これらのセンサには、上述のように、温度センサ、さらに脈拍、心拍変動、EKGまたはECG、呼吸数、深部体温、身体からの熱流量、ガルバニック皮膚反応またはGSR、EMG、EEG、EOG、血圧、体脂肪、水和レベル、活性度、酸素消費量、グルコースレベルまたは血糖値、体位、およびUV照射量もしくは吸収量を検出するためのセンサを含めてもよい。さらに、特に網膜センサおよび血液酸素濃度センサ(SpO2センサなど)が設けられてもよい。そのようなセンサは、米国バーモント州ベローズフォールズのVermed、フィンランド、ヴァンターのVTI、米国マサチューセッツ州レキシントンのServoFlowを含む様々な製造業者から市販されている。
[00619]いくつかの実施形態では、眼鏡自体ではなく人または人の機器にセンサを取り付ける方が有用であることがある。例えば、加速度計、運動センサ、および振動センサは、人、人の衣服、または人が装着した機器に有効に取り付けることができる。これらのセンサは、Bluetooth(登録商標)無線送信機またはIEEE802.11仕様に準拠したその他の無線デバイスを介してAR眼鏡のコントローラとの連続的な接触または周期的な接触を維持してもよい。例えば、医師が、徒競争中に患者が経験する動きまたは衝撃を監視したい場合、センサを眼鏡に取り付けるよりも、その人の皮膚、または場合によってはその人が身に着けているTシャツに直接取り付けた方が有用であり得る。これらの場合、眼鏡ではなくその人または衣服に配置されたセンサによってより正確な測定値を得ることができる。そのようなセンサは、眼鏡自体に取り付けるのに適したセンサほど小型である必要はなく、上述のようにより有用であり得る。
[00620]AR眼鏡またはARゴーグルは、環境センサまたは環境センサアレイを含んでもよい。これらのセンサは眼鏡に取り付けられ、装着者の近傍の大気または空気を捕集する。これらのセンサまたはセンサアレイは、ある物質または物質の濃度を感知することができる。例えば、センサおよびセンサアレイは、一酸化炭素濃度、窒素酸化物(「NOx」)濃度、温度、相対湿度、騒音レベル、揮発性有機化合物(VOC)濃度、オゾン濃度、微粒子濃度、硫化水素濃度、大気圧、紫外光およびその強度を測定するのに利用可能である。販売会社および製造業者には、フランスのCrolles、フランス、アレスのCairpol、カナダ、ブリティッシュコンロンビア州デルタのCritical Environmental Technologies of Canada、中国、深せんのApollo Electronics Co.、および英国チェシャー、ストックポートのAV Technology LTd.が含まれる。他の多くのセンサが公知である。そのようなセンサも、人または人の衣服もしくは機器に取り付けられた場合に有用であり得る。これらの環境センサには、放射線センサ、化学センサ、毒ガスセンサなどが含まれる。
[00621]一実施形態では、環境センサ、健康状態監視センサ、またはその両方が拡張現実眼鏡のフレームに取り付けられる。別の実施形態では、センサを人または人の衣服もしくは機器に取り付けてもよい。例えば、装着者の心臓の電気的活動を測定するためのセンサを、その人の心臓の活動を示す信号を変換し送るための適切な付属装置と一緒に移植してもよい。
[00622]信号は,Bluetooth(登録商標)無線送信機またはIEEE802.15.1仕様に準拠したその他の無線デバイスを介して非常に短い距離だけ離れた位置に送られてもよい。その代わりに、他の周波数またはプロトコルが使用されてもよい。信号は次いで、拡張現実眼鏡の信号監視・処理機器によって処理され、記録され、装着者が利用することのできる仮想スクリーン上に表示されてもよい。別の実施形態では、信号がAR眼鏡を介して装着者の友人または隊長に送られてもよい。したがって、人の健康状態をその人自身および他の人によって監視することができ、さらに経時的に追跡することができる。
[00623]別の実施形態では、環境センサを人または人の機器に取り付けてもよい。例えば、放射線センサまたは化学センサは、眼鏡に直接取り付けるよりも人の上着またはウェブベルトに装着した方がより有用である場合がある。上述のように、センサからの信号は、AR眼鏡を介して人によって局部的に監視されてもよい。センサ測定値が、必要に応じてまたは自動的に、場合によっては15分おきまたは30分おきのような設定された間隔で、他の場所に送られてもよい。したがって、人体のセンサ測定値であるかそれとも環境のセンサ測定値であるかにかかわらず、追跡調査または傾向分析を目的として、センサ測定値の履歴を作成してもよい。
[00624]一実施形態では、RF/マイクロパワーインパルス無線(MIR)センサが接眼鏡に関連付けられ、短距離医療レーダとして働いてもよい。このセンサは超広帯域で動作することができる。センサは、RF/インパルス発生装置と、受信機と、信号プロセッサとを含んでよく、皮膚から3mm以内の心細胞中のイオン流動を測定することによって心臓信号を検出し測定する上で有用であり得る。受信機は、ある空間領域内の信号の位置を判定するのを可能にするためのフェーズドアレイアンテナであってもよい。センサを使用して壁、水、コンクリート、ごみ、金属、木材などの妨害物を通して心臓信号を検出し識別することができる。例えば、ユーザは、センサを使用して、検出される心拍の数によってコンクリート構造の中にいる人の数を求めることが可能であってもよい。別の実施形態では、検出された心拍が人の固有の識別子として働き得、将来その人を認識することができる。一実施形態では、RF/インパルス発生装置が接眼鏡または他の何らかのデバイスのような1つのデバイスに埋め込まれてもよく、一方、受信機は別の接眼鏡またはデバイスのような異なるデバイスに埋め込まれる。このように、送信機と受信機との間で心拍が検出されたときに仮想「トリップワイヤ」が作成されてもよい。一実施形態では、センサを現場診断ツールまたは自己診断ツールとして使用してもよい。EKGを分析し、将来生体識別子として使用できるように記憶してもよい。ユーザは、検知心拍信号および存在する心拍の数についてのアラートを接眼鏡の表示コンテンツとして受け取ってもよい。
[00625]図29は、様々なセンサおよび通信機器を有する拡張現実接眼鏡または拡張現実眼鏡の実施形態2900を示す。図示のように、1つまたは複数のある環境センサまたは健康状態センサが、短距離無線回路およびアンテナを介してセンサインターフェースにローカルにまたはリモートに接続されている。センサインターフェース回路は、(1つまたは複数の)センサによって検出された信号を検出し、増幅させ、処理し、送り、または送信するためのすべてのデバイスを含む。リモートセンサは、例えば移植された心拍モニタまたはその他の身体センサ(図示せず)を含んでもよい。他のセンサには、加速度計、傾斜計、温度計、1つまたは複数の化学物質またはガスを検出するのに適したセンサ、あるいは本開示において説明する他の健康状態センサまたは環境センサのいずれかを含んでもよい。図示のように、センサインターフェースは拡張現実デバイスのマイクロプロセッサまたはマイクロコントローラに接続されており、その点から、収集された情報がランダムアクセスメモリ(RAM)または固定メモリ、読み取り専用メモリ(ROM)などのメモリに記録されてもよい。
[00626]一実施形態では、検知デバイスが接眼鏡を介した同時電界検知を可能にする。電界(EF)検知は、コンピュータがその近傍の物体を検出し、評価し、物体と連動するのを可能にする近接検知方法である。別の人との握手のような皮膚との物理的な接触または導電性もしくは非導電性のデバイスもしくは物体との他の物理的な接触が、電界の変化として検知され、接眼鏡との間のデータ転送を可能にするか、またはデータ転送を終了するのを可能にしてもよい。例えば、接眼鏡によって取り込まれた映像は、電界検知トランシーバが埋め込まれた接眼鏡の装着者が物体に触れ、接眼鏡から受信機へのデータ転送を開始するまで接眼鏡に記憶されてもよい。トランシーバは、人体に向けて電界を誘導する送信機回路と、送信データと受信データの両方を検出することによって送信モードと受信モードを区別し、2つのモードに対応する制御信号を出力して2方向通信を可能にするデータ検知回路とを含む送信機を含んでもよい。2人の人の間のインスタント専用ネットワークを握手などの接触によって生成してもよい。ユーザの接眼鏡と第2のユーザのデータ受信機または接眼鏡との間でデータを転送してもよい。顔認識または音声認識、アイコンタクトの検出、指紋検出、生体情報入力、虹彩または網膜の追跡のような追加のセキュリティ手段を使用して専用ネットワークを改善してもよい。
[00627]諸実施形態において、表示コンテンツまたは投影コンテンツへのアクセス、(例えば、接眼鏡の機能にアクセスするためのログインを介して)接眼鏡自体の機能の全体または一部を有効化する制限された投影コンテンツへのアクセスのような接眼鏡のアクセス機能に関連する認証ファシリティが設けられてもよい。認証は、装着者の声、虹彩、網膜、指紋など、またはその他の生体識別子を認識することによって行われてもよい。例えば、接眼鏡または関連するコントローラは、認証機能またはその他の接眼鏡機能に関係する制御入力を受け取るためのIRセンサ、超音波センサ、または容量触覚センサを有してもよい。キャパシタンスセンサは、指紋を検出してアプリケーションを起動するか、またはその他の方法で接眼鏡機能を制御することができる。各指は異なる指紋を有し、したがって、各指を使用して異なる接眼鏡機能を制御するか、または異なるアプリケーションを高速起動するか、または異なるレベルの認証を行うことができる。キャパシタンスは手袋に作用しないが超音波センサは作用し、超音波センサを同様に使用して生体認証または制御を行ってもよい。接眼鏡または関連するコントローラにおいて有用な超音波センサには、指紋の凹凸を音響的に測定して指紋を256階調に撮像し最も微細な指紋の細部を区別するSonavationのSonicSlide(商標)で使用されているSonavationのSonicTouch(商標)技術が含まれる。SonicSlide(商標)センサの重要な撮像構成要素は、セラミック複合材料から作られたセラミックの微小な電気機械システム(MEMS)圧電トランスジューサアレイである。
[00628]認証システムは、方針に基づく接眼鏡の使用およびデータベースに入力されている各ユーザの関連するアクセス特権に関してアクセス制御を実施できるように、複数のユーザの生体入力のデータベースを構成してもよい。接眼鏡は、認証プロセスを実行してもよい。例えば、認証ファシリティは、ユーザが接眼鏡を外したことを検知し、ユーザが接眼鏡をかけ直したときに再認証を要求してもよい。これによって、接眼鏡が、許可されたユーザに、装着者が許可された特権についてのみアクセスを可能にすることがより適切に実現される。一例では、認証ファシリティは、接眼鏡がかけられたユーザの目または頭部の存在を検出することが可能であってもよい。第1のレベルのアクセスでは、ユーザは認証が完了するまで低秘密度項目にのみアクセスすることができる。認証の間、認証ファシリティはユーザを識別し、ユーザのアクセス特権を検索することができる。このような特権が判定された後、認証ファシリティは次にユーザに適切なアクセスを可能にしてもよい。許可されていないユーザが検出された場合、接眼鏡は低秘密度項目へのアクセスを維持したり、アクセスをさらに制限したり、アクセスを完全に拒否したりする。
[00629]一実施形態では、受信機を物体に関連付け、接眼鏡の装着者が触れることによってその物体を制御するのを可能にしてもよく、その場合、装着者が物体に触れると物体におけるコマンド信号を送信または実行することが可能になる。例えば、受信機を自動車のドアロックに関連付けてもよい。接眼鏡の装着者が自動車に触れると、自動車のドアがロック解除することができる。別の例では、受信機を薬のボトルに埋め込んでもよい。接眼鏡の装着者が薬のボトルに触れると、アラーム信号を起動することができる。別の例では、受信機を歩道に沿った壁に関連付けてもよい。接眼鏡の装着者が壁を通過するかまたは壁に触れると、接眼鏡内または壁の映像パネル上で広告を起動することができる。
[00630]一実施形態では、接眼鏡の装着者が物理的な接触を開始すると、情報が受信機とWiFi交換されることによって、装着者がゲームなどのオンラインアクティビティに接続されていることを示すか、またはオンライン環境におけるIDの検証を可能にすることができる。この実施形態では、人の表現によって色を変えるかまたは接触に応じて他の何らかの視覚的表示を受けることができる。
[00631]諸実施形態において、接眼鏡は、スワイプしたり、タップしたり、触れたり、押したり、クリックしたり、ローラボールを回転させたりすることなどによって接眼鏡の触覚制御を可能にすることなどのための、図14のような触覚インターフェースを含んでもよい。例えば、触覚インターフェース1402は、アーム、両方のアーム、ノーズピース、フレームの頂部、フレームの底部のような接眼鏡1400のフレーム上に取り付けられてもよい。諸実施形態では、触覚インターフェース1402は、左右のボタン、本明細書において説明するような2D位置制御パッドなどによるコンピュータマウスと同様な制御および機能を含んでもよい。例えば、触覚インターフェースは、ユーザのこめかみの近くで接眼鏡に取り付けられ、ユーザに対して接眼鏡投影コンテンツを表示するための「テンプルマウス」コントローラとして働いてもよく、テンプル装着ロータリセレクタとエンターボタンとを含んでもよい。別の例では、触覚インターフェースは、左に危険があること、右に危険があること、健康状態などをユーザに警告するかまたは通知するように振動することができる1つまたは複数の振動テンプルモータであってもよい。触覚インターフェースは、装着式コントローラ、手持ちコントローラのような接眼鏡と別体のコントローラに取り付けられてもよい。コントローラ内の加速度計がある場合、加速度計は、ユーザがキーボード上をタップしたり、ユーザの手の上をタップしたりする(コントローラを持つ手の上をタップするかまたはコントローラを持つ手でタップする)のを検知することができる。装着者は次いで、インターフェース上を1回または複数回タップしたり、指をインターフェース上をすばやく横切らせたり、インターフェースを長押ししたり、一度に複数のインターフェースを押したりすることなどのような、接眼鏡によってコマンドとして解釈される複数の方法で触覚インターフェースに触れてもよい。諸実施形態では、触覚インターフェースを装着者の身体(例えば、手、腕、脚、胴体、首)に取り付けたり、衣服に取り付けたり、リング1500、ブレスレット、ネックレスなどとして衣服に取り付けたりしてもよい。例えば、インターフェースは、インターフェースの様々な部分に触れることによってそれぞれに異なるコマンド情報が生成される(例えば、前部、後部、中央に触れたり、ある時間にわたって触れ続けたり、タップしたり、スワイプしたりする)、手首の裏などの身体上に取り付けられてもよい。諸実施形態では、ユーザと触覚インターフェースとの接触が力、圧力、動きなどを介して解釈されてもよい。例えば、触覚インターフェースは、抵抗式タッチ技術、静電容量式タッチ技術、比例圧力式タッチ技術などを組み込んでもよい。一例では、触覚インターフェースは、アプリケーションにおいてインターフェースが簡素であること、頑丈であること、低出力であることなどが必要とされる離散抵抗式タッチ技術を利用してもよい。別の例では、触覚インターフェースは、動き、スワイプ、多点接触などのように、インターフェースを介して多数の機能が必要とされる静電容量式タッチ技術を利用してもよい。別の例では、触覚インターフェースは、可変圧力コマンドが必要とされるときなどに圧力式タッチ技術を利用してもよい。諸実施形態では、これらのタッチ技術のいずれかまたは同様のタッチ技術を本明細書において説明するような任意の触覚インターフェースにおいて使用してもよい。
[00632]一実施形態では、ハンドヘルド付属装置を使用して眼鏡への入力のための仮想キーボードを制御してもよい。例えば、ハンドヘルドデバイスがタッチスクリーンを有する場合、ユーザは、オンスクリーンキーボードを表示するかまたはユーザが仮想キーボードと協働して眼鏡に入力を供給するのを可能にするように構成されたタッチスクリーンと相互作用することができる。例えば、仮想キーボードは眼鏡内に表示されてもよいが、ユーザは、空中の項目を選択する代わりに、タッチスクリーンデバイスを仮想キーボードに対応する入力を受け入れるのを可能にするように構成することができる。デバイスは、指が静電容量式モジュールをスライドして横切るときに指を追跡してもよく、デバイスをクリックすると、キーを叩いた感覚が得られる。デバイスは、タッチ表面を前部に有すると共に、ユーザが指をタッチ表面から離したりせずにクリックによって選択ができるようにする1つまたは複数のアクションボタンを後部または頂部に有してもよい。ユーザが選択した文字は強調表示されてもよい。ユーザはこの場合も、テキストをスワイプしたり、指を離して語を終了したり、スペースを挿入したり、ダブルタップしてピリオドを挿入したりすることが可能である。図159は、ユーザの視野に表示される仮想キーボード15902を示す。キーボード上に2つのキー「D」と「Enter」が強調表示されている。タッチスクリーン付属デバイス15904は、この図では、この入力をキーボードに供給するために使用されており、この入力は次に、眼鏡に入力として送られる。したがって、外部デバイス上の仮想インターフェースまたは実際のタッチスクリーンを使用して入力コマンドまたは制御コマンドを実行したことを示す仮想インジケータが設けられている。
[00633]諸実施形態において、接眼鏡は、磁界を利用して、コマンド、遠隔測定データ、情報などの送信および/または受信を接眼鏡と外部デバイスとの間で行うか、あるいはコマンド、遠隔測定データ、情報などをユーザに直接送るかまたはユーザから直接受け取る触覚通信インターフェースを含んでもよい。例えば、ユーザの身体の一部(例えば、皮膚、爪、体内など)にパターン化された磁気材料を直接取り付けてもよく、その場合、パターン化された磁気材料は、触覚通信インターフェースによって生成された振動磁界に物理的に応答する(例えば、振動、力、動きなど)。振動磁界は、信号の振幅、信号の時間的な分散、信号の周波数などのような磁界の変調によって情報を伝達することができる。伝達される情報は、アラート、着信の表示、楽しみのための情報、連絡、接眼鏡アプリケーションに関連する表示、ユーザの接眼鏡に対する近さを示す情報、接眼鏡からユーザに触覚フィードバックを供給するための情報などであってもよい。様々なコマンドにより、異なるコマンドまたはインジケータについて、パターン化された磁気材料に異なる刺激効果を誘発させてもよい。例えば、ユーザの連絡先リストにおける様々な人からの着信についての異なる周波数および/またはシーケンスパターン、様々なアラートレベルの異なる強度、楽しみのための興味深いパターンなどによって異なる刺激効果を実現してもよい。
[00634]触覚通信インターフェースは、振動磁界信号を送りならびに/あるいは受け取るコイルを含んでもよい。磁気材料は、強磁気材料、磁気材料などであってもよく、粉末、インク、タトゥー、デカル、テープ、ラブオン、スプレーオンなどとして塗布されてもよい。諸実施形態では、磁気材料は、ユーザが接眼鏡を使用していなときに消磁されたり、磁気材料が接眼鏡からの磁界の存在下にないときなどに非磁化されたりする能力を有してもよい。塗布される磁気材料は、特定の通信信号変調に応答したり、特定のインピーダンスを有したり、特定の周波数に応答したりするように働く空間パターンとして塗布されてもよい。塗布される磁気材料は、可視画像、不可視画像、タトゥー、マーク、ラベル、記号などであってもよい。塗布される磁気材料は、着信磁気信号を利用して、ユーザの識別子などと一緒に、接眼鏡と磁気材料との間の近さを示すための信号などとして接眼鏡触覚通信インターフェースに送り返される信号を生成するパターンを含んでもよい。例えば、識別子は、ユーザが接眼鏡の許可されたユーザであることを確認するための接眼鏡に記憶されたIDと比較されるユーザIDであってもよい。別の例では、磁気材料は、磁気材料が接眼鏡の近くに位置する場合に接眼鏡に送り返される信号を生成することのみが可能である。例えば、ユーザの爪に磁気材料を塗布してもよく、ユーザは自分の指をユーザの触覚インターフェースに近づけることによって接眼鏡にコマンドインジケータを送ってもよい。
[00635]別の例において、装着者は、図15に示すようなリング、ハンドピースなどに取り付けられたインターフェースを有してよく、その場合、インターフェースは、接眼鏡とのワイヤレスコマンド接続を有する触覚インターフェース、位置センサデバイスなどのような複数のコマンドインターフェースタイプのうちの少なくとも1つを有してもよい。一実施形態では、リング1500は、(例えば、1つのボタン、マルチボタンとして働き、かつマウス機能のように働く)ボタン1504、2D位置制御装置1502、スクロールホイールなどのような、コンピュータマウスと同様の制御装置を有してもよい。ボタン1504および2D位置制御装置1502は図15に示す通りであってもよく、ボタンは親指に面する側に位置し、2D位置コントローラは頂部に位置する。代替として、ボタンおよび2D位置制御装置は、すべてが親指側を向く構成、またはすべてが頂面上に位置する構成、または任意の他の組合せのような他の構成であってもよい。2D位置制御装置1502は、2Dボタン位置コントローラ(例えば、マウスの位置を調節するためにいくつかのラップトップキーボードに埋め込まれているトラックポイントポインティングデバイスなど)、ポインティングスティック、ジョイスティック、光学トラックパッド、光学タッチホイール、タッチスクリーン、タッチパッド、トラックパッド、スクローリングトラックパッド、トラックボール、任意の他の位置コントローラまたはポインティングコントローラなどであってもよい。諸実施形態では、触覚インターフェース(リング触覚インターフェース1500など)からの制御信号は、接眼鏡との有線インターフェースまたはワイヤレスインターフェースを備えてもよく、その場合、ユーザは、ユーザの手、親指、他の指などによって制御入力を便利に供給できる。諸実施形態では、リングは、任意の指に嵌るように拡張させるか、またはよりうまく嵌るように収縮させることが可能であってもよい。例えば、リングはカスタマイズ可能なストラップまたはばね式ヒンジを有してもよい。例えば、ユーザは親指によって制御装置を関節運動させることが可能であってもよく、その場合、リングはユーザの人指し指に装着される。諸実施形態において、方法またはシステムは、ユーザによって装着される対話型頭部装着接眼鏡であって、ユーザが周囲の環境および表示画像を見るための光学アセンブリと、ユーザに表示されるコンテンツを処理するためのプロセッサと、コンテンツを光学アセンブリに投影するための内蔵プロジェクタファシリティと、ユーザの手のようなユーザの身体に装着され、ユーザによって作動させる少なくとも1つの制御構成要素を含む制御装置と、少なくとも1つの制御構成要素を作動させることによる制御コマンドをコマンド命令としてプロセッサに供給する制御デバイスとを含む対話型頭部装着接眼鏡を実現することができる。コマンド命令は、ユーザに対して表示されるコンテンツの操作を対象とするものであってもよい。制御デバイスは、ユーザの手の第1の指に装着されてもよく、少なくとも1つの制御構成要素はユーザの手の第2の指によって作動させてもよい。第1の指は人指し指であってもよく、第2の指は親指であってもよく、第1の指と第2の指はユーザの同じ手の指であってもよい。制御デバイスの少なくとも1つの制御構成要素は、親指に面する人指し指の側に取り付けられてもよい。少なくとも1つの制御構成要素はボタンであってもよい。少なくとも1つの制御構成要素は2D位置コントローラであってもよい。制御デバイスは、親指に面する人指し指の側に取り付けられた少なくとも1つのボタン作動制御構成要素と、人指し指の上を向いた側に取り付けられた2D位置コントローラ作動制御構成要素とを有してもよい。制御構成要素は、ユーザの手の少なくとも2本の指に取り付けられてもよい。制御デバイスは、ユーザの手に手袋として装着されてもよい。制御デバイスはユーザの手首に装着されてもよい。少なくとも1つの制御構成要素は手の少なくとも1本の指に装着されてもよく、送信ファシリティが別個に手に装着されてもよい。送信ファシリティは手首に装着されてもよい。送信ファシリティは手の甲に装着されてもよい。制御構成要素は複数のボタンのうちの少なくとも1つであってもよい。少なくとも1つのボタンは、従来のコンピュータマウスボタンと実質的に同様の機能を実現することができる。複数のボタンの内の2つは、従来の2ボタンコンピュータマウスの一次ボタンと実質的に同様に機能してよい。制御構成要素はスクローリングホイールであってもよい。制御構成要素は、2D位置制御構成要素であってもよい。2D位置制御構成要素はボタン位置コントローラ、ポインティングスティック、ジョイスティック、光学トラックパッド、光学タッチホイール、タッチスクリーン、タッチパッド、トラックパッド、スクローリングトラックパッド、トラックボール、静電容量式タッチスクリーンなどであってもよい。2D位置制御構成要素は、ユーザの親指によって制御されてもよい。制御構成要素は、ボタンと同様の機能および2D操作機能を含むタッチ制御を実施することのできるタッチスクリーンであってもよい。制御構成要素は、ユーザが投影型プロセッサコンテンツポインティング・制御デバイスを装着したときに作動してもよい。リンクコントローラは、使い捨て電池、再充電可能電池、太陽電池などであってもよい車載電池によって電力を供給されてもよい。
[00636]諸実施形態において、装着者は、図15AAに示すように、カメラ1502AAを含むリング1500AAに取り付けられたインターフェースを有してもよい。諸実施形態では、リングコントローラ1502AAは、ボタン1504、2D位置制御装置1502、(例えば、加速度計、ジャイロを利用する)3D位置制御装置によるなどのような、本明細書において説明するようなインターフェースタイプを有してもよい。その場合、リングコントローラ1500AAを使用して、装着者に投影される表示コンテンツの操作を制御することなどのように、接眼鏡内の機能を制御してもよい。諸実施形態では、制御インターフェース1502、1504は、オン/オフ、ズーム、パン、合焦、静止画像の記録、映像の記録などのような制御態様を内蔵カメラ1502AAに対して実施することができる。代替として、各機能は、音声制御、他の触覚制御インターフェース、本明細書において説明するような視線検出によるなどのような、接眼鏡の他の制御態様によって制御されてもよい。カメラには、オートフォーカス、時限機能、顔検出および/または顔追跡、オートズームなどのような自動制御機能を有効化してもよい。例えば、内蔵カメラ1502AAを有するリングコントローラ1500AAを使用して、接眼鏡によって有効化されるテレビ会議の間装着者1508AAを見ることができ、その場合、装着者1508AAは、カメラ1502AAが装着者1508AAらの顔のビューを得てテレビ会議の少なくとも1人の他の参加者に送信するのを可能にするように(例えば、指に取り付けられた)リングコントローラを差し出すことができる。代替として、装着者は、リングコントローラ1500Aを外して、カメラ1502AAが装着者の視野を有するように表面1510AA(例えば、テーブルの上)に載せる。次いで、装着者1512AAの画像を接眼鏡の表示領域1518AA上に表示し、例えばテレビ会議通話の他の参加者の画像1514AAと一緒に、テレビ会議の他の参加者に送信してもよい。諸実施形態では、カメラ1502AAは手動または自動的なFOV1504AA調整を可能にすることができる。例えば、装着者はリングコントローラ1500AAをテレビ会議通話で使用できるように表面1510AAに載せてもよく、カメラのFOV1504AAを装着者の顔に向けることができるようにFOV1504AAを(例えば、ボタン制御装置1502、1504、音声制御装置、その他の触覚インターフェースを介して)手動で制御するかまたは(例えば、顔認識を介して)自動的に制御してもよい。FOV1504AAは、顔認識による追跡などによって、装着者が動くにつれて変化するように有効化されてもよい。FOV1504AAは、装着者の顔の位置の変化に合わせて調整するようにズームイン/ズームアウトされてもよい。諸実施形態では、カメラ1502AAを複数の静止画像アプリケーションおよび/または映像アプリケーションに使用してもよく、その場合、カメラの視野が装着者に送られて接眼鏡の表示領域1518AA上に表示され、接眼鏡では、接眼鏡から何らかの外部記憶ファシリティ、ユーザ、ウェブアプリケーションなどに転送したり、伝達したりなどすることのできる画像/映像を記憶するためのストレージが利用可能である。諸実施形態では、図32〜図33に示すような内蔵カメラ3200を有する時計3202のように、例えば腕、手、手首、指などに装着された複数の異なるモバイルデバイスにカメラを組み込んでもよい。リングコントローラ1502AAの場合と同様に、これらのモバイルデバイスのいずれも、リングコントローラ1502AAに関して説明したように手動機能および/または自動機能を含んでもよい。諸実施形態では、リングコントローラ1502AAは、指紋スキャナ、触覚フィードバック、およびLCDスクリーン、加速度計、ブルートゥースなどのような、追加のセンサ、内蔵機能、制御機能などを有してもよい。例えば、リングコントローラは接眼鏡と本明細書において説明するような他の制御構成要素間との同期化された監視を実施することができる。
[00637]諸実施形態において、接眼鏡は、外部ミラーを使用することによってテレビ会議の参加者に装着者の画像を送るためのシステムおよび方法を実現することができ、その場合、装着者は自分自身をミラーで見て、装着者自身の画像は接眼鏡の内蔵カメラを介して取り込まれる。取り込まれた画像を直接使用しても、またはミラーの画像反転に対する補正として画像を反転させてもよい。一例では、装着者は複数の他の人と一緒にテレビ会議を行ってもよく、接眼鏡を通して他の人のライブ映像を見ることが可能であってもよい。ユーザは、通常のミラーおよび接眼鏡の内蔵カメラを利用することによって、自分自身をミラーで見て、内蔵カメラによって取り込まれた画像を得て、テレビ会議のために自分自身の画像を他の人に送ることが可能であってもよい。この画像は、装着者によって、例えばテレビ会議に関与する他の人の画像に加えて、接眼鏡への投影画像として利用することが可能であってもよい。
[00638]諸実施形態において、制御構成要素は、表面を横切る動きを検出するための制御デバイスにおける表面検知構成要素を構成してもよい。表面検知構成要素は、ユーザの掌側に配設されてもよい。表面は、硬い表面、柔らかい表面、ユーザの皮膚の表面、ユーザの衣服の表面などのうちの少なくとも1つであってもよい。提供する制御コマンドは、有線接続などを介してワイヤレスに送信されてもよい。制御デバイスは、表示されるプロセッサコンテンツに関連するポインティング機能を制御してもよい。ポインティング機能は、カーソル位置の調節、表示コンテンツの選択、表示コンテンツの選択および移動、ズーム、パン、視野、サイズ、表示コンテンツの位置などの調節であってもよい。制御デバイスは、表示される周囲の環境に関連するポインティング機能を制御してもよい。ポインティング機能は、周囲の環境における表示物体にカーソルを合わせてもよい。表示物体の位置は、接眼鏡に内蔵されたカメラに関連してプロセッサによって求められてもよい。表示物体の識別は、接眼鏡に内蔵されたカメラに関連してプロセッサによって行われてもよい。制御デバイスは、接眼鏡の機能を制御してもよい。この機能は表示コンテンツに関連する機能である。この機能は接眼鏡のモード制御であってもよい。制御デバイスは、ユーザが装着していないときに格納しやすいように折り畳み可能であってもよい。諸実施形態では、外部デバイスを接眼鏡に関連付けて制御することなどのために制御デバイスを外部デバイスと一緒に使用してもよい。外部デバイスは、娯楽機器、音声機器、携帯電子デバイス、ナビゲーションデバイス、武器、自動車制御装置などであってもよい。
[00639]諸実施形態において、(例えば、指に装着されたり、掌、腕、脚、胴体などに取り付けられたりする)身体装着制御デバイスは、3D位置センサ情報を接眼鏡に供給することができる。例えば、制御デバイスは「エアマウス」として働いてもよく、3D位置センサ(例えば、加速度計、ジャイロなど)は、ボタンのクリック、音声コマンド、視覚的に検出される身振りなどによるユーザのコマンドに応じて位置情報を供給する。ユーザは、この機能を使用して、接眼鏡投影システムを介してユーザに対して投影されている2D画像または3D画像をナビゲートすることが可能であってもよい。さらに、接眼鏡は、プレゼンテーションの場合のように、画像を他の人に対して表示または投影することができるように外部に中継してもよい。ユーザは、様々な機能、アプリケーション、ユーザインターフェースなどに対処するために制御デバイスのモードを2Dと3Dとの間で切り替えることが可能であってもよい。諸実施形態では、複数の3D制御デバイスをシミュレーションアプリケーションのようなあるアプリケーションに利用してもよい。
[00640]諸実施形態では、システムは、ユーザによって装着される対話型頭部装着接眼鏡であって、周囲の環境についてのユーザの視野を補正するための補正素子を備える、ユーザが周囲の環境および表示画像を見るための光学アセンブリと、ユーザに表示されるコンテンツを処理するための内蔵プロセッサと、コンテンツを光学アセンブリに導入するための内蔵画像光源と、接眼鏡に取り付けられ、ユーザがインターフェースに触れることとユーザがインターフェースに近接することの少なくとも一方によるユーザからの制御入力を受け入れる触覚制御インターフェースとを含む接眼鏡を備えてもよい。
[00641]諸実施形態において、接眼鏡の制御、特にユーザへの表示コンテンツに関連するカーソルの制御は、図15のような装着式デバイス1500、図15Aのような仮想コンピュータマウス1500Aなどによる手動制御を介して有効化されてもよい。例えば、装着式デバイス1500は、物理的インターフェース(例えば、ボタン1502、スクロールホイール1504)を介してコマンドを送信してもよく、仮想コンピュータマウス1500Aは、ユーザの親指、拳、手などの動きおよびアクションを検出することによってコマンドを解釈することが可能であってもよい。コンピューティングにおいて、物理マウスは、その支持面に対する2次元の動きを検出することによって機能するポインティングデバイスである。物理マウスは従来、ユーザの一方の手の下に保持され、1つまたは複数のボタンを含む物体から成る。物理マウスは、ユーザが様々なシステム依存動作を実行するのを可能にする「ホイール」のような他の要素、あるいは制御入力または次元入力をさらに付加することのできる特別なボタンまたは機能を備えることがある。マウスの動きは、ディスプレイ上のカーソルの動きに変換され、それによって、グラフィカルユーザインターフェースを精密に制御することが可能になる。接眼鏡の場合、ユーザは物理マウス、仮想マウス、またはこの2つの組合せを利用することが可能であってもよい。諸実施形態において、仮想マウスは、親指1502A、指1504A、掌1508A、手首1510Aなどのようなユーザの手に取り付けられた1つまたは複数のセンサを含み、接眼鏡は、センサから信号を受信し、受信された信号をユーザに対する接眼鏡ディスプレイ上のカーソルの動きに変換する。諸実施形態では、信号は、接眼鏡の内部の受信機、第2の通信インターフェースにおける受信機、関連する物理マウスまたは装着式インターフェース上の受信機などを介して触覚インターフェース1402などの外部インターフェースから受信されてもよい。仮想マウスは、振動、力、圧力、電気インパルス、温度などによるユーザへの触覚フィードバックなどのためにユーザの手に取り付けられたアクチュエータまたは出力型要素も含んでもよい。センサおよびアクチュエータはラップ、リング、パッド、手袋などによってユーザの手に取り付けられてもよい。したがって、接眼鏡の仮想マウスは、ユーザが手の動きを、ゆっくりした動き、すばやい動き、急な動き、位置、位置の変化などを含み得る接眼鏡ディスプレイ上のカーソルの動きに変換するのを可能にし、かつユーザが物理的表面の必要なしに、6自由度のうちのいくつかまたはすべてを含む3次元で作業するのを可能にすることができる。「仮想マウス」を手の複数の部分に関連付けることができるので、仮想マウスを複数の「仮想マウス」コントローラとして実装しても、または手の複数の制御部材全体にわたる分散型コントローラとして実装してもよいことに留意されたい。諸実施形態では、接眼鏡は、ユーザの各々の手に1つずつ使用したり、ユーザの片方または両方の足に使用したりするように複数の仮想マウスを使用するのを可能にする。
[00642]諸実施形態において、接眼鏡仮想マウスは、動作するための物理的表面を不要にすることができ、複数の加速度計タイプ(例えば、音叉式、圧電式、せん断モード式、ひずみモード式、静電容量式、熱式、抵抗式、電気機械式、共振式、磁気式、光学式、音響式、レーザ式、3次元式など)のうちの1つのようなセンサなどによって動きを検出し、(1つまたは複数の)センサの出力信号を介して、手または手のある部分の並進変位および角変位を求めることができる。例えば、加速度計は、3次元における手の並進加速度に比例する大きさの出力信号を生成することができる。各加速度計対は、手または手の各部の回転加速度を検出するように構成されてもよい。手または手の各部の並進速度および並進変位は、加速度計出力信号と回転速度を積分することによって求められてもよく、手の変位は、加速度計対の出力信号間の差を積分することによって求められてもよい。代替として、超音波センサ、撮像装置、IR/RF、磁力計、ジャイロ磁力計のような他のセンサを利用してもよい。加速度計またはその他のセンサは手の様々な部分に取り付けられてもよいので、接眼鏡は、通常、コンピュータマウスの動きに伴う単純な動きから、シミュレーションアプリケーションにおいて複雑な手の動きを解釈する場合のようなずっと複雑な動きまでの範囲の、手の複数の動きを検出することが可能であってもよい。諸実施形態では、ユーザは、わずかな並進アクションまたは回転アクションを行うだけで、これらのアクションをユーザに対する接眼鏡での投影においてユーザが意図するアクションに関連する動きに変換させることができる。
[00643]諸実施形態において、仮想マウスは、手、接眼鏡、または身体の他の部分に取り付けられたオン/オフスイッチのような、デバイスを制御するために仮想マウスに関連付けられた物理的スイッチを有してもよい。仮想マウスは、手の所定の動きまたはアクションによるオン/オフ制御などを有してもよい。例えば、手をすばやく前後に動かすことによって仮想マウスの動作を有効化ししてもよい。別の例では、手を接眼鏡の前方など接眼鏡を通過させることによって仮想マウスを無効化してもよい。諸実施形態では、接眼鏡の仮想マウスは、複数の動きを、指による1回のクリック、ダブルクリック、トリプルクリック、右クリック、左クリック、クリックアンドドラッグ、複合クリック、ローラホイール動作のような、通常、物理マウスの制御に関連し、したがって訓練されていないユーザに親しみやすい動作として解釈することが可能であってもよい。諸実施形態では、接眼鏡は、数学アルゴリズムを介して手振りを解釈するように、身振り認識を行ってもよい。
[00644]諸実施形態において、身振り制御認識は、接眼鏡の制御システムの一部としての導体要素からのユーザの手の距離の変化による静電容量の変化を利用し、したがって、ユーザの手にデバイスを取り付ける必要のない技術によって実現されてもよい。諸実施形態では、導体は、フレームのアームまたはその他の部分などに接眼鏡の一部として実装されても、あるいはユーザの身体または衣服に取り付けられた何らかの外部インターフェースとして実装されてもよい。例えば、導体はアンテナであってもよく、その場合、制御システムは、テルミンとも呼ばれるタッチレス楽器と同様に動作する。テルミンはヘテロダイン原則を使用して音声信号を生成するが、接眼鏡の場合、信号を使用して制御入力信号を生成してもよい。この制御回路は、1つの発振器が固定周波数で動作し、別の発振器がユーザの手によって制御され、手からの距離によって制御アンテナにおける入力が変化する、いくつかの無線周波数発振器を含んでもよい。この技術では、ユーザの手が、発振器の一部であり発振器の周波数を決定するL−C(インダクタンス−キャパシタンス)回路における可変コンデンサの接地板として働く(ユーザの身体がグランドに接続される)。別の例では、回路が単一の発振器、2対のヘテロダイン発振器などを使用してもよい。諸実施形態では、制御入力として使用される複数の異なる導体が設けられてもよい。諸実施形態では、この種の制御インターフェースは、ボリューム制御、ズーム制御などのようにある範囲にわたって変化する制御入力には理想的であり得る。しかし、この種の制御インターフェースは、互いにより離散した制御信号に使用されてもよく(例えば、オン/オフ制御)、その場合、所定のしきい値が制御入力の状態変化を決定する。
[00645]諸実施形態において、接眼鏡は、ワイヤレストラックパッドマウス、ハンドヘルド遠隔制御装置、身体装着式遠隔制御装置、接眼鏡に取り付けられた遠隔制御装置などのような物理的な遠隔制御デバイスと相互作用する。遠隔制御デバイスは、個人用機器、ゲーム機器、専門家用機器、軍事用機器などの外部機器に取り付けられてもよい。例えば、遠隔制御装置を兵士の武器に取り付け、例えばピストルの握り、マズルシュラウド、フォアグリップなどに取り付けて、兵士が武器から手を外す必要なしに遠隔制御を行えるようにしてもよい。遠隔制御装置は、接眼鏡に取り外し可能に取り付けられてもよい。
[00646]諸実施形態では、近接センサによって接眼鏡の遠隔制御装置の作動および/または制御を実施してもよい。近接センサは、近くの物体の存在を物理的な接触なしに検出することができるセンサであってもよい。例えば、近接センサは電磁界または静電界、あるいは電磁放射線(例えば赤外線)を放出し、フィールド信号または戻り信号の変化を検出することができる。検知される物体は、近接センサの目標と呼ばれることが多い。近接センサの様々な目標にはそれぞれに異なるセンサが必要になることがある。例えば、プラスチックの目標には静電容量センサまたは光電センサが適している場合があり、誘導型近接センサには金属の目標が必要である。近接センサ技術の他の例には静電容量変位センサ、渦電流、磁気、フォトセル(反射)、レーザ、受動熱赤外線、受動光学、CCD、電離放射線の反射などが含まれる。諸実施形態では、近接センサは、物理的な遠隔制御装置、仮想マウス、接眼鏡に取り付けられたインターフェース、外部機器に取り付けられた制御装置(例えば、ゲームコンピュータ、武器)などを含む、本明細書において説明する制御実施形態のいずれかと一体であってもよい。
[00647]諸実施形態において、ユーザの体の動きを測定するためのセンサ、例えば慣性測定ユニット(IMU),3軸磁力計、3軸ジャイロ、3軸加速度計などを、接眼鏡を制御するために使用するか、または外部入力として使用してもよい。例えば、本明細書において説明するように、ユーザの片方または両方の手にセンサを取り付け、センサからの信号を使用して接眼鏡を制御するのを可能にしてもよい。別の例では、接眼鏡によってセンサ信号を受信し解釈してユーザの身体の動きを評価しおよび/またはユーザの身体の動きを制御以外の目的に利用してもよい。一例では、ユーザの各脚および各腕に取り付けられたセンサが、接眼鏡がユーザの歩行を測定するのを可能にする信号を接眼鏡に送ってもよい。次に、測定されたユーザの歩行を使用してユーザの歩行を経時的に監視し、例えば身体動作の変化、理学療法中の改善、頭部外傷による変化などを監視してもよい。頭部外傷に関して監視する例において、接眼鏡はまず、ユーザのベースライン歩行プロフィールを求め、次に物理的な出来事(スポーツに関係する衝突、爆発、車両の事故など)の前後のように経時的にユーザを監視してもよい。運動選手または理学療法中の人の場合、接眼鏡を定期的に使用してユーザの歩行を測定し、測定値を分析できるようにデータベース内に維持してもよい。ユーザの歩行を監視して身体外傷、肉体的な改善などを示すことなどのために連続歩行時間プロフィールを作成してもよい。
[00648]諸実施形態では、接眼鏡の制御、特にユーザに対する表示コンテンツに関連するカーソルの制御が、接眼鏡を装着しているユーザの顔の特徴の動き、顔面筋の緊張、歯を鳴らすこと、顎の動きなどを顔作動センサ1502Bを介して検知することによって有効化されてもよい。例えば、図15Bに示すように、接眼鏡は、接眼鏡イヤフォンアセンブリ1504B、接眼鏡のアーム1508Bなどからの延長部として顔作動センサを有してもよく、顔作動センサは、顔の特徴の動きに伴う力、振動などを検知することができる。顔作動センサは、独立した耳づるの一部のように、接眼鏡アセンブリとは別個に搭載されてもよく、その場合、耳づるおよび顔作動センサのセンサ出力は有線通信によって接眼鏡に転送されても、またはワイヤレス通信によって接眼鏡に転送されてもよい(例えば、ブルートゥースまたは当技術分野で知られている他の通信プロトコル)。顔作動センサは、耳の周り、口の中、顔、首などにも取り付けられてもよい。顔作動センサは、また、顔または顔の内部の様々な動きまたはアクションのうちの検知された動きを最適化することなどのために複数のセンサで構成されてもよい。諸実施形態では、顔作動センサが動きを検出してコマンドとして解釈し、または生の信号が解釈されるように接眼鏡に送られてもよい。コマンドは、接眼鏡機能を制御するためのコマンド、コンテンツの表示の一部としてユーザに送られるカーソルまたはポインタに関連する制御などであってもよい。例えば、ユーザは歯を1回または2回鳴らして、コンピュータマウスのクリックに通常伴うシングルクリックまたはダブルクリックを指示してもよい。別の例では、ユーザは顔面筋を緊張させて、投影された画像に関連する選択などのコマンドを指示してもよい。諸実施形態では、顔作動センサはノイズリダクション処理を使用し、適応信号処理技術などによって顔、頭部などの背景運動を最低限に抑えてもよい。音声区間センサを利用してユーザ、近くにいる他の人、周囲の環境騒音などからの干渉を低減させてもよい。一例では、顔作動センサはまた、通信を向上させ、かつ複数のマイクロフォンを用いることなどにより発話中のユーザの頬の振動を検出し、背景雑音を識別してノイズキャンセレーション、音量増大などによって除去することによって雑音を除去することができる。
[00649]諸実施形態において、接眼鏡のユーザは、ある環境の特徴、位置、物体などに関する情報を、手を持ち上げて接眼鏡の視野に入れ、物体または位置を指し示すことによって得ることが可能であってもよい。例えば、ユーザの指し示す指は環境の特徴を示してもよく、その場合、指は接眼鏡の視野に入るだけでなく、内蔵カメラの視野にも入る。それによって、システムは、環境の特徴を指し示す指の位置をカメラが見ている環境の特徴の位置と相関付けることが可能であってもよい。さらに、接眼鏡は、システムがユーザの位置および視線を知るのを可能にするための、GPSおよび磁力計のような位置センサおよび方位センサを有してもよい。これによって、システムは、環境の特徴の位置情報を補外することが可能であってもよく、例えば、ユーザに位置情報を供給すること、環境情報の位置を2Dマップまたは3Dマップに重ね合わせること、確立された位置情報をその位置に関する二次情報(例えば、住所、その住所に居住する個人の名前、その位置に所在する会社の名前、位置の座標)に相関付けることなどが可能であってもよい。図15Cを参照すると分かるように、一例では、ユーザは接眼鏡1502Cを介して周囲を見ており、ユーザの手1504Cによって視野内の家1508Cを指し示す。この場合、内蔵カメラ1510Cの視野には、家を指し示す手1504Cと家1508Cの両方が入る。この例では、システムは、家1508Cの位置を判定し、位置情報1514Cおよび環境についてのユーザの視野に重畳された3Dマップを表示することが可能である。諸実施形態では、環境の特徴に関連する情報が外部ファシリティによって供給されてもよく、例えばワイヤレス通信接続によって伝達されたり、接眼鏡の内部に記憶されたり、現在の位置に関して接眼鏡にダウンロードされたりしてもよい。諸実施形態では、接眼鏡の装着者に供給される情報には、地理的情報、ポイントオブインタレスト情報、ソーシャルネットワーク情報(例えば、ツイッター、フェースブック、および装着者の前方に立つ人であって、その人の周りに装着者が拡大され、例えば装着者が周りに「浮遊する」人に関する同様の情報)、プロフィール情報(例えば、装着者の連絡先リストに記憶された情報など)、履歴情報、消費者情報、製品情報、小売り情報、安全情報、広告、商業情報、セキュリティ情報、ゲーム関連情報、愉快な注釈、ニュース関連情報のような、装着者によって見られるシーンに関係する複数の情報のうちのいずれかを含めてもよい。
[00650]諸実施形態において、ユーザは、外部環境に関連する3D投影画像、記憶され取り込まれた3D投影画像、3D表示映画(視聴のためにダウンロードされた3D表示映画など)などの3D投影画像に対するユーザの視野を調節することが可能であってもよい。例えば、再び図15Cを参照すると分かるように、ユーザは、ユーザの頭部を回転させることなどによって、3D表示画像1512Cの視野を変更することが可能であってもよく、その場合、ライブ外部環境と3D表示画像はともに、ユーザが頭部を回転させたり、移動したりしても動かない。このようにして、接眼鏡は、重ね合わされる3D表示マップ1512C、位置情報1514Cなどの情報をユーザが見る外部環境に重ね合わせることによって拡張現実を実現することが可能であってもよく、その場合、表示されるマップ、情報などはユーザの視野が変化したときに変更されてもよい。3D映画または3D変換映画による別の例では、観察者の視野を変更し、視野をいくらか調節することによって観察者を映画の環境に「挿入」してもよく、その場合、ユーザはユーザの頭部を動かし、変更した頭部の位置に応じて視野を変化させてもよく、ユーザは、物理的に前方に歩くことによって画像に「入り」、視線を動かすことによって視野を変更することなどが可能であってもよい。さらに、頭部を回転させることによってアクセスすることができるユーザの視野の側部などに追加の画像情報を供給してもよい。
[00651]諸実施形態において、ある接眼鏡のユーザは、投影される画像または映像の視野を少なくとも、接眼鏡または他の映像表示デバイスの第2のユーザの視野と同期させることが可能であってもよい。例えば、2つの別々の接眼鏡ユーザが同じ3Dマップ、ゲーム投影画像、ポイントオブインタレスト投影画像、映像などを見ることを望むことがあり、その場合、2人の観察者は同じ投影コンテンツを見るだけでなく、観察者同士の間で投影されるコンテンツの視野の同期がとられる。一例では、2人のユーザはある領域の3Dマップを一緒に見ることを望むことがあり、1人のユーザが3Dマップ上の位置を指し示すことが可能であり、他方のユーザがその3Dマップを見てその3Dマップと相互作用することが可能であるように画像の同期がとられる。2人のユーザは、3Dマップ上を移動し、2人のユーザと3Dマップとの間の仮想−物理相互作用を共有することが可能であってもよい。さらに、一群の接眼鏡装着者がグループとして一緒に投影画像と相互作用することが可能であってもよい。このようにして、2人以上のユーザが、その接眼鏡の調整同期による統合された拡張現実体験を有することが可能であってもよい。本明細書において説明するような位置センサ(例えば、ジャイロスコープ、IMU、GPS)などからの絶対位置情報、相対位置情報、並進・回転位置情報などの位置情報を接眼鏡同士の間で伝達することによって2つ以上の接眼鏡の同期をとってもよい。接眼鏡同士の間の通信は、インターネットネットワーク、セルネットワーク、衛星ネットワークなどを介した直接的な通信であってもよい。同期に寄与する位置情報の処理は、単一の接眼鏡のマスタプロセッサによって実行されたり、集合的に一群の接眼鏡同士の間で実行されたり、リモートサーバシステムなどにおいて実行されても、またはそれらの任意の組合せで実行されてもよい。諸実施形態では、複数の接眼鏡同士の間で投影されるコンテンツの調整がされ、同期のとられた視野は、個人による広範な拡張現実体験を複数の個人に与えることができ、複数の個人がグループ拡張現実体験から利益を得ることになる。例えば、あるコンサートに赴く一群の人は、コンサートプロデューサー、演奏者、他の聴衆などによって接眼鏡を装着している人に視覚的効果または音声を転送することができるように、コンサートプロデューサーからのフィードに対して自分の接眼鏡を同期させてもよい。一例では、演奏者がマスタ接眼鏡を有してもよく、コンテンツを聴衆に送るのを制御してもよい。一実施形態では、コンテンツは周囲の環境についての演奏者の視野であってもよい。演奏者は、外部照明システムを制御したり、拡張現実ドラムキットまたはサンプリングボードと相互作用したり、歌詞を呼び出したりすることのようなアプリケーションにマスタ接眼鏡を使用してもよい。
[00652]諸実施形態において、接眼鏡に表示される画像または映像は、接眼鏡との通信リンクを有する接続されたデバイスに表示されるかまたはそのようなデバイスによって取り込まれる画像または映像あるいはリモートカメラのフィードから直接取り込まれる画像または映像との同期をとられてもよい。接続されたデバイスのうちの1つから受信されるセンサ入力または制御信号、他の接続されたデバイスのうちの1つによって送信されるメタデータなどによって、フィードを選択するかまたは別のアクションを開始してもよい。他の映像表示デバイスは、他の接眼鏡、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、テレビジョンなどであってもよい。接眼鏡、デバイス、およびリモートカメラは、ワイドエリアネットワーク通信リンク、ローカルエリアネットワーク通信リンク、メトロポリタンエリアネットワーク通信ネットワーク、パーソナルエリアネットワーク通信リンク、およびクラウドネットワーク通信リンクによって接続されてもよい。センサ入力は、音声センサ入力、映像センサ入力などであってもよい。センサ入力または制御信号を受信することによって開始することのできる他のアクションには、目標を追跡すること、メッセージを送信すること、または本開示の他の個所で説明するような映像同期化を開始することなどのアクションを開始すること含めてもよい。例えば、リモートチェックポイントまたはスクリーニング位置において守衛の接眼鏡によって取り込まれた映像は、顔認識アプリケーションが守衛の接眼鏡からの映像フィードにおける対象となる人を認識したときに管理者の接眼鏡に表示する映像として自動的に選択されてもよい。
[00653]諸実施形態において、接眼鏡は、音声投射技術を使用して、サラウンドサウンド技術と同様に接眼鏡の装着者のための音声の方向を実現してもよい。装着者のための音声の方向を実現することには、リアルタイムまたはプレイバックのいずれかでの発生方向からの音声の再生を含めてもよい。音声の方向の実現には、音源の方向を示すための視覚的インジケータまたは聴覚的インジケータを含めてもよい。音声投射技術は、ユーザが難聴であるか、ヘッドフォンを装着しているか、聴力保護装置を装着していることなどに起因して、聴力に障害があるかまたは耳を遮断されている人に有用であり得る。この例では、接眼鏡は拡張3D聴覚的再生を実現してもよい。一例では、装着者がヘッドフォンを装着してもよく、銃が撃たれている。この例では、接眼鏡は、銃声の3D音声プロファイルを再生することが可能であってもよく、したがって、装着者には銃声がどこから来るのかが分かり、銃声に応答することが可能になる。別の例では、ヘッドフォンを装着している人、聴力に障害がある人、騒音の大きい環境にいる人などは、人が何を話しているか、および/または人が話している方向が分からないことがあるが、このような人のために接眼鏡による3D音声強化機能を実現する(例えば、装着者は近接する他の人の声をヘッドフォンを介して聞いており、方向性の情報が得られない)。別の例では、装着者が、騒音の大きい周囲環境または周期的に大きい騒音が生じ得る環境にいることがある。この例では、接眼鏡が、大きい音を遮断して装着者の聴力を保護する能力を有し得るか、あるいは、音が非常に大きいので装着者は音がどこから来るのか分からず、さらに今や耳鳴りが大きくしており、したがって何も聞こえない状況である。この状況を回避するために、接眼鏡は、音源の方向を示すための視覚的キュー、聴覚的キュー、振動キューなどのキューを装着者に与えてもよい。諸実施形態では、接眼鏡は、装着者の耳を大きい騒音から保護するために装着者が耳栓を装着するが、この耳栓を使用して自然界から失われているものに代わる音声を再生する「補聴」機能を実現することができる。この場合、この人工音声を使用して、オペレータが自然に聞くことのできないワイヤレスに送信される通信に方向性を与えることができる。
[00654]諸実施形態において、音源の方向性を確立するための構成の一例は、異なるマイクロフォンを異なる方向に向けてもよい。例えば、少なくとも1つのマイクロフォンを装着者の声に使用し、少なくとも1つのマイクロフォンを周囲環境に使用し、少なくとも1つのマイクロフォンを下方の地面に向け、場合によっては各マイクロフォンを複数の異なる個別の方向に使用してもよい。この例では、他の音声を分離するために、下に向けたマイクロフォンを減算してもよく、これを本明細書において説明するような3Dサウンドサラウンド技術および補聴技術と組み合わせてもよい。
[00655]接眼鏡の一部としての音声強化システムの一例では、すべてのユーザが、接眼鏡の耳栓を介した人工的な騒音遮断によって実現されるような「耳閉」機能を有する騒音の大きい環境などに、数人の接眼鏡ユーザがいる。装着者の1人が、いくつかの機器の必要性を大声で叫び得る。すべての周囲騒音および接眼鏡が実現する聴力保護によって、機器を求める要求は誰にも聞こえない。ここで、声に出して要求をした装着者は、口の近くにフィルタ付きマイクロフォンを有し、要求を他の人にワイヤレスに送信することができ、装着者の接眼鏡は、音声信号を他のユーザの接眼鏡および正しい側の耳に送信することができ、他の人は、右または左を見て誰が要求をしたかを知る。このシステムは、すべての装着者のジオロケーションおよび2つの耳栓を使用して3D空間を知覚させる「仮想」サラウンドサウンドシステム(SRS True Surround技術など)によってさらに拡張されてもよい。
[00656]諸実施形態において、聴覚的キューは、コンピュータによって生成されてもよく、したがって、通信を行うユーザは声に出して連絡する必要がなく、共通するコマンドのリストから選択することができ、コンピュータは、事前に設定された条件などに基づいてこの連絡情報を生成する。一例では、装着者が、装着者の目の前方にディスプレイを位置させるのを望まず、耳に耳栓をすることを望む状況にいることがある。この場合、装着者がグループ内の誰かに起きて後について来るよう通知したい場合、コントローラをある回数だけクリックするか、またはカメラ、IMUなどによって手振りを示すだけでよい。システムは、「フォローミー」コマンドを選択して、通信を行っているユーザの3Dシステムに関する位置と一緒に他のユーザに送信し、他のユーザが実際に位置している通信を行っているユーザから見えない場所からコマンドを聞かせることができる。諸実施形態では、接眼鏡のユーザからの位置情報によって指向性情報を求めならびに/あるいは供給してもよい。
[00657]接眼鏡は、接眼鏡構造のフレームまたはアーム内の振動アクチュエータなど、機械的振動モータ、圧電振動アクチュエータ、超音波振動アクチュエータなどによって振動感覚をユーザに与えるためのファシリティを含んでもよい。振動は、(例えば、暗闇、煙、雲、盲目などの理由で)視覚に障害のあるユーザに対するインジケータ、ゲームの一部、シミュレーションの一部として、ユーザにメッセージ表示を示すように生成されてもよい。振動アクチュエータは、接眼鏡のサイドアーム内のスピーカと別々に使用されても、またはゲーム、シミュレートなどの3D映像・音声・振動仮想現実環境を形成するのを助けるように接眼鏡のサイドアームのスピーカと一緒に使用されてもよい。例えば、振動アクチュエータは、接眼鏡の各サイドアームに取り付けられてもよく、それによって、アプリケーションがユーザの頭部の左側を通過する発射体を表示するときに、左側の振動アクチュエータが、実際にユーザを通過する発射体の感覚をシミュレートするように振動するように設定される。さらに、そのサイドアームのスピーカは、発射体がユーザの頭部を通過するときに発する音を模倣する音を同期的に加えることができる。振動および/またはスピーカは、ユーザに3D振動−音声体験を与えて、3D視覚表示コンテンツのように、視覚表示コンテンツを介して与えられる視覚的体験を拡張するように接眼鏡に取り付けられてもよい。このようにして、ユーザの周りを多感覚仮想3D環境で囲むことができる。諸実施形態において、本開示は、ユーザによって装着される対話型頭部装着接眼鏡であって、接眼鏡はユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、光学アセンブリにコンテンツを導入するように構成された内蔵画像光源と、接眼鏡の機能を管理するように構成された処理ファシリティとを備え、ユーザが周囲の環境を見るためのフレームと、フレームをユーザの頭部上に支持するための左サイドアームおよび右サイドアームと、各振動アクチュエータが処理ファシリティからの振動コマンドに独立に応答する、左サイドアームおよび右サイドアームの各々に含まれる振動アクチュエータとを備える構造を有する頭部装着接眼鏡を備えてもよい。振動コマンドは、表示コンテンツの一部としての仮想発射体、仮想爆発、メッセージ表示、仮想キュー、警告などに応答して1つの振動アクチュエータにおける振動を開始することができる。表示コンテンツは、ユーザがシミュレーション、ゲームアプリケーション、ユーティリティアプリケーションなどを行っていることの一部として表示されてもよい。振動コマンドを呼び出すアプリケーションは、接眼鏡が通信可能に相互接続される外部プラットフォームの一部または全体などを介して、接眼鏡上でローカルに動作してもよい。さらに、接眼鏡は、左サイドアームおよび右サイドアームの各々に含まれる内蔵スピーカのような、本明細書において説明するような内蔵スピーカを含んでもよく、その場合、振動コマンドが、振動コマンドを受信するサイドアームと同じサイドアーム上のスピーカにおける音声を開始するための聴覚的コマンドと時間同期して1つの振動アクチュエータにおいて振動を開始する。
[00658]諸実施形態において、接眼鏡は、既存のWiFi通信信号、3G通信信号、ブルートゥース通信信号、および同様の通信信号を使用して接眼鏡の装着者に近接するデバイスおよびユーザの信号情報を収集することなどのような、信号収集(SIGINT)の態様を実現してもよい。これらの信号は、他の既知の親しいユーザ関する情報を収集することなどのために他の接眼鏡から得られる信号、許可されていないユーザが接眼鏡を使用しようとしたときに収集される信号などによって、許可されていない個人によって拾得された他の接眼鏡から得られる信号、他の通信デバイス(例えば、無線装置、携帯電話、ページャ、ウォーキートーキーなど)から得られる信号、直接通信には使用されない場合があるデバイスから送出される電子信号などであってもよい。接眼鏡によって収集される情報は方向情報、位置情報、運動情報、通信の回数および/または速度などであってもよい。さらに、信号の位置を判定するための信号の三角測量の場合のように、複数の接眼鏡の互いに調整された動作によって情報を収集してもよい。
[00659]図15Dを参照すると分かるように、諸実施形態では、接眼鏡1502Dのユーザは、ユーザの手1504Dによる複数の点/指による複数の点を使用して、拡張現実アプリケーションの場合のように、透過ビューに対するカメラ1510Dの視野(FOV)1508Dを画定してもよい。例えば、図示の例では、ユーザは、ユーザの人指し指および親指を利用して接眼鏡1502Dのカメラ1510DのFOV1508Dを調整してもよい。ユーザは親指以外の指、親指と親指以外の指、両方の手の親指および親指以外の指の組合せ、(一方または両方の)掌の使用、(一方または両方の)丸めた手などのような他の組合せを利用してFOV1508Dを調整してもよい。手による複数の点/指による複数の点を使用すると、ユーザは、タッチスクリーンのユーザとほとんど同様にカメラ1510DのFOV1508を変更することができ、その場合、手/指による様々な点がFOVの各点を確立して所望の視野を確立する。しかし、この例では、ユーザの(一方または両方の)手と接眼鏡との間に物理的な接触はない。ここで、カメラにユーザの(一方または両方の)手の各部をカメラのFOVの確立または変更に関連付けるよう命令してもよい。コマンドは、カメラのFOVにおける手の動き、接眼鏡上の物理的インターフェースに関連するコマンド、接眼鏡の近くで検知された動きに関連するコマンド、ユーザのある部分のコマンドインターフェースから受信されるコマンドなどを含むがそれらに限らない、本明細書において説明する任意のコマンドタイプであってもよい。接眼鏡は、ある反復的な動きのように、指/手の動きをコマンドとして認識することが可能であってもよい。諸実施形態では、ユーザはこの技術を利用して投影画像のある部分を調整してもよく、その場合、接眼鏡はカメラによる表示画像を投影画像のある態様に関係付け、例えば視野内の手/指による点をユーザの投影画像に関係付ける。例えば、ユーザは外部環境と投影画像を同時に見ることができ、ユーザはこの技術を利用して、投影される観察領域、範囲、倍率などを変更する。諸実施形態では、ユーザは、ライブ環境において観察されているシーンからのズームインまたはズームアウト、投影画像の観察されている部分からのズームインまたはズームアウト、投影画像に割り当てられた観察領域の変更、環境または投影画像の視野の変更などを含む複数の理由でFOVの変更を行ってもよい。
[00660]諸実施形態において、接眼鏡は同時FOVを可能にしてもよい。例えば、同時広カメラFOV、同時中カメラFOV、および狭カメラFOVを使用してもよく、その場合、ユーザは様々なFOVを同時に見ることができる(すなわち、視野全体を場合によっては静的に示すための広視野、および特定の目標に合焦し、場合によっては目またはカーソルと一緒に移動する狭視野)。
[00661]諸実施形態において、接眼鏡は、ユーザの目から反射する光によって目を追跡することによって、ユーザがどこを見ているか、またはユーザの目の動きを求めることができる。次に、この情報を使用して投影画像、カメラ視野、外部環境などに対してユーザの視線を相関付けるのを助けることができ、かつこの情報を本明細書において説明するような制御技術に使用してもよい。例えば、ユーザは投影画像上の位置を見て、外部遠隔制御または検出される目のある動き(例えば、瞬き)などによって選択を行ってもよい。この技術の一例では、図15Eを参照すると分かるように、赤外光などの透過光1508Eが目1504Eから反射され(1510E)、(例えば、カメラまたはその他の光学センサを含む)光学ディスプレイ502において検出されてもよい。次いで、この情報を分析して反射の変化から目の回転を抽出してもよい。諸実施形態では、眼球追跡ファシリティを使用して、角膜反射および瞳の中心を経時的に追跡すべき特徴として使用するか、角膜の前部および水晶体の後部からの反射を追跡すべき特徴として使用したり、網膜血管のような目の内部からの特徴を撮像したり、目の回転に応じてこれらの特徴に追従したりすることが可能である。代替として、接眼鏡は、他の技術を使用し、目を囲む構成要素、目の上のコンタクトレンズに取り付けられた構成要素などによって目の動きを追跡してもよい。例えば、目の動きを測定するための、ミラー、磁界センサのような内蔵光学構成要素を含む特殊なコンタクトレンズをユーザに与えてもよい。別の例では、正極を角膜に配置し、陰極を網膜に配置することなどによって目からの定常電位場をダイポールとして利用する、目の周りに配置された電極によって、電位を測定し監視してもよい。この例では、目の周りの皮膚、接眼鏡のフレームなどに配置された接触電極を使用して電気信号が導かれてもよい。目が中央位置から周囲に移動した場合、網膜が一方の電極に接近し、一方、角膜が反対側の電極に接近する。ダイポールの方位がこのように変化し、したがって、電位場が変化すると、測定信号が変化する。これらの変化を分析することによって目の動きを追跡することができる。
[00662]ユーザの視線方向および関連する制御をどのように適用するかの別の例は、目の最高の視覚入力が存在するユーザの視線方向の周りの視野の狭い部分におけるクラッタを低減させることなどのために、ユーザの周囲視野に視覚的インジケータを(接眼鏡によって)配置することおよび(ユーザによって)光学的に選択することを含む。脳は一度にどれだけの情報を処理できるかに関して制限されており、かつ脳は視線方向に近い視覚コンテンツにより注目するので、接眼鏡は、投影される視覚的インジケータを視野の周囲にユーザに対するキューとして表示してもよい。このように、脳はインジケータの検出を処理するだけでよく、インジケータに関連する情報を処理することが不要であり、したがって、ユーザに情報が過重に負荷される可能性が低くなる。インジケータはアイコン、画像、色、記号、明滅する物体などであってもよく、アラート、eメールの着信、電話の呼び出し、行事、ユーザが注目する必要のある内部処理ファシリティまたは外部処理ファシリティなどを示してもよい。視覚的インジケータが周囲に位置することによって、ユーザはその視覚的インジケータによって気をそらされることなくその視覚的インジケータを認識することができる。ユーザは次に、視覚的キューに関連するコンテンツを上昇させてより多くの情報を表示させ、例えば上方の視覚的インジケータを見て、そうすることによってそのコンテンツを開くことを任意に決定してもよい。例えば、eメールの着信を表すアイコンは、eメールを受信中であることを示してもよい。ユーザは、このアイコンに気付き、それを無視することを選択してもよい(例えば、ユーザがアイコンを見ることまたは何らかの他の制御ファシリティによるアイコンのアクティブ化がある期間行われない場合にアイコンが消える)。代替として、ユーザは視覚的インジケータに気付き、視覚的インジケータの方向を見ることによって視覚的インジケータを「アクティブ化」することを選択してもよい。eメールの場合、接眼鏡は、ユーザの視線がアイコンの位置と一致していることを検出したときに、eメールを開いてその中身を表示する。このようにして、ユーザは、どんな情報が注目されているかについての制御を維持し、その結果、気をそらされるのを最低限に抑え、コンテンツの使用効率を最大にする。
[00663]フロントライトLCoSのような本明細書において説明するある光学構成に関連する実施形態では、2つ以上のディスプレイ間のフィードバックによって、各ディスプレイは同じ明るさおよびコントラストを有することを確実にするができる。諸実施形態では、各ディスプレイのカメラを使用してもよい。同様の品質、出力、および/または色のLED(同様の瓶から得たLED)を選択することなどによって、LEDへの電流を調節すると共に色バランスを得てもよく、左右のパルス幅変調(PWM)値を生成してもよく、周期的な校正を実施してもよい。諸実施形態では、電力スペクトルの校正を実現してもよい。外部が明るいのでディスプレイの明るさを低下させる場合、ユーザはディスプレイごとの校正を知ることができる。諸実施形態では、2つのディスプレイ間で明るさ、彩度、色バランス、色合いなどを等しくすることができる。これによって、ユーザの脳は一方のディスプレイを無視することができる。諸実施形態では、各ディスプレイが一定の明るさおよび/または一貫した明るさ、彩度、色バランス、色合いなどを有するようにユーザまたは別の人が明るさなどを調整するのを可能にするディスプレイからのフィードバックシステムを作成してもよい。諸実施形態では、色センサ、RGBセンサ、白色センサ、光全体用のセンサなどであってもよい明るさセンサが各ディスプレイ上に設けられてもよい。諸実施形態では、センサは、LEDに供給されるかまたはLEDによって消費される電力を監視または検査する電力センサであってもよい。ユーザまたは別の人は、LEDへの電力を増大または低減させることによって1つまたは複数のディスプレイを調整してもよい。これは、製造時に行われても、または接眼鏡の寿命の間に行われても、または周期的に行われてもよい。諸実施形態には、ダイナミックレンジ態様が含まれてもよい。LEDが暗くなりおよび/または電力が低下したときに、どちらのディスプレイも一貫した明るさを維持するように一方のディスプレイ上で調整することのできる電力アルゴリズムを使用してもよい。諸実施形態では、ユーザおよび/または製造業者あるいは接眼鏡は、電力が変化したときに同じ明るさ曲線に従うようにLEDを調整してもよい。RGB LEDを使用してもよく、LED曲線を2つのディスプレイ間で一致させてもよい。したがって、明るさ、彩度、色バランス、色合いなどをダイナミックレンジにわたって調節してもよい。諸実施形態では、そのような項目は製造時、ダイナミックレンジの間、眼鏡の寿命の間などの期間に測定され調節されてもよい。諸実施形態では、2つのディスプレイ間の等しい明るさ、彩度、色バランス、色合いなどは、実際に作成されても、またはユーザの両目間の差に基づいてユーザによって知覚されるように作成されてもよい。様々な実施形態では、明るさ、彩度、色バランス、色合いなどの調整がユーザ、製造業者によって行われても、またはフィードバック、様々なプログラムアルゴリズムなどに基づいて接眼鏡によって自動的に行われてもよい。諸実施形態では、センサフィードバックによって、明るさ、彩度、色バランス、色合いなどのうちの少なくとも1つが自動的に調整されるおよび/または手動で調整されてもよい。
[00664]諸実施形態において、システムは、ユーザによって装着される対話型頭部装着接眼鏡であって、接眼鏡はユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、光学アセンブリにコンテンツを導入するための内蔵画像光源とを含み、光学アセンブリは2つ以上のディスプレイを備え、2つ以上のディスプレイの明るさ、彩度、色バランス、および色合いのうちの少なくとも1つが所定の範囲内で互いに対して平衡するように明るさ、彩度、色バランス、および色合いのうちの少なくとも1つが少なくとも1つのディスプレイについて調整される頭部装着接眼鏡を備えてもよい。諸実施形態では、この調整は、2つ以上のディスプレイの明るさ、彩度、色バランス、および色合いのうちの少なくとも1つを所定の範囲内で互いに対して等しくすることを含む。諸実施形態では、明るさ、彩度、色バランス、および色合いのうちの少なくとも1つの調整は、内蔵画像光源に供給される電力の検出に基づいて行われてもよい。諸実施形態では、調整は、彩度、色バランス、および色合いのうちの少なくとも1つが2つ以上のディスプレイの間で一貫するように電力アルゴリズムに基づいて行われてもよい。さらなる実施形態では、調整は全光学センサフィードバックのセンサに基づいて行われてもよい。諸実施形態では、彩度、色バランス、および色合いのうちの少なくとも1つは、製造時、内蔵画像光源などによって生成される出力のダイナミックレンジの間などのうちの少なくとも1つの期間に調整されてもよい。諸実施形態では、システムは、2つ以上のディスプレイの明るさ、彩度、色バランス、および色合いのうちの少なくとも1つを接眼鏡の寿命の間周期的に互いに対して自動的に検査するように構成されてもよい。諸実施形態では、システムは、2つ以上のディスプレイの明るさ、彩度、色バランス、および色合いのうちの少なくとも1つを互いに対して自動的に検査し、かつ2つ以上のディスプレイの明るさ、彩度、色バランス、および色合いのうちの少なくとも1つを選択的に所定の値に設定するように構成されてもよい。さらに、システムの一実施形態は、2つ以上のディスプレイの明るさ、彩度、色バランス、および色合いのうちの少なくとも1つを互いに対して自動的に検査し、かつ2つ以上のディスプレイの明るさ、彩度、色バランス、および色合いのうちの少なくとも1つをセンサフィードバック測定値に基づいて選択的に所定の値に設定するように構成されてもよい。
[00665]フロントライトLCoSのような本明細書において説明するある光学構成に関連する実施形態において、2つ以上のディスプレイ間のコントラストは、等しい値に調整されても、またはユーザが等しいと知覚するように調整されてもよい。実施形態では、コントラストを各ディスプレイ上で検査し、それに応じて調整してもよく、製造プロセスの間、ダイナミックレンジの間、眼鏡の寿命の間などの期間に調整してディスプレイを校正し調整してもよい。諸実施形態では、システムのコントラストは、自動的に2つのディスプレイ間で校正されると共に外界と比べて校正されてもよい。諸実施形態では、ユーザはユーザの両目間の差を補償してもよい。コントラストは、ユーザの視力障害または知覚障害を補償するように必要に応じて調整されてもよい。諸実施形態では、コントラスト比は、光学モジュールがどのように組み立てられるかの関数であってもよい。本明細書において説明するように迷光を低減させると、高いコントラスト比を実現するように組み立てるための技術に対処することができる。諸実施形態では、様々な種類の単一画素明るさ検出器および/または多画素色検出器を光学縦列に挿入し、ディスプレイのアイボックスに到達しない光の一部または前部をサンプリングしてもよい。諸実施形態では、検出器が光路内のどこに配置されるかに応じて、システムは、組立て公差、LEDおよびLCoSパネル屈曲性、ビニング公差、高温・低温パネル補償を補償するかおよび/または個々のユーザ校正を維持するためのリアルタイムフィードバック機能を備えてもよい。諸実施形態では、良好な製造慣習によってディスプレイの明るさおよびコントラストを管理することができる。さらに、製造時に品質分析を行ってディスプレイを試験し、必要に応じて校正し、かつ必要に応じて補償してもよい。さらに、システムの寿命の間、構成要素が磨耗し、使用時にシステムが加熱され冷却されるにつれて、補償値に関する参照テーブルによって校正を修正してもよい。様々な実施形態では、明るさ、彩度、色バランス、色合い、コントラストなどの調整をユーザ、製造業者によって行ってもよく、および/またはフィードバック、様々なプログラムアルゴリズムなどに基づいて接眼鏡によって自動的に行ってもよい。諸実施形態では、センサフィードバックによって、明るさ、彩度、色バランス、色合い、コントラストなどのうちの少なくとも1つを自動的に調整するかまたは手動で調整することができる。
[00666]諸実施形態において、システムは、ユーザによって装着される対話型頭部装着接眼鏡であって、接眼鏡はユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、光学アセンブリにコンテンツを導入するための内蔵画像光源とを含み、光学アセンブリが2つ以上のディスプレイを備え、2つ以上のディスプレイのコントラストが所定の範囲内で互いに対して平衡するようにコントラストが少なくとも1つのディスプレイについて調整される頭部装着接眼鏡を備えてもよい。さらなる実施形態では、コントラストは2つ以上のディスプレイの間で等しくなるように調整されてもよい。諸実施形態では、コントラストは、製造プロセスの間、内蔵画像光源によって生成される出力のダイナミックレンジの間などの期間に調整されてもよい。諸実施形態では、システムは、2つ以上のディスプレイのコントラストを接眼鏡の寿命の間周期的に互いに対して自動的に検査するように構成されてもよい。諸実施形態では、システムは、2つ以上のディスプレイのコントラストを互いに対して自動的に検査し、かつ2つ以上のディスプレイのコントラストを選択的に所定の値に設定するように構成されてもよい。諸実施形態では、システムは、2つ以上のディスプレイのコントラストを互いに対して自動的に検査し、かつ2つ以上のディスプレイのコントラストをセンサフィードバック測定値に基づいて選択的に所定の値に設定するように構成されてもよい。諸実施形態では、コントラストはユーザの障害を補償するように調整されてもよい。諸実施形態では、コントラストは、迷光と内蔵画像光源によって生成される光の少なくとも一方の関数として調整されてもよい。諸実施形態では、コントラストはシステムの光路内の検出器からのフィードバックに基づいて調整されてもよい。さらに、検出器は、単一画素明るさ検出器と多画素色検出器の少なくとも一方を備えてもよい。諸実施形態では、システムは、組立て公差、LED、およびLCoSパネル屈曲性、ビニング公差、高温および低温パネル補償のうちの少なくとも1つを補償し、個々のユーザ校正を維持するためのリアルタイムフィードバック機能を備えてもよい。諸実施形態では、コントラストの校正は、1つまたは複数の補償値に関する参照テーブルに基づいて調整されてもよい。
[00667]一実施形態において、フロントライトLCoSのような本明細書において説明するある光学構成は、光学縦列に沿った多数の位置にカメラを挿入するのを可能にし、カメラを目を含む軸上に直接配置する。例えば、図102Bのカメラ10232などのカメラセンサをLCoSに隣接するように配置してもよい。これによって、瞳の位置、直径、速度、および方向を測定すると共に、虹彩を直接撮像することが可能になる。そのような測定および撮像を使用して、安全なログインまたはユーザ設定のロード、毛細管のサイズおよび/または厚さを測定することによる健康状態の検出、本の最後に見た領域に基づくプレースホルダ/ブックマークの設定などを行ってもよい。目の様々な構成要素に関してカメラによって収集されたデータを使用してユーザインターフェースを制御すること、応力レベルを求めること、アラート状態を監視すること、外部刺激または予測される刺激に対する反応を検出することなどが可能である。フロントライト光学素子は尖っていて小型であるので、全体的なサイズが小さい光学素子を保持し高解像度画像を確保する光学縦列に極めて小さい画素を有するカメラを配置することができる。諸実施形態では、図185のようなビームスプリッタを挿入することによって光路の多くの部分にカメラを配置することができるが、それによって、LCoSシリコーン基板に直接埋め込まれたLCoS PCBへのカメラの配置、または他の光学縦列配置が可能であってもよい。
[00668]カメラが目を含む軸上に直接配置される実施形態では、カメラは目を見るかまたは検出するかあるいは目の中を直接見ることが可能であってもよい。諸実施形態において、システムは目の動きを追跡し、瞳孔の拡大を検出し、瞳孔の位置、直径、速度、および方向を測定し、虹彩を直接撮像してもよい。諸実施形態では、カメラは、ユーザが環境を見回しているかどうか、またはユーザが接眼鏡を制御しているかどうかを判定してもよい。一例としてのみ、カメラは、目の動きを追跡する信号をカメラに送らせる目の動きのパターンを検知することができ、それによって、ユーザがユーザの目によって実行することのできる所定の制御コマンドを検知する。一例として、カメラは、ユーザの目の動きのパターンに基づいてユーザの目がユーザインターフェース上の何かを呼んでいることを認識してもよい。そのような場合、カメラは、eメールを開くことなどのような特定の機能を実行するために接眼鏡に送信する特定の1組の眼球コマンドの検出を開始する。諸実施形態では、カメラは、ある項目に長時間にわたって合焦したり、ある項目に合焦し、目をすばやく動かし、次にその項目に再び合焦したりすることなどによって、ユーザが接眼鏡を制御するために所定の方法で対象に合焦している可能性があると検出してもよい。カメラは、このような動きのパターンを検出したときに、接眼鏡に特定の機能を実行させる信号を送出してもよい。一例としてのみ、合焦し、別の方を見て、再び合焦すると、カメラはユーザがディスプレイ内の項目を「ダブルクリック」するつもりであることを示す信号を接眼鏡に送る。もちろん、任意のそのようなパターンおよび/またはアルゴリズムを使用して、ユーザの目の動きを介してデバイスを制御してもよい。諸実施形態では、カメラは、動きの特定のパターンを検出してもよく、特定のアプリケーションの使用時にそのような動きが検出されると、そのような組合せに基づいて接眼鏡に特定の信号を送ってもよい。一例として、eメールプログラムが起動されており、ユーザの目が読書に整合するパターンを示す場合、カメラは、ユーザの目が合焦している特定のeメールを開くことを接眼鏡に求める信号を発することができる。様々な実施形態では、接眼鏡を制御するためのコマンドをカメラの検出に基づいて開始してもよい。
[00669]諸実施形態では、カメラによる瞳孔の位置、直径、速度、および方向の検出、網膜および/または虹彩の直接的な撮像などがセキュリティ手段を使用可能にしてもよい。一例として、ユーザが接眼鏡装着したときに、カメラは、接眼鏡に搭載されるかまたは接眼鏡に対してリモートに格納されたデータベースと突き合わせてユーザを識別する網膜スキャンを実行してもよい。諸実施形態では、ユーザが眼鏡の所有者または眼鏡のユーザとして認識された場合、眼鏡がアプリケーションを起動し、ユーザにアクセスさせてもよい。眼鏡は、ユーザを認識しない場合、すべての機能または一部の機能をロックするかまたは使用不能にしてもよい。諸実施形態では、ユーザがそのようなパスワードを必要となくてもよく、接眼鏡がこの機能を自動的に実行してもよい。諸実施形態では、ユーザが認識されないとき、カメラは、装着者が接眼鏡を盗んだ場合に装着者に関する識別情報を得てもよい。
[00670]諸実施形態において、接眼鏡は、目の動きの検出、瞳孔の位置、直径、速度、および方向の検出、網膜および/または虹彩の直接的な撮像に基づいてユーザ診断を実行してもよい。例えば、診断は瞳孔の拡大に基づいて行われてもよい。例えば、ユーザの瞳孔が、嘘をついている人に一貫する状態で拡大した場合、カメラまたは接眼鏡は、ユーザが嘘をついていることを検出することができる。さらに、ユーザが脳震とうを起こしている場合、所与の量の光が目に入射しているにもかかわらず瞳孔のサイズが変化し得る。接眼鏡は、ユーザが脳震とうを起こしている場合にユーザに警告を出すことができる。諸実施形態では、兵士、運動選手などが肉体的な活動を終了したときに兵士、運動選手などに接眼鏡を手渡してもよく、接眼鏡を使用して、ユーザが例えば脳震とうを起こしていると診断してもよい。接眼鏡は、様々なユーザに関する情報を記憶させることのできるユーザのデータベースを搭載しても、または接眼鏡から離れた位置に有してもよい。一実施形態では、選手がフィールドから出てサイドラインに移動したときに、選手が眼鏡を装着して網膜スキャンを実行し、データベースを介してユーザを識別し、次いでユーザの瞳孔サイズを検出し、所与の照明条件について予期される瞳孔のサイズと比較することによってユーザを診断または検査してもよい。ユーザのデータが期待される範囲内ではなかった場合、眼鏡は、ユーザの瞳孔が脳震とうを起こしていることを示していることをユーザに知らせることができる。薬物中毒を検出すること、網膜の損傷を検出すること、目の状態を検出することなどのような同様の使用法が可能である。
[00671]諸実施形態では、有機発光ダイオード(OLED)を本明細書のマイクロディスプレイおよび/またはセンサ用のアプリケーションに使用してもよく、かつOLEDCamなどのフラウンホーファーシステムに使用しても、あるいは場合によっては目の動きを検出する際に使用しても、あるいは場合によってはユーザの目などを照明するために接眼鏡に使用してもよい。諸実施形態では、目の動きを検出するためのデバイスは、ユーザの目を含む軸上に光学縦列に沿って配置されてもよい。諸実施形態では、マイクロスケールの発光器および受光器を同じチップに組み込んでもよい。マイクロスケールの発光器および受光器は、二方向マイクロディスプレイまたは一方向マイクロディスプレイとしてアレイ型構造に実装されてもよい。諸実施形態では、デバイスが存在し、かつ/または各画像を同時に取り込んでもよい。マイクロディスプレイは、個人情報用のシステムの基本であり得、ユーザに情報を提示し、ユーザによる相互作用を認識することができる。ユーザは、環境を通常通りであると知覚することができ、二方向ディスプレイを備えた接眼鏡を介して追加の情報が提示されてもよい。視覚的情報をシステムの動作の文脈に適合させてもよく、ユーザは目の動きまたはアクションによって相互作用することができる。諸実施形態では、OLED画素およびフォトダイオードから成る入れ子にされたアクティブマトリックスである中央素子を有するCMOSチップが1つの基板上にマイクロディスプレイおよびカメラを含んでもよい。諸実施形態では、画素セルは、赤−緑−青−白フォトダイオード画素セルおよび赤−緑−青フォトダイオード画素セルなどから成ってもよい。
[00672]諸実施形態において、システムは、ユーザによって装着される対話型頭部装着接眼鏡であって、接眼鏡はユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、光学アセンブリに表示コンテンツを導入するように構成された内蔵画像光源と、カメラがユーザの目の少なくとも一部を観察することができるように光学アセンブリ内に光学軸に沿って配設されたカメラとを含む頭部装着接眼鏡を備えてもよい。諸実施形態では、カメラは、目、瞳孔、網膜、瞼、および/または睫毛の画像を取り込むように構成されてもよい。諸実施形態では、接眼鏡を制御するためのコマンドは、少なくともカメラによって取り込まれた画像に基づいて開始されてもよい。諸実施形態では、ユーザの診断は、少なくともカメラによって取り込まれた画像に基づいて行われてもよい。ユーザの識別もカメラによって取り込まれた少なくとも1つの画像に基づいて行われてもよい。一例として、この診断は、脳震とうの診断を含んでもよい。システムの実施形態では、ユーザの識別が接眼鏡のセキュリティ態様として展開されてもよい。諸実施形態では、内蔵画像光源は、カメラによって画像が取り込まれる間目を照明してもよい。さらに、画像光源からの光は、カメラによって画像が取り込まれる間変調されてもよい。諸実施形態では、カメラは1つまたは複数の有機発光ダイオード(OLED)を備えてもよい。諸実施形態では、ユーザの目、および/または虹彩、瞳孔、瞼、睫毛などを含む本明細書において列挙された他の部分は、様々な照明、LED、OLEDなどによって照明されてもよい。諸実施形態では、ユーザの目の照明を撮像技術、目のデータの取り込み、識別などに使用してもよい。
[00673]一実施形態において、システムは、ユーザによって装着される対話型頭部装着接眼鏡であって、接眼鏡はユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、光学アセンブリにコンテンツを導入するよう構成された内蔵画像光源と、目の動きを検出するためのデバイスとを含む頭部装着接眼鏡を備えてもよい。諸実施形態では、目の動きを検出するためのデバイスは、同じチップに組み込まれたマイクロスケールの発光器および受光器を備えてもよい。諸実施形態では、デバイスは1つの基板上にマイクロディスプレイおよびカメラを含むCMOSチップを備えてもよい。諸実施形態では、目の動きを検出するためのデバイスは、ユーザの目を含む軸上に光学縦列に沿って配設されてもよい。
[00674]諸実施形態では、カメラが、ユーザの目の少なくとも一部を観察するように光学アセンブリ内に光学軸に沿って配設され、目、瞳孔、網膜、瞼、および睫毛のうちの1つまたは複数を撮像してもよい。内蔵プロセッサおよびカメラは、ユーザの目の動きを追跡し、瞳孔の拡大、瞳孔の位置、瞳孔の直径、瞳孔の速度、および瞳孔の方向のうちの少なくとも1つを測定し、制御またはコマンドとして意図されたユーザの目の動きを読書または凝視のためのユーザの目の動きと区別し、ユーザの目の動きを内蔵プロセッサまたは対話型頭部装着接眼鏡の機能を制御するためのプロセッサ用のコマンドとして使用し、ユーザの目の動きをユーザの外部および対話型頭部装着接眼鏡の外部のデバイスを制御するためのコマンドとして使用するように構成される。ユーザの診断または識別は、脳震とうのような、カメラによって取り込まれる少なくとも1つの画像に基づいて行われてもよい。ユーザの識別は、接眼鏡のセキュリティ態様として実施されてもよい。システムは、ユーザからの目の動きに基づいて外部デバイスを制御するかまたは指示するためのユーザ入力インターフェースを含んでもよい。カメラは、両目の画像を取り込むように構成されてもよく、その場合、画像が両目の他の画像を含むデータベースと比較され、診断が示される。内蔵画像光源の光学軸とカメラの光学軸は異なってもよい。内蔵画像光源の光学軸とカメラの光学軸は少なくとも一部が同じであってもよい。
[00675]拡張現実接眼鏡内の、カメラなどのデバイス、同じチップに組み込まれたマイクロスケールの発光器および受光器、または1つの基板上にマイクロディスプレイおよびカメラを含むCMOSチップが、ユーザの目の動きを検出することができる。内蔵画像光源は、カメラによって画像が取り込まれる間、画像光源からの光を変調することと目を照明することの少なくとも一方を行うように構成されてもよい。カメラは、1つまたは複数の有機発光ダイオード(OLED)を含んでもよい。目の動きを検出するためのデバイスは、ユーザの目を含む軸またはユーザの目からの異なる軸上に光学縦列に沿って位置してもよい。内蔵プロセッサは、ユーザの目の動きを対話型頭部装着接眼鏡内のデバイスまたは外部デバイスを動作させるためのコマンドとして解釈するように構成されてもよい。
[00676]ユーザの目の動きを検出するための方法は、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリ、光学アセンブリに表示されたコンテンツを導入するように構成された内蔵プロセッサおよび内蔵画像光源、ならびにカメラを含む頭部装着接眼鏡を装着することと、カメラ、およびカメラと内蔵プロセッサによってユーザの目の動きを検出することと、目の動きおよび内蔵プロセッサを介してデバイスを制御することとを含んでよく、カメラは、ユーザの少なくとも片方の目の動きを検出し、動きをコマンドとして解釈する。内蔵プロセッサは、コマンドとしての目の動きと凝視のための目の動きとを区別する。この方法は、所定の目の動きを特定の機能を実行するためのコマンドとして解釈することを含んでもよい。この方法は、ユーザの少なくとも片方の目をスキャンしてユーザ識別を特定することを含んでもよい。この方法は、ユーザの少なくとも片方の目をスキャンしてユーザの医学的状態を診断することを含んでもよい。カメラは少なくとも1つの有機発光ダイオード(OLED)を含んでもよい。特定の目の動きが特定のコマンドとして解釈されてもよい。目の動きは、瞬き、反復的な瞬き、瞬きの回数、瞬きの速度、目を開いたり閉じたりすること(ゆっくりとした瞬き)、視線追跡、横への目の動き、上下の目の動き、左右の目の動き、一連の位置を通過する目の動き、特定の位置への目の動き、ある位置に留まる時間、固定された対象の方を見ること、頭部装着接眼鏡のレンズのある部分を通して見ることから成る群から選択されてもよい。この方法は、目の動きおよびユーザ入力インターフェースを介してデバイスを制御することを含んでもよい。この方法は、周囲の環境のビューをユーザに表示できるようにカメラまたは第2のカメラによって取り込むことを含んでもよい。
[00677]諸実施形態では、接眼鏡は、装着者の周囲の画像、意識的知覚速度よりも遅い速度でユーザに提示される画像、観察者によって観察されるシーンの潜在意識的知覚などのような潜在意識制御態様を利用してもよい。例えば、装着者に対して、装着者が認識しない速度で接眼鏡を介して画像を提示してもよく、装着者は、リマインダ、アラート(例えば、ユーザが完全に認識リマインダすることが必要にならない程度に、何かに対する装着者の注目のレベルを高めるアラート)、装着者のすぐ近くの環境に関する表示(例えば、接眼鏡が、ある程度装着者の関心を引く可能性があるものであって、表示すると装着者の注目を引くものを装着者の視野内に検出した場合)などのような提示されるコンテンツとして潜在意識下で認識させられる。別の例では、接眼鏡は、脳活動監視インターフェースを介して装着者にインジケータを供給してもよく、その場合、人が画像を認識したことに気付く前に脳内の電気信号が活性化する。例えば、脳活動監視インターフェースは、装着者が現在の環境を見ているときの脳活動を監視するための脳波(EEG)センサ(など)を含んでもよい。接眼鏡は、装着者が周囲の環境のある要素を「認識」したことを脳活動監視インターフェースを介して検知すると、装着者に意識レベルフィードバックを送って装着者にこの要素をさらに認識させる。例えば、装着者は、群衆の中によく知った顔(例えば、友人、容疑者、有名人)を見かけたことを無意識に認識することがあり、接眼鏡は視覚的表示または聴覚的表示を装着者に送り、装着者がその人により意識的に注目するようにする。別の例では、装着者は、潜在意識レベルで装着者の注目を引く製品を見ることができ、接眼鏡は意識的な表示、例えば製品に関するより多くの情報、製品の拡張されたビュー、製品に関するより多くの情報へのリンクなどをユーザに示す。諸実施形態において、接眼鏡が装着者の現実を潜在意識レベルまで拡張する能力は、接眼鏡が、装着者の周りの世界との通常の意識的な体験を超える拡張現実を装着者に示すのを可能にする。
[00678]諸実施形態において、接眼鏡は、接眼鏡が手の位置、形状、動きなどによって少なくとも部分的に制御される複数の動作モードを有してもよい。接眼鏡は、この制御を実現するために、手認識アルゴリズムを利用して手/指の形状を検出し、次いで、これらの手の各形態を場合によっては手の動きと組み合わせてコマンドとして関連付けることができる。現実的には、限られた数の手の形態および動きしか接眼鏡のコマンドとして利用できないので、接眼鏡の動作モードに応じてこれらの手の動きを再使用することが必要になる場合がある。諸実施形態では、接眼鏡をあるモードから次のモードに遷移させるのにある手の形態または動きを割り当ててもよく、それによって手の動きを再使用することが可能になる。例えば、図15Fを参照すると分かるように、ユーザの手1504Fは接眼鏡上のカメラの視野内で動かしてもよく、次いで、この動きを円運動1508F、視野を横切る動き1510F、前後の動き1512Fなどのような、モードに応じた異なるコマンドとして解釈してもよい。単純な例において、2つの動作モード、すなわち、視野を投影画像からパンするためのモード1および投影画像をズームするためのモード2があると仮定する。この例では、ユーザは、指を左から右へ指し示す手の動きを使用して右へのパン動作を命令することを望むことがある。しかしながら、ユーザは、指を左から右に指し示す手の動きを使用して画像をより大きい倍率にズームするように命令することを望むこともある。この手の動きを両方のコマンドタイプに二重に使用できるようにするには、モード遷移に特定の手の動きが割り当てられている接眼鏡の現在のモードに応じて手の動きを異なるように解釈するように接眼鏡を構成すればよい。例えば、時計回りの回転運動がパンモードからズームモードへの遷移を示してもよく、逆時計回り回転運動がズームモードからパンモードへの遷移を示してもよい。この例は、例示的なものであり、いかなる点でも制限的なものではなく、当業者には、手−指の形態−動き、2本の手の形態−動きのように片方または両方の手および1本または複数の指を使用して様々なコマンド/モード構造を実施するにはこの一般的な技術をどのように使用すればよいかが認識されよう。
[00679]諸実施形態において、システムは、ユーザによって装着される対話型頭部装着接眼鏡であって、接眼鏡はユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを含み、光学アセンブリが、周囲の環境についてのユーザの視野を補正する補正素子と、コンテンツをユーザに表示できるように処理するための内蔵プロセッサと、および光学アセンブリにコンテンツを導入するための内蔵画像光源とを備え、身振りを撮像する内蔵カメラファシリティをさらに含み、内蔵プロセッサが、身振りをコマンド命令として識別し、解釈する頭部装着接眼鏡を備えてもよい。制御命令は、表示されるコンテンツ、外部デバイスに伝達されるコマンドなどの処理を可能にしてもよい。
[00680]諸実施形態において、接眼鏡の制御は目の動き、目のアクションなどによって有効化されてもよい。例えば、再び装着者の片方または両方の目を観察するカメラを接眼鏡上に設けてもよく、その場合、瞬き、反復的な瞬き、瞬きの回数、瞬きの速度、目を開いたり閉じたりすること、視線追跡、横への目の動き、上下の目の動き、左右の目の動き、一連の位置を通過する目の動き、特定の位置への目の動き、ある位置に留まる時間、固定された対象(例えば、接眼鏡のレンズの隅部)の方を見ること、レンズのある部分を通して見ること、実世界の対象を見ることなどによる目の動きまたはアクションをコマンド情報として解釈してもよい。さらに、眼球制御は、観察者が接眼鏡からの表示画像上のある点に合焦するのを可能にし、カメラが目の観察方向をディスプレイ上の点に関連付けることが可能であってもよいので、接眼鏡は、装着者がどこを見ているかと装着者によるアクション(例えば、瞬き、インターフェースデバイスに触れること、位置検知デバイスの動きなど)の組合せによってコマンドを解釈することが可能であってもよい。例えば、観察者はディスプレイ上の対象を見て、位置検知デバイスによって有効化される指の動きを介してその対象を選択することが可能であってもよい。
[00681]いくつかの実施形態では、眼鏡は、ユーザの目、または好ましくは両目の動きを追跡するための眼球追跡デバイスを備えてもよく、代替として、眼鏡は、6自由度の動き追跡、すなわち、頭部の動き追跡が可能なセンサを備える。このようなデバイスまたはセンサは、例えばドイツ、ベルリンのChronos Vision GmbHおよびマサチューセッツ州ウォーバーンのISCANから市販されている。網膜センサもまた、目の動き追跡に利用可能である。拡張現実眼鏡に網膜スキャナを取り付けてもよく、このような網膜スキャナは、スウェーデン、ストックホルムのTobii、ドイツ、テルトーのSMI、およびISCANのような様々な会社から市販されている。
[00682]拡張現実接眼鏡は、ユーザがデバイスを制御するのを可能にするための、図示のようなユーザ入力インターフェースも含む。デバイスを制御するために使用される入力には、上述のセンサのうちのいずれかを含めてもよく、トラックパッド、1つまたは複数のファンクションキー、および任意の他の適切なローカルデバイスまたはリモートデバイスをさらに含めてもよい。例えば、眼球追跡デバイスを使用してビデオゲームまたは外部追跡デバイスのような別のデバイスを制御してもよい。一例として、図29Aは、本明細書の他の個所において説明する眼球追跡デバイス2900Aを備えた拡張現実接眼鏡を装着したユーザを示す。眼球追跡デバイスは、接眼鏡がユーザの目または好ましくは両目の方向を追跡しこの動きを接眼鏡のコントローラに送るのを可能にする。制御システムは、拡張現実接眼鏡と武器用の制御デバイスとを含む。動きは次いで、ユーザの視野内に位置してもよい武器を制御デバイスによって制御するための制御デバイスに送られてもよい。ユーザの目の動きは次いで、象限(範囲)および発射方位(方向)のような、武器の動きを制御するための信号に適切なソフトウェアによって変換される。ユーザのトラックパッドまたはファンクションキーのような追加の制御装置を眼球追跡に関連して使用してもよい。武器は、榴弾砲または迫撃砲のような大口径の武器であっても、またはマシンガンのような小口径の武器であってもよい。
[00683]ユーザの目の動きは次いで、武器の象限(範囲)および発射方位(方向)のような、武器の動きを制御するための信号に適切なソフトウェアによって変換される。ユーザのトラックパッドまたはファンクションキーのような追加の制御装置を、武器を1回発砲するかまたは連続的に発砲するのに使用してもよい。代替として、武器は、地雷または成型炸薬のような固定された非指向性の武器であってもよく、特定の符号化コマンドを必要とすることのような安全デバイスによって保護されてもよい。拡張現実デバイスのユーザは、眼球追跡機能を使用せずに適切なコードおよびコマンドを送ることによって武器を作動させてもよい。
[00684]諸実施形態において、接眼鏡の制御は、装着者による身振りによって有効化されてもよい。例えば、接眼鏡は、外側(例えば、前、横、下)を見て、装着者の手振りまたは手の動きを制御信号として解釈するカメラを有してもよい。手信号は、手をカメラの前を通過させること、カメラの前の手の位置または手話、実世界の対象を指し示すこと(対象の拡張をアクティブ化することなど)などを含めてもよい。手の動きもまた使用して半透明レンズの内側に表示される対象を操作してもよく、例えば、対象を動かしたり、対象を回転させたり、対象を削除したり、画像中のスクリーンまたはウィンドウを開閉したりなどしてもよい。前述の例では手の動きを使用したが、身体あるいは装着者によって保持または装着される対象の任意の部分もまた、接眼鏡による身振り認識に利用してもよい。
[00685]諸実施形態では、頭部動き制御を使用して接眼鏡にコマンドを送ってもよく、その場合、加速度計、ジャイロ、または本明細書において説明する任意の他のセンサなどの運動センサを装着者の頭部上、接眼鏡上、帽子の中、ヘルメットの中などに取り付けてもよい。図14を参照すると分かるように、頭部の動きには、頭部を前方および/または後方にガクンと動かすこと1412、頭部を上向きおよび/または下向きに動かすこと1410、うなずきとして頭部を左右に動かすこと、頭部を横向きなどの位置に留めること、頭部を動かしてから所定の位置に留めることなどの、頭部のすばやい動きを含めてもよい。運動センサを接眼鏡に組み込んだり、接眼鏡に無線接続またはワイヤレス接続することによってユーザの頭部上または頭部カバー(例えば、帽子、ヘルメット)の中に取り付けたりなどしてもよい。諸実施形態では、接眼鏡は、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを含む対話型頭部装着接眼鏡を装着してもよい。光学アセンブリは、周囲の環境についてのユーザの視野を補正する補正素子と、コンテンツをユーザに表示できるように処理するための内蔵プロセッサと、光学アセンブリにコンテンツを導入するための内蔵画像光源とを含んでもよい。1つまたは複数の頭部動き検知制御デバイスのうちの少なくとも1つを、事前に定義された頭部動き特性を検知することに基づいて制御コマンドをコマンド命令としてプロセッサに送る接眼鏡と一体化するかまたは接眼鏡に関連付けてもよい。頭部動き特性は、頭部の通常の動きとは異なる明白な動きであるようなユーザの頭部のうなずきであってもよい。この明白な動きは頭部をガクンと動かすことであってもよい。制御命令は、表示されるコンテンツの操作を可能にしたり、外部デバイスを制御するように伝達されたりなどしてもよい。頭部の動き制御は、他の制御機構と組み合わせて使用されてもよく、例えば本明細書において説明するような別の制御機構を使用してコマンドをアクティブ化し、頭部の動きに関してコマンドを実行してもよい。例えば、装着者は、対象を右に動かし、本明細書において説明するような眼球制御によって、対象を選択し頭部の動き制御をアクティブ化することを望むことがある。その場合、ユーザの頭部を右に傾けることによって、対象に右に移動するよう命令することができ、眼球制御によってコマンドを終了することができる。
[00686]諸実施形態において、接眼鏡をマイクロフォンなどを介して音声によって制御してもよい。音声信号には、発話認識、声認識、音認識、音声検出などを含めてもよい。音声は、接眼鏡上のマイクロフォン、咽喉マイクロフォン、骨伝導マイクロフォン、ブームマイク、ヘッドフォン、マイクロフォン付き耳栓などを介して検出されてもよい。
[00687]諸実施形態において、コマンド入力は、接眼鏡プロジェクタをオン/オフを切り替えること、音声のオン/オフを切り替えること、カメラのオン/オフを切り替えること、拡張現実投影のオン/オフを切り替えること、GPSのオン/オフを切り替えること、ディスプレイとの相互作用(例えば、表示される選択/受け入れ機能、取り込まれた画像または映像の再生など)、実世界との相互作用(例えば、取り込まれた画像または映像、表示された本の頁をめくるなど)、内蔵モバイルデバイスまたは外部モバイルデバイス(例えば、携帯電話、ナビゲーションデバイス、音楽デバイス、VoIPなど)によるアクションの実行、インターネット用のブラウザ制御(例えば、送信、次の結果など)、eメール制御(例えば、eメール読み出し、テキスト表示、テキスト音声化、編集、選択など)、GPS制御およびナビゲーション制御(例えば、位置保存、保存位置の呼び出し、方向表示、マップ上の位置の表示)などのような複数の制御機能を可能にしてもよい。諸実施形態では、接眼鏡またはその構成要素部分のオン/オフをIRセンサ、加速度計、力センサ、マイクロスイッチ、静電容量式センサ、眼球追跡検出ファシリティなどからのセンサ指示を介して自動的に切り替えてもよい。例えば、接眼鏡は、ユーザの鼻梁などでの接眼鏡とユーザの皮膚との物理的な接触がもはや確立されていないことを検知する静電容量式センサを介して、ユーザが接眼鏡を頭部から外したときに自動的にオフにされてもよい。当業者には、接眼鏡が外されたことを検知するための他の同様の構成が理解されよう。諸実施形態では、接眼鏡は、着脱可能な構成要素が接眼鏡に取り付けられたことと接眼鏡から取り外されたことを検知し、この検知を利用して接眼鏡のオン/オフ態様を切り替えてもよい。例えば、光学素子の一部が着脱可能であってもよく、この光学素子部分が取り外されると、接眼鏡システムのその半部への電力が低下され電池の電力が節約される。本開示は、センサに対応する接眼鏡の構成要素を選択するために供給される電力を制御する電力管理ファシリティを含んでもよい。接眼鏡は、ノーズブリッジと折り畳み可能なアームとを有するフレームに取り付けられてもよく、フレームのヒンジに折り畳み可能なアームが取り付けられ、センサはフレームのノーズブリッジ、アーム、ヒンジなどに取り付けられてもよい。選択構成要素は、画像光源、プロセッサなどであってもよい。電力管理ファシリティは、ユーザが接眼鏡を装着していないときはスリープモードであってもよく、スリープモードはセンサを周期的に読み取ることを含み、電力管理ファシリティは、ウェークモードに遷移し、ユーザが接眼鏡を装着していることを検出したときに接眼鏡の電源をオンにする。電力管理ファシリティは、接眼鏡の機能の使用量、内蔵電池の残留電力、ネットワーク利用率、電力消費率などに基づいて各構成要素への電力を低下させてもよい。電力の低下は、ユーザ嗜好プロファイルに基づいて行われてもよい。ユーザは、コマンドによって電力の低下を無効にしてもよい。ユーザは、電力を低下させているときに接眼鏡のインターフェースによる表示を受け取ってもよい。画像光源への電力を低減させた結果として画像光源の明るさレベルが低下した場合、光学アセンブリンのエレクトロクロミック密度を高くしてもよい。
[00688]諸実施形態において、接眼鏡は、立体視画像、裸眼立体視画像、計算機合成ホログラム、ボリューメトリック表示画像、ステレオグラム/立体視画像、ビューシーケンシャル表示、電子ホログラフィック表示、視差「2ビュー」表示および視差パノラマグラム、再結像システム画像を送ったり、観察者に対して3D深度を知覚させたりすることなどによって、ユーザに対して3Dディスプレイ撮像を実現してもよい。ユーザに3D画像を表示する場合、左右の光路が、画像を区別するある光学成分を有したり、プロジェクタファシリティがユーザの左目および右目に異なる画像を投影したりするように、ユーザの左目および右目に提示される異なる画像を使用してもよい。光路は、プロジェクタファシリティから光路を介してユーザの目までを含み、物理的3次元における対象の視覚的表現を形成するグラフィカルディスプレイデバイスを含んでもよい。接眼鏡の内蔵プロセッサまたは外部ファシリティの内蔵プロセッサなどのプロセッサは、ユーザに対する3D画像の生成における少なくとも1ステップとして3D画像処理を実現してもよい。
[00689]諸実施形態において、ユーザに対して3D結像効果を実現する際に、計算機ホログラム(CGH)、ホログラフィ干渉パターンをデジタルに生成する方法などのホログラフィ投影技術を使用してもよい。例えば、コヒーレント光の干渉に基づいて動作するディスプレイなどのホログラフィック3Dディスプレイによってホログラフィック画像を投影してもよい。計算機ホログラムは、表示したい対象が物理的実在をまったく有する必要がなく、すなわち、完全に「合成ホログラム」として生成されてもよいという利点を有する。ホログラフィック情報および計算量削減の分野から計算技術および量子化技術における方法までを含む、CGH用の干渉パターンを算出するための複数の異なる方法がある。例えば、計算技術の2つの例としてフーリエ変換法および点光源ホログラムが挙げられる。フーリエ変換法を使用して対象の各深度平面のホログラム平面への伝搬をシミュレートしてもよく、その場合、画像の再構成は遠視野で行われてもよい。例示的なプロセスでは2つのステップがあり得、まず、遠い観察者平面における明視野を算出し、次いで、明視野を再びレンズ平面にフーリエ変換する。この場合、ホログラムによって再構成すべき波面は、各対象深度平面をフーリエ変換した結果を重畳させることによって得られる。別の例では、逆フーリエ変換を施した位相パターンを目標画像に乗算してもよい。次いで、この画像積をシフトさせることによって中間ホログラムを生成し、互いに組み合わせて最終的な組を作成する。次いで、ホログラムの最終的な組を、ユーザに連続的に表示されるキノフォームを形成するように近似してもよく、その場合、キノフォームは、対象波面の位相変調が表面起伏形状として記録された位相ホログラムである。点光源ホログラム法では、対象が自発光点に分割され、あらゆる点光源について基本ホログラムが算出され、すべての基本ホログラムを重畳させることによって最終的なホログラムが合成される。
[00690]一実施形態において、3D画像またはホログラフィック画像をデュアルプロジェクタシステムによって有効化してもよく、その場合、2つのプロジェクタは3D画像出力が得られるように互いに積み重ねられる。ホログラフィック投影モードには、本明細書において説明する制御機構によって入るか、または掌を上に向けて腕を延ばすことなどの画像または信号、SKU、RFID読み取りデータなどを取り込むことによって入ることができる。例えば、接眼鏡の装着者が厚紙上の「X」という文字を見ることによって、接眼鏡をホログラフィックモードに入らせ、積み重ねられた第2のプロジェクタをオンにすることができる。どんなホログラムを表示するかについての選択は、制御技術によって行われてもよい。プロジェクタは厚紙の「X」という文字の上にホログラムを投影してもよい。関連するソフトウェアが「X」という文字の位置を追跡し、「X」という文字の移動に応じて投影される画像を移動させてもよい。別の例では、接眼鏡は、おもちゃ組立てキット上のSKUなどのSKUをスキャンしてもよく、完成したおもちゃの3D画像にオンラインソースまたは非揮発性メモリからアクセスしてもよい。ホログラムを回転させること、ホログラムをズームイン/アウトさせることなどのようなホログラムとの相互作用を、本明細書において説明する制御機構を使用して行ってもよい。スキャンは、関連するバーコード/SKUスキャンソフトウェアによって有効化されてもよい。別の例では、空間内または表面上にキーボードを投影してもよい。ホログラフィックキーボードを関連するアプリケーション/機能のいずれかにおいて使用してもまたはホログラフィックキーボードを使用して関連するアプリケーション/機能のいずれかを制御してもよい。
[00691]諸実施形態において、接眼鏡ファシリティは、仮想キーボードの位置を実環境の対象(例えば、テーブル、壁、車両のダッシュボードなど)に対して下方にロックするのを可能にしてもよく、その場合、仮想キーボードは、装着者が頭部を動かしても動かない。一例において、図24を参照すると分かるように、ユーザが接眼鏡2402を装着してテーブルに着き、文書処理アプリケーション、ウェブブラウザ、通信アプリケーションなどのアプリケーションにテキストを入力すること望むことがある。ユーザは、入力に使用する仮想キーボード2408またはその他の対話型制御要素(例えば、仮想マウス、計算器、タッチスクリーンなど)を呼び出すことが可能であってもよい。ユーザは、仮想キーボード2408を呼び出すためのコマンドを出し、手振り2404を使用して仮想キーボード2408の固定位置を示してもよい。それによって、仮想キーボード2408を外部環境に対する空間内に固定したままにし、例えばテーブル2410上の位置に固定したままにすることができ、接眼鏡ファシリティは、ユーザが頭部を回転させたときでもテーブル2410上の仮想キーボード2408の位置を維持する。すなわち、接眼鏡2402は、テーブル2410上に配置された仮想キーボード2408についてのユーザの視野を維持するようにユーザの頭部の動きを補償することができる。諸実施形態では、ユーザは、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを含む対話型頭部装着接眼鏡を装着してもよい。光学アセンブリは、周囲の環境についてのユーザの視野を補正する補正素子と、コンテンツをユーザに表示できるように処理するための内蔵プロセッサと、光学アセンブリにコンテンツを導入するための内蔵画像光源とを含んでもよい。周囲の環境を撮像し、手−指をある形態になるように動かすこと、手−指をある形態に位置付けることなどのようなユーザの手振りを対話型制御要素位置コマンドとして識別する内蔵カメラファシリティを設けてもよい。その場合、対話型制御要素位置コマンドに応答して、ユーザの観察方向の変化とは無関係に、対話型制御要素の位置を周囲の環境内の対象に対する位置に固定したままにしてもよい。このようにして、ユーザは、仮想キーボードを物理的キーボードとほとんど同様に利用することが可能であってもよく、その場合、仮想キーボードの位置は変わらない。しかし、仮想キーボードの場合、ユーザがキーボードをどこに配置し得るかを制限する重力などの「物理的制限」はない。例えば、ユーザは壁の隣に立ってキーボードを壁の上に配置などしてもよい。当業者には、「仮想キーボード」技術を仮想マウス、仮想タッチパッド、仮想ゲームインターフェース、仮想電話、仮想計算器、仮想絵筆、仮想スケッチブックのような任意のコントローラに適用してもよいことが諒解されよう。例えば、仮想タッチパッドを接眼鏡を介してユーザに対して視覚化し、手振りを使用することなどにより、ユーザによって位置付けて、物理的タッチパッドの代わりに使用してもよい。
[00692]諸実施形態において、接眼鏡ファシリティは、仮想技術を使用し、視差、キーストンなどの歪みを適用することなどによって、対象(例えば、仮想キーボード、キーパッド、計算器、ノートパッド、ジョイスティック、制御パネル、書籍)を表面上に投影させてもよい。例えば、ユーザの前方のテーブル上に適切な視野によってキーボードを投影することは、接眼鏡を介してユーザに提示される投影画像が歪み、したがって、テーブルの表面に横たわっているように見えるキーストン効果を適用することによって補助することができる。さらに、これらの技術を動的に適用して、ユーザが表面に対してあちこち動くときでも適切な視野を確立することができる。
[00693]諸実施形態において、接眼鏡ファシリティは、接眼鏡によるキーボードおよびマウスの体験を実現するために使用することのできる身振り認識を可能にしてもよい。例えば、システムは、ディスプレイの下部にキーボード、マウス、および指の画像を重ね合わせて、指の位置をリアルタイムに追跡し仮想デスクトップを有効化することが可能であってもよい。身振り認識によって、配線および外部動力デバイスなしに追跡を行うことができる。別の例では、配線および外部電源を用いずに各指先に受動RFIDチップを含む手袋を用いて、眼鏡を介した身振り認識によって指先の位置を追跡することができる。この例では、各RFIDチップがそれ自体の応答特性を有してもよく、複数の指を同時に読み取ることが可能になる。RFIDチップを、近くで動作している可能性のある他のRFIDチップから区別できるように接眼鏡と対にしてもよい。接眼鏡は、RFIDチップを作動させるための信号を生成し、かつ2本以上の受信アンテナを有してもよい。各受信アンテナは、位置判定アルゴリズムに入力を供給することができる位相測定回路要素に接続されてもよい。位置判定アルゴリズムは、速度および加速度情報を生成してもよく、アルゴリズムは最終的に接眼鏡オペレーティングシステムにキーボードおよびマウス情報を供給してもよい。2本の受信アンテナを有する実施形態では、受信アンテナ同士の間の位相差によって各指先の方位的位置を求めてもよい。次に、RFIDチップ同士の相対位相差を使用して指先の半径方向位置を判定してもよい。
[00694]諸実施形態において、接眼鏡ファシリティは、視覚的技術を使用して、x線、超音波、MRI、PETスキャンなどのような事前に撮られた医学的スキャンをユーザの身体に投影させてもよい。例えば、図24Aを参照すると分かるように、接眼鏡は装着者の手から撮られたx線画像にアクセスしてもよい。接眼鏡は次いで、その内蔵カメラを利用して装着者の手2402Aを観察し、x線の投影画像2404Aを手に重ね合わせてもよい。さらに、接眼鏡は、装着者が手を動かして互いに見るときに画像オーバーレイを維持することが可能であってもよい。諸実施形態では、装着者が鏡を見ている間にこの技術をまた実施してもよく、その場合、接眼鏡は画像を反射された画像上に移す。この技術を診断手順の一部として使用したり、理学療法中のリハビリテーションに使用したり、運動と食事制限を勧めるのに使用したり、患者に診断または状態を説明するのに使用したりなどしてもよい。画像は、装着者の画像、医学的状態に関する画像のデータベースから得られる汎用画像などであってもよい。汎用オーバーレイは、ある健康状態に特有の、内臓のある種の問題、ある期間にわたってある種の手順に従った場合に身体がどのようになるかについての投影画像などを示してもよい。諸実施形態では、ポインタコントローラなどの外部制御デバイスによって画像の操作を可能にしてもよい。さらに、本明細書において説明するように各々が接眼鏡を装着した複数の人の間で画像のオーバーレイを同期させてもよい。例えば、患者と医師の両方が患者の手の上に画像を投影してもよく、その場合、医師が病状について説明し、一方、患者が投影されるスキャンの同期画像を見ながら医師の説明を聞くことができる。
[00695]諸実施形態において、接眼鏡ファシリティは、介在する妨害物が現れる仮想キーボード投影画像の部分(例えば、ユーザの手が邪魔している部分、キーボードをユーザの手の上に投影するのが望ましくない部分)を除去するのを可能にしてもよい。一例では、図30を参照すると分かるように、接眼鏡3002は、投影される仮想キーボード3008を装着者に表示し、例えばテーブル上に表示してもよい。装着者は次に、仮想キーボード3008にアクセスして入力を行うことができる。キーボードは、物理的なキーボードではなく単なる投影された仮想キーボードであるので、投影される画像が補償されることなく、投影仮想コンピュータがユーザの手の甲に投影される。しかし、この例のように、接眼鏡は、テーブル上への仮想キーボードの意図される投影を妨害する装着者の手3004の部分を投影画像から除去できるように投影画像を補償することが可能であってもよい。すなわち、キーボードの投影画像3008の一部をユーザの手の上に可視化するのが望ましくないことがあり、したがって、接眼鏡は、装着者の手3004と同じ位置に配置される仮想キーボードの投影の部分を減算する。諸実施形態では、ユーザは、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを含む対話型頭部装着接眼鏡を装着してもよい。光学アセンブリは、周囲の環境についてのユーザの視野を補正する補正素子と、コンテンツをユーザに表示できるように処理するための内蔵プロセッサと、光学アセンブリにコンテンツを導入するための内蔵画像光源とを含んでもよい。表示コンテンツは、対話型制御要素(例えば、仮想キーボード、仮想マウス、計算器、タッチスクリーンなど)を含んでもよい。内蔵カメラファシリティが、ユーザの身体の一部が対話型制御要素と相互作用するときにこの身体部分を撮像してもよく、その場合、プロセッサは、ユーザの視野に基づいて撮像されたユーザの身体部分と同じ位置に存在すると判定された対話型制御要素の部分を減算することによって対話型制御要素の一部を除去する。諸実施形態では、この部分投影画像除去技術は、他の投影画像および視野妨害に適用されてもよく、仮想キーボードに手が重なるこの例に制限されない。
[00696]諸実施形態において、接眼鏡ファシリティは、「実」世界コンテンツ上に表示される任意の仮想コンテンツに対して介在する妨害に対処することができる。コンテンツをある距離に配置するある基準枠が決定された場合、表示される情報がある距離だけ離れて存在していると考えているユーザに対して不連続性を形成しないように仮想画像と観察者との間を通過する任意の物体を表示コンテンツから減算してもよい。諸実施形態では、可変焦点技術を使用して表示されるコンテンツ同士の間の距離階層の知覚を向上してもよい。
[00697]諸実施形態において、接眼鏡ファシリティは、指、スタイラス、手全体などによる仮想キーパッドのスワイプによる一連の文字接触動作から意図されたテキスト入力を判定することが可能であってもよい。例えば、図37を参照すると分かるように、接眼鏡は仮想キーボード3700を投影しており、ユーザが「wind」という単語を入力するものとする。通常、ユーザは、「w」のキー位置、次に「i」のキー位置、次に「n」のキー位置、最後に「d」のキー位置を個別に押し、接眼鏡に関連付けられたファシリティ(本明細書において説明するようなカメラ、加速度計など)が各位置をその位置の文字として解釈する。しかし、システムは、仮想キーボードを横切るユーザの指または他のポインティングデバイスの動きまたはスワイプを監視し、ポインタの動きに最もよく一致するテキストを判定することが可能であってもよい。図37では、ポインタは文字「w」から始まり、e、r、t、y、u、i、k、n、b、v、f、およびdの各文字を通過する経路3704をスワイプし、dの所で停止している。接眼鏡は、このシーケンスを観察し、入力経路アナライザなどによって判定し、検知されたシーケンスをワードマッチング検索ファシリティに送り、最もよく一致する単語、この場合は「wind」をテキスト3708として出力する。諸実施形態では、接眼鏡は、キーパッドを横切るポインティングデバイスの動きを監視し、完全なワードマッチング、パターン認識、物体認識などによって単語をより直接的に判定してもよく、その場合、ポインティングデバイスの動きの停止、ポインティングデバイスをタップすること、ポインティングデバイスの旋回動作などのようなある「区切り記号」は単語同士の間の空白を示す。例えば、スワイプ経路全体にパターン認識アルゴリズムまたは物体認識アルゴリズムを使用して、ユーザの指が単語同士の間の境界として各動きの間に停止状態を挟みながら各文字を通過して単語を形成するときにユーザの指によって形成される個別のパターンに単語全体を関連付けてもよい。接眼鏡は、最もよく一致する単語、最もよく一致する単語のリストなどを提示してもよい。諸実施形態において、ユーザは、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを含む対話型頭部装着接眼鏡を装着してもよい。光学アセンブリは、周囲の環境についてのユーザの視野を補正する補正素子と、コンテンツをユーザに表示できるように処理するための内蔵プロセッサと、光学アセンブリにコンテンツを導入するための内蔵画像光源とを含んでもよい。表示コンテンツは、対話型キーボード制御要素(例えば、仮想キーボード、計算器、タッチスクリーンなど)を備えてもよく、キーボード制御要素は、入力経路アナライザ、ワードマッチング検索ファシリティ、およびキーボード入力インターフェースに関連付けられる。ユーザは、ポインティングデバイス(例えば、指、スタイラスなど)をユーザがテキストとして入力したい単語の近似シーケンスによるスライド運動でキーボード入力インターフェースの文字キー上をスライドさせることによってテキストを入力してもよく、その場合、入力経路アナライザは入力経路において接触した文字を判定し、ワードマッチングファシリティは、接触した文字のシーケンスに最もよく一致する単語を求め、最もよく一致する単語を入力テキストとして入力する。諸実施形態では、基準表示コンテンツは、フリーハンドテキスト用のスケッチパッド、ゲームまたは実際のロボットおよび航空機を制御するための4方向ジョイスティックパッドのような他のインターフェース基準などの、キーボード以外の表示コンテンツであってもよい。別の例は、ユーザが「タップ」したときに音を出すカラーパッドなどを含む仮想ドラムキットであってもよい。接眼鏡が表面を横切る動きのパターンを解釈することができるので、基準コンテンツを投影して、ユーザが指し示すべきものをユーザに与え、かつ視覚フィードバックおよび/または聴覚フィードバックをユーザに提供することが可能になる。諸実施形態では、接眼鏡によって検出される「動き」は、ユーザが表面を見るときのユーザの目の動きであってもよい。例えば、接眼鏡は、ユーザの目の動きを追跡するためのファシリティを有してもよく、かつ投影される仮想キーボードのコンテンツ表示位置とユーザの目の視線方向の両方を有することによって、本明細書において説明するように、キーボードを横切るユーザの目の視線運動を検出し、次いで動きを単語として解釈することが可能であってもよい。
[00698]諸実施形態において、接眼鏡は、装着者が装着者の指を使用して内蔵接眼鏡カメラの視野において文字、単語などを空中でスワイプすることのような「エアレタリング」という手振りを介して接眼鏡に命令する機能を実現してもよく、その場合、接眼鏡は指の動きを文字、単語、命令を表す記号、署名、文章、eメール、テキストなどとして解釈する。例えば、装着者はこの技術を使用して、「エア署名」を利用して文書に署名してもよい。装着者は、この技術を使用してeメール、テキスト、文書などにおけるテキストを作成してもよい。装着者の接眼鏡は、手の動きによって形成された記号を制御コマンドとして認識してもよい。諸実施形態において、エアレタリングは、接眼鏡のカメラを介して取り込まれる画像によって解釈されるような手振り認識によって実施されても、または本明細書において説明するような、ユーザの手、指などの上のデバイスに取り付けられた慣性測定ユニット(IMU)などの他の入力制御デバイスを介して実施されてもよい。
[00699]諸実施形態において、接眼鏡ファシリティは、コンテンツを表示する意図を示す識別されたマーカに対応する表示コンテンツを提示することが可能であってもよい。すなわち、所定の仮想キューを検知することに基づいてあるコンテンツを表示するよう接眼鏡に命令することができる。仮想キューは、画像、アイコン、写真、顔認識、手の形態、身体の形態などであってもよい。表示コンテンツは、表示されて使用されるインターフェースデバイス、ユーザがある旅行チャネルに到着した後ある場所を探すのを助けるナビゲーション、接眼鏡が目標画像を見るときの広告、情報プロファイルなどであってもよい。諸実施形態では、視覚的マーカキューおよびそれに関連する表示されるコンテンツが、例えば、接眼鏡上のメモリ、外部コンピュータ記憶ファシリティなどに記憶されて(地理的位置、トリガ目標に接近すること、ユーザによるコマンドなどによって)必要に応じてインポートされたり、サードパーティによって生成されたりしてもよい。諸実施形態では、ユーザは、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリを含む対話型頭部装着接眼鏡を装着してもよい。光学アセンブリは、周囲の環境についてのユーザの視野を補正する補正素子と、コンテンツをユーザに表示できるように処理するための内蔵プロセッサと、光学アセンブリにコンテンツを導入するための内蔵画像光源とを含んでもよい。外部視覚的キューを撮像する内蔵カメラファシリティを設けてもよく、その場合、内蔵プロセッサは、外部視覚的キューを識別しコマンドとして解釈して視覚的キューに関連するコンテンツを表示する。図38を参照すると分かるように、諸実施形態において、視覚的キュー3812は周囲の環境における看板3814に含められてもよく、投影されるコンテンツは広告に関連するコンテンツである。看板は広告板であってもよく、広告は、ユーザの嗜好プロファイルに基づくパーソナライズアドバタイズメント用の広告であってもよい。視覚的キュー3802、3808は手振りであってもよく、投影されるコンテンツは投影される仮想キーボード3804、3810であってもよい。例えば、手振りは、ユーザの第1の手の親指および人指し指のしぐさ3802であってもよく、ユーザの第1の手の掌に仮想キーボード3804が投影され、ユーザはユーザの第2の手によって仮想キーボードに対して入力を行うことができる。手振り3808がユーザの両方の手の親指と人指し指のしぐさの組合せであり、仮想キーボード3810が、手振りとして構成されたユーザの両手の間に投影されてもよく、ユーザは、ユーザの手の親指を使用して仮想キーボードに対して入力を行うことができる。仮想キューは、所定の外部視覚的キューを投影されるコンテンツに関する所望の結果に関連付けるための自動化されたリソースを接眼鏡の装着者に与え、したがって、装着者がキュー自体を探索するのを不要にすることができる。
[00700]諸実施形態において、接眼鏡は、道路標識、メニュー、広告版、店舗用看板、書籍、雑誌などのような視覚的に提示されるコンテンツを翻訳するための視覚的認識言語翻訳ファシリティを含んでもよい。視覚的認識言語翻訳ファシリティは、光学文字認識を利用してコンテンツの文字を認識し、翻訳のデータベースを介して文字列を単語および句と一致させてもよい。この機能は、オフラインモードのように完全に接眼鏡内に含めても、または外部サーバ上のような外部コンピューティングファシリティに少なくとも部分的に含めてもよい。例えば、ユーザが外国におり、接眼鏡の装着者には看板、メニューなどが理解できないが、接眼鏡によってこれらを翻訳することが可能である場合がある。このような翻訳は、例えば、ユーザに対する注釈として表示されたり、(例えば、看板の)外国語を翻訳と置き換えたり、聴覚翻訳としてユーザに提示されたりしてもよい。このようにして、装着者は、訳語を調べるのに苦労する必要がなく、訳語は自動的に表示される。一例では、接眼鏡のユーザがイタリア人であって米国に来ており、安全にドライブするために多数の道路標識を解釈する必要がある。図38Aを参照すると分かるように、接眼鏡のイタリア人ユーザは米国の一時停止標識3802Aを見ている。この例では、接眼鏡は標識文字を識別し、「stop」という単語を一時停止を表すイタリア語「arresto」に翻訳し、一時停止標識3804Aを表示させ「stop」ではなく「arresto」の語を示してもよい。諸実施形態では、接眼鏡は例えば、装着者に簡単な翻訳メッセージを示したり、聴覚翻訳を行ったり、装着者に翻訳辞書を示したりしてもよい。本開示は、ユーザによって装着される対話型頭部装着接眼鏡であって、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、光学アセンブリにコンテンツを導入するように構成された内蔵画像光源と、周囲の環境内に見えるテキストを画像化するための内蔵カメラと、観察されたテキストの1つまたは複数の文字を第1の言語の1つまたは複数の文字と相関付け、第1の言語の1つまたは複数の文字を第2の言語の1つまたは複数の文字と相関付けるための光学文字認識ファシリティとを備え、内蔵画像光源は、第2の言語の1つまたは複数の文字を表示コンテンツとして提示し、表示コンテンツは、観察されたテキストの1つまたは複数の文字に対してある位置にロックされる対話型頭部装着接眼鏡を備えてもよい。提示される第2の言語の1つまたは複数の文字は、注釈としてユーザに表示され、最初に観察されたテキストに対する表示コンテンツとして配置されてもよい。提示される第2の言語の1つまたは複数の文字は、最初に観察されたテキストの観察された位置に重畳された提示される第2の言語の1つまたは複数の文字が、最初に観察されたテキストのフォント特性と一致するように、最初に観察されたテキストの観察された位置に重畳されてもよい。観察されたテキストは看板、文献、書籍、道路標識、広告版、メニューなどのテキストであってもよい。光学文字認識ファシリティは、接眼鏡に組み込まれるか、または接眼鏡の外部に設けられるか、または内部に設けられたファシリティと外部に設けられたファシリティの組合せであってもよい。1つまたは複数の文字は、単語、句、英数字の文字列などであってもよい。第2の言語の1つまたは複数の文字は、外部ファシリティに保存され、同じテキストを見ている第2の接眼鏡において利用できるように、地理的位置識別子、オブジェクト識別子などを含むタグ付けのようなタグ付けが施されてもよい。さらに、提示される第2の言語の1つまたは複数の文字は、テキストのビューが接眼鏡の視野の外側を移動するとき、そのテキストが接眼鏡の視野内に戻ったときに表示できるように呼び出されるように記憶されてもよい。
[00701]一例において、接眼鏡は、盲目のユーザなどのために適応的な環境で使用されてもよい。諸実施形態では、顔認識または物体識別の結果を、聴覚的結果が得られるように処理してもよく、関連する耳栓/ヘッドフォンを介して眼鏡の装着者に音声として提示してもよい。他の実施形態では、顔認識または物体識別の結果を眼鏡または関連するコントローラの触振動に変換してもよい。一例では、誰かが適応的眼鏡のユーザの前に立っている場合、カメラはその人を撮像し、画像を内蔵プロセッサに送って顔認識ソフトウェアによって処理するか、あるいはサーバ上またはクラウド内で動作する顔認識ソフトウェアに画像を送ることができる。顔認識の結果はある個人の眼鏡のディスプレイにテキストとして表示されてもよいが、盲目または弱視のユーザの場合、結果は音声が得られるように処理されてもよい。他の例では、物体認識によって、ユーザが縁石、出入り口、またはその他の物体に接近していることを判定することができ、眼鏡またはコントローラはそのことを聴覚的または触覚的にユーザに警告する。弱視のユーザの場合、ディスプレイ上のテキストを拡大するかまたはコントラストを増大させることができる。
[00702]諸実施形態では、GPSセンサを使用して適応ディスプレイを装着しているユーザの位置を判定してもよい。GPSセンサは、ユーザの様々な目的地について、ユーザがその目的地に接近または到着したときにユーザに聴覚的に伝えるために、ナビゲーションアプリケーションによってアクセスされてもよい。諸実施形態では、ナビゲーションアプリケーションによってユーザを聴覚的に目的地に案内してもよい。
[00703]接眼鏡は、様々なアプリケーションおよび市場に有用であり得る。本明細書において説明する制御機構を使用して本明細書において説明するアプリケーションの機能を制御してもよいことを理解されたい。接眼鏡が一度に単一のアプリケーションを実行しても、または複数のアプリケーションが一度に動作してもよい。アプリケーション同士の間の切り替えは、本明細書において説明する制御機構によって行われてもよい。接眼鏡は、軍事アプリケーション、ゲーム、画像認識アプリケーション、電子書籍の視聴/注文、GPSナビゲーション(位置、方向、速度、およびETA)、モバイルTV、運動競技(ペース、ランク、および競技時間の視聴、コーチングを受ける)、遠隔治療、工業検査、航空、ショッピング、在庫管理追跡、消防(霧、靄、暗闇を透過するVIS/NIRSWIRセンサによって有効化される)、屋外/アドベンチャー、カスタム広告などに使用されてもよい。一実施形態では、接眼鏡を図7のGMAILなどのeメール、インターネット、ウェブ閲覧、運動競技の結果の視聴、映像チャットなどに使用してもよい。一実施形態では、接眼鏡は、無線によって両手の使える状態で受けることのできるメンテナンスおよび修理に関する指示のような段階的な指示を表示することなどによって、教育/訓練の目的に使用されてもよい。例えば、映像によるマニュアルおよび/または解説を視野内に表示してもよい。一実施形態では、接眼鏡をファッション、健康、および美容に使用してもよい。例えば、考えられる衣装、ヘアスタイル、または化粧をユーザのミラー画像上に投影してもよい。一実施形態では、接眼鏡をビジネスインテリジェンス、会合、および会議に使用してもよい。例えば、ユーザの名前タグをスキャンするか、またはユーザの顔を顔認識システムにかざすか、またはユーザが発話した名前をデータベースにおいて探索して人名情報を取得することができる。スキャンされた名前タグ、顔、および会話を後で視聴または整理できるように記録してもよい。
[00704]一実施形態では、接眼鏡によってある「モード」に入ってもよい。このモードでは、特定のアプリケーションが利用可能であってもよい。例えば、消費者向けの接眼鏡は、旅行モード、教育モード、インターネットモード、TVモード、ゲームモード、運動モード、ファッションモード、パーソナルアシスタントモードなどを有してもよい。
[00705]拡張現実眼鏡のユーザは、眼鏡を装着しながらTV電話またはTV会議に参加することを望む場合がある。デスクトップとラップトップの両方を含む多くのコンピュータは、TV電話およびTV会議を使用するのを容易にするために内蔵カメラを有する。通常、ソフトウェアアプリケーションを使用してカメラの使用と電話機能または会議機能とが統合される。ラップトップコンピュータおよびその他のコンピューティングデバイスの機能の多くを実現する拡張現実眼鏡を用いる場合、多くのユーザは、拡張現実眼鏡を装着して動きながらTV電話およびTV会議を利用することを望む場合がある。
[00706]一実施形態において、TV電話アプリケーションまたはTV会議アプリケーションは、WiFi接続と協働してもよく、あるいはユーザの携帯電話に関連付けられた3G通信ネットワークまたは4G通信ネットワークの一部であってもよい。TV電話またはTV会議用のカメラは、時計または他の別個の電子コンピューティングデバイスなどのデバイスコントローラ上に配置される。TV電話カメラまたはTV会議カメラを拡張現実眼鏡上に配置するのは実現不能である。その理由は、そのように配置すると、ユーザがユーザ自身のみを見ることになり、会議または電話の参加者が表示されないからである。しかし、ユーザは、前方監視カメラを使用してユーザの周囲またはTV電話の相手を表示することを選択してもよい。
[00707]図32は、TV電話またはTV会議において使用される代表的なカメラ3200を示す。そのようなカメラは通常、小型であり、図32に示すように時計3202に取り付けても、携帯電話またはラップトップコンピュータを含む他の携帯コンピューティングデバイスに取り付けてもよい。TV電話は、デバイスコントローラを携帯電話または他の通信デバイスに接続することによって動作する。各デバイスは、眼鏡のオペレーティングシステムおよび通信デバイスまたはコンピューティングデバイスと互換性のあるソフトウェアを利用する。一実施形態では、拡張現実眼鏡のスクリーンが、発呼に関するオプションのリストを表示してもよく、ユーザは、ポインティング制御デバイスを使用して身振りを行うか、または本明細書において説明する任意の他の制御技術を使用して拡張現実眼鏡のスクリーン上でTV電話オプションを選択することができる。
[00708]図33は、TV電話カメラのブロック図の実施形態3300を示す。カメラは、レンズ3302と、CCD/CMOSセンサ3304と、映像信号用のアナログデジタル変換器3306と、音声信号用のアナログデジタル変換器3314とを組み込んでいる。マイクロフォン3312が音声入力を収集する。アナログデジタル変換器3306および3314はどちらも出力信号を信号強調モジュール3308に送る。信号強調モジュール3308は、映像信号と音声信号の両方を合成した強調された信号をインターフェース3310に転送する。インターフェース3310は、制御モジュール3316と一緒にIEEE1394標準バスインターフェースに接続される。
[00709]動作時には、TV電話カメラは、入射光ならびに入射音を電子に変換する信号取り込み機能に依存する。光の場合、このプロセスはCCDチップまたはCMOSチップ3304によって実行される。マイクロフォンは音声を電気インパルスに変換する。
[00710]TV電話用の画像を生成するプロセスの第1のステップは、画像をデジタル化することである。CCDチップまたはCMOSチップ3304は画像を分解して画素に変換する。画素が多数の光子を収集している場合、電圧が高くなる。画素が収集している光子が少ない場合、電圧は低くなる。この電圧はアナログ値である。デジタル化の第2のステップの間に、電圧は、画像処理を行うアナログデジタル変換器3306によってデジタル値に変換される。この時点で、生のデジタル画像が利用可能である。
[00711]マイクロフォン3312によって取り込まれた音声も電圧に変換される。この電圧はアナログデジタル変換器3314に送られ、アナログ値がデジタル値に変換される。
[00712]次のステップは、信号をTV電話またはTV会議の視聴者に送ることができるように強調する。信号強調は、CCDチップまたはCMOSチップ3304の前方に配置されたカラーフィルタを使用して画像中の色を生成することを含む。このフィルタは、赤色、緑色、または青色であり、画素ごとにフィルタの色を変化させ、一実施形態では、カラーフィルタアレイまたはベイヤーフィルタであってもよい。これらの生デジタル画像は次いで、美的要件を満たすようにフィルタによって強調される。音声データも通話体験を向上させるように強調されてもよい。
[00713]送信の前の最後のステップにおいて、一実施形態ではデジタル映像カメラを使用して、画像データおよび音声データを圧縮しデジタル映像ストリームとして出力する。カメラを使用する場合、単一の画像を出力してもよく、さらなる実施形態では、ファイルに音声コメントを付加してもよい。生デジタルデータの強調はカメラから離れた位置で行われ、一実施形態では、拡張現実眼鏡がTV電話またはTV会議の間に通信するデバイスコントローラまたはコンピューティングデバイスにおいて行われてよい。
[00714]さらなる実施形態は、産業分野、医学分野、天文学分野、顕微鏡検査分野、特殊なカメラを使用する他の分野において使用される携帯カメラを実現してもよい。これらのカメラは、信号強調を行わず生デジタル画像を出力することが多い。これらのカメラは、他の電子デバイス上に取り付けられてもまたは使いやすいようにユーザの手に取り付けられてもよい。
[00715]カメラは、IEEE1394インターフェースバスを使用して拡張現実眼鏡およびデバイスコントローラまたはコンピューティングデバイスに接続される。このインターフェースバスは、データを操作するかまたは画像を転送するためのパラメータまたはファイルを含む、完全性が極めて重要な映像およびデータのような緊急を要するデータを送信する。
[00716]インターフェースバスだけでなく、各プロトコルもTV電話またはTV会議に関連するデバイスの動作を定義する。拡張現実眼鏡に使用されるカメラは、諸実施形態では、AV/C、DCAM、またはSBP−2の各プロトコルのうちの1つを使用してもよい。
[00717]AV/Cは、音声映像制御用のプロトコルであり、映像カメラおよび映像レコーダを含むデジタル映像デバイスの動作を定義する。
[00718]DCAMは、1394ベースのデジタルカメラ仕様を指し、音声を含まない非圧縮画像データを出力するカメラの動作を定義する。
[00719]SBP−2は、シリアルバスプロトコルを指し、ハードドライブまたはディスクなどの大容量記憶デバイスの動作を定義する。
[00720]同じプロトコルを使用するデバイスは互いに通信することができる。したがって、拡張現実眼鏡を使用するTV電話では、デバイスコントローラ上の映像カメラと拡張現実眼鏡によって同じプロトコルが使用されてもよい。拡張現実眼鏡とデバイスコントローラとカメラが同じプロトコルを使用するので、これらのデバイスの間でデータを交換することができる。デバイス同士の間で転送することのできるファイルには、画像ファイルおよび音声ファイル、画像データフローおよび音声データフロー、カメラを制御するためのパラメータなどが含まれる。
[00721]一実施形態において、TV電話を開始することを望むユーザは、呼プロセスが開始されたときに提示されるスクリーンからTV電話オプションを選択してもよい。ユーザは、ポインティングデバイスを使用した身振りよって選択を行うか、または身振りによってTV電話オプションを選択する信号を発する。ユーザは次に、デバイスコントローラ、腕時計、またはその他の分離可能な電子デバイス上に配置されたカメラを、カメラによってユーザの画像が取り込まれるように位置させる。画像は、上述のプロセスによって処理され、次に拡張現実眼鏡にストリーミングされ、かつ各ユーザに表示されるように他の参加者にストリーミングされる。
[00722]諸実施形態では、カメラを携帯電話、携帯情報端末、腕時計、ペンダント、あるいは持ち運ぶか、装着するか、または取り付けることのできる他の小型の携帯デバイスに取り付けてもよい。カメラによって取り込まれた画像または映像は、接眼鏡にストリーミングされてもよい。例えば、カメラをライフルに取り付けると、装着者は、視線に入らない目標を撮像し、接眼鏡への表示コンテンツのストリームとして画像をワイヤレスに受信することが可能になる。
[00723]諸実施形態では、本開示によって、装着者が図6のようにGPSベースのコンテンツ受信を行うことができる。上述のように、本開示の拡張現実眼鏡は、メモリと、全地球測位システムと、コンパスまたはその他の定位デバイスと、カメラとを含んでもよい。装着者に入手可能なGPSベースのコンピュータプログラムには通常、iPhone向けにApple Inc.App Storeから市販されているいくつかのアプリケーションを含めてもよい。スマートフォンの他のブランド用にこれらのプログラムと同様のバージョンが市販されており、このような同様のバージョンを本開示の実施形態に適用してもよい。このようなプログラムには、SREngine(シーン認識エンジン)、NearestTube、TAT Augmented ID、Yelp、Layer、およびTwittARoundと、RealSkiのような他のより専門的なアプリケーションが含まれる。
[00724]SREngineは、ユーザのカメラが見る対象を識別することのできるシーン認識エンジンである。SREngineは、建造物、構造物、絵画、物体、部屋などのシーンのような静的なシーンを認識することのできるソフトウェアエンジンである。この場合、SREngineは、SREngineが何を認識したかに応じて構造物または物体に仮想「ラベル」を自動的に貼り付けることが可能である。例えば、このプログラムは、図6のような街路シーンを見るときに本開示のユーザによって呼び出されてもよい。このエンジンは、拡張現実眼鏡のカメラを使用してパリのコンコルド広場の噴水を認識する。このプログラムは次いで、レンズ602上に投影される仮想画像618の一部として図6に示す仮想ラベルを呼び出す。ラベルは、画像618の底部に見られるようにテキストのみであってもよい。このシーンに適用可能な他のラベルには、「噴水」、「博物館」、「ホテル」、または後方の円柱状の建築物の名前を含めてもよい。この種の他のプログラムには、Wikitude AR Travel Guide、Yelp、および他の多数のプログラムを含めてもよい。
[00725]NearestTubeは例えば、同じ技術を使用してロンドンの最も近い地下鉄にユーザを案内し、他のプログラムは他の都市における同じ機能または同様の機能を実行することができる。Layerは、カメラ、コンパスまたは方向、およびGPSデータを使用してユーザの位置および視野を識別する別のアプリケーションである。この情報によって、オーバーレイまたはラベルを仮想表示し、ユーザに方向を示しユーザを案内するのを助けることができる。YelpおよびMonocleは同様の機能を実行するが、そのデータベースはいくらか専門的であり、ユーザをレストランまたは他のサービス提供業者に同様に案内するのを助ける。
[00726]ユーザは、本特許において説明する制御装置のいずれかを使用して、眼鏡を制御し、上記の機能を呼び出す。例えば、眼鏡は、ユーザからの音声コマンドを取り込んで、眼鏡のメモリに含まれるソフトウェアを使用して処理するためにマイクロフォンを備えてもよい。ユーザは次に、同じく眼鏡フレーム内に含まれる小型スピーカまたは耳栓からのプロンプトに応答してもよい。眼鏡は、スマートフォンに見られるトラックパッドと同様の小型トラックパッドを備えてもよい。トラックパッドは、ユーザが、タッチスクリーンと同様な、AR眼鏡内の仮想スクリーン上でポインタまたはインジケータを動かすのを可能にする。ユーザは、スクリーン上の所望の点に到達すると、トラックパッドを押してユーザの選択を示す。したがって、ユーザはプログラム、例えば観光案内プロセッサを呼び出し、次いでいくつかのメニューを経て、場合によっては国、都市を選択し、次に種類を選択する。種類の選択には、例えばホテル、ショッピング、博物館、レストランなどを含めてもよい。ユーザは、選択を行い、次いでARプログラムによって案内される。一実施形態では、眼鏡はGPSロケータを含んでもよく、現在の国および都市は、無効にすることのできるデフォルト位置を構成する。
[00727]一実施形態において、接眼鏡の物体認識ソフトウェアは、接眼鏡の前方監視カメラによって受信された画像を処理して視野内に何があるかを判定してもよい。他の実施形態では、接眼鏡のGPSによって求められる各位置のGPS座標は視野内に何があるかを判定するのに十分な座標であってもよい。他の実施形態では、環境内のRFIDまたは他のビーコンは、ある位置をブロードキャストしてもよい。その位置および視野内に何があるかを特定するために、上記のいずれか1つまたは組合せが接眼鏡によって使用されてもよい。
[00728]物体が認識されたときは、その物体を撮像するための解像度を高くするか、あるいは画像または映像を低圧縮度で取り込んでもよい。さらに、ユーザの視野内の他の物体の解像度を低くするか、あるいは画像または映像をより高い圧縮度で取り込んで必要な帯域幅を小さくしてもよい。
[00729]判定された後、ソーシャルネットワークコンテンツ、対話型ツアー、ローカル情報などのような視野内の対象となる点に関するコンテンツは、実世界の画像に重ね合わせてもよい。映画、地域情報、天気、レストラン、レストランの混み具合、地域の行事、地域の税金、音楽などに関する情報およびコンテンツに接眼鏡によってアクセスし、この情報およびコンテンツをユーザが観察して相互作用することができるように接眼鏡のレンズ上に投影してもよい。例えば、ユーザがエッフェル塔を見るときに、前方監視カメラがそれを撮像し、接眼鏡に関連付けられたプロセッサによって処理されるようにこのプロセッサに送ってもよい。物体認識ソフトウェアは、装着者の視野内の構造物がエッフェル塔であると認識してもよい。代替として、接眼鏡のGPSによって求められたGPS座標をデータベースにおいて探索し、座標がエッフェル塔の座標と一致するかどうかを判定してもよい。いずれの場合も、エッフェル塔観光客の情報、エッフェル塔の近傍のレストランおよびエッフェル塔自体の中のレストラン、地域の天気、地域の地下鉄情報、地域のホテル情報、他の近くの観光地などに関するコンテンツを探索してもよい。コンテンツとの相互作用は、本明細書において説明する制御機構によって有効化されてもよい。一実施形態では、接眼鏡の観光モードに入ったときにGPSベースのコンテンツの受信が有効化されてもよい。
[00730]一実施形態では、接眼鏡を使用してストリーミング映像を見てもよい。例えば、GPS位置による探索、視野内の物体の物体認識による探索、音声探索、ホログラフィックキーボード探索などを介して映像が識別されてもよい。引き続きエッフェル塔の例で説明する。映像データベースをエッフェル塔のGPS座標を介して探索するか、または視野内の構造物がエッフェル塔であると判定された後で「エッフェル塔」という単語によって探索することができる。探索結果は、エッフェル塔に関連する1つまたは複数のジオタグ付き映像を含んでもよい。映像に対して、本明細書において説明する制御技術を使用してスクロール機能またはフリップ機能を実行してもよい。対象となる映像は、本明細書において説明する制御技術を使用して再生されてもよい。映像を実世界のシーンに重ね合わせても、または視野の外側のレンズ上に表示してもよい。一実施形態では、本明細書において説明する機構を介して接眼鏡を暗くしてより高いコントラストで観察することができる。別の例では、接眼鏡は、本明細書において説明するようなカメラおよびネットワークのコネクティビティを利用して装着者にストリーミングTV会議機能を実行させることが可能であってもよい。ストリーミングされる映像は、少なくとも1人の他のTV会議参加者、視覚的プレゼンテーションなどの映像であってもよい。ストリーミングされる映像は取り込み時に、接眼鏡のユーザによる相互作用なしに自動的に映像記憶位置にアップロードされてもよい。ストリーミングされる映像は物理記憶位置にアップロードされてもまたは仮想記憶位置にアップロードされてもよい。仮想記憶位置は単一の物理位置に配置されてもまたは仮想記憶位置に配置されてもよい。TV会議のストリーミングされる映像は接眼鏡によって修正されてもよく、その場合、修正はセンサ入力に基づいてもよい。センサ入力は視覚センサ入力であってもまたは音声センサ入力であってもよい。視覚センサ入力は、TV会議の別の参加者、視覚的プレゼンテーションなどの画像であってもよい。音声センサ入力は、TV会議の特定の参加者の音声であってもよい。
[00731]諸実施形態では、接眼鏡は、スマートフォン、タブレット、パーソナルコンピュータ、エンターテイメントデバイス、携帯音楽・映像デバイス、ホームシアターシステム、ホームエンターテイメントシステム、別の接眼鏡などの外部ファシリティからワイヤレスストリーミングメディア(例えば、映像、音声、テキストメッセージ、電話呼、カレンダアラート機能)を受け入れるためのインターフェースを実現してもよい。ワイヤレスストリーミングメディアは、ブルートゥース、WiFi、ワイヤレスホームネットワーク接続、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスホームデジタルインターフェース(WHDI)、セルラモバイル通信などのような、当技術分野において周知のワイヤレス通信システムおよびプロトコルのいずれかによるメディアであってもよい。接眼鏡は、高データレートメディア(例えば、映像)をストリーミングするためのシステム、低データレートメディア(例えば、テキストメッセージ)をストリーミングするためのシステム、外部ファシリティと接眼鏡との間のコマンドデータ用のシステムなどのような複数のワイヤレス通信システムを使用してもよい。例えば、高データレート映像は、WiFi DLNA(Digital Living Network Alliance)インターフェースを介してストリーミングされてもよく、テキストメッセージなどの低データレートアプリケーションにはブルートゥースが使用されてもよい。諸実施形態では、外部ファシリティは接眼鏡とのインターフェースをサポートするためのアプリケーションを備えてもよい。例えば、ユーザのスマートフォンと接眼鏡とのインターフェースとして働くモバイルアプリケーションをユーザが利用することが可能であってもよい。諸実施形態では、外部ファシリティは、接眼鏡と相互作用するための送信ファシリティを備えてもよい。例えば、ユーザのスマートフォンと接眼鏡とのインターフェースとして働く送信機ドングルを設けてもよい。外部デバイスからのメディアのストリーミングでは処理要件の多くを外部デバイスに課すことができるので、接眼鏡がストリーミング映像に対処するのに必要な搭載処理機能を低減させることができる。例えば、ストリーミングメディアに対処するための接眼鏡の実施形態は、例えばストリーミングメディアを受け入れたり、データをバッファしたり、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリにストリーミングメディアを供給したりするためのインターフェースを備えてもよい。すなわち、ストリーミングメディアを受け入れるための接眼鏡の実施形態は、外部ファシリティ用のディスプレイとして働くような、本明細書において説明するような接眼鏡の他の実施形態の簡略化された形態であってもよい。一例では、ユーザは、映像をユーザのスマートフォンから接眼鏡の「簡略化形態」にストリーミングすることが可能であってもよい。しかし、当業者には、外部ファシリティ用のディスプレイインターフェースとしてのみ働く形態のような接眼鏡の最も単純な形態から、ワイヤレスストリーミングインターフェースが接眼鏡によって実現される複数の機能のうちの1つに過ぎない形態のような、本明細書において説明する機能の全範囲を含む形態までにわたる接眼鏡の実施形態を形成するように、本明細書において説明する任意の追加の機能を含めてもよいことが諒解されよう。例えば、本明細書において説明するような、制御技術、電力節約技術、アプリケーション、一方または両方のディスプレイをストリーミングメディアと一緒に駆動すること、3Dモードで表示することなどは、ストリーミングメディアの命令モード、電池の寿命を延ばすための電池管理、オプションのメディア視聴モードなどを補助するうえで、接眼鏡のより単純な形態でも有用であり得る。接眼鏡の極めて単純な形態は、外部ファシリティと接眼鏡との間のインターフェースが有線インターフェースである実施形態のような、接眼鏡のコストおよび複雑さを最低限に抑える実施形態を実現することができる。例えば、接眼鏡の一実施形態は、ユーザのスマートフォンまたはタブレットと接眼鏡との間の有線インターフェースを実現することができ、その場合、接眼鏡の1つまたは複数のレンズ上でコンテンツが見られるようにストリーミングメディアを光学アセンブリに送るのに必要な処理のみに接眼鏡の処理機能を制限することができる。
[00732]他の実施形態において、スマートフォン上で実行されるアプリケーションは、眼鏡のリモート入力デバイスとして働いてもよい。例えば、キーボードなどのユーザインターフェースは、ユーザがスマートフォンを介して文字を入力するのを可能にする。このアプリケーションはスマートフォンをBLUETOOTHキーボードのように表示することができる。アプリケーションは、眼鏡上で実行される擬似タッチスクリーンドライバに接触を送るフルスクリーンブランクアプリケーションであってもよく、したがって、ユーザはスマートフォンをピンチおよびドラッグを行うための実際の物理的な場所として使用してこれらの動きを実行し、手に触覚フィードバックを受け、眼鏡内に視覚的フィードバックを受けることができる。したがって、入力されるこれらの種類の身振りを利用する、眼鏡上で実行されるより汎用的なアプリケーションは、スマートフォンタッチスクリーンを使用するユーザに有利に働くことができる。コマンド情報は、視覚的インジケータを伴ってもよい。例えば、外部デバイスを使用して眼鏡または眼鏡アプリケーションを制御しているときに指がどこに位置しているかを知るために、指の動きの軌跡の強調表示のようなコマンド情報の視覚的表示を眼鏡内に施してもよい。本開示は、ユーザによって装着される対話型頭部装着接眼鏡であって、ユーザが周囲の環境および表示コンテンツを見るための光学アセンブリと、光学アセンブリにコンテンツを導入するように構成された内蔵画像光源と、内蔵プロセッサと、物理ユーザインターフェースおよび外部デバイスを内蔵プロセッサを介して動作することのできる接眼鏡用のユーザインターフェースに変換するためのアプリケーションを有する外部デバイスとを備え、外部デバイスとの物理的相互作用が表示コンテンツに示される対話型頭部装着接眼鏡を備えてもよい。諸実施形態では、外部デバイスは、スマートフォン、タブレット、モバイルナビゲーションデバイスなどであってもよい。物理ユーザインターフェースはキーパッド、タッチパッド、制御インターフェースなどであってもよい。例えば、物理インターフェースはiPhoneであってもよく、表示コンテンツは、接眼鏡上の表示コンテンツとしてiPhoneキーパッド上のユーザのアクションを仮想キーパッド上のアクションとして表示し、例えば、ユーザの指のアクションがiPhoneの物理キーパッドと物理的に相互作用しているときにキーの強調表示、キーを押していることを示す表示などを仮想キーパッド上に施す仮想キーボードであってもよい。指のアクションは、コンテンツの選択と表示コンテンツの移動のうちの一方であってもよい。この操作は、接眼鏡上の表示コンテンツのサイズを変更するためのピンチ操作のようなタッチパッド上の複数指アクションであってもよい。
[00733]上述のように、拡張現実のユーザは豊富な供給源からコンテンツを受け取ることができる。訪問者または観光客は選択を地域の業者または施設に限定することを望む場合があり、一方、訪問者または観光客を求める業者は、売り込みを、業者の地域または位置にいるが、地域の住人ではなく訪問者である人に限定することを望む場合がある。したがって、一実施形態において、訪問者または観光客は、探索を地域の業者、例えばある地理的範囲内の業者に限定してもよい。このような限定は、GPS基準を介して設定されても、または手動で地理的制限を示すことによって設定されてもよい。例えば、ストリーミングコンテンツまたは広告の供給源をその人からある半径(キロメートルまたはマイル単位で設定される値)内に限定することを要求してもよい。代替として、基準によって、供給源をある都市または州内に限定することを要求してもよい。このような限定は、家庭または事務所のコンピュータのユーザがキーボードまたはマウスを使用してユーザの探索を制限するのと同様に拡張現実のユーザによって設定されてもよく、拡張現実ユーザの入力は、単に音声によって行われても、または手振りによって行われても、または制御装置について説明する本開示の他の部分で説明する他の方法によって行われてもよい。
[00734]さらに、ユーザによって選択される利用可能なコンテンツを提供業者の種類によって制限または限定してもよい。例えば、ユーザは、選択を政府機関(.gov)または非営利機関または団体(.org)によって運営されているウェブサイトを有する業者に制限してもよい。このようにして、官庁、博物館、史跡などにより関心の強い観光客または訪問者は、乱雑だった選択肢がすっきりしたと感じることができる。そのような人は、利用可能な選択肢がより合理的な数まで減らされたときにより容易に決定を下すことが可能になる。利用可能な選択肢を迅速に減らす能力は、選択肢の数が多いパリまたはワシントンD.C.のような都市地域においてより望ましい。
[00735]ユーザは、本特許の他の個所で説明する方法またはモードのいずれかで眼鏡を制御する。例えば、ユーザは所望のプログラムまたはアプリケーションを音声によって呼び出しても、あるいは拡張現実眼鏡の仮想スクリーン上の選択肢を示すことによって呼び出してもよい。拡張眼鏡は、上述のように、眼鏡のフレーム上に取り付けられたトラックパッドに応答してもよい。代替として、眼鏡は、フレームに取り付けられた1つまたは複数の運動センサまたは位置センサに応答してもよい。センサからの信号は次いで、眼鏡内のマイクロプロセッサまたはマイクロコントローラに送られ、眼鏡は任意の必要な信号変換または処理も行う。選択されたプログラムが開始した後、ユーザは選択を行い、頭部の動き、手振り、トラックパッドを押す操作、または音声コマンドによって「はい」または「いいえ」を示す信号を発することのような、本明細書において説明する方法のいずれかによって応答を入力する。
[00736]同時に、コンテンツ提供業者、すなわち広告主も、売り込みを、ある地理的領域、例えば業者の市内にいる人に制限することを望む場合がある。同時に、広告主、場合によっては博物館が、地域の住民にコンテンツを供給することを望まず、訪問者または他の地域から来た人にコンテンツを供給することを望む場合がある。別の例では、広告を、ユーザが家にいるときには提示せず、ユーザが外出しているかまたは家から離れているときに提示することが可能である。本明細書において説明する拡張現実デバイスは、GPS機能と通信機能の両方と、広告の提示に関する地理的な規則を実施するための内蔵プロセッサとを備えることが望ましい。博物館がそのブロードキャスト機能を制限することによって限られた領域内でストリーミングコンテンツを供給することは簡単である。しかし、博物館では、インターネットを介してコンテンツを供給することができ、そのコンテンツは世界中で利用可能になり得る。この例において、ユーザは、博物館が本日開館しており、観光客が利用可能であることを通知するコンテンツを拡張現実デバイスを介して受信することができる。
[00737]ユーザは、博物館のリンクをクリックすることの拡張現実同等動作によってコンテンツに応答してもよい。拡張現実同等動作は音声表示、手または目の動き、またはユーザの選択に関する他の感覚的な表示、あるいは身体に取り付けられた関連するコントローラを使用することによるものであってもよい。博物館では、次いで、ユーザまたは少なくともユーザのインターネットサービスプロバイダ(ISP)のIDを示すクッキーを受信する。クッキーが地域のプロバイダ以外のインターネットサービスプロバイダを示すかまたは暗示している場合、博物館のサーバは次に訪問者に対して調整された広告または宣伝で応答してもよい。クッキーは通信リンクの表示、例えば電話番号も含む。電話番号が地域の番号ではない場合、これは、応答している人が訪問者であることの追加的な手がかりになる。博物館またはその他の施設の管理者は次に、そのマーケティング部によって要求または提案されるコンテンツで応答する。
[00738]拡張現実接眼鏡の別のアプリケーションは、ユーザの手の使用を最低限に抑え、その代わりに音声コマンド、しぐさ、または動きを使用して接眼鏡およびそのツールを制御するユーザの能力を利用する。上述のように、ユーザは拡張現実接眼鏡に情報を受信するよう要求してもよい。この情報は接眼鏡のメモリにすでに記憶されていてもよいが、その代わりに、インターネットを介してアクセスするかまたは場合によっては特定の会社もしくは団体の従業員のみがアクセスできるイントラネットを介してアクセスすることのできるデータベースのようにリモートに配置されてもよい。したがって、接眼鏡は、極めて近い距離で視聴することができ、かつ一般に手の使用を最小限に抑えて制御することのできるコンピュータまたはディスプレイスクリーンに例えられてもよい。
[00739]したがって、アプリケーションは現場で機械工または電子技術者に情報を供給することを含んでもよい。技術者は、例えば特定の構造またはエンジンもしくは電源を修理する際に遭遇する問題に関する情報を求めるときに眼鏡を装着してもよい。技術者は次に、音声コマンドを使用してデータベースにアクセスし、マニュアルまたは修理およびメンテナンスに関するその他の文献のような特定の情報についてデータベース内を探索してもよい。したがって、最低限の労力で、所望の情報に迅速にアクセスし、この情報を適用することができ、技術者が必要な修理またはメンテナンスを迅速に行い、機器を正常な状態に戻すことが可能になる。極めて重要な機器の場合、そのような時間の節約によって、修理またはメンテナンスのコストが節約されるだけでなく、生命を救うこともできる。
[00740]与えられる情報には、修理マニュアルなどを含めてもよいが、全範囲の音声−視覚情報を含めてもよく、すなわち、接眼鏡スクリーンは、技術者または機械工が特定の作業の実施を試みるのと同時にその作業をどのように実施すべきかについての映像を技術者または機械工に表示してもよい。拡張現実デバイスは、通信機能も含み、したがって、技術者は、作業に何らかの問題または予期せぬ障害がある場合に他の技術者に助けを求めてもよい。本開示のこの教育的な態様は、メンテナンスおよび修理に限定されず、中等教育または中等後教育、継続的な教養課程または話題、セミナーのような任意の教育的な試みに応用されてもよい。
[00741]一実施形態において、Wi−Fi対応接眼鏡は、オプトイン済みユーザのジオロケーションに関する位置情報アプリケーションを実行してもよい。ユーザは、ユーザの電話でアプリケーションにログインし、ユーザの位置のブロードキャストを有効化するか、またはユーザ自身の接眼鏡上でジオロケーションを有効化することによってオプトインすることができる。接眼鏡の装着者が人をスキャンし、したがってその人のオプトイン済みデバイスをスキャンすると、アプリケーションはオプトイン済みユーザを識別し、オプトイン済みユーザの視野内に拡張現実インジケータを投影することを求める命令をプロジェクタに送ることができる。オプトイン済みの人の周りに緑色の輪を配置してその人の位置が分かるようにしてもよい。別の例において、黄色の輪は、オプトイン済みであるが、ある基準を満たしておらず、例えばFACEBOOKアカウントを有していないか、あるいはFACEBOOKアカウントを有しているが共通の友人がいない人を示してもよい。
[00742]ある種のソーシャルネットワーキング、キャリアネットワーキング、およびデーティングアプリケーションは位置情報アプリケーションと協働することができる。接眼鏡上に常駐するソフトウェアは、ネットワーキングサイトおよびデーティングサイトと位置情報アプリケーションとを調和させることができる。例えば、TwittARoundはそのようなプログラムの1つであり、搭載されたカメラを利用して、位置がスタンプされたツイートを近くの他のツイッターユーザから検出してラベル付けする。これによって、本開示を使用する人は、他の近くのツイッターユーザを見つけることができる。代替として、ユーザは、ユーザのデバイスを様々なネットワーキングサイトおよびデーティングサイトからの情報を調和させるように設定することが必要になることがある。例えば、接眼鏡の装着者は、自分の位置をブロードキャストするすべてのE−HARMONYユーザを見ることを望む場合がある。オプトイン済みユーザが接眼鏡によって識別された場合、拡張現実インジケータをオプトイン済みユーザに重ね合わせてもよい。インジケータは、ユーザが装着者と共通するものを有したり、共通するものを多数有したりする場合に異なる外観を有してもよい。例えば、図16を参照すると分かるように、2人の人が装着者によって見られている。どちらの人も周りに配置された輪によってE−HARMONYユーザとして識別されている。しかし、実線の輪を有する女性は装着者と共通する項目を複数有しており、一方、点線の輪を有する女性は装着者と共通する項目を1つも有していない。任意の利用可能なプロファイル情報にアクセスしその情報をユーザに表示してもよい。
[00743]一実施形態では、ユーザがFACEBOOK、TWITTER、BLIPPY、LINKEDIN、GOOGLE、WIKIPEDIAなどのネットワーキングアカウントを有するユーザの方向に接眼鏡を向けたときに、ユーザの最近のポスト情報またはプロファイル情報を装着者に表示することができる。例えば、上記にTwittARoundに関して説明したように、最近のステータス更新、「ツイート」、「ブリップ」などを表示することができる。一実施形態では、装着者が接眼鏡を目標ユーザの方向に向けると、接眼鏡がある持続時間にわたってその方向に向けられ、ならびに/あるいはしぐさ、頭部、眼球、または音声の制御がアクティブ化されている場合、そのユーザに対する関心を示すことができる。対象ユーザは、対象となるものを示す表示をユーザの電話上またはユーザの眼鏡内に受け取ることができる。目標ユーザが装着者に関心があることを示しているが、装着者が最初に関心を示すのを待っている場合、ただちに目標ユーザの関心を示す表示を接眼鏡内にポップアップすることができる。制御機構を使用して画像を取り込み、目標ユーザの情報を関連する非揮発性メモリまたはオンラインアカウントに記憶してもよい。
[00744]ソーシャルネットワーキング用の他のアプリケーションでは、スウェーデン、マルメのTAT−The Astonishing Tribeから市販されているTAT Augmented IDなどの顔認識プログラムを使用してもよい。そのようなプログラムを使用して人をその顔の特徴によって識別してもよい。このソフトウェアは顔認識ソフトウェアを使用して人を識別する。Flickrから市販されている写真識別ソフトウェアのような他のアプリケーションを使用して、特定の近くの人を識別してもよく、次いで、その人に関する情報を含む情報をソーシャルネットワーキングサイトからダウンロードしてもよい。この情報にはその人の名前およびその人がフェースブック、ツイッターなどのサイト上で利用可能にしているプロファイルを含めてもよい。このアプリケーションを使用して、ユーザの人に関するメモリをリフレッシュしても、または近くの人を識別すると共にその人に関する情報を収集してもよい。
[00745]ソーシャルネットワーキングの他のアプリケーションでは、装着者が接眼鏡の位置情報ファシリティを利用して各位置に人、場所、製品などに関連してメモ、コメント、批評を残すことが可能であってもよい。例えば、ある人が訪問した場所に関するコメントをポスティングすることが可能であってもよく、次いでこのポスティングをソーシャルネットワークを介して他の人が利用することが可能であってもよい。別の例では、ある人がこのコメントをこの場所でポスティングし、別の人がその場所に来たときにそのコメントを利用できるようにしてもよい。このようにして、装着者は、この場所に来たときに他の人が残したコメントにアクセスすることが可能であってもよい。例えば、装着者がレストランの入口に来たときに、ある基準(例えば、最新の批評、批評した人の年齢など)によって分類された批評のようなそのレストランに関する批評にアクセスすることが可能であってもよい。
[00746]ユーザは、声で指示するか、または上述のように仮想タッチスクリーンから選択するか、またはトラックパッドを使用して所望のプログラムを選択するか、または本明細書において説明する制御技術のいずれかを実施することによって、所望のプログラムを起動してもよい。次いで、同様にまたは補足的にメニューからの選択を行ってもよい。ユーザの身体の好都合な位置に取り付けられたセンサまたは入力デバイス、例えばリストパッド、手袋、または場合によっては、スマートフォンもしくは携帯情報端末のサイズの個別のデバイスに取り付けられたセンサおよびトラックパッドを使用してもよい。
[00747]本開示のアプリケーションは、装着者が接眼鏡のワイヤレス通信インターフェースを介して閲覧、探索、ショッピング、娯楽などのインターネットアクセスを実行するのを可能にしてもよい。例えば、装着者は、装着者の身体のある部分(例えば、手、頭部、足)に装着された制御ファシリティを介した制御身振り、装着者が使用するある構成要素(例えば、パーソナルコンピュータ、スマートフォン、音楽プレーヤ)上での制御身振り、装着者の近くの家具(例えば、椅子、机、テーブル、ランプ)上での制御身振りなどによってウェブ探索を起動してもよく、その場合、ウェブ探索の画像は、接眼鏡を介して装着者に見えるように投影される。装着者は次いで、接眼鏡を介して探索を見て制御ファシリティによってウェブ相互作用を制御してもよい。
[00748]一例では、ユーザは、眼鏡として構成された実施形態を着用することができ、周囲の現実環境の少なくとも一部分を同時に見る能力を維持しながら、インターネットウェブブラウザの投影画像が眼鏡を通して提供される。この事例では、ユーザは、運動に反応する制御ファシリティを手に着用することができ、この制御ファシリティは、従来のパーソナルコンピュータ構成のマウスと同様に、接眼鏡に対するユーザの手の相対的な運動をウェブ制御のための制御運動として送信することができる。ユーザは従来のパーソナルコンピュータ構成と同様にしてウェブ動作を行うことができることが理解される。この場合は、検索を行うための動作を選択するための制御が手の運動を通じて提供される時に、ウェブ検索の画像が接眼鏡を通じて提供される。例えば、手の全体的な運動で、投影されたウェブ検索の画像内でカーソルを動かし、(1本または複数の)指を軽く動かすことで選択動作を提供すること等ができる。そのようにして、インターネットに接続された実施形態を通じて、装着者は所望のウェブ検索、またはインターネットブラウザで可能になる他の機能を行うことができるようになる。一例では、ユーザは、App Storeから入手可能なコンピュータプログラムYelpやMonocle、または近隣のレストランや他の店舗を探すためのZagatのアプリケーションであるNRU(「near you」)、Google Earth、Wikipedia等の同様の製品をダウンロードしている場合がある。ユーザは、例えばレストランや、ホテル、修理等の他の商品やサービスの提供者、または情報の検索を開始することができる。所望の情報が見つかると、位置が表示さるか、または距離および所望の位置までの道案内が表示される。表示は、ユーザの視野内で現実世界の対象と同じ場所に配置された仮想ラベルの形態をとることができる。
[00749]Layar(オランダ、アムステルダム)の他のアプリケーションは、ユーザが求める特定の情報に合わせて設定された各種の「レイヤ」を含む。レイヤは、レストラン情報、特定企業、不動産の一覧、ガソリンスタンド等についての情報を含むことができる。モバイルアプリケーションやユーザの全地球測位システム(GPS)等のソフトウェアアプリケーションで提供される情報を使用して、要求された情報を有するタグと共に眼鏡の画面に情報を提示することができる。ハプティック制御または本開示の他個所で論じられる他の制御を使用して、ユーザは身体を旋回または他の形で回転させ、情報を含んでいる仮想タグが付けられた建物を見ることができる。ユーザがレストランを探している場合は、画面に、店名や位置などのレストラン情報が表示される。ユーザが特定の住所を探している場合は、装着者の視野内にある建物の上に仮想タグが現れる。そして、ユーザは、声、トラックパッド、仮想タッチ画面等により選択を行うことができる。
[00750]本開示の応用例は、装着者に広告を配信する手段を提供することができる。例えば、閲覧者が日常生活を送っている時に、インターネットを閲覧する、ウェブ検索を実行する、店舗内を歩行する等している最中に、接眼鏡を通じて閲覧者に広告を表示することができる。例えば、ユーザがウェブ検索を行い、そのウェブ検索を通じてユーザにターゲット広告を提示する。この例では、広告は投影されたウェブ検索と同じ空間に投影して、装着者の視野角の脇、上、または下に移動させることができる。別の例では、おそらくは装着者の近くにある何らかの広告提供ファシリティが接眼鏡の存在を感知して(例えばワイヤレス接続、RFID等を通じて)広告を接眼鏡に誘導した時に、接眼鏡に広告を配信させることができる。諸実施形態では、接眼鏡を使用して広告との対話を追跡することができ、例えば、ユーザは、広告板、販売宣伝、広告等を見る、またはそれらと対話する。例えば、広告に関するユーザの振る舞いを追跡して、利益、報酬等をユーザに提供することができる。一例では、ユーザが広告板を見るたびに仮想の金銭で5ドルをユーザに払うことができる。接眼鏡は、ブランド画像を見ること等に基づいて(例えば時間や地理に基づく)、印象の追跡を提供することができる。その結果、位置と、ユーザが見たもの、聴いたもの、対話したもの等の接眼鏡に関連する事象とに基づいて特別提供を絞ることができる。諸実施形態では、広告のターゲット化は、過去にユーザが対話した対象や対話のパターン等に基づく等、振る舞いの履歴に基づくことができる。
[00751]例えば、装着者がマンハッタンでウィンドウショッピングをしており、その場所の店舗がそのような広告提供ファシリティを備えているとする。装着者が店舗の前を通りかかると、広告提供ファシリティが、GPS等の接眼鏡の内蔵位置センサによって判定されたユーザの既知の位置に基づいて、装着者への広告の配信を発生させる。一実施形態では、磁力計等の他の内蔵センサを介してユーザの位置をさらに精緻化して、極めてローカルな拡張現実の広告提供を可能にすることができる。例えば、モールの1階にいるユーザは、磁力計およびGPSの測定値がユーザが特定店舗の前にいることを示す場合に、特定の広告を受け取ることができる。ユーザがモール内で1階上に移動すると、GPSの位置は変わらないが、磁力計の測定値はユーザの高度が変化したことを示し、ユーザを新たに別の店舗の前に位置付けることが考えられる。諸実施形態では、個人プロフィール情報を記憶することにより、広告提供ファシリティが広告を装着者の必要性により合わせられるようにする、装着者が広告の選好を提供する、または装着者が少なくとも一部の広告を遮断する等を可能にすることができる。装着者が広告およびそれに伴う割引を友人に回すことができるようにしてもよい。装着者は、近傍にいて各自の接眼鏡を備えている友人に直接広告および割引を通信することも、ワイヤレスインターネット接続を通じて、電子メール、SMS等で友人のソーシャルネットワーク等に通信することもできる。装着者は、提供者から装着者への広告の通信や装着者から広告ファシリティ、広告の提供者等へのフィードバックを可能にするファシリティおよび/またはインフラストラクチャ、友人や家族、もしくは装着者の近くにいる者などの他のユーザ、接眼鏡上のローカルな店舗、またはインターネットやユーザの自宅コンピュータ等上の遠隔地にある店舗等に接続することができる。これらの相互接続ファシリティは、接眼鏡に組み込まれたファシリティを含んで、装着者の方向、速度、姿勢(例えば注視の方向)を判定するためのGPS、3軸センサ、磁力計、ジャイロスコープ、加速度計等の使用を通じてユーザの位置および注視の方向を提供することができる。相互接続ファシリティは、セルラリンク、WiFi/MiFiブリッジ等の遠隔通信ファシリティを提供することができる。例えば、装着者は、セルラシステムとの間の利用可能なWiFiリンク、内蔵MiFi(または他の個人もしくはグループ向けのセルラリンク)等を通じて通信することができる。後に使用するために装着者が広告を記憶するファシリティがあってよい。ローカル領域等に広告をキャッシュすることができるファシリティを装着者の接眼鏡に内蔵する、またはローカルコンピュータのファシリティに置くことができ、キャッシュされた広告は、その広告に関連付けられた位置に装着者が近づくと広告の配信を可能にすることができる。例えば、ローカルな広告を、地理的位置を特定したローカルな広告および特別の広告を保持するサーバに記憶しておき、装着者が特定の位置に接近するとそれらの広告を装着者に個別に配信する、または装着者が広告のセットに関連付けられた地理的領域に入るとその広告をまとめて装着者に配信して、ユーザが特定の位置に近づいた時にそれらの広告を利用できるようにしてもよい。地理的位置は、町、町の一部、複数のブロック、1つのブロック、道路、道路の一部、歩道等であり、地域全体、特定地域、極めてローカルな領域を表す。上記の説明では「広告」という用語を使用しているが、当業者には、この語は、発表、放送、宣伝、コマーシャル、スポンサー付きの通信、推薦、通知、販売促進活動、公告、メッセージ等も意味しうることが認識されよう。
[00752]図18〜図20Aに、メッセージを送信することを希望する小売店等の事業者から短距離内にいる者に個別設定されたメッセージを配信する種々の方式を示す。まず図18を参照すると、諸実施形態では、接眼鏡の装着者が歩行または運転している時などに、上記の商品やサービスの提供者を検索するアプリケーションにより、個別設定された広告板を見る手段を提供することができる。図18に示すように、広告板1800に、販売者またはサービス提供者により表示された拡張現実を利用した例示的広告が示されている。例示的な広告は、図示するように、あるバーの飲料の特別提供に関連する。例えば、1杯分の代金で2杯のドリンクを提供することができる。このような拡張現実を利用した広告および特別提供で、装着者の注意を容易に広告板に向けさせることができる。広告板は、道路の住所、部屋番号、電話番号等のバーの位置に関する詳細も提供することができる。他の実施形態によると、接眼鏡以外の数種のデバイスを利用して広告板を見ることができる。そのようなデバイスには、これらに限定しないが、スマートフォン、iPhone、iPad、車のフロントガラス、ユーザの眼鏡、ヘルメット、腕時計、ヘッドフォン、車両マウント等が含まれる。一実施形態によると、ユーザ(拡張現実技術が接眼鏡に組み込まれる場合は装着者)が道路を歩行または運転して通過すると、自動的に特別提供を受け取る、または広告板のシーンを見ることができる。別の実施形態によると、ユーザは、自身の要求に基づいて特別提供を受け取る、または広告板のシーンを見ることができる。
[00753]図19は、拡張現実方式で見ることができる、販売者またはサービス提供者からの特別提供や広告を掲載した道路脇にある2つの例示的な広告板1900を示す。拡張広告は、ユーザまたは装着者に生の現実に近い知覚を提供することができる。
[00754]図20に示すように、接眼鏡の中に設けられたカメラレンズ等の拡張現実対応デバイスを利用して、道路脇、または建物や店舗の上部、側面、正面に表示する事が可能なグラフィティ2000、スローガン、描画等を受け取る、かつ/または見ることができる。道路脇の広告板とグラフィティは、広告または広告データベースを広告板にリンクする視覚的なインジケータ(例えばコード、形状)またはワイヤレスのインジケータを有することができる。装着者が広告板に近づき、広告板を見ると、広告板の広告の投影を装着者に提供することができる。諸実施形態では、個人のプロフィール情報を記憶して、広告を装着者の必要性により合わせられるようにする、または装着者が広告の選好を提供する、または装着者が少なくとも一部の広告をブロックする等を可能にすることができる。諸実施形態では、接眼鏡が、広告板の接眼鏡に投影される領域の明るさとコントラストを制御できることにより、明るい屋外の環境などで広告の判読性を向上させることができる。
[00755]他の実施形態では、ユーザが、自身のGPS位置または磁力計の測定値等他の位置のインジケータに基づいて、特定の位置についての情報またはメッセージを投稿することができる。その対象となる閲覧者は、図20Aで説明するように、その位置から一定の距離内にいる時にそのメッセージを見ることができる。図20Aの方法の最初のステップ2001で、ユーザは、メッセージが送信先の人々に受信される位置を決定する。そしてメッセージが投稿され2003、受信者が意図された「閲覧領域」に近づくと、該当する1人または複数の人に送信される。拡張現実接眼鏡の装着者の位置は、接眼鏡の一部を形成するGPSシステムによって継続的に更新される2005。GPSシステムが、装着者が、要求される閲覧領域から一定の距離、例えば10メートル以内にいると判断すると、メッセージが閲覧者に送信される2007。一実施形態では、次いで、メッセージが電子メールまたはテキストメッセージとして受信者に表示されるか、受信者が接眼鏡を装着している場合は、接眼鏡にメッセージを表示することができる。メッセージは人の位置に基づいてその人に送信されるため、ある意味では、メッセージは、指定された位置またはその近傍にある建物またはフィーチャに「グラフィティ」として表示することができる。特定の設定を使用して、「閲覧領域」を通るすべての人がそのメッセージを見られるのか、あるいは特定の人、または特定の識別子を持つ人々もしくはデバイス群だけがメッセージを見られるのかを決定することができる。例えば、ある村を掃討している兵士が、その家にメッセージまたは識別子を関連付けることにより、家の位置に大きな「X」のマークを付ける等、処理した家に処理済みと仮想的に印をつけることができる。兵士は、他の米国人兵士だけがこの位置に基づくコンテンツを受信できることを指示することができる。他の米国人兵士がこの家のそばを通ると、接眼鏡または拡張現実対応の他のデバイスを持っている場合は家の側面に仮想的な「X」を見ることにより、または家が処理済みであることを知らせるメッセージを受信することにより、自動的に通知を受信することができる。別の例では、アラート、目標識別、通信等の安全性の用途に関連するコンテンツを接眼鏡にストリーミングすることができる。
[00756]諸実施形態は、店舗等で製品に関連付けられた情報を見る手段を提供することができる。情報は、食品製品の栄養情報、衣料製品の手入れの指示、消費者家電製品の技術仕様、電子クーポン、販売促進情報、他の類似製品との価格の比較、他店との価格比較等を含むことができる。この情報は、製品に対する相対的なポジションに投影する、装着者の視界の周辺部に投影する、店舗のレイアウトに関連して投影する等が可能である。製品の識別は、SKUやブランドタグ等で視覚的に識別する、製品に取り付けられたRFIDタグなど製品の包装から送信される、店内での装着者のポジション、製品に対する相対的なポジション等に基づいて店舗から送信される等が可能である。
[00757]例えば、閲覧者が衣料品店の中を歩いており、歩くのに従って棚にある衣料品についての情報が提供され、情報は製品のRFIDタグを通じて提供される。諸実施形態では、情報は、情報の一覧として、図式的表現として、オーディオおよび/またはビデオの提示等として伝達することができる。別の例では、装着者が食品の買い物をしており、広告提供ファシリティが、装着者の近くにある製品との関連で装着者に情報を提供し、装着者が製品を手に取ってブランド、製品名、SKU等を見ると、装着者に情報を提供することができる。そのようにして、より多くの情報が得られる環境を装着者に提供することができ、効果的に買い物を行うことができる。
[00758]一実施形態では、ユーザは、例示的なサングラスの接眼鏡にはめ込まれたカメラレンズ等の拡張現実対応デバイスの使用を通じて、買い物や都市部についての情報を受信または共有することができる。そのような実施形態では、上記で商品やサービスの提供者を検索する例に関連して述べたような拡張現実(AR)ソフトウェアアプリケーションを使用する。あるシナリオでは、接眼鏡の装着者が買い物のために道路またはマーケットを歩いている。さらに、ユーザは、特定のシナリオまたは環境についてユーザの好みを定義するのを支援する各種モードを起動することができる。例えば、ユーザはナビゲーションモードに入ることができ、このモードでは、好みのアクセサリや製品の買い物のために装着者を道路およびマーケット内で誘導することができる。モードの選択と各種の指示は、テキストコマンド、音声コマンド等の各種方法を通じて装着者が行うことができる。一実施形態では、装着者は、音声コマンドを与えてナビゲーションモードを選択することができ、その結果、装着者の前に拡張表示を表示させることができる。拡張された情報は、マーケット内の各種店舗や業者の位置、様々な店舗や様々な業者の特別提供、現在のハッピーアワー、現在の日時等に関連する情報を描写することができる。各種のオプションも装着者に表示することができる。装着者は、それらのオプションをスクロールしながらナビゲーションモードで誘導される道路を歩いて行く。装着者は、提供されるオプションに基づいて、特別提供や割引等に基づいて買い物に最も適した場所を選択することができる。諸実施形態では、接眼鏡は、接眼鏡を通して見られる購入対象品の広告等を検索、閲覧、選択、保存、共有、受信する能力を提供することができる。例えば、装着者は、インターネットで商品を検索し、アプリケーションストアや商取引アプリケーション等を通じて、通話を行わずに購入することができる。
[00759]装着者は、その場所に向かってナビゲートするよう命じる音声コマンドを与え、その場所に向かって誘導される。装着者は、広告および特別提供を自動的に、または、近隣の買い物店等の関心位置における現在の買い得品、販売促進物、およびイベントに関する要求に基づいて受信することもできる。広告、買い得品、および特別提供を装着者の近傍に表示することができ、その広告、買い得品、および特別提供に基づいて所望の製品を購入するためのオプションを表示することができる。装着者は、例えば製品を選択し、Google checkoutを通じてそれを購入することができる。図7と同様にしてメッセージまたは電子メールを接眼鏡に表示することができ、製品を購入するための取引が完了した旨の情報を含む。製品の配送状況/情報も表示することができる。装着者はさらに、ソーシャルネットワークプラットフォームを通じて友人や親類に特別提供やイベントを伝え、または知らせ、また参加するように要求することもできる。
[00760]諸実施形態では、ユーザは頭部装着接眼鏡を装着することができ、接眼鏡は、ユーザがそれを通じて周囲の環境および表示コンテンツを見ることができる光学アセンブリを含む。表示コンテンツは、1つまたは複数のローカルな広告を含むことができる。接眼鏡の位置は、内蔵された位置センサで判定することができ、ローカルな広告は、接眼鏡の位置と関連性を持つことができる。例として、ユーザの位置をGPS、RFID、手動入力等で判定することができる。さらに、ユーザがあるコーヒー店の前を通りかかると、ユーザが店の近傍にいることに基づいて、ファーストフードのレストランやコーヒーの商標等の店の商標1900を示す、図19と同様の広告をユーザの視野に表示することができる。ユーザは、周囲の環境内を移動するのに従って同様の種類のローカル広告を経験することができる。
[00761]他の実施形態では、接眼鏡は、接眼鏡が人間の皮膚と接触しているかどうかを感知することが可能な静電容量センサを内蔵することができる。センサとしては、静電容量センサ、抵抗センサ、誘導センサ、電磁界センサ等を用いることができる。そのようなセンサまたはセンサ群は、眼鏡がユーザに装着されている時にそのことを検出できるように、接眼鏡または接眼鏡のつるに配置することができる。他の実施形態では、センサを使用して、例えばつるが開かれた状態にある等、接眼鏡がユーザが装着可能な状態にあるかどうかを判定することができる。さらに、接眼鏡が人間の皮膚と接触している時のみ、装着可能な状態にある時のみ、両者の組み合わせ時、実際にユーザに装着されている時のみ等に、ローカルの広告を送信してもよい。他の実施形態では、接眼鏡の電源が投入される、または接眼鏡の電源が投入されてユーザに装着されるのに応答してローカルの広告を送信することができる。例として、ユーザが特定の事業者の近くにおり、かつユーザが実際に眼鏡を装着しており、電源を投入していて、適切な時に広告主がユーザにターゲット広告を送ることができる時だけ、ローカルの広告を送信することを広告主が選択することができる。
[00762]他の実施形態によると、ローカルの広告は、バナー広告、2次元グラフィック、テキスト等としてユーザに表示することができる。さらに、ローカルの広告は、ユーザが見ている周囲の環境の物理的な態様に関連付けることもできる。ローカルの広告は拡張現実広告として表示してもよく、広告が周囲の環境の物理的態様に関連付けられる。そのような広告は、2次元であっても3次元であってもよい。例として、ローカルの広告は、図18にさらに説明するように物理的な広告板に関連付けることができ、広告板1800から周囲の環境内の実際の建物に飲料が注がれている様子を示す表示コンテンツにユーザの注意を引くことができる。ローカルの広告は、眼鏡のつる、オーディオデバイス、または他の手段を通じてユーザに表示される音を含むこともできる。さらに、ローカルの広告は、諸実施形態では動画とすることができる。例えば、ユーザは、飲み物が広告板から近くの建物に流れ、任意で周囲の環境に注ぎ込むのを見ることができる。同様に、広告は、広告内で求められる他の種の動きを表示することができる。また、ローカルの広告は、周囲の環境に関連付けるか、または環境と対話する事が可能な3次元物体として表示してもよい。ユーザが見ている周囲の環境内の対象に広告が関連付けられる実施形態では、ユーザが頭の向きを変えても、広告は対象に関連付けられた、または対象の近傍にある状態を保つことができる。例えば、図19に示すコーヒーカップのような広告が特定の建物に関連付けられる場合、コーヒーカップの広告は、ユーザが頭の向きを変えて自身の環境内にある別の対象を見ても、その建物に関連付けられ、建物に重なっている状態を保つことができる。
[00763]他の実施形態では、ローカルの広告は、ユーザが行うウェブ検索に基づいてユーザに表示することができ、広告は、ウェブ検索結果の内容の中に表示される。例えば、ユーザが道路を歩きながら「ハッピーアワー」を検索し、その検索結果の内容にローカルの広告を表示して、近隣のバーのビールの値段を宣伝することができる。
[00764]さらに、ローカル広告の内容は、ユーザの個人情報に基づいて決定することもできる。ユーザの情報を、ウェブアプリケーション、広告ファシリティ等が入手できるようにしてもよい。さらに、ウェブアプリケーション、広告ファシリティ、またはユーザの接眼鏡が、ユーザの個人情報に基づいて広告をフィルタリングしてもよい。一般に、例えば、ユーザが自身の好きな物や嫌いな物についての個人情報を記憶し、その情報を使用してユーザの接眼鏡に広告を誘導することができる。具体例として、ユーザが地元のスポーツチームに親近感を持っていることに関するデータを記憶し、広告を利用可能にする際に、ユーザの好きなスポーツチームを使った広告を優先し、ユーザにプッシュすることができる。同様に、ユーザの嫌いな物を使用して特定の広告を視界から除外することができる各種実施形態で、広告はサーバにキャッシュしておき、広告ファシリティ、ウェブアプリケーション、および接眼鏡の少なくとも1つが広告にアクセスし、ユーザに表示することができる。
[00765]各種実施形態で、ユーザは、任意種のローカル広告と多数の方式で対話することができる。ユーザは、目の動き、身体の動き、および他の身振りの少なくとも1つの動作を行うことにより、ローカル広告に関連する追加的な情報を要求することができる。例えば、広告がユーザに表示されると、ユーザは視野内で広告の上で手を振るか、または広告の上で目を動かすことによって特定の広告を選択して、その広告に関連する情報をさらに受け取ることができる。さらに、ユーザは、目の動き、身体の動き、他の身振り等の任意の動き、または本明細書に記載される制御技術で、広告を無視することを選択することもできる。さらに、ユーザは、一定の期間内は対話対象としてその広告を選択しないことによってデフォルトで広告を無視させることにより、広告を無視することを選択することもできる。例えば、ユーザが、広告が表示されて5秒以内にその広告からさらに情報を得るための身振りをしない事を選択すると、広告をデフォルトで無視し、ユーザの視野から消すことができる。さらに、ユーザは、ローカルな広告を表示させないことを選択することができ、そのようなオプションは、グラフィカルユーザインターフェースで選択するか、または接眼鏡のコントロールを介して当該機能をオフにする。
[00766]他の実施形態では、接眼鏡は、オーディオデバイスを含むことができる。そのため、表示コンテンツは、ローカル広告とオーディオを含むことができ、ユーザは、ローカル広告に関連するメッセージや他の音効果も聴くことができる。例として、再度図18を参照すると、ユーザは、ビールが注がれているのを見る時に、広告内の動作に対応するオーディオ送信を実際に聴くことができる。この場合、ユーザは、瓶が開けられる音と、次いで液体が瓶から流れ出し、屋根の上に注ぐ音を聞くことができる。さらに他の実施形態では、説明的なメッセージを再生するか、または一般的な情報を広告の一部として与えるか、またはその両方を行うことができる。諸実施形態では、広告に求められる任意のオーディオを再生することができる。
[00767]別の実施形態によると、接眼鏡にはめ込まれたカメラレンズ等の拡張現実対応デバイスの使用でソーシャルネットワーキングを容易にすることができる。これを利用して、拡張現実対応デバイスを持っていない可能性のある数人のユーザまたは他の者を共に接続して、考えやアイデアを互いと共有することができる。例えば、接眼鏡の装着者が他の学生と共に学校の構内に座っているとする。装着者は、コーヒー店にいる可能性のある第1の学生に接続し、メッセージを送信することができる。装着者は、例えば環境経済などの特定の科目に関心がある人に関して第1の学生に尋ねる。他の学生が装着者の視野を通過すると、接眼鏡内部にはめ込まれたカメラレンズがその学生を追跡し、公開プロフィールを保持している可能性のある「Goggle me」等のネットワーク化データベースと照合することができる。公衆データベースから得た、関心があり関連性のある人物のプロフィールを接眼鏡上で装着者の前に表示させることができる。関連しない可能性のあるプロフィールの一部はブロックするか、またはブロックした状態でユーザに表示することができる。関連するプロフィールを強調表示して、装着者がすぐに参照できるようにすることができる。装着者によって選択された関連するプロフィールの人物は環境経済の科目に興味を持っている可能性があり、装着者はその人々にも接続することができる。さらに、それらの人を第1の学生にも接続することができる。そのようにして、拡張現実のフィーチャに対応した接眼鏡の使用で、装着者によってソーシャルネットワークを確立することができる。装着者に管理されるソーシャルネットワークとその中で行われる会話は、将来参照するために保存することができる。
[00768]本開示は、接眼鏡にはめ込まれたカメラレンズ等の拡張現実対応デバイスの使用により、不動産のシナリオで適用することができる。本実施形態によると、装着者は、運転中や、歩行中、ジョギング中等の特定の時に自身がいることのある場所についての情報を得たいと考える。装着者は、例えば、その場所の居住に関する利益と損失を知りたいとする。装着者は、その場所のファシリティに関する詳細な情報も得たいと考える。したがって、装着者は、Googleのオンラインマップ等の地図を利用し、その場所で賃借または購入することが可能な不動産を把握することができる。上記のように、ユーザは、Layar等のモバイルインターネットアプリケーションを使用して、販売または賃貸される不動産についての情報を受け取ることができる。そのような応用例の1つでは、ユーザの視野内にある建物の情報が、ユーザによる検討のために眼鏡の内部に投影される。接眼鏡のレンズで装着者にオプションを表示して、眼鏡のフレームに取り付けられたトラックパッド等によりスクロールすることができる。装着者は、オプションを選択し、そのオプションについての情報を受け取ることができる。選択されたオプションの拡張現実対応のシーンが装着者に表示され、装着者は、仮想の環境内で写真を見、ファシリティツアーを行うことができる。装着者はさらに不動産代理店についての情報を受け取り、その1つと面会の予約を取ることができる。電子メールによる通知または電話による通知も接眼鏡上で受け取って、面会の予約を確認することができる。装着者が選択した不動産に価値があることが分かると、取引を行い、その不動産を装着者により購入することができる。
[00769]別の実施形態によると、接眼鏡にはめ込まれたカメラレンズ等の拡張現実対応デバイスの使用を通じて、ユーザに合わせたスポンサー付きのツアーや旅行を強化することができる。例えば、装着者(旅行者)がパリ等の街に到着し、その場所の観光に関連する情報を受け取って、それに応じて滞在中の連続した日の観光を計画しようとする。装着者は接眼鏡をかけるか、任意の他の拡張現実対応デバイスを操作し、自身の要求に関する音声またはテキストコマンドを与えることができる。拡張現実対応接眼鏡は、地理的感知技術を通じて装着者のポジションを特定し、装着者の観光に関する好みを判定することができる。接眼鏡は、装着者の要求に基づいてユーザに合わせた情報を受信し、画面に表示することができる。ユーザに合わせた観光情報は、美術ギャラリーや博物館、記念碑や歴史的な場所、買い物の複合施設、娯楽やナイトライフの場所、レストランやバー、最も人気のある観光地や観光旅行の中心地/名所、最も人気のある地元/文化的/地域的な行き先や名所等についての情報を含むことができるが、これらに限定されない。そのようなカテゴリからの1つまたは複数のユーザの選択に基づいて、接眼鏡は、滞在時間、観光旅行への投資金等、他の質問をユーザに与えることができる。装着者は、音声コマンドで応答し、それに対して、ユーザが選択した順序でユーザに合わせたツアー情報を受け取ることができる。例えば、装着者は、記念碑よりも美術ギャラリーを優先することができる。それに応じて情報を装着者が利用できるようにすることができる。さらに、下記のように、いくつかの異なるツアーオプションのセットおよび異なる優先順位を含む地図も装着者の前に表示することができる。
優先順位1:第1のツアーオプション(シャンセリゼ、ルーブル、ロダン、美術館、有名なカフェ)
優先順位2:第2のツアーオプション
優先順位3:第3のツアーオプション
[00770]装着者は、例えば、装着者が指示した好みに基づいて最高の優先度に順位づけられているため、第1のオプションを選択することができる。選択の直後に、スポンサーに関連する広告を出現させることができる。その後、現実世界の環境に非常に近い拡張現実方式で仮想のツアーが開始することができる。装着者は、例えば、バハマのAtlantis Resortへの30秒間の休暇特別ツアーを行うことができる。仮想の3Dツアーは、ホテルの部屋、ビーチ、公衆の空間、公園、ファシリティ等の簡単な紹介を含むことができる。装着者は、その領域の買い物ファシリティも体験し、その場所および店舗の特別提供や割引も受け取ることができる。一日が終わる時には、装着者は、自分の部屋またはホテルに座ったままで丸一日のツアーを体験している。最後に、装着者は、それに応じて自分の計画を決め、計画を立てることができる。
[00771]別の実施形態では、接眼鏡にはめ込まれたカメラレンズ等の拡張現実対応デバイスを使用することにより、自動車の修理および保守サービスに関する情報も可能にすることができる。装着者は、要求に対応する音声コマンドを送信することにより、自動車修理店およびディーラーに関連する広告を受け取ることができる。この要求は、例えば、車両/自動車のオイル交換が必要であることを含む。接眼鏡は、修理店から情報を受信し、装着者に表示することができる。接眼鏡は、装着者の車両の3Dモデルを引き出し、拡張現実対応のシーン/表示を通じて、車に残っているオイルの量を示すことができる。接眼鏡は、ブレーキパッドのような他の部品の保守の必要性等、装着者の車両についての他の関連情報も示すことができる。装着者は、摩耗しているブレーキパッドの3D表示を見、それも修理または交換しようと考える。そのため、装着者は、接眼鏡の内蔵ワイヤレス通信機能を使用することにより、業者の予約をとって問題を解決する予定を立てることができる。その確認を、接眼鏡のカメラレンズ上で電子メールまたは着信アラートを通じて受け取ることができる。
[00772]別の実施形態によると、接眼鏡にはめ込まれたカメラレンズ等の拡張現実対応デバイスの使用で、贈答品の買い物が利益を得ることができる。装着者は、テキストコマンドや音声コマンドを通じて、何らかの行事のための贈答品の要求を出すことができる。接眼鏡は、贈答品の種類、贈答品を受け取る人の年代、贈答品の価格範囲等の好みを教えるように装着者を促す。受け取られた好みに基づいて、各種の選択肢をユーザに提示することができる。例えば、装着者に提示される選択肢は、クッキーのかご詰め、ワインとチーズのかご詰め、チョコレートの詰め合わせ、ゴルファー向けのギフトセット等とすることができる。
[00773]利用可能な選択肢を装着者がスクロールし、音声コマンドまたはテキストコマンドを介して最適な選択肢を選択することができる。例えば、装着者はゴルファー向けのギフトセットを選択する。ゴルファー向けのギフトセットの3D表示がゴルフコースと共に装着者の前に表示される。拡張現実を通じて可能になるゴルファー向けのギフトセットとゴルフコースの仮想3D表示は、現実世界環境とほぼ同じように知覚することができる。装着者は最後に、接眼鏡を通じて促される住所、位置、および他の同様の質問に返答することができる。そして、その確認を、接眼鏡のカメラレンズ上で電子メールまたは着信アラートを通じて受け取ることができる。
[00774]各種実施形態で、眼鏡プラットフォームを各種の制御機構と共に使用して、物理的な入力および情報入力を受け取り、各種処理機能を行い、フィードバックループに基づく等して内蔵フィーチャおよび外部フィーチャおよびシステムを制御し、コンテンツと対話し、電子商取引を実行することができる。そのような電子商取引およびコンテンツのシナリオは膨大にあるが、その一部には、これらに限定されないが、小売買い物環境、教育環境、輸送環境、家庭環境、イベント環境、飲食環境、および屋外環境が含まれる。本明細書ではこれらの領域について記載するが、各種の他のシナリオが当業者には明らかであろう。
[00775]諸実施形態では、小売買い物環境で眼鏡プラットフォームを使用することができる。例えば、ユーザは、眼鏡を使用して、興味のある商品および/または環境に関連するコンテンツを受け取ることができる。ユーザは、小売買い物環境で、価格情報や代替の特別提供、SKU/バーコード、評価、広告、Grouponの特別提供等の製品情報を受け取る、かつ/または調べることができる。諸実施形態では、ユーザは特定の商品の位置情報を要求または取得することができる。ユーザは、特定のブランド、商品、および/または買い物環境に関連するロイヤルティプログラム情報に関する情報も取得することができる。さらに、ユーザはカメラ、スキャナ、QRリーダ等を備えた眼鏡を使用して、商品を見て、買い物かごに入れることができる。さらに、ユーザは、接眼鏡を使用して商品群の中で最良の商品を検出することができる。例として、ユーザは、眼鏡のフィーチャを起動して、特定の方式で商品を視覚化することができ、例えば、商品の密度や厚みを判定または感知して商品群の中で最良のものを見つけるプログラムを用いる。諸実施形態では、ユーザは、眼鏡を使用して、商品の価格を交渉する、または希望する価格を挙げることができる。例えば、ユーザは、商品を仮想的に、または眼鏡に付随するスキャナ等で読み取ってから、身振りをする、目を動かす、または音声コマンドを使用する等により、その商品に払ってよい価格を告げることができる。ユーザはさらに眼鏡を使用して商品の読み取りを命令し、ユーザインターフェースを通じて表示または提示される支払い方法で支払いをすることができる。支払いは、本明細書に記載されるように、手の身振り、目の動き等を介して指示することができる。同様に、ユーザは、買い物に出かけた時に例えばGroupon等を通じて「ポイント」や報酬を引き換え、特定の商品および/または事業者に関連する販売促進を受け取ることができる。さらに、ユーザは眼鏡と併せて画像認識を用いることができ、1つのインターフェース内で商品が認識され、その商品の注文が行われる。例えば、眼鏡と共に使用されるプログラムにより、ユーザは眼鏡を使用して店頭で腕時計を認識し、それにより、商品が認識されるとインターフェース内でその商品の発注メニューを表示させることができる。追加的な実施形態では、バーコード、QRコード、製品ラベル等を読み取ることにより、眼鏡プラットフォームに情報を入力することができる。ユーザが小売環境を通過する、または眼鏡で小売インターフェースにいる時に、プロセス、サイン、広告、クーポン等の販売促進情報を眼鏡で読み取る、または他の方法で受け取る、または認識することができる。ユーザは、取引時に使用するためのポイントカードを眼鏡で読み取るか、または小売の取引時に使用する同様の情報を他の方法で入力することができる。諸実施形態で、眼鏡は、ナビゲーションおよび案内を支援することができる。例えば、ユーザに店舗の特定の地図を提示し、通路の商品内容標識を提供して、ユーザがより円滑に商品までたどり着き、小売環境内を移動できるようにする。ユーザは実際の環境から製品の画像を取り込む、または製品の画像をダウンロードして、その画像を使用して商品を購入する、商品についてのメモを作成する、商品の評価、感想、および製品情報等を生成または受け取ることができる。さらに、対象の画像および眼鏡の地理的位置特定アプリケーションを用いることにより、ユーザは、その商品がある最も近い位置、近隣地域の商品の感想等を受け取ることもできる。諸実施形態では、ユーザの地理的な位置を特定することにより、特定の対象画像を生成する、またはより適切に認識することが可能になる。
[00776]より具体的な例として、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備えることができ、接眼鏡は、接眼鏡が小売環境の近くにあることを判定するモジュールを含み、システムは、ユーザがそれを通じて周囲の小売環境を見る光学アセンブリと、環境のフィーチャを認識し、頭部装着接眼鏡における接眼鏡の小売位置をターゲットとする広告コンテンツの3D表示を描画する3D処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込み、処理する画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含むことができ、内蔵画像光源は、3D表示を環境上へのオーバーレイとして描画し、内蔵画像光源は、小売環境に関連する広告コンテンツの3D表示を提示する。諸実施形態では、3D処理モジュールは、環境の認識されたフィーチャの上に表示要素を固定することができ、コンテンツは、認識されたフィーチャとの関係をもって表示内に提示することができる。諸実施形態では、広告の3D表示の描画は、バーコード、QRコード、製品ラベル製品等の少なくとも1つ読み取った結果行うことができる。また、描画は、製品の購入、接眼鏡内での製品画像の入力、小売環境の位置の入力(または小売環境の位置の中への移動)、製品へのユーザの目の固定、および接眼鏡内でのロイヤルティプログラム情報の入力の結果行ってもよい。諸実施形態では、製品の読み取り、製品の購入、小売環境の位置への進入等の少なくとも1つが行われた結果、第2の3D表示を描画することができる。諸実施形態では、ユーザは、接眼鏡を介して電子商取引を実行することができ、取引は、購入する商品のスキャン、他の商品との比較に基づく商品の選択、価格の交渉、ロイヤルティポイントの引き換え、販売促進物の引き換え、商品の発注等を含むことができる。諸実施形態では、広告は、ユーザの近くにある商品の位置を含むことができる。商品の位置は、ユーザの位置との関係で示すことができ、ユーザに商品までの案内を与えることができる。諸実施形態では、接眼鏡をソーシャルネットワーキングに使用することができ、接眼鏡は、小売環境で他人の顔認識を用いることができる。さらに、接眼鏡を使用して環境内の人の存在を認識することができ、装着者と認識された人との関係に関連するソーシャルネットワーキングのコンテンツを提示することができる。さらに、ユーザは、体の一部で身振りをすることにより、友達の申請を送受信することができる。諸実施形態では、ユーザは広告を介して商品の価格を比較することができる。諸実施形態では、広告はオーディオコンテンツを含むことができる。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによってフィーチャを認識すること、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。さらに、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。諸実施形態では、オーバーレイは、認識されたフィーチャの上またはその近傍にコンテンツを提示することができ、さらなる実施形態では、認識されるフィーチャは、購入する商品、販売される商品、サイン、広告、通路、店内の位置、キヨスク、サービスカウンタ、キャッシュレジスタ、テレビ、画面、買い物カート等、の少なくとも1つとすることができる。
[00777]諸実施形態では、教育環境で眼鏡を使用することができる。例として、眼鏡は、教科書等に見られるような電子学習コンテンツを表示することができる。眼鏡を使用して、ユーザは、試験する項目を見、入手し、検討することができる。諸実施形態では、試験を行っている間ユーザを監視することができる。眼鏡は、ユーザが教材内を移動する間ユーザの時間を計測し、ユーザの応答を追跡してユーザの回答および/または試験の進捗に基づいて必要に応じて試験を調整することができる。さらなる実施形態では、ユーザは、眼鏡を介して拡張現実(AR)のオーバーレイを見ることができる。諸実施形態では、ARのオーバーレイは、実習課程、講義等の段階的な案内を含むことができる。諸実施形態では、仮想の教授を表示して、ビデオ、オーディオ、およびチャットを介して対話できるようにする。ユーザは、眼鏡を介して黒板/ホワイトボードを見ることができ、ボード上にさらに項目を入力し、それを、ユーザインターフェース上で黒板/ホワイトボードを見る他のユーザと共有することができ、または表示として、ユーザが特定の黒板/ホワイトボードを見る時にARのメモ等の実際のボードを追加し、かつ/または重ねることができる。諸実施形態では、眼鏡は、クラスまたは教育部門のメンバ用のソーシャルネットワークプラットフォームを提供し、クラスのメンバ向け、またはメンバに関するソーシャルネットワークコンテンツを提供することができる。
[00778]諸実施形態では、眼鏡を教育環境における商取引に使用することができる。例として、ユーザは眼鏡を使用してプログラムを購入するか、または他の形でコンテンツの進行と教科の単位を追跡することができる。さらに、ユーザは、試験や小テストの級およびこれから行われる試験および小テストの実施日を監視することができ、ユーザは課程の単位/学位の情報をダウンロードすることができ、ユーザは、授業で議論される、またはシラバスに記載される等の学習課題を取り込んで予定表に追加することができ、ユーザは、眼鏡を介して友人またはクラスのメンバと連絡を取ることにより会うことができる。諸実施形態では、ユーザは、請求書と授業の明細書を検討のために見、追跡することができる。諸実施形態では、ユーザは、プログラムを購入して行う、またはプログラムを使用することができ、プログラムはそのプログラムとの関連で広告を提供する。
[00779]さらなる実施形態では、ユーザは教育環境で眼鏡を用いることができる。ユーザは、試験/小テストの答案用紙をスキャンして眼鏡を介して見る、操作する、またはその他を行うことができる。ユーザは、教科書の内容、マニュアル、および/または問題用紙、黒板/ホワイトボードの内容に関連するデータをスキャンまたは他の方法で取り込んで、ノートをとり、課題を追跡することができる。ユーザは、ポスター/標識に関連するデータを読み取る、または取り込むことができる。そのため、ユーザは、これから行われる学生の会合、調査表構築の説明、会合の場所等を追跡することができる。諸実施形態では、ユーザは、クラスメート、友人、関係者等の顔を撮影することができる。諸実施形態では、眼鏡でユーザの目の動きを追跡して、コンテンツとの対話を検証することができる。諸実施形態では、眼鏡は、コンテンツの取り込み等のために「Lifestride」または他のペン機能に対応することができる。ユーザが身振りでノートを示し、眼鏡と通信状態にあるペンを動かすと、眼鏡がユーザのノートを記憶することができる。他の実施形態では、ユーザが身振りをすると、その身振りに基づいて眼鏡がノートを記録することができ、さらに他の実施形態では、ユーザの手に関連付けられた別のセンサで、ユーザがメモを書くと眼鏡でノートを記録できるようにすることができる。
[00780]諸実施形態では、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備えることができ、接眼鏡は、接眼鏡が教育環境の近くにあることを判定するモジュールを含む。さらに、システムは、ユーザがそれを通じて周囲の環境を見る光学アセンブリと、環境のフィーチャを認識し、その環境に関連する教育関連コンテンツを描画する処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込み、処理する画像処理モジュールであって、環境の認識されたフィーチャの上に表示要素を固定することが可能な画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含み、内蔵画像光源は、環境上へのオーバーレイとして教育関連コンテンツを描画し、コンテンツは、認識されたフィーチャとの関係で表示内に提示することができる。諸実施形態では、内蔵画像光源は、輸送環境に関連する輸送コンテンツの表示を提供することができ、認識されたフィーチャとのそのような関係は存在しない場合もある。諸実施形態では、教育コンテンツの描画は、バーコード、QRコード等を読み取った結果行うことができ、また、接眼鏡内で教科書の画像を入力した結果、接眼鏡内で配布物の画像を入力した結果、環境内でマーカを認識した結果、および教育環境内の位置に入った結果行ってもよい。諸実施形態では、教育環境は、教室、運動スタジオ、自動車の修理所、ガレージ、屋外環境、体育館、研究室、工場、事業所、台所、病院等とすることができる。さらに、教育コンテンツは、テキスト、教科書の抜粋、指示、ビデオ、オーディオ、実習計画、化学構造、3D画像、3Dオーバーレイ、テキストのオーバーレイ、教室、問題用紙、試験、レシピ、授業のノート、医療カルテ、顧客ファイル、安全に関する注意、練習の手順とすることもできる。諸実施形態では、教育コンテンツは、環境内の対象に関連付ける、または対象の上に重ねることができる。諸実施形態では、対象は、ホワイトボード、黒板、機械、自動車、航空機、患者、教科書、プロジェクタ等である。諸実施形態では、システムをソーシャルネットワーキングに使用することができ、さらに、環境内のクラスメート、教師等の少なくとも1人の顔認識を用いることができる。諸実施形態では、ユーザは、身体の一部で身振りをすることにより、友達の申請を送受信することができる。諸実施形態では、ユーザは、コンテンツと対話して、試験を受ける、課題を終える、シラバスを見る、授業の計画を見る、技術を練習する、課程の進行を追跡する、学生の単位を追跡する、ノートを取る、ノートを記録する、質問を提出する等ができる。諸実施形態では、オーバーレイで、認識されたフィーチャの上またはその近傍にコンテンツを提示することができる。さらに、認識されるフィーチャは、ポスター、黒板、ホワイトボード、画面、機械、自動車、航空機、患者、教科書、プロジェクタ、モニタ、机、スマートボードの少なくとも1つとすることができる。例として、黒板で縁取られたディスプレイ上にノートが表示される、ディスプレイ上の画面がある箇所に動画が表示される、分子の表示が黒板に重ねて表示される等が可能である。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによってフィーチャを認識すること、フィーチャの位置を処理することによるフィーチャに関する情報の取得、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。さらに、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。
[00781]諸実施形態では、眼鏡を輸送環境で使用することができる。例として、ユーザは、輸送に関連する予定、利用可能性、遅延、およびキャンセル等のコンテンツを取得、または取り込むことができる。例えば、飛行場に到着すると、ユーザは、利用するフライトの情報を眼鏡を介して見、利用するフライトが時間通りであるか、遅れるかを確認することができる。諸実施形態では、ユーザは、自分の座席/等級の選択を見、軽食と食事の好みを選択することができる。ユーザは眼鏡を介してチェックインし、諸実施形態では眼鏡を介して自分の座席の選択を変更または更新することができる。諸実施形態では、ユーザであるパイロットに、FAA要件についての飛行前確認リストの段階的な手順を与えることができる。諸実施形態では、列車の車掌やパイロット等に、列車、飛行機等を操縦する際に案内とナビゲーションの指示を与えることができる。他の実施形態では、ユーザである乗客が眼鏡を介して安全情報を確認することができ、例えば、ユーザは、飛行前の安全に関する指示を見、非常設備等をどのように操作するかを説明される。諸実施形態では、ユーザは眼鏡を使用して、レンタルカー、ホテル等の付随的な品目を予約することができる。諸実施形態では、ユーザは、個人ツアーを予約する、かつ/または眼鏡を介して関心のある領域の仮想ツアーを行うことができる。ユーザは、旅先の周囲の環境を見ることができるため、到着する前にその領域になじんでおくことができる。他の実施形態では、ユーザは、各種品目のプロセスを調べ、比較することもできる。ユーザは、特定のアカウントで利用できる報酬、引き換え可能なポイント、それを利用できる品目等のロイヤルティコンテンツを見る、かつ/または受け取ることができる。ユーザは、眼鏡を介してフライト、レンタルカー、ホテル等を予約する際にロイヤルティポイントを引き換えることができる。諸実施形態では、ユーザは、旅行または輸送環境でネットワーキングの目的で眼鏡を用いることができる。例えば、ユーザは、自身が利用する特定フライトまたは列車にどのような人が搭乗しているのかを知ることができる。ユーザは眼鏡を使用して、移動中に娯楽コンテンツを見ることもできる。例として、機内映画をユーザの眼鏡に送信することができる。諸実施形態では、ユーザは、様々な位置に関連するコンテンツを見ることができ、ARの陸標等も見ることができる。例として、ある風景のそばを列車または飛行機が通り過ぎる時に、ユーザは特定の地域に関連付けられた陸標等、興味のある品目のARオーバーレイを見ることができる。諸実施形態では、ユーザは、移動中に広告板/標識を通り過ぎる時に広告コンテンツを受け取ることができる。さらに、ユーザは、自身の輸送にかかわっている輸送の専門家に関連する人員情報を受け取ることができる。例として、ユーザは、タクシーの運転手に関連する情報を受け取って、運転手の記録を調べる、またはパイロットの安全性の評価付けを反映する可能性のある、パイロットの事故および/または違反の記録を見ることができる。
[00782]さらに、ユーザは、輸送環境で商取引との関連で眼鏡を使用することができる。例えば、ユーザは、眼鏡を使用して席を予約する、そのための報酬ポイントを引き換える、移動中の食事を計画し、その支払いをする等ができる。ユーザは、フライトを見つけ、予約/支払いをし、車を借り、ホテル、タクシー、バス等を予約することができる。ユーザは、他の乗客等、自分の移動に関連する人々につながることができる。諸実施形態では、ユーザは眼鏡を使用して移動することができる。例えば、ユーザにバスとタクシーの路線図を与えて、町を回る際の最良の道順と方法を示すことができる。ユーザは、そのためのアプリケーションを買い、かつ/またはそのためのアプリケーションに関連付けられた広告を見ることができる。ユーザは、陸標の中および周辺でARコンテンツと対話し、移動中にARを利用した広告板や標識等の広告や販売宣伝物と対話することができる。
[00783]諸実施形態では、ユーザは、輸送環境で眼鏡プラットフォームに項目を入力することができる。例えば、ユーザは、眼鏡の使用を介して自分の券を読み取って、チェックイン手順を開始することができる。ユーザには、輸送中に、速度、燃料、およびGPS位置を表示する計器パネルを提供することができる。眼鏡はBluetooth(登録商標)を介して車両のITシステムと通信して、計器パネルを表示し、車両および/または輸送のモードに関する情報を提供することができる。諸実施形態では、ユーザは眼鏡を使用して他の乗客の顔を認識する、かつ/または画像を眼鏡に入力することにより他の乗客の画像を記憶することができる。ユーザは、陸標に関連するコンテンツを眼鏡に入力して対話するか、または後に取り出すためのデータベースを作成することができる。諸実施形態では、ユーザは、ARを利用している場合もそうでない場合もある広告板/標識を入力して、それを記憶する、または対話することができる。
[00784]さらに、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備え、接眼鏡は、接眼鏡が輸送環境の近くにあることを判定するモジュールと、ユーザがそれを通じて周囲の環境を見る光学アセンブリと、環境のフィーチャを認識し、輸送環境に関連する輸送関連コンテンツを描画する処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込み、処理する画像処理モジュールであって、環境の認識されたフィーチャの上に表示要素を固定することが可能な画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含み、内蔵画像光源は、環境の上へのオーバーレイとして輸送コンテンツを描画し、コンテンツは、認識されたフィーチャとの関係で表示内に提示することができる。諸実施形態では、内蔵画像光源は、輸送環境に関連する輸送コンテンツの表示を提示することができ、認識されたフィーチャとのそのような関係は存在しない場合もある。諸実施形態では、輸送コンテンツの描画は、バーコード、QRコード、券等を読み取った結果、輸送の券の画像を入力した結果、列車、列車の駅、タクシー乗り場、タクシー、空港、航空機、ボート、駅、地下鉄、地下鉄の駅等に入った結果行うことができる。諸実施形態では、輸送コンテンツは、テキスト、ビデオ、オーディオ、3D画像、3Dオーバーレイ、テキストのオーバーレイ、道案内、スケジュール、地図、ナビゲーション、広告、関心のある地点の位置、付随的リソース、安全に関する指示、飛行に関する指示、運転員の確認表、FAA情報、フライト情報、発着時刻情報、旅行日程等である。諸実施形態では、付随的リソースは、ホテルの予約、車のレンタルの予約、食事の予約、個人の好みの記述、座席選択の変更、地元の娯楽の検索、地元のツアーの計画等を行うためのリソースを含むことができる。諸実施形態では、ユーザは、接眼鏡を用いて、フライト、乗船、列車の乗車のための乗車券を購入することができ、ユーザは、地下鉄パスの金銭価値を購入し、タクシーを予約し、輸送のスケジュールを調べ、旅行の価格を比較し、交通案内を取得し、輸送経路を取得し、地図上で現在の位置を見、種々の方式の輸送の効率的な経路を見ること等が可能である。諸実施形態では、コンテンツを車両に関連付けてその車両に関する情報を表示することができ、そのような情報は、緊急時の出口情報、保守管理情報、運行情報、計器パネル情報、機種情報等を含むことができる。本システムをソーシャルネットワーキングに使用することができ、システムは、環境内の旅行者や運転員等の顔認識を用いることができる。ユーザは、体の一部で身振りをすることにより、友達の申請を送受信することができる。諸実施形態では、接眼鏡を使用して環境内の人の存在を認識し、装着者と認識された人物との関係に関連するソーシャルネットワーキングのコンテンツを提示することができる。諸実施形態では、ユーザは表示された広告と対話して追加的な情報を得ることができる。諸実施形態では、コンテンツは拡張された環境であり(かつコンテンツで環境を拡張することができ)、コンテンツは、視覚的な指示、オーディオによる指示、視覚的マーカ、緊急時にその環境を出る等の様々な理由に対応したオーバーレイの経路計画等を含むことができる。諸実施形態では、オーバーレイは、認識されたフィーチャの上またはその近傍にコンテンツを提示することができる。さらに、認識されるフィーチャは、ポスター、列車、航空機、タクシー、ボート、地下鉄の列車、画面、キヨスク、地図、窓、および壁、の少なくとも1つとすることができる。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによってフィーチャを認識すること、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。さらに、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。
[00785]諸実施形態では、眼鏡プラットフォームを家庭環境で使用することができる。諸実施形態では、眼鏡をコンテンツと共に使用することができる。例えば、眼鏡を娯楽に使用することができ、ユーザは自宅でメディアを視聴することができる。眼鏡を買い物に使用することもでき、例えば食料雑貨品のリスト等を生成し、必要な備蓄される品目の在庫の一覧を作成し、それらを確認することができる。ユーザは、眼鏡を介して請求書を支払う、あるいは家族のために行う作業の確認表を作成する等により、眼鏡を家族のための手配に用いることもできる。例えば、眼鏡を使用して、医者の予約を取る、これから行われるサッカーの試合を予約する等が可能である。眼鏡は手順に関する案内に使用することができる。例として、眼鏡を使用して、DVDの再生、VCR、リモコン等の機器を操作する際にユーザを指導することができる。さらに、眼鏡はセキュリティおよび/または安全のために使用することができる。ユーザは、自宅にいる時、または自宅外にいる時に警報システムを作動させて、システムが稼働していることを確かめることができる。ユーザは、自宅外にいる時に自宅のカメラを見て、家の中の照明を点灯および消灯する等ができる。ユーザに緊急時の指示を与えることができ、例えば、火災、ハリケーン等の際にすべきことの指示をユーザに与えることができる。ユーザは、本明細書に記載されるように眼鏡のフィーチャを起動して、煙のある状態で見る等することができる。ユーザは、眼鏡を用いてそのような緊急時に家族を追跡し、連絡を取ることができる。眼鏡は、救命のためのCPRの案内、911への通話等を提供することができる。
[00786]諸実施形態では、家庭環境における商取引に眼鏡を用いることができる。例えば、ユーザは眼鏡を用いて食品の配達、ドライクリーニングの確認、ドライクリーニングの受け取りの指示等を行うことができる。ユーザは、映画、ビデオゲーム等の娯楽コンテンツを注文することができる。諸実施形態では、ユーザは、家事用商品の案内資料を見つけて使用したり、請求書の支払いをしたりすることができる。ユーザは、自宅にいる時に広告および/または販売宣伝を見て、それに働きかけることができる。例えば、ユーザが台所でミキサーを使用している時に広告が眼鏡に表示される場合、広告がユーザに新製品のミキサーの詳細を知るよう促し、ユーザはその広告を選択してその機器についてさらに詳しいことを知ることができる。
[00787]諸実施形態では、ユーザは、家庭環境で眼鏡を使用して、眼鏡に情報を入力することができる。例として、ユーザは、事務書類を入力して、それを記憶する、取り出す、対話すること等ができる。ユーザは、買い物のリスト、請求書、確認表、マニュアル、郵便等を入力することができる。ユーザは、AR対応の紙の郵便広告、TV、ラジオ等から広告を入力することができる。ユーザは、紙の広告をスキャンすることにより、広告に関連付けられた追加的なAR情報を見る、または受け取ることができる。ユーザは、例えば電気器具や他のハードウェアを識別するための埋め込まれた記号および/またはIDを入力することができる。ユーザは、WiFiネットワークのコンテンツを眼鏡に入力することができる。さらに、ユーザは、画面やスマートTVのコンテンツ等のテレビコンテンツを入力することができる。そのため、ユーザは、眼鏡プラットフォームを介してそのようなコンテンツと対話することができる。ユーザは、遠隔制御コマンドを眼鏡プラットフォームに入力して、TV、VCR、DVDプレーヤ、電気器具等の各種デバイスを操作できるようになる。さらに、ユーザはセキュリティシステムのコンテンツを入力することにより、セキュリティシステムやそれに関連するカメラ等と対話し、制御することができる。ユーザは、セキュリティシステムに関連付けられた各種のカメラフィードを見て、眼鏡プラットフォームを介して家庭環境周辺の様々な領域を見ることができる。眼鏡は、Bluetooth(登録商標)、インターネット、Wi−Fi接続等を介してそのようなカメラと結合することができる。ユーザに、さらに、アラートを設定する、アラートをオフにする、セキュリティシステムに関連するアラートを見て対話する等を可能にしてもよい。
[00788]さらに、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備え、接眼鏡は、接眼鏡が家庭環境の近くにあることを判定するモジュールと、ユーザがそれを通じて周囲の環境を見る光学アセンブリと、環境のフィーチャを認識し、その環境に関連する家庭関連コンテンツを描画する処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込み、処理する画像処理モジュールであって、認識された環境のフィーチャの上に表示要素を固定することが可能な画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含み、内蔵画像光源は、環境の上へのオーバーレイとして家庭関連コンテンツを描画し、コンテンツは、認識されたフィーチャとの関係で表示内に提示することができる。諸実施形態では、内蔵画像光源は、環境に関連するコンテンツの表示を提示することができ、認識されたフィーチャとコンテンツとのそのような関係は存在しない場合もある。諸実施形態では、コンテンツの描画は、家に入る、ユーザが家の中にある品目を注視する、接眼鏡で環境内のマーカを認識する、家の中の別のデバイスを操作する等の結果行うことができる。諸実施形態では、コンテンツは、VCR、DVR、衛星受信機、セットトップボックス、ビデオオンデマンドデバイス、オーディオ機器、ビデオゲーム機、警報システム、家庭コンピュータ、冷暖房システム等のデバイスを操作するためのユーザインターフェースを含むことができる。諸実施形態では、ユーザは、目の動き、手による身振り、うなずき等を介してユーザインターフェースと対話することができる。諸実施形態では、コンテンツは、ユーザが買い物リストを作成する、食料雑貨品の在庫を調べる、請求書の支払いをする、請求書を見る、デバイスを起動する、照明を操作する、家族や他人との仮想の通信を生成する、ドライクリーニングや食品等の配達を注文する、環境内の広告に働きかける等の作業を行うことを可能にする。諸実施形態では、ユーザは、家庭環境に接近してくる他者、または家の中の他者の顔を認識することができる。諸実施形態では、コンテンツは、緊急時の指示を含むことができ、指示は、オーディオ、ビデオ、ビデオによる指示等の少なくとも1つとすることができる。諸実施形態では、コンテンツは拡張環境であるか、またはコンテンツが環境を拡張し、視覚的な指示、オーディオによる指示、視覚的マーカ、緊急時にその環境を出るためのオーバーレイされた経路計画等を含むことができる。諸実施形態では、コンテンツは、埋め込まれた記号、テレビオーディオおよび/またはビデオコンテンツ、広告等に応じて生成することができる。諸実施形態では、コンテンツは、接眼鏡に記憶されたユーザマニュアルから取り出す、またはインターネットからダウンロードすること等ができる。コンテンツは、3D広告、オーディオ、ビデオ、テキスト等を含むことができる。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによりフィーチャを認識すること、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。諸実施形態では、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。諸実施形態では、オーバーレイは、認識されたフィーチャの上またはその近傍にコンテンツを提示することができる。さらに、認識されるフィーチャは、電気器具、ノートステーション、ノートパッド、カレンダ、壁、電子デバイス、セキュリティシステム、部屋、ドア、出入り口、キーホルダー、および据え付け器具の少なくとも1つとすることができる。
[00789]諸実施形態では、ユーザはイベント環境で眼鏡を使用することができる。各種イベント環境で、ユーザは眼鏡プラットフォームを使用してコンテンツと対話することができる。例として、ユーザは、コンサート、球技の試合、各種娯楽、業務イベント等のイベントの予定、チケット情報および/またはチケット/座席の入手状況を見ることができる。ユーザは、イベントの販売促進情報を見る、または他の形で対話することができる。ユーザは、イベントに関連するポイントや報酬価値等のロイヤルティプログラムコンテンツを見ることができる。ロイヤルティプログラム等により、またはそれとの関連でユーザにイベントへの参加権を与えることができる。利用状況等に応じて、イベントで「ボーナス」題材を見る機会をユーザに与えることができる。諸実施形態では、ユーザは、イベントに関連する付随的なサービスおよび商品を見る、購入すること等ができる。諸実施形態では、ユーザは、イベントでファーストダウンライン、ゴールマーカ、選手/出演者の会見等のARコンテンツを見ることができる。諸実施形態では、ユーザは、ユーザがスタジアム内の別の座席にいる時に、サイドライン側の光景、バックステージの光景/ビデオフィード等の代替のビデオフィードを見ることができる。
[00790]諸実施形態では、イベント環境における商取引に眼鏡を使用することができる。例として、ユーザは、券を購入/予約する、選択した席/空いている席を見る等することができる。ユーザは、バックステージパスの購入や座席の格上げ等の付随的な項目を予約することができる。諸実施形態では、ユーザは、ジャージ、コンサートシャツ、ポスター等のイベント関連商品を買うことができる。ユーザはさらに、報酬や頻繁に参加するプログラムに関連するポイント等のポイントを引き換えることができる。諸実施形態では、ユーザは、画像を購入する、かつ/またはイベントのデジタル的に「サインが入った」ビデオ商品、試合やイベントの特定の部分または全体等の思い出となる品を記念として見ることができる。ユーザは、別途費用を払って、または無料で、選手や出演者の付加的なビデオ、そのイベント時の解説を見ることができる。
[00791]諸実施形態では、ユーザは、イベント環境で眼鏡プラットフォームに項目および/またはデータを入力することができる。様々な実施形態で、ユーザは、券/入場券を入力して、自分の席を見つける、イベントにサインインすること等ができる。ユーザは、ARの機能強化でポスターやサインなどの販売促進材料を入力して、それらを見る、かつ/または対話することができる。ユーザは、ロイヤルティプログラム情報を入力し、カード等を読み取って特定のイベントがないか調べることができる。ユーザは、イベントとの関連でそのアカウントと対話する、アカウントにデータを提供する、アカウントを起動する等を行うことができる。諸実施形態では、ユーザは、Wi−FiやBluetooth(登録商標)等を介して眼鏡にネットワークコンテンツを入力することができる。
[00792]さらに、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備えることができ、接眼鏡は、接眼鏡がイベント環境の近くにあることを判定するモジュールと、ユーザがそれを通じて周囲のイベント環境を見る光学アセンブリと、頭部装着接眼鏡上で接眼鏡のイベント環境を対象とするイベントコンテンツの表示を描画する処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込み、処理する画像処理モジュールであって、処理は、イベントに関連するフィーチャを認識し、そのフィーチャの位置を記憶することを含む、画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含み、内蔵画像光源は、接眼鏡の装着者によって見られる環境上へのオーバーレイとしてイベントコンテンツを描画し、そのコンテンツをフィーチャと関連付け、内蔵画像光源は、環境に関連するコンテンツを提示する。諸実施形態では、3D処理モジュールは、認識された環境のフィーチャの上に表示要素を固定することができ、コンテンツは、認識されたフィーチャとの関係で表示内に提示することができる。諸実施形態では、コンテンツの描画は、イベント環境に入ること、ユーザがイベントで商品を注視すること、環境内でフィーチャを認識すること、ユーザの券を読み取ること、イベントで人の存在を認識すること、イベントの画像を入力すること等の少なくとも1つの結果行うことができる。諸実施形態では、コンテンツは、ファーストダウンライン、フィールドマーカライン、出演者の表示、出演者の機器の表示、即時再生、機能強化された表示、生中継ビデオ、代替視点からの表示、イベントに関連する広告、3Dコンテンツ、座席のアップグレードの利用可能性を含む拡張視覚的フィードを含むことができる。各種実施形態で、コンテンツは、選手のコメント、解説のオーディオ、試合の音声、機能を強化した上演の音声、出演者のコメント、生中継のオーディオ等を含む拡張オーディオフィードを含むことができる。ユーザは、目の動き、手による身振り、うなずき等の少なくとも1つを介してコンテンツと対話することができる。諸実施形態では、接眼鏡を使用してイベントで人の存在を認識することができ、装着者と認識された人物との関係に関連するソーシャルネットワーキングコンテンツを提示することができる。さらに、ユーザは、うなずく等のユーザの身体の一部による身振りにより、友達の申請の送信または受信の少なくとも一方を行うことができる。システムは、イベント商品、画像、およびイベントの映像、およびデジタル的にサインが入ったイベントの記念品の少なくとも1つを購入するためのユーザインターフェースを備えることができる。さらに、コンテンツは、埋め込まれた記号、テレビコンテンツ、広告等の少なくとも1つに応じて生成することができる。諸実施形態では、コンテンツは、バックステージ、ロッカールーム、ダグアウト、ブルペン、選手のベンチ等の拡張ビデオおよびオーディオの少なくとも1つを含むことができる。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによりフィーチャを認識すること、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。さらに、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。諸実施形態では、オーバーレイは、認識されたフィーチャの上またはその近傍にコンテンツを提示することができ、諸実施形態では、認識されるフィーチャは、競技場、ボール、ゴール、スコアボード、ジャンボトロン、画面、ボールが移動した距離、ボールの経路、スタジアムの席等の少なくとも1つを含む試合の対象の少なくとも1つとすることができる。諸実施形態では、認識されるフィーチャは、音楽の演奏者、楽器、舞台、譜面台、俳優、舞台セット、小道具、幕等の少なくとも1つを含む芸術公演の対象とすることができる。諸実施形態では、認識されるフィーチャは、人形、ぬいぐるみ、コンサートシャツ、食料品、飲料、帽子、衣料品、ビーチタオル、玩具、スポーツの記念品、コンサートの記念品等の少なくとも1つを含む販売の対象である。
[00793]諸実施形態では、飲食環境で眼鏡プラットフォームを使用することができる。例えば、飲食環境のコンテンツに眼鏡を使用することができる。諸実施形態では、ユーザは眼鏡を使用して、座席等を予約する、可能な座席の空席状況を調べる、評価、感想、店の位置、コンテンツ等を見ることができる。ユーザは、メニューの内容および価格、当該店と他の店の比較、感想、栄養内容、調理方法等の食品や飲み物に関する詳細、ワインの評価、自動化されたワインの組合せ等を見ることができる。ユーザはソーシャルコンテンツを見ることができ、例えば、人を認識もしくは識別する、かつ/または店の顧客と対話することができる。諸実施形態では、ユーザは、ユーザのアカウントおよび/または特定の店に関連する食事のポイント等のロイヤルティプログラムコンテンツを見ることができる。ユーザは眼鏡を使用して、メニューの項目を翻訳する、検索で内容の名前や定義を調べる等ができる。ユーザはメニュー品目のビデオや画像を見ることができる。諸実施形態では、ユーザは、ARバージョンのメニューを見ることができる。諸実施形態では、ユーザはメニューの画像を取り込み、その画像を無限焦点で見る、倍率を上げる、メニューのコントラストや照明を調整すること等ができる。諸実施形態では、ユーザは、メニュー品目を見て、ワインと飲み物の項を評価や価格等と自動的に対応づけることができる。ユーザは、これまでに食べたものや、気に入ったもののデータベースにアクセスし、過去の食事の覚書を見ることができる。諸実施形態では、ユーザは、自身が消費しているものとは違う品目を見ることができる。例えば、ユーザがチョップトサラダを注文した場合、それをフィレミニヨン等として見ることができる。
[00794]諸実施形態では、飲食環境における商取引に眼鏡を使用することができる。例えば、眼鏡を用いて、店を見つける、予約を取る、または更新する、メニューを見る、メニューから興味のある品目や購入する品目を選択する、店で品目を選択して注文することができる。眼鏡を使用して、商品の支払いをする、支払いを複数人で分担する、チップを計算する、ポイントを引き換える等を行うことができる。
[00795]諸実施形態では、飲食環境で眼鏡を使用して、データ/品目を入力することができる。諸実施形態では、ユーザは、Wi−FiやBluetooth(登録商標)等を介してコンテンツを入力することができる。諸実施形態では、ユーザは、AR機能拡張でメニュー、標識等を入力して、それを見る、かつ/または対話することができる。諸実施形態では、AR機能拡張で広告コンテンツを入力して、それを見る、かつ/または対話することができる。ユーザは、クレジット/デビットカード、ポイントでの支払い/引き換え等、支払いのための項目を入力することができる。そのような入力は近距離通信等を介して行うことができる。諸実施形態では、ユーザは顔認識を介して支払いをすることができる。諸実施形態では、眼鏡を使用して従業員の顔を認識し、その顔認識に基づいてそのような支払いを使用することができる。他の実施形態では、ユーザの顔または別の人物の顔を認識し、それに基づいて口座から引き落として支払いをすることができる。
[00796]諸実施形態では、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備えることができ、接眼鏡は、接眼鏡が、何かを食べる環境および何かを飲む環境の少なくとも一方の近くにあることを判定するモジュールと、ユーザがそれを通じて周囲の環境を見る光学アセンブリと、環境のフィーチャを認識し、その環境に関連する食べることに関連するコンテンツおよび飲むことに関連するコンテンツの少なくとも1つを描画する処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込み、処理する画像処理モジュールであって、認識された環境のフィーチャの上に表示要素を固定することが可能な画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含み、内蔵画像光源は、環境の上へのオーバーレイとして食べることに関連するコンテンツおよび飲むことに関連するコンテンツの少なくとも1つを描画し、コンテンツは、認識されたフィーチャとの関係で表示内に提示される。諸実施形態では、内蔵画像光源は、環境に関連するコンテンツの表示を提供することができ、認識されたフィーチャとコンテンツとの関係は存在しない場合もある。諸実施形態では、食べる環境および飲む環境の少なくとも一方に入ること、ユーザが環境内でメニューを注視すること、メニューを開くこと、環境内のマーカを認識すること、環境内の標識を注目すること等の少なくとも1つの結果行うことができる。諸実施形態では、コンテンツは、メニューの評価、メニュー品目の比較、メニュー品目の栄養値、ワインとメニュー品目の組合せ、メニュー品目の画像、オーディオによるメニュー品目の説明、メニュー品目のビデオ、機能強化したメニュー品目の拡大、コントラスト、および照明、ならびに地理的地域、原材料、品目の評価、ユーザがその品目を以前に消費したことがあるかどうかに基づくメニュー品目の分類等、の少なくとも1つからなる拡張メニューコンテンツを含むことができる。諸実施形態では、コンテンツは、ユーザが席を待つ間にメニューとして受け取ることができる。諸実施形態では、ユーザは、目の動き、手による身振り、うなずき等の少なくとも1つを介してコンテンツと対話することができる。諸実施形態では、ユーザは接眼鏡を介して注文することができる。諸実施形態では、ユーザは接眼鏡を介して伝票、請求書、または勘定を支払うことができる。諸実施形態では、接眼鏡をソーシャルネットワーキングに使用することができ、ユーザによる環境の感想、および環境内の他者の顔認識の少なくとも1つを提供することができる。諸実施形態では、ユーザは、身体の一部による身振りにより、友達の申請の送信または受信の少なくとも一方を行うことができる。コンテンツは、インターネットから検索されたメニュー品目に関する追加的な情報を含むことができる。諸実施形態では、オーバーレイは、認識されたフィーチャの上またはその近傍にコンテンツを提示することができる。諸実施形態では、認識されるフィーチャは、ポスター、フレーム、メニューボード、メニュー、飲料の容器、料理の提供ワゴン、バー、テーブル、窓、壁等の少なくとも1つとすることができる。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによりフィーチャを認識すること、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。諸実施形態では、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。
[00797]諸実施形態では、屋外環境で眼鏡プラットフォームを使用することができる。諸実施形態では、眼鏡を使用してコンテンツと対話する、またはコンテンツを見ることができる。ユーザは、山道の位置、目的地までの時間、山道までの進行状況や山道での進行状況、山道の地図、ユーザには本来は見えない可能性のある山道の障害物のARオーバーレイ等のナビゲーション情報を見ることができる。気温、天候、積雪状況、魚釣りの条件、水位、潮の状態等の屋外環境の状態をユーザに与えることができる。ユーザは、屋外環境に関連する位置や天候のアラート等によるグループの調整等の通信に眼鏡を使用することができる。ユーザは、植物、樹木、動物、鳥、音、鳥の鳴き声等を識別するために情報を収集することができる。諸実施形態では、ユーザが対象物を見て、眼鏡に「これは何?」と尋ねることにより、その対象物についてのコンテンツおよび/または情報がユーザに提示される。諸実施形態では、ユーザは、ある物が食べられるか、毒があるか、危険かどうか等の安全性情報を得ることができる。例えば、ユーザが眼鏡で見ながら「この蛇は危険か」と質問し、そして眼鏡を使用して、毒がある等のその蛇に関する情報をユーザに提供することができる。諸実施形態では、ユーザは、眼鏡を使用して、屋外環境に関連する陸標に関するコンテンツを識別および/または受け取ることができる。そのような陸標は、ユーザが環境内を移動する、または環境について学習するのを支援することができる。諸実施形態では、ユーザは、眼鏡を使用して、テントの張り方、特定の結び目の作り方、難しい地形の横断の仕方等の手順に関する案内を見ることができる。ユーザは「このテントをどうやって張ったらよいか」と質問し、ユーザはそのための段階的な指示を受け取ることができる。諸実施形態では、自分の振る舞いや体調、またはその分析のためのコンテンツを見ることができる。ユーザは、「脱水状態になっているか」「低体温状態になっているか」「低酸素症になっているか」等の最新情報を眼鏡に要求することができる。その結果に基づいて、ユーザは自分の振る舞いを変えて、特定の結果を未然に防ぐ、または特定の結果を促すことができる。諸実施形態では、ユーザはソーシャルコンテンツ、および他人の山道での体験に関する環境、体験記のブログ等を見ることができる。諸実施形態では、あるスキー滑降路が熟練者専用であることをユーザに警告することができ、または山道の様々な場所に危険な氷の地帯がある等の現在の状況をユーザにさらに知らせることができる。
[00798]諸実施形態では、ユーザは屋外環境で商取引に関連して眼鏡を使用することができる。ユーザは環境に関係する関連コンテンツをダウンロードすることができる。例として、ユーザは、山道の地図、釣りの地図、魚採り、スキー、スノーボード等についてのデータをダウンロードすることができる。ユーザは、宿泊の計画を立て、必需品を注文し、機器をレンタルし、ガイドやツアーの予定を立て、イベントに参加し、例えば魚釣りのライセンスや狩猟の許可等を取得することができる。ユーザは、そのような状況で眼鏡を介してソーシャルネットワークと対話することができ、例えば、トレーニングクラブに参加する、山の経験がある人や特定の環境にある人と交流する等ができる。ユーザは、目標志向の達成を書き留め、かつ/または追跡することができる。例えば、ユーザは、ホイットニー山に登るという目標を追跡または書き留める、または慈善目的の「市民マラソン(fun run)」の目標を書き留める等ができる。ユーザは、ブログを利用した商業モデル等を用いることができる。諸実施形態では、ユーザは眼鏡プラットフォームを介してソーシャルネットワーキングを使用して、特定の屋外イベントの資金を集めることができる。
[00799]諸実施形態では、ユーザは、屋外環境で、またはそれに関連して眼鏡にコンテンツ、データ等を入力することができる。諸実施形態では、ユーザは場面認識のために眼鏡のカメラを使用することができ、眼鏡を通じてGPSを用いて、特定の環境に関連する情報を提供する、または特定の環境の経路案内を得ることができる。ユーザは、環境内の他のユーザとの間で通信を送受信する、または環境に関連する通信を送受信することができる。ユーザは、陸標のデータを入力する、環境の陸標をAR機能拡張で見ること等ができる。ユーザは、葉や花等のフィーチャを入力する、それらに関するメモを作成する、それらの写真を撮影する、かつ/または環境内でそれらについて学習することができる。ユーザは環境内の品目や動物等の画像を取り込んでその詳細を知る、それに関連するデータを記憶する、関連するARコンテンツと対話する等ができる。
[00800]諸実施形態では、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備えることができ、接眼鏡は、接眼鏡が屋外環境の近くにあることを判定するモジュールと、ユーザがそれを通じて周囲の屋外環境を見る光学アセンブリと、頭部装着接眼鏡内で接眼鏡の屋外環境を対象とする屋外コンテンツを描画する処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込み、処理する画像処理モジュールであって、処理することは、イベントに関連するフィーチャを認識し、フィーチャの位置を記憶することを含む、画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含み、内蔵画像光源は、接眼鏡の装着者によって見られる環境の上へのオーバーレイとして屋外コンテンツを描画し、そのコンテンツをフィーチャに関連付け、内蔵画像光源は、屋外環境に関連するコンテンツを提示する。さらなる実施形態では、画像処理モジュールは、認識された環境のフィーチャの上に表示要素を固定することが可能であり、コンテンツは、認識されたフィーチャとの関係で表示内に提示することができる。諸実施形態では、コンテンツの描画は、屋外環境に入ること、ユーザが環境内で品目を注視すること、環境内でフィーチャを認識すること、環境内で人の存在を認識すること、環境の画像を入力すること、環境内の標識を注目すること等の少なくとも1つの結果行うことができる。諸実施形態では、コンテンツは、オーバーレイされた山道情報、目的地までの時間情報、ユーザの進行情報、陸標情報、環境に関する安全情報、他の基準地に相対的な環境内での位置、および環境の生物に関する情報、の少なくとも1つを含む拡張環境コンテンツを含むことができる。諸実施形態では、コンテンツはユーザに対する指示を含むことができ、指示は、オーディオ、ビデオ、画像、3D画像、対象上のオーバーレイ、段階的な指示等の少なくとも1つである。ユーザは、目の動き、手による身振り、うなずき等の少なくとも1つを介してコンテンツと対話することができる。ユーザは、宿泊の計画、必需品の注文、機器のレンタル、ツアーの計画、活動のためのライセンスや許可の取得、環境に関するコメントの入力等の少なくとも1つを行うことができる。さらに、コンテンツは、カメラ入力、GPS情報、環境内の陸標、屋外環境内のフィーチャ、の少なくとも1つを拡張することができる。諸実施形態では、接眼鏡を使用して環境内で人の存在を認識し、装着者と認識された人物との関係に関連するソーシャルネットワーキングのコンテンツを提示することができる。さらに、ユーザは、身体の一部による身振りにより、友達の申請の送信または受信の少なくとも一方を行うことができる。諸実施形態では、コンテンツは、ユーザの体調の分析に基づいて描画することができる。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによりフィーチャを認識すること、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。さらに、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。諸実施形態では、オーバーレイは、認識されたフィーチャの上またはその近傍にコンテンツを提示することができる。さらに、認識されるフィーチャは、植物、樹木、やぶ、山道、岩、柵、小道、森林内の空き地、キャンプ場、小屋、テント、水輸送の方式、水用車両、および動物の少なくとも1つとすることができる。
[00801]諸実施形態では、ユーザは運動環境で眼鏡を使用することができる。諸実施形態では、ユーザは眼鏡を使用して、コンテンツを見、ダウンロードし、またはその他の形でコンテンツと対話することができる。例えば、ユーザは、「脱水状態になっているか」「低体温状態になっているか」「低酸素症になっているか」等を眼鏡に尋ねることにより、自身の振る舞いや体調の分析を用いることができる。諸実施形態では、ユーザは、クラブの料金や特別提供、今後行われるトレーニングのクラス等のスポーツクラブ志向のコンテンツを見ることができる。ユーザは、案内や指示コンテンツ等のトレーニング志向のコンテンツを見ることができる。例えば、ユーザは、スクワットやストレッチのやり方、機器の使い方についての指示、ビデオ(ARまたはそれ以外)を見ることができる。ユーザは、運動環境に関連する個人体験のブログ等のブログを閲覧し、コメントを書き、更新することができる。
[00802]諸実施形態では、ユーザは、運動環境における商取引に眼鏡を使用することができる。例として、ユーザは、有料または無料で、運動の指示、トレーナー、または他の案内に関連するもの等の案内プログラムをダウンロードすることができる。諸実施形態では、ユーザは、プログラムの成功および/または進行を終わりまで追跡することができる。各種実施形態で、アプリケーションは、そのアプリケーションに関連付けられた広告をユーザに表示させることができる。諸実施形態では、ユーザは、付随的な機器の購入および販売に眼鏡を使用することができる。例えば、ユーザは、土踏まずの支えが強化された新しいランニング用スニーカーを購入することができる。諸実施形態では、ユーザは、これらに限定されないが、「市民マラソン」や「慈善Xのためにエベレスト山に登ろう」等の慈善イベントに眼鏡を使用することができ、眼鏡プラットフォームを介して寄付を募り、かつ/またはイベントのブログ項目を見たり、更新したりすることができる。
[00803]諸実施形態では、運動環境で眼鏡を使用して情報および/またはデータを入力することができる。諸実施形態では、ユーザは、成績を追跡するためにデータを入力し、センサを介してデータを入力し、画像およびビデオを入力することができる。単なる例として、ユーザは、特定の活動を行っている他人を録画し、自身の練習時にそのビデオを使用してフォームや技術等を磨くことができる。
[00804]諸実施形態では、システムは、ユーザに装着される対話型の頭部装着接眼鏡を備えることができ、接眼鏡は、接眼鏡の装着者が運動をしていること、または運動環境の近くにいることの少なくとも一方を判定するモジュールと、ユーザがそれを通じて周囲の環境を見ることができる光学アセンブリと、頭部装着接眼鏡に運動に関連するコンテンツを描写する処理モジュールと、頭部装着接眼鏡の装着者の環境の画像を取り込んで処理し、環境のフィーチャを認識する画像処理モジュールと、コンテンツを光学アセンブリに導入する内蔵画像光源とを含み、内蔵画像光源は、ユーザが見る環境の上へのオーバーレイとして運動コンテンツを描画することができ、オーバーレイは、ユーザが接眼鏡を動かしても、認識されたフィーチャの近傍に固定され、内蔵画像光源は、運動環境に関連するコンテンツを提示する。諸実施形態では、コンテンツの描画は、運動環境に入ること、ユーザが環境内の品目を注視すること、接眼鏡の視野内のフィーチャを自動的に認識すること、運動環境で機器を用いること、環境内のマーカを認識すること、環境内の標識を注目すること等の少なくとも1つの結果行うことができる。諸実施形態では、コンテンツは、トレーニング志向のコンテンツ、クラブ情報のコンテンツ、運動の指示、これから行われるクラスの情報等の少なくとも1つを含む拡張運動コンテンツを含むことができる。諸実施形態では、コンテンツは、3Dコンテンツ、オーディオ、視覚的コンテンツ、ビデオコンテンツ、およびテキストコンテンツの少なくとも1つを含むことができる。ユーザは、目の動き、手による身振り、うなずき等の少なくとも1つを介してコンテンツと対話することができる。諸実施形態では、コンテンツは、生命兆候、心拍数、運動時間、ラップタイム、最良の設定時間、過去のユーザデータ等の少なくとも1つを含むユーザ情報を含むことができる。コンテンツを使用してユーザはトレーニングセッション、マシンの使用時間、クラブの利用時間の延長、飲料、ヘルスバー(health bar)等を購入することができる。諸実施形態では、コンテンツは、これから行われるクラス、スポーツクラブ、ジュースバーの商品の割引、機器の販売等の少なくとも1つの広告とすることができる。さらに、諸実施形態では、接眼鏡をソーシャルネットワーキングに使用することができ、接眼鏡は、環境についてのユーザの感想、および環境内の他人の顔認識の少なくとも1つを提供する。さらに、ユーザは、身体の一部による身振りにより、友達の申請の送信または受信の少なくとも一方を行うことができる。諸実施形態では、ユーザは、別の会員、トレーナー、インストラクター等に友達の申請を送受信することができる。諸実施形態では、オーバーレイは、認識されたフィーチャの上またはその近傍にコンテンツを提示することができる。さらに、認識されるフィーチャは、カレンダ、壁、窓、板、ミラー、トレッドミル、ウェイトマシン、自転車、自転車型トレーニング機器、ステップ踏みマシン(elliptical machine)、体操機器、サンドバッグ、走路、点数表、ゴール、競技場の一領域、コートの一領域等の少なくとも1つとすることができる。諸実施形態では、フィーチャを認識することは、フィーチャを含んでいる画像の自動的な処理、信号でフィーチャを通知すること、フィーチャと通信すること、フィーチャの位置を処理することによってフィーチャを認識すること、データベースからフィーチャに関する情報を検索すること、ユーザによるフィーチャの指定等、の少なくとも1つを含むことができる。諸実施形態では、ユーザは、接眼鏡のユーザインターフェースと対話することにより、オーバーレイコンテンツを保持する機能を指定することができる。
[00805]ユーザに訴求する可能性のある別の応用例は、拡張現実眼鏡を使用したモバイルのオンラインゲームである。そのようなゲームには、Electronic Arts Mobile、UbiSoft、およびActivision Blizzardから提供されるコンピュータビデオゲーム、例えばWorld of Warcraft(登録商標)(WoW)がある。ゲームや娯楽用アプリケーションを家庭のコンピュータ(職場のコンピュータではなく)でやるのと同じように、拡張現実眼鏡でもゲームアプリケーションを使用することができる。画面が眼鏡の内側に表示され、ユーザはゲームを観察し、ゲームに参加することができる。また、本明細書の他個所に記載されるジョイスティック、制御モジュール、マウス等、ゲームをするためのコントロールを仮想ゲームコントローラを通じて提供することができる。ゲームコントローラは、加速、振動、力、圧力、電気インパルス、温度、電界感知等を通じたユーザからのフィードバック等を受けるために、センサまたはユーザの手に取り付けられる他の出力型要素を含むことができる。ラップ(wrap)、指輪、パッド、グローブ、腕輪等を利用して、センサおよびアクチュエータをユーザの手に取り付けることができる。そのようにして、接眼鏡の仮想のマウスで、ユーザは、手、手首、および/または指の動きを接眼鏡のディスプレイのカーソルの動きに変換することができ、「動き」は、ゆっくりした動き、速い動き、ぎくしゃくした動き、ポジション、ポジションの変化等を含むことができ、物理的な表面を必要とせずにユーザが3次元で動くことを可能にし、6自由度の一部またはすべてを含む。
[00806]図27に見られるように、ゲームアプリケーションの実装2700は、インターネットとGPSの両方を使用することができる。一実施形態では、おそらくは図に示すようにゲーム提供者のウェブサービスとインターネットを使用して、ゲーム提供者を介して顧客データベースからゲームがユーザのコンピュータまたは拡張現実眼鏡にダウンロードされる。同時に、遠隔通信機能も備える眼鏡が、セルラ塔および衛星を介して遠隔通信および遠隔測定信号を受信し、送信する。したがって、オンラインのゲームシステムは、ユーザの位置とユーザが要求するゲーム活動についての情報を入手することができる。
[00807]ゲームは、その各プレーヤの位置についての知識を活用することができる。例えば、ゲームは、GPS位置特定器または磁力計位置特定器を介してプレーヤの位置を使用して、その位置に到達するとポイントを付与する機能を内蔵することができる。ゲームは、プレーヤが特定の位置に到達するとメッセージを送信することもでき、例えば手がかりを表示したり、ある場面または画面を表示したりする。例えばメッセージは次の行き先に向かわせるものであり、そのメッセージをプレーヤに提供することができる。場面や画像は、克服しなければならない戦闘や障害物の一部として、またはゲームの点数を稼ぐ機会として提供することができる。したがって、一実施形態では、拡張現実接眼鏡または眼鏡は、装着者の位置を使用して、コンピュータを利用したビデオゲームに刺激と活気を与えることができる。
[00808]拡張現実ゲームをする方法の1つを図28に示す。この方法2800では、ユーザがウェブサイトにログインすることによりゲームの利用が許可される。ゲームが選択される。一例では、多プレーヤゲームが利用可能でそれを望む場合は、ユーザはゲームに加わることができ、あるいは、ユーザはおそらくは希望する特別な役を使用して自身に合わせたゲームを作成することができる。ゲームは予定することができ、事例によっては、プレーヤがゲームをする特定の時間と場所を選択し、ゲームが行われる場所への案内を配布すること等ができる。後にプレーヤらは会い、ゲームにチェックインし、1人または複数のプレーヤは拡張現実眼鏡を使用する。参加者はゲームを行い、それが可能な場合はゲームの結果と統計(プレーヤの点数、ゲーム時間等)を保存することができる。ゲームが開始すると、ゲーム内で各プレーヤの位置が変化する可能性があり、あるプレーヤがある位置に送られ、別の1人または複数のプレーヤが別の位置に送られる。そして、ゲームは、GPSまたは磁力計で得られるプレーヤの位置に基づいて、プレーヤまたはプレーヤの群ごとに異なるシナリオを展開することができる。各プレーヤには、その役、位置、またはその両方に基づいて異なるメッセージや画像を送信することもできる。無論、それぞれのシナリオは、他の状況、他の対話、他の位置への指示等につながっていく。ある意味では、このようなゲームは、プレーヤの位置の現実と、プレーヤが参加しているゲームを混合する。
[00809]ゲームは、単純なものとしては、小型の単独プレーヤゲームのように、プレーヤの片手の掌で行われる種類のゲームとすることができる。あるいは、より複雑な複数プレーヤで行うゲームも行うことができる。前者の部類には、SkySiege、ARDrone、Fire Fighter 360等のゲームがある。また多プレーヤゲームも容易に構想される。すべてのプレーヤがゲームにログインしなければならないため、友人同士でログインし、1人または複数の相手を指定することで特定のゲームを行うことができる。プレーヤの位置もGPSや他の方法を介して入手することができる。上記の拡張現実眼鏡またはゲームコントローラ内の加速度計、ジャイロスコープ、さらには磁気コンパス等のセンサを、方位の測定およびゲームのプレイに使用することもできる。一例はApp StoreからiPhoneアプリケーション用に入手可能なARInvadersである。他の製造元から非iPhone型のシステム向けに他のゲームを入手することができ、そのようなシステムとしては、アムステルダムのLayar、およびARDrone、ARFlying Ace、ARPursuitの販売者であるフランス、パリのParis SAがある。
[00810]諸実施形態では、ゲームを3Dにして、ユーザが3Dゲームを体験できるようにすることができる。例えば、3Dゲームをする時に、ユーザは仮想の拡張現実、またはユーザが自分の視点を制御することが可能な他の環境を見ることができる。ユーザは頭の向きを変えて、仮想環境または他の環境の各種の態様を見ることができる。そのため、ユーザが頭の向きを変える、または他の動きをすると、実際にその環境にいるかのようにゲーム環境を見ることができる。例えば、ユーザの視点は、視点を少なくともある程度制御できる3Dゲーム環境の「中」にユーザが入れられたような視点とすることができ、ユーザは、頭を動かし、頭の位置の変化に応じてゲーム環境の見え方を変化させることができる。さらに、ユーザは、物理的に前方に動くとゲーム内で「中へと進む」ことができ、移動につれて視点を変化させることができる。さらに、視点は、ユーザが目の注視を動かす等しても変化する。頭の向きを変えることで見えるユーザの視野の横側等、追加的な画像情報を提供することができる。
[00811]諸実施形態では、3Dゲーム環境を眼鏡のレンズに投影する、または他の手段で見ることができる。さらに、レンズは不透明であっても透明であってもよい。諸実施形態では、3Dゲーム画像をユーザの外部環境と関連付け、3Dゲーム画像が外部環境を取り込むことにより、ユーザは頭の向きを変えても3D画像と外部環境が併存した状態を保つようにすることができる。さらに、そのような3Dゲーム画像と外部環境の関連付けは、様々な瞬間に、3D画像が外部環境内の2つ以上の対象または1つの対象物の2つ以上の部分に関連付けられて、ユーザには3D画像が実際の環境にある様々な態様や対象物と対話しているように見えるように変化してもよい。例として、ユーザは、3Dゲームのモンスターが建物や自動車に上るのを見、その建物や自動車はユーザの環境内にある実際の物体である。そのようなゲームでは、ユーザは、3Dゲームの体験の一部としてモンスターと対話することができる。ユーザの周囲にある実際の環境を3D体験の一部とすることができる。レンズが透明である実施形態では、ユーザは、自身の実際の環境の中を移動しながら3Dゲーム環境内で対話することができる。3Dゲームがユーザの環境の要素をゲームに組み込むか、すべてをゲームで作り出すか、その両方の混合とすることができる。
[00812]諸実施形態では、3D画像を拡張現実プログラム、3Dゲームソフトウェア等、または他の手段に関連付けるか、またはそれらで生成することができる。3Dゲームの目的で拡張現実が用いられる実施形態では、3D画像は、ユーザの位置または他のデータに基づいて表示される、またはユーザに知覚される。そのような拡張現実の応用例では、眼鏡を使用している時に、ユーザが1つまたは複数の3D画像と対話して3Dゲーム環境を得ることができる。ユーザが位置を変えると、例えば、ゲームのプレイが進行し、ゲームの各種の3D要素が閲覧者から利用できるようになったり、利用できないようになったりする。例として、ユーザの実際の位置に基づいて、ユーザのゲームキャラクターの各種の3Dの敵がゲームに現れる。ユーザは、ゲームをやっている他のユーザおよびゲームをやっている他のユーザに関連付けられた3D要素と対話する、またはそれらから反応を生じさせることができる。ユーザに関連付けられるそのような要素は、武器、メッセージ、通貨、ユーザの3D画像等を含む。ユーザの位置または他のデータに基づいて、ユーザは、他のユーザおよび他のユーザに関連付けられた3D要素に何らかの手段で遭遇する、見る、またはかかわることができる。諸実施形態では、3Dゲームは、眼鏡にインストールまたはダウンロードされたソフトウェアで提供することもでき、ユーザの位置は使用される場合も使用されない場合もある。
[00813]諸実施形態では、レンズを不透明として、ユーザに仮想現実や他の仮想3Dゲーム体験を与えることができ、ユーザはゲームの中に「入れ」られ、ユーザの動きでユーザの3Dゲーム環境の視点を変えることができる。ユーザは、様々な身体、頭部、および/または目の動き、ゲームコントローラ、1つまたは複数のタッチ画面、または本明細書に記載される制御技術の使用により、仮想環境の中を移動し、歩き回ることができ、それによりユーザは3D環境を進行し、操作し、環境と対話することができ、それにより3Dゲームをプレイすることができる。
[00814]各種実施形態で、ユーザは、1つまたは複数の有線または無線コントローラ、1つまたは複数のタッチ画面、および本明細書に記載される任意の制御技術の使用を通じて、身体、手、指、目、または他の動きを介して、3Dゲーム環境を進行、対話、操作し、3Dゲームを体験することができる。
[00815]諸実施形態では、接眼鏡から利用できる内部および外部のファシリティで接眼鏡のユーザの振る舞いを学習し、学習した振る舞いを行動データベースに記憶して、位置認識制御、活動認識制御、予測制御等を可能にすることができる。例えば、ユーザは、イベントおよび/または動作の追跡を接眼鏡に記録させることができ、それらには、ユーザからのコマンド、カメラを通じて感知された画像、ユーザのGPS位置、経時的なセンサ入力、ユーザによって引き起こされた動作、ユーザとの通信、ユーザの要求、ウェブ上の動作、聴いた音楽、要求された経路案内、使用または提供された推薦等がある。この振る舞いのデータは、ユーザ識別子でタグ付けして、または独立して、行動データベースに記憶することができる。接眼鏡は、学習モード、収集モード等でこのデータを収集することができる。接眼鏡は、ユーザによって取り出された過去のデータを利用して、以前にユーザが行ったことを通知または思い出させることができ、あるいは、接眼鏡は、過去のデータを利用して、過去に収集された体験に基づいて、ユーザが必要とする可能性のある接眼鏡機能とアプリケーションを予測することができる。そのようにして、接眼鏡は、自動化されたユーザのアシスタントとして機能することができ、例えば、ユーザが通常起動する時にアプリケーションを起動し、ある位置に近づく、または建物に入ると拡張現実およびGPSをオフにする、ユーザがジムの中に入ると音楽をストリーミングする等する。あるいは、学習した振る舞いおよび/または複数の接眼鏡ユーザの動作を独立して集合行動データベースに記憶してもよく、複数のユーザの学習した振る舞いは、同様の条件に基づいて個々のユーザが利用することができる。例えば、あるユーザがある町を訪れ、プラットフォームで列車を待っている時に、そのユーザの接眼鏡が集合行動データベースにアクセスして、列車を待っている間他のユーザが何をしていたかを判定し、それらには、道案内を得る、関心のある場所を検索する、ある音楽を聴く、列車の予定時刻を調べる、旅行情報を求めて町のウェブサイトに接触する、その領域の娯楽を調べるためにソーシャルネットワーキングサイトに接続する等がある。そのようにして、接眼鏡は、自動化されたアシスタントをユーザに提供することができ、多くの異なるユーザ体験の利益となる。諸実施形態では、学習した振る舞いを使用して、嗜好のプロフィール、推薦、広告のターゲティング、ソーシャルネットワークの連絡先、ユーザまたはユーザのグループの振る舞いのプロフィール等をユーザに対して構築することができる。
[00816]一実施形態では、拡張現実接眼鏡または眼鏡は、音を検出するための1つまたは複数の音響センサ2900を含むことができる。一例を上記の図29に示す。ある意味では、音響センサは、音を検出するという点でマイクロフォンに似る。音響センサは、通例、感度がより高い1つまたは複数の周波数帯域幅を有し、したがって、意図する用途に合わせてセンサを選ぶことができる。音響センサは様々な製造者から入手することができ、適切な変換器および他の必要な回路を備えたものを入手することができる。製造者には、米国ユタ州、ソルトレークシティのITT Electronic Systems、米国カリフォルニア州、サン・フアン・カピストラーノのMeggitt Sensing Systems、および米国テキサス州オースティンのNational Instrumentsがある。適切なマイクロフォンには、単一のマイクロフォンを備えたものと、マイクロフォンの配列、すなわちマイクロフォンアレイを備えたものがある。
[00817]音響センサには微小電子機械システム(MEMS)技術を使用したものがある。MEMSセンサは非常に微細な構造であるために、極めて感度が高く、通例は広い範囲の感度を有する。MEMSセンサは、通例、半導体製造技術を使用して製造される。典型的なMEMS加速度計の要素の1つは、2組の指針で構成される可動梁構造である。一方の組は基板の硬い土台面に固定され、他方の組は、加えられた加速度に応じて移動することが可能なばねに取り付けられた既知の質量に取り付けられる。この加わる加速度により、固定された指針と移動する梁指針との間の静電容量が変化する。結果として非常に高感度のセンサが得られる。そのようなセンサは、例えば、テキサス州オースティンのSTMicroelectronics、および米国ニュージャージー州モリスタウンのHoneywell Internationalで製造される。
[00818]識別に加えて、拡張現実デバイスの音声機能は、音の発生した場所を特定するためにも応用することができる。よく知られるように、音の位置を特定するためには少なくとも2つの音センサまたは音響センサが必要となる。音響センサは、適切な変換器と、信号を解釈し、所望の目的を実現するためのデジタル信号プロセッサ等の信号処理回路を備える。音の位置を特定するセンサの用途の1つは、燃えている建物や自動車事故等の緊急事態の場所の中から音の発生源を判定するものである。本明細書に記載の実施形態を装備した緊急作業員は、それぞれ、フレームに埋め込まれた1つまたは複数の音響センサまたはマイクロフォンを持つことができる。言うまでもなく、センサは、人の衣類に装着するか、さらには人自体に取り付けることもできる。何らかの事象が発生すると、信号が拡張現実接眼鏡のコントローラに送信される。接眼鏡または眼鏡はGPS技術を備え、また方向発見機能も備えることができ、あるいは、1人につき2つのセンサを備え、マイクロコントローラが、ノイズが発生した方向を判定することができる。
[00819]2人以上の消防士または他の緊急対応要員がいる場合、彼らの位置は各自のGSP機能から分かる。2人のいずれか、または消防署長や管制本部が、2人の要員のポジションと、各要員から検出されたノイズに向かう方向とを把握する。ノイズの正確な発生地点は、公知の技術およびアルゴリズムを使用して求めることができる。例えば以下の文献を参照されたい。Acoustic Vector-Sensor Beamforming and Capon Direction Estimation, M. Hawkes and A. Nehorai, IEEE Transactions on Signal Processing, vol. 46, no. 9, Sept. 1998、at 2291-2304、および、Cramer-Rao Bounds for Direction Finding by an Acoustic Vector Sensor Under Nonideal Gain-Phase Responses, Noncollocation or Nonorthogonal Orientation、P.K. Tam and K.T. Wong, IEEE Sensors Journal, vol. 9. No. 8, August 2009, at 969-982。使用される技術には、タイミングの差(感知されたパラメータが到着する時間の差)、音速差、および音圧差が含まれる。無論、通例音響センサは音圧のレベルを測定し(例えばデシベル単位)、それらの他のパラメータをアコースティックエミッションセンサ、超音波センサ、または変換器を含む適切な種類の音響センサで使用することができる。
[00820]適切なアルゴリズムおよびすべての他の必要なプログラミングは、接眼鏡のマイクロコントローラ、または接眼鏡からアクセス可能なメモリに記憶することができる。そして、2人以上の要員または数人の要員を使用して見込みのある位置を求め、要員が、救助しようとする人の位置を特定することを試みることができる。他の応用例では、要員はそのような音響機能を使用して、法律を執行する対象となる人の位置を求めることができる。さらに他の応用例では、演習に参加している何人かの人が、直接的な火(視線内)や間接的な火(高い角度にある火災を含む、視線外の火)を含む敵対火に遭遇する。本明細書に記載の技術を使用して、敵対火の位置を推定することができる。領域内に数人の人がいる場合、特にその人々が広い領域にわたって少なくともある程度間隔を空けている場合は、推定をより正確にすることができる。これは、敵に対して対抗野砲射撃または対抗迫撃砲を誘導する有効な手段となりうる。ターゲットが十分に近い場合は、直接の火も使用することができる。
[00821]拡張現実接眼鏡の実施形態を使用した例を図29Bに示す。この例2900Bでは、多数の兵士が巡視中であり、各兵士は拡張現実接眼鏡を備え、敵対火に警戒している。図示するように、各自の音響センサまたはマイクロフォンで検出された音を分隊車両に中継して、そこから小隊隊長または遠隔の戦術作戦本部(TOC)または指令所(CP)に中継することができる。それに代えて、またはそれに加えて、信号は図のように空中プラットフォームなどのモバイルデバイスに送信してもよい。ローカルエリアネットワークまたは他のネットワークを使用して、兵士間の通信と追加的な位置の特定を容易にすることができる。また、送信されるすべての信号を暗号化または他の保護手段で保護することができる。分隊車両、小隊長、モバイルプラットフォーム、TOCまたはCPの1つまたは複数が、数人の兵士からの入力を組み合わせ、敵対火の可能な位置を判定するための統合能力を有する。各兵士からの信号は、拡張現実眼鏡または接眼鏡が元々備えるGPS機能から得られるその兵士の位置を含む。各兵士の音響センサは、ノイズの可能な方向を示すことができる。数人の兵士からの信号を使用して、敵対火の方向および可能性としては位置を判定することができる。そして兵士は位置を中立化することができる。
[00822]マイクロフォンに加えて、拡張現実接眼鏡は挿入型イヤホンを備えることができ、これは本明細書の他個所で述べるように関節型イヤホンであってよく、着脱可能に取り付ける1403か、またはオーディオ出力ジャック1401を備えることができる。接眼鏡および挿入型イヤホンは、ノイズ打ち消し用の干渉を供給するように設計して、ユーザが拡張現実接眼鏡または眼鏡のオーディオビデオ通信機能から供給される音をよりよく聞けるようにし、また自動的な利得制御を備えることもできる。拡張現実接眼鏡のスピーカまたは挿入型イヤホンは、デバイスの全視聴覚機能に接続して、内蔵された遠隔通信デバイスから高品質で明瞭な音を供給できるようにすることもできる。本明細書の他個所で触れるように、これは、無線または携帯電話(スマートフォン)のオーディオ機能を含み、また、Bluetooth(商標)機能等の相補的技術や、ワイヤレスパーソナルエリアネットワーク(WPAN)向けのIEEE 802.11等の関連技術も含むことができる。
[00823]拡張オーディオ機能の別の態様は、音声認識および識別機能を含む。音声認識は発話の内容を理解することに関するのに対して、音声識別は話者が誰であるのかを把握することに関する。音声識別は、そのようなデバイスの顔認識機能と連携して機能して、対象となる人をより確実に識別することができる。本文献の他個所で説明するように、拡張現実接眼鏡の一部として接続されたカメラが、群衆の中の1人の人または群衆の中の複数人の顔等、所望の人員に目立たないように焦点を合わせることができる。そのカメラと適切な顔認識ソフトウェアを使用して、1人または複数人の人の画像を撮影することができる。次いで、画像の特徴を分析して任意数の測定値および統計値を得、その結果を既知の人々のデータベースと照合する。そして識別を行うことができる。同様にして、対象となる人の声または声のサンプリングを取得することができる。サンプルは、例えば特定の時間間隔でマークまたはタグを付け、また例えばその人の物理的な特性の説明や数をラベル付けすることができる。声のサンプルを既知の人のデータベースと照合し、その人の声が一致する場合は識別を行うことができる。諸実施形態では、対象とする複数の個人を生体識別等のために選択することができる。複数の選択は、カーソルの使用、手による身振り、目の動き等で行うことができる。複数の選択の結果、選択された個人に関する情報を表示やオーディオ等を通じてユーザに提供することができる。
[00824]群衆の中の複数の人を生体識別するためにカメラが使用される実施形態では、本明細書に記載の制御技術を使用して、撮像する顔または虹彩を選択することができる。例えば、手に装着する制御デバイスを使用して、カーソルによる選択を使用して、ユーザの周囲の環境に見えている複数の顔を選択することができる。別の例では、注視の追跡を使用して、生体識別のために選択する顔を選択することができる。別の例では、手に装着する制御デバイスで、各個人を指さす等の個人を選択するために使用される身振りを感知することができる。
[00825]一実施形態では、特定の人の音声の重要な特性を、その人の声の1つのサンプルから、または多数のサンプルから把握することができる。サンプルは通例、セグメント、フレーム、およびサブフレームに分解される。通例、重要な特性は、その人の声の基本周波数、エネルギー、フォルマント、発話速度等を含む。これらの特性を、特定の数式またはアルゴリズムに従って声を分析するソフトウェアで分析する。この分野は常に変化し、向上している。ただし、現在、そのような分類器は、特に、ニューラルネットワーク分類器、k−分類器、隠れマルコフモデル、ガウス混合モデル、およびパターンマッチングアルゴリズム等のアルゴリズムを含むことができる。
[00826]音声認識および話者識別のための一般的なテンプレート3100を図31に示す。最初のステップ3101で、音声信号を提供する。信号の比較対象となる、以前の接触で得た既知のサンプルがあることが理想的である。次いで、ステップ3102で信号がデジタル化され、ステップ3103でセグメント、フレーム、およびサブフレーム等の下位単位に区分される。次いでステップ3104で音声サンプルの特徴および統計値が生成され、抽出される。次いでステップ3105で、1つまたは複数の分類器が適用されて、サンプルの概略的な分類を決定する。ステップ3106で、サンプルの後処理を適用して、例えばサンプルを一致および識別の候補となる既知のサンプルと比較することができる。そしてステップ3107で結果を出力することができる。出力は、照合を要求した人に送ることができ、また記録して、他の人および1つまたは複数のデータベースに送ることもできる。
[00827]一実施形態では、接眼鏡のオーディオ機能は、関連する挿入型イヤホンで音を聴く際の保護を含む。接眼鏡のオーディオプロセッサは、装着者の頭の近くで大きな音が検出された時等に自動的なノイズの抑制を可能にすることができる。本明細書に記載される任意の制御技術を自動ノイズ抑制に使用することができる。
[00828]一実施形態では、接眼鏡はニチノール製頭部ストラップを含むことができる。頭部ストラップは、湾曲した金属製の薄い帯とすることができ、接眼鏡のつるから引き出されるか、外部に回転して頭部の後ろまで延びて、接眼鏡を頭に固定する。一実施形態では、ニチノール製ストラップの端部はシリコーン製の被覆を有することができ、シリコーン製の被覆を把持してつるの先端から引っ張り出す。諸実施形態では、一方のつるだけがニチノール製の帯を有し、帯が他方のつるに固定されてストラップを形成する。他の実施形態では、両方のつるがニチノール製の帯を有し、両側を引っ張り出して連結して1つのストラップを形成するか、またはそれぞれ別個に頭部の一部を把持して、接眼鏡を装着者の頭部に固定することができる。諸実施形態では、接眼鏡は、接眼鏡を人の頭部に取り付けるための交換可能な機器を有し、例えば、頭部ストラップ、眼鏡のつる、ヘルメットのストラップ、ヘルメットのスナップ接続等を取り付けることが可能なジョイントがある。例えば、接眼鏡のユーザのこめかみに近い部分にジョイントがあり、そこで接眼鏡をストラップに取り付け、ストラップを取り外すことができ、ユーザはつるを取り付けて接眼鏡を眼鏡の形にしたり、ヘルメットに取り付けたりすることができる。諸実施形態では、接眼鏡をユーザの頭部またはヘルメットに取り付ける交換可能な機器は、埋め込まれたアンテナを含むことができる。例えば、ニチノール製頭部ストラップの内部に特定の周波数、または複数の周波数等に対応したアンテナを埋設することができる。また、アンテナが伝送に使用されている時にRFエネルギーの吸収を助けるために、つるやストラップ等がRF吸収発泡体を内蔵してもよい。
[00829]図21を参照すると、接眼鏡は、1つまたは複数の調節可能な巻き付き式延長可能アーム2134を含むことができる。調節可能な巻き付き式延長可能アーム2134は、ユーザの頭部に対する接眼鏡のポジションを固定することができる。延長可能なアーム2134の1つまたは複数は形状記憶素材で作ることができる。諸実施形態では、アームの1つまたは両方はニチノール製および/または形状記憶素材製とすることができる。他の事例では、巻き付き式延長可能アーム2134のうち少なくとも一方の先端をシリコーンで被覆することができる。さらに、調節可能な巻き付き式延長可能アーム2134は、接眼鏡アーム2116の先端から延びることができる。入れ子式に、かつ/または接眼鏡アームの先端からスライド式に出る。アーム2134は、接眼鏡アーム2116の内部からスライド式に出て来るか、接眼鏡アーム2116の外部表面に沿ってスライドすることができる。さらに、延長可能なアーム2134は、互いと接触して、互いに固定される。延長可能なアームは、頭部装着接眼鏡の別の部分に取り付けて、接眼鏡をユーザの頭部に固定する手段を作り出してもよい。巻き付き式延長可能アーム2134は互いに接触して互いに固定する、噛み合う、連結する、磁気的に結合する、または他の手段で固定されることにより、ユーザの頭部への安定した取付けを提供することができる。諸実施形態では、調節可能な巻き付き式延長可能アーム2134はそれぞれ独立して調節してユーザの頭部に取り付ける、またはユーザの頭部の一部を把持するようにしてもよい。そのようにすると、別個に調節可能なアームで、ユーザはより高い自由度で自身に合わせて接眼鏡を頭部に固定することができるようになる。さらに、諸実施形態では、巻き付き式延長可能アーム2134の少なくとも1つを、頭部装着接眼鏡から取り外せるようにしてよい。さらに他の実施形態では、巻き付き式延長可能アーム2134は、頭部装着接眼鏡の付加機能とすることができる。そのような事例では、ユーザは延長可能なアーム、延長不可能なアーム、または他種のアームを頭部装着接眼鏡に付けることを選択することができる。例えば、アームは、キットまたはキットの一部として販売して、ユーザが自分の固有の好みに合わせて接眼鏡を作れるようにすることができる。したがって、ユーザは、好みに合った特定の延長可能アームを含む異なるキットを選択することにより、調節可能な巻き付き式延長可能アーム2134の素材の種類を自身に合わせて選ぶことができる。したがって、ユーザは、自分の特定の必要性と好みに合わせて接眼鏡を作ることができる。
[00830]さらに他の実施形態では、調節可能なストラップ2142を接眼鏡のアームに取り付けて、ユーザの頭部の後部を巻くように延びるようにして接眼鏡を適位置に固定することができる。ストラップは適切な締め具合に調節することができる。ストラップは、これらに限定しないが、ゴム、シリコーン、プラスチック、綿等を含む任意の適切な素材で作製することができる。
[00831]一実施形態では、接眼鏡は、剛性アーム、柔軟アーム、グースネック(gooseneck)収縮アーム、索張力システム等の複数の他の構造でユーザの頭部に固定することができる。例えば、柔軟アームは、グースネック構成等の柔軟性のある管で構成することができ、その場合、柔軟アームは、屈曲させて所与のユーザのはまり具合に合わせて調整した位置にし、柔軟アームは必要に応じて形状を変えることができる。別の事例では、柔軟アームはロボットフィンガー構成等の索張力システムで構築することができ、部材同士を接続する複数の接合部を持ち、部材は曲がって湾曲した形状になり、接合部および部材を通るケーブルに引っ張る力が加わる。この場合、ケーブル駆動のシステムで、大きさの調整と頭部装着接眼鏡保持のための関節型イヤホーンを実現することができる。索張力システムは2つ以上の結合部材を有することができ、ケーブルはステンレス鋼、ニチノール系、電気作動式、ラチェット式、ホイール調節式等とすることができる。
[00832]ケーブル緊張システム(cable-tensioned system)17800の実施形態は、図178〜179AおよびBに示されている。諸実施形態において、ケーブル緊張システムは、ジョイントおよび/または部材を走行するケーブル17804に引張力が印加された状態で湾曲した形状に曲げられうる部材を接続する2つまたはそれ以上のジョイントからなるイヤホーン17802を備えることができる。図178に示されているような立位では、イヤホーンは、ユーザの頭部に沿って真っ直ぐに位置決めされうる。ケーブル17804は、調整器17808を介して取り付けられてピンと張られるようにでき、これにより、ケーブル17804の張力を高めるように調整器を位置決めするとイヤホーンは曲がるか、または湾曲し、ユーザの頭部に合う形状になる。このような張力を高めることによって、イヤホーンは硬直し、および/または剛性を増しうる。ユーザの頭部に合わせた形状をとることによって、イヤホーン17802は、特定のユーザの頭部に合わせて調整され、および/または眼鏡類をユーザの頭部にしっかり留めることによって眼鏡類の保持を補助することができる。諸実施形態では、ケーブル17804の張力が増大すると共に、イヤホーンは剛性を増すか、または弛緩を減らしてユーザの頭部への位置を合わせ、ケーブル17804の張力が解放されると、イヤホーンは柔軟性を増してイヤホーンの一方または両方を真っ直ぐにし、および/または平たく折り畳めるようにする。諸実施形態では、調整器17808は、ラチェット式、電気作動式、ホイール調整式、くさび形スライダーを備える方式、および同様の仕組みのものとすることができる。諸実施形態では、くさび形スライダーは、調整を行うためにタブまたは同様のものを押す、または引いて出し入れすることによってイヤホーンおよび/または接眼鏡の1つまたは複数の部分の位置を上げ下げすることを可能にしうるテーパーを付けた調整機構であってよい。諸実施形態では、イヤホーン17804は、ロボットの指の構成に製作され、図179Bに示されているような形状をとりうる。本明細書で説明されているような調整可能なイヤホーンは、使いやすいように折り畳める便利さを備えながら接眼鏡をユーザの頭部に固定するという利点をもたらしうる。諸実施形態では、イヤホーンは、左右のイヤーピースのイヤホーンがユーザの頭部に巻き付き、ユーザの頭部の後ろに触れるか、またはほぼ触れる頭部巻き付け設計とすることができる。諸実施形態では、イヤホーンは互いにくっついて留まり、固定力を高めることができる。このような留めは、それぞれのイヤホーン上の磁石、イヤホーン上のフック機構、および同様の仕組みを通じてなされうる。諸実施形態では、イヤホーンは、ユーザの頭部にぐるっと巻き付くか、またはユーザの頭部の起伏の一部もしくは全部を辿るものとしてよく、ならびに/またはこれらは、ユーザの頭部の側部に沿って走行し、および/もしくはユーザの耳の背後に固定することによってユーザの頭部に固定されるものとしてよい。諸実施形態では、イヤホーンは、図22に示されているイヤーピース2104などの接眼鏡のイヤーピースに取り付けることができる。イヤホーンは、イヤーピースに恒久的にまたは取り外し可能に取り付けることができる。諸実施形態では、イヤホーンは、図180に示されているように接眼鏡のイヤーピースの一部を備えるか、またはイヤーピース全体(図示せず)を備えることができる。諸実施形態では、調整器17808は、接眼鏡の近くのイヤホーンの部分、またはユーザの耳の近く、または耳を通り過ぎたところのイヤホーンの端部、またはイヤホーンおよび/または接眼鏡の他の構成要素上に位置決めされうる。諸実施形態では、一方または両方のイヤホーンは、本明細書で説明されているように調整可能であるものとしてよい。本明細書で説明されているような実施形態では、イヤホーン(単独で、接眼鏡なしで図示されている)は、図184に示されているようにユーザの頭部に巻き付き、および/またはユーザの頭部の起伏を辿るものとしてよい。
[00833]諸実施形態では、イヤホーンと共に、積層体の複数の層の間の切り替え可能な引力が使用されうる。例えば、1つまたは複数のイヤホーンは、積層体にいくつかの層を備えることができ、層の間の引力は、磁気、静電気、および/または真空の手段に由来するものとしてよい。諸実施形態では、磁石は、引き合うか、または反発する位置まで極を回転させて、積層体中の層が互いに引き合ってイヤホーンが硬直し、互いに反発し合ってイヤホーンが弛緩するようにすることによって使用されうる。積層体の層が近接近している実施形態において、電圧が印加されると、電気的に切り替えることができる静電気引力が発生しうる。引力が発生すると、イヤホーンは硬直しうる。電圧が印加されなくなると、または静電気引力が切り替えられると、イヤホーンは弛緩しうる。諸実施形態では、真空は、真空を発生する層の間に空洞または空隙を形成する層の1つまたは複数の部分の中で、ぴったり合わさり、跳ね返りを有する2つの層を力でくっつけることによって発生させることができる。層が力でくっつけられると、イヤホーンが硬直しうる。真空シールが破られると、イヤホーンは弛緩しうる。様々な実施形態において、イヤホーンが硬直すると、接眼鏡がユーザの頭部により剛体的に、および/またはしっかりと保持されうる。諸実施形態では、イヤホーンは、ユーザの頭部にぐるっと巻き付くか、またはユーザの頭部の起伏の一部もしくは全部を辿るものとしてよく、ならびに/またはこれらは、ユーザの頭部の側部に沿って走行し、および/もしくはユーザの耳の背後に、および/もしくはユーザの頭部の後ろに固定することによってユーザの頭部に固定されるものとしてよい。静電気の電圧、磁力、および/または真空が調整されてゆくにつれ、イヤホーンが硬直し、これにより、イヤホーンはユーザの頭部に固定され、イヤホーンは、弛緩するか、または解放されると、真っ直ぐになり、および/または平たく折り畳まれて閉位置に来るものとしてよい。
[00834]諸実施形態では、1つまたは複数のイヤホーンは、内部ロッドおよび/またはストリング構造を備えることができ、それぞれのイヤホーンは磁石をさらに備えることができる。イヤホーンの磁石は、他方に接続して、2つのイヤホーンをユーザの頭部の周りに巻き付けさせることができる。互いに接続する磁石の作用は、ストリングおよび/または内部ロッド構造をピンと張り、ユーザの頭部によりしっかりとフィットするようにできる。諸実施形態では、磁石同士を接続することによって、イヤホーンの内部ロッドが直立するか、またはよりしっかりと固定され、これにより、イヤホーンをユーザの頭部の周りに巻き付けることが可能になり、および/またはイヤホーンの内部ストリングがピンと張られ、イヤホーンをユーザの頭部の周りに巻き付けることが可能になる。諸実施形態では、イヤホーンは、ユーザの頭部にぐるっと巻き付くか、またはユーザの頭部の起伏の一部もしくは全部を辿るものとしてよく、および/またはこれらは、ユーザの頭部の側部に沿って走行し、および/もしくはユーザの耳の背後に固定することによってユーザの頭部に固定されるものとしてよい。磁石が接続されない場合、イヤホーンは真っ直ぐになり、および/または平たく折り畳めるものとすることができる。
[00835]諸実施形態では、1つまたは複数のイヤホーンは、イヤホーンを硬直させることができるイヤホーンの内側のチャンバー内の空気圧を利用することができる。空気圧が高まると、イヤホーンが硬直しうる。このように硬直させる動作で、イヤホーンは、接眼鏡が使用されているときにユーザの頭部に合わせて調整され、および/またはユーザの頭部の周りに巻き付くようにできる。諸実施形態では、イヤホーンは、ユーザの頭部にぐるっと巻き付くか、またはユーザの頭部の起伏の一部もしくは全部を辿るものとしてよく、ならびに/またはこれらは、ユーザの頭部の側部に沿って走行し、および/もしくはユーザの耳の背後に固定することによってユーザの頭部に固定されるものとしてよい。空気圧が下がると、イヤホーンが弛緩しうる。イヤホーンが弛緩すると、イヤホーンは真っ直ぐになり、および/または平たく折り畳めるものとすることができる。空気圧は、ユーザの頭部に装着されるか、または取り去られる前または後に調整されるとよい。諸実施形態では、空気圧は、指の圧力または他の手段によって操作されるサイドフレーム内のポンプによって調整されうる。諸実施形態では、ポンプは、眼鏡に表示されるユーザインターフェースを介して、または他の手段によって調整されうる。
[00836]本明細書で説明されているような様々な実施形態において、イヤホーンの堅さは、3乗則で厚さに関係するものとしてよい。例えば、2つの未接続のレイヤは、単一の層の2倍堅いが、これらの層が単一の層に接続された場合、2倍厚い組み合わされた層は、8倍に増大された堅さを有する。さらなる例として、3つの単一の層は、単一の層の3倍堅いが、一緒に接続されている3つの層は、単一の層の27倍堅くなる。
[00837]諸実施形態では、1つまたは複数のイヤホーンは、内側部分と外側部分とを備えるものとしてよく、図181に示されているように内側部分はイヤホーンの一方の部分から形成され、外側部分はイヤホーンの別の部分から形成される。内側部分および外側部分は、イヤホーンから二叉になっているか、またはイヤホーンから他の何らかの形に形成されて2つの分離した部分を形成することができ、一方の部分が外側部分となり、他方の部分が内側部分となる。諸実施形態では、内側部分は、ユーザの頭部と接触し、外側部分は、内側部分と接触しうる。諸実施形態では、内側部分および外側部分は、図182に説明されている実施形態に示されているように連動することができる。内側部分および外側部分は、連動する溝、歯、または他の手段を備えることができ、これにより、内側部分および外側部分は連動するか、または一緒に留めることができる。上側部分および/または外側部分は、タブまたは他の突起部を備えることができ、これにより、ユーザは、内側部分および外側部分が一緒に係止されなくなるようにできる。諸実施形態では、これらの部分は、ユーザの頭部に合わせて湾曲させることができる。さらに、内面が外面を外方向に押すことができる。内側部分と外側部分とを連動させることによって、これらの部分の厚さが2倍にされうる。したがって、イヤホーン部分の厚さを増やすことによって、堅さが高められうる。諸実施形態では、イヤホーンの厚さを2倍にすることによって、堅さは単一の層と比較して8倍に高められうる。外側層を剥ぎ取ると、イヤホーン部分は柔軟な状態に戻り、これにより、イヤホーンは平たく折り畳まれうる。諸実施形態では、イヤホーンは、磁石、クリップ、フック、または他の手段によって、ユーザの頭部に固定されるように取り付けられうる。
[00838]さらに、諸実施形態では、1つまたは複数のイヤホーンは、図183に示されているような3つの部分を備えることができる。このような一実施形態では、イヤホーンは、図181および182を参照しつつ説明されているように内側部分と外側部分を備えるものとしてよいが、この実施形態は、図183に示されているようにイヤホーンが3つの部分からなるように中間部分18302も備えることができる。イヤホーンは、1つまたは複数のボタン、ストラップ、連動溝、歯、ピン、または他の手段をさらに備え、イヤホーン部分を一緒に係止することができる。これらの部分の1つまたは複数は、タブまたは他の突起部を備えることができ、これにより、ユーザは、歯、またはこれらの部分を一緒に係止する他の手段を解放することによって内側部分および外側部分が一緒に係止されなくなるようにできる。諸実施形態では、3つの未接続の層は、単一の層の3倍堅いが、3つの層が一緒に係止/接続されている場合には、イヤホーンは単一の層の27倍堅くなるものとしてよい。3つの部分が一緒に接続または係止されていない場合、イヤホーンは、真っ直ぐになり、および/または平たく折り畳まれうるように柔軟性を有するものとしてよい。さらに、これらの部分が一緒に係止されていない場合、これらの部分は互いに摺動し合うので、使用していないときには柔軟性を有し、より保管しやすくなり、層が一緒に係止されるか、またはピン止めされている場合、これらは互いに摺動し合うことができないものとしてよい。イヤホーン部分は、個別の部分が露出しないようにイヤホーンを収容するシース、チューブ、または他の構造物内に置くことができる。2つの部分および3つの部分からなるイヤホーンが説明されているが、当業者であれば、様々な実施形態においてイヤホーンは3つより多い部分からなり、および/または異なる厚さを有していてもよいことを理解するであろう。
[00839]本明細書で説明されているような様々な実施形態において、巻き付け式イヤホーン(wrapping ear horns)は、平たく折り畳める。ユーザが接眼鏡を使用していないときのように、イヤホーンが閉位置に折り畳まれると、イヤホーンは、真っ直ぐになってより平たく折り畳まれるようになり、ユーザの頭部および/または耳にイヤホーンが巻き付くか、またはその起伏を辿ることができることが、平たく折り畳めることを妨げることはない。本明細書で説明されているような様々な実施形態において、イヤホーンは、折り畳まれ、それによって、真っ直ぐになり、イヤホーンは平たくなって接眼鏡をより平たい構成で保管することが可能になる。様々な実施形態において、イヤホーンは、ヒンジのところで解放されたときに、または他の手段によって真っ直ぐにすることができ、これにより、接眼鏡を平たく折り畳むことが可能になる。本明細書で説明されているように、様々な実施形態において、イヤホーンは硬直性を弱くして、平たく折り畳めるようにできる。
[00840]諸実施形態では、レベラーパッドは、異なる垂直位置にある耳に対して調整を行うか、またはユーザの耳もしくは目の異なる位置に対応できるように、1つまたは複数のイヤホーンと共に使用されうる。諸実施形態では、これらのパッドは、イヤホーン上の、ユーザの耳の接点のところに配置することができ、これにより、ユーザの耳および/または目の異なる位置に合うように接眼鏡を調整することができる。諸実施形態では、レベラーパッドは、くさび形スライダーを介して、または様々な手段によって調整されうる。レベラーパッドは、イヤホーンの一部であるものとしてよいか、またはレベラーパッドはクリップ、接着剤、摩擦、または他の手段を介してイヤホーンに取り付けることができる。
[00841]本明細書で説明されている様々な実施形態において、接眼鏡およびイヤホーンは、独立気泡発泡体と共にユーザと接触する1つまたは複数の領域上に嵌合されうる。発泡体は、ユーザに対して快適さをもたらすと同時に、水分および汗が発泡体に浸透するのを防ぐこともできる。さらに、独立気泡発泡体は無孔性の表面を形成し、これにより、接眼鏡に細菌、微生物、および他の生命体が付着するのを防ぎ、またそれらの増殖を防ぐことができる。本明細書で説明されているような様々な実施形態において、発泡体は、抗微生物性および/もしくは抗菌性を有し、および/またはそのような目的のための物質で処置されているものとしてよい。
[00842]一実施形態では、接眼鏡は、M−Shield Security、セキュアコンテンツ、DSM、セキュアランタイム、IPsec、および同様の機能などの、セキュリティ機能を備えることができる。他のソフトウェア機能としては、ユーザインターフェース、Apps、フレームワーク、BSP、コーデック、インテグレーション、テスト、システムバリデーション、および同様の機能が挙げられる。
[00843]一実施形態では、接眼鏡の材料は、高耐久化を利用できるように選択されうる。
[00844]一実施形態では、接眼鏡は、デバイスから接眼鏡の3G対応実施形態へのデータのホッピングを可能にする3G無線、802.11b接続、およびBluetooth(登録商標)接続を含む3Gアクセスポイントにアクセスすることができるものとしてよい。
[00845]本開示は、個人に関する生体データを取り込むための方法および装置にも関係する。これらの方法および装置は、個人の指紋、虹彩パターン、顔の造り、および他の固有の生体特徴をワイヤレス方式で取り込み、そのデータをネットワークに送信するか、または直接接眼鏡に送信する。個人から収集されたデータは、すでに収集されているデータとも比較され、特定の個人を識別するために使用されうる。
[00846]諸実施形態では、接眼鏡100は、生体フラッシュライト(biometric flashlight)7300、生体フォン(biometric phone)5000、生体カメラ(biometric camera)、ポケット生体デバイス(pocket biometric device)5400、アームストラップ生体デバイス5600、および同様のものなどのモバイル生体デバイス(mobile biometric device)に付随し、モバイルバイオメトリクスデバイスは、スタンドアロンデバイスとして動作するか、または接眼鏡と通信しながら動作して、デバイスの制御、デバイスから受け取ったデータの表示、データの格納、外部システムへのリンク、他の接眼鏡および/または他のモバイルバイオメトリクスデバイスへのリンク、ならびに同様の機能を果たすことができる。モバイルバイオメトリクスデバイスを使用することで、兵士または他の非軍事要員が既存のバイオメトリクスを収集し、または利用して、個人のプロフィールを作成することができる。デバイスは、ビデオ、音声、歩き方、顔、虹彩バイオメトリクス、および同様のものなどを含む、生体記録を追跡し、監視し、収集する機能を備えるものとしてよい。デバイスは、時刻、日付、場所、データ収集者、環境、および同様のものなどと共に、収集されたデータにジオロケーションタグを付けることができる。デバイスは、薄膜センサの利用、顔、指紋、虹彩、潜在指紋、潜在掌紋、声、ポケットの中身、および他の目に見える識別マークおよび環境データの記録、収集、識別、ならびに検証などを行って、指紋、掌紋、傷跡、マーク、入れ墨、オーディオ、ビデオ、注釈、および同様のものを取り込み、記録することができるものとしてよい。デバイスは、濡れた状態または乾燥した状態の印刷物を読み取ることができるものとしてよい。デバイスは、IR照明、UV照明、および同様の機能、ほこり、煙、もや、および同様のものを透かして見る機能などを有する、カメラを備えることができる。カメラは、ダイナミックレンジ拡大、適応型欠陥画素補正、高度シャープネス強化、幾何学的歪み補正、高度カラーマネジメント、ハードウェアベースの顔検出、ビデオ安定化、および同様のものをサポートすることができる。諸実施形態では、カメラ出力は接眼鏡に送信され、兵士に提示されうる。デバイスは、要求条件に応じて、加速度計、コンパス、周辺光、近接、気圧および温度センサ、ならびに同様のものを含む、本明細書で説明されているような、複数の他のセンサに対応することができる。デバイスは、本明細書で説明されているような、モザイクプリントセンサ(mosaic print sensor)を有することもでき、これは、個人の指紋、同時に複数の指紋、掌紋、および同様のものの渦巻きおよび毛穴の高解像度画像を生成する。兵士は、ドキュメントおよびメディア利用(document and media exploitation)(DOMEX)などのために、モバイルバイオメトリクスデバイスを使用して人員情報を比較的容易に収集することができる。例えば、面接、登録、尋問、および同様の活動において、オペレータは、識別データまたは「ポケットの中身」(例えば、パスポート、IDカード、パーソナルドキュメント、携帯電話の電話帳、写真)を写真に撮り、読み取り、生体データを収集し、および同様の作業を行って検索可能で安全なデータベースに入力されうる注目する人物のプロフィールに入れることができる。諸実施形態では、生体データは、最も顕著な画像とマニュアル入力とを使用してファイリングされ、これにより、部分的データ取り込みを可能にすることができる。データは、ローカルまたはネットワークで割り当てられたグローバル一意識別子(GUID)などと共に自動的にジオロケーションを付けられ、タイムスタンプを付けられ、デジタル書類にファイリングされ、同様の処理を施されうる。例えば、顔画像は、IED爆破のシーンで取り込まれ、左虹彩画像は、自爆テロのシーンで取り込まれ、潜在指紋は、狙撃用ライフルから採取され、それぞれの指紋は異なる場所および時間において異なるモバイルバイオメトリクスデバイスから取り出され、それと共に、抜き取り車両検査時点において複数の入力から容疑者を特定する。
[00847]接眼鏡のさらなる実施形態は、生体データの収集および結果の報告を行うために使用されうる。生体データは、顔生体データまたは虹彩生体データなどの視覚的生体データであるか、オーディオ生体データであってよい。図39は、生体データ取り込みを行う一実施形態を示す。アセンブリ3900は、図1に関連して上で説明されている接眼鏡100を組み込む。接眼鏡100は、光学アセンブリを備える対話型頭部装着接眼鏡を実現したものである。類似の機能性を備える他の接眼鏡も使用されうる。接眼鏡は、全世界測位システム機能も組み込み、位置情報の表示および報告を可能にすることができる。
[00848]光学アセンブリを使用するユーザは装着者の近辺の個人を含む、周囲の環境を見ることができる。接眼鏡の一実施形態を使用するユーザは顔画像および虹彩画像または顔および虹彩の両方の画像またはオーディオサンプルを使用して付近の個人を生体測定により識別することができる。接眼鏡は、周囲の環境に対するユーザの視界を補正する補正要素を組み込み、また、内蔵プロセッサおよび画像光源を通じてユーザに提供されるコンテンツも表示する。内蔵画像光源は、ユーザに表示されるコンテンツを光学アセンブリに導入する。
[00849]接眼鏡は、生体データを取り込むための光学センサも備える。内蔵光学センサは、一実施形態において、接眼鏡に装着されたカメラを組み込むことができる。このカメラは、接眼鏡のユーザの近くにいる個人の生体画像を取り込むために使用される。ユーザは、接眼鏡を適切な方向に位置決めすることによって光学センサまたはカメラを付近の個人に向けるが、これは個人を見つめるだけで行える。ユーザは、顔画像、虹彩画像、またはオーディオサンプルの1つまたは複数を取り込むかどうかを選択することができる。
[00850]図39に例示されている接眼鏡によって取り込まれうる生体データは、顔認識のための顔画像、虹彩認識のための虹彩画像、および音声識別のためのオーディオサンプルを含む。接眼鏡3900は、接眼鏡の左右のつるに沿って配設されているエンドファイアアレイ内に複数のマイクロフォン3902を組み込む。マイクロフォンアレイ3902は、周囲騒音が高レベルである環境内で人間の声を取り込めるように特別にチューニングされる。マイクロフォンは、指向性、可動性を有し、隠せるものとすることができる。マイクロフォン3902は、無指向性動作、または指向性ビーム動作を含む、改善されたオーディオキャプチャのための選択可能なオプションを備える。指向性ビーム動作により、ユーザは、対象の個人の方向にマイクロフォンアレイを操縦することによって特定の個人からオーディオサンプルを記録することができる。オペレータがマイクロフォンアレイの3次元での方向を操作することを可能にする適応型マイクロフォンアレイが作製され、指向性ビームは、信号を最大にするか、または非静止標的に対する干渉する雑音を最小にするようにリアルタイムで調整されうる。アレイ処理は、アナログまたはデジタル手段によりカーディオイド要素の総和を可能にし、無指向性アレイ動作と指向性アレイ動作との切り替えがあり得る。諸実施形態では、ビーム形成、アレイ操縦、適応型アレイ処理(音声源位置)、および同様のものが、オンボードプロセッサによって実行されうる、一実施形態において、マイクロフォンは、10dBの指向性録音を行うことができるものとしてよい。
[00851]オーディオ生体キャプチャ(Audio biometric capture)は、オーディオおよびビデオキャプチャ(audio and video capture)のためフェーズドアレイオーディオおよびビデオトラッキング(phased array audio and video tracking)を組み込むことによって強化される。オーディオトラッキングでは、標的の個人が他の雑音源のある環境内で動いているときにオーディオサンプルを取り込むことを続けることができる。諸実施形態では、ユーザの音声は、オーディオトラックから減算されて、何が言われているかを識別するなどのために、標的の個人のより明確な表現を可能にする、ロケーショントラッキングを改善する、オーディオトラッキングを改善する、および同様のことを行うことができる。
[00852]表示光学系および生体データ収集のための電力を供給するために、接眼鏡3900は、1回の充電で12時間を超えて動作することができるリチウムイオン電池3904も組み込む。それに加えて、接眼鏡100は、取り込まれた生体データを処理するためのプロセッサおよびソリッドステートメモリ3906も組み込む。プロセッサおよびメモリは、.wav形式などの、生体キャプチャプロトコルまたは形式の一部として使用されるソフトウェアまたはアルゴリズムで機能するように構成可能である。
[00853]接眼鏡アセンブリ3900のさらなる一実施形態は、取り込まれた生体データを生体データデータベース内に生体データを格納する離れた場所にあるファシリティに送信する内蔵通信用ファシリティを備える。生体データデータベースでは、取り込まれた生体データを解釈し、データを解釈し、接眼鏡に表示できるようにコンテンツの準備をする。
[00854]動作中、付近の観察された個人から生体データを取り込むことを望んでいる接眼鏡の装着者は、個人が接眼鏡の視野内に現れるように自分の位置を決める。適所に決まった後、ユーザは、生体情報の取り込みを開始する。取り込める生体情報は、虹彩画像、顔画像、およびオーディオデータを含む。
[00855]動作中、付近の観察された個人からオーディオ生体データを取り込むことを望んでいる接眼鏡の装着者は、個人が接眼鏡の近く、特に、接眼鏡のつるに配置されているマイクロフォンアレイの近くにあるように自分の位置を決める。適所に決まった後、ユーザは、オーディオ生体情報の取り込みを開始する。このオーディオ生体情報は、標的の個人の音声の録音されたサンプルからなる。オーディオサンプルは、虹彩および顔画像などの、視覚的生体データと併せて取り込まれうる。
[00856]虹彩画像を取り込むために、装着者/ユーザは、所望の個人を観察し、光学センサアセンブリまたはカメラが所望の個人の生体パラメータの画像を収集することができるように接眼鏡の位置を決める。取り込まれた後、接眼鏡のプロセッサおよびソリッドステートメモリは、さらなる処理を行えるように離れた場所にあるコンピューティングファシリティに送信するため取り込まれた画像の準備をする。
[00857]離れた場所にあるコンピューティングファシリティは、送信された生体画像を受信し、送信された画像を同じタイプのすでに取り込まれている生体データと比較する。虹彩または顔画像はすでに収集されている虹彩または顔画像と比較されて、その個人にすでに出会っていて、識別してあるかどうかを判定する。
[00858]比較した後、離れた場所にあるコンピューティングファシリティは、比較結果の報告を、表示のため装着者/ユーザの接眼鏡に送信する。報告は、取り込まれた生体画像がすでに取り込まれている画像と一致していることを示す場合がある。そのような場合、ユーザは、他の識別情報または統計量と共に、個人のアイデンティティを含む報告を受け取る。取り込まれたすべての生体データにより、アイデンティティを一義的に決定できるわけではない。そのような場合、離れた場所にあるコンピューティングファシリティは、調査結果の報告を出し、識別および比較のプロセスを補助するために、場合によっては異なるタイプの、追加の生体データを収集するようユーザに要求することができる。視覚的生体データは、識別のさらなる補助手段としてオーディオ生体データを用いて補完されうる。
[00859]顔画像は、虹彩画像と類似の仕方で取り込まれる。視野は、収集された画像のサイズのせいで、必ず大きいものとなる。これは、ユーザが顔生体データが取り込まれる被検者からさらに離れて立つことも可能にする。
[00860]動作時に、ユーザは、個人の顔画像を最初に取り込んでいる可能性がある。しかし、顔画像は、個人が顔の特徴をわかりにくくする、衣類、または帽子などの他の衣料品を着用している場合があるため、不完全であるか、または結論を出せない場合がある。このような場合、離れた場所にあるコンピューティングファシリティは、異なるタイプの生体キャプチャが使用され、追加の画像またはデータが送信されることを要求しうる。上述の場合、ユーザは、取り込まれた顔画像を補完ために虹彩画像を取得するよう指示されうる。他の場合において、追加の要求されたデータは、個人の音声のオーディオサンプルであってよい。
[00861]図40は、虹彩認識のために虹彩画像を取り込むことを例示している。図は、画像を解析するために使用される焦点パラメータを例示しており、生体データの取り込み時の個人の地理的位置を含む。図40は、接眼鏡上に表示されるサンプルの報告も示している。
[00862]図41は、複数のタイプの生体データ、この場合には、顔および虹彩画像の取り込みを例示している。取り込みは、同時に実行されうるか、または第1のタイプの生体データから結論できない結果が導かれる場合に離れた場所にあるコンピューティングファシリティの要求により実行されうる。
[00863]図42は、図39の接眼鏡のつるに収納されている複数のマイクロフォンアレイの電気的構成を示している。エンドファイアマイクロフォンアレイにより、大きな距離でも信号の識別が高く、また指向性も改善されうる。信号処理は、後方マイクロフォンの伝送路内に遅延を組み込むことによって改善される。二重無指向性マイクロフォンを使用すると、無指向性マイクロフォンから指向性マイクロフォンに切り替えることができる。これにより、所望の個人のオーディオキャプチャに対する方向の発見が改善される。図43は、異なるマイクロフォンで利用可能な指向性改善を例示している。
[00864]図43の頂部に示されているように、単一の無指向性マイクロフォンが使用されうる。マイクロフォンは、音源から所定の距離のところに配置されるものとしてよく、マイクロフォンにおける音圧またはデジタルオーディオ入力(DI)は与えられたdBレベルの入力である。単一のマイクロフォンの代わりに、複数のマイクロフォンまたはマイクロフォンのアレイが使用されてもよい。例えば、2つのマイクロフォンが、6dBの音圧増大で、距離係数2に対して、音源から2倍離れた距離のところに配置されうる。あるいは、4つのマイクロフォンが、音圧の8.8dBの増大で、距離係数2.7において使用されうる。アレイも使用することができる。例えば、距離係数4における8マイクロフォンアレイは、12dBのDI増大を有することができ、距離係数5における12マイクロフォンアレイは、13.2dBのDI増大を有することができる。図43のグラフは、その地点の所定の音圧レベルからマイクロフォンのところに同じ信号レベルを発生する地点を示している。図43に示されているように、一次スーパーカーディオイドマイクロフォンは、同じ距離のところで使用することができ、この例では、二次で、6.2dBの増大を有する。複数のマイクロフォンは、複合マイクロフォンアレイで配置構成されうる。1つの標準的な高品質マイクロフォンを使用してオーディオサンプルを取り込む代わりに、接眼鏡のつる部分に異なる性質の複数のマイクロフォンを収納する。例えば、これは、ユーザが将来取り込んで比較できるように誰かの音声の生体音紋を生成するときに提供されうる。複数のマイクロフォンの使用の一例では、電話を切った携帯体電話からのマイクロフォンを使用して個人の音声の正確な電気的および音響的特性を再現する。このサンプルは、将来比較するためにデータベースに格納される。個人の音声が後で取り込まれた場合に、以前のサンプルは、比較のために利用可能であり、2つのサンプルの音響的特性が一致するときに、接眼鏡のユーザに報告される。
[00865]図44は、適応型アレイを使用してオーディオデータキャプチャを改善する方法を示している。オーディオ処理用の既存のアルゴリズムを修正することによって、3つの次元におけるアンテナの指向性をユーザが変えられる適応型アレイが作製されうる。適合型アレイ処理により、発話の発生源の位置を特定し、取り込まれたオーディオデータを特定の個人に結び付けることができる。アレイ処理により、信号のカーディオイド要素の単純な総和が、デジタル方式で、またはアナログ技術を使用して実行することができる。通常の使用では、ユーザは、マイクロフォンを無指向性パターンと指向性アレイとの間で切り替えるべきである。プロセッサは、ビーム形成、アレイ操縦、および適応型アレイ処理を接眼鏡上で実行させることができる。諸実施形態では、オーディオフェーズアレイが、特定の個人のオーディオトラッキングに使用されうる。例えば、ユーザは、周囲の環境内の個人のオーディオシグネチャ(audio signature)(リアルタイムで、またはサウンドシグネチャ(sound signature)のデータベースから取得されるような)にロックオンし、アイコンタクトを維持しなくても、またはユーザが自分の頭を動かすことなく、個人の位置を追跡することができる。個人の位置は、接眼鏡ディスプレイを通じてユーザに投影されうる。諸実施形態では、個人の追跡は、接眼鏡に埋め込まれているカメラを通じて行うこともでき、ユーザは、個人とのアイコンタクトを維持したり、その頭を動かして追随させる必要はない。つまり、オーディオまたは視覚的トラッキングの場合に、接眼鏡は、ユーザがトラッキングが行われていることを示す物理的運動を示す必要なく、またユーザが視野方向を移動するときであっても、ローカル環境内で個人を追跡することができる。
[00866]一実施形態では、内蔵カメラは、連続的にビデオファイルを記録することができ、内蔵マイクロフォンは、連続的にオーディオファイルを記録することができる。接眼鏡の内蔵プロセッサは、連続的オーディオまたはビデオ記録の長いセクションにおけるイベントタグ付けを可能にしうる。例えば、丸一日の受動的記録は、イベント、会話、出会い、または他の注目する項目が発生した場合に必ずタグ付けされうる。タグ付けは、ボタンの明示的な押下、雑音または物理的な叩く動作、手振り、または本明細書で説明されている他の制御技術を通じて実行されうる。マーカは、オーディオまたはビデオファイルに付けられるか、またはメタデータヘッダ内に格納されうる。諸実施形態では、マーカは、イベント、会話、出会い、または他の注目する項目のGPS座標を含みうる。他の実施形態では、マーカは、その日のGPSログの時刻と同期されうる。他のロジックベースのトリガは、他のユーザ、デバイス、位置、または同様のものとの近接関係などのオーディオまたはビデオファイルをタグ付けすることもできる。イベントタグは、ユーザが手動でトリガするアクティブイベントタグ、自動的に(事前プログラミング、イベントプロフィール管理ファシリティ、および同様のものなどを通じて)出現するパッシブイベントタグ、ユーザの位置によってトリガされる位置感知タグ、および同様のものとすることができる。イベントタグをトリガするイベントは、音、光景、視覚的マーカ、ネットワーク接続からの受信、光トリガ、音響トリガ、近接トリガ、時間トリガ、地理的空間トリガ、および同様のものによってトリガされうる。イベントトリガは、ユーザへのフィードバック(音色、視覚的インジケータ、メッセージ、および同様のものなど)を生成し、情報(ファイルの格納、ドキュメント、リスティング内のエントリ、オーディオファイル、ビデオファイル、および同様のもの)を格納し、情報伝送を生成する、といったことを行うことができる。
[00867]一実施形態では、接眼鏡は、SigIntグラス(SigInt Glasses)として使用されうる。内蔵WiFi、3G、またはBluetooth(登録商標)無線のうちの1つまたは複数を使用する、接眼鏡は、ユーザの近傍内のデバイスおよび個人に対する無線諜報活動の情報の収集を目立つ形で、また受動的に行うために使用されうる。無線諜報活動の情報は、自動的に収集されうるか、または特定デバイスIDが近接しているとき、特定のオーディオサンプルが検出されるとき、特定のジオロケーションに到達したとき、および同様のタイミングでトリガされうる。
[00868]タクティカルグラスの様々な実施形態は、安全な距離における視覚的バイオメトリクス(顔、虹彩、歩き方)でPOIの地理的位置を決定するバイオメトリクスのスタンドアロンの識別または収集を含むことができ、場合によっては顔および虹彩に対する強固な疎認識アルゴリズムでPOIを識別することができる。眼鏡は、生体コンピュータインターフェース用のハンズフリーディスプレイを備え、プリントおよび視覚的バイオメトリクスを強化された標的強調表示機能を有する1つの包括的ディスプレイ上にマージし、POIをアラートすることなく一致と警告を表示することができる。眼鏡は、現在の速度および平均速度に加えて目的地までのルートおよびETAを表示すること、ならびにトラブルスポットおよびイクスフィルトレーションルート(ex-filtration route)のプリローディングまたは記録など、位置認識機能を備えることができる。眼鏡は、友軍と敵軍のリアルタイムのネットワーク接続トラッキング機能を備え、味方がどこにいるかを常に知り、友軍と敵軍との間の目視間隔範囲を達成し、敵の地理的位置を決定し、その位置をリアルタイムで共有することができる。眼鏡に付随するプロセッサは、OCR翻訳および音声翻訳のための機能を備えることができる。
[00869]タクティカルグラスは戦闘で使用することができ、これはレンズ上に投影されるグラフィカルユーザインターフェースを備え、ユーザに、チームメンバ位置データ、その領域のマップ情報、SWIR/CMOS暗視機能、兵士用の車両S/A、>500mのPOIまたは標的の地理的位置を典型的には2メートル未満の位置精度で決定するための地理的位置決定レーザ照準機、S/A友軍距離環、Domex登録(Domex registration)、ARフィールドリペアオーバーレイ(AR field repair overlay)、リアルタイムUAVビデオなどの指令および強化された現実データを提供することができる。一実施形態では、レーザ照準機は、目に安全な1.55ミクロンのレーザ照準機であるものとしてよい。
[00870]接眼鏡は、本明細書で説明されているものなど、本明細書で説明されているようなGPSおよび慣性航法を利用して(例えば、慣性計測装置を利用して)、位置および方向の精度を確保することができる。しかし、接眼鏡は、追加のセンサおよび関連するアルゴリズムを利用して、3軸デジタルコンパス、傾斜計、加速度計、ジャイロスコープ、および同様のものなどで、位置および方向の精度を高めることができる。例えば、軍事作戦では、GPSから利用可能な以上の位置精度を必要とする場合があり、したがって、GPSの位置精度を高めるために他のナビゲーションセンサと組み合わせて使用されうる。
[00871]タクティカルグラスは、1280×1024画素などの高解像度を備え、またオートフォーカス機能も備えることができる。
[00872]下車歩兵被占領地交戦任務(dismounted and occupied enemy engagement mission)において、低強度、低密度、非対称の戦争形態に勝つには、効率的な情報管理が必須である。タクティカルグラスシステムは、状況認識の総合描写のための非協力的データ記録および直観的戦術的表示を通じてのES2(すべての兵士がセンサである)機能を組み込む。
[00873]諸実施形態では、タクティカルグラスは、フレーム内に一体化される1つまたは複数の導波路を備えることができる。諸実施形態では、全反射レンズが、単眼または双眼跳ね上げ/跳ね下げ式の一対の弾道眼鏡に取り付けられる。タクティカルグラスは、高度な聴覚および保護用の無指向性小型イヤホンおよび通信音声識別コマンド用のノイズキャンセリングブームマイクロフォンを備えることができる。
[00874]諸実施形態では、導波路は、コントラスト制御機能を有することができる。コントラストは、身振り制御、自動センサ制御、つる装着コントローラを使用した手動制御、および同様の機能などの、本明細書で説明されている制御技術のどれかを使用して制御されうる。
[00875]タクティカルグラスは、滑り止め付き調整可能弾性ベッドストラップを備えることができる。タクティカルグラスは、クリップイン補正レンズを備えることができる。
[00876]諸実施形態では、全反射レンズは、図74などにおいて、ヘルメットに装着されるデバイスに取り付けられ、昼/夜、VIS/NIR/SWIR CMOSカラーカメラを備えることができる。このデバイスは、脅威、さらには兵士の所有する兵器を、「シースルー」跳ね上げ式電気光学的プロジェクタ画像表示により、妨げられることなく「見る」ことを可能にする。図74Aに示されているヘルメット装着デバイスは、IR/SWIR照明器7402、UV/SWIR照明器7404、SWIR可視(visible to SWIR)パノラミックレンズ7408、SWIR可視対物レンズ(図示せず)、透明のぞき窓7410、虹彩認識対物レンズ7412、レーザ放射体7414、レーザ受信機7418、または他のセンサ、プロセッサ、もしくは本明細書で説明されている接眼鏡に関して説明されている技術、例えば、内蔵IMU、目に安全なレーザ照準機、内蔵GPS受信機、位置決めを正確に行うためのコンパスおよび傾斜計、目の位置に一致するように画像の視角を変えるパースペクティブ制御、電子画像安定化およびリアルタイム強調、オンボードに格納されているか、または離れた場所から戦術的ネットワークでアクセスできるように格納されている脅威のライブラリ、および同様のものなどを備えることができる。装着式ワイヤレスコンピュータは、図74のデバイスとインターフェースすることができる。ヘルメット装着デバイスは、RGBマイクロプロジェクタ光学系などのSWIR可視プロジェクタ光学系を備える。多スペクトルIRおよびUV撮像は、フェイクまたは改変されたドキュメントを見つけるのに役立つ。ヘルメット装着デバイスは、暗号化されたワイヤレスUWBリストまたは兵器フォアグリップコントローラで制御されうる。
[00877]一実施形態では、透明のぞき窓7410は、180°回転して、像を表面に投影して他者と共有することができる。
[00878]図74Bは、ヘルメットに装着された分解済みデバイスの側面図である。デバイスは、ヘルメットの左側または右側に装着するための完全に両手利き用のマウントを備えることができる。諸実施形態では、2つのデバイスがヘルメットの左側および右側のそれぞれに装着され、両眼視を可能にするものとしてよい。1つまたは複数のデバイスは、標準的なMICHまたはPRO−TECHヘルメットマウント内にスナップ式に嵌合できる。
[00879]今日、戦闘員は、戦場データデバイスを効果的に利用することができない。タクティカルグラスシステムは、薄型軽量材料と高速プロセッサとを組み合わせたものであり、これにより戦場ですばやく、正確な決定を下すことができる。システムがモジュール設計となっているため、戦場コンピュータを相互運用する能力を保持しながらデバイスを個人、分隊、または中隊に効果的に配備することができる。タクティカルグラスシステムは、データのリアルタイム配布機能を組み込んでいる。オンボードのコンピュータインターフェースにより、オペレータは、データをリアルタイムで表示し、アップロードし、または比較することができる。これにより、貴重な状況および環境データをネットワークに接続されているすべての要員さらには指揮所(CP)および戦術作戦司令部(TOC)にすばやく配布することができる。
[00880]図75Aおよび75Bは正面図および側面図であり、それぞれ、生体および状況認識眼鏡の例示的な一実施形態を示している。この実施形態は、生体収集状況認識および視界強化ユーザインターフェース用の複数の視野センサ7502、位置および方向を正確に決めるための3軸デジタルコンパス、ジャイロスコープ、加速度計、および傾斜計を備える高速ロッキングGPS受信機およびIMU、生体キャプチャを補助する目に安全な1.55ミクロンレーザ照準機7504、および2つのフラッシュSDカードを搭載する標的内蔵デジタルビデオレコーダ、リアルタイム電子画像安定化およびリアルタイム画像補正、オンボードのミニSDカードに格納されるか、または戦術的ネットワーク上でリモートロードされる脅威のライブラリ、跳ね上げ式調光レンズ7508、ノイズキャンセリングフレキシブルブームマイク7510および3軸脱着可能ステレオ小型イヤホーンと強化された聴覚および保護システム7512を備えることができる。例えば、複数の視野センサ7502は、パノラマSXGA(panoramic SXGA)であってよい、100°×40°FOVを使用可能にしうる。例えば、センサは、VGAセンサ、SXGAセンサ、および眼鏡のディスプレイ上に繋ぎ合わせ処理された100°×40°FOV(stitched 100°x 40°FOV)を有するパノラマSXGA表示(panoramic SXGA view)を生成するVGAセンサであってよい。表示は、半透明であり、パースペクティブ制御で目の位置と一致するように画像の視角を変えることができる。この実施形態は、装着者に敵からは見えない1064nmおよび1550nmのレーザ指示装置を見せる、SWIR検出機能も備えることができ、また眼鏡、戦術的ラジオ、およびコンピュータ間の超低電力256ビットAES Encrypted接続、インスタント2倍ズーム、自動顔追跡、顔および虹彩記録、および自動認識距離が1mである認識およびGPSジオロケーションを備えることができる。この実施形態は、24時間持続する4−AAアルカリ、リチウム、および充電可能電池ボックスなどの電源を備え、そのコンピュータおよびメモリ拡張スロットは耐水および防塵コードを備えるものとしてよい。一実施形態において、眼鏡は、湾曲したホログラフィック導波路を備える。
[00881]諸実施形態では、接眼鏡は、戦場標的設定において使用されるようなレーザを感知することができるものとしてよい。例えば、接眼鏡内のセンサは、1064nm、1550nm、および同様の波長の典型的な軍用レーザ透過帯域のレーザ光を検出することができるものとしてよい。このようにして、接眼鏡は、これらの位置が、別の位置が標的になっている場合に標的にされているかどうか、標的設定補助手段としてレーザを使用している観測手の位置、および同様のものを検出することができるものとしてよい。さらに、接眼鏡は、直接光または反射光などのレーザ光を感知することができるものとしてよいので、兵士は、その位置に向けられた、または反射された敵レーザ源を検出するだけでなく、戦場シーンにおいて光学面(例えば、双眼鏡)を特定するためにレーザ源それ自体を備えることもできる。例えば、兵士は、レーザで戦場をスキャンし、接眼鏡を使って、双眼鏡を通して見える敵の可能な位置としてレーザの反射光がないか観察する。諸実施形態では、接眼鏡は、レーザ光がないか周囲の環境を連続的にスキャンし、検出の結果として、兵士への警報音、接眼鏡表示上の視覚的インジケータを通して指示される位置、および同様のものなどの、フィードバックならびに/またはアクションを提供することができる。
[00882]諸実施形態では、ポケットカメラは、録画および静止画像の取り込みを行うことができ、これにより、オペレータはポケットに入れられるサイズの軽量で頑丈なモバイル生体デバイスを用いて環境データを記録し分析に備えることができる。一実施形態は、5.715cm(2.25”)×8.89cm(3.5”)×0.9525cm(0.375”)であり、3.048m(10フィート)で顔取り込み、0.9144m(3フィート)で虹彩取り込み、音声、ポケットの中身、歩き方、および他の識別する目に見えるマークおよび虹彩/顔アルゴリズムと互換性のあるEFTSおよびEBTS準拠形式の環境データの記録が可能であるものとしてよい。デバイスは、生体照合ソフトウェアまたはユーザインターフェースによって照合され、ファイリングされるEFTS/EBTS/NIST/ISO/ITL 1−2007準拠の突出画像を事前に絞り込んで取り込むように設計されている。デバイスは、高解像度ビデオチップ、533MhzのDSPを備える1GHzプロセッサ、GPSチップ、アクティブ型照明、および事前絞り込みアルゴリズムを備えることができる。諸実施形態では、Pocket Bio Camは、生体ウォッチリストを組み込むことができず、したがって、すべての階層(echelon)および/または警察リーブビハインド作戦行動(constabulary leave-behind operation)で使用することができる。データは、自動的にジオロケーションを付けられ、タイムスタンプが付けられるものとしてよい。諸実施形態では、デバイスは、Linux SE OSで動作し、MIL−STD−810環境規格に適合し、深さ0.9144m(3フィート)(約1m)の耐水性を有するものとしてよい。
[00883]一実施形態では、指紋を収集するためのデバイスは、バイオプリントデバイス(bio-print device)とも称されうる。バイオプリント装置は、2つの面取りされた縁を有する透明プラテンを備える。プラテンは、LEDと1つまたは複数のカメラからなるバンクによって照らされる。複数のカメラが使用され、近くに配設されプラテンの面取りされた縁に向けられる。指または掌は、プラテンの上に置かれ、プラテンの上側表面に押し当てられ、そこでカメラが隆線模様を取り込む。画像は、漏れ全反射(FTIR)を使用して記録される。FTIRでは、光は、プラテンに押し当てられた指または掌の山部と谷部とによって形成される空隙にわたってプラテンから漏れる。
[00884]他の実施形態も使用することが可能である。一実施形態では、複数のカメラが、鋸歯パターンの反転V字形に配置される。別の実施形態では、矩形が形成され、一方の側を直接通る光を使用し、カメラのアレイが生成画像を取り込む。光は、矩形の側部を通して矩形に入り、カメラは、矩形の真下に置かれており、これにより、カメラは矩形を通過する光によって照らされる山部と谷部を取り込むことができる。
[00885]画像が取り込まれた後、複数のカメラからの画像を繋ぎ合わせるためにソフトウェアが使用される。デジタル画像処理にカスタムFPGAが使用されうる。
[00886]取り込まれ、処理された後、画像はストリーミングで、スマートフォン、コンピュータ、ハンドヘルドデバイス、もしくは接眼鏡などのリモートディスプレイ、または他のデバイスに送られるものとしてよい。
[00887]上の説明は、本開示の方法および装置の動作の概要を示したものである。これらおよび他の実施形態の追加の記述および説明は以下に示される。
[00888]図45は、一実施形態による光学系ベースの指紋および掌紋システムの構成およびレイアウトを例示している。光学アレイは、約60のウェハー規模のカメラ4502からなる。光学系ベースのシステムは、指紋または掌紋を含む渦巻きおよび毛穴の高解像度画像に対する順次周囲照明4503、4504を使用する。この構成は、薄型軽量の極めて頑丈な構成となっている。耐久性は、ひっかき傷防止が施された透明プラテンで高められる。
[00889]モザイクプリントセンサは、漏れ全反射(FTIR)光学フェイスプレートを使用しており、画像をPCB様の基板4505上に装着されたウェハー規模のカメラのアレイに供給する。センサは、深さ約1.27cm(1/2”)で平坦な幅および長さにスケーリングされうる。サイズは、ただ1つのフィンガーロールプリント(finger roll print)を取り込むのに十分な小ささのプレートから、両手の指紋を同時に取り込むのに十分な大きなプレートまで様々なサイズであってよい。
[00890]モザイクプリントセンサを使用することで、オペレータは、指紋を取り込み、収集されたデータをオンボードデータベースと突き合わせて比較することができる。データは、ワイヤレス方式でアップロードおよびダウンロードを行うこともできる。ユニットは、スタンドアロンユニットとして動作しうるか、または生体システムと一体化することができる。
[00891]動作時に、モザイクプリントセンサは、過剰な日光を浴びる過酷な環境において高い信頼性を示す。この機能を実現するために、複数のウェハー規模の光学センサが、画素減算を使用してデジタル式で繋ぎ合わされる。結果得られる画像は、1インチ当たり500ドット(dpi)を超えるように加工される。電力は、電池によって、またはUSBプロトコルを使用して他の供給源から電力を寄生的に引き出すことによって供給される。フォーマッティングは、EFTS、EBTS NIST、ISO、およびITL 1−2007準拠である。
[00892]図46は、他のセンサによって使用される従来の光学的アプローチを例示している。このアプローチは、FTIR(漏れ全反射)にも基づく。図中、フリンジはプリズムに接触し、光を散乱させる。カメラは、散乱光を取り込む。プリントされている指のフリンジは、暗線として示され、指紋の谷部は輝線として示されている。
[00893]図47は、モザイクセンサ4700によって使用されるアプローチを例示している。モザイクセンサはFTIRも使用する。しかし、プレートは、側部から照らされ、内部反射は、センサのプレート内に収容される。撮像されている指紋のフリンジは、図の上に示されており、プリズムと接触し、光を散乱させ、これによりカメラは散乱光を取り込むことができる。指のフリンジは輝線として示され、谷部は暗線として示されている。
[00894]図48は、モザイクセンサ4800のレイアウトを示している。LEDアレイは、プレートの周上に配置構成される。プレートの下に、指紋画像を取り込むために使用されるカメラがある。画像は、取り込み平面と称される、この底部プレート上で取り込まれる。取り込み平面は、センサ平面に平行で、そこに指が置かれる。プレートの厚さ、カメラの個数、およびLEDの個数は、プレートのアクティブな取り込み領域のサイズに応じて、変化しうる。プレートの厚さは、必要な厚さを薄くするカメラの光路を折り畳む鏡を追加することによって小さくできる。それぞれのカメラは、いくつかの画素がカメラ間で重なる2.54cm(1インチ)分の空間を覆う。これにより、モザイクセンサは、500ppiを達成できる。カメラは、60度の視野を有することができるが、画像には著しい歪みがあり得る。
[00895]図49は、カメラの視野およびモザイクセンサで使用される複数のカメラの相互作用の一実施形態4900を示している。それぞれのカメラは、小さな取り込み領域を覆う。この領域は、カメラの視野およびカメラとプレートの頂面との間の距離に依存する。αは、カメラの水平視野の1/2であり、βは、カメラの垂直視野の1/2である。
[00896]モザイクセンサは、図50に例示されているようにバイオフォンおよび戦術用コンピュータに組み込まれうる。バイオフォンおよび戦術用コンピュータは、デュアルコアプロセッサ、DSP、3−Dグラフィックスアクセラレータ、3G−4G Wi−Lan(802.11 a/b/g/nによる)、Bluetooth(登録商標) 3.0、およびGPS受信機を組み込んだ完成したモバイルコンピュータアーキテクチャを使用する。バイオフォンおよび戦術用コンピュータは、電話サイズパッケージの標準ラップトップと同等のパワーを備える。
[00897]図50は、バイオフォンおよび戦術用コンピュータのコンポーネントを例示している。バイオフォンおよび戦術用コンピュータアセンブリ5000は、ケース5004内に収容されたディスプレイ画面5001、スピーカ5002、およびキーボード5003を備える。これらの要素は、バイオフォンおよび戦術用コンピュータアセンブリ5000の前部に見えている。アセンブリ3800の後側には、虹彩撮像用のカメラ5005、顔撮像および録画用のカメラ5006、およびバイオプリント指紋センサ5009が配置されている。
[00898]安全な通信およびデータ伝送を行うために、デバイスは、選択可能な256ビットAES暗号化をCOTSセンサおよびPOI収集用の生体事前絞り込みのソフトウェアを組み込む。このソフトウェアは、安全な「傷みやすい」音声、ビデオ、およびデータ通信の送受信を行うため承認された生体照合ソフトウェアによって照合され、ファイリングされる。それに加えて、バイオフォンは、Windows Mobile、Linux、およびAndroidの各オペレーティングシステムをサポートする。
[00899]バイオフォンは、ウェブポータルおよび生体対応ウォッチリストBEWLデータベースに遡るための3G−4G対応ハンドヘルドデバイスである。これらのデータベースは、取り込まれた生体画像および生体データの現場内比較を可能にする。デバイスは、標準のLBVまたはポケットに収まるように設計される。諸実施形態では、バイオメトリクスフォンおよび戦術用コンピュータは、デュアルコアプロセッサ、DSP、3−Dグラフィックスアクセラレータ、3G−4G、Wi−LAN(802.11a/b/g/n)、安全な民生用ネットワークに対応したBluetooth(登録商標) 3.0、GPS受信機、立体3Dビデオを出力することができる日光の下でも読み取り可能なWVGA静電容量式タッチスクリーンディスプレイ、触知できるバックライトQWERTYキーボード、複数のオペレーティングシステムをサポートするオンボードストレージ、および軽量設計のラップトップパワーを備える同様のものを使用することができる。
[00900]バイオフォンは、顔、虹彩、2本指の指紋、さらには個人データを含む、複数のタイプの生体データを検索し、収集し、登録し、検証することができる。デバイスは、ビデオ、音声、歩き方、識別マーク、およびポケットの中身の記録も行う。ポケットの中身は、通常はポケット、財布、またはハンドバッグに入れて携帯される様々な小さな物品を含み、また余分な小銭、身分証明書、パスポート、クレジットカード、および同様のものを含んでいてもよい。図52は、このタイプの情報の典型的なコレクションを示している。図52には、ポケットの中身5200のコレクションの例である。含まれうるタイプの物品は、個人の文書と写真5201、本5202、ノートブックと紙5203、およびパスポート5204などの書類である。
[00901]バイオメトリクスフォンおよび戦術用コンピュータは、生体データの収集およびビデオ会議に対応できる高解像度スチルおよびビデオカメラなどのカメラを備えることができる。諸実施形態では、本明細書で説明されているような、接眼鏡カメラおよびビデオ会議機能は、バイオメトリクスフォンおよび戦術用コンピュータと併せて使用されうる。例えば、接眼鏡に内蔵されたカメラは、画像を取り込み、画像をバイオメトリクスフォンおよび戦術用コンピュータに伝送し、また逆の伝送も行える。接眼鏡とバイオメトリクスフォンとの間でデータの交換が可能であり、ネットワーク接続がいずれかによって確立され、また共有され、また同様の操作が可能である。それに加えて、生体フォンおよび戦術用コンピュータは、軍用温度範囲に耐え、防水(深さ5mまでなど)であり、同様の特性を有する、頑丈な完全に軍用の構造物内に収納されうる。
[00902]図51は、バイオフォンを使用して潜在指紋および掌紋を取り込む一実施形態5100を例示している。指紋および掌紋は、目盛りオーバーレイ(scale overlay)で紫外線ダイオードからのアクティブ型照明により1000dpiで取り込まれる。指紋と掌紋5100は両方とも、バイオフォンを使用して取り込むことができる。
[00903]バイオフォンによって収集されたデータは、GPS機能を使用して自動的にジオロケーションとタイムスタンプを付けられる。データは、アップロードまたはダウンロードされ、オンボードまたはネットワークに接続されているデータベースと突き合わせて比較されうる。このデータ転送は、デバイスの3G−4G、Wi−Lan、およびBluetooth(登録商標)機能によって円滑になされる。データ入力は、QWERTYキーボードで、またはスタイラスもしくはタッチスクリーン、または同様のものなどの、提供されうる他の方法で行うことができる。生体データは、最も突出した画像を使用して収集後にファイリングされる。手入力で、部分的データ取り込みを行うことができる。図53は、デジタル書類画像とデータベースに保持されている生体ウォッチリストとの間の相互作用5300を例示している。生体ウォッチリストは、現場で取り込まれたデータをすでに取り込まれているデータと比較するために使用される。
[00904]フォーマッティングでは、EFTS、EBTS NIST、ISO、およびITL 1−2007形式を使用して、生体データに対する多種多様なデータベースとの互換性を確保することができる。
[00905]バイオフォンおよび戦術用コンピュータに対する仕様を以下に示す。
動作温度:−22℃から+70℃まで
接続I/O:3G、4G、WLAN a/b/g/n、Bluetooth(登録商標) 3.0、GPS、FM
接続出力:USB 2.0、HDMI(登録商標)、イーサネット(登録商標)
物理的寸法:17.4625cm(6.875”)(H)×12.3825cm(4.875”)(W)×3.048cm(1.2”)(T)
重量:793.8g(1.75lb)
プロセッサ:デュアルコア−1GHzプロセッサ、600MHz DSP、および30Mポリゴン/秒3−Dグラフィックスアクセラレータ
ディスプレイ:3,8”WVGA(800×480)、直射日光の下で読み取り可能、半透過型、静電容量式タッチスクリーン、スケーラブルな表示出力で同時に3×1080p高解像度画面に接続
オペレーティングシステム:Windows Mobile、Linux(登録商標)、SE、Android
ストレージ:128GBソリッドステートドライブ
追加ストレージ:追加128GBストレージ用のデュアルSDカードスロット
メモリ:RAM 4GB
カメラ:3つの高解像度スチルおよびビデオカメラ:顔、虹彩、および会議(ユーザの顔)
3Dサポート:立体3Dビデオを出力することができる。
カメラセンササポート:センサダイナミックレンジ拡大、適応型欠陥画素補正、高度シャープネス強化、幾何学的歪み補正、高度マネジメント、HWベースの顔検出、ビデオ安定化
バイオメトリクス:オンボード光学系、2指紋センサ、顔、DOMEX、および虹彩カメラ。
センサ:要求条件に応じて、加速度計、コンパス、周辺光、近接、生体、および温度センサの追加に対応できる。
電池:8時間超、1400Mah、再充電可能なリチウムイオン、ホットスワップ電池パック。
電力:連続動作用に様々な電力オプションが用意されている。
ソフトウェアの特徴:顔/身振り検出、ノイズフィルタリング、画素補正。
マルチオーバーレイ、回転、およびリサイズ機能を備える強力な表示用プロセッサ。
オーディオ:オンボードマイクロフォン、スピーカ、およびオーディオ/ビデオ入力。
キーボード:調整可能なバックライトを有する完全触知QWERTYキーボード。
[00906]追加のデバイスおよびキットはモザイクセンサも組み込むことができ、バイオフォンおよび戦術用コンピュータと連携して動作し、生体データ収集の完全な現場ソリューションを提供することができる。
[00907]そのような一デバイスは、図54に例示されているポケットバイオキットである。ポケットバイオキット5400のコンポーネントは、GPSアンテナ5401、バイオプリントセンサ5402、キーボード5404を備え、すべてケース5403内に収容されている。バイオキットの仕様を以下に示す。
サイズ:15.24cm(6”)×7.62cm(3”)×3.81cm(1.5”)
重量:合計907.2g(2lb)
プロセッサおよびメモリ:1GHz OMAPプロセッサ
コア650MHz
処理速度最大1800万ポリゴン/秒の3−Dアクセラレータ
64KB L2キャッシュ
32ビットFSBで166MHz
最大4GB NANDで拡張可能な1GB組み込みPoPメモリ
64GBソリッドステートハードドライブ
ディスプレイ:75mm×50mm、640×480(VGA)の昼光読み取り可能なLCD、防眩、反射防止、傷防止画面処理
インターフェース:USB2.0
10/100/1000イーサネット(登録商標)
電力:電池動作:登録毎に約5分で、約8時間の連続登録。
組み込み機能:モザイクセンサ光学式指紋読取装置
アクティブ型IR照明を有するデジタル虹彩カメラ
フラッシュ付きデジタル顔およびDOMEXカメラ(可視)
高速ロックGPS
[00908]バイオフォンおよび戦術用コンピュータの機能は、頑丈なコンパクトケース内に折り畳めて収納される生体データ収集システムを構成するバイオキット内にも備えることができる。データは、国防総省のBiometric Authoritative Databasesとリアルタイムに近いデータ通信を行うために相互参照されうる生体標準画像およびデータ形式で収集される。
[00909]図55に示されているポケットバイオキットは、目盛りオーバーレイで紫外線ダイオードからのアクティブ型照明により1,000dpiで潜在指紋および掌紋を取り込むことができる。バイオキットは、リアルタイムの現場条件の下でデータのアップロードおよびダウンロードを行うため戦闘用無線機またはコンピュータと相互運用することができる32GBメモリストレージカードを保持する。電力は、リチウムイオン電池で供給される。バイオキットアセンブリ5500のコンポーネントは、GPSアンテナ5501、バイオプリントセンサ5502、および基部底部5505を有するケース5503を備える。
[00910]個人の移動を監視し追跡するため生体データの収集にジオロケーションを付ける。バイトキットを使用して、指紋および掌紋、虹彩画像、顔画像、潜在指紋、およびビデオが収集され、データベースに登録されうる。指紋および掌紋、虹彩画像、および顔画像に対するアルゴリズムは、これらのタイプのデータ収集を円滑にする。虹彩画像および潜在指紋画像を同時に取り込むのを支援するために、バイオキットは、虹彩または潜在指紋にアクティブに光を当てるIRおよびUVダイオードを有する。それに加えて、ポケットバイオキットは、ITL 1−2007およびWSQを含めて、完全EFTS/EBTS準拠でもある。バイオキットは、極端な環境条件において動作するためMIL−STD−810に適合しており、Linux(登録商標)オペレーティングシステムを使用する。
[00911]画像を取り込むため、バイオキットは、最大被写界深度に対する波面符号化を有するダイナミックレンジの高いカメラを使用し、潜在指紋および虹彩画像の細部が確実に取り込まれるようにする。取り込まれた後、リアルタイム画像強調ソフトウェアおよび画像安定化が、可読性を改善する働きをし、優れた視覚的弁別をもたらす。
[00912]バイオキットは、ビデオを記録することもでき、またオンボード「カムコーダオンチップ」にフルモーション(30fps)カラービデオを格納する。
[00913]接眼鏡100は、モバイル折り畳みバイオメトリクス登録キット(別名バイオキット)5500、頑丈なコンパクトケース内に折り畳んで入れられ、指紋、虹彩、および顔認識、潜在指紋、および本明細書で説明されているような同様の生体データのためにミニワークステーション内に広げられる、生体データ収集システムとインターフェースすることができる。他のモバイルバイオメトリクスデバイスの場合と同様に、本明細書で説明されているように、モバイル折り畳みバイオメトリクス登録キット5500は、スタンドアロンデバイスとして、または接眼鏡100に付随して使用されうる。一実施形態において、モバイル折り畳みバイオメトリクス登録キットは、重量が907.2g(2lb)などである15.24cm(6”)×7.62cm(3”)×3.81cm(1.5”)などの小サイズまで折り畳める。これは、プロセッサ、デジタルシグナルプロセッサ、3Dアクセラレータ、高速シンドロームベースハッシュ(FSB)機能、ソリッドステートメモリ(例えば、パッケージオンパッケージ(PoP))、ハードドライブ、ディスプレイ(例えば、75mm×50mm、640x480(VGA)昼光下読み取り可能LCD防眩、反射防止、傷防止画面)、USB、イーサネット(登録商標)、埋め込み型電池、モザイク光学式指紋読取装置、デジタル虹彩カメラ(アクティブ型IR照明付きなど)、フラッシュ付きデジタル顔およびDOMEXカメラ、高速ロックGPS、および同様のものを収容することができる。データは、DoDのBiometric Authoritative Databasesとリアルタイムに近いデータ通信を行うために相互参照されうる生体標準画像およびデータ形式で収集されうる。デバイスは、監視および追跡対象の人物の生体データおよびジオロケーションの収集、標準ネットワーキングインターフェースを用いて戦闘用無線機またはコンピュータを使用するワイヤレスデータアップロード/ダウンロード、および同様の機能を実行できるものとしてよい。
[00914]バイオキットに加えて、図56に示されている、手首装着指紋、掌紋、ジオロケーション、およびPOI登録デバイスにモザイクセンサが組み込まれうる。接眼鏡100は、生体デバイス5600とインターフェースすることができ、これは、指紋、虹彩認識、コンピュータ、および本明細書で説明されているような同様の生体データのために兵士の手首または腕にストラップで取り付けられ、折って開く(fold open)生体データ収集システムである。デバイスは、内蔵コンピュータ、キーボード、直射日光下読み取り可能ディスプレイ、生体センシティブプラテン(biometric sensitive platen)、および同様のものを有するものとしてよく、したがって、オペレータは、収集および識別を目的としてデータの格納または比較をすばやく、離れた場所で実行することができる。例えば、アームストラップの生体センシティブプラテンは、掌紋、指紋、および同様のものをスキャンするために使用できる。デバイスは、時刻、日付、場所、および同様のものと共に、注目している人物および収集されたデータに対してジオロケーションタグを付けることができる。他のモバイルバイオメトリクスデバイスの場合と同様に、本明細書で説明されているように、生体デバイス5600は、スタンドアロンデバイスとして、または接眼鏡100に付随して使用されうる。一実施形態において、生体デバイスは、小型で軽く兵士の腕に楽に装着することができ、これは例えばアクティブ型指紋および掌紋センサに対して寸法12.7cm(5”)×6.35cm(2.5”)、重量453.6g(16オンス)を有する。指紋および掌紋の取り込みのためのアルゴリズムがあり得る。デバイスは、プロセッサ、デジタルシグナルプロセッサ、トランシーバ、QWERTYキーボード、大型耐候性圧力駆動プリントセンサ、直射日光下読み取り可能半透過型QVGAカラーバックライトLCDディスプレイ、内部電源、および同様のものを備えることができる。
[00915]一実施形態では、手首装着アセンブリ5600がケース5601内に収容する要素は、ストラップ5602、設定およびオン/オフボタン5603、センサ用保護カバー5604、圧力駆動センサ4405、ならびにキーボードおよびLCD画面5606である。
[00916]指紋、掌紋、ジオロケーション、およびPOI登録デバイスは、内蔵コンピュータ、QWERTYキーボード、およびディスプレイを備える。ディスプレイは、強い直射日光下で操作しやすいように設計されており、LCD画面またはLEDインジケータを使用して、オペレータに指紋および掌紋の取り込みに成功したことを知らせる。ディスプレイでは、半透過型QVGAカラーをバックライトLCD画面と共に使用して可読性を改善する。デバイスは、重量453.6g(16オンス)、モザイクセンサのところで測定して12.7cm(5”)×6.35cm(2.5”)と、軽量、コンパクトである。このようにコンパクトなサイズで、軽量であるため、このデバイスは、図56に示されているように、LBVポケット内に滑り込ませるか、またはユーザの前腕にストラップで結び付けることができる。モザイクセンサを組み込んだ他のデバイスと同様に、すべてのPOIは、取り込み時にジオロケーション情報をタグ付けされる。
[00917]センサ画面のサイズは、10本の指、掌、4本指で打つこと、および指先の取り込みを許すサイズである。センサは、大型の圧力駆動プリントセンサを組み込んでおり、500dpiの速度で、MIL−STD−810に規定されているどのような天候条件においても高速登録を行える。ソフトウェアアルゴリズムは、指紋および掌紋の両方の取り込みモードをサポートし、デバイス管理にLinux(登録商標)オペレーティングシステムを使用する。720MHzプロセッサを533MHz DSPと共に搭載しているため、取り込みは高速である。この処理機能は、正しい形式の突出画像を既存の承認されたシステムソフトウェアに送る。それに加えて、このデバイスは、ITL 1−2007およびWSQを含めて、完全EFTS/EBTS準拠でもある。
[00918]他のモザイクセンサデバイスと同様に、取り外し可能なUWBワイヤレス256ビットAESトランシーバを使用することでワイヤレスモードでの通信が可能である。これもまた、デバイスから離れて格納されている生体データベースとの間の安全なアップロードおよびダウンロードを可能にする。
[00919]電力は、リチウムポリマーまたはAAアルカリ電池を使用して供給される。
[00920]上で説明されている手首装着デバイスは、図57に示されている、データおよびビデオディスプレイを備える拡張現実接眼鏡を含む、他のデバイスと連携して使用することもできる。アセンブリ5700が備えるコンポーネントは、接眼鏡5702、およびバイオプリントセンサデバイス5700である。拡張現実接眼鏡は、両眼立体視冗長センサおよびディスプレイを備え、日中のまぶしい日光から、夜の極端に低い光レベルに至るまで、様々な照明条件の下で見る能力を提供する。接眼鏡の操作は、接眼鏡のつるにロータリスイッチが配置されている単純なものであり、ユーザは前腕のコンピュータもしくはセンサ、またはラップトップデバイスからデータにアクセスできる。接眼鏡は、聴覚保護および聴覚改善のために無指向性小型イヤホーンも備える。音声識別コマンドの通信を改善するために接眼鏡内にノイズキャンセリングブームマイクロフォンを組み込むことも可能である。
[00921]接眼鏡は、256ビットAES暗号化UWBを使用してバイオフォンセンサおよび前腕装着デバイスとワイヤレス方式で通信することができる。これは、ラップトップまたは戦闘用無線機と、さらにはCP、TOC、および生体データベースへのネットワークと通信することも可能にする。接眼鏡は、ABIS、EBTS、EFTS、およびJPEG 2000互換である。
[00922]上で説明されている他のモザイクセンサデバイスと同様に、接眼鏡では、ネットワーク接続GPSを使用して、POI、さらにはRFフィルタアレイの高精度のジオロケーションを提供する。
[00923]動作時に、薄型前腕装着コンピュータおよび戦術用ディスプレイは、顔、虹彩、指紋、掌紋、および指先の収集および識別を統合する。デバイスは、ビデオ、音声、歩き方、および他の識別特性の記録も行う。顔および虹彩追跡は自動的に行われ、したがってデバイスは非協力的POIを認識するのを補助することができる。接眼鏡に備えられている透明ディスプレイ使用することで、オペレータは、センサ画像、移動するマップ、ナビゲーション、標的設定、センサからの位置または他の情報、UAV、および同様のものと重ね合わされるアプリケーション、ならびにデータさらには生体データが取り込まれている個人または他の標的/POIを表示することもできる。
[00924]図58は、指紋、掌紋、ジオロケーション、およびPOI登録デバイスのさらなる実施形態を例示している。デバイスは16オンス(約450g)であり、12.7cm(5”)×6.35cm(2.5”)のアクティブ型指紋および掌紋静電容量センサを使用する。センサは、500dpiで10本の指、掌、4本指で叩くこと、および指先紋(fingertip prints)を登録することができる。0.6〜1GHzのプロセッサを430MHzのDSPと共に使用することで、高速な登録およびデータ取り込みが可能である。デバイスは、ABIS、EBTS、EFTS、およびJPEG 2000互換であり、注目する人物の高精度の測位を行うネットワーク接続GPSを備える。それに加えて、デバイスは、ワイヤレス方式により、256ビットAES暗号化UWB、ラップトップ、または戦闘用無線機上で通信を行う。データベース情報は、デバイス上に格納され、これにより、情報をアップロードすることなく現場で比較することもできる。このオンボードデータは、ワイヤレス方式で、ラップトップまたは戦闘用無線機などの他のデバイスと共有することもできる。
[00925]手首装着バイオプリントセンサセンブリ5800のさらなる実施形態が備える要素は、バイオプリントセンサ5801、リストストラップ5802、キーボード5803、および戦闘用無線コネクタ5804である。
[00926]データは、記憶用容量を増やすためにデバイスがMil−conデータストレージキャップを利用できるので前腕デバイス上に格納できる。データ入力は、QWERTYキーボード上で実行され、手袋をして実行できる。
[00927]ディスプレイは、半透過型QVGA、カラー、バックライトLCDディスプレイで、直射日光の下で読み取り可能なように設計されている。強い直射日光の下での運用に加えて、デバイスは、環境の極端な条件の下でのMIL−STD−810動作の要件を満たすので、様々な環境内で動作させることが可能である。
[00928]上で説明されているモザイクセンサは、図59に例示されているように、モバイル折り畳み生体登録キット内に組み込むこともできる。モバイル折り畳み式生体登録キット5900は折り畳まれて、戦術用ベストのポケットにぴったり入るサイズであり、広げると20.32×30.48×10.16cm(8×12×4インチ)の寸法を有する。
[00929]図60は、接眼鏡および前腕装着デバイスが生体データ収集用の完全なシステムを構成するのにどのようにインターフェースできるかを示す一実施形態6000を例示している。
[00930]図61は、モバイル折り畳み生体登録キットのシステム図6100である。
[00931]動作中に、モバイル折り畳み生体登録キットは、ユーザが、対称の顔、虹彩、掌紋、指先、および伝記データを検索し、収集し、識別し、検証し、登録することを可能にし、音声サンプル、ポケットの中身、および他の可視の識別するマークを記録することもできる。収集された後に、データは、自動的にジオロケーションされ、日付および時刻をスタンプされる。収集されたデータを、検索し、オンボードデータベースおよびネットワーク化されたデータベースと比較することができる。デバイスに搭載されていないデータベースとの通信のために、標準ネットワーキングインターフェースを有する戦闘ラジオまたはラップトップコンピュータを使用する無線データアップ/ダウンロードが提供される。フォーマッティングは、EFTS、EBTS、NIST、ISO、およびITL 1−2007に準拠する。デバイスが任意の照合および登録ソフトウェアを使用できるので、事前承認を得た画像を、照合ソフトウェアに直接に送ることができる。
[00932]上で説明されたものを組み込むデバイスおよびシステムは、モバイル生体データ収集、識別、および状況認識の包括的解決策を提供する。このデバイスは、非協力的な参考人(POI)の指紋、掌紋、指先、顔、虹彩、音声、およびビデオデータを収集することができる。ビデオは、移動するビデオからなど、不安定な状況での取込を可能にするために高速ビデオを使用して取り込まれる。取り込まれた情報は、たやすく共有することができ、追加データを、キーボードを介して入力することができる。さらに、すべてのデータは、日付、時刻、およびジオロケーションを用いてタグ付けされる。これは、潜在的に移ろいやすい環境での状況認識に必要な情報のすばやい散布を容易にする。追加データ収集は、デバイスを装備したより多くの人員を用いて可能であり、したがって、「すべての兵士がセンサである」というアイデアを実証するものである。共有は、戦闘ラジオおよび戦場コンピュータと共に生体デバイスを内蔵することによって容易にされる。
[00933]諸実施形態では、接眼鏡は、接眼鏡自体に、接眼鏡がインターフェースする外部デバイスに、および類似物に内蔵されるなど、柔軟な薄膜センサを利用することができる。薄膜センサは、突然の接触力または連続的に変化する力をかけられた時に電気信号を作る薄い多層電気機械配置を含むことができる。電気機械薄膜センサの通常の応用例は、オンオフ電気スイッチ感知と力の時間分解された感知との両方を使用する。薄膜センサは、スイッチ、力計、および類似物を含むことができ、薄膜センサは、突然の電気的接触(スイッチング)、力の作用の下での電気抵抗の漸進的変化、応力の作用の下での電荷の漸進的解放、磁界内を移動する時の導体にまたがる漸進的な起電力の生成、および類似物の効果に頼ることができる。例えば、柔軟な薄膜センサを、2次元力アレイセンサの顕微鏡的力感知画素を有する力−圧力センサ内で利用することができる。これは、特に軍事応用を有するコンピュータ、スマートフォン、ノートブック、MPー3様デバイスと、無人機(UAV)、ドローン、モバイルロボット、外骨格ベースのデバイスを含むコンピュータ制御下で何かを制御するための画面と、類似物とに有用である可能性がある。薄膜センサは、侵入と、デバイス、ドア、窓、機器の開閉と、類似物とを検出するリモートセンサまたはローカルセンサなど、セキュリティ応用で有用である可能性がある。薄膜センサは、無音のリモートトリップワイヤ検出器内で使用される電子機器およびラジオと共になど、トリップワイヤ検出に有用である可能性がある。薄膜センサを、車両コンパートメント、船体、航空機パネル、および類似物のひずみ−応力を検出する力センサなど、開閉検出に使用することができる。薄膜センサは、指紋鑑定、掌紋鑑定、指先鑑定、および類似物でなど、生体センサとして有用である可能性がある。薄膜センサは、漏れているタンク、ストレージファシリティ、および類似物の検出など、漏れ検出に有用である可能性がある。薄膜センサは、体の外部の液体または血液および類似物の検出など、医療センサに有用である可能性がある。これらのセンサ応用例は、薄膜センサを接眼鏡を介する外部デバイスの制御および監視に関連して使用できる多数の応用例を例示することを意図されたものであり、いかなる形でも限定的であることは意図されていない。
[00934]図62に、薄膜指紋および掌紋収集デバイスの実施形態6200を示す。このデバイスは、NIST標準に4つの指紋スラップ、指紋ロール、掌紋、および指紋を記録することができる。優れた品質の指紋画像を、濡れた手または乾いた手のいずれを用いても取り込むことができる。このデバイスは、他の大きいセンサと比較して、重量および電力消費を減らされている。さらに、このセンサは、自己完結型であり、活線挿抜可能である。このセンサの構成は、様々な必要に合わせて変更でき、このセンサは、様々な形状および寸法で製造することができる。
[00935]図63に、指、掌、および登録データ収集デバイスの実施形態6300を示す。このデバイスは、指先、ロール、スラップ、および掌紋を記録する。ビルトインQWERTYキーボードは、書かれた登録データの入力を可能にする。上で説明したデバイスと同様に、すべてのデータは、収集の日付、時刻、およびジオロケーションを用いてタグ付けされる。ビルトインデータベースは、ビルトインデータベースに対する潜在的POIのオンボード照合を提供する。照合を、戦場ネットワークを介して他のデータベースを用いて実行することもできる。このデバイスを、顔および虹彩認識をサポートするために上で説明した光学生体収集接眼鏡と共に内蔵することができる。
[00936]指、掌および登録デバイスの仕様を、下で与える。
重量および寸法:453.5g(16オンス)、前腕ストラップまたはLBVポケットへのインサート
12.7cm(5”)x6.35cm(2.5”)指紋/掌紋センサ
14.605cm(5.75”)x6.985cm(2.75”)QWERTYキーボード
6.89cm(3.5”)x5.715cm(2.25”)LCDディスプレイ
片手動作
環境:センサは、すべての気象条件、−20℃から+70℃で動作する
防水:1m4時間、劣化なしで動作する
生体収集:指紋および掌紋収集、識別
POIの登録用のキーボードおよびLCDディスプレイ
POIのオンボード照合用に30000個超のフルテンプレートポートフォリオ(虹彩2つ、指紋10個、顔画像、伝記情報の35フィールド)を保持する
すべての収集された生体データに時刻、日付、および位置を用いてタグ付けする
静電容量型圧力指紋/掌紋センサ
30fps高コントラストビットマップ画像
1000dpi
無線:戦闘ラジオ、ハンドヘルドコンピュータ、またはラップトップコンピュータと完全に相互運用可能、256ビットAES暗号化
電池:二重2000mAhリチウムポリマー電池
>12時間、<15秒高速充電バッテリ
処理およびメモリ:256MBフラッシュおよび128MB SDRA、それぞれ32GBまでの3枚のSDカードをサポートする
600〜1GHZ ARM Cortex A8プロセッサ
1GB RAM
[00937]図64〜66に、生体データを収集するセンサを組み込んだデバイスの使用を示す。図64に、2ステージ掌紋の取込の実施形態6400を示す。図65に、指先タップを使用する収集6500を示す。図66に、スラップおよびロールプリントが収集されつつある実施形態6600を示す。
[00938]上の議論は、図66および図62〜66に示されているように、プラテンまたはタッチスクリーンを使用して指紋または掌紋などの生体データを集める方法に関する。本開示は、偏光を使用するタッチレスまたは無接触の指紋鑑定の方法およびシステムをも含む。一実施形態では、人が、偏光光源を使用することと、2つの平面内の反射された偏光を使用して指紋の画像を取り出すこととによって、指紋をとることができる。もう1つの実施形態では、人が、光源を使用することと、マルチスペクトル処理を使用して、例えば異なる入力を有する2つの異なる位置の2つの撮像素子を使用して、指紋の画像を取り出すこととによって、指紋をとることができる。異なる入力は、異なるフィルタまたは異なるセンサ/撮像素子を使用することによって引き起こすことができる。この技術の応用例は、チェックを行う人の安全が問題になる可能性がある、未知の人または対象の生体チェックを含むことができる。
[00939]この方法では、未知の人または対象は、例えば彼または彼女の目的地へさらに移動することを許可されるために、チェックポイントに近付くことができる。図67のシステム6700に示されているように、人Pおよび手、掌P、または他の部分などの適当な体の部分が、偏光の源6701によって照明される。光学技術の当業者に周知のように、偏光の源は、単純に、1平面内で偏光された光を放つ偏光フィルタを有するランプまたは他の照明の源とすることができる。光は、非接触指紋鑑定のために指定された領域内で人へ進み、その結果、偏光が、人Pの指または他の体の部分に当たるようになる。入射した偏光は、指または他の体の部分から反射され、その人からすべての方向に進む。2つの撮像素子またはカメラ6704は、光がレンズ6702および偏光フィルタ6703などの光学素子を通過した後に、反射光を受け取る。カメラまたは撮像素子を、図8Fに関して上で論じたように、拡張現実眼鏡に取り付けることができる。
[00940]その後、光は、参考人の掌または1つもしくは複数の指から2つの異なる偏光フィルタ6704a、6704bへ、およびその後に撮像素子またはカメラ6705へ進む。偏光フィルタを通過した光は、90o方位差(水平および垂直)または30o、45o、60o、もしくは120oなどの他の方位差を有する可能性がある。カメラは、入射光を適当な信号に変換するのに適当なデジタルイメージングセンサを有するデジタルカメラとすることができる。その後、信号は、デジタル信号プロセッサなどの適当な処理回路網6706によって処理される。その後、信号を、メモリを有するデジタルマイクロプロセッサ6707によるなど、従来の形で組み合わせることができる。適当なメモリを有するデジタルマイクロプロセッサは、望み通りに掌の画像、指紋、または他の画像に適切なデータを作るようにプログラムされる。その後、撮像素子からのデジタルデータを、例えば米国特許第6249616号などの技法を使用して、このプロセスで組み合わせることができる。本開示で上で注記したように、その後、組み合わされた「画像」を、人の身元を判定するためにデータベースに対してチェックすることができる。拡張現実眼鏡は、メモリ内にそのようなデータベースを含むことができ、あるいは、比較およびチェックのために他所の信号データ6708を参照することができる。
[00941]無接触の指紋、掌紋、または他の生体プリントをとるプロセスを、図68の流れ図に開示する。一実施形態では、偏光光源を提供する6801。第2ステップ6802では、参考人および選択された体部分を、光による照明のために位置決めする。もう1つの実施形態では、偏光光源を使用するのではなく、入射白色光を使用することを可能とすることができる。画像の撮影の準備ができた時に、光が、人から2つのカメラまたは撮像素子へ反射される6803。偏光フィルタを2つのカメラのそれぞれの前に置き、その結果、カメラによって受け取られる光が、水平面および垂直面など、2つの異なる平面で偏光されるようにする6804。その後、各カメラは、偏光を検出する6805。その後、カメラまたは他のセンサは、入射光を、画像の準備に適切な信号またはデータに変換する6806。最後に、画像を組み合わせて、非常に別個の信頼できるプリントを形成する6807。その結果は、人を識別し、参考人を検出するためにデジタルデータベースと比較できる非常に高品質の画像である。
[00942]デジタルカメラが、この無接触システムで使用されるが、アクティブ画素撮像素子、CMOS撮像素子、複数の波長で結像する撮像素子、CCDカメラ、光検出器アレイ、TFT撮像素子その他など、他の撮像素子を使用できることを理解されたい。偏光が、2つの異なる画像を作成するのに使用されたが、反射光の他の変形形態を使用することもできることをも理解されたい。例えば、偏光を使用するのではなく、白色光を使用することができ、ベイヤーフィルタ、CYGMフィルタ、またはRGBEフィルタなど、異なるフィルタを撮像素子に適用することができる。他の実施形態では、偏光の源なしですまし、その代わりに、偏光の源ではなく自然光または白色光を使用することを可能とすることができる。
[00943]タッチレスまたは無接触の指紋鑑定は、より以前のシステムによって証明されるように、しばらくの間開発されてきた。例えば、米国特許出願第2002/0106115号では、非接触システムで偏光を使用するが、指紋を取られる人の指への金属コーティングを必要とした。米国特許第7651594号および米国特許出願公告第2008/0219522号に記載のものなど、より後のシステムは、プラテンまたは他の表面との接触を必要とする。本明細書で説明される無接触システムは、結像の時に接触を必要とせず、接触の前に、例えば問題の体の部分にコーティングまたは反射コーティングを施すことも必要としない。もちろん、お互いに関する撮像素子またはカメラの位置は、より簡単な処理のために既知でなければならない。
[00944]使用中に、無接触指紋システムを、構内入口、建物の入口、路側チェックポイント、または他の便利な位置などのチェックポイントで使用することができる。そのような位置を、ある人の立入を許可し、他の参考人の立入を拒否するか拘留することさえ望ましい位置とすることができる。実際には、このシステムは、偏光が使用される場合に、ランプなどの外部光源を利用することができる。無接触結像に使用されるカメラまたは他の撮像素子を、拡張現実眼鏡の1セット(1人用)の対向する側面に取り付けることができる。例えば、2カメラバージョンが図8Fに示されており、2つのカメラ870が、フレーム864に取り付けられている。この実施形態では、少なくとも画像を処理するソフトウェアを、拡張現実眼鏡のメモリ内に含めることができる。代替案では、カメラ/撮像素子からのデジタルデータを、適当な処理のために近くのデータセンタにルーティングすることができる。この処理は、プリントの画像を形成するためにデジタルデータを組み合わせることを含むことができる。この処理は、対象が関心を持たれている対象であるかどうかを判定するために既知の人のデータベースをチェックすることをも含むことができる。
[00945]無接触指紋鑑定のもう1つの方法は、極端に低濃度(パーツパービリオン(10億分率)またはパーツパートリリオン(1兆分率)さえ)の爆発性化合物ならびに薬剤化合物を検出するために、指および手を非接触スキャンするのに量子ドットレーザを利用する。例えば、量子ドットまたは他の種類のレーザ、レーザアレイを、ある対象から別の対象への汚染を防ぐために、非常に近くではあるが接触せずに検出するために、バイオフォンの背面内または眼鏡のフレーム内のいずれかに取り付けることができる。したがって、虹彩、指紋、顔、および声に関連する生体データを収集する眼鏡または他のアクセサリデバイスの能力に加えて、爆発物または薬剤の汚染IDを収集することもできる。
[00946]代替案では、図8Fのカメラ858に見られるように、2人の人のそれぞれの1つのカメラを使用することができる。この構成では、2人の人は、相対的に近く、その結果、彼らのそれぞれの画像は、適当なソフトウェアによる組合せに関して適切に似たものになる。例えば、図67の2つのカメラ6705を、チェックポイントに配置された2人の兵士など、拡張現実眼鏡の2つの異なる対に取り付けることができる。代替案では、カメラを、チェックポイント自体の壁または静止部分に取り付けることができる。その後、2つの画像を、建物チェックポイントのコンピュータシステムなど、メモリを有するリモートプロセッサ6707によって組み合わせることができる。
[00947]上で論じたように、拡張現実眼鏡を使用する人は、特に彼らの両方がチェックポイントで勤務中である場合に、多数の無線技術のうちの少なくとも1つを介してお互いと常に連絡をとることができる。したがって、単一のカメラからまたは2カメラバージョンからのデータを、適当な処理のためにデータセンタまたは他の指揮所に送信することができ、この処理に、掌紋、指紋、虹彩プリントなどの照合のためのデータベースのチェックを続けることができる。データセンタを、チェックポイントの近くに便利に配置することができる。現代のコンピュータおよびストレージの可用性を用いると、複数のデータセンタを提供し、ソフトウェアを無線で更新することのコストは、そのようなシステムの主要なコスト考慮事項ではなくなる。
[00948]上で論じたタッチレスまたは無接触生体データ収集を、本開示の他所で論じる制御技法など、複数の形で制御することができる。例えば、一実施形態では、ユーザは、眼鏡上のタッチパッドを押すことによってまたは音声コマンドを与えることによって、データ収集セッションを開始することができる。別の実施形態では、ユーザは、手の移動もしくは身振りによって、または本明細書で説明する制御技法のいずれかを使用して、セッションを開始することができる。これらの技法のいずれもが、メニューを出すことができ、このメニューから、ユーザは、「begin data gathering session(データ収集セッションを開始する)」、「terminate data−gathering session(データ収集セッションを終了する)」、または「continue session(セッションを継続する)」などのオプションを選択することができる。データ収集セッションが選択される場合に、コンピュータ制御されるメニューは、ユーザがプリンタを選択するのと同様に、カメラの個数、どのカメラなどのメニュー選択肢を提供することができる。偏光モード、カラーフィルタモード、その他など、モードもある場合がある。各選択の後に、システムは、適宜、タスクを完了しまたは別の選択肢を提供することができる。偏光の源または他の光源をオンに切り替える、フィルタまたは偏光子を適用するなど、ユーザ介入を要求することもできる。
[00949]指紋、掌紋、虹彩画像、または他の所望のデータを獲得した後に、メニューは、比較に使用すべきデータベース、ストレージに使用すべきデバイス(1つまたは複数)などに関する選択を提供することができる。タッチレスまたは無接触生体データ収集システムを、本明細書で説明される方法のいずれによっても制御することができる。
[00950]システムおよびセンサは、潜在的な参考人の識別に明白な用途を有するが、実際的な戦場の用途もある。指紋センサを使用して、兵士の医療履歴を呼び出し、アレルギ、血液型、および他の時間に敏感であり、処置を決定するデータに関する情報をすばやく簡単に与え、したがって、戦場条件下で正しい処置を可能にすることができる。これは、当初に処置された時に無意識であり、識別タグを失った可能性がある患者に特に有用である。
[00951]個人から生体データを取り込むデバイスのさらなる実施形態は、収集された生体データを格納し、処理するためにサーバを組み込むことができる。取り込まれた生体データは、複数の指を伴う手の画像、掌紋、顔カメラ画像、虹彩画像、個人の声のオーディオサンプル、および個人の歩きぶりまたは移動のビデオを含むことができる。収集されたデータは、有用になるためにアクセス可能でなければならない。
[00952]生体データの処理を、ローカルにまたは別々のサーバでリモートに行うことができる。ローカル処理は、生の画像およびオーディオを取り込み、その情報を、WiFiまたはUSBリンクを介してホストコンピュータからオンデマンドで使用可能にするオプションを提供することができる。代替案として、もう1つのローカル処理方法は、画像を処理し、その後、処理されたデータをインターネットを介して伝送する。このローカル処理方法は、指紋を見つけるステップ、指紋をレーティングするステップ、顔を見つけ、クロッピングするステップ、虹彩を見つけ、レーティングするステップ、ならびにオーディオデータおよびビデオデータに関する他の類似するステップを含む。ローカルなデータの処理は、より複雑なコードを必要とするが、インターネットを介する減らされたデータ伝送という利益を提供する。
[00953]生体データ収集デバイスに関連するスキャナは、一般的に使用されるスキャナ標準規格であるUSB Image Deviceプロトコルに準拠するコードを使用することができる。他の実施形態は、必要に応じて、異なるスキャナ標準規格を使用することができる。
[00954]WiFiネットワークが、データを転送するのに使用される時に、本明細書でさらに説明されるBio−Printデバイスは、ネットワークに対してウェブサーバのように機能しまたはこれに見えることができる。様々なタイプの画像のそれぞれを、ブラウザクライアントからウェブページリンクまたはボタンを選択しまたはクリックすることによって使用可能にすることができる。このウェブサーバ機能性を、特にマイクロコンピュータ機能性に含まれる、Bio−Printデバイスの一部とすることができる。
[00955]ウェブサーバを、Bio−Printマイクロコンピュータホストの一部とし、Bio−Printデバイスが、取り込まれたデータを公開するウェブページをオーサリングし、いくつかのコントロールを提供することをも可能にすることができる。ブラウザアプリケーションの追加の実施形態は、高解像度の手のプリント、顔画像、虹彩画像を取り込み、カメラ解像度をセットし、オーディオサンプルの取り込み時間をセットし、ウェブカム、Skype、または類似する機構を使用するストリーミング接続を可能にするためのコントロールを提供することができる。この接続を、オーディオおよび顔カメラに接続することができる。
[00956]さらなる実施形態は、取り込まれた画像およびオーディオへのファイル転送プロトコル(FTP)または他のプロトコルを介するアクセスを与えるブラウザアプリケーションを提供する。ブラウザアプリケーションのさらなる実施形態は、プレビュー画像を繰り返してつかむために選択されたレートでの自動リフレッシュを提供することができる。
[00957]追加の実施形態は、マイクロコンピュータを使用する、取り込まれた生体データのローカル処理を提供し、ユーザが見つかったプリントのそれぞれをレーティングし、取り込まれた顔を取り出し、クロッピングされた虹彩画像を取り出すことをも可能にし、ユーザが虹彩プリントのそれぞれをレーティングすることを可能にする、取り込まれた画像のレーティングを表示する追加のコントロールを提供する。
[00958]もう1つの実施形態は、Open Multimedia Application Platform(OMAP3)システムと互換のUSBポートを提供する。OMAP3は、ポータブルマルチメディアアプリケーション用のチップ上のプロプライエタリシステムである。OMAP3デバイスポートは、USBの上で使用できるプロプライエタリプロトコルであるRemote Network Driver Interface Specification(RNDIS)を備える。これらのシステムは、Bio−PrintデバイスがWindows PC USBホストポートにプラグで接続される時に、デバイスがIPインターフェースとして現れる能力を提供する。このIPインターフェースは、WiFi上と同一になるはずである(TCP/IPウェブサーバ)。これは、データをマイクロコンピュータホストから移動することを可能にし、取り込まれたプリントの表示を提供する。
[00959]マイクロコンピュータ上のアプリケーションは、USBバスを介してFPGAからデータを受け取ることによって、上記を実施することができる。受け取られた後に、JPEGコンテンツが作成される。このコンテンツを、ソケットを介してラップトップ上で走行するサーバに書き込むことができ、あるいは、ファイルに書き込むことができる。代替案では、サーバは、ソケットストリームを受信し、画像をポップし、ウィンドウ内で開かれたままにし、したがって生体取込ごとに新しいウィンドウを作成することができる。マイクロコンピュータが、Sunベースのシステムと共に使用されるプロトコルであるネットワークファイルシステム(NFS)またはWindowsクライアントにファイルおよび印刷サービスを提供するフリーソフトウェア再実装であるSAMBAを走行させる場合に、取り込まれたファイルを、NFSまたはPC通信バス実装であるSystem Management Bus(SMB)を走行させる任意のクライアントによって共有し、アクセスすることができる。この実施形態では、JPEGビューアが、ファイルを表示するはずである。ディスプレイクライアントは、ラップトップ、拡張現実眼鏡、またはAndroidプラットフォームを走行させる電話機を含むことができる。
[00960]追加の実施形態は、上で説明されたものと同一のサービスを提供するサーバ側アプリケーションを提供する。
[00961]サーバ側アプリケーションに対する代替実施形態は、拡張現実眼鏡上で結果を表示する。
[00962]さらなる実施形態は、マスストレージデバイスまたはストリーミングカメラに似た、取り外し可能なプラットフォーム上のマイクロコンピュータを提供する。取り外し可能なプラットフォームは、アクティブUSBシリアルポートをも組み込む。
[00963]諸実施形態では、接眼鏡は、接眼鏡の装着者の周囲360°から音声および/またはビジュアルを取り込むためにオーディオセンサおよび/または視覚的センサを含むことができる。これは、接眼鏡自体に取り付けられたセンサから、または装着者が乗っている車両に取り付けられたセンサに結合されるものとすることができる。例えば、音声センサおよび/またはカメラを、車両の外側に取り付けることができ、ここで、センサは、周囲の環境のサラウンド音声および/またはサイト「ビュー」を提供するために接眼鏡に通信的に結合される。さらに、接眼鏡の音声システムは、音声保護、キャンセリング、増補、および/または類似物を提供して、装着者が外来雑音または大きい雑音に囲まれている間に装着者の聞き取り品質を改善するのを助けることができる。一例では、装着者を、彼らが運転しつつある車両に取り付けられたカメラに結合することができる。これらのカメラは、接眼鏡と通信しているものとすることができ、接眼鏡ディスプレイを介して投影されるグラフィカル画像内で装着者に提供されるものなど、車両の周囲の360°ビューを提供する。
[00964]一例では、図69を参照すると、接眼鏡の制御態様は、メッセージングのために接眼鏡とインターフェースし、かつ/またはユーザが接眼鏡を装着していない時に接眼鏡を制御するための受信機および/または送信器を含むものなど、腕時計コントローラ6902の形のリモートデバイスを含むことができる。腕時計コントローラは、腕時計コントローラ6902の制御機能領域6904または他の機能部分6910上で提供されるものなど、カメラ、指紋スキャナ、別々の制御ボタン、2D制御パッド、LCD画面、マルチタッチコントロール用の容量型タッチスクリーン、触覚フィードバックを与えるための振動モータ/ピエゾバンパ、触覚フィールを有するボタン、ブルートゥース、カメラ、指紋スキャナ、加速度計、および類似物を含むことができる。例えば、腕時計コントローラは、標準的な腕時計ディスプレイ6908を有することができるが、さらに、制御機能領域6904内の制御機能6914を介するなど、接眼鏡を制御する機能性を有することができる。腕時計コントローラは、電子メール、広告、カレンダアラート、および類似物など、接眼鏡からのメッセージを表示し、かつ/または他の形でこれについてユーザに通知することができ(例えば、振動、可聴音声)、ユーザが現在装着していない接眼鏡から入ってくるメッセージのコンテンツを示すことができる。振動モータ、ピエゾバンパ、および類似物は、タッチスクリーン制御インターフェースに触覚フィードバックを提供することができる。腕時計受信機は、制御機能領域6904ユーザインターフェース内で仮想ボタンおよびクリックを提供し、メッセージが受信される時にブザーを鳴らし、ユーザの手首を揺らし、類似物を行うことができるものとすることができる。接眼鏡と腕時計受信機との間の通信接続性は、ブルートゥース、WiFi、セルネットワーク、または当技術分野に既知の任意の他の通信インターフェースを介して提供することができる。腕時計コントローラは、ビデオ会議(本明細書で説明されるものなど)、虹彩スキャン(例えば、ストレージ内の既存の虹彩画像に関連する認証に使用される、データベース内のストレージのための虹彩の画像を記録するためなど)、写真撮影、ビデオ、および類似物のために、組込みカメラを利用することができる。腕時計コントローラは、本明細書で説明されるものなど、指紋スキャナを有することができる。腕時計コントローラまたは本明細書で説明される任意の他の触覚インターフェースは、脈拍センサ6912(バンド内、腕時計の本体の下側、および類似物に配置することができるを介してなど、ユーザの脈拍を測定することができる。諸実施形態では、接眼鏡および他の制御/触覚インターフェース構成要素は、異なる制御インターフェース構成要素からの脈拍が、健康、活動監視、認可、および類似物のためなど、同期化された形で監視されるように、脈拍検出を有することができる。例えば、腕時計コントローラと接眼鏡との両方が、脈拍監視を有することができ、ここで、接眼鏡は、この2つが同期しているかどうか、両方が以前に測定されたプロフィールと一致するかどうか(認証のためなど)、などを感知することができる。同様に、指紋、虹彩スキャン、脈拍、健康プロフィール、および類似物を用いるなど、他のバイオメトリックスを、複数の制御インターフェースと接眼鏡との間の認証に使用することができ、ここで、接眼鏡は、同一の人がインターフェース構成要素(例えば、腕時計コントローラ)および接眼鏡を装着しているかどうかを知る。人の生体/健康は、表面で脈拍を見るために皮膚のIR LEDビューを調べることなどによって判定することができる。諸実施形態では、両方のデバイスのセンサを使用する(例えば、ブルートゥーストークンのハッシュとしての両方のデバイスでの指紋)ことおよび類似物など、複数デバイス認証(例えば、ブルートゥースハンドシェーク用のトークン)を使用することができる。
[00965]一実施形態では、腕時計コントローラは、眼鏡がバックパック内にある場合など、眼鏡がユーザの顔に取り付けられていない場合であっても、眼鏡を制御するのに有用である可能性があるタッチスクリーンを有することができる。腕時計の透過性レンズは、レンズの下側に固定された切替え可能なミラーを有するOLEDディスプレイを有することができる。他の実施形態では、腕時計コントローラレンズは、電気ミラーまたはE−Inkディスプレイを含むことができる。どの場合でも、レンズは、標準的なアナログ時計機構をカバーし、切替え可能ミラーまたは電子ミラーまたはe−inkディスプレイのいずれかを含む透過性レンズは、コンテンツを表示するためにアクティブ化され得る。腕時計を、身振りを検出する内蔵センサを用いて身振り制御に使用することができる。眼鏡のカメラが腕時計を認識する時にアプリケーションを起動できるように、腕時計を、ARマーカとして使用することができる。1つのそのようなアプリケーションは、腕時計を効果的にタッチスクリーンインターフェースにするオーバーレイされた仮想画像を有する物理的表面として腕時計を使用することができる。
[00966]図70A〜70Dを参照すると、接眼鏡を、再充電能力、内蔵ディスプレイ、および類似物を含むなど、接眼鏡キャリングケース内に格納することができる。図70Aは、内蔵された再充電ACプラグおよびデジタルディスプレイを有する、閉じて図示されたケースの実施形態を示し、図70Bは、同一の実施形態の開かれたケースを示す。図70Cは、閉じたケースの別の実施形態を示し、図70Dは、開いた同一の実施形態を示し、ここで、デジタルディスプレイが、カバーを通して示されている。諸実施形態では、ケースは、AC接続または電池(例えば、AC電力から離れている間に接眼鏡を充電するためにキャリングケースにビルトインされた再充電可能リチウムイオン電池)を介するなど、ケース内にある間に接眼鏡を再充電する能力を有することができる。電力を、ケースと接眼鏡との間の無線誘導パッド構成を介するなど、有線接続または無線接続を介して接眼鏡に転送することができる。諸実施形態では、ケースは、ブルートゥース無線および類似物を介するなど、眼鏡と通信しているデジタルディスプレイを含むことができる。ディスプレイは、受信されたメッセージ、電池レベル表示、通知、および類似物など、接眼鏡の状態に関する情報を提供することができる。
[00967]図71を参照すると、接眼鏡7120を、人員によって地面7118の中に挿入され、リモートコントロールヘリコプタによって発射され、飛行機によって落下され、および類似物が可能な杭7104として形成されるなどの無人地上センサユニット7102に関連して使用することができる。地上センサユニット7102は、カメラ7108、コントローラ7110、センサ7112、および類似物を含むことができる。センサ7112は、磁気センサ、音声センサ、振動センサ、熱センサ、受動IRセンサ、動き検出器、GPS、リアルタイムクロック、および類似物を含むことができ、地上センサユニット7102の位置での監視を提供することができる。カメラ7108は、方位角で完全なまたは部分的な360°迎角で±90°のカメラアレイなど、方位角と迎角との両方の視野7114を有することができる。地上センサユニット7102は、イベント(1つまたは複数)のセンサデータおよび画像データを取り込み、これを無線ネットワーク接続を介して接眼鏡7120に伝送することができる。さらに、接眼鏡は、セルネットワーク、衛星ネットワーク、WiFiネットワーク、別の接眼鏡、および類似物などの外部通信ファシリティ7122にデータを伝送することができる。諸実施形態では、地上センサユニット7102は、7102Aから7102Bから7102Cへなど、ユニットからユニットへデータを中継することができる。さらに、データを、接眼鏡7120Aから接眼鏡7120Bヘ、およびバックホールデータネットワークなどの外部通信ファシリティ7122へ中継することができる。接眼鏡のユーザが、データを、その生の形または後処理された形(すなわち、接眼鏡を介するデータのグラフィックディスプレイとして)のいずれかで利用し、共有することができるように、地上センサユニット7102または地上センサユニットのアレイから収集されたデータを、接眼鏡から接眼鏡へ、通信ファシリティから接眼鏡へ、および類似物など、複数の接眼鏡と共有することができる。諸実施形態では、地上センサユニットは、安価、使い捨て、玩具等級、および類似物とすることができる。諸実施形態では、地上センサユニット7102は、接眼鏡7120からのコンピュータファイルのバックアップを提供することができる。
[00968]図72を参照すると、周囲の環境7202、入力デバイス7204、感知デバイス7208、ユーザアクション取込デバイス7210、内部処理ファシリティ7212、内部マルチメディア処理ファシリティ、内部アプリケーション7214、カメラ7218、センサ7220、耳当て7222、プロジェクタ7224から開始され、トランシーバ7228を介して、触覚インターフェース7230を介して、外部コンピューティングファシリティ7232、外部アプリケーション7234、イベントおよび/またはデータフィード7238、外部デバイス7240、サードパーティ7242、および類似物からなど、接眼鏡の内部および外部のファシリティを介して制御を提供することができる。接眼鏡のコマンドおよび制御モード7260を、入力デバイス7244、ユーザアクション7248、外部デバイス相互作用7250、イベントおよび/またはデータフィードの受信7252、内部アプリケーション実行7254、外部アプリケーション実行7258、および類似物を介して入力を感知することによって開始することができる。諸実施形態では、イベントおよび/またはデータフィード、感知する入力および/または感知するデバイス、ユーザアクション取込入力および/または出力、コマンド、コマンドモード、および/または制御モード、ならびに入力を反映できるインターフェースを制御し、かつ/または開始するユーザの移動および/またはアクション、入力に応答するのにコマンドを使用できるプラットフォーム上のアプリケーション、オンプラットフォームインターフェースから外部システムおよび/または外部デバイスへの通信および/または接続、外部デバイス、外部アプリケーション、ユーザへのフィードバック7262(外部デバイス、外部アプリケーションに関連するなど)、ならびに類似物のうちの2つの組合せを少なくとも含む、実行制御に含まれる一連のステップがあるものとすることができる。
[00969]諸実施形態では、イベントおよび/またはデータフィードは、電子メール、軍関連通信、カレンダアラート、セキュリティイベント、安全性イベント、財政イベント、個人的イベント、入力の要求、命令、活動状態に入ること、軍事活動状態に入ること、あるタイプの環境に入ること、敵対環境に入ること、ある位置に入ること、および類似物、ならびにその組合せを含むことができる。
[00970]諸実施形態では、感知する入力および/または感知するデバイスは、電荷結合素子、ブラックシリコンセンサ、IRセンサ、音響センサ、誘導センサ、動きセンサ、光学センサ、不透明度センサ、近接センサ、誘導センサ、渦電流センサ、受動赤外線近接センサ、レーダ、容量センサ、容量変位センサ、ホール効果センサ、磁気センサ、GPSセンサ、熱イメージングセンサ、熱電対、サーミスタ、光電子センサ、超音波センサ、赤外線レーザセンサ、慣性運動センサ、MEMS慣性運動センサ、超音波3D動きセンサ、加速度計、伏角計、力センサ、圧電センサ、回転エンコーダ、直線エンコーダ、化学センサ、オゾンセンサ、煙センサ、熱センサ、磁力計、二酸化炭素検出器、一酸化炭素検出器、酸素センサ、ブドウ糖センサ、煙検出器、金属検出器、雨センサ、高度計、GPS、外側であることの検出、コンテキストの検出、活動の検出、対象検出器(例えば、ビルボード)、マーカ検出器(例えば、広告に関するジオロケーションマーカ)、レーザ測距儀、ソナー、キャパシタンス、光学的応答、心拍数センサ、RF/マイクロパワーインパルスラジオ(micropower impulse radio、MIR)センサ、および類似物、ならびにその組合せを含むことができる。
[00971]諸実施形態では、ユーザアクション取込入力および/またはユーザアクション取込デバイスは、ヘッドトラッキングシステム(head tracking system)、カメラ、音声認識システム、体移動センサ(例えば、運動センサ)、注視点検出システム(eye−gaze detection system)、舌タッチパッド(tongue touch pad)、息操作システム、ジョイスティック、カーソル、マウス、タッチスクリーン、接触センサ、指追跡デバイス、3D/2Dマウス、慣性移動追跡、マイクロフォン、ウェアラブルセンサセット、ロボティック動き検出システム、光学動き追跡システム、レーザ動き追跡システム、キーボード、仮想キーボード、物理的プラットフォーム上の仮想キーボード、コンテキスト判定システム、活動判定システム(例えば、列車上、平面上、歩行、エクササイズなど)、指追従カメラ(finger following camera)、仮想化されたインハンドディスプレイ、手話システム、トラックボール、手装着カメラ、こめかみに配置されたセンサ、眼鏡に配置されたセンサ、ブルートゥース通信、無線通信、衛星通信、および類似物、ならびにその組合せを含むことができる。
[00972]諸実施形態では、コマンドを制御しまたは開始するユーザの移動またはアクションは、頭の動き、頭を振ること、うなずき、首を傾げること、額のひきつり、耳の動き、目の動き、目を開くこと、目を閉じること、瞬き、目を回すこと、手の動き、拳を握り締めること、拳を開くこと、拳を振ること、拳を突き出すこと、拳を引っ込めること、音声コマンド、ストローを吸いまたは吐くこと、舌の動き、指の動き、1つまたは複数の指の動き、指を延ばし指を曲げること、指を引っ込めること、親指を延ばすこと、指(1つまたは複数)で記号を作ること、指および親指で記号を作ること、親指で指を押すこと、指によるドラッグアンドドロップ、タッチアンドドラッグ、2本指によるタッチアンドドラッグ、手首の動き、手首のねじり、手首の曲げ延ばし、腕の動き、腕を突き出すこと、腕を引っ込めること、腕による左折信号、腕による右折信号、両腕をくの字に曲げること、両腕を延ばすこと、脚の動き、蹴り、脚を伸ばすこと、脚を曲げること、ジャンプし手足を開くこと、体の動き歩行、走りながら左折、右折、回れ右、回転、腕を上げて回転、腕を下げて回転、1人で回転、手および腕を様々な位置において回転、指のつまみおよび広げる動き、指の動き(例えば、仮想タイピング)、指を鳴らすこと、尻をたたく動き、肩の動き足の動き、強打する動き、手話(例えば、ASL)、および類似物、ならびにその組合せを含むことができる。
[00973]諸実施形態では、コマンドモードおよび/または制御モードならびに入力を反映できるインターフェースは、グラフィカルユーザインターフェース(GUI)、聴覚コマンドインターフェース、クリック可能なアイコン、ナビゲーション可能なリスト、仮想現実インターフェース、拡張現実インターフェース、ヘッドアップディスプレイ、半透明ディスプレイ、3Dナビゲーションインターフェース、コマンドライン、仮想タッチスクリーン、ロボット制御インターフェース、タイピング(例えば、定位置にロックされた永続仮想キーボードを用いる)、予測および/または学習ベースのユーザインターフェース(例えば、装着者が「トレーニングモード」で何を行い、いつどこでそれを行うのかを学習する)、単純化されたコマンドモード(例えば、アプリケーションを開始するための手の身振りなど)、ブルートゥースコントローラ、保持されたカーソル、仮想ディスプレイをロックする、位置決めされたカーソルの周囲での頭の動き、および類似物、ならびにその組合せを含むことができる。
[00974]諸実施形態では、コマンドを使用でき、かつ/または入力に応答できる接眼鏡上のアプリケーションは、軍用アプリケーション、武器制御アプリケーション、軍用ターゲティングアプリケーション、ウォーゲームシミュレーション、格闘シミュレータ、修理マニュアルアプリケーション、戦術行動アプリケーション、携帯電話機アプリケーション(例えば、iPhoneアプリケーション)、情報処理、指紋取込、顔認識、情報表示、情報伝達、情報収集、虹彩取込、エンターテイメント、パイロットのための情報への簡単なアクセス、実世界での3Dでの対象の突き止め、文民のためのターゲティング、警官のためのターゲティング、教育、手を使用しないチュートリアルガイダンス(例えば、保守、アセンブリ、応急処置などで)、ブラインドナビゲーション支援、通信、音楽、検索、広告、ビデオ、コンピュータゲーム、ビデオ、コンピュータゲーム、eBook、広告、ショッピング、e−コマース、ビデオ会議、および類似物、ならびにその組合せを含むことができる。
[00975]諸実施形態では、接眼鏡インターフェースから外部システムおよび外部デバイスへの通信および/または接続は、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、ステアリングホイール制御インターフェース、ジョイスティックコントローラ、動きおよびセンサリゾルバ、ステッパコントローラ、オーディオシステムコントローラ、音声信号および画像信号を一体化するためのプログラム、アプリケーションプログラミングインターフェース(API)、グラフィカルユーザインターフェース(GUI)、ナビゲーションシステムコントローラ、ネットワークルータ、ネットワークコントローラ、調停システム、支払システム、ゲーミングデバイス、圧力センサ、および類似物を含むことができる。
[00976]諸実施形態では、制御される外部デバイスは、武器、武器制御システム、通信システム、爆弾検出システム、爆弾処理システム、リモートコントロールされる車両、コンピュータ(および、したがって、コンピュータによって制御され得る多数のデバイス)、カメラ、プロジェクタ、セル電話機、追跡デバイス、ディスプレイ(例えば、コンピュータ、ビデオ、TV画面)、ビデオゲーム、ウォーゲームシミュレータ、モバイルゲーミング、ポインティングデバイスまたはトラッキングデバイス、ラジオまたは音声システム、測距儀、オーディオシステム、iPod、スマートフォン、TV、エンターテイメントシステム、コンピュータ制御武器システム、ドローン、ロボット、自動車ダッシュボードインターフェース、照明デバイス(例えば、ムード照明)、エクササイズ機器、ゲーミングプラットフォーム(ユーザを認識し、ユーザがプレイを好むものをプリロードするゲーミングプラットフォームなど)、車両、ストレージ対応デバイス、支払システム、ATM、POSシステム、および類似物を含むことができる。
[00977]諸実施形態では、外部デバイスに関連するアプリケーションは、軍用アプリケーション、武器制御アプリケーション、軍用ターゲティングアプリケーション、ウォーゲームシミュレーション、格闘シミュレータ、修理マニュアルアプリケーション、戦術行動アプリケーション、通信、情報処理、指紋取込、顔認識、虹彩取込、エンターテイメント、パイロットのための情報への簡単なアクセス、実世界での3Dでの対象の突き止め、文民のためのターゲティング、警官のためのターゲティング、教育、手を使用しないチュートリアルガイダンス(例えば、保守、アセンブリ、応急処置などで)、ブラインドナビゲーション支援、音楽、検索、広告、ビデオ、コンピュータゲーム、eBook、自動車ダッシュボードアプリケーション、広告、軍用敵ターゲティング、ショッピング、e−コマース、および類似物、ならびにその組合せとすることができる。
[00978]諸実施形態では、外部デバイスおよびアプリケーションに関連する装着者へのフィードバックは、視覚的ディスプレイ、ヘッドアップディスプレイ、ブルズアイ(bulls−eye)もしくはターゲット追跡ディスプレイ、トーン出力もしくは音声警告、パフォーマンスもしくはレーティングインジケータ、スコア、達成済み任務表示、アクション完了表示、コンテンツの再生、情報の表示、レポート、データマイニング、推奨、ターゲティングされた広告、および類似物を含むことができる。
[00979]一例では、接眼鏡の制御態様は、無音コマンドを開始する動きとして兵士からのうなずき(交戦中など)と、モードを反映するためのグラフィカルユーザインターフェースおよび/または制御入力が反映されるインターフェースを介してと、コマンドを使用しかつ/または制御入力に応答する接眼鏡上の軍用アプリケーションと、接眼鏡インターフェースから外部システムもしく外部デバイスに通信しかつ/または接続するためのオーディオシステムコントローラと、類似物との組合せを含むことができる。例えば、兵士は、交戦中に接眼鏡を介してセキュア通信デバイスを制御しつつあり、見られまたは聞かれる可能性を最小にするために、音を立てず、最小限の動きで、チャネル、周波数、符号化レベル、および類似物などの通信の態様を変更することを望む場合がある。この場合に、送信の開始を示すための前向きのすばやいうなずき、送信の終了を示すための後ろ向きのすばやいうなずき、および類似物など、兵士の頭のうなずきを、変更を示すようにプログラムすることができる。さらに、接眼鏡は、どのチャネルがアクティブであるのか、どの代替チャネルが使用可能であるのか、現在送信しつつあるチームの他者、および類似物など、セキュア通信デバイスに関して兵士にグラフィカルユーザインターフェースを投影している場合がある。兵士のうなずきを、変更コマンドとして接眼鏡の処理ファシリティによって解釈することができ、コマンドはオーディオシステムコントローラに送信され、通信デバイスのグラフィカルユーザインターフェースは変更を示す。さらに、ある種のうなずき/体の動きを、兵士が聞かれることを必要とせずに接眼鏡が事前に確立された通信を送信するなど、送信すべき特定のコマンドとして解釈することができる。すなわち、兵士は、体の動きを介して、彼らのチームに事前に録音された通信(例えば、交戦の前にチームと一緒に決定される)を送信できるものとすることができる。この形で、接眼鏡を装着し、そのファシリティを利用する兵士は、チームの視野から外れた時でさえ、交戦中のチームとの無音通信を維持しながら、完全に人目をはばかる形で外部セキュア通信デバイスに接続し、インターフェースできるものとすることができる。諸実施形態では、コマンド、コマンドモード、および/または制御モードを制御しまたは開始する他の動きまたはアクションと、入力を反映できるインターフェースと、コマンドを使用しかつ/または入力に応答できるプラットフォーム上のアプリケーション、外部システムおよび外部デバイスへのオンプラットフォームインターフェースからの通信またはコマンド、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00980]一例では、接眼鏡の制御態様は、感知入力としての動きセンサおよび位置センサ、入力を兵士に反映できるコマンドおよび制御インターフェースとしての拡張現実インターフェース、制御される外部デバイスとしての武器システムの動きセンサおよび測距儀ならびにこれから収集された情報、外部デバイスに関連する兵士へのフィードバック、および類似物の組合せを含むことができる。例えば、接眼鏡を装着した兵士は、動きセンサを用いて環境内の軍隊の動きを監視しつつある場合があり、動きセンサがトリガされる時に、さらなる監視および/またはターゲティングのために人、車両、および類似物などのターゲットを識別するのを助ける拡張現実インターフェースを、装着者に投影することができる。さらに、測距儀は、対象までの距離を判定し、ターゲティングに使用するために兵士にその情報をフィードバックすることができるものとすることができる(兵士が発砲アクションを実行することを伴って手動で、または武器システムがターゲティングに関する情報を受け取り、兵士が発砲のコマンドを提供して、自動的に)。諸実施形態では、拡張現実インターフェースは、2Dまたは3Dの投影されたマップ上の対象の位置、以前に収集された情報(例えば、顔認識、対象認識を含む、対象データベースに格納された)からのターゲットのアイデンティティ、ターゲットの座標、ターゲットの暗視結像、および類似物など、ターゲットに関する情報を兵士に提供することができる。諸実施形態では、動き検出器をトリガすることを、警告イベントとして接眼鏡の処理ファシリティによって解釈することができ、コマンドを、対象の位置を判定するために測距儀に伝送することができ、また、動く対象が監視されつつある領域内で感知されたことの兵士へのオーディオ警告を提供するために、接眼鏡のイヤフォンのスピーカに伝送することができる。兵士へのオーディオ警告および視覚的インジケータは、既知の戦闘員、既知の車両タイプ、および類似物のアクセスされたデータベースを介してなど、対象が兵士の関心の対象として識別された場合など、移動する対象に注意を払わなければならないことの兵士への入力として働くことができる。例えば、兵士が、夜間に監視所で監視所の周囲の外辺部を監視している場合がある。この場合に、環境は、暗い可能性があり、深夜ですべての環境条件が静かである可能性があるので、兵士は、注意の浅い状態に入っている可能性がある。接眼鏡は、兵士の個人的展望から(監視所のいくつかの外部監視ファシリティとは異なって)「見張っている」、歩哨増強デバイスとして働くことができる。接眼鏡が動きを感知する時に、兵士は、即座にアラートを受けることができると同時に、その動きの位置、距離、アイデンティティ、および類似物に案内され得る。この形で、兵士は、個人的危険を避け、突き止められた動きに向けて砲撃をターゲティングし、および類似物、ならびに潜在的な危険について監視所にアラートを発することができるものとすることができる。さらに、銃撃戦が結果として起こる場合には、兵士は、接眼鏡からの警告の結果として、改善された反応時間を有することができ、ターゲットに関する情報を介してよりよい意思決定が行われ、負傷しまたは監視所に侵入される危険を最小にすることができる。諸実施形態では、他の感知する入力および/または感知するデバイス、コマンドモードおよび/または制御モードと入力を反映できるインターフェースと、制御される有用な外部デバイス、外部デバイスおよび/または外部アプリケーションに関連するフィードバック、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00981]諸実施形態では、接眼鏡は、トラック、ロボット、ドローン、ヘリコプタ、船舶、および類似物などの車両のリモートコントロールを可能にすることができる。例えば、接眼鏡を装着した兵士は、車両の制御用の内部通信インターフェースを介して指令できるものとすることができる。車両制御を、音声コマンド、体の動き(例えば、接眼鏡と対話的に通信している動きセンサを備え、車両を制御するために接眼鏡を介してインターフェースされた兵士)、キーボードインターフェース、および類似物を介して提供することができる。一例では、接眼鏡を装着した兵士は、爆弾処理ロボットまたは車両へのリモートコントロールを提供することができ、コマンドは、兵士によって、本明細書で説明されるものなどの接眼鏡のコマンドインターフェースを介して生成される。もう1つの例では、兵士は、リモートコントロールドローン、リモートコントロール戦術二重反転ヘリコプタ、および類似物などの航空機に指令することができる。やはり、兵士は、本明細書で説明されるように制御インターフェースを介してリモートコントロール航空機の制御を提供することができる。
[00982]一例では、接眼鏡の制御態様は、兵士のアクション取込入力としてのウェアラブルセンサ、入力を反映できるコマンドおよび制御インターフェースとしてのロボット制御インターフェースの利用、制御される外部デバイスとしてのドローンまたは他のロボットデバイス、および類似物の組合せを含むことができる。例えば、接眼鏡を装着した兵士は、ドローンの動きを制御するための動きセンサ入力、ドローンの制御機能の操作のための手認識コントロール(例えば、接眼鏡を介して表示されるグラフィカルユーザインターフェースを介するなど)、ドローンの制御のための音声コマンド入力、および類似物など、軍用ドローンの制御のためのセンサセットを備えることができる。諸実施形態では、接眼鏡を介するドローンの制御は、飛行の制御、オンボード尋問センサ(例えば、可視光線カメラ、IRカメラ、レーダ)、脅威の回避、および類似物を含むことができる。兵士は、体に取り付けられたセンサを使用し、仮想2D/3D投影画像を介して実際の戦場を写真で示して、ドローンをその所期のターゲットに案内できるものとすることができ、飛行制御、カメラ制御、監視制御は、兵士の体の動きを介して指令される。この形で、兵士は、より多くの直観的制御のためにドローンの飛行および環境の個人的で完全に視覚的な没頭を維持できるものとすることができる。接眼鏡は、兵士が身に着けたセンサセットからの様々な制御入力を管理し、調停し、ドローンの制御用のインターフェースを提供するロボット制御インターフェースを有することができる。ドローンを、ドローンの制御および管理のための軍制御センタへの無線接続を介するなど、兵士の物理的アクションを介してリモートに制御することができる。もう1つの類似する例では、兵士は、兵士が身に着けたセンサセットおよび関連する接眼鏡ロボット制御インターフェースを介して制御できる爆弾処理ロボットを制御することができる。例えば、兵士に、爆弾処理ロボットの周囲の環境の2Dまたは3Dのビューを提供するグラフィカルユーザインターフェースを与えることができ、ここで、センサパックは、ロボットの動きへの兵士の動き(例えば、腕、手、および類似物)の変換を提供する。この形で、兵士は、細心の注意を要する爆弾処理プロセス中に繊細な制御をよりよく可能にするためにロボットへのリモートコントロールインターフェースを提供できるものとすることができる。諸実施形態では、他のユーザアクション取込入力および/またはユーザアクション取込デバイス、コマンドモードおよび/または制御モードと入力を反映できるインターフェースと、制御される有用な外部デバイス、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00983]一例では、接眼鏡の制御態様は、兵士が位置を入力する時の兵士へのイベント表示、コマンドモードおよび指令モードならびに/またはイベントの入力発生が反映されるインターフェースとしての予測学習ベースのユーザインターフェース、制御される外部デバイスとしての武器制御システム、および類似物の組合せを含むことができる。例えば、兵士が特定の武器制御システムと共に特定の環境に入る時に兵士が通常行うこと、例えば、装着者が、システムをオンに切り替え、システムの活動準備を整え、システムの視覚的ディスプレイを提示し、および類似物など、兵士の挙動を学習するように接眼鏡をプログラムすることができる。この学習された挙動から、接眼鏡は、兵士が接眼鏡制御機能について求めるものの予測を行えるものとすることができる。例えば、兵士は、戦闘状況に追い込まれる場合があり、武器制御システムの即座の使用を必要とする。この場合に、接眼鏡は、兵士が接近する時に武器システムの位置および/またはアイデンティティを感知し、接眼鏡が学習モードであった、武器システムの以前の使用など、武器制御システムの近くにいる時に兵士が通常システムをどのように構成するのかに合わせて武器システムを構成/イネーブルし、最後に構成されたままでシステムをオンに切り替えるために武器制御システムに指令することができる。諸実施形態では、接眼鏡は、位置を認識する視覚システム、RFIDシステム、GPSシステム、および類似物を介するなど、複数の方法およびシステムを介して武器システムの位置および/またはアイデンティティを感知することができる。諸実施形態では、武器制御システムへの指令を、武器システムの射撃管制用のビジュアルを兵士に与えるグラフィカルユーザインターフェース、兵士に選択肢を提供し、指令の音声認識を提供するオーディオ音声コマンドシステム、機能の事前に決定された自動的アクティブ化、および類似物を介するものとすることができる。諸実施形態では、そのような学習されたコマンドに関連するプロフィールがあるものとすることができ、ここで、兵士は、自動化された交戦を最適化するのを助けるために、学習されたプロフィールを変更し、かつ/または学習されたプロフィール内のプリファレンスをセットし、類似物を行うことができる。例えば、兵士は、武器の準備ができていること(すなわち、監視所にいて交戦を待っている)と敵とのアクティブな武器交戦とに関して別々の武器制御プロフィールを有することができる。兵士は、射撃コマンドプロトコル、弾薬タイプの変更、武器システムの追加能力、および類似物など、武器システムの使用に関連する変化する条件に合わせて調整するためにプロフィールを変更する必要がある場合がある。諸実施形態では、他のイベントおよび/またはデータフィード、コマンドモードおよび/または制御のモードと入力を反映できるインターフェースと、制御される有用な外部デバイス、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00984]一例では、接眼鏡の制御態様は、イベントおよび/またはデータフィードとしての兵士の自己責任イベント(交戦の戦区に配置される、時間を管理するなど)、ユーザアクション取込入力デバイスとしての音声認識システム、入力を反映できるコマンドおよび制御インターフェースとしての聴覚コマンドインターフェース、兵士からの入力に応答するのに使用される接眼鏡上のアプリケーションとしてのビデオベースの通信、および類似物の組合せを含むことができる。例えば、接眼鏡を装着した兵士は、司令官の間のグループビデオをサポートする通信についてスケジューリングされたイベントの彼らに投影される視覚的表示を得ることができる。その後、兵士は、呼の連絡先情報を呼び出すために接眼鏡上の聴覚コマンドインターフェースへの音声コマンドを使用することができ、グループビデオ通信を開始するように音声コマンドで指令することができる。この形で、接眼鏡は、兵士のパーソナルアシスタントとして働き、スケジューリングされたイベントを呼び出し、スケジューリングされたイベントを実行するためのハンズフリーコマンドインターフェースを兵士に与えることができる。さらに、接眼鏡は、グループビデオ通信の視覚的インターフェースを提供することができ、ここで、他の司令官の画像は、接眼鏡を介して兵士に投影され、外部カメラが、接眼鏡への通信接続を介して兵士のビデオ画像を提供しつつある(本明細書で説明されるように、カメラを有する外部デバイスを用いて、内蔵カメラと共にミラーを使用して、および類似物)。この形で、接眼鏡は、ラジオ、携帯電話機、ビデオ電話機、パーソナルコンピュータ、カレンダ、ハンズフリーコマンドおよび制御インターフェース、ならびに類似物など、他の伝統的に別々の電子デバイスの機能を包摂する、完全に内蔵されたパーソナルアシスタントおよび電話/ビデオベースの通信プラットフォームを提供することができる。諸実施形態では、他のイベントおよび/またはデータフィード、ユーザアクション取込入力および/またはユーザアクション取込デバイス、コマンドモードおよび/または制御モードと入力を反映できるインターフェースと、コマンドを使用しかつ/または入力に応答できるプラットフォーム上のアプリケーション、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00985]一例では、接眼鏡の制御態様は、イベントおよび/またはデータフィードとしての兵士へのセキュリティイベント、ユーザアクション取込入力デバイスとしてのカメラおよびタッチスクリーン、入力に応答する接眼鏡上の情報処理、指紋取込、顔認識アプリケーション、接眼鏡と外部のシステムおよびデバイスとの間の通信および/または接続のためのグラフィカルユーザインターフェース、外部セキュリティファシリティおよび接続性へのアクセスのための外部情報処理、指紋取込、顔認識アプリケーションおよびデータベース、ならびに類似物の組合せを含むことができる。例えば、兵士は、複数の個人がセキュリティチェックを受け、かつ/または識別されなければならない軍チェックポイントの監視所にいる間に、「セキュリティイベント」を受信することができる。この場合に、個人がセキュリティデータベースに現れないので、疑わしい挙動のゆえに、個人が戦闘員のメンバのプロフィールにあてはまるので、および類似物など、個人のバイオメトリックスを記録する必要がある場合がある。兵士は、顔写真を撮影するカメラおよび指紋を記録するタッチスクリーンなど、生体入力デバイスを使用することができ、ここで、生体入力は、接眼鏡上の内部情報、処理、指紋取込、および顔認識アプリケーションを介して管理される。さらに、接眼鏡は、外部情報、処理、指紋取込、および顔認識アプリケーションへの通信接続としてグラフィカルユーザインターフェースを提供することができ、ここで、グラフィカルユーザインターフェースは、データ取込インターフェース、外部データベースアクセス、関心を持たれている人データベース、および類似物を提供する。接眼鏡は、関心を持たれている人の監視、生体データをとるための入力デバイス、入力およびデータベース情報の表示、外部セキュリティアプリケーションおよび外部データベースアプリケーションへの接続性、ならびに類似物を含む、エンドツーエンドセキュリティ管理ファシリティを提供することができる。例えば、兵士は、軍チェックポイントを通る人をチェックしている場合があり、兵士は、プロフィールと一致し、現在セキュリティデータベースに含まれないすべての人について、虹彩バイオメトリックスを用いるなど、顔画像を収集するように指令されている。個人が、チェックポイントを通過するために一列になって兵士に接近する時に、兵士の接眼鏡は、ネットワーク通信リンクを介してアクセス可能なデータベースを介してチェックされるなど、顔認識および/または虹彩認識のために各個人の高解像度画像を撮影する。ある人が、プロフィールと一致しない(例えば、幼い子供)またはその人が脅威と考えられないことの表示を有するデータベースに含まれる場合には、その人は、チェックポイントを通過することを許可されるものとすることができる。ある人は、その個人が脅威であると示されるか、プロフィールと一致し、データベースに含まれない場合に、チェックポイントを通過することを許可されないものとすることができ、脇によらされる。彼らをセキュリティデータベースに入力する必要がある場合には、兵士は、本明細書で説明されるものなど、個人の個人情報を収集し、個人の顔および/または虹彩のクローズアップ画像を撮影し、指紋を記録し、類似物を行うなど、直接に接眼鏡のファシリティを介してまたは外部デバイスを制御する接眼鏡を用いて、個人を処理できるものとすることができる。諸実施形態では、他のイベントおよび/またはデータフィード、ユーザアクション取込入力および/またはユーザアクション取込デバイス、コマンドを使用しかつ/または入力に応答できるプラットフォーム上のアプリケーション、オンプラットフォームインターフェースから外部システムおよび外部デバイスへの通信または接続、外部デバイス用のアプリケーション、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00986]一例では、接眼鏡の制御態様は、接眼鏡コマンドを開始する兵士のユーザアクションとしての指の動き、コマンドモードおよび制御モードならびに/またはユーザアクションを反映できるインターフェースとしてのクリック可能なアイコン、接眼鏡上のアプリケーション(例えば、武器制御、部隊移動、インテリジェンスデータフィード、および類似物)、接眼鏡アプリケーションから外部システムへの通信および/または接続としての軍用アプリケーション追跡API、外部人員追跡アプリケーション、軍人へのフィードバック、ならびに類似物の組合せを含むことができる。例えば、接眼鏡上アプリケーションの兵士の選択を監視するシステムを、APIを介して実施して、監視が、監視および追跡アプリケーション使用のための軍ヘのサービス、監視された挙動に基づいて兵士が使用可能な他のアプリケーションに関する兵士へのフィードバック、および類似物を提供するようにすることができる。1日の間に、兵士は、クリック可能なアイコンが提示され、指の動き制御実施ファシリティ(この場合ではクリック可能なアイコンを選択するために、それを介して兵士の指のアクションが制御入力として使用されるカメラまたは慣性システムなど)に基づいてアイコンを兵士が選択できるものとすることができるグラフィカルユーザインターフェースを介するなど、使用および/またはダウンロードのためにアプリケーションを選択することができる。選択を、外部人員追跡アプリケーションに選択または格納された複数の選択を送信する(ある時間期間にわたって格納された選択を伝送するなど)軍用アプリケーション追跡APIを介して監視することができる。兵士のアプリケーション選択、この場合には「仮想クリック」を、帯域幅の増加、使用可能なアプリケーションの変更、既存アプリケーションに対する改善、および類似物を介するなど、使用を最適化するために分析することができる。さらに、外部人員追跡アプリケーションは、アプリケーション使用に関する装着者のプリファレンスが何であるのかを判定するのに分析を利用することができ、装着者が関心を持つ可能性があるアプリケーションの推奨、プリファレンスプロフィール、他の類似する軍ユーザが利用しつつあるもののリスト、および類似物の形での装着者フィードバックを送信することができる。諸実施形態では、接眼鏡は、接眼鏡およびそのアプリケーションの軍使用を案内するのを助けながら、兵士が利益を得ることのできる使用法の推奨および類似物など、接眼鏡を用いる兵士の経験を改善するためにサービスを提供することができる。例えば、接眼鏡の使用になれていない兵士は、拡張現実インターフェース、編成アプリケーション、任務サポート、および類似物の使用においてなど、その能力を十分に利用しない可能性がある。接眼鏡は、兵士の利用を監視し、その利用を利用メトリックス(外部接眼鏡利用ファシリティ内に格納されるなど)と比較し、接眼鏡の使用および関連する効率を改善するために兵士にフィードバックを提供し、類似物を行うことができる。諸実施形態では、コマンドを制御するか開始する他のユーザの動きまたはアクション、コマンドモードおよび/または制御モードならびに入力を反映できるインターフェースコマンドを使用しかつ/または入力に応答できるプラットフォーム上のアプリケーション、オンプラットフォームインターフェースから外部デバイスへの通信または接続、外部デバイス用のアプリケーション、外部デバイスおよび/または外部アプリケーションに関連するフィードバック、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00987]一例では、接眼鏡の制御態様は、入力としてのIRセンサ、熱センサ、力センサ、二酸化炭素センサ、および同様のセンサと、追加入力デバイスとしてのマイクロフォンと、コマンドを開始するための兵士によるアクションとしての音声コマンドと、入力を反映できるコマンドおよび制御インターフェースとしてのヘッドアップディスプレイと、現場での緊急修理、保守、アセンブリ、および類似物など、兵士が手を使用する必要を減らすと同時に案内を提供するための教育的ガイダンスアプリケーションと、兵士のアクションおよびセンサ入力に基づいて兵士にフィードバックを提供する視覚的ディスプレイと、類似物との組合せを含むことができる。例えば、兵士の車両が、銃撃戦で損傷を受け、即座の輸送能力なしで兵士が困ったままになる場合がある。兵士は、接眼鏡を介して走行するものとして教育的ガイダンスアプリケーションを呼び出して、車両の問題を診断するためにハンズフリー指示およびコンピュータベースの専門家知識アクセスを提供することができる。さらに、アプリケーションは、車両の基本的機能性および一時的機能性の復元など、兵士にとって馴染みのない手順のチュートリアルを提供することができる。接眼鏡は、IRセンサ、熱センサ、力センサ、オゾンセンサ、一酸化炭素センサ、および同様のセンサなど、診断に関連する様々なセンサ入力を監視することもでき、その結果、センサ入力を、教育的アプリケーションからアクセス可能かつ/または兵士から直接にアクセス可能にすることができるようになる。アプリケーションは、それを介して音声コマンドを受け入れることができるマイクロフォンと、指示情報、修理中の車両の一部の2Dまたは3Dの描写の表示のためのヘッドアップディスプレイと、類似物とを提供することもできる。諸実施形態では、接眼鏡は、兵士が敵と再交戦しまたは待避所に移動することを可能にする、輸送手段を再確立するために車両の診断および修理で兵士を助けるために兵士にハンズフリー仮想アシスタントを提供できるものとすることができる。諸実施形態では、他の感知する入力および/または感知するデバイス、ユーザアクション取込入力および/またはユーザアクション取込デバイス、コマンドを制御しまたは開始するユーザの動きまたはアクション、コマンドモードおよび/または制御モードと入力を反映できるインターフェースと、コマンドを使用しかつ/または入力に応答できるプラットフォーム上のアプリケーション、外部デバイスおよび/または外部アプリケーションに関連するフィードバック、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00988]一例では、接眼鏡の制御態様は、「武力衝突(military engagement)」活動モードなどの「活動状態」に接眼鏡が入ることの組合せを含むことができ、例えば、接眼鏡に武力衝突モードに入るように指令する兵士またはそれを感知する接眼鏡が、軍事活動の付近にあり、おそらくは、部分的に装着者の全般的な交戦割当の自己監視および学習を介してさらに展開された可能性がある、受信された任務指示を介して所定のまたはターゲティングされた交戦領域の付近にある。この例を継続すると、車両を運転している間に的と遭遇しまたは敵地に入るなど、活動状態、例えば軍事活動状態に入ることを、感知する入力または感知するデバイスとしての対象検出器、ユーザアクション取込入力としての頭部装着カメラおよび/または注視点検出システム、コマンドを制御しまたは開始するユーザの動きまたはアクションとしての目の動き、コマンドモードおよび制御モードならびに/または入力を反映できるインターフェースとしての3Dナビゲーションインターフェース、コマンド入力およびユーザインターフェースを調整するアプリケーションとしての接眼鏡上の交戦管理アプリケーション、外部システムまたは外部デバイスと通信しまたは接続するためのナビゲーションシステムコントローラ、制御されかつ/またはインターフェースされる外部デバイスとしての車両ナビゲーションシステム、軍指示に関してユーザアクションを処理する外部アプリケーションとしての軍用プラニングおよび実行ファシリティ、運転中の視界内の敵ターゲティングの機会に関する装着者へのフィードバックとしてのブルズアイまたはターゲット追跡システム、ならびに類似物と組み合わせることができる。例えば、兵士は、車両を運転しながら敵対環境に入る場合があり、敵交戦領域の存在を検出する(GPS、内蔵カメラを介してターゲットを直接に見ること、および類似物を介して)接眼鏡は、「軍事活動状態」に入ることができる(兵士によってイネーブルされかつ/または承認されるなど)。接眼鏡は、敵車両、敵対的住居、および類似物を、頭部装着カメラを介するなど、敵ターゲティング機会を突き止める対象検出器を用いて検出することができる。さらに、接眼鏡上の注視点検出システムは、兵士がどこを見ているのかを監視することができ、おそらくは、敵人員、敵車両、敵武器、ならびに友軍など、ターゲットに関する情報を装着者の注視の位置で強調表示することができ、友軍および敵は、識別され、区別される。兵士の目の動きを、関心を持たれているターゲットの変更またはコマンド入力のためなど、追跡することもできる(例えば、すばやいうなずきは、選択コマンドを示し、下向きの目の動きは、追加情報のコマンドを示すなど)。接眼鏡は、兵士に彼らの周囲に関連する情報を与えるのを支援するために3Dナビゲーションインターフェース投影を呼び出し、兵士から入力を受け取る、3Dナビゲーションインターフェースに出力を供給する、外部デバイスおよび外部アプリケーションとインターフェースする、ならびに類似物など、軍事活動状態を調整するために武力衝突アプリケーションを呼び出すことができる。接眼鏡は、例えば、車両ナビゲーションシステムとインターフェースするためにナビゲーションシステムコントローラを利用することができ、したがって、車両ナビゲーションシステムを武力衝突経験に含めることができる。代替案では、接眼鏡は、兵士が車両から降り、彼らに与えられた地表針路指示を有することを望む時など、車両システムの代わりにまたはこれを増補するためなど、それ自体のナビゲーションシステムを有することができる。軍事活動状態の一部として、接眼鏡は、現在の状況、部隊移動、気象条件、友軍の位置および強さ、および類似物を提供するためなど、外部軍用プラニングおよび実行ファシリティとインターフェースすることができる。諸実施形態では、兵士は、活動状態に入ることを介して、識別されたターゲットに関連する情報の形でフィードバックを供給される軍事活動状態に関してなど、活動状態に関連するフィードバックを供給され得る。諸実施形態では、他のイベントおよび/またはデータフィード、感知する入力および/または感知するデバイス、ユーザアクション取込入力および/またはユーザアクション取込デバイス、コマンドを制御しまたは開始するためのユーザの動きまたはアクション、コマンドを使用しかつ/または入力に応答できるプラットフォーム上のアプリケーション、オンプラットフォームインターフェースから外部システムおよび外部デバイスへの通信または接続、外部デバイス用のアプリケーション、外部デバイスおよび/または外部アプリケーションに関連するフィードバック、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00989]一例では、接眼鏡の制御態様は、兵士へのトリガするイベントとしてのセキュア通信受信、ユーザアクション取込入力デバイスとしての慣性移動追跡、コマンドを制御しまたは開始するユーザの動きまたはアクションとしての兵士による指の動きおよび強打する動きを用いるドラッグアンドドロップ、入力を反映できるコマンドおよび制御インターフェースとしてのナビゲーション可能なリスト、コマンドを使用しかつ/または入力に応答できる接眼鏡上のアプリケーションのタイプとしての情報伝達、接眼鏡上インターフェースから外部システムおよび外部デバイスへの通信または接続としての調停システム、外部システムおよび外部デバイス用の外部アプリケーションとしての虹彩取込および認識システム、ならびに類似物の組合せを含むことができる。接眼鏡を装着した兵士は、セキュア通信を受信することができ、通信は、接眼鏡上でアプリケーションまたはアクションを開始するために、視覚的および/または可聴のアラートを用いて、接眼鏡の動作モードをトリガするためなど、兵士への「イベント」として接眼鏡に来ることができる。兵士は、手身振りインターフェースを介して彼らの指および手を用いて装着者「ドラッグアンドドロップ」、強打、および類似物など、複数の制御機構を介してイベントに反応できるものとすることができる(例えば、接眼鏡上のカメラおよび手身振りアプリケーションを介して、ここで、装着者は、通信内の電子メールまたは情報をファイル、アプリケーション、別の通信、および類似物にドラッグする)。装着者は、通信に対する作用の一部として、ナビゲーション可能なリストを呼び出すことができる。ユーザは、セキュア通信から接眼鏡アプリケーションを介して、通信および関連するアクションを追跡する調停システムなどの外部システムおよび外部デバイスに情報を伝えることができる。諸実施形態では、接眼鏡および/またはセキュアアクセスシステムは、例えば指紋取込、虹彩取込認識、および類似物など、生体アイデンティティ検証を介してなど、識別検証を要求することができる。例えば、兵士は、セキュリティアラートであるセキュア通信を受信する場合があり、ここで、セキュア通信は、さらなる情報へのセキュアリンクと共に来、兵士は、アクセスを与えられる前に生体認証を提供することを要求される。認証された後に、兵士は、彼らの応答において、ならびに通信から直接におよび/または含まれるリンクを介して使用可能なリスト、リンク、データ、画像、および類似物を操作するなど、接眼鏡を介して使用可能なコンテンツの操作において、手身振りを使用できるものとすることができる。兵士が応答し、セキュア通信に関連するコンテンツを操作する能力を提供することは、兵士が、彼らが現在その中にいる可能性がある任意の非セキュア環境を危険にさらさない形でメッセージおよびコンテンツと対話することをよりよく可能にすることができる。諸実施形態では、他のイベントおよび/またはデータフィード、ユーザアクション取込入力および/またはユーザアクション取込デバイス、コマンドを制御するか開始するためのユーザの動きまたはアクション、コマンドモードおよび/または制御モードと入力を反映できるインターフェースと、コマンドを使用しかつ/または入力に応答できるプラットフォーム上のアプリケーション、オンプラットフォームインターフェースから外部システムおよび外部デバイスへの通信または接続、外部デバイス用のアプリケーション、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00990]一例では、接眼鏡の制御態様は、兵士への軍命令を接眼鏡を介して外部ディスプレイデバイスに供給するためのユーザアクション取込入力デバイスとしての慣性ユーザインターフェースの使用の組合せを含むことができる。例えば、接眼鏡を装着した兵士が、接眼鏡のファシリティを介して彼らに使用可能にされた命令を現場でブリーフィングから他の兵士のグループに与えることを望む場合がある。兵士は、ブリーフィングでコンテンツを操作するインターフェースを提供するための、物理的な2Dまたは3Dのマウス(例えば、慣性動きセンサ、MEMS慣性センサ、超音波3D動きセンサ、IR、超音波、または容量型触覚センサ、加速度計、および類似物)、仮想マウス、仮想タッチスクリーン、仮想キーボード、および類似物の使用を介して援助され得る。ブリーフィングを、接眼鏡から可視であり、これを介して操作されるが、外部ディスプレイデバイス(例えば、コンピュータモニタ、プロジェクタ、ビデオ画面、TV画面、および類似物)に接続された外部ルータなどにリアルタイムでエクスポートもされるものとすることができる。したがって、接眼鏡は、兵士が、彼らが接眼鏡を介して見る、接眼鏡の制御ファシリティを介して制御されるものを他者に見させる形を提供することができ、兵士が、接眼鏡を介して使用可能にされるブリーフィングに関連するマルチメディアコンテンツを他の非接眼鏡装着者にエクスポートすることを可能にする。一例では、ミッションブリーフィングを、現場で司令官に提供することができ、司令官は、接眼鏡を介して、本明細書で説明されるように、接眼鏡を介して使用可能なマルチメディアリソースおよび拡張現実リソースを用いてチームにブリーフィングできるものとすることができ、したがって、そのような視覚的リソースが提供する利益を得ることができる。諸実施形態では、他の感知する入力および/または感知するデバイス、ユーザアクション取込入力および/またはユーザアクション取込デバイス、コマンドモードおよび/または制御モードと入力を反映できるインターフェースと、オンプラットフォームインターフェースから外部システムおよび外部デバイスへの通信または接続、制御される有用な外部デバイス、外部デバイスおよび/または外部アプリケーションに関連するフィードバック、ならびに類似物を、本明細書で説明されるように適用することもできる。
[00991]一例では、接眼鏡の制御態様は、コマンドを開始するユーザの動きとしてのうなずき、モードを反映するグラフィカルユーザインターフェースおよび/または制御入力が反映されるインターフェース、コマンドを使用しかつ/または制御入力に応答する接眼鏡上のエンターテイメントアプリケーション、接眼鏡インターフェースから外部システムまたは外部デバイスへ通信しかつ/または接続するオーディオシステムコントローラ、ならびに類似物の組合せを含むことができる。例えば、接眼鏡の装着者が、接眼鏡を介してオーディオプレーヤを制御しつつあり、次のトラックに変更することを望む場合がある。装着者の頭のうなずきを、この場合にトラックの変更を示すようにプログラムすることができる。さらに、接眼鏡が、どのトラックを再生しつつあるのかを示すなど、オーディオプレーヤのグラフィカルユーザインターフェースを装着者に投影しつつある場合がある。装着者のうなずきを、接眼鏡の処理ファシリティによってトラック変更コマンドとして解釈することができ、そのコマンドを、トラックを変更するためにオーディオシステムコントローラに伝送することができ、オーディオプレーヤのグラフィカルユーザインターフェースは、トラックの変更を装着者に示すことができる。
[00992]一例では、接眼鏡の制御態様は、感知する入力としての動きセンサ、入力を装着者に反映できるコマンドおよび制御インターフェースとしての拡張現実インターフェース、制御される外部デバイスとしての測距儀およびそれから収集される情報、ならびに類似物の組合せを含むことができる。例えば、接眼鏡の装着者は、動きセンサを用いて環境内の動きを監視しつつある場合があり、動きセンサがトリガされる時に、対象の識別を助ける拡張現実インターフェースを、装着者に投影することができる。さらに、他のセンサは、対象までの距離を判定する測距儀など、識別を助けることができる。拡張現実インターフェースは、2Dまたは3Dの投影されたマップ上の対象の位置、以前に収集された情報(例えば、対象データベース内に格納され、顔認識、対象認識を含む)からの対象のアイデンティティ、対象の座標、対象の暗視結像、および類似物など、対象に関する情報を装着者に提供することができる。動き検出器のトリガを、接眼鏡の処理ファシリティによって警告イベントとして解釈することができ、コマンドを、対象の位置を判定するために測距儀に、ならびに移動する対象が感知されたことのオーディオ警告を装着者に提供するために接眼鏡のイヤフォンのスピーカに伝送することができる。装着者へのオーディオ警告および視覚的インジケータは、対象が装着者が関心を持っている対象として識別された場合など、移動する対象に注意を払わなければならないことの装着者への入力として働くことができる。
[00993]一例では、接眼鏡の制御態様は、ユーザアクション取込入力としてのウェアラブルセンサセット、入力を反映できるコマンドおよび制御インターフェースとしてのロボット制御インターフェース、制御される外部デバイスとしてのドローンまたは他のロボットデバイス、ならびに類似物の組合せを含むことができる。例えば、接眼鏡の装着者は、ドローンの動きを制御するための動きセンサ入力、ドローンの制御機能の操作のための手認識制御(例えば、接眼鏡を介して表示されるグラフィカルユーザインターフェースを介するなど)、ドローンの制御のための音声コマンド入力、および類似物など、ドローンの制御のためのセンサセットを備えることができる。接眼鏡は、センサセットからの様々な制御入力を管理し、調整し、ドローンの制御用のインターフェースを提供するロボット制御インターフェースを有することができる。ドローンを、ドローンの制御および管理のための制御センタへの無線接続を介して、より直接にドローンに、および類似物など、装着者のアクションを介してリモートに制御することができる。別の類似する例では、ロボット(例えば、爆弾処理ロボット)を、センサおよび接眼鏡ロボット制御インターフェースを介して制御することができる。例えば、装着者に、ロボットの周囲の環境の2Dまたは3Dのビューを提供するグラフィカルユーザインターフェースを与えることができ、ここで、センサパックは、ロボットの動きへの装着者の動き(例えば、腕、手、および類似物)の変換を提供する。この形で、装着者は、ロボットへのリモートコントロールインターフェースを提供できるものとすることができる。
[00994]一例では、接眼鏡の制御態様は、接眼鏡へのイベントとして位置を入力すること、コマンドモードおよび制御モードならびに/またはイベントの入力発生が反映されるインターフェースとしての予測学習ベースのユーザインターフェース、制御される外部デバイスとしてのエンターテイメントシステム、ならびに類似物の組合せを含むことができる。例えば、装着者がエンターテイメントシステムを有する部屋に入る時に装着者が通常行うこと、例えば、テレビジョン、音声システム、ゲームシステム、および類似物をオンに切り替えるかどうかなど、装着者の挙動を学習するように、接眼鏡をプログラムすることができる。この学習された挙動から、接眼鏡は、接眼鏡制御機能について装着者が求めるものの予測を行えるものとすることができる。例えば、居間へ歩きながら、接眼鏡は、位置と、装着者がその部屋に入る時に、通常はエンターテイメントシステムを介して音楽をオンに切り替えることとを感知し、最後に演奏されていた音楽をオンに切り替えるようにエンターテイメントシステムに指令する。諸実施形態では、接眼鏡は、位置を認識するビジョンシステム、RFIDシステム、GPSシステム、および類似物を介するなど、複数の方法およびシステムを介して位置を感知することができる。エンターテイメントシステムのコマンドを、装着者に選択肢を与えるグラフィカルユーザインターフェース、装着者に選択肢を与えるオーディオ音声コマンドシステムインターフェースおよび指令用の音声認識、コマンドの自動的アクティブ化、ならびに類似物を介するものとすることができる。そのような学習されたコマンドに関連するプロフィールがあるものとすることができ、ここで、装着者は、自動化されたアクションを最適化するのを助けるために、学習されたプロフィールを変更し、かつ/または学習されたプロフィール内のプリファレンスをセットし、類似物を行うことができる。
[00995]一例では、接眼鏡の制御態様は、イベントおよび/またはデータフィードとしての個人的イベント、ユーザアクション取込入力デバイスとしての音声認識システム、入力を反映できるコマンドおよび制御インターフェースとしての聴覚コマンドインターフェース、装着者からの入力に応答するのに使用される接眼鏡上のアプリケーションとしてのビデオ会議、ならびに類似物の組合せを含むことができる。例えば、装着者は、会議呼のカレンダイベントの、彼らに投影される視覚的表示を得ることができる。ユーザは、呼のダイヤルイン情報を呼び出すために接眼鏡上の聴覚コマンドインターフェースへの音声コマンドを使用することができ、開始すべきビデオ会議を音声コマンドで指令することができる。この形で、接眼鏡は、装着者のパーソナルアシスタントとして働き、カレンダイベントを呼び出し、カレンダイベントを実行するためのハンズフリーコマンドインターフェースを装着者に与えることができる。さらに、接眼鏡は、ビデオ会議の視覚的インターフェースを提供することができ、ここで、他者の画像は、接眼鏡を介して装着者に投影され、外部カメラが、接眼鏡への通信接続を介して装着者のビデオ画像を提供しつつある。接眼鏡は、携帯電話機、PDA、カレンダ、ハンズフリーコマンドおよび制御インターフェース、ならびに類似物など、他の伝統的に別々の電子デバイスの機能を包摂する、完全に内蔵されたパーソナルアシスタントおよび電話/ビデオ会議プラットフォームを提供することができる。
[00996]一例では、接眼鏡の制御態様は、イベントおよび/またはデータフィードとしてのセキュリティイベント、ユーザアクション取込入力デバイスとしてのカメラおよびタッチスクリーン、入力に応答する接眼鏡上の情報処理、指紋取込、顔認識アプリケーション、接眼鏡と外部のシステムおよびデバイスとの間の通信および/または接続のためのグラフィカルユーザインターフェース、外部セキュリティファシリティおよび接続性へのアクセスのための外部情報処理、指紋取込、顔認識アプリケーションおよびデータベース、ならびに類似物の組合せを含むことができる。例えば、保安担当者は、セキュリティチェックを受け、かつ/または識別されなければならない多数の個人を有するチェックポイント、チェックされ、かつ/または識別される必要がある個人、および類似物とすることができる「セキュリティイベント」を扱っている場合があり、ここで、個人のバイオメトリックスを記録する(例えば、個人がセキュリティデータベースに現れないので、疑わしい挙動のゆえに、および類似物)ために識別される必要がある。保安担当者は、顔写真を撮影するカメラおよび指紋を記録するタッチスクリーンなど、生体入力デバイスを使用することができ、ここで、生体入力は、接眼鏡上の内部情報、処理、指紋取込、および顔認識アプリケーションを介して管理される。さらに、接眼鏡は、外部情報、処理、指紋取込、および顔認識アプリケーションへの通信接続としてグラフィカルユーザインターフェースを提供することができ、ここで、グラフィカルユーザインターフェースは、データ取込インターフェース、外部データベースアクセス、関心を持たれている人データベース、および類似物を提供する。接眼鏡は、関心を持たれている人の監視、生体データをとるための入力デバイス、入力およびデータベース情報の表示、外部セキュリティアプリケーションおよび外部データベースアプリケーションへの接続性、ならびに類似物を含む、エンドツーエンドセキュリティ管理ファシリティを提供することができる。
[00997]一例では、接眼鏡の制御態様は、コマンドを開始するためのユーザアクションとしての指の動き、コマンドモードおよび制御モードならびにユーザアクションを反映できるインターフェースとしてのクリック可能なアイコン、接眼鏡上のアプリケーション(例えば、電話アプリケーション、音楽検索、広告選択、および類似物)、接眼鏡アプリケーションから外部システムへの通信および/または接続としての広告追跡API、外部広告アプリケーション、ユーザへのフィードバック、ならびに類似物の組合せを含むことができる。例えば、接眼鏡上アプリケーションのユーザ選択を監視するシステムを、APIを介して実施して、監視が、広告配置ファシリティへのサービス、監視された挙動に基づく装着者が関心を持つ可能性がある他のアプリケーションに関する装着者へのフィードバック、および類似物を提供するようにすることができる。1日の間に、装着者は、クリック可能なアイコンが提示され、指の動き制御実施ファシリティ(この場合ではクリック可能なアイコンを選択するために、それを介して装着者の指のアクションが制御入力として使用されるカメラまたは慣性システムなど)に基づいてアイコンを装着者が選択できるものとすることができるグラフィカルユーザインターフェースを介するなど、使用および/またはダウンロードのためにアプリケーションを選択することができる。選択を、外部広告アプリケーションに選択または格納された複数の選択を送信する(ある時間期間にわたって格納された選択を伝送するなど)広告追跡APIを介して監視することができる。装着者のアプリケーション選択、この場合には「仮想クリック」を、装着者に戻る広告配置、サードパーティ広告ファシリティへのデータの販売、および類似物を介するなど、広告収入を生成するために分析することができる。さらに、外部広告アプリケーションは、アプリケーション使用に関する装着者のプリファレンスが何であるのかを判定するのに分析を利用することができ、装着者が関心を持つ可能性があるアプリケーションの推奨、プリファレンスプロフィール、他の類似するユーザがダウンロードに関心を持つもののリスト、および類似物の形での装着者フィードバックを送信することができる。諸実施形態では、接眼鏡は、外部広告アプリケーションを介してサードパーティのための広告収入の生成を助けながら、装着者が関心を持つ可能性があるダウンロードの推奨を用いて、装着者が関心を持つ可能性があるよりよいターゲティングされた広告を用いて、および類似物など、接眼鏡を用いる装着者の経験を改善するためにサービスを提供することができる。
[00998]一例では、接眼鏡の制御態様は、ユーザアクション取込感知デバイス(例えば、ハンドル、剣、および類似物などのゲーミングデバイスを感知し、ゲーム内の別の選手を感知し、および類似物)としての体の動き(例えば、頭の動きを感知する運動センサ、手の動きを感知するカメラ、体の動きを感知する運動センサ)および接触センサもしくはオーディオ、コマンドを制御しかつ/または開始するためのユーザアクション(例えば、身振り制御を介する)としての頭および手の動き、それを介して入力を反映できるコマンドおよび制御インターフェースとしての仮想現実インターフェース、入力に応答できる接眼鏡上のアプリケーションとしての情報表示、ゲーミングアプリケーションを介して制御される外部デバイスとしてのコンピュータゲーミングデバイス、外部デバイスおよび外部アプリケーションに関連するユーザへのフィードバックとしての、装着者へのゲーミングコンテンツの再生、パフォーマンス、レーティング、スコア、および類似物の組合せを含むことができる。例えば、装着者は、接眼鏡に関連して対話型コンピュータゲームをプレイできるものとすることができ(例えば、コンピュータ、コンピュータベースのゲーミングプラットフォーム、モバイルゲーミングプラットフォーム上で)、装着者の体の動きは、体の動きセンサ、接触センサ、赤外線センサ、IRカメラ、可視光線カメラ、および類似物を介するなど、制御入力として解釈される。この形で、ハンドヘルドゲームコントローラなどのより伝統的な制御入力を使用するのではなく、装着者の体の動きを、コンピュータゲームに供給することができる。例えば、接眼鏡は、接眼鏡上のIRカメラおよび/または可視光線カメラを介し、オンボードのまたは外部の身振り認識アルゴリズムを介して処理された、ユーザの手の動きおよび類似物を感知することができ、接眼鏡は、接眼鏡上の動きセンサを介してユーザの頭の動き(例えば、ゲームに応答するユーザのジャンプ、前後の移動、左右の移動を感知するため)および類似物を感知することができる。一実施形態では、身振りを、下に面するカメラまたは折り曲げ光学素子(fold optics)の使用を介するなど、下向きに結像しつつあるカメラによって取り込むことができる。他の実施形態では、カメラは、認識のために非見通し線身振りを取り込むことができる。例えば、フォビエーテッド(foviated)カメラまたはセグメント化されたカメラは、前を見ている時に動き追跡およびルームマッピングを行うことができるが、ユーザの手がユーザの横またはディスプレイの中心軸に平行ではない膝にある状態で身振りおよびユーザインターフェース制御コマンドを取り込むために下を見る四分円または半球を有する。もちろん、手身振りを、デバイス内のIMUセンサ(リングコントローラ、腕時計、ピストルグリップ、その他など)、磁気マーカ、RFタグ、および類似物の使用によるなど、本明細書で説明されるように追跡することができる。これらの体の動き制御入力を、ゲーム環境の視覚的描写をユーザに与えるために接眼鏡上の仮想現実インターフェースおよび情報表示アプリケーションに供給し、ユーザの動きからゲーミングプラットフォームを制御するためにコンピュータゲームプラットフォームに供給し、接眼鏡を介して拡張現実ゲームプラットフォームを作成するために接眼鏡およびゲーミングプラットフォームの仮想現実インターフェースと情報表示との両方に供給し、類似物を行うことができる。諸実施形態では、体の動きを感知しまたは他の形でユーザ対話を示すのに使用される制御デバイスまたは対話型制御要素を、接眼鏡に関連するプロセッサによってコンピュータ画像から除去することができる。センサが、ゲームの一部であることが望まれない場合には、制御デバイスの画像のすべてまたは一部を、ゲームプレイのために作られる画像から除去することができる。例えば、センサが、単純に手/肢の動きを検出するのに使用される場合に、センサを、画像生成から除去することができるが、センサまたは制御デバイスが、剣など、ゲームプレイに関係する対象である場合には、対照を、ゲームプレイまたはAR環境内でそのようなものとして描写することができる。諸実施形態では、制御デバイスが、実際にある位置以外の位置に見られることが望まれる場合がある。例えば、ユーザがダーツを投げるターゲットを、ユーザが投げているダーツに関連して表示されるのではなく、ユーザの前の壁の端に表示することができる。さらなる例として、ユーザが、実際のゲームプレイで一度もダーツを投げない場合に、制御デバイスとしてのダーツを、ユーザの投げの特性に基づいてターゲットに移動するものとして示すことができる。諸実施形態では、コンピュータゲームを、ローカルゲーミングアプリケーションとして完全に接眼鏡上で、装着者にローカルな外部ゲームファシリティにインターフェースして、ネットワーク化されたゲーミングファシリティにインターフェースして(例えば、多人数同時参加型オンラインゲーム、MMOG)、接眼鏡上およびゲーミングプラットフォームを介しての組合せ、ならびに類似物で、走行させることができる。接眼鏡が、ローカル外部ゲームファシリティ(例えば、装着者の自宅内のゲームプラットフォーム)とインターフェースし、これを制御しつつある場合に、ゲーム実行の接眼鏡アプリケーション部分は、装着者に視覚的環境および情報表示を提供することができ、外部ゲームファシリティは、ゲームアプリケーション実行を提供することができる。代替案では、接眼鏡は、ユーザの動きを感知するインターフェースを提供し、その情報をゲーミングプラットフォームに提供することができ、ゲーミングプラットフォームは、ゲームの視覚的インターフェースをユーザに提供する。代替案では、接眼鏡は、ユーザの動きを感知するインターフェースを提供することができ、この情報は、ユーザへのゲーミングプレゼンテーション内で視覚的インターフェースとゲーミングプラットフォームとを組み合わせる拡張現実ゲーミングインターフェースを作成するために、接眼鏡とゲーミングプラットフォームとの両方によって使用される。諸実施形態では、ARアプリケーションは、建物の側面または前景内を通過する対象を有する他の構造上の広告または類似物を増補することができる。ユーザが運転して通り過ぎる時に、カメラは、対象(通りの端の街灯の柱など)が、背景内の増補された表面より高速で視野を通って移動しつつあることに気付くことができる。表示システムは、画像の背後のコンテンツの視覚的レイアウトを保護するために、増補された画像の一部を減ずることができる。これは、ユーザの目、ディスプレイ、およびカメラの間の視差の微細な校正を必要とする可能性がある。諸実施形態では、この技法を使用して、奥行きマップを作ることができる。接眼鏡によって提供される処理と外部ファシリティによって提供される処理との間の多数の異なるパーティショニング構成を実施できることは、当業者には明白であるはずである。さらに、ゲーム実施態様を、MMOGに関してなど、インターネットにまたがる外部ゲーミングファシリティに拡張することができる。外部ファシリティは、ローカルであれインターネットにまたがるものであれ、プレイされるコンテンツの少なくとも一部の提供(例えば、外部ファシリティおよび他の選手からのコンテンツと組み合わされた、ローカルに提供されるゲーム投影)において、パフォーマンス表示、スコア、レーティング、および類似物など、フィードバックを装着者に提供することができる。諸実施形態では、接眼鏡は、コンピュータゲームのユーザ環境を提供することができ、接眼鏡は、次世代のゲーミングプラットフォームを作成するために、外部制御入力および外部処理ファシリティとインターフェースする。
[00999]装着者に直接に物理的に接続されるセンサ(例えば、動きセンサ、体の動きセンサ、接触センサ)を介して体の動きを検出する接眼鏡の代替案として、接眼鏡は、装着者の手、足、および類似物の位置を感知するために、投影されたIR、ソナー、RF、エネルギー、および類似物を利用する3D能動奥行きセンサの使用を介するなど、装着者の体の動きの間接的な感知および解釈のための能動リモート感知システムを組み込むことができる。能動3D奥行きセンサを、接眼鏡上の可視光線カメラまたはIRカメラと組み合わせて使用することもできる。カメラおよび3D奥行きセンサの組合せは、高度な身振り認識を提供するために接眼鏡上で処理される3D動き取込を提供することができる。3D能動奥行きセンサは、ソース(例えば、IRレーザプロジェクタ)および受信するセンサ(例えば、IRセンサ)を含むことができる。諸実施形態では、カメラおよび3D能動奥行きセンサは、ユーザの手、足、および類似物のシステムの可視性を改善するために、接眼鏡見通し線に関して下向き、横向き、外向きを指すことができる。諸実施形態では、本明細書で説明する結像用の1つまたは複数のカメラ(例えば、1つは前に面し、1つは目の動きを検出し、1つは後ろに面する)接眼鏡機能、アプリケーション、外部デバイス、および類似物のコマンドおよび制御のために装着者の動きを感知する1つまたは複数のカメラなど、接眼鏡上に複数のカメラがあるものとすることができる。一例では、奥行きセンサおよびカメラの組合せは、装着者の手の画像および動きを取り込むために下を指すことができ、接眼鏡プロセッサは、手の動き(例えば、手の平行移動および回転、手の個々の指の動き)を追跡するのに奥行きセンサおよびカメラからの入力を使用し、動きアルゴリズムを使用して手の動きを計算し、検出された動きおよび検出された動きの関数として機能コマンドのオンボードデータベースに基づいて、接眼鏡機能性を制御する。諸実施形態では、解釈された手の動きを、接眼鏡機能、接眼鏡アプリケーションの制御、接眼鏡を介する外部ファシリティの制御、外部ゲーミングプラットフォームへの入力、内部仮想現実ゲームへの入力、および類似物に使用することができる。諸実施形態では、カメラ、3D能動奥行きセンサ、および関連するアルゴリズムを、音声と周囲の環境の動きとの両方を検出するために、オンボードマイクロフォンまたはマイクロフォンのアレイと組み合わせることができる。
[001000]本開示は、ユーザが身に着ける対話型頭部装着接眼鏡を含むものとしてよく、接眼鏡は、同時にユーザに、前方視線にそった周囲の環境、および内蔵画像光源から光学アセンブリに導入される表示される内容を見せ、内蔵カメラに、内蔵身振り認識ファシリティを通じてユーザ身振り認識のため下方視線にそった周囲の環境を見せる光学アセンブリを備える。諸実施形態では、身振り認識ファシリティは、接眼鏡が接眼鏡へのコマンドとして解釈する動きを識別することができる。動きは、手の動き、腕の動き、指の動き、足の動き、脚の動き、および同様の動きとすることができる。内蔵カメラは、周囲の環境の前方視線、さらには身振り認識のための下方視線を見ることができるものとしてよい。内蔵カメラは、前方視線および下方視線の視界を同時に撮像するためのセグメント分割された光学素子を有することができる。さらに、接眼鏡は、ユーザの身体の移動を間接的に感知し、解釈するためのアクティブ型感知システムを有することができ、アクティブ型感知システムは、下方視線の視界に沿って光学アセンブリを通じてアクティブ信号を供給する。アクティブ信号は、IR、ソナー、RF、および同様のアクティブ信号であってよい。アクティブ型感知システムは、3Dアクティブ型深さセンサを備え、ユーザの手、足、身体、および同様のもののうちの少なくとも1つの位置を感知することができる。アクティブ型感知システムは、内蔵カメラと連携して使用され、これにより、ユーザ身振り認識をさらに行える。
[001001]諸実施形態では、接眼鏡は、マーカの位置および追跡用にデュアルモードを備えることができる。POIの近くの一般的なマーカ位置に対するGPSが作成され、次いで、別の第2のマーカが作成されうる。第2のマーカは、センサ読み取り、画像処理、画像認識、ユーザフィードバック、および同様の処理を通じて生成されうる。この第2のマーカは、GPSの読み取りから次の読み取りまでの間に追跡するために使用されうる。諸実施形態では、第2のマーカは、注目地点までの、または注目地点からの距離を出すために使用されうる。デュアルマーカシステムは、ユーザに、2つの地点の間の距離、時間、および方向を提供することができる。この地点は、旅行、輸送、ビジネス、交易、および同様の活動に対する注目する地点であってよい。マーカの測位および追跡のためのデュアルモードにより、ユーザは、購入する商品を、訪問先、旅行目的地、輸送モード、および同様のものを特定することができる。輸送項目としては、ユーザの自動車、列車、空港、タクシー乗り場、タクシー、地下鉄、および同様のものが挙げられる。商業の項目としては、限定はしないが、食品、娯楽、ショッピング、衣類、書籍、サービス、および同様のものなどの様々な項目が挙げられる。諸実施形態では、測位すべき項目は、観光地、レストラン、公園、通り、および同様のものであるものとしてよい。QRコード(登録商標)から様々な通信デバイス(ルータおよびスイッチ)またはパッシブセンサ(pingできるRFIDタグ)に至る、マーカのエコシステムがあり得、すべて、配信すべき内容、またはマーカの位置に固有の何らかの内容それ自体を見つけることをバックエンドネットワークに許す正確な位置がなんであれ、何らかの関連情報を眼鏡に中継することを望んでいる可能性がある。単一の当事者が2つのマーカを使用して、眼鏡の配向または三角測量を補助することがあり得、これにより、いくつかの単一のマーカ(特にそれ自体視覚的でないもの)では取得がより難しいと思われる正確な配向および距離情報を得ることができる。諸実施形態では、2つのマーカが処理されうる。接眼鏡は、近接している/視野内にある2つのマーカを認識し、同時にそれらに基づき動作し(例えば、三角測量のため)、またはそれらのうちの1つに優先度を割り当てることができるものとしてよい(例えば、支払い済みマーカは広告シナリオでは支払い済みでないマーカに優先し、安全指向マーカは、広告マーカに優先する、など)。マーカは、眼鏡に由来するものであってよいが、例えば、他の眼鏡、または他のシステム(例えば、広告主、与党などのもの)によっても配置されうる。
[001002]諸実施形態では、システムは、ユーザが周囲の環境および表示される内容を見る際に使用する光学アセンブリを備える、ユーザによって身に着けられる対話型頭部装着接眼鏡と、内容を光学アセンブリに導入するための内蔵画像光源と、GPS読み取り結果に基づき注目する地点に対するマーカを生成し、接眼鏡のメモリ内にマーカを格納する、GPS地点に関して第2のマーカを作成し、メモリ内に第2のマーカを格納する、内蔵プロセッサとを備えうる。諸実施形態では、第2のマーカは、センサ読み取り、画像処理、画像認識、現在位置に関するユーザフィードバック、および同様の処理のうちの少なくとも1つを通じて生成されうる。第2のマーカは、注目地点までの距離、方向、および時間のうちの少なくとも1つを計算するために使用されうる。諸実施形態では、注目する地点は、観光地、レストラン、公園、通り、および同様のもののうちの少なくとも1つであるものとしてよい。諸実施形態では、GPS地点は、商業の項目までの距離、方向、および時間のうちの少なくとも1つを与えるために第2のマーカと共に使用されうる。諸実施形態では、GPS地点は、輸送手段までの距離、方向、および時間のうちの少なくとも1つ、輸送手段の追跡、および同様のものを与えるために第2のマーカと共に使用されうる。このような実施形態では、輸送手段は、列車、地下鉄、自動車、および同様のもののうちの少なくとも1つを含みうる。システムの実施形態において、GPS地点は、注目地点までの追跡を行うために第2のマーカと共に使用されうる。諸実施形態では、GPS地点は、商業の項目の追跡を行うために第2のマーカと共に使用されうる。諸実施形態では、ユーザフィードバックは、接眼鏡への口頭による入力であってよい。第2のマーカは、様々な手段を通じて生成されうる。例えば、第2のマーカは、画像の主体に対する位置情報を取得するために接眼鏡によって取り込まれるスチルおよび/またはビデオ画像の処理に基づくものとしてよい。諸実施形態では、第2のマーカは、インターネット検索、QRコード(登録商標)、バーコード、物体、および同様のもののスキャンから得られたデータに基づくものとしてよい。
[001003]様々な実施形態において、接眼鏡は、ユーザが自分の周囲の環境の音、さらには追加のオーディオを聞くことができる聴覚を増強するためのイヤーピースを備えることができる。このようなオーディオは、ゲームコンテンツ、スポーツの実況放送、および同様のものを含むことができる。諸実施形態では、マイクロフォンおよび/または小型イヤホーンは、両耳で、または他の何らかの形でオーディオを再生することができる。諸実施形態では、接眼鏡と共に骨伝導イヤーピースが使用されうる。このようなイヤーピースは、ユーザが頭蓋骨を通して内耳に音波を伝達させ、これによりユーザの鼓膜をバイパスすることを可能にしうる。諸実施形態では、イヤーピースは、ユーザの耳のすぐ前の頬骨および/またはオーディオを伝達することができる他の骨と共に使用されうる。したがって、ユーザは、自分の周囲環境内か認識しながらオーディオを監視または聴くことができる。諸実施形態では、イヤーピースは、サウンドレーザを使用することもでき、したがってレーザを使用することで、イヤーピースは音波を放射する。諸実施形態では、イヤーピースでは、ユーザが高くした音量および/または外部の音もしくはイヤーピースが発生する音の明瞭さを体験できるようにするデバイスも使用することができる。様々な実施形態において、接眼鏡のイヤーピースは、ラジオ、ワイヤレス方式で得られるオーディオ、インターネットを介したオーディオ、および同様のものを再生し、および/またはそれらからオーディオを送信することができる。諸実施形態では、接眼鏡は、衛星ラジオオーディオをユーザに伝送することもできる。
[001004]様々な実施形態において、接眼鏡は、脳および/またはユーザの身体の他の部分に対するRF遮蔽体を備えることができる。諸実施形態では、電磁場を伝える接眼鏡の部分は、導電体または磁性体または他の何らかの材料から作られるバリアで遮蔽することができる。諸実施形態では、遮蔽体は、金属板、金属スクリーン、金属発泡体、発泡体、および同様のものを含みうる。遮蔽体またはメッシュ内の孔は、ブロックされる放射線または他の放射線の波長より著しく小さいものとすることができる。諸実施形態では、接眼鏡および/または接眼鏡エンクロージャの内側または他の部分は、金属インクまたは遮蔽を行う他の材料でコーティングされうる。このような金属は、非常に小さい粒子の形態をとる銅、ニッケル、および同様のものであってよい。このような金属は、エンクロージャ上に吹き付けされうる。さらなる実施形態において、このようなRF遮蔽体は、ユーザが身に着けて、様々な周波数の放射線がユーザの脳、目、または身体の他の部分に到達するのを防ぐことができる。
[001005]諸実施形態では、ユーザが身に着ける対話型頭部装着接眼鏡は、ユーザが周囲の環境および表示される内容を見る際に使用する光学アセンブリと、内容を光学アセンブリに導入するための内蔵画像光源と、無線要素と、遮蔽体とを備えることができ、無線要素は電磁放射線を放射することがあり、遮蔽体は放射線が接眼鏡から放射されて出て来るのをブロックする。さらなる実施形態において、遮蔽体は、ユーザを放射線から保護するように位置決めされうる。さらに、遮蔽体は、ユーザおよび他のものを放射線から保護するように位置決めされうる。諸実施形態では、遮蔽体は、最後に、ユーザの脳、ユーザの頭部の一部、ユーザの身体の別の部分、および同様のものを遮蔽することができる。諸実施形態では、遮蔽体は、導電体、磁性体、金属板、金属スクリーン、メッシュ、および金属発泡体のうちの少なくとも1つからなるものとしてよい。本明細書で説明されている実施形態において、遮蔽体は、特定の放射線の波長より小さい孔を備え、それらの孔は、接眼鏡から放射される放射線の波長より小さいものとすることができる。諸実施形態では、遮蔽体は、金属インク、銅インク、ニッケルインク、および同様のもののうちの少なくとも1つを含むことができる。諸実施形態では、遮蔽体は、接眼鏡の内側のコーティングであってよい。諸実施形態では、遮蔽体は、接眼鏡のアーム、接眼鏡の前額部分、および同様のもののうちの少なくとも1つに位置決めされうる。諸実施形態では、遮蔽体は、少なくとも接眼鏡の前額部分および接眼鏡のアーム内に位置決めされうる。諸実施形態では、遮蔽体は、ユーザが身に着けるものとしてよい。
[001006]一例において、接眼鏡の制御態様は、入力としてIR、熱、力、オゾン、一酸化炭素、および同様のもののセンサの組合せと、追加の入力デバイスとしてマイクロフォンと、コマンドを開始する装着者によるアクションとしての音声コマンドと、入力が反射されうるコマンドおよび制御インターフェースとしてのヘッドアップディスプレイと、メンテナンスおよび組み立てなどにおいて、手を使用する必要性を減じつつ案内を行うための指示誘導アプリケーションと、装着者のアクションおよびセンサ入力に基づき装着者にフィードバックを送る視覚的ディスプレイと、同様のものとを含みうる。例えば、自動車整備工が接眼鏡の装着者であり、整備工は車両のメンテナンスを補助する接眼鏡を使用する。指示誘導アプリケーションは、接眼鏡を通して実行され、車両の問題箇所を診断しながら整備工にハンズフリー指示を出し、整備工がコンピュータベースの専門知識にアクセスするようにできる。それに加えて、アプリケーションは、整備工に馴染みのない手順に対するチュートリアルを提供することができる。接眼鏡は、さらに、IR、熱、力、オゾン、一酸化炭素、および同様のもののセンサなどの、診断および安全に関係する様々なセンサ入力を監視しているものとしてもよく、したがって、センサ入力は、指示アプリケーションからアクセス可能であり、および/または整備工から直接アクセス可能であるものとしてよい。アプリケーションは、音声コマンドを受け付ける際に使用されるマイクロフォンと、修理中の車両の部分の指示情報、2Dまたは3D描画を表示するためのヘッドアップディスプレイと、修理の時間および費用に関するフィードバックと、同様のものとに対応することができる。諸実施形態では、接眼鏡は、車両の診断および修理を補助するためハンズフリー仮想アシスタント機能を整備工に提供することができるものとしてよい。
[001007]一例において、接眼鏡の制御態様は、接眼鏡が「ショッピング」活動モードなどの「活動状態」に入ること、例えば、ユーザが接眼鏡にストアショッピングモードに入るよう指令すること、または接眼鏡がそれがショッピングエリア、おそらく一部は装着者のショッピングプリファレンスを自己監視し、学習することでさらに発展している可能性があるプリファレンスプロフィールを通じて装着者が関心を持っているショッピングエリア内に近づいていることを感知することの組合せを含むことができる。引き続きこの例を参照すると、自動車を運転している最中などに、活動状態、例えば、ショッピング活動状態に入ることは、感知入力または感知デバイスとしての物体検出器、ユーザアクション取り込み入力としての頭部装着カメラおよび/または視線方向検出システム、コマンドを制御もしくは開始するためのユーザ移動もしくはアクションとしての目の移動、入力が反射されうるコマンドおよび制御モードおよび/もしくはインターフェースとしての3Dナビゲーションインターフェース、コマンド入力およびユーザインターフェースを協調させるためのアプリケーションとしての接眼鏡に搭載された電子商取引アプリケーション、外部システムもしくはデバイスと通信もしくは接続するためのナビゲーションシステムコントローラ、制御される、および/もしくはインターフェースされる外部デバイスとしての車両ナビゲーションシステム、広告データベースに関するユーザアクションを処理するための外部アプリケーションとしての広告ファシリティ、運転中の視界内のショッピング機会に関する装着者へのフィードバックとしての的もしくは標的追跡システム、ならびに同様のものと組み合わせることができる。例えば、装着者は、自動車を運転しているときに商業地区に入り、商業地区の存在を検出した(例えば、GPS、内蔵カメラを通して直接標的を見る、および同様の操作を通じて)接眼鏡は、「ショッピング活動状態」(装着者によって有効化および/または承認されるような)に入ることができる。接眼鏡は、次いで、広告看板、店頭、および同様のものを、頭部装着カメラなどを通じてショッピング機会を特定する物体検出器を使用して検出することができる。さらに、接眼鏡の視線方向検出システムは、装着者が見ている場所を監視し、場合によっては、現在店舗に用意されているセールス品または特売品などの装着者の見つめる先の標的に関する情報をハイライト表示することができる。注目する標的を変えるため、またはコマンド入力のためなど(例えば、選択コマンドを示す軽いうなずき、追加情報を求めるコマンドを示す下方への目の移動、および同様のもの)、装着者の目の移動も、追跡されうる。例えば、制御入力を与えるために、ユーザの虹彩または網膜が追跡されうる。接眼鏡は、その周囲環境に関連する情報を装着者に提供するのを補助するため3Dナビゲーションインターフェース投影、ならびに装着者からの入力を受け取る、3Dナビゲーションインターフェースに出力を送る、外部デバイスおよびアプリケーションとインターフェースする、および同様の操作など、ショッピング活動状態を協調させるための電子商取引アプリケーションを呼び出すことができる。接眼鏡は、例えば、ナビゲーションシステムコントローラを利用して、車両ナビゲーションシステムとインターフェースすることができ、したがって、車両ナビゲーションシステムをショッピング体験に含めることができる。あるいは、接眼鏡は、装着者が自動車から出て、歩く方向が与えられることを望んでいる場合など、車両システムの代わりに、またはそれを強化するなどのために、それ専用のナビゲーションシステムを使用することができる。ショッピング活動状態の一部として、接眼鏡は、現在の取引、特売品、周囲の商店のためのポップアップ広告、および同様のものを提供するなどのために、外部広告ファシリティとインターフェースすることができる。外部広告ファシリティは、装着者に提供される情報に寄与しうる、第三者の広告主、出版社、商人支援ファシリティ、および同様のものと関連していてもよい。諸実施形態では、装着者は、活動状態に入ることを通じて、識別された標的に関連する情報の形態でフィードバックを供給されるショッピング活動状態などについて、活動状態に関連するフィードバックの提供を受けることができる。
[001008]一例において、接眼鏡の制御態様は、トリガイベントとしての電子メール受信、ユーザアクション取り込み入力デバイスとしての慣性移動追跡、コマンドを制御または開始するためのユーザ移動もしくはアクションとしての指によるドラッグアンドドロップおよびスワイプ動作、入力が反射されうるコマンドおよび制御インターフェースとしてのナビゲート可能なリスト、コマンドを使用し入力に応答することができるタイプの接眼鏡上のアプリケーションとしての情報伝送機能、接眼鏡上インターフェースから外部システムおよびデバイスへの通信または接続としての決済システム、外部システムおよびデバイスに対する外部アプリケーションとしての虹彩取り込みおよび認識システム、ならびに同様のものの組合せを含むことができる。例えば、装着者は、電子メールを介して請求書を受け取ることができ、電子メールは、視覚的および/または聴覚的アラートで接眼鏡の動作モードをトリガする、接眼鏡上でアプリケーションを起動する、ならびに同様の操作など、装着者への「イベント」として接眼鏡内に届くものとしてよい。装着者は、装着者が「ドラッグアンドドロップ」する、スワイプする、ならびに手振りインターフェースを通じて指および手で同様の操作を行うなどの複数の制御メカニズムを通じて電子メールイベントに反応することができるものとしてよい(例えば、接眼鏡に搭載されているカメラおよび手振りアプリケーションを通じて、その場合装着者は電子メールまたは電子メール内の情報をファイル、アプリケーション、別の電子メール、および同様のものにドラッグする)。装着者は、決済すべき請求書のナビゲーション可能なリストおよび同様のものを呼び出すことができる。ユーザは、電子メールからの情報(例えば、請求情報、口座番号、請求額、および同様のもの)を接眼鏡アプリケーションを通じて決済システムなどの外部システムおよびデバイスに伝送して請求書の支払いを行うことができる。諸実施形態では、接眼鏡および/または決済システムは、生体身元証明、例えば、指紋取り込み、虹彩取り込み認識、および同様のものなどを通じて、身元確認を行うことを必要とする場合がある。
[001009]一例において、接眼鏡の制御態様は、ユーザアクション取り込み入力デバイスとして慣性ユーザインターフェースを使用して接眼鏡を通じて外部表示デバイスに指示を送る機能の組合せを含みうる。例えば、装着者は、接眼鏡のファシリティを通じて利用可能なプレゼンテーションから個人のグループに指示を送ることを望んでいる場合がある。装着者は、物理的3Dまたは2Dマウス(例えば、慣性モーションセンサ、MEMS慣性センサ、超音波3Dモーションセンサ、加速度計、および同様のものと共に)、仮想マウス、仮想タッチスクリーン、仮想キーボード、および同様のものを使用してプレゼンテーションの内容を操作するためのインターフェースを提供することにより補助されうる。プレゼンテーションは、接眼鏡で見ることができ、また接眼鏡を通じて操作されうるが、外部表示デバイス(例えば、コンピュータモニタ、プロジェクタ、ビデオ画面、TV画面、および同様のもの)に接続されている外部ルータなどにリアルタイムでエクスポートすることもできる。そのようなものとして、接眼鏡は、装着者が接眼鏡を通して装着者が見るものを他の人物に見せるための手段となり、これは接眼鏡の制御ファシリティを通じて制御され、装着者は接眼鏡を通じて有効化されたマルチメディアイベントを他の非接眼鏡装着者にエクスポートすることができる。
[001010]一例において、接眼鏡の制御態様は、セキュリティイベントと音響センサが実装されうる場合などでの、イベント/データフィードおよび感知入力/感知デバイスを使用することの組合せを含みうる。セキュリティアラートを兵士に送ることができ、音響センサが周囲の環境、発砲音の方向探知、および同様のものにおける音声内容を監視するために入力デバイスとして利用される。例えば、セキュリティアラートは、特定の領域内のすべての軍人にブロードキャストされ、警告と共に、接眼鏡は、大きな音を分析してその音の音源のタイプ、および音が来た方向を識別する組み込み音響センサアレイを監視するアプリケーションを起動する。諸実施形態では、他のイベントおよび/またはデータフィード、感知入力および/または感知デバイス、および同様のものも、本明細書で説明されているように適用されうる。
[001011]一例において、接眼鏡の制御態様は、カメラの入力と使用とに対する要求などについて、イベント/データフィードおよびユーザアクション取り込み入力/デバイスを使用することの組合せを含みうる。兵士が注目する場所にいると、兵士は、写真を撮る内容について要求が指示を伴う場合などに、その位置から写真またはビデオの要求を送信される。例えば、兵士が検問所におり、何らかの中央指揮所において、注目している個人が検問所を渡ろうとする可能性があると判断される。中央指揮官は、次いで、検問所の近くにいる接眼鏡ユーザに、画像を記録してアップロードするよう指示を与えることができ、これは、諸実施形態では、兵士がカメラを手動でオンにしなくても自動的に実行されうる。諸実施形態では、他のイベントおよび/またはデータフィード、ユーザアクション取り込み入力および/またはデバイス、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001012]一例において、接眼鏡の制御態様は、兵士が「活動状態」に入り、制御に手振りを使用する場合などにおいて、コマンドを制御または開始するためのイベント/データフィードおよびユーザ移動もしくはアクションを使用することの組合せを含みうる。兵士が敵と交戦する臨戦態勢の活動状態に入ると、兵士は、手振りを使用して、交戦コマンドおよび制御環境内で接眼鏡に静かにコマンドを送る。例えば、兵士は、接眼鏡を高度アラート状態に置く新しい諜報が受信されることで決定されるように敵領域内にいきなり入ることができる。この状態において、沈黙が要求される要求条件があり得るため、接眼鏡は手振りコマンドモードに遷移する。諸実施形態では、他のイベントおよび/またはデータフィード、コマンドを制御もしくは開始するためのユーザ移動もしくはアクション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001013]一例において、接眼鏡の制御態様は、ある種の環境に入ること、仮想タッチスクリーンの使用など、イベント/データフィードおよびコマンド/制御モードおよび入力が反射されうるインターフェースを使用することの組合せを含みうる。兵士が兵器システム領域に入ると、兵器システムの制御の少なくとも一部については装着者が仮想タッチスクリーンを利用できるようにされる。例えば、兵士は、兵器車両に入り、兵器システムの存在を検出し、兵士が兵器を使用する許可を得ていることを検出した接眼鏡は、仮想火器管制インターフェースを仮想タッチスクリーンに立ち上げる。諸実施形態では、他のイベントおよび/またはデータフィード、コマンドおよび/または制御モードおよび入力が反射されうるインターフェース、および同様のものも、本明細書で説明されているように適用されうる。
[001014]一例において、接眼鏡の制御態様は、パイロットに対する情報への容易なアクセスと併せた安全イベントなどについて、コマンドを使用し/入力に応答することができるプラットフォーム上でイベント/データおよびアプリケーションを使用することの組合せを含みうる。軍のパイロット(または無人操縦飛行機のフライトチェックアウトを担当する誰か)は、飛行機が離陸する前に飛行機に接近するときに安全イベント通知を受け取ることができ、アプリケーションが立ち上げられ、飛行前チェックアウトに通される。例えば、ドローンのスペシャリストがドローンに接近し、発射する準備をすると、対話的チェックアウト手順が兵士の接眼鏡に表示される。それに加えて、飛行前チェックアウトに含まれるようにドローンのパイロットに対して通信チャネルが開かれうる。諸実施形態では、他のイベントおよび/またはデータフィード、コマンドを使用し、ならびに/または入力に応答することができるプラットフォーム上のアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001015]一例において、接眼鏡の制御態様は、イベント/データフィード、ならびにプラットフォーム上のインターフェースから、位置を入力する兵士、およびグラフィカルユーザインターフェース(GUI)などの、外部システムおよびデバイスへの通信または接続を使用することの組合せを含みうる。兵士は、外部デバイスと相互にやり取りする必要がある、また外部デバイスがGUIを通じてインターフェースされる、位置を入力することができる。例えば、兵士が軍用輸送機に乗り込むと、兵士に対して、異なる輸送段階において行う必要のあることについて兵士に指示を出す対話型インターフェースを開くGUIが表示される。諸実施形態では、他のイベントおよび/またはデータフィード、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001016]一例において、接眼鏡の制御態様は、与えられる指示および兵器システムなどについて、イベント/データフィードおよび制御される有用な外部デバイスを使用することの組合せを含みうる。兵士は、指示、または指示のフィードを与えられるものとしてよく、少なくとも1つの指示が、外部兵器システムの制御に関連している。例えば、兵士は、大砲を操作しており、接眼鏡は、兵器に関連する実行および手順情報を提供しているだけでなく、標的設定に関連する、指示、補正、および同様のもののフィードを提供する。諸実施形態では、他のイベントおよび/またはデータフィード、制御される有用な外部デバイス、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001017]一例において、接眼鏡の制御態様は、セキュリティイベント/フィードおよびバイオメトリクスキャプチャ/認識などにおいて、イベント/データフィードおよび有用な外部デバイスに対するアプリケーションを使用することの組合せを含みうる。兵士は、特定の個人のバイオメトリクス(指紋、虹彩スキャン、歩き方のプロフィール)を取り込むために(セキュリティフィードなどを通じて)セキュリティイベント通知を送信されるものとしてよく、このバイオメトリクスは、外部バイオメトリクスアプリケーションを通じて、格納され、評価され、分析され、および同様の操作がなされる(安全な軍用ネットワークベースのサーバ/クラウドからのサービスなどを利用する)。諸実施形態では、他のイベントおよび/またはデータフィード、外部デバイスに対するアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001018]一例において、接眼鏡の制御態様は、活動状態を入力する、兵士に情報を表示するなど、兵士に外部デバイスおよびアプリケーションに関係するイベント/データフィードおよびフィードバックを使用することの組合せを含みうる。兵士は、接眼鏡を、軍隊のステージング、臨戦態勢、戦闘、任務結果報告(military staging, readiness, action, debrief)、および同様のものなどのについて活動状態に置くことができ、フィードバックが活動状態に置かれると、兵士は、入った状態に関係する情報の表示を受ける。例えば、兵士は、任務に対するステージング状態(staging state for a mission)に入り、接眼鏡は、機器の確保、追加訓練、および同様のものを含む、ステージングにおいて兵士が完了しなければならない任務の一部としてリモートサーバから情報をフェッチする。諸実施形態では、他のイベントおよび/またはデータフィード、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001019]一例において、接眼鏡の制御態様は、慣性モーションセンサおよび頭部追跡システムなどと共に、感知入力/感知デバイスおよびユーザアクション取り込み入力/デバイスを使用することの組合せを含みうる。兵士の頭部の動きは、接眼鏡の縦の振りの制御、接眼鏡に対する視線方向感知、および同様のものなどについて、接眼鏡内の慣性モーションセンサ(複数可)を通じて追跡されうる。例えば、兵士は、兵器システムを標的にしているものとしてよく、接眼鏡は、慣性モーションセンサ(複数可)を通じて兵士の頭部の注視方向を感知し、兵器の連続的標的設定を行う。さらに、兵器システムは、兵士の注視方向に応答して連続的に移動することができ、したがって、標的めがけて発砲する態勢を連続的に保てる。諸実施形態では、他の感知入力および/または感知デバイス、ユーザアクション取り込み入力および/またはデバイス、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001020]一例において、接眼鏡の制御態様は、光学センサおよび目を閉じること、まばたき、ならびに同様の動作などと共に、コマンドを制御または開始するための感知入力/感知デバイスおよびユーザ移動もしくはアクションを使用することの組合せを含みうる。兵士の目の状態は、目の移動を接眼鏡の制御に使用するなどのために、接眼鏡の光学的連鎖内に含まれる光学センサによって感知されうる。例えば、兵士は、ライフルの狙いを定めているものとしてよく、その場合、ライフルは、接眼鏡からの制御コマンドを通じて発砲する能力を有する(接眼鏡を通じてコマンドを出すことで引き金を手動で引くことによる標的設定の誤差を減じることができる狙撃兵などの場合)。次いで、兵士は、接眼鏡上に保持されているコマンドプロフィールなどにおいて、所定の目の移動を光学センサが検出することによって開始されるコマンドを通じて兵器の発砲を行うことができる。諸実施形態では、他の感知入力および/または感知デバイス、コマンドを制御または開始するためのユーザ移動もしくはアクション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001021]一例において、接眼鏡の制御態様は、近接センサおよびロボット制御インターフェースなどと共に、感知入力/感知デバイスおよびコマンド/制御モードおよび入力が反射されうるインターフェースを使用することの組合せを含みうる。接眼鏡に内蔵された近接センサはロボット制御インターフェースに兵士が近接していることを感知するために使用され、これによりロボット機能の使用をアクティブ化し、有効化することができる。例えば、兵士が、爆発物探知ロボットに歩み寄ると、ロボットは、自動的に、この特定の兵士に対する構成をアクティブ化し、初期化する(例えば、兵士のプリファレンスに関して構成する)。諸実施形態では、他の感知入力および/または感知デバイス、コマンドおよび/または制御モードおよび入力が反射されうるインターフェース、および同様のものも、本明細書で説明されているように適用されうる。
[001022]一例において、接眼鏡の制御態様は、オーディオセンサおよび音楽/サウンドアプリケーションなどと共に、感知入力/感知デバイスおよびコマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションを使用することの組合せを含みうる。オーディオセンサは、周辺の音を監視し、音楽、周辺の音、サウンドキャンセリング、および同様のものに対するボリュームを起動し、および/または調整して、望ましくない周辺の音を相殺する働きをしうる。例えば、兵士が輸送手段に載せられ、輸送手段のエンジンは最初はオフである。この時点において、兵士は、じっとしていること以外に職務はなく、そこで、じっとしていられるように音楽を聴き始める。輸送手段のエンジンがオンになると、音楽/サウンドアプリケーションは、ボリュームを調整し、および/またはオーディオの追加のサウンドキャンセリングを起動し、これにより音楽入力をエンジンの始動前と同じに保つようにできる。諸実施形態では、他の感知入力および/または感知デバイス、コマンドを使用し、および/または入力に応答することができるプラットフォーム上のアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001023]一例において、接眼鏡の制御態様は、受動的IR近接センサおよび外部デジタルシグナルプロセッサなどと共に、感知入力/感知デバイス、ならびにプラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続を使用することの組合せを含みうる。兵士は、受動的IR近接センサで夜景を監視しているものとしてよく、センサは動きを示し、接眼鏡は、近接センサデータから標的を識別するのを補助するため外部デジタルシグナルプロセッサへの接続を開始する。さらに、IR撮像カメラが起動されて、追加データをデジタルシグナルプロセッサに与えることができる。諸実施形態では、他の感知入力および/または感知デバイス、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001024]一例において、接眼鏡の制御態様は、音響センサおよび兵器システムなどと共に、感知入力/感知デバイスおよび制御される有用な外部デバイスを使用することの組合せを含むことができ、兵士が装着している接眼鏡は、爆発または銃の発砲音などの大きな音を感知し、次いで、接眼鏡は、大きな音の発生に関連する標的に対する可能なアクションについて兵器システムの制御を開始する。例えば、兵士は、警備の任務についていて、発砲音が聞こえる。接眼鏡は、発砲の方向を検出し、発砲がなされた位置へ兵士を誘導することができるものとしてよい。諸実施形態では、他の感知入力および/または感知デバイス、制御される有用な外部デバイス、および同様のものも、本明細書で説明されているように適用されうる。
[001025]一例において、接眼鏡の制御態様は、指示用のカメラおよび外部アプリケーションなどと共に、感知入力/感知デバイスおよび有用な外部デバイスに対するアプリケーションを使用することの組合せを含みうる。兵士の接眼鏡内に組み込まれているカメラは、指示が利用可能であることを示す標的アイコンを表示し、接眼鏡は指示用の外部アプリケーションにアクセスすることができる。例えば、兵士は、ステージング領域に送られ、入った後、接眼鏡カメラはアイコンを表示し、外部から指示にアクセスし、兵士に何をすべきかを指示し、すべてのステップは、指示が兵士がアイコンを意識することなく与えられるように自動的であるものとしてよい。諸実施形態では、他の感知入力および/または感知デバイス、外部デバイスに対するアプリケーション、および同様のものも、本明細書で説明されているように適用されうる。
[001026]一例において、接眼鏡の制御態様は、GPSセンサおよびリモートアプリケーションからの視覚的表示などと共に、感知入力/感知デバイス、ならびに外部デバイスおよびアプリケーションに関係するユーザへのフィードバックを使用することの組合せを含みうる。兵士は、位置座標を、周囲の物理的環境の視覚的表示を接眼鏡に送信し/ストリーミングして表示する離れた位置にあるファシリティ/アプリケーションに送信し/ストリーミングする組み込みGPSセンサを有することができる。例えば、兵士は、接眼鏡を通して周囲の環境を常時見ていることができ、組み込みGPSセンサを使用することで、位置が変更されても兵士が周囲の環境を拡張現実で見ることを可能にする視覚的表示オーバーレイが連続的にストリーミングされる。諸実施形態では、他の感知入力および/または感知デバイス、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、および同様のものも、本明細書で説明されているように適用されうる。
[001027]一例において、接眼鏡の制御態様は、身体移動センサ(例えば、運動センサ)および腕の動きなどと共に、ユーザアクション取り込み入力/デバイスおよびコマンドを制御または開始するためのユーザ移動またはアクションを使用することの組合せを含みうる。兵士は、身体移動センサを自分の腕に取り付けておき、腕の動きがコマンドを伝えるようにすることができる。例えば、兵士は、運動センサを自分の腕に付けることができ、腕の動きは、航空機着陸灯システム内に再現され、したがって、着陸を補助する要員が通常保持するライトを大きくし、見えやすくすることができる。諸実施形態では、他のユーザアクション取り込み入力および/またはデバイス、コマンドを制御または開始するためのユーザ移動またはアクション、および同様のものも、本明細書で説明されているように適用されうる。
[001028]一例において、接眼鏡の制御態様は、装着可能センサセットおよび予測学習ベースのユーザインターフェースなどと共に、ユーザアクション取り込み入力/デバイスおよびコマンド/制限モードおよび入力が反射されうるインターフェースを使用することの組合せを含みうる。兵士は、センサセットを身に着けることができ、センサセットからのデータは、連続的に収集され、学習ベースのユーザインターフェースを通じて機械学習ファシリティに供給され、兵士は、その動きおよび挙動から学習を受け入れ、拒絶し、修正し、および同様の操作をすることができるものとしてよい。例えば、兵士は、毎週月曜の朝に一般的に同じ物理的方法で同じ任務を遂行し、機械学習ファシリティは、特定の機器を清掃する、いくつかの用紙に記入する、音楽を再生する、何人かと合う、および同様の作業を行うためのリマインダなどの、その後の月曜の朝に兵士に提供する学習ルーチンを確立することができる。さらに、兵士は、学習挙動プロフィールなどにおいて、ルーチンへの直接的編集を通じて学習の結果を修正することができるものとしてよい。諸実施形態では、他のユーザアクション取り込み入力および/またはデバイス、コマンドおよび/または制御モードおよび入力が反射されうるインターフェース、および同様のものも、本明細書で説明されているように適用されうる。
[001029]一例において、接眼鏡の制御態様は、指に追随するカメラおよびビデオアプリケーションなど、ユーザアクション取り込み入力/デバイスおよびコマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションを使用することの組合せを含みうる。兵士は、接眼鏡組み込みカメラが常駐ビデオアプリケーションを通じてビデオを撮影する方向を制御することができるものとしてよい。例えば、兵士は戦闘の情景を見ている場合があり、その際に、現在の交戦地点など、異なる方向を撮影しながら、交戦の新しい展開を見守るなど、1つの方向を注視している必要はない。諸実施形態では、他のユーザアクション取り込み入力および/またはデバイス、コマンドを使用し、および/または入力に応答することができるプラットフォーム上のアプリケーション、および同様のものも、本明細書で説明されているように適用されうる。
[001030]一例において、接眼鏡の制御態様は、マイクロフォンおよび音声認識入力とステアリングホイール制御インターフェースなど、ユーザアクション取り込み入力/デバイス、ならびにプラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続を使用することの組合せを含みうる。兵士は、接眼レンズを通じて受け取り、車両のステアリングホイール制御インターフェースに送られる音声コマンドを介して車両のハンドリングの態様を変更することができるものとしてよい(接眼鏡とステアリングホイール制御インターフェースとの間の無線通信などにより)。例えば、兵士は、路上で車両を運転しており、したがって、車両は道路に理想的ないくつかのハンドリング機能を有する。しかし、車両は、オフロード、雪中、ぬかるみ、土砂降りの雨の中、別の車両を追跡中、および同様の状況などの異なる条件の下で運転するための他のモードも有する。この場合、兵士は、車両が運転条件を変えるときに音声コマンドを通じてモードを変更することができるものとしてよい。諸実施形態では、他のユーザアクション取り込み入力および/またはデバイス、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続、および同様のものも、本明細書で説明されているように適用されうる。
[001031]一例において、接眼鏡の制御態様は、マイクロフォンおよび音声認識入力と自動車ダッシュボードインターフェースデバイスなど、ユーザアクション取り込み入力/デバイスおよび制御される有用な外部デバイスを使用することの組合せを含むことができる。兵士は、音声コマンドを使用して、暖房および換気、ラジオ、音楽、照明、トリップコンピュータ、および同様のものなど、車両のダッシュボードに関連する様々なデバイスを制御することができる。例えば、兵士は、起伏の多い地形で任務により車両を運転中である場合があり、車両ダッシュボードデバイスを手動制御するために両手をステアリングホイールから離すことができない。この場合、兵士は、接眼鏡への音声コントロールを使用して車両ダッシュボードデバイスを制御することができるものとしてよい。接眼鏡を通じての音声コマンドは、ダッシュボードマイクロフォンシステムを用いた音声制御などとは反対に、特に有利であるものとしてよいが、それは、軍用車両は、非常に音の大きい環境に置かれ、したがって、接眼鏡内のマイクロフォンを使用することで、そのような条件下で実質的に改善された性能を得られる。諸実施形態では、他のユーザアクション取り込み入力および/またはデバイス、制御される有用な外部デバイス、および同様のものも、本明細書で説明されているように適用されうる。
[001032]一例において、接眼鏡の制御態様は、ジョイスティックデバイスおよび外部娯楽アプリケーションなどと共に、ユーザアクション取り込み入力/デバイスおよび有用な外部デバイスに対するアプリケーションを使用することの組合せを含みうる。兵士は、ゲーム機ジョイスティックコントローラにアクセスすることがあり、ネットワークサーバ上でホストされるマルチプレーヤゲームなどの、外部娯楽アプリケーションを通じてゲームをすることができる。例えば、兵士は、展開時に中断時間に入っていることがあり、基地内で、接眼鏡にインターフェースするジョイスティックデバイスにアクセスし、次いで接眼鏡で外部娯楽アプリケーションにアクセスすることができる。諸実施形態では、兵士は、ネットワーク越しに他の軍人と一緒にネットワークに接続されうる。兵士は、ゲームプレイに関連するプリファレンス、プロフィール、および同様のものを格納していてもよい。外部娯楽アプリケーションは、兵士のゲームプレイを、その展開、臨戦態勢の現在の状態、臨戦態勢の必要な状態、過去の歴史、能力レベル、コマンド位置、階級、地理的位置、将来の展開、および同様のものなどに関して管理することができる。諸実施形態では、他のユーザアクション取り込み入力および/またはデバイス、外部デバイスに対するアプリケーション、および同様のものも、本明細書で説明されているように適用されうる。
[001033]一例において、接眼鏡の制御態様は、活動判定システムおよびトーン出力または音警告と共に、ユーザアクション取り込み入力/デバイス、ならびに外部デバイスおよびアプリケーションに関係するユーザへのフィードバックを使用することの組合せを含みうる。兵士は、接眼鏡を通じて活動判定システムにアクセスすることで、極端な活動中、休息中、退屈、不安、体操中、および同様の状態などにおける、兵士の活動状態を監視し、判定することができ、その場合、プリセット、学習、典型的、および同様の状況などで、いかなる形でも条件が限界を外れるときに接眼鏡はいくつかの形態のトーン出力または音警告を発することができる。例えば、兵士は、戦闘中に現在の健康状態ついて監視されるものとしてよく、兵士および/または別の個人(例えば、衛生兵、病院職員、兵士のチームの別のメンバ、司令部、および同様のもの)は、兵士が戦闘で怪我をしたことを示すなど、健康状態が危険レベルに入ったときに、可聴信号を与えられる。したがって、他の人は、兵士の負傷を知らされるものとしてよく、より時間的に効果のある仕方で負傷の手当をすることができる。諸実施形態では、他のユーザアクション取り込み入力および/またはデバイス、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、および同様のものも、本明細書で説明されているように適用されうる。
[001034]一例において、接眼鏡の制御態様は、握り拳およびナビゲーション可能リストなど、コマンドとコマンド/制御モードを制御または開始するためのユーザ移動またはアクションおよび入力が反射されうるインターフェースを使用することの組合せを含みうる。兵士は、握り拳、および同様のものなどの、身振りで接眼鏡のディスプレイ上にナビゲーション可能なリストを投影された内容として表示させることができる。例えば、接眼鏡のカメラは、兵士の手振り(複数可)を観察して、手振り(複数可)を認識し、識別し、事前に決定されている身振り/コマンドデータベースに関してコマンドを実行することができるものとしてよい。諸実施形態では、手振りは、手、指、腕、脚、および同様のものの身振りを含むものとしてよい。諸実施形態では、コマンドを制御または開始するための他のユーザ移動またはアクション、コマンドおよび/または制御モード、ならびに入力が反射されうるインターフェース、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001035]一例において、接眼鏡の制御態様は、頭部のわずかな上下動および情報表示など、コマンドとコマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションを制御または開始するためのユーザ移動またはアクションを使用することの組合せを含みうる。兵士は、頭の振り、腕の動き、脚の動き、目の動き、および同様の動きなどの身振りで情報表示アプリケーションを立ち上げることができる。例えば、兵士は、アプリケーション、データベース、ネットワーク接続、および同様のものに、接眼鏡を通じてアクセスすることを望んでいる場合があり、頭部のわずかな上下動(接眼鏡、兵士の頭部、兵士のヘルメット、および同様のものに付けられている動き検出器を通じて感知されるような)でグラフィカルユーザインターフェースの一部として表示アプリケーションを立ち上げることができる。諸実施形態では、コマンドを制御または開始するための他のユーザ移動またはアクション、コマンドを使用し、および/または入力に応答することができるプラットフォーム上のアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001036]一例において、接眼鏡の制御態様は、目のまばたきおよび外部アプリケーションへのAPIの使用などで、コマンドを制御または開始するためのユーザ移動またはアクションとプラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続とを使用することの組合せを含みうる。兵士は、目のまばたき、頭部のわずかな上下動、腕または脚の移動、および同様の動作などで、アプリケーションプログラムインターフェースを立ち上げて外部アプリケーションにアクセスすることができるものとしてよい。例えば、兵士は、接眼鏡ファシリティに組み込まれているAPIを通じて外部アプリケーションにアクセスし、接眼鏡の光学系を通じて光学監視機能を用いて検出されるような、目のまばたきでそのようなアクセスを行うことができるものとしてよい。諸実施形態では、コマンドを制御または開始するための他のユーザ移動またはアクション、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001037]一例において、接眼鏡の制御態様は、足で軽く叩いて外部距離計デバイスにアクセスすることなどにより、コマンドおよび制御される外部デバイスを制御または開始するためのユーザ移動またはアクションを使用することの組合せを含みうる。兵士は、兵士の足の動きを検出する自分の靴に付けた運動センサなどのセンサを有することができ、兵士は、自分の足で軽く叩くなどの足の動きを使用して、外部距離計デバイスを使用し、敵標的などの物体までの距離を測定する。例えば、兵士は、兵器システムを標的にし、プロセスで両手を使用している場合がある。この場合、接眼鏡を通じて足のアクションによりコマンドを送ることで、「ハンズフリー」でコマンドを送ることができる。諸実施形態では、コマンドを制御または開始するためのユーザ移動もしくはアクション、制御される有用な外部デバイス、および同様のものも、本明細書で説明されているように適用されうる。
[001038]一例において、接眼鏡の制御態様は、手および情報伝達アプリケーションでシンボルを作ることなど、コマンドと制御される有用な外部デバイス用のアプリケーションを制御または開始するためのユーザ移動またはアクションを使用することの組合せを含みうる。兵士は、外部情報フィード、写真/ビデオ共有アプリケーション、テキストアプリケーション、および同様のものなどの、外部情報伝達アプリケーションを通じて共有される情報をトリガするために手で形成されたシンボルを利用することができる。例えば、兵士は、手信号を使用して、組み込みカメラをオンにし、ビデオストリームを別の人物と共有する、ストレージと共有する、および同様の操作を行う。諸実施形態では、コマンドを制御または開始するためのユーザ移動もしくはアクション、外部デバイスに対するアプリケーション、および同様のものも、本明細書で説明されているように適用されうる。
[001039]一例において、接眼鏡の制御態様は、頭の振りと可聴アラートなど、コマンドと外部デバイスおよびアプリケーションに関係するような兵士へのフィードバックを制御または開始するためのユーザ移動またはアクションを使用することの組合せを含みうる。兵士は、加速度計(または頭を振るときのGの力を検出するための同様の機能を有するセンサ)を装備した接眼鏡を装着していてもよく、兵士が危険なほど高いレベルのGの力のかかる振りを頭に対して受けたときに、オンまたはオフ接眼鏡アプリケーションの一部として決定されるような可聴アラートがユーザへのフィードバックとして聞こえる。さらに、加速度計の出力が記録され、分析のため記憶されうる。例えば、兵士は、近くの爆発からGのかかる頭の振りを受ける可能性があり、接眼鏡は、その頭の振りに関連するセンサデータを感知し記録することができる。さらに、危険なレベルの頭の振りは、アラートを他の兵士および/または司令部に伝達するなどの、接眼鏡による自動的アクションをトリガし、他の身体装着センサから兵士の健康状態を監視し、および/または伝達することを開始し、可聴指示をその潜在的負傷に関係する兵士に送る、ならびに同様のことができる。諸実施形態では、コマンドを制御または開始するためのユーザ移動もしくはアクション、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001040]一例において、接眼鏡の制御態様は、グラフィカルユーザインターフェースと接眼鏡上に常駐する様々なアプリケーションなど、コマンド/制御モードおよび入力が反射されうるインターフェースと、コマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションを使用することの組合せを含みうる。接眼鏡は、グラフィカルユーザインターフェースを兵士に提示し、選択するためのアプリケーションを表示することができる。例えば、兵士は、軍用アプリケーション、個人用アプリケーション、民生用アプリケーション、および同様のアプリケーションなどの異なる領域のアプリケーションを備える接眼鏡にグラフィカルユーザインターフェースを投影させることができる。諸実施形態では、他のコマンドおよび/または制御モードならびに入力が反射されうるインターフェース、コマンドを使用しおよび/または入力に応答することができるプラットフォーム上のアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001041]一例において、接眼鏡の制御態様は、外部システムとの3Dナビゲーション接眼鏡インターフェースとナビゲーションシステムコントローラインターフェースなど、コマンド/制御モードおよび入力が反射されうるインターフェースと、プラットフォーム上インターフェースから外部システムおよびデバイスへの通信または接続を使用することの組合せを含みうる。接眼鏡は、ナビゲーションモードに入り、ナビゲーションシステムコントローラインターフェースを通じて外部システムに接続することができる。例えば、兵士は軍事演習に参加しており、接眼鏡ナビゲーションモードを通じて周囲の地形のプリロードされた3D画像を立ち上げ、接眼鏡は、更新のため外部システム、衛星画像で重ねて表示されるような注目する現在の対象物、および同様のものに自動的に接続する。諸実施形態では、他のコマンドおよび/または制御モードならびに入力が反射されうるインターフェース、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001042]一例において、接眼鏡の制御態様は、拡張現実インターフェースと外部追跡デバイスなど、コマンド/制御モードおよび入力が反射されうるインターフェースと、制御される外部デバイスを使用することの組合せを含みうる。兵士の接眼鏡は、拡張現実モードに入り、外部追跡デバイスとインターフェースして、トレースされる対象物または人物の位置に関係する情報を拡張現実表示で重ねて表示することができる。例えば、拡張現実モードは、3Dマップを含むことができ、外部追跡デバイスによって決定されるような人物の位置が、マップ上に重ねて表示され、追跡されている人物が移動するときの跡を示すことができる。諸実施形態では、他のコマンドおよび/または制御モードならびに入力が反射されうるインターフェース、制御される有用な外部デバイス、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001043]一例において、接眼鏡の制御態様は、半不透明表示モードとシミュレーションアプリケーションなど、コマンド/制御モードおよび入力が反射されうるインターフェースと、これらの外部デバイスに対するアプリケーションを使用することの組合せを含みうる。接眼鏡は半不透明表示モードにされると、兵士へのシミュレーション表示アプリケーションの表示を高めることができる。例えば、兵士は、任務につく準備をしており、作戦地域に入る前に、兵士は、任務環境のシミュレーションを提供され、ユーザがシミュレーション時に自分の周りの現実の環境を見る必要は実際にないので、接眼鏡は、接眼鏡を半不透明表示モードにする。諸実施形態では、他のコマンドおよび/または制御モードならびに入力が反射されうるインターフェース、外部デバイスに対するアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001044]一例において、接眼鏡の制御態様は、聴覚コマンドインターフェースとトーン出力フィードバックなど、コマンド/制御モードおよび入力が反射されうるインターフェースと、外部デバイスおよびアプリケーションに関係するユーザへのフィードバックを使用することの組合せを含みうる。兵士は、接眼鏡を聴覚コマンドインターフェースモードにすることができ、接眼鏡は、接眼鏡が聴覚コマンドを受け取れる状態にあることを示すシステムからのフィードバックとしてトーン出力により応答する。例えば、聴覚コマンドインターフェースは、ネットワーク上での出力などの、外部位置における聴覚コマンドインターフェースの少なくとも一部を含むことができ、システム全体が聴覚コマンドを受け入れられる状態になった後トーンが出される。諸実施形態では、他のコマンドおよび/または制御モードならびに入力が反射されうるインターフェース、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001045]一例において、接眼鏡の制御態様は、通信アプリケーションとネットワークルータなど、コマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションと、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続を使用することの組合せを含むことができ、兵士は、通信アプリケーションを開くことができ、接眼鏡は、ネットワークユーティリティに接続するためネットワークルータを自動的に探索する。例えば、兵士は、自分の部隊と共に作戦地域におり、新しいベースキャンプが設置される。兵士の接眼鏡は、通信ファシリティが確立された後に安全なワイヤレス接続で接続することができるものとしてよい。さらに、接眼鏡は、兵士がまだ通信を試みていない場合であっても、通信ファシリティが確立された後、兵士にアラートを送ることができる。諸実施形態では、コマンドを使用しおよび/または入力に応答することができるプラットフォーム上の他のアプリケーション、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001046]一例において、接眼鏡の制御態様は、ビデオアプリケーションと外部カメラなど、コマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションと、制御される有用な外部デバイスを使用することの組合せを含みうる。兵士は、作戦地域内の偵察などのために、配備されたカメラとインターフェースをとることができる。例えば、配備可能モバイルカメラが飛行機から落とされ、次いで、兵士が、接眼鏡ビデオアプリケーションを通じてカメラに接続する。諸実施形態では、コマンドを使用し/入力に応答することができるプラットフォーム上の他のアプリケーション、制御される有用な外部デバイス、および同様のものも、本明細書で説明されているように適用されうる。
[001047]一例において、接眼鏡の制御態様は、接眼鏡上探索アプリケーションと外部探索アプリケーションなど、コマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションと外部デバイスに対するアプリケーションを使用することの組合せを含みうる。接眼鏡上の探索アプリケーションは、外部探索アプリケーションで強化されうる。例えば、兵士は、取り調べを受けている個人の身元証明を調べていることがあり、接眼鏡上探索の結果何も見つからない場合、接眼鏡は外部探索ファシリティと接続する。諸実施形態では、コマンドを使用しおよび/または入力に応答することができるプラットフォーム上の他のアプリケーション、外部デバイスに対するアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001048]一例において、接眼鏡の制御態様は、娯楽アプリケーションと性能インジケータフィードバックなど、コマンドを使用し/入力に応答することができるプラットフォーム上のアプリケーションと、外部デバイスおよびアプリケーションに関係するような兵士へのフィードバックを使用することの組合せを含むことができ、娯楽アプリケーションは、休憩をとる必要があるが、他の方法では不安を感じることもある兵士用の休憩メカニズムとして使用することができ、性能フィードバックは、休憩する必要があるが、頭ははっきりしている必要のあるときの展開時、注意力が低下しつつあり、回復する必要があるときの中断時間において、および同様のときなどに、与えられた環境内の兵士向きに構成される。例えば、兵士は輸送手段に載っており、これから交戦しようとしている場合がある。この場合、娯楽アプリケーションは、注意力と攻撃性を高めるアクション思考ゲームとすることができ、性能インジケータフィードバックは、兵士が迅速に効率的な仕方で遂行し、問題を熟考するという願望を最大化するように構成される。諸実施形態では、コマンドを使用しおよび/または入力に応答することができるプラットフォーム上の他のアプリケーション、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001049]一例において、接眼鏡の制御態様は、外部ファシリティへの接眼鏡上プロセッサインターフェースと外部プロジェクタなど、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続と、制御される外部デバイスを使用することの組合せを含みうる。接眼鏡プロセッサは、この接眼鏡から利用可能な内容を他の人物も見られるように外部プロジェクタに接続することができるものとしてよい。例えば、兵士は、作戦地域内にいるものとしてよく、軍に入っていない個人など、接眼鏡を装着していない他の人物と共有する必要のある内容にアクセスできる。この場合、兵士の接眼鏡は、外部プロジェクタとインターフェースし、接眼鏡から内容をプロジェクタに供給することができるものとしてよい。諸実施形態では、プロジェクタは、ポケットプロジェクタ、車両内、会議室、離れた場所、および同様のプロジェクタとすることができる。諸実施形態では、プロジェクタは、接眼鏡内に内蔵することもでき、したがって、内容は内蔵プロジェクタから外部に投影することができる。諸実施形態では、プラットフォーム上のインターフェースから外部システムおよびデバイスへの他の通信または接続、制御される有用な外部デバイス、ならびに」同様のものも、本明細書で説明されているように適用されうる。
[001050]一例において、接眼鏡の制御態様は、オーディオシステムコントローラインターフェースと外部サウンドシステムなど、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続と、外部デバイスに対するアプリケーションを使用することの組合せを含みうる。兵士は、接眼鏡ファシリティのオーディオ部分(例えば、音楽、オーディオ再生、オーディオネットワークファイル、および同様のもの)を外部サウンドシステムに接続することができるものとしてよい。例えば、兵士は、接眼鏡で受信されている通信を他の人物が聞けるように車両サウンドシステムに一時的につなぐことができるものとしてよい。諸実施形態では、プラットフォーム上のインターフェースから外部システムおよびデバイスへの他の通信または接続、外部デバイスに対するアプリケーション、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001051]一例において、接眼鏡の制御態様は、ステッパーコントローラインターフェースとステータスフィードバックなど、プラットフォーム上のインターフェースから外部システムおよびデバイスへの通信または接続と、外部デバイスおよびアプリケーションに関係する兵士へのフィードバックを使用することの組合せを含みうる。兵士は、ステッパーコントローラインターフェースを通じてデジタルステッパー制御を行うメカニズムにアクセスし、制御することができ、このメカニズムは、メカニズムの状態に関するフィードバックを兵士に送る。例えば、バリケードを撤去する作業をしている兵士は、車両上にリフトメカニズムを有し、兵士は、接眼鏡を通してリフトメカニズムと直接的にインターフェースすることができるものとしてよい。諸実施形態では、プラットフォーム上のインターフェースから外部システムおよびデバイスへの他の通信または接続、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001052]一例において、接眼鏡の制御態様は、ストレージ対応デバイスと自動バックアップアプリケーションなど、制御される外部デバイスとそれらの外部デバイスに対するアプリケーションを使用することの組合せを含みうる。作戦地域内の兵士は、データストレージファシリティおよび関連する自動バックアップアプリケーションの提供を受けるものとしてよい。例えば、ストレージファシリティは、軍用車両内に配置することができ、したがって、データは複数の兵士の接眼鏡から車両に、特にネットワークリンクがリモートバックアップサイトへのダウンロードに利用できない場合に、バックアップすることができる。ストレージファシリティは、野営地に関連付けられ、作戦地域内の兵士小集団(例えば、戦隊)に関連付けられ、兵士自身に配置され、および同様のことが施されうる。諸実施形態では、ローカルストレージファシリティは、ネットワークサービス接続が利用可能になったときにバックアップをアップロードすることができる。諸実施形態では、制御される他の有用な外部デバイス、外部デバイスに対するアプリケーション、および同様のものも、本明細書で説明されているように適用されうる。
[001053]一例において、接眼鏡の制御態様は、外部決済システムとシステムからのフィードバックなど、制御される外部デバイス、ならびに外部デバイスおよびアプリケーションに関係する兵士へのフィードバックを使用することの組合せを含みうる。兵士は、軍管理決済システムにアクセスすることができ、そのシステムは、兵士にフィードバック(例えば、領収書、口座残高、口座入出金、および同様のもの)を送る。例えば、兵士は、接眼鏡を介して業者に支払いをすることができ、接眼鏡および外部決済システムは、データ、許可、資金、および同様のもののやり取りをし、決済システムは、兵士にフィードバックデータを送る。諸実施形態では、制御される他の有用な外部デバイス、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、ならびに同様のものも、本明細書で説明されているように適用されうる。
[001054]一例において、接眼鏡の制御態様は、外部3Dマップ描画ファシリティの情報表示と情報表示を伴うフィードバックなど、外部デバイスに対するアプリケーション、ならびに外部デバイスおよびアプリケーションに関係する兵士へのフィードバックを使用することの組合せを含みうる。兵士は、接眼鏡を通して3Dマップ作製情報データを表示されることができるものとしてよく、マップ作製ファシリティは、配信された過去情報、要求された過去情報、地域内の他の人物からの要求、地理的領域に関連付けられている変更、および同様のものなどに基づき、フィードバックを兵士に送ることができる。例えば、兵士は、外部アプリケーションから3Dマップ描画を受信しているものとしてよく、外部アプリケーションは、3Dマップ描画を同じ地理的領域内にいる少なくとも第2の兵士にも提供している。兵士は、3Dマップ描画に示される位置、身元証明情報、移動の履歴、および同様のものなどの、第2の兵士に関係するフィードバックを外部ファシリティから受信することができる。諸実施形態では、外部デバイスに対する他のアプリケーション、外部デバイスおよび/または外部アプリケーションに関係するフィードバック、および同様のものも、本明細書で説明されているように適用されうる。
[001055]諸実施形態では、接眼鏡は、医療が行われる状況に対応して様々な形態の案内をユーザに提供することができる。第1の例として、ユーザは、接眼鏡を訓練目的に使用し、戦闘中、訓練中、勤務時間中、勤務時間外、および同様のタイミングで発生しうる医療が行われる状況をシミュレートすることができる。このシミュレーションは、医療専門家または医療関係でない人々に適合させることができる。
[001056]例えば、低級戦闘兵士は、接眼鏡を使用して、医療シミュレーションを訓練モジュールの一部とみなし、戦場において医療が行われる状況に対応した訓練を実施することができる。接眼鏡は、拡張環境を示すことができ、ユーザは別の兵士に重ねて表示されている負傷を見て、これらの一般的な負傷または戦場で見ることができる負傷をシミュレートする。兵士は、次いで、ユーザインターフェースを通じて、提示されているように状況に対応するよう促されうる。ユーザは、作戦地域内で救急医療を実施する一連の措置のステップバイステップの指示を与えられうるか、またはユーザは、適切な対応が与えられるまでその後補正される状況に対応したアクションを実施することができる。
[001057]同様に、接眼鏡は、医療専門家のための訓練環境を構成することができる。接眼鏡は、医療専門家を訓練することを目的として医療対応を必要とする医学的緊急事態または状況をユーザに提示することができる。接眼鏡は、ユーザが適切な対応および救命法をマスタしなければならない一般的な戦場シナリオを再現することができる。
[001058]例えば、ユーザに対して、身体に銃弾を受けて負傷した負傷兵の拡張現実を提示することができる。次いで、医療専門家は、その状況に対する適切な対応と考えるステップを実行する、その状況に適していると考える接眼鏡のユーザインターフェースを通じてステップを選択する、接眼鏡のユーザインターフェースにそれらのステップを入力する、および同様の処置を講じることができる。ユーザは、センサおよび/もしくは入力デバイスを使用することで対応を実施することができるか、または目の動き、手振り、および同様のものを介してユーザインターフェース内に自分の対応のステップを入力することができる。同様に、目の動き、手振り、および同様のものを介してユーザインターフェースを通じて自分に提示されるような適切なステップを選択することができる。アクションが実行され、ユーザが処置について決定すると、ユーザに対して、ユーザの実績に基づき追加の案内および指示が提示されうる。例えば、ユーザに、胸に銃弾を受けて負傷している兵士が提示され、ユーザが兵士を危険な位置に持ち上げ始めた場合に、ユーザは、その一連の処置を変更するよう警告を受けるか、または促されうる。あるいは、ユーザは、適切な手順を実施するための正しいステップを実行する指示を受けることができる。さらに、訓練生は、ユーザがカルテに記載されている内容に少なくとも一部は基づき決定を下さなければならない訓練状況において負傷兵に対するカルテの一例を提示されうる。様々な実施形態において、ユーザのアクションおよび実行は、接眼鏡によって記録され、および/または文書化され、訓練セッションが一時停止されるか、または他の何らかの形で停止された後にさらなる批評および指示を受けることができる。
[001059]諸実施形態では、接眼鏡は、戦闘における実際の医療が行われる状況に対応して様々な形態の案内をユーザに提供することができる。例えば、訓練を受けていない兵士は、衛生兵がそばにいないときの医学的緊急事態において同僚兵士に対するステップバイステップの救命指示を示されうる。同僚兵士が負傷している場合、ユーザは、負傷のタイプを入力することができ、接眼鏡は、負傷を検出することができるか、またはこれらの組合せが生じうる。そこから、ユーザは、負傷兵を治療するための救命指示を受け取ることができる。このような指示は、ユーザの指示のステップ毎のプロセスにおいて拡張現実の形態で提示されうる。さらに、接眼鏡は、負傷兵の負傷部位の近くの重要器官の位置、兵士の身体の解剖学的オーバーレイ、および同様のものに関する拡張視覚的補助をユーザにもたらしうる。さらに、接眼鏡は状況のビデオを撮影して、その後作戦地域にいない、または作戦地域に向かう途中の衛生兵に送り返し、それにより、衛生兵が戦場において適切な救命法を訓練されていないユーザに教えることができる。さらに、負傷兵の接眼鏡は、負傷兵に関する、内蔵または付随するセンサを通じて収集された情報などの重要情報を衛生兵へ送られる治療兵士の接眼鏡に送信することができるか、または治療兵士が負傷兵の接眼鏡から集められた情報に基づき医療救済を負傷兵に対して行うことができるように離れた場所にいる衛生兵に直接送信することができる。
[001060]他の諸実施形態では、戦場で医学的緊急事態を提示された場合、訓練を積んだ衛生兵は、接眼鏡を使用して、その状況にただちに適切に対応できるように兵士の身体の解剖学的オーバーレイを提供することができる。例えば、本開示を限定することなく、負傷兵が脚に銃弾を受けて負傷し出血している場合、ユーザは、兵士の火器が発砲されたかどうか、負傷の重傷性を判定するように兵士の火器の拡張現実表示を提示されうる。ユーザは、自分が治療を受けるときにそれぞれのステップをチェックするように所定の負傷について接眼鏡を介して適切なプロトコルを表示されうる。このようなプロトコルは、また、拡張現実、ビデオ、オーディオ、または他の形式でユーザに提示されうる。接眼鏡は、ステップ毎のプロセスで拡張現実指示の形態で衛生兵にプロトコルを提供することができる。諸実施形態では、ユーザは、負傷兵の器官の拡張現実オーバーレイも提示され、これは任意の手順を通じて衛生兵を誘導し、衛生兵が治療時に兵士の器官をさらに傷つけることのないようにする。さらに、接眼鏡は、負傷兵の負傷部位の近くの重要器官の位置、兵士の身体の解剖学的オーバーレイ、および同様のものに関する拡張視覚的補助をユーザにもたらしうる。
[001061]諸実施形態では、接眼鏡は、戦場でカルテを引き出すために負傷兵の網膜をスキャンするために使用されうる。これは、投薬に対するアレルギの可能性または治療時に利益をもたらしうる他の重要な点があるというアラートを衛生兵に伝えることができる。
[001062]さらに、負傷兵が接眼鏡を装着している場合、デバイスは、負傷の心拍数、血圧、呼吸ストレス、および同様のものを含む情報を衛生兵の眼鏡に送信することができる。接眼鏡は、兵士が頭部に怪我を負っているか判定するため兵士の歩き方をユーザが観察するのを補助することもでき、また出血または負傷の部位をユーザが判定するのを補助することもできる。このような情報は、可能な治療の情報をユーザに与えるものであり、諸実施形態では、適切なプロトコルまたはプロトコルの選択がユーザに対して表示され、患者を治療する補助をすることができる。
[001063]他の諸実施形態では、接眼鏡により、ユーザは、患者の他の症状を監視し、精神面の健康状態をチェックすることができる。同様に、ユーザは、患者が急速眼球運動を示しているか判定するチェックを行い、さらに、接眼鏡を使用して患者に、眼球運動、呼吸運動、および同様の処置を患者に施すなどの、沈静治療を施すことができる。さらに、衛生兵は、負傷兵のバイタルサインおよび健康データに関する情報を受け取ることができ、その際に情報は負傷兵の接眼鏡から収集され、衛生兵の接眼鏡に送信される。これは、負傷兵からのリアルタイムデータを、例えば負傷兵の血圧を調べることによって自分でそのようなデータを決定しなくても、衛生兵に提供することができる。
[001064]様々な実施形態において、ユーザは、航空機による救出または地上での救出が戦場の自分がいる位置からどれだけ離れているかを知らせる接眼鏡からのアラートを提供されうる。これは、重要情報を衛生兵に伝え、状況において利用可能な時間が与えられた場合に特定の手順を試みるべきか、または試みなければならないかどうかに関するアラートを衛生兵に送ることができ、またこれは、救助がまもなく到着することを知らせて負傷兵を安心させることができるか、または負傷兵が他の救助隊を必要とする可能性があることを知らせるアラートを衛星兵に伝えることができる。
[001065]他の諸実施形態では、ユーザは、問題が検出された場合に自分のバイタルサインのアラートを受け取ることができる。例えば、兵士は、血圧が高過ぎる場合にアラートを受け取ることができ、このアラートは、自分が服薬しなければならない、または可能ならば戦闘から抜けて血圧を安全なレベルに戻さなければならないということを兵士に知らせる。また、ユーザは、自分の瞳孔の大きさ、心拍数、歩き方の変化、および同様のものなどの他の個人データのアラートを受けて、ユーザが医学的問題を生じているかどうかを判定することができる。他の実施形態では、ユーザの接眼鏡は、ユーザの医学的状態のアラートを別の場所にいる医療関係者に伝え、ユーザに救助を、そのような救助を必要とすることをわかっているかどうかに関係なく送ることもできる。さらに、複数の接眼鏡から一般的データが集約され、これにより、負傷兵に関する詳細情報、戦闘で何人の兵士を抱えているか、そのうち何人が負傷しているか、および同様の情報を司令室に送ることができる。
[001066]様々な実施形態において、訓練を受けた医療専門家は、戦闘外の医学的対応で接眼鏡を使用することもできる。このような接眼鏡は、衛生兵の本部で、または離れているが、戦闘状況の外で、上で説明されているような類似の用途を有するものとしてよい。この方法で、接眼鏡は、医療処置の際の拡張現実支援を得るための手段、医療処置を文書化するための手順、ビデオおよび/またはオーディオを介して離れた場所の指揮官の誘導で医療処置を実施するための手段、ならびに軍用基地での、または軍用基地を離れた同様の手段をユーザに提供することができる。これは、衛生兵が追加の支援を必要とする場合の複数の状況における支援を提供することができる。これの一例は、衛生兵が訓練演習、健康体操のための外出、軍のハイキング、および同様のもので任務に就いているときに生じるものとしてよい。このような支援は、衛生兵が唯一対応できるものである場合、新しい衛生兵である場合、新しい状況で接近している場合、および同様の場合に重要なものとなりうる。
[001067]諸実施形態では、接眼鏡は、軍用輸送機に関係する環境内でユーザを誘導することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、偵察または救助任務で、機器を移動している間、飛行機でメンテナンスを実施しているとき、および同様の場合にそのような環境内で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001068]例示的な目的として、ユーザは、輸送機に乗り、訓練演習に入っている間に、接眼鏡を通じてオーディオおよび視覚的情報を受け取ることができる。情報は、戦場の状態、気象条件、任務指示、領域のマップ、および同様のものなどの、訓練任務に関する詳細をユーザに与えるものとしてよい。接眼鏡は、実際の戦闘シナリオをシミュレートして、ユーザを戦闘に備えさせることができる。接眼鏡は、様々な手段を通じてユーザの対応およびアクションを記録することもできる。そのようなデータ収集は、ユーザが自分の実績に関するフィードバックを受け取ることを可能にしうる。さらに、接眼鏡は、次いで、訓練演習時に得られる結果に基づきシミュレーションを変更し、進行中のシミュレーションを変更するか、またはユーザもしくは様々なユーザに対する将来のシミュレーションを変更することができる。
[001069]諸実施形態では、接眼鏡は、戦闘に入るときに軍用輸送機上でユーザに案内および/または対話を提供することができる。ユーザは、ユーザが飛行機に乗り込むときに任務に関するオーディオおよび視覚的情報を受け取ることができる。任務の適切な資材および機器を有していることを確認するためのチェックリストがユーザに提示されうる。さらに、機器の固定および安全装具の適切な使用に関する指示が、非常用脱出口、酸素ボンベのありか、および安全装置などの航空機に関する情報と共に提示されうる。ユーザは、任務の前にいつ休憩し、その目的のために薬物を投与してもらうかなどの指示を提示されうる。接眼鏡は、任務の前の休憩のためにノイズキャンセリングをユーザに提供し、次いで、ユーザの休憩が終了したときに、またさらなる任務の準備が始まるときにそのアラートをユーザに与えることができる。戦場のマップ、作戦地域内の車両および/または人々の数、戦場の気象条件、ならびに同様のものなどの追加情報が提供されうる。デバイスは、指示および戦闘準備が兵士同士のやり取りを含みうるようなリンクを他の兵士に与えることができ、そこで指揮官の言うことが部下および同様の人々によって聞かれる。さらに、それぞれのユーザに対する情報は、ユーザの特定のニーズに合うような形式を有するものとしてよい。例えば、指揮官は、低階級の部下に与える必要がないと考えられるより高レベルまたはより機密性の高い情報を受信することができる。
[001070]諸実施形態では、ユーザは、偵察または救助任務において軍用輸送機上で接眼鏡を使用することができ、接眼鏡は、潜在的な地上の戦場および同様のものに関する情報を取得するために使用されうる領域上を飛行したときに注目する場所の様々な画像および/またはビデオを取り込み、格納する。接眼鏡は、地上の人々および車両の移動を検出し、それにより、負かすべき敵または救助もしくは支援すべき味方を検出するために使用されうる。接眼鏡は、探索された、または依然として探索される必要のある領域に対して特定のカラーコーディングを施して上空を飛行され、探索される領域のマップまたは画像にタグを付ける機能を備えることができる。
[001071]諸実施形態では、軍用輸送機に乗っているユーザは、在庫をとるべき機器、移動される数量および位置、ならびに様々な機器に関する特別なハンドリング指示に対する指示および/またはチェックリストを提供されうる。セキュリティを確保するために物品が降ろされるか、または積み込まれるときに車両の接近に関するアラートがユーザに与えられうる。
[001072]軍用輸送機のメンテナンスおよび安全のため、ユーザは航空機が適切に機能しているか飛行前チェックを与えられうる。パイロットは、任務遂行前に適切なメンテナンスが完了していない場合にアラートを送られうる。さらに、航空機のオペレータは、航空機のメンテナンスの履歴を追跡するために航空機履歴のグラフィックによる概要またはリストを与えられうる。
[001073]諸実施形態では、接眼鏡は、戦闘機に関係する環境内でユーザを誘導することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、メンテナンスの場合、および同様のときにそのような環境で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001074]例えば、ユーザは、戦闘機による戦闘の訓練のため接眼鏡を使用することができる。ユーザは、特定の軍用ジェット機または飛行機における戦闘状況をシミュレートする拡張現実状況を提示されうる。ユーザの対応およびアクションは、記録され、および/または分析されて、ユーザに追加の情報、批評が与えられ、過去データに基づき訓練演習が変更されうる。
[001075]実際の戦闘に関係する実施形態において、ユーザは、自分を囲むおよび/または接近してくる味方の航空機および味方でない航空機を示す情報を提示されうる。ユーザは、最高速度、操縦能力、およびミサイル射程距離などの敵航空機に関する情報を提示されうる。諸実施形態では、ユーザは、地上の脅威の存在に関係する情報を受け取ることができ、それに関するアラートを受けることができる。接眼鏡は、パイロットがコックピット内では通常表示されえない航空機に関する緊急アラートおよび追加の情報を確認できるようにユーザの航空機および/または航空機の計器に同期することができる。さらに、接眼鏡は、到来する脅威に基づき標的領域までの秒数、ミサイルを発射するか、または航空機から脱出する時間を表示することができる。接眼鏡は、周囲の環境、潜在的脅威、および同様のものに基づきパイロットが実行すべき操縦を提案することができる。諸実施形態では、接眼鏡は、味方の航空機を、そのような航空機がステルスモードであっても検出し、表示することができる。
[001076]諸実施形態では、ユーザは、戦闘機が適切に機能しているかの飛行前チェックを与えられうる。パイロットは、メンテナンス記録、航空機コンピュータ、および他のものとリンクすることによって任務遂行前に適切なルーティングメンテナンスが完了していない場合にアラートを送られうる。接眼鏡を使用することで、パイロットは航空機メンテナンスの履歴を、そのダイアグラムおよび概略図と共に閲覧することができるものとしてよい。
[001077]諸実施形態では、接眼鏡は、軍用ヘリコプタに関係する環境内でユーザを誘導することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、メンテナンスの場合、および同様のときにそのような環境で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001078]例えば、ユーザは、戦闘中または高ストレス状況にあるときに軍用ヘリコプタ運転の訓練のため接眼鏡を使用することができる。ユーザは、特定の航空機における戦闘状況をシミュレートする拡張現実状況を提示されうる。ユーザの対応およびアクションは、記録され、および/または分析されて、ユーザに追加の情報、批評が与えられ、過去データに基づき訓練演習が変更されうる。
[001079]訓練および/または戦闘中に、ユーザの接眼鏡は、航空機の人口動態統計およびメンテナンスに関するアラートについて航空機に同期しうる。ユーザは、航空機に搭乗するときに乗客に対するプログラムおよび安全手順および応急処置法を確認することができる。このような手順は、他にも情報はあるがとりわけ航空機に安全に搭乗する方法、航空機に入り、出る際のドアの操作方法、救命機器の配置を示すことができる。諸実施形態では、接眼鏡は、典型的な飛行においてヘリコプタに危険をもたらす可能性のあるものなどの脅威の場所および/または位置をユーザに提示することができる。例えば、ユーザには、ドローン、他のヘリコプタなどの低空飛行の脅威の場所、および陸上の脅威の場所が提示されうる。諸実施形態では、ノイズキャンセリングイヤフォンおよびマルチユーザユーザインターフェースは、飛行中に通信できるようにする接眼鏡を備えることができる。ヘリコプタが降下する場合、ユーザの接眼鏡は、配置およびヘリコプタ情報を指揮官および救助隊に伝達することができる。さらに、低空飛行任務の際に接眼鏡の暗視を使用することで、敵を探索または見つける際に探知されないようユーザは高出力ヘリコプタスポットライトをオフにすることができるものとしてよい。
[001080]諸実施形態では、本明細書の様々な事例において説明されているように、接眼鏡は、航空機のメンテナンスを追跡し、適切なルーチンメンテナンスが実施されているかどうかを判定するための支援手段となりうる。さらに、本明細書で言及されている他の航空機および車両について、航空機上でのメンテナンスおよび作業を支援する際に拡張現実が使用されうる。
[001081]諸実施形態では、接眼鏡は、軍用ドローン航空機またはロボットに関係する環境内でユーザを誘導することができる。例えば、接眼鏡は、偵察、捕獲および救助任務、戦闘、人間に特定の危険を及ぼす領域内の任務、および同様の任務においてそのような環境で使用されうる。
[001082]諸実施形態では、接眼鏡は、ドローンの周囲の環境に関するビデオフィードをユーザに提供することができる。リアルタイムビデオは、注目する様々な領域に関する最新情報について表示されうる。このような情報を収集することで、兵士は、領域内の敵兵の数、建物のレイアウト、および同様のものの知識を得ることができる。さらに、捕獲または救助されるべき注目している人物の位置に関する情報を集めるために、データが収集されて、それらがドローンおよび/またはロボットから接眼鏡に送信されうる。例えば、安全な囲い地または掩蔽壕の外側にいるユーザは、ドローンおよび/またはロボットを使用して、捕獲または救助の準備で安全な囲い地内にいる人物の位置、数、および活動のビデオまたはデータフィードを送信することができる。
[001083]諸実施形態では、ドローンおよび/またはロボットと共に接眼鏡を使用することで、指揮官は、任務遂行中に戦場データを収集して、計画変更を行い、収集されたデータに基づきチームの様々な指示を出すことができる。さらに、接眼鏡および接眼鏡に付随する制御装置により、ユーザは接眼鏡内のユーザインターフェースを介してドローンおよび/またはロボットに兵器を配備することができるものとしてよい。ドローンおよび/またはロボットから送信されるデータフィードは、ユーザに、配備する兵器および配備するタイミングに関する情報を提供することができる。
[001084]諸実施形態では、ドローンおよび/またはロボットから収集されたデータにより、ユーザは潜在的な危険状況に近づくことが許されうる。例えば、これにより、ユーザは、生物学的漏出物、爆弾、路地、たこつぼ壕、および同様のものを調査して、直接的危害のない場所にいながら状況および環境のデータを得ることができる。
[001085]諸実施形態では、接眼鏡は、海上の軍用船に関係する環境内でユーザを誘導することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、探索および救助任務の遂行時、災害の後片付けの実施時、メンテナンスを実施しているとき、および同様の場合にそのような環境内で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001086]諸実施形態では、接眼鏡は、様々な一連の技能を有するユーザによる船舶での職務遂行の準備のため訓練において使用されうる。訓練は、戦闘状況、および同様の状況にあるときにユーザが船の舵を取り、船を制御し、および/または様々な職務を遂行する能力を試験するシミュレーションを含むことができる。ユーザの対応およびアクションは、記録され、および/または分析されて、ユーザに追加の情報、批評が与えられ、過去データに基づき訓練演習が変更されうる。
[001087]諸実施形態では、接眼鏡により、ユーザは、拡張現実による表示を利用することで船への潜在的脅威を見いだすことができる。そのような脅威は、ドット、グラフィックス、または他の手段によって示すことができる。接眼鏡が特定の脅威を検出した後の敵交戦の準備に関する指示が、接眼鏡を介してユーザに送信されうる。さらに、ユーザは、船をドックに入れる港のマップまたはビデオを見て、敵の位置を提供されうる。諸実施形態では、接眼鏡により、ユーザは船および/または兵器と同期することができ、これによりユーザは戦闘時の機器の使用時の使用方法をガイドされる。ユーザは、接眼鏡によって国際および国内水上境界線が置かれている場所へのアラートを受けることができる。
[001088]探索および救助が必要な実施形態では、接眼鏡は、海流の追跡および/または最近探索された水域のタグ付けを行うことができる。海流が追跡される実施形態において、これは、救助すべき注目している人物の潜在的位置または変更された位置を伝える情報をユーザに提供することができる。同様に、接眼鏡は、ユーザが周囲の環境を調査しなければならない環境内で使用されてよい。例えば、ユーザは、マントルの移動および/または来る災害の切迫の前兆となりうる水圧および/または移動の著しい変化に対するアラートを受け取ることができる。マントルの移動、地震および/または津波の脅威、ならびに同様のものに関するアラートは、接眼鏡を介してユーザに送られるものとしてよい。そのようなアラートは、接眼鏡が船に搭載されているデバイスと同期することで、海水の移動、海流の変化、水圧の変化、周囲の水の低下または上昇、および同様の事象を追跡することで送られうる。
[001089]軍用船が災害の後片付けのため配備される実施形態において、接眼鏡は、汚染領域、汚染物の移動速度、深さの予測、および汚染物が沈殿する場所の検出で使用されうる。諸実施形態では、接眼鏡は、100万分の1の単位の汚染物およびその変動を検出して汚染の体積の位置の変化を決定する上で有用なものといえる。
[001090]様々な実施形態において、接眼鏡は、船およびそれに搭載された機器が適切に機能しているかのチェックを行うプログラムをユーザに提供することができる。さらに、船の様々な操縦者は、配備前に適切なルーチンメンテナンスが完了していない場合にアラートを送られうる。諸実施形態では、ユーザは、船の重要な機能の状態と共に船のメンテナンス履歴を確認することもできる。
[001091]諸実施形態では、接眼鏡は、潜水艦の環境内で様々な形態の案内をユーザに提供することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、メンテナンスの場合、および同様のときにそのような環境で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001092]例えば、ユーザは、戦闘中または高ストレス状況にあるときに潜水艦運転の訓練のため接眼鏡を使用することができる。ユーザは、特定の潜水艦における戦闘状況をシミュレートする拡張現実状況または他のものを提示されうる。訓練プログラムは、ユーザの階級が提示される状況のタイプが決定されるような、ユーザの階級に基づくものとしてよい。ユーザの対応およびアクションは、記録され、および/または分析されて、ユーザに追加の情報、批評が与えられ、過去データに基づき訓練演習が変更されうる。諸実施形態では、接眼鏡で、潜水艦のメンテナンス、潜水艦の使用、および適切な安全手順、同様のものについてユーザを訓練することもできる。
[001093]戦闘環境において、接眼鏡は、ユーザの深さ、敵および対象物の位置、水面上の味方および/または敵に関係する情報をユーザに提供するために使用されうる。諸実施形態では、そのような情報は、視覚的表現、オーディオ、および同様のものによりユーザに伝達されうる。様々な実施形態において、接眼鏡は、潜水艦のデバイスおよび機器に同期しおよび/または利用して、GPS、ソナー、および同様のものからデータを収集し、他の対象物、潜水艦、および同様のものの位置などの様々な情報を収集することができる。接眼鏡は、安全手順、任務特性、および領域内の敵の有無に関する指示を兵士に表示することができる。諸実施形態では、デバイスは、船および/または兵器と通信または同期して、兵士がそのような機器を使用するのをガイドし、特定の機器に関係する表示を行うことができる。そのような表示は、機器に関係する視覚的およびオーディオデータを含みうる。さらに、例として、デバイスは潜望鏡と共に使用され、ユーザの画像および/またはオーディオを増強して、潜在的脅威、注目する場所、および視界を外れた敵の位置、国内および国際水上境界、様々な脅威、および同様のものなど潜望鏡によって他の方法では表示されえない情報を示すことができる。
[001094]接眼鏡は、潜水艦のメンテナンスでも使用されうる。例えば、船が適切に機能しているかの出航前のチェックをユーザに提供することができ、これは、任務遂行の前に適切なルーチンメンテナンスの作業が実施されたか、または完了していないかを示すアラートを送ることができる。さらに、ユーザは、実施されたメンテナンスおよび同様のものを再検討するため詳細な履歴を受け取ることができる。諸実施形態では、接眼鏡は、拡張現実またはユーザにそのようなメンテナンスの実施を指示する他のプログラムを提供することによって潜水艦のメンテナンスを支援することもできる。
[001095]諸実施形態では、接眼鏡は、港に入っている船の環境内で様々な形態の案内をユーザに提供することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、メンテナンスの場合、および同様のときにそのような環境で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001096]例えば、ユーザは、戦闘中、攻撃を受けている、または高ストレス状況にあるときに港の船の訓練のため接眼鏡を使用することができる。ユーザは、特定の港において、またそのような船において見られる戦闘状況をシミュレートする拡張現実状況または他のものを提示されうる。訓練プログラムは、世界中の様々な港、および周囲土地データ、所定の時刻に港に入っている可能性のある同盟国船もしくは敵船の数のデータを示すことができ、また現地燃料補給所、および同様のものを示すことができる。訓練プログラムは、ユーザの階級が提示される状況のタイプを決定するようにユーザの階級に基づくものとしてよい。ユーザの対応およびアクションは、記録され、および/または分析されて、ユーザに追加の情報、批評が与えられ、過去データに基づき訓練演習が変更されうる。諸実施形態では、接眼鏡で、船のメンテナンスおよび機械的メンテナンスの実施、船の使用、および船で用いる適切な安全手順、同様のものについてユーザを訓練することもできる。
[001097]戦闘環境において、接眼鏡は、ユーザがドックに入れられることになるか、または入れられている港に関係する情報をユーザに提供するために使用されうる。ユーザは、港の敵および/または味方の船の位置もしくは他の視覚的表現に関する情報を提供されるものとしてよい。諸実施形態では、ユーザは、接近する航空機および敵船のアラートを得ることができ、ユーザは、船および/または兵器と同期して、機器に関する情報を提供し、および/またはデータを表示しながらユーザが機器を使用するのをガイドすることができる。そのようなデータは、特定の弾薬および同様のものの量および効力を含みうる。接眼鏡は、安全手順、任務特性、および領域内の敵の有無に関する指示を兵士に表示することができる。そのような表示は、視覚的および/またはオーディオ情報を含むことができる。
[001098]接眼鏡は、船のメンテナンスでも使用されうる。例えば、船が適切に機能しているかの出航前のチェックをユーザに提供することができ、これは、任務遂行の前に適切なルーチンメンテナンスの作業が実施されたか、または完了していないかを示すアラートを送ることができる。さらに、ユーザは、実施されたメンテナンスおよび同様のものを再検討するため詳細な履歴を受け取ることができる。諸実施形態では、接眼鏡は、拡張現実またはユーザにそのようなメンテナンスの実施を指示する他のプログラムを提供することによって船のメンテナンスを支援することもできる。
[001099]他の諸実施形態では、ユーザは、接眼鏡または他のデバイスを使用して、港に入ってくるものの生体情報を取得することができる。このような情報により、ユーザの本人確認を行うことができ、ユーザはその人物が脅威であるか、または注目している誰かであるかを知ることができる。他の実施形態では、ユーザは、港に輸入された物体または容器をスキャンして、積み荷および同様のものの船積みに潜在的脅威が含まれていないか調べることができる。ユーザは、接眼鏡またはデバイスに付随するセンサによって収集された密度または他の様々な情報に基づき危険な物質を検出することができるものとしてよい。接眼鏡は、情報を記録するか、または文書をスキャンして、文書が偽物であるか、または何らかの方法で改竄されているかを判定することができる。これは、ユーザが個人の信用証明物をチェックするのを支援することができ、また、特定の積み荷に付随する書類をチェックして、不正確な積み荷目録、偽造書類、および同様のものなどの積み荷に関係していると思われる潜在的脅威または問題点のアラートをユーザに与えるために使用されうる。
[001100]諸実施形態では、接眼鏡は、戦車または他の陸上車両を使用するときに様々な形態の案内をユーザに提供することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、偵察時、集団輸送時、メンテナンスの場合、および同様のときにそのような環境で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001101]例えば、ユーザは、戦闘中、攻撃を受けている、または高ストレス状況にあるとき、または他の場合に戦車または他の地上車両を使用する訓練のため接眼鏡を使用することができる。ユーザは、戦車内に入り、および/または運転しているときに見られうる戦闘状況をシミュレートする拡張現実状況または他のものを提示されうる。訓練プログラムでは、適切な機器および兵器の使用、および同様のものに関してユーザを試験することができる。訓練プログラムは、ユーザの階級が提示される状況のタイプを決定するようにユーザの階級に基づくものとしてよい。ユーザの対応およびアクションは、記録され、および/または分析されて、ユーザに追加の情報、批評が与えられ、過去データに基づき訓練演習が変更されうる。諸実施形態では、接眼鏡で、戦車のメンテナンス、戦車の使用、および戦車または陸上車両内に入っているときに使用する適切な安全手順、および同様のものについてユーザを訓練することもできる。
[001102]戦闘環境において、接眼鏡は、景色に見えている敵および/または味方の車両の位置に関係する情報および/または視覚的表現をユーザに提供するために使用されうる。諸実施形態では、ユーザは、接近する航空機および敵車両のアラートを得ることができ、ユーザは、戦車および/または兵器と同期して、機器に関する情報を提供し、および/またはデータを表示しながらユーザが機器を使用するのをガイドすることができる。そのようなデータは、特定の弾薬および同様のものの量および効力を含みうる。接眼鏡は、安全手順、任務特性、および領域内の敵および味方の有無に関する指示を兵士に表示することができる。そのような表示は、視覚的および/またはオーディオ情報を含むことができる。諸実施形態では、ユーザは、戦車の外の周囲の環境から360度の眺望を、そのような眺望で接眼鏡を使用してカメラまたは他のデバイスに同期することによってストリーミングすることができる。ビデオ/オーディオフィードは、戦車/車両の中、または外にいる必要な数のユーザに提供されうる。これにより、ユーザは、車両および静止している脅威を監視することができる。接眼鏡は、車両、および本明細書で説明されているような、または当業者には他の何らかの形で明白であるような様々な車両、航空機、船舶、およびデバイスと通信して、防護具の破損、エンジンの状態、および同様のものなどの車両の統計量を監視することができる。接眼鏡は、ナビゲーションのためにGPSをさらに備え、ブラックシリコンまたは本明細書で説明されているような他の技術を使用して敵を探知し、夜間および最適な状態で見えないときおよび同様のときに環境へのナビゲーションを行うことができる。
[001103]さらに、接眼鏡は、偵察のため戦車/陸上車両環境内で使用されうる。諸実施形態では、ユーザは、カメラまたは他のデバイスに同期して、360度の視野を得て情報を収集することができる。暗視および/またはSWIRおよび本明細書で説明されているような同様のものが、必要な場合にさらなる情報収集に使用されうる。ユーザは、接眼鏡を使用して、熱痕跡を検出して環境を調べ、潜在的脅威を検出することができ、土壌密度および同様のものを見て、道端に仕掛けられた爆弾、轍、様々な脅威、および同様のものを検出することができる。
[001104]諸実施形態では、接眼鏡は、戦車または他の陸上車両による集団輸送を円滑にするために使用されうる。例えば、ユーザは、輸送すべき品目および人員について視覚的、対話的、または他の方式のチェックリストを提供されうる。ユーザは、輸送中のものおよび同様のものなど、追跡すべき品目の積み荷目録を追跡し、更新することができるものとしてよい。ユーザは、周囲領域のマップを表示し、要員の識別のため書類および文書をスキャンし、輸送される個人に関連する項目を識別し追跡し、輸送される個人および同様のものの旅程/任務情報を表示することができる。
[001105]接眼鏡は、車両のメンテナンスでも使用されうる。例えば、戦車または他の車両が適切に機能しているかの出航前のチェックをユーザに提供することができ、これは、任務遂行の前に適切なルーチンメンテナンスの作業が実施されたか、または完了していないかを示すアラートを送ることができる。さらに、ユーザは、実施されたメンテナンスおよび同様のものを再検討するため詳細な履歴を受け取ることができる。諸実施形態では、接眼鏡は、拡張現実またはユーザにそのようなメンテナンスの実施を指示する他のプログラムを提供することによって車両のメンテナンスを支援することもできる。
[001106]諸実施形態では、接眼鏡は、都会または郊外環境にいるときに様々な形態の案内をユーザに提供することができる。例えば、接眼鏡は、訓練時、戦闘に入るとき、偵察の場合、および同様のときにそのような環境で使用されうる。このような用途は、様々な階級およびレベルの要員に適しているものとしてよい。
[001107]例えば、ユーザは、都会または郊外環境において戦闘中、攻撃を受けている、または高ストレス状況にあるとき、現地の人々とやり取りしているとき、および同様のときに訓練のため接眼鏡を使用することができる。ユーザは、そのような環境内にいるときに遭遇しうる戦闘状況をシミュレートする拡張現実状況または他のものを提示されうる。訓練プログラムでは、適切な機器および兵器の使用、ならびに同様のものに関してユーザを試験することができる。訓練プログラムは、ユーザの階級が提示される状況のタイプを決定するようにユーザの階級に基づくものとしてよい。ユーザの対応およびアクションは、記録され、および/または分析されて、ユーザに追加の情報、批評が与えられ、過去データに基づき訓練演習が変更されうる。諸実施形態では、ユーザは、実際の建物および建物のレイアウトならびに潜在的戦闘の領域を含む都会および郊外環境の代替的シナリオを表示することができる。ユーザは、その領域内に入る前に気候および気象情報を提供されるものとしてよく、一般的に所定の時刻、または可能な攻撃または他の交戦に備えるためその時刻の領域内の人々の数を知らされるものとしてよい。さらに、ユーザは、ユーザが環境内に入る前に準備されるように所定の領域内の建物の中、周り、および上の個人の位置を提供されうる。
[001108]都会および郊外環境において、接眼鏡または他のデバイスにより、ユーザは現地の人々を調査することも可能である。ユーザは、注目している人物の顔、虹彩、音声、指紋、および掌紋データを収集することができるものとしてよい。ユーザは、0〜5メートル、それ以上の距離、またはPOIのすぐ隣からユーザの検出なくそのようなデータをスキャンすることができるものとしてよい。諸実施形態では、ユーザは、接眼鏡を使用して、煙および/または破壊された環境を透かして見る、領域内の車両の有無をメモして記録する、戦闘計画などで将来使用するために環境画像を記録する、様々な時刻における領域の人口密度、様々な建物および路地のレイアウトをメモする、および同様の作業を行うことができる。さらに、ユーザは、兵士が接触する特定の先住民に関する事実を収集して受け取ることができる。
[001109]ユーザは、戦闘に入っているときに都会/郊外環境内で接眼鏡または他のデバイスを使用することもできる。デバイスにより、ユーザはレーザ照準機と共にジオロケーションを使用して、敵標的を特定して殺害することができるものとしてよい。諸実施形態では、周囲の環境および建物の空中写真を提示することができる。これは、ユーザの周囲の領域内にいる敵を表示し、敵または味方またはユーザのチームのものなどの個人の位置を識別することができる。ユーザは、接眼鏡または他のデバイスを使用して、本部との接触を維持し、接眼鏡を通じて指揮官からの指示を見る/聞くことができ、指示はユーザの環境からのデータを表示または聞いた後に作成されうる。さらに、接眼鏡により、ユーザはチーム内の他の者に命令を下すこともできる。諸実施形態では、ユーザは、付近にいるものに関する生体データ収集を実行し、そのような情報を記録し、および/または戦闘中に使用するためそれらに関する情報を取り出すことができる。ユーザは、兵士が携える様々な機器を監視し使用するために他の兵士のデバイスとリンクすることができる。諸実施形態では、接眼鏡は、屋根の上にいるときに建物の縁に近づいているというアラートをユーザに送り、地面のずれまたは出っ張りおよび同様のものに接近しているときにアラートを送ることができる。環境およびチームの一員のマップオーバーレイを表示するために使用可能にすることができ、アラートが出されるべき付近の信号を検出し、付近にいそうな敵に関するアラートを他のものに伝えることができる。様々な実施形態において、ユーザは、計画を実行するために他のチームの一員と通信するために接眼鏡を使用することができる。さらに、ユーザは、接眼鏡を使用して、暗いトンネルおよび配置されうる他の領域内に配置される敵を検出することができる。
[001110]接眼鏡は、砂漠環境でも使用されうる。訓練、戦闘、サバイバル、偵察、および同様の目的に関して本明細書で述べられている一般的および/または適用可能な用途に加えて、接眼鏡は、砂漠環境などの環境内で遭遇しうる様々な用途のシナリオにおいてさらに使用されうる。例えば、戦闘または訓練に入ったときに、ユーザは、接眼鏡を使用して戦闘、偵察、および訓練中に砂あらしで損なわれた視力を補うことができる。さらに、接眼鏡は、訓練モードに入っているユーザ向けに砂あらしおよび他の砂漠の危険な状況の視程不良をシミュレートすることができる。戦闘時には、接眼鏡は、上で説明されているような様々な手段を通して砂あらしの存在下で敵をユーザが見るか、または探知するのを支援することができる。さらに、ユーザは、潜在的な敵接近のアラートを受けるために車両によって引き起こされる砂煙と風によって生じる砂煙との違いを示すアラートを受け、および/またはそれを見ることができる。
[001111]様々な実施形態において、ユーザは、接眼鏡を使用して、地盤災害および環境災害を検出することができる。例えば、ユーザは、接眼鏡を使用して、砂丘、サンドトラップ、および同様のものの危機を検出することができる。ユーザは、接眼鏡を使用して、砂密度を検出し、地面の穴、がけ、地雷および爆弾などの埋設されたデバイス、および同様のものなどの様々な危険物を検出することもできる。ユーザは、砂漠のマップを提示され、そのような危険物の位置を確認することができる。諸実施形態では、ユーザに対して、日中の高温、夜間の低温、変動する温度、脱水、および同様のものなどの極端な環境条件に曝される危険があるときに自分のバイタルサインを監視し、そのアラートを発生するための手段を提供することができる。そのようなアラートおよび監視は、接眼鏡に表示されるユーザインターフェースでグラフィックによりおよび/またはオーディオ情報を介して提示されうる。
[001112]諸実施形態では、ユーザは、砂漠のマップを提示され、自分のチームの位置を確認することができ、接眼鏡を使用して、付近の信号、または他のものを検出し、マップまたはイヤーピースからのオーディオアラートで表示されうる考えられる敵軍のアラートを得ることができる。このような実施形態では、ユーザは、砂あらし、建物、車両、同様のものにおける自分のチームおよび敵の位置を決定することができる能力を有しうるので敵よりも有利であり得る。ユーザは、自分の位置のマップを見ることができ、これはユーザが最近移動した領域を1つの色で、また新しい領域を別の色で示すことができる。この方法で、または他の手段を通じて、デバイスによりユーザは道に迷うことはなく、および/または適切な方向への移動を続けることができる。諸実施形態では、ユーザは、砂あらしおよび危険な気象をユーザに警告するための気象衛星オーバーレイを提供されうる。
[001113]接眼鏡は、荒野環境でも使用されうる。訓練、戦闘、サバイバル、偵察、および同様の目的に関して本明細書で述べられている一般的および/または適用可能な用途に加えて、接眼鏡は、荒野環境などの環境内で遭遇しうる様々な用途のシナリオにおいてさらに使用されうる。
[001114]例えば、ユーザは、荒野に入る準備をする訓練において接眼鏡を使用することができる。例えば、ユーザは、接眼鏡を使用して様々な程度の荒野環境をシミュレートすることができる。諸実施形態では、ユーザは、危険な動物があたりにいる非常にずっしりした樹木/雑木林に遭遇する可能性があり、他の訓練環境では、敵から身を隠す場所が少ないという問題が生じうる。
[001115]戦闘では、ユーザは、様々な目的に接眼鏡を使用することができる。ユーザは、接眼鏡を使用して、折られたばかりの小枝および枝を検出し、最近敵がいたことを検出することができる。さらに、ユーザは、接眼鏡を使用して、危険ながけ、洞窟、地形の変化、最近移動された/乱されたほこり、および同様のものを検出することができる。例えば、周囲のほこり/葉から異なる密度または熱痕跡を有する場合に検出されうる、または他の手段によって検出されうる最近乱されたほこりの存在を検出することによって、ユーザは、わな、爆弾、または他の危険なデバイスがあるというアラートが受け取ることができる。本明細書で説明されている様々な実施形態において、ユーザは、接眼鏡を使用して、閉鎖環境、反響の影響を受けやすい開放環境、および同様の環境において無音、および/または敵の探知を受けない通信となるようにユーザインターフェースまたは他の手段を介して自分のチームと通信することができる。また、様々な環境において、ユーザは、本明細書で説明されているような暗視を使用して、敵の存在を検出することができる。ユーザは、敵が配置されている可能性のある潜在的に危険な地形および/または状況に遭遇する前に経路をユーザが確認できるように接眼鏡で小道のマップおよび/または山道のマップのオーバーレイを表示することもできる。本明細書で説明されているような様々な環境において、接眼鏡は、潜在的な敵の探知のためユーザの聴力を増幅することもできる。
[001116]諸実施形態では、ユーザは、探索および救助の用途のシナリオにおいて荒野環境内で接眼鏡を使用することができる。例えば、ユーザは、人間の足跡を追跡し、埋められている体を見つけるために、接眼鏡を使用して、土壌/葉の動きを検出し、それが乱されているかどうかを判定することができる。ユーザは、空気ですでに覆われている領域を示すためにタグ付けられている領域のマップを表示し、および/または他のチームの一員が探索して、すでに探されている領域からユーザを探索されていない領域へ導く。さらに、ユーザは、接眼鏡を樹木、雑木林、藪、および同様のものを通して人間および/または動物の検出に対する暗視に使用することができる。さらに、接眼鏡を使用して折られたばかりの小枝の存在を検出することによって、ユーザは、偵察および/または救助任務に入っているときに注目している人物の存在または最近の存在を検出することができるものとしてよい。諸実施形態では、ユーザは、潜在的に危険な地形および/または状況に遭遇する前に経路をユーザが確認できるように接眼鏡で小道のマップおよび/または山道のマップのオーバーレイを表示することもできる。
[001117]さらに他の実施形態では、ユーザは、陸上およびサバイバルタイプの状況で生きてゆくため荒野で接眼鏡を使用することができる。例えば、ユーザは、接眼鏡を使用して、食物を探し求めているときに動物の存在および移動を追跡することができる。さらに、ユーザは、接眼鏡を土壌水分の検出に、また給水の存在および位置を検出するために使用することができる。諸実施形態では、接眼鏡は、潜在的獲物を検出するためにユーザの聴力を増幅することもできる。
[001118]接眼鏡は、トレーラ環境でも使用されうる。訓練、戦闘、サバイバル、偵察、および同様の目的に関して本明細書で述べられている一般的および/または適用可能な用途に加えて、接眼鏡は、北極圏環境などの環境内で遭遇しうる様々な用途のシナリオにおいてさらに使用されうる。例えば、訓練時に、接眼鏡は、北極圏環境においてユーザが遭遇する可能性のある視覚的およびオーディオホワイトアウト条件をシミュレートすることができるので、ユーザがそのようなストレス状況下で行動できるように順応させることができる。さらに、接眼鏡は、極端な寒さに遭遇する場合の様々な条件およびシナリオをシミュレートするプログラムをユーザに提供することができ、プログラムは、ユーザの予測される熱損失に関係するデータを追跡し表示することができる。さらに、プログラムは、そのような熱損失をユーザが受けるような条件をシミュレートするように適応することができる。諸実施形態では、プログラムは、ユーザが、兵器の精度の喪失において出現しうる自分の四肢を適切に制御できなくなる状態をシミュレートすることができる。他の実施形態では、ユーザは、暖かさを求めての雪中の穴堀りなどに関する救命情報および指示、および北極圏条件に関する様々なサバイバルヒントを提供されうる。さらに他の実施形態では、接眼鏡は、例えば北極圏条件および雪と氷のある特定の環境において車両が稼働しているかのように車両が応答するように車両に同期することができる。したがって、車両は、そのようなものとしてユーザに応答することができ、接眼鏡は、ユーザがそのような環境内にいるかのように画像およびオーディオをシミュレートすることもできる。
[001119]諸実施形態では、ユーザは、戦闘で接眼鏡を使用することができる。兵士は、接眼鏡を使用して、ホワイトアウト状態を見通すことができる。ユーザは、兵士が環境内を安全に動き回れるように建物溝、陸上危険物、および同様のものの情報を提供するオーバーレイマップおよび/またはオーディオを引き出すことができるものとしてよい。接眼鏡は、可能な溝、穴または他の危険物、雪に埋まっている物体、および同様のもの示すなど、雪の下の陸塊が変化したときにそのことを知らせるために雪の密度の増減を検出したというアラートをユーザに送ることができる。さらに、見ることが困難である状態では、ユーザは、雪が視界を遮っているかどうかをチームの一員および敵の位置と共に受け取ることができる。接眼鏡は、北極圏環境において動物および個人をユーザに対して表示するために熱痕跡も提示しうる。諸実施形態では、接眼鏡におけるユーザインターフェースは、兵士の生命活動を示し、周囲の極端な環境条件により兵士が危険な状態にある場合にそのアラートを発することができる。さらに、接眼鏡は、トランスミッションのスリップ、ホイールのスピン、および同様の状態に関する車両からのアラートをユーザに送ることによって積雪状態での車両のユーザによる運転を補助することができる。
[001120]接眼鏡は、ジャングル環境でも使用されうる。訓練、戦闘、サバイバル、偵察、および同様の目的に関して本明細書で述べられている一般的および/または適用可能な用途に加えて、接眼鏡は、ジャングル環境などの環境内で遭遇しうる様々な用途のシナリオにおいてさらに使用されうる。例えば、接眼鏡は、訓練で、食べられる植物、毒のあるもの、ユーザを危険にさらす昆虫および動物に関する情報をユーザに提供するために使用されうる。諸実施形態では、接眼鏡は、戦闘に入ったときに環境が注意をそらすものとならないようにジャングルでユーザが遭遇しうる様々な音および環境をシミュレートすることができる。さらに、戦闘に入るか、または実際のジャングル環境に置かれたときに、ユーザに対して、周囲の領域を示し、および/または自分がいた場所および自分が進むべき場所の追跡を補助するためにグラフィカルオーバーレイまたは他のマップを提供することができる。これは、領域内に同盟軍および敵軍がいることを示すアラートをユーザに送ることができ、また移動を感知して潜在的な動物および/または昆虫が近くにいることを示すアラートをユーザに送ることができる。そのようなアラートは、攻撃を回避し、食物を見つけることによってユーザが生き残ることを助けることができる。他の実施形態では、ユーザは、ユーザが食べるのに安全なもの、毒のあるもの、および同様のものを判別するのを助けるためユーザが生き物および/または動物を遭遇した生き物および/または動物と比較することを可能にするグラフィカルオーバーレイの形態のものなどの拡張現実データを提供されうる。特定の生き物がユーザにとって脅威でないことを示す情報を有することによって、ユーザは、ステルスまたは消音モードに入っているときに兵器を配備しなくて済む場合がある。
[001121]接眼鏡は、特殊部隊任務に関連して使用することもできる。訓練、戦闘、サバイバル、偵察、および同様の目的に関して本明細書で述べられている一般的および/または適用可能な用途に加えて、接眼鏡は、特殊部隊任務に関連して遭遇しうる様々な用途のシナリオにおいてさらに使用されうる。諸実施形態では、接眼鏡は、ステルス任務での特定の用途のものであってよい。例えば、ユーザは、それぞれの要員が自分の接眼鏡で見ることができるユーザインターフェースを通じて完全に静かな状態で自分のチームと通信することができる。情報を共有するユーザは、目の動きおよび/またはコントローラデバイスおよび同様のものでユーザインターフェースをナビゲートすることができる。ユーザが指示を出しならびに/またはユーザインターフェースおよび伝達する情報に関する特定のデータをナビゲートするときに、他のユーザも同様にデータを見ることができる。諸実施形態では、様々なユーザが、ユーザインターフェースを介して質問を挿入し、指示するリーダがそれに答えることができるものとしてよい。諸実施形態では、ユーザは、接眼鏡または他のデバイスを通じて話すか、またはすべてのユーザが聞ける他のオーディオを起動することができる。これにより、ユーザは、戦場の様々な位置で、戦闘計画、命令、質問を伝達し、情報を共有し、および同様のことを行うことが可能になり、また探知されることなくそうすることができる。
[001122]諸実施形態では、接眼鏡は、軍の消防活動にも使用できる。例えば、ユーザは、接眼鏡を使用して、消防活動のシナリオのシミュレーションを実行することができる。デバイスでは、拡張現実を使用して、時間の経過と共に建物に広がる火災および構造物の被害をシミュレートすることができ、また他の方法では、実物そっくりのシナリオを再作成することができる。本明細書で述べられているように、訓練プログラムは、ユーザの進捗状況を監視し、ならびに/またはシナリオおよび訓練モジュールをユーザのアクションに基づき変更することができる。諸実施形態では、接眼鏡は、実際の消防活動において使用することができる。接眼鏡は、ユーザが本明細書で説明されているような様々な手段を通じて煙を透かして見ることを可能にしうる。ユーザは、火災に遭っている建物、船舶、航空機、車両、または構造物のレイアウトを表示し、ダウンロードし、または他の何らかの方法でアクセスすることができる。諸実施形態では、ユーザは、チームのそれぞれの要員が配置されている場所を表示する概要マップまたは他のマップを有する。接眼鏡は、消防活動中にユーザ装着または他のデバイスを監視することができる。ユーザは、接眼鏡で自分の酸素供給レベルを確認することができ、またさらに出るべきである場合にそのことについてのアラートを受けることができる。接眼鏡は、火災に出入りする新しい要員を配備し、状況データを更新し、消防隊員に危険が及ぶ可能性がある場合にはそのことのアラートを送るという通知をユーザのデバイスから構造物の外にいる指揮官に送信することができる。ユーザは、自分のバイタルサインを表示させて、過熱状態にあるか、酸素が不足しすぎであるか、および同様の状態を判定することができる。諸実施形態では、接眼鏡は、梁の密度、熱痕跡、および同様のものに基づき梁のひび割れが形成されているかどうかを分析し、建物または他の環境の構造的完全性をユーザに知らせることができる。接眼鏡は、構造的完全性が損なわれている場合に自動的アラートを発することができる。
[001123]諸実施形態では、接眼鏡は、メンテナンス目的にも使用できる。例えば、接眼鏡は、使用される品目が適切に機能しているかの任務前および/または使用チェックリストをユーザに提供することができる。適切なメンテナンスが品目のデータベースに記録されていなかった場合にはオペレータにアラートが送られうる。これは、仮想メンテナンスをおよび/または実施履歴を提供し、ユーザは安全および/または実施のために品目の安全性またはとるべき必要な対策を決定することができる。諸実施形態では、接眼鏡は、兵器の整備およびメンテナンスにおけるユーザの訓練、ならびに新しいおよび/または高度な機器の機械整備工のレッスンのため仮想現実プログラムおよび同様のものを実行するために使用されうる。諸実施形態では、接眼鏡は、兵器、車両、航空機、デバイス、および同様のものなどの様々な品目のメンテナンスおよび/または修理で使用されうる。ユーザは、接眼鏡を使用して、品目の視覚的および/またはオーディオ指示のオーバーレイを表示し、これにより、ユーザはマニュアルを手に持たずにメンテナンスを実行することができる。諸実施形態では、ビデオ、静止画像、3Dおよび/または2D画像、動画、オーディオ、および同様のものが、そのようなメンテナンスに使用されうる。諸実施形態では、ユーザは、取り外すべき部品、追加、交換、修理、強化、および同様の作業を行う順序、方法、および部分が示されるように品目の様々な画像のオーバーレイおよび/またはビデオを表示することができる。諸実施形態では、そのようなメンテナンスプログラムは、仮想現実プログラムまたは他のものであってよい。諸実施形態では、ユーザは、接眼鏡を使用して、修理を支援し、および/またはメンテナンス情報を提供するために、機械もしくはデバイスの機能状態および/または重要な統計量を監視するように機械またはデバイスと接続することができる。諸実施形態では、ユーザは、接眼鏡を使用して、メンテナンス時に次の手順を提案することができ、接眼鏡は、機械を修理することを補助する、そのような手順が機械を損傷させる可能性のあること、次のステップの後に機械が機能する仕方および/または機能するかどうか、ならびに同様のことに関する情報をユーザに送信することができる。諸実施形態では、接眼鏡は、本明細書で言及されているような、または他の何らかの形で軍事環境に適用すべき、または遭遇するようなすべての品目、機械、車両、デバイス、航空機、および同様のもののメンテナンスに使用されうる。
[001124]接眼鏡は、ユーザが話されている言語をそれほど習熟していない環境でも使用できる。例えば、兵士は、接眼鏡および/またはデバイスを使用して自分の周りで話をしている内容のほぼリアルタイムの翻訳にアクセスすることができる。デバイスのイヤーピースを通じて、ユーザは、ユーザに話しかけている人の母国語の翻訳を聴くことができる。さらに、ユーザは、捕虜および/または他の抑留者が行うコメントを記録し、翻訳することができる。諸実施形態では、兵士は、イヤーピース、テキスト画像のユーザの接眼鏡、または他のものを介してフレーズを翻訳するか、またはユーザに翻訳を提供することを可能にするユーザインターフェースを有することができる。諸実施形態では、接眼鏡は、特定の領域内で話されている方言、または近くにいる人々によって話されているものに関する補足情報を熟練言語学者に提供するため言語学者によって使用されうる。諸実施形態では、言語学者は、接眼鏡を使用して、言語サンプルを記録し、さらに比較および/または研究を行うことができる。他の専門家は、接眼鏡を使用して、音声分析結果を用い、抑揚、口調、どもり、および同様のものを監視することによって話し手が怒っている、恥ずかしい思いをしている、嘘をついている、および同様の思いをしているかを判定することができる。これにより、聞き手と話し手が異なる言語を話す場合であっても、ネイティブの聞き手に話し手の意図を伝えることができる。
[001125]諸実施形態では、接眼鏡により、ユーザは、別のユーザのボディランゲージおよび/または顔の表情または他の生体データを解読することができる。例えば、ユーザは、デバイスを使用して、人の瞳孔拡張、瞬目率、声の抑揚、身体の動き、および同様のものを分析し、人が嘘をついているか、敵意を持っているか、ストレスを受けているか、脅威となる可能性があるか、同様の状態であるかを判定することができる。諸実施形態では、接眼鏡は、顔の表情のデータなどを収集して話し手が嘘をついているか、または信頼できない陳述をする可能性があるか、敵意があるか、および同様の状態であるかを検出し、ユーザに警告することもできる。諸実施形態では、接眼鏡は、集団または他の個人とやり取りするときに、非戦闘員または通常の市民または他の個人として偽装しうる潜在的な脅威をもたらす個人に関して警告するアラートをユーザに送ることができる。ユーザアラートは、オーディオおよび/または視覚的なものであってよく、ユーザの接眼鏡内のユーザインターフェースに表示されるか、またはユーザの見る部分に重ねて表示され、および/またはユーザの視線内で調査対象の個人に関連付けられうる。本明細書で説明されているような監視は、ユーザが接眼鏡および/またはデバイスを使用してある距離からデータを収集するときに検出されないかもしくは偽装された、または個別の様式ですぐ近くで実行されるか、または問題の個人の知識および/もしくは同意により実行されうる。
[001126]接眼鏡は、爆弾および他の危険な環境を扱うときも使用されうる。例えば、接眼鏡は、埋設された爆弾があることをユーザおよび/またはチームに知らせることが可能な道路沿い近くの土壌密度の変化のアラートをユーザに送ることができる。諸実施形態では、爆弾または他の爆発物がトレーラ環境および同様の環境で見つかるかどうかを判定するために雪の密度をテストするなどの類似の方法が様々な環境内で使用されうる。諸実施形態では、接眼鏡は、手荷物および/または輸送品目が予測されない密度、または輸送される品目に対する特定の範囲を外れる密度を有する傾向があるかどうかを判定する密度計算を行うことができる。諸実施形態では、接眼鏡は、類似の密度計算を行うことができ、密度が爆発デバイス、他の兵器、および同様のものについて予想される範囲内の密度であると判明した場合にアラートを送ることができる。当業者であれば、爆弾検出は、化学センサを介しても、および/または当技術分野で知られている手段を介して使用され、様々な実施形態において接眼鏡によって使用されうることを理解するであろう。諸実施形態では、接眼鏡は、不発弾の撤去において有用であり得る。ユーザは、拡張現実または他のオーディオおよび/または視覚的オーバーレイを提供され、特定のタイプの存在する爆弾を拡散する方法についての指示を得ることができる。上で説明されているメンテナンスプログラムと同様に、ユーザは、爆弾を拡散するための指示を与えられうる。諸実施形態では、爆弾のタイプが未知である場合、ユーザインターフェースは、ユーザに対して、安全な取り扱いおよび実行可能な次のステップに対する指示を提供することができる。諸実施形態では、ユーザは、付近の潜在的爆弾についてのアラートを受け取ることができ、爆弾領域から安全に逃げる方法、爆弾のある車両から安全に脱出する方法、ユーザが爆弾に近づいても安全な近さ、状況およびユーザの技能レベルに適した指示を介して爆弾を拡散させる方法、および同様の方法などの、状況に安全に対処するための指示を与えられうる。諸実施形態では、接眼鏡は、そのような危険な環境および同様の環境における訓練をユーザに実施させることもできる。
[001127]諸実施形態では、接眼鏡は、生物学的漏出、化学物質漏出、および同様のことなどの他の様々な危険を検出し、危険な状況のアラートをユーザに送ることができる。諸実施形態では、ユーザは、状況を拡散すること、安全に達すること、環境内および/またはそのような条件の下で他人を安全な状態に保つことに関する様々な指示も与えられうる。爆弾の状況は説明されているが、接眼鏡は様々な危険および/または危険な状況において、そのような危険および危険要因が生じたときに保護し、および無効にし、および/または指示ならびに同様のものを与えるために同様に使用されうることが意図されている。
[001128]接眼鏡は、様々な実施形態において一般的な健康増進鍛錬環境において使用されうる。接眼鏡は、ランニング、ハイキング、ウォーキング、および同様の活動において移動したマイル数などの情報をユーザに提供することができる。接眼鏡は、実行した運動の回数、燃焼したカロリー、および同様のものなどの情報をユーザに提供することができる。諸実施形態では、接眼鏡は、特定の運動を正しく実行することに関連する仮想指示をユーザに与えることができ、また必要に応じて、または望ましい場合にユーザに追加の運動を与えることもできる。さらに、接眼鏡は、ユーザインターフェースまたは他のものも備え、特定のプログラムに対する要求条件を満たすように兵士に対して物理的ベンチマークが開示されている。さらに、接眼鏡は、そのような要求条件をユーザが満たすように実行される必要のある運動の量およびタイプに関係するデータを提供することができる。そのような要求条件は、特殊部隊資格認定、基本訓練、および同様のものを対象としてよい。諸実施形態では、ユーザは、ユーザが実際のハードル、障害物、および同様のものをセットアップしないようにするため、練習時に仮想障害物を扱うことができる。
[001129]特定の様々な環境および用途シナリオが本明細書で説明されたが、そのような説明は、制限することを意図されていない。さらに、接眼鏡は、当業者にとって明白な様々な場合において使用されうることが意図されている。また、特定の環境について述べたような接眼鏡の適用可能な用途は、それと共に特に言及されていないとしても、様々な他の環境において適用されうることも意図されている。
[001130]諸実施形態では、ユーザは、secure digital(SD)カード、ミニSDカード、他のメモリに格納され、戦術ネットワークを介してリモートにロードされ、または他の手段によって格納された情報のライブラリにアクセスし、かつ/または他の形でこれを操作することができる。ライブラリを、ユーザの機器の一部とすることができ、かつ/またはリモートにアクセス可能とすることができる。ユーザの機器は、ユーザによって収集された情報格納するDVRまたは他の手段を含むことができ、記録されたデータおよび/またはフィードを、望み通りに他所に伝送することができる。諸実施形態では、ライブラリは、ローカル脅威の画像、脅威としてリストされた様々な人の情報および/または画像、ならびに類似物を含むことができる。脅威のライブラリを、オンボードミニSDカードまたは他の手段に格納することができる。諸実施形態では、脅威のライブラリを、戦術ネットワークを介してリモートにロードすることができる。さらに、諸実施形態では、情報のライブラリは、軍用車両の保守で有用なプログラムおよび他の情報を含むことができ、あるいは、データを、任意の様々な情報または任意のタイプの情報に関するものとすることができる。様々な実施形態で、情報のライブラリを、データが記憶媒体およびユーザのデバイスからまたはこれへ転送されかつ/または送信されるように、デバイスと共に使用することができる。例えば、ユーザがローカル参考人の画像を見ることができるように、データを、ユーザの接眼鏡に、格納されたライブラリから送信することができる。諸実施形態では、データを、兵士の機器内に含まれるライブラリへおよびこれから送信することができ、あるいは、リモートに配置することができ、データを、本明細書で説明されるように様々なデバイスへおよびこれから送信することができる。さらに、データを、本明細書で説明される様々なデバイスと上で説明される様々なライブラリとの間で送信することができる。
[001131]諸実施形態では、軍用シミュレーションおよびトレーニングを使用することができる。例えば、通常はエンターテイメントに使用されるゲーミングシナリオを、戦場シミュレーションおよびトレーニングに適合させ、これに使用することができる。本明細書で説明される接眼鏡などの様々なデバイスを、そのような目的に使用することができる。ニアフィールド通信を、人員にアラートを発行し、危険を提示し、戦略およびシナリオを変更するのに、および、様々な他の通信に、そのようなシミュレーションで使用することができる。命令および/または情報を与える必要がある場合に、そのような情報をポストして、情報を共有することができる。様々なシナリオ、トレーニングモジュール、および類似物を、ユーザの機器上で走行させることができる。そのようなトレーニングの使用を限定するためではなく、例としてのみ、ユーザの接眼鏡は、拡張現実戦闘環境を表示することができる。諸実施形態では、ユーザは、実際に戦闘しているかのように、そのような環境内で行動し、反応することができる。ユーザは、彼のパフォーマンスに応じて前進し、または退行することができる。様々な実施形態では、ユーザのアクションは、彼のパフォーマンスに基づいてフィードバックを提供するために記録されるものとすることができる。諸実施形態では、使用に、彼のパフォーマンスが記録されたかどうかとは独立にフィードバックを与えることができる。諸実施形態では、上で説明されるようにポストされた情報を、パスワード保護しまたは生体的に保護し、かつ/または暗号化することができ、即座に使用可能または特定の期間の後に使用可能とすることができる。電子的な形で格納されたそのような情報を、望まれる可能性があるすべての変更オーダーおよび更新について瞬間的に更新することができる。
[001132]ニアフィールド通信または他の手段を、トレーニング環境でおよび保守に使用して、命令および/または情報を与えることが必要である場合に情報を共有し、ポストすることもできる。例えば、情報を、教室、実験室保守ファシリティ、修理場、および類似物、またはそのようなトレーニングおよび指示が必要なすべての場合に、提示することができる。本明細書で説明される接眼鏡などのユーザのデバイスは、そのような情報の送信および受信を可能にすることができる。情報を、ユーザが特定の領域に出会い、そこに来た後にそのような情報について通知される、拡張現実を介して共有することができる。同様に、本明細書で説明されるように、ニアフィールド通信を、保守で使用することができる。例えば、保守ファシリティで、修理場、修理される品目に関連して、および類似物など、正確に必要な場合に情報をポストすることができる。本開示を限定するためではなくより具体的には、修理指示を、兵士の接眼鏡の使用を用いて、軍用車両のボンネットの下にポストし、可視とすることができる。同様に、様々な指示およびトレーニング情報を、戦闘のトレーニングおよび/または軍用デバイス保守のトレーニングなど、任意の所与のトレーニング状況で様々なユーザと共有することができる。諸実施形態では、上で説明されるようにポストされた情報を、パスワード保護しまたは生体的に保護し、かつ/または暗号化することができ、即座に使用可能または特定の期間の後に使用可能とすることができる。電子的な形で格納されたそのような情報を、望まれる可能性があるすべての変更オーダーおよび更新について瞬間的に更新することができる。
[001133]諸実施形態では、本開示に適用されるアプリケーションを、顔認識またはスパース顔認識(sparse facial recognition)に関するものとすることができる。そのようなスパース顔認識は、参考人を識別する際に可能性を除外するのに1つまたは複数の顔フィーチャを使用することができる。スパース顔認識は、自動妨害マスキング(automatic obstruction masking)と、誤差および角度補正とを有することができる。諸実施形態では、本開示を限定するためではなく例として、本明細書で説明される接眼鏡、フラッシュ、およびデバイスは、スパース顔認識を可能にすることができる。これは、人間の視覚のように働き、一時にすべての画像ベクトルに対してスパース照合を使用することによって、一致しない領域またはプロフィール全体をすばやく除外することができる。これは、偽陽性をほとんど不可能にすることができる。さらに、これは、ベクトル空間を広げ、正確さを高めるために、複数の画像を同時に利用することができる。これは、可用性または動作要件に基づいて複数のデータベースまたは複数のターゲット画像のいずれかを扱うことができる。諸実施形態では、デバイスは、正確さの最小限の低下を伴って、1つまたは複数の特定の明瞭なフィーチャを手動でまたは自動的に識別することができる。例えば、正確さを、様々な範囲のものとすることができ、鼻について少なくとも87.3%、目について93.7%、口およびあごについて98.3%とすることができる。顔再構成を用いるさらなる角度補正を使用することができ、諸実施形態では、顔再構成を用いて45°までの偏角補正を達成することができる。これを、3D画像マッピング技法を用いてさらに質を高めることができる。さらに、妨害領域マスキングおよび置換を使用することができる。諸実施形態では、97.5%および93.5%の妨害領域マスキングおよび置換を、それぞれサングラスおよびスカーフについて達成することができる。諸実施形態では、理想的な入力画像を、640×480とすることができる。ターゲット画像は、長距離のまたは大気の曖昧にするものに起因して入力解像度の10%未満と信頼できる形で一致することができる。さらに、上で注記した特定の距離は、様々な実施形態でより大きくまたはより小さくすることができる。
[001134]様々な実施形態では、本明細書で説明されるデバイスおよび/またはネットワークを、友人および/または味方の識別および/または追跡に適用することができる。諸実施形態では、顔認識を使用して、友人および/または友軍を明確に識別することができる。さらに、リアルタイムネットワーク追跡ならびに/または友軍および敵軍のリアルタイムネットワーク追跡は、ユーザが、彼の味方および/または友軍がどこにいるのかを知ることを可能にすることができる。諸実施形態では、友軍、敵軍、ならびに/または様々なマーカおよび/もしくは手段によって識別される軍の間に視覚的分離範囲があるものとすることができる。さらに、ユーザは、敵をジオロケーションし、的の位置をリアルタイムで共有できるものとすることができる。さらに、友軍の位置を、リアルタイムで共有することもできる。そのような応用に使用されるデバイスは、生体収集眼鏡、本明細書で説明される接眼鏡他のデバイス、および当業者に既知のデバイスとすることができる。
[001135]諸実施形態では、本明細書で説明されるデバイスおよび/またはネットワークを、医療で診断に適用することができる。例えば、そのようなデバイスは、医療関係者がリモート診断を行うことを可能にすることができる。さらに、例えば、フィールドメディック(field medic)が現場に到着した時に、またはリモートに、彼らは、指紋センサなどのデバイスを使用して、兵士の医療履歴、アレルギ、血液型、および他の時間に敏感な医療データを瞬間的に呼び出して、最も効果的な治療を適用することができる。諸実施形態では、そのようなデータを、本明細書で説明される接眼鏡または別のデバイスを介して達成できる兵士の顔認識、虹彩認識、および類似物を介して呼び出すことができる。
[001136]諸実施形態では、ユーザは、本明細書で説明される様々なネットワークおよびデバイスを介して様々なデータを共有することができる。例えば、256ビットAES暗号化されたビデオ無線トランシーバは、ユニットの間でおよび/または車両のコンピュータとビデオを両方向で共有することができる。さらに、潜在的な参考人のデータの生体収集、登録、識別、および検証、参考人の生体データ、ならびに類似物を、ローカルにおよび/または無線ネットワークを介してリモートに共有することができる。さらに、潜在的参考人のそのような識別および検証を、ローカルにおよび/または無線ネットワークを介してリモートに共有されるデータによって達成し、または援助することができる。本明細書で説明される生体システムおよびデバイスの回線は、ネットワークを介してデータを共有することを可能にすることもできる。諸実施形態では、データを、様々なデバイス、個人、車両、位置、ユニット、および類似物と、これから、ならびに/またはこれらの間で共有することができる。諸実施形態で、ユニット間およびユニット内の通信およびデータ共有があるものとすることができる。データを、既存の通信資産、メッシュネットワークもしくは他のネットワーク、256ビット暗号化を用いるミルコン(mil−con)タイプのウルトラワイドバンドトランシーバキャップ(transceiver cap)、ミルコンタイプケーブル、取り外し可能なSDおよび/もしくはマイクロSDメモリカード、ハンビー、PSDS2、無人機、WBOTM、または他のネットワークリレー、戦闘ラジオ、メッシュネットワーク化されたコンピュータ、本明細書で説明される様々なデバイス、バイオフォン3G/4Gネットワーク化されたコンピュータ、デジタル関係書類、戦術作戦本部、指揮所、DCSG−A、BATサーバ、個人および/もしくは個人のグループ、ならびに本明細書で説明される任意の接眼鏡および/またはデバイスおよび/または当業者に既知の接眼鏡および/またはデバイスなどであるがこれに限定されないデバイスを介して、これから、および/またはこれらの間で共有することができる。
[001137]諸実施形態では、本明細書で説明されるデバイスまたは他のデバイスは、分隊および/またはチームリーダによる戦闘チームビューイングのために任意の表面に像を投影するために反転できるビューイングペインを含むことができる。透過性のビューイングペインまたは他のビューイングペインは、チームおよび/または様々な個人とデータを共有するために投影モードで180°または別の量の角度だけ回転することができる。諸実施形態では、単眼および双眼NVGを含むがこれに限定されないデバイスは、使用中のすべてのまたは事実上すべての戦術ラジオとインターフェースすることができ、ユーザが、生ビデオ、S/A、生体データ、および他のデータをリアルタイムまたは他の形で共有することを可能にすることができる。上で注記した双眼鏡および単眼鏡などのデバイスは、自己完結型とすることができるVIS、NIR、および/またはSWIR双眼鏡または単眼鏡とすることができ、戦術ラジオとインターフェースするためのコンパクトで暗号化された無線対応コンピュータと共に、カラーデイ/暗視機能および/またはデジタルディスプレイを含むことができる。様々なデータを、戦闘ラジオ、メッシュネットワーク、および長距離戦術ネットワークを介して、リアルタイムまたは近リアルタイムで共有することができる。さらに、データを、デジタル関係書類に編成することができる。参考人(POI)のデータを、そのPOIレスト(rest)が登録されたか否かにかかわらず、デジタル関係書類に編成することができる。諸実施形態では、共有されるデータを比較し、操作し、類似物を行うことができる。特定のデバイスに言及するが、本明細書で言及されるすべてのデバイスは、本明細書で説明されるようにおよび/または当業者によって認められるように、情報を共有できるものとすることができる。
[001138]諸実施形態では、生体データ、ビデオ、および様々な他のタイプのデータを、様々なデバイス、方法、および手段を介して収集することができる。例えば、指紋および他のデータを、対戦、テロ行為、および/または犯行の現場で武器および他の対象から収集することができる。そのような収集を、ビデオおよび他の手段によって取り込むことができる。ポケットバイオカム、本明細書で説明される、ビルトインスチールビデオカメラを伴うフラッシュ、本明細書で説明される様々な他のデバイス、または他のデバイスは、ビデオを収集し、生体写真データを記録し、監視し、収集し、識別することができる。諸実施形態では、様々なデバイスは、顔、指紋、潜在指紋、潜在掌紋、虹彩、声、ポケットの中身、傷痕、刺青、ならびに他の識別する可視のマークおよび環境データに関係する様々なデータおよび生体データを記録し、収集し、識別し、検証することができる。データを、ジオロケーションし、日付/時刻スタンプすることができる。デバイスは、任意の生体照合ソフトウェアによって照合され、ファイルされるEFTS/EBTS準拠の顕著な画像を取り込むことができる。さらに、ビデオスキャンおよびビルトインまたはリモートの虹彩および顔データベースに対する潜在的な照合を実行することができる。諸実施形態では、様々な生体データを取り込み、かつ/またはデータベースに対して比較することができ、かつ/またはデジタル関係書類に編成することができる。諸実施形態では、結像および検出システムは、生体スキャンを提供することができ、複数の対象の顔追跡および虹彩認識を可能にすることができる。対象は、高速で群集に出入りして移動しつつある場合があり、即座に識別され得、ローカルおよび/またはリモートのストレージおよび/または分析を、そのような画像および/またはデータに対して実行することができる。諸実施形態では、デバイスは、マルチモーダル生体認識を実行することができる。例えば、デバイスは、顔および虹彩、虹彩および潜在指紋、生体データの様々な他の組合せ、および類似物を収集し、識別することができる。さらに、デバイスは、ビデオ、声、歩きぶり、指紋、潜在指紋、掌紋、潜在掌紋、および類似物、ならびに他の区別するマークおよび/または動きを記録することができる。様々な実施形態では、生体データを、最も顕著な画像と手動入力とを使用してファイルすることができ、部分的なデータ取込が可能になる。データを、自動的にジオロケーションし、時刻/日付スタンプし、ローカルにまたはネットワークによって割り当てられるGUIDを用いてデジタル関係書類にファイルすることができる。諸実施形態では、デバイスは、フルライブスキャン(livescan)4指紋スラップおよびロール、指紋スラップおよびロール、掌紋、指先、および指紋を記録することができる。諸実施形態では、オペレータは、現地の軍勢を監督しながら、POIを収集し、オンボードまたはリモートのデータベースを用いて検証することができる。諸実施形態では、デバイスは、ウェブポータルおよび生体対応ウォッチリストデータベースにアクセスすることができ、かつ/またはPOI獲得用の既存の生体事前資格検査(biometric pre−qualification)ソフトウェアを含むことができる。諸実施形態では、セキュアで腐敗しやすい声、ビデオ、およびデータを送信し、受信する、任意の承認された生体照合ソフトウェアによって、バイオメトリックスを照合し、ファイルすることができる。デバイスは、生体コンテンツを統合し、かつ/または他の形で分析することができる。諸実施形態では、生体データを、米国防総省Biometric Authoritativeまたは他のデータベースとの近リアルタイムまたはリアルタイムのデータ通信のために相互参照できる生体標準画像およびデータフォーマットで収集することができる。諸実施形態では、デバイスは、指紋および掌紋、虹彩および顔画像を検出し、分析し、または他の形でこれらに関するアルゴリズムを使用することができる。諸実施形態では、デバイスは、総合的な解決のために、虹彩または潜在指紋を同時に照明することができる。諸実施形態では、デバイスは、不安定な状況で顕著な画像を取り込むのに高速ビデオを使用することができ、直観的な戦術ディスプレイを用いる状況認識のすばやい散布を容易にすることができる。リアルタイム状況認識を、指揮所および/または戦術作戦本部に提供することができる。諸実施形態では、デバイスは、すべての兵士がセンサになり、観察し報告することを可能にすることができる。収集されるデータに、収集の日付、時刻、およびジオロケーションを用いてタグ付けすることができる。さらに、生体画像を、ITL 1−2007を含めてNIST/ISO準拠とすることができる。さらに、諸実施形態では、レーザ測距儀が、生体取込およびターゲティングを支援することができる。脅威のライブラリを、オンボードミニSDカード内に格納し、または戦術ネットワークを介してリモートにロードすることができる。諸実施形態では、デバイスは、バンドトランシーバおよび/またはウルトラワイドバンドトランシーバを有するデバイスの間で、暗号化されたデータを無線で転送することができる。デバイスは、ビルトインデータベースに対してまたは戦場ネットワークを介してセキュアに、潜在的なPOIのオンボード照合を実行することができる。さらに、デバイスは、すべての環境条件で顕著な画像を取り込むのに高速ビデオを使用することができる。生体プロフィールを、数秒以下でアップロードし、ダウンロードし、検索することができる。諸実施形態では、ユーザは、安全な距離で視覚的バイオメトリックスを用いてPOIにジオロケーションするのにデバイスを使用し、顔、虹彩、および類似物に関する頑健なスパース認識アルゴリズムを用いてPOIを明確に識別することができる。諸実施形態では、ユーザは、増強されたターゲット強調表示を有する1つの包括的ディスプレイ上で視覚的バイオメトリックスを合併し、印刷し、POIにアラートを与えずに照合および警告を見ることができる。そのようなディスプレイは、接眼鏡、ハンドヘルドデバイス、および類似物などの様々なデバイス内にあるものとすることができる。
[001139]諸実施形態では、現地人が、規制されたチェックポイントおよび/または車両停止を通過する時に、オペレータは、薄型顔および虹彩バイオメトリックスを使用してウォッチリストからPOIを収集し、登録し、識別し、検証することができる。諸実施形態では、生体収集および識別を、犯行現場で行うことができる。例えば、オペレータは、爆破現場または他の犯行現場ですべての潜在的なPOIから生体データをすばやく収集することができる。過去および将来の犯行現場に対してPOIを比較するために、データを収集し、ジオタグ付けし、デジタル関係書類に格納することができる。さらに、生体データを、家宅捜索中にPOIからリアルタイムで収集することができる。表示されるそのようなデータは、オペレータが、潜在的なPOIを解放し、拘留し、または逮捕するのどれを行うべきかを知ることを可能にする。他の実施形態では、データの薄型収集および識別を、街路環境でまたは他の形で行うことができる。ユーザは、例えば市場を通って移動し、地元住民と同化すると同時に、最小限の視覚的影響を伴って生体データ、ジオロケーションデータ、および/または環境データを収集することができる。さらに、生体データを、死体または負傷者から収集して、彼らがPOIであるかどうかを識別することができる。諸実施形態では、ユーザは、故人もしくは負傷者または他者の顔識別、虹彩識別、指紋識別、可視の識別するマーク、および類似物によって既知のまたは未知のPOIを識別し、そのようなデータを用いてデジタル関係書類を更新された状態に保つことができる。
[001140]諸実施形態では、レーザ測距儀および/または伏角計を使用して、参考人および/または簡易爆発物、関心を持たれている他の品目、ならびに類似物の位置を判定することができる。本明細書で説明される様々なデバイスは、POI、ターゲット、IED、関心を持たれている品目、および類似物のジオロケーションを提供するデジタルコンパス、伏角計、およびレーザ測距儀を含むことができる。POIおよび/または監視を持たれている品目のジオロケーションを、ネットワーク、戦術ネットワークを介して、または他の形で伝送することができ、そのようなデータを、個人の間で共有することができる。諸実施形態では、デバイスは、光学アレイおよびレーザ測距儀が、統制されていない環境内の現場でグループまたは群集の連続的監視と同時に複数のPOIをジオロケーションし、測距することを可能にすることができる。さらに、諸実施形態では、デバイスは、1つまたは複数のターゲットの連続的観察と同時にターゲットを測距しペイントするために、レーザ測距儀およびデシグネータを含むことができる。さらに、諸実施形態では、デバイスは、兵士が身に着ける、ハンドヘルド、または他の形とすることができ、現場で敵を突き止めるために、内蔵レーザ測距儀、デジタルコンパス、伏角計、およびGPS受信機を用いるターゲットジオロケーションを含むことができる。諸実施形態では、デバイスは、兵士の位置および彼の視線の方向を記録し、表示するために、内蔵デジタルコンパス、伏角計、MEMsジャイロ、およびGPS受信機を含むことができる。さらに、様々なデバイスは、内蔵GPS受信機または他のGPS受信機、IMU、3軸デジタルコンパスまたは他のコンパス、レーザ測距儀、ジャイロスコープ、微細電気機械システムベースのジャイロスコープ、位置および方向の正確さのための加速度計および/または伏角計、ならびに類似物を含むことができる。本明細書で説明される様々なデバイスおよび方法は、ユーザが、現場で敵およびPOIを突き止め、ネットワークまたは他の手段を介してそのような情報を友軍と共有することを可能にすることができる。
[001141]諸実施形態では、ユーザを、通信およびジオロケーションと一緒にメッシュネットワーク化しまたはネットワーク化することができる。さらに、各ユーザに、すべてのユーザまたは近くのユーザのポップアップまたは他の位置マップを与えることができる。これは、ユーザに、友軍がどこに配置されているのかの知識を与えることができる。上で説明したように、敵の位置を発見することができる。敵の位置を、追跡し、友軍がどこに配置されているのかの知識をユーザに与えることができる敵のポップアップまたは他の位置マップを用いて提供することができる。友軍および敵の位置を、リアルタイムで共有することができる。ユーザに、そのような位置を描写するマップを与えることができる。友軍、敵、およびその組合せの位置および/または人数のそのようなマップを、ユーザの接眼鏡またはビューイングのための他のデバイス内に表示することができる。
[001142]諸実施形態では、デバイス、方法、およびアプリケーションは、ハンズフリー無線保守および修理の視覚的におよび/またはオーディオの質を高められた指示を可能にすることができる。そのようなアプリケーションは、部品突止めおよび装備のためのRFID感知を含むことができる。例では、ユーザは、拡張現実によって案内される現場修理のデバイスを使用することができる。そのような現場修理を、ハンズフリー無線保守および修理指示によって案内することができる。接眼鏡、プロジェクタ、単眼鏡、および類似物などのデバイスならびに/または本明細書で説明される他のデバイスは、保守手順および修理手順の画像を表示することができる。諸実施形態では、そのような画像は、スチールおよび/またはビデオ、アニメーション、3D、2D、および類似物とすることができる。さらに、ユーザに、そのような手順の声注釈および/またはオーディオ注釈を与えることができる。諸実施形態では、このアプリケーションを、検出されずに働くことが安全考慮事項である強い脅威の環境で使用することができる。拡張現実画像およびビデオを、ユーザが処理しつつある実際の対象または対象のユーザの視野内に投影するか他の形でオーバーレイして、実行すべき手順のビデオ指示、グラフィカル指示、テキスト指示、または他の指示を提供することができる。諸実施形態では、様々な手順のプログラムのライブラリを、有線または無線で、身に着けたコンピュータからまたはリモートのデバイス、データベースおよび/またはサーバ、ならびに類似物からダウンロードし、アクセスすることができる。そのようなプログラムを、実際の保守またはトレーニングのために使用することができる。
[001143]諸実施形態では、本明細書で見られるデバイス、方法、および説明は、在庫追跡システムを提供することができる。諸実施形態では、そのような追跡システムは、2mb/sデータレートを有する1000個を超える同時リンクを処理するために100mまでの距離からのスキャンを可能にする。このシステムは、見る時および/または在庫の付近で、在庫追跡に関する注釈付きオーディオ情報および/または視覚的情報を与えることができる。諸実施形態では、デバイスは、接眼鏡、単眼鏡、双眼鏡、および/または他の本明細書で説明される他のデバイスを含むことができ、在庫追跡は、SWIR、SWIRカラー、および/または暗視技術、身に着ける有線または無線のコンピュータ、無線UWBセキュアタグ、RFIDタグ、ヘルメット/安全帽リーダおよびディスプレイ、ならびに類似物を使用することができる。諸実施形態では、例としてのみ、ユーザは、どの品目を破壊し、どの品目を転送すべきか、破壊しまたは転送すべき品目の量、品目をどこに転送しまたは処分すべきか、および類似物など、在庫に関する視覚的情報および/またはオーディオ情報を受信することができる。さらに、そのような情報は、指示と一緒に当該の品目の視覚的識別を強調表示しまたは他の形で提供することができる。そのような情報を、ユーザの接眼鏡に表示し、品目に投影し、デジタルまたは他のディスプレイまたはモニタに表示し、類似物を行うことができる。当該の品目に、UWBタグおよび/またはRFIDタグを介してタグ付けすることができ、かつ/または、本明細書で説明される様々なデバイスが在庫追跡および管理の必要に応じて情報を提供できるように、拡張現実プログラムを使用して、ユーザに視覚化および/または指示を提供することができる。
[001144]様々な実施形態では、本明細書で説明されるSWIR、SWIRカラー、単眼鏡、暗視機能、身に着ける無線コンピュータ、接眼鏡、および/または本明細書で説明されるデバイスを、消火時に使用することができる。諸実施形態では、ユーザは、煙を通る高められた可視性を有することができ、様々な個人の位置を、ユーザのデバイスによってオーバーレイされたマップまたは他のマップ内でユーザに表示することができ、その結果、ユーザは、消防士および/または他者の位置を知ることができるようになる。デバイスは、すべての消防士の位置のリアルタイムディスプレイを示し、誤認警報をトリガせずに、200℃未満および200℃超の温度を有する領域のホットスポット検出を提供することができる。ファシリティのマップを、デバイスによって提供し、デバイス上に表示し、デバイスから投影し、かつ/または拡張現実もしくは他の手段を介してユーザの高低線内にオーバーレイして、構造および/または環境を通ってユーザを案内するのを助けることができる。
[001145]本明細書で説明されるシステムおよびデバイスを、任務固有の必要および/またはシステムアップグレードに適合させるために、任意のソフトウェアおよび/またはアルゴリズムに構成可能とすることができる。
[001146]図73を参照すると、接眼鏡100は、個人の生体シグネチャ(1つまたは複数)を記録する生体データ取得センサならびに機能を含み、通常の手持ちフラッシュのフォームファクタであるなどの「生体フラッシュ」7300とインターフェースすることができる。生体フラッシュは、生体フラッシュから接眼鏡100への直接の無線接続を介するなど、直接に、または図73に表された実施形態に示されているように、生体フラッシュと無線でインターフェースする中間トランシーバ7302を介し、トランシーバから接眼鏡への有線または無線のインターフェースを介して(例えば、ベルト上など、トランシーバデバイスが身に着けられる場合)、接眼鏡とインターフェースすることができる。他のモバイル生体デバイスが、トランシーバを示さずに図面に示されるが、当業者は、モバイル生体デバイスのいずれをも、トランシーバ7300を介して間接に、接眼鏡100に直接に、接眼鏡100と通信し、または独立に動作するようにされることができることを諒解するであろう。データを、生体フラッシュから接眼鏡メモリに、トランシーバデバイス内のメモリに、生体フラッシュの一部としてのリムーバブルストレージカード7304に、および類似物に転送することができる。生体フラッシュは、本明細書で説明されるように、内蔵カメラおよびディスプレイを含むことができる。諸実施形態では、生体フラッシュを、接眼鏡なしで独立型デバイスとして使用することができ、データは、内部的に格納され、情報は、ディスプレイ上で提供される。この形で、非軍人員は、より簡単にセキュアに生体フラッシュを使用することができる。生体フラッシュは、1メートル、3メートル、10メートル、および類似物の範囲など、あるタイプの生体データの取込の範囲を有することができる。カメラは、モノクローム画像またはカラー画像を提供することができる。諸実施形態では、生体フラッシュは、オンボードまたはリモートの生体照合のために、すばやくジオロケーションし、環境および生体データを監視し、収集することができる、隠された生体データ収集フラッシュカメラを提供することができる。例の使用シナリオでは、兵士を、夜間に監視所に割り当てることができる。この兵士は、上辺は通常のフラッシュライトとしてのみ生体フラッシュを利用することができるが、デバイスによって照明される個人に気付かれない場合に、データ収集および/または生体識別プロセスの一部としてバイオメトリックスを実行しおよび/または取得しつつもある。
[001147]図76を参照すると、360°撮像素子は、画素を任意の所与の領域に集中させ、指定された領域の高解像度画像を届けるために、デジタルフォビエーテッドイメージング(digital foveated imaging)を利用する。360°撮像素子の実施形態は、超高解像度フォビエーテッドビューおよび同時独立10倍光学ズームと共に、連続する360°×40°パノラマFOVを特徴とすることができる。360°撮像素子は、二重5メガ画素センサと、30fpsの結像能力と、100未満の画像獲得時間とを含むことができる。360°撮像素子は、独立に安定化された画像センサを有するジャイロ安定化プラットフォームを含むことができる。360°撮像素子は、コンパクトな光学系設計において減らされた画像処理帯域幅を可能にする、1つだけの移動部分および2つの結像センサを有することができる。360°撮像素子は、低い角度解像度および高速ビデオ処理を特徴とすることもでき、センサ認知不能とすることができる。360°撮像素子を、ファシリティ内で監視設備として、ジャイロ安定化プラットフォームと共に可動車両上で、街灯もしくは電信柱、ロボット、航空機、または永続的監視を可能にする他の位置に取り付けて、使用することができる。複数のユーザが、独立に同時に360°撮像素子によって結像された環境を見ることができる。例えば、360°撮像素子によって取り込まれた像を、戦闘車両内のすべての占有者などのデータのすべての受取人がリアルタイム360°状況認識を有することを可能にするために、接眼鏡内に表示することができる。パノラマ360°撮像素子は、100メートル先の人を認識することができ、フォビエーテッド10倍ズームを使用して、500メートル先のナンバープレートを読むことができる。360°撮像素子は、環境の不断の記録を可能にし、独立の制御可能なフォビエーテッド撮像素子を特徴とする。
[001148]図76Aは、組み立てられた360°撮像素子を示し、図76Bは、360°撮像素子の断面図を示す。360°撮像素子は、取り込むミラー7602、対物レンズ7604、ビームスプリッタ7608、レンズ7610および7612、MEMSミラー7614、パノラマセンサ7618、パノラマ画像レンズ7620、折り畳みミラー7622、フォビエーションセンサ7624、ならびにフォビエーテッド画像レンズ7628を含む。360°撮像素子を用いて収集された像を、ジオロケーションし、時刻および日付をスタンプすることができる。熱イメージングセンサ、NIRセンサ、SWIRセンサ、および類似物など、他のセンサを360°撮像素子に含めることができる。MEMSミラー7614は、高い均一な解像度を可能にする単一視点半球取込システムを使用する独自のミラープリズムである。撮像素子設計は、0.1°未満のスキャニング精度、1%未満のフォビエーテッドひずみ、400lp/mmで50%MTF、および30ミリ秒未満のフォビエーテッド獲得を可能にする。
[001149]360°撮像素子を、TOCまたはデータベースに戻る無線リーチまたは物理的リーチを有するネットワークの一部とすることができる。例えば、ユーザは、360°撮像素子ドライバを有するディスプレイを使用して、無線でまたはミルコンタイプのケーブルなどの有線接続を使用して、360°撮像素子からの像を見ることができる。ディスプレイは、戦闘ラジオまたは本部と共にネットワーク化されたメッシュネットワーク化されたコンピュータとすることができる。DoD正式データベースなどのデータベースからのデータに、リムーバブルメモリストレージカードを使用することによってまたはネットワーク化された接続を介してなど、戦闘ラジオまたはメッシュネットワーク化されたコンピュータによってアクセスすることができる。
[001150]図77を参照すると、多重同時ビューカメラ(multi−coincident view camera)を、結像に使用することができる。多重同時ビューカメラからのフィードを、接眼鏡100または任意の他の適切なディスプレイデバイスに伝送することができる。一実施形態では、多重同時ビューカメラを、完全関節動作式、3つまたは4つの同時ビュー、SWIR/LWIR結像、ならびに、幅広、中、および狭い視野の監視を同時に可能にするターゲット指定システムとすることができ、各センサは、昼間または夜間の動作に関してVGA解像度またはSXVGA解像度である。軽量のジンバル付きセンサアレイは、慣性によって安定化されると同時にジオリファレンス(geo−reference)され、すべての条件でのそのNVG互換レーザポインタ能力と共に、非常に正確なセンサ位置決めおよびターゲット指定を可能にする。その独自の複数同時視野は、可視領域、近赤外線領域、短波長赤外線領域、および長波長赤外線領域での広い領域の監視を可能にする。これは、デジタルコンパス、伏角計、およびGPS受信機からの出力と結合された時に、点−グリッド座標を用いるより正確なターゲット識別および指定のための高解像度狭視野をも可能にする。
[001151]多重同時ビューカメラの一実施形態では、自動化されたPOIまたは複数POI追跡、顔および虹彩認識、オンボード照合、ならびに、ラップトップ、戦闘ラジオ、他のネットワーク化されたデバイス、または他のメッシュネットワーク化されたデバイスとの256ビットAES暗号化されたUWBを介する無線での通信と共に、30°、10°、および1°などの別々の操縦可能な同時視野があるものとすることができる。カメラは、CP、TOC、および生体データベースにネットワーク接続することができ、照り付ける太陽から極端に暗い光までの条件で見る能力を提供するために、3軸ジャイロ安定化、高ダイナミックレンジ、高解像度センサを含むことができる。IDを、即座に行い、ローカルにまたはリモートストレージに格納し、分析することができる。このカメラは、1000m超の距離までのPOIおよび脅威の「見て突き止める」正確なジオロケーション、内蔵1550nm目に安全なレーザ測距儀、ネットワーク化されたGPS、3軸ジャイロ、3軸磁力計、加速度計および伏角計を特徴とし、電子画像画質向上および増補電子安定化は追跡を助け、フルモーション(30fps)カラービデオを録画し、ABIS互換、EBTS互換、EFTS互換、JPEG 2000互換であり、極端な環境での動作に関してMIL−STD 810を満足することができる。このカメラを、孤立生体取込解決策のためのモバイル非協力的生体収集および識別ならびに要衝、チェックポイント、およびファシリティなどでのレーザ測距およびPOIジオロケーションを内蔵するジンバル支持ボールシステムを介して取り付けることができる。マルチモーダル生体認識は、顔および虹彩の収集および識別と、ビデオ、歩きぶり、および他の区別するマークまたは動きの記録とを含む。このカメラは、時刻、日付、および位置を用いて、すべてのPOIおよび収集されたデータにジオロケーションタグ付けする能力を含むことができる。このカメラは、ネットワーク対応ユニットCPおよびTOCへの状況認識のすばやい散布を容易にする。
[001152]多重同時ビューカメラのもう1つの実施形態では、カメラは、同時20°7.5°、および2.5°視野を提供する3つの別々のカラーVGA SWIR光電子モジュールと、超コンパクト構成でのPOIおよびターゲットのピンポイント結像のために広い領域用の1つのLWIR熱光電子モジュールとを特徴とする。3軸ジャイロ安定化、高ダイナミックレンジ、カラーVGA SWIRカメラは、照り付ける太陽から極端に暗い光までの条件でならびに霧、煙、霞を通して「焦点ぼけなしで見る能力を提供する。ジオロケーションは、微細電気機械システム(MEMS)3軸ジャイロスコープならびにGPS受信機および磁力計データを増補する3軸加速度計の内蔵によって得られる。内蔵1840nm目に安全なレーザ測距儀およびターゲットデシグネータ、GPS受信機、ならびにIMUは、3kmまでの距離でのPOIおよび脅威の「見て突き止める」正確なジオロケーションを提供する。カメラは、フルモーション(30fps)カラービデオを表示し、その「カムコーダオンチップ」内に格納し、これを、飛行中のリモートアクセスまたは作戦後レビュー(post−op review)のために、ソリッドステートリムーバブルドライブに格納する。電子画像画質向上および増補電子安定化は、追跡、ジオロケーション測距、ならびにPOIおよびターゲットの指定を助ける。したがって、接眼鏡100は、多重同時ビューカメラからのフィードを表示することによって、脅威の妨げられない「眺め」を提供する。接眼鏡100のある種の実施形態では、接眼鏡100は、センサ像、移動するマップ、およびデータを示す「シースルー」上下回転光電子ディスプレイ機構を用いて、兵士自身の武器の妨げられないビューをも提供する。一実施形態では、上下に回転する光電子ディスプレイ機構は、任意の標準的なMICHまたはPRO−TECHヘルメットのNVGマウントにはまるものとすることができる。
[001153]図77は、レーザ測距儀およびデシグネータ7702、全反射レンズ7704、取付けリング7708、全反射レンズ7710、全反射レンズ7714、反射防止ハニカムリング7718、1280×1024SWIR380〜1600nmセンサ7720、反射防止ハニカムリング7722、1280×1024SWIR380〜1600nmセンサ7724、反射防止ハニカムリング7728、および1280×1024SWIR380〜1600nmセンサ7730を含む多重同時ビューカメラの実施形態を示す。他の実施形態は、追加のTIRレンズ、FLIRセンサ、および類似物を含むことができる。
[001154]図78を参照すると、フライトアイ(flight eye)が示されている。フライトアイからのフィードを、接眼鏡100または任意の他の適切なディスプレイデバイスに伝送することができる。フライトアイは、複数のFOVを有する折り畳まれた撮像素子アレイ内に取り付けられた複数の個々のSWIRセンサを含むことができる。フライトアイは、VGAからSXGA解像度の各センサを用い、昼間または夜間、霧、煙、霞を通して、単一の低空飛行で戦場全体の連続画像を可能にする薄型監視およびターゲット指定システムである。そのモジュラ設計は、アレイの任意の領域での望遠から広角までの結像のための1°から30°までの任意の素子での選択的な固定された解像度変更を可能にする。各SWIR撮像素子の解像度は、1280×1024であり、380〜1600nmから感光する。多重DSPアレイ基板は、すべての像を一緒に「縫い合わせ」、シームレス画像のためにオーバーラップする画素を自動的に減ずる。同時1064nmレーザデシグネータおよび測距儀7802を、任意の撮像素子と同時に、そのFOVを阻止せずに取り付けることができる。
[001155]図106を参照すると、接眼鏡100は、接眼鏡アプリケーション開発環境10604に関連して開発できる接眼鏡のソフトウェア内部アプリケーション7214に関連して動作することができ、接眼鏡100は、接眼鏡の装着者が周囲の環境ならびにソフトウェア内部アプリケーション7214を介して提供される表示画像を見ることを可能にする、シースルーレンズまたは半透明レンズ上に画像を投影するのに適する投影ファシリティを含むことができる。メモリおよびオペレーティングシステム(OS)10624を含むことができるプロセッサは、ソフトウェア内部アプリケーション7214をホスティングし、接眼鏡コマンドおよび制御とソフトウェアアプリケーションとの間のインターフェースを制御し、投影ファシリティを制御し、類似物を行うことができる。
[001156]諸実施形態では、接眼鏡100は、ソフトウェア内部アプリケーション7214をホスティングするマルチメディアコンピューティングファシリティ7212上で走行するオペレーティングシステム10624を含むことができ、内部アプリケーション7214は、サードパーティ7242によって開発され、アップストア10602、3D AR接眼鏡アップストア10610、サードパーティのネットワーク化されたアプリケーションサーバ10612、および類似物などから接眼鏡100にダウンロードのために提供される、ソフトウェアアプリケーションとすることができる。内部アプリケーション7214は、API 10608に関連して、入力デバイス7204、外部デバイス7240、外部コンピューティングファシリティ7232、接眼鏡のコマンドおよび制御10630ファシリティ、および類似物を介してなど、接眼鏡制御プロセスファシリティ10634プロセスと相互作用することができる。内部アプリケーション7214を、インターネット、ローカルエリアネットワーク(LAN)、他の接眼鏡またはモバイルデバイスとのメッシュネットワーク、衛星通信リンク、セルラネットワーク、および類似物などのネットワーク通信接続10622を介して接眼鏡100から使用可能にすることができる。内部アプリケーション7214を、アップストア10602、3D AR接眼鏡アップストア10610、および類似物などのアプリケーションストアを介して購入することができる。接眼鏡100のために特に開発されたソフトウェア内部アプリケーション7214など、内部アプリケーション7214を、3D AR接眼鏡ストア10610を介して提供することができる。
[001157]接眼鏡アプリケーション開発環境10604を、ソフトウェア開発者が新しい接眼鏡アプリケーション(例えば、3Dアプリケーション)を作成し、ベースアプリケーションの新しい3Dアプリケーションバージョンを作成するためにベースアプリケーションを変更し、類似物を行うために使用可能にすることができる。接眼鏡アプリケーション開発環境10604は、完成したアプリケーションが接眼鏡にロードされるか他の形で機能するようにされた後に、接眼鏡上で使用可能な制御スキーム、UIパラメータ、および他の仕様へのアクセスを開発者に与えるように適合された3Dアプリケーション環境を含むことができる。接眼鏡は、完成したアプリケーションと接眼鏡コンピューティングシステムとの間の通信を容易にするように設計されたAPI 10608を含むことができる。アプリケーション開発者は、開発者の開発環境内で、接眼鏡ハードウェアとどのようにして相互作用するのかの詳細にかかわることなく、ある種の機能性を有するアプリケーションの開発に焦点を合わせることができる。APIは、開発者が接眼鏡100上での使用のための3Dアプリケーションを作成するために既存アプリケーションを変更することを、より単純にもする。諸実施形態では、内部アプリケーション7214は、クライアント−サーバ構成、ハイブリッドクライアント−サーバ構成(例えば、内部アプリケーション7214を部分的に接眼鏡100上でローカルに、部分的にアプリケーションサーバ7214上で走行させる)、完全にサーバ上でアプリケーションをホスティングし、サーバからダウンロードし、類似物を行うのに、ネットワーク化されたアプリケーションサーバ10612を利用することができる。ネットワークデータストレージ10614を、アプリケーションサーバ10612、購入されたアプリケーション、および類似物にさらに関連してなど、内部アプリケーション7214に関連して提供することができる。諸実施形態では、内部アプリケーション7214は、内部アプリケーション7214の実行に関連してスポンサー付き広告を提供するため、接眼鏡100のユーザに市場コンテンツを提供するため、および類似物など、スポンサーファシリティ10614、市場10620、および類似物と相互作用することができる。
[001158]諸実施形態では、ソフトウェアおよび/またはアプリケーションを、接眼鏡と共にまたは接眼鏡を補足して使用するために開発することができる。接眼鏡のアプリケーションを、オープンソースプラットフォーム、クローズドソースプラットフォーム、および/またはソフトウェア開発キットを介して開発することができる。接眼鏡のアプリケーションを開発するソフトウェア開発キットおよびそれから開発されたソフトウェアは、オープンソースまたはクローズドソースとすることができる。Android、Apple、他のプラットフォーム、および類似物と互換のアプリケーションを開発することができる。アプリケーションを、接眼鏡に関連するアップストア、独立アップストア、および類似物によって販売し、またはこれらからダウンロードすることができる。
[001159]例えば、接眼鏡の内蔵プロセッサは、少なくとも1つのソフトウェアアプリケーションを走行させ、ユーザに表示するためにコンテンツを処理することができ、内蔵画像光源は、接眼鏡の光学アセンブリにコンテンツを導入することができる。ソフトウェアアプリケーションは、接眼鏡の制御ファシリティおよびセンサファシリティのうちの少なくとも1つとの相互作用を介してユーザに対話型3Dコンテンツを提供することができる。
[001160]諸実施形態では、接眼鏡を様々なアプリケーションに使用することができる。接眼鏡を、消費者アプリケーションに使用することができる。例としてのみ、網羅的なリストを提供するためではなく、接眼鏡を、旅行アプリケーション、教育アプリケーション、ビデオアプリケーション、エクササイズアプリケーション、パーソナルアシスタントアプリケーション、拡張現実アプリケーション、検索アプリケーション、ローカル検索アプリケーション、ナビゲーションアプリケーション、映画アプリケーション、顔認識アプリケーション、場所識別子アプリケーション、人識別子アプリケーション、テキストアプリケーション、インスタントメッセージングアプリケーション、電子メールアプリケーション、しなければならないことアプリケーション、ソーシャルネットワーキングアプリケーション、および類似物に使用し、またはこれと共に使用することができる。ソーシャルネットワーキングアプリケーションは、Facebook、Google+、および類似物などのアプリケーションを含むことができる。諸実施形態では、接眼鏡を、エンタープライズアプリケーションに使用することができる。例えば、網羅的なリストを提供するためではなく、接眼鏡を、請求アプリケーション、カスタマリレーションシップ管理アプリケーション、ビジネスインテリジェンスアプリケーション、ヒューマンリソース管理アプリケーション、フォームオートメーションアプリケーション、オフィスプロダクツアプリケーション、Microsoft Office、および類似物に使用し、またはこれと共に使用することができる。諸実施形態では、接眼鏡を、産業アプリケーションに使用することができる。例としてのみ、網羅的なリストを提供するためではなく、接眼鏡を、先行製品品質計画ソフトウェアアプリケーション、生産部品承認ソフトウェアアプリケーション、統計プロセス制御アプリケーション、プロフェッショナルトレーニングアプリケーション、および類似物に使用し、またはこれと共に使用することができる。
[001161]図107を参照すると、接眼鏡アプリケーション開発環境10604を、アップストア10602、3D AR接眼鏡ストア10610、および類似物に提示できるアプリケーションの開発に使用することができる。接眼鏡アプリケーション開発環境10604は、ユーザインターフェース10702、制御スキーム10704ヘのアクセス、および類似物を含むことができる。例えば、開発者は、選択のために制御スキーム10704にアクセスするためにユーザインターフェース内のメニューおよびダイアログボックスを利用することができ、したがって、アプリケーション開発者は、スキームを選択することができる。開発者は、アプリケーションを全般的に操作するテンプレートスキームを選択できるものとすることができるが、アプリケーション実行のある点でテンプレート機能スキームをオーバーライドできる様々な機能について選択できる個々の制御を有することもできる。開発者は、視野(FOV)インターフェースを介するなど、FOV制御を用いる制御スキームを用いてアプリケーションを開発するのにユーザインターフェース10702を利用できるものとすることもできる。FOVインターフェースは、両方のディスプレイ(各目の)を示すFOVと単一のディスプレイを示すFOVとの間で移動する形を提供することができる。諸実施形態では、API 10610が、どのディスプレイをどのコンテンツに使用すべきかを決定する変換を提供するので、接眼鏡の3Dアプリケーションを、単一ディスプレイビュー内で設計することができるが、開発者は、あるコンテンツのために特定の目のディスプレイを選択できるものとすることができる。諸実施形態では、開発者は、ユーザインターフェース10702を介するなど、各目に何が表示されようとしているのかを手動で選択でき、かつ/または見られるものとすることができる。
[001162]接眼鏡は、図108に示されているようにソフトウェアスタック10800を有することができる。ソフトウェアスタック10800は、頭部装着ハードウェアおよびソフトウェアプラットフォーム層10818、インターフェースAPIラッパートゥープラットフォーム層10814、開発用ライブラリ10812層、アプリケーション層10801、および類似物を有することができる。アプリケーション層10801は、消費者アプリケーション10802、エンタープライズアプリケーション10804、産業アプリケーション10808、および他の同様のアプリケーション10810を含むことができる。さらに、内部アプリケーション7214の実行または開発に関連するハードウェア10820を、ソフトウェアスタック10800に組み込むこともできる。
[001163]諸実施形態では、増補された画像が、周囲の環境に関して焦点が合っていることと、ディスプレイが、環境光および表示されるコンテンツを考慮して適切な輝度にセットされていることとを保証することによって、ユーザ経験を最適化することができる。
[001164]一実施形態では、接眼鏡光学アセンブリは、立体視の形でコンテンツを届ける、目ごとの光電気モジュール、別名ディスプレイを含むことができる。ある種の場合に、立体視は望まれない。諸実施形態では、ある種のコンテンツについて、1つのディスプレイだけをオンに切り替えることができ、あるいは、1つの光電気モジュールだけを光学アセンブリに含めることができる。他の実施形態では、各ディスプレイの輝度を変更することができ、その結果、脳が、より暗いディスプレイを無視するようになる。画像ソースの自動輝度制御は、環境の輝度に基づいて、表示されるコンテンツの輝度を制御することができる。輝度変更のレートは、環境の変化に依存するものとすることができる。輝度変更のレートを、目の順応に一致させることができる。ディスプレイコンテンツを、環境輝度の突然の変化の後のある期間の間に、オフに切り替えることができる。ディスプレイコンテンツを、環境が暗くなるのに伴って暗くすることができる。ディスプレイコンテンツを、環境が明るくなるのに伴って明るくすることができる。
[001165]明るい環境から暗い環境に進む時に、人間の目が暗さに順応するには、ある時間の期間を要する。この時間の期間中に、目は、暗い環境の限られた可視性のみを有する。セキュリティ状況または法の執行の状況など、いくつかの状況では、明るい環境から暗い環境に移動でき、どの活動または対象が暗い環境内にあるのかをすばやく判定できることが重要である。しかし、ある人の目が、暗い環境に完全に順応するには20分までを要する可能性がある。この時間中に、その人の環境の視力は、障害を生じ、これが危険な状況につながる可能性がある。
[001166]いくつかの場合に、フラッシュなどの明るい光を、暗い環境を照明するのに使用することができる。他の場合に、暗い環境に入る前に目が暗い環境に部分的に順応することを可能にするために、暗い環境に入る前に、ある時間の期間の間、人の目を覆うことが可能である。しかし、明るいライトを暗い環境内で使用することができず、暗い環境に入る前に人の目を覆うことが実現可能ではない場合には、明から暗への遷移中に人の視力が障害を生じる時間を減らすために、支援されたビューイングを提供する方法が必要である。
[001167]暗視ゴーグルおよび暗視双眼鏡は、暗い環境の画像の提供に関して周知である。しかし、これらのデバイスは、一定の輝度の画像を提供し、したがって、ユーザの目が暗さに順応することを可能にせず、したがって、これらのデバイスは、暗い環境内で連続的に使用されなければならない。その結果、これらのデバイスは、目が暗さに完全に順応した後に、人が暗い環境で非常によく見ることができるという事実を利用しない。
[001168]米国特許第8094118号は、電力を節約するために周囲の環境の輝度に対応してディスプレイの輝度を調整する方法を提供する。この方法は、ディスプレイの知覚される輝度を対象とし、明るい環境から暗い環境への遷移におけるユーザの目の順応に関するものではない。さらに、この方法は、ユーザが環境を見るのを支援しない。
[001169]したがって、人の目が暗さに順応する期間中に、明るい環境から暗い環境に移動する人を支援する方法の必要が存在する。
[001170]シースルー能力を有する頭部装着ディスプレイは、画像を表示する能力をも提供しながら、ユーザの前のシーンの明瞭なビューを提供し、ユーザは、オーバーレイされる表示画像を伴うシースルービューからなる組み合わされた画像を見る。本開示は、ユーザが明るい環境から暗い環境へ遷移しつつある時に環境の支援されたビューを提供する方法を提供する。この方法は、暗い環境の画像を取り込むことができ、その画像がユーザに表示されるようにするために、取込条件をすばやく調整するのに頭部装着ディスプレイ上のカメラを使用する。表示画像の輝度は、ユーザの目が暗い環境に順応することを可能にするために、漸進的に減らされる。
[001171]図154(書籍、Davison,H.,編「The Eye」、vol.2、London Academic Press、1962年、Pirene,M.H.著、Chapter 5、「Dark Adaptation and Night Vision」のHechtおよびMandelbaumのデータを引用)は、人間の目の通常の暗順応曲線のチャートを示し、陰付きの領域は、対象のグループの80%を表す。このチャートでは、曲線は、明るい光の環境内で時刻0に始まり、即座に暗い環境に進む、特定の時間に観察され得る最低の照度を示し、観察され得る最低の照度は、ある範囲の異なる照度の光のスポットを人に見せ、その人が、暗さの中での異なる時間の後に見ることができるスポットを報告することによって判定される。この曲線からわかるように、人間の目は、経時的に順応し、その結果、約25分の期間にわたって、より低い照度のスポットが、徐々に見えるようになる。図154のチャートに注記されているように、実際には、人間の目の暗順応に寄与する2つの機構がある。目の錐体(明所視とも称する)は、桿体よりすばやく、より明るい条件で順応し、桿体(暗所視とも称する)は、相対的に順応が遅い。その結果、より明るい条件からより暗い条件へ移動する際の順応の時間は、環境がどれほど暗いのかに依存する、時間の実質的な期間を要する。暗順応期間中に、人は盲目に近くなる可能性がある。
[001172]表2に、一般的な照明条件の、ルクスとランベルトとの両方の単位での通常の照度値を示す。屋外照明条件の照度の範囲は、明るい太陽光と月のない雲で覆われた夜との間で9次の大きさにまたがる。照度値は、比較のために屋内照明についても与えられる。
[001173]表2は、ウェブサイトhttp://www.engineeringtoolbox.com/light−level−rooms−d_708.htmlからの照度の通常のレベルを示す。
[001174]表3に、目がより暗い条件に完全に順応する、1つの照明条件から変化する時のブリル単位の知覚される輝度を示す。示された照明条件の変化は、表2からのランベルト単位で与えられる照度値に関係する。表3の最下部で与えられる例は、1ブリルの例示であり、ここで、1ブリルの知覚される輝度は、概ね、晴れた夜に半月によって屋外で提供される輝度すなわち0.000001ランベルトであり、人間の視覚系における知覚される輝度を照明条件の変化に関係付ける式は、米国特許第8094118号で提供され、その式を、参照のために下に式3として与える。
B=λ(L/La)σ 式3
ただし
σ=0.4log10(La)+2.92
λ=102.0208 La 0.336
[001175]表3に示された他の例では、実生活で出会う多くの条件が、照明条件の変化が知覚される暗さをもたらす状況をもたらすことが、簡単にわかる。照明条件の様々な変化およびその変化が初めて発生する時の知覚される輝度を、表3に示す。これらの例の多くで、明るい条件からより暗い条件に初めて移動する時の知覚される輝度は、完全に暗順応した後に半月によって提供される知覚される輝度より十分に低い。日中の光から倉庫または暗い公共区域に移動することは、特に問題があり、目は、新しい照明条件に順応するまでの時間の期間の間に、本質的に盲目になる。本明細書で説明される開示は、明るい条件からより暗い条件への遷移中に、目がより暗い条件に順応しつつある間に、人間を支援する方法を提供する。
[001176]表3に、式3および表2からの照度値を使用して、明るい環境から暗い環境に変化する時の輝度の知覚されるレベルを示す。
[001177]図155に、論文、Spillman L.,Nowlan A.T.,Bernholz C.D.著、「Dark Adaptation in the Presence of Waning Background Luminances」、Journal of the Optical Society of America、Vol 62、No.2、1972年2月からの暗順応の速度に関する測定データを示す。図55は、増分しきい値が、時間に伴って線形に減少する対数背景輝度に対して測定されたことを示す。背景は、3.5分(□)、7分(△)、14分(○)、21分(◇)、および事前露光なしの3.5分(■)のうちに7対数単位にわたって変化した。矢印は、背景消光の時刻を示す。背景輝度なしで記録された通常の暗しきい値(×)は、最も急勾配の背景勾配の曲線にほぼ一致し、変化しなくなった後は省略されている。
[001178]図155のデータは、照明条件が0.325ランベルト(部分的に雲に覆われた昼)から完全な闇に変更される時に、目が暗順応する(より敏感になる)時に、人間の目による照らされたスポットの照度の最低の検出可能レベル(しきい値)が、徐々に減少することの測定されたレートに基づく。図155のチャートに示された異なる曲線は、明から暗への変化が図154に示されているように即座にではなく異なる線形レートで行われた照明条件に関する。このチャートの左側の曲線は、明から暗への変化がすばやく行われる条件の下での暗へのよりすばやい順応を示す。図154に示され、図155に示されたデータによって支持されるように、明から完全な暗へ直接に移動する時の暗順応の通常の時間は、約15分である。図155のデータが示すものは、輝度を、暗順応の時間に関して小さいペナルティだけを伴って14分の期間にわたって線形に変更できることであり、図155のデータは、暗順応の時間が、即座の変化の15分から、14分にわたる傾斜を付けられた変化の19分に増えることを示す。本明細書の開示は、時間に伴って徐々に減る輝度を有する暗い環境の表示画像を提供し、したがって、ユーザが、ユーザの目が暗い環境に順応することを可能にしながら暗い環境の観察可能な画像を与えられる方法を提供する。この方法は、暗い環境の画像を取り込むことができるようにするために、暗い環境にすばやく調節するカメラを使用する。取り込まれた画像は、シースルー頭部装着ディスプレイ上でユーザに提供され、画像の輝度は、経時的に徐々に減らされ、したがって、ユーザの目は、暗順応することができ、ユーザは、シースルー頭部装着ディスプレイのシースルー能力を用いて環境を徐々に見ることができる。
[001179]図156は、シースルー能力を有する頭部装着ディスプレイデバイス15600の図である。頭部装着ディスプレイデバイス15600は、シースルーディスプレイ15602、1つまたは複数のカメラ15604、および電子機器15608を含み、電子機器15608は、プロセッサ、電池、全地球測位センサ(GPS)、方向センサ、データストレージ、無線通信システム、およびユーザインターフェースのうちの1つまたは複数を含むことができる。
[001180]一実施形態では、少なくとも1つのカメラ15604または15610を有する頭部装着ディスプレイデバイス15600が、ユーザの目が暗い環境に順応する時間中にシースルーディスプレイ15602上に暗い環境の画質向上されたビューを提供するのに使用される。カメラ15604または15610は、利得、ISO、解像度、または画素ビニング(pixel binning)などの取込セッティングを、自動露出システムを用いて非常にすばやく自動的に調整することができる。いくつかの実施形態では、カメラ15604または15610のレンズは、暗い環境での改善された画像取込を可能にするために交換可能である。シースルーディスプレイ15602上に表示される画像の輝度を、目の順応および頭部装着ディスプレイデバイス15600に関連付けることができるフォトクロミック材料の任意の変更と一致するように経時的に調整することができる。この形で、高速に変化するフォトクロミック材料は、不要である。数分程度の透明になる遷移時間を有するフォトクロミック材料が、本開示の実施形態によく適する。どの場合でも、環境の表示画像の視野は、拡張現実モード内でインターフェースが簡単な暗い環境の表示を提供するために、頭部装着ディスプレイデバイス15600の視野と一致しなければならない。
[001181]本開示は、ユーザの前のシーンの取り込まれた画像を、経時的にある範囲の輝度を用いて表示することができる、1つまたは複数のカメラ15604または15610を有する頭部装着ディスプレイデバイス15600を提供する。カメラ15604または15610およびこれに関連する自動露出システムは、ユーザの目が順応できるよりもはるかに高速に、通常は1秒以内に、環境の輝度の変化に合わせて調整することができる。一実施形態では、カメラ15604または15610は、ユーザの前のシーンの画像を取り込み、シーンの輝度が明から暗にすばやく変化する時には、シーンの取り込まれた画像が、シースルーディスプレイ15602上でユーザに表示される。表示画像の輝度は、経時的に減らされ、ユーザが、暗い環境に移動した後に即座にシーンの明るい画像を与えられ、輝度が、その後、ユーザの目が環境の暗さに順応することを可能にするレートで経時的に減らされるようになっている。図157は、経時的ユーザに提供される表示画像の輝度のグラフを示し、t1は、環境の輝度が明から暗に変化する時である。環境の画像の取込は、時刻t1またはその前に開始することができる。t1の後に、表示画像の輝度は、ユーザの目が暗い環境に順応する時刻t2まで減らされる。時刻t2の後に、表示画像の輝度は、ユーザがシースルーモードで環境を観察できるレベルで一定に保たれる。本開示の他の実施形態では、時刻t2の後の表示画像の輝度は、0であり、その結果、ユーザは、シースルーモードで暗い環境だけを観察するようになる。本開示のさらなる実施形態では、表示画像の画像コンテンツは、t2の後に、ユーザの前の環境の取り込まれた画像から、他の画像または例えば命令または指示などの拡張現実情報などの情報に変化する。本開示のもう1つの実施形態では、環境が所定のレベルより暗い場合に、環境の表示画像の輝度は、時刻t2の後に維持されるレベルまで減らされ、これによって、暗視機能の1バージョンが提供され、この暗視機能は、環境照明のすばやい変化に応答し、目が手元の作業のために順応するには条件が暗過ぎる時に、より長い期間の暗視機能をも提供する。暗視結像が時刻t2の後に提供される暗さのレベルを、動作モードセッティングでユーザによって選択することができ、環境内でさらなる詳細の検出を必要とする作業は、暗視モード中に環境のより明るい表示画像を提供するセッティングを使用する。
[001182]好ましい実施形態では、環境の表示画像の輝度は、ユーザの目が暗い環境に順応するレート、例えば、図155に示された曲線に対応する、明るい画像から暗い画像または画像なしへの14分の遷移に対応するレートで減らされる。この形で、ユーザは、ユーザの目が暗さに順応する間に環境の画像を一時的に与えられるが、暗い環境に順応する時間は、表示画像なしで順応する時間と比較して、実質的に延ばされない。
[001183]本開示のさらなる実施形態では、カメラ15604または15610のレンズは、改善された暗い明かりの画像取込能力を提供するために、ユーザが暗い環境に入る時に変更される。この場合に、カメラ15604または15610または電子機器15608内の別の光活性検出器は、明るい環境から暗い環境への変化を検出し、環境の輝度は、電子機器15608内の自動露出センサによって、またはカメラ15604または15610内の画像センサからの画素符号値の減少を検出することによって、検出される。カメラ15604または15610のレンズは、集光能力を高めるためまたはカメラ15604もしくは15610が赤外線画像を取り込むことを可能にするために、変更される。例:集光能力を、より小さいF#を有するレンズに変更することによって高めることができる。例:赤外線画像取込は、レンズアセンブリ内の赤外線カットフィルタを除去することによって、焦点を再び定めるためにお互いに対してレンズ要素を移動することによって、またはレンズ要素のうちの1つまたは複数を赤外線レンズ要素に変更することによって、カメラ15604または15610内で使用可能にすることができる。もう1つの実施形態では、カメラ15604または15610内の画像センサを変更して、赤外線画像取込を使用可能にする。
[001184]図158に、本開示の方法の流れ図を示す。ステップ15802では、ユーザが、明るい環境から暗い環境に移動する。カメラ15604(または電子機器15608内の別の光活性検出器)は、ステップ15804で、環境内の照明条件の暗い条件への変化を検出する。ステップ15808では、カメラ15604または15610によって使用される取込条件を、暗い環境での画像取込、具体的にはビデオ画像取込を可能にするために、自動露出システムによって調整する。ステップ15810では、環境の画像を、カメラ15604または15610によって取り込み、第1輝度レベルでシースルーディスプレイ15602上に表示し、表示画像の第1輝度レベルは、環境が明るい照明条件から暗い照明条件へ変化する直前に環境のシースルービューでユーザによって知覚された輝度に近い。その後、ステップ15812で、環境の表示画像の輝度を経時的に下げ、その結果、ユーザの目が、環境の画像を見ながら暗順応できるようにする。輝度の減少は、時間期間にわたって線形または図157に示されているように非線形とすることができる。画像の輝度が減らされる時間の期間は、環境内の照明条件の変化に対応するものとすることができる。環境がどれほどくらいのかに依存して、ステップ15812で、表示画像の輝度を、0まで減らすか、暗視機能のバージョンを提供するために所定のレベルで維持することができる。
[001185]シナリオ例1
[001186]日光(約1.0Lambert)の下で働いている警察官が、ドアを壊して、表2のデータから示されているような多くのレストランにおける暗さ(約0.0035Lambert)に似たいくぶん暗い部屋に入るドアが開くと、警察官は、その暗い部屋は、表3のデータに示されているように上弦/下弦の月によって与えられる照度に比べて0.000007Brilまたは10000X暗いことを認識する。本質的に、警察官は、暗い部屋の中に何かを見ることはできない。図155の曲線に基づき、これは、警察官が0.0035Lambert(0.0035Lamberts=0.54Log milliLamberts)である暗い部屋の中に何かを見ることができるようになるまでに1分かかる。これは、暗い部屋の中にいる人々の目がすでに暗さになれていて警察官を見ることができるので危険な状況である。警察官が本明細書で説明されているようなカメラおよびシースルーディスプレイを備えた頭部装着ディスプレイデバイスを装着している場合、暗い部屋の画像は、警察官の目が暗さになれる期間に約1.5分間警察官に提示されうる。その時間が経過した後、警察官は、シースルーディスプレイを通じて暗い部屋を見ることができる。シースルーディスプレイは、シースルーディスプレイで暗い部屋を見ている間、指示または他の情報を警察官に(拡張現実撮像システムのように)送信するためにそのまま使用することができる。したがって、本開示の頭部装着ディスプレイデバイスは、警察官に対して暗い部屋の中で瞬間的視力を与え、これはカメラの低光量能力によってのみ制限される。
[001187]表示されている画像に提示される視野が警察官の視野の一部と十分に一致し、ビデオ画像が取り込みと表示との間の制限された遅延時間のみでライブである限り、警察官は、表示される画像のみを使用して暗い部屋の中を容易に動き回ることができる。表示される画像の明るさは、警察官の目が暗い部屋になれるにつれて時間と共に減少する。
[001188]カメラは、部分的月光レベルの照明まで下げたビデオ画像を与える高ISOおよびbinnedモードで動作する良好な低光量性能を有するかなり標準的なデジタルカメラであってよい。より暗いレベルまで下げた撮像を行うために赤外線カットフィルタを取り除いたカメラなどの可視+近赤外線撮像機能を有する1つまたは複数の短い波長の赤外線カメラが使用されうる。図154および155に示されているデータで示されているように、非常に暗い条件では、ユーザの目が暗さに完全になれる時点で最大25分間ユーザに画像を与える必要があると思われる。
[001189]シナリオ例2
[001190]明るい家(照度0.025Lambert=0.40 Log milliLambert)の中にいる兵士がドアを開き、満月の夜(照度0.00001Lambert=−2Log milliLambert)外に出る。表3の数値からわかるように、兵士が最初に闇夜に踏み出すときに知覚される暗さは、0.000001Brilの輝度の完全な暗闇であり、これは目が完全になれたときの上弦下弦の月の夜よりも1000000X暗い。図155の曲線は、照度のこの変化について、兵士の目で物体が暗い条件の下で見えるようになるまでに約2分を要することを示している。前の例と同様に、これは、兵士は本質的に2分間盲目の状態にあるので危険な状況となりうる。本開示では、シースルー頭部装着ディスプレイを実現し、これは、環境の画像を取り込み、それを兵士に見せて、盲目状態の期間をなくすものである。この場合、画像の明るさは、3〜4分の期間にわたって減少させることができ、したがって、兵士の目は暗さになれ、その期間の終わりに、兵士は、シースルーモードまたは拡張現実モードで頭部装着ディスプレイを操作することができるようになっている。
[001191]表示視野の上に載る表示される画像により瞬間的可視性が得られる。シースルー表示への遷移は、ユーザの目が暗い状態になれるにつれ表示画像の明るさを徐々に減じることによってなされる。
[001192]この技術は、非常に速く透明に変化しえない、頭部装着ディスプレイデバイスに付随するフォトクロミックレンズを補正するためにも使用されうる。
[001193]代替的実施形態では、ユーザに提示される画像は、単一カメラ15610によって取り込まれる2D画像であってよく、ユーザの目に提示される画像は、立体カメラ15604によって取り込まれる同じまたは3D画像であり、ユーザの目に提示される画像は、シーンの異なるパースペクティブを与える。分割瞳孔を有するレンズを使用するかまたはマイクロレンズアレイを有するレンズを使用して光場撮像を可能にするなどの立体画像を形成するための他の方法も、当業者に知られているように可能である。
[001194]表示画像は、赤色または緑色などの異なる色にチューニングされ、これにより、通常暗視双眼鏡の場合のように目を暗さにより速くならすことができる。
[001195]諸実施形態では、本開示の拡張現実接眼鏡(AR)は、ユーザの目の両眼転導を決定し、および/または補正するように適合される。両眼転導は、各光軸を反対方向に移動して両眼視を得るか、または維持するための垂直軸の周りのユーザの目の同時回転である。人が近くの物体を見るときに、目は各光軸を鼻の方へ内向きに移動するが、これは輻輳と称される複合運動である。遠くの物体を見るために、人の目は各光軸を鼻から遠ざかる方向に外向きに移動するが、これは開散と称される複合運動である。人の目は、人が無限大の点または非常に遠く離れたところを凝視しているときに各光軸が本質的に互いに平行になるまで開散する。両眼転動は、目の調節と連携し、物体が人に相対的に移動するときに人が物体の鮮明な画像を維持することを可能にする。両眼転動補正は、ラベルまたは他の情報などの、仮想画像、つまり、AR画像が実像の近くに置かれるか、または実像に重ねられるか、または物体の仮想画像が物体の実像の上に重ねられ、仮想画像の配置を実像に関して正す状況では重要である。両眼転動補正および/または決定に対する本開示の方法は、本明細書で説明されており、両眼転動法と総称される。
[001196]両眼転動法は、AR接眼鏡のユーザから注目する物体の距離の判定、および両眼転動角度、つまり、ユーザが物体を見つめるときにユーザの目の光軸の交差がなす角度を決定するためにその距離をその後使用することを含みうる。次いで、両眼転動角度は、物体の前、後ろ、または物体に一致する位置にあってよい、物体に関するAR画像の正しい配置を決定するために使用される。例えば、両眼転動法の実施形態の第1の組において、出力信号を有する単一の自動焦点デジタルカメラは、何らかの都合のよい位置、例えば、ブリッジ部分またはつるの一方の近くでAR接眼鏡内に装着される。カメラの出力は、AR接眼鏡内のマイクロプロセッサに送られ、および/またはリモートプロセッサに送信される。いずれの場合も、その自動焦点機能に関係する信号は、ユーザが真っ直ぐ前を見ているときにユーザに見える物体までの距離を判定するために使用される。この距離は、ユーザの目の瞳孔間距離と共に、両眼転動およびそれらの物体に対して望ましいと思われる、仮想画像、例えば、ラベルの正しい配置を決定するために使用される。距離および/または両眼転動角度も、仮想物体がユーザによって適切に観察可能でなければならない焦点のレベルを決定するために使用されうる。適宜、その特定のユーザの両眼転動特性に関する追加情報が入力され、マイクロプロセッサに付随するメモリ内に格納され、両眼転動の決定を調整するために使用されうる。
[001197]両眼転動法の実施形態の第2の組において、カメラから独立している電子距離計は、何らかの都合のよい位置、例えば、ブリッジ部分またはつるの一方の近くでAR接眼鏡内に組み込まれる。これらの実施形態では、電子距離計の出力は、両眼転動法の実施形態の第1の組に関して説明されている自動焦点カメラの出力と同じように使用される。
[001198]両眼転動法の実施形態の第3の組において、AR接眼鏡は、自動焦点カメラおよび/または電子距離計であってよい複数の距離測定デバイスを備える。これらの複数のデバイスはすべて、同じ方向の物体の距離を判定するように位置合わせされうるか、またはデバイスの1つもしくは複数が、様々な物体までの距離に関する情報が取得可能なように他のデバイスと異なる形で位置合わせされうる。これらのデバイスのうちの1つまたは複数からの出力は、両眼転動法の第1の組に関して説明されている自動焦点カメラの出力と同じように入力され分析される。
[001199]両眼転動法の実施形態の第4の組において、1つまたは複数の距離測定デバイスは、上で説明されている方法で使用される。それに加えて、AR接眼鏡は、ユーザの目の一方または両方の移動および/または視線方向を追跡するように構成されている1つまたは複数の視線追跡デバイスを備える。視線追跡デバイスの出力は、AR接眼鏡内のマイクロプロセッサに送られ、またはリモートプロセッサに送信されうる。この出力は、ユーザが見ている方向を決定し、両目からの視線追跡情報が利用可能であるときには、ユーザの目の両眼転動を決定するために使用される。次いで、この方向および、利用可能であれば両眼転動情報は、単独で、または距離測定デバイスから決定された両眼転動情報と併せて使用され、これにより、ユーザが見ていると思われる1つまたは複数の物体に関係する1つまたは複数の仮想画像の配置、および適宜、焦点のレベルを決定する。
[001200]両眼転動法の実施形態の第5の組において、1つまたは複数の距離測定デバイスが、AR接眼鏡のユーザの前方の真っ直ぐの方向から遠ざかる方向に向けられる。距離計デバイスによって検出された物体までの距離は、上で説明されている方法で物体の仮想画像を表示するために使用される。ユーザは、自分が真っ直ぐ前を見ているときに仮想画像を意識している場合もしていない場合もあるけれども、ユーザは、関係する物体の方向に目をやっているときに仮想画像を意識する。
[001201]両眼転動法の実施形態のどれかと共に較正シーケンスが使用されうる。較正シーケンスでは、機械的較正の性質、電子的較正の性質、またはその両方のステップを使用することができる。較正シーケンスにおいて、ユーザの瞳孔間距離が決定されうる。また、ユーザは、一定範囲の現実の、または仮想の距離を有する、例えば、近から遠までの距離を有する一連の現実の、または仮想の物体を見るよう要求されることがあり、両眼転動は、機械的にまたは電子的にまたはその両方で測定される。次いで、この較正シーケンスからの情報は、AR接眼鏡が使用されているときに両眼転動、焦点調節、および/または仮想画像配置の決定で使用されうる。較正シーケンスは、好ましくは、ユーザが最初にAR接眼鏡を身に着けたときに使用されるが、再構成が有益であるとユーザが確信したときにはいつでも使用できる。ユーザを較正シーケンスにおいて得られた情報に相関させる情報は、その特定のユーザがAR接眼鏡に対して自分をそのユーザである、例えば本明細書で説明されている技術のどれかを使用していると識別する場合にいつでも使用するために格納されうる。
[001202]いくつかの距離測定デバイスでは、デバイスのセンサから受け取った情報が空間を表現する直線的なまたは非直線的なグリッド上にマッピングされる距離決定方法を使用することに留意されたい。グリッドの様々なセクタからの情報は相互に比較され、距離を決定する。両眼転動法の実施形態において、生のセンサ情報、マッピング情報、計算された距離、またはこれらの組合せは、1つまたは複数の仮想画像の配置および/または焦点の決定で使用されうる。
[001203]両眼転動法の実施形態は、ユーザの目の一方、またはユーザの目の両方に対する仮想画像の配置を含むことは理解されるであろう。諸実施形態では、1つの仮想画像は、ユーザの左目に送られ、異なる仮想画像が、ユーザの右目に送られる。これにより、例えば、1つまたは複数の仮想画像を一方の目に、照準のため他方の目から情報を収集しながら、送ることが可能である。複数の画像がユーザの前に配置される場合、画像が同じであろうと異なろうと、その配置は同時に行われるか、異なる時間で行われるか、または時間的にインターレースされ、例えば、画像は所定の1つまたは複数のフリッカー率(例えば、30、60、および/または180Hz)で示され、左目に対する画像は右目に対する画像が存在しないときに存在し、右目に対する画像は左目に対する画像が存在しないときに存在する。諸実施形態では、仮想画像は、人の利き目にのみ表示され、他では、仮想画像は、人の利き目でない方の目にのみ表示される。時間的にインターレースされる画像を使用する諸実施形態では、ユーザから様々な距離のところに配置される様々な物体の仮想画像は、上で説明されている方法で表示され、ユーザが一方の物体の実像から別の物体の実像を見たときに、見られる物体の実像に対応する仮想画像のみがユーザの脳によって認識される。例えば、光路内に挿入されたLCOSまたは可変焦点レンズに取り付けられた圧電アクチュエータなど、高速に、例えば、30から60Hzで動作する焦点調節メカニズムを使用することによって、同じ、または異なる仮想画像の1つまたは複数を、ユーザの目の一方または両方のいずれかに対して複数の奥行き平面内に置くことができる。
[001204]諸実施形態では、仮想画像の焦点距離は、仮想画像が所望の距離のところにあるという錯覚をユーザに与えるように調整されうる。そのような調整は、画像がユーザの両目に送られているときに特に有益であり、2つの画像の相対的横位置は、両眼転動に対して調整される。この調整は、例えば、画像表示に対する光路の長さを調整することによって、または1つもしくは複数の可変レンズを使用することによって実行することができ、これは例えば、LCOSパネルを上げ下げすることによって本開示の諸実施形態において行える。
[001205]諸実施形態では、本開示は、広範な知覚された奥行きを異なる目の特性を持つ様々な個人に伝えることができる拡張現実仮想物体または仮想情報と共に奥行き手がかりを与えるための方法を提供する。本開示のこれらの奥行き手がかり方法の実施形態では、個人の2つの目に送られる拡張現実画像の横方向位置決めの差または視差を使用して、奥行きの感覚を伝える仮想物体または仮想情報の両眼転動の差を与える。これらの方法の1つの利点は、拡張現実画像の横方向シフトが、拡張現実画像の異なる部分に対して異なり、知覚された奥行きがこれらの部分に対して異なるという点である。それに加えて、横方向シフトは、拡張現実画像の一部分の画像処理を通じて行うことができる。ユーザは、個人が個人の年齢に関係なく無限大に焦点を合わせることができるくらい近い位置からこの方法を通じて知覚された奥行きの全範囲を体験することができる。
[001206]本開示のこれらの奥行き手がかり方法の実施形態をよく理解するために、拡張現実のいくつかの態様において、ユーザによって見られるようなシーンの視界に関連する仮想物体または仮想情報の画像を追加するために頭部装着ディスプレイが使用されるという点に留意することは有益である。拡張現実の知覚に添加効果を追加するために、シーン内の知覚された奥行きに仮想物体または仮想情報を配置することは有益である。一例として、建物の名前などの仮想ラベルをシーン内の物体に貼ることができる。仮想ラベルと建物との知覚された関連付けは、ラベルと建物とがシーン内で同じ奥行きにあるとユーザによって知覚される場合に強調される。シースルー機能を備える頭部装着ディスプレイは、ユーザに環境の明確な光景を見せるのでラベルおよび物体などの拡張現実情報を提供するのに適している。しかし、拡張現実情報が価値あるものであるためには、環境内の物体に容易に関連付けることができなければならず、そのようなものとして、シースルーの光景内の物体に相対的な拡張現実情報は重要である。拡張現実情報の水平および垂直方向の位置決めは、頭部装着ディスプレイがシースルーの光景に合わせて較正されうるカメラを有している場合に比較的簡単であるが、奥行き位置決めはそれより複雑である。米国特許第6690393号では、3D仮想世界内で2Dラベルを位置決めするための方法を説明している。しかし、この方法は、ユーザが見る画像の大半がデジタル方式で提供されないシースルーの光景の表示を対象とせず、そのようなものとして、物体の3D配置は知られていない。米国特許第7907166号では、テレストレーショングラフィックス(telestration graphics)が動作部位の立体画像上に重ねて表示される立体像ビューアを使用するロボット外科手術システムを説明している。しかし、米国特許第6690393号で説明されている方法と同様、このシステムは、取り込まれた画像を使用し、その後グラフィックスを追加するために操作されるものであり、そのようなものとして、画像の大半がデジタル方式で提供されないシースルー表示で固有の状況を取り扱えず、ユーザが見る物体の相対的位置は、わからない。拡張現実に対する別の従来技術の方法は、ユーザが奥行き手がかりをユーザに与える焦点深度の差を知覚するように仮想物体または仮想情報の焦点を調整するものである。ユーザが、シーン内の物体を見るために、また仮想物体または仮想情報を見るために自分の目の焦点を調節し直さなければならないときに、ユーザは関連する深度を知覚する。しかし、焦点に関連付けられうる深度の範囲は、ユーザの目が行える調節によって制限される。この調節は、特に目が調節範囲の多くを喪失したときに個人が年をとっていると個人によっては制限される場合がある。それに加えて、調節範囲は、ユーザが近視であるか遠視であるかによっても異なる。これらの要因により、焦点手がかりを使用する結果は、異なる年齢および異なる目の特性を有するユーザの大きな集団に対しては信頼できないものとなる。したがって、従来技術で利用可能なものを超えて、奥行き情報を拡張現実に関連付けるための広く使用可能な方法は依然として必要である。
[001207]本開示の奥行き手がかり方法の実施形態のいくつかは、図109から図121に関してこの段落および以下の段落において説明されている。シースルー機能を備える頭部装着ディスプレイは、ユーザの前にシーンの明確な光景を示すが、画像を表示する機能も備え、ユーザは、表示画像が重ねて示されるシースルーの光景からなる組み合わされた画像を見る。この方法は、ユーザの周囲の環境をユーザが解釈するのを補助するためにシースルー表示を使用して3Dラベルおよび他の3D情報を表示することを必要とする。3Dラベルおよび他の3D情報の立体の一対の画像が、ユーザの左目と右目に提示され、これにより、3Dラベルおよび他の3D情報をユーザが知覚するとおりにシーン内の異なる奥行きに位置決めすることができる。この方法で、3Dラベルおよび他の3D情報は、シースルーの光景および周囲の環境に容易に関連付けられうる。
[001208]図109は、シースルー機能を備える頭部装着ディスプレイデバイス109100の図であり、図1に示され、本明細書全体を通して説明されている拡張現実接眼鏡100の特別バージョンである。頭部装着ディスプレイデバイス109100は、シースルーディスプレイ109110、ステレオカメラ109120、電子機器109130、および距離計109140を備えることができる。電子機器は、プロセッサ、電池、全世界測位センサ(GPS)、方向センサ、データストレージ、ワイヤレス通信システム、およびユーザインターフェースのうちの1つまたは複数を備えることができる。
[001209]図110は、シースルーの光景においてユーザが見るようなユーザの前のシーンの図である。シーン内の異なる奥行きにある多数の物体が、説明のため示されている。図111では、シーン内の物体のいくつかが識別され、ラベル付けされている。しかし、ラベルは、ユーザの片方の目にのみラベルを提示することによって、または同時に見たときにラベルが一致するようにそれぞれの目に画像内の同じ位置のラベルを提示することによって2次元(3D)方式で提示される。このタイプのラベル付けでは、ラベルがすべて同じ知覚された奥行きに配置されているように見えるときに特に前景および背景の物体があるときにラベルを物体に関連付けることはより困難である。
[001210]ラベルまたは他の情報を環境の所望の物体または態様に関連付けるのを容易にするために、情報がユーザによって異なる奥行きにあるものとして知覚されるようにラベルまたは他の情報を3次元(3D)ラベルまたは他の3D情報として提示することは有利である。これは、重ねられた画像内の3Dラベルまたは他の3D情報をユーザの両目に提示することによって行うことができ、その際に、重ねられた画像が知覚された奥行きを有するようにシースルー画像上に重ねられる画像間の位置の横方向シフトがある。画像間のこの横方向シフトは、立体撮像における当業者には視差として知られており、これはユーザに、画像を視覚的に位置合わせするために自分の目の相対的視線方向を変えさせ、奥行きの知覚を引き起こす。視差のある画像は、ユーザが見るシーンのシースルーの光景上に重ねられる3Dラベルまたは3D情報の画像である。視差の大きい3Dラベルを用意することによって、ユーザは、立体画像内のラベルを位置合わせしてラベルがユーザの知覚に配置されている知覚を与えるように自分の目の光軸をいくぶん位置合わせしなければならない。小さな視差を有する(または視差のない)3Dラベルは、真っ直ぐ前を見ているユーザの目と視覚的に位置合わせされ、これは、3Dラベルがある距離のところに配置されている知覚を与える。
[001211]図112および113は、図110に示されているシースルーの光景に適用される3Dラベルに対する立体画像対を例示している。図112は、ユーザの左目に示される3Dラベルの画像であり、図113は、ユーザの右目に示される3Dラベルの画像である。それと共に、図112および図113は、画像の立体対を与える。この立体対において、3Dラベルの横方向位置決めは、図112および図113に示されている画像間で異なる。図114は、図112および図113の重ねられた画像を示している。図114をさらにわかりやすくするために、図113の3Dラベルは、灰色で示されており、図112の3Dラベルは、黒色で示されている。図114の前景では、図113の3Dラベルは、比較的大きい視差で図112からの3Dラベルの左に位置決めされている。図114の背景では、図113の3Dラベルは、視差なしで図112からの3Dラベルと一致し、その上に位置決めされている。図114に示されている中景領域において、図112および図113からの3Dラベルは、中間の視差を有する。左目と右目に提示されるような3Dラベルのこの相対的視差は、ユーザが知覚する奥行きに対応する。3Dラベルが関連付けられているシーン内の物体の奥行きと一致する3Dラベルに対する奥行きを選択することによって、ユーザは、3Dラベルとシースルーの光景でユーザが見る環境の物体もしくは他の態様との間のつながりを理解しやすくなる。図115は、視差を示す3Dラベルを有するシーンのシースルーの光景を示している。しかし、日常生活で見た場合、ユーザは、自分の目の視線方向を変えて、3Dラベルをそれぞれの左右の組内で一致させ、ユーザに対して奥行きの知覚を与えるのがこれである。視差の計算は、当業者に知られている。視差および距離を関係付ける式は、式1
Z=Tf/d
で与えられ、
ただし、式中、Zは、ステレオカメラからの物体までの距離であり、Tは、ステレオカメラの間の分離距離であり、fは、カメラレンズの焦点距離であり、dは、シーン内の同じ物体の画像間のカメラセンサ上の視差距離である。視差について解くために項を並べ替えると、式は式2
d=TF/Z
となる。
[001212]例えば、120mmだけ分離され、2.2ミクロンの中心間画素距離を有する画像センサと併せて使用される焦点距離7mmのカメラでは、一方の表示が他方と比較されたときに視覚的標的点がシフトされる画素数で表される視差は、いくつかの代表的な距離(メートル単位)について表1に示されている。
[001213]ときには技術的に、立体画像に対する視差値は、負から正までの範囲内にある数値を使用して記述され、ゼロの視差は観察者が中景にあると知覚する観察者からの選択された距離のところにある物体について定義されることに留意されたい。上述の式は、ゼロ点のこのシフトを説明するように調整されなければならない。視差値がこの方法で説明される場合、近い物体および遠い物体の視差は、大きさについては同じであるが、符号は反対であるものとしてよい。
[001214]図116は、頭部装着ディスプレイデバイス109100上のステレオカメラ109120によって取り込まれた画像の立体の対の図である。これらの画像は、異なるパースペクティブから取り込まれるため、これらは、頭部装着ディスプレイデバイス109100からの距離に対応する視差を有する。図117において、図116からの2つの画像は重ね合わされて、立体の対の画像の間の視差を示す。この視差は、図114および115で物体について示されている3Dラベルに見られる視差と一致する。そのようなものとして、3Dラベルは、関連付けられることが意図されている物体と同じ奥行きに配置されると知覚される。図118は、ユーザによって、左目と右目で見られるシースルーの光景へのオーバーレイとして見られるような3Dラベルの図である。
[001215]図119は、本開示の奥行き手がかり法の実施形態の流れ図である。ステップ119010において、頭部装着ディスプレイデバイス109100内の電子機器109130は、頭部装着ディスプレイデバイス109100用のGPSを使用してGPS位置を決定する。オプションのステップ119020において、電子機器109130は、電子コンパスを使用して視線方向を決定する。これにより、頭部装着ディスプレイデバイス109100のGPS位置を頭部装着ディスプレイデバイス109100内の他の物体のGPS位置のデータベースと比較するか、またはワイヤレス接続を使用して他のデータベースに接続することによって、視野内の物体および付近の物体がユーザの視野に関して配置されるように視線位置および視線方向を決定することができる。ステップ119030において、注目する物体は、電子機器109130でデバイス109100上に格納されているデータベースを分析するか、または別のデバイスと連携してワイヤレス方式で通信することによってユーザの視野に関して識別される。ステップ119040において、注目する物体までの距離は、頭部装着ディスプレイデバイス109100のGPS位置を注目する物体のGPS位置と比較することによって決定される。次いで、注目する物体の名前または他の情報を関係付けるラベルが視差と共に生成され、ステップ119050における注目する物体までの距離に対応するユーザによって知覚される距離のところに3Dラベルをもたらす。図111は、ユーザの視野内の注目する物体に対する名前、距離、および説明を含むラベルの例を示している。ステップ119060において、注目する物体に対する3Dラベルは、3Dラベルを所望の奥行きで与える視差と共にユーザの左目と右目に表示される。
[001216]図120は、本開示の別の奥行き手がかり法の実施形態に対する流れ図であり、図119のステップにおけるものと似たステップに、図119で使用されているのと同じ参照番号を使用して番号を振ってある。ステップ120140において、ユーザの視野に相対的な注目する物体までの距離および方向は、デバイス上の電子機器109130によって、またはワイヤレス方式で接続されている他のデバイスと連携して決定される。ステップ120160において、3Dラベルは、3Dラベルを所望の奥行きで与える視差と共にユーザの左目と右目に表示され、それに加えて、3Dラベルは、注目する物体への方向に対応するユーザの視野の部分に与えられる。図111は、注目する遠くの物体に対するラベルが、ユーザの視野の後方に向かい、また注目する遠くの物体に向かう方向で与えられる一例を示しており、この例ではラベル「10 miles to town this direction」として示されている。この特徴は、ユーザが注目する物体にナビゲートするのを容易にする3D情報内の視覚的手がかりを与える。3Dラベルはシースルーの視野内の他の物体の前に設けることができることに留意されたい。
[001217]図121は、本開示のさらに別の奥行き手がかり法の実施形態の流れ図である。この実施形態では、シーン内の注目する物体までの距離は、距離計などの距離測定デバイス109140で決定される。ステップ121010において、ステレオカメラ109120を使用して頭部装着ディスプレイデバイス109100に隣接するシーンの1つまたは複数の画像が取り込まれる。あるいは、シーンの1つまたは複数の画像を取り込むために、単一のカメラが使用されうる。シーンの1つまたは複数の画像は、異なるスペクトルタイプの画像であってよく、例えば、画像は、可視光線画像、紫外線画像、赤外線画像、またはハイパースペクトル画像であってよい。これらの1つまたは複数の画像は、ステップ121020において分析されて1つまたは複数の注目する物体を識別し、この分析は、電子機器109130によって実行されうるか、または画像は別のデバイスにワイヤレスで送信され分析されうる。ステップ121030において、注目する物体までの距離は、距離測定デバイス109140を使用して決定される。注目する物体の相関距離と相関する視差は、ステップ121040において決定される。ステップ121050において、注目する物体についてラベルまたは他の情報が決定される。ステップ121060において、注目する物体について3Dラベルまたは他の3D情報が表示される。
[001218]図122は、本開示のさらに別の奥行き手がかり法の実施形態の流れ図である。この実施形態では、シーン内の物体までの距離は、ステレオカメラを使用してシーンの奥行きマップを得ることによって直接的に測定される。ステップ122010において、ステレオカメラ109120は、頭部装着ディスプレイデバイス109100に隣接するシーンの1つまたは複数の立体画像の組を取り込むために使用される。シーンの1つまたは複数の立体画像の組は、異なるスペクトル画像タイプであってよく、例えば、立体画像は、可視光線画像、紫外線画像、赤外線画像、またはハイパースペクトル画像であってよい。立体画像の1つまたは複数の組は、ステップ122020において分析されて注目する1つまたは複数の物体を識別し、この分析は、電子機器109130によって実行されうるか、または立体画像の1つまたは複数の組が別のデバイスにワイヤレスで送信され分析されうる。ステップ122030において、立体画像の1つまたは複数の組の中の画像同士が比較され、これにより注目する1つまたは複数の物体に対する視差を決定する。ステップ122040において、注目する1つまたは複数の物体に関係するラベルまたは他の情報が決定される。ステップ122050において、注目する1つまたは複数の物体について3Dラベルおよび/または3D情報が表示される。
[001219]諸実施形態では、本開示は、自動焦点決定ファシリティと連携して動作する内蔵カメラを利用するなど、カメラの焦点距離情報を使用して表示内容の配置を行うことができ、周囲環境内の現実世界の物体までの距離に関係する情報は、自動焦点決定ファシリティから内蔵プロセッサによって抽出され、内蔵プロセッサは、距離に基づき、光学アセンブリの視野内の内容に対する配置の位置を決定する。視野は、2つの別々に制御可能な視野を含むことができ、それぞれユーザの目の一方と位置合わせされ、ユーザは両目で周囲の領域および内容を見ることができ、内容に対する配置の位置は、2つの別々に制御可能な視野のそれぞれに対する配置の位置を含む。内容は、2つの独立した画像を含むことができ、2つの独立した画像は、2つの別々に制御可能な視野のそれぞれに別々に配置され、2つの独立した画像は、2つの別々に制御可能な視野内でユーザに表示されるときに3D画像を形成しうる。配置の位置は、現実世界の物体までの距離と対応する配置の値の表から配置の値を抽出することによって決定されうる。内蔵プロセッサが、配置の位置を計算することができる。
[001220]諸実施形態では、本開示は、周囲の環境内で現実世界の物体までの距離を決定するように動作する、接眼鏡に内蔵されている距離計などによる距離計情報を使用して表示内容の配置を行うことができ、内蔵プロセッサは、距離に基づき、光学アセンブリの視野内の内容に対する配置の位置を決定する。視野は、2つの別々に制御可能な視野を含むことができ、それぞれユーザの目の一方と位置合わせされ、ユーザは両目で周囲の領域および内容を見ることができ、内容に対する配置の位置は、2つの別々に制御可能な視野のそれぞれに対する配置の位置を含む。内容は、2つの独立した画像を含むことができ、2つの独立した画像は、2つの別々に制御可能な視野のそれぞれに別々に配置され、2つの独立した画像は、2つの別々に制御可能な視野内でユーザに表示されるときに3D画像を形成しうる。配置の位置は、現実世界の物体までの距離と対応する配置の値の表から配置の値を抽出することによって決定されうる。内蔵プロセッサが、配置の位置を計算することができる。
[001221]諸実施形態では、本開示は、周囲の環境内で現実世界の物体までの距離を決定するように動作する、複数の内蔵距離判定センサを利用するなど、複数の距離判定センサを使用して内容の配置を表示することができ、組み込みプロセッサは、距離に基づき、光学アセンブリの視野内の内容に対する配置の位置を決定する。視野は、2つの別々に制御可能な視野を含むことができ、それぞれユーザの目の一方と位置合わせされ、ユーザは両目で周囲の領域および内容を見ることができ、内容に対する配置の位置は、2つの別々に制御可能な視野のそれぞれに対する配置の位置を含む。内容は、2つの独立した画像を含むことができ、2つの独立した画像は、2つの別々に制御可能な視野のそれぞれに別々に配置され、2つの独立した画像は、2つの別々に制御可能な視野内でユーザに表示されるときに3D画像を形成しうる。配置の位置は、現実世界の物体までの距離と対応する配置の値の表から配置の値を抽出することによって決定されうる。組み込みプロセッサが、配置の位置を計算することができる。諸実施形態では、複数の内蔵距離判定センサは、カメラセンサ、距離計、および同様のものとすることができる。
[001222]諸実施形態では、本開示は、複数の内蔵センサ(例えば、カメラ、距離計)および接眼鏡の光学アセンブリと併せて組み込まれている視標追跡ファシリティからの視標追跡情報を利用するなど、距離判定センサとユーザ視標追跡との組合せを使用して内容の配置を表示し、視線および物体の位置(例えば、物体とのなす角度、物体までの距離)に関して物体の位置を確定することができる。諸実施形態では、本開示は、ユーザの周辺視野内の画像の位置および配置、較正シーケンスの使用、位置および/または較正を補助するグリッドの使用、異なる距離の画像に対するそれぞれの目に対して画像をインターレースすること、および同様のことなど、光学アセンブリの視野内の内容の配置に関係する他のファシリティを利用することができる。
[001223]諸実施形態では、本開示は、ユーザが装着したときに頭部装着接眼鏡の移動を検出するように適合された内蔵移動検出ファシリティなどを通じて、接眼鏡の移動時に表示内容制御を行うことができ、組み込みプロセッサは、移動のタイプを決定し、移動のタイプに基づき表示される内容の表示を削減する。移動のタイプは、ジッタ、高速移動、および同様のものであってよい。表示の削減は、表示される内容の除去、表示される内容の輝度の低減、表示される内容のコントラストの低減、表示される内容の焦点の変更、および同様のものとすることができる。
[001224]近距離通信(NFC)は、NFCリーダとパッシブNFCデバイスとの間の短距離ワイヤレスデータ交換を可能にするものであり、NFCリーダは、通信の「イニシエータ」として動作し(交換のための電力を供給する)、パッシブNFCデバイスは、「ターゲット」として動作する(NFCリーダのRF場から電力を受け取り、データをリーダに送り返す)。この構成の一例は、衣類タグなどの、タグから識別情報を読み取るNFCリーダデバイスであってよい。NFCは、無線周波識別(RFID)技術とも互換性があることに留意されたい。NFCワイヤレスデータ交換は、2つの電子機器デバイスがNFCリーダを収納し、互いに接近させた場合に双方向になされるものとしてもよい。この構成の例は、情報を交換する2つのNFC対応スマートフォン(例えば、電子ビジネスカードの交換)、NFC対応サービス提供時点(POS)デバイスと情報を交換するNFC対応スマートフォン(例えば、GOOGLE WALLETモバイル決済システムなどによる電子送金を行う)、2つのNFC対応モバイルゲーム機間の情報の交換、および同様のものとすることができる。NFC技術の応用は、電子送金、モバイル決済、ファイル共有、電子ビジネスカード交換、モバイルゲーム、ソーシャルネットワーク接続、チケット購入、搭乗券チェックイン、POS、クーポン収集および/または商品交換、観光ガイドステーションイニシエータ(tour guide station initiator)、IDカード、キーカード、自動車またはホテル用の鍵、および同様のものを含みうる。NFC技術は、約4cm(理論的には約20cm)の実用到達距離を有し、したがって、イニシエータおよびターゲットは、通信が行われるために接近しているべきである。
[001225]一例において、ユーザは、NFC対応スマートフォンにクレジットカード情報を格納することができ、これにより、スマートフォンをPOSデバイスに近づけるだけで小売店のNFC対応POSデバイスに電子マネー決済をすることができる(ここでもまた、GOOGLE WALLETモバイル決済システムで実装されているようなもの)。このようにして、ユーザは、取引を行うために実際のクレジットカードの引き出しを行う必要はなく、クレジットカード情報がNFC接続を通じてPOSデバイスによってスマートフォンから読み出される。しかし、ユーザにとっては、スマートフォンをポケットまたは財布から出して、POSデバイスにかざし、次いで、スマートフォンを再びしまわなければならないという不便さは残る。
[001226]本開示では、ユーザに、データ交換の際に別のNFC対応デバイスにかざすだけで常に便利に利用できる、ユーザが手首に装着するなどの、NFCウォッチデバイスを提供することによってNFC対応のワイヤレスによる取引を使用可能にするためのより便利なソリューションを提供する。本開示では、NFC「ウォッチ」の一実施形態を説明しているけれども、いかなる形でも限定する意図はなく、当業者であれば、ブレスレット、フォブ、リング、および同様のものとして実装されるような、本発明の精神を満たす代替的実装を認めるであろう。NFCウォッチの実施形態は、スタンドアロンのNFCデバイス、NFC中継デバイス、および同様のものを含むものとしてよく、NFC中継デバイスは、NFCターゲットデバイス(例えば、NFC対応POSデバイス)と第2のNFC対応デバイス(例えば、ユーザのスマートフォン)の両方との通信を確立する。例えば、NFCウォッチがスタンドアロンのNFCデバイスとして動作する場合、これは、交換すべき情報(例えば、クレジットカード情報)を格納することができる。NFCウォッチがNFC中継デバイスとして動作する場合、ウォッチは、交換すべき情報を格納せず、むしろ、交換すべき情報は、スマートフォン、モバイルコンピューティングデバイス、パーソナルコンピュータ、および同様のものなどの、NFC中継デバイスが通信する相手である別の電子機器デバイス内に格納される。
[001227]諸実施形態では、NFCウォッチがNFC中継デバイスとして動作している場合、ユーザは、自分のポケットまたは財布にパーソナルデバイス(例えば、スマートフォン)を残したまま、NFCウォッチを他のNFC対応デバイスに近づけてデータ交換を行うだけでよく、NFCウォッチは、他のNFC対応デバイスとユーザのパーソナルデバイスとの間の通信を提供する。例えば、ユーザは、手首にNFCウォッチを装着し、クレジットカード情報を入れたスマートフォンを、ポケットにしまっておくことができる。ユーザは、電子決済のためNFC対応POSデバイスに接近したときに、そこでスマートフォンをしまっておき、NFCウォッチをPOSデバイスに近づけるだけでよく、NFCウォッチが何らかの非近接通信リンク(例えば、Bluetooth(登録商標)、WiFi、および同様のもの)を介してユーザのスマートフォンと通信する。NFCウォッチは、スマートフォンからユーザのクレジットカード情報を読み取り、そのデータをPOSデバイスに転送する。この構成により、ユーザは、スマートフォンを取り出す必要はまったくなく、すべての個人および財務情報をスマートフォンに集中配置して維持しながらNFCウォッチをPOSデバイスに近づけて電子決済をするだけでよい。
[001228]諸実施形態では、図207を参照すると、NFCウォッチ20702は、時刻と日付20708を表示するための時計面20704、機能ボタン20710、時計機能用の埋め込みコントローラ、および同様のものなどの、典型的な腕時計の通常機能を備えることができることがわかる。しかし、それに加えて、NFCウォッチは、NFC対応デバイスとの近距離通信、近くにある電子機器との中距離通信(例えば、Bluetooth(登録商標))、一般的に近くにある電子機器とのより長距離の通信(例えば、WiFi)、および同様のものなどの、通信ファシリティを備えることができる。諸実施形態では、近距離通信用のアンテナ20712A〜Bは、腕時計バンド内のアンテナ20712A(例えば、NFCループアンテナを備える)として、時計本体内のアンテナ20712B(例えば、NFC「スタンプ」アンテナを備える)として、および同様のものとして備えることができる。アンテナ20712Aが腕時計バンド内に配置される場合、ユーザは、データ交換のためにNFCウォッチの腕時計バンド部分をNFC対応ターゲットデバイスに近い位置に動作可能に保持するとよい。アンテナ20712Bが腕時計本体内に配置される場合、ユーザは、データ交換のためにNFCウォッチの時計本体部分をNFC対応ターゲットデバイスに近い位置に動作可能に保持するとよい。諸実施形態では、時計ディスプレイ20704は、電子両替、確認コード、転送用のデータ、および同様のもので使用するクレジットカード番号などの、情報をユーザが入力し、および/または選択することを可能にする制御インターフェース20718を備えることもでき、制御インターフェース20718は、ディスプレイ、制御ボタン、2D制御パッド、タッチスクリーン、および同様のものを備えることができる。
[001229]図208を参照すると、例示的な用途のシナリオは、ユーザ20802がスタンドアロンのNFCデバイスとして動作するNFCウォッチ20702Aを装着することを含むことができ、NFC通信リンク20804Aを通じて購入の決済を行う場合に、NFCウォッチ20702AをNFC対応POSデバイス20084にかざすことがわかる。この場合、NFCウォッチ20702Aは、NFC対応POSデバイス20804と交換すべき決済情報を格納する。諸実施形態では、NFCウォッチ20702Aに格納されている情報は、制御インターフェース20718、コンピューティングファシリティ(例えば、モバイルコンピューティングデバイス、スマートフォン、パーソナルコンピュータ)への有線もしくはワイヤレス接続、ネットワーク接続(例えば、ローカルネットワーク接続、WiFi接続)、および同様のものを通じて手動ですでに入力されている場合がある。
[001230]図209を参照すると、例示的な用途のシナリオは、ユーザ20902がユーザのポケット内のスマートフォン20908とワイヤレス方式で通信20908AしているNFC中継デバイスとして動作するNFCウォッチ20702Bを装着することを含むことができ、データ交換の情報は、ユーザのスマートフォン308内に格納されていることがわかる。NFCウォッチを使用しない場合は、ユーザは、ポケットからスマートフォンを取り出し、データ交換のためNFC対応POSデバイスにかざす必要がある。本発明を使用すると、ユーザ20902は、ポケットにスマートフォン20908を入れたまま、単にNFCウォッチ20702BをNFC対応POSデバイス20804にかざすだけでよく、NFCウォッチ20702Bは、NFC対応POSデバイス20804と通信し20804A、これにより、スマートフォン308とNFC対応POSデバイス20804との間の情報の転送を、NFCウォッチ20702Bによって設定された2つの通信チャネル20804A、20908Aを介して行うことができる。この構成では、スマートフォン20908がNFC対応である必要はなく、スマートフォン20908に必要な唯一の通信リンクは、Bluetooth(登録商標)または同様のものを利用するなど、中距離通信リンク20908Aを介するNFCウォッチ20702Bとの通信リンクである。
[001231]諸実施形態では、NFCウォッチは、パーソナルコンピュータ、モバイルコンピュータ、モバイル通信デバイス、ナビゲーションデバイス、身体装着電子機器デバイス、拡張現実眼鏡、頭部装着電子機器デバイス、ホームエンターテイメントデバイス、ホームセキュリティデバイス、ホームオートメーションデバイス、ローカルネットワーク接続、パーソナルネットワーク接続、および同様のものなどとの非NFC中距離通信リンク(複数可)を介して複数の他の電子機器ファシリティと通信することができる。例えば、NFCウォッチは、内蔵プロセッサからサービスを受ける内容が表示されうるシースルー表示を可能にする光学系を備える接眼鏡などの接眼鏡と通信することができ、接眼鏡の態様は、センサ、カメラ、触覚インターフェース、アクセサリデバイス、および同様のもののうちの1つまたは複数を伴う高度な制御技術を介して制御されうる。諸実施形態では、NFCウォッチは、眼鏡とインターフェースして眼鏡内に取引詳細を提示することができる。眼鏡制御システムは、取引で必要な相互のやり取りのためのインターフェースとして使用されうる。
[001232]諸実施形態では、NFCウォッチは、マイクロコントローラ、メモリ、通信リンクから独立している入出力デバイス(例えば、メモリカード、有線接続)、更新のためのローカルネットワークとのワイヤレス接続、プログラム機能、および同様のものなどのコンピューティングリソースを提供することができる。例えば、NFC中継デバイスは、購入履歴、好ましい品目、個人プロフィール、特売品、クーポンコード、優先カスタマID、懸賞情報、ローヤルティプログラムデータ、および同様のものを格納するメモリを備えることができる。
[001233]本明細書で説明されている方法およびシステム、特に、本発明の拡張現実接眼鏡の様々な実施形態は、電子通信システムまたはネットワークによって、および/またはそれを通じて通信し、通信を受信するように適合されうる。このような電子通信システムおよびネットワークタイプおよび関係するプロトコル、トポロジー、ネットワーク要素などの例として、(1)有線ネットワーク、例えば、(a)ワイドエリアネットワーク(WAN)−ポイントツーポイント(PPP)、ハイレベルデータリンク制御(HDLC)、同期データリンク制御(SDLC)、およびデジタル加入者回線などのプロトコルを使用する専用回線、PPPおよびISDNなどのプロトコルを使用する回線交換、フレームリレー、X.25(OSI以前のスタック)、パケットオーバー同期光ネットワーキング/同期階層(SONET/SDH)、マルチプロトコルラベルスイッチング(MPLS)、交換マルチメガビットデータサービス(SMDS)、Ethernet(登録商標)(例えば、10GB、100GB)などのプロトコルを使用するパケット交換、非同期転送モード(ATM)プロトコルなどのプロトコルを使用するセルリレー、およびルータ、スイッチ、ハブ、およびファイアウォールなどのネットワーク要素を使用するWAN、(b)メトロポリタンエリアネットワーク(MAN)、例えば、ATM、光ファイバー分散ネットワークインターフェース(FDDI)、SMDS、Metro Ethernet(登録商標)、および分散キューデュアルバス(DQDB)を使用するMAN、スター型、バス型、メッシュ型、リング型、およびツリー型などのトポロジーを使用するMAN、およびルータ、スイッチ、ハブ、およびファイアウォールなどのネットワーク要素を使用するMAN、(c)ローカルエリアネットワーク(LAN)、例えば、Ethernet(登録商標)などの高速シリアルインターフェースプロトコル(例えば、Ehternet、Fast、1GB、10GB、および100GB)を使用するLAN、スター型およびツリー型などのトポロジーを使用するLAN、およびルータ、スイッチ、ハブ、およびファイアウォールなどのネットワーク要素を使用するLAN、(d)USBおよびFireWireなどの技術を使用するパーソナルエリアネットワーク(PAN)、(2)ワイヤレスネットワーク、例えば、(a)RTT(CDMA)、EDGE(GSM)、EV−DO(CDMA/TDMA)、Flash−OFDM(Flash−OFDM)、GPRS(GSM)、HSPA DおよびU(UMTS/3GSM)、LTE(3GPP)、UMTS−TDD(UMTS/3GSM)、WIMAX(802.16)、衛星、一般的な3Gおよび一般的な4Gなどのモバイルインターネットなどの標準を使用するワイドエリアネットワーク(WAN)、基地局サブシステム、ネットワークおよびスイッチングサブシステム、GPRSコアネットワークなどのネットワーク要素、運用支援システム、加入者識別モジュール(SIM)、ユニバーサル地上無線アクセスネットワーク(UTRAN)、およびコアネットワークを使用するWAN、およびW−CDMA(UTRA−FDD)−UMTS、ULTRA−TDD HCR−UMTS、TD−SCDMA−UMTS、ユーザ機器インターフェース−UMTS、無線リソース制御(無線リンク制御、媒体アクセス制御)、Umインターフェース(GMSKまたは8PSK変調などの物理層、LAPDmなどのデータリンク層、および無線リソース、モビリティ管理、および呼制御などのネットワーク層を有するGSM(登録商標)用のエアインターフェース)を使用するWAN、(b)WiMAX(802.16)などのプロトコルを使用するメトロポリタンエリアネットワーク(MAN)、アドホックおよびインフラストラクチャなどのモードを有するWiFiなどの技術、SCMA/CAなどのOSI層、およびOFDMおよび拡散スペクトルなどの下位技術を使用するローカルエリアネットワーク(LAN)、およびルータ、スイッチ、ハブ、ファイアウォール、アクセスポイント、基地局などのネットワーク要素を使用し、パーソナルコンピュータ、ラップトップコンピュータ、インターネットプロトコル電話機、携帯電話、およびスマートフォンなどのクライアントを備えるLAN、(c)スター型、ツリー型、メッシュ型などのトポロジー、および(i)Bluetooth(登録商標)(例えば、ロール(マスタ、スレーブ、および同時マスタ/スレーブなど)、プロトコルスタック(コアプロトコル、ケーブル置換プロトコル、電話制御プロトコル、および採用されているプロトコル)、必須プロトコル(リンク管理プロトコル(LMP)、論理リンク制御および適応プロトコル(L2CAP)、サービス発見プロトコル(SDP))、ペアリング方法(レガシーペアリングおよびシンプルセキュアペアリング)、エアインターフェース(ライセンスフリーISM帯域(2.402〜2.480GHz))を使用する)、(ii)赤外線データ協会(IrDA)(例えば、必須プロトコルスタック層(例えば、赤外線物理層規格(IrPHY)、赤外線リンクアクセスプロトコル(IrLAP)、赤外線リンク管理プロトコル(IrLMP))、またはオプションプロトコルスタック層(例えば、簡易トランスポートプロトコル(Tiny TP)、赤外線通信プロトコル(IrCOMM)、オブジェクト交換(OBEX)、赤外線ローカルエリアネットワーク(IrLAN)、IrSimple、およびIrSimpleShot)を使用する)、(iii)ワイヤレスUSB、(iv)Z−Wave (例えば、ソースルーティングメッシュ型ネットワークトポロジー、1つまたは複数のマスタコントローラ制御ルーティングおよびセキュリティ、およびFGSK変調を有する)、(v)ZigBee(登録商標)(例えば、802.15.4において定義されている物理および媒体アクセス制御およびネットワーク層、アプリケーション層、Zigbee(登録商標)デバイスオブジェクト、およびメーカー定義アプリケーションオブジェクトなどのコンポーネントを有し、CSMA/CAを使用する)、(vi)ボディエリアネットワーク、および(vii)Wi−Fiなどの技術を使用するパーソナルエリアネットワーク(PAN)、(3)近距離通信(NFC)、例えば、13.56MHzのピアツーピアネットワークタイプで、ISO/IEC 18000−3エアインターフェースを使用し、データ速度106Kbits/s−424kbits/sで動作し、パッシブおよび/またはアクティブ通信モードを有するものが挙げられる。本明細書で説明されている方法およびシステム、特に、本発明の拡張現実接眼鏡の様々な実施形態は、ポリシー管理、ユーザ管理、プロフィール管理、ビジネスインテリジェンス、事故管理、パフォーマンス管理、企業クラス、マルチプラットフォームサポートモバイルデバイス管理(ソフトウェアおよびSaaSなどの下位態様を含む)、セキュリティ管理(証明書管理(例えば、電子メール、アプリケーション、Wi−Fiアクセス、およびVPNアクセス)、パスワード強制、デバイスワイピング、リモートロック、証跡監査/ログ記録、集中デバイス構成検証、脱獄/ルート化検出、セキュアコンテナ、およびアプリケーションラッピングなどの下位態様を含む)、プラットフォームサポート(例えば、Android、iOS、Blackberry、Symbian、Windowsモバイル、およびWindowsフォン)、コンプライアンス管理、ソフトウェア管理(アプリケーションダウンローダ、アプリケーション検証、アプリケーション更新サポート、アプリケーションパッチサポート、アプリケーションストアサポート(例えば、企業アプリケーションおよびサードパーティアプリケーション)などの下位態様を含む)、およびハードウェア/デバイス管理(例えば、デバイス登録(例えば、所有権、ステージング、登録、ユーザ認証、EULA開発、および制限開発)、外部メモリブロック、および構成変更履歴を含む)などの、モバイルデバイスネットワーク管理システムのあらゆる態様に従うように適合されうる。明細書で説明されている方法およびシステム、特に、本発明の拡張現実接眼鏡の様々な実施形態は、サービスとしてのソフトウェア(SaaS)、サービスとしてのプラットフォーム(PaaS)、および/またはサービスとしてのインフラストラクチャ(IaaS)の特徴を伴うものを含む、任意の種類のプライベート、コミュニティ、またはハイブリッドクラウドコンピューティングネットワークまたはクラウドコンピューティング環境と共に使用するように適合されうる。
[001234]本明細書で説明されている方法およびシステムは、一部または全部が、コンピュータソフトウェア、プログラムコード、および/または命令をプロセッサ上で実行するマシンを通じて配備されうる。プロセッサは、サーバ、クラウドサーバ、クライアント、ネットワークインフラストラクチャ、モバイルコンピューティングプラットフォーム、固定コンピューティングプラットフォーム、または他のコンピューティングプラットフォームの一部とすることができる。プロセッサは、プログラム命令、コード、バイナリ形式命令、および同様のものを実行することができる任意の種類の計算または処理デバイスとすることができる。プロセッサとしては、シグナルプロセッサ、デジタルプロセッサ、組み込みプロセッサ、マイクロプロセッサ、またはコプロセッサ(数値演算コプロセッサ、グラフィックコプロセッサ、通信コプロセッサ、および同様のコプロセッサ)などの変更形態、および格納されているプログラムコードまたはプログラム命令の実行を直接的にまたは間接的に円滑にすることができる同様のものが挙げられる。それに加えて、プロセッサは、複数のプログラム、スレッド、およびコードの実行を可能にするものとしてよい。スレッドは、プロセッサの性能を高め、アプリケーションの同時操作を円滑にするために同時実行されうる。実装により、本明細書で説明されている方法、プログラムコード、プログラム命令、および同様のものは、1つまたは複数のスレッドで実装されうる。スレッドは、これらに関連する優先度を割り当てている可能性のある他のスレッドを生成することができ、プロセッサは、優先度、またはプログラムコードで与えられる命令に基づく他の順序に基づきスレッドを実行することができる。プロセッサは、方法、コード、命令、およびプログラムを本明細書および別のところで説明されているように格納するメモリを備えることができる。プロセッサは、方法、コード、および命令を本明細書および別のところで説明されているように格納することができる記憶媒体にインターフェースを通じてアクセスすることができる。方法、プログラム、コード、プログラム命令、またはコンピューティングまたは処理デバイスによって実行することができる他のタイプの命令を格納するためプロセッサに付随する記憶媒体は、限定はしないが、CD−ROM、DVD、メモリ、ハードディスク、フラッシュドライブ、RAM、ROM、キャッシュ、および同様のもののうちの1つまたは複数を含むことができる。
[001235]プロセッサは、マルチプロセッサの速度および性能を高めることができる1つまたは複数のコアを備えることができる。諸実施形態では、プロセスは、デュアルコアプロセッサ、クワッドコアプロセッサ、他のチップレベルのマルチプロセッサ、および2つまたはそれ以上の独立したコアを組み合わせた同様のもの(ダイと称する)とすることができる。
[001236]本明細書で説明されている方法およびシステムは、一部または全部が、サーバ、クライアント、ファイアウォール、ゲートウェイ、ハブ、ルータ、または他のそのようなコンピュータおよび/またはネットワーキングハードウェア上でコンピュータソフトウェアを実行するマシンを通じて配備されうる。ソフトウェアプログラムは、ファイルサーバ、プリントサーバ、ドメインサーバ、インターネットサーバ、イントラネットサーバ、ならびに二次サーバ、ホストサーバ、分散サーバ、および同様のものなどの他の変更形態を含むことができるサーバに付随するものとしてよい。サーバは、メモリ、プロセッサ、コンピュータ可読媒体、記憶媒体、ポート(物理および論理)、通信デバイス、および他のサーバ、クライアント、マシン、およびデバイスに有線もしくはワイヤレス媒体を通じてアクセスすることができるインターフェース、および同様のもののうちの1つまたは複数を備えることができる。本明細書および別のところで説明されているような方法、プログラム、またはコードは、サーバによって実行されうる。それに加えて、本出願で説明されているような方法の実行に必要な他のデバイスは、サーバに付随するインフラストラクチャの一部とみなせる。
[001237]サーバは、限定はしないが、クライアント、他のサーバ、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ、ソーシャルネットワーク、および同様のものを含む他のデバイスへのインターフェースを備えることができる。それに加えて、この結合および/または接続により、ネットワーク上のプログラムのリモート実行が円滑に行われうる。これらのデバイスの一部または全部のネットワーク接続により、本開示の範囲から逸脱することなく1つまたは複数の場所でプログラムまたは方法を並列処理することが円滑に行える。それに加えて、インターフェースを通じてサーバに取り付けられているデバイスは、方法、プログラム、コード、および/または命令を格納することができる少なくとも1つの記憶媒体を備えることができる。中央リポジトリは、異なるデバイス上で実行されるプログラム命令を備えることができる。この実装では、リモートリポジトリは、プログラムコード、命令、およびプログラムの記憶媒体として働きうる。
[001238]ソフトウェアプログラムは、ファイルクライアント、プリントクライアント、ドメインクライアント、インターネットクライアント、イントラネットクライアント、ならびに二次クライアント、ホストクライアント、分散クライアント、および同様のものなどの他の変更形態を含むことができるクライアントに付随するものとしてよい。クライアントは、メモリ、プロセッサ、コンピュータ可読媒体、記憶媒体、ポート(物理および論理)、通信デバイス、ならびに他のクライアント、サーバ、マシン、およびデバイスに有線もしくはワイヤレス媒体を通じてアクセスすることができるインターフェース、ならびに同様のもののうちの1つまたは複数を備えることができる。本明細書および別のところで説明されているような方法、プログラム、またはコードは、クライアントによって実行されうる。それに加えて、本出願で説明されているような方法の実行に必要な他のデバイスは、クライアントに付随するインフラストラクチャの一部とみなせる。
[001239]クライアントは、限定はしないが、サーバ、クラウドサーバ、他のクライアント、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ、および同様のものを含む他のデバイスへのインターフェースを備えることができる。それに加えて、この結合および/または接続により、ネットワーク上のプログラムのリモート実行が円滑に行われうる。これらのデバイスの一部または全部のネットワーク接続により、本開示の範囲から逸脱することなく1つまたは複数の場所でプログラムまたは方法を並列処理することが円滑に行える。それに加えて、インターフェースを通じてクライアントに取り付けられているデバイスは、方法、プログラム、アプリケーション、コード、および/または命令を格納することができる少なくとも1つの記憶媒体を備えることができる。中央リポジトリは、異なるデバイス上で実行されるプログラム命令を備えることができる。この実装では、リモートリポジトリは、プログラムコード、命令、およびプログラムの記憶媒体として働きうる。
[001240]本明細書で説明されている方法およびシステムは、一部または全部が、ネットワークインフラストラクチャを通じて配備されうる。ネットワークインフラストラクチャは、コンピューティングデバイス、サーバ、クラウドサーバ、ルータ、ハブ、ファイアウォール、クライアント、パーソナルコンピュータ、通信デバイス、ルーティングデバイス、ならびに当技術分野で知られている他のアクティブおよびパッシブデバイス、モジュール、および/またはコンポーネントなどの要素を備えることができる。ネットワークインフラストラクチャに関連付けられているコンピューティングおよび/または非コンピューティングデバイス(複数可)は、他のコンポーネントとは別に、フラッシュメモリ、バッファ、スタック、RAM、ROM、および同様のものなどの記憶媒体を備えることができる。本明細書および別のところで説明されているプロセス、方法、プログラムコード、命令は、ネットワークインフラストラクチャ要素のうちの1つまたは複数によって実行されうる。
[001241]本明細書および別のところで説明されている方法、プログラムコード、および命令は、複数のセルを有するセルラネットワーク上で実装されうる。セルラネットワークは、周波数分割多元接続(FDMA)ネットワークまたは符号分割多元接続(CDMA)ネットワークのいずれかとすることができる。セルラネットワークは、モバイルデバイス、セルサイト、基地局、リピータ、アンテナ、電波塔、および同様のものを備えることができる。セルネットワークは、GSM(登録商標)、GPRS、3G、EVDO、メッシュ型、または他のネットワークタイプとすることができる。
[001242]本明細書および別のところで説明されている方法、プログラムコード、および命令は、モバイルデバイス上に、またはモバイルデバイスを通じて実装されうる。モバイルデバイスとしては、ナビゲーションデバイス、携帯電話、モバイルフォン、携帯情報端末、ラップトップ、パームトップ、ネットブック、ページャ、電子書籍リーダ、音楽プレーヤ、および同様のものが挙げられる。これらのデバイスは、他のコンポーネントとは別に、フラッシュメモリ、バッファ、RAM、ROM、および1つまたは複数のコンピューティングデバイスなどの記憶媒体を備えることができる。モバイルデバイスに付随するコンピューティングデバイスは、格納されているプログラムコード、方法、および命令を実行するように有効化されうる。あるいは、モバイルデバイスは、他のデバイスと連携して命令を実行するように構成されうる。モバイルデバイスは、サーバとインターフェースされ、プログラムコードを実行するように構成された基地局と通信することができる。モバイルデバイスは、ピアツーピアネットワーク、メッシュ型ネットワーク、または他の通信ネットワーク上で通信することができる。プログラムコードは、サーバに付随する記憶媒体に格納され、サーバ内に組み込まれたコンピューティングデバイスによって実行されうる。基地局は、コンピューティングデバイスおよび記憶媒体を備えることができる。ストレージデバイスは、基地局に付随するコンピューティングデバイスによって実行されるプログラムコードおよび命令を格納することができる。
[001243]コンピュータソフトウェア、プログラムコード、および/または命令は、機械可読媒体に格納され、および/またはアクセスすることができ、これはコンピュータコンポーネント、デバイス、および一定の時間間隔で計算するために使用されるデジタルデータを保持する記録媒体、ランダムアクセスメモリ(RAM)と称される半導体ストレージ、典型的には光ディスク、ハードディスク、テープ、ドラム、カード、および他のタイプのような磁気ストレージの形態などのより永久的に記憶するためのマスストレージ、プロセッサレジスタ、キャッシュメモリ、揮発性メモリ、揮発性メモリ、CD、DVDなどの光学式記憶装置、フラッシュメモリ(例えば、USBスティックまたはキー)、フロッピィディスク、磁気テープ、紙テープ、パンチカード、スタンドアロンのRAMディスク、Zipドライブ、取り外し可能マスストレージ、オフライン、および同様のものなどの取り外し可能媒体、ダイナミックメモリ、スタティックメモリ、リード/ライトストレージ、ミュータブルストレージ、リードオンリー、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレッシング可能、ファイルアドレッシング可能、コンテンツアドレッシング可能、ネットワークアタッチトストレージ、ストレージエリアネットワーク、バーコード、磁気インク、および同様のものなどの他のコンピュータメモリを含むことができる。
[001244]本明細書で説明されている方法およびシステムは、物理的および/または無形の品目を一方の状態から他方の状態に変換することができる。本明細書で説明されている方法およびシステムは、物理的および/または無形の品目を表すデータを一方の状態から他方の状態に変換することもできる。
[001245]本明細書で説明され示されている要素は、図全体を通して流れ図およびブロック図を含めて、要素間の論理的境界を示す。しかし、ソフトウェアまたはハードウェアの工学的手法によれば、指示されている要素およびその機能は、モノリシックなソフトウェア構造として、スタンドアロンのソフトウェアモジュールとして、または外部ルーチン、コード、サービスなど、またはこれらの組合せを使用するモジュールとして格納されているプログラム命令を実行することができるプロセッサを有するコンピュータ実行可能媒体を通してマシン上で実装することができ、そのようなすべての実装は、本開示の範囲内にあるものとしてよい。このようなマシンの例として、限定はしないが、携帯情報端末、ラップトップ、パーソナルコンピュータ、携帯電話、他のハンドヘルドコンピューティングデバイス、医療用機器、有線またはワイヤレス通信デバイス、トランスデューサ、チップ、電卓、衛星、タブレットPC、電子書籍、ガジェット、電子デバイス、人工知能を有するデバイス、コンピューティングデバイス、ネットワーク接続機器、サーバ、ルータ、ならびに同様のものが挙げられる。さらに、流れ図およびブロック図に示されている要素または他の論理コンポーネントは、プログラム命令を実行することができるマシン上に実装することができる。したがって、前記の図面および説明は開示されているシステムの機能的態様を述べているが、それらの機能的態様を実装するためのソフトウェアの特定の配置構成は、明示的に述べられているか、他の何らかの形で文脈上明らかであるということがない限り、これらの説明から推論されるべきでない。同様に、上に明記され、説明されている様々なステップは、変更することができ、またステップの順序は、本明細書で開示されている技術の特定の応用に合わせることができることは理解されるであろう。このような変更形態および修正形態はすべて、本開示の範囲内にあることが意図されている。そのようなものとして、様々なステップに対する順序の指示および/または説明は、特定の応用によって要求されていない限り、または明示的に述べられていない限り、または他の何らかの形で文脈上明らかでない限り、これらのステップに対する特定の実行順序を要求すると理解されるべきでない。
[001246]上で説明されている方法および/またはプロセス、およびそのステップは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せで実現されうる。ハードウェアは、汎用コンピュータおよび/または専用コンピューティングデバイスまたは特定のコンピューティングデバイスまたは特定のコンピューティングデバイスの特定の態様もしくはコンポーネントを含みうる。プロセスは、内部および/または外部メモリと共に、1つまたは複数のマイクロプロセッサ、マイクロコントローラ、組み込みマイクロコントローラ、プログラム可能デジタルシグナルプロセッサ、または他のプログラム可能なデバイスで実現されうる。これらのプロセスは、特定用途向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイロジック、または他のデバイスもしくは電子信号を処理するように構成されうるデバイスの組合せでも、またはその代わりに具現化されうる。プロセスの1つまたは複数は、マシン可読媒体上で実行することができるコンピュータとして実現されうることはさらに理解されるであろう。
[001247]コンピュータ実行可能コードは、上記のデバイスのうちの1つ、さらにはプロセッサの異種組合せ、プロセッサアーキテクチャ、または異なるハードウェアとソフトウェアの組合せ、またはプログラム命令を実行することができる他のマシン上で実行されるように格納され、コンパイルされ、解釈されうるCなどの構造化プログラミング言語、C++などのオブジェクト指向プログラミング言語、または他の高水準もしくは低水準プログラミング言語(アセンブリ言語、ハードウェア記述言語、およびデータベースプログラミング言語および技術を含む)を使用して作成することができる。
[001248]したがって、一態様では、上で説明されているそれぞれの方法、およびその組合せは、1つまたは複数のコンピューティングデバイス上で実行したときに、そのステップを実行するコンピュータ実行可能コードで具現化されうる。別の態様では、これらの方法は、そのステップを実行するシステムにおいて具現化され、多数の方法によりデバイス間に分散されうるか、または機能のすべてが、専用のスタンドアロンデバイスまたは他のハードウェアに集積化されうる。別の態様では、上で説明されているプロセスに関連付けられているステップを実行するための手段は、上で説明されているハードウェアおよび/またはソフトウェアのいずれかを含みうる。このようなすべての順列および組合せは、本開示の範囲内にあることが意図されている。
[001249]本開示は、図示され詳細が説明されている好ましい実施形態に関連して開示されているが、その様々な修正形態および改善形態は、当業者には容易に理解されるであろう。したがって、本開示の精神および範囲は、前記の例によって制限されるべきでなく、法律で許容可能な最も広い意味で理解されるべきである。
[001250]本明細書で参照されているすべての文書は、参照により本明細書に組み込まれる。