JP2023103441A - 拡張現実識別検証 - Google Patents

Abstract

【課題】拡張現実環境内の種々の認証技法及び拡張現実システムを提供する。【解決手段】人物と人物によって提示される識別ドキュメントとの間の整合を決定する、拡張現実（ＡＲ）システムによって実行される方法であって、環境の画像を取得することと、１つ以上のフィルタを使用して、画像内の複数の顔の中から第１の顔を検出することと、第１の顔を検出するために使用される技法に類似した技法を使用して、画像内の全ての顔の中から少なくとも第２の顔を検出することと、第１の顔の顔特徴を識別し、顔特徴を使用して、第１の顔を特性評価することと、第２の顔の顔特徴を識別し、第２の顔を特性評価することと、第１の顔に関するベクトルおよび第２の顔に関する別のベクトルを計算し、２つのベクトル間の距離を計算することと、を含む。【選択図】図１３

Description

（関連出願の相互参照）
本願は、２０１６年６月３日に出願された米国仮出願第６２／３４５，４３８号、発明の名称“ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＩＤＥＮＴＩＴＹ ＶＥＲＩＦＩＣＡＴＩＯＮ”に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権の利益を主張するものであり、この開示は、全体的に参照により本明細書中に援用される。

本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、拡張現実環境内の種々の認証技法に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的オブジェクトおよび仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想世界画像要素または実世界画像要素における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

ユーザの環境内のオブジェクト／人々間のリンケージを検出する、またはオブジェクト／人々を認証するための拡張現実システムの種々の実施形態が、開示される。

一実施形態では、ＡＲ環境内のリンケージを検出するための拡張現実（ＡＲ）システムが、開示される。拡張現実システムは、ＡＲシステムの環境をイメージングするように構成される、外向きに面したイメージングシステムと、３次元（３Ｄ）ビュー内の仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ハードウェアプロセッサとを備える。ハードウェアプロセッサは、外向きに面したイメージングシステムを用いて、環境の画像を取得することと、画像内の第１の顔および第２の顔を検出することであって、第１の顔は、環境内の人物の顔であり、第２の顔は、識別ドキュメント上の顔である、ことと、第１の顔と関連付けられた第１の顔特徴に基づいて、第１の顔を認識することと、第２の顔特徴に基づいて、第２の顔を認識することと、第１の顔特徴および第２の顔特徴を分析し、人物と識別ドキュメントとの間のリンケージを検出することと、ＡＲディスプレイに、第１の顔特徴および第２の顔特徴の分析の結果を示す仮想注釈を提示するように命令することとを行うようにプログラムされる。

別の実施形態では、拡張現実環境内のリンケージを検出するための方法が、開示される。本方法は、外向き撮像イメージングシステムおよびハードウェアプロセッサを備える拡張現実デバイスの制御下で実施されることができ、拡張現実デバイスは、仮想コンテンツを拡張現実デバイスの装着者に表示するように構成される。本方法は、環境の画像を取得することと、画像内の人物、第１のドキュメント、および第２のドキュメントを検出することと、少なくとも部分的に、第１のドキュメントの画像の分析に基づいて、第１の個人情報を抽出することと、第２のドキュメントと関連付けられた第２の個人情報にアクセスすることと、少なくとも部分的に、人物の画像の分析に基づいて、人物の第３の個人情報を抽出することであって、第１の個人情報、第２の個人情報、および第３の個人情報は、同一カテゴリ内にある、ことと、第１の個人情報、第２の個人情報、および第３の個人情報間の整合の可能性を決定することと、整合の可能性が閾値条件を超えることの決定に応答して、第１のドキュメント、第２のドキュメント、および人物間のリンケージを表示することとを含むことができる。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを意図するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ＡＲ環境内のリンケージを検出するための拡張現実（ＡＲ）システムであって、前記拡張現実は、
前記ＡＲシステムの環境をイメージングするように構成される外向きに面したイメージングシステムと、
３次元（３Ｄ）ビュー内の仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記外向きに面したイメージングシステムを用いて、前記環境の画像を取得することと、
前記画像内の第１の顔および第２の顔を検出することであって、前記第１の顔は、前記環境内の人物の顔であり、前記第２の顔は、識別ドキュメント上の顔である、ことと、
前記第１の顔と関連付けられた第１の顔特徴に基づいて、前記第１の顔を認識することと、
前記第２の顔特徴に基づいて、前記第２の顔を認識することと、
前記第１の顔特徴および前記第２の顔特徴を分析し、前記人物と前記識別ドキュメントとの間のリンケージを検出することと、
前記ＡＲディスプレイに、前記第１の顔特徴および前記第２の顔特徴の分析の結果を示す仮想注釈を提示するように命令することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、拡張現実システム。
（項目２）
前記第１の顔および前記第２の顔を検出するために、前記ハードウェアプロセッサは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムのうちの少なくとも１つを前記画像に適用するようにプログラムされる、項目１に記載のＡＲシステム。
（項目３）
前記ハードウェアプロセッサはさらに、
前記第２の顔の動きを分析することによって、前記第２の顔が前記識別ドキュメント上の顔であることを検出することと、
前記動きが単一平面ホモグラフィによって記述されるかどうかを決定することと
を行うようにプログラムされる、項目１に記載のＡＲシステム。
（項目４）
前記第１の顔または前記第２の顔を認識するために、前記ハードウェアプロセッサは、
それぞれ、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの少なくとも１つを適用することによって、少なくとも部分的に、前記第１の顔特徴に基づいて、前記第１の顔と関連付けられた第１の特徴ベクトルを計算すること、または、少なくとも部分的に、前記第２の顔特徴に基づいて、前記第２の顔と関連付けられた第２の特徴ベクトルを計算すること
を行うようにプログラムされる、項目１に記載のＡＲシステム。
（項目５）
前記人物と前記識別ドキュメントとの間のリンケージを検出するために、前記ハードウェアプロセッサは、
前記第１の特徴ベクトルと前記第２の特徴ベクトルとの間の距離を計算することと、
前記距離を閾値と比較することと、
前記距離が前記閾値に合格することの決定に応答して、前記リンケージを検出することと
を行うようにプログラムされる、項目４に記載のＡＲシステム。
（項目６）
前記距離は、ユークリッド距離である、項目５に記載のＡＲシステム。
（項目７）
前記識別ドキュメントは、クイックレスポンスコード、バーコード、または虹彩コードのうちの１つ以上を備えるラベルを有する、項目１に記載のＡＲシステム。
（項目８）
前記ハードウェアプロセッサはさらに、
前記ラベルを前記環境の画像から識別することと、
前記ラベルを使用して、外部データソースにアクセスし、前記人物のバイオメトリック情報を読み出すことと
を行うようにプログラムされる、項目７に記載のＡＲシステム。
（項目９）
ＡＲシステムはさらに、ヒト可視スペクトル（ＨＶＳ）外の光を照明するように構成される光学センサを備え、前記ハードウェアプロセッサはさらに、
前記光学センサに、前記光を前記識別ドキュメントに向かって照明し、前記識別ドキュメント内の隠蔽された情報を露見させるように命令することと、
前記識別ドキュメントの画像を分析することであって、前記画像は、前記識別ドキュメントが前記光で照明されたときに入手される、ことと、
バイオメトリック情報を前記画像から抽出することであって、前記抽出されたバイオメトリック情報は、前記人物と前記識別ドキュメントとの間のリンケージを検出するために使用される、ことと
を行うようにプログラムされる、項目１に記載のＡＲシステム。
（項目１０）
前記ハードウェアプロセッサは、前記第１の顔特徴と前記第２の顔特徴との間の整合の可能性を計算するようにプログラムされる、項目１に記載のＡＲシステム。
（項目１１）
前記注釈は、前記人物および前記識別ドキュメントをリンクさせる視覚的焦点インジケータを備える、項目１に記載のＡＲシステム。
（項目１２）
拡張現実環境内のリンケージを検出するための方法であって、
外向き撮像イメージングシステムおよびハードウェアプロセッサを備える拡張現実デバイスの制御下で、前記拡張現実デバイスは、仮想コンテンツを前記拡張現実デバイスの装着者に表示するように構成され、
前記環境の画像を取得することと、
前記画像内の人物、第１のドキュメント、および第２のドキュメントを検出することと、
少なくとも部分的に、前記第１のドキュメントの画像の分析に基づいて、第１の個人情報を抽出することと、
第２のドキュメントと関連付けられた第２の個人情報にアクセスすることと、
少なくとも部分的に、前記人物の画像の分析に基づいて、前記人物の第３の個人情報を抽出することであって、前記第１の個人情報、前記第２の個人情報、および前記第３の個人情報は、同一カテゴリ内にある、ことと、
前記第１の個人情報、前記第２の個人情報、および前記第３の個人情報の間の整合の可能性を決定することと、
前記整合の可能性が閾値条件を超えることの決定に応答して、前記第１のドキュメント、前記第２のドキュメント、および前記人物の間のリンケージを表示することと
を含む、方法。
（項目１３）
前記環境の画像を取得することは、前記拡張現実デバイスの外向きに面したイメージングシステムによって入手された前記画像にアクセスすることを含む、項目１２に記載の方法。
（項目１４）
前記第１の個人情報および前記第３の個人情報を抽出することは、
前記画像内の第１の顔を検出することであって、前記第１の顔は、前記第１のドキュメント内に含まれる、ことと、
前記画像内の第２の顔を検出することであって、前記第２の顔は、前記環境内の人物と関連付けられる、ことと、
前記第１の顔と関連付けられた第１の顔特徴および前記第２の顔と関連付けられた第２の顔特徴を識別することと、
それぞれ、前記第１の顔特徴および前記第２の顔特徴に基づいて、前記第１の顔および前記第２の顔を認識することと
を含む、項目１２に記載の方法。
（項目１５）
前記第１の顔を検出することまたは前記第２の顔を検出することは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムを適用することを含む、項目１４に記載の方法。
（項目１６）
前記第１の顔を認識することおよび前記第２の顔を認識することは、それぞれ、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの少なくとも１つを適用することによって、
少なくとも部分的に、前記第１の顔特徴に基づいて、前記第１の顔と関連付けられた第１の特徴ベクトルを計算することと、
少なくとも部分的に、前記第２の顔特徴に基づいて、前記第２の顔と関連付けられた第２の特徴ベクトルを計算することと
を含む、項目１４に記載の方法。
（項目１７）
前記第２の個人情報にアクセスすることは、
光が前記第２のドキュメント上に当てられたとき、前記第２のドキュメントの画像を入手することであって、前記光の少なくとも一部は、ヒト可視スペクトル外にある、ことと、
前記第２のドキュメントの前記入手された画像に基づいて、前記第２の個人情報を識別することであって、前記第２の個人情報は、通常光学条件下、ヒトに直接可視ではない、ことと
を含む、項目１２に記載の方法。
（項目１８）
前記第２の個人情報にアクセスすることは、
前記ラベルを前記環境の画像から識別することと、
前記ラベルを使用して、複数の人物の個人情報を記憶するデータソースにアクセスし、前記人物のバイオメトリック情報を読み出すことと
を含む、項目１２に記載の方法。
（項目１９）
整合の可能性を決定することは、
前記第１の個人情報および前記第２の個人情報を比較することと、
少なくとも部分的に、前記第１の個人情報と前記第２の個人情報との間の類似性または非類似性に基づいて、信頼度スコアを計算することと
を含む、項目１２に記載の方法。
（項目２０）
前記信頼度スコアが閾値を超えることの決定に応答して、前記第１のドキュメントまたは前記第２のドキュメントのうちの少なくとも１つを有効として示す仮想注釈を表示することをさらに含む、項目１９に記載の方法。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。 図２は、ウェアラブルシステムの実施例を図式的に図示する。 図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。 図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。 図５は、導波管によって出力され得る、例示的出射ビームを示す。 図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。 図７は、ウェアラブルシステムの実施例のブロック図である。 図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。 図９は、ウェアラブルシステムの別の実施例のブロック図である。 図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。 図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。 図１２Ａは、人物とドキュメントとの間のリンケージを分析することによる、識別検証の実施例を図示する。 図１２Ｂは、２つのドキュメント間のリンケージを分析することによる、識別検証の実施例を図示する。 図１３は、人物と人物によって提示される識別ドキュメントとの間の整合を決定するための例示的プロセスのフローチャートである。 図１４は、２つのドキュメント間の整合を決定するための例示的プロセスのフローチャートである。 図１５は、人物と複数のドキュメントとの間の整合を決定するための例示的プロセスのフローチャートである。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。加えて、本開示内の図は、例証目的のためのものであって、正確な縮尺ではない。

概要
拡張現実デバイス（ＡＲＤ）は、ユーザの物理的環境とのユーザの視覚的または相互作用体験を向上させ得る、仮想コンテンツを提示することができる。ユーザは、ＡＲＤを通して見られる物理的コンテンツに加え、仮想コンテンツを知覚することができる。

例えば、空港のセキュリティ検問所では、旅行者は、通常、その識別ドキュメント（例えば、運転免許証またはパスポート）をＡＲＤを装着し得る検閲者に提示する。運転免許証は、旅行者の氏名、写真、年齢、身長等の識別情報を含むことができる。旅行者はまた、旅行者の氏名、目的地、旅客会社等の旅行情報を含み得る、旅券を提示し得る。検閲者は、旅行者（および旅行者の環境内の他の人物）および旅行者のドキュメントをＡＲＤを通して視認し得る。ＡＲＤは、旅行者および旅行者のドキュメントをイメージングし、旅行者のドキュメントおよび旅行者（または旅行同伴者等の環境内の他者）間のリンケージを検出することができる。

例えば、ＡＲＤは、旅行者のパスポートをイメージングし、旅行者の写真を検出し、それとＡＲＤ上の外向きに面したカメラによって取得される旅行者の画像を比較し、パスポート写真が旅行者のものであるかどうかを決定することができる。ＡＲＤは、旅行者の旅券をイメージングし、旅券上の氏名を決定し、それと旅行者のパスポート上の氏名を比較してもよい。ＡＲＤは、ドキュメント間またはドキュメントと旅行者との間に見出されるリンケージについての情報を示す、視覚的焦点インジケータを提供することができる。例えば、ＡＲＤは、パスポート写真の周囲および旅行者の周囲の境界と、旅行者と写真に示される人物との間の整合（例えば、パスポート上の写真に整合する旅行者の顔特性）の可能性を示す仮想グラフィックとを表示してもよい。検閲者は、ＡＲＤによって表示される仮想情報を使用して、旅行者にセキュリティを通過させる（写真と旅行者との間のリンケージに関する高度の整合の場合）、またはさらなるアクションを行うことができる（リンケージに関する低度の整合の場合）。

ＡＲＤは、加えて、または代替として、旅券上の情報が識別ドキュメント上の情報（例えば、氏名または住所）に整合することを検証することによって、旅行者が旅券が発行された同一人物であることを決定することができる。

有利には、ＡＲＤは、識別検証がヒト検閲者（ＡＲＤによるプログラム画像比較ではなく）によって行われることになる場合の繰り返されるタスク（例えば、識別検証タスクを多数の個人に対して繰り返す）における視覚的分析および判断の低下の問題を改善し、識別検証の正確度を増加させることができる。しかしながら、識別検証のためのＡＲＤの使用もまた、ＡＲＤが、例えば、顔を識別し、顔特徴を比較することによって、ヒト特性を認識および比較するためのヒト認識力を装備していない場合があるため、デバイスに一意の課題を提示し得る。さらに、ＡＲＤは、ＡＲＤが、検証される必要がある人物またはドキュメントを識別不能である場合があるため、識別検証プロセスの間、検索対象を把握しない場合がある。これらの課題に対処するために、ＡＲＤは、そのイメージングシステムを使用して、ドキュメントおよびドキュメントを提示する人物の画像を取得してもよい。ＡＲＤは、ドキュメント上の情報（例えば、ドキュメントが発行された人物の顔の画像）を識別し、人物の関連特徴（例えば、顔または他の身体特徴）を識別することができる。ＡＲＤは、ドキュメントからの情報と人物の特徴を比較し、信頼度レベルを計算することができる。信頼度レベルが、閾値より高いとき、ＡＲＤは、ドキュメントを提示する人物が、実際に、ドキュメントによって記述される人物であることを決定し得る。ＡＲＤはまた、ドキュメントに関する他の識別情報（例えば、年齢、身長、性別）を抽出し、抽出された情報と人物から推定される対応する特性を比較してもよい。ＡＲＤは、整合（または非整合）を示す注釈をＡＲＤの装着者に提示してもよい。例えば、運転免許証上の画像は、強調され、人物の顔にリンクされ、整合または非整合を示すことができる。ＡＲＤによる識別検証に関連する付加的詳細は、図１２Ａ－１５を参照してさらに説明される。

ユーザの環境内の物理的オブジェクトとの向上されたユーザ体験を提供する別の実施例として、ＡＲＤは、ユーザの環境内の物理的オブジェクトのリンケージを識別することができる。前の段落における実施例を継続すると、旅行者は、複数のドキュメントを検閲者に提示し得る。例えば、航空機の乗客は、運転免許証（またはパスポート）および航空機旅券を提示し得る。ＡＲＤは、ドキュメントの画像を取得することによって、そのような複数のドキュメントのリンケージを分析することができる。ＡＲＤは、１つのドキュメントから抽出される情報と別のドキュメントから抽出される情報を比較し、２つのドキュメント内の情報が一貫するかどうかを決定することができる。例えば、ＡＲＤは、氏名を運転免許証から抽出し、それと航空機旅券から抽出される氏名を比較し、航空機旅券および運転免許証が同一人物に発行された可能性が高いかどうかを決定することができる。上記に説明されるように、ＡＲＤは、運転免許証からの画像と人物の画像の顔整合を識別し、人物、運転免許証、および航空機旅券が、相互に関連付けられることを決定することができる。いくつかの実施形態では、ＡＲＤは、情報をドキュメント（例えば、バーコード）のうちの１つから抽出し、付加的情報を別のデータソースから読み出してもよい。ＡＲＤは、読み出された情報とドキュメントの画像から抽出された情報を比較することができる。２つのドキュメント間の情報が、一貫しない場合、ＡＲＤは、ドキュメントのいずれかまたは両方が偽造されていることを決定し得る。いくつかの実施形態では、２つのドキュメント間の情報が一貫しないと考えられるとき、ＡＲＤは、付加的分析を行う、またはＡＲＤのユーザに情報を手動で検証することを要求してもよい。他方では、ＡＲＤが、両ドキュメント内の情報が一貫することを決定する場合、ＡＲＤは、ドキュメントのいずれかが有効である、または両ドキュメントが有効であることを見出し得る。さらに、ドキュメントから抽出される識別情報と人物の画像から抽出される識別情報を整合させることによって、ＡＲＤは、人物が一方または両方のドキュメントを発行された可能性が高いかどうかを決定することができる。

実施例は、ＡＲＤを参照して説明されるが、本開示におけるシステムおよび方法は、ＡＲＤによって実装されることを要求されない。例えば、識別およびドキュメント検証のためのシステムおよび方法は、ロボットシステム、セキュリティシステム（例えば、交通結節点における）、または他のコンピューティングシステム（自動旅行チェックイン機械等）の一部であってもよい。さらに、本明細書に説明される１つ以上の特徴およびプロセスは、ＡＲＤ自体によって実施されることを要求されない。例えば、情報を画像から抽出するプロセスは、別のコンピューティングデバイス（例えば、遠隔サーバ）によって実施されてもよい。

また、本明細書に説明されるデバイスおよび技法は、旅行結節点におけるセキュリティの例証的コンテキストに限定されず、情報をドキュメントから抽出し、ドキュメントまたは人物間で比較を行い、デバイスの環境内の人物を識別し、セキュリティを向上させること等が望ましい、任意のコンテキストにおいて適用されることができる。例えば、遊園地またはエンターテインメント施設における改札係が、本明細書に説明される技法およびデバイスの実施形態を使用して、客が園内または施設に入場することを許可（または入場を拒否）し得る。同様に、防犯施設（例えば、私的実験室または倉庫、オフィス建物、刑務所等）における警備員または警察官が、ＡＲＤを使用して、人物および識別ドキュメントをイメージングし得る。さらに他の用途では、いくつかのドキュメントをＡＲＤを通して視認する人物（例えば、請求書、領収証、および総勘定元帳を視認している会計士）は、ＡＲＤの能力を使用して、視認されているドキュメント上に存在し得る情報を識別または強調し（例えば、会計士のＡＲＤは、会計士が領収証と請求書をより容易に照合し得るように、特定の人物の氏名または費用を含む、ドキュメントを強調すること等ができる）、タスクを捗らせることができる。
（ウェアラブルシステムの３Ｄディスプレイの実施例）

ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができ、これは、ＡＲデバイス（ＡＲＤ）と同義的に使用される。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。

図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の各点に対し、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、各深度平面に対して異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。

図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によってウェアラブルである、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能サウンド制御を提供する）。ディスプレイ２２０は、音声認識を実施すべき環境からオーディオストリームを検出するために、オーディオセンサ２３２（例えば、マイクロホン）を含むことができる。

ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム４６２（図４に示される）を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステム４６２は、フレーム２３０に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ２１０の眼、眼の移動、または眼姿勢の瞳孔直径または配向を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。

実施例として、ウェアラブルシステム２００は、外向きに面したイメージングシステム４６４または内向きに面したイメージングシステム４６２を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレームまたはビデオ、その組み合わせ、または同等物であってもよい。

ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。

ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面したイメージングシステムまたは外向きに面したイメージングシステム内のカメラ）、オーディオセンサ２３２（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）場合によっては処理または読出後にディスプレイ２２０への伝達のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して取得または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線通信リンクまたは無線通信リンクを介して等、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の視線を収束させ、オブジェクト上に固定させるための相互に向かって、またはそこから離れるような瞳孔の転動運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変更する、または眼を遠近調節し、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更することは、「遠近調節－輻輳・開散運動反射」として知られる関係下、自動的に、輻輳・開散運動における合致する変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４の各々に対し、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の等高線は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、有限数の深度平面を解釈し、典型的には、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
（導波管スタックアセンブリ）

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。

図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。

導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、そのそれぞれが、眼４１０に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。

いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれが対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。

コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイスであってもよいか、または、有線通信チャネルまたは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。

導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う平面状であるかまたは別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明の容易性および図面の明確性のために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、材料のその部品の表面上および／またはその内部に形成されてもよい。

図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光をその個別の導波管から再指向し、かつ導波管と関連付けられた特定の深度平面のための適切な発散またはコリメーションの量を用いて本光を出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、具体的角度で光を出力するように構成され得る、立体特徴または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。

いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差点で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低い回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果は、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かう非常に均一なパターンの出射放出となることができる。

いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズ／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムすることができる。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。

ウェアラブルシステム４００は、世界４７０の一部をイメージングする、外向きに面したイメージングシステム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、イメージングシステム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面したイメージングシステム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。

ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面したイメージングシステム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を決定するために使用されてもよい。内向きに面したイメージングシステム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、各眼に対し、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。

ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線で通信することができる。

図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能してもよく、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点では、光の一部は、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビームを形成する）。略平行出射ビームは、眼４１０から遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。

図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。

中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。

光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の有色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。

例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共振モードを有する。共振の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共振モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。

２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。

光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。

ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ６２２ａによって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。

一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差すると、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。

伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。

故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色光、青色光および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色光、青色光、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）

多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。

ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。

本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（例示的ウェアラブルシステム、環境、およびインターフェース）

ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。

図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１人以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに面したイメージングシステムのカメラ等）によって取得された画像データは、マッピング点のセットに低減されてもよい。

１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。

本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。

オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面したイメージングシステム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバル整合（ＳＧＭ）、セミグローバルブロック整合（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトル機械、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク等（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。

マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。

図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。

ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、大まかな点を決定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ～７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。

図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線ネットワークまたは無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するとき、オンザフライで収集されたデータから算出されてもよい。データは、実環境または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。

大まかな点表現は、同時場所特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップを埋めることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。

一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢９５０は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０を埋めるための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。

複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、種々の条件下で逃げていること（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。

ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの決定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）

手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物または演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。

眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。他の技法も、例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等、眼追跡のために使用されることができる。

音声認識は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。システム９００は、オーディオストリームを環境から受信する、オーディオセンサ２３２（例えば、マイクロホン）を含むことができる。受信されたオーディオストリームは、処理され（例えば、処理モジュール２６０、２７０または中央サーバ１６５０によって）、ユーザの音声（他の音声または背景オーディオから）を認識し、コマンド、パラメータ等をオーディオストリームから抽出することができる。例えば、システム９００は、オーディオストリームから、語句「あなたのＩＤを見せてください」が発せられたことを識別し、本語句がシステム９００の装着者（例えば、検閲者の環境内の別の人物ではなく、セキュリティ検閲者）によって発せられたことを識別し、語句および状況のコンテキスト（例えば、セキュリティ検問所）から、実施されるべき実行可能コマンド（例えば、装着者のＦＯＶ内のもののコンピュータビジョン分析）およびコマンドが実施されるべきオブジェクト（「あなたのＩＤ」）が存在することを抽出し得る。システム９００は、発話している人物（例えば、発話がＡＲＤの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための話者認識技術と、発せられている内容を決定するための発話認識技術とを組み込むことができる。音声認識技法は、周波数推定、隠れマルコフモデル、ガウス混合モデル、パターン整合アルゴリズム、ニューラルネットワーク、マトリクス表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴は、話者特性を表す際に使用されてもよい。

カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに面したイメージングシステム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに面したイメージングシステム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。

図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに面したイメージングシステムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。

少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。

例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動すること、または、１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実オブジェクトまたは仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実オブジェクトまたは仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、その実オブジェクトまたは仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を決定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実オブジェクトまたは仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含むことができる。

ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、１つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つ以上のカメラを使用して（例えば、内向きに面したイメージングシステム４６２または外向きに面したイメージングシステム４６４を使用して）追跡されてもよい。

図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。方法１１００の実施形態は、ウェアラブルシステムのＦＯＶ内の人物またはドキュメントを検出するためにウェアラブルシステムによって使用されることができる。

ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ＵＩは、セキュリティシナリオに特有であることができ、システムの装着者は、ドキュメントを装着者に提示するユーザを観察する（例えば、旅客検問所において）。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得るか、または、平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。本明細書に説明されるセキュリティコンテキストでは、ＵＩは、装着者が、旅行者および旅行者のドキュメントを見ている間、ＵＩを容易に視認し得るように、ＵＩがドキュメントをシステムの装着者に提示する旅行者を囲繞しているかのように表示され得る。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。

ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。

ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（人物の画像に基づく識別検証）

図４を参照して説明されるように、ＡＲＤは、外向きに面したイメージングシステム４６４を使用して、装着者の周囲の環境をイメージングすることができる。画像は、静止画像、ビデオからの個々のフレーム、またはビデオを含むことができる。ＡＲＤは、画像を分析し、オブジェクト（例えば、ドキュメント）、人物、オブジェクト内の要素（例えば、パスポート上の写真、旅行者の身体の画像内の顔等）間のリンケージを識別することができる。

図１２Ａは、人物の特性およびドキュメント内の情報を分析することによる、識別検証の実施例を図示する。図１２Ａでは、人物５０３０は、運転免許証５１５０ａを保持している。人物５０３０は、例えば、検問所におけるセキュリティ検閲者によって装着され得る、ＡＲＤの正面に立っていてもよい。ＡＲＤは、人物５０３０の身体の一部と、運転免許証５１５０ａとを含む、画像１２００ａを捕捉することができる。ＡＲＤは、人物のバイオメトリック情報を画像１２００ａから抽出し、抽出されたバイオメトリック情報を使用して、人物の識別を決定することができる。

実施例として、ＡＲＤは、顔認識技法を使用して、人物５０３０の識別を決定してもよい。ＡＲＤは、画像１２００ａを分析し、画像内に現れる顔を特定することができる。図１２Ａに示されるように、ＡＲＤは、ウェーブレットベースのカスケードアルゴリズム（例えば、Ｈａａｒウェーブレットベースのブーストカスケードアルゴリズム）、深層ニューラルネットワーク（ＤＮＮ）（例えば、顔を識別するように訓練されたトリプレット組み込みネットワーク）等の種々の顔検出技法を使用して、人物５０３０の顔５０２０と、運転免許証５１５０ａ上の顔５１２０ａとを検出することができる。

いったん顔が、検出されると、ＡＲＤは、顔に関する特徴ベクトルを計算することによって、顔を特性評価することができる。特徴ベクトルは、顔の数値表現であることができる。例えば、ＡＲＤは、検出された顔の顔特徴（例えば、眼の角、眉毛、口、鼻先等）に基づいて、特徴ベクトルを計算してもよい。例えば、顔目印検出、テンプレート整合、ＤＮＮトリプルネットワーク、他の組み込みネットワーク、それらの組み合わせ、または同等物等の種々のアルゴリズムが、顔を特性評価するために使用されてもよい。

画像１２００ａ内の２つの顔の特徴ベクトルは、２つの顔間の類似性および非類似性を比較するために使用されてもよい。例えば、ＡＲＤは、対応する特徴ベクトル空間内の２つの特徴ベクトル間の距離（ユークリッド距離等）を計算することができる。距離が閾値を超えると、ＡＲＤは、２つの顔が十分に異なると決定し得る。他方では、距離が閾値を下回ると、ＡＲＤは、２つの顔が類似すると決定し得る。

いくつかの実施形態では、異なる加重が、異なる顔特徴と関連付けられてもよい。例えば、ＡＲＤは、顔特徴の場所に基づいて、加重を特徴ベクトルの成分に割り当てることができる。その結果、個別の顔特徴と関連付けられた加重が、２つの顔の類似性および非類似性を決定する際に組み込まれ得る。

いくつかの状況では、環境の画像は、複数の顔を含んでもよい。例えば、空港のセキュリティ検問所では、ＡＲＤによって入手された画像は、ＡＲＤの正面に立っている人物および周囲における他の人々を含んでもよい。ＡＲＤは、フィルタを使用して、１つ以上の関連顔を識別してもよい。実施例として、ＡＲＤは、ＡＲＤの場所に対する顔の距離またはサイズに基づいて、関連顔を決定してもよい。ＡＲＤは、ＡＲＤに最も近い人物が検証されている人物である可能性が高いため、画像内の最近傍または最大顔が関連顔であることを決定し得る。

別の実施例として、ＡＲＤは、本明細書に説明される技法を使用して、ドキュメント上の顔（環境内の複数の顔の中から）を識別し、ドキュメント上の顔と環境内のヒトを整合させてもよい。ＡＲＤは、顔（物理的顔およびドキュメント上の顔）と関連付けられた重要点を追跡することによって、ドキュメント上の顔と人物の物理的顔を区別することができる。ＡＲＤは、任意の重要点アルゴリズム（Ｓｈｉ－Ｔｏｍａｓｉコーナー検出アルゴリズム等）を使用して、本プロセスを実施してもよい。ある実装では、顔検出、顔認識、および重要点追跡は、図７に説明されるように、１つ以上のオブジェクト認識装置７０８によって実施されてもよい。

ＡＲＤは、抽出された重要点の動きを追跡し、顔が物理的顔またはドキュメント上の顔の画像であるかどうかを決定することができる。例えば、ＡＲＤは、外向きに面したイメージングシステム４６４によって入手された画像のシーケンシャルフレームを使用して、抽出された重要点の動きを追跡することができる。ＡＲＤは、特徴のより多くの動きを検出するとき、顔を物理的顔としてタグ付けし得る。これは、物理的顔の特徴が、通常、ドキュメント上の顔の特徴より多くの動きを有するためである。例えば、人物は、数秒毎にその眼を瞬目させる一方、ドキュメント上に示されるような眼は、瞬目しない。加えて、または代替として、ＡＲＤは、顔の移動が単一平面ホモグラフィ（例えば、同一平面表面の２つ以上の画像間のコンピュータビジョン関係）によって記述され得るとき、顔をドキュメント上の画像としてタグ付けし得る。これは、ドキュメント上の顔画像が、通常、ドキュメントとともに移動する一方、人物の顔が、典型的には、環境（または環境内のオブジェクト／他の人々）とともに移動しないためである。

顔認識に加えて、またはその代替として、ＡＲＤは、他のバイオメトリック（身長、髪色、眼色、虹彩コード、声紋等）を使用して、人物を識別してもよい。例えば、ＡＲＤは、外向きに面したイメージングシステム４６４によって入手された画像１２００ａに基づいて、人物５０３０の髪色を決定することができる。ＡＲＤはまた、外向きに面したイメージングシステム４６４によって入手された画像に基づいて、年齢、性別、身長等の人物５０３０の個人情報を推定することができる。例えば、ＡＲＤは、人物の画像および人物５０３０の場所とＡＲＤの場所との間の距離に基づいて、人物５０３０の身長を計算可能であってもよい。ＡＲＤはまた、その顔特徴（例えば、皺等）に基づいて、人物の年齢を推定してもよい。ＡＲＤは、ＤＮＮまたは他の類似アルゴリズムを使用して、本目的を達成してもよい。さらに別の実施例として、ＡＲＤは、単独で、または顔認識（または他のバイオメトリック）と組み合わせて、個人の声紋を使用して、人物の識別を決定することができる。ＡＲＤは、人物が発話するとき、人物の音声データを入手し、図９に説明される音声認識アルゴリズムを適用し、人物の音声における特徴（例えば、ピッチ、方言、アクセント等）を識別することができる。ＡＲＤはさらに、識別された特徴をデータベース内でルックアップし、識別された特徴に整合する１人以上の人物が存在するかどうかを決定することができる。

ＡＲＤは、画像１２００ａから入手された情報を使用して、画像１２００ａ内で利用不可能な付加的情報を取得することができる。例えば、ＡＲＤは、人物５０３０の眼の画像を使用して、人物５０３０の虹彩コードを計算することができる。ＡＲＤは、人物５０３０の虹彩コードをデータベース内でルックアップし、人物５０３０の氏名を取得することができる。加えて、または代替として、ＡＲＤは、データベースを参照することによって、人物の身長、髪色、眼色、顔特徴を使用して、付加的個人情報（氏名、住所、職業等）を取得することができる。例えば、ＡＲＤは、人物の身長、髪色、および眼色を使用して、データベースクエリを実施し、クエリされた身長、髪色、および眼色の整合特性を有する人物のリストを受信することができる。
（ドキュメントの画像に基づくドキュメント認証）

図１２Ａに示されるように、運転免許証５１５０ａは、種々の個人情報を含んでもよい。情報は、明示的であってもよい（情報を有するドキュメントがヒト可視スペクトルまたはＨＶＳ内の光で照明されたときに、人物によって直接知覚可能である）。ＨＶＳは、概して、約４００ｎｍ～約７５０ｎｍ波長範囲を有する。運転免許証５１５０ａ上の明示的情報は、運転免許証番号、有効期限５１４０ａ、氏名５１１０ａ、性別、髪色、身長、および顔５１２０ａの画像を含むことができる。例えば、ＡＲＤは、有効期限５１４０ａを運転免許証５１５０ａの画像から抽出し、有効期限５１４０ａと今日の日付を比較することができる。有効期限５１４０ａが、今日の日付前である場合、ＡＲＤは、ドキュメントがもはや有効ではないことを決定し得る。

ドキュメントはまた、隠蔽された情報を含んでもよい（ドキュメントがヒト可視スペクトル内の光で照明されたときに、人物によって直接知覚可能ではない）。隠蔽された情報は、ラベル内にエンコードされてもよい、または別のデータソースへの参照（データベースにクエリし、ドキュメントと関連付けられた付加的情報を読み出すために使用され得る、識別子等）を含有してもよい。例えば、図１２Ｂに示されるように、ドキュメント（例えば、航空機旅券５４７０）は、クイックレスポンス（ＱＲ）コード５４７０またはバーコード等の光学ラベルを含んでもよい。ＱＲコード（登録商標）５４７０は、ヒト眼によって直接知覚可能であるが、ＱＲコード（登録商標）内にエンコードされた情報は、ヒトによって直接解読されることができない。ＡＲＤは、そのような隠蔽された情報をドキュメントから抽出し得る、光学センサを含むことができる。例えば、ＡＲＤは、ＱＲコード（登録商標）を走査し、別のデータソース（航空機の予約システム等）と通信し、ＱＲコード（登録商標）内にエンコードされた情報を取得することができる。ラベルはまた、虹彩コード、指紋等のバイオメトリックラベルを含んでもよい。例えば、パスポートは、人物の虹彩コードを含んでもよい。ＡＲＤは、虹彩コードを含む、パスポートの画像を取得してもよい。ＡＲＤは、虹彩コードを使用するデータベースをルックアップし、人物の他のバイオメトリック情報（例えば、生年月日、氏名等）を取得することができる。

いくつかの状況では、隠蔽された情報は、例えば、紫外線（ＵＶ）光または赤外線（ＩＲ）光等のＨＶＳ外のある光学条件下のみで知覚可能であってもよい。ＡＲＤは、ヒト可視スペクトル（例えば、ＵＶ光またはＩＲ光）外の光を放出し得る、光学センサを含んでもよい。例えば、人物のプライバシを保護するために、パスポート内の虹彩コードは、ＵＶ光下でのみ見えてもよい。ＡＲＤは、ＵＶ光を放出し、ＵＶ条件下でドキュメントの画像を取得することによって、虹彩コードを取得してもよい。ＡＲＤは、次いで、ＵＶ条件下で取得された画像を使用して、虹彩コードを抽出することができる。他の場合では、セキュリティ理由から、識別ドキュメントは、人物の写真の２つのコピーを含んでもよく、第１のコピーは、可視光（ＨＶＳ内）で視認可能であってもよく、第２のコピーは、ＨＶＳ外の光（例えば、ＵＶまたはＩＲ照明下）で照明されたときのみ視認可能であってもよい。そのような二重コピーは、人物が、視覚的に視認可能であるコピーを修正可能であり得るが、同一変更をＵＶまたはＩＲ照明下のみで視認可能なコピーに行う能力を有し得ないため、セキュリティを増加させることができる。故に、ＡＲＤは、ドキュメントを非ＨＶＳ光で照明し、非ＨＶＳ視認可能コピーの画像を取得し、ＨＶＳ視認可能コピーの画像を取得し、実際の人物の画像を取得し、全３つの画像を使用して、比較を行い得る（例えば、顔認識技法を使用して）。

光学ラベルまたはバイオメトリックラベルに加えて、またはその代替として、ドキュメントはまた、ＲＦＩＤタグ等の電磁ラベルを有してもよい。電磁ラベルは、ＡＲＤによって検出され得る、信号を放出することができる。例えば、ＡＲＤは、ある周波数を伴う信号を検出可能であるように構成されてもよい。いくつかの実装では、ＡＲＤは、信号をオブジェクトに送信し、信号のフィードバックを受信することができる。例えば、ＡＲＤは、信号を送信し、航空機旅券５４７０上のラベルにピングしてもよい（図１３に示される）。

ＡＲＤは、ドキュメント内の情報（明示的または隠蔽された）に基づいて、ドキュメントの真正性を決定することができる。ＡＲＤは、別のデータソースと通信し、そのデータソース内のドキュメントの画像から入手された情報をルックアップすることによって、そのような検証を実施してもよい。例えば、ドキュメントが、個人の番地を示す場合、ＡＲＤは、番地をデータベース内でルックアップし、番地が存在するかどうかを決定してもよい。ＡＲＤが、番地が存在しないことを決定する場合、ＡＲＤは、ドキュメントが偽造されているかもしれないことを装着者にフラグしてもよい。他方では、番地が存在する場合、ＡＲＤは、番地が人物の真の住所であるより高い可能性を有し得ることを決定し得る。別の実施例では、ドキュメントは、人物の指紋の画像を含んでもよい。ＡＲＤは、外向きに面したイメージングシステム４６４を使用して、指紋の画像を含む、ドキュメントの画像を取得し、データベースから、本指紋と関連付けられた個人情報（人物の氏名、住所、生年月日等）を読み出すことができる。ＡＲＤは、データベースから読み出される個人情報とドキュメント上に現れる情報を比較することができる。ＡＲＤは、これらの２つの情報が整合しない（例えば、読み出された情報がドキュメント上に現れるものと異なる氏名を有する）場合、ドキュメントが偽造されているとフラグしてもよい。他方では、ＡＲＤは、これらの２つの情報が整合する場合、ドキュメントを真正としてフラグしてもよい。

ＡＲＤはまた、ドキュメント内の情報のみを使用して、ドキュメントを検証することができる。例えば、ＡＲＤは、信号をドキュメントと関連付けられたラベルから受信してもよい。信号が、特定の周波数帯域内にある場合、ＡＲＤは、ドキュメントが真正であることを決定し得る。別の実施例では、ＡＲＤは、クエリ信号をＡＲＤを囲繞するオブジェクトに能動的に送信してもよい。ＡＲＤが、ドキュメントと関連付けられたラベルに正常にピングすることができる場合、ＡＲＤは、ドキュメントが真正であることを決定してもよい。他方では、ドキュメントの画像とＡＲＤによって受信された信号との間の不整合が存在する場合、ＡＲＤは、ドキュメントが偽造されていることを決定し得る。例えば、ドキュメントの画像は、ＲＦＩＤの画像を含み得るが、ＡＲＤは、任意の情報をＲＦＩＤから受信しない場合がある。その結果、ＡＲＤは、ドキュメントが偽造されていることを決定し得る。

本明細書に説明される実施例は、ドキュメントの認証を参照するが、これらの実施例は限定ではない。本明細書に説明される技法はまた、任意のオブジェクトを認証するために使用されることができる。例えば、ＡＲＤは、パッケージの住所の画像を取得し、送信者または受信者の住所を分析することによって、パッケージが危険であり得るかどうかを決定してもよい。
（人物とドキュメントとの間のリンケージ）

図１２Ａに示されるように、ＡＲＤは、装着者の正面に立っている人物が運転免許証上に示される同一人物であるかどうかを検証することができる。ＡＲＤは、種々のファクターを使用して、人物５０３０と運転免許証５１５０ａとの間の整合を識別することによって、そのような検証を実施してもよい。ファクターは、画像１２００ａから抽出される情報に基づいてもよい。例えば、１つのファクターは、人物５０３０の顔５０２０と運転免許証５１５０ａ上に示される顔５１２０ａとの間の類似性の程度であってもよい。ＡＲＤは、本明細書に説明される顔認識技法を使用して、顔を識別し、顔特徴間の距離を計算することができる。距離は、２つの顔の類似性または非類似性を表すために使用されてもよい。例えば、２つの顔が、２つの眼間の類似距離および鼻から口までの類似距離を有するとき、ＡＲＤは、２つの顔が同一である可能性が高いことを決定し得る。しかしながら、ある顔特徴間の距離が、２つの顔間で変動するとき、ＡＲＤは、２つの顔が同一である可能性が低いことを決定し得る。顔を比較する他の技法もまた、使用されてもよい。例えば、ＡＲＤは、これらの２つの顔が同一テンプレート内にあるかどうかを決定することができる。

いくつかの実施形態では、ＡＲＤは、紙上に現れる少なくとも１つの顔を含むように顔認識を制限してもよい。これは、２人の人物の顔特徴を比較することを回避する一方、ＡＲＤの装着者がある人物の識別をドキュメントに対して検証することにのみに着目するためである。ドキュメント上の顔をヒト上の顔から区別するための本明細書に説明される任意の技法も、本目的のために使用されてもよい。

別の実施例として、人物とドキュメントとの間のリンケージを検証するためのファクターは、髪色の整合を含んでもよい。ＡＲＤは、人物５０３０の髪色を画像１２００ａから取得することができる。ＡＲＤは、本情報と運転免許証５１５０上に記述される髪色を比較することができる。運転免許証５１５０ａのセクション５１３０ａでは、Ｊｏｈｎ Ｄｏｅの髪色は、茶色である。ＡＲＤが、人物５０３０の髪色もまた茶色であることを決定する場合、ＡＲＤは、髪色に関して整合が存在することを決定し得る。

ファクターはまた、ＡＲＤによって入手された画像（例えば、画像１２００ａおよび画像１２００ｂ）以外のデータソースから取得される情報に基づいてもよい。ＡＲＤは、画像１２００ａから抽出される情報を使用して、人物またはドキュメントと関連付けられたより多くの情報を別のデータソースから取得することができる。例えば、ＡＲＤは、人物５０３０に関する虹彩コードを生成し、虹彩コードをデータベース内でルックアップし、人物５０３０の氏名を取得してもよい。ＡＲＤは、データベースに見出される氏名と運転免許証５１５０ａ上に現れる氏名５１１０ａを比較することができる。ＡＲＤが、これらの２つの氏名が整合することを決定する場合、ＡＲＤは、人物５０３０が実際にＪｏｈｎ Ｄｏｅであることを決定し得る。

ＡＲＤは、比較を行うとき、人物の顔画像または運転免許証上の顔画像を処理してもよい。例えば、人物５０３０は、眼鏡を装着している一方、運転免許証上の写真５２５４ａは、眼鏡を有していない場合がある。ＡＲＤは、（人物５０３０が装着している眼鏡のような）一対の眼鏡を写真５２５４ａに追加する、または人物５０３０が装着している対の眼鏡を「除去」し、処理された画像を使用して、整合を検出することができる。ＡＲＤはまた、整合を検索しながら、人物５０３０が装着している衣類を変化させる等、入手された画像（例えば、画像５２００ａまたは画像５２００ｂ）の他の部分を処理してもよい。

ある実施形態では、ＡＲＤは、信頼度スコアを計算し、人物がドキュメントによって記述されるのと同一人物かどうかを決定してもよい。信頼度スコアは、人物とドキュメントとの間の１つ以上のファクターの整合（または不整合）を使用して、計算されてもよい。例えば、ＡＲＤは、髪色、顔の写真、および性別の整合に基づいて、信頼度スコアを計算してもよい。ＡＲＤが、全３つの特性整合を決定する場合、ＡＲＤは、９９％信頼度を伴って、人物がドキュメントによって示される人物であることを決定し得る。

ＡＲＤは、異なる加重を異なるファクターに割り当ててもよい。例えば、ＡＲＤは、人物の虹彩コードを偽造することが困難であるため、重い加重を虹彩コードの整合に割り当てる一方、軽い加重を髪色整合に割り当ててもよい。したがって、ＡＲＤが、人物の虹彩コードがドキュメント内のものに整合することを検出すると、ＡＲＤは、人物の髪色が同一ドキュメント内の記述に整合し得ない場合でも、人物がドキュメントに記述される人物であるとフラグしてもよい。

信頼度スコアの別の実施例は、図１２Ｂに示される。図１２Ｂでは、ＡＲＤは、人物の顔５０２０と運転免許証５１５０ｂ上の人物の画像５１２０との間の類似性の程度を計算することができる。しかしながら、顔５０２０は、画像５１２０ｂ内の顔と異なる特徴を有する。例えば、画像５１２０ｂは、異なる眉毛を有する。画像５１２０ｂ内の眼もまた、顔５０２０のものより小さく、より離間されている。顔認識アルゴリズムおよび信頼度スコアを計算する方法を使用して、ＡＲＤは、人物５０３０の顔５０２０が運転免許証上の顔５１２０ｂに整合する可能性が４８％しかないと決定し得る。

信頼度スコアを使用して、人物の識別を検証することに加え、信頼度スコアが、ドキュメントの有効性を検証する、または複数のドキュメントを横断してリンケージを検証するために使用されてもよい。例えば、ＡＲＤは、ドキュメント上の情報とデータベース内に記憶される情報を比較してもよい。ＡＲＤは、見出される整合の数に基づいて、信頼度スコアを計算することができる。信頼度スコアが、ある閾値を下回る場合、ＡＲＤは、ドキュメントが無効であることを決定し得る。他方では、信頼度スコアが、閾値以上である場合、ＡＲＤは、ドキュメントが有効であることを決定し得る。
（複数のドキュメント間のリンケージ）

図１２Ｂは、ＡＲＤによって入手された画像１２００ｂを図示する。画像１２００ｂ内では、個人５０３０が、運転免許証５１５０ｂと、航空機旅券５４５０とを保持している。ＡＲＤは、これらの２つのドキュメント内の情報を比較し、運転免許証または航空機旅券の有効性を決定することができる。例えば、ＡＲＤが、運転免許証上の情報が、航空機旅券上の情報に整合しないことを決定する場合、ＡＲＤは、運転免許証または航空機旅券のいずれかまたは両方が無効であることを決定し得る。

ＡＲＤは、画像１２００ｂ内の明示的情報を使用して、２つのドキュメントの有効性を検証することができる。例えば、ＡＲＤは、運転免許証５１５０ｂ上に示される氏名５１１０ｂと航空機旅券５４５０上に示される氏名５４１０を比較してもよい。これらの２つの氏名は両方とも、Ｊｏｈｎ Ｄｏｅであるため、ＡＲＤは、整合が存在することをフラグすることができる。

ＡＲＤは、別のデータソースを参照することによって、２つのドキュメントの有効性を検証することができる。図１２Ｂでは、ＡＲＤは、ＱＲコード（登録商標）５４７０を走査することによって、乗客の氏名、生年月日、および性別を読み出し可能であってもよい。ＡＲＤは、そのような情報と運転免許証上に示される情報を比較し、航空機旅券および運転免許証が同一人物に属するかどうかを決定することができる。

本明細書に説明される実施例は、２つのドキュメントの比較を参照するが、本技法はまた、複数のドキュメントの比較または複数の人物の識別の検証に適用されることができることに留意されたい。例えば、ＡＲＤは、本明細書に説明される顔認識技法を使用して、人々のグループの類似度を比較してもよい。
（注釈の実施例）

ＡＲＤは、個人（Ｊｏｈｎ Ｄｏｅ等）またはドキュメント（運転免許証５１５０ａ等）を検証するとき、注釈をＡＲＤによって入手された画像（例えば、画像１２００ａおよび１２００ｂ）に提供することができる。注釈は、人物、ドキュメント、人物の特徴、またはドキュメント内のある情報（有効期限等）の近傍にあってもよい。

注釈は、視覚的焦点インジケータを備えてもよい。視覚的焦点インジケータは、後光、色、ハイライト、動画、または他の可聴、触知、視覚的効果、それらの組み合わせ、または同等物であってもよく、これは、ＡＲＤの装着者が、人物またはドキュメントのある特徴により容易に気付くことに役立ち得る。例えば、ＡＲＤは、ボックス５２５２（図１２Ａおよび１２Ｂに示される）をＪｏｈｎ Ｄｏｅの顔５０２０の周囲に提供してもよい。ＡＲＤはまた、ボックス（例えば、図１２Ａではボックス５２５４ａおよび図１２Ｂではボックス５２５４ｂ）を運転免許証上の顔画像の周囲に提供してもよい。ボックスは、顔認識技法を使用して識別された顔の領域を示してもよい。加えて、ＡＲＤは、図１２Ａに示されるように、運転免許証５１５０ａの有効期限５１４０ａを点線で強調してもよい。同様に、ＡＲＤは、図１２Ｂでは、運転免許証５１５０ｂの有効期限５１４０ｂを強調してもよい。

視覚的焦点インジケータに加えて、またはその代替として、ＡＲＤは、注釈のためのテキストを使用することができる。例えば、図１２Ａに示されるように、ＡＲＤは、いったんＡＲＤが人物の氏名がＪｏｈｎ Ｄｏｅであることを決定すると、「Ｊｏｈｎ Ｄｏｅ」５０１０をその頭部の上部に表示することができる。他の実装では、ＡＲＤは、氏名「Ｊｏｈｎ Ｄｏｅ」を人物の顔の右等のいずれかの場所に表示してもよい。氏名に加え、ＡＲＤはまた、他の情報を人物の近傍に示すことができる。例えば、ＡＲＤは、Ｊｏｈｎ
Ｄｏｅの職業をその頭部の上部に表示してもよい。別の実施例では、図１２Ｂでは、運転免許証を認証後、ＡＲＤは、単語「有効」５３３０ａを運転免許証５１５０ｂの上部に表示してもよい。また、図１２Ｂでは、ＡＲＤは、フライトの出発５４６０時間がすでに過ぎていることを決定し得る。その結果、ＡＲＤは、単語「警告」を出発時間５４６０に繋げ、本情報をＡＲＤの装着者に強調してもよい。

ＡＲＤは、注釈を使用して、整合を示すことができる。例えば、図１２Ａでは、ＡＲＤが、Ｊｏｈｎ Ｄｏｅの顔５０２０がその運転免許証５１５０ａ上に示される写真に整合することを決定する場合、ＡＲＤは、単語「整合」５２５６をＡＲＤの装着者に表示してもよい。ＡＲＤはまた、ボックス５２５２をＪｏｈｎ Ｄｏｅの顔５０２０にわたって、別のボックス５２５４ａを運転免許証５１５０ａ上のその写真にわたって表示してもよく、ボックス５２５２およびボックス５２５４ａは、同一色を有してもよい。ＡＲＤはまた、線を２つの整合特徴（例えば、Ｊｏｈｎ Ｄｏｅの顔５０２０と運転免許証５１５０ａ上のその顔５１２０ａの画像）間に引き、整合が検出されたことを示してもよい。

いくつかの実施形態では、図１２Ｂに示されるように、ＡＲＤは、単語「整合」５３１０を整合に関する信頼度スコア５３２０とともに表示してもよい。いくつかの実装では、信頼度スコア５３２０が、閾値を下回ると、ＡＲＤは、「整合」の代わりに、単語「不整合」を表示してもよい。

整合を自動的に検出することに加え、ＡＲＤはまた、装着者がＡＲＤの判断を上書きすることを可能にしてもよい。例えば、ＡＲＤが、整合の低い可能性を示す、または不整合を示すとき、ＡＲＤは、装着者が、手動点検に切り替えることを可能にしてもよく、これは、ＡＲＤによって提供される結果を上書きしてもよい。
（人物とドキュメントの整合の例示的プロセス）

図１３は、人物と人物によって提示される識別ドキュメントとの間の整合を決定するための例示的プロセスのフローチャートである。プロセス１３００は、本明細書に説明されるＡＲシステム（例えば、ウェアラブルシステム２００）によって実施されてもよいが、プロセス１３００はまた、ロボット、旅行チェックインキオスク、またはセキュリティシステム等の他のコンピューティングシステムによって実施されてもよい。

ブロック１３１０では、ＡＲシステムは、環境の画像を取得することができる。本明細書に説明されるように、画像は、静止画像、ビデオからの個々のフレーム、またはビデオであってもよい。ＡＲシステムは、画像を外向きに面したイメージングシステム４６４（図４に示される）、部屋カメラ、または別のコンピューティングデバイスのカメラ（パーソナルコンピュータと関連付けられたウェブカメラ等）から取得することができる。

複数の顔が、環境の画像内に存在し得る。システムは、ウェーブレットベースのカスケードアルゴリズムまたはＤＮＮ等の顔認識技法を使用して、これらの顔を特定することができる。環境の画像内の顔の全てうち、顔のうちのいくつかは、ドキュメント上の顔画像であり得る一方、他の顔は、環境内の異なる人々の物理的顔であり得る。

ブロック１３２０では、ＡＲシステムは、１つ以上のフィルタを使用して、画像内の複数の顔の中から第１の顔を検出することができる。例えば、図１２Ａを参照して説明されるように、フィルタのうちの１つは、顔と画像を入手するＡＲシステムとの間の距離であってもよい。システムは、第１の顔がデバイスに最も近い距離を有する顔であり得ることを決定してもよい。別の実施例では、ＡＲシステムは、ある距離内の顔のみを検出するように構成されてもよい。第１の顔は、人物の物理的顔であってもよく、その識別は、システムによって検証される。

ブロック１３３０では、ＡＲシステムは、第１の顔を検出するために使用されるもの等に類似した技法を使用して、画像内の全ての顔の中から少なくとも第２の顔を検出することができる。例えば、システムは、第２の顔が、ＡＲシステム、第１の顔等からある距離内にある顔であり得ることを決定してもよい。

いくつかの実装では、第２の顔は、運転免許証等のドキュメント上の顔であってもよい。ＡＲシステムは、ドキュメント内を検索することによって、第２の顔を検出することができる。ＡＲシステムは、重要点の動きを追跡することによって、ドキュメント内の顔を物理的顔から区別することができる。例えば、ＡＲシステムは、識別された顔の重要点を抽出することができる。ＡＲシステムは、ビデオのシーケンシャルフレーム間の重要点の動きを追跡することができる。顔の動きが、単一平面ホモグラフィによって記述され得る場合、ＡＲシステムは、顔が識別ドキュメント上の顔画像であることを決定し得る。

ブロック１３４０では、ＡＲシステムは、第１の顔の顔特徴を識別し、顔特徴を使用して、第１の顔を特性評価することができる。ＡＲシステムは、目印検出、テンプレート整合、ＤＮＮトリプレットネットワーク、または他の類似技法を使用して、顔を特性評価することができる。ＡＲシステムは、ブロック１３５０において、同一技法を使用して、第２の顔の顔特徴を識別し、第２の顔を特性評価することができる。

ブロック１３６０では、ＡＲシステムは、第１の顔および第２の顔の顔特徴を比較することができる。ＡＲシステムは、第１の顔に関するベクトルおよび第２の顔に関する別のベクトルを計算し、２つのベクトル間の距離を計算することができる。２つのベクトル間の距離が、閾値より低い場合、ＡＲシステムは、２つの顔が相互に整合することを決定し得る。他方では、距離が、閾値以上である場合、ＡＲシステムは、２つの顔が異なることを決定し得る。

顔特徴整合に加え、ＡＲシステムはまた、他のファクターを使用して、人物が識別ドキュメントによって記述されるのと同一人物であるかどうかを決定してもよい。例えば、ＡＲシステムは、人物の髪色および眼色を画像から決定してもよい。ＡＲシステムはまた、髪色および眼色情報を識別ドキュメントから抽出することができる。画像から決定された情報が識別ドキュメントから抽出される情報に整合する場合、ＡＲシステムは、人物が識別ドキュメントによって記述される人物に整合する可能性が高いことをフラグしてもよい。他方では、画像から決定された情報が、識別ドキュメントから抽出される情報に完全には整合しない場合、ＡＲシステムは、整合のより低い可能性を示し得る。
（複数のドキュメントの整合の例示的プロセス）

図１４は、２つのドキュメント間の整合を決定するための例示的プロセスのフローチャートである。プロセス１４００は、本明細書に説明されるＡＲシステムによって実施されてもよいが、プロセス１４００はまた、ロボット、旅行チェックインキオスク、またはセキュリティシステム等の他のコンピューティングシステムによって実施されてもよい。

ブロック１４１０では、ＡＲシステムは、環境の画像を取得することができる。ＡＲシステムは、ブロック１３１０を参照して説明される類似技法を使用して、画像を取得することができる。

複数のドキュメントが、環境の画像内に存在し得る。例えば、セキュリティ検問所では、ＡＲシステムによって捕捉された画像は、異なる顧客および環境内のフライヤー（ｆｌｙｅｒ）または他のドキュメントによって保持される航空機旅券および識別ドキュメントを含み得る。ＡＲシステムは、ドキュメントの４つの角を見出すこと等によって、重要点認識技法を使用して、これらのドキュメントのうちの１つ以上を検出してもよい。

ブロック１４２０では、ＡＲシステムは、第１のドキュメントおよび第２のドキュメントを画像内の複数のドキュメントの中から検出することができる。ＡＲシステムは、１つ以上のフィルタを使用して、第１および第２のドキュメントを識別してもよい。例えば、ＡＲシステムは、ある距離内に現れるドキュメントを検出するように構成されてもよい。別の実施例として、ＡＲシステムは、識別ドキュメントまたは航空機旅券等のあるタイプのドキュメントのみを識別し、フライヤーまたは情報通知等の他のドキュメントを除外するように構成されてもよい。

ＡＲシステムはまた、２つのドキュメント内のコンテンツに基づいて、第１および第２のドキュメントを識別することができる。例えば、ＡＲシステムは、ドキュメント上に現れる氏名等の共有情報に基づいて、第１および第２のドキュメントを識別してもよい。いくつかの実施形態では、ＡＲシステムは、別のドキュメント内の情報に基づいて、環境内のドキュメントをルックアップすることができる。例えば、ＡＲシステムは、運転免許証上の氏名を識別し、氏名を使用して、同一氏名を有する航空機旅券を検索することができる。

ブロック１４３０では、ＡＲシステムは、ドキュメント内の第１の情報をドキュメントの画像から抽出することができる。例えば、ＡＲシステムは、テキスト認識を使用して、識別ドキュメントの有効期限を識別ドキュメントの画像から抽出してもよい。

ブロック１４４０では、ＡＲシステムは、ドキュメントと関連付けられた第２の情報を取得することができる。例えば、ＡＲシステムは、ドキュメント上の光学ラベルを識別し、ＡＲシステムのセンサを使用して、光学ラベルを走査することができる。ＡＲシステムは、光学ラベルに基づいて、別のデータソースを参照することができ、ドキュメント内で直接知覚可能ではない付加的情報を取得することができる。いくつかの実装では、第１の情報および第２の情報は、同一カテゴリ内にあってもよい。例えば、第１の情報が、ドキュメントの有効期限である場合、ＡＲシステムは、光学ラベルを走査し、ドキュメントの有効期限を別のデータソースから読み出してもよい。有効期限に加え、情報のカテゴリはまた、例えば、生年月日、有効期限、出発時間、髪色、眼色、虹彩コード等を含んでもよい。

ブロック１４５０では、ＡＲシステムは、第１の情報が第２の情報と一貫するかどうかを決定することができる。例えば、図１２Ｂに示されるように、ＡＲシステムは、運転免許証上の氏名が航空機旅券上の氏名に整合するかどうかを決定することができる。本明細書に説明されるように、整合は、１００％整合を要求しない。例えば、ＡＲシステムは、運転免許証が、乗客の完全なミドルネームを有する一方、航空機旅券が、乗客のミドルネームのイニシャルのみを有する場合でも、整合を検出してもよい。

第１の情報が、第２の情報に整合する場合、ブロック１４６０では、ＡＲシステムは、第１のドキュメントまたは第２のドキュメントのいずれか（または両方）が有効であることを決定し得る。ＡＲシステムは、視覚的焦点インジケータ（ドキュメントの周囲の後光等）を提供することによって、第１のドキュメントおよび／または第２のドキュメントをフラグすることができる。ＡＲシステムはまた、図１２Ａに示されるように、単語「整合」等の仮想注釈を提供することができる。

他方では、第１の情報が、第２の情報と一貫しない場合、ブロック１４７０では、ＡＲシステムは、第１の情報および第２の情報が整合しないことのインジケーションを提供してもよい。例えば、ＡＲシステムは、ハイライト等の視覚的焦点インジケータを提供し、第１の情報と第２の情報との間の非一貫性を示してもよい。いくつかの実施形態では、ＡＲシステムは、第１の情報と第２の情報との間の不整合に基づいて、ドキュメントのうちの少なくとも１つが無効であることを決定してもよい。

いくつかの実装では、ＡＲシステムは、ドキュメント内の複数の情報を比較し、比較に基づいて、信頼度スコアを計算してもよい。ＡＲシステムは、信頼度スコアと閾値スコアを比較することによって、ドキュメントを有効（または無効）としてフラグしてもよい。（複数のドキュメントを使用して人物を認証する例示的プロセス）

図１５は、人物と複数のドキュメントとの間の整合を決定するための例示的プロセスのフローチャートである。プロセス１５００は、本明細書に説明されるＡＲシステム（例えば、ウェアラブルシステム２００）によって実施されてもよいが、プロセス１５００はまた、ロボット、旅行チェックインキオスク、またはセキュリティシステム等の他のコンピューティングシステムによって実施されてもよい。

ブロック１５１０では、ＡＲシステムは、環境の画像を取得することができる。ＡＲシステムは、外向きに面したイメージングシステム４６４（図４に示される）を使用して、画像を取得することができる。ＡＲシステムは、画像内の第１のドキュメント、第２のドキュメント、および人物を検出してもよい。例えば、ＡＲシステムによって捕捉された画像は、第１のドキュメントおよび第２のドキュメントを保持する人物を含んでもよい。

ブロック１５２０では、ＡＲシステムは、環境の画像を分析し、情報を第１のドキュメントから抽出することができる。抽出された情報は、人物のバイオメトリック情報を含んでもよい。

ブロック１５３２では、ＡＲシステムは、情報を第２のドキュメントから抽出することができる。抽出された情報は、バイオメトリック情報を含んでもよい。ＡＲシステムは、第２のドキュメントの画像を分析することによって、そのような情報を抽出してもよい。ＡＲシステムはまた、情報を第２のドキュメントから直接抽出してもよい。例えば、ＡＲシステムは、ヒト可視スペクトル外の光（ＵＶ光等）を第２のドキュメント上に放出し、ヒト可視スペクトル内の光で照明されたときに知覚可能ではない情報を識別してもよい。別の実施例として、ＡＲシステムは、第２のドキュメントの光学ラベルを走査し、光学ラベル内の情報を使用し、付加的情報を別のデータソースから取得してもよい。

いくつかの実装では、第１のドキュメントから抽出される情報は、第２のドキュメントから抽出される情報と同一カテゴリ内にあってもよい。例えば、ＡＲシステムは、第１のドキュメント内の人物の氏名を識別し、第２のドキュメント内の別の氏名を識別してもよい。ブロック１５４２では、ＡＲシステムは、第１のドキュメント上の氏名が第２のドキュメント上の氏名に整合するかどうか等、情報および第２の情報が相互に整合するかどうかを決定することができる。

ブロック１５５２では、ＡＲシステムは、第１および第２のドキュメント内の情報の一貫性に基づいて、第１のドキュメントと第２のドキュメントとの間のリンケージを決定することができる。例えば、第１のドキュメントおよび第２のドキュメントが、同一氏名を示す場合、第１および第２のドキュメント間にリンケージが存在する可能性がより高い。ＡＲシステムは、第１および第２のドキュメント内の情報の複数のカテゴリを使用して、リンケージを決定してもよい。例えば、氏名の比較に加え、ＡＲシステムはまた、２つのドキュメントの居住住所を比較することができる。ＡＲシステムが、２つのドキュメントが、同一氏名を有するが、異なる住所であることを決定する場合、ＡＲシステムは、２つのドキュメント間のリンケージの存在の可能性が低いことを決定し得る。いくつかの実施形態では、ＡＲシステムは、別のデータソースを参照し、リンケージをさらに決定してもよい。例えば、ＡＲシステムは、住所を人口統計データベース内でルックアップしてもよい。両住所が、人物の氏名にリンクされる場合、ＡＲシステムは、２つのドキュメント間のリンケージの存在の可能性を増加させてもよい。

本明細書に説明されるように、いくつかの実施形態では、ＡＲシステムが、第１のドキュメントおよび第２のドキュメント内の情報が一貫しないことを決定する場合、ＡＲシステムは、非一貫性をフラグしてもよい。例えば、ＡＲシステムが、運転免許証上の氏名が人物によって提示される航空機旅券上の氏名に整合しないことを決定すると、ＡＲシステムは、単語「不整合」を表示する、または第１および／または第２のドキュメントの氏名を強調してもよい。

ブロック１５３２、１５４２、および１５５２に加え、またはその代替として、ＡＲシステムは、ブロック１５３４、１５４４、および１５５４を実施し、リンケージを検出してもよい。ブロック１５３４では、ＡＲシステムは、人物のバイオメトリック情報を環境の画像から抽出することができる。例えば、ＡＲシステムは、人物の顔を識別し、人物の顔特徴を分析してもよい。

ブロック１５４４では、ＡＲシステムは、人物のバイオメトリック情報がドキュメントからのバイオメトリック情報に整合するかどうかを決定することができる。図１２Ａおよび１２Ｂを参照して説明されるように、ＡＲシステムは、人物の顔特徴が識別ドキュメント上の画像の顔特徴に整合するかどうかを決定することができる。

ブロック１５５４では、ＡＲシステムは、１つ以上の情報の整合に基づいて、ドキュメントと人物との間のリンケージを検出することができる。図１２Ａおよび１２Ｂを参照して説明されるように、ＡＲシステムは、人物の顔とドキュメント内の顔との間の顔特徴の類似性および非類似性を決定してもよい。ＡＲシステムはまた、ドキュメント内の髪色の記述が人物の髪色に整合するかどうか、ドキュメント上の虹彩コードが人物を走査することによって生成された虹彩コードに整合するかどうか等の他のファクターを使用して、人物がドキュメントによって記述されるのと同一人物である可能性がより高いかどうかを決定してもよい。ＡＲシステムは、１つまたはファクターに基づいて、信頼度スコアを計算することができる。ＡＲシステムは、信頼度スコアが閾値に合格するかどうかに基づいて、リンケージが存在するかどうかを決定することができる。

随意に、ブロック１５６０では、ＡＲシステムは、第１のドキュメント、第２のドキュメント、および人物内の情報を分析し、それらの間にリンケージが存在するかどうかを決定することができる。例えば、図１２Ｂを参照して説明されるように、ＡＲシステムは、人物の顔特徴を分析し、顔特徴を使用して、人物の氏名を別のデータソース内でルックアップすることができる。ＡＲシステムは、本氏名と第１および第２のドキュメント内の氏名を比較し、全３つの氏名が一貫するかどうかを決定することができる。氏名が一貫する場合、ＡＲシステムは、第１のドキュメント、第２のドキュメント、および人物間にリンケージを作成することができる。そうでなければ、ＡＲシステムは、それらの間のリンケージの可能性を示す、またはリンケージが存在しないことを示してもよい。

別の実施例では、識別ドキュメントと人物との間のリンケージが存在し得るが、他のドキュメントとのリンケージが存在しない場合がある。これは、例えば、ある人物が、自身の運転免許証を保持するが、別の人物のフライト旅券を使用するときに起こり得る。本状況では、ＡＲシステムは、人物と運転免許証との間のリンケージが存在する場合でも、２つのドキュメント間にリンケージを作成しないように構成されてもよい。ある実施形態では、ブロック１５５２および１５５４は、随意であってもよい。例えば、ＡＲシステムは、ブロック１５５２および１５５４を実施せずに、ブロック１５６０を直接実施することができる。

いくつかの実装では、ＡＲシステムは、周囲を検索し、リンケージを有し得るドキュメントを識別することができる。例えば、ＡＲシステムが、１人の人物が運転免許証および航空機旅券を保持する一方、別の人物が異なる運転免許証を保持する、画像を取得すると、ＡＲシステムは、それらが異なる人々に属するため、２つの運転免許証間にリンケージが存在しないことを決定し得る。ＡＲシステムは、別のドキュメント（航空機旅券等）を検索し、例えば、同一人物の氏名が両ドキュメント上に現れるため、他のドキュメントおよび運転免許証がリンケージを有することを決定し得る。

本明細書に説明される実施例は、人物とドキュメントとの間のリンケージ（例えば、整合／不整合）を検出することができるが、ある実装では、ＡＲシステムはまた、２人の人物間のリンケージを検出することができる。例えば、ＡＲシステムは、環境内の２人の異なる個人と対応する２つの顔を検出し、２つの顔の顔特徴を比較し、個人が類似しているようである（例えば、彼らが双子または兄弟であるため）ことまたは異なっているようである（例えば、彼らが非関連の見知らぬ人であるため）ことを決定することができる。
（付加的実施形態）

第１の側面では、人物と人物によって提示されるドキュメントを整合させるための方法であって、コンピュータハードウェアを備える拡張現実（ＡＲ）システムの制御下で、ＡＲシステムは、環境をイメージングするように構成される外向きに面したカメラを備え、外向きに面したカメラを用いて、環境の画像を取得することと、画像内の第１の顔を検出することであって、第１の顔は、環境内の人物と関連付けられる、ことと、画像内の第２の顔を検出することであって、第２の顔は、人物と関連付けられた識別ドキュメント内に含まれる、ことと、第１の顔と関連付けられた第１の顔特徴を識別することと、第２の顔と関連付けられた第２の顔特徴を識別することと、少なくとも部分的に、第１の顔特徴および第２の顔特徴の比較に基づいて、人物と識別ドキュメントとの間の整合を決定することとを含む、方法。

第２の側面では、第１の顔を検出することまたは第２の顔を検出することは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムのうちの少なくとも１つを使用して、画像内の第１の顔または第２の顔を特定することを含む、側面１に記載の方法。

第３の側面では、画像は、複数の顔を備え、第１の顔を検出することまたは第２の顔を検出することは、フィルタを適用し、関連顔を識別することを含む、側面１－２のいずれか１項に記載の方法。

第４の側面では、第２の顔を検出することは、第２の顔の動きを分析することと、第２の顔の動きが単一平面ホモグラフィによって記述されることの決定に応答して、第２の顔を検出することとを含む、側面１－３のいずれか１項に記載の方法。

第５の側面では、第１の顔特徴を識別することまたは第２の顔特徴を識別することは、それぞれ、少なくとも部分的に、第１の顔特徴に基づいて、第１の顔と関連付けられた第１の特徴ベクトルを計算すること、または少なくとも部分的に、第２の顔特徴に基づいて、第２の顔と関連付けられた第２の特徴ベクトルを計算することを含む、側面１－４のいずれか１項に記載の方法。

第６の側面では、少なくとも部分的に、個別の第１の顔特徴の場所に基づいて、第１の加重を第１の顔特徴に割り当てること、または少なくとも部分的に、個別の第２の顔特徴の場所に基づいて、第２の加重を第２の顔特徴に割り当てることをさらに含む、側面５に記載の方法。

第７の側面では、第１の特徴ベクトルを計算することまたは第２の特徴ベクトルを計算することは、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの１つ以上を使用して実施される、側面５－６のいずれか１項に記載の方法。

第８の側面では、整合を決定することは、第１の特徴ベクトルと第２の特徴ベクトルとの間の距離を計算することと、距離を閾値と比較することと、距離が閾値に合格したとき、整合を確認することとを含む、側面５－７のいずれか１項に記載の方法。

第９の側面では、距離は、ユークリッド距離である、側面８に記載の方法。

第１０の側面では、識別ドキュメントは、識別ドキュメントがヒト可視スペクトル（ＨＶＳ）内の光で照明されたときに直接知覚可能ではない、隠蔽された情報を含む、側面１－９のいずれか１項に記載の方法。

第１１の側面では、隠蔽された情報は、クイックレスポンスコード、バーコード、または虹彩コードのうちの１つ以上を備える、ラベル内にエンコードされる、側面１－１０のいずれか１項に記載の方法。

第１２の側面では、ラベルは、別のデータソースへの参照を備える、側面１１に記載の方法。

第１３の側面では、少なくとも部分的に、環境の画像の分析に基づいて、人物の第１のバイオメトリック情報を取得することと、第２のバイオメトリック情報を識別ドキュメントから取得することとをさらに含む、側面１－１２のいずれか１項に記載の方法。

第１４の側面では、第２のバイオメトリック情報を取得することは、識別ドキュメント上のラベルを走査し、ラベル内にエンコードされた隠蔽された情報を読み出すこと、識別ドキュメントによって提供される参照を使用して、バイオメトリック情報を他のデータソースから読み出すこと、または識別ドキュメントを紫外線光で照明し、識別ドキュメント内の隠蔽された情報を露見させることであって、隠蔽された情報は、ＨＶＳ内の光で照明されたときに可視ではない、ことのうちの１つ以上を含む、側面１３に記載の方法。

第１５の側面では、整合を決定することはさらに、第１のバイオメトリック情報と第２のバイオメトリック情報を比較し、第１のバイオメトリック情報が第２のバイオメトリック情報と一貫するかどうかを決定することを含む、側面１３－１４のいずれか１項に記載の方法。

第１６の側面では、第１のバイオメトリック情報または第２のバイオメトリック情報は、指紋、虹彩コード、身長、性別、髪色、眼色、または体重のうちの１つ以上を含む、側面１３－１５のいずれか１項に記載の方法。

第１７の側面では、識別ドキュメントは、運転免許証、パスポート、またはステートＩＤカード（ｓｔａｔｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｃａｒｄ）のうちの少なくとも１つを含む、側面１－１６のいずれか１項に記載の方法。

第１８の側面では、拡張現実（ＡＲ）システムを使用して、人物の識別を検証するための方法であって、コンピュータハードウェアを備えるＡＲシステムの制御下で、ＡＲシステムは、環境をイメージングするように構成される外向きに面したカメラと、ヒト可視スペクトル（ＨＶＳ）外の光を放出するように構成される光学センサとを備え、外向きに面したカメラを用いて、環境の画像を取得することと、少なくとも部分的に、環境の画像の分析に基づいて、人物と関連付けられた第１のバイオメトリック情報を識別することと、人物によって提示されるドキュメント内の第２のバイオメトリック情報を識別することと、第１のバイオメトリック情報と第２のバイオメトリック情報との間の整合を決定することとを含む、方法。

第１９の側面では、光学センサによって放出される光は、紫外線光を含む、側面１８に記載の方法。

第２０の側面では、第１のバイオメトリック情報または第２のバイオメトリック情報は、顔、指紋、虹彩コード、身長、性別、髪色、眼色、または体重のうちの１つ以上を含む、側面１８－１９のいずれか１項に記載の方法。

第２１の側面では、第１のバイオメトリック情報を識別することおよび第２のバイオメトリック情報を識別することは、画像内の第１の顔を検出することであって、第１の顔は、第１の顔特徴を含み、人物と関連付けられる、ことと、画像内の第２の顔を検出することであって、第２の顔は、第２の顔特徴を含み、人物によって提示されるドキュメント内に含まれる、こととを含む、側面１８－２０のいずれか１項に記載の方法。

第２２の側面では、第１の顔を検出することまたは第２の顔を検出することは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムのうちの少なくとも１つを使用して、画像内の第１の顔または第２の顔を特定することを含む、側面２１に記載の方法。

第２３の側面では、整合を決定することは、それぞれ、または少なくとも部分的に、第２の顔特徴に基づいて、第２の顔に関する第２の特徴ベクトルを計算することと、第１の特徴ベクトルと第２の特徴ベクトルとの間の距離を計算すること、距離を閾値と比較し、距離が閾値に合格したとき、整合を確認することとを含む、側面２１－２２のいずれか１項に記載の方法。

第２４の側面では、少なくとも部分的に、個別の第１の顔特徴の場所に基づいて、第１の加重を第１の顔特徴に割り当てること、または少なくとも部分的に、個別の第２の顔特徴の場所に基づいて、第２の加重を第２の顔特徴に割り当てることをさらに含む、側面２１－２３のいずれか１項に記載の方法。

第２５の側面では、距離は、ユークリッド距離である、側面２３－２４のいずれか１項に記載の方法。

第２６の側面では、第１の特徴ベクトルを計算することまたは第２の特徴ベクトルを計算することは、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの１つ以上を使用して実施される、側面２３－２５のいずれか１項に記載の方法。

第２７の側面では、第２の情報を識別することは、光学センサによって、光をドキュメント上に放出することであって、光は、ＨＶＳ外である、ことと、光学センサによって放出される光下で情報を識別することであって、第２の情報は、ＨＶＳ内の光で照明されたときに直接可視ではない、こととを含む、側面１８－１９のいずれか１項に記載の方法。

第２８の側面では、第２の情報を識別することは、ドキュメント内のラベルを識別することであって、ラベルは、エンコードされたバイオメトリック情報を含有する、ことと、少なくとも部分的に、ラベルの分析に基づいて、デコードされたバイオメトリック情報を読み出すこととを含む、側面１８－１９のいずれか１項に記載の方法。

第２９の側面では、デコードされたバイオメトリック情報を読み出すことは、バイオメトリック情報を環境の画像以外のデータソースから読み出すことを含む、側面２８に記載の方法。

第３０の側面では、ドキュメントは、識別ドキュメントを含む、側面２９に記載の方法。

第３１の側面では、外向きに面したカメラと、コンピュータハードウェアとを備える、拡張現実（ＡＲ）システムであって、ＡＲシステムは、側面１－１７に記載の方法のうちの任意の１つを実施するように構成される、ＡＲシステム。

第３２の側面では、環境をイメージングするように構成される、外向きに面したカメラと、ヒト可視スペクトル外の光を放出するように構成される、光学センサと、コンピュータハードウェアとを備える、拡張現実（ＡＲ）システムであって、ＡＲシステムは、側面１８－３０に記載の方法のうちの任意の１つを実施するように構成される、ＡＲシステム。

第３３の側面では、拡張現実（ＡＲ）システムを使用して、２つのドキュメント間のリンケージを決定するための方法であって、コンピュータハードウェアを備えるＡＲシステムの制御下で、ＡＲシステムは、環境をイメージングするように構成される外向きに面したカメラと、ヒト可視スペクトル（ＨＶＳ）外の光を放出するように構成される光学センサとを備え、環境の画像を取得することと、画像内の第１のドキュメントおよび第２のドキュメントを検出することと、少なくとも部分的に、画像の分析に基づいて、第１の情報を第１のドキュメントから抽出することと、第２の情報を第２のドキュメントから抽出することであって、第１の情報および第２の情報は、同一カテゴリ内にある、ことと、第１の情報と第２の情報との間の整合を決定することと、第１の情報と第２の情報との間の整合が存在することの決定に応答して、第１のドキュメントと第２のドキュメントとの間のリンケージを決定することとを含む、方法。

第３４の側面では、光学センサによって放出される光は、紫外線光を含む、側面３３に記載の方法。

第３５の側面では、第１の情報および第２の情報は、氏名、住所、有効期限、人物の写真、指紋、虹彩コード、身長、性別、髪色、眼色、または体重を含む、側面３３－３４のいずれか１項に記載の方法。

第３６の側面では、第２の情報は、ＨＶＳ内の光で照明されたときに不可視である、側面３３－３５のいずれか１項に記載の方法。

第３７の側面では、第２の情報を抽出することは、光学センサによって、第２のドキュメント上に光を放出することであって、光の少なくとも一部は、ＨＶＳ外である、ことと、光学センサによって放出される光下で第２の情報を識別することであって、第２の情報は、通常光学条件下でヒトに直接可視ではない、こととを含む、側面３６に記載の方法。

第３８の側面では、第２の情報を抽出することは、第２のドキュメント内のラベルを識別することであって、ラベルは、別のデータソースへの参照を含有する、ことと、他のデータソースと通信し、第２の情報を読み出すこととを含む、側面３３－３６のいずれか１項に記載の方法。

第３９の側面では、ラベルは、クイックレスポンスコードまたはバーコードのうちの１つ以上を備える、側面３８に記載の方法。

第４０の側面では、整合を決定することは、第１の情報および第２の情報を比較することと、少なくとも部分的に、第１の情報と第２の情報との間の類似性または非類似性に基づいて、信頼度スコアを計算することと、信頼度スコアが閾値に合格したとき、整合を検出することとを含む、側面３３－３９のいずれか１項に記載の方法。

第４１の側面では、少なくとも部分的に、決定された整合に基づいて、第１のドキュメントまたは第２のドキュメントのうちの少なくとも１つを有効としてフラグすることをさらに含む、側面３３－４０のいずれか１項に記載の方法。

第４２の側面では、第１の情報と第２の情報との間の整合が存在しないことの決定に応答して、第１の情報および第２の情報が整合しないことのインジケーションを提供することをさらに含み、インジケーションは、焦点インジケータを備える、側面３３－４１のいずれか１項に記載の方法。

第４３の側面では、第１のドキュメントおよび第２のドキュメントを検出することは、少なくとも部分的に、フィルタに基づいて、第１のドキュメントおよび第２のドキュメントを識別することを含む、側面３３－４２のいずれか１項に記載の方法。

第４４の側面では、拡張現実（ＡＲ）システムを使用して、人物と複数のドキュメントとの間のリンケージを決定するための方法であって、コンピュータハードウェアを備えるＡＲシステムの制御下で、ＡＲシステムは、環境をイメージングするように構成される外向きに面したカメラと、ヒトの可視スペクトル外の光を放出するように構成される光学センサとを備え、環境の画像を取得することと、画像内の人物、第１のドキュメント、および第２のドキュメントを検出することと、少なくとも部分的に、第１のドキュメントの画像の分析に基づいて、第１の個人情報を抽出することと、第２の個人情報を第２のドキュメントから抽出することと、少なくとも部分的に、人物の画像の分析に基づいて、人物の第３の個人情報を抽出することであって、第１の個人情報、第２の個人情報、および第３の個人情報は、同一カテゴリ内にある、ことと、第１の個人情報、第２の個人情報、および第３の個人情報間の整合を決定することと、第１の個人情報、第２の情報、および第３の個人情報間に整合が存在することの決定に応答して、第１のドキュメント、第２のドキュメント、および人物間のリンケージを決定することとを含む、方法。

第４５の側面では、光学センサによって放出される光は、紫外線光を含む、側面４４に記載の方法。

第４６の側面では、第１の個人情報、第２の人物情報、または第３の個人情報は、氏名、住所、有効期限、人物の写真、指紋、虹彩コード、身長、性別、髪色、眼色、または体重を含む、側面４４－４５のいずれか１項に記載の方法。

第４７の側面では、第１の個人情報を抽出することおよび第３の個人情報を抽出することは、画像内の第１の顔を検出することであって、第１の顔は、第１のドキュメント内に含まれる、ことと、画像内の第２の顔を検出することであって、第２の顔は、環境内の人物と関連付けられる、ことと、第１の顔と関連付けられた第１の顔特徴を識別することと、第２の顔と関連付けられた第２の顔特徴を識別することとを含む、側面４４に記載の方法。

第４８の側面では、第１の顔を検出することまたは第２の顔を検出することは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムのうちの少なくとも１つを使用して、画像内の第１の顔または第２の顔を特定することを含む、側面４７に記載の方法。

第４９の側面では、第１の顔を検出することは、第１の顔の動きを分析することと、第２の顔の動きが単一平面ホモグラフィによって記述されることの決定に応答して、第１の顔を検出することとを含む、側面４７－４８のいずれか１項に記載の方法。

第５０の側面では、第１の顔特徴を識別することまたは識別する第２の顔特徴を識別することは、それぞれ、少なくとも部分的に、第１の顔特徴に基づいて、第１の顔と関連付けられた第１の特徴ベクトルを計算すること、または少なくとも部分的に、第２の顔特徴に基づいて、第２の顔と関連付けられた第２の特徴ベクトルを計算することを含む、側面４７－４９のいずれか１項に記載の方法。

第５１の側面では、少なくとも部分的に、個別の第１の顔特徴の場所に基づいて、第１の加重を第１の顔特徴に割り当てること、または少なくとも部分的に、個別の第２の顔特徴の場所に基づいて、第２の加重を第２の顔特徴に割り当てることをさらに含む、側面５０に記載の方法。

第５２の側面では、第１の特徴ベクトルを計算することまたは第２の特徴ベクトルを計算することは、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの１つ以上を使用して実施される、側面５０－５１のいずれか１項に記載の方法。

第５３の側面では、整合を決定することは、第１の特徴ベクトルと第２の特徴ベクトルとの間の距離を計算することと、距離を閾値と比較することと、距離が閾値に合格したとき、整合を確認することとを含む、側面４７－５２のいずれか１項に記載の方法。

第５４の側面では、距離は、ユークリッド距離である、側面５３に記載の方法。

第５５の側面では、第２の個人情報は、ＨＶＳ内の光で照明されたときに不可視である、側面４４－５４に記載の方法。

第５６の側面では、第２の個人情報を抽出することは、光学センサによって、第２のドキュメント上に光を放出することであって、光の少なくとも一部は、ＨＶＳ外である、ことと、光学センサによって放出される光下で第２の個人情報を識別することであって、第２の個人情報は、通常光学条件下でヒトに直接可視ではない、こととを含む、側面５５に記載の方法。

第５７の側面では、第２の個人情報を抽出することは、第２のドキュメント内のラベルを識別することであって、ラベルは、別のデータソースへの参照を含有する、ことと、他のデータソースと通信し、第２の個人情報を読み出すこととを含む、側面４４－５５のいずれか１項に記載の方法。

第５８の側面では、ラベルは、クイックレスポンスコードまたはバーコードのうちの１つ以上を備える、側面５７に記載の方法。

第５９の側面では、整合を決定することは、第１の個人情報および第２の個人情報を比較することと、少なくとも部分的に、第１の個人情報と第２の個人情報との間の類似性または非類似性に基づいて、信頼度スコアを計算することと、信頼度スコアが閾値に合格したとき、整合を検出することとを含む、側面４４－５８のいずれか１項に記載の方法。

第６０の側面では、少なくとも部分的に、検出された整合に基づいて、第１のドキュメントまたは第２のドキュメントのうちの少なくとも１つを有効としてフラグすることをさらに含む、側面４４－５９のいずれか１項に記載の方法。

第６１の側面では、第１の個人情報、第２の個人情報、および第３の個人情報のうちの少なくとも２つ間に整合が存在しないことの決定に応答して、整合が存在しないことを示すインジケーションを提供することをさらに含む、側面４４－６０のいずれか１項に記載の方法。

第６２の側面では、環境内において、第１の個人情報、第２の個人情報、または第３の個人情報のうちの少なくとも１つに整合する情報を含む、第４のドキュメントを検索することをさらに含む、側面６１に記載の方法。

第６３の側面では、第１のドキュメントまたは第２のドキュメントは、識別ドキュメントまたは航空機旅券を含む、側面４４－６２のいずれか１項に記載の方法。

第６４の側面では、画像内の人物、第１のドキュメント、および第２のドキュメントを検出することは、少なくとも部分的に、フィルタに基づいて、人物、第１のドキュメント、または第２のドキュメントを識別することを含む、側面４４－６３のいずれか１項に記載の方法。

第６５の側面では、コンピュータハードウェアを備える、拡張現実（ＡＲ）システムであって、ＡＲシステムは、環境をイメージングするように構成される、外向きに面したカメラと、ヒト可視スペクトル外の光を放出するように構成される、光学センサとを備え、ＡＲシステムは、側面３３－６４に記載の方法のうちの任意の１つを実施するように構成される、ＡＲシステム。

第６６の側面では、ＡＲ環境内のリンケージを検出するための拡張現実（ＡＲ）システムであって、拡張現実システムは、ＡＲシステムの環境をイメージングするように構成される、外向きに面したイメージングシステムと、３次元（３Ｄ）ビュー内の仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ハードウェアプロセッサであって、外向きに面したイメージングシステムを用いて、環境の画像を取得することと、画像内の第１の顔および第２の顔を検出することであって、第１の顔は、環境内の人物の顔であり、第２の顔は、識別ドキュメント上の顔である、ことと、第１の顔と関連付けられた第１の顔特徴に基づいて、第１の顔を認識することと、第２の顔特徴に基づいて、第２の顔を認識することと、第１の顔特徴および第２の顔特徴を分析し、人物と識別ドキュメントとの間のリンケージを検出することと、ＡＲディスプレイに、第１の顔特徴および第２の顔特徴の分析の結果を示す仮想注釈を提示するように命令することとを行うようにプログラムされる、ハードウェアプロセッサとを備える、拡張現実システム。

第６７の側面では、第１の顔および第２の顔を検出するために、ハードウェアプロセッサは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムのうちの少なくとも１つを画像に適用するようにプログラムされる、側面６６に記載のＡＲシステム。

第６８の側面では、ハードウェアプロセッサはさらに、第２の顔の動きを分析することによって、第２の顔が識別ドキュメント上の顔であることを検出することと、動きが単一平面ホモグラフィによって記述されるかどうかを決定することとを行うようにプログラムされる、側面６６－６７のいずれか１項に記載のＡＲシステム。

第６９の側面では、第１の顔または第２の顔を認識するために、ハードウェアプロセッサは、それぞれ、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの少なくとも１つを適用することによって、少なくとも部分的に、第１の顔特徴に基づいて、第１の顔と関連付けられた第１の特徴ベクトルを計算すること、または、少なくとも部分的に、第２の顔特徴に基づいて、第２の顔と関連付けられた第２の特徴ベクトルを計算することを行うようにプログラムされる、側面６６－６８のいずれか１項に記載のＡＲシステム。

第７０の側面では、人物と識別ドキュメントとの間のリンケージを検出するために、ハードウェアプロセッサは、第１の特徴ベクトルと第２の特徴ベクトルとの間の距離を計算することと、距離を閾値と比較することと、距離が閾値に合格することの決定に応答して、リンケージを検出することとを行うようにプログラムされる、側面６９に記載のＡＲシステム。

第７１の側面では、距離は、ユークリッド距離である、側面７０に記載のＡＲシステム。

第７２の側面では、識別ドキュメントは、クイックレスポンスコード、バーコード、または虹彩コードのうちの１つ以上を備える、ラベルを有する、側面６６－７１のいずれか１項に記載のＡＲシステム。

第７３の側面では、ハードウェアプロセッサはさらに、ラベルを環境の画像から識別することと、ラベルを使用して、外部データソースにアクセスし、人物のバイオメトリック情報を読み出すこととを行うようにプログラムされる、側面７２に記載のＡＲシステム。

第７４の側面では、ＡＲシステムはさらに、ヒト可視スペクトル（ＨＶＳ）外の光を照明するように構成される、光学センサを備え、ハードウェアプロセッサはさらに、光学センサに、光を識別ドキュメントに向かって照明し、識別ドキュメント内の隠蔽された情報を露見させるように命令することと、識別ドキュメントの画像を分析することであって、画像は、識別ドキュメントが光で照明されたときに入手される、ことと、バイオメトリック情報を画像から抽出することであって、抽出されたバイオメトリック情報は、人物と識別ドキュメントとの間のリンケージを検出するために使用される、こととを行うようにプログラムされる、側面６６－７３のいずれか１項に記載のＡＲシステム。

第７５の側面では、ハードウェアプロセッサは、第１の顔特徴と第２の顔特徴との間の整合の可能性を計算するようにプログラムされる、側面６６－７４のいずれか１項に記載のＡＲシステム。

第７６の側面では、注釈は、人物および識別ドキュメントをリンクさせる視覚的焦点インジケータを備える、側面６６－７５のいずれか１項に記載のＡＲシステム。

第７７の側面では、拡張現実環境内のリンケージを検出するための方法であって、外向き撮像イメージングシステムおよびハードウェアプロセッサを備える拡張現実デバイスの制御下で、拡張現実デバイスは、仮想コンテンツを拡張現実デバイスの装着者に表示するように構成され、環境の画像を取得することと、画像内の人物、第１のドキュメント、および第２のドキュメントを検出することと、少なくとも部分的に、第１のドキュメントの画像の分析に基づいて、第１の個人情報を抽出することと、第２のドキュメントと関連付けられた第２の個人情報にアクセスすることと、少なくとも部分的に、人物の画像の分析に基づいて、人物の第３の個人情報を抽出することであって、第１の個人情報、第２の個人情報、および第３の個人情報は、同一カテゴリ内にある、ことと、第１の個人情報、第２の個人情報、および第３の個人情報間の整合の可能性を決定することと、整合の可能性が閾値条件を超えることの決定に応答して、第１のドキュメント、第２のドキュメント、および人物間のリンケージを表示することとを含む、方法。

第７８の側面では、環境の画像を取得することは、拡張現実デバイスの外向きに面したイメージングシステムによって入手された画像にアクセスすることを含む、側面７７に記載の方法。

第７９の側面では、第１の個人情報および第３の個人情報を抽出することは、画像内の第１の顔を検出することであって、第１の顔は、第１のドキュメント内に含まれる、ことと、画像内の第２の顔を検出することであって、第２の顔は、環境内の人物と関連付けられる、ことと、第１の顔と関連付けられた第１の顔特徴および第２の顔と関連付けられた第２の顔特徴を識別することと、それぞれ、第１の顔特徴および第２の顔特徴に基づいて、第１の顔および第２の顔を認識することとを含む、側面７７－７８のいずれか１項に記載の方法。

第８０の側面では、第１の顔を検出することまたは第２の顔を検出することは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムを適用することを含む、側面７９に記載の方法。

第８１の側面では、第１の顔を認識することおよび第２の顔を認識することは、それぞれ、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの少なくとも１つを適用することによって、少なくとも部分的に、第１の顔特徴に基づいて、第１の顔と関連付けられた第１の特徴ベクトルを計算することと、少なくとも部分的に、第２の顔特徴に基づいて、第２の顔と関連付けられた第２の特徴ベクトルを計算することとを含む、側面７９－８０のいずれか１項に記載の方法。

第８２の側面では、第２の個人情報にアクセスすることは、光が第２のドキュメント上に当てられたとき、第２のドキュメントの画像を入手することであって、光の少なくとも一部は、ヒト可視スペクトル外にある、ことと、第２のドキュメントの入手された画像に基づいて、第２の個人情報を識別することであって、第２の個人情報は、通常光学条件下、ヒトに直接可視ではない、こととを含む、側面７７－８１のいずれか１項に記載の方法。

第８３の側面では、第２の個人情報にアクセスすることは、ラベルを環境の画像から識別することと、ラベルを使用して、複数の人物の個人情報を記憶するデータソースにアクセスし、人物のバイオメトリック情報を読み出すこととを含む、側面７７－８２のいずれか１項に記載の方法。

第８４の側面では、整合の可能性を決定することは、第１の個人情報および第２の個人情報を比較することと、少なくとも部分的に、第１の個人情報と第２の個人情報との間の類似性または非類似性に基づいて、信頼度スコアを計算することとを含む、側面７７－８３のいずれか１項に記載の方法。

第８５の側面では、信頼度スコアが閾値を超えることの決定に応答して、第１のドキュメントまたは第２のドキュメントのうちの少なくとも１つを有効として示す仮想注釈を表示することをさらに含む、側面８４に記載の方法。
（他の考慮点）

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実施するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線ネットワークまたは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装において組み合わせで実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されることを示唆することは意図されていない、または、１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必ず含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的な要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されたとき、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または、全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (1)

1. 本明細書に記載の発明。