JP2019512793A - バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム - Google Patents

バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム Download PDF

Info

Publication number
JP2019512793A
JP2019512793A JP2018548074A JP2018548074A JP2019512793A JP 2019512793 A JP2019512793 A JP 2019512793A JP 2018548074 A JP2018548074 A JP 2018548074A JP 2018548074 A JP2018548074 A JP 2018548074A JP 2019512793 A JP2019512793 A JP 2019512793A
Authority
JP
Japan
Prior art keywords
biometric information
wearer
display system
head mounted
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018548074A
Other languages
English (en)
Other versions
JP7233927B2 (ja
Inventor
エイドリアン ケーラー,
エイドリアン ケーラー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=59898990&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2019512793(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019512793A publication Critical patent/JP2019512793A/ja
Priority to JP2022030788A priority Critical patent/JP7416552B2/ja
Application granted granted Critical
Publication of JP7233927B2 publication Critical patent/JP7233927B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0217Discounts or incentives, e.g. coupons or rebates involving input on products or services in exchange for incentives or rewards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Abstract

頭部搭載型ディスプレイシステムと別のコンピューティングデバイスとの間のバイオメトリック情報の交換を促進するように構成されている頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、仮想または拡張現実デバイスを備えていることができる。頭部搭載型ディスプレイシステムを用いてバイオメトリック情報に関する同意要求を表示後、バイオメトリック情報のある側面に関する同意指示を含む、同意要求に対する応答が決定されることができる。例えば、頭部搭載型ディスプレイのカメラを利用して、装着者からバイオメトリック情報を取得し、バイオメトリック情報を処理後、バイオメトリック情報処理結果が、生成されることができる。結果は、頭部搭載型ディスプレイシステムから別のコンピューティングデバイスに通信されることができる。

Description

(関連出願の引用)
本願は、米国特許出願第62/311,745号(2016年3月22日出願、名称「Biometric Information Exchange System」)に対する優先権の利益を主張し、上記出願の内容は、その全体が参照により本明細書に引用される。
(分野)
本開示は、仮想現実および拡張現実結像ならびに可視化システムに関し、特に、そのような結像および可視化システム間の情報交換のためのシステムおよび方法に関する。
仮想または拡張現実デバイス等のウェアラブルディスプレイシステムは、ユーザのバイオメトリック情報を捕捉することができる。バイオメトリック情報は、装着者に関連付けられた生理学的特性および/または挙動特性を含むことができる。生理学的特性は、身体姿勢(例えば、眼視線)、瞳孔拡張状態、顔特性(例えば、にやけ顔またはしかめっ面)、音声特性、心拍数または血圧、皮膚条件(例えば、発汗)等を含むことができる。挙動特性は、歩行、音声特性、装着者の傾向等を含むことができる。
本明細書に開示されるのは、例えば、ウェアラブルディスプレイシステムの装着者のバイオメトリック情報を交換するように構成されている拡張または仮想現実ディスプレイデバイス等のウェアラブルディスプレイシステムの実施形態である。いくつかの実施形態では、頭部搭載型ディスプレイシステムは、ユーザの眼の複数の眼画像を捕捉するように構成されている第1の画像捕捉デバイスと、複数の外界画像を捕捉するように構成されている第2の画像捕捉デバイスと、頭部搭載型ディスプレイの装着者の眼に対して仮想画像を表示するように構成されているディスプレイと、第1の画像捕捉デバイス、第2の画像捕捉デバイス、およびディスプレイと通信するハードウェアプロセッサとを備え、ハードウェアプロセッサは、ディスプレイを使用して、同意要求を頭部搭載型ディスプレイの装着者に通信することであって、要求は、装着者のバイオメトリック情報に関する複数の同意カテゴリを備えている、ことと、同意要求に対する応答を受信することと、応答が頭部搭載型ディスプレイの装着者からの同意指示を含むことを決定することであって、同意指示は、装着者が合意を示した同意カテゴリに関する、ことと、第1の画像捕捉デバイスによって捕捉される頭部搭載型ディスプレイの装着者の複数の眼画像を取得することと、バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、少なくとも部分的に、装着者が合意を示した同意カテゴリおよびバイオメトリック情報に対する要求に基づいて、複数の眼画像をバイオメトリック情報入手者コンピューティングデバイスに伝送することとを行うようにプログラムされている。
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図1は、人物によって視認されるある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う拡張現実シナリオの例証を描写する。
図2は、ウェアラブルディスプレイシステムの例を図式的に図示する。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図4は、画像情報をユーザに出力するための導波管スタックの例を図式的に図示する。
図5は、導波管によって出力され得る例示的出射ビームを示す。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、または明視野の生成において使用される制御サブシステムとを含むディスプレイシステムを示す概略図である。
図7は、バイオメトリック情報交換システムがウェアラブルディスプレイシステムと装着者のバイオメトリック情報の潜在的入手者のコンピューティングデバイスとの間で情報を交換する例証的動作環境を描写するブロック図である。
図8Aは、ウェアラブルディスプレイシステムの装着者がバイオメトリック情報のオファーを視認するための同意を提供するためのバイオメトリック情報交換システムによって生成される例示的ディスプレイページを図示する。
図8Bは、図8Aにおいて開始されるように、バイオメトリック情報交換システムによって生成される例示的ディスプレイページと、装着者がバイオメトリック情報交換システムによって提供されるオファーを視認することに同意した場合にその例示的ディスプレイページ上に表示され得る対応するポップアップとを図示する。
図8Cは、装着者が装着者のバイオメトリック情報のあるカテゴリに関するオファーを受信するための同意を提供するためのバイオメトリック情報交換システムによって生成される例示的ディスプレイページを図示する。
図8Dは、図8Cにおいて開始されるように、バイオメトリック情報交換システムによって生成される例示的ディスプレイページと、装着者がバイオメトリック情報交換システムを用いてバイオメトリック情報のあるカテゴリに関するオファーを受信することに同意した場合にその例示的ディスプレイページ上に表示され得る対応するポップアップとを図示する。
図8Eは、装着者が装着者のバイオメトリック情報を共有するための同意を提供するためのバイオメトリック情報交換システムによって生成される例示的ディスプレイページを図示する。
図9は、バイオメトリック情報を交換するための例証的方法のフロー図を示す。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
(例示的拡張現実シナリオ)
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが現実であるように見える、またはそのように知覚され得る様式において、ユーザに提示される。仮想現実「VR」シナリオは、典型的には、他の実際の実世界視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてデジタルまたは仮想画像情報の提示を伴う。複合現実「MR」シナリオは、典型的には、実および仮想世界の融合を伴い、新しい環境を生成し、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VR、AR、またはMRの生成は、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、およびMR技術に関連する種々の課題に対処する。
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う拡張現実シナリオの例証を描写する。図1は、拡張現実場面100を描写し、AR技術のユーザは、人々、木々、背景内の建物、およびコンクリートプラットフォーム120を特徴とする実世界公園状設定110を見る。これらのアイテムに加え、AR技術のユーザは、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140(例えば、マルハナバチ)とも「見える」と知覚するが、これらの要素は、実世界には存在しない。
3次元(3D)ディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の各点のために、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、をもたらし得、遠近調節情報がないと、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、各深度平面に対して異なり得(例えば、場面またはオブジェクトの若干異なる提示を提供する)、それは、視認者の眼によって別個に焦点を合わせられ、それによって、異なる深度平面上に位置する場面に対する異なる画像特徴に焦点を合わせるために要求される眼の遠近調節に基づいて、および/または、焦点外れである異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、深度の真実味のある知覚を提供する。VR、AR、およびMR体験を生成または向上させるために、ディスプレイシステムは、バイオメトリック情報を使用して、それらの体験を向上させることができる。例えば、本明細書に説明されるように、バイオメトリック情報交換システムは、複合現実ディスプレイシステムの装着者とバイオメトリック情報入手者コンピューティングデバイスとの間のバイオメトリック情報の交換を促進することができる。
複合現実デバイス(MRD)、例えば、頭部搭載型MRディスプレイシステムは、MRDの装着者についてのかなりのバイオメトリック情報を入手し得る。バイオメトリック情報は、例えば、装着者の頭部または眼移動(例えば、ユーザが見ている場所)、瞳孔サイズ(例えば、装着者の関心または興奮度を示し得る)、タイミング(例えば、ユーザがアイテムを見ている時間長)、装着者の環境の画像(例えば、装着者が見ている対象)、装着者の場所等についての情報を含むことができる。MRDは、装着者の心拍数、パルス、血圧、皮膚応答(例えば、発汗)、脳の活動等を測定するためのセンサを含み得る。このバイオメトリック情報は、デバイスまたはネットワーク化された記憶システム内に記憶され得、MRDの装着者についての詳細情報のかなり大規模なデータ組を備え得る。前述は、複合現実デバイスの文脈において説明されているが、バイオメトリック情報を捕捉または取得する任意のウェアラブルディスプレイシステム(例えば、図2に示されるウェアラブルディスプレイシステム200または図4および6におけるディスプレイシステム400)が、本明細書に説明されるシステムおよび方法と利用され得る。
エンティティは、装着者のバイオメトリック情報の一部を入手することを所望し得る。例えば、大規模小売店は、装着者がその小売店を訪問した時刻および時間長、装着者が店舗内で向かった場所、装着者が見ていたアイテムおよびその時間長等を決定することを望み得る。別の例として、ゲーム開発者は、装着者がゲームのプレー中に見ていたゲームキャラクタ、装着者がそのキャラクタと相互作用したときに行った選択肢、装着者の関心レベル、理解度、またはゲームのプレー中の興奮度等を決定することを望み得る。
ウェアラブルディスプレイシステムの装着者は、彼らのそれぞれのバイオメトリック情報の機密性に関する懸念を有し得る。同様に、バイオメトリック情報の潜在的入手者は、そのようなバイオメトリック情報を最厳格信頼度において保存することを所望し得る。故に、バイオメトリック情報の装着者および潜在的入手者の両方が、その情報の機密性を保存するバイオメトリック情報の交換を促進するためのシステムまたは方法を利用することを所望し得る。本明細書に説明されるバイオメトリック情報交換システムは、バイオメトリック情報の機密性を保存する。例えば、以下にさらに説明されるバイオメトリック情報交換システムは、そのウェアラブルディスプレイシステムに関連付けられた任意のバイオメトリック情報にアクセスする前に、バイオメトリック情報に関する同意要求をウェアラブルディスプレイシステムの装着者に伝送し得る。バイオメトリック情報交換システムが、同意指示を装着者から受信しない場合、バイオメトリック情報は、交換システム上で交換されないこともある。一方、装着者が、同意要求の側面に対する合意を示す場合、バイオメトリック情報交換システムは、例えば、セキュア接続を介して、その装着者のバイオメトリック情報へのアクセスを促進し得る。
概して説明されるように、装着者が、同意要求に対して示された合意を示すと、ウェアラブルディスプレイシステムは、バイオメトリック情報交換システムを利用して、バイオメトリック情報をバイオメトリック情報入手者のコンピューティングデバイスに提供し得、例えば、バイオメトリック情報入手者コンピューティングデバイスは、バイオメトリック情報交換中、セキュア接続を経由して、ウェアラブルディスプレイシステムから読み出されるバイオメトリック情報を取得し得る。そのセキュア接続を経由して、交換システムは、そのバイオメトリック情報が最厳格信頼度で保存されている場合、情報がバイオメトリック情報の入手者のコンピューティングデバイスに伝送されるセキュア接続、または、将来的交換のためにそのようなバイオメトリック情報の記憶を促進する交換システムによる装着者のバイオメトリック情報へのアクセスを許可し得る。故に、本明細書に開示されるシステムおよび方法は、ウェアラブルディスプレイシステムとバイオメトリック情報の潜在的入手者のコンピューティングデバイスとの間の情報の交換を促進する。
(例示的ウェアラブルディスプレイシステム)
図2は、VR、AR、またはMR体験をディスプレイシステム装着者もしくは視認者204に提示するために使用され得るウェアラブルディスプレイシステム200の例を図示する。ウェアラブルディスプレイシステム200は、本明細書に説明される用途または例のいずれか(例えば、眼画像処理)を実施するようにプログラムされ得る。ディスプレイシステム200は、ディスプレイ208と、ディスプレイ208の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ208は、ディスプレイシステムユーザ、装着者、または視認者204によって装着可能であり、ディスプレイ208を装着者204の眼の正面に位置付けるように構成されている、フレーム212に結合され得る。ディスプレイ208は、明視野ディスプレイであり得る。いくつかの実施形態では、スピーカ216が、フレーム212に結合され、ユーザの外耳道に隣接して位置付けられる。いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する。ディスプレイシステム200は、装着者の周囲の環境内の世界を観察する外向きに面した結像システム(例えば、図4に示される結像システム454参照)を含むことができる。ディスプレイシステム200は、装着者の眼移動を追跡することができる、内向きに面した結像システムを含むこともできる(例えば、図4に示される内向きに面した結像システム452参照)。内向きに面した結像システムは、1つの眼の移動または両方の眼の移動のいずれかを追跡し得る。ディスプレイ208は、有線導線または無線接続性等によって、フレーム212に固定して取り付けられる構成、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる構成、ヘッドホン内に内蔵される構成、または別様に、ユーザ204に除去可能に取り付けられる構成(例えば、バックパック式構成において、ベルト結合式構成において)等、種々の構成で搭載され得るローカルデータ処理モジュール224に動作可能に結合される220。
フレーム212は、フレーム212に取り付けられ、または搭載され、装着者の眼の画像を得る1つ以上のカメラを有することができる。一実施形態では、カメラは、眼が直接結像され得るように、装着者の眼の正面においてフレーム212に搭載され得る。他の実施形態では、カメラは、フレーム212の支えに沿って(例えば、装着者の耳の近傍に)搭載されることができる。そのような実施形態では、ディスプレイ208は、光を装着者の眼からカメラに向かって反射する材料でコーティングされ得る。光は、虹彩特徴が赤外線画像において顕著であるので、赤外線光であり得る。
ローカル処理およびデータモジュール224は、ハードウェアプロセッサと不揮発性メモリ(例えば、フラッシュメモリ)等の非一過性デジタルメモリとを備え得、その両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、(a)センサ(例えば、フレーム212に動作可能に結合される、または別様にユーザ204に取り付けられ得る)、例えば、画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、ジャイロスコープ、全地球測位衛星(GPSユニット、無線デバイス、音声検出器、ガルバニックセンサ、脈拍または血圧センサ、心電計センサ、および/または脳波センサから捕捉されたデータ、ならびに/もしくは、(b)おそらく、処理もしくは読み出し後にディスプレイ208への通行のために、遠隔処理モジュール228および/または遠隔データリポジトリ232を使用して取得ならびに/もしくは処理されたデータを含み得る。ローカル処理およびデータモジュール224は、これらの遠隔モジュール228、232が、ローカル処理およびデータモジュール224へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク236および/または240によって、遠隔処理モジュール228および/または遠隔データリポジトリ232に動作可能に結合され得る。画像補足デバイスは、眼画像処理プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。加えて、遠隔処理モジュール228および遠隔データリポジトリ232は、互いに動作可能に結合され得る。
いくつかの実施形態では、遠隔処理モジュール228は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび/または画像情報を分析ならびに処理するように構成される1つ以上のプロセッサを備え得る。ビデオデータは、ローカル処理およびデータモジュール224ならびに/または遠隔データリポジトリ232内でローカルに記憶され得る。いくつかの実施形態では、遠隔データリポジトリ232は、デジタルデータ記憶設備を備え得、それは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータが、記憶され、全ての計算が、ローカル処理およびデータモジュール224において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
いくつかの実装では、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に説明されるシステムおよび方法の実施形態を行うようにプログラムされる。画像捕捉デバイスは、特定の用途のためのビデオ(例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ)を捕捉することができる。ビデオは、処理モジュール224、228の一方または両方によって、分析されることができる。ある場合、虹彩コード生成の少なくともいくつかを遠隔処理モジュール(例えば、「クラウド」内の)にオフロードすることは、計算の効率または速度を改良し得る。本明細書に開示されるシステムおよび方法のパラメータは、データモジュール224および/または228内に記憶されることができる。
分析の結果は、追加の動作または処理のために、処理モジュール224、228の一方または両方によって使用されることができる。例えば、種々の用途では、バイオメトリック識別、眼追跡、認識、または、ジェスチャ、オブジェクト、姿勢等の分類が、ウェアラブルディスプレイシステム200によって使用され得る。例えば、ウェアラブルディスプレイシステム200は、装着者204の手の捕捉されたビデオを分析し、装着者の手によるジェスチャ(例えば、実または仮想オブジェクトの取り上げ、賛成または反対の信号伝達(例えば、「親指を上に向ける」または「親指を下に向ける」)等)を認識し得る。
いくつかの実装では、ディスプレイシステム200は、例えば、皮膚コンダクタンスまたはガルバニ皮膚応答等の皮膚感知活動を検出するように動作可能な皮膚電位センサ(例えば、ガルバニセンサ)も含むことができ、それは、装着者の自律神経系における活動(例えば、発汗を生じさせる、またはストレスを示す)を示し得る。ディスプレイシステム200は、脳の活動を検出する電気センサ(例えば、脳波図試験において実施されるように)または心臓の活動を検出する電気センサ(例えば、心電図試験において実施されるように)等の他のタイプの電気センサも含むことができる。皮膚電位センサおよび/または電気センサは、有線または無線通信リンクを介して等、通信リンクによってディスプレイシステム200に動作可能に結合され得る。例えば、有線または無線通信リンクは、皮膚電位センサおよび/または電気センサをローカル処理およびデータモジュール224に結合し得、それは、順に、ディスプレイシステム200のバイオメトリック情報を処理するように動作可能な任意の処理モジュールに関連付けられる。故に、例として、皮膚電位センサは、ディスプレイシステム200の装着者の走査に関連付けられた皮膚電位活動または他の測定値を検出することができる。そのようなバイオメトリック情報は、ディスプレイシステム200によって処理されることもできる。
ヒト視覚系は、複雑であり、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、両眼離反運動および遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得ると考えられる。互いに対する2つの眼の両眼離反運動移動(すなわち、オブジェクト上に固定させるように眼の視線を収束させるための互いに向かって、またはそこから離れるような瞳孔のころがり運動)は、眼の水晶体の焦点合わせ(または「遠近調節」)と密接に関連付けられる。通常条件下、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更するために眼の水晶体の焦点を変更すること、または眼を遠近調節することは、「遠近調節−両眼離反運動反射」として知られる関係下、自動的に、両眼離反運動における合致する変化を同一距離に対して生じさせるであろう。同様に、両眼離反運動における変化は、通用通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と両眼離反運動との間のより良好な合致を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図3を参照すると、z−軸上の眼302および304からの種々の距離におけるオブジェクトは、それらのオブジェクトが焦点が合うように、眼302および304によって遠近調節される。眼302および304は、特定の遠近調節された状態をとり、z−軸に沿った異なる距離におけるオブジェクトに焦点を合わせる。その結果、特定の遠近調節された状態は、関連付けられた焦点距離を有する深度平面306のうちの特定の1つに関連付けられていると言え、特定の深度平面におけるオブジェクトまたはオブジェクトの一部は、眼がその深度平面に対して遠近調節された状態にあるとき、焦点が合う。いくつかの実施形態では、3次元画像は、眼302および304の各々に対しで、画像の異なる提示を提供することによってシミュレートされ得、深度平面の各々に対応する画像の異なる提示を提供することによってもシミュレートされ得る。例証を明確にするために、別個であるように示されるが、眼302および304の視野は、例えば、z−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、ある深度平面内の全ての特徴が特定の遠近調節された眼で焦点が合うように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面の各々に対応する画像の異なる表現を眼に提供することによって達成され得る。
(例示的導波管スタックアセンブリ)
図4は、画像情報をユーザに出力するための導波管スタックの例を図示する。ディスプレイシステム400は、複数の導波管420、422、424、426、428を使用して、3次元知覚を眼410または脳に提供するために利用され得る導波管のスタックまたはスタックされた導波管アセンブリ405を含む。いくつかの実施形態では、ディスプレイシステム400は、図2のシステム200に対応し得、図4は、そのシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ405は、図2のディスプレイ208の中に統合され得る。
図4を継続して参照すると、導波管アセンブリ405は、複数の特徴430、432、434、436も導波管の間に含み得る。いくつかの実施形態では、特徴430、432、434、436は、レンズであり得る。いくつかの実施形態では、特徴430、432、434、436は、レンズではないこともある。むしろ、それらは、スペーサであり得る(例えば、空気間隙を形成するためのクラッディング層および/または構造)。
導波管420、422、424、426、428および/または複数のレンズ430、432、434、436は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成され得る。各導波管レベルは、特定の深度平面に関連付けられ得、その深度平面に対応する画像情報を出力するように構成され得る。画像投入デバイス440、442、444、446、448は、導波管420、422、424、426、428の中に画像情報を投入するために利用され得、導波管の各々は、眼410に向かって出力するために、各それぞれの導波管にわたって入射光を分散させるように構成され得る。光は、画像投入デバイス440、442、444、446、448の出力表面から出射し、導波管420、422、424、426、428の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管に関連付けられる深度面に対応する特定の角度(および発散量)において眼410に向かわせられるクローンのコリメートビームの場全体を出力し得る。
いくつかの実施形態では、画像投入デバイス440、442、444、446、448の各々は、各々が対応する導波管420、422、424、426、428の中に投入するための画像情報を生成する個別的なディスプレイである。いくつかの他の実施形態では、画像投入デバイス440、442、444、446、448は、例えば、1つ以上の光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス440、442、444、446、448の各々にパイピングし得る単一の多重化されたディスプレイの出力端である。
コントローラ450が、スタックされた導波管アセンブリ405および画像投入デバイス440、442、444、446、448の動作を制御する。いくつかの実施形態では、コントローラ450は、導波管420、422、424、426、428への画像情報のタイミングおよび提供を調整するプログラミング(例えば、非一過性コンピュータ読み取り可能な媒体内の命令)を含む。いくつかの実施形態では、コントローラ450は、単一一体型デバイス、または有線もしくは無線通信チャネルによって接続される分散型システムであり得る。コントローラ450は、いくつかの実施形態では、処理モジュール224および/または228(図2に図示される)の一部であり得る。いくつかの実施形態では、コントローラは、内向きに面した結像システム452(例えば、デジタルカメラ)、外向きに面した結像システム454(例えば、デジタルカメラ)、および/またはユーザ入力デバイス456と通信し得る。内向きに面した結像システム452(例えば、デジタルカメラ)は、眼410の画像を捕捉し、例えば、眼410の瞳孔のサイズおよび/または向きを決定するために使用されることができる。外向きに面した結像システム454は、世界458の一部を結像するために使用されることができる。ユーザは、ユーザ入力デバイス456を介して、コマンドをコントローラ450に入力し、ディスプレイシステム400と相互作用することができる。
導波管420、422、424、426、428は、全内部反射(TIR)によって、各それぞれの導波管内で光を伝搬するように構成され得る。導波管420、422、424、426、428の各々は、主要上部表面および底部表面と、それらの主要上部表面と底部表面との間に延びている縁とを伴う平面である、または別の形状(例えば、湾曲)を有し得る。図示される構成では、導波管420、422、424、426、428の各々は、光を向け直し、各それぞれの導波管内で伝搬し、導波管から画像情報を眼410に出力することによって、光を導波管から抽出するように構成される光抽出光学要素460、462、464、466、468を含み得る。抽出された光は、外部結合光とも称され得、光抽出光学要素は、外部結合光学要素とも称され得る。抽出される光のビームは、導波管内で伝搬する光が光向け直し要素に衝突する場所において導波管によって出力される。光抽出光学要素(460、462、464、466、468)は、例えば、反射および/または回折光学特徴であり得る。説明を容易にし、図面を明確にするために、導波管420、422、424、426、428の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、上部および/または底部主要表面に配置され得、および/または直接導波管420、422、424、426、428の体積内に配置され得る。いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、透明基板に取り付けられ、導波管420、422、424、426、428を形成する材料の層内に形成され得る。いくつかの他の実施形態では、導波管420、422、424、426、428は、モノリシック材料片であり得、光抽出光学要素460、462、464、466、468は、その材料片の表面上および/または内部に形成され得る。
図4を継続して参照すると、本明細書に議論されるように、各導波管420、422、424、426、428は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管420は、そのような導波管420の中に投入されると、コリメートされた光を眼410に送達するように構成され得る。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方導波管422は、眼410に到達し得る前に、第1のレンズ430(例えば、負のレンズ)を通過するコリメートされた光を送出するように構成され得る。第1のレンズ430は、眼/脳が、その次の上方導波管422から来る光が光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成され得る。同様に、第3の上方導波管424は、眼410に到達する前、その出力光を第1のレンズ430および第2のレンズ432の両方に通す。第1および第2のレンズ430、432の組み合わせられた屈折力は、眼/脳が、第3の導波管424から生じる光が次の上方導波管422から生じる光より光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、波面曲率の別の増分量を生成するように構成され得る。
他の導波管層(例えば、導波管426、428)およびレンズ(例えば、レンズ434、436)も同様に構成され、スタック内の最高導波管428は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ405の他の側の世界458から生じる光を視認/解釈するとき、レンズ430、432、434、436のスタックを補償するために、補償レンズ層438が、スタックの上部に配置され、下方のレンズスタック430、432、434、436の集約力を補償し得る。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管420、422、424、426、428の光抽出光学要素460、462、464、466、468およびレンズ430、432、434、436の焦点合わせ側面は両方とも、静的であり得る(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、いずれかまたは両方は、電気活性特徴を使用して、動的であり得る。
図4を継続して参照すると、光抽出光学要素460、462、464、466、468は、光をそれらのそれぞれの導波管から外に向け直すことと、導波管に関連付けられた特定の深度平面のための適切な発散またはコリメーション量を用いてこの光を出力することとの両方を行うように構成され得る。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じた異なる発散量を用いて光を出力する異なる構成の光抽出光学要素を有し得る。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素460、462、464、466、468は、特定の角度において光を出力するように構成され得る立体または表面特徴であり得る。例えば、光抽出光学要素460、462、464、466、468は、体積ホログラム、表面ホログラム、および/または回折格子であり得る。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。いくつかの実施形態では、特徴430、432、434、436は、レンズではないこともある。むしろ、それらは、単に、スペーサ(例えば、クラッディング層および/または空気間隙を形成するための構造)であり得る。
いくつかの実施形態では、光抽出光学要素460、462、464、466、468は、回折パターンを形成する回折特徴、すなわち、「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交差点によって眼410に向かってそらされる一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、多数の場所において導波管から出射するいくつかの関連出射ビームに分割され、その結果は、導波管内で弾むこの特定のコリメートされたビームに対する眼410に向かう非常に均一な出射放出パターンである。
いくつかの実施形態では、1つ以上のDOEは、それらが能動的に回折する「オン」状態と、それらが有意に回折しない「オフ」状態との間で切り替え可能であり得る。例えば、切り替え可能なDOEは、微小液滴がホスト媒体中に回折パターンを構成するポリマー分散液晶の層を備え得、微小液滴の屈折率は、ホスト材料と実質的に合致する屈折率に切り替えられることができるか(その場合、パターンは、入射光を著しく回折しない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折する)。
いくつかの実施形態では、深度平面および/または被写界深度の数ならびに分散は、視認者の眼の瞳孔サイズならびに/もしくは向きに基づいて、動的に変動させられ得る。いくつかの実施形態では、内向きに面した結像システム452(例えば、デジタルカメラ)が、眼410の画像を捕捉し、眼410の瞳孔のサイズおよび/または向きを決定するために使用され得る。内向きに面した結像システム452は、装着者204が見ている方向(例えば、眼姿勢)を決定することにおいて使用するための画像を取得するために使用されることができる。いくつかの実施形態では、内向きに面した結像システム452は、フレーム212(図4に図示されるように)に取り付けられ得、内向きに面した結像システム452からの画像情報を処理し、例えば、ユーザ204の瞳孔直径または眼の向き、すなわち、眼姿勢を決定し得る処理モジュール224ならびに/もしくは228と電気通信し得る。
いくつかの実施形態では、内向きに面した結像システム452(例えば、デジタルカメラ)は、眼移動および顔移動等、ユーザの移動を観察することができる。内向きに面した結像システム452は、眼410の画像を捕捉し、眼410の瞳孔のサイズおよび/または向きを決定するために使用され得る。内向きに面した結像システム452は、ユーザが見ている方向(例えば、眼姿勢)を決定することにおいて使用するために、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)の画像を得るために使用されることができる。内向きに面した結像システム452によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにディスプレイシステム400によって使用され得るユーザの眼姿勢および/または気分を決定するために分析され得る。ディスプレイシステム400は、慣性測定ユニット(IMU)、加速度計、ジャイロスコープ等のセンサも使用して、頭部姿勢(例えば、頭部位置または頭部向き)を決定し得る。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、支え追跡と相互作用する、および/またはオーディオコンテンツを提示するために使用され得る。
いくつかの実施形態では、1つのカメラが、各眼のために利用され、各眼の瞳孔サイズおよび/または向きを別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にし得る。いくつかの実施形態では、少なくとも1つのカメラが、各眼のために利用され、独立して、各眼の瞳孔サイズおよび/または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にし得る。いくつかの他の実施形態では、片眼410のみの瞳孔直径および/または向き(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、視認者204の両眼に対して同様と仮定される。
例えば、被写界深度は、視認者の瞳孔サイズと反比例して変化し得る。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、増加し、それによって、その平面の場所が眼の焦点深度を越えているので判別不能である1つの平面は、判別可能となり得、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より焦点が合って見え得る。同様に、異なる画像を視認者に提示するために使用される間隔を置かれる深度平面の数は、減少された瞳孔サイズに伴って減少し得る。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を行わずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではないこともある。しかしながら、これらの2つの深度平面は、遠近調節を変化させずに、別の瞳孔サイズにおいて、ユーザに対して同時に十分に焦点が合い得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび/または向きの決定に基づいて、もしくは特定の瞳孔サイズおよび/または向きを示す電気信号の受信時、画像情報を受信する導波管の数を変動させ得る。例えば、ユーザの眼が、2つの導波管に関連付けられた2つの深度平面間を区別不能である場合、コントローラ450は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされ得る。有利には、それは、システムにかかる処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切り替え可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられ得る。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、この条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、この条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズも、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動させられ得る。
ディスプレイシステム400は、世界458の一部を結像する外向きに面した結像システム454(例えば、デジタルカメラ)を含むことができる。世界458のこの部分は、視野(FOV)と称され得、結像システム454は、時として、FOVカメラとも称される。視認者204による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、ディスプレイシステム400を包囲する4πステラジアンの立体角を含み得る。ディスプレイシステム400のいくつかの実装では、FORは、ユーザ204が、ユーザを包囲するオブジェクトを見るためにその頭部および眼を移動させ得るので、ディスプレイシステム400のユーザ204の周囲の立体角の実質的に全てを含み得る(ユーザの正面、背面、上方、下方、または側面)。外向きに面した結像システム454から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界458内のオブジェクトを検出する等のために、使用されることができる。
ディスプレイシステム400は、ユーザが、コマンドをコントローラ450に入力し、ディスプレイシステム400と相互作用し得る、ユーザ入力デバイス456を含むことができる。例えば、ユーザ入力デバイス456は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。ある場合、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押し、またはその上でスワイプし、入力をディスプレイシステム400に提供し得る(例えば、ユーザ入力をディスプレイシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス456は、ディスプレイシステム400の使用中、ユーザの手によって保持され得る。ユーザ入力デバイス456は、ディスプレイシステム400と有線または無線通信することができる。
図5は、導波管によって出力された出射ビームの例を示す。1つの導波管が、図示されるが、導波管アセンブリ405内の他の導波管も、同様に機能し得、導波管アセンブリ405は、複数の導波管を含むことを理解されたい。光505が、導波管420の入力縁510において導波管420の中に投入され、全内部反射(TIR)によって導波管420内を伝搬する。光505が回折光学要素(DOE)460に衝突する点において、光の一部が、出射ビーム515として導波管から出射する。出射ビーム515は、略平行として図示されるが、それらは、導波管420に関連付けられた深度平面に応じて、ある角度で眼410に伝搬するように向け直され得る(例えば、発散出射ビームを形成する)。略平行出射ビームが眼410から長距離(例えば、光学無限遠)において深度平面上に設定されるように見える画像を形成するための光を外部結合する光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素の組は、眼410がより近い距離に遠近調節し、網膜に焦点を合わせることを要求し、光学無限遠より眼410に近い距離からの光として脳によって解釈されるであろうより多く発散する出射ビームパターンを出力し得る。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むディスプレイシステム400の別の例を示す。ディスプレイシステム400は、多焦点立体、画像、または明視野を生成するために使用されることができる。ディスプレイシステム400は、1つ以上の一次平面導波管604(1つのみのが図6に示される)と、一次導波管604の少なくともいくつかの各々に関連付けられた1つ以上のDOE608とを含むことができる。平面導波管604は、図4を参照して議論される導波管420、422、424、426、428に類似することができる。光学システムは、分配導波管装置を採用し、光を第1の軸(図6の図では、垂直またはY−軸)に沿って中継し、第1の軸(例えば、Y−軸)に沿って光の有効射出瞳を拡張させ得る。分配導波管装置は、例えば、分配平面導波管612と、分配平面導波管612に関連付けられた少なくとも1つのDOE616(二重破線によって図示される)とを含み得る。分配平面導波管612は、少なくともいくつかの点において、それと異なる向きを有する一次平面導波管604と類似または同じであり得る。同様に、少なくとも1つのDOE616は、少なくともいくつかの点において、DOE608と類似または同じであり得る。例えば、分配平面導波管612および/またはDOE616の各々は、一次平面導波管604ならびに/もしくはDOE608と同一材料から成り得る。図6に示される光学システムは、図2に示されるウェアラブルディスプレイシステム200の中に統合されることができる。
中継され、射出瞳が拡張された光は、分配導波管装置から1つ以上の一次平面導波管604の中に光学的に結合される。一次平面導波管604は、好ましくは、第1の軸に直交する、第2の軸(例えば、図6の図では、水平またはX−軸)に沿って、光を中継する。着目すべきこととして、第2の軸は、第1の軸に対して非直交軸であることができる。一次平面導波管604は、その第2の軸(例えば、X−軸)に沿って、光の有効射出経路を拡張させる。例えば、分配平面導波管612は、光を垂直またはY−軸に沿って中継および拡張させ、光を水平もしくはX−軸に沿って中継および拡張させる一次平面導波管604にその光を通すことができる。
ディスプレイシステム400は、単一モード光ファイバ624の近位端の中に光学的に結合され得る1つ以上の着色光源(例えば、赤色、緑色、および青色レーザ光)620を含み得る。光ファイバ624の遠位端は、圧電材料の中空管628に通されるか、または受け取られ得る。遠位端は、固定されない可撓性カンチレバー632として、管628から突出する。圧電管628は、4つの象限電極(図示せず)に関連付けられることができる。電極は、例えば、管628の外側、外側表面もしくは外側周辺、または直径にめっきされ得る。コア電極(図示せず)も、管628のコア、中心、内側周辺、または内径に位置する。
例えば、ワイヤ640を介して電気的に結合される駆動電子機器636は、圧電管628を独立して2つの軸において曲げるように対向する対の電極を駆動する。光ファイバ624の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ624の直径、長さ、および材料性質に依存し得る。圧電管628をファイバカンチレバー632の第1の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー632は、振動させられ、大きな振れを通して掃引し得る。
2つの軸において共振振動を刺激することによって、ファイバカンチレバー632の先端は、2次元(2−D)走査を充填するエリア内において2軸で走査される。光源620の強度をファイバカンチレバー632の走査と同期して変調させることによって、ファイバカンチレバー632から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第2014/0003762号(参照することによってその全体として本明細書に組み込まれる)に提供されている。
光学結合器サブシステムのコンポーネント644は、走査ファイバカンチレバー632から発せられる光をコリメートする。コリメートされた光は、鏡付き表面648によって、少なくとも1つの回折光学要素(DOE)616を含む狭い分配平面導波管612の中に反射される。コリメートされた光は、全内部反射によって分配平面導波管612に沿って(図6の図に対して)垂直に伝搬し、そうすることによって、DOE616と繰り返し交差する。DOE616は、好ましくは、低回折効率を有する。これは、光の一部(例えば、10%)にDOE616との交差点の各点においてより大きい一次平面導波管604の縁に向かって回折させ、光の一部にTIRを介して分配平面導波管612の長さに沿ってそのオリジナル軌道上で継続させる。
DOE616との交差点の各点において、追加の光が、一次導波管612の入口に向かって回折される。入射光を複数の外部結合組に分割することによって、光の射出瞳は、分配平面導波管612内のDOE616によって垂直に拡張される。分配平面導波管612から外部結合されたこの垂直に拡張された光は、一次平面導波管604の縁に進入する。
一次導波管604に進入する光は、TIRを介して、一次導波管604に沿って(図6の図に対して)水平に伝搬する。光は、複数の点においてDOE608と交差するにつれて、TIRを介して、一次導波管604の長さの少なくとも一部に沿って水平に伝搬する。DOE608は、有利には、線形回折パターンおよび放射対称回折パターンの総和である位相プロファイルを有し、光の偏向および集中の両方を生成するように設計または構成され得る。DOE608は、有利には、ビームの光の一部のみが、DOE608の各交差点において視認者の眼に向かって偏向される一方、光の残りが、TIRを介して、導波管604を通して伝搬し続けるように、低回折効率(例えば、10%)を有し得る。
伝搬する光とDOE608との間の交差点の各点において、光の一部は、一次導波管604の隣接面に向かって回折され、光がTIRから逃散し、一次導波管604の面から発せられることを可能にする。いくつかの実施形態では、DOE608の放射対称回折パターンは、加えて、ある焦点レベルを回折された光に与え、個々のビームの光波面を成形(例えば、曲率を与える)することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
故に、これらの異なる経路は、異なる角度におけるDOE608の多重度、焦点レベル、および/または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管604の外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴う明視野ディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層の組(例えば、3層)の各々が色(例えば、赤色、青色、緑色)を生成するために採用され得る。したがって、例えば、第1の3つの隣接する層の組の各々が、赤色、青色、および緑色光を第1の焦点深度において生成するために採用され得る。第2の3つの隣接する層の組の各々が、赤色、青色、および緑色光を第2の焦点深度において生成するために採用され得る。複数の組が、種々の焦点深度を伴うフル3Dまたは4Dカラー画像明視野を生成するために採用され得る。
(バイオメトリック交換動作環境の例)
図7は、バイオメトリック情報交換システム705がウェアラブルディスプレイシステムとバイオメトリック情報を装着者から入手可能なコンピューティングデバイスとの間で情報を交換する例証的動作環境700を描写するブロック図である。バイオメトリック情報は、装着者(例えば、図2における装着者204)に関連付けられた生理学的特性および/または挙動特性を含むことができる。例えば、生理学的特性は、限定ではないが、身体姿勢、眼姿勢(例えば、眼視線)、瞳孔拡張状態、顔特性(例えば、にやけ顔またはしかめっ面)、音声特性、心拍数または血圧、皮膚条件(例えば、発汗)等を含むことができる。例えば、挙動特性は、限定ではないが、歩行(装着者が歩行する様子の生理学的特性)、音声特性、装着者の傾向等を含むことができる。生理学的および挙動特性は、互いに排他的ではないこともあり、ある場合、バイオメトリック情報は、生理学的および挙動の両方として分類されることができる。例えば、装着者の音声特性は、生理学的特性であるだけではなく、装着者の気分または感情によっても影響され得る。同様に、装着者の歩行は、装着者の周囲、装着者の同伴者、装着者の気分等によって影響され得る。
バイオメトリック情報交換システム705は、コンピュータサーバ、任意のコンピューティングシステム、または処理モジュール224、228によって実装されることができる。いくつかの実施形態では、バイオメトリック情報交換システム705を実装するサーバは、装着者がウェアラブルディスプレイシステム710(例えば、ウェアラブルディスプレイシステム200)を使用してブラウジングしているネットワークサイト(例えば、インターネットウェブサイト)もホストする。例えば、バイオメトリック情報交換システム705は、図8A−8Eを参照して以下に説明される、ディスプレイページ800a−800eおよびポップアップをホストすることができる。バイオメトリック情報交換システム705は、それによって、バイオメトリック情報の読み出しおよびバイオメトリック情報を交換するためのオファーのバイオメトリック情報入手者コンピューティングデバイス715からウェアラブルディスプレイシステム710(例えば、ウェアラブルディスプレイシステム200)の装着者への提供を促進することができる。バイオメトリック情報交換システム705は、ネットワーク700を通して、セキュア接続725をウェアラブルディスプレイシステム710とバイオメトリック情報入手者コンピューティングデバイス715との間に形成することができる。例えば、バイオメトリック情報交換システム705は、セキュア接続725上で伝送される任意の情報を暗号化することができる。故に、バイオメトリック情報交換システム705は、あるウェアラブルディスプレイシステム710とあるバイオメトリック情報入手者コンピューティングデバイス715との間のセキュア接続725を促進する中間サーバとしての役割を果たす。そのようなセキュア接続725は、ウェアラブルディスプレイシステム710とバイオメトリック情報入手者コンピューティングデバイス715との間の機密性を保存し、バイオメトリック情報の交換を促進することができる。いくつかの実装では、セキュア接続725は、バイオメトリック情報入手者コンピューティングデバイス715と、装着者のバイオメトリック情報が記憶され得るウェアラブルディスプレイシステム710のデータ記憶または処理モジュール(例えば、ローカル処理およびデータモジュール224)とによる直接アクセスを可能にする。例えば、一実施形態では、バイオメトリック情報交換システム705は、バイオメトリックを分析せず、バイオメトリック動作(以下のバイオメトリック処理コンピューティングシステム745を参照して説明されるもの等)も実施しないが、セキュア接続725を介して、ウェアラブルディスプレイシステム710とバイオメトリック情報入手者715との間のバイオメトリック情報の媒介としての役割を果たす。種々の実装では、以下にさらに説明されるように、バイオメトリック情報交換システム705は、装着者データ記憶装置730またはアイテムカタログ735(または電子カタログ)のいずれか内に記憶されるデータを利用して生成されたバイオメトリック処理結果を介して、バイオメトリック情報入手者コンピューティングデバイス715のためのバイオメトリック情報へのアクセスを促進する。
バイオメトリック情報交換システム705は、ネットワークサイトをホストするサーバ(図示せず)と通信する別個のサーバによって実装されることができるか、またはウェブサービス自体として実装される。そのような場合、別個のサーバは、ウェアラブルディスプレイシステム710の装着者とバイオメトリック情報入手者コンピューティングデバイス715との間のセキュア接続725を促進する中間サーバとしての役割を果たすこともできる。なおもさらなる実施形態では、ウェアラブルディスプレイシステム710とバイオメトリック情報の潜在的入手者のコンピューティングデバイス715との間で促進される情報の交換は、ウェアラブルディスプレイシステム710、ネットワークサイトをホストするサーバ、およびバイオメトリック情報交換システム705間に分散される。しかしながら、簡潔にするために、残りの開示は、バイオメトリック情報交換システム705が、同意要求を伝送し、バイオメトリック情報を取得し、それに対するバイオメトリック情報交換を生成すること、実施形態を参照する。そのような実施形態では、バイオメトリック情報交換システム705は、交換コンピューティングシステム740と、バイオメトリック処理コンピューティングシステム745とを実装することができる。
交換コンピューティングシステム740およびバイオメトリック処理コンピューティングシステム745は、互いに協働し、交換を促進することができる。例えば、交換コンピューティングシステム740によって促進される交換は、バイオメトリック情報入手者が、バイオメトリック処理コンピューティングシステム745を用いて眼画像を処理し、装着者に関する挙動特性を取得する(例えば、装着者が特定の製品を一瞥した回数またはそれらの一瞥が生じた場所のタイプ)ことに合意することを規定することができる。故に、交換コンピューティングシステム740は、交換コンピューティングシステム740を利用したこの潜在的交換のコンテンツを含む同意要求を表示することによって、ウェアラブルディスプレイシステム710の装着者と相互作用することができる。いくつかの実装では、以下にさらに説明されるように、交換コンピューティングシステム740は、バイオメトリック情報入手者がこの交換を促進するためにアクセスすることを欲するバイオメトリック情報のタイプを規定することによって、そのような潜在的交換のための同意要求のフォーマットを改変することができる。例えば、眼移動が生じた場所のタイプ等の挙動特性を取得するために、バイオメトリック処理コンピューティングシステム745は、ウェアラブルディスプレイシステム710のGPSユニットにアクセスするか、または、例えば、ウェアラブルディスプレイシステム710のGPSユニットによって決定されたウェアラブルディスプレイ710の場所を取得することができる。
交換コンピューティングシステム740は、ウェアラブルディスプレイシステム710を利用して種々のタイプのバイオメトリック情報を装着者から取得し、バイオメトリック情報を処理し、バイオメトリック情報入手者コンピューティングデバイス715のためのバイオメトリック情報処理結果を生成するためのルーチンを実装することができる。例えば、交換コンピューティングシステム740は、バイオメトリック情報を交換するために、以下に説明されるようなルーチン900を実装することができ、それは、ウェアラブルディスプレイシステム710を用いてバイオメトリック情報に関する同意要求を表示すること、ウェアラブルディスプレイシステム710を利用して装着者からバイオメトリック情報を取得すること、および/またはバイオメトリック情報を処理し、バイオメトリック情報入手者コンピューティングデバイス715のためのバイオメトリック情報処理結果を生成することを含むことができる。
同意指示が、ウェアラブルディスプレイシステム710の装着者から受信されると、交換コンピューティングシステム740は、種々の要因に基づいて、バイオメトリック情報交換を実装することができる。例として、潜在的入手者は、バイオメトリック情報のあるカテゴリ(例えば、生理学的または挙動情報)、ウェアラブルディスプレイシステム710を利用する装着者のタイプ(例えば、ある人口統計)、およびバイオメトリック情報のための交換レートを規定することができる。
ウェアラブルディスプレイシステム710を利用する装着者は、ある人口統計に関連付けられた装着者であることができる。人口統計は、製品アイテムを伴う特定の小売店(例えば、食品製品アイテムを供給する店舗)に頻繁に訪れる装着者、特定のサービス(例えば、専門サービス、宿泊飲食サービス等)を利用する装着者、または特定の生物学的人口統計(例えば、性別、年齢、居住地、身分等)に関連付けられた装着者のタイプを規定することができる。バイオメトリック情報入手者コンピューティングデバイス715は、バイオメトリック情報または装着者のタイプ(例えば、装着者のある人口統計)に基づいて、バイオメトリック情報交換を規定することができる。いくつかの実装では、バイオメトリック情報入手者コンピューティングデバイス715は、特定の装着者のタイプから入手されるバイオメトリック情報のための交換レートを規定することもできる。
種々のタイプのバイオメトリック情報が、バイオメトリック処理コンピューティングシステム745によって処理または取得されることができる。例えば、種々の実装では、バイオメトリック処理コンピューティングシステム745は、画像の組をウェアラブルディスプレイシステム710から取得し、バイオメトリック動作を画像の関係がある組に実施するためのルーチンを実装する。そのようなルーチンは、バイオメトリック交換および/またはバイオメトリックアプリケーションにおいて利用するためのバイオメトリック情報を生成することができる。種々のバイオメトリック動作が、ウェアラブルディスプレイシステム710から取得される画像の組に実施され、種々のタイプのバイオメトリック情報を生成することができる。例として、1つのカメラ(例えば、内向きに面した結像システム452)によって捕捉された装着者の眼画像および装着者を包囲する外界の画像(例えば、外向きに面した結像システム454)は、互いに関係づけられ、ディスプレイシステムを利用する装着者の眼凝視を決定することができる。例証として、そのような相関は、時間相関に基づいて決定されることができる(例えば、各画像に関連付けられたタイムスタンプに基づいて決定される)。例えば、眼画像および外界画像の各々が、タイムスタンプ4:23:42P.M.を有する場合、両画像は、この時間相関に基づいて、互いに関連付けられることができる。タイムスタンプは、精度1s、0.1s、0.01s、1ms、0.1ms、0.01ms、1ns、またはそれ未満を有し得る。相関は、タイムスタンプの精度に基づいて決定されることができる。他の相関も、可能である。別の例示的実施形態として、画像は、眼画像および外界画像を同時に関連付ける、対応する画像入手システムに基づいて、リアルタイムで関係づけられることができる。例えば、以下にさらに説明されるように、眼画像(例えば、内向きに面した結像システム452等の眼追跡カメラによって捕捉される)の処理から取得され得る瞳孔拡張等の眼の動的特徴は、外界画像(例えば、外向きに面した結像システム454によって捕捉される)と関係づけられ、装着者の関心の対象を識別することができる。加えて、または代替として、バイオメトリック処理コンピューティングシステム745は、図8Bを参照して以下にさらに説明されるように、ウェアラブルディスプレイシステム710から取得されるバイオメトリック情報または任意のデータを処理し、装着者に関する挙動特性を取得することができる。
眼画像および外界画像を用いてバイオメトリック動作を実施する別の例として、バイオメトリック情報を眼画像内の眼から抽出することは、概して、装着者の眼の虹彩に対応する各眼画像の領域をセグメント化することを含むことができる。虹彩セグメント化は、虹彩境界を決定すること、瞳孔および虹彩の辺縁境界を決定すること、上側または下側眼瞼が虹彩を遮蔽する場合、それらを特定すること、睫毛の遮蔽、陰影、または反射を検出および除外する等を含む、動作を伴うことができる。例えば、眼画像は、装着者の顔の画像内に含まれること、または装着者の眼球周囲領域の画像であることができる。虹彩セグメント化を実施するために、瞳孔の境界(虹彩の内部境界)および辺縁(虹彩の外部境界)の両方が、画像データの別個のセグメントとして決定されることができる。外界画像(例えば、ウェアラブルディスプレイシステム710から外向きに向けられる結像システムによって取得されるように)と併せて使用されると、経時的に相関が、眼画像を用いて作成され、動的眼特徴(例えば、眼移動、眼パターン、眼凝視、眼焦点情報、瞳孔拡張、または眼ブラウジング履歴)を示すこと、または検出することができる。
さらに、バイオメトリック情報(例えば、眼姿勢)を処理する別の例として、コンピュータのユーザの眼移動が、追跡されることができる。例えば、コンピュータのモニタに結合されるカメラは、眼移動を識別するための画像を提供することができる。しかしながら、眼追跡のために使用されるカメラは、ユーザの眼からある程度の距離にある。例えば、カメラは、コンピュータに結合されるユーザのモニタの上部に設置され得る。その結果、カメラによって生成される眼の画像は、多くの場合、不良分解能で生成される。故に、ユーザからのバイオメトリック情報の処理は、課題を提示し得る。
眼画像は、眼姿勢識別のために使用されることができる。虹彩特徴は、装着者の識別または検証のために利用されることができる。別の例として、バイオメトリック動作は、眼画像を処理し、眼移動、眼パターン、眼凝視、眼焦点情報、瞳孔拡張、または眼ブラウジング履歴を生成または検出することができる。さらに別の例として、眼画像は、虹彩コードを生成するために使用されることができる。生成された虹彩コードは、種々の装着者の虹彩コードが記憶されている虹彩コードデータベースとの比較のために使用されることができる。
バイオメトリック情報交換システム705は、装着者データ記憶装置730に通信可能に接続されることができる。装着者データ記憶装置730は、概して、装着者のバイオメトリック情報を記憶し得る任意のリポジトリ、データベース、または情報記憶システムを含むことができる。装着者データは、任意のタイプのバイオメトリック情報であることができ、限定ではないが、眼移動、眼パターン、眼凝視、ユーザアクティビティ情報(例えば、ユーザの過去の購入履歴、眼ブラウジング履歴、選択履歴またはクリック履歴、瞬目履歴、評価履歴、ページ要求、アイテムのウィッシュリストおよびショッピングカートへの追加またはそこからの除去、ユーザインターフェースイベント、タグ付けアクティビティ、それらの組み合わせ等)、およびユーザ特性を含む。ユーザ特性は、人口統計情報(例えば、年齢、性別、地理的場所、職業、収入、自宅住所、発送先住所、出費レベル、関心、趣味、選好、設定、それらの組み合わせ等)を含むことができる。装着者データ記憶装置730は、少なくとも部分的に、ウェアラブルディスプレイシステム710内またはそれに関連付けられたデータ記憶装置内に含まれることができる。例えば、ウェアラブルデータ記憶装置730は、ローカルデータモジュール224および/または遠隔データリポジトリ232内に含まれることができる。
さらに他の実施形態では、バイオメトリック情報交換システム705は、アイテムカタログ735から読み出されるアイテムデータ(ならびに、例えば、前述の眼移動および眼ブラウジング履歴)を利用して、バイオメトリック交換のためのオファーを生成する。アイテムのためのアイテムデータは、アイテム詳細(例えば、名称、タイプ、説明、価格、カテゴリ等)、画像、他のアイテムとの関係、アイテム評価、装着者レビュー、著作者ページ、ユーザ生成リストページ、フォーラムページ、ブログページ等を含むことができる。アイテムカタログ735は、電子カタログとも称され得る。そのようなオファーは、図8Bおよび8Dを参照して以下に説明されるように、バイオメトリック情報交換システム705によって生成されるディスプレイページ800bおよび800d上に現れることができる。
動作環境700のデータ記憶装置は、任意の物理的データ記憶装置、物理的データ記憶装置の集合、または1つ以上の物理的データ記憶装置によって実装される仮想データ記憶装置、例えば、ハードディスクドライブ(HDD)、固体ドライブ(SSD)、テープドライブ、ネットワーク接続記憶装置(NAS)、または任意の他の永続的もしくは実質的に永続的記憶コンポーネントに対応することができる。加えて、アイテムカタログ735および装着者データ記憶装置730は、バイオメトリック情報交換システム705にアクセス可能な同一物理的データ記憶装置上または異なる物理的データ記憶装置上に位置することができる。いくつかの実施形態では、アイテムカタログ735および装着者データ記憶装置730は、バイオメトリック情報交換システム705によって維持されるか、またはネットワーク720を介してアクセス可能な別のネットワークサイト、もしくはバイオメトリック情報交換システム705によって行われる種々のアプリケーションプログラムインターフェースコールを介してアクセス可能な1つ以上のウェブサービスによって維持されることができる。
アイテムカタログ735および装着者データ記憶装置730に加え、動作環境700は、ネットワーク720を介して、バイオメトリック情報交換システム705と通信する1つ以上のウェアラブルディスプレイシステム710を含むことができる。本開示は、図2に示されるウェアラブルディスプレイシステム200または図4および6におけるディスプレイシステム200等のウェアラブルディスプレイシステム710の具体的例または描写を参照するが、本開示の実施形態は、バイオメトリック情報を取得することが可能な任意の種々の頭部搭載型ディスプレイデバイスおよび/またはオファー(例えば、図8Bおよび8Dに示されるオファー820、832)をウェアラブルディスプレイシステム710の装着者に表示可能なコンピューティングデバイスによって利用されることができる。そのようなコンピューティングデバイスとして、限定ではないが、ラップトップ、パーソナルコンピュータ、キオスク、シンクライアント、タブレットコンピュータ、携帯情報端末(PDA)、ハイブリッドPDA/携帯電話、携帯電話、電子書籍リーダ、デジタルメディアプレーヤ、ウェアラブルコンピューティングデバイス、コンピューティングデバイス内への含有のための統合コンポーネント、器具、車両または機械内への含有のための電子デバイス、ゲーム用デバイス、セットトップボックス、テレビに含むための電子デバイス等が挙げられる。これらのコンピューティングデバイスは、いくつかの視覚、触知、または聴覚出力デバイスのいずれかに関連付けられることができ、ユーザ入力のためのいくつかの入力デバイスに関連付けられることができ、限定ではないが、キーボード、マイクロホン、マウス、トラックボール、トラックパッド、ジョイスティック、入力タブレット、トラックポイント、タッチスクリーン、遠隔制御、ゲームコントローラ、運動検出器等を含む。いくつかの実施形態では、複数のデバイスが、オファーのウェアラブルディスプレイシステム710の装着者への表示を促進するために併せて利用されることができる。例えば、第1のデバイス(例えば、図2に示されるウェアラブルディスプレイシステム200)が、最初に、同意要求を表示し、ネットワークウェブサイトをホストするおよび/またはバイオメトリック情報交換システム705を実装するサーバによって決定される応答を提供することができ、第2のデバイス(例えば、ブラウザベースのアプリケーションを伴うタブレットデバイス)が、バイオメトリック情報交換システム705によって提供されるオファーの表示を提供することができる。例えば、第2のデバイスは、図8A−8Eに図示されるディスプレイページ800a−800eを表示することができる。故に、本開示内のユーザコンピューティングデバイスの言及は、協働し、バイオメトリック情報を取得し、装着者にバイオメトリック情報に関するオファーを提供することを促進する複数のコンピューティングデバイスを含むことができる。
ネットワーク720は、有線ネットワーク、無線ネットワーク、またはそれらの任意の組み合わせであることができる。ネットワーク720は、パーソナルエリアネットワーク、ローカルエリアネットワーク、広域ネットワーク、ケーブルネットワーク、衛星ネットワーク、携帯電話ネットワーク、またはそれらの組み合わせであることができる。図7の例証的動作環境700では、ネットワーク720は、インターネット等のグローバルエリアネットワーク(GAN)である。他の前述のタイプの通信ネットワークを介した通信のためのプロトコルおよびコンポーネントは、コンピュータ通信の当業者に公知であり、したがって、本明細書により詳細に説明される必要はないものとする。
(バイオメトリック交換技法の例)
バイオメトリック交換技法、ルーチン、または方法は、バイオメトリック情報を取得可能なウェアラブルディスプレイシステム710を介して遂行されることができる。バイオメトリック交換ルーチンのためのバイオメトリック情報を取得するために、複合現実ディスプレイデバイス(MRD)(例えば、図2に示されるウェアラブルディスプレイシステム200または図4および6におけるディスプレイシステム400)の装着者の眼が、内向きに面した結像システム452(例えば、図4参照)を使用して結像されることができる。ウェアラブルディスプレイシステム710に結合される結像システム452、454によって取得される眼画像の組は、バイオメトリック情報交換において使用されることができる。本明細書に説明されるように、眼画像の組は、内向きに面した結像システム452からの眼画像を含む。外向きに面した結像システム454は、装着者の眼が見ている方向におけるそれらを含む外界の外界画像を取得することができる。内向きに面した結像システム452によって捕捉された眼画像は、眼姿勢(例えば、装着者の片眼または両眼の方向)を決定すること、虹彩コードを生成すること、瞳孔サイズを決定すること、眼パターンを検出すること、眼移動を検出すること、眼凝視を検出すること、または眼焦点情報を処理することを行うために処理されることができる。眼画像は、コンピュータビジョン技法を使用して処理されることができる。眼画像は、眼のブラウジング履歴(眼ブラウジング履歴とも称される)の一部として記憶されることができる。
例証として、ウェアラブルディスプレイシステム710(例えば、ウェアラブル頭部搭載型ディスプレイ200)の状況では、カメラは、ユーザのモニタに結合されるカメラよりユーザの眼に近くにあり得る。例えば、カメラは、ウェアラブルディスプレイシステム710上に搭載され得、それ自体は、ユーザの頭部上に装着される。眼とそのようなカメラの近接は、より高い分解能眼画像をもたらすことができる。故に、コンピュータビジョン技法は、ユーザの眼からの特徴、特に、虹彩(例えば、虹彩特徴)または虹彩を包囲する強膜(例えば、強膜特徴)の特徴を抽出するために使用されることができる。例えば、眼の近傍のカメラによって捕捉されると、眼の虹彩は、詳細な構造を示し得る。そのような虹彩特徴は、特に、赤外線照明下で観察されるときに顕著であり、バイオメトリック識別のために使用されることができる。これらの虹彩特徴は、ユーザ毎に独特であると考えられ、したがって、指紋の様式において、ユーザを一意に識別するために使用されることができる。眼特徴は、眼の強膜(虹彩の外側)の血管を含むことができ、それも、特に、赤色または赤外線光下で視認されるときに顕著に現れ得る。より高い分解能において視認される、そのような異なる虹彩特徴は、種々の眼姿勢画像のために生成されるより独特または正確な虹彩コードにつながり得る。
ローカル処理およびデータモジュール224および/または遠隔データリポジトリ232は、画像ファイル、ビデオファイル、または画像オーディオおよびビデオファイルを記憶することができる。例えば、種々の実装では、ローカル処理およびデータモジュール224および/または遠隔データリポジトリ232は、ローカル処理およびデータモジュール224によって処理されるための眼画像を記憶することができる。ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、バイオメトリック情報交換において(例えば、バイオメトリック交換をオファーするとき、装着者204の識別を識別または認証すために)、または、バイオメトリック情報を取得することにおいて(例えば、装着者の同意指示が受信されているときにバイオメトリック交換のためのバイオメトリック情報を処理するために)、本明細書に開示されるバイオメトリック交換技法を使用するためにプログラムされることができる。故に、処理モジュール224、228は、バイオメトリック交換技法の側面を実行させられることができる。加えて、または代替として、コントローラ450は、バイオメトリック交換技法の側面を実行させるようにプログラムされることができる。
バイオメトリック情報交換のためのバイオメトリック情報の処理は、種々の方法において生じることができる。一例にすぎないが、結像システム452、454は、特定のアプリケーションのためのビデオ(例えば、眼追跡アプリケーションのための装着者の眼のビデオまたはジェスチャ識別アプリケーションのための装着者の手もしくは指のビデオ)を捕捉することができる。ビデオは、処理モジュール224、228の一方または両方によって、バイオメトリック情報処理技法を使用して分析されることができる。例えば、処理モジュール224、228は、眼画像の組(例えば、眼画像および対応する外界画像の両方)を分析し、ウェアラブルディスプレイシステム200の装着者の眼パターンまたは眼凝視を検出することができる。この分析を用いて、処理モジュール224、228は、バイオメトリック情報交換を実施することができる。例として、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、結像システム452、454から取得された眼画像を記憶するようにプログラムされることができる。加えて、ローカル処理およびデータモジュール224および/または遠隔処理モジュール228は、本明細書に説明される技法(例えば、ルーチン900)を使用して、画像の組を処理し、装着者が合意を示した同意カテゴリに基づいて、ウェアラブルディスプレイシステム200の装着者のバイオメトリック情報を伝送するようにプログラムされることができる。ある場合、バイオメトリック交換技法の少なくとも一部を遠隔処理モジュール(例えば、「クラウド」内)にオフロードすることは、計算の効率または速度を改良し得る。例えば、遠隔処理モジュールは、バイオメトリックデータ動作を眼画像の組に対して実施し、バイオメトリック情報を取得し得る。
上で説明されるように、バイオメトリック情報入手者コンピューティングデバイス715は、バイオメトリック交換において、そのシステムの装着者によって利用されるウェアラブルディスプレイシステム710から読み出されるバイオメトリック情報を取得することができる。例えば、ウェアラブルディスプレイシステム710は、バイオメトリック情報交換システム705を利用することができる。ウェアラブルディスプレイシステム710の装着者によって実施されるバイオメトリック情報交換においてバイオメトリック情報を取得するために、同意要求が、最初に、ウェアラブルディスプレイシステム710の装着者に伝送されることができる。同意要求が受信されると、装着者は、装着者によって利用されるウェアラブルディスプレイシステム710を用いて可能にされるバイオメトリック情報のある側面を共有することの合意の指示で、同意要求に応答することができる。同意要求は、種々のフォーマットまたはディスプレイ機構において伝送されることができる。例えば、ウェアラブルディスプレイシステム710は、同意要求を装着者に表示することができる。別の例として、同意要求は、装着者に表示されるディスプレイページまたはコンテンツページ(例えば、ウェブページ)を介して、ウェアラブルディスプレイシステム710の装着者に伝送されることができる。図8A−8Eに図示されるように、同意要求は、バイオメトリック情報入手者コンピューティングデバイス715が取得することができる、装着者のバイオメトリック情報の量およびアクセスのタイプにおいて変動し得る。本明細書に説明されるように、バイオメトリック情報は、同意要求が装着者に伝送され、同意指示を含む応答が装着者から受信されたときのみ、バイオメトリック情報交換システム705を利用して、バイオメトリック情報入手者コンピューティングデバイス715と共有される。
同意要求は、バイオメトリック情報入手者コンピューティングデバイス715による入手のためにウェアラブルディスプレイシステム710から取得されるバイオメトリック情報のカテゴリに対する要求を含むことができる。例えば、眼画像の組に対する同意要求が、特定の入手者に関連付けられた特定のコンピューティングデバイスによる入手のために、ウェアラブルディスプレイシステム710の装着者に伝送されることができる。別の例として、装着者は、ウェアラブルディスプレイシステム710に結合される画像捕捉デバイスによって捕捉された眼画像から取得される眼移動を共有することに合意するが、ウェアラブルディスプレイシステム710によって検出された皮膚感知(例えば、ガルバニセンサによって検出された皮膚電位活動)を共有することに合意しないことができる。装着者は、眼移動カテゴリに合意を示しているが、皮膚感知活動カテゴリに同意しないこともある。加えて、または代替として、同意要求は、ウェアラブルディスプレイシステム710に結合される(例えば、ローカル処理モジュール224を介して)特定のセンサまたはデバイスにアクセスするための要求を含むことができる。例えば、同意要求は、アクセスが場所を決定するためのGPSセンサに対して要求されることを示すが、他のセンサ(例えば、血圧センサ)がアクセスされないこともあることを規定することができる。
同意要求は、種々の形態またはフォーマットであることができる。いくつかの同意要求は、ウェアラブルディスプレイシステム710の装着者が、ウェアラブルディスプレイシステム710からの任意のバイオメトリック情報を取得せずに、バイオメトリック情報交換のためのオファーを提供されることを要求することができる。他の同意要求の各々は、あるアイテムに関する全てのバイオメトリック情報が、バイオメトリック情報交換システム705によって促進される特定の交換レートに対して、特定のバイオメトリック情報入手者コンピューティングデバイス715と共有されることを要求することができる。一例にすぎないが、バイオメトリック情報入手者コンピューティングデバイス715は、ウェアラブルディスプレイシステム710を介して、取得されるバイオメトリック情報(例えば、ある期間の間に取得されるバイオメトリック情報または特定のタイプのバイオメトリック情報)へのアクセスのための同意を要求することができる。バイオメトリック情報のためのアクセスは、特定のアイテムのためのものであり得る。順に、バイオメトリック情報入手者コンピューティングデバイス715は、特定のアイテムに関するバイオメトリック情報へのアクセスのための宣伝アイテムを提供することができる。そのような例示的交換は、ある交換レートにおける装着者バイオメトリック交換と称され得る。加えて、または代替として、同意要求の各々は、ウェアラブルディスプレイシステム710の装着者に関するある挙動特性を要求することができる。購入の意図等のアクションに関する意図は、挙動特性と見なされ得、それも、以下にさらに説明されるように、バイオメトリック交換において交換され得る。故に、装着者は、バイオメトリック情報入手者がそのような処理された挙動特性をウェアラブルディスプレイシステム710から取得し得るように、特定の挙動特性(例えば、あるタイプのアイテムの購入の意図)に関する同意要求を提示され得る。
ウェアラブルディスプレイシステム710によって提供されるVRおよびAR体験は、同意要求を促進することができる。例えば、装着者が、ウェアラブルディスプレイシステム710を利用し、特定のウィジェットを視認しているとき、複合現実体験が、同意要求を促進することができる。同意要求を含む拡張現実場面が、表示されることができる。一例にすぎないが、ユーザが、小売店内のピーナッツバターの瓶を視認している間、異なるブランドのピーナッツバターの瓶(例えば、競合他者のピーナッツバターブランド)を伴う拡張現実場面が、拡張現実場面に表示されることができる。同意要求は、要求されるバイオメトリック情報が、異なるブランドのピーナッツバター瓶を視認しているとき、ユーザがウェアラブルディスプレイシステム710を利用している間に取得される眼画像であることを示すことができる。故に、本明細書に説明されるように、同意要求は、ウェアラブルディスプレイシステム710の装着者への提示において種々のフォーマットをとることができる。
以下に説明されるように、装着者は、許可ボタン808またはアイコンを選択することによって、バイオメトリック情報入手者コンピューティングデバイス715に対して、バイオメトリック情報の共有、またはそれへのアクセスに同意を示すことができる。例えば、一実装では、装着者は、許可ボタン808に向けられた眼で瞬目し、そのボタンを選択し、それによって、許可ボタン808に関連付けられたテキストコンテンツへの同意を示すことができる。別の例として、装着者は、ジェスチャを使用して、許可ボタン808を選択することができる。ある方向における瞬目またはジェスチャ等の視覚的コマンドは、1つ以上のコンピュータビジョン技法を使用して決定されることができる。加えて、または代替として、同意要求は、装着者が共有に関心または承認を示しているあるタイプのバイオメトリック情報に従ってフィルタリングされることができる。例えば、あるポップアップアイコンが、装着者が共有に関心または承認を示したそれぞれの同意カテゴリのみに関して現れ得る。同意要求をフィルタリングする他の例は、図8Bを参照して以下にさらに説明される。
例として、装着者は、ユーザインターフェース制御パネルを介して、1つ以上のフィルタをアクセスされ得る着信オファーに適用することができる(例えば、「$5以上のもの」または「GPS場所を要求しないもの」等)。オファーは、到着すると、フィルタリングされ、フィルタ条件を満たす場合のみ、装着者に提示されることができる。ユーザインターフェース内の乱雑を低減させるために、システムは、オファーの存在を示す独特のアイコンによって、オファーを装着者に提示することができる。装着者は、オファーを承諾するためのアイコンを選択することができ、システムは、バイオメトリック情報を自動的に取得し(または取得を開始し)、それを申込者に提供し、装着者を補償することができる。そのような例示的実施形態は、事実上、「ワンクリック」、「ワン承認」、「ワン選択」、または「ワン相互作用」バイオメトリック交換のタイプであり、装着者は、最小限の相互作用を伴って、フィルタリングされたオファーを容易に選択することができる。いくつかのそのような例では、装着者は、オファーが装着者のフィルタを満たす場合、アイコンを選択する必要さえないこともある。例として、装着者は、装着者が買物に行くスーパーマーケットからのオファーを事前にフィルタリングし、スーパーマーケットが(適切な価格のために)、装着者が見ているアイテム、装着者が購入のために実際に選択したそれらのうちのアイテム(例えば、アイテムをショッピングカートに入れることによって)、装着者が店舗の異なる通路内で費やした時間長等を決定することを可能にすることができる。装着者がスーパーマーケットに入店すると、常時、ウェアラブルディスプレイシステム710は、(随意に)オファーアイコンを表示し、装着者からさらなる相互作用を伴わずに、装着者のバイオメトリック情報の交換を開始することができる。この例を継続すると、装着者がある場所に進入するときにオファーアイコンを随意に表示する利点は、装着者が、ウェアラブルディスプレイシステム710を介してその不服を示すことによって、オファーアイコンを拒否することができることである。例えば、装着者は、ウェアラブルディスプレイシステム710に結合されるマイクロホンを介して、口頭で、または可聴的に、オファーに対して不服を申し立てることができる(例えば、「必要ありません」と述べる)。別の例として、装着者は、視覚的コマンド(例えば、「非許可」ボタン812に向かって眼を瞬目する)を使用して、オファーに対して不服を申し立てることができる。故に、装着者は、その場所に対するその特定の訪問に対してバイオメトリック情報へのアクセスを可能にしないことができる一方、装着者のバイオメトリック情報の交換は、装着者が、1回以上の後続訪問中に表示されるオファーアイコンに対して不服を申し立てない場合、依然として、その場所への後続訪問において、装着者からさらなる相互作用を伴わないことができる。
コンピュータビジョンモジュールは、1つ以上のコンピュータビジョン技法を実装することができる。コンピュータビジョンモジュールは、ある方向もしくは任意の方向における眼瞬目またはジェスチャ(例えば、片手または両方手もしくは1つ以上のオブジェクトを用いて)等の装着者の視覚的コマンドを決定することができる。コンピュータビジョンモジュールは、装着者が見ているオブジェクト、人物、または場面を決定することができる。コンピュータビジョン技法の非限定的例は、以下を含む:スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、指向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(Bリスク)、高速網膜キーポイント(FREAK)、Viola−Jonesアルゴリズム、Eigenfacesアプローチ、Lucas−Kanadeアルゴリズム、Horn−Schunkアルゴリズム、Mean−shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等。
音声認識モジュールは、1つ以上の音声認識技法を実装することができる。音声認識モジュールは、装着者の音声またはオーディオコマンド(例えば、「はい」または「いいえ」と述べる)を決定することができる。音声認識技法は、長短期メモリ(LSTM)再帰型ニューラルネットワーク(RNN)等の機械学習に基づくことができる。音声認識技法は、隠れマルコフモデル(HMM)、動的時間伸縮法(DTW)ベースの音声認識、機械学習、またはエンドツーエンド自動音声認識に基づくことができる。音声認識のための機械学習技法は、長短期メモリ(LSTM)再帰型ニューラルネットワーク(RNN)、時間遅延ニューラルネットワーク(TDNN)、または深層順方向ニューラルネットワーク(DNN)、もしくは再帰型ニューラルネットワーク(RNN)等のニューラルネットワークに基づくことができる。
音声認識技法およびコンピュータビジョン技法は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。訓練されると、機械学習アルゴリズムは、ウェアラブルディスプレイシステム710によって記憶されることができる。機械学習アルゴリズムのいくつかの例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k−平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Generalization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータ組のためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ(例えば、テレプレゼンスセッション内の特定のユーザ)、データ組(例えば、テレプレゼンスセッション内のユーザの取得される追加の画像の組)、条件付き状況、または他の変形例に特定の追加のモデルを生成し得る。いくつかの実施形態では、ウェアラブルディスプレイシステム710は、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含み得る。
(例示的ディスプレイページ)
図中での例証目的のために、架空の名称「biometricexchange.com」が、バイオメトリック情報交換システム705によってホストされるネットワークサイトを指すためにディスプレイページにおいて使用される。加えて、架空の名称装着者Williamおよび入手者Adamの各々が、特定のウェアラブルディスプレイシステム710の装着者およびバイオメトリック情報入手者コンピューティングデバイス715を指すために使用される。
図8A−8Eは、バイオメトリック情報交換システム705がウェアラブルディスプレイシステム710と装着者のバイオメトリック情報の潜在的入手者のコンピューティングデバイスとの間で情報を交換する代表的ディスプレイコンテンツページまたはディスプレイページ(例えば、ウェブページ)のフォーマットおよびコンテンツの例を図示する。例証目的のために、代表的ディスプレイページは、それらが、例えば、ウェアラブルディスプレイシステム710によって表示されるウェブブラウザ内に現れ得るように提示される。図8A−8Eに図示される例は、ウェブページとして表されるが、それは、例証であり、限定であることを意図するものではない。他の実装では、バイオメトリック情報交換システム705のコンテンツは、ウェアラブルディスプレイシステム710によって、処理モジュール224、228上で実行され得るアプリケーション(例えば、「アプリ」)を介して等、他のフォーマットで提示されることができる。例えば、一実施形態では、ポップアップ(またはアラート、モーダル/ダイアログ、フラッシュ通知/グロール通知、ライトボックス/シアター、ポップオーバー/ツールチップ/ホバーカード、またはそれらの任意の組み合わせ)が、装着者に提示され得、ポップアップは、バイオメトリック情報交換システム705のコンテンツの(例えば、バイオメトリック情報に関する同意要求を示すアイコン)一部を含む。いくつかの実施形態では、ディスプレイページのコンテンツは、装着者に示される場面の中にシームレスに統合されることができる(例えば、図2に示されるウェアラブルディスプレイシステム200または図4および6におけるディスプレイシステム400の装着者に示される拡張現実場面100)。
図8Aは、ウェアラブルディスプレイシステム710の装着者がバイオメトリック情報のオファーを視認することに対する同意を提供するためにバイオメトリック情報交換システム705によって生成される例示的ディスプレイページ800aを図示する。図示されるように、biometricexchange.comのディスプレイページ800aにアクセスする前にさえ、ポップアップが、装着者がそのシステムに接続するための同意をバイオメトリック情報交換システム705に提供するプロセス中、図8Aのディスプレイページ800a上に表示され得る。この例証的例では、Williamは、ディスプレイページ800a上に表示され得るポップアップ804を提示されることができ、ポップアップは、そのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705に接続するためのWilliamからの承認を要求する。ポップアップ804は、Williamがそのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705と接続することに同意する場合、バイオメトリック情報交換システム705が行い得るアクションを説明する。Williamが同意しないことを決定する場合、Williamは、非許可ボタン812をクリックまたは選択することができ、バイオメトリック情報交換システム705は、Williamのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705に接続またはリンクすることを試み得ない。この状況では、装着者のソーシャルネットワーキング情報は、プライベートかつバイオメトリック情報交換システム705に利用不可能なままである。
Williamが同意することを決定する場合、Williamは、許可ボタン808を選択し、バイオメトリック情報のある側面に関する合意を示すことができる。図示されるように、この例では、Williamは、彼のバイオメトリック情報およびバイオメトリック情報交換に対するオファーを受信することに合意することとを示している。許可ボタン808を選択することによって、Williamは、バイオメトリック情報交換に対するオファーに関する同意指示を提供し、biometricexchange.comにアクセスすることができる。Williamが、バイオメトリック情報交換システム705とのアカウントを作成されていない、または作成していない場合、バイオメトリック情報交換システム705は、Williamにバイオメトリック情報交換システム705にアカウントを作成するように促し得る。例えば、バイオメトリック情報交換システム705は、バイオメトリック情報交換システム705がウェアラブルディスプレイシステム710からのWilliamのバイオメトリック情報にアクセスすることが認可され得るように、ポップアップ(図示せず)を使用して、Williamが彼の認証証明情報(例えば、ユーザ名およびパスワードまたは虹彩コード)を打ち込むことを可能にすることができる。ポップアップ804は、装着者の個人データのプライバシを保護するためのバイオメトリック情報交換システムのポリシの説明と、装着者が許可ボタン808および非許可ボタン812機能性の使用し得る方法の説明とも含むことができる。
いくつかの実装では、同意指示がウェアラブルディスプレイシステム710の装着者の応答から決定されると、ウェアラブルディスプレイシステム710によって提供されるVR、AR、またはMR体験は、バイオメトリック情報交換オファーの提示を促進することができる。例えば、Williamが、ウェアラブルディスプレイシステム710を利用しており、特定のウィジェットを視認しているとき、AR体験は、同意要求を促進することができる。同意要求を含む拡張現実場面が、表示されることができる。一例にすぎないが、ユーザが、ある物理的場所においてあるアイテムを視認している間、類似アイテムであるが、異なるタイプ(例えば、異なるブランドのアイテム)を伴う拡張現実場面が、拡張現実場面に表示されることができる。同意要求は、Williamがこれらのタイプのアイテムを視認するためにウェアラブルディスプレイシステム710を利用し得る間に取得される眼画像のバイオメトリック情報が要求されることを示すことができる。別の実装では、同意要求は、図8Cを参照して以下にさらに説明されるように、バイオメトリック情報の一側面のみが、取得される眼画像から処理されることになることを示すことができる。例えば、同意要求は、それらの特定のタイプのアイテムを視認している間の眼パターンが、ある交換レートにおいてそのバイオメトリック情報に対するオファーを受信するためにバイオメトリック情報交換システム705に伝送されることができることを示すことができる。
図8Bは、図8Aにおいて開始されるように、バイオメトリック情報交換システム705によって生成される例示的ディスプレイページ800bと、対応するポップアップとを図示し、ポップアップは、装着者がバイオメトリック情報交換システム705によって提供されるオファーを視認することに同意すると、その例示的ディスプレイページ800b上に表示され得る。バイオメトリック情報交換システム705によって接続が行われた後、Williamは、接続が正常に行われたことを示すポップアップ8216を提示され得る。一実装では、バイオメトリック情報交換システム705は、ウェアラブルディスプレイシステム710の処理モジュール224、228へのAPIコールを使用して、Williamのウェアラブルディスプレイシステム710とバイオメトリック情報交換システム705との間の接続を確立することができる。例えば、Williamの同意により、バイオメトリック情報交換システム705は、Williamの認証証明情報(例えば、ユーザ名およびパスワード)を使用して、Williamのためにバイオメトリック情報交換システム705に自動的にサインインすることができる。別の実装では、Williamが、データリポジトリ232内に記憶されるウェアラブルディスプレイシステム710に関連付けられたプロファイルを有する場合、バイオメトリック情報交換システム705は、Williamのプロファイルをデータリポジトリ232から読み出し、バイオメトリック交換オファーを提供するために、そのプロファイルを利用することができる。図7を参照して上で説明されるように、サーバコンピューティングデバイスによってホストされ得るバイオメトリック情報交換システム705は、セキュア接続725をウェアラブルディスプレイシステム710とバイオメトリック情報入手者コンピューティングデバイス715との間に形成することができる。故に、バイオメトリック情報交換システム705によってホストされるセキュア接続725は、ウェアラブルディスプレイシステム710の装着者とバイオメトリック情報入手者コンピューティングデバイス715との間のバイオメトリック交換を促進することができる。
バイオメトリック情報交換システム705へのセキュア接続725を用いて、ディスプレイページ800bは、バイオメトリック情報交換に対するオファー820を表示することができる。図示されるように、オファー820は、あるバイオメトリック交換レートに対してウェアラブルディスプレイシステム710によって取得されるバイオメトリック情報の説明を含む。例示的オファー820として、例示的大規模店舗(またはオンラインまたは実店舗であるかどうかにかかわらず、任意の小売施設またはショールーム)における特定のアイテムの眼ブラウジング履歴が、訪問あたり$10の交換レートに対してバイオメトリック情報入手者コンピューティングデバイス715と交換されることができる。故に、Williamがウェアラブルディスプレイシステム710を利用して大規模店舗に訪問する度に、例示的アイテムに関連する眼ブラウジング履歴がウェアラブルディスプレイシステム710によって取得されると、$10でバイオメトリック情報交換システム上で交換されることができる。別の例示的オファー820として、US−101号線上を運転しているときのWilliamの眼凝視が、Williamがウェアラブルディスプレイシステム710を利用してUS−101号線上を運転するとき、1ヶ月あたり$99の交換レートで交換されることができる。故に、Williamは、必ずしも、特定の交換に同意せずに、ディスプレイページ800b上に表示されるオファー826を視認することができる。図8C−8Eに図示されるように、異なるカテゴリの同意は、バイオメトリック情報交換システム705からのバイオメトリック情報に対する同意要求に基づいて、Williamによって合意されることができる。図8A−8Bに図示されるように、Williamは、バイオメトリック情報交換システム705がWilliamのバイオメトリック情報に対するオファーをWilliamに提供することのみを可能にする、基本レベルの同意に同意している。
オファー820のディスプレイページ800b上への表示は、フィルタまたは異なるディスプレイ設定と併せて実装されることができる。例えば、Williamは、フィルタ(図8Bに図示せず)を選択し、あるオファーを自動的に除外することができる。例えば、Williamは、$1を下回るオファーを自動的に除外する、フィルタを選定することができる。別の例として、Williamは、その眼凝視に関するオファーを自動的に除外するフィルタを選定することができる。一実装では、Williamは、実際には選択することが無効であるオファーを確認可能であり得る。例えば、WilliamがUS−101号線の近傍のエリア内に居住していない場合でも、US−101号線上を運転するとき、眼凝視に関するオファーを確認可能であり得る。そのような場合、そのようなオファーは、US−101号線近傍を運転する装着者に関連するバイオメトリック情報を入手することを求める、バイオメトリック情報入手者コンピューティングデバイス715によって提供され得る。加えて、または代替として、フィルタは、ユーザが選択することに関心があり得る、あるオファーを含むように使用されることができる。
別のディスプレイ設定として、交換レートは、図8Bに表示されるUSドルレートとは対照的に、異なる通貨で表示されることができる。例えば、交換レートは、バイオメトリック情報交換システム705によって指定される仮想通貨または暗号通貨(例えば、BitCoin)またはある他の取引媒体(例えば、報酬ポイント)で表されることができる。そのような場合、別の通貨が、その通貨をUSドルで金融媒体を通して実際に入手せずに、バイオメトリック情報交換システム705上で種々の他の交換のために使用されることができる。故に、バイオメトリック情報交換システム705は、バイオメトリック情報交換のためにカスタマイズされた交換媒体で交換を実施することができる。
種々のバイオメトリック情報交換オファーが、可能である。Williamがウェアラブルディスプレイシステム710を利用している場合、バイオメトリック情報入手者は、種々のオファーをバイオメトリック情報交換システム705を介して装着者Williamに提供することができる。上で説明されるように、ウェアラブルディスプレイシステム710は、眼画像を取得し、動的眼特徴を検出または処理することができる。動的眼特徴は、眼移動、眼パターン、眼凝視、眼焦点情報、瞳孔拡張状態、または眼ブラウジング履歴を含むことができる。加えて、外界画像(例えば、結像システム454によって捕捉されるように)も、人口統計または場所に基づいて、種々のオファーのために使用されることができる。例えば、小売店内に居る間に取得されるウェアラブルディスプレイシステム710からの画像は、その小売店の人口統計を示すことができる。一例にすぎないが、装着者がブラウジングしている間の小売店の画像は、小売店の人口の大部分が、30歳未満であることを示し得る。故に、バイオメトリック情報入手者コンピューティングデバイス715は、そのような画像を取得すると、その小売店内のその年齢人口統計に人気のアイテムをオファーし得る。別の例として、小売店内の特定の売り場をブラウジングしている人々の人口統計も、アイテムのタイプ自体に対するその人口統計の関心レベルを示すことができる。例えば、午後の時間帯の間の小売店内の装着者から取得される画像は、その時間の間、男性が、主に、食料品セクションをブラウジングしていることを示し得る。故に、バイオメトリック情報入手者コンピューティングデバイス715は、そのような画像を取得すると、その時間帯の間、その小売店の食料品セクション内の男性に広告またはオファー820をオファーし得る。バイオメトリック情報入手者コンピューティングデバイス715は、関連バイオメトリック情報アクティビティまたはプロジェクトのためにバイオメトリック情報を使用することができる。故に、本明細書に説明されるシステムは、バイオメトリック情報交換システム705を利用して、装着者の関連付けられたウェアラブルディスプレイシステム710(例えば、ウェアラブルディスプレイシステム200)に接続するバイオメトリック情報入手者コンピューティングデバイス715に眼画像および/または外界画像を提供することができる。
処理モジュール224、228またはバイオメトリック情報交換システム705を利用する、ウェアラブルディスプレイシステム200は、ウェアラブルディスプレイシステム200を利用する装着者から取得されるバイオメトリック情報を処理することができる。例えば、眼画像は、装着者に関するバイオメトリック特性を取得するために処理され得る。眼画像を処理する例として、眼画像は、瞳孔拡張、眼の向いている方向、または眼凝視に基づいて、アイテムに対するアクションの意図を分析されることができる。例証として、ユーザが、複数のピーナッツバター瓶を小売店内で視認している間(例えば、アイテムに関連付けられた画像の組から分析されるように)、あるブランドのピーナッツバター瓶への眼凝視の持続時間は、購入の意図を示すことができる。装着者の瞳孔拡張は、そのピーナッツバター瓶を購入する意図を確認することができ、例えば、ピーナッツバター瓶を視認している間に装着者の瞳孔が膨張したことを示す。または、別の例として、ある期間にわたって、最初のピーナッツバター瓶を視認した後、眼画像が、眼が異なるブランドの別のピーナッツバター瓶に移動したことを示し得る。例えば、対応する外界画像が、眼凝視と装着者によって視認される特定のアイテムを関係づけるために使用されることができる。そのようなパターンの眼凝視は、最初のピーナッツバター瓶が購入され得ることを示し得る。レジにおける会計取引からの購入データは、この購入が実際に生じたことを示し得る。逆に言えば、最終購入データが、ピーナッツバター瓶の購入する間の装着者の意図を推測するために使用され得る。例えば、最初のピーナッツバター瓶の最終購入は、装着者がその同一アイテムブランドの競合他者のブランドより長い持続時間にわたって最終購入におけるアイテムを視認するより高い確率を有することを示し得る。装着者の皮膚に関して取得されるバイオメトリック情報(例えば、ウェアラブルディスプレイシステム710に結合されるガルバニセンサシステムによって検出されるように)も、アイテムに関するアクションの意図(例えば、挙動特性)を推測するために使用されることができる。そのようなガルバニセンサシステムの例として、ガルバニセンサシステムによる装着者の汗の検出は、装着者が小売店においてアイテムの購入に関心があることを示し得る。
この例は、小売店におけるピーナッツバター瓶の画像の分析と、装着者の汗の検出とを参照して説明されたが、装着者の追加のバイオメトリック特性も、ウェアラブルディスプレイシステム710によって入手されたデータから推測または処理されることができる。種々の実装では、ウェアラブルディスプレイシステム710から入手された任意のデータが、挙動特性を捕捉、推測、処理、または決定し得る。例えば、図2を参照して上で説明されるように、ローカル処理モジュール224によって入手されたデータは、画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、ジャイロスコープ、位置センサ(例えば、GPSセンサ)、無線デバイス、音声検出器、ガルバニセンサ、心拍数または血圧センサ、心電図センサ、および/または脳波図センサ等のセンサ(例えば、フレーム212に動作可能に結合される、または別様に装着者204に取り付けられ得る)から捕捉されたデータを含むことができる。
眼画像の処理から取得される情報、外界画像、およびウェアラブルディスプレイシステム710から取得される任意の他のデータの相関は、装着者の挙動特性(例えば、アイテムの購入)を決定または推測するために使用されることができる。眼画像からの挙動特性を処理する別の例として、装着者が自動車に乗り込んだことを示す眼画像および装着者がシートベルトを締めたことを示す眼画像は全て、処理され、装着者が、車に乗り込んだ後、そのシートベルトを締めるまでにかかる時間を決定することができる。シートベルトアクションに関するそのような時間は、装着者の挙動特性として、自動車製造業者、自動車安全協会、自動車保健会社、または米国自動車管理局と交換され得る。加えて、または代替として、総計として、種々の装着者の挙動特性が、いくつかのウェアラブルディスプレイシステム710から取得される集約データから処理または推測されることができる。そのような集約された挙動特性も、処理または分析され、ある人口統計または装着者のタイプ(例えば、ファミリーカーの運転手またはスポーツカーの運転手)に対する挙動特性を取得することができる。ある場合、バイオメトリック情報を要求するエンティティは、バイオメトリック情報交換システム705に、バイオメトリック情報交換システム705がエンティティの代わりに集約されたバイオメトリック情報を処理するために使用する処理アルゴリズムまたはソフトウェア(エンティティ専用のままであり得る)を提供することができる。
いくつかの実装では、アイテムに関連付けられた標識が、アイテム自体ではなく、分析の焦点であり得る。例えば、大規模小売店は、異なるフォーマットを伴う2つの標示を2つの異なる店舗内に設置し、より多くの関心を顧客から受信する標示を試験し得る(例えば、A/B試験を使用して)。この例を継続すると、本明細書に説明される方法に従って同意要求を介してバイオメトリック情報を提供することに同意した種々の装着者を用いて、小売店は、集約された動的眼特徴を装着者から取得し、標示のうちの一方が他方より多くの関心を顧客から受信することを決定することができる。故に、小売店は、特定のフォーマットを伴う特定の標示が異なるフォーマットを伴う別のタイプの標示より人気であることを決定することができる(例えば、A/B試験または他の統計的技法を使用して)。加えて、または代替として、アイテムに関連付けられた標識およびアイテム自体は、アイテムに対するアクションの意図を示すために使用されることができる。両場合において、アイテムに関連付けられた画像の組が、バイオメトリック情報交換システム705または処理モジュール224、228によって処理され、ディスプレイページ800b上に表示されるように、バイオメトリック情報交換のためのオファー820をウェアラブルディスプレイシステム710の装着者に提供することができる。例えば、図9を参照して以下に説明されるように、処理モジュール224、228は、バイオメトリック情報を眼画像および対応する外界画像を含む画像の組から処理するためのルーチン900を実装することができる。
前述の例は、小売店におけるピーナッツバター瓶の外界画像の分析を説明したが、これは、例証のためのものであり、限定を意図するものではない。他の実装では、任意のアイテムが、取得される眼画像の分析において使用されることができる。眼画像および外界画像の処理から取得される情報の任意の相関も、アイテムに対するアクションの意図(例えば、アイテムの購入)を推測するために使用されることができる。例えば、同一小売店内における装着者の眼焦点情報および眼移動と各装着者の対応する外界画像を関係づけることによって、情報がより一般に利用可能になるように、オファー820が、種々の装着者に作成されることができる。別の例として、特定のタイプのバイオメトリック情報に対する交換レートは、相関がそのような情報が有用ではないことを示すとき減少し得るか、または、それは、相関がそのようなバイオメトリック情報が有用であることを示すとき増加し得る。他の要因も、オファー820に影響を及ぼし得る。例えば、多数の装着者が、US−101号線上を運転している間、眼凝視に関する特定のオファーを選択する場合、交換レートは、図8Bにおける$99/月の表示されるレートではなく、$5/月まで減少し得る。以下にさらに説明されるように、図9では、ルーチン900は、ウェアラブルディスプレイシステム710を用いてバイオメトリック情報に関する同意要求を表示すること、ウェアラブルディスプレイシステム710を利用する装着者からバイオメトリック情報を取得すること、および/またはバイオメトリック情報を処理し、バイオメトリック情報入手者コンピューティングデバイス715のためのバイオメトリック情報処理結果を生成すること等、バイオメトリック情報を交換するための例示的ワークフローを描写する。
ウェアラブルディスプレイシステム710とバイオメトリック情報交換システム705との間の接続をオプトインおよび認可後、装着者は、心変わりし、バイオメトリック情報交換システム705との接続のオプトアウトを決定することができる。例えば、バイオメトリック情報交換システム705は、Williamが、同意を取り消し、Williamのウェアラブルディスプレイシステム710との関連付けを解除し得るように、ディスプレイページ(またはそこへのリンク)を生成することができる。装着者同意が取り消された後、バイオメトリック情報交換システム705は、装着者の認証情報(例えば、ユーザ名およびパスワード情報)、プロファイル情報、およびバイオメトリック情報交換システム705に関連付けられた任意のデータリポジトリまたはキャッシュから取得される任意のバイオメトリック情報を除去することができる。
図8Cは、装着者のバイオメトリック情報のあるカテゴリに関するオファーを受信することに対する同意要求を提供するために、バイオメトリック情報交換システム705によって装着者のために生成される例示的ディスプレイページ800cを図示する。図示されるように、バイオメトリック情報をbiometricexchange.comと共有する前さえ、ポップアップが、装着者がそのシステムに接続するための同意をバイオメトリック情報交換システム705に提供するプロセス中、図8Cのディスプレイページ800c上に表示される。この例証的例では、Williamは、ディスプレイページ800c上に表示され得るポップアップ824を提示されることができ、ポップアップは、そのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705に接続し、あるバイオメトリック情報を共有するための承認をWilliamから要求する。ポップアップ824は、Williamがそのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705と接続することに同意し、そのバイオメトリック情報のある側面をバイオメトリック情報交換システム705と共有する場合、バイオメトリック情報交換システム705が行い得るアクションを説明する。例えば、Williamは、バイオメトリック情報交換システム705に接続される第三者バイオメトリック情報入手者と共有され得るあるカテゴリ(例えば、眼移動および眼パターン)を選定することができる。Williamが同意しないことを決定する場合、Williamは、非許可ボタン812をクリックまたは選択することができ、バイオメトリック情報交換システム705は、Williamのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705に接続またはリンクすることを試みないこともある。この状況では、装着者のバイオメトリック情報は、プライベートかつバイオメトリック情報交換システム705に利用不可能なままである。
Williamが同意することを決定する場合、Williamは、許可ボタン808を選択し、バイオメトリック情報のある側面に関する合意交換を示すことができる。図示されるように、この例では、Williamは、バイオメトリック情報交換の提供のために、そのバイオメトリック情報のあるカテゴリを共有することに合意することを示す。許可ボタン808を選択することによって、Williamは、バイオメトリック情報交換に対するオファーのあるカテゴリに関する同意指示を提供し、ウェアラブルディスプレイシステム710は、そのようなバイオメトリック情報をbiometricexchange.comと共有し得る。上で説明されるように、ポップアップ824は、装着者の個人データのプライバシを保護するためのバイオメトリック情報交換システムのポリシの説明と、装着者が許可ボタン808および非許可ボタン812機能性を使用し得る方法の説明とを含むこともできる。
図8Dは、図8Cにおいて開始されるように、バイオメトリック情報交換システム705によって生成される例示的ディスプレイページ800dと、装着者がバイオメトリック情報交換システム705を用いてバイオメトリック情報のあるカテゴリに関するオファーを受信することに同意する場合のその例示的ディスプレイページ800d上に表示され得る対応するポップアップとを図示する。接続がバイオメトリック情報交換システム705によって行われた後、Williamは、接続が正常に行われたことを示すポップアップ828を提示され得る。バイオメトリック情報交換システム705との接続は、図8Bを参照して上で説明されたように、ポップアップ828から受信された同意を用いて行われることができる。
バイオメトリック情報交換システム705への正常接続の場合、ディスプレイページ800dは、バイオメトリック情報交換のためのオファー832を表示することができる。図示されるように、オファー832は、あるバイオメトリック交換レートに対してウェアラブルディスプレイシステム710によって取得されるバイオメトリック情報の説明を含む。例示的オファー832として、例示的大規模店舗(またはオンラインまたは実店舗であるかどうかにかかわらず、任意の小売施設またはショールーム)における歯磨き粉ブランドに対する眼移動が、大規模店舗における10回の訪問毎にその歯磨き粉ブランドに類似する宣伝アイテム(例えば、競合他者または宣伝歯磨き粉製品)の交換レートに対して、バイオメトリック情報入手者コンピューティングデバイス715と交換されることができる。例えば、入手者Adamは、大規模店舗へのWilliamの訪問中の宣伝ウェアラブル腕時計を競合他者ウェアラブルデバイスに対する眼移動と交換することを欲し得る。別の例示的オファー832として、Williamが、ウェアラブルディスプレイシステム710を利用して、US−101号線上を運転するとき、Williamの眼パターンが、90分にわたってUS−101号線上を運転後、例示的タクシー会社によって提供される15分の無料乗車の交換レートと交換され得る。故に、図8C−8Dに図示されるように、Williamは、Williamのバイオメトリック情報を共有するためのバイオメトリック情報交換システムからの初期同意要求に基づいて、バイオメトリック情報のあるカテゴリを共有することに同意している。順に、バイオメトリック情報交換システム705は、種々のバイオメトリック情報入手者コンピューティングデバイス715によってオファーされるようなある交換レートにおいて、Williamのバイオメトリック情報に対するオファーの提供を促進する。図8Dに描写されない別の例として、それぞれの交換レートにおけるウェアラブルディスプレイシステム710の装着者の挙動特性に関連付けられたオファーのリストが、バイオメトリック情報交換システム705上での交換のためにWilliamに提示されることができる。
図8Eは、装着者のバイオメトリック情報の一部または全部を共有することに対する同意要求を提供するためにバイオメトリック情報交換システム705によって生成され得る例示的ディスプレイページ800eを図示する。この例証的例では、Williamは、ポップアップ836を提示されることができ、ポップアップは、ディスプレイページ800e上に表示され得、彼のウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705に接続し、そのバイオメトリック情報の全てを共有するための承認をWilliamから要求する。ポップアップ836は、Williamがそのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705と接続し、そのバイオメトリック情報のいずれかをバイオメトリック情報交換システム705と共有することに同意する場合、バイオメトリック情報交換システム705が行い得るアクションを説明する。例えば、Williamによって利用されるウェアラブルディスプレイシステム710は、バイオメトリック情報交換システム705に接続される第三者バイオメトリック情報入手者と、バイオメトリック情報(例えば、眼移動および眼パターン)を共有することができる。そのようなバイオメトリック情報は、バイオメトリック情報交換システム705によって利用され、そのバイオメトリック情報の任意の側面に対する入手者AdamによるオファーをWilliamに提供することができる。故に、Williamが、ポップアップ836に関連付けられたテキストコンテンツに合意する場合、Williamは、許可ボタン808を選択することができる。上で説明されるように、ポップアップ836は、装着者の個人データのプライバシを保護するためのバイオメトリック情報交換システムのポリシの説明と、装着者が許可ボタン808および非許可ボタン812機能性を使用し得る方法の説明とも含むことができる。
しかしながら、Williamが、同意しないことを決定する場合、Williamは、非許可ボタン812をクリックまたは選択することができ、バイオメトリック情報交換システム705は、Williamのウェアラブルディスプレイシステム710をバイオメトリック情報交換システム705に接続またはリンクすることを試みないこともある。この状況では、装着者のバイオメトリック情報は、プライベートかつバイオメトリック情報交換システム705に利用不可能なままである。
(例示的バイオメトリック情報交換ルーチン)
図9は、例証的バイオメトリック情報交換ルーチンのフロー図を示す。ルーチン900は、ウェアラブルディスプレイシステム710を用いてバイオメトリック情報に関する同意要求を表示し、ウェアラブルディスプレイシステム710を利用して装着者からバイオメトリック情報を取得し、バイオメトリック情報を処理し、バイオメトリック情報入手者コンピューティングデバイス715のためのバイオメトリック情報処理結果を生成するための例示的ワークフローを描写する。ルーチン900は、バイオメトリック情報交換システム705によって実施されることができる。
ブロック904では、バイオメトリック情報に対する要求が、バイオメトリック情報入手者コンピューティングデバイス715から受信される。バイオメトリック情報に対する要求は、種々のソースから受信されることができ、それは、限定ではないが以下を含む:バイオメトリック情報交換システム705をホストするサーバ、ウェアラブルディスプレイシステム710に直接接続されるバイオメトリック情報入手者コンピューティングデバイス715、バイオメトリック情報交換システム705をホストするコンピューティングデバイス、または、バイオメトリック情報入手者コンピューティングデバイス715に関連付けられ、ウェアラブルディスプレイシステム710も接続される、ネットワークに接続される任意のコンピューティングデバイス。
ルーチン900を継続すると、ブロック908では、同意要求が、ウェアラブルディスプレイシステム710を用いて表示される。上で説明されるように、ウェアラブルディスプレイシステム710は、あるタイプのウェアラブルディスプレイシステム710である。種々の実装では、同意要求は、バイオメトリック情報交換技法の例に関して上で説明されるように、ウェアラブルディスプレイシステム710のディスプレイ上に表示されることができる。例えば、同意要求は、ウェアラブルディスプレイシステム710上の拡張現実場面に表示されることができ、ウェアラブルディスプレイシステムは、バイオメトリック情報交換のためのオファー内に含まれるアイテムとともに、競合他者アイテムを表示する。
決定ブロック912では、同意指示が受信されたかどうかに関して、決定が行われる。同意指示は、バイオメトリック情報のある側面に関することができる。例えば、同意応答は、同意要求のディスプレイに応答して、受信されることができる。同意応答は、バイオメトリック情報のある側面に関する合意に関連付けられた同意指示を含むことができる。例証として、同意応答は、バイオメトリック情報のいくつかのカテゴリに関することができ、それに対して、ウェアラブルディスプレイシステム710の装着者は、それらのカテゴリの一部のみに合意する。その場合、同意指示は、それらの同意に合意されたカテゴリである。別の側面では、同意指示は、同意要求が表示された装着者によって利用されたときにウェアラブルディスプレイシステム710によって受信、捕捉、または検出されるバイオメトリック情報のいずれかまたは全てに対する包括的同意であることができる。
ある場合、同意指示が、受信されない場合がある。例えば、同意指示は、同意要求を表示してからある期間後、受信されていない場合がある。代替として、または加えて、同意応答は、同意が任意のバイオメトリック情報に対して合意されていないことを示すことある。例えば、装着者は、バイオメトリック情報の任意の同意カテゴリに同意を示さないこともある。ユーザが、同意要求に対して同意を示さない場合、ルーチン900は、ブロック904に戻る。追加の同意要求が、装着者に反復的に受信および表示されることができる。一例にすぎないが、同意要求は、ある期間にわたって装着者に再び表示されないこともある。別の例として、異なる同意要求が、より範囲を狭めて、ブロック908において、ウェアラブルディスプレイシステム710を利用する装着者に表示され得る。例えば、より狭い範囲の同意要求は、バイオメトリック情報の共有に関するオファーを表示することのみに対する要求であり得る(その場合、以下に説明されるブロック920は、ルーチン900の一部ではないこともある)。いずれの場合も、ルーチン900は、バイオメトリック情報のある側面に関する同意指示が肯定的に応答されるまで、決定ブロック912に反復的に進むことができる。いくつかの実装では、同意指示は、ユーザに示される同意要求のある回数の(例えば、2、3、4、5、10回、またはそれを上回る)拒否のないことに基づいて決定されることができる。
決定ブロック912では、同意指示が、同意応答において装着者から受信されたことが決定される場合、ルーチン900は、ブロック916に進む。例えば、種々の実装では、「許可」指示が、図8A、8C、および8Eに図示される例を参照して上で説明されるように、ディスプレイページ800a、800c、800eを介して受信されると、バイオメトリック情報のある側面に関する同意指示が、受信されたと決定されることができる。
ルーチン900を継続すると、ブロック916では、バイオメトリック情報が、ウェアラブルディスプレイシステム710を利用して取得される。上で説明されるように、バイオメトリック情報は、画像捕捉デバイスまたはガルバニセンサシステム等のウェアラブルディスプレイシステム710に結合される種々のデバイスを使用して取得されることができる。バイオメトリック情報は、眼画像または眼焦点情報等の眼画像の処理の結果を含むことができる。
ブロック920では、取得されるバイオメトリック情報の一部(またはその全て)が、バイオメトリック情報に対する初期要求と装着者が合意を示している同意指示とに基づいて、バイオメトリック情報交換入手者715に伝送される。例えば、種々の実装では、バイオメトリック情報のあるカテゴリに関して取得されたバイオメトリック情報の一部は、図8Dに図示される例を参照して上で説明されるように、装着者が、バイオメトリック情報交換システム705に接続されており、バイオメトリック情報交換入手者715によって提案される種々の交換レートにおいてバイオメトリック情報のある側面のためのオファーを受信すると、バイオメトリック情報交換入手者715に伝送されることができる。一実装では、伝送されるバイオメトリック情報は、バイオメトリック情報入手者コンピューティングデバイス715からの初期要求(例えば、装着者に表示される同意要求)と、装着者が合意を示している同意指示(例えば、装着者に表示されるアイテムに対する眼パターンに関するオファーのみ)とに依存するか、またはそれに部分的に基づく。
ブロック924では、バイオメトリック情報の交換に対する報酬が、装着者に提供されることができる。報酬は、金銭補償、商品またはサービスに関する割引もしくは払い戻し、商品またはサービスに対する優先(例えば、ゴルフコースにおける優先スタート時間)、またはバイオメトリック情報の提供者に容認可能な任意の他のタイプの報酬を含むことができる。報酬は、バイオメトリック情報の提供者(例えば、ウェアラブルディスプレイシステム710の装着者)または提供者の被指名人に提供されることができる。報酬は、バイオメトリック情報交換システム、バイオメトリック情報入手者、または第三者によって提供されることができる。
ブロック924では、バイオメトリック情報交換は、提供されるバイオメトリック交換サービスに対する報酬を取得することができる。例えば、バイオメトリック情報交換は、バイオメトリック情報入手者に、入手者をバイオメトリック情報の提供者と接続するための料金を請求し得る。その後、ルーチン900は、終了する。
いくつかの実装では、随意に、または加えて、バイオメトリック情報に関するオファーが、伝送されるバイオメトリック情報に基づいて、ウェアラブルディスプレイシステム710に伝送されることができる。例えば、図8Bおよび8Dに図示されるように、オファー826および838が、そのようなオファーをディスプレイページ800b、800d上に表示することによって、装着者に伝送されることができる。ルーチン900は、バイオメトリック情報交換システム705を介して、そのようなオファーを装着者に提供し、交換を促進することができる。
種々の実施形態では、ルーチン900は、ディスプレイシステム200の実施形態におけるように、ディスプレイシステムのハードウェアプロセッサ(例えば、処理モジュール224、228またはコントローラ450)によって実施されることができる。他の実施形態では、コンピュータ実行可能命令を伴う遠隔コンピューティングデバイスが、ウェアラブルディスプレイシステム710に、ルーチン900の側面を実施させることができる。例えば、遠隔コンピューティングデバイスは、同意指示がバイオメトリック情報のある側面(例えば、眼パターン)に関することを決定することができる。
いくつかの実施形態では、方法が、ハードウェアプロセッサの制御下で実施され、方法は、同意要求をユーザに伝送することであって、要求は、ユーザのバイオメトリック情報に関する複数の同意カテゴリを備え、バイオメトリック情報は、生理学的情報、挙動情報、またはそれらの任意の組み合わせを含む、ことと、同意要求に対する応答を受信することと、応答がユーザからの同意指示を含むことを決定することであって、同意指示は、ユーザが合意を示した同意カテゴリに関する、ことと、ユーザの複数の眼画像を取得することと、バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、ユーザが合意を示した同意カテゴリおよびバイオメトリック情報に対する要求に少なくとも部分的に基づいて、複数の眼画像をバイオメトリック情報入手者コンピューティングデバイスに伝送することとを含む。
いくつかの実施形態では、方法が、ハードウェアプロセッサの制御下で実施され、方法は、ユーザのバイオメトリック情報に関する同意要求を表示させることと、同意要求に対する応答がバイオメトリック情報のある側面に関する同意指示を含むことを決定することと、バイオメトリック情報から処理されるバイオメトリック情報処理結果を取得することと、同意指示に関連付けられたバイオメトリック情報入手者コンピューティングデバイスに、バイオメトリック情報処理結果を提供することとを含む。
いくつかの実施形態では、方法が、ハードウェアプロセッサの制御下で実施され、方法は、頭部搭載型ディスプレイの装着者による同意の指示を受信し、頭部搭載型ディスプレイの装着者から取得可能なバイオメトリック情報のカテゴリをバイオメトリック情報入手者と交換することと、頭部搭載型ディスプレイの装着者のバイオメトリック情報を取得することと、取得されるバイオメトリック情報に関連付けられたバイオメトリック交換データをバイオメトリック情報入手者に伝送することとを含む。
(追加の側面)
第1の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイは、眼の複数の眼画像を捕捉するように構成されている第1の画像捕捉デバイスと、複数の外界画像を捕捉するように構成されている第2の画像捕捉デバイスと、頭部搭載型ディスプレイの装着者の眼に対して仮想画像を表示するように構成されているディスプレイと、ハードウェアプロセッサとを備え、ハードウェアプロセッサは、同意要求を頭部搭載型ディスプレイの装着者に通信することであって、要求は、装着者のバイオメトリック情報に関する複数の同意カテゴリを備えている、ことと、同意要求に対する応答を受信することと、応答が頭部搭載型ディスプレイの装着者からの同意指示を含むことを決定することであって、同意指示は、装着者が合意を示した同意カテゴリに関する、ことと、第1の画像捕捉デバイスによって捕捉される頭部搭載型ディスプレイの装着者の複数の眼画像を取得することと、バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、少なくとも部分的に、装着者が合意を示した同意カテゴリおよびバイオメトリック情報に対する要求に基づいて複数の眼画像をバイオメトリック情報入手者コンピューティングデバイスに伝送することとを行うようにプログラムされている、。
第2の側面では、装着者のバイオメトリック情報に関する複数の同意カテゴリは、オファーカテゴリ、部分的共有カテゴリ、完全共有カテゴリ、またはそれらの任意の組み合わせのうちの少なくとも1つを含む、側面1に記載の頭部搭載型ディスプレイシステム。
第3の側面では、装着者が合意を示した同意カテゴリは、完全共有カテゴリに対応する、側面2に記載の頭部搭載型ディスプレイシステム。
第4の側面では、部分的共有カテゴリは、小売店内のアイテムブランドまたはアイテム製品に関する複数の眼画像の共有を含む、側面2−3のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第5の側面では、ハードウェアプロセッサは、バイオメトリックデータ動作を複数の眼画像に対して実施し、バイオメトリック情報を取得するようにさらにプログラムされ、バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、複数の眼画像を伝送するために、ハードウェアプロセッサは、バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、少なくとも部分的に、装着者が合意を示した同意カテゴリに基づいて、取得されたバイオメトリック情報の一部を伝送するようにさらにプログラムされている、側面1−4のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第6の側面では、バイオメトリック情報は、眼パターン、眼移動、眼凝視、または眼ブラウジング履歴のうちの少なくとも1つに対応する、側面5に記載の頭部搭載型ディスプレイシステム。
第7の側面では、バイオメトリックデータ動作を複数の眼画像に対して実施し、バイオメトリック情報を取得するために、ハードウェアプロセッサは、複数の眼画像を使用して、姿勢推定または虹彩コード生成を実施するようにさらにプログラムされている、側面5−6のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第8の側面では、ハードウェアプロセッサは、頭部搭載型ディスプレイシステムを利用して、同意要求を表示するようにさらにプログラムされている、側面1−7のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第9の側面では、ハードウェアプロセッサは、同意要求に対する応答を受信することに応答して、頭部搭載型ディスプレイを利用して、複数のバイオメトリック交換オファーを表示するようにさらにプログラムされ、複数のバイオメトリック交換オファーは、電子カタログからのアイテムに関するバイオメトリック情報または頭部搭載型ディスプレイシステムの装着者の場所に基づくバイオメトリック情報に関連付けられたオファーを含む、側面1−8のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第10の側面では、ハードウェアプロセッサは、閾値交換レートに基づいて、複数のバイオメトリック交換オファーをフィルタリングするようにさらにプログラムされている、側面9に記載の頭部搭載型ディスプレイシステム。
第11の側面では、ハードウェアプロセッサは、バイオメトリック情報のある側面の除外に基づいて複数のバイオメトリック交換オファーをフィルタリングするようにさらにプログラムされ、除外は、頭部搭載型ディスプレイシステムの装着者によって規定される、側面9−10のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第12の側面では、ハードウェアプロセッサは、オファーのある側面の包含に基づいて複数のバイオメトリック交換オファーをフィルタリングするようにさらにプログラムされ、包含は、頭部搭載型ディスプレイシステムの装着者によって規定される、側面1−11のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第13の側面では、ハードウェアプロセッサは、頭部搭載型ディスプレイシステムとバイオメトリック情報入手者コンピューティングデバイスとの間にセキュア接続を形成するようにさらにプログラムされている、側面1−12のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第14の側面では、ハードウェアプロセッサは、第1の画像捕捉デバイスによって捕捉される複数の眼画像および第2の画像捕捉デバイスによって捕捉される複数の外界画像を処理し、頭部搭載型ディスプレイシステムの装着者に関する挙動特性を取得するようにさらにプログラムされている、側面1−13のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第15の側面では、装着者に関する挙動特性は、複数の外界画像を使用して決定された複数の眼画像内の装着者の眼によって見られている小売店内のアイテムブランドまたはアイテム製品を含む、側面14に記載の頭部搭載型ディスプレイシステム。
第16の側面では、ハードウェアプロセッサは、頭部搭載型ディスプレイシステムを利用して取得される挙動特性に関する第2の同意要求を表示するようにさらにプログラムされている、側面14−15のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第17の側面では、ハードウェアプロセッサはさらに、取得される挙動特性に関する第2の同意要求に対する応答を受信することに応答して、頭部搭載型ディスプレイを利用して、第2の複数のバイオメトリック交換オファーを表示するようにプログラムされ、第2の複数のバイオメトリック交換オファーは、電子カタログからのアイテムに関するバイオメトリック情報に関連付けられたオファー、頭部搭載型ディスプレイシステムの装着者の場所に基づくバイオメトリック情報に関連付けられたオファー、頭部搭載型ディスプレイシステムの装着者の挙動特性に関連付けられたオファー、またはそれらの任意の組み合わせを含む、側面16に記載の頭部搭載型ディスプレイシステム。
第18の側面では、ディスプレイは、同意要求を頭部搭載型ディスプレイの装着者に表示するように構成され、同意要求を装着者に通信するために、ハードウェアプロセッサは、ディスプレイを使用して、同意要求を装着者に表示するように構成されている、側面1−17のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第19の側面では、ディスプレイは、複数の深度平面を装着者に提示するように構成されている、側面1−18のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第20の側面では、ディスプレイは、明視野画像を装着者に提示するように構成されている、側面1−19のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第21の側面では、ディスプレイは、複数のスタックされた導波管を備えている、側面1−20のいずれか1項に記載の頭部搭載型ディスプレイシステム。
第22の側面では、バイオメトリック情報を取得する方法が、開示される。方法は、プロセッサの制御下にあり、方法は、同意要求をユーザに伝送することであって、要求は、ユーザのバイオメトリック情報に関する複数の同意カテゴリを備え、バイオメトリック情報は、生理学的情報、挙動情報、またはそれらの任意の組み合わせを含む、ことと、同意要求に対する応答を受信することと、応答がユーザからの同意指示を含むことを決定することであって、同意指示は、ユーザが合意を示した同意カテゴリに関する、ことと、ユーザの複数の眼画像を取得することと、バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、少なくとも部分的に、ユーザが合意を示した同意カテゴリおよびバイオメトリック情報に対する要求に基づいて、複数の眼画像をバイオメトリック情報入手者コンピューティングデバイスに伝送することとを含む。
第23の側面では、ユーザのバイオメトリック情報に関する複数の同意カテゴリは、オファーカテゴリ、部分的共有カテゴリ、および完全共有カテゴリのうちの少なくとも1つを含む、側面22に記載の方法。
第24の側面では、ユーザが合意を示した同意カテゴリは、部分的共有カテゴリに対応する、側面23に記載の方法。
第25の側面では、部分的共有カテゴリは、電子カタログからのアイテムに関連付けられた標識に関する複数の眼画像の共有を含む、側面23−24のいずれか1項に記載の方法。
第26の側面では、バイオメトリックデータ動作を複数の眼画像に対して実施し、バイオメトリック情報を取得することと、バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、少なくとも部分的に、ユーザが合意を示した同意カテゴリに基づいて、バイオメトリック情報の一部を伝送することとをさらに含む、側面22−25のいずれか1項に記載の方法。
第27の側面では、バイオメトリック情報は、眼パターン、眼移動、眼凝視、または眼ブラウジング履歴のうちの少なくとも1つに対応する、側面26に記載の方法。
第28の側面では、バイオメトリックデータ動作を複数の眼画像に対して実施し、バイオメトリック情報を取得することは、複数の眼画像に関する姿勢推定または虹彩コード生成を実施することを含む、側面22−27のいずれか1項に記載の方法。
第29の側面では、頭部搭載型ディスプレイを利用して同意要求を表示することをさらに含む、側面22−28のいずれか1項に記載の方法。
第30の側面では、同意要求に対する応答を受信することに応答して、頭部搭載型ディスプレイを利用して複数のバイオメトリック交換オファーを表示することをさらに含み、複数のバイオメトリック交換オファーは、電子カタログからのアイテムに関するバイオメトリック情報に関連付けられたオファーまたはユーザの場所に基づくバイオメトリック情報を含む、側面22−29のいずれか1項に記載の方法。
第31の側面では、フィルタ条件に基づいて複数のバイオメトリック交換オファーをフィルタリングすることをさらに含む、側面22−30のいずれか1項に記載の方法。
第32の側面では、外界画像を頭部搭載型ディスプレイに結合される第2の結像システムから受信することをさらに含む、側面22−31のいずれか1項に記載の方法。
第33の側面では、複数の眼画像および第2のカメラによって捕捉された複数の外界画像を処理し、ユーザに関する挙動特性を取得することをさらに含む、側面32に記載の方法。
第34の側面では、ユーザに関する挙動特性は、ユーザが見ている電子カタログからのアイテムに関連付けられた標識を含む、側面33に記載の方法。
第35の側面では、バイオメトリック情報を交換する方法が、開示される。方法は、プロセッサの制御下にあり、ユーザのバイオメトリック情報に関する同意要求を表示させることと、同意要求に対する応答がバイオメトリック情報のある側面に関する同意指示を含むことを決定することと、バイオメトリック情報から処理されるバイオメトリック情報処理結果を取得することと、同意指示に関連付けられたバイオメトリック情報入手者コンピューティングデバイスに、バイオメトリック情報処理結果を提供することとを含む。
第36の側面では、同意要求は、バイオメトリック情報に関するオファーを提供するための要求を含む、側面35に記載の方法。
第37の側面では、同意要求は、バイオメトリック情報に関する複数の同意カテゴリを含む、側面35−36のいずれか1項に記載の方法。
第38の側面では、同意要求は、任意のバイオメトリック情報に対する要求の共有を含む、側面35−37のいずれか1項に記載の方法。
第39の側面では、バイオメトリック情報に対する要求をバイオメトリック情報入手者コンピューティングデバイスから受信することをさらに含む、側面35−38のいずれか1項に記載の方法。
第40の側面では、同意要求に対する応答がバイオメトリック情報のある側面に関する同意指示を含むことを決定することは、同意指示がバイオメトリック情報のある側面を共有するための合意を含むことを決定することを含む、側面35−39のいずれか1項に記載の方法。
第41の側面では、バイオメトリック情報に関する同意要求をバイオメトリック情報入手者コンピューティングデバイスから受信することをさらに含む、側面35−40のいずれか1項に記載の方法。
第42の側面では、同意要求に対する応答がバイオメトリック情報のある側面に関する同意指示を含むことを決定することは、同意指示がディスプレイページ上の選択可能アイテムから受信されたことを決定することを含み、選択可能アイテムは、同意要求の一部を含むテキストコンテンツに関連付けられている、側面35−41のいずれか1項に記載の方法。
第43の側面では、バイオメトリック情報を交換する方法が、開示される。方法は、プロセッサの制御下にあり、頭部搭載型ディスプレイの装着者による同意の指示を受信し、頭部搭載型ディスプレイの装着者から取得可能なバイオメトリック情報のカテゴリをバイオメトリック情報入手者と交換することと、頭部搭載型ディスプレイの装着者のバイオメトリック情報を取得することと、取得されるバイオメトリック情報に関連付けられたバイオメトリック交換データをバイオメトリック情報入手者に伝送することとを含む。
第44の側面では、バイオメトリック情報は、生理学的情報、挙動情報、またはそれらの任意の組み合わせを含む、側面43に記載の方法。
第45の側面では、報酬を頭部搭載型ディスプレイの装着者または頭部搭載型ディスプレイの装着者の被指名人に提供することをさらに含む、側面43−44のいずれか1項に記載の方法。
第46の側面では、報酬をバイオメトリック情報入手者またはバイオメトリック情報入手者の被指名人から受信することをさらに含む、側面43−45のいずれか1項に記載の方法。
第47の側面では、取得されるバイオメトリック情報を処理し、バイオメトリック交換データを決定することをさらに含む、側面43−46のいずれか1項に記載の方法。
第48の側面では、取得されるバイオメトリック情報を処理することは、処理命令をバイオメトリック情報入手者から受信することを含む、側面47に記載の方法。
(結論)
本明細書に説明される、ならびに/または添付される図に描写されるプロセス、方法、およびアルゴリズムの各々は、具体的かつ特定のコンピュータ命令を実行するように構成されている、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、特定のコンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるので、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、固体メモリ、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ等を含む物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ読み取り可能な媒体上に記憶され得る。方法およびモジュール(またはデータ)は、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ読み取り可能な伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ読み取り可能な伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて特定の機能(例えば、論理もしくは算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられること、再配列されること、追加されること、削除されること、修正されること、または別様に本明細書に提供される例証的例から変更されることができる。いくつかの実施形態では、追加のまたは異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加されるか、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法の各々は、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上で説明される種々の特徴およびプロセスは、互いに独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴も、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいてアクションするものとして上で説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「〜できる(can)」、「〜し得る(could)」、「〜し得る(might)」、「〜し得る(may)」、「例えば(e.g.)」等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/もしくはステップが、1つ以上の実施形態に対していかようにも要求されること、または1つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備えている」、「〜を含む」、「〜を有する」等は、同義語であり、非限定的方式で包括的に使用され、追加の要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「〜のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つの各々が存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、それは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の追加の動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上で説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (21)

  1. 頭部搭載型ディスプレイシステムであって、前記頭部搭載型ディスプレイシステムは、
    眼の複数の眼画像を捕捉するように構成されている第1の画像捕捉デバイスと、
    複数の外界画像を捕捉するように構成されている第2の画像捕捉デバイスと、
    前記頭部搭載型ディスプレイの装着者の眼に対して仮想画像を表示するように構成されているディスプレイと、
    ハードウェアプロセッサと
    を備え、
    前記ハードウェアプロセッサは、
    同意要求を前記頭部搭載型ディスプレイの前記装着者に通信することであって、前記要求は、前記装着者のバイオメトリック情報に関する複数の同意カテゴリを備えている、ことと、
    前記同意要求に対する応答を受信することと、
    前記応答が前記頭部搭載型ディスプレイの前記装着者からの同意指示を含むことを決定することであって、前記同意指示は、前記装着者が合意を示した同意カテゴリに関する、ことと、
    前記第1の画像捕捉デバイスによって捕捉された前記頭部搭載型ディスプレイの前記装着者の複数の眼画像を取得することと、
    バイオメトリック情報入手者コンピューティングデバイスからのバイオメトリック情報に対する要求に応答して、前記装着者が合意を示した前記同意カテゴリと前記バイオメトリック情報に対する要求とに少なくとも部分的に基づいて、前記複数の眼画像を前記バイオメトリック情報入手者コンピューティングデバイスに伝送することと
    を行うようにプログラムされている、頭部搭載型ディスプレイシステム。
  2. 前記装着者のバイオメトリック情報に対する前記複数の同意カテゴリは、オファーカテゴリ、部分的共有カテゴリ、完全共有カテゴリ、またはそれらの任意の組み合わせのうちの少なくとも1つを含む、請求項1に記載の頭部搭載型ディスプレイシステム。
  3. 前記装着者が合意を示した前記同意カテゴリは、前記完全共有カテゴリに対応する、請求項2に記載の頭部搭載型ディスプレイシステム。
  4. 前記部分的共有カテゴリは、小売店内のアイテムブランドまたはアイテム製品に関する前記複数の眼画像の共有を含む、請求項2に記載の頭部搭載型ディスプレイシステム。
  5. 前記ハードウェアプロセッサは、
    バイオメトリックデータ動作を前記複数の眼画像に対して実施し、バイオメトリック情報を取得するようにさらにプログラムされ、
    前記バイオメトリック情報入手者コンピューティングデバイスからの前記バイオメトリック情報に対する前記要求に応答して、前記複数の眼画像を伝送するために、前記ハードウェアプロセッサは、
    前記バイオメトリック情報入手者コンピューティングデバイスからの前記バイオメトリック情報に対する前記要求に応答して、前記装着者が合意を示した前記同意カテゴリに少なくとも部分的に基づいて、取得された前記バイオメトリック情報の一部を伝送するようにさらにプログラムされている、請求項1に記載の頭部搭載型ディスプレイシステム。
  6. 前記バイオメトリック情報は、眼パターン、眼移動、眼凝視、または眼ブラウジング履歴のうちの少なくとも1つに対応する、請求項5に記載の頭部搭載型ディスプレイシステム。
  7. 前記バイオメトリックデータ動作を前記複数の眼画像に対して実施し、バイオメトリック情報を取得するために、前記ハードウェアプロセッサは、前記複数の眼画像を使用して、姿勢推定または虹彩コード生成を実施するようにさらにプログラムされている、請求項6に記載の頭部搭載型ディスプレイシステム。
  8. 前記ハードウェアプロセッサは、
    前記頭部搭載型ディスプレイシステムを利用して、前記同意要求を表示するようにさらにプログラムされている、請求項1に記載の頭部搭載型ディスプレイシステム。
  9. 前記ハードウェアプロセッサは、
    前記同意要求に対する前記応答を受信することに応答して、前記頭部搭載型ディスプレイを利用して、複数のバイオメトリック交換オファーを表示するようにさらにプログラムされ、
    前記複数のバイオメトリック交換オファーは、電子カタログからのアイテムに関するバイオメトリック情報または前記頭部搭載型ディスプレイシステムの前記装着者の場所に基づくバイオメトリック情報に関連付けられたオファーを含む、請求項1−8のいずれか1項に記載の頭部搭載型ディスプレイシステム。
  10. 前記ハードウェアプロセッサは、
    閾値交換レートに基づいて前記複数のバイオメトリック交換オファーをフィルタリングするようにさらにプログラムされている、請求項9に記載の頭部搭載型ディスプレイシステム。
  11. 前記ハードウェアプロセッサは、
    バイオメトリック情報のある側面の除外に基づいて前記複数のバイオメトリック交換オファーをフィルタリングするようにさらにプログラムされ、前記除外は、前記頭部搭載型ディスプレイシステムの前記装着者によって規定される、請求項9に記載の頭部搭載型ディスプレイシステム。
  12. 前記ハードウェアプロセッサは、
    オファーの側面の包含に基づいて前記複数のバイオメトリック交換オファーをフィルタリングするようにさらにプログラムされ、前記包含は、前記頭部搭載型ディスプレイシステムの装着者によって規定される、請求項9に記載の頭部搭載型ディスプレイシステム。
  13. 前記ハードウェアプロセッサは、
    前記頭部搭載型ディスプレイシステムと前記バイオメトリック情報入手者コンピューティングデバイスとの間にセキュア接続を形成するようにさらにプログラムされている、請求項1に記載の頭部搭載型ディスプレイシステム。
  14. 前記ハードウェアプロセッサは、
    前記第1の画像捕捉デバイスによって捕捉される前記複数の眼画像および前記第2の画像捕捉デバイスによって捕捉される前記複数の外界画像を処理し、前記頭部搭載型ディスプレイシステムの前記装着者に関する挙動特性を取得するようにさらにプログラムされている、請求項1に記載の頭部搭載型ディスプレイシステム。
  15. 前記装着者に関する前記挙動特性は、前記複数の外界画像を使用して決定された前記複数の眼画像内の前記装着者の眼によって見られている小売店内のアイテムブランドまたはアイテム製品を含む、請求項14に記載の頭部搭載型ディスプレイシステム。
  16. 前記ハードウェアプロセッサは、
    前記頭部搭載型ディスプレイシステムを利用して、前記取得される挙動特性に関する第2の同意要求を表示するようにさらにプログラムされている、請求項14に記載の頭部搭載型ディスプレイシステム。
  17. 前記ハードウェアプロセッサは、
    前記取得される挙動特性に関する第2の同意要求に対する応答を受信することに応答して、前記頭部搭載型ディスプレイを利用して、第2の複数のバイオメトリック交換オファーを表示するようにさらにプログラムされ、
    前記第2の複数のバイオメトリック交換オファーは、
    電子カタログからのアイテムに関するバイオメトリック情報に関連付けられたオファー、
    前記頭部搭載型ディスプレイシステムの前記装着者の場所に基づくバイオメトリック情報に関連付けられたオファー、
    前記頭部搭載型ディスプレイシステムの前記装着者の前記挙動特性に関連付けられたオファー、または、
    それらの任意の組み合わせ
    を含む、請求項16に記載の頭部搭載型ディスプレイシステム。
  18. 前記ディスプレイは、前記同意要求を前記頭部搭載型ディスプレイの装着者に表示するように構成され、
    前記同意要求を前記装着者に通信するために、前記ハードウェアプロセッサは、前記ディスプレイを使用して、前記同意要求を前記装着者に表示するように構成されている、請求項1に記載の頭部搭載型ディスプレイシステム。
  19. 前記ディスプレイは、複数の深度平面を前記装着者に提示するように構成されている、請求項1に記載の頭部搭載型ディスプレイシステム。
  20. 前記ディスプレイは、明視野画像を前記装着者に提示するように構成されている、請求項1に記載の頭部搭載型ディスプレイシステム。
  21. 前記ディスプレイは、複数のスタックされた導波管を備えている、請求項1に記載の頭部搭載型ディスプレイシステム。
JP2018548074A 2016-03-22 2017-03-17 バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム Active JP7233927B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022030788A JP7416552B2 (ja) 2016-03-22 2022-03-01 バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662311745P 2016-03-22 2016-03-22
US62/311,745 2016-03-22
PCT/US2017/023037 WO2017165231A1 (en) 2016-03-22 2017-03-17 Head mounted display system configured to exchange biometric information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022030788A Division JP7416552B2 (ja) 2016-03-22 2022-03-01 バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム

Publications (2)

Publication Number Publication Date
JP2019512793A true JP2019512793A (ja) 2019-05-16
JP7233927B2 JP7233927B2 (ja) 2023-03-07

Family

ID=59898990

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018548074A Active JP7233927B2 (ja) 2016-03-22 2017-03-17 バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
JP2022030788A Active JP7416552B2 (ja) 2016-03-22 2022-03-01 バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022030788A Active JP7416552B2 (ja) 2016-03-22 2022-03-01 バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム

Country Status (10)

Country Link
US (2) US10867314B2 (ja)
EP (3) EP3979106A1 (ja)
JP (2) JP7233927B2 (ja)
KR (2) KR102338407B1 (ja)
CN (2) CN109154983B (ja)
AU (2) AU2017236782B2 (ja)
CA (1) CA3017795A1 (ja)
IL (2) IL292705A (ja)
NZ (1) NZ746117A (ja)
WO (1) WO2017165231A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015323940B2 (en) 2014-09-29 2021-05-20 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides
CN104834852B (zh) * 2015-05-04 2018-07-13 惠州Tcl移动通信有限公司 一种移动终端基于高质量眼纹图像进行解锁的方法及系统
WO2017165231A1 (en) 2016-03-22 2017-09-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
AU2017264780B2 (en) 2016-05-12 2022-05-12 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
EP3619704A4 (en) * 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
CA3006893C (en) * 2017-09-07 2023-01-10 The Toronto-Dominion Bank Digital identity network interface system
US10836403B2 (en) 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
JP7402165B2 (ja) * 2018-02-19 2023-12-20 ブラウン ゲーエムベーハー 可動式処置デバイスの位置特定を実施するための装置及び方法
US10867218B2 (en) * 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
CN111127537A (zh) 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
JP6724109B2 (ja) * 2018-10-31 2020-07-15 株式会社ドワンゴ 情報表示端末、情報送信方法、コンピュータプログラム
US11402901B2 (en) 2019-03-22 2022-08-02 Hewlett-Packard Development Company, L.P. Detecting eye measurements
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11537701B2 (en) * 2020-04-01 2022-12-27 Toyota Motor North America, Inc. Transport related n-factor authentication
DE102021108544A1 (de) * 2021-04-06 2022-10-06 Perfect-iD GmbH System zur nutzerseitig autorisierbaren Verarbeitung und Freigabe von nutzerattributbezogenen Daten an einen Anfrager
WO2023184039A1 (en) * 2022-04-01 2023-10-05 Lucid Inc. Method, system, and medium for measuring, calibrating and training psychological absorption

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171343A (ja) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 個人情報の分散開示制御方法及びシステム
JP2010061402A (ja) * 2008-09-03 2010-03-18 Olympus Corp 情報提示システム、プログラム及び情報記憶媒体
US20140118225A1 (en) * 2012-10-31 2014-05-01 Robert Jerauld Wearable emotion detection and feedback system
US20150073907A1 (en) * 2013-01-04 2015-03-12 Visa International Service Association Wearable Intelligent Vision Device Apparatuses, Methods and Systems

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20050101841A9 (en) 2001-12-04 2005-05-12 Kimberly-Clark Worldwide, Inc. Healthcare networks with biosensors
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US7978081B2 (en) * 2006-01-09 2011-07-12 Applied Technology Holdings, Inc. Apparatus, systems, and methods for communicating biometric and biomechanical information
JP2009015449A (ja) * 2007-07-02 2009-01-22 Sony Corp 生体情報共有システム、生体情報表現装置、生体情報表現方法
CA2939445C (en) * 2009-09-04 2019-05-07 Nike Innovate C.V. Monitoring and tracking athletic activity
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR101997845B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN107656615B (zh) 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
EP4036862A1 (en) 2011-11-23 2022-08-03 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US9063566B2 (en) * 2011-11-30 2015-06-23 Microsoft Technology Licensing, Llc Shared collaboration using display device
KR20140121764A (ko) * 2012-01-05 2014-10-16 비자 인터네셔널 서비스 어소시에이션 트랜잭션 영상 캡처 장치, 방법 및 시스템
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2013188464A1 (en) 2012-06-11 2013-12-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
EP2893388B1 (en) * 2012-09-03 2016-08-03 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
KR20150054967A (ko) 2012-09-11 2015-05-20 매직 립, 인코포레이티드 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
WO2014113506A1 (en) 2013-01-15 2014-07-24 Magic Leap, Inc. Ultra-high resolution scanning fiber display
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102271198B1 (ko) 2013-03-15 2021-06-29 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
US20140341441A1 (en) * 2013-05-20 2014-11-20 Motorola Mobility Llc Wearable device user authentication
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN103455746B (zh) * 2013-09-10 2016-10-05 百度在线网络技术(北京)有限公司 头戴式显示设备
EP4321915A3 (en) 2013-10-16 2024-05-01 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107219628B (zh) 2013-11-27 2020-05-01 奇跃公司 虚拟和增强现实系统与方法
US20160019360A1 (en) * 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator
US20140324476A1 (en) 2013-12-19 2014-10-30 Jericho Systems Corporation Automated Patient Consent and Reduced Information Leakage Using Patient Consent Directives
CN110376743B (zh) 2014-01-31 2022-03-04 奇跃公司 多焦点显示系统和方法
KR102207799B1 (ko) 2014-01-31 2021-01-26 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
KR101577751B1 (ko) * 2014-02-07 2015-12-15 주식회사 에스원 정보 관리를 위한 장치 및 방법
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
WO2017165231A1 (en) 2016-03-22 2017-09-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171343A (ja) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 個人情報の分散開示制御方法及びシステム
JP2010061402A (ja) * 2008-09-03 2010-03-18 Olympus Corp 情報提示システム、プログラム及び情報記憶媒体
US20140118225A1 (en) * 2012-10-31 2014-05-01 Robert Jerauld Wearable emotion detection and feedback system
US20150073907A1 (en) * 2013-01-04 2015-03-12 Visa International Service Association Wearable Intelligent Vision Device Apparatuses, Methods and Systems

Also Published As

Publication number Publication date
IL292705A (en) 2022-07-01
IL261671A (en) 2018-10-31
NZ746117A (en) 2020-02-28
KR102338407B1 (ko) 2021-12-09
AU2021202479A1 (en) 2021-05-20
WO2017165231A1 (en) 2017-09-28
CN109154983B (zh) 2022-06-24
AU2017236782B2 (en) 2021-01-28
EP3979106A1 (en) 2022-04-06
CA3017795A1 (en) 2017-09-28
AU2021202479B2 (en) 2022-06-09
AU2017236782A1 (en) 2018-09-27
IL261671B (en) 2022-06-01
KR102504245B1 (ko) 2023-02-24
JP7233927B2 (ja) 2023-03-07
EP3433707B1 (en) 2020-10-28
US20170278122A1 (en) 2017-09-28
US20210073845A1 (en) 2021-03-11
WO2017165231A9 (en) 2018-01-25
CN115032795A (zh) 2022-09-09
EP3433707A1 (en) 2019-01-30
US10867314B2 (en) 2020-12-15
US11436625B2 (en) 2022-09-06
EP3779740B1 (en) 2021-12-08
EP3779740A1 (en) 2021-02-17
KR20180120274A (ko) 2018-11-05
EP3433707A4 (en) 2019-10-02
JP2022078168A (ja) 2022-05-24
JP7416552B2 (ja) 2024-01-17
KR20210153151A (ko) 2021-12-16
CN109154983A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
JP7416552B2 (ja) バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
CN107533642B (zh) 用于使用神经网络的生物特征用户识别的设备、方法和系统
US20170115742A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP7106706B2 (ja) バイオメトリックデータを追跡するための拡張現実システムおよび方法
US20160358181A1 (en) Augmented reality systems and methods for tracking biometric data
US20180357670A1 (en) Dynamically capturing, transmitting and displaying images based on real-time visual identification of object
US20220188833A1 (en) Facilitating payments in an extended reality system based on behavioral biometrics
Zhu et al. A Framework for Gaze-Contingent Interfaces
NZ736861B2 (en) Augmented reality systems and methods for tracking biometric data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230222

R150 Certificate of patent or registration of utility model

Ref document number: 7233927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150