JP2018526701A - バイオメトリックデータを追跡するための拡張現実システムおよび方法 - Google Patents

バイオメトリックデータを追跡するための拡張現実システムおよび方法 Download PDF

Info

Publication number
JP2018526701A
JP2018526701A JP2017558979A JP2017558979A JP2018526701A JP 2018526701 A JP2018526701 A JP 2018526701A JP 2017558979 A JP2017558979 A JP 2017558979A JP 2017558979 A JP2017558979 A JP 2017558979A JP 2018526701 A JP2018526701 A JP 2018526701A
Authority
JP
Japan
Prior art keywords
user
biometric data
eye
data
transaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017558979A
Other languages
English (en)
Other versions
JP6863902B2 (ja
Inventor
ゲイリー アール. ブラドスキー,
ゲイリー アール. ブラドスキー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2018526701A publication Critical patent/JP2018526701A/ja
Priority to JP2021063135A priority Critical patent/JP7106706B2/ja
Application granted granted Critical
Publication of JP6863902B2 publication Critical patent/JP6863902B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/16Implementing security features at a particular protocol layer
    • H04L63/168Implementing security features at a particular protocol layer above the transport layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

拡張現実ディスプレイデバイスを通して取引を実施する方法は、バイオメトリックデータをユーザから捕捉することと、捕捉されたバイオメトリックデータに少なくとも部分的に基づいて、ユーザの識別を決定することと、決定された識別に基づいて、取引のためにユーザを認証することとを含む。一実施形態において、方法は、取引に関するデータの組を金融機関に伝送することをさらに含む。一実施形態において、バイオメトリックデータは、虹彩パターンである。

Description

本開示は、バイオメトリックデータを利用して、拡張現実(AR)デバイスを通して実施される商取引を促進するためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える様式において、もしくはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。
例えば、図1を参照すると、拡張現実場面が、描写されており、AR技術のユーザは、人々、木々、建物を背景として、コンクリートのプラットフォーム1120を特徴とする実世界の公園のような設定を見る。これらのアイテムに加え、AR技術のユーザは、実世界プラットフォーム1120上に立っているロボット像1110と、飛んでいる漫画のようなアバタキャラクタ2とも知覚するが、これらの要素(2、1110)は、実世界には存在しない。ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、そのような拡張現実場面を生成することは、困難である。
そのようなARデバイスは、あらゆるタイプの仮想コンテンツをユーザに提示するために使用され得ることが想定される。1つ以上の実施形態では、ARデバイスは、種々のゲームアプリケーションの状況において使用され、ユーザが、実在の状況を模倣する、単独プレーヤまたは複数プレーヤビデオ/拡張現実ゲームに参加することを可能にし得る。例えば、パーソナルコンピュータにおいてビデオゲームをプレーするのではなく、ARユーザは、現実世界に非常に似た条件におけるより大きなスケールでゲームをプレーし得る(例えば、「原寸」3Dモンスタが、ARユーザが公園を散歩しているとき、実際の建物の背後から現れ得る等)。実際、これは、ゲーム体験の信憑性および楽しみを著しく向上させる。
図1は、ゲームアプリケーションの状況においてARデバイスの可能性を図示するが、ARデバイスは、多数の他の用途において使用され得、日常的コンピューティングデバイス(例えば、パーソナルコンピュータ、携帯電話、タブレットデバイス等)に取って代わることが予期され得る。仮想コンテンツをユーザの視野内に戦略的に置くことによって、ARデバイスは、ユーザが、同時に、ユーザの物理的環境に接続されながら、種々のコンピューティングタスク(例えば、電子メールをチェックする、用語をウェブ上で調べる、他のARユーザと電話会議する、映画を鑑賞する等)を行うことを可能にする、歩くパーソナルコンピュータと見なされ得る。例えば、机上の物理的デバイスに制約されるのではなく、ARユーザは、「移動中」(例えば、散歩しながら、日々の通勤時、そのオフィス以外の物理的場所において、そのコンピュータから離れて等)であり得、依然として、仮想電子メール画面を引き出し、例えば、電子メールをチェックすること、もしくはARデバイス上に画面を仮想的に事前設定することによって、友人とビデオ会議を行うことが可能であり、または別の例では、間に合わせの場所において仮想オフィスを構築することが可能である。多数の類似仮想現実/拡張現実シナリオが、想定され得る。
下層コンピューティング技術の性質におけるこのシフトは、それなりに利点も課題もある。ヒト視覚系の生理学的限界に配慮した、前述のもの等の拡張現実場面を提示するために、ARデバイスは、所望の仮想コンテンツをユーザの物理的環境内の1つ以上の実オブジェクトと関連して投影するために、ユーザの物理的周囲を認知しなければならない。この目的を達成するために、ARデバイスは、典型的には、種々の追跡デバイス(例えば、眼追跡デバイス、GPS等)、カメラ(例えば、視野カメラ、赤外線カメラ、深度カメラ等)、およびセンサ(例えば、加速度計、ジャイロスコープ等)を装備し、ユーザの周囲内の種々の実オブジェクトと関連して、ユーザの位置、向き、距離等を査定し、実世界のオブジェクトおよび他のそのような機能性を検出し、識別する。
ARデバイスがARユーザおよびその周囲についての種々のタイプのデータを追跡するように構成されている場合、1つ以上の実施形態では、このデータは、有利には、最小限の入力がユーザから要求されることを確実にし、かつ殆どまたは全く中断をユーザのAR体験に生じさせずに、ユーザの種々のタイプの取引を補助するために活用され得る。
詳しく説明すると、従来の取引(金融またはその他)は、商取引に参加するために、典型的には、ユーザが、ある形態の金銭トークン(例えば、現金、小切手、クレジットカード等)、ある場合には、身分証明書(例えば、運転免許証等)、および認証(例えば、署名等)を物理的に携行することを要求する。あるユーザが、百貨店の中に入って行くとする。任意の種類の購入を行うために、ユーザは、典型的には、商品を取り上げ、商品をカートの中に入れ、レジまで歩いて行き、レジ係の前で列に並び、レジ係がいくつかの商品を走査するのを待ち、クレジットカードを取り出し、身分証明書を提供し、クレジットカード領収証に署名し、商品の将来的返品のために領収証を保管する。従来の金融取引では、これらのステップは、必要ではあるが、時間がかかり、非効率的であり、ある場合には、これらのステップは、ユーザが購入を行うことを抑止または禁止する(例えば、ユーザが金銭トークンまたは身分証明書を携行していない等)。しかしながら、ARデバイスの状況では、これらのステップは、冗長かつ不必要である。1つ以上の実施形態では、ARデバイスは、ユーザが、ユーザが前述の面倒な手順を行うことを要求せずに、多くのタイプの取引をシームレスに行うことを可能にするように構成され得る。
したがって、ARユーザが日常的取引に参加することを補助するためのより優れたソリューションの必要性がある。
本発明の実施形態は、1人以上のユーザのための仮想現実および/もしくは拡張現実相互作用を促進するためのデバイス、システム、ならびに方法を対象とする。
一側面では、拡張現実デバイスを通して取引を実施する方法は、バイオメトリックデータをユーザから捕捉することと、捕捉されたバイオメトリックデータに少なくとも部分的に基づいて、ユーザの識別を決定することと、決定された識別に基づいて、取引のためにユーザを認証することとを含む。
1つ以上の実施形態では、方法はさらに、取引に関するデータの組を金融機関に伝送することを含む。1つ以上の実施形態では、バイオメトリックデータは、虹彩パターンである。1つ以上の実施形態では、バイオメトリックデータは、ユーザの音声記録である。1つ以上の実施形態では、バイオメトリックデータは、網膜署名である。1つ以上の実施形態では、バイオメトリックデータは、ユーザの皮膚に関連付けられた特性である。
1つ以上の実施形態では、バイオメトリックデータは、ユーザの眼の移動を捕捉する1つ以上の眼追跡カメラを通して捕捉される。1つ以上の実施形態では、バイオメトリックデータは、ユーザの眼の移動のパターンである。1つ以上の実施形態では、バイオメトリックデータは、ユーザの眼の瞬きパターンである。
1つ以上の実施形態では、拡張現実デバイスは、頭部搭載型であり、拡張現実デバイスは、ユーザのために個々に較正される。1つ以上の実施形態では、バイオメトリックデータは、ユーザに関する所定のデータと比較される。1つ以上の実施形態では、所定のデータは、ユーザの眼の既知の署名移動である。
1つ以上の実施形態では、所定のデータは、既知の虹彩パターンである。1つ以上の実施形態では、所定のデータは、既知の網膜パターンである。1つ以上の実施形態では、方法はさらに、ユーザが取引を行いたいという願望を検出することと、検出された願望に少なくとも部分的に基づいて、ユーザからバイオメトリックデータを要求することと、バイオメトリックデータを所定のバイオメトリックデータと比較し、結果を生成することであって、ユーザは、結果に少なくとも部分的に基づいて認証される、こととを含む。
1つ以上の実施形態では、取引は、商取引である。1つ以上の実施形態では、方法はさらに、ユーザの認証をユーザに関連付けられた金融機関に通信することであって、金融機関は、認証に少なくとも部分的に基づいて、ユーザの代わりに支払を行う、ことを含む。1つ以上の実施形態では、金融機関は、支払をユーザによって示される1つ以上の販売業者に伝送する。
1つ以上の実施形態では、方法はさらに、拡張現実デバイスに関連付けられた中断イベントまたは取引イベントを検出することを含む。1つ以上の実施形態では、方法はさらに、検出されたイベントに少なくとも部分的に基づいて、ユーザを再認証するために、新しいバイオメトリックデータをユーザから捕捉することを含む。1つ以上の実施形態では、アクティビティの中断は、ユーザの頭部からの拡張現実デバイスの除去に少なくとも部分的に基づいて、検出される。
1つ以上の実施形態では、アクティビティの中断は、拡張現実デバイスのネットワークとの接続性の喪失に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、取引イベントは、ユーザによる取引の明示的承認に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、取引イベントは、ユーザの注視に関連付けられたヒートマップに少なくとも部分的に基づいて、検出される。
1つ以上の実施形態では、取引イベントは、拡張現実デバイスを通して受信されるユーザ入力に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、ユーザ入力は、眼のジェスチャを含む。1つ以上の実施形態では、ユーザ入力は、手のジェスチャを含む。
別の側面では、拡張現実ディスプレイシステムは、バイオメトリックデータをユーザから捕捉するためのバイオメトリックデータ追跡デバイスと、バイオメトリックデータ追跡デバイスに動作可能に結合され、捕捉されたバイオメトリックデータを処理し、捕捉されたバイオメトリックデータに少なくとも部分的に基づいて、ユーザの識別を決定するためのプロセッサと、少なくとも金融機関と通信し、取引のためにユーザを認証するためのサーバとを備えている。
1つ以上の実施形態では、バイオメトリックデータは、眼移動データである。1つ以上の実施形態では、バイオメトリックデータは、ユーザの虹彩の画像に対応する。1つ以上の実施形態では、サーバはまた、取引に関するデータの組を金融機関に伝送する。1つ以上の実施形態では、バイオメトリックデータは、虹彩パターンである。
1つ以上の実施形態では、バイオメトリックデータは、ユーザの音声記録である。1つ以上の実施形態では、バイオメトリックデータは、網膜署名である。1つ以上の実施形態では、バイオメトリックデータは、ユーザの皮膚に関連付けられた特性である。1つ以上の実施形態では、バイオメトリック追跡デバイスは、1つ以上の眼追跡カメラを備え、ユーザの眼の移動を捕捉する。1つ以上の実施形態では、バイオメトリックデータは、ユーザの眼の移動のパターンである。
1つ以上の実施形態では、バイオメトリックデータは、ユーザの眼の瞬きパターンである。1つ以上の実施形態では、拡張現実ディスプレイシステムは、頭部搭載型であり、拡張現実ディスプレイシステムは、ユーザのために個々に較正される。1つ以上の実施形態では、プロセッサはまた、バイオメトリックデータをユーザに関する所定のデータと比較する。1つ以上の実施形態では、所定のデータは、ユーザの眼の既知の署名移動である。1つ以上の実施形態では、所定のデータは、既知の虹彩パターンである。1つ以上の実施形態では、所定のデータは、既知の網膜パターンである。1つ以上の実施形態では、プロセッサは、ユーザが取引を行うことを望んでいることを検出し、プロセッサは、検出に少なくとも部分的に基づいて、バイオメトリックデータをユーザから要求するためのユーザインターフェースをさらに備え、プロセッサは、バイオメトリックデータを所定のバイオメトリックデータと比較し、比較に少なくとも部分的に基づいて、ユーザを認証する。
1つ以上の実施形態では、取引は、商取引である。1つ以上の実施形態では、プロセッサは、ユーザの認証をユーザに関連付けられた金融機関に通信し、金融機関は、認証に少なくとも部分的に基づいて、ユーザの代わりに支払を行う。1つ以上の実施形態では、金融機関は、支払をユーザによって示される1つ以上の販売業者に伝送する。
1つ以上の実施形態では、プロセッサは、拡張現実デバイスに関連付けられた中断イベントまたは取引イベントを検出し、バイオメトリック追跡デバイスは、検出されたイベントに少なくとも部分的に基づいて、ユーザを再認証するために、新しいバイオメトリックデータをユーザから捕捉する。1つ以上の実施形態では、アクティビティの中断は、ユーザの頭部からの拡張現実デバイスの除去に少なくとも部分的に基づいて、検出される。
1つ以上の実施形態では、アクティビティの中断は、拡張現実デバイスのネットワークとの接続性の喪失に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、取引イベントは、ユーザによる取引の明示的承認に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、取引イベントは、ユーザの注視に関連付けられたヒートマップに少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、取引イベントは、拡張現実デバイスを通して受信されるユーザ入力に少なくとも部分的に基づいて、検出される。1つ以上の実施形態では、ユーザ入力は、眼のジェスチャを含む。1つ以上の実施形態では、ユーザ入力は、手のジェスチャを含む。
1つ以上の実施形態では、バイオメトリック追跡デバイスは、眼追跡システムを備えている。1つ以上の実施形態では、バイオメトリック追跡デバイスは、触知デバイスを備えている。1つ以上の実施形態では、バイオメトリック追跡デバイスは、ユーザの眼に関する生理学的データを測定するセンサを備えている。
本発明の追加のならびに他の目的、特徴、および利点は、発明を実施するための形態、図面、および請求項に説明される。
図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、必ずしも正確な縮尺で描かれておらず、同様の構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに対象を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに記載ならびに説明されるであろう。
図1は、ユーザに表示されている例示的拡張現実場面を図示する。 図2A−2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図2A−2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図2A−2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図2A−2Dは、例示的拡張現実デバイスの種々の構成を図示する。 図3は、一実施形態による、クラウド内の1つ以上のサーバと通信する拡張現実デバイスを図示する。 図4A−4Dは、特定のユーザのための拡張現実デバイスを構成するために行われる種々の眼および頭部の測定を図示する。 図5は、一実施形態による、拡張現実デバイスの種々のコンポーネントの平面図を示す。 図6は、一実施形態による、商取引を実施するための拡張現実システムのシステムアーキテクチャを示す。 図7は、拡張現実デバイスを通して商取引を実施する方法を描写する例示的フローチャートである。 図8Aおよび8Bは、一実施形態による、ユーザを識別するための例示的眼の識別方法を図示する。 図8Aおよび8Bは、一実施形態による、ユーザを識別するための例示的眼の識別方法を図示する。 図9は、一実施形態による、眼移動を使用して、ユーザを認証する方法を描写する例示的フローチャートを図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。 図10A−10Iは、拡張現実デバイスを使用して商取引を実施する例示的シナリオを描写する一連のプロセスフロー図を図示する。
本発明の種々の実施形態は、単一実施形態または複数の実施形態における、電子回路設計のマルチシナリオ物理認知設計を実装する方法、システム、および製造品を対象とする。本発明の他の目的、特徴、および利点は、発明を実施するための形態、図面、および請求項に説明される。
ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、既知のコンポーネント(または方法もしくはプロセス)を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような既知のコンポーネント(または方法もしくはプロセス)のそれらの部分のみ、説明され、そのような既知のコンポーネント(または方法もしくはプロセス)の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在および将来的既知の均等物を包含する。
開示されるのは、ARユーザに関連付けられたバイオメトリックデータを追跡し、バイオメトリックデータを利用して、商取引を補助する方法およびシステムである。1つ以上の実施形態では、ARデバイスは、眼の識別技法(例えば、虹彩パターン、両眼離反運動、眼の運動、錐体細胞および桿体細胞のパターン、眼移動のパターン等)を利用して、購入のためにユーザを認証し得る。有利には、このタイプのユーザ認証は、商取引を実施することにおける摩擦コストを最小化し、ユーザが、最小限の努力および/または中断を伴って、シームレスに購入を行うことを可能にする(例えば、実店舗、オンラインストア、広告等に応答して)。以下の開示は、主に、眼関連バイオメトリックデータに基づく認証に焦点を当てるが、他のタイプのバイオメトリックデータも、他の実施形態では、認証目的のために同様に使用され得ることを理解されたい。種々の実施形態は、以下に説明されるであろうように、拡張現実(AR)システムの状況における売買を実施する新しい概念図式について議論するが、本明細書に開示される技法は、任意の既存および/または公知のARシステムから独立して使用され得ることを理解されたい。したがって、以下に議論される例は、例示目的のためにすぎず、本発明は、ARシステムに限定されるものとして読まれるべきではない。
図2A−2Dを参照すると、いくつかの一般的コンポーネントオプションが、図示される。図2A−2Dの議論が続く発明を実施するための形態の一部では、種々のシステム、サブシステム、およびコンポーネントは、ヒトVRならびに/またはARのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図2Aに示されるように、ARシステムユーザ60は、ユーザの眼の正面に位置付けられるARディスプレイシステム62に結合されるフレーム64構造を装着して描写される。スピーカ66が、描写される構成においてフレーム64に結合され、ユーザの外耳道に隣接して位置付けられる(一実施形態では、別のスピーカ(図示せず)が、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ62は、有線導線または無線接続性等によって、ローカル処理およびデータモジュールに動作可能に結合され68、ローカル処理およびデータモジュールは、フレーム64に固定して取り付けられるか、図2Bの実施形態に示されるようにヘルメットまたは帽子80に固定して取り付けられるか、ヘッドホン内に埋設されるか、図2Cの実施形態に示されるようにリュック式構成においてユーザ60の胴体82に除去可能に取り付けられるか、または図2Dの実施形態に示されるようにベルト結合式構成においてユーザ60の腰84に除去可能に取り付けられる等、種々の構成において搭載され得る。
ローカル処理およびデータモジュール70は、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得、データは、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/または、ジャイロスコープ等のフレーム64に動作可能に結合され得る、センサから捕捉され、および/またはb)おそらく、そのような処理もしくは読み出し後、ディスプレイ62への通過のために、遠隔処理モジュール72および/または遠隔データリポジトリ74を使用して、取得ならびに/もしくは処理される。ローカル処理およびデータモジュール70は、これらの遠隔モジュール(72、74)が、互いに動作可能に結合され、ローカル処理およびデータモジュール70へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュール72および遠隔データリポジトリ74に動作可能に結合(76、78)され得る。
一実施形態では、遠隔処理モジュール72は、データおよび/または画像情報を分析ならびに処理するように構成される1つ以上の比較的に高度なプロセッサまたはコントローラを備え得る。一実施形態では、遠隔データリポジトリ74は、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であり得る比較的に大規模なデジタルデータ記憶設備を備え得る。一実施形態では、全てのデータが、ローカル処理およびデータモジュール内に記憶され、全ての計算が、そこで行われ、それは、任意の遠隔モジュールを伴わない完全自律的使用を可能にする。
図2A−2Dを参照して説明されるように、ARシステムは、ARユーザおよび周囲環境についてのデータを収集する種々のデバイスから入力を継続的に受信する。ここで図3を参照すると、例示的拡張現実ディスプレイデバイスの種々のコンポーネントが、説明されるであろう。他の実施形態が、追加のコンポーネントを有し得ることを理解されたい。それにもかかわらず、図3は、種々のコンポーネントおよびARデバイスによって収集され得るデータのタイプの基本概念を提供する。
ここで図3を参照すると、概略は、クラウドコンピューティングアセット46とローカル処理アセット(308、120)との間の協調を図示する。一実施形態では、クラウド46アセットは、有線または無線ネットワーキング(40、42)を介して、直接、ユーザの頭部搭載型デバイス120またはベルト308に結合されるように構成される構造内に格納され得るプロセッサおよびメモリ構成等のローカルコンピューティングアセット(120、308)の一方または両方に動作可能に結合される(無線が、移動性のために好ましく、有線は、所望され得るある高帯域幅または高データ量転送のために好ましい)。ユーザにローカルのこれらのコンピューティングアセットは、同様に、有線および/または無線接続性構成44を介して、互いにも動作可能に結合され得る。一実施形態では、低慣性および小型サイズ頭部搭載型サブシステム120を維持するために、ユーザとクラウド46との間の一次転送は、ベルトベースのサブシステム308とクラウドとの間のリンクを介し得、頭部搭載型サブシステム120は、例えば、パーソナルコンピューティング周辺接続性用途において現在採用されているように、主に、超広帯域(「UWB」)接続性等の無線接続性を使用して、ベルトベースのサブシステム308にデータテザリングされる。クラウド46を通して、ARディスプレイシステム120は、クラウド内にホストされた1つ以上のARサーバ110と相互作用し得る。種々のARサーバ110は、サーバ110が互いに通信することを可能にする、通信リンク115を有し得る。
効率的ローカルおよび遠隔処理協調と、ユーザインターフェースまたはユーザ「ディスプレイデバイス」もしくはその変形例等のユーザのための適切なディスプレイデバイスとを用いることで、ユーザの現在の実際または仮想場所に関連するある世界の側面が、ユーザに転送もしくは「パス」され、効率的方式で更新され得る。言い換えると、世界のマップは、部分的に、ユーザのARシステム上に常駐し、部分的に、クラウドリソース上に常駐し得る記憶場所で継続的に更新される。マップ(パス可能世界モデルとも称される)は、ラスタ画像、3Dおよび2Dポイント、パラメータ情報、ならびに実世界についての他の情報を備えている大型データベースであり得る。ARユーザがその実環境(例えば、カメラ、センサ、IMU等を通して)についてのますます多くの情報を継続的に捕捉するにつれて、マップは、ますます正確になる。
本開示により関連して、図2A−2Dに説明されるものに類似するARシステムは、有利には、ARシステムを通して追跡されたバイオメトリックデータの組に基づいて、ユーザを固有に識別するために使用され得るユーザの眼への固有のアクセスを提供する。ユーザの眼へのこの先例のないアクセスは、必然的に、種々のアプリケーションにふさわしいもにする。ARデバイスが、ユーザが3D仮想コンテンツを知覚することを可能にするために、ユーザの眼と重要な相互作用を果たし、多くの実施形態では、ユーザの眼に関連する種々のバイオメトリック(例えば、両眼離反運動、眼の運動、桿体細胞および錐体細胞のパターン、眼移動のパターン等)を追跡するならば、得られた追跡データは、有利には、以下にさらに詳細に説明されるであろうように、種々の取引のためのユーザ識別および認証において使用され得る。
ARデバイスは、典型的には、特定のユーザの頭部のために適合され、光学コンポーネントは、ユーザの眼と整列させられる。これらの構成ステップは、ユーザが、頭痛、吐き気、不快感等の任意の生理学的副作用を生じさせずに、最適拡張現実体験が提供されることを確実にするために、使用され得る。したがって、1つ以上の実施形態では、ARデバイスは、各個々のユーザのために構成され(物理的かつデジタルの両方で)、ユーザのために較正され得る。他のシナリオでは、ARデバイスを緩く適合させることによって、種々のユーザによって快適に使用され得る。例えば、いくつかの実施形態では、ARデバイスは、ユーザの眼間の距離、頭部装着型ディスプレイとユーザの眼との間の距離、ユーザの眼間の距離、およびユーザの額の曲率を把握する。これらの測定は全て、所与のユーザのための適切な頭部装着型ディスプレイシステムを提供するために使用され得る。他の実施形態では、そのような測定値は、本願に記載される識別および認証機能を行うために必要ではなくいこともある。
例えば、図4A−4Dを参照すると、ARデバイスは、各ユーザのためにカスタマイズされ得る。ユーザの頭部形状402が、図4Aに示されるように、1つ以上の実施形態では、頭部搭載ARシステムを合わせるときに考慮され得る。同様に、眼用コンポーネント404(例えば、光学、光学のための構造等)が、図4Bに示されるように、水平および垂直の両方において、ユーザの快適性のために回転もしくは調節され得るか、またはユーザの快適性のために回転され得る。1つ以上の実施形態では、図4Cに示されるように、ユーザの頭部に対して設定された頭部の回転点406が、ユーザの頭部の構造に基づいて調節され得る。同様に、瞳孔間距離(IPD)408(すなわち、ユーザの眼間の距離)が、図4Dに示されるように、補償され得る。
有利には、ユーザ識別および認証の状況では、頭部装着型ARデバイスのこの側面は、システムが、ユーザの物理的特徴(例えば、眼サイズ、頭部サイズ、眼間の距離等)についての測定の組と、ユーザを容易に識別し、ユーザが1つ以上の商取引を完了することを可能するために使用され得る、他のデータとをすでに保有しているので、重要である。加えて、ARシステムは、ARシステムが、ARシステムを使用することが承認されているユーザ以外の異なるARユーザによって装着されているとき、それを容易に検出可能であり得る。これは、ARシステムが、ユーザの眼を常に監視し、したがって、必要に応じて、ユーザの識別を認知することを可能にする。
ユーザ上で行われる種々の測定および較正に加え、ARデバイスは、ユーザについてのバイオメトリックデータの組を追跡するように構成され得る。例えば、システムは、眼の移動、眼移動パターン、瞬きパターン、両眼離反運動、眼色、虹彩パターン、網膜パターン、疲労パラメータ、眼色の変化、焦点距離の変化、および光学拡張現実体験をユーザに提供することにおいて使用され得る多くの他のパラメータを追跡し得る。
図5を参照すると、好適なユーザディスプレイデバイス62の1つの簡略化された実施形態が、筐体またはフレーム108によってユーザの頭部もしくは眼に搭載され得る、ディスプレイレンズ106を備えているように示される。ディスプレイレンズ106は、ユーザの眼20の正面において筐体108によって位置付けられ、ローカル環境からの少なくとも一部の光の透過も可能にしながら、投影された光38を眼20の中に跳ね返し、ビーム成形を促進するように構成される1つ以上の透明ミラーを備え得る。描写される実施形態では、2つの広角マシンビジョンカメラ16が、筐体108に結合され、ユーザの周囲の環境を撮像する。一実施形態では、これらのカメラ16は、デュアル捕捉可視光/赤外線光カメラである。
描写される実施形態はまた、示されるように、光38を眼20の中に投影するように構成されるディスプレイミラーおよび光学を伴う一対の走査式レーザ成形波面(すなわち、深度のため)光プロジェクタモジュール18(例えば、DLP、ファイバ走査デバイス(FSD)、LCD等の空間光変調器)を備えている。描写される実施形態はまた、ユーザの眼20を追跡し、レンダリングおよびユーザ入力をサポートすることが可能であるように構成される、発光ダイオード「LED」等の赤外線光源26と対にされた2つの小型赤外線カメラ24を備えている。ディスプレイシステム62はさらに、X、Y、Z軸加速度計能力と、磁気コンパスおよびX、Y、Z軸ジャイロスコープ能力とを備え、好ましくは、200Hz等の比較的に高周波数でデータを提供し得るセンサアセンブリ39を特徴とする。描写されるシステム62はまた、リアルまたは近リアルタイムユーザ頭部姿勢をカメラ16からの広角画像情報出力から計算するように構成され得るASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、および/またはARMプロセッサ(高度縮小命令セットマシン)等の頭部姿勢プロセッサ36を備えている。頭部姿勢プロセッサ36は、カメラ16およびレンダリングエンジン34に動作可能に結合される(90、92、94;例えば、有線または無線接続性を介して)。
デジタルおよび/またはアナログ処理を実行し、姿勢をセンサアセンブリ39からのジャイロスコープ、コンパス、ならびに/もしくは加速度計データから導出するように構成される別のプロセッサ32も、示される。描写される実施形態はまた、姿勢および測位を補助するためのGPS37サブシステムを特徴とする。
最後に、描写される実施形態は、ユーザの世界のビューのために、ユーザのローカルのレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成される、ソフトウェアプログラムを実行するハードウェアを特徴とし得るレンダリングエンジン34を備えている。レンダリングエンジン34は、レンダリングされた光38が、網膜走査ディスプレイに類似する様式において、走査式レーザ配列18を使用して投影されるように、センサ姿勢プロセッサ32、画像姿勢プロセッサ36、眼追跡カメラ24、および投影サブシステム18に動作可能に結合される(105、94、100/102、104、すなわち、有線または無線接続性を介して)。投影された光ビーム38の波面は、投影された光38の所望の焦点距離と一致するように曲げられ、または集中させられ得る。
小型赤外線眼追跡カメラ24は、眼を追跡し、レンダリングおよびユーザ入力をサポートするために利用され得る(すなわち、ユーザが見ている場所、焦点を合わせている深度等、以下に議論されるように、両眼離反運動が、ユーザの焦点深度を推定するために利用され得る)。GPS37、ジャイロスコープ、コンパス、および加速度計39が、大まかな、および/または高速の姿勢推定を提供するために利用され得る。カメラ16画像および姿勢データが、関連付けられたクラウドコンピューティングリソースからのデータと共に、ローカル世界をマップし、ユーザビューを仮想または拡張現実コミュニティと共有するために利用され得る。
図5に特徴とされるディスプレイシステム62内のハードウェアの多くは、ディスプレイ106およびユーザの眼20に隣接する筐体108に直接結合されて描写されるが、描写されるハードウェアコンポーネントは、例えば、図2Dに示されるように、ベルト搭載型コンポーネント70等の他のコンポーネントに搭載されるか、またはその中に格納され得る。
一実施形態では、図5に特徴とされるシステム62のコンポーネントは全て、画像姿勢プロセッサ36、センサ姿勢プロセッサ32、およびレンダリングエンジン34を除き、ディスプレイ筐体108に直接結合され、後者3つとシステムの残りのコンポーネントとの間の通信は、超広帯域等の無線通信または有線通信によって行われ得る。描写される筐体108は、好ましくは、頭部搭載型であり、かつユーザによって装着可能である。それは、ユーザの耳の中に挿入され、音をユーザに提供するために利用され得るもの等、スピーカも特徴とし得る。
標準的ARデバイスの主要コンポーネントが説明されたが、ARデバイスは、データをユーザおよびその周囲から収集するように構成される多くのコンポーネントを備え得ることを理解されたい。例えば、前述のように、ARデバイスのいくつかの実施形態は、GPS情報を収集し、ユーザの場所を決定する。他の実施形態では、ARデバイスは、赤外線カメラを備え、ユーザの眼を追跡する。さらに他の実施形態では、ARデバイスは、視野カメラを備え、ユーザの環境の画像を捕捉し得、それは、次に、ユーザの物理的空間のマップ(図3に説明されるように、サーバ110のうちの1つ内に含まれる)を構成するために使用され得、それは、システムが、図3に関して簡単に説明されるように、仮想コンテンツを適切な実在のオブジェクトに関連してレンダリングすることを可能にする。
ユーザの眼20の中への光38の投影に関して、一実施形態では、小型カメラ24が、ユーザの眼20の中心が幾何学的に近づけられる(verged)場所を測定するために利用され得、その場所は、一般に、眼20の焦点の位置、すなわち、「焦点深度」と一致する。眼が近づく全点の3次元表面は、「単視軌跡」と呼ばれる。焦点距離は、有限数の深度をとることも、無限に変動することもある。両眼離反運動距離(vergence distance)から投影される光は、対象の眼20に集中させられて現れる一方、両眼離反運動距離の前または後ろにある光は、ぼやける。
さらに、約0.7ミリメートル未満のビーム直径を伴う空間的にコヒーレントな光は、眼が焦点を合わせる場所にかかわらず、ヒト眼によって正しく分解されることが発見された。この理解を前提として、適切な焦点深度の錯視を生成するために、両眼離反運動が、小型カメラ24によって追記され得、レンダリングエンジン34および投影サブシステム18は、単視軌跡上またはそれに近接する全オブジェクトに焦点を合わせて、かつ全他のオブジェクトをさまざまな程度の焦点ぼけにおいて(すなわち、意図的に生成されたぼけを使用して)、レンダリングするために利用され得る。コヒーレント光を眼の中に投影するように構成されるシースルー光導波路光学要素が、Lumus,Inc.等の供給業者によって提供され得る。好ましくは、システム62は、約60フレーム/秒以上のフレームレートにおいてユーザにレンダリングする。前述のように、好ましくは、小型カメラ24は、眼追跡のために利用され得、ソフトウェアは、両眼離反運動幾何学形状だけではなく、ユーザ入力としての役割を果たすための焦点場所の手掛かりも取得するように構成され得る。好ましくは、そのようなシステムは、昼間または夜間のために好適な輝度およびコントラストで構成される。
一実施形態では、そのようなシステムは、好ましくは、視対象整列のために、約20ミリ秒未満の待ち時間、約0.1度未満の角度整列、および約1分の分解能を有し、それは、ヒト眼のほぼ限界である。ディスプレイシステム62は、GPS要素、光学追跡、コンパス、加速度計、および/または他のデータ源を伴い、位置ならびに姿勢決定を補助し得る位置特定システムと統合され得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用され得る(すなわち、そのような情報は、眼鏡がそれらが実世界に対する場所を把握することを促進するであろう)。ARデバイスの一般的コンポーネントが説明されたが、商取引を実施するためのユーザ識別および認証に具体的に関する追加の実施形態は、以下に議論されるであろう。
上である程度詳細に議論されたように、商取引を実施するための従来のモデルは、非効率的かつ煩わしい傾向にあり、多くの場合、ユーザが取引に従事することを妨げる影響を有する。例えば、あるユーザが、百貨店に居るとする。従来のモデルでは、ユーザは、百貨店に物理的に入って行き、商品を選択し、列に並び、レジ係を待ち、支払情報および/または身分証明書を提供し、支払を承認することが要求される。オンラインショッピングでさえ、おそらくあまり煩雑ではないが、それなりの短所がある。ユーザは、店舗の場所に物理的に存在する必要はなく、関心のある商品を容易に選択することができるが、支払は、依然として、多くの場合、クレジットカード情報および認証を要求する。しかしながら、ARデバイスの出現に伴って、ARデバイスが、ユーザの識別を容易に確認し、商取引を認証することができるので、支払の従来のモデル(例えば、現金、クレジットカード、金銭トークン等)は、不必要にされ得。
例えば、ARユーザは、小売店の中をのんびりとぶらつき、商品を取り上げ得る。ARデバイスは、ユーザの識別を確認し、ユーザが購入を欲するかどうかを確認し、単に、店舗から出て行かせてもよい。1つ以上の実施形態では、ARデバイスは、確認された購入に基づいて、ユーザの口座から小売店に関連付けられた口座に金額を転送するであろう金融機関とインターフェースをとり得る。または、別の例では、ARユーザは、特定のブランドの靴の広告を見ている場合がある。ユーザは、ARデバイスを通して、ユーザが靴の購入を欲することを示し得る。ARデバイスは、ユーザの識別を確認し、購入を認証し得る。バックエンドでは、注文が靴のブランドの小売業者に発注され得、小売業者は、単に、一足の所望の靴をユーザに発送し得る。前述の例によって例証されるように、ARデバイスは、ユーザの識別を「把握」しているので(およびARデバイスは、典型的には、全ての個々のユーザに対して構築およびカスタマイズされる)、金融取引は、容易に認証され、それによって、売買を実施することと典型的に関連付けられた摩擦コストを大幅に削減させる。
より具体的には、1つ以上の実施形態では、ARデバイスは、プライバシーおよびセキュリティ目的のために、ユーザの識別試験を周期的に行い得る。上である程度詳細に議論されたように、ARデバイスは、典型的には、各ユーザのためにカスタマイズされるが、ユーザのこの周期的識別および認証は、特に商取引を実施する状況におけるセキュリティ目的のために、またはARデバイスが、未知のユーザによって使用されておらず、かつクラウド上のARユーザの口座にリンクされていることを確実にするためのプライバシー目的のために、必要である。本願は、ユーザ識別および認証が最重要事項である金融/商取引のためのセキュリティを確実にするためのシステムおよび方法を説明する。同様に、これらのステップは、ユーザプライバシーを確実にするためにも等しく重要である。実際、これらの識別ステップは、ARデバイスを通して任意のパーソナル/プライベートユーザ口座(例えば、電子メール、ソーシャルネットワーク、金融口座等)を開くことに先立って使用され得る。
本願に説明される他の実施形態は、盗難防止管理の状況において使用され得る。例えば、ARデバイスは、ユーザを識別し、ARデバイスが盗まれていないことを確実にし得る。ARデバイスが未知のユーザを検出する場合、ARデバイスは、ユーザについての捕捉された情報およびARデバイスの場所をARサーバに直ちに送信し得る。または、他の実施形態では、ARデバイスが、識別されていない人物によって使用されていることが検出されている場合、ARデバイスは、完全にシャットダウンし、機密情報が漏出または悪用されないように、ARデバイスのメモリ内の全コンテンツを自動的に削除し得る。これらのセキュリティ対策は、ARデバイスがARデバイスの装着者についての多くのタイプの情報を捕捉することが可能であるので、ARデバイスの窃盗を防止し得る。
1つ以上の実施形態では、以下に説明される実施形態は、ARデバイスが、ショッピングロボットを遠隔操作することを可能にし得る。例えば、ARデバイスのユーザが識別されると、ARデバイスは、特定の店舗またはフランチャイズ店のネットワークを通して、ショッピングロボットに接続し、ショッピングロボットと取引を通信し得る。したがって、ユーザは、店舗内に物理的に居ない場合でも、ARデバイスは、ユーザが認証されると、プロキシを通して取引を実施し得る。同様に、多くの他のセキュリティおよび/またはプライバシー用途も、想定され得る。
追跡されたバイオメトリックデータを通して識別を行う多くの方法がある。一実施形態では、追跡されたバイオメトリックデータは、眼移動のパターン、虹彩パターン、両眼離反運動情報等の眼関連バイオメトリックデータであり得る。要するに、ユーザがパスワードを覚えること、またはあるタイプの識別/証明を提示することを要求するのではなく、ARデバイスは、自動的に、追跡されたバイオメトリックデータの使用を通して識別を検証する。ARデバイスがユーザの眼への一定アクセスを有することを前提として、追跡されたデータは、ユーザの識別についての非常に正確かつ個人化された情報を提供するであろうことが予期され、その情報は、固有のユーザ署名と見なされ得る。バイオメトリックデータを追跡し、追跡されたバイオメトリックデータを使用して、ユーザを認証する、異なる方法についての詳細を掘り下げる前に、1つ以上の外部エンティティ(例えば、金融機関、販売業者等)と相互作用するARデバイスのシステムアーキテクチャが、提供されるであろう。
ここで図6を参照すると、全体的ARシステムアーキテクチャが、図示される。ARシステムアーキテクチャは、頭部装着型ARデバイス62と、ARデバイス62のローカル処理モジュール660と、ネットワーク650と、ARサーバ612と、金融機関620と、1つ以上の販売業者(622A、622B等)を含む。
前述のように(図5参照)、頭部装着型ARデバイス62は、多くのサブコンポーネントを備え、そのうちのいくつかは、ユーザおよび/またはユーザの周囲に関連付けられた情報を捕捉ならびに/もしくは追跡するように構成される。より具体的には、1つ以上の実施形態では、頭部装着型ARデバイス62は、1つ以上の眼追跡カメラを備え得る。眼追跡カメラは、ユーザの眼の移動、両眼離反運動等を追跡し得る。別の実施形態では、眼追跡カメラは、ユーザの虹彩の写真を捕捉するように構成され得る。他の実施形態では、頭部装着型ARデバイス62は、他のバイオメトリック情報を捕捉するように構成される、他のカメラを備え得る。例えば、関連付けられたカメラは、ユーザの眼の形状の画像を捕捉するように構成され得る。または、別の例では、カメラ(もしくは他の追跡デバイス)は、ユーザの睫毛に関するデータを捕捉し得る。追跡されたバイオメトリック情報(例えば、眼のデータ、睫毛のデータ、眼形状データ、眼移動データ、頭部データ、センサデータ、音声データ、指紋データ等)は、ローカル処理モジュール660に伝送され得る。図2Dに示されるように、1つ以上の実施形態では、ローカル処理モジュール660は、ARデバイス62のベルトパックの一部であり得る。または、他の実施形態では、ローカル処理モジュールは、頭部装着型ARデバイス62の筐体の一部であり得る。
図6に示されるように、ユーザ680の頭部装着型ARデバイス62は、捕捉されたデータを提供するために、ローカル処理モジュール660とインターフェースをとる。1つ以上の実施形態では、ローカル処理モジュール660は、ARシステムが種々のコンピューティングタスクを行うことを可能にするプロセッサ664および他のコンポーネント652(例えば、メモリ、電源、テレメトリ回路等)を備えている。本開示の有意なこととして、ローカル処理モジュール660はまた、識別モジュール614を備え、頭部装着型ARデバイス62の1つ以上の追跡デバイスによって追跡された情報に基づいて、ユーザを識別し得る。
1つ以上の実施形態では、識別モジュール614は、データベース652を備え、データの組を記憶し、それを用いて、ユーザを識別および/または認証する。例えば、図示される実施形態では、データベース652は、所定のデータの組および/または所定の認証詳細もしくはパターンを記憶し得るマッピングテーブル670を備えている。1つ以上の実施形態では、捕捉されたデータは、マッピングテーブル670に記憶される所定のデータと比較され、ユーザ680の識別を決定し得る。同様に、データベース652は、ユーザ680の識別/認証を行うことにおいて使用されることになる他のデータを備え得る。1つ以上の実施形態では、データベース652は、以下にさらに詳細に説明されるであろうように、1つ以上の眼試験を記憶し、ユーザの識別を検証し得る。
1つ以上の実施形態では、ローカル処理モジュール660は、クラウドネットワーク650を通してARサーバ612と通信する。図6に図示されないが、ARサーバ612は、現実的拡張現実体験をユーザ680に提供するために重要である多くのコンポーネント/回路を備えている。概略すると、ARサーバ612は、仮想コンテンツを実世界の物理的オブジェクトと関連してレンダリングするために、ARデバイス62のローカル処理モジュール660によって頻繁に参照される、物理的世界のマップ690を備えている。したがって、ARサーバ612は、多数のユーザを通して捕捉された情報に基づいて構築され、実世界のますます成長するマップ690を構築する。他の実施形態では、ARサーバ612は、第三者によって構築および維持され得る、マップ690を単にホストし得る。
1つ以上の実施形態では、ARサーバ612はまた、個々のユーザの口座をホストし得、そこに、ユーザのプライベート捕捉データが供給される。この捕捉されたデータは、1つ以上の実施形態では、データベース654内に記憶され得る。1つ以上の実施形態では、データベース654は、ユーザ情報610、ユーザ680についての履歴データ615、ユーザ選好616、および他のエンティティ認証情報618を記憶し得る。実際、ARシステムの他の実施形態は、ユーザに個人的な多くの他のタイプの情報を備え得る。ユーザ情報610は、1つ以上の実施形態では、個人の略歴の組(例えば、氏名、年齢、性別、住所、場所等)を含み得る。
ユーザ680についての履歴データ615は、ユーザによって行われた以前の購入および/または取引を指し得る。1つ以上の実施形態では、ユーザ選好616は、関心事項の組(例えば、ショッピング、アクティビティ、旅行等)および/またはユーザについての購入選好(例えば、アクセサリー、関心のあるブランド、ショッピングカテゴリ等)を含み得る。1つ以上の実施形態では、ARユーザの挙動データは、システムにユーザの選好および/または購入パターンを知らせるために使用され得る。他のエンティティ認証情報618は、ユーザが外部口座へのアクセスが正常に認証されたことを証明するためのユーザの認証証明書を指し得る(例えば、銀行認証情報、種々のウェブサイトの口座認証情報等)
1つ以上の実施形態では、ARデバイス62を通して捕捉されたデータ、過去のアクティビティを通して追跡されたデータ、ユーザに関連付けられた売買データ等が、ユーザの挙動パターンを認識し、および/または理解するために分析され得る。これらの機能は、1つ以上の実施形態では、プライバシーおよびセキュリティに配慮した様式において、第三者によって行われ得る。
データベース654はまた、ARサーバ612がユーザに特定の金融機関および/または第三者エンティティと通信することを可能にする他のエンティティ認証情報618を記憶し得る。例えば、他のエンティティ認証情報618は、ユーザの銀行情報(例えば、銀行名、口座情報等)を指し得る。この情報は、次に、金融情報、第三者エンティティ、販売業者等と通信するために使用され得る。
1つ以上の実施形態では、ARサーバ612は、取引を完了するために、1つ以上の金融機関620と通信し得る。金融機関は、ユーザの金融情報を有し得る。1つ以上の実施形態では、金融機関は、セキュリティ目的のために、ユーザの認証情報の第2の検証を行い得る。ユーザが認証されると、ARサーバ612は、認証され、金融機関620と通信し得る。ユーザが商品630の特定の購入のために認証される場合、金融機関620は、ユーザが認証されると、直接、1つ以上の販売業者(622A、622B等)と通信し、直接、金額を販売業者に伝送し得る。他の実施形態では(図示せず)、ARサーバ612は、直接、販売業者と通信し、かつ1つ以上の購入に関するデータを通信し得る。
いくつかの実施形態では、ユーザ680は、1つ以上の金融取引を進めるために、ARサーバ612に接続する必要がない場合があることを理解されたい。例えば、いくつかの実施形態では、ARデバイス62は、複数の電子商取引サイト等の「オフラインブラウジング」を可能にし得、ユーザ680は、オフラインIDを通して、関心のある1つ以上の商品を選択することが可能であり得る。金融機関620または販売業者622は、その特定の取引のために生成される乱数発生器を有し得、それは、ARデバイス62がネットワーク650に接続されると、後に検証され得る。言い換えると、ARデバイス62がARサーバに接続していない場合でも、システムは、取引をオフラインで確認し、次いで、追加の情報(例えば、ランダムに生成された数字)を使用して、後に購入を有効にし得る。これは、ARデバイス62が、ユーザが現時点でARサーバ612および/または金融機関もしくは販売業者に接続されていない場合でも、必要な商取引に参加することを可能にする。
1つ以上の実施形態では、販売業者(622A、622B等)は、ARデバイス62を通して購入を行うこの新しい概念図式を可能にする、ARサーバ612および/または金融機関620と事前に確立された関係を有し得る。前述の実施形態は、例証目的のためだけに提供され、他の実施形態は、より多いまたはより少ないコンポーネントを備え得ることを理解されたい。
ここで図7を参照すると、ARデバイス62を通して商取引を実施する例示的フローチャートが、提供される。702では、取引に関する入力が、受信され得る。例えば、ユーザは、アイテムの購入に関心があることを明示的に示し得る(例えば、コマンド、ジェスチャ等を通して)。他の実施形態では、ARシステムは、過去の購入、ユーザの関心等に基づいて、購入をARユーザに提案し、ユーザからの確認を受信し得る。さらに他の実施形態では、ARシステムは、種々の商品の「ヒートマップ」に基づいて、関心を査定し得る。詳しく説明すると、ARデバイス62は、ユーザが見ている場所および見ている時間を把握しているので、ARデバイス62は、ユーザの商品への関心を決定するために、ユーザが種々の仮想および/または実オブジェクトを見ていた時間を決定することが可能であり得る。例えば、ユーザが特定のブランドの仮想広告を見ていた場合、ARデバイス62は、ユーザが特定の製品を見ていた時間を決定することによって、ユーザの関心を計測し得る。1つ以上の実施形態では、ARシステムは、1人以上のユーザが特定の製品を見ていた時間に基づいて、ヒートマップを生成し得る。ヒートマップが特定の製品への関心を示す(例えば、特定の商品を見ていた時間量が所定の閾値時間量を超える)場合、ARデバイス62は、製品の購入についてARユーザから確認を要求し得る。
704では、ARデバイス62は、ユーザ識別プロトコルを行い得る。以下にさらに詳細に説明されるであろうように、多くのタイプのユーザ識別プロトコルがあり得る。1つ以上の実施形態では、ARデバイス62は、ユーザが検証されるかどうかを決定するために、単に、眼移動に基づいて、「パスワード」を要求し得る。別の実施形態では、ARデバイス62は、ユーザの虹彩の写真を捕捉し、ユーザがARデバイス62(およびARデバイス62にリンクされた口座)の有効ユーザであるかどうかを確認し得る。別の実施形態では、ARデバイス62は、ユーザの頭部に留まっていたARデバイス62の連続性を監視し得る(例えば、ユーザがARデバイス62を全く除去していない場合、ユーザが同一である可能性が高い)。1つ以上の実施形態では、ARデバイス62は、ユーザ識別プロトコルに基づいて、虹彩画像を周期的に捕捉するか、またはユーザがARデバイス62の検証されたユーザであることを確実にするために試験を周期的に行い得る。本明細書に議論されるように、バイオメトリックデータを通してユーザを識別するための多くの方法があり、いくつかの例示的方法は、以下にさらに説明されるであろう。
いくつかの実施形態では、識別プロトコルは、ユーザの一定の識別(例えば、眼の移動パターン、皮膚との接触等)であり得る。他の実施形態では、識別プロトコルは、単に、1回限りの識別であり得る(任意の識別方法を通して)。したがって、いくつかの実施形態では、ARシステムがユーザを1回識別すると、同一ユーザは、介入イベントが(例えば、ユーザがARデバイス62を除去する、ネットワーク接続性の中断等)生じない限り、識別される必要がないこともある。705では、ARデバイス62は、識別プロトコルがバイオメトリックデータの捕捉を要求するかどうかを決定し得る。ユーザプロトコルが、バイオメトリックデータが捕捉されることを要求する場合、ARデバイスは、バイオメトリックデータを捕捉し得る。そうでなければ、ARデバイス62は、非バイオメトリック捕捉識別方法を通してユーザの識別を進め得る。
706では、ユーザ識別プロトコルに基づいて、バイオメトリックデータが、捕捉され得る。例えば、ユーザ識別プロトコルが、既知のパターンを検出するための眼の試験である場合、ARデバイス62は、1つ以上の眼追跡カメラを通して、ユーザの眼の移動を追跡し得る。捕捉された移動は、「パスワード」または署名的眼移動と相関され、ユーザが検証されるかどうかを決定し得る。または、ユーザ識別プロトコルが虹彩捕捉である場合、虹彩の画像が、捕捉され、ユーザの既知の画像と相関され得る。または、ARユーザがARデバイス62を装着する度に、虹彩捕捉もしくは眼試験が、行われ、ユーザの識別を検証し得る。バイオメトリックデータは、いくつかの実施形態では、眼関連であり得るか、または他のタイプのバイオメトリックデータであり得ることを理解されたい。例えば、バイオメトリックデータは、1つ以上の実施形態では、音声であり得る。1つ以上の実施形態では、バイオメトリックデータは、睫毛関連データもしくは眼形状データであり得る。他のユーザからユーザを固有に識別するために使用され得る任意のタイプのバイオメトリックデータが、使用され得る。
708では、バイオメトリックデータが、所定のユーザ識別データと比較され、ユーザを識別し得る。または、ユーザ識別がバイオメトリックデータを要求しない場合、ARデバイス62は、例えば、ユーザがARデバイス62を外していないことを決定し、したがって、ユーザが以前に識別されたユーザと同一であることを示し得る。ユーザが識別される場合、ARデバイス62は、710に進み、情報を1つ以上の金融機関に伝送する。
ユーザが識別されない場合、ARデバイス62は、別のユーザ識別プロトコルを行い、またはそうでなければ、ユーザが取引を行うことを妨害し得る。ユーザが識別される場合、所望の商品に関するデータが、710において、クラウドおよび金融機関に伝送され得る。例えば、上の例に従って、所望の靴についての情報(例えば、製品番号、所望の数量、ユーザについての情報、発送先住所、ユーザ口座等)が、販売業者および/または金融機関に通信され得る。
712では、ARシステムは、金融機関から、支払が完了し、および/または承認されたことの確認を受信し得る。714では、確認メッセージは、購入が完了したことを確認するために、ユーザに表示され得る。
前述のように、1つ以上の実施形態では、検証目的のために(金融取引および他の目的のために)ユーザを識別する1つのアプローチは、ユーザ識別試験を周期的に実施することであり得る。1つ以上の実施形態では、ユーザ識別方法は、眼関連データを利用して、ユーザ識別試験を完了し得る。ARデバイス62は、ユーザの眼の移動を継続的に追跡する眼追跡カメラを装備しているので、眼移動の既知のパターンが、眼試験として使用され、ユーザを認識および/または識別し得る。例えば、パスワードは、容易にコピーまたは窃盗され得るが、他のユーザの眼の移動もしくは他の生理学的特性を複製することは困難であり、ARデバイス62の非承認ユーザを識別することを容易にし得る。
1つ以上の実施形態では、ARデバイス62の設定中、システムは、ユーザの入力を用いて、ユーザに固有の眼移動の既知のパターン(すなわち、眼パスワードに類似する)を構成し得る。眼移動のこの既知のパターンは、ユーザ識別プロトコルが行われる度に、記憶および相関され得る。
ここで図8Aおよび8Bの実施形態800を参照すると、ユーザの眼804の例示的眼パターン802が、提供される。図8Aに示されるように、ARデバイス806は、眼追跡カメラ(図示せず)を通して、ユーザの眼の移動を追跡し、パターンと眼移動の既知のパターン(すなわち、眼パスワード)を相関させ得る。眼移動パターンが既知のパターンに近い場合(閾値以内)、ARデバイス806は、ユーザが取引を実施することを可能にし得る。図8Aに示されるように、ユーザは、その眼を示されるパターンで移動させ得る。例証目的のために、線(802)は、眼パターンを表すために描かれる。当然ながら、実際は、線はなく、眼追跡デバイスは、単に、そのような移動を追跡し、それを所望のデータフォーマットに変換するであろう。
1つ以上の実施形態では、追跡された眼パターンが眼移動の所定の既知のパターンと相関するかどうかを決定するために、図8Bに示されるものに類似するグリッド904が、利用され得る。他のそのような技法も同様に、使用され得ることを理解されたい。グリッド904の使用を通して、利用可能な空間を離散化されたエリアに分割することによって、追跡された眼パターン802が所定のパターン902に最も似ているかどうかを決定することを容易にし得る。例えば、図8Bに示されるように、追跡された眼パターン802は、多少なりとも、所定のパターン902に従う(所定のパターンに関連付けられた各グリッド正方形の中心を接続する太線によって示されるように)。図8Bは、グリッド904のかなり簡略化されたバージョンを表すが、各グリッドのサイズは、より正確な決定のために減少させられ得ることを理解されたい。
図示される実施形態では、追跡された眼移動が所定のグリッド正方形のエリアを対象とする場合、パターンが、認識され得る。他の実施形態では、グリッド正方形の大部分が、ユーザがユーザ識別試験を合格したと見なされる前に、ヒットされる必要があり得る。同様に、他のそのような閾値が、種々の眼移動追跡プロトコルのために考案され得る。1つ以上の実施形態では、前述と同様に、瞬きパターンも同様に、利用され得る。例えば、眼移動パターンを利用するのではなく、眼パスワードは、一連の瞬きまたはユーザの署名を追跡するための移動と組み合わせられた瞬きであり得る。
ここで図9を参照すると、眼移動署名を検出する例示的プロセスが、説明される。902では、眼移動試験が、開始され得る。例えば、ARユーザは、商品を購入することを欲することを示し得るか、またはARユーザは、ARデバイス62、806を取り外し得、ARデバイス62、806の装着を再開し得る。別の実施形態では、眼移動試験は、セキュリティ目的のために、周期的に実施され得る。
904では、眼移動パターンが、追跡および受信され得る。例えば、仮想ディスプレイ画面は、「パスワード入力」命令を表示し得、それは、ユーザがその眼による既知のパターンを形成することをトリガし得る。
906では、追跡された眼移動は、特定のデータフォーマットに変換され得る。例えば、グリッドアプローチに戻って参照すると、データは、眼移動によってヒットされたグリッドの座標を示し得る。多くの他のアプローチも同様に、使用され得る。
908では、変換されたデータは、既知の署名的眼移動パターンの所定のデータと比較され得る。910では、ARシステムは、追跡された眼移動が閾値内で所定のパターンに一致するかどうかを決定し得る。912では、眼パターンが、閾値内で既知の眼パターンと一致しないことが決定される場合、ユーザは、試験に不合格となり、購入を行うことを妨害され得るか、または試験を再び受ける必要があり得る。914では、眼パターンが、閾値内で既知の眼パターンに一致することが決定される場合、ユーザは、試験に合格し、購入を行うことが許可され得る。
さらに別のアプローチでは、眼試験を実施するのではなく、ARシステムは、ARユーザの眼の写真を周期的に捕捉し、ユーザの眼の捕捉された画像を既知の情報と比較することによって、眼識別を行い得る。1つ以上の実施形態では、ユーザが購入を行おうとするとき、ARデバイス62、806は、ユーザに、ユーザに提示される特定の仮想オブジェクトを凝視することを要求し得る。これは、ユーザの眼が静止することを可能にし、ユーザの眼の画像が、捕捉および比較され得る。眼の写真がユーザの眼の既知の写真と相関する場合、ARユーザは、購入を行うことを許可され得る。眼識別技法に関するさらなる詳細は、弁理士整理番号ML30028.00下で「DEVICES,METHODS AND SYSTEMS FOR BIOMETRIC USER RECOGNITION UTILIZING NEURAL NETWORKS」と題された同時係属中の出願第62/159,593号に提供される。
ARシステムは、概して、ユーザの眼が注視している(または「見ている」)場所およびユーザの眼が集中させられている場所を把握する必要があるので、この特徴は、有利には、識別目的のために使用され得る。したがって、種々の実施形態では、頭部搭載型ディスプレイ(「HMD」)コンポーネントは、ユーザの眼に関する画像情報を捕捉するために向けられている1つ以上のカメラを特徴とする。図5に描写されるもの等の一構成では、ユーザの各眼は、それに集中させられたカメラとともに、閃光を眼の表面上に誘発するためのカメラまでの既知のオフセット距離を伴う3つ以上のLEDを(一実施形態では、示されるように、眼の直下に)有し得る。
各カメラまでの既知のオフセットを伴う、3つ以上のLEDの存在は、三角測量によって、3D空間内のカメラから各閃光ポイントまでの距離を決定することを可能にする。少なくとも3つの閃光ポイントおよび眼の略球状モデルを使用して、システムは、眼の曲率を推測することができる。既知の3Dオフセットおよび眼に対する向きを用いて、システムは、ユーザを識別するための使用のための虹彩もしくは網膜の正確な(例えば、画像)または抽象的(例えば、勾配もしくは他の特徴)テンプレートを形成することができる。他の実施形態では、眼内およびその上の静脈のパターン等の眼の他の特性もまた、ユーザを識別するために使用され得る(例えば、虹彩または網膜テンプレートとともに)。
1つのアプローチでは、虹彩画像識別アプローチが、使用され得る。眼の虹彩内の筋線維のパターンは、斑点、溝、および環を含む、各個人に対して安定した固有のパターンを形成する。種々の虹彩特徴は、可視光撮像と比較して、赤外線または近赤外線撮像を使用して容易に捕捉され得る。システムは、多くの異なる方法において、捕捉された虹彩特徴を識別コードに変換することができる。目標は、眼から十分に豊富な組織構造を抽出することである。収集されたデータ内の十分な自由度を用いて、システムは、固有のユーザを理論的に識別することができる。
別のアプローチでは、網膜画像識別が同様に、使用され得る。一実施形態では、HMDは、操向可能光ファイバケーブルによって操向されるレーザスキャナによって駆動される回折ディスプレイを備えている。この光ファイバケーブルはまた、眼の内部を視覚化し、視覚受容体(桿体細胞および錐体細胞)ならびに血管の固有のパターンを有する網膜を撮像するためにも利用されることができる。これらの桿体細胞および錐体細胞はまた、各個人に固有のパターンを形成し得、各個人を固有に識別するために使用されることができる。
例えば、各人の暗および明血管のパターンは、固有であり、勾配演算子を網膜画像に適用し、網膜の中心に中心を置かれた標準化されたグリッド内の高低遷移を計数する等の標準的技法によって、「暗−明」コードに変換されることができる。
したがって、本主題のシステムは、システムによって捕捉または検出されたユーザ特性をシステムの承認されたユーザのための既知のベースラインユーザ特性を比較することによって、高度な正確度および精度を伴って、ユーザを識別するために利用され得る。
さらに他の実施形態では、眼の曲率/サイズも同様に、使用され得る。例えば、この情報は、異なるユーザの眼が、類似であるが、正確に同一ではないので、ユーザの識別を補助し得る。他の実施形態では、一時的バイオメトリック情報が、ユーザがストレスにさらされているときに収集され、既知のデータと相関され得る。例えば、ユーザの心拍数が、監視され得、ユーザの眼が水の膜を産生しているかどうか、眼が近づき、一緒に焦点に集中しているかどうか、呼吸パターン、瞬き率、脈拍数等も同様に、ユーザの識別を確認および/または無効にするために使用され得る。
さらに他の実施形態では、ユーザの識別を確認するために(例えば、誤識別が疑われる場合)、ARシステムは、ARデバイスを通して捕捉された情報(例えば、ARデバイス62、806の視野カメラを通して捕捉された周囲環境の画像)を相関させ、ユーザが、GPSおよび環境のマップから導出されるような場所に相関する同じ場面を見ているかどうかを決定し得る。例えば、ユーザが自宅に居ると考えられる場合、ARシステムは、ユーザの自宅の既知のオブジェクトをユーザの視野カメラを通して見ているものと相関させることによって検証し得る。
前述のAR/ユーザ識別システムは、非常にセキュアな形態のユーザ識別を提供する。言い換えると、システムは、比較的に高度な正確度および精度を伴って、ユーザを決定するために利用され得る。システムは、非常に高度な確実性を伴って、かつ継続的ベースで(例えば、周期的監視を使用して)、ユーザを把握するために利用されることができるので、別個のログインを必要とせずに、種々の金融取引を可能にするために利用されることができる。ユーザ識別システムが非常に正確であることを確実にするための1つのアプローチは、神経ネットワークの使用を通したものであり、弁理士整理番号ML30028.00下の同時係属中の出願第62/159,593号にさらに詳細に説明されている。
ここで図10A−10Iを参照すると、取引を実施するためのバイオメトリックデータを使用する例示的プロセスフロー1000が、図示される。図10Aに示されるように、ARデバイス1004を装着しているユーザ1002が、店舗の中に歩いて行く。店舗に居る間、ユーザ1002は、購入に関心があり得る一足の靴1006が目に入り得る。
ここで図10Bを参照すると、ARデバイス1004を通してユーザ1002に見える靴の例示的ビューが、示される。ユーザの注視が一足の靴1006に集中させられていることを検出すると、ARデバイス1004は、一足の靴1006についての詳細(例えば、ARデバイス1004に同期された製品カタログを通して等)をルックアップし、詳細を仮想コンテンツ1008として表示し得る。ここで図10Cを参照すると、ARデバイス1004は、仮想コンテンツ1010を表示することによって、ユーザが消費を購入することを欲するかどうかを決定し得る。ユーザ1002は、任意の形態のユーザ入力(例えば、ジェスチャ、音声、眼制御等)を通して、確認または拒否し得る。
ここで図10Dを参照すると、ユーザが購入を決定したと仮定すると、ARデバイス1004は、仮想コンテンツ1012を通してパスワードを要求し得る。この時点で、図10Eに示されるように、ユーザ1002は、眼署名1016を生成することを始めてもよい。1つ以上の実施形態では、仮想グリッド1014が、ユーザに提示され、特定の様式で眼を移動させることを補助し得る。
図10Fに示されるように、入力された署名1016は、ARシステム1004によって受信され、所定の署名と比較され、ユーザが認証されたユーザであるかどうかを決定し得る。ユーザが認証される場合、ARデバイス1004は、図10Gに示されるように、所望の製品に関するデータをネットワーク1018を通してARサーバ1020に、販売業者1024および金融機関1022に伝送し得る。ARサーバ1020から受信された確認に基づいて、金融機関1022は、適切な金額を販売業者1024に伝送し得る。
図10Hに示されるように、取引が確認されると、ARデバイス1004は、靴1006の購入を確認する仮想コンテンツ1026を表示し得る。確認が受信されると、ユーザ1002は、図10Iに示されるように、所望の靴1006とともに店舗から出て行き得る。
図10A−10Iのプロセスフローは、例証目的のためだけに本明細書に提示され、限定として読まれるべきではない、単なる例示的実施形態を表すにすぎないことを理解されたい。多数の他の実施形態も同様に、想定され得る。例えば、1つ以上の実施形態では、「パスワード」(例えば、図10D)を要求するのではなく、ARシステムは、ユーザに、画面上の仮想ドットを凝視することを要求し、ユーザの眼(例えば、網膜、虹彩、眼形状等)の画像を捕捉し得る。この画像は、次いで、ユーザの眼の既知の画像と相関され得、ユーザの識別が、確認され得る。ユーザの識別が確認されると、ARシステムは、図10Gに示されるように、情報を販売業者1024および金融機関1022に伝送し得る。同様に、多くの他の類似実施形態も、想定され得る。
前述のように、そのような認証および支払システムは、取引を行うことを従来の支払モデルよりはるかに容易にすることを理解されたい。長時間かつ骨の折れる百貨店までの往復ではなく、ショッピングは、「遊び場」的体験となり、ユーザは、単に、店舗の中に歩いて行き、任意の数の製品を取り上げ、単に、店舗から出て行き得る。ARシステムは、容易に追跡されるバイオメトリックデータに基づいて、単純であって、かつ邪魔にならない識別チェックのみを要求する一方、支払詳細の大部分を引き受ける。前述のように、識別チェックは、いくつかの実施形態によると、購入時点で、任意のユーザアクションを要求しない。
上で詳細に議論されたように、従来のパスワードまたはサインアップ/ログインコードは、前述のAR/ユーザ識別システムおよび方法を使用して、個々のセキュアな取引から排除され得る。本主題のシステムは、非常に高度な確実性を伴って、ユーザを事前に識別/事前に認証することができる。さらに、システムは、周期的監視を使用して、ユーザの識別を経時的に維持することができる。したがって、識別されたユーザは、そのサイトの条項についての通知(オーバーレイされたユーザインターフェースアイテムとしてユーザに表示されることができる)後、任意のサイトへの瞬間アクセスを有することができる。一実施形態では、システムは、ユーザがそのサイト上の条件を瞬時に把握するように、ユーザによって事前に決定された標準的条項の組を作成し得る。サイトが本条件(例えば、標準的条項)の組に準拠しない場合、本主題のシステムは、アクセスまたはそこでの取引を自動的に許さないこともある。
加えて、前述のAR/ユーザ識別システムは、「少額取引」を促進するために使用されることができる。非常に少額のデビットおよびクレジットのみをユーザの金融口座に生成する少額取引は、典型的には、約数セントまたは1セント未満である。所与のサイト上において、本主題のシステムは、ユーザが視聴または使用したコンテンツだけではなく、その時間(短いブラウジングは無料であり得るが、ある量を超えると、有料となるであろう)も確認するように構成され得る。種々の実施形態では、ニュース記事は、1/3セントであり得、書籍は、1ページあたり1ペニー課金され得、音楽は、1回の視聴あたり10セントである等。別の実施形態では、広告主が、バナー広告を選択すること、またはアンケートを行うことに対してユーザに0.5セントを支払い得る。システムは、取引料金のわずかなパーセンテージをサービスプロバイダに配分するように構成され得る。
一実施形態では、システムは、ユーザによって制御可能な専用小額取引口座を作成するために利用され得、小額取引に関連した資金は、集約され、所定の有意義な金額としてユーザのより従来の金融口座(例えば、オンライン銀行口座)へ/から分配される。小額取引口座は、定期的間隔(例えば、四半期毎)において、またはあるトリガに応答して(例えば、ユーザが特定のウェブサイトにおいて数ドルを超えて費やすと)、清算または預金され得る。
小額取引は、従来の支払概念図式では、典型的には、非実践的かつ煩雑であるが、本明細書に説明される支払技法に説明されるように、取引がほぼ瞬時のユーザ識別および認証を通して生じる容易性は、小額取引と典型的に関連付けられた障害の多くを除去する。これは、将来的事業のための収益化の新しい手段を開拓し得る。例えば、音楽、書籍、広告等を収益化することをより容易にし得る。ユーザは、ニュース記事に1ドルを支払うことを躊躇し得るが、数分の1セントのコストの記事についてはあまり躊躇しないこともある。同様に、これらの取引(小額および高額)を実施することが有意に容易であることを前提として、広告主および出版社等は、異なるタイプの支払スキームのためのコンテンツを開拓する可能性がより高まり得る。したがって、ARシステムは、支払およびコンテンツの配信の両方を促進し、それによって、フロントエンドおよびバックエンドプロセスの両方を比較的に簡単なものにする。
本主題のシステムおよび機能性は、拡張現実に焦点を当てた企業によって提供され得るので、かつユーザのIDは、非常に確実かつセキュアに把握されるので、ユーザは、その口座への瞬時のアクセス、金額、支出、支出率、ならびにその支出のグラフィカルおよび/または地理的マップの3Dビューを提供され得る。そのようなユーザは、支出(例えば、小額取引)をオフおよびオンにすること等、支出アクセスを瞬時に調節することを可能にされ得る。
高額支出(すなわち、数ペニーまたはペニーの割合ではなく、数ドルの金額)のために、種々の実施形態が、本主題のシステム構成を用いて促進され得る。
ユーザは、システムを使用して、その追跡された場所またはユーザ選択されたマップ場所への配達のために、生鮮食料品を注文し得る。システムはまた、配達が到着する時間をユーザに通知することができる(例えば、ARシステム内に行われている配達のビデオを表示することによって)。ARテレプレゼンスを用いて、ユーザは、その自宅から離れたオフィスに物理的に位置するが、配達員がその自宅に入らせ、アバタテレプレゼンスによって配達員に対して出現し、配達員が製品を配達したことを見届け、次いで、配達員が退出したことを確認し、アバタテレプレゼンスによってその自宅のドアを施錠することができる。
随意に、システムは、ユーザ製品選好を記憶し、ユーザに、ユーザの好ましい製品に関連するセールまたは他のプロモーションをアラートし得る。これらの高額支出実施形態に関して、ユーザは、その口座概要、その口座の全統計、および購買パターンを確認し、それによって、その注文を行う前に、買物の比較を促進することができる。
システムは、眼を追跡するために利用され得るので、「一瞥」による買物を可能にすることもできる。例えば、ユーザが、オブジェクト(例えば、ホテル内のローブ)を見て、「口座の金額が$3,000を超えたらこれが欲しい」と言ったとする。システムは、特定の条件(例えば、口座残高が$3,000を上回る)が満たされると、購入を実行するであろう。
前述のように、1つ以上の実施形態では、虹彩および/もしくは網膜署名データは、通信をセキュアにするために使用され得る。そのような実施形態では、本主題のシステムは、テキスト、画像、およびコンテンツが、ユーザが1つ以上の動的に測定された虹彩ならびに/もしくは網膜署名に基づいて認証されることができるときのみアクセスを可能にする信頼されたセキュアなハードウェアデバイスに選択的に伝送可能であり、かつその上で表示可能であることを可能にするように構成され得る。ARシステムディスプレイデバイスは、直接ユーザの網膜上に投影するので、意図される受信者(虹彩および/または網膜署名によって識別される)のみが、保護されたコンテンツを視聴可能となり得、さらに、視聴デバイスがユーザ眼を能動的に監視するので、動的に読み取られた虹彩および/または網膜署名が、コンテンツがユーザの眼に実際に提示されたことの証明として記録され得る(例えば、おそらく、眼移動の要求されるシーケンスを実行する等、検証アクションによって遂行される、デジタル受信の形態として)。
スプーフィング検出は、予期される自然変動のモデルに基づいて、網膜画像の以前の記録、静的または2D網膜画像、生成された画像等を使用した試みを排除し得る。固有の基準/ウォーターマークが、網膜上に生成および投影され、監査のための固有の網膜署名を生成し得る。
前述の金融および通信システムは、より正確かつ精密なユーザ識別から利益を享受し得る、種々の一般的システムの例として提供される。故に、本明細書に説明されるAR/ユーザ識別システムの使用は、開示される金融および通信システムに限定されず、むしろ、ユーザ識別を要求する任意のシステムに適用可能である。
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われ得、本発明の真の精神および範囲から逸脱することなく、同等物が置換され得る。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われ得る。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、個別的なコンポーネントおよび特徴を有する。全てのそのような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。
本発明は、主題デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含み得る。そのような提供は、エンドユーザによって行われ得る。換言すれば、「提供する」行為は、単に、エンドユーザが、主題方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行され得る。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上で記載されている。本発明の他の詳細に関しては、これらは、上で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知である、または理解され得る。一般的または論理的に採用されるような追加の行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物(本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと)が置換され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか1つ以上のものと組み合わせて、記載および請求され得ることが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「1つの(「a」、「an」)」、「該(said)」、および「the(the)」という単数形は、特に規定がない限り、複数形の指示参照を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項において、主題アイテムの「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。
そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備えている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および/または主題の明細書に限定されるものではなく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるものである。

Claims (28)

  1. 拡張現実デバイスを通して取引を実施する方法であって、前記方法は、
    バイオメトリックデータをユーザから捕捉することと、
    前記捕捉されたバイオメトリックデータに少なくとも部分的に基づいて、前記ユーザの識別を決定することと、
    前記決定された識別に基づいて、前記取引のために前記ユーザを認証することと
    を含む、方法。
  2. 前記取引に関するデータの組を金融機関に伝送することをさらに含む、請求項1に記載の方法。
  3. 前記バイオメトリックデータは、虹彩パターンである、請求項1に記載の方法。
  4. 前記バイオメトリックデータは、前記ユーザの音声記録である、請求項1に記載の方法。
  5. 前記バイオメトリックデータは、網膜署名である、請求項1に記載の方法。
  6. 前記バイオメトリックデータは、前記ユーザの皮膚に関連付けられた特性である、請求項1に記載の方法。
  7. 前記バイオメトリックデータは、前記ユーザの眼の移動を捕捉する1つ以上の眼追跡カメラを通して捕捉される、請求項1に記載の方法。
  8. 前記バイオメトリックデータは、前記ユーザの眼の移動のパターンである、請求項1に記載の方法。
  9. 前記バイオメトリックデータは、前記ユーザの眼の瞬きパターンである、請求項1に記載の方法。
  10. 前記拡張現実デバイスは、頭部搭載型であり、前記拡張現実デバイスは、前記ユーザのために個々に較正される、請求項1に記載の方法。
  11. 前記バイオメトリックデータは、前記ユーザに関する所定のデータと比較される、請求項1に記載の方法。
  12. 前記所定のデータは、前記ユーザの眼の既知の署名移動である、請求項11に記載の方法。
  13. 前記所定のデータは、既知の虹彩パターンである、請求項11に記載の方法。
  14. 前記所定のデータは、既知の網膜パターンである、請求項11に記載の方法。
  15. 前記ユーザが取引を行いたいという願望を検出することと、
    前記検出された願望に少なくとも部分的に基づいて、前記ユーザから前記バイオメトリックデータを要求することと、
    前記バイオメトリックデータを所定のバイオメトリックデータと比較し、結果を生成することであって、前記ユーザは、前記結果に少なくとも部分的に基づいて認証される、ことと
    をさらに含む、請求項1に記載の方法。
  16. 前記取引は、商取引である、請求項1に記載の方法。
  17. 前記ユーザの認証を前記ユーザに関連付けられた金融機関に通信することをさらに含み、前記金融機関は、前記認証に少なくとも部分的に基づいて、前記ユーザの代わりに支払を行う、請求項1に記載の方法。
  18. 前記金融機関は、前記支払を前記ユーザによって示される1つ以上の販売業者に伝送する、請求項17に記載の方法。
  19. 前記拡張現実デバイスに関連付けられた中断イベントまたは取引イベントを検出することと、
    前記検出されたイベントに少なくとも部分的に基づいて、前記ユーザを再認証するために、新しいバイオメトリックデータを前記ユーザから捕捉することと
    をさらに含む、請求項1に記載の方法。
  20. 前記アクティビティの中断は、前記ユーザの頭部からの前記拡張現実デバイスの除去に少なくとも部分的に基づいて、検出される、請求項19に記載の方法。
  21. 前記アクティビティの中断は、前記拡張現実デバイスのネットワークとの接続性の喪失に少なくとも部分的に基づいて、検出される、請求項19に記載の方法。
  22. 前記取引イベントは、前記ユーザによる取引の明示的承認に少なくとも部分的に基づいて、検出される、請求項19に記載の方法。
  23. 前記取引イベントは、前記ユーザの注視に関連付けられたヒートマップに少なくとも部分的に基づいて、検出される、請求項19に記載の方法。
  24. 前記取引イベントは、前記拡張現実デバイスを通して受信されるユーザ入力に少なくとも部分的に基づいて、検出される、請求項19に記載の方法。
  25. 前記ユーザ入力は、眼のジェスチャを含む、請求項24に記載の方法。
  26. 前記ユーザ入力は、手のジェスチャを含む、請求項24に記載の方法。
  27. 前記方法ステップを実装する手段を有するシステムとして実装される請求項1−26に記載の方法。
  28. 前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される請求項1−26に記載の方法。
JP2017558979A 2015-05-14 2016-05-14 バイオメトリックデータを追跡するための拡張現実システムおよび方法 Active JP6863902B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021063135A JP7106706B2 (ja) 2015-05-14 2021-04-01 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562161588P 2015-05-14 2015-05-14
US62/161,588 2015-05-14
PCT/US2016/032583 WO2016183541A1 (en) 2015-05-14 2016-05-14 Augmented reality systems and methods for tracking biometric data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021063135A Division JP7106706B2 (ja) 2015-05-14 2021-04-01 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Publications (2)

Publication Number Publication Date
JP2018526701A true JP2018526701A (ja) 2018-09-13
JP6863902B2 JP6863902B2 (ja) 2021-04-21

Family

ID=57249401

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017558979A Active JP6863902B2 (ja) 2015-05-14 2016-05-14 バイオメトリックデータを追跡するための拡張現実システムおよび方法
JP2021063135A Active JP7106706B2 (ja) 2015-05-14 2021-04-01 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021063135A Active JP7106706B2 (ja) 2015-05-14 2021-04-01 バイオメトリックデータを追跡するための拡張現実システムおよび方法

Country Status (8)

Country Link
EP (1) EP3295347A4 (ja)
JP (2) JP6863902B2 (ja)
KR (1) KR102393271B1 (ja)
CN (1) CN107533600A (ja)
AU (1) AU2016262579B2 (ja)
CA (1) CA2984455C (ja)
IL (1) IL255325B (ja)
WO (1) WO2016183541A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6839324B1 (ja) * 2020-08-06 2021-03-03 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
CN107066079A (zh) * 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN108334185A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的眼动数据反馈系统
CN106980983A (zh) * 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
WO2019031531A1 (ja) * 2017-08-10 2019-02-14 日本電気株式会社 情報取得システム、情報取得方法及び記憶媒体
US11050752B2 (en) 2018-06-07 2021-06-29 Ebay Inc. Virtual reality authentication
EP3772699A1 (en) * 2019-08-09 2021-02-10 Siemens Aktiengesellschaft Method for user verification, communication device and computer program
KR102628102B1 (ko) * 2019-08-16 2024-01-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN111104927B (zh) * 2019-12-31 2024-03-22 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
US12008605B2 (en) 2022-02-16 2024-06-11 International Business Machines Corporation Peer-to-peer donation management

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533801A (ja) * 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
JP2012008746A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US20140337634A1 (en) * 2013-05-08 2014-11-13 Google Inc. Biometric Authentication Substitute For Passwords On A Wearable Computing Device
US20150073907A1 (en) * 2013-01-04 2015-03-12 Visa International Service Association Wearable Intelligent Vision Device Apparatuses, Methods and Systems

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031880B2 (en) * 2001-07-10 2015-05-12 Iii Holdings 1, Llc Systems and methods for non-traditional payment using biometric data
JP4765575B2 (ja) * 2005-11-18 2011-09-07 富士通株式会社 個人認証方法、個人認証プログラムおよび個人認証装置
JP5375481B2 (ja) * 2009-09-24 2013-12-25 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8438110B2 (en) * 2011-03-08 2013-05-07 Bank Of America Corporation Conducting financial transactions based on identification of individuals in an augmented reality environment
US20130030966A1 (en) * 2011-07-28 2013-01-31 American Express Travel Related Services Company, Inc. Systems and methods for generating and using a digital pass
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US9100825B2 (en) * 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
HK1160574A2 (en) * 2012-04-13 2012-07-13 King Hei Francis Kwong Secure electronic payment system and process
US8953850B2 (en) * 2012-08-15 2015-02-10 International Business Machines Corporation Ocular biometric authentication with system verification
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US9336781B2 (en) * 2013-10-17 2016-05-10 Sri International Content-aware speaker recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533801A (ja) * 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト 生物測定学的な身元確認方法及び認証方法
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP2012008746A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザ端末装置及びショッピングシステム
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US20150073907A1 (en) * 2013-01-04 2015-03-12 Visa International Service Association Wearable Intelligent Vision Device Apparatuses, Methods and Systems
US20140337634A1 (en) * 2013-05-08 2014-11-13 Google Inc. Biometric Authentication Substitute For Passwords On A Wearable Computing Device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6839324B1 (ja) * 2020-08-06 2021-03-03 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法
JP2022030249A (ja) * 2020-08-06 2022-02-18 株式会社キューブシステム 入力システム、入力プログラムおよび入力方法

Also Published As

Publication number Publication date
IL255325B (en) 2021-04-29
KR102393271B1 (ko) 2022-04-29
JP7106706B2 (ja) 2022-07-26
WO2016183541A1 (en) 2016-11-17
NZ736861A (en) 2021-06-25
CA2984455A1 (en) 2016-11-17
AU2016262579B2 (en) 2021-06-03
CA2984455C (en) 2022-02-08
JP6863902B2 (ja) 2021-04-21
CN107533600A (zh) 2018-01-02
IL255325A0 (en) 2017-12-31
AU2016262579A1 (en) 2017-11-23
JP2021121923A (ja) 2021-08-26
EP3295347A1 (en) 2018-03-21
EP3295347A4 (en) 2018-05-02
KR20180008632A (ko) 2018-01-24

Similar Documents

Publication Publication Date Title
JP7106706B2 (ja) バイオメトリックデータを追跡するための拡張現実システムおよび方法
US20160358181A1 (en) Augmented reality systems and methods for tracking biometric data
JP6879938B2 (ja) ニューラルネットワークを利用するバイオメトリックユーザ認識のためのデバイス、方法、およびシステム
JP7416552B2 (ja) バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
US20180357670A1 (en) Dynamically capturing, transmitting and displaying images based on real-time visual identification of object
NZ736861B2 (en) Augmented reality systems and methods for tracking biometric data
NZ736574B2 (en) Methods for biometric user recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210401

R150 Certificate of patent or registration of utility model

Ref document number: 6863902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250